LLM steht für Large Language Model:
Ein LLM ist ein Sprachmodell, das Texte verstehen, zusammenfassen, umformulieren und neu generieren kann.
Es ist der Teil des Systems, der aus einer Frage und den gefundenen Daten eine natürliche Antwort formuliert.
RAG steht für Retrieval-Augmented Generation:
Es beschreibt den Ablauf, bei dem zuerst relevante Inhalte aus einer Wissensbasis abgerufen werden und das LLM daraus anschließend eine Antwort generiert.
Die Antwort basiert nicht nur auf dem Sprachmodell, sondern auf konkret abgerufenen Inhalten aus der Wissensbasis.
💡 Kurz gesagt: RAG liefert dem LLM das relevante Wissen, und das LLM macht daraus die Antwort.
Das Wissen eines LLMs
LLMs verfügen über allgemeines Weltwissen, weil sie auf großen Mengen öffentlich verfügbarer Inhalte trainiert wurden.
Internes Unternehmenswissen fehlt ihnen dagegen, weil dieses Wissen normalerweise nicht Teil ihrer Trainingsdaten ist.
Genau hier liegt der Vorteil der dokumentenbasierten KI von FoxBase:
In dokumentenbasierten KI-Systemen wird dieser Kontext über Embeddings aus einer Vektor-Datenbasis abgerufen, damit das LLM nicht nur mit allgemeinem Modellwissen, sondern auch mit inhaltlich passenden Dokumenten arbeiten kann.
Das LLM antwortet nicht nur auf Basis allgemeinen Sprachwissens, sondern mit dem unternehmensspezifischen Wissen aus eurer eigenen Datenbasis.
Wichtig ist:
Das LLM ist nicht selbst die Wissensbasis.
Es arbeitet mit den Inhalten, die ihm aus Dokumenten, Chunks oder Suchtreffern bereitgestellt werden.
Nichtsdestotrotz wirst du beim Training deiner KI merken, dass du häufig einen Balanceakt zwischen internem Wissen und firmenspezifischem Wissen ermöglichen möchtest.
Deshalb besteht eine dokumentenbasierte KI meist aus zwei Ebenen:
Wissensbasis und Retrieval: Hier werden Dokumente gespeichert, in Chunks aufgeteilt und über semantische Suche gefunden.
Sprachmodell und Generierung: Hier nutzt das LLM die gefundenen Inhalte, um eine verständliche Antwort zu formulieren.
LLM-Vergleich: Welches Modell passt zu welchem Anwendungsfall?
Modell | Highlight | Vorteile | Nachteile | Wohin gehen die Daten? |
|---|---|---|---|---|
haiku | Starker Allrounder für schnelle Antworten mit Datenschutz | bis zu 200.000 Zeichen, schneller als sonnet, datenschutzfreundlich | nicht auf dem Niveau stärkerer Modelle wie sonnet bei komplexen Anfragen | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
sonnet | Mächtigstes LLM für komplexe Aufgaben | bis zu 200.000 Zeichen (bei sonnet 5 noch mehr), sehr hohe Qualität, datenschutzfreundlich | nicht das schnellste und günstigste Modell | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
nova-lite | Schnelles Modell mit gute Balance aus Tempo, Kontext und Genauigkeit | bis zu 300.000 Zeichen, relativ schnell, Genauigkeit vergleichbar mit haiku, datenschutzfreundlich | nicht das stärkste Qualitätsmodell | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
nova-pro | Hohe Qualität bei großen Datensätzen | bis zu 300.000 Zeichen, Qualität und Geschwindigkeit vergleichbar mit haiku, datenschutzfreundlich | nicht das schnellste Modell, für einfache Fälle teils mehr Leistung als nötig | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
💡 FoxBase LLM Empfehlung zum Start: haiku liefert starke initiale Qualität inklusive effizienter Output Performance.