LLM steht für Large Language Model:
Ein LLM ist ein Sprachmodell, das Texte verstehen, zusammenfassen, umformulieren und neu generieren kann.
Es ist der Teil des Systems, der aus einer Frage und den gefundenen Daten eine natürliche Antwort formuliert.
RAG steht für Retrieval-Augmented Generation:
Es beschreibt den Ablauf, bei dem zuerst relevante Inhalte aus einer Wissensbasis abgerufen werden und das LLM daraus anschließend eine Antwort generiert.
Die Antwort basiert nicht nur auf dem Sprachmodell, sondern auf konkret abgerufenen Inhalten aus der Wissensbasis.
💡 Kurz gesagt: RAG liefert dem LLM das relevante Wissen, und das LLM macht daraus die Antwort.
Das Wissen eines LLMs
LLMs verfügen über allgemeines Weltwissen, weil sie auf großen Mengen öffentlich verfügbarer Inhalte trainiert wurden.
Internes Unternehmenswissen fehlt ihnen dagegen, weil dieses Wissen normalerweise nicht Teil ihrer Trainingsdaten ist.
Genau hier liegt der Vorteil der dokumentenbasierten KI von FoxBase:
In dokumentenbasierten KI-Systemen wird dieser Kontext über Embeddings aus einer Vektor-Datenbasis abgerufen, damit das LLM nicht nur mit allgemeinem Modellwissen, sondern auch mit inhaltlich passenden Dokumenten arbeiten kann.
Das LLM antwortet nicht nur auf Basis allgemeinen Sprachwissens, sondern mit dem unternehmensspezifischen Wissen aus eurer eigenen Datenbasis.
Wichtig ist:
Das LLM ist nicht selbst die Wissensbasis.
Es arbeitet mit den Inhalten, die ihm aus Dokumenten, Chunks oder Suchtreffern bereitgestellt werden.
Nichtsdestotrotz wirst du beim Training deiner KI merken, dass du häufig einen Balanceakt zwischen internem Wissen und firmenspezifischem Wissen ermöglichen möchtest
Deshalb besteht eine dokumentenbasierte KI meist aus zwei Ebenen:
Wissensbasis und Retrieval: Hier werden Dokumente gespeichert, in Chunks aufgeteilt und über semantische Suche gefunden.
Sprachmodell und Generierung: Hier nutzt das LLM die gefundenen Inhalte, um eine verständliche Antwort zu formulieren.
LLM-Vergleich: Welches Modell passt zu welchem Anwendungsfall?
Modell | Highlight | Vorteile | Nachteile | Wohin gehen die Daten? |
|---|---|---|---|---|
haiku | Starker Allrounder mit Datenschutz | bis zu 200.000 Zeichen, Tempo und Qualität vergleichbar mit gpt4o-mini, keine Weitergabe an Drittanbieter | nicht auf dem Niveau stärkerer Modelle wie sonnet | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
sonnet | Mächtigstes LLM für komplexe Aufgaben | bis zu 200.000 Zeichen, Qualität und Geschwindigkeit vergleichbar mit gpt4o, datenschutzfreundlich | nicht das schnellste Modell, kleineres Kontextfenster als Gemini | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
nova-lite | Gute Balance aus Tempo, Kontext und Genauigkeit | bis zu 300.000 Zeichen, relativ schnell, kann genauer als haiku sein, datenschutzfreundlich | nicht das stärkste Qualitätsmodell | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
nova-pro | Hohe Qualität mit Datenschutz | bis zu 300.000 Zeichen, Qualität und Geschwindigkeit vergleichbar mit sonnet, datenschutzfreundlich | nicht das schnellste Modell, für einfache Fälle teils mehr Leistung als nötig | DSGVO konform in Frankfurt & keine Weitergabe an Drittanbieter oder LLM Training |
FoxBase LLM Empfehlung zum Start
1st choice: haiku - starke initiale Qualität inklusive effizienter Output performance
2nd choice: NovaPro - gute initiale Qualität mit extremer Output performance
3rd choice: Sonnet - unschlagbare initiale Qualität löst komplexe Aufgaben mit moderater Performance
LLMs im Detail
haiku - FoxBase 1st Choice
Highlight:
Datenschutzfreundliche, schnelle Alternative für große Datensätze.
Vorteile:
unterstützt bis zu 200.000 Zeichen
Geschwindigkeit und Qualität vergleichbar mit gpt4o-mini
Daten bleiben bei FoxBase
keine Weitergabe an Drittanbieter
Nachteile:
qualitativ nicht auf dem Niveau stärkerer Modelle wie sonnet oder nova-pro
eher für Standard- bis Mittelklasse-Anforderungen
Geeignet für:
Schnelle Antworten mit Datenschutzfokus.
nova-pro - FoxBase 2nd Choice
Highlight:
Starkes Datenschutz-Modell für hohe Qualität und große Datensätze.
Vorteile:
unterstützt bis zu 300.000 Zeichen
Qualität und Geschwindigkeit vergleichbar mit sonnet
Daten bleiben bei FoxBase
keine Weitergabe an Drittanbieter
Nachteile:
nicht das schnellste Modell
für einfache Use Cases eventuell mehr Leistung als nötig
Geeignet für:
Komplexe, datenschutzsensible Anwendungen mit hohem Qualitätsanspruch.
sonnet - FoxBase 3rd choice
Highlight:
Eins der mächtigsten LLMs, zur Nutzung von komplexen Aufgaben
Vorteile:
unterstützt bis zu 200.000 Zeichen
Qualität und Geschwindigkeit vergleichbar mit gpt4o
Daten bleiben bei FoxBase
keine Weitergabe an Drittanbieter
Nachteile:
nicht das schnellste Modell
für sehr große Datenmengen kleiner als Gemini
Geeignet für:
Anspruchsvolle Business-Anwendungen mit Datenschutzanforderungen.
nova-lite
Highlight:
Schnelles Datenschutz-Modell mit mehr Kontext und guter Genauigkeit.
Vorteile:
unterstützt bis zu 300.000 Zeichen
relativ schnelle Antworten
kann bessere Genauigkeit als haiku liefern
Daten bleiben bei FoxBase
Nachteile:
nicht das stärkste Qualitätsmodell
etwas unterhalb von sonnet bei komplexen Anforderungen
Geeignet für:
Gute Mischung aus Geschwindigkeit, Datenschutz und größerem Kontextfenster.