Was passiert beim Upload von PDFs oder anderen Dateien?
Wenn PDFs, Excels oder andere unterstützte Datenquellen über APIs hochgeladen werden, verarbeitet das Data-Embedding-System diese Inhalte, damit sie später für Fragen nutzbar sind.
1. Inhalte werden eingelesen
Zuerst wird der Inhalt des Dokuments extrahiert. Bei einem PDF bedeutet das, dass der enthaltene Text ausgelesen und für die weitere Verarbeitung vorbereitet wird.
2. Das Dokument wird in Data Chunks aufgeteilt
Anschließend wird der Inhalt in kleinere, inhaltlich zusammenhängende Textabschnitte, sogenannte Chunks oder Data Chunks, zerlegt. Damit können relevante Textstellen später effizient von der KI abgerufen werden.
3. Die Chunks werden in Embeddings umgewandelt
Danach werden die Text-Chunks in sogenannte Embeddings umgewandelt. Ein Embedding ist eine numerische Repräsentation eines Textes, mit dem das System Bedeutungsähnlichkeiten erkennen kann. Es sucht dann nicht nur nach exakten Wörtern, sondern auch nach semantisch passenden Inhalten.
Ein Chunk zu „Laptop für Design und Reisen“ kann dadurch auch dann gefunden werden, wenn ein Nutzer anders fragt, zum Beispiel „Welches Gerät eignet sich für mobile Kreativarbeit?“.
4. Die Embeddings werden in einer Vektor-Datenbasis gespeichert
Die erzeugten Embeddings werden in einem Vektorindex bzw. einer Vektor-Datenbank gespeichert. Dort liegen nicht einfach nur Dateien, sondern semantisch durchsuchbare Repräsentationen der Inhalte. Gleichzeitig bleibt die Verknüpfung zum Ursprungsdokument erhalten, damit später nachvollziehbar ist, aus welchem Dokument ein gefundener Inhalt stammt.
💡 Das Embedding ist bzgl. Datenschutzgründen der wichtigste Teil
Hier wird entschieden, wo die Daten liegen und ob die Daten für das Training der allgemeinen Modelle benutzt werden oder nicht.
Bei FoxBase kannst du verschiedene embedding Modelle benutzen, vor allem die, welche dir 100% DSGVO und EU AI Compliance bieten.
Was ist eine Vektor-Datenbasis?
Eine Vektor-Datenbasis speichert Inhalte nicht nur als Text, sondern zusätzlich als Embeddings. Beim Vergleich dieser Embeddings berechnet das System einen semantischen Ähnlichkeitswert: Inhaltlich ähnliche Texte liegen im Vektorraum näher beieinander als inhaltlich unähnliche.
So kann zum Beispiel die Formulierung „mobile Kreativarbeit“ einen hohen semantischen Ähnlichkeitswert zu einer Anfrage wie „Laptop für Design unterwegs“ haben, obwohl nicht dieselben Wörter verwendet werden.
Das ist die technische Grundlage für semantische Suche in dokumentenbasierten KI-Systemen.
Beispiel:
Ein Dokument enthält den Satz „Dieses Gerät eignet sich für mobile Kreativarbeit.“
Ein Nutzer fragt nach „einem Laptop für Design unterwegs“.
Eine klassische Keyword-Suche würde diesen Inhalt möglicherweise nicht finden.
Eine Vektor-Datenbasis kann beide Formulierungen über ihre ähnliche Bedeutung miteinander verknüpfen.
Was passiert, wenn ein Nutzer eine Frage stellt?
Wenn ein Nutzer eine Frage eingibt, passiert im Hintergrund typischerweise Folgendes:
1. Die Frage wird semantisch interpretiert
Das System analysiert nicht nur einzelne Suchbegriffe, sondern versucht die Bedeutung der Anfrage zu erfassen.
2. Passende Chunks werden gesucht
Die Frage wird mit den gespeicherten Embeddings verglichen. Danach werden die Text-Chunks aus der Wissensbasis zurückgegeben, die zur Anfrage am besten passen.
Bei Amazon Bedrock entspricht das dem Retrieval-Schritt: Die relevantesten Chunks aus den Datenquellen werden zur Anfrage abgerufen.
3. Ein Sprachmodell erzeugt daraus eine Antwort
Erst danach kommt das LLM ins Spiel.
Das ausgewählte Sprachmodell erhält:
die Nutzerfrage
die gefundenen relevanten Chunks
gegebenenfalls zusätzliche Regeln aus dem Prompt
Auf dieser Basis formuliert das Modell eine natürliche Antwort.
Dieser kombinierte Ablauf wird als „Retrieve and Generate“ beschrieben: Erst werden relevante Inhalte aus der Wissensbasis geholt, dann wird mit einem LLM eine Antwort erzeugt.
Für diesen letzten Schritt lassen sich unterschiedliche LLMs auswählen, die jeweils unterschiedliche Stärken haben, wie Textqualität, Antwortgeschwindigkeit, Länge und Struktur der Antwort.
💡 Der Vorteil dieses Zusammenspiels: FoxBase kombiniert dokumentenbasierte KI, semantische Suche und menschliches Feedback. Das Ergebnis sind präzisere Antworten, besseres Kontextverständnis, schnellere Einbindung von Dokumentenänderungen und eine KI, die sich an eure Prozesse und Begriffe anpasst.
Du möchtest mehr über die Funktionsweise von KI und deren LLMs erfahren? Dann lies dir den nächsten Artikel durch. Alternativ kannst du direkt mit den Einstellung im FoxBase System starten.