- pdf
3. Context Size anpassen
- pdf
Wie trainiere ich meine KI mit der Context Size?
Hier erfährst Du, was es bedeutet, wenn Du diesen Wert hoch- oder runterschraubst. Spiele gerne mit der Context Size rum und schau was passiert.
🎒 Was ist die Context Size?
Stell Dir "Context Size" wie den Rucksack der KI vor
Wenn Du Deiner KI eine Frage stellst, packt sie sich Textstellen aus Deinen Produktdaten / Produkttexten in den Rucksack, um eine möglichst gute Antwort zu bauen.
Je größer der "Context Size"-Wert, desto mehr Infos kann sie mitnehmen.
Je kleiner der Wert, desto weniger Infos hat sie dabei – sie hat weniger Infos für eine Antwort verfügbar, ist aber schneller.
Beispiel aus dem Alltag
Du fragst: Was unterscheidet Laptop A von Laptop B?
Jetzt schaut die KI in Deinen Produktdaten nach passenden Stellen, die etwas mit beiden Laptops zu tun haben – z. B. technische Daten, Beschreibungen, Bewertungen.
Wenn Du die Context Size klein einstellst (z. B. 5):
Die KI bekommt nur einen kleinen Ausschnitt der Analyse
Vielleicht steht in den ersten 5 relevanten Datensätzen nur was zum Laptop A – aber nichts mehr zu Laptop B.
Die Antwort wirkt einseitig, unvollständig.
ABER: Extreme Schnelligkeit bei kleinen Datenanalysen
Wenn Du die Context Size größer einstellst (z. B. 100):
Jetzt kann sie mehr Abschnitte gleichzeitig analysieren:
Vergleichstabellen
Akkulaufzeit vom Laptop A
Gewicht vom Laptop B
Preis-Leistungs-Fazit
💡 Hinweis zur Context Size
Beachte, dass in den Einstellungen die “Recommendation shown” gleich der Context Size sein sollte. Die maximale Context Size darf nicht größer als die Anzahl der angezeigten Produkte in “Recommendation shown” sein.
Du kannst bei fehlender Geschwindigkeit ein anderes generatives Modell auswählen, welches zu den Datenschutzvorgaben Deiner Firma passt. Beachte, dass Du in diesem Fall das bisher gegeben Feedback resetten und von vorne beginnen solltest.
🎯 Faustregel
Je mehr Hintergrundwissen die KI braucht, desto größer sollte der Rucksack (Context Size) sein.
⚠️ Achtung
Ein zu großer Rucksack kann auch Ballast mitbringen, da bei zu vielen Texten die Qualität der Antwort leiden könnte.
Die Antwort kann ausgewogener, fundierter und detaillierter wirken, aber bei großen Datenmengen arbeitet die KI auch langsamer.
🛠 Wann hilft Dir eine große Context Size?
Du willst einen Vergleich ziehen = Höhere Context Size
Die Infos sind über viele Data Chunks verteilt = Höhere Context Size
Du brauchst eine fundierte Antwort mit Details = Höhere Context Size
Du stellst eine sehr konkrete Frage zu einem Data Chunk = Kleinere Context Size reicht