Kontextfönster.

Allt som modellen ska väga in i ett svar måste rymmas i kontextfönstret: instruktionerna, de delar av underlaget som hämtats och samtalet så här långt.

Blir samtalet mycket långt eller materialet mycket stort får inte allt plats, och då måste systemet välja vad som ska med. Det är en anledning till att man hämtar relevanta stycken i stället för att skicka med allt material varje gång.

För en kund i chatten märks kontextfönstret sällan. Det är däremot skälet till att assistenten minns vad som sagts tidigare i samma samtal, och till att underlaget hålls tydligt och fritt från dubbletter.