Obnavljanje razgovora u granicama modela
Sačuvani razgovor može da preraste kontekstni prozor modela. Učitavanje istorije u novu sesiju zato traži odluku o tome koje poruke staju u kontekst i koliko ranijeg razgovora treba zadržati.
Implementirao sam obnavljanje koje mjeri razgovor u odnosu na podesivi kontekstni budžet. Može da zadrži novije poruke ili sažme starije razmjene, a pri ponovnom učitavanju iste istorije može da iskoristi keširane sažetke.
Sažimanje može da ne uspije ili traje predugo, pa implementacija ima vremenska ograničenja i rezervni postupak koji zadržava novije poruke. Takođe prikazuje napredak obnavljanja i informaciju da li je učitan samo dio razgovora, kako bi aplikacija mogla da objasni stanje sesije.
