Восстановить диалог в пределах контекстного окна
Сохранённый диалог может перерасти контекстное окно модели. При загрузке истории в новую сессию нужно решить, какие сообщения поместятся и сколько прежнего контекста удастся сохранить.
Я реализовал восстановление с оценкой истории относительно настраиваемого лимита контекста. Оно может оставить последние сообщения или кратко пересказать ранние, а при повторной загрузке той же истории — использовать уже сохранённые резюме.
Создание резюме может завершиться ошибкой или занять слишком много времени. Поэтому в реализации есть ограничение по времени и запасной вариант с последними сообщениями. Приложение также получает прогресс восстановления и признак неполной загрузки, чтобы объяснить пользователю состояние сессии.
