Сергей Карпович

Поделюсь опытом интеграции крупных языковых моделей (LLM) в портал Rambler, а также проведением сравнительных испытаний и тестированием различных моделей. На примере взаимодействия с GigaChat рассмотрим процесс формирования запросов для LLM (prompt engineering), а также этапы выбора наиболее подходящей модели и её настройки. Обсудим критерии оценки качества генерации и суммаризации, включая метрики Meteor и BERTScore, а также настройку систем мониторинга и контроля. Затронем потенциальные риски, связанные с созданием контента, и вопросы соблюдения нормативных требований. Расскажу, как мы обеспечиваем контроль над результатами работы модели и какие гарантии предоставляем.

Постараюсь ответить на следующие вопросы:

1. Как выбрать подходящую модель LLM для решения конкретной бизнес-задачи?

2. Какие метрики использовать для оценки качества работы модели?

3. Как обеспечить стабильность и надежность функционирования модели в продакшене?

4. Какие риски связаны с внедрением LLM, и как их можно минимизировать?

5. Как организовать мониторинг и обновление модели без ущерба для бизнеса?