Машинное обучение

Переход от классических рекомендательных систем к использованию интерактивных персонализаций, включающих старые механизмы, но использующих их по новому

Почему мы все еще подбираем руками, а не пишем в чат любой пришедший в голову запрос о том, что тебе нужно

⁃ Стоимость генерации к конверсии в покупку

⁃ Большие репутационные риски запуска чатов с генерациями и необходимое количество ресурсов на их нивелирование

⁃ Психология пользователя перехода со старых паттернов на новые

Плавный переход к будущему: встраивание новых технологий в старые, показавшие свою эффективность, интерфейсы

⁃ Умный поиск

⁃ Персонализированные каталожные категории и фильтры

⁃ Небесячие пользователя способы узнать о его целях больше в явном виде

В ближайшие годы эти интерфейсы будут трансформироваться, плавно могут возникать новые, важно открыто смотреть на новые технологии, приземляя их на реальность, экспериментировать - и делиться полученным опытом для возникновения новых стандартов рекомендаций

Расскажу про современное состояние GenAI в задачах работы с разными типами данных: текст, изображения, видео. Посмотрим, где и как современные модели применяются в контексте AI агентов, ассистентов и прикладных направлений, например робототехника. Обсудим нашумевший подход к созданию «размышляющих» моделей а-ля DeepSeek R1, проанализируем перспективы применения RL.

В докладе обсудим, какие риски информационной (и не только) безопасности может принести использование машинного обучения в бизнесе, а также какие бывают атаки на ML и как от них обезопаситься.

Кому будет особенно интересно послушать: разработчикам ML-решений, так как будут раскрыты технические особенности мер защиты и методы атак, а также топ-менеджерам, так как в выступлении подсвечу последствия, которые возникают, если пренебрегать требованиями безопасности в ML.

Поделюсь опытом интеграции крупных языковых моделей (LLM) в портал Rambler, а также проведением сравнительных испытаний и тестированием различных моделей. На примере взаимодействия с GigaChat рассмотрим процесс формирования запросов для LLM (prompt engineering), а также этапы выбора наиболее подходящей модели и её настройки. Обсудим критерии оценки качества генерации и суммаризации, включая метрики Meteor и BERTScore, а также настройку систем мониторинга и контроля. Затронем потенциальные риски, связанные с созданием контента, и вопросы соблюдения нормативных требований. Расскажу, как мы обеспечиваем контроль над результатами работы модели и какие гарантии предоставляем.

Постараюсь ответить на следующие вопросы:

1. Как выбрать подходящую модель LLM для решения конкретной бизнес-задачи?

2. Какие метрики использовать для оценки качества работы модели?

3. Как обеспечить стабильность и надежность функционирования модели в продакшене?

4. Какие риски связаны с внедрением LLM, и как их можно минимизировать?

5. Как организовать мониторинг и обновление модели без ущерба для бизнеса?

Можно сделать крутую модель, но от нее будет мало проку, если не обеспечить ее интеграцию в реальные бизнес-процессы. В докладе расскажем, откуда и зачем в команде «Товарных рекомендаций» Wildberries текстовый энкодер, на что он способен и как мы сжимали его эмбеддинги для онлайн-доранжирование рекламных баннеров по запросам пользователей: от классических PCA, автоэнкодеров и полносвязных слоев до одного интересного подхода с очень русским названием

В чем суть локальных LLM, и правда ли, что Open Source >= ChatGPT

Как выбрать модель опенсорса под свои задачи

Промпты для open source LLM = промпты для GPT?

Попробуем использовать опенсорс модели для написания nginx конфига и Docker файлов

Отыщем DDoS атаки в логах с помощью LLM

RAG, Fine-Tuning, QLoRa — вот они слева направо. Как увеличить точность выбранной модели

При построении персональных рекомендаций зачастую подразумевается, что мы должны получить для каждого пользователя свою, уникальную подборку товаров. Однако в случае, когда пользователей становится слишком много, а в инфраструктуре товары хранятся с обогащением бизнес-факторами, такая схема становится все менее масштабируема. Расскажу о том, как мы без просадки в качестве существенно сократили затраты на инфраструктуру за счет кластеризации пользователей и товаров.

Основные тезисы:

- кластеризация пользователей (эмбеддинги WildBERT), создание агрегированной выдачи для кластера;

- кластеризация товаров (e5) - выделение интересов, отображение пользователя в пространство интересов;

- сравнение схем "храним подборку для каждого пользователя" и "храним только кластера, юзера описываем как набор кластеров и интересов" в разрезе ранжирующих метрик и затрат на инфраструктуру;

- как в такой схеме не просадить качество - доранжирование по эмбедингам в онлайне в момент формирования выдачи;

- зеленый АБ-тест с тестированием описанной схемы, и оценка по экономии на инфраструктуре.

• Как юридические риски влияют на бизнес-риски? Как ИИ их снижает?

• Как ИИ помогает выявлять риски в договорной работе?

• Как накапливать и передавать юридические знания с помощью ИИ ?

• Что такое плейбуки? Как их формировать на базе ИИ? Как они помогают бизнесу увеличивать доход?

⁃ Блиц-обзор основных DevOps-практик в небольшой ИТ-компании: поверх чего наворачиваем ИИ

⁃ Какие ревьюшницы мы попробовали и почему в итоге написали свою

⁃ Код-ревью до ИИ и после: реальные кейсы из боевых проектов

• Трудности внедрения или как продать ИИ своей команде разработки

Искусственный интеллект становится ключевым элементом во многих отраслях, включая и обеспечение безопасности данных. Современные системы на основе больших языковых моделей (LLM) позволяют выявлять потенциальные угрозы путем анализа и категоризации данных в реальном времени. LLM непрерывно отслеживают изменения и перемещения данных, мгновенно уведомляют пользователей о возможных рисках и предлагает способы их устранения. Сегодня ИИ может обеспечить высокую точность мониторинга и защиты данных, что делает его незаменимым инструментом в арсенале любой современной компании.

Примером такого использования LLM является система мониторинга конфиденциальной информации в текстовых данных различных источников, таких как почтовые клиенты, мессенджеры и чаты, работающую в режиме реального времени.

В рамках доклада рассмотрим, как система автоматически выявляет участки текста, содержащие уязвимые данные, и какие механизмы используются для формирования вариантов изменений с сохранением исходного смысла. Это позволяет предотвратить утечку конфиденциальной информации и обеспечить её надежную защиту.

Также мы затронем вопросы выбора моделей для классификатора и задач перефразирования текста, разберем ключевые метрики оценки качества классификации и генерации текста, обсудим методы квантизации и оптимизации для повышения производительности, а также рассмотрим подходы к мониторингу и анализу работы системы в реальном времени.

- Обход централизации Big Tech: Сегодня AI-модели разрабатываются и управляются крупными корпорациями, что создает риски цензуры, зависимости и контроля. Децентрализация позволяет уйти от этих ограничений.

- Web3, блокчейн и AI: Технологии децентрализованных вычислений и хранения данных открывают новые возможности для распределенных AI-агентов, работающих без единого центра.

- Будущее AI и экономики: Децентрализованные AI-агенты могут создать новый слой цифровой экономики, где автономные системы взаимодействуют, зарабатывают и принимают решения без вмешательства человека.

В своём докладе я рассмотрю полный цикл создания AI-агента: от формулировки бизнес-задачи до его внедрения в продакшн и последующей поддержки. Мы начнем с формирования технического задания (ТЗ), подробно разберём, как правильно определять цель и критерии успеха. Особое внимание будет уделено анализу различных больших языковых моделей (LLM): сравним их с точки зрения ключевых метрик и эффективности по результатам смарт-тестов. Я расскажу об этапах разработки AI-агента, включая выбор архитектуры, обучение модели и тестирование. Также мы обсудим актуальную проблему — недостаток компетенций в проектировании микросервисной архитектуры для AI-агентов. Я предложу рекомендации по тому, из каких микросервисов должен состоять AI-агент, чтобы его можно было эффективно эксплуатировать и масштабировать. Завершим доклад вопросами продакшн-развертывания: подключением систем логирования для мониторинга работы модели и организации процесса доставки новых фичей. В результате вы получите чёткое понимание того, как построить и развивать AI-агента, способного решать конкретные бизнес-задачи.

1. ИИ открывает новые возможности для автоматизации задач в архитектуре и проектировании.

2. Основная цель – сокращение ошибок и повышение эффективности проектных решений.

3. Генетические алгоритмы активно используются для генеративного дизайна в архитектуре.

4. Диффузионные модели начинают внедряться в дизайн и позволяют создавать визуальные концепты по текстовому описанию.

5. Reinforcement Learning помогает оптимизировать проектные решения в реальном времени.

6. Пример зонирования офисных помещений демонстрирует практическую пользу ИИ.

7. AI Copilot системы помогут снизить количество ошибок и оптимизировать процесс создания проектов.

8. Инновационные алгоритмы позволят архитекторам сосредоточиться на творческих аспектах, делегируя рутинные задачи ИИ.

9. Перспективы развития ИИ открывают возможность создания интеллектуальной среды для проектирования.