В старой концепции мира считалось, что хорошие рекомендательные модели знают лучше все за пользователя, чем он сам может о себе сказать, раз у них есть все пользовательские данные
Мы пришли в новый мир технологически, где у пользователя появляется возможность напрямую рассказать модели про себя то, что он считает важном донести, уточнить ситуацию в текущий момент, сообщить дополнительно о своих потребностях - того, чего нет и не может быть в исторических пользовательских данных и тех данных, которые автоматически логируются (состояние системы может определяется больше, чем ее залогированной историей)
В такой постановке задачи, LLM выглядят универсальной вундервафлей, которую можно пихать всюду и везде для улучшения пользовательского экспиеренса и помощи ему в навигации по миру е-коммерса, чтобы растить средние чеки и товарообороты.
Но все не так просто.
Например, если сделать универсальный чат, который будет помогать с выбором того, что пользователь бы и так искал руками, сильно конверсию в покупку это не повысит, а GPU время потратит.
Большой выбор и полная свобода и в этом случае тоже заставляют пользователя терятся и тормозить. Напрягать мозг, а мы хотели как раз его избавить от этого шага, рекомендуя.
Другой минус заваливать все одной универсальной LLM-кой - косты и риски. Дорого даже не столько обучить, сколько поддерживать, инференсить в разрезе количества сгенерированных токенов к заработанным деньгам. Следить за нагрузками. Риски также большие - если это все упадет, если кто-то за ддосит сервер, если в алайнменте где-то был косяк, и она что-то не то посоветовала.
Какое решение?
- Понять, в какие места привычных интерфейсов взаимодействия с товарами можно встраивать функционал подбора
- Умный поиск
- Персонализированные категории каталожного дерева
Пользователя не надо учить пользоваться этими интерфейсами, зато подключение туда нового функционала сильно облегчит адоптейшн новой технологии, а также позволит собрать варианты использования.
Умный поиск
В поисковой строке описываем ситуации, вопросы, более абстрактные запросы товаров, чем просто стандартные категории или их названия
Улучшает обычный поиск, повышает конверсию в покупку
Просто и понятно для пользователя
Мы не можем сгенерировать какой-то бред случайно
Все еще можем быть заддосены + решение, как можно ускорять выдачу результатов
+ разбор, какие части RAG системы можно использовать без огромной LLM для некоторых кейсов по подбору товаров
Сделать умный чат, в котором пользователь сможет писать свой запрос о подборе, сообщая о своих преференциях в данный момент,
но сделать его не сразу всемогущим и полным, а начать с процесса адаптации к этой свободе, начать с онбординга конкретными фичами по подбору (которые определяются на основании анализа среза аудитории, в докладе скажу про наши), на которые можно быстро тапнуть, как на кнопки + сообщить что-то дополнительно
и потом масштабировать на количество вариантов
Немного поговорить про важность учитывания, через какое устройство будет происходить общение, потому что удобство одного варианта взаимодействия в мобилке и на сайте может быть диаметрально противоположным
также рассказать про технические оптимизации, чтобы уменьшить нагрузку на сервера в этом случае
Немного про накапливание контекста, истории и классических данных пользователя, какие есть варианты, какие у них плюсы и минусы
Использовать всю историю или только свежий запрос, показывать ли пользователю количество контекста, на основе которого принимаются для него решения, давать ли ему переключатель этого контекста и тд.
В заключение про то, что настоящая эра интерактивных рекомендаций еще только наступает, как всегда за самой технологией ее полноценная продуктовая адаптация подтягивается через какой-то период времени,
Лучшее, что можем делать сейчас - придумывать, разрабатывать такие продукты, опираясь на понимание о поведении и реальных потребностях пользователя, - и делиться полученным опытом между собой
