LLM в продуктиве

LLM в продуктиве
В докладе обсуждается практическое использование LLM для автоматизации бизнес процессов. В настоящее время основной тренд - это использование LLM как ассистента с целью повышения производительности труда работников. Докладчик делиться опытом полного замещения людей на ChatGPT. Доклад отвечает на следующие вопросы:
Можно ли использовать LLМ не вместе с людьми, а вместо людей? Какие на какие подводные камни можно напороться, если LLM выполняет десятки и сотни тысяч операций автоматически? Какую архитектуру решений использовать для решения подобных задач? Как использование LLM вместо разработки кода влияет на сроки проекта?
Доклад адресован архитекторам, разработчикам и проектным менеджерам, которые рассматривают использование LLM вместо написания кода.
Рассматриваются 2 практических кейса:
1. Автоматизация публикаций периодических изданий.
2. Перевод изданий с русского и китайского на английский в автоматическом режиме.
ChatGPT способен решать сложно алгоритмизируемые задачи за 1-2 промпта.
Пример: распознавание оглавления в книгах и журналах.
Преимущества:
1. Высокая точность: статьи, авторы, номера страниц, названия глав извлекаются практически без ошибок.
2. Стоимость операции очень низка, а скорость очень высока. Человек не в состоянии конкурировать с LLM в этой операции
Недостатки:
1. Небольшое изменение промпта или изменение версии модели может привести к ошибкам в примерах, которые ранее корректно работали
2. Иногда может давать ошибки на примерах, которые корректно отрабатывали в прошлом
3. Требуется большой объем испытаний, чтобы понять какого сорта ошибки возникают в решаемой задаче.
План разработки решения с LLM:
1. Оцениваем способность LMM решить нашу задачу. Подбираем промпт на практических примерах
2. Пишем код решения, прогоняем его на большем объеме данных. Проверяем результаты, выявляем систематические ошибки.
3. Создание автоматического QA решения
Решение задачи автоматической оценки качества работы LLM на примере перевода текстов с русского на английский. Модуль перевода уже год находится в прод среде и ежедневно переводит десятки российских и китайских газет на английский.
Архитектура решения:
1. Асинхронный модуль chat completion.
2. Функция валидации передается как параметр
3. В функции валидации проверка может осуществляться программным кодом и/или запросом к LLM (использование агента)
4. Автоматическое исправление ошибки:
a. Программным кодом (редко удается)
b. Продолжение чата с LLM новым промптом с просьбой исправить ошибку в ответе
c. Модификация исходных данных и создание нового запроса к LLM
d. Использование более мощной, но и более дорогой модели для решения запроса

Выводы:
Современные LLM – это мощные инструменты, которое совершенствуются с большой скоростью. Они в состоянии заменить людей во многих областях, которые ранее не автоматизировались из-за сложной алгоритмизации
Минусом этой технологии с точки зрения разработки – это сложность получения 100% правильного результата на всех исходных данных. Мероприятия по автоматическому контролю качества и исправлению ошибок могут занять продолжительное время, поскольку ошибки LLM сложно предсказать заранее.