В Ульяновске состоялась XIII Международная IT-конференция «Стачка», собравшая экспертов в области искусственного интеллекта, разработки и цифровых инноваций.
CDS (Chief Data Scientist, главный специалист по исследованию данных) портала «Рамблер» (входит в медиахолдинг Rambler&Co) Сергей Карпович выступил в секции «Машинное обучение» с темой интеграции больших языковых моделей (LLM) в веб-продукты. Он рассказал о процессе подключения GigaChat к новостному порталу.
Основное внимание Карпович уделил методикам промпт-инжиниринга – искусству составления эффективных запросов к языковой модели для получения желаемого результата, а также использованию различных техник, таких как Few-Shot, Chain of Draft (цепочка черновиков) и Chain of Thought (цепочка рассуждений). Он подчеркнул критическую необходимость всестороннего тестирования при работе с LLM и отметил, что его необходимо проводить на двух уровнях:
1. этапе разработки: оценка способности конкретной LLM эффективно решать поставленные бизнес-задачи до ее внедрения;
2. производственной среде: обязательный непрерывный мониторинг качества работы LLM после интеграции в продукт, что позволяет отслеживать производительность модели в реальных условиях, выявлять деградацию качества ответов и оперативно вносить корректировки.
Аудитория портала «Рамблер» уже сейчас может ознакомиться с картиной дня на главной странице портала, которая актуализируется нейросетью раз в несколько минут, а с помощью контекстных подсказок узнавать подробнее о событии или уточнять неизвестные слова.
«Новый "Рамблер" — это не просто портал, а помощник, который берет на себя рутину и помогает получить исчерпывающую полезную информацию по любой жизненной ситуации. Мы проводим всесторонние тестирования языковых моделей, осуществляем тщательный мониторинг качества создаваемого контента и стремимся к минимизации рисков, чтобы искусственный интеллект эффективно способствовал развитию бизнеса и не порождал потенциальные угрозы», — рассказал Сергей Карпович.
«Стачка» — международная профессиональная IT-конференция, которая ежегодно собирает 2500 специалистов со всей страны — разработчиков, маркетологов, дизайнеров, руководителей и собственников IT-компаний.
