Тестировщик LLM: оценка качества AI-систем

Компании массово внедряют искусственный интеллект — и им нужны специалисты, способные проверять качество ответов языковых моделей. Тестировщик LLM — новая профессия на стыке тестирования и AI.

Вы освоите:
• устройство LLM-систем (чат-боты, RAG, AI-агенты) и классы их дефектов: галлюцинации, предвзятость, инъекции промптов;
• промпт-инжиниринг и ручную оценку ответов по рубрикам (side-by-side, фиксация дефектов);
• метрики качества и метод LLM-as-a-judge;
• автоматизацию проверок: eval-пайплайны на promptfoo и DeepEval, pytest, регрессионные прогоны;
• тестирование RAG-систем и AI-агентов (LangSmith);
• поиск уязвимостей: prompt injection, jailbreak, red teaming.

Обучение практическое, на реальных инструментах. Итоговая работа — полный цикл оценки учебного LLM-приложения: рубрика, автопрогон, проверка уязвимостей, отчёт о качестве.

Дополнительный модуль для начинающих — основы Python, рабочего инструмента тестировщика LLM: типы данных, циклы, функции, файлы, библиотеки (pip), Jupyter, запросы к моделям через API (OpenAI, Anthropic). Благодаря этому модулю опыт программирования не требуется.

По окончании курса вы сможете оценивать ответы AI-моделей и оформлять отчёты о дефектах, строить автоматические проверки качества, тестировать чат-боты и RAG-системы, проводить базовый red teaming. Вы получите практический опыт, итоговый проект для портфолио и основу для старта карьеры в области обеспечения качества AI-систем — навык, востребованный у работодателей и на международных платформах оценки AI (удалённая работа).

Преимущество курса — обучение проходит в полноценном аудиторном (очном) формате в Таллинне; при необходимости доступно онлайн-участие в реальном времени.

Учебное заведение Gamma Intelligence OÜ прошло оценку качества учебной группы «tarkvara ja rakenduste arenduse ning analüüsi õppekavarühm» (разработка и анализ ПО) в сфере täienduskoolitus, проведённую HAKA, в 2023 году. Подробнее: https://haka.ee/taienduskoolitus/oppekavaruhma-kvaliteedi-hindamine/