LLM Data Evaluation Engineer

Мы помогаем государству проводить disrupt госуправления через внедрение AI/GenAI и ускорять национальное развитие AI/GenAI, организуем одно из крупнейших в мире профильных мероприятий – AIJourney, объединяем бизнес, государство и международное научное сообщество, чтобы обеспечить GenAI-трансформацию страны.

• cтроить и развивать систему оценки качества LLM, RAG и агентов: тестовые наборы, метрики, автоматические прогоны, отчёты
• проводить регрессионное тестирование в CI при смене моделей, промптов и настроек, контролировать качество перед релизами и показами
• оценивать агентов по траекториям: успешность задач, ошибки вызова инструментов, лишние шаги
• калибровать автоматическую оценку (LLM-as-a-judge) против экспертной разметки
• строить пайплайны обработки документов: PDF, сканы, OCR, таблицы, восстановление структуры
• готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.
• от 3 лет в Data Science, Data Engineering или ML, из них не менее года с LLM-проектами
• опыт построения с нуля системы оценки качества LLM или RAG
• знание метрик поиска (recall@k, MRR, nDCG) и метрик ответов (faithfulness, полнота, корректность)
• опыт оценки агентных систем или многошаговых сценариев
• прикладная статистика: доверительные интервалы, значимость различий, размер выборки
• опыт обработки реальных документов в продакшене, включая OCR
• Python на уровне production-кода, уверенный SQL
• оркестрация пайплайнов (Airflow, Prefect, Dagster или аналоги), версионирование данных и трекинг экспериментов (DVC, MLflow или аналоги).