GigaChat Audio Evaluation Lead
GigaChat нативно поддерживает аудиозаписи в контексте, что позволяет понимать речь на десятках языков, говорящего и его эмоции, звуки и сцену вокруг, поддерживать живой диалог и вызывать инструменты по голосовой команде. Чтобы развивать эти способности, их нужно честно измерять: без надежной оценки нельзя понять, какие данные и решения в обучении двигают качество. Мы ищем эксперта, который возьмет на себя оценку понимания аудио модели. Он будет разрабатывать собственные бенчмарки, разбираться в открытых, сравнивать нас с лидерами индустрии и open-source и находить точки роста. Ему предстоит выстроить систему оценки и команду вокруг нее
- отвечать за систему оценки понимания аудио LLM: состав бенчмарков, метрики, протоколы замеров и их воспроизводимость
- покрывать оценкой широкий набор доменов: понимание говорящего и эмоций, звуков и акустической сцены, прикладные задачи (распознавание и перевод речи, суммаризация), общий диалог, вызов инструментов
- строить оценку на трех уровнях (автоматические метрики, LLM-as-a-Judge, Side-by-Side) и калибровать их друг относительно друга, в первую очередь согласие судьи с людьми
- разрабатывать собственные бенчмарки: сбор и разметка данных, дизайн заданий, контроль утечек в обучающие данные
- исследовать открытые бенчмарки и добавлять их в контур оценки: проверять разметку и метрики, разбираться с расхождениями с опубликованными результатами
- выстраивать эффективный бенчмаркинг больших LLM: быстрые замеры чекпоинтов по ходу обучения и полные прогоны к релизам (ускорение инференса, кэширование, репрезентативные подвыборки)
- регулярно замерять лидеров индустрии и open-source модели, вести лидерборд и дашборды
- анализировать ошибки модели, находить точки роста и превращать их в задачи для data и training команд
- нанимать и вести инженеров и исследователей
- уверенное знание Python и PyTorch
- опыт построения систем оценки ML-моделей: бенчмарки, метрики, протоколы замеров
- опыт оценки LLM автоматическими метриками, через LLM-as-a-Judge и Side-by-Side, понимание ограничений и смещений каждого подхода
- понимание задач обработки аудио и речи (ASR, перевод, эмоции, классификация звуков) и метрик их качества
- опыт инференса больших моделей (vLLM, SGLang) и распределенных прогонов
- знание прикладной статистики: доверительные интервалы, значимость различий, согласованность разметчиков
openqareer не кадровое агентство: вакансия собрана с открытого источника, отклик подаётся на сайте работодателя.