К содержимому

GigaChat Audio Evaluation Lead

ПАО Сбербанкг Москва

GigaChat нативно поддерживает аудиозаписи в контексте, что позволяет понимать речь на десятках языков, говорящего и его эмоции, звуки и сцену вокруг, поддерживать живой диалог и вызывать инструменты по голосовой команде. Чтобы развивать эти способности, их нужно честно измерять: без надежной оценки нельзя понять, какие данные и решения в обучении двигают качество. Мы ищем эксперта, который возьмет на себя оценку понимания аудио модели. Он будет разрабатывать собственные бенчмарки, разбираться в открытых, сравнивать нас с лидерами индустрии и open-source и находить точки роста. Ему предстоит выстроить систему оценки и команду вокруг нее

  • отвечать за систему оценки понимания аудио LLM: состав бенчмарков, метрики, протоколы замеров и их воспроизводимость
  • покрывать оценкой широкий набор доменов: понимание говорящего и эмоций, звуков и акустической сцены, прикладные задачи (распознавание и перевод речи, суммаризация), общий диалог, вызов инструментов
  • строить оценку на трех уровнях (автоматические метрики, LLM-as-a-Judge, Side-by-Side) и калибровать их друг относительно друга, в первую очередь согласие судьи с людьми
  • разрабатывать собственные бенчмарки: сбор и разметка данных, дизайн заданий, контроль утечек в обучающие данные
  • исследовать открытые бенчмарки и добавлять их в контур оценки: проверять разметку и метрики, разбираться с расхождениями с опубликованными результатами
  • выстраивать эффективный бенчмаркинг больших LLM: быстрые замеры чекпоинтов по ходу обучения и полные прогоны к релизам (ускорение инференса, кэширование, репрезентативные подвыборки)
  • регулярно замерять лидеров индустрии и open-source модели, вести лидерборд и дашборды
  • анализировать ошибки модели, находить точки роста и превращать их в задачи для data и training команд
  • нанимать и вести инженеров и исследователей
  • уверенное знание Python и PyTorch
  • опыт построения систем оценки ML-моделей: бенчмарки, метрики, протоколы замеров
  • опыт оценки LLM автоматическими метриками, через LLM-as-a-Judge и Side-by-Side, понимание ограничений и смещений каждого подхода
  • понимание задач обработки аудио и речи (ASR, перевод, эмоции, классификация звуков) и метрик их качества
  • опыт инференса больших моделей (vLLM, SGLang) и распределенных прогонов
  • знание прикладной статистики: доверительные интервалы, значимость различий, согласованность разметчиков

openqareer не кадровое агентство: вакансия собрана с открытого источника, отклик подаётся на сайте работодателя.