AI/ML Engineer

СберСпасибо

AI/ML Engineer

Уровень: Senior

Чем предстоит заниматься:

Повышение качества RAG-агентов на трёх направлениях: поиск по технической документации, по нормативной базе, по бухгалтерской документации;

Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды;

Подготовка эталонных наборов оценки качества;

Реализация LLM-as-a-judge как методологии автоматических регрессионных проверок;

Настройка защит (guards) для production-агентов: фильтры от инъекций в промпт, валидация структуры и контента выходов, защита от утечек ПДн, anti-hallucination механизмы;

A/B-тестирование промптов и моделей для подбора лучших конфигураций;

Тюнинг качества по сигналам обратной связи пользователей и трассировкам из Langfuse.

Требования:

Python от 2 лет коммерческой разработки;

Практический опыт RAG-систем в продакшене: эмбеддинги, векторные базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг. Опыт построения и поддержки как минимум одного RAG-решения от начала до конца, не прототип;

Практический опыт оценки качества LLM-систем: подготовка эталонных наборов, offline-метрики, LLM-as-judge, регрессионные проверки. Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги);

Практический опыт настройки защит для LLM-приложений: защита от инъекций в промпт, валидация структуры и контента выходов, защита от утечек персональных данных;

Опыт промпт-инжиниринга и контекст-инжиниринга в реальных проектах: итеративная настройка промптов, structured output, function calling;

Понимание архитектуры RAG: стратегии нарезки документов, метаданные, выбор моделей эмбеддингов, переранжирование, точность ссылок на источник;

Практический опыт работы хотя бы с одним LLM-фреймворком: LangChain, LangGraph, PydanticAI, OpenAI API или аналоги;

Практический опыт A/B-тестирования промптов и моделей в продакшене;

Опыт работы с агентскими протоколами (MCP) или собственным tool-layer для агентов;

SQL и работа с реляционными базами на базовом уровне.

Откликнуться

Вакансии на Python разработчика -> PythonWork

Вопросы с собесов -> ProstoPython

What You'll Do

• Повышение качества RAG-агентов на трёх направлениях: поиск по
• технической документации, по нормативной базе, по бухгалтерской
• документации;
• Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды;
• Подготовка эталонных наборов оценки качества;
• Реализация LLM-as-a-judge как методологии автоматических
• регрессионных проверок;
• Настройка защит (guards) для production-агентов: фильтры от

Basic Qualifications

• Python от 2 лет коммерческой разработки;
• Практический опыт RAG-систем в продакшене: эмбеддинги, векторные
• базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг.
• Опыт построения и поддержки как минимум одного RAG-решения от
• начала до конца, не прототип;
• Практический опыт оценки качества LLM-систем: подготовка эталонных
• наборов, offline-метрики, LLM-as-judge, регрессионные проверки.
• Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги);