Data engineer

Обязанности

• Мы — команда ПКАП AEF, развивающая платформу данных внутри AEF (Agent Execution Framework — среды исполнения и управления AI-агентами в контуре банка), которая получает и обрабатывает трейсы работы агентов, формирует витрины для мониторинга, оценки качества и развития AI-агентов, а также для команд разработки, аналитики и внутренних потребителей Банка.
• Ищем инженера данных, умеющего доводить решения до промышленной эксплуатации и готового отвечать за их работу после запуска.
• Обязанности разрабатывать и выводить в ПРОМ витрины на SQL, Spark, Scala. разрабатывать сервисы для обработки и поставки данных. готовить данные для исследований в лабораторном контуре: работать с трейсами, техническими показателями и метриками AI-агентов. сопровождать витрины: анализировать логи и метрики, находить причины сбоев, устранять их и предотвращать повторение. разрабатывать проверки качества данных и тестировать расчёты поддерживать техническую документацию и базу знаний, консультиров
• Требования опыт в data engineering от 3х лет практический опыт разработки на PySpark или Spark опыт разработки на Python или Scala уверенное знание SQL (сложные запросы, оптимизация) практический опыт работы с Hadoop, включая HDFS, YARN и Hive. понимание устройства хранилищ данных, принципов построения витрин и организации потоков данных от источника до потребителя. опыт вывода расчётов или сервисов в промышленную среду: Git, CI/CD, тестирование, диагностика сбоев по логам и метрикам. знание и р
• Важно уметь оценивать их ответы и самостоятельно отвечать за качество итогового решения.

Требования

• Опыт работы: от 5 лет
• Образование: Общее образование

Условия

• График работы: Полный рабочий день

Адрес

г Москва, Центральный федеральный округ,Москва