Вакансия — Data Engineer(ККММД)

В команду стрима Контроля качества моделей и модельных данных мы ищем кандидата, которому интересно развитие в области Data Engineer, Data Analyst, Data Science, для решения задач по контролю качества моделей, качества данных, а также оптимизационных задач, связанных с разработкой и выводом витрин контроля в промышленную эксплуатацию.

Ключевые задачи:

• Разработки и поддержки пайплайнов обработки данных в виде DAG процессов для Airflow в рамках:
• Расчета метрик и разработки витрин контроля качества моделей для оценки их деградации
• Проверки корректности внедрения моделей в промышленную среду.
• Ежедневного контроля работы моделей для оперативного реагирования на проблемы в качестве данных с настройкой нотификаций
• Оценки экономических эффектов работы моделей и влияния на портфель Разработки алгоритмов/методов контроля качества модельных данных
• Работы с системами хранения данных, таких как Clickhouse, для визуализации результатов на дашбордах в Superset
• Доработки и рефакторинга текущих решений
• Решения инфраструктурных и иных проблем в зоне ответственности DE.

Какие знания и навыки для нас важны:

• Опыт работы в области управления рисками, разработки и управления продуктами на базе ИТ-технологий в финансовой сфере или ИТ сфере на менее трех лет.
• Технологический стек: SQL (в т.ч. оптимизация запросов и умение работать с планами запросов), Python, PySpark, Hadoop, AirFlow.

Будет плюсом:

• Базовые знания ML, Apache Superset