Вакансия — Senior Python разработчик в команду Data Mining
- Зарплата:по договоренности
- Компания:2ГИС
- Город:Москва
- Опубликовано:3 дня назад
Описание вакансии:
Привет! Мы ищем Senior Python-разработчика в команду Data Mining.
Компании-партнёры 2ГИС делятся с нами данными о себе: где находятся их филиалы, по какому расписанию они работают, как с ними можно связаться и прочей ценной информацией.
А мы, команда Добычи данных, переводит это знание на язык, понятный нашим внутренним системам: парсим, анализируем, приводим к единому виду и доставляем в нужные потоки.
Форматы, в которых мы получаем данные, многообразны: от хорошо документированных и структурированных REST API до заполняемых вручную Excel-файлов, тысяч HTML-страниц, специфичных форматов геометрий и т.д.
Помимо этого, мы разрабатываем собственных ботов для автоматического сбора информации и взаимодействия с аудиторией 2ГИС.
Нам важно находить решения в условиях неопределенности, масштабировать уже работающие пайплайны и командой создавать отказоустойчивую и высокопроизводительную автоматизированную платформу для добычи и обработки данных.
Задачи
- Доставать для заказчика данные, которые у нас уже спаршены и где-то лежат.
- Доставать для заказчика данные, которые еще не спаршены и это только нужно сделать.
- Создавать надёжный конвейер для сбора и доставки данных.
- Самостоятельно разбираться в данных, которые могут быть нам полезны, и в том, как их можно получить.
- Писать автотесты, деплоить и мониторить свой код.
- Выделять время на техдолг, чтобы потакать своему внутреннему перфекционисту и делать сервисы технически совершеннее.
Основной стек в команде
- Python (разный)
- Основная база данных - PostgreSQL
- Веб-серверный фреймворк FastAPI
- Если хотим ORM то используем SQLAlchemy
- Есть легаси Flask
- В качестве очереди сообщений у нас Kafka
- CI/CD через gitlab
- Деплой в Kubernetes
- Используем AI на многих этапах разработки
- Тесты пишем на pytest
Что обязательно нужно иметь
- Опыт работы в коммерческой разработке от 3 лет на Python.
- Умение настраивать и поддерживать CI/CD-пайплайны (например, GitLab CI, Jenkins) и опыт деплоя приложений в Kubernetes.
- Умение писать структурированный и поддерживаемый код.
- Готовность не пасовать перед задачами, в которых решение не очевидно.
- Умение самостоятельно коммуницировать с заказчиками, доуточнять требования, отстаивать свое мнение.
- Готовность брать на себя ответственность и доводить задачу до логического завершения, когда написанный код начинает приносить пользу бизнесу, а не просто до залития в мастер.
Плюсом будет
- Опыт парсинга сайтов/файлов/API.
- Опыт работы с ETL-процессами, PostGIS, ArcGIS, pandas.
- Умение писать и оптимизировать сложные SQL-запросы.
- Навыки обработки и анализа данных, получения из них знаний.
- Опыт в реверс-инженерии бинарных файлов.
Что тебя ждёт
- Мы аккредитованная IT–компания.
- Само собой, полностью белая зарплата, размер которой обсуждаем на собеседовании.
- Дружная команда — готовы делиться опытом, обучать и поддерживать.
- Много интересных и сложных проектов — будем постепенно погружать и помогать с задачами.
- У нас можно работать удалённо по РФ. Для нас важен специалист, а не его локация. Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске;
- Есть ДМС и все классические IT-плюшки.