Вакансия — Data Engineer (Java)

Мы российская быстрорастущая платформа, созданная для взаимодействия разработчиков и ведущих компаний России.

У нас множество компаний-партнёров, которые готовы принять к себе в команду Data engineer для работы над современными продуктами.

Одно из наших преимуществ-это оперативный процесс найма. Обычно 1-2 собеседования независимо от компании.

Обязанности:

Организация репликации и индексирования данных из различных источников (преимущественно Apache Hive) в распределённый облачный кластер (Apache Hive);
Обеспечение доступности и актуальности данных для обработки запросов в режиме реального времени;
Реализация взаимодействия с данными через REST API и брокеры сообщений (Kafka, IBM MQ);
Поддержка сценариев оперативного доступа к данным, включая:
- предоставление информации об остатках по счетам физических лиц по запросам государственных органов;
- обработку данных о товарах в чеках для отображения в мобильных приложениях;
Оптимизация процессов загрузки, хранения и обработки данных в распределённой среде.

Требования:

Базовый уровень знания java (циклы, условия, хешмапы и т.д.)
Базовый уровень знания и понимание CI/CD
Linux (basic), Ansible, SQL, Git, XML, JSON, XSLT, YAML
Базовые знания экосистемы Hadoop и его компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel)
Язык: английский, уровень владения: технический (чтение документации, профильных ресурсов)

Условия: