Контактные центрыОфисы продажВакансии для экспертов

Data Engineer

IT и технические функции
BeeFREE: возможность удаленной работы
Опыт работы от 2 лет
Дата размещения: 27 октября

Задачи:

  • анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
  • поиск и исследование источников данных для последующей интеграции;
  • оценка пригодности, качества исходных данных;
  • разработка ETL процессов на Spark;
  • оркестрация ETL процессов в Airflow;
  • проектирование баз данных;
  • создание конвейеров данных NiFi.

В своей работе DE используют следующий стек технологий:

  • экосистема Hadoop — HDFS, YARN, Hive, HBase;
  • ETL-процессы — Spark (Scala);
  • потоковая обработка — NiFi, Flink;
  • брокер сообщений — Kafka;
  • оркестрация ETL процессов — Airflow;
  • СУБД — PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server;
  • CI/CD — GitLab.

Требования:

  • опыт разработки на Spark, Scala от 2 лет;
  • знание стека: Hadoop, Airflow, PostgreSQL, Kafka
Похожие вакансии