Мы создаем не просто аналитическое хранилище (Data Lake), а продвинутое — по принципам Data Mesh. Все данные мы описываем каталоге, чтобы их можно было легко находить и переиспользовать. Для каждого куска данных мы определяем владельца, который относится к ним как к продукту.
Для этого надо, чтобы в каждом подразделении были люди с навыками data engineer, погруженные в предметную область. Мы очень к этому стремимся и активно набираем людей.
Одно из требований к сотрудникам компании — постоянное развитие. Начальный уровень может быть и Junior, но в процессе работы он должен расти, чему мы активно способствуем. Наши сотрудники проходят периодическую оценку знаний и навыков, по итогам которой определяется их текущий уровень.
Ссылка на интервью Михаила Благова (руководителя чаптера дата инженеров) https://www.youtube.com/watch?v=ZwNgIZHTOcQ
Итак, вам предстоит:
- анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
- поиск и исследование источников данных для последующей интеграции;
- оценка пригодности, качества исходных данных;
- разработка ETL процессов на Spark;
- оркестрация ETL процессов в Airflow;
- проектирование баз данных.
В своей работе DE используют следующий стек технологий:
- экосистема Hadoop — HDFS, YARN, Hive, HBase;
- ETL-процессы — Spark (Scala);
- брокер сообщений — Kafka;
- оркестрация ETL процессов — Airflow;
- СУБД — PostgreSQL, Greenplum, Aerospike, Oracle, SQL Server;
- CI/CD — GitLab.
Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:
- опыт разработки на Spark, Scala от 2 лет;
- знание стека: Hadoop, Airflow, PostgreSQL, Kafka.
Что мы предлагаем:
трудоустройство в аккредитованную ИТ-компанию;
сплоченную команду профессионалов, в которой можно не только успешно
реализовывать проекты, но и перенимать опыт и развиваться
обучение, участие в интересных проектах и расширение профессиональной экспертизы:
мы участвуем в конференциях, митапах, публикуемся на Хабр и т.д.
конструктивную и открытую рабочую атмосферу
полис добровольного медицинского страхования, обслуживаемый в лучших клиниках
корпоративные скидки на фитнес, обучение, путешествия и т.п.
служебную сотовую связь.