Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.
Сейчас у вас есть возможность присоединиться к лучшей команде проекта B2B CLTV в роли Data Engineer! CLTV (customer lifetime value) — метрика, используемая для оценки прибыли, которую компания может получить от своего клиента за время его пользования продуктами и сервисами компании. Итак, основные задачи:
Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
Поиск и исследование источников данных для последующей интеграции;
Оценка пригодности, качества исходных данных;
Разработка ETL процессов на Spark;
Оркестрация ETL процессов в Airflow;
Проектирование баз данных;
Создание конвейеров данных NiFi.
Мы понимаем, что каждый DE индивидуален. Поэтому даем описание как бы выглядел идеальный кандидат. Все недостающие навыки можно подтянуть у нас.
DE в Билайн:
Любит работать в команде и умеет это делать;
Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы;
Знает SQL на высоком уровне (в т. ч. DDL, табличные выражения, оконные функции);
Работал с Hive, PostgreSQL;
Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество);
Пользовался AirFlow или другими оркестраторами — Oozie, Luigi, ну или cron;
Может что-то написать на Python — в объеме чтобы пользоваться AirFlow или еще круче;
Имеет опыт потоковой разработки конвейеров данных в NiFi или Flink;
Интересуется Flink, пробовал применять его в проектах;
Умеет проектировать базы данных (знает Data Vault 2.0 например);
Понимает принципы работы реляционных СУБД и HDFS;
Имеет представление о колоночных и NoSQL СУБД;
Понимает подходы к работе с качеством данных;
Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.
Стек и технологии
В своей работе DE используют следующий стек технологий: