111202 Data Engineer

Удаленная работа, All cities

    Московская компания, которая разрабатывает аналитические решения для различных индустрий, в связи с активным ростом приглашает в свою команду Data Engineer-ов разного уровня - от уверенного Middle до Senior. 
    Работа удаленная или в офисе в Москве (м. Сухаревская), зарплата полностью белая.

Опыт и Знания

• Опыт промышленной разработки на Python;
• Опыт работы со Spark, Pandas и другими инструментами работы с данными;
• Опыт разворачивания, настройки мониторинга и передачи на поддержку разработанных решений;
 

Будет плюсом:
• Опыт работы с Airflow и другими подобными инструментами для запуска регулярных задач;
• Опыт Devops (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.);
• Опыт разработки сервисов (Flask, Django, Asyncio и др.);
• Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными;
• Опыт использования машинного обучения.

Описание работы

     Ищем человека на такие проекты:
1. Совместный проект с ведущей продуктовой розничной компанией России: проект по предсказанию спроса но товары в ритейле.
Специфика проекта:  
- основная работа с Hadoop/Hive/Spark
- немного Clickhouse
- запуск процессов на Airflow
    Смысл работы - подготовка результатов ML моделей для дальнейшей обработки. Передача в кликхаус, заливка на S3, отправка заказчикам.
 

2. Совместный проект с крупной транспортной компанией.
    Стоит задача по разработке системы прогнозирования объемов и направлений товаропотоков крупной транспортной компании.
    Суть: по каждому типу груза дать прогноз по объему перевозок и начальным-конечным точкам маршрутов.
    Экономический эффект: увеличение эффективности использования грузового транспорта и уровня сервиса (доступности и скорости перевозки грузов).

    Основные задачи:
- Построение хранилища данных, настройка витрин данных, интеграция с различными системами Заказчика и внешними источниками (актуальные цены на грузы, метео-условия и т.д.).
- Предобработка данных, автоматический выбор способов прогнозирования, реконсиляция и ансамблирование результатов, анализ качества прогноза.
- Расчет прогноза на различные горизонты с возможностью факторного анализа.

3. Совместный проект с крупной нефтедобывающей компанией.

Условия и бонусы

• Возможность полностью удаленной работы - или работа в уютном офисе в центре Москвы (м. Сухаревская);
• Оформление полностью белое по ТК РФ, зарплата до 350 тыс. gross;
• Для кандидатов, проживающих в Москве и области - ДМС (включая стоматологию) в хороших клиниках Москвы и Московской области; для других областей - пока работаем над этим пунктом;
• Поддержка кандидата в профессиональном и карьерном росте;
• Гибкий график работы.

Данная вакансия доступна для всех городов .