Position

Lead Scala Big Data (Hadoop),

Saint Petersburg

Location


Saint Petersburg

Office Address


Empty

Project Description


Наш клиент занимается созданием инновационных продуктов и сервисов для цифровой трансформации крупнейшей логистической компании России.
Ключевое преимущество наших проектов в том, что мы работаем с использованием открытых технологий, позволяющих гибко развивать и быстро масштабировать data-driven решения и продукты. Мы используем: Java 8, Scala 10/11, SQL. Big Data stack: Hadoop, HDFS, Hive, Spark, Spark Streaming, Sqoop, Oozie, Kafka, Flume, Flink. DBs: PostgreSQL, Cassandra, ClickHouse, Vertica. BI: Pentaho, QlikView

Responsibilities


    • разработка эффективных ETL-процессов
    • разработка слоев данных Data Lake;
    • развитие модели данных
    • разработка Data Marts
    • формирование SRS-документов
    • управление командой разработки
    • коммуникации с заказчиком

Skills


Must have

    • опыт разработки в ETL-инструментах: Flume/Flink, Sqoop, Hive, Spark
    • опыт и навыки работы с базами данных (знание реляционных баз данных и языка запросов SQL, знание основных понятий многомерной базы данных)
    • знание алгоритмов работы с данными
    • опыт разработки на Java/Scala
    • желание развиваться в области Big Data

Nice to have

    • опыт, курсы, знакомство с Hadoop ecosystem, Apache Spark, Kafka
    • опыт, курсы, интерес к Scala, functional programming
    • знания или опыт работы с NoSQL DB (мы используем Cassandra, Vertica, ClickHouse)
    • опыт анализа данных, работы по обсуждению требований с пользователями

Languages


Russian: C2 Proficient

Relocation package


If needed, we can help you with relocation process. Click here for more details: see more details

Work Type


BigData (Hadoop etc.)

Ref Number


VR-55222

Explore More

LoGeek Magazine
icon Logeek Luxoft
Learn more
Events
icon Events Luxoft
Learn more
Relocation Program
icon Relocation Luxoft
Learn more
Referral
Platform
icon Referral Luxoft
Learn more
Students
and Grads
icon Students Luxoft
Learn more

More job opportunities in
BigData (Hadoop etc.)

Specialization Position / Title Location Send to a friend
BigData (Hadoop etc.) DWH|ETL developer Saint Petersburg, RU