Проект касается создания интеллектуального инструмента загрузки данных (ETL) на основе управления метаданными для швейцарской неправительственной организации и хорватского банка. Знание Python обязательно и знание NiFi приветствуется. Работа на английском. Сотрудничество с областями технологий AWS (среди прочего S3, Reshift) и Oracle Data Ingestion

Проект касается строительства, разработки и обслуживания экосистемы инструментов, составляющих платформу управления данными на основе эталонной архитектуры Lambda. Платформа предназначена для поддержки 17 рынков в Европе в режиме «почти в реальном времени» и является центральным компонентом IТ-архитектуры заказчика.

Условия труда

  • ЗП стартует от 60 зл\час и Выше.
  • Жильё за свой счёт.
  • Кандидат проходит собеседование в скайпе перед отъездом на работу.
  • Возраст не важен. Важна квалификация и документы подтверждающие её наличие.

Требования

  • Очень хорошее знание Java 8/ Python / Scala
  • Свободное владение устным и письменным английским языком.
  • Знание платформы HortonWorks Hadoop
  • Знание Apache Spark и Apache Airflow
  • Практические знания Apache Kafka и потоковая передача и обработка NiFi как часть процессов ETL
  • Знание о сериализации данных (JSON,XML,Avro,Protobuf)
  • Базы данных SQL и NoSQL (HBase/Cassandra)
  • Знание основных архитектурных шаблонов больших данных Big Data (Lambda/Kappa)
  • Приветствуется знание вопросов администрирования технологами (Hortonworks/Airflow/Kafka/Nifi)
  • Приветствуется знание AWS (S3, Glue, Redshift)
Вас так же могут заинтересовать

Смотрите также