Big Data Engineer

• Projektowanie architektury nowoczesnych systemów Big Data oraz zaawansowanych ekosystemów przetwarzania danych
• Wdrażanie rozwiązań zgodnie z wymaganiami klienta, obejmujących elementy analityki strumieniowej oraz uczenia maszynowego (Machine Learning)
• Realizacja procesów przetwarzania danych w trybach batch oraz streaming
• Integracja danych pochodzących z wielu zróżnicowanych źródeł w celu zapewnienia spójności analitycznej
• Zapewnienie jakości rozwiązań poprzez stosowanie standardów projektowania, kodowania, testowania oraz tworzenie dokumentacji technicznej
• Praca w metodyce Scrum, dbając o terminowość i wysoką jakość dostarczanych komponentów systemu

• Minimum 5 lat doświadczenia zawodowego w branży IT, w tym potwierdzona praktyka w projektowaniu architektury rozwiązań danych
• Biegłość w technologii Spark (minimum 3 lata doświadczenia) w procesach batch i streaming, przy wykorzystaniu języka Python lub Scala
• Ekspercka wiedza z obszaru Big Data, koncepcji Hurtowni Danych oraz strategii Zarządzania Danymi (Data Management)
• Praktyczna znajomość platformy Hadoop (Cloudera/Hortonworks) oraz zaawansowana biegłość w języku SQL
• Doświadczenie w pracy z narzędziami strumieniowymi, takimi jak Kafka oraz Apache NiFi
• Znajomość struktur i formatów danych: JSON, Parquet, ORC, Avro oraz zrozumienie scenariuszy użycia baz takich jak Hive, Kudu, HBase czy Iceberg
• Stosowanie dobrych praktyk inżynierii danych, w tym wzorców projektowych i standardów dokumentowania systemów

Doświadczenie w automatyzacji procesów CI/CD oraz praktyczna znajomość narzędzi wspierających Agile (Jira, Confluence)