Praca Data Engineer (Databricks) w Astek (Kraków)

Data Engineer (Databricks)

Astek

Lokalizacja:
Poland , Kraków

Kategoria:
IT - Software Development

Typ umowy:
B2B

Wynagrodzenie:

140.00 - 190.00 PLN / Godzina

Zapisz ofertę

Aplikuj

Opis stanowiska:

Poszukujemy osoby z bardzo dobrą znajomością Azure Databricks (ADB) oraz Azure Data Factory (ADF), która dołączy do zespołu realizującego skalowalne rozwiązania data-platformowe w chmurze Azure. Idealny kandydat/kandydatka to osoba techniczna, nastawiona na jakość, optymalizację wydajności oraz pracę z danymi batchowymi i strumieniowymi na poziomie produkcyjnym.

Obowiązki:

Projektowanie, budowa i utrzymanie potoków danych w Azure Data Factory (lub Synapse Pipelines) oraz Azure Databricks dla przetwarzania batchowego i strumieniowego
Tworzenie skalowalnych rozwiązań przetwarzania danych w PySpark (preferowane Delta Lake)
Implementacja pipeline’ów streamingowych (Structured Streaming, Event Hubs, Kafka) oraz niezawodnych workflow batchowych wraz z monitoringiem i alertami
Optymalizacja wydajności Spark (partycjonowanie, cache, broadcast joins, AQE, tuning rozmiarów plików) oraz zarządzanie pamięcią i klastrami
Modelowanie danych pod analitykę i ML (architektura medallion: bronze / silver / gold)
Wdrażanie praktyk CI/CD i DevOps dla rozwiązań data engineeringowych
Zapewnienie jakości danych, lineage i governance (np. Great Expectations, Deequ, Azure Purview)
Współpraca z architektami danych, analitykami i zespołami produktowymi
Tworzenie dokumentacji technicznej i materiałów do przekazywania wiedzy

Wymagania:

Azure Databricks (ADB): PySpark, Spark SQL, Delta Lake, job clusters vs all-purpose clusters, workflows
Azure Data Factory (ADF): pipeline’y, data flows, triggery, Integration Runtime, parametryzacja, orkiestracja
Programowanie: Python i PySpark (modularność, obsługa błędów, testy jednostkowe)
Batch & Streaming: Structured Streaming, checkpointing, watermarking, wzorce orkiestracji
Optymalizacja wydajności: tuning Sparka, strategie partycjonowania, Parquet/Delta, cache/persistence, AQE, obsługa skew, optymalizacja joinów i shuffle
SQL: zaawansowany SQL do transformacji, tuningu i debugowania
Bazy danych / storage: relacyjne bazy danych (SQL Server, PostgreSQL) oraz ADLS Gen2
Azure: ADLS, Key Vault, Event Hubs / Service Bus, podstawy sieci i IAM
Kontrola wersji i CI/CD: Git (GitHub / Azure DevOps), pipeline’y build & release dla Databricks i ADF

Mile widziane:

Delta Live Tables (DLT), Unity Catalog, Databricks Workflows
Data Quality / Observability: Great Expectations, Monte Carlo lub podobne
Modelowanie danych: schematy gwiazdy i płatka śniegu
Orkiestracja: Airflow
Messaging / Streaming: Kafka (Confluent), integracja Spark-Kafka
Infrastructure as Code: Terraform / Bicep
Optymalizacja kosztów w Azure Analytics
Doświadczenie z ML pipelines, MLOps, feature stores

Co oferujemy:

Długoterminowa współpraca
Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
Mentoring Competence Center – bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
Jasna ścieżka kariery
Pakiet benefitów pracowniczych (Multisport, prywatna opieka mediczna, ubezpieczenie na życie)
Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe