Praca Senior Databricks Engineer w Astek

Opis stanowiska

Obecnie dla naszego klienta z branży commerce poszukujemy kandydata/kandydatki na stanowisko Senior Databricks Engineera/-ki.

Projektowanie, implementacja i optymalizacja rozwiązań data engineeringowych w oparciu o Azure Databricks, ADLS Gen2 oraz format Delta Lake
Tworzenie i utrzymywanie pipeline’ów przetwarzania danych z wykorzystaniem PySpark, Spark SQL oraz architektury medallion
Projektowanie wydajnych i niezawodnych procesów ETL/ELT oraz ich orkiestracja w Azure Data Factory
Implementacja modeli danych i warstw servingowych w oparciu o Azure Synapse Analytics lub Azure SQL Database/SQL Server
Budowa i utrzymanie środowiska deweloperskiego z użyciem Git, Azure DevOps oraz Databricks Repos (branching, code review, standardy kodowania)
Dbałość o jakość i optymalizację kosztową pipeline’ów – cluster sizing, autoscaling, tuning Spark
Tworzenie integracji z systemami zewnętrznych z wykorzystaniem REST API
Współtworzenie infrastruktury jako kod przy użyciu Terraform (IaC)
Przygotowywanie danych na potrzeby raportowania i analityki, w tym integracja z Power BI
Udział w projektowaniu architektury platformy danych i rekomendowanie najlepszych praktyk
Pełnienie roli technicznego autorytetu w zespole (benchmark), mentoring, wsparcie merytoryczne, wprowadzanie standardów i dobrych praktyk
Współpraca z analitykami, data scientistami i zespołem biznesowym w celu dostarczenia skalowalnych i odpornych rozwiązań

Posiadasz ekspercką znajomość PySpark
Zaawansowana znajomość Spark SQL
Praktyczna znajomość Delta Lake (Delta tables, Z-Ordering, OPTIMIZE, VACUUM, Time Travel)
Doświadczenie z Azure DevOps, pipelines CI/CD
Bardzo dobra znajomość Git, w tym branching strategies
Praktyczna praca z Databricks Repos
Umiejętność przygotowywania zestawów danych i modeli na potrzeby raportowania
Bardzo zaawansowana znajomość Azure Databricks oraz Azure Data Lake Storage (ADLS Gen2)
Doświadczenie w budowaniu architektury medallion (bronze/silver/gold)
Bardzo dobra znajomość Azure Synapse Analytics LUB Doświadczenie z Azure SQL Database / SQL Server (modelowanie, optymalizacja zapytań, performance tuning)
Doświadczenie w Azure Data Factory – pipelines, mapping data flows, triggerowanie procesów

Znajomość Pythona w kontekście skryptów i integracji poza Sparkiem
Znajomość REST API – implementacja i konsumpcja
Znajomość Terraform – provisioning infrastruktury (ADF, Databricks, storage, networking)

Długoterminowa współpraca
Szkolenia techniczne, certyfikaty i podnoszenie kwalifikacji
Mentoring Competence Center – bycie członkiem społeczności CC od pierwszego dnia pracy jest szansą na rozwijanie swoich umiejętności, uczestniczenie w różnych konferencjach oraz dzielenie się wiedzą i doświadczeniem z ludźmi, którzy na co dzień mierzą się z tymi samymi wyzwaniami
Jasna ścieżka kariery
Pakiet benefitów pracowniczych (Multisport, prywatna opieka medochowa, ubezpieczenie na życie)
Przyjazną atmosferę pracy, imprezy integracyjne i spotkania team-buildingowe