Wymagania

Technologie wymagane

Databricks

Python

Wymagania pracodawcy

• Doświadczenie w pracy z Databricks oraz rozproszonym przetwarzaniem danych z użyciem Apache Spark (PySpark)
• Bardzo dobra znajomość SQL oraz doświadczenie w pracy z Delta Lake i architekturą medallion
• Praktyczna znajomość Python lub Scala do budowy pipelines
• Doświadczenie z chmurą (Azure / AWS) i narzędziami do orkiestracji danych
• Znajomość zasad ETL/ELT, monitoringu i obsługi błędów
• Zrozumienie koncepcji Data Lake / Data Lakehouse, Data Governance i Unity Catalog
• Znajomość narzędzi do wersjonowania kodu (np. Git) oraz CI/CD
• Bardzo dobra znajomość języka angielskiego
• Komunikatywność, dokładność, sumienność

Twój zakres obowiązków

• Projektowanie, implementacja i optymalizacja przepływów danych (ETL/ELT)
• Integracja danych z różnych źródeł (np. ERP, MES, IoT, API, pliki)
• Utrzymywanie i rozwój hurtowni danych / data lake
• Tworzenie i zarządzanie potokami danych w środowiskach chmurowych (Azure/AWS/GCP)
• Zapewnienie wysokiej jakości danych: walidacja, czyszczenie, wzbogacanie danych
• Współpraca z Data Scientistami, Analitykami i zespołami biznesowymi