
GOLDENORE ITC sp. z o.o.
Data Engineer – projektowanie i rozwój rozwiązań Data Lakehouse (Databricks), tworzenie i optymalizacja jobów PySpark, integracja danych (API, batch, streaming), modelowanie danych, współpraca z biznesem, wdrażanie procesów ETL/ELT oraz CI/CD, zapewnianie jakości i bezpieczeństwa danych. Wymagana biegła znajomość Databricks, PySpark, SQL, Azure/AWS, CI/CD, Terraform. Benefity: dofinansowanie sportu i języków, prywatna opieka medyczna, praca zdalna, elastyczny czas, integracje, biblioteka, brak dress code, kawa/herbata, parking, strefa relaksu.
doświadczenie w pracy z Data Lakehouse architecture,, bardzo dobra znajomość Databricks, w tym:, Delta Lake,, Unity Catalog,, Jobs, Workflows, Clusters, Notebooks,, Asset Bundles, Repos,, zaawansowana znajomość PySpark / Python Spark (tworzenie i optymalizacja jobów),, bardzo dobra znajomość SQL, w tym optymalizacja zapytań w Databricks,, doświadczenie z Delta Live Tables,, praktyka w integracji danych z różnych źródeł (API, streaming, batch),, doświadczenie w pracy w chmurze (Azure lub AWS),, bardzo dobra znajomość koncepcji ETL / ELT oraz Big Data,, praktyczna znajomość CI/CD (GitLab CI, GitHub Actions, Azure DevOps),, doświadczenie w pracy z Unity Catalog, Delta Tables i zarządzaniu schematami danych,, umiejętność odwzorowywania modeli danych (conceptual / logical / physical),, znajomość najlepszych praktyk schema management, schema evolution i versioning., optymalizacja kosztów i wydajności w Databricks,, testowanie i monitoring jobów danych (np. Great Expectations, logging, alerting),, znajomość MLflow,, doświadczenie z Airflow lub innym orkiestratorem zadań,, udział w projektach migracji danych do Databricks,, znajomość data lineage, data quality, data governance, Data Contracts,, doświadczenie w pracy z danymi wrażliwymi i zasadami bezpieczeństwa danych,, znajomość Terraform / Infrastructure as Code.
dofinansowanie zajęć sportowych, prywatna opieka medyczna, dofinansowanie nauki języków, możliwość pracy zdalnej, elastyczny czas pracy, spotkania integracyjne, firmowa biblioteka, brak dress code’u, kawa / herbata, napoje, parking dla pracowników, strefa relaksu
Zaloguj się, aby zobaczyć pełny opis oferty
| Opublikowana | 2 dni temu |
| Wygasa | za 28 dni |
| Źródło |
Nie znaleziono ofert, spróbuj zmienić kryteria wyszukiwania.