Data Engineer

Data Engineer

GOLDENORE ITC sp. z o.o.

Warszawa
📊 Data Engineer
📊 Data Lakehouse
📊 Databricks
PySpark
Spark SQL
ETL
ELT
CI/CD
☁️ Azure
☁️ AWS
Terraform

Podsumowanie

Data Engineer – projektowanie i rozwój rozwiązań Data Lakehouse (Databricks), tworzenie i optymalizacja jobów PySpark, integracja danych (API, batch, streaming), modelowanie danych, współpraca z biznesem, wdrażanie procesów ETL/ELT oraz CI/CD, zapewnianie jakości i bezpieczeństwa danych. Wymagana biegła znajomość Databricks, PySpark, SQL, Azure/AWS, CI/CD, Terraform. Benefity: dofinansowanie sportu i języków, prywatna opieka medyczna, praca zdalna, elastyczny czas, integracje, biblioteka, brak dress code, kawa/herbata, parking, strefa relaksu.

Słowa kluczowe

Data EngineerData LakehouseDatabricksPySparkSpark SQLETLELTCI/CDAzureAWSTerraform

Benefity

  • dofinansowanie zajęć sportowych
  • prywatna opieka medyczna
  • dofinansowanie nauki języków
  • możliwość pracy zdalnej
  • elastyczny czas pracy
  • spotkania integracyjne
  • firmowa biblioteka
  • brak dress code’u
  • kawa / herbata
  • napoje
  • parking dla pracowników
  • strefa relaksu

Opis stanowiska

Wymagania

doświadczenie w pracy z Data Lakehouse architecture,, bardzo dobra znajomość Databricks, w tym:, Delta Lake,, Unity Catalog,, Jobs, Workflows, Clusters, Notebooks,, Asset Bundles, Repos,, zaawansowana znajomość PySpark / Python Spark (tworzenie i optymalizacja jobów),, bardzo dobra znajomość SQL, w tym optymalizacja zapytań w Databricks,, doświadczenie z Delta Live Tables,, praktyka w integracji danych z różnych źródeł (API, streaming, batch),, doświadczenie w pracy w chmurze (Azure lub AWS),, bardzo dobra znajomość koncepcji ETL / ELT oraz Big Data,, praktyczna znajomość CI/CD (GitLab CI, GitHub Actions, Azure DevOps),, doświadczenie w pracy z Unity Catalog, Delta Tables i zarządzaniu schematami danych,, umiejętność odwzorowywania modeli danych (conceptual / logical / physical),, znajomość najlepszych praktyk schema management, schema evolution i versioning., optymalizacja kosztów i wydajności w Databricks,, testowanie i monitoring jobów danych (np. Great Expectations, logging, alerting),, znajomość MLflow,, doświadczenie z Airflow lub innym orkiestratorem zadań,, udział w projektach migracji danych do Databricks,, znajomość data lineage, data quality, data governance, Data Contracts,, doświadczenie w pracy z danymi wrażliwymi i zasadami bezpieczeństwa danych,, znajomość Terraform / Infrastructure as Code.

Benefity

dofinansowanie zajęć sportowych, prywatna opieka medyczna, dofinansowanie nauki języków, możliwość pracy zdalnej, elastyczny czas pracy, spotkania integracyjne, firmowa biblioteka, brak dress code’u, kawa / herbata, napoje, parking dla pracowników, strefa relaksu

Zaloguj się, aby zobaczyć pełny opis oferty

Wyświetlenia: 3
Opublikowana2 dni temu
Wygasaza 28 dni
Źródło
Logo

Podobne oferty, które mogą Cię zainteresować

Na podstawie "Data Engineer"

Nie znaleziono ofert, spróbuj zmienić kryteria wyszukiwania.