Wymagania

Technologie wymagane

Pyspark

Palantir

SQL

Nasze wymagania

• Minimum 3 lata doświadczenia komercyjnego na stanowisku Data Engineer
• Minimum 1 rok doświadczenia w pracy z PySpark i platformą Palantir Foundry
• Dobra znajomość SQL i przetwarzania danych
• Umiejętność pracy z dużymi zbiorami danych i rozwiązywania problemów wydajnościowych
• Znajomość koncepcji Data Lake / Data Warehouse
• Umiejętność pracy zespołowej i komunikatywność
• Znajomość języka angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną i komunikację w zespole (min. B2/C1)

Mile widziane

• Doświadczenie z Google Maps.

Twój zakres obowiązków

• Tworzenie, rozwijanie i utrzymywanie pipelines danych w środowisku Palantir Foundry
• Przetwarzanie i transformacja dużych zbiorów danych z wykorzystaniem PySpark
• Integracja danych z różnych źródeł (API, bazy danych, pliki, itp.)
• Współpraca z zespołami analitycznymi, data science oraz biznesem przy projektowaniu rozwiązań opartych na danych
• Monitorowanie, testowanie i optymalizacja wydajności procesów ETL
• Udział w projektach związanych z rozwojem platformy danych i modernizacją istniejących rozwiązań