
Upvanta sp. z o.o.
Data Quality Engineer – projektowanie i wdrażanie procesów kontroli jakości danych w hurtowni Snowflake, monitorowanie i automatyzacja w Airflow i Python, współpraca z Data Engineerami i zespołami biznesowymi. Wymagane: Snowflake, SQL, Airflow, Python, doświadczenie w AWS i GitLab. Praca 100 % zdalna, możliwość stałego zatrudnienia lub B2B, długoterminowy projekt.
Opis projektuPoszukujemy doświadczonego Data Quality Engineera, którego zadaniem będzie zapewnienie spójności, integralności i wiarygodności danych w hurtowni Snowflake.Rola koncentruje się na projektowaniu i wdrażaniu procesów kontroli jakości danych - tak, aby dane były zgodne na każdym etapie przetwarzania: od źródła, przez transformacje, aż po warstwę raportową. Kandydat będzie blisko współpracował z Data Engineerami oraz zespołami biznesowymi, monitorując przepływy danych, wychwytując anomalie i proponując usprawnienia.Zakres obowiązkówProjektowanie i implementacja procesów monitorowania oraz poprawy jakości danych (reguły DQ, testy porównawcze).Tworzenie struktur i przepływów wspierających audyt i kontrolę danych.Walidacja zgodności danych – od wejścia, przez transformacje, aż po warstwę wynikową.Automatyzacja procesów monitorowania jakości z wykorzystaniem Airflow i Python.Współpraca i dzielenie się wiedzą w ramach zespołu scrumowego.Praca w języku polskim z lokalnym zespołem oraz w języku angielskim z zespołami międzynarodowymi.WymaganiaDoświadczenie:Praca z hurtowniami danych w chmurze (preferowane Snowflake).Realizacja projektów z zakresu Data Quality (walidacja przepływów danych, projektowanie reguł DQ, porównania danych źródłowych i wynikowych).Bardzo dobra znajomość:Snowflake (projektowanie, walidacja, monitorowanie danych).SQL (tworzenie zapytań kontrolnych, reguł walidacyjnych).Airflow (automatyzacja procesów monitorowania jakości).Python (implementacja testów jakości danych, porównań danych).Dodatkowe kompetencje (min. średni poziom):AWS (S3, Batch, Kinesis, Firehose, Lambda).GitLab (kontrola wersji, CI/CD dla procesów DQ). Warunki współpracyStart: od zaraz.Czas trwania: długoterminowa współpraca.Tryb pracy: 100% zdalnie.
Zaloguj się, aby zobaczyć pełny opis oferty
| Opublikowana | 3 miesiące temu |
| Wygasa | za 8 dni |
| Rodzaj umowy | PERMANENT, B2B |
| Źródło |
Nie znaleziono ofert, spróbuj zmienić kryteria wyszukiwania.