Jako Get IT Together specjalizujemy się w dostarczaniu wysoko wykwalifikowanych Ekspertów IT, w obszarach zarządzania projektami, architektury, analizy biznesowej i systemowej czy rozwoju oprogramowania.Dla naszego klienta poszukujemy doświadczonych Data Engineerów do projektu rozwoju systemów Autonomous Vehicles. Projekt koncentruje się na przetwarzaniu i analizie danych symulacyjnych oraz rzeczywistych danych sensorycznych wykorzystywanych do budowy i walidacji funkcji pojazdów autonomicznych.Zespół odpowiada za kompletne pipeline’y danych – od surowych danych z czujników, po zestawy gotowe do symulacji i dalszych prac analitycznych.Co zyskasz pracując z nami:Formę współpracy w oparciu o kontrakt b2b z Get IT TogetherPracę zdalnąKontrakt fulltimeNiezbędne narzędzia pracyPracę w międzynarodowym środowisku przy innowacyjnym projekcie, w którym generowane jest nawet do 1 TB danych na godzinęZa co będziesz odpowiedzialny/a:Analiza dużych wolumenów danych sensorycznych z rzeczywistych przejazdów pojazdów autonomicznychTworzenie zaawansowanych zapytań i transformacji danych w oparciu o SQL, Python oraz Spark / PySparkFiltrowanie, agregacja oraz przetwarzanie danych szeregów czasowychPraca z wewnętrznymi narzędziami (aplikacje webowe, usługi backendowe) wspierającymi wyszukiwanie danych oraz procesy automatycznego etykietowaniaPrzetwarzanie danych ustrukturyzowanych oraz półustrukturyzowanych Identyfikowanie danych, które będą wykorzystywane w procesach symulacji oraz w pipeline’ach uczenia modeliProponowanie oraz weryfikacja nowych podejść analitycznych usprawniających proces odkrywania i selekcji danychProjektowanie, implementacja oraz utrzymanie skryptów do zaawansowanego data mininguBudowa i rozwój procesów ETL dla bardzo dużych zbiorów danychRozwijanie narzędzi analitycznych i data-miningowych usprawniających codzienną pracę zespołuJakie kompetencje są niezbędne:Minimum 4 lata komercyjnego doświadczenia zawodowego na podobnym stanowiskuBardzo dobra znajomość SQLBardzo dobra znajomość języka Python Bardzo dobra znajomość Spark / PySparkJakie kompetencje są mile widziane:Praktyczne doświadczenie w pracy z DatabricksZnajomość procesów związanych z przygotowaniem danych do uczenia modeli Wykształcenie wyższe na kierunku informatycznym lub pokrewnym