Senior Data Engineer | Tworzenie skalowalnych rozwiązań chmurowychO DEVTALENTS oraz model zatrudnieniaW DEVTALENTS łączymy wybitnych specjalistów IT z ambitnymi projektami, stosując nasz unikalny model współpracy „Build-Operate-Transfer”. Jako członek zespołu DEVTALENTS będziesz pracować nad innowacyjnymi rozwiązaniami dla naszych klientów, mając jasno określoną ścieżkę prowadzącą do bezpośredniego zatrudnienia u klienta.Twoje obowiązki Prowadzenie projektowania, rozwoju i utrzymania potoków danych oraz procesów ETL/ELT obsługujących duże, zróżnicowane zbiory danych. Optymalizacja procesów pobierania, transformacji i dostarczania danych z wykorzystaniem SQL, PySpark i Pythona. Wykorzystywanie frameworków takich jak Apache Airflow, AWS Glue, Kafka i Redshift w celu zapewnienia wydajnej orkiestracji danych, przetwarzania wsadowego/strumieniowego i wysokiej wydajności analiz. Wdrażanie najlepszych praktyk w zakresie kontroli wersji (Git), infrastruktury jako kodu (Terraform, Ansible) oraz pipeline’ów CI/CD, aby zapewnić solidne, powtarzalne i skalowalne wdrożenia. Ścisła współpraca z zespołami Data Science, Analityki i Product Management przy projektowaniu modeli danych i architektur wspierających cele biznesowe. Monitorowanie, debugowanie i optymalizacja potoków ETL, zapewnianie wysokiej niezawodności, niskich opóźnień i efektywności kosztowej. Mentoring inżynierów na poziomie średnim i juniorskim oraz budowanie kultury dzielenia się wiedzą, ciągłego doskonalenia i innowacji. Nasze wymagania Duża biegłość w SQL, PySpark i Pythonie w zakresie transformacji danych oraz tworzenia skalowalnych potoków danych (minimum 6 lat doświadczenia komercyjnego). Praktyczne doświadczenie w pracy z Apache Airflow, AWS Glue, Kafka i Redshift. Znajomość pracy z dużymi wolumenami danych strukturalnych i częściowo strukturalnych. Mile widziane doświadczenie z DBT. Biegłość w korzystaniu z Gita do kontroli wersji. Airflow jest kluczowy do orkiestracji procesów. Solidne doświadczenie w pracy z AWS (Lambda, S3, CloudWatch, SNS/SQS, Kinesis) oraz znajomość architektur serverless. Doświadczenie w automatyzacji i zarządzaniu infrastrukturą za pomocą Terraform i Ansible. Umiejętności w zakresie monitorowania potoków ETL, rozwiązywania problemów z wydajnością oraz utrzymywania wysokiej niezawodności operacyjnej. Znajomość procesów CI/CD w celu automatyzacji testów, wdrożeń i wersjonowania potoków danych. Umiejętność projektowania rozproszonych systemów, które skalują się horyzontalnie dla dużych wolumenów danych. Wiedza o architekturach przetwarzania w czasie rzeczywistym (Lambda) i wsadowym (Kappa) będzie dodatkowym atutem. Doświadczenie w tworzeniu API (REST, GraphQL, OpenAPI, FastAPI) do wymiany danych. Znajomość zasad Data Mesh i narzędzi self-service do danych będzie dużym plusem. Wcześniejsze doświadczenie w budowaniu skalowalnych platform danych i przetwarzaniu dużych zbiorów danych jest wysoko cenione. Wyższe wykształcenie w zakresie informatyki lub kierunków pokrewnych. Znajomość języka angielskiego na poziomie co najmniej B2. Podejście i nastawienie Proaktywne podejście do rozwiązywania problemów, pasja do podejmowania decyzji w oparciu o dane i nieustannego doskonalenia. Doskonałe umiejętności komunikacyjne pozwalające przekładać złożone koncepcje inżynierii danych na zrozumiały język dla odbiorców technicznych i nietechnicznych. Umiejętność współpracy w środowisku wielofunkcyjnym i zwinnym oraz gotowość do wspierania i mentorowania członków zespołu. Chęć śledzenia trendów branżowych, eksperymentowania z nowymi technologiami i wdrażania innowacji w praktykach inżynierii danych.