Text copied to clipboard!
Titel
Text copied to clipboard!Hadoop Ingeniør
Beskrivelse
Text copied to clipboard!
Vi søger en erfaren Hadoop Ingeniør til at designe, implementere og vedligeholde robuste Big Data-løsninger baseret på Hadoop-økosystemet. Som Hadoop Ingeniør vil du spille en central rolle i vores data engineering-team og arbejde tæt sammen med data scientists, udviklere og forretningsanalytikere for at sikre, at vores dataplatforme er skalerbare, pålidelige og effektive. Du vil være ansvarlig for at udvikle og optimere data pipelines, administrere Hadoop-klynger, samt sikre dataintegration og -sikkerhed på tværs af organisationen.
Dine opgaver vil inkludere installation, konfiguration og overvågning af Hadoop-komponenter såsom HDFS, MapReduce, Hive, Pig, HBase og Spark. Du vil arbejde med både batch- og realtidsdatabehandling og være ansvarlig for fejlfinding og performance tuning af komplekse dataprocesser. Derudover forventes det, at du bidrager til udviklingen af best practices og dokumentation, samt deltager i evaluering og implementering af nye teknologier og værktøjer inden for Big Data.
Vi lægger vægt på, at du har en stærk teknisk baggrund, erfaring med store datamængder og en analytisk tilgang til problemløsning. Du skal kunne arbejde selvstændigt, men også trives i tværfaglige teams, hvor samarbejde og vidensdeling er i fokus. Erfaring med cloud-baserede Hadoop-løsninger og automatisering af data workflows vil være en fordel. Hvis du brænder for at arbejde med avancerede datateknologier og ønsker at bidrage til udviklingen af fremtidens dataplatforme, er dette jobbet for dig.
Ansvarsområder
Text copied to clipboard!- Designe og implementere Hadoop-baserede dataløsninger
- Installere, konfigurere og vedligeholde Hadoop-klynger
- Udvikle og optimere data pipelines og ETL-processer
- Overvåge og sikre performance og stabilitet af dataplatforme
- Fejlfinding og problemløsning på Hadoop-komponenter
- Samarbejde med data scientists og udviklere om dataintegration
- Udarbejde teknisk dokumentation og best practices
- Evaluere og implementere nye Big Data-teknologier
- Sikre datasikkerhed og compliance i dataplatformen
- Automatisere og optimere data workflows
Krav
Text copied to clipboard!- Erfaring med Hadoop-økosystemet (HDFS, MapReduce, Hive, Pig, HBase, Spark)
- Stærke programmeringsevner i Java, Scala eller Python
- Kendskab til Linux-miljøer og shell scripting
- Erfaring med data pipelines og ETL-processer
- Forståelse for distribuerede systemer og datalagring
- Evne til at arbejde selvstændigt og i teams
- Gode kommunikations- og samarbejdsevner
- Erfaring med cloud-platforme (AWS, Azure eller Google Cloud) er en fordel
- Kendskab til automatisering og CI/CD-processer
- Relevant uddannelse inden for IT, datalogi eller lignende
Mulige interviewspørgsmål
Text copied to clipboard!- Hvilken erfaring har du med Hadoop-økosystemet?
- Kan du beskrive en kompleks data pipeline, du har udviklet?
- Hvordan sikrer du performance og stabilitet i en Hadoop-klynge?
- Har du erfaring med cloud-baserede dataplatforme?
- Hvordan håndterer du datasikkerhed og compliance?
- Hvilke programmeringssprog foretrækker du at arbejde med?
- Hvordan holder du dig opdateret på nye Big Data-teknologier?
- Kan du give et eksempel på en udfordring, du har løst i et Big Data-projekt?
- Hvordan arbejder du sammen med andre teams i organisationen?
- Hvilke værktøjer bruger du til automatisering af data workflows?