Text copied to clipboard!
Заглавие
Text copied to clipboard!Инженер по Hadoop
Описание
Text copied to clipboard!
Търсим Инженер по Hadoop, който да се присъедини към нашия екип и да играе ключова роля в проектирането, внедряването и поддръжката на мащабируеми решения за обработка на големи данни. Като част от нашата технологична структура, вие ще работите с различни екипи за разработка, анализ и поддръжка, за да осигурите надеждност, сигурност и ефективност на нашите Hadoop клъстери и свързаните с тях инструменти. Вашата роля ще включва анализ на изискванията на бизнеса, създаване на архитектурни решения, автоматизация на процеси и оптимизация на производителността на системите. Ще бъдете отговорни за интеграцията на Hadoop с други платформи за данни, както и за мониторинг и разрешаване на инциденти, свързани с инфраструктурата. Освен това ще участвате в процесите по осигуряване на сигурността на данните, управление на достъпа и прилагане на най-добрите практики за работа с чувствителна информация. Вашите ежедневни задачи ще включват писане на скриптове за автоматизация, настройка на клъстери, работа с HDFS, MapReduce, Hive, Pig, Spark и други компоненти на Hadoop екосистемата. Ще работите в тясно сътрудничество с DevOps и Data Science екипи, за да осигурите безпроблемна интеграция и поддръжка на инфраструктурата. Успешният кандидат трябва да има силни аналитични умения, опит с Linux системи, познания по програмиране (Java, Python или Scala) и желание за непрекъснато учене и развитие. Ако сте мотивиран, комуникативен и имате страст към работата с големи данни, ще се радваме да се присъедините към нашия екип.
Отговорности
Text copied to clipboard!- Проектиране, внедряване и поддръжка на Hadoop клъстери
- Мониторинг и оптимизация на производителността на системите
- Интеграция на Hadoop с други платформи за данни
- Автоматизация на процеси чрез скриптове и инструменти
- Осигуряване на сигурност и управление на достъпа до данни
- Разрешаване на технически инциденти и поддръжка на инфраструктурата
- Сътрудничество с други екипи за реализиране на бизнес изисквания
- Документиране на архитектурни решения и процеси
- Участие в процеси по бекъп и възстановяване на данни
- Обучение и подпомагане на по-малко опитни колеги
Изисквания
Text copied to clipboard!- Висше образование в областта на компютърните науки или сходна специалност
- Опит с Hadoop екосистемата (HDFS, MapReduce, Hive, Pig, Spark)
- Умения за работа с Linux/Unix операционни системи
- Познания по програмиране (Java, Python или Scala)
- Опит с инструменти за автоматизация и скриптове (Bash, Shell, Ansible)
- Разбиране на концепциите за сигурност и управление на достъпа
- Аналитично мислене и умения за решаване на проблеми
- Добри комуникационни умения и работа в екип
- Желание за учене и развитие в областта на големите данни
- Предимство е опит с облачни платформи (AWS, Azure, GCP)
Потенциални въпроси за интервю
Text copied to clipboard!- Какъв е вашият опит с Hadoop и свързаните технологии?
- Работили ли сте с HDFS, MapReduce, Hive или Spark?
- Как подхождате към оптимизацията на производителността на Hadoop клъстер?
- Имате ли опит с автоматизация на процеси чрез скриптове?
- Как осигурявате сигурността на данните в Hadoop среда?
- Можете ли да опишете случай, в който сте разрешили критичен инцидент?
- Какви програмни езици използвате най-често?
- Имате ли опит с облачни платформи и интеграция с Hadoop?
- Как се справяте с работа под напрежение и кратки срокове?
- Какви са вашите очаквания за професионално развитие?
