Топ 29 Въпроси и отговори за интервю за инженер на данни

top 29 data engineer interview questions

Списък с най-често задаваните въпроси и отговори на интервю за инженер на данни, които да ви помогнат да се подготвите за предстоящото интервю:

Днес инженерингът на данни е най-търсената област след разработването на софтуер и се превърна в един от най-бързо растящите варианти за работа в света. Интервюиращите искат най-добрите инженери за данни за своя екип и затова са склонни да интервюират старателно кандидатите. Те търсят определени умения и знания. Така че, трябва да сте подготвени съответно, за да отговорите на техните очаквания.

Какво ще научите:

• Отговорности на инженер по данни
• Умения на инженер по данни
• Често задавани въпроси за интервю на инженер по данни
  • Общи въпроси за интервю
  • Въпроси за технически интервю
• Заключение
  • Препоръчително четене

Отговорности на инженер по данни

Отговорностите включват:

• Да обработва и контролира данните в компанията.
• Поддържайте и обработвайте системата за източници на данни и зоните за подреждане.
• Опростете почистването на данните заедно с последващото изграждане и подобряване на редупликацията на данни.
• Направете достъпни и изпълнете трансформация на данни и ETL процес.
• Извличане и извършване на ad-hoc изграждане на заявки за данни.

Умения на инженер по данни

С квалификацията се нуждаете и от определени умения. И двете са от решаващо значение, когато се подготвяте за позицията инженер на данни. Тук изброяваме 5-те най-добри умения, без конкретен ред, които ще ви трябват, за да станете успешен инженер на данни.

• Умения за визуализация на данни.
• Python и SQL.
• Знания за моделиране на данни както за големи данни, така и за съхранение на данни
• Математика
• Ноу-хау в ETL
• Опит за пространство с големи данни

Така че, трябва да работите върху подобряването на тези набори от умения, преди да започнете да се подготвяте за интервюто си. И когато сте усъвършенствали уменията си, ето няколко въпроса за интервю, които можете да подготвите, за да накарате интервюиращите да ви забележат и да наемат и вас.

Често задавани въпроси за интервю на инженер по данни

Общи въпроси за интервю

В # 1) Защо сте учили инженеринг на данни?

Отговор: Този въпрос има за цел да научи за вашето образование, трудов опит и опит. Може да е бил естествен избор в продължението на вашата степен по информационни системи или компютърни науки. Или може би сте работили в подобна област или може би сте преминали от съвсем различна работна област.

Каквато и да е историята ви, не се сдържайте или не се притеснявайте. И докато споделяте, продължавайте да подчертавате уменията, които сте научили по пътя, и отличната работа, която сте свършили.

Не започвайте обаче да разказвате истории. Започнете с образованието си малко и след това стигнете до частта, когато сте знаели, че искате да станете инженер на данни. И след това продължете по начина, по който стигате до тук.

В # 2) Кое е най-трудното нещо в това да си инженер на данни според теб?

Отговор: Трябва да отговорите честно на този въпрос. Не всеки аспект на всички работни места е лесен и вашият интервюиращ знае това. Целта на този въпрос не е да посочите слабостта си, а да разберете как работите чрез неща, с които ви е трудно да се справите.

Можете да кажете нещо като: „Като инженер на данни ми е трудно да изпълня заявката на всички отдели във фирма, където повечето от тях често излагат противоречиви изисквания. Така че, често ми се струва предизвикателство да ги балансирам по съответния начин.

Но ми предложи ценна представа за работата на отделите и ролята, която те играят в цялостната структура на компанията. ' И това е само един пример. Можете и трябва да поставите вашата гледна точка.

В # 3) Кажете ни инцидент, при който е трябвало да съберете данни от различни източници, но сте се сблъскали с неочаквани проблеми и как сте го разрешили?

Отговор: Този въпрос е възможност за вас да демонстрирате уменията си за решаване на проблеми и как се адаптирате към внезапните промени в плана. Въпросът може да бъде адресиран като цяло или конкретно в контекста на инженеринга на данни. Ако не сте преминали през подобно преживяване, можете да дадете хипотетичен отговор.

Ето примерен отговор: „В моята предишна франчайз компания, аз и моят екип трябваше да събираме данни от различни места и системи. Но един от франчайзите промени системата си, без да ни уведоми предварително. Това доведе до няколко проблема за събиране и обработка на данни.

За да разрешим това, трябваше да измислим бързо краткосрочно решение за получаване на основните данни в системата на компанията. И след това разработихме дългосрочно решение, за да предотвратим повторното възникване на подобни проблеми. '

В # 4) С какво работата на инженера по данни се различава от работата на архитекта на данни?

Отговор: Този въпрос има за цел да провери дали разбирате, че има разлики в екипа на хранилище за данни. Не можете да сбъркате с отговора. Отговорностите и на двамата се припокриват или варират в зависимост от това от какво се нуждае отделът за поддръжка на базата данни или компанията.

Можете да кажете, че „според моя опит разликата между ролите на инженер на данни и архитект на данни варира в различните компании. Въпреки че те работят в тясно сътрудничество, има различия в общите им отговорности.

Управлението на сървърите и изграждането на архитектурата на системата за данни на компанията е отговорност на архитекта на данни. А работата на инженер по данни е да тества и поддържа тази архитектура. Заедно с това ние, инженерите на данни, гарантираме, че данните, които се предоставят на анализаторите, са с високо качество и надеждност. “

Въпроси за технически интервю

В # 5) Какви са четирите V на Big Data?

(изображение източник )

Отговор:

Четирите V на Big Data са:

• Първият V е Скорост което се отнася до скоростта, с която се генерират големи данни с течение на времето. Така че, може да се счита за анализ на данните.
• Второто V е Разнообразие на различни форми на Големи данни, било то в изображения, регистрационни файлове, медийни файлове и гласови записи.
• Третото V е Сила на звука от данните. Може да е в броя на потребителите, броя на таблиците, размера на данните или броя на записите.
• Четвъртото V е Достоверност свързани с несигурността или сигурността на данните. С други думи, той решава доколко сте сигурни в точността на данните.

В # 6) По какво се различават структурираните данни от неструктурираните данни?

Отговор: Таблицата по-долу обяснява разликите:

В # 7) Кои ETL инструменти са ви познати?

Отговор: Назовете всички ETL инструменти, с които сте работили. Можете да кажете: „Работил съм със SAS за управление на данни, IBM Infosphere и SAP Data Services. Но предпочитаният от мен е PowerCenter от Informatica. Той е ефективен, има изключително висока производителност и е гъвкав. Накратко, той притежава всички важни свойства на добрия ETL инструмент.

Те безпроблемно изпълняват операции с бизнес данни и гарантират достъп до данни, дори когато има промени в бизнеса или неговата структура. ' Уверете се, че говорите само за тези, с които сте работили, и тези, с които харесвате да работите. Или може да ви даде интервю по-късно.

В # 8) Разкажете ни за схемите за проектиране на моделирането на данни.

Отговор: Моделирането на данни се предлага с два вида схеми за проектиране.

Те се обясняват по следния начин:

• Първият е Звезден график , който е разделен на две части - таблицата с фактите и таблицата с измерения. Тук и двете таблици са свързани. Звездната схема е най-простият стил на схемата за данни и също е най-широко подхождана. Наречен е така, защото по своята структура наподобява звезда.
• Вторият е Схема на снежинка което е разширението на звездната схема. Той добавя допълнителни размери и се нарича снежинка, защото структурата му наподобява тази на снежинка.

В # 9) Каква е разликата между схема на звезда и схема на снежинка?

(изображение източник )

Отговор: Таблицата по-долу обяснява разликите:

В # 10) Каква е разликата между хранилището на данни и оперативната база данни?

Отговор: Таблицата по-долу обяснява разликите:

В # 11) Посочете разликата между OLTP и OLAP.

Отговор: Таблицата по-долу обяснява разликите:

Q # 12) Обяснете основната концепция зад рамката на Apache Hadoop.

Отговор: Той се основава на алгоритъма MapReduce. В този алгоритъм за обработка на огромен набор от данни се използват операции за картографиране и намаляване. Картира, филтрира и сортира данните, докато намалява, обобщава данните. Мащабируемостта и толерантността към грешки са ключовите моменти в тази концепция. Можем да постигнем тези функции в Apache Hadoop, като ефективно внедряваме MapReduce и Multi-threading.

В # 13) Работили ли сте някога с Hadoop Framework?

(изображение източник )

Отговор: Много мениджъри по наемане питат за инструмента Hadoop в интервюто, за да знаят дали сте запознати с инструментите и езиците, които компанията използва. Ако сте работили с Hadoop Framework, кажете им подробностите за вашия проект, за да осветят вашите знания и умения с инструмента и неговите възможности. И ако никога не сте работили с него, някои изследвания, които да покажат известно познаване на неговите атрибути, също ще работят.

Можеш да кажеш, например, „Докато работех по екипен проект, имах шанса да работя с Hadoop. Бяхме фокусирани върху повишаването на ефективността на обработката на данни, така че поради способността му да увеличава скоростта на обработка на данни, без да нарушава качеството по време на разпределената обработка, решихме да използваме Hadoop.

И тъй като предишната ми компания очакваше значително увеличение на обработката на данни през следващите няколко месеца, нейната мащабируемост също беше полезна. Hadoop също е мрежа с отворен код, базирана на Java, което я прави най-добрият вариант за проектите с ограничени ресурси и лесен за използване без допълнително обучение. '

Топ 10 музика изтегляне за Android

В # 14) Споменете някои важни характеристики на Hadoop.

Отговор: Характеристиките са както следва:

• Hadoop е безплатна рамка с отворен код, където можем да променим изходния код според нашето изискване.
• Той поддържа по-бързо разпределената обработка на данни. HDFS Hadoop съхранява данни по разпределен начин и използва MapReduce за паралелна обработка на данните.
• Hadoop е силно толерантен и по подразбиране на различни възли позволява на потребителя да създаде три реплики на всеки блок. Така че, ако един от възлите е неуспешен, можем да възстановим данните от друг възел.
• Той също е мащабируем и е съвместим с много хардуер.
• Тъй като Hadoop съхранява данни в клъстери, независимо от всички останали операции. Следователно е надежден. Съхранените данни остават незасегнати от неизправността на машините. И така, той също е много достъпен.

В # 15) Как можете да увеличите бизнес приходите, като анализирате големи данни?

Отговор: Анализът на големи данни е жизненоважна част от бизнеса, тъй като им помага да се различават един от друг, заедно с увеличаване на приходите. Анализът на големи данни предлага персонализирани предложения и препоръки за бизнеса чрез прогнозен анализ.

Също така помага на бизнеса при пускането на нови продукти въз основа на предпочитанията и нуждите на клиентите. Това помага на бизнеса да печели значително повече, приблизително с 5-20% повече. Компании като Bank of America, LinkedIn, Twitter, Walmart, Facebook и др. Използват анализ на големи данни, за да увеличат приходите си.

Въпрос # 16) Докато разгръщате решение за големи данни, какви стъпки трябва да следвате?

Отговор: Има три стъпки, които трябва да се следват при внедряването на решение за големи данни:

• Поглъщане на данни- Това е първата стъпка в внедряването на решение за големи данни. Това е извличане на данни от различни източници като SAP, MYSQL, Salesforce, регистрационни файлове, вътрешна база данни и др. Поглъщането на данни може да стане чрез поточно предаване в реално време или групови задачи.
• Хранилище за данни- След поглъщането на данните, извлечените данни трябва да се съхраняват някъде. Той се съхранява в бази данни HDFS или NoSQL. HDFS работи добре за последователен достъп чрез HBase за произволен достъп за четене или запис.
• Обработка на данни- Това е третата и заключителна стъпка за внедряване на решение за големи данни. След съхранение данните се обработват чрез една от основните рамки като MapReduce или Pig.

Въпрос # 17) Какво представлява блок и блоков скенер в HDFS?

Отговор: Блокът е минималното количество данни, които могат да бъдат записани или прочетени в HDFS. 64MB е размерът на блок по подразбиране.

Скенерът на блокове е програма, която проследява периодично броя на блоковете в DataNode, заедно с проверката им за евентуални грешки в контролната сума и повреда на данните.

Въпрос # 18) Какви са предизвикателствата, с които сте се сблъсквали при въвеждането на нови приложения за анализ на данни, ако някога сте въвели такова?

Отговор: Ако никога не сте въвеждали нови анализи на данни, можете просто да го кажете. Тъй като те са доста скъпи и следователно не често компаниите правят това. Но ако дадена компания реши да инвестира в нея, това може да бъде изключително амбициозен проект. Ще се нуждаят от висококвалифицирани служители, за да инсталират, свържат, използват и поддържат тези инструменти.

Така че, ако някога сте преминали през процеса, кажете им с какви пречки сте се сблъскали и как сте ги преодолели. Ако не сте, кажете им подробно какво знаете за процеса. Този въпрос определя дали имате основното ноу-хау за преодоляване на проблемите, които могат да възникнат по време на въвеждането на нови приложения за анализ на данни.

Примерен отговор; „Бях част от въвеждането на нов анализ на данни в предишната ми компания. Целият процес е сложен и се нуждае от добре планиран процес за възможно най-плавен преход.

Въпреки това, дори и при безупречно планиране, не винаги можем да избегнем непредвидени обстоятелства и проблеми. Един такъв проблем беше невероятно голямото търсене на потребителски лицензи. Той надмина и надхвърли очакваното. За да получи допълнителните лицензи, компанията трябваше да преразпредели финансовите ресурси.

Освен това обучението трябваше да бъде планирано по начин, който да не възпрепятства работния процес. Освен това трябваше да оптимизираме инфраструктурата, за да поддържаме големия брой потребители. “

Въпрос # 19) Какво ще стане, ако NameNode се срине в HDFS клъстера?

Отговор: Клъстерът HDFS има само един NameNode и той поддържа метаданните на DataNode. Наличието само на един NameNode дава на HDFS клъстерите една точка на отказ.

Така че, ако NameNode се срине, системите може да станат недостъпни. За да предотвратим това, можем да посочим вторичен NameNode, който взема периодичните контролни точки във файловите системи HDFS, но не е резервно копие на NameNode. Но можем да го използваме, за да пресъздадем NameNode и да рестартираме.

В # 20) Разлика между NAS и DAS в клъстера Hadoop.

Отговор: В NAS слоевете за съхранение и изчисления са отделни и след това съхранението се разпределя между различни сървъри в мрежата. Докато е в DAS, съхранението обикновено е прикрепено към изчислителния възел. Apache Hadoop се основава на принципа на обработка в близост до определено място с данни.

Следователно дискът за съхранение трябва да бъде локален за изчисление. DAS ви помага да постигнете производителност на клъстер Hadoop и може да се използва на стоков хардуер. С прости думи, това е по-рентабилно. NAS съхранението се предпочита с висока честотна лента от около 10 GbE.

В # 21) По-добро ли е изграждането на база данни NoSQL от изграждането на релационна база данни?

(изображение източник )

Отговор: В отговор на този въпрос трябва да покажете знанията си за двете бази данни. Освен това трябва да го подкрепите с пример за ситуацията, демонстриращ как ще или сте приложили ноу-хау в реален проект.

Вашият отговор може да бъде нещо подобно „В някои ситуации може да е от полза да се изгради база данни NoSQL. В последната ми компания, когато франчайз системата нарастваше експоненциално, трябваше бързо да се мащабираме, за да се възползваме максимално от всички оперативни данни и данни за продажбите, с които разполагахме.

Мащабирането е по-добро от мащабирането с по-големи сървъри при обработка на увеличеното натоварване за обработка на данни. Изгодно е и е по-лесно да се постигне с базите данни NoSQL, тъй като лесно може да се справи с огромни обеми данни. Това е полезно, когато в бъдеще трябва да реагирате бързо на значителни промени в натоварването на данни.

Въпреки че релационните бази данни идват с по-добра свързаност с всякакви инструменти за анализ. Но базите данни NoSQL могат да предложат много. “

В # 22) Какво правите, когато срещнете неочакван проблем с поддръжката на данните? Пробвали ли сте някакви нестандартни решения за това?

Отговор: Неизбежно възникват неочаквани проблеми от време на време при всяка рутинна задача, дори по време на поддръжката на данните. Този въпрос има за цел да разбере дали можете да се справите със ситуации под високо налягане и как.

Можете да кажете нещо като „поддръжката на данни може да е рутинна задача, но е жизненоважно внимателно да наблюдавате конкретните задачи, включително да се уверите в успешното изпълнение на скриптовете.

Веднъж, докато провеждах проверката на целостта, попаднах на корумпиран индекс, който можеше да причини сериозни проблеми в бъдеще. Ето защо измислих нова задача за поддръжка за предотвратяване на добавянето на корумпирани индекси в базата данни на компанията. '

В # 23) Обучавали ли сте някога някого във вашата област? Ако отговорът е да, какво ви се струва най-предизвикателно в това отношение?

Отговор: Обикновено инженерите на данни са необходими, за да обучат своите колеги по нови системи или процеси, които сте създали, или да обучат нови служители на вече съществуващи системи и архитектура. Така че, с този въпрос, вашият интервюиращ иска да знае дали можете да се справите с това. Ако не сте имали възможност сами да обучите някого, говорете за предизвикателствата на някой, който е тренирал или знаете, че сте се сблъсквали.

Пример за идеалния отговор ще бъде нещо подобно. „Да, имах шанса да обуча малки и големи и двете групи колеги. Обучението на нови служители със значителен опит в друга компания е най-предизвикателната задача, която съм срещал. Те често са толкова свикнали да подхождат към данните от една различна гледна точка, че се борят да приемат начина, по който правим нещата.

Често те са изключително мнителни и мислят, че знаят всичко правилно и затова им отнема много време, за да осъзнаят, че проблемът може да има повече от едно решение. Опитвам се да ги насърча да отворят съзнанието си и да приемат алтернативни възможности, като подчертавам колко успешни са били нашата архитектура и процеси. “

В # 24) Какви са плюсовете и минусите на работата в облачните изчисления?

(изображение източник )

Отговор:

Професионалисти:

• Без разходи за инфраструктура.
• Минимално управление.
• Без главоболия по отношение на управлението и администрацията.
• Лесен за достъп.
• Платете за това, което използвате.
• Надеждна е.
• Той предлага контрол на данните, архивиране и възстановяване.
• Огромно съхранение.

Минуси:

• Той се нуждае от добра интернет връзка с еднакво добра честотна лента, за да функционира добре.
• Има си престой.
• Вашият контрол върху инфраструктурата ще бъде ограничен.
• Гъвкавостта е малка.
• Той има определени текущи разходи.
• Възможно е да има проблеми със сигурността и технически проблеми.

В # 25) Работата на инженерите на данни обикновено е „зад кулисите“. Удобно ли ви е да работите далеч от „прожекторите“?

Отговор: Вашият мениджър по наемане иска да знае дали обичате светлината на прожекторите или можете да работите добре и в двете ситуации. Вашият отговор трябва да им каже, че въпреки че харесвате светлината на прожекторите, вие се чувствате комфортно и във фонов режим.

„Важното за мен е, че трябва да бъда експерт в своята област и да допринасям за растежа на моята компания. Ако трябва да работя в светлината на прожекторите, и аз се чувствам комфортно. Ако има проблем, който ръководителите трябва да разгледат, няма да се поколебая да повиша гласа си и да го насоча към тях. “

В # 26) Какво се случва, когато скенерът за блокове открие повреден блок с данни?

Отговор: На първо място, DataNode отчита до NameNode. Тогава NameNode започва да създава нова реплика чрез репликата на повредения блок. Повреденият блок данни няма да бъде изтрит, ако броят на репликациите на правилните реплики съвпада с фактора на репликация.

В # 27) Открили ли сте някога новаторска употреба за вече съществуващи данни? Положително ли се отрази на компанията?

Отговор: Този въпрос е предназначен за тях да разберат дали сте самомотивирани и достатъчно нетърпеливи да допринесете за успеха на проектите. Ако е възможно, отговорете на въпроса с пример, когато сте поели отговорността за даден проект или сте измислили идея. И ако някога сте представяли ново решение на проблем, не го пропускайте.

Примерен отговор: „В последната си работа взех участие, за да разбера защо имаме висока скорост на текучество на служителите. Наблюдавах внимателно данните от различни отдели, където открих силно корелирани данни в ключови области като финанси, маркетинг, операции и т.н., както и скоростта на текучество на служителите.

Сътрудничи с аналитиците на отдела за по-добро разбиране на тези корелации. С нашето разбиране направихме някои стратегически промени, които повлияха положително на процента на текучеството на служителите. “

В # 28) Какви нетехнически умения смятате, че са ви най-полезни като инженер на данни?

Отговор: Опитайте се да избягвате най-очевидните отговори като комуникативни или междуличностни умения. Можете да кажете: „Приоритизирането и многозадачността често са ми били полезни в работата. Получаваме различни задачи на ден, защото работим с различни отдели. И следователно става жизненоважно да ги приоритизираме. Това улеснява работата ни и ни помага ефективно да ги завършим всички. “

В # 29) Кои са някои често срещани проблеми, с които сте се сблъсквали като инженер на данни?

Отговор: Това са:

• Непрекъсната интеграция в реално време.
• Съхраняване на огромни количества данни и информация от тези данни.
• Ограничения на ресурсите.
• Обмисляне кои инструменти да се използват и кои могат да доведат до най-добри резултати.

Заключение

Инженерингът на данни може да звучи като рутинна скучна работа, но има много интересни аспекти. Това е видно от възможните сценарии, които интервюиращите могат да зададат. Трябва да сте готови да отговорите не само на технически книжни въпроси, но и на ситуационни въпроси като горепосочените. Само така ще можете да докажете, че можете да си вършите добре работата и да я заслужавате.

Всичко най-хубаво!!

Препоръчително четене

• Въпроси и отговори за интервюта
• Въпроси и отговори за интервю за ETL тестване
• Топ 32 най-добри въпроса и отговори за интервю за сцената на данни
• Най-добрите въпроси и отговори за интервю за JSON
• Водещи въпроси и отговори за интервю за Teradata
• Топ 24 въпроса за интервю за моделиране на данни с подробни отговори
• Топ 50+ въпроси и отговори за интервюта за бази данни
• Топ 30 SAS интервюта въпроси и отговори