Preciso saber programar em alguma linguagem para trabalhar com Engenharia de Dados?
Esta é uma pergunta natural e válida que surge para quem está iniciando a trajetória como Pessoa Engenheira de Dados. E a resposta é sim!!!
Para quem já possui um background baseado em Engenharia de software, como eu, fica bem mais confortável programar.
Independentemente da área em Engenharia de Dados que você atuará sempre será necessário o desenvolvimento de scripts. E acrescento algo mais: estar familiarizado com boas Práticas de Engenharia de Software também facilita o desenvolvimento de pipelines de dados e scripts para os mais variados fins.
Qual linguagem devo aprender?
Depende. Para iniciantes recomendo Python, por exemplo, por ter uma sintaxe mais fácil de se aprender. Mas na verdade a linguagem usada dependerá do projeto, da empresa e do time que você trabalhará.
Normalmente muitas ferramentas de Engenharia de Dados, como Hadoop ou Spark, usam Java, Scala ou Python para o desenvolvimento de scripts. Não é obrigatório aprender uma delas, mas facilitaria a sua vida no momento de usar uma dessas ferramentas.
Sempre é bom lembrar: a linguagem de programação é uma ferramenta que te ajudará a desenvolver sistemas. Não é o fim, mas o meio para se criar bons scripts.
Onde aplicaria o conhecimento de programação?
Em engenharia de dados usa-se programação em praticamente tudo. Você pode encontrar em scripts de ETL, dentro de ferramentas na nuvem (AWS, GCP ou Azure), em scripts de Machine Learning ou em IaC (Infraestructure as Code).
Em resumo: o uso de programação vai desde scripts ETL, passando por Machine Learning até para fazer o deploy da sua arquitetura de dados na nuvem.
Devo entender de algoritmos?
Linguagem de programação e algoritmos são dois itens que vivem juntos. Sempre que aprender um terá de aprender o outro. Essa é a lei da vida!
O interessante de aprender algoritmos é que seus sistemas passarão a ser mais performáticos e assertivos.
Não digo que é uma obrigatoriedade, mas que em algum momento da sua trajetória profissional seu uso pode fazer uma grande diferença, como por exemplo, deixar um script mais rápido. 😃
Links interessantes
Entendendo Algoritmos: Um guia ilustrado para programadores e outros curiosos
