Data Science
Apache Airflow: transformação de dados com Spark
10hCarga horária
52Atividades
2.072Estudantes
9,2Avaliação média
01Certificado
O que você vai aprender
- Entenda os motivos para considerar o uso da arquitetura de medalhas no seu Data Lake
- Saiba como atualizar um pipeline de dados que é orquestrado pelo Airflow
- Implemente a transformação de dados para a camadas Silver
- Execute a integração completa entre o Spark e o Airflow
- Faça a refinação dos dados para a camada Gold
Público alvo
Pessoas interessadas em incrementar um pipeline de dados para a transformação de dados utilizando Spark e o Airflow.
Ementa
- Proposta do projeto de transformação de dados
- Reestruturando o Data Lake (Bronze, Silver, Gold)
- Pipeline atual
Descubra se esse curso é pra você!
Ler as primeiras aulasCertificado reconhecido pelas maiores empresas do Brasil e do mundo.
Aprenda com quem está construindo o mercado
Igor Nascimento Alves
Sou graduado em Ciência da Computação. Atuo como instrutor de Data Science e Machine Learning no Gr...
Data Science
Trabalhe com dados. Aprofunde seu conhecimento nas principais ferramentas de uma pessoa data scientist. Descubra as diferentes possibilidades de análise de dados, do Excel ao Python, e mergulhe em frameworks e bibliotecas, como Pandas, Scikit-Learn e Seaborn.
Explore conteúdos
Inicie sua jornada agora.
Cursos relacionados em Engenharia de Dados
Engenharia de Analytics:
construindo uma pipeline automatizada
Ver mais em Data ScienceCertificado Alura
Apache Beam:
Data Pipeline com Python
Ver mais em Data ScienceCertificado Alura
Aprofundando no Airflow:
Executores Local e Celery
Ver mais em Data ScienceCertificado Alura
Governança de dados:
mapeando a origem e o destino com linhagem de dados
Ver mais em Data ScienceCertificado Alura
