Cursos Online de Big Data
Apache Spark Streaming
Utilize programação tolerante a falha e em tempo real
Equipe de Engenheiros de Dados
"Nossa equipe é composta de diversos engenheiros e cientistas de dados, das mais diversas formações reunindo conhecimento para trazer experiências incríveis."
O que você vai aprender?
Neste curso você vai aprender como utilizar o Spark Streaming, tendo seus conceitos explicados e orientações gerais do seu uso.
Aprenderá a produzir e a consumir mensagens do Kafka via Spark Streaming.
Teremos também uma aula para leitura a partir de arquivos e por último uma aula específica para entendermos e aprendermos sobre a implementação dessa nova tecnologia.
Para tais aprendizados, você precisará de aproximadamente 12 horas de dedicação para concluir o curso de Spark, incluindo as aulas, exercícios, leitura de materiais e a avaliação final.
Pré-requisito
- Conclusão do curso Fundamentos de Big Data e Apache Hadoop.
- Conclusão do curso Linux para ambiente Apache Hadoop.
- Conclusão do curso Apache Hadoop.
- Conclusão Programação em Scala com foco em Big Data.
- Conclusão do curso Apache Spark.
Conteúdo Programático
Introdução ao treinamento de Spark Streaming.
- 1. Conceitos e Requisitos
- 2. Orientações Gerais
Nesta aula vamos aprender a ler os tópicos Kafka e ingeri-los em um destino no HDFS.
- 1. Produtor de Mensagens no Kafka
- 2. Processando Kafka em Streaming
Vamos ler arquivos de qualquer formato suportado pelo hadoop e inseri-los em streaming no HDFS.
- 1. File Source
Vamos entender as diferenças na implementação do Spark Streaming.
- 1. Implementação
Certificado de Conclusão
- Ao concluir este curso e a Avaliação Final com aproveitamento de 80%, você terá direito ao Certificado de Conclusão.