Cursos Online de Big Data

Apache Spark com Programação em Scala

O Framework de computação distribuída mais eficiente no mundo do Big Data, neste cursos você aprenderá a manipula-lo no inicio ao fim para processos em batch.

Rafael P. Damasceno

"Curso muito importante para meu início com Spark na área de Big Data, consegui implementar varias coisas do curso em um projeto que me foi destinado na empresa que iniciei meus trabalhos com Big Data, Valeu cada minuto e não foram poucos, assisti cada aula umas 10 vezes. Obrigado Data Quântica, Muito Obrigado!"

O que você vai aprender?

Neste curso você vai aprender como utilizar o apache spark em conjunto com Scala e criar aplicações da ingestão de dados(EL) e ETL.

Você precisará de aproximadamente 56h de dedicação para concluir o curso de Scala, incluindo vídeos e  exercícios, leitura de materiais e provas.

Pré-requisito

  • Não há pré-requisitos.

Conteúdo Programático

01 - Instanciando o Spark

Aprenda como instanciar o Spark.

 

  1.  1. Introdução ao Spark
  2.  2. Spark Session
02 - Configurando o Log4J

Como configurar o log4J no Spark.

 

  1.  1. Como configurar o Log4J
03 - Query no Spark
Como realizar queries no Spark

  1.  1. Criando dataframes
  2.  2. Comando select
  3.  3. Utilizando cast, alias e as
  4.  4. Cláusulas Where e OrderBy
  5.  5. GroupBy
  6.  6. Utilizando Union
  7.  7. Utilizando Join
  8.  8. Função distinct
  9.  9. Utilizando WithColumn
  10.  10. Utilizando When Otherwise
  11.  11. Utilizando Trim
  12.  12. Utilizando Agg
  13.  13. Utilizando SQL no Spark
04 - Distribuição de dados e outras funções
Conceito de Lazy valuation, distribuição de dados, coleta de dados e função UDF.  
  1.  1. Lazy Valuation
  2.  2. Collectt
  3.  3. Utilizando parellelize
  4.  4. UDF
05 - Cache e Persist

Utilizando cache e persist

 

  1.  1. Cache e persist
06 - Trabalhando com arquivos

Trabalhando com arquivos, por exemplo: JSON, CSN, ORC e outros

 

  1.  1. Formato CSV
  2.  2. Option read modes
  3.  3. Schema
  4.  4. Semi-estruturados
  5.  5. Formato JSON
  6.  6. Formato XML
  7.  7. Formato ORC e Parquet
  8.  8. Formato AVRO
07 - Banco de dados e camadas
  1.  1. JDBC
  2.  2. Hive
08 - Write
  1.  1. Conexões com HDFS
  2.  2. Mode, format e coalesce
09 - HDFS
  1.  1. Interações com HDFS
10 - Execução de uma aplicação Spark

Execução de um artefato “.jar” rodando uma aplicação Spark.

 

  1.  1. Executando spark no cluster
11 - Exercícios e Avaliação Final

Neste modulo vamos colocar em prática tudo que foi aprendido e avaliar o conhecimento absorvido.

 

Recomendamos que desenvolvam os programas sugeridos nos exercícios, desta forma fixarão o conhecimento adquirido no curso.

 

Existem muitas formas de resolver os exercícios, invente uma, programação também é criatividade.

 

Prova: Para obter o certificado é necessário um aproveitamento de 80%, boa sorte!!!

 

  1.  1. Exercício, Cama Manage
  2.  Avaliação Final de Programação em Scala com Spark

Certificado de Conclusão

  • Este curso não possui Certificado de Conclusão.
Rolar para cima