Big Data on AWS

Course Structure

• Módulo 1 - Introdução ao Big Data
• Tópicos abordados:
• > O que é Big Data? // Onde é utilizado e por quem? // Como gerar valor com esta tecnologia? // Overview de aplicações utilizando Machine Learning (Cenários Reais )
• .
• 2 - Arquitetura Big Data
• Tópicos abordados:
• > Visão geral do Ecossistema Big Data Hadoop // Teradata + SAS Configuração de Cluster Hadoop // Ferramentas de monitoramento do Cluster (Ganglia e CloudWatch) // Configuração/tipo do Cluster otimizado para diferentes aplicações de Big Data // Otimização de custos utilizando AWS EMR Spot // Ferramentas para Mineração e Visualização dos dados // Zeppelin Jupyter // 2 Laboratórios Práticos
• .
• 3 - Processamento de Grandes Volumes de Dados
• Tópicos abordados:
• > Tipos de armazenamento dos dados Csv Parquet Json Extração // Transformação e Carga dos Dados (ETL) // Conversão de CSV para Parquet // Conversão de tipo de dado (numerico, string, data, timestamp) // Particionamento // Armazenamento (S3 | RedShift | RDS | Teradata) // Laboratório Prático
• .
• 4 - Mineração dos Dados (Data Mining)
• Tópicos abordados:
• > Introdução ao Aprendizado de Máquina (Machine Learning) // Tipos de Dados // Visualização dos Dados // Tratamento dos Dados // Seleção de Variáveis // Modelos Supervisionados Naive Bayes // Regressão Linear // Regressão Logística // Árvore de Classificação // Regressão Random Forest | Gradient Boosting | XGBoost // Redes Neurais // Modelos Não Supervisionados (Clusterização) // K-means Hierarquico Fuzzy DBSCAN // Avaliação de Desempenho dos Modelos Implantação de Modelos // Escoragem Online // Escoragem Batch // Laboratório Prático
• .
• 5 - Case de Negócio
• Tópico abordado:
• Exercício prático das técnicas aprendidas ao longo do treinamento.