Big Data on AWS

Course Structure

• 1 - Introdução ao Big Data
• O que é Big Data? / Onde é utilizado e por quem? / Como gerar valor com esta tecnologia? / Overview de aplicações utilizando Machine Learning (Cenários Reais )
• 2 - Arquitetura Big Data
• Visão geral do Ecossistema Big Data Hadoop / Teradata + SAS Configuração de Cluster Hadoop / Ferramentas de monitoramento do Cluster (Ganglia e CloudWatch) / Configuração/tipo do Cluster otimizado para diferentes aplicações de Big Data / Otimização de custos utilizando AWS EMR Spot / Ferramentas para Mineração e Visualização dos dados / Zeppelin Jupyter / 2 Laboratórios Práticos
• 3 - Processamento de Grandes Volumes de Dados
• Tipos de armazenamento dos dados Csv Parquet Json Extração / Transformação e Carga dos Dados (ETL) / Conversão de CSV para Parquet / Conversão de tipo de dado (numerico, string, data, timestamp) / Particionamento / Armazenamento (S3 | / RedShift | RDS | Teradata) / Laboratório Prático
• 4 - Mineração dos Dados (Data Mining)
• Introdução ao Aprendizado de Máquina (Machine Learning) // Tipos de Dados / Visualização dos Dados / Tratamento dos Dados / Seleção de Variáveis / Modelos Supervisionados Naive Bayes / Regressão Linear / Regressão Logística / Árvore de Classificação/Regressão Random Forest | Gradient Boosting | XGBoost / Redes Neurais / Modelos Não Supervisionados (Clusterização) / K-means Hierarquico Fuzzy DBSCAN / Avaliação de Desempenho dos Modelos Implantação de Modelos / Escoragem Online / Escoragem Batch / Laboratório Prático
• 5 - Case de Negócio