Big Data on AWS

Course Structure

• 1 - Introdução ao Big Data
• ### O que é Big Data? // Onde é utilizado e por quem? // Como gerar valor com esta tecnologia? // Overview de aplicações utilizando Machine Learning (Cenários Reais )
• 2 - Arquitetura Big Data
• ### Visão geral do Ecossistema Big Data Hadoop // Teradata + SAS Configuração de Cluster Hadoop // Ferramentas de monitoramento do Cluster (Ganglia e CloudWatch) // Configuração/tipo do Cluster otimizado para diferentes aplicações de Big Data // Otimização de custos utilizando AWS EMR Spot // Ferramentas para Mineração e Visualização dos dados // Zeppelin Jupyter // 2 Laboratórios Práticos
• 3 - Processamento de Grandes Volumes de Dados
• ### Tipos de armazenamento dos dados Csv Parquet Json Extração // Transformação e Carga dos Dados (ETL) // Conversão de CSV para Parquet // Conversão de tipo de dado (numerico, string, data, timestamp) // Particionamento // Armazenamento (S3 | / RedShift | RDS | Teradata) // Laboratório Prático
• 4 - Mineração dos Dados (Data Mining)
• ### Introdução ao Aprendizado de Máquina (Machine Learning) // Tipos de Dados // Visualização dos Dados // Tratamento dos Dados // Seleção de Variáveis // Modelos Supervisionados Naive Bayes // Regressão Linear // Regressão Logística // Árvore de Classificação/Regressão Random Forest | Gradient Boosting | XGBoost // Redes Neurais // Modelos Não Supervisionados (Clusterização) / K-means Hierarquico Fuzzy DBSCAN // Avaliação de Desempenho dos Modelos Implantação de Modelos // Escoragem Online // Escoragem Batch // Laboratório Prático
• 5 - Case de Negócio