Data Engineering com AWS, Pentaho & Cia

Esta é uma ótima oportunidade para colocar a sua carreira num próximo nível de classe mundial, pois apesar do uso de nuvem no Brasil já ser uma realidade há algum tempo, o uso de tecnologias e serviços voltados ao desenvolvimento de uma solução de Analytics, ainda está em estágios iniciais, porém já é algo bastante utilizado em empresas lá fora e que a demanda só cresce por aqui e já pagando ótimos salários.

Neste bootcamp o participante acompanhará o desenvolvimento completo de uma solução para Lake House, que reúne o melhor de 2 mundos, Data Lake e Data Warehouse, através de uma série de exercícios totalmente práticos desenvolvidos pelo facilitador que abordará a construção de um moderno pipeline de dados para um Data Lake em S3 usando o Pentaho Data Integration  para o desenvolvimento dos pipelines de ingestão e transformação de dados de forma visual, sem codificação, apoiando-se na ferramenta Apache Airflow para a gestão das execuções desses pipelines como também a utilização dos serviços AWS como o Glue, Athena e Redshift para a criação de uma camada de sustentação de dados para o Data Viz, o Data Warehouse, onde através das ferramentas de BI, como o Power BI, Qlik Sense, Tableau e QuickSight, seja entregue as informações aos usuários de negócios num ambiente mais ágil, moderno, robusto e escalável.

Imagem ilustrativa da arquitetura a ser desenvolvida

Objetivos da aprendizagem

• Capacitar os participantes a trabalharem com uma pilha tecnológica moderna;
• Gerar conhecimento aos participantes para além da criação de uma solução desta, do zero, mas também terem condições de migrarem soluções de analytics existentes de on-premises para cloud;
• Criar um ambiente de Data Lake para apoiar entregas de Analytics;
• Utilizar as principais ferramentas da AWS para Analytics;
• Estruturar um Data Warehouse apoiado em dados de um Data Lake;
• Desenvolver processos de ingestão e transformação com mais produtividade, sem a necessidade de codificação;
• Controlar as execuções dos pipelines de dados de forma mais profissional;
• Utilizar das melhores práticas de uso para ter um consumo mais econômico na AWS; e
• Conectar as principais ferramentas de Data Viz nessa moderna arquitetura de dados.

Ferramentas e serviços utilizados

• Pentaho Data Integration;
• Apache Airflow;
• AWS EC2 Windows e Linux;
• AWS RDS (PostgreSQL);
• AWS IAM;
• AWS S3;
• AWS Glue;
• AWS Athena;
• AWS Redshift Spectrum;
• Docker;
• Github;
• Power BI Desktop;
• Qlik Sense Cloud;
• Tableau Online; e
• QuickSight.

Requisitos

• Ser um profissional da área de tecnologia ou formado em áreas ligadas a TI; e
• Não há necessidade de conhecimento prévio em nenhuma tecnologia ou serviço que iremos utilizar.

Pré-requisitos

• Criar uma conta nova (necessário ter cartão de crédito) na AWS para poder usufruir de alguns dos serviços necessários ao bootcamp na modalidade gratuita.

Público Alvo

• Profissionais iniciando na carreira de Engenharia de Dados;
• Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e
• Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science e Business Intelligence.

Casos de sucesso

Abaixo, alguns casos de sucesso no uso dessa arquitetura:

• A OLX reduziu custos e tempo de acesso ao mercado por meio da implantação do Athena em toda a organização. Assista ao video >>>
• A Atlassian criou um data lake de autoatendimento usando o Amazon Athena e outros serviços do AWS Analytics. Assista ao video >>>
• Como FINRA opera análises em escala de PB em data lakes com o Amazon Athena (AWS re:Invent 2020). Assista ao video >>>

Benefícios da aprendizagem

• O participante terá o entendimento completo para atuar como Engenheiro de Dados e construir via Pentaho Data Integration, Airflow e AWS, um pipeline de dados, a partir do zero para uma moderna arquitetura de dados para Analytics, apoiada por um Data Warehouse dentro do Data Lake em S3, solução esta conhecida como Lake House;
• É parte integrante desta proposta, o acesso as aulas gravadas dos encontros em nossa plataforma EaD por 365 dias, liberadas já no dia seguinte aos encontros;
• Integra também esta proposta a participação vitalícia do participante em nossa comunidade Data Engineering for Analytics com AWS & Cia no Telegram que já conta com quase 50 membros onde poderá realizar network e participar de encontros virtuais com outros membros da comunidade; e
• No grupo do Telegram também poderá obter suporte técnico referente ao conteúdo do bootcamp, pelo mesmo período de vigência do acesso ao EaD.

Idioma

• Ministrado em português e Material didático em formato eletrônico em português (Brasil).

Conteúdo Programático

• Os softwares e serviços utilizados;
• Links de downloads dos softwares utilizados;
• Utilização de uma instância EC2 com Windows para o desenvolvimento dos pipelines através do Pentaho Data Integration;
• Utilização de uma instância EC2 com Linux para a controle das execuções dos pipelines através do Apache Airflow;
• Utilização de Docker para a execução do serviço Carte do Pentaho Data Integration que servirá como servidor para as execuções dos pipelines controlados pelo Apache Airflow;
• Utilização do Github para o deploy entre os ambientes Windows e Linux;
• Utilização do banco de dados PostgreSQL em RDS como uma das inúmeras fontes de dados que este ambiente pode ter;
• Configuração e uso do IAM para o gerenciamento de identidade e acesso ao Data Lake e ao Data Viz;
• Criação e configuração do bucket em S3 para o Data Lake;
• Configuração do serviço de catálogo de dados para as tabelas do Data Warehouse no Glue;
• Configuração do serviço de query interativa do Athena;
• Criação e configuração do cluster Redshift com a funcionalidade Spectrum para acesso ao S3;
• Configuração do ambiente de desenvolvimento do Pentaho Data Integration para o desenvolvimento dos pipelines;
  • Repositório de metadados;
  • Variáveis de ambiente;
  • Virtual File System (VFS) e Credencial AWS;
  • Arquivos em formato Parquet; e
  • Conexões com o banco postgreSQL, Athena e Redshift.
• Conhecendo as melhores práticas para uso económico do ambiente de analytics da AWS;
• Desenvolvimento dos processos (pipelines) ELT/ETL de ingestão e transformação dos dados nas áreas segmentadas do Data Lake com o Pentaho Data Integration sem a necessidade de codificação; e
• Configurando e conectando o Power BI, Qlik Sense Cloud, Tableau Online e QuickSight para acesso aos dados a solução Lake House.

Curso top com excelente conteúdo e um instrutor que manja muito do assunto...

PorAlessandro Gomes, do IBOPE no Linkedin – veja mais

Excelente curso, Ricardo Gouvêa parabéns pelo trabalho, ótimo conteúdo abordado, obrigado...

PorBruno Bizerra, do UOL no Linkedin – veja mais

Mais um curso concluído, a busca por conhecimento nunca é demais....

PorDeivisson Sedrez, da Saque e Pague no Linkedin – veja mais

O melhor treinamento que já participei....

PorMaycon Oleczinski, da Inside Sistemas no Linkedin – veja mais

It was a tough week, going to sleep after 3:00 am, but it worthed.I've learned a lot.....

PorSamuel Pinto, da Normática no Linkedin – veja mais

Foram dois finais de semana de muito conhecimento....

PorFabrizio Machado, da Unesc no Linkedin  – veja mais

Curso espetacular, com muitas quebras de paradigma! Melhores práticas para Data...

Por Carlos Migliavacca, da Consultilie no Linkedin – veja mais

Excelente conteúdo e condução!....

PorMarcos Zaniratti, da ITS Group no Linkedin – veja mais

Novos conhecimentos adquiridos...com maestria....

PorAdilson Moralles, da Fototica no Linkedin – veja mais

Excelente conteúdo e condução!....

Por Rodrigo Marcelino, da Claro iMusic no Linkedin – veja mais

Dinâmica do evento

Para quem participou dos encontros online ao vivo, o participante acompanhou o desenvolvimento dos labs pelo facilitador e nos momentos pós aula, apoiando-se no conteúdo absorvido durante os encontros online ao vivo, na gravação das aulas e utilizando o grupo de apoio no Telegram, desenvolverá os seus próprios labs alcançando desta forma um aprendizado mais eficiente.

Material

Os slides utilizados durante o bootcamp serão disponibilizados ao participante em formato eletrônico, após o encerramento do mesmo. O material cedido para o bootcamp são de propriedade intelectual da Openin Big Data. Nenhuma parte deste material e tão pouco a gravação, como também o acesso ao EaD, poderão ser cedido, emprestado ou comercializado para terceiros, nem utilizado para treinamentos e capacitações de terceiros sob quaisquer hipóteses, salvo sob autorização expressa da Openin Big Data. Caso seja identificado atitudes relatadas neste parágrafo, ações legais contra perdas e danos serão providenciadas pela Openin Big Data.

Certificado de participação

Os participantes do bootcamp receberão certificado de participação em formato eletrônico emitido pela Openin Big Data ao final do evento.

Mini currículo do facilitador 

Profissional com mais de 20 anos dedicados ao desenvolvimento de projetos de Data Warehouse, Business Intelligence e Data Lake, trabalhou no principal parceiro da Business Objects no Brasil, passou pela americana Sagent (a Pitney Bowes company) como consultor pre-venda LATAM e desenvolveu ao longo deste período inúmeros projetos em empresas como Porto Seguro, Intermédica, Pfizer, Secretaria de Edução de SP, USP, Unibanco, Ambev e GPS. Atualmente é Sócio Diretor da Openin Big Data, profissional certificado Pentaho e instrutor.

Profissionais iniciando na carreira de Engenharia de Dados;

Profissionais envolvidos em projetos de Desenvolvimento de Software com interesse em Engenharia de Dados; e

Profissionais já envolvidos em projetos de Desenvolvimento de Data Lake, Data Warehouse, Data Viz, Data Science e Business Intelligence.