Faculdade de Banco de Dados (BI e Big Data)

Infraestrutura para Big data: volume


Entregável do Bloco:
Modelar e implementar uma solução de big data composta por uma infraestrutura Apache Spark com Apache Hadoop HDFS, desenvolvida utilizando Java e processando dados em streaming – tais como: timelines ou logs de Twitter, timelines ou outros dados Facebook, logs de algum servidor Web etc.

Projeto de Bloco: Infraestrutura para Big Data: Volume
1 – Explicar o conceito de big data
2 – Descrever aplicações de big data com Spark e Hadoop
3 – Formular um projeto no ecossistema Spark com Hadoop
4 – Desenvolver e implementar uma aplicação para big data usando Spark com Hadoop
5 – Executar tratamentos de dados e análises com infraestrutura Spark

Fundamentos de Infraestrutura para Big Data: Volume
1 – Entender conceitos básicos e introdutórios sobre Big Data, Spark e Hadoop
2 – Aprender sobre o ambiente e plataforma utilizada para instalar e executar aplicações bigdata com spark
3 – Entender Arquitetura Hadoop
4 – Utilizar o Spark com Hadoop
5 – Escrever programas para filtrar dados com Spark

Fundamentos de Desenvolvimento Java
1 – Compreender Java como plataforma e seus principais componentes (JRE, JDK, JVM)
2 – Utilizar versionamento de código na prática
3 – Compreender os fundamentos de programação utilizando Java
4 – Utilizar classes padrão fundamentais do Java
5 – Gerenciar dependências em Java
6 – Implementar o acesso a dados com Java

Implantação de soluções big data com Hadoop
1 – Conhecer e utilizar ferramentas para manipulacao de grande quantidade de dados
2 – Trabalhar com bancos de dados distribuídos utilizados com Spark/Hadoop
3 – Conhecer e utilizar serviços na Cloud da Amazon para armazenamento e tratamento de grande quantidade de dados

Desenvolvimento de Soluções Big Data com Apache Spark
1 – Desenvolver aplicações utilizando a API Spark SQL
2 – Desenvolver aplicações utilizando a API Spark Streaming
3 – Desenvolver aplicações utilizando a API Spark Machine Learning Library (Mllib)

Certificações do Bloco: O bloco aborda conteúdos diversos, não sendo focado em certificações profissionais específicas. O aluno interessado pode aproveitar os conteúdos do bloco para, em seguida, certificar-se como Certified Developer on Apach Spark, mediante estudo adicional.