Hadoop (3 jours) - ref: BGHC
Introduction
Cette formation sur 3 jours permet d'apprendre les bases du framework Hadoop. Hadoop est un framework libre et open source écrit en Java destiné à faciliter la création d'applications distribuées. Cette formation est à 30% théorique et à 70% pratique.
Objectifs pédagogiques
- Se familiariser avec l’écosystème Hadoop
- Concevoir, exécuter et tester des programmes écrits avec Map/Reduce
- Entrer et sortir des données de formats variés pour les traiter avec Hadoop
- Utiliser Hive pour pouvoir interroger le système de fichiers HDFS avec un langage analogue à SQL
- Utiliser Pig pour produire facilement des programmes Map-Reduce en langage de haut niveau
Participants
Développeurs
Pré-requis
Avoir suivi le stage Java : les bases et avoir mis en pratique les concepts enseignés
Programme
- Introduction
- Concepts fondamentaux et HDFS
- MapReduce
- Clusters Hadoop et écosystème
- HDFS
- Mise en place de clusters Hadoop
- Entrer et sortir des données d’Hadoop
- L’API Hadoop pour Java
- Tests unitaires avec Hadoop
- Pig
- Hive
- Réalisation d’une application complète avec Hadoop, Pig et Hive