Hadoop - Développement - BIG DATA - WENGER
Formation créée le 24/10/2022. Dernière mise à jour le 21/08/2023.
Version du programme : 2
Programme de la formation
Ce cours vous apprendra à développer des applications vous permettant de traiter des données distribuées en mode batch. Vous collecterez, stockerez et traiterez des données de formats hétérogènes avec Apache Hadoop afin de mettre en place des chaînes de traitement intégrées à votre Système d'Information.
Objectifs de la formation
- Construire un programme à base de Map reduce
- Intégrer Hadoop HBase dans un workflow d'entreprise
- Travailler avec Apache Hive et Pig depuis HDFS
- Utiliser un graphe de taches avec Hadoop
Profil des bénéficiaires
Pour qui
- Développeurs, chefs de projets, Data scientists, Architectes
Prérequis
- Connaissances big Data - bac+4
Contenu de la formation
-
Le Big Data
- Définition du périmètre du Big Data.
- Le rôle du projet Hadoop.
- Les concepts de base des projets Big Data.
- Présentation du Cloud Computing.
- Différence entre Cloud Computing privé et public.
- Les architectures Big Data à base du projet Hadoop.
-
Démonstration (Usage d'Hadoop et de GoogleApp.)
- Collecte de données et application de Map Reduce
- Analyse des flux de données dans l'entreprise.
- Données structurées et non-structurées.
- Les principes de l'analyse sémantique des données d'entreprise.
- Graphe des tâches à base de MapReduce.
- La granularité de cohérence des données.
- Transfert de données depuis un système de persistance dans Hadoop.
- Transfert de données d'un Cloud dans Hadoop.
-
Le stockage des données avec HBase
- Plusieurs types de base de données XML.
- Patterns d'usages et application au Cloud.
- Application de Hadoop database au sein d'un workflow.
- Utilisation des projets Hive/Pig.
- Utilisation du projet HCatalog.
- L'API Java HBase.
-
Le stockage des données sur HDFS
- Patterns d'usages et application au Cloud.
- Architecture et installation d'un système HDFS, journal, NameNode, DataNode.
- Opérations, commandes et gestion des commandes.
- L'API HDFS Java.
- Analyse de données avec Apache Pig.
- Le langage Pig Latin. Utiliser Apache Pig avec Java.
- Requêtage avec Apache Hive.
- Réplication de données. Partage de données sur une architecture HDFS.
-
Spring Data Hadoop
- Introduction à Spring et Spring Data.
- Le namespace Hadoop pour Spring.
- Utiliser Spring pour simplifier la configuration Hadoop.
- Configuration du cache distribué.
- Définition des Jobs et dépendance entre Jobs.
- Intégration des outils (Pig, Hive...).
Équipe pédagogique
Nos formations sont animées par des experts reconnus dans leur domaine possédant une expérience sur le terrain significative et des compétences pédagogiques reconnues,
Suivi de l'exécution et évaluation des résultats
- Feuilles de présence.
- Questions orales ou écrites (QCM).
- Mises en situation.
- Formulaires d'évaluation de la formation.
- Certificat de réalisation de l’action de formation.
Ressources techniques et pédagogiques
- Accueil des apprenants dans une salle dédiée à la formation.
- Documents supports de formation projetés.
- Exposés théoriques
- Etude de cas concrets
- Quiz en salle
- Mise à disposition en ligne de documents supports à la suite de la formation.
Délai d'accès
2 semaines
Accessibilité
oui