Formation Hadoop
Acquérir Des Compétences Pratiques Dans HADOOP
Présentation de la formation
Hadoop est un projet Open Source écrire en langage Java et géré par Apache Software.
Hadoop peut être considéré comme un système de traitement de données évolutif pour le stockage et le traitement par lots de très grande quantité de données.
Il est tout à fait adapté aux stockages de grande taille et aux analyses de type ad hoc sur de très grandes quantités de données.
Cette formation vous permettre de présente une synthèse des concepts et de l’architecture des Systèmes d’Information décisionnels et d’avoir une grille d’analyse et pourrez-vous constituer une idée claire du marché.
Programme de la formation
Objectifs pédagogiques
- comprendre les enjeux et les techniques mises en œuvre dans le décisionnel
- Définir les étapes clés d’un projet Datawarehouse
- Identifier les familles d’outils de la Business Intelligence
- Avoir une vue concrète de la BI au travers d’études de cas et de la présentation d’outils.
Pré-requis
- Aucun
Contenu de la formation
Introduction
- Les origines du Big Data
- La donnée en tant que matière première
Les composants Hadoop
- Écosystème Hadoop
-
-
- Architecture HDFS
- Architecture et principes de fonctionnement de MapReduce
- HBase
-
- Hive
-
- Pig
- Sqoop
-
- Présentation des distributions principales du marché
-
- Hortonworks
- MapR
- Cloudera
-
Mise en place d’une infrastructure Hadoop
- Organisation d’un cluster
-
-
- Besoin matériel, réseau
- Choisir le matériel adapté
-
- Installation Hadoop et configuration initiale
-
- Pré-requis
- Cloudera Manager
-
- Surveillez l’état de votre cluster
Développement Hadoop
- Hive
-
- Création de bases de données, tables, vues
- Requêtes grâce au HiveSQL
- Manipulations de fonctions définies par l’utilisateur (UDF)
- Gestion des droits utilisateurs
-
- Pig
-
- Pig Latin pour interroger vos données
- Communication entre Pig et Hive
-
- Oozie
-
- Comment planifier ses travaux
- Utilisation de workflows, coordinateurs, bundles
-
Optimiser l’exécution de vos travaux
- Partitionner vos données à l’aide d’Hive
- Archivez vos données
- Gestion de la mémoire (JVM)
Méthodes & moyens
Explications théoriques suivies de pratiques guidées puis mises en autonomie
- 1 vidéoprojecteur par salle
- 1 ordinateur par stagiaire
Profil du formateur
Support de cours
- Support papier ou électronique (dématérialisé)
- Les exercices d’accompagnement peuvent être récupérés sur clef USB