Formation Hadoop : Déployer du Big Data

Connaissances en Administration système, préférablement Java

Comprendre le Big Data et ses enjeux
Savoir déployer Hadoop et son écosystème
Comprendre HDFS, MapReduce
Structurer les données avec Hbase
Écrire des requêtes avec HiveQL – Lancer une analyse avec Pig

Accessible selon le nombre de places disponibles.
Les participants recevront leur convocation au plus tôt deux semaines avant le début de la formation.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Attestation de formation

Administrateur Systèmes et réseaux

Introduction au Big Data

• Qu’est-ce que le Big Data ?
• Source des données : l’homme, la machine
• La problématique de taille
• Position de Hadoop dans le paysage

Introduction à Hadoop

• L’origine du projet
• Le système de fichiers HDFS
• Comprendre l’algorithme MapReduce
• L’environnement d’Hadoop : HBase, ZooKeeper, Hive, Pig…
• L’API YARN

Mettre Hadoop en place : HDFS

• Du mode autonome au mode complètement distribué en cluster
• Pré-requis, distributions Hadoop
• Cluster Hadoop : NameNode, ResourceManager, DataNode, NodeManager
• Les fichiers de configuration
• Opérations de base sur le cluster HDFS : formatage, démarrage, arrêt
• Atelier pratique : installer Hadoop sur 2 nœuds, formater et manipuler HDFS

Une base de données distribuée : HBase

• L’accès aléatoire, temps réel, lecture-écriture au Big Data
• Fonctionnalités de HBase, NoSQL
• Pré-requis, configuration
• Manipulation via le shell HBase
• Atelier pratique : mettre en place HBase sur Hadoop, créer et manipuler une table

Et pourquoi pas un peu de SQL avec Hive ?

• Présentation de Hive
• Gérer le schéma : bases, tables, vues, partitions
• Manipulation des données, requêtes et map-reduce avec HiveQL
• Audits et journal d’erreurs
• Atelier pratique : chargement de données massives dans Hive, requêtes

Analyser les données avec Pig

• Présentation, installation du projet Apache Pig
• Exécutions de Pig en local, en mode map-reduce
• Scripter pour Pig
• Le langage Pig Latin
• Manipulations de données et stockage avec Pig
• Atelier pratique : écrire un script contenant du Pig Latin pour une tâche simple, et l’exécuter en local, puis en mode map reduce.

Aller plus loin avec Hadoop

• Gérer les logs et l’audit de tâches Hadoop
• Découvrir MRUnit pour les test unitaires dans Hadoop
• Débogage en local
• Surveillance des perfomances
• Atelier pratique : mise en place d’un job MapReduce plus complexe avec traces et tests unitaires