Développement d’applications avec Spark

Connaissances de base en programmation Python
Avoir des connaissances en SQL

Appréhender le fonctionnement et l’architecture de Spark
Développer des applications avec Apache Spark
Optimiser une application Spark
Utiliser Spark SQL, les dataframes et les datasets
Faire de l’analyse en temps réel avec Spark streaming

Accessible selon le nombre de places disponibles.
Les participants recevront leur convocation au plus tôt deux semaines avant le début de la formation.

À l’issue de chaque module, le formateur évaluera chacun des participants en fonction des cas pratiques et exercices effectués.

Une attestation de formation vous sera remise.

• Alternance d’exercices, cas pratiques, QCM et de notions théoriques, projet Fil Rouge.
• Evaluations régulières et retour du formateur sur les points moins bien assimilés.
• Les supports de cours seront mis à disposition via notre la plate-forme de téléchargement AJC Classroom.
• Accès à notre plateforme à distance de Classe Virtuelle
  Mêmes possibilités et interactions avec votre formateur que lors d’une formation présentielle. En effet, votre formation se déroulera en connexion continue 7h/7 :
  • • • Echanges directs avec le formateur et l’équipe pédagogique à travers la visioconférence, les forums et chats
      • Vérification de l’avancement de votre travail et évaluation par votre formateur à l’aide d’exercices et de cas pratiques
      • Suivi pédagogique et conseils personnalisés pendant toute la formation

   

  Vous recevrez les informations de connexion par mail dès votre inscription. En cas de problème de connexion, vous pourrez joindre notre équipe à tout moment (avant ou même pendant la formation) au 0182837241 ou par mail à l’adresse hotline@ajc-formation.fr.

Les personnes en situation de handicap sont invitées à nous communiquer leurs besoins spécifiques. Nous ferons tout pour les mettre dans les meilleures conditions de suivi de la formation (compensation, accessibilité…)

Attestation de formation

Développeur
Data Analyst
Data Scientists
Architectes Big Data

Introduction et motivations pour Apache Spark

• L’écosystème Spark
• Spark vs. Hadoop
• Obtenir et installer Spark
• La console Spark, et SparkContex

Mise en pratique

• Mettre en place l’environnement de lab
• Démarrer l’interpréteur Scala
• Premiers pas avec Apache Spark
• Premiers pas avec la console Spark

Introduction des RDDs

• Les concepts de RDD, de cycle de
• vie, et de  l’évaluation paresseuse.
• Travailler avec des RDDs : création  et transformations (map, filter, etc.)
• Partitionnement et transformation  des RDDs
• Transformations avancées (flatMap,  explode, et split)

Introduction des DataFrames et Datasets

• Le concept de SparkSession
• Création et inférence de schéma
• Identification des formats supportés  (dont JSON, CSV, Parquet, Text …)
• Travailler avec l’API DataFrame
• Travailler avec l’API DataSet
• Transformations via des requêtes  SQL (Spark SQL)

Comparaison entre les DataSets, DataFrames et RDDS

Mise en pratique

• Les bases des RDD
• Opérations sur de multiples RDDs
• Les formats de données
• Les bases de  Spark SQL
• Transformation de DataFrames
• L’API typée des DataSets
• Fractionner les données

Optimisations

• Shuffling, dépendances larges et  étroites, et leur impact sur la  performance
• L’optimiseur de requêtes Catalyst
• L’optimiseur Spark Tungsten (format binaire, gestion du cache…)
• Le caching Spark (concept, type de  cache, recommandations)
• Minimiser le shuffling pour  améliorer la performance
• Utilisation de  la diffusion de
• variables et de l’accumulateu

Recommandations globales des performances

• L’interface Spark UI
• Les transformations efficaces
• Stockage de données
• Monitoring

Mise en pratique

• Comprendre le Shuffling
• Explorer l’optimiseur de requête
• Catalyst
• Explorer l’optimiseur Tungsten
• Travailler avec la mise en cache, le  shuffling et la diffusion de variables
• Recommandations générales sur le  broadcast

Les applications Spark

• Configurer et créer une  SparkSession
• Construire et lancer des applications
• Cycle de vie des applications (Driver,  Executors, et Tasks)
• Les modes d’executions  (Standalone, YARN, Mesos)
• Logging et Debugging

Introduction au temps réel

• Spark Streaming (Spark 1.0+)
• *DStreams, Receivers, Batching
• *transformations Stateless
• *Transformations Windowed
• *Transformations Stateful
• Structured Streaming (Spark 2+)
• *Applications en continue
• *Le paradigme de Table, et de  Result Tables
• *Les étapes du structured  streaming
• *Les sources et puits
• *Introduction de Kafka
• *Consommer des données Kafka
• *Le Structured Streaming au format  “kafka”
• 3Traitement du Stream

Mise en pratique

• Déclencher des jobs Spark
• Capacités additionnelles de Spark
• Spark Streaming
• Spark Structured Streaming
• Spark Structured Streaming avec  Kafka