Hadoop – Traitement de données massives

À tarif régulier

Informatique, Intelligence artificielle et big data

Au terme de cette formation, le participant pourra :

  • Énumérer les étapes de « MapReduce »;
  • Identifier un langage de développement « MapReduce »;
  • Écrire un code « MapReduce » avec le langage approprié;
  • Composer une requête avec le langage HQL (Hive Query Language);
  • Utiliser des outils Hadoop de traitement en lot (batch processing) pour traiter des mégadonnées (Pig).
  • Ce cours comporte des cours magistraux, des démonstrations et des exercices dirigés pour acquérir les connaissances et les compétences en matière de technologies disponibles, d’architectures et d’environnement.
  • Le matériel suivant sera fourni : présentations, exercices et laboratoires en format électronique. Si le cours se donne en présentiel, le participant doit apporter une clé USB.

 

Pour bien maîtriser les notions enseignées, le participant devrait compléter le cours par la pratique personnelle.

Une attestation de participation est remise aux personnes ayant assisté à plus de 80 % des heures de formation.

SCALE AI, le gouvernement du Québec et le gouvernement du Canada offrent une subvention de 50 % sur le prix avant taxes pour ce cours de perfectionnement.

Pour être admissible à la subvention, il faut :

Les étudiants et les personnes sans emploi ne sont pas admissibles à la subvention, mais peuvent s’inscrire à la formation en déboursant le prix courant.

  • Description des différentes phases du modèle de programmation
  • Compréhension des limites du modèle
  • Maîtrise du flux des données entre les étapes Map et Reduce
  • Maîtrise de l’attribution des #mappers et #reducers dans les fichiers de configuration
  • Écriture d’un code avec le langage Java et présentation des briques nécessaires
  • Maîtrise de la façon de lancer un job MapReduce sur un cluster Hadoop
  • Installation de l’environnement de développement Java pour Hadoop/Mapreduce
  • Installation et configuration du plug-in Hadoop pour Eclipse
  • Écriture réussie d’un code (ou job MapReduce) et exécution sur le cluster pour traitement
  • Compréhension du rôle de HIVE
  • Écriture /exécution de plusieurs requêtes de données en langage HQL sur un tas de données exemple
  • Importation et Exportation des données vers et à partir de l’espace de stockage
  • Compréhension du rôle de PIG
  • Écriture/exécution d’un code PIG latin sur un tas de données exemple
  • Importation et Exportation des données vers et à partir de l’espace de stockage

Modalités d’inscription et d’annulation

La formation en bref

Choisissez au moins un bloc de disponibilité
Financée par Scale AI, Gouvernement du Québec, Gouvernement du Canada

Pas disponible?

Inscrivez-vous à une alerte pour connaître les prochaines dates offertes.