Objectifs de la formation

Cette formation vous présente les principales technologies concernant le développement d’applications Big Data. Elle forme un ensemble cohérent dans la mesure où, dans un premier temps, elle replace le cadre global du Big Data et se conclut par la visualisation des données que les programmes développés avec les technologies présentées dans cette formation sont capables d’extraire.

À qui s’adresse cette formation ?

Public :

Ce cours s’adresse aux développeurs ainsi qu’aux chefs de projets.

Prérequis :

La connaissance d’un langage de programmation est impérative.
Les exemples seront présentés avec les langages suivants : Java, Python, Scala et R.

 Contenu du cours

1. Comprendre les spécificités du Big Data

   Les origines du Big Data
   Les données au cœur des enjeux (volume, diversité, IoT, etc.)
   Les limites des architectures actuelles et de la BI
   Sécurité, éthique, environnement juridique

   Les technologies Big Data (Hadoop)

   Comprendre Hadoop et ses composants
   Le système de fichiers répartis HDFS (Hadopp Filesystem)
   Philosophie de MapReduce
   L’apport de YARN (Yet Another Resource Negotiator)
   Quelles différences entre les distributions (Hortonworks, Cloudera, MapR) pour le développeur ?
   Différentes catégories de bases NoSQL (clé/valeur, documents, colonnes, graphes)
   Indexer et rechercher des données avec Elasticsearch
   Les visualiser à l’aide de KIBANA
   Quand utiliser le couplage Elasticsearch, Logstash, Kibana (ELK) ?
   Le moteur de recherche SolR
   SAS VA et autres solutions mixtes Cloud/On Premice pour explorer vos données
   IBM Watson (fédération des informations)
   Solution BI Classique
   Impacts techniques et financiers des différentes solutions (savoir-faire, coûts, etc.)

   Le développement (Mapreduce, Spark)

   Philosophie et contraintes du pattern MapReduce (Hadoop)
   Concrètement quelles briques logicielles pour le développeur ?
   Exemple de pseudo-code pour les opérations map et reduce
   Limites de MapReduce et émergence de Spark
   Les différentes versions de Spark (Scala, Python et Java)
   Des traitements en mémoire et tolérants aux pannes RDD (Resilient Distributed Datasets)
   Les modes de travail en cluster de Spark
   Exemples :
   – Développement d’un wordcount avec MapReduce Spark dans différents langages (Java, Python, Scala, R)
   – Calcul d’une jointure sur deux grandes tables

   Machine Learning

   Qu’est-ce que le Machine Learning ?
   Les points de vigilance par rapport au Big Data
   Les différents types de machine learning
   Les principaux algorithmes
   Utiliser SparkML pour faire du Machine Learning de manière distribuée
   Créer un système de catégorisation
   Comprendre la différence entre Deep Learning et Machine Learning
   Réseaux de neurones et Deep Learning
   Utiliser le deep learning pour faire de la reconnaissance de caractère avec Tensorflow en Python

   La visualisation des données (Dataviz)

   Ce que les statistiques ne disent pas
   Les objectifs de la visualisation
   Quels graphes pour quels usages ?
   Représentation de données complexes (encodage visuel, visualisation interactive)
   Savoir communiquer sur les analyses de données (Data Storytelling)

   Études de cas

   Analyse de profils clients avec l’utilisation de Spark (domaine Banque et Assurance)
   Classification de conducteur dans une agence de transport
   Proposition de produits par rapport à une liste d’achats (Machine Learning)

    

Objectifs de la formation

Cette formation Développer des applications pour Apache Spark avec Python ou Scala vous permet d’identifier et définir les composants de l’écosystème Hadoop. Vous saurez appréhender le fonctionnement de Spark ainsi que développer des applications avec Apache Spark.

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Identifier et définir les différents composants de l’écosystème Hadoop
• Appréhender le fonctionnement de Spark
• Développer des applications avec Apache Spark
• Optimiser une application Spark
• Utiliser Spark SQL et les dataframes
• Faire de l’analyse en temps réel avec Spark streaming
• Découvrir MLLib pour du machine learning sur Spark
• Explorer, manipuler et visualiser vos données avec Zeppelin.

À qui s’adresse cette formation ?

Public :

Ce stage s’adresse aux développeurs d’applications avec des contraintes temps réel, ingénieurs d’études, architectes techniques et aux chefs de projets techniques.

Prérequis :

Afin de suivre ce stage il est nécessaire que les participants aient : 

• Des connaissances de base en programmation ou en scripting (Python/Scala)
• Une expérience basique en ligne de commande

 Contenu du cours

1. Introduction à Hadoop, Hortonworks et au Big Data

   Cas d’usage pour Hadoop
   Qu’est-ce que le Big Data ?
   HDP, Hortonworks et l’écosystème Hadoop
   Pourquoi utiliser Hortonworks ?

   Introduction à Apache Spark

   Qu’est-ce que Spark et d’où vient-il ?
   Pourquoi utiliser Spark ?
   Spark vs MapReduce
   L’évolution rapide de Spark et l’engagement d’Hortonworks

   Programmer avec Apache Spark

   Les composants de Spark
   Premiers pas avec Spark
   Les RDD
   Transformations et actions
   Spark Hello World (wordcount)
   Lazy evaluation

   Travaux Pratiques :

   Assurer ses premiers pas avec Apache Spark

   Vue d’ensemble de HDFS et YARN

   Vue d’ensemble de HDFS
   Le Namenode et le Datanode
   Vue d’ensemble de YARN
   Composants cœur de YARN

   Travaux Pratiques :

   Utiliser les commandes HDFS

   Programmation RDD avancée

   D’autres fonctions de RDD “cœur”
   Fonctions de RDD paires
   Utiliser la documentation de Spark

   Travaux Pratiques : 

   Utiliser le stockage HDFS

   Programmation parallèle avec Spark

   Partitionnement, jobs, stage et tasks
   L’UI de Spark
   Changer le niveau de parrallélisation

   Travaux Pratiques : 

   Programmation parallèle sur Spark

   Cacher et persister la donnée

   Cache et persistance

   Travaux Pratiques : 

   Cacher et persister la donnée

   Exemple d’application itérative : PageRank
   Checkpointing

   Travaux Pratiques : 

   Checkpointing et RDD lineage

   Créer des applications Spark

   Créer une application à soumettre au cluster
   Soumettre une application au cluster
   Yarn client vs Yarn cluster
   Points importants de configuration
   Gérer/packager les dépendances

   Travaux Pratiques : 

   Créer une application Spark standalone

   Fonctionnalités avancées et amélioration des performances

   Accumulateurs

   Travaux Pratiques : 

   Utiliser les accumulateurs pour vérifier la qualité des données

   Variables « broadcast »

   Travaux Pratiques : 

   Utiliser les variables broadcast

   Partitionnement avancé et opérations
   Point de départ pour l’optimisation

   Travailler vos données avec Zeppelin

   L’exploration de données en Spark avec Zeppelin
   Visualisation de données avec Zeppelin
   Faire du reporting avec Zeppelin

   Spark SQL

   Les concepts de Spark SQL
   Créer une Dataframe
   Sauvegarder une Dataframe
   Spark SQL et UDF

   Travaux Pratiques : 

   Spark SQL avec utilisation d’UDF
   Spark SQL avec Hive

   Spark Streaming

   L’architecture de Spark Streaming
   Vue d’ensemble de Spark Streaming
   Fiabilité des récepteurs et des sources
   Transformations et opérations de sorties

   Travaux Pratiques : 

   Wordcount en Spark Streaming

   Configurer le checkpointing

   Spark  MLLib

   Vue d’ensemble de MLLib
   Apprentissage supervisé
   Apprentissage non supervisé

Objectifs de la formation

Apache Spark est un moteur d’analyses unifiées ultra-rapide pour le big data et le machine learning. Depuis sa sortie, il a connu une adoption rapide par les entreprises de secteurs très divers. Des acteurs majeurs du monde de l’internet tels que Netflix, Yahoo et eBay l’ont déployé à très grande échelle, traitant ensemble plusieurs peta-octets de données sur des clusters de plus de 8 000 nœuds.

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Décrire les fondamentaux de Spark
• Exploiter les APIs de base de Spark pour manipuler des données
• Concevoir et implémenter des cas d’usage typiques de Spark
• Construire des pipelines de données et requêter de larges jeux de données grâce à Spark SQL et aux DataFrames
• Analyser les jobs Sparks à l’aide des interfaces d’administration et des logs au sein des environnements Databricks
• Créer des jobs de type Structured Streaming
• Découvrir les bases du fonctionnement interne de Spark
• Découvrir le pattern Deltalake

À qui s’adresse cette formation ?

Public :

Ce cours Apache Spark s’adresse principalement aux data engineers et data analysts ayant l’expérience des traitements Big Data, souhaitant apprendre à utiliser Apache Spark, à construire des jobs Spark et à déboguer des applications Spark.

Prérequis :

Pour suivre cette formation Apache Spark dans de bonnes conditions, une expérience de programmation en langage objet ou fonctionnel est impérative

 Contenu du cours

1. Aperçu de Spark et DataFrames

   Introduction
   L’écosystème Databricks
   Spark SQL
   Lecture et écriture de données
   Dataframe et colonnes

   Transformations et manipulations de données

   Agrégations
   Datetimes
   Types complexes
   Fonctions additionnelles
   UDF : User Defined Functions

   1.  

   Optimisation de Spark

   Architecture
   Shuffle et Cache
   Optimisation des requêtes
   Spark UI
   Gestion des partitions

   Structured Streaming

   Exposés
   Streaming et requêtes
   Processing streaming
   Agrégations
   Deltalake

   Conclusion

Objectifs de la formation

Dans un proche passé, le problème était de trouver l’information. Les capacités de collecte et de partage de nos outils informatiques ont changé le paradigme, nous sommes désormais confrontés à un problème de tri. Y-a-t-il une information pertinente, intelligente, à dégager de ce flux continu et quasi-infini de nouvelles informations

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Créer des tableaux de bord afin de donner du relief aux données significatives
• Construire une application d’intelligence opérationnelle avec des fonctionnalités étendues
• Enrichir les données opérationnelles à l’aide de recherches et de flux
• Modéliser et synthétiser les données et effectuer des recherches basées sur le pivot
• Créez des alertes en temps réel, scriptées et d’autres alertes intelligentes
• Résumer les données avec des tendances à long terme, des rapports et analyses
• Intégrer des graphiques JavaScript avancés et tirer parti de l’API de Splunk

À qui s’adresse cette formation ?

Public :

Ce stage est destiné aux administrateurs système et réseau, aux personnels IT qui souhaitent exploiter la plateforme Splunk Enterprise en tant qu’outil d’intelligence opérationnelle.

Prérequis :

Aucun prérequis particulier, mais avoir une connaissance minimum de l’informatique est conseillé. Connaitre la plateforme Splunk est également un plus.

 Contenu du cours

1. Splunk en action

   Votre compte sur Splunk.com
   L’obtention d’un compte Splunk.com
   Installer Splunk sous Windows
   La première ouverture de session
   Indexer des fichiers et des répertoires

   • Via l’interface Web
   • Via l’interface CLI
   • Par édition des fichiers de configuration

   Obtenir des données via les ports réseau
   Obtenir des données via un script exécuté depuis Splunk (Polling)
   Obtenir des données via des entrées modulaires
   Mise en œuvre de l’expéditeur universel (Universal Forwarder)

   Atelier 

   Mise à profit de données exemples. Définition d’extractions de champs. Définition de types d’évènements et de labels.

   Exploration de la recherche de données, sauvegarde des recherches (Reports)

   Rendre lisibles des données brutes
   SPL – Search Processing Language
   Les requêtes de SPL
   Opérateurs booléens
   Commandes usuelles
   Affiner la recherche à l’aide de plages de temps
   Travailler avec les champs (fields)

   Atelier 

   On se propose de s’entraîner à chercher dans des fichiers de journalisation fournis, les pages Web les plus visitées, le navigateur le plus utilisé, les sites les plus visités. On construira également des graphes avec les codes de réponse des pages Web, des statistiques de temps de chargement des pages, de performance des applications, de consommation de ressources mémoire et CPU, de connexion à une base de données …

   Les tableaux de bord ou l’art de faire ressortir les données avec Splunk

   Les tableaux de bord et l’intelligence opérationnelle
   Les différents types de graphes
   Les meilleures pratiques

   Atelier 

   On se propose de créer puis d’enrichir un tableau de bord sur lequel on viendra placer de nombreux graphes liés aux recherches réalisées dans le chapitre précédent.

   Construire une application d’intelligence opérationnelle

   Créer une nouvelle application Splunk
   Installer une application existante issue de Splunk ou d’un tiers
   Ajouter tableaux de bord et recherches à une application
   Modifier les permissions attachées aux recherches (Reports)
   Organiser les tableaux de bord de façon plus efficace (à partir de v6)
   Permettre des liens actifs dans les graphes afin que l’utilisateur puisse augmenter le niveau de détail de l’information affichée
   Créer des tableaux de bord interactifs
   Produire de façon régulière (programmée) des tableaux de bord au format pdf

   Atelier 

   Création d’une application puis installation d’une application dans le but de visualiser des évènements liés aux switchs CISCO

   Toujours plus d’intelligence, les modèles de données, la notion de pivot

   Créer un modèle de données
   Mettre à profit des expressions régulières
   Optimiser la performance de recherche (« accelerating data models »)
   Observer l’information résumée d’accélération de modèles de données
   Pivoter des données

   Atelier 

   Utiliser la commande pivot pour afficher le nombre total de ventes. Uiliser la commande pivot pour afficher les ventes selon leur géolocalisation. « Pivoter » les pages web répondant le plus lentement.

   Recherche approfondie, enrichissement de données avec Splunk

   Regrouper les évènements associés, notion de transaction
   Mettre à profit plusieurs sources de données
   Identifier les relations entre champs
   Prédire des valeurs futures
   Découvrir des valeurs anormales

   Atelier 

   Mise en pratique de recherches approfondies sur des bases de données fournies par le formateur

   Devenir proactif avec les alertes

   Introduction
   Types d’alertes
   Conditions surveillées
   Actions entreprises suite à alerte avérée

   Atelier 

   Mise en place de quelques alertes suivies d’actions correctives. Exemple : exécuter un script quand se produit l’erreur de serveur web 503, le script écrit les détails associés à l’évènement dans un fichier stocké sur le serveur.

Objectifs de la formation

ElasticSearch est le moteur de recherche que les entreprises attendaient. D’une simplicité de mise en place époustouflante, il permet d’indexer du contenu issu de sources hétérogènes et d’offrir des fonctionnalités de recherche puissantes et scalables.

À qui s’adresse cette formation ?

 Public :

Cette formation s’adresse à toute personne souhaitant mettre en place une solution d’entreprise pour l’indexation et la recherche de contenu.

Prérequis :

Aucun (sauf pour la partie Java qui ne concerne que le dernier module, d’ailleurs optionnel en fonction des attentes des participants)

 Contenu du cours

1. Comprendre ElasticSearch

   L’offre d’ElasticSearch et cas d’usage dans les entreprises
   Panorama technique, architecture, technologies utilisées
   Le moteur de recherche Lucene, historique et fonctionnalités
   Rappel sur le format JSON et l’API Rest
   Concepts de base : Index, Document, Cluster, Noeud, Réplique
   Pré-requis à l’installation

   Atelier

   Installation, Exploration du cluster, API d’indexation et de recherche

   Configuration d’ElasticSearch

   Installation d’Elastic Search comme service Linux ou Windows
   Parcours des répertoires de la distribution
   Les variables d’environnement, dimensionnement mémoire
   La configuration des traces
   Dépôt de package et politique de mise à jour

   Atelier

   Mise en service d’ElasticSearch, Configuration du cluster et dimensionnement

   ElasticSearch et l’indexation

   Principe du stockage distribué de documents, création, indexation, mise à jour et suppression de documents
   Principes de l’API Rest, l’API d’indexation
   Création, suppression d’index
   Configuration d’index
   Types de documents, le rôle du mapping, valeur exacte ou fulltext, index inversé
   Les différents types de champs, les champs prédéfinis
   Méta-données d’un index

   Atelier

   Création d’index, Définitions de différents types de documents

   Analyse et extraction de texte

   Problématiques des analyseurs, les Tonkenizers, adaptation à la langue, cas de contenu multi-lingue
   Identification de mot, normalisation, réduire les mots à leur racine, les différents algorithmes de stemmer
   Stop words, synonymes, typos et fautes d’orthographe, approximations
   Configuration des analyseurs, mesure de la pertinence
   Intégration de contenu balisé (HTML, XML)
   Intégration avec du contenu binaire (Ex. Document Office)
   Intégration avec contenu stocké en base de données

   Atelier

   Configuration d’analyseurs, Intégration différents types de contenus, Utilisation Apache Tika, Intégration Hibernate

   La recherche avec ElasticSearch

   L’API Rest de recherche  
   Types de recherche et cas d’usage
   Recherche structurée
   Recherche full-texte, recherche de terme ou de phrase
   Recherche sur champs multiples
   Recherche de proximité
   Maîtriser les scores de pertinence
   Utilisation des filtres

   Atelier

   Tests des différents types de recherches, Mise en place de filtres

   Fonctionnalités de recherche avancée d’ElasticSearch

   Concepts de l’agrégation, notion de bucket, de mesures   
   Utilisation des agrégations, les différents types d’agrégations
   Problématique technique de l’agrégation, agrégation approximative, Maîtriser la consommation mémoire et le temps de réponse
   Recherche géolocalisée, points, précision, formes, agrégation géographique
   Modélisation de données, gestion des relations entre documents
   Impact de la modélisation de données sur la scalabilité

   Atelier

   Agrégations, Recherche géographique, Modélisation de relation

   Architecture en Cluster

   Principe de fonctionnement d’un cluster Elasticsearch
   Configurer un cluster Elasticsearch
   Partitionnement, scalabilité et volumétrie de données
   Configuration dynamique et rééquilibrage du cluster

   Atelier

   Tests des différents types de recherches, Mise en place de filtres

   Administration, Surveillance et Déploiement

   Déploiement en production, recommandations matérielles, JVM, Mémoire, Communications réseau,
   L’outil de monitoring Marvel, les métriques récoltés, file d’attente des tâches
   Mesure de performance de l’indexation
   Changements dynamiques de configuration
   Politique de sauvegarde et restauration

   Atelier

   Installation Marvel, tests de charge avec JMeter

   Java et Elasticsearch

   Vue générale sur l’API Java proposée par Elastcicsearch
   Connexion au serveur Elasticsearch ( node client, transport client)
   L’interface d’accès aux données
   Utilisation des patterns et des outils Spring et JUnit

   Atelier

   Utilisation du moteur Elasticsearch en Java pour indexer et rechercher des documents

Objectifs de la formation

Cette formation Elasticsearch, Logstash et Kibana vous propose de mettre en œuvre cette pile (Elasticsearch, Logstash, Kibana) afin de permettre aux experts métiers de questionner les différents fichiers de traces produits par le SI.

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Comprendre les problématiques de recherche d’information
• Comprendre la philosophie des moteurs de recherche et celle de ElasticSearch
• Comprendre la complémentarité et l’architecture de Elastic Stack (ex ELK : ElasticSearch, Logstash, Kibana)
• Mettre en oeuvre ElasticSearch
• Mettre en oeuvre Logstash
• Mettre en oeuvre Kibana
• Sécuriser votre environnement
• Sauvegarder et restaurer vos données
• Superviser votre architecture
• Mettre en œuvre une architecture avancée (scalabilité et clustering)

À qui s’adresse cette formation ?

Public :

Ce cours s’adresse à toute personne amenée à utiliser ElasticSearch.

Prérequis :

Une culture administration de base (Linux ou windows) est nécessaire pour suivre la partie exploitation, mais pas pour la partie utilisation. Des connaissances de JSON sont également nécessaires

 Contenu du cours

1. Comprendre ElasticStack

   Problématique de la recherche en général
   Le concept d’indexation
   Les différentes formes d’index
   L’offre d’Elastic Stack et cas d’usage dans les entreprises
   Les raisons du succès
   Panorama technique, architecture, technologies utilisées
   Logstash : la glue de l’architecture, connecteurs, outils de transformation
   ElasticSearch : le moteur de recherche rapide
   Kibana : les outils d’analyse et de visualisation
   Scalabilité de la pile
   Le modèle OpenSource
   Distributions et Installation de la pile

   Atelier Pratique

   Installation de la pile

   ElasticSearch

   Architecture et technologies utilisées : le moteur de recherche Lucene
   Concepts de base : Index, Document, Cluster, Noeud, Réplique
   Principes de l’API Rest

   ElasticSearch et l’indexation

   L’API d’indexation : Création, suppression d’index
   Configuration d’index, Types de documents, le rôle du mapping, index inversé
   Les différents types de champs, les champs prédéfinis
   Méta-données d’un index
   Analyse et extraction de texte : Analyseurs, Tokenizer et filtres
   Les analyseurs les plus courants

   La recherche avec ElasticSearch

   L’API de recherche, types de recherches offertes par le moteur Lucene
   Score de pertinence
   Utilisation de filtres
   Recherche à facette
   Agrégation, Bucket, Mesure
   Recherche géolocalisée, points, précision, formes, agrégation géographique
   Maîtriser la consommation mémoire et le temps de réponse
   Modélisation de données, relations entre documents. Impact sur la scalabilité

   Ateliers Pratiques

   Création d’index, Mise en place d’analyseurs
   Utilisation de l’API de recherche

   Logstash

   Formats d’entrée supportés
   Formats de sortie
   Notions de filtres
   Plugins Logstash
   Introduction au DSL Logstash
   Tâches de configuration

   Atelier Pratique

   Configuration de Logstash : Traitements de log Apache, Syslog, Tomcat

   Kibana

   Architecture Kibana, notions de plugins
   Types de recherches possibles, corrélation avec les recherches Lucene
   Visualisations prédéfinies
   Créer ses propres visualisations : Enregistrement, Définition et Styling
   L’éditeur de visualisation
   Le rôle du contrôleur

   Atelier Pratique

   Création d’une visualisation personnalisée

   Scalabilité et clustering en Cluster

   Principe de fonctionnement d’une architecture HA de ELK
   La scalabilité des différents produits :
   –  Cluster Elasticsearch : Partitionnement et équilibrage du cluster
   –  Instances logstash : File de message, l’outil filebeat , architectures typiques
   –  Kibana : Distribution des requêtes elastic search, les différentes alternatives, sécurisation des connexions avec ElasticSearch
   Monitoring et exploitation des architectures de production

   Atelier Pratique

   Mise en place d’une architecture scalable

   Administration, Surveillance et Déploiement

   Déploiement en production, recommandations matérielles, JVM, Mémoire, Communications réseau
   L’outil de monitoring Marvel, les métriques récoltées, file d’attente des tâches
   Mesure de performance de l’indexation
   Changements dynamiques de configuration
   Politique de sauvegarde et restauration

    Atelier Pratique

   Installation Marvel, tests de charge avec JMeter, Sauvegarde et Restauration, Monitoring des performances

Objectifs de la formation

L’objectif de cette formation MATLAB Fondamentaux est d’acquérir les fondamentaux de MATLAB, de son interface, de ses capacités de calcul numérique et d’apprendre à programmer en langage MATLAB. Cette formation offre une introduction complète à l’environnement MATLAB.

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Manipuler l’ensemble des éléments de l’interface MATLAB
• Utiliser les commandes simples et avancés de MATLAB afin d’écrire des scripts et des fonctions performantes
• Importer, exporter, traiter et afficher des données et des graphes de tous types
• Créer une interface graphique utilisateur pour une application spécifique

À qui s’adresse cette formation ?

Public :

Ce cours MATLAB Fondamentaux est destinée aux ingénieurs, développeurs, scientifiques, enseignants, chercheurs, etc.

Prérequis :

Pour suivre cette formation MATLAB Fondamentaux, une formation initiale scientifique est souhaitable.

 Contenu du cours

1. Introduction à MATLAB

   Présentation du logiciel
   Interface utilisateur
   Les différents types de variables
   Commandes de base

   Les graphes MATLAB

   Savoir afficher des variables
   Les différents types de graphes
   Menus et édition
   L’onglet PLOTS

   Initiation à la programmation avec MATLAB

   Scripts et fonctions
   Matrices, cellules et structures
   Commandes avancées
   Exécution des codes

   Techniques de programmation avec MATLAB

   Les bonnes pratiques
   Ce qu’il faut éviter
   Connaitre les astuces et l’optimisation
   Effectuer le débogage

   Import-Export

   Savoir importer des données
   Comprendre et mettre en œuvre l’exploitation de données
   Comment exporter les données
   Images et graphes

   Développer une interface graphique avec MATLAB

   Prise en main de GUIDE
   Callbacks et Handles
   Présentation des graphes
   Créer une application indépendante

Objectifs de la formation

L’objectif de cette formation MATLAB Perfectionnement est de vous apprendre en profondeur l’environnement MATLAB et l’ensemble de ses fonctionnalités.

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Utiliser une large gamme de commandes MATLAB avancées
• Pratiquer un codage optimisé et vectorisé
• Analyser, Interpoler, Extrapoler des données de tous types
• Importer, Traiter, Exporter les Signaux et Images

À qui s’adresse cette formation ?

Public :

Ce cours MATLAB Avancé s’adresse à des techniciens, ingénieurs, chercheurs ou enseignants ayant déjà suivi une formation d’initiation ou ayant déjà une première expérience pratique de la programmation dans cet environnement, à travers la réalisation de projets techniques.

Prérequis :

Pour suivre ce cours MATLAB Avancé, il est important d’avoir suivi la formation Matlab Les Fondamentaux ou avoir un niveau équivalent

 Contenu du cours

1. Études de la programmation de base

   Rappel sur le script
   Les fonctions et sous-fonctions avec MATLAB

   Gestion des exceptions dans MATLAB

   Les erreurs et avertissements
   Connaitre les arguments d’entrée

   Handle de fonctions

   Opération et utilisation de Handle
   Opérations sur les Handles
   Les fonctions de fonctions
   Résolution d’équations différentielles

   Programmation orientée objet avec MATLAB

   Connaitre les avantages de la programmation orientée objet
   Construction de classe
   Savoir créer des méthodes associées
   Priorité des objets

   Modélisation de l’IHM avec MATLAB (Inferface Homme Machine)

   Les principes pour la création d’une interface dynamique
   Compréhension du processus
   Création de l’IHM : Rappels sur le Handle Graphic et sa hiérarchie

   Callback

   Définition des Callbacks
   Appel des Callbacks en commande, en ligne ou à partir du GUIDE
   Maitriser l’utilisation de M-File

   Traitement d’image avec MATLAB

   Lecture / Écriture des différents formats d’images
   L’affichage et conversion des différents types d’images
   Le filtrage
   Mettre en œeuvre le traitement fréquentiel
   Savoir améliorer une image

   Traitement du signal avec MATLAB

   Savoir créer et manipuler des signaux
   Connaitre la visualisation de données
   Le filtrage
   Comprendre la corrélation et l’analyse spectrale

Objectifs de la formation

Connu pour sa capacité de traitement en temps réél, le framework Apache Storm se distingue par sa capacité à effectuer des calculs complexes, de l’analyse, et à traiter les flux de données reapidement et de façon fiable. Storm répond ainsi efficacement aux problématiques du Big Data.

À l’issue de cette formation, vous aurez acquis les connaissances et les compétences nécessaires pour :

• Mettre en œuvre Storm pour le traitement de flux de données
• Installer un cluster Storm et assurer la Haute Disponibilité

À qui s’adresse cette formation ?

 Public :

Ce stage Storm s’adresse aux chefs de projet, aux Data Scientists et aux développeurs.

Prérequis :

La connaissance d’un langage de programmation comme Java ou Python est nécessaire pour suivre ce cours Storm.

 Contenu du cours

1. Introduction à Storm

   Présentation de Storm : fonctionnalités, architecture, langages supportés
   Définitions : spout, bolt, topology

   Architecture de Storm

   Étude des composants d’un cluster Storm : master node ‘nimbus’ et worker nodes
   Positionnement par rapport à un cluster Hadoop
   Le modèle de données
   Différents types de flux

   Premiers pas avec Storm

   Configuration d’un environnement de développement
   Installation d’un cluster Storm

   Travaux Pratiques :

   Exercices sur le projet storm-starter

   Flux de données

   Définition du nombre de flux dans un nœud, création de topologies regroupant des flux entre différents nœuds
   Communication entre flux en JSON, lecture de flux d’origines diverses (JMS, Kafka…)

   Haute Disponibilité avec Storm

   Tolérance aux pannes : principe de fiabilisation des master node, workers node, nimbus
   Garantie de traitement des flux : principe, paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS
   Traitements temps réel avec Trident
   Scalabilité : parallélisme dans un cluster Storm, ajouts de nœuds, commande ‘storm rebalance’