{"id":13021,"date":"2022-07-12T22:34:04","date_gmt":"2022-07-12T22:34:04","guid":{"rendered":"http:\/\/705consulting.com\/?page_id=13021"},"modified":"2022-10-10T21:56:35","modified_gmt":"2022-10-10T21:56:35","slug":"formation-big-data-developpement-solutions-et-outils","status":"publish","type":"page","link":"https:\/\/705consulting.com\/index.php\/formation-big-data-developpement-solutions-et-outils\/","title":{"rendered":"FORMATION BIG DATA \u2013 DEVELOPPEMENT SOLUTIONS ET OUTILS"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-page\" data-elementor-id=\"13021\" class=\"elementor elementor-13021\">\n\t\t\t\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-b0d6fb2 elementor-section-boxed elementor-section-height-default elementor-section-height-default\" data-id=\"b0d6fb2\" data-element_type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-aac3e30\" data-id=\"aac3e30\" data-element_type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t\t\t<div class=\"elementor-element elementor-element-c5fbe52 elementor-widget elementor-widget-toggle\" data-id=\"c5fbe52\" data-element_type=\"widget\" data-widget_type=\"toggle.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t<style>\/*! elementor - v3.7.8 - 02-10-2022 *\/\n.elementor-toggle{text-align:left}.elementor-toggle .elementor-tab-title{font-weight:700;line-height:1;margin:0;padding:15px;border-bottom:1px solid #d4d4d4;cursor:pointer;outline:none}.elementor-toggle .elementor-tab-title .elementor-toggle-icon{display:inline-block;width:1em}.elementor-toggle .elementor-tab-title .elementor-toggle-icon svg{-webkit-margin-start:-5px;margin-inline-start:-5px;width:1em;height:1em}.elementor-toggle .elementor-tab-title .elementor-toggle-icon.elementor-toggle-icon-right{float:right;text-align:right}.elementor-toggle .elementor-tab-title .elementor-toggle-icon.elementor-toggle-icon-left{float:left;text-align:left}.elementor-toggle .elementor-tab-title .elementor-toggle-icon .elementor-toggle-icon-closed{display:block}.elementor-toggle .elementor-tab-title .elementor-toggle-icon .elementor-toggle-icon-opened{display:none}.elementor-toggle .elementor-tab-title.elementor-active{border-bottom:none}.elementor-toggle .elementor-tab-title.elementor-active .elementor-toggle-icon-closed{display:none}.elementor-toggle .elementor-tab-title.elementor-active .elementor-toggle-icon-opened{display:block}.elementor-toggle .elementor-tab-content{padding:15px;border-bottom:1px solid #d4d4d4;display:none}@media (max-width:767px){.elementor-toggle .elementor-tab-title{padding:12px}.elementor-toggle .elementor-tab-content{padding:12px 10px}}.e-container>.elementor-widget-toggle{width:var(--container-widget-width,100%)}<\/style>\t\t<div class=\"elementor-toggle\" role=\"tablist\">\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2071\" class=\"elementor-tab-title\" data-tab=\"1\" role=\"tab\" aria-controls=\"elementor-tab-content-2071\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION DEVELOPPEMENT D\u2019APPLICATIONS ET DATA VISUALISATION <\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2071\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"1\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2071\"><h2>Objectifs de la formation<\/h2><p>Cette formation vous pr\u00e9sente les principales technologies concernant le d\u00e9veloppement d\u2019applications Big Data. Elle forme un ensemble coh\u00e9rent dans la mesure o\u00f9, dans un premier temps, elle replace le cadre global du Big Data et se conclut par la visualisation des donn\u00e9es que les programmes d\u00e9velopp\u00e9s avec les technologies pr\u00e9sent\u00e9es dans cette formation sont capables d\u2019extraire.<\/p><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce cours s&#8217;adresse aux d\u00e9veloppeurs ainsi qu&#8217;aux chefs de projets.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>La connaissance d\u2019un langage de programmation est imp\u00e9rative.<br \/>Les exemples seront pr\u00e9sent\u00e9s avec les langages suivants : Java, Python, Scala et R.<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Comprendre les sp\u00e9cificit\u00e9s du Big Data<\/h3><p>Les origines du Big Data<br \/>Les donn\u00e9es au c\u0153ur des enjeux (volume, diversit\u00e9, IoT, etc.)<br \/>Les limites des architectures actuelles et de la BI<br \/>S\u00e9curit\u00e9, \u00e9thique, environnement juridique<\/p><h3>Les technologies Big Data (Hadoop)<\/h3><p>Comprendre Hadoop et ses composants<br \/>Le syst\u00e8me de fichiers r\u00e9partis HDFS (Hadopp Filesystem)<br \/>Philosophie de MapReduce<br \/>L\u2019apport de YARN (Yet Another Resource Negotiator)<br \/>Quelles diff\u00e9rences entre les distributions (Hortonworks, Cloudera, MapR) pour le d\u00e9veloppeur ?<br \/>Diff\u00e9rentes cat\u00e9gories de bases NoSQL (cl\u00e9\/valeur, documents, colonnes, graphes)<br \/>Indexer et rechercher des donn\u00e9es avec Elasticsearch<br \/>Les visualiser \u00e0 l\u2019aide de KIBANA<br \/>Quand utiliser le couplage Elasticsearch, Logstash, Kibana (ELK) ?<br \/>Le moteur de recherche SolR<br \/>SAS VA et autres solutions mixtes Cloud\/On Premice pour explorer vos donn\u00e9es<br \/>IBM Watson (f\u00e9d\u00e9ration des informations)<br \/>Solution BI Classique<br \/>Impacts techniques et financiers des diff\u00e9rentes solutions (savoir-faire, co\u00fbts, etc.)<\/p><h3>Le d\u00e9veloppement (Mapreduce, Spark)<\/h3><p>Philosophie et contraintes du pattern MapReduce (Hadoop)<br \/>Concr\u00e8tement quelles briques logicielles pour le d\u00e9veloppeur ?<br \/>Exemple de pseudo-code pour les op\u00e9rations map et reduce<br \/>Limites de MapReduce et \u00e9mergence de Spark<br \/>Les diff\u00e9rentes versions de Spark (Scala, Python et Java)<br \/>Des traitements en m\u00e9moire et tol\u00e9rants aux pannes RDD (Resilient Distributed Datasets)<br \/>Les modes de travail en cluster de Spark<br \/>Exemples :<br \/>&#8211; D\u00e9veloppement d\u2019un wordcount avec MapReduce Spark dans diff\u00e9rents langages (Java, Python, Scala, R)<br \/>&#8211; Calcul d\u2019une jointure sur deux grandes tables<\/p><h3>Machine Learning<\/h3><p>Qu\u2019est-ce que le Machine Learning ?<br \/>Les points de vigilance par rapport au Big Data<br \/>Les diff\u00e9rents types de machine learning<br \/>Les principaux algorithmes<br \/>Utiliser SparkML pour faire du Machine Learning de mani\u00e8re distribu\u00e9e<br \/>Cr\u00e9er un syst\u00e8me de cat\u00e9gorisation<br \/>Comprendre la diff\u00e9rence entre Deep Learning et Machine Learning<br \/>R\u00e9seaux de neurones et Deep Learning<br \/>Utiliser le deep learning pour faire de la reconnaissance de caract\u00e8re avec Tensorflow en Python<\/p><h3>La visualisation des donn\u00e9es (Dataviz)<\/h3><p>Ce que les statistiques ne disent pas<br \/>Les objectifs de la visualisation<br \/>Quels graphes pour quels usages ?<br \/>Repr\u00e9sentation de donn\u00e9es complexes (encodage visuel, visualisation interactive)<br \/>Savoir communiquer sur les analyses de donn\u00e9es (Data Storytelling)<\/p><h3>\u00c9tudes de cas<\/h3><p>Analyse de profils clients avec l\u2019utilisation de Spark (domaine Banque et Assurance)<br \/>Classification de conducteur dans une agence de transport<br \/>Proposition de produits par rapport \u00e0 une liste d\u2019achats (Machine Learning)<\/p><p>\u00a0<\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2072\" class=\"elementor-tab-title\" data-tab=\"2\" role=\"tab\" aria-controls=\"elementor-tab-content-2072\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION DEVELOPPER DES APPLICATIONS POUR APACHE SPARK AVEC PYTHON OU SCALA<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2072\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"2\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2072\"><h2>Objectifs de la formation<\/h2><p>Cette\u00a0<strong>formation D\u00e9velopper des applications pour Apache Spark avec Python ou Scala<\/strong>\u00a0vous permet d&#8217;identifier et d\u00e9finir les composants de l&#8217;\u00e9cosyst\u00e8me Hadoop. Vous saurez appr\u00e9hender le fonctionnement de Spark ainsi que d\u00e9velopper des applications avec Apache Spark.<\/p><p><br \/><br \/><\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>Identifier et d\u00e9finir les diff\u00e9rents composants de l\u2019\u00e9cosyst\u00e8me Hadoop<\/li><li>Appr\u00e9hender le fonctionnement de Spark<\/li><li>D\u00e9velopper des applications avec Apache Spark<\/li><li>Optimiser une application Spark<\/li><li>Utiliser Spark SQL et les dataframes<\/li><li>Faire de l\u2019analyse en temps r\u00e9el avec Spark streaming<\/li><li>D\u00e9couvrir MLLib pour du machine learning sur Spark<\/li><li>Explorer, manipuler et visualiser vos donn\u00e9es avec Zeppelin.<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce stage s&#8217;adresse\u00a0aux d\u00e9veloppeurs d&#8217;applications avec des contraintes temps r\u00e9el, ing\u00e9nieurs d\u2019\u00e9tudes, architectes techniques et aux chefs de projets techniques.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Afin de suivre ce stage il est n\u00e9cessaire que les participants aient :\u00a0<\/p><ul><li>Des connaissances de base en programmation ou en scripting (Python\/Scala)<\/li><li>Une exp\u00e9rience basique en ligne de commande<\/li><\/ul><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Introduction \u00e0 Hadoop, Hortonworks et au Big Data<\/h3><p>Cas d\u2019usage pour Hadoop<br \/>Qu\u2019est-ce que le Big Data ?<br \/>HDP, Hortonworks et l\u2019\u00e9cosyst\u00e8me Hadoop<br \/>Pourquoi utiliser Hortonworks ?<\/p><h3>Introduction \u00e0 Apache Spark<\/h3><p>Qu\u2019est-ce que Spark et d\u2019o\u00f9 vient-il ?<br \/>Pourquoi utiliser Spark ?<br \/>Spark vs MapReduce<br \/>L\u2019\u00e9volution rapide de Spark et l\u2019engagement d\u2019Hortonworks<\/p><h3>Programmer avec Apache Spark<\/h3><p>Les composants de Spark<br \/>Premiers pas avec Spark<br \/>Les RDD<br \/>Transformations et actions<br \/>Spark Hello World (wordcount)<br \/>Lazy evaluation<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><\/p><p><em>Assurer ses premiers pas avec Apache Spark<\/em><\/p><h3>Vue d\u2019ensemble de HDFS et YARN<\/h3><p>Vue d\u2019ensemble de HDFS<br \/>Le Namenode et le Datanode<br \/>Vue d\u2019ensemble de YARN<br \/>Composants c\u0153ur de YARN<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><\/p><p><em>Utiliser les commandes HDFS<\/em><\/p><h3>Programmation RDD avanc\u00e9e<\/h3><p>D\u2019autres fonctions de RDD &#8220;c\u0153ur&#8221;<br \/>Fonctions de RDD paires<br \/>Utiliser la documentation de Spark<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Utiliser le stockage HDFS<\/em><\/p><h3>Programmation parall\u00e8le avec Spark<\/h3><p>Partitionnement, jobs, stage et tasks<br \/>L\u2019UI de Spark<br \/>Changer le niveau de parrall\u00e9lisation<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Programmation parall\u00e8le sur Spark<\/em><\/p><h3>Cacher et persister la donn\u00e9e<\/h3><p>Cache et persistance<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Cacher et persister la donn\u00e9e<\/em><\/p><p>Exemple d\u2019application it\u00e9rative : PageRank<br \/>Checkpointing<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Checkpointing et RDD lineage<\/em><\/p><h3>Cr\u00e9er des applications Spark<\/h3><p>Cr\u00e9er une application \u00e0 soumettre au cluster<br \/>Soumettre une application au cluster<br \/>Yarn client vs Yarn cluster<br \/>Points importants de configuration<br \/>G\u00e9rer\/packager les d\u00e9pendances<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Cr\u00e9er une application Spark standalone<\/em><\/p><h3>Fonctionnalit\u00e9s avanc\u00e9es et am\u00e9lioration des performances<\/h3><p>Accumulateurs<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Utiliser les accumulateurs pour v\u00e9rifier la qualit\u00e9 des donn\u00e9es<\/em><\/p><p>Variables \u00ab broadcast \u00bb<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Utiliser les variables broadcast<\/em><\/p><p>Partitionnement avanc\u00e9 et op\u00e9rations<br \/>Point de d\u00e9part pour l\u2019optimisation<\/p><h3>Travailler vos donn\u00e9es avec Zeppelin<\/h3><p>L&#8217;exploration de donn\u00e9es en Spark avec Zeppelin<br \/>Visualisation de donn\u00e9es avec Zeppelin<br \/>Faire du reporting avec Zeppelin<\/p><h3>Spark SQL<\/h3><p>Les concepts de Spark SQL<br \/>Cr\u00e9er une Dataframe<br \/>Sauvegarder une Dataframe<br \/>Spark SQL et UDF<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Spark SQL avec utilisation d\u2019UDF<\/em><em><br \/>Spark SQL avec Hive<\/em><\/p><h3>Spark Streaming<\/h3><p>L\u2019architecture de Spark Streaming<br \/>Vue d\u2019ensemble de Spark Streaming<br \/>Fiabilit\u00e9 des r\u00e9cepteurs et des sources<br \/>Transformations et op\u00e9rations de sorties<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Wordcount en Spark Streaming<\/em><\/p><p>Configurer le checkpointing<\/p><h3>Spark \u00a0MLLib<\/h3><p>Vue d\u2019ensemble de MLLib<br \/>Apprentissage supervis\u00e9<br \/>Apprentissage non supervis\u00e9<\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2073\" class=\"elementor-tab-title\" data-tab=\"3\" role=\"tab\" aria-controls=\"elementor-tab-content-2073\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION APACHE SPARK: PROGRAMMER AVEC APACHE SPARK DE DATABRIKS<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2073\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"3\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2073\"><h2>Objectifs de la formation<\/h2><p><strong>Apache Spark<\/strong>\u00a0est un moteur d&#8217;analyses unifi\u00e9es ultra-rapide pour le big data et le machine learning. Depuis sa sortie, il a connu une adoption rapide par les entreprises de secteurs tr\u00e8s divers. Des acteurs majeurs du monde de l&#8217;internet tels que Netflix, Yahoo et eBay l\u2019ont d\u00e9ploy\u00e9 \u00e0 tr\u00e8s grande \u00e9chelle, traitant ensemble plusieurs peta-octets de donn\u00e9es sur des clusters de plus de 8 000 n\u0153uds.<\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>D\u00e9crire les fondamentaux de Spark<\/li><li>Exploiter les APIs de base de Spark pour manipuler des donn\u00e9es<\/li><li>Concevoir et impl\u00e9menter des cas d\u2019usage typiques de Spark<\/li><li>Construire des pipelines de donn\u00e9es et requ\u00eater de larges jeux de donn\u00e9es gr\u00e2ce \u00e0 Spark SQL et aux DataFrames<\/li><li>Analyser les jobs Sparks \u00e0 l\u2019aide des interfaces d\u2019administration et des logs au sein des environnements Databricks<\/li><li>Cr\u00e9er des jobs de type Structured Streaming<\/li><li>D\u00e9couvrir les bases du fonctionnement interne de Spark<\/li><li>D\u00e9couvrir le pattern Deltalake<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce cours Apache Spark s&#8217;adresse principalement aux data engineers et data analysts ayant l&#8217;exp\u00e9rience des traitements Big Data, souhaitant apprendre \u00e0 utiliser Apache Spark, \u00e0 construire des jobs Spark et \u00e0 d\u00e9boguer des applications Spark.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Pour suivre cette formation Apache Spark dans de bonnes conditions, une exp\u00e9rience de programmation en langage objet ou fonctionnel est imp\u00e9rative<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Aper\u00e7u de Spark et DataFrames<\/h3><p>Introduction<br \/>L\u2019\u00e9cosyst\u00e8me Databricks<br \/>Spark SQL<br \/>Lecture et \u00e9criture de donn\u00e9es<br \/>Dataframe et colonnes<\/p><h3>Transformations et manipulations de donn\u00e9es<\/h3><p>Agr\u00e9gations<br \/>Datetimes<br \/>Types complexes<br \/>Fonctions additionnelles<br \/>UDF : User Defined Functions<\/p><ol><li>\u00a0<\/li><\/ol><h3>Optimisation de Spark<\/h3><p>Architecture<br \/>Shuffle et Cache<br \/>Optimisation des requ\u00eates<br \/>Spark UI<br \/>Gestion des partitions<\/p><h3>Structured Streaming<\/h3><p>Expos\u00e9s<br \/>Streaming et requ\u00eates<br \/>Processing streaming<br \/>Agr\u00e9gations<br \/>Deltalake<\/p><h3>Conclusion<\/h3><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2074\" class=\"elementor-tab-title\" data-tab=\"4\" role=\"tab\" aria-controls=\"elementor-tab-content-2074\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION SPLUNK<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2074\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"4\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2074\"><h2>Objectifs de la formation<\/h2><p>Dans un proche pass\u00e9, le probl\u00e8me \u00e9tait de trouver l\u2019information. Les capacit\u00e9s de collecte et de partage de nos outils informatiques ont chang\u00e9 le paradigme, nous sommes d\u00e9sormais confront\u00e9s \u00e0 un probl\u00e8me de tri. Y-a-t-il une information pertinente, intelligente, \u00e0 d\u00e9gager de ce flux continu et quasi-infini de nouvelles informations<\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>Cr\u00e9er des tableaux de bord afin de donner du relief aux donn\u00e9es significatives<\/li><li>Construire une application d&#8217;intelligence op\u00e9rationnelle avec des fonctionnalit\u00e9s \u00e9tendues<\/li><li>Enrichir les donn\u00e9es op\u00e9rationnelles \u00e0 l\u2019aide de recherches et de flux<\/li><li>Mod\u00e9liser et synth\u00e9tiser les donn\u00e9es et effectuer des recherches bas\u00e9es sur le pivot<\/li><li>Cr\u00e9ez des alertes en temps r\u00e9el, script\u00e9es et d&#8217;autres alertes intelligentes<\/li><li>R\u00e9sumer les donn\u00e9es avec des tendances \u00e0 long terme, des rapports et analyses<\/li><li>Int\u00e9grer des graphiques JavaScript avanc\u00e9s et tirer parti de l&#8217;API de Splunk<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce stage est destin\u00e9 aux administrateurs syst\u00e8me et r\u00e9seau, aux personnels IT qui souhaitent exploiter la plateforme Splunk Enterprise en tant qu\u2019outil d\u2019intelligence op\u00e9rationnelle.<br \/><br \/><\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Aucun pr\u00e9requis particulier, mais avoir une connaissance minimum de l&#8217;informatique est conseill\u00e9. Connaitre la plateforme Splunk est \u00e9galement un plus.<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Splunk en action<\/h3><p>Votre compte sur Splunk.com<br \/>L\u2019obtention d\u2019un compte Splunk.com<br \/>Installer Splunk sous Windows<br \/>La premi\u00e8re ouverture de session<br \/>Indexer des fichiers et des r\u00e9pertoires<\/p><ul><li>Via l\u2019interface Web<\/li><li>Via l\u2019interface CLI<\/li><li>Par \u00e9dition des fichiers de configuration<\/li><\/ul><p>Obtenir des donn\u00e9es via les ports r\u00e9seau<br \/>Obtenir des donn\u00e9es via un script ex\u00e9cut\u00e9 depuis Splunk (Polling)<br \/>Obtenir des donn\u00e9es via des entr\u00e9es modulaires<br \/>Mise en \u0153uvre de l\u2019exp\u00e9diteur universel (Universal Forwarder)<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Mise \u00e0 profit de donn\u00e9es exemples. D\u00e9finition d\u2019extractions de champs. D\u00e9finition de types d\u2019\u00e9v\u00e8nements et de labels.<\/em><\/p><h3>Exploration de la recherche de donn\u00e9es, sauvegarde des recherches (Reports)<\/h3><p>Rendre lisibles des donn\u00e9es brutes<br \/>SPL \u2013 Search Processing Language<br \/>Les requ\u00eates de SPL<br \/>Op\u00e9rateurs bool\u00e9ens<br \/>Commandes usuelles<br \/>Affiner la recherche \u00e0 l\u2019aide de plages de temps<br \/>Travailler avec les champs (fields)<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>On se propose de s\u2019entra\u00eener \u00e0 chercher dans des fichiers de journalisation fournis, les pages Web les plus visit\u00e9es, le navigateur le plus utilis\u00e9, les sites les plus visit\u00e9s. On construira \u00e9galement des graphes avec les codes de r\u00e9ponse des pages Web, des statistiques de temps de chargement des pages, de performance des applications, de consommation de ressources m\u00e9moire et CPU, de connexion \u00e0 une base de donn\u00e9es \u2026<\/em><\/p><h3>Les tableaux de bord ou l\u2019art de faire ressortir les donn\u00e9es avec Splunk<\/h3><p>Les tableaux de bord et l\u2019intelligence op\u00e9rationnelle<br \/>Les diff\u00e9rents types de graphes<br \/>Les meilleures pratiques<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>On se propose de cr\u00e9er puis d\u2019enrichir un tableau de bord sur lequel on viendra placer de nombreux graphes li\u00e9s aux recherches r\u00e9alis\u00e9es dans le chapitre pr\u00e9c\u00e9dent.<\/em><\/p><h3>Construire une application d\u2019intelligence op\u00e9rationnelle<\/h3><p>Cr\u00e9er une nouvelle application Splunk<br \/>Installer une application existante issue de Splunk ou d\u2019un tiers<br \/>Ajouter tableaux de bord et recherches \u00e0 une application<br \/>Modifier les permissions attach\u00e9es aux recherches (Reports)<br \/>Organiser les tableaux de bord de fa\u00e7on plus efficace (\u00e0 partir de v6)<br \/>Permettre des liens actifs dans les graphes afin que l\u2019utilisateur puisse augmenter le niveau de d\u00e9tail de l\u2019information affich\u00e9e<br \/>Cr\u00e9er des tableaux de bord interactifs<br \/>Produire de fa\u00e7on r\u00e9guli\u00e8re (programm\u00e9e) des tableaux de bord au format pdf<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Cr\u00e9ation d\u2019une application puis installation d\u2019une application dans le but de visualiser des \u00e9v\u00e8nements li\u00e9s aux switchs CISCO<\/em><\/p><h3>Toujours plus d\u2019intelligence, les mod\u00e8les de donn\u00e9es, la notion de pivot<\/h3><p>Cr\u00e9er un mod\u00e8le de donn\u00e9es<br \/>Mettre \u00e0 profit des expressions r\u00e9guli\u00e8res<br \/>Optimiser la performance de recherche (\u00ab accelerating data models \u00bb)<br \/>Observer l\u2019information r\u00e9sum\u00e9e d\u2019acc\u00e9l\u00e9ration de mod\u00e8les de donn\u00e9es<br \/>Pivoter des donn\u00e9es<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Utiliser la commande pivot pour afficher le nombre total de ventes. Uiliser la commande pivot pour afficher les ventes selon leur g\u00e9olocalisation. \u00ab Pivoter \u00bb les pages web r\u00e9pondant le plus lentement.<\/em><\/p><h3>Recherche approfondie, enrichissement de donn\u00e9es avec Splunk<\/h3><p>Regrouper les \u00e9v\u00e8nements associ\u00e9s, notion de transaction<br \/>Mettre \u00e0 profit plusieurs sources de donn\u00e9es<br \/>Identifier les relations entre champs<br \/>Pr\u00e9dire des valeurs futures<br \/>D\u00e9couvrir des valeurs anormales<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Mise en pratique de recherches approfondies sur des bases de donn\u00e9es fournies par le formateur<\/em><\/p><h3>Devenir proactif avec les alertes<\/h3><p>Introduction<br \/>Types d\u2019alertes<br \/>Conditions surveill\u00e9es<br \/>Actions entreprises suite \u00e0 alerte av\u00e9r\u00e9e<\/p><p><strong><em>Atelier<\/em><\/strong><strong><em>\u00a0<\/em><\/strong><\/p><p><em>Mise en place de quelques alertes suivies d\u2019actions correctives. Exemple : ex\u00e9cuter un script quand se produit l\u2019erreur de serveur web 503, le script \u00e9crit les d\u00e9tails associ\u00e9s \u00e0 l\u2019\u00e9v\u00e8nement dans un fichier stock\u00e9 sur le serveur.<\/em><\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2075\" class=\"elementor-tab-title\" data-tab=\"5\" role=\"tab\" aria-controls=\"elementor-tab-content-2075\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION ELASTICSEARCH: CONFIGURATION ET MISE EN PLACE DU MOTEUR DE RECHERCHE DE 2EME G\u00c9N\u00c9RATION<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2075\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"5\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2075\"><h2>Objectifs de la formation<\/h2><p><strong>ElasticSearch<\/strong>\u00a0est le moteur de recherche que les entreprises attendaient. D&#8217;une simplicit\u00e9 de mise en place \u00e9poustouflante, il permet d&#8217;indexer du contenu issu de sources h\u00e9t\u00e9rog\u00e8nes et d&#8217;offrir des fonctionnalit\u00e9s de recherche puissantes et scalables.<\/p><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>\u00a0Public :<\/strong><\/p><p>Cette formation s&#8217;adresse \u00e0 toute personne souhaitant mettre en place une solution d&#8217;entreprise pour l&#8217;indexation et la recherche de contenu.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Aucun (sauf pour la partie Java qui ne concerne que le dernier module, d&#8217;ailleurs optionnel en fonction des attentes des participants)<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Comprendre ElasticSearch<\/h3><p>L&#8217;offre d&#8217;ElasticSearch et cas d&#8217;usage dans les entreprises<br \/>Panorama technique, architecture, technologies utilis\u00e9es<br \/>Le moteur de recherche Lucene, historique et fonctionnalit\u00e9s<br \/>Rappel sur le format JSON et l&#8217;API Rest<br \/>Concepts de base : Index, Document, Cluster, Noeud, R\u00e9plique<br \/>Pr\u00e9-requis \u00e0 l&#8217;installation<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Installation, Exploration du cluster, API d&#8217;indexation et de recherche<\/em><\/p><h3>Configuration d&#8217;ElasticSearch<\/h3><p>Installation d&#8217;Elastic Search comme service Linux ou Windows<br \/>Parcours des r\u00e9pertoires de la distribution<br \/>Les variables d&#8217;environnement, dimensionnement m\u00e9moire<br \/>La configuration des traces<br \/>D\u00e9p\u00f4t de package et politique de mise \u00e0 jour<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Mise en service d&#8217;ElasticSearch, Configuration du cluster et dimensionnement<\/em><\/p><h3>ElasticSearch et l&#8217;indexation<\/h3><p>Principe du stockage distribu\u00e9 de documents, cr\u00e9ation, indexation, mise \u00e0 jour et suppression de documents<br \/>Principes de l&#8217;API Rest, l&#8217;API d&#8217;indexation<br \/>Cr\u00e9ation, suppression d&#8217;index<br \/>Configuration d&#8217;index<br \/>Types de documents, le r\u00f4le du mapping, valeur exacte ou fulltext, index invers\u00e9<br \/>Les diff\u00e9rents types de champs, les champs pr\u00e9d\u00e9finis<br \/>M\u00e9ta-donn\u00e9es d&#8217;un index<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Cr\u00e9ation d&#8217;index, D\u00e9finitions de diff\u00e9rents types de documents<\/em><\/p><h3>Analyse et extraction de texte<\/h3><p>Probl\u00e9matiques des analyseurs, les Tonkenizers, adaptation \u00e0 la langue, cas de contenu multi-lingue<br \/>Identification de mot, normalisation, r\u00e9duire les mots \u00e0 leur racine, les diff\u00e9rents algorithmes de stemmer<br \/>Stop words, synonymes, typos et fautes d&#8217;orthographe, approximations<br \/>Configuration des analyseurs, mesure de la pertinence<br \/>Int\u00e9gration de contenu balis\u00e9 (HTML, XML)<br \/>Int\u00e9gration avec du contenu binaire (Ex. Document Office)<br \/>Int\u00e9gration avec contenu stock\u00e9 en base de donn\u00e9es<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Configuration d&#8217;analyseurs, Int\u00e9gration diff\u00e9rents types de contenus, Utilisation Apache Tika, Int\u00e9gration Hibernate<\/em><\/p><h3>La recherche avec ElasticSearch<\/h3><p>L&#8217;API Rest de recherche \u00a0<br \/>Types de recherche et cas d&#8217;usage<br \/>Recherche structur\u00e9e<br \/>Recherche full-texte, recherche de terme ou de phrase<br \/>Recherche sur champs multiples<br \/>Recherche de proximit\u00e9<br \/>Ma\u00eetriser les scores de pertinence<br \/>Utilisation des filtres<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Tests des diff\u00e9rents types de recherches, Mise en place de filtres<\/em><\/p><h3>Fonctionnalit\u00e9s de recherche avanc\u00e9e d&#8217;ElasticSearch<\/h3><p>Concepts de l\u2019agr\u00e9gation, notion de bucket, de mesures\u00a0 \u00a0<br \/>Utilisation des agr\u00e9gations, les diff\u00e9rents types d&#8217;agr\u00e9gations<br \/>Probl\u00e9matique technique de l&#8217;agr\u00e9gation, agr\u00e9gation approximative, Ma\u00eetriser la consommation m\u00e9moire et le temps de r\u00e9ponse<br \/>Recherche g\u00e9olocalis\u00e9e, points, pr\u00e9cision, formes, agr\u00e9gation g\u00e9ographique<br \/>Mod\u00e9lisation de donn\u00e9es, gestion des relations entre documents<br \/>Impact de la mod\u00e9lisation de donn\u00e9es sur la scalabilit\u00e9<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Agr\u00e9gations, Recherche g\u00e9ographique, Mod\u00e9lisation de relation<\/em><\/p><h3>Architecture en Cluster<\/h3><p>Principe de fonctionnement d&#8217;un cluster Elasticsearch<br \/>Configurer un cluster Elasticsearch<br \/>Partitionnement, scalabilit\u00e9 et volum\u00e9trie de donn\u00e9es<br \/>Configuration dynamique et r\u00e9\u00e9quilibrage du cluster<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Tests des diff\u00e9rents types de recherches, Mise en place de filtres<\/em><\/p><h3>Administration, Surveillance et D\u00e9ploiement<\/h3><p>D\u00e9ploiement en production, recommandations mat\u00e9rielles, JVM, M\u00e9moire, Communications r\u00e9seau,<br \/>L&#8217;outil de monitoring Marvel, les m\u00e9triques r\u00e9colt\u00e9s, file d&#8217;attente des t\u00e2ches<br \/>Mesure de performance de l&#8217;indexation<br \/>Changements dynamiques de configuration<br \/>Politique de sauvegarde et restauration<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Installation Marvel, tests de charge avec JMeter<\/em><\/p><h3>Java et Elasticsearch<\/h3><p>Vue g\u00e9n\u00e9rale sur l&#8217;API Java propos\u00e9e par Elastcicsearch<br \/>Connexion au serveur Elasticsearch ( node client, transport client)<br \/>L&#8217;interface d&#8217;acc\u00e8s aux donn\u00e9es<br \/>Utilisation des patterns et des outils Spring et JUnit<\/p><p><strong><em>Atelier<\/em><\/strong><\/p><p><em>Utilisation du moteur Elasticsearch en Java pour indexer et rechercher des documents<\/em><\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2076\" class=\"elementor-tab-title\" data-tab=\"6\" role=\"tab\" aria-controls=\"elementor-tab-content-2076\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION ELASTICSEARCH, LOGSTASH ET KIBANA (ELK \u2013 ELASTIC STACK)<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2076\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"6\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2076\"><h2>Objectifs de la formation<\/h2><p>Cette\u00a0<strong>formation Elasticsearch, Logstash et Kibana<\/strong>\u00a0vous propose de mettre en \u0153uvre cette pile (Elasticsearch, Logstash, Kibana) afin de permettre aux experts m\u00e9tiers de questionner les diff\u00e9rents fichiers de traces produits par le SI.<\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>Comprendre les probl\u00e9matiques de recherche d\u2019information<\/li><li>Comprendre la philosophie des moteurs de recherche et celle de ElasticSearch<\/li><li>Comprendre la compl\u00e9mentarit\u00e9 et l\u2019architecture de Elastic Stack (ex ELK : ElasticSearch, Logstash, Kibana)<\/li><li>Mettre en oeuvre ElasticSearch<\/li><li>Mettre en oeuvre Logstash<\/li><li>Mettre en oeuvre Kibana<\/li><li>S\u00e9curiser votre environnement<\/li><li>Sauvegarder et restaurer vos donn\u00e9es<\/li><li>Superviser votre architecture<\/li><li>Mettre en \u0153uvre une architecture avanc\u00e9e (scalabilit\u00e9 et clustering)<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce cours s&#8217;adresse \u00e0 toute personne amen\u00e9e \u00e0 utiliser ElasticSearch.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Une culture administration de base (Linux ou windows) est n\u00e9cessaire pour suivre la partie exploitation, mais pas pour la partie utilisation. Des connaissances de JSON sont \u00e9galement n\u00e9cessaires<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Comprendre ElasticStack<\/h3><p>Probl\u00e9matique de la recherche en g\u00e9n\u00e9ral<br \/>Le concept d\u2019indexation<br \/>Les diff\u00e9rentes formes d\u2019index<br \/>L&#8217;offre d&#8217;Elastic Stack et cas d&#8217;usage dans les entreprises<br \/>Les raisons du succ\u00e8s<br \/>Panorama technique, architecture, technologies utilis\u00e9es<br \/>Logstash : la glue de l&#8217;architecture, connecteurs, outils de transformation<br \/>ElasticSearch : le moteur de recherche rapide<br \/>Kibana : les outils d&#8217;analyse et de visualisation<br \/>Scalabilit\u00e9 de la pile<br \/>Le mod\u00e8le OpenSource<br \/>Distributions et Installation de la pile<\/p><p><strong><em>Atelier Pratique<\/em><\/strong><\/p><p><em>Installation de la pile<\/em><\/p><h3>ElasticSearch<\/h3><p>Architecture et technologies utilis\u00e9es : le moteur de recherche Lucene<br \/>Concepts de base : Index, Document, Cluster, Noeud, R\u00e9plique<br \/>Principes de l&#8217;API Rest<\/p><p><strong>ElasticSearch et l&#8217;indexation<\/strong><\/p><p>L&#8217;API d&#8217;indexation : Cr\u00e9ation, suppression d&#8217;index<br \/>Configuration d&#8217;index, Types de documents, le r\u00f4le du mapping, index invers\u00e9<br \/>Les diff\u00e9rents types de champs, les champs pr\u00e9d\u00e9finis<br \/>M\u00e9ta-donn\u00e9es d&#8217;un index<br \/>Analyse et extraction de texte : Analyseurs, Tokenizer et filtres<br \/>Les analyseurs les plus courants<\/p><p><strong>La recherche avec ElasticSearch<\/strong><\/p><p>L&#8217;API de recherche, types de recherches offertes par le moteur Lucene<br \/>Score de pertinence<br \/>Utilisation de filtres<br \/>Recherche \u00e0 facette<br \/>Agr\u00e9gation, Bucket, Mesure<br \/>Recherche g\u00e9olocalis\u00e9e, points, pr\u00e9cision, formes, agr\u00e9gation g\u00e9ographique<br \/>Ma\u00eetriser la consommation m\u00e9moire et le temps de r\u00e9ponse<br \/>Mod\u00e9lisation de donn\u00e9es, relations entre documents. Impact sur la scalabilit\u00e9<\/p><p><strong><em>Ateliers Pratiques<\/em><\/strong><\/p><p><em>Cr\u00e9ation d&#8217;index, Mise en place d&#8217;analyseurs<\/em><em><br \/>Utilisation de l&#8217;API de recherche<\/em><\/p><h3>Logstash<\/h3><p>Formats d&#8217;entr\u00e9e support\u00e9s<br \/>Formats de sortie<br \/>Notions de filtres<br \/>Plugins Logstash<br \/>Introduction au DSL Logstash<br \/>T\u00e2ches de configuration<\/p><p><strong><em>Atelier Pratique<\/em><\/strong><\/p><p><em>Configuration de Logstash : Traitements de log Apache, Syslog, Tomcat<\/em><\/p><h3>Kibana<\/h3><p>Architecture Kibana, notions de plugins<br \/>Types de recherches possibles, corr\u00e9lation avec les recherches Lucene<br \/>Visualisations pr\u00e9d\u00e9finies<br \/>Cr\u00e9er ses propres visualisations : Enregistrement, D\u00e9finition et Styling<br \/>L&#8217;\u00e9diteur de visualisation<br \/>Le r\u00f4le du contr\u00f4leur<\/p><p><strong><em>Atelier Pratique<\/em><\/strong><\/p><p><em>Cr\u00e9ation d&#8217;une visualisation personnalis\u00e9e<\/em><\/p><h3>Scalabilit\u00e9 et clustering en Cluster<\/h3><p>Principe de fonctionnement d&#8217;une architecture HA de ELK<br \/>La scalabilit\u00e9 des diff\u00e9rents produits :<br \/>&#8211;\u00a0 Cluster Elasticsearch : Partitionnement et \u00e9quilibrage du cluster<br \/>&#8211;\u00a0 Instances logstash : File de message, l&#8217;outil filebeat , architectures typiques<br \/>&#8211;\u00a0 Kibana : Distribution des requ\u00eates elastic search, les diff\u00e9rentes alternatives, s\u00e9curisation des connexions avec ElasticSearch<br \/>Monitoring et exploitation des architectures de production<\/p><p><strong><em>Atelier Pratique<\/em><\/strong><\/p><p><em>Mise en place d&#8217;une architecture scalable<\/em><\/p><h3>Administration, Surveillance et D\u00e9ploiement<\/h3><p>D\u00e9ploiement en production, recommandations mat\u00e9rielles, JVM, M\u00e9moire, Communications r\u00e9seau<br \/>L&#8217;outil de monitoring Marvel, les m\u00e9triques r\u00e9colt\u00e9es, file d&#8217;attente des t\u00e2ches<br \/>Mesure de performance de l&#8217;indexation<br \/>Changements dynamiques de configuration<br \/>Politique de sauvegarde et restauration<\/p><p><strong><em>\u00a0Atelier Pratique<\/em><\/strong><\/p><p><em>Installation Marvel, tests de charge avec JMeter, Sauvegarde et Restauration, Monitoring des performances<\/em><\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2077\" class=\"elementor-tab-title\" data-tab=\"7\" role=\"tab\" aria-controls=\"elementor-tab-content-2077\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION MATLAB: FONDAMENTAUX<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2077\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"7\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2077\"><h2>Objectifs de la formation<\/h2><p>L\u2019objectif de cette<strong>\u00a0<\/strong><strong>formation MATLAB Fondamentaux<\/strong>\u00a0est d\u2019acqu\u00e9rir les fondamentaux de MATLAB, de son interface, de ses capacit\u00e9s de calcul num\u00e9rique et d\u2019apprendre \u00e0 programmer en langage MATLAB. Cette formation offre une introduction compl\u00e8te \u00e0 l\u2019environnement MATLAB.<\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>Manipuler l\u2019ensemble des \u00e9l\u00e9ments de l\u2019interface MATLAB<\/li><li>Utiliser les commandes simples et avanc\u00e9s de MATLAB afin d\u2019\u00e9crire des scripts et des fonctions performantes<\/li><li>Importer, exporter, traiter et afficher des donn\u00e9es et des graphes de tous types<\/li><li>Cr\u00e9er une interface graphique utilisateur pour une application sp\u00e9cifique<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce cours MATLAB Fondamentaux est destin\u00e9e aux ing\u00e9nieurs, d\u00e9veloppeurs, scientifiques, enseignants, chercheurs, etc.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Pour suivre cette formation MATLAB Fondamentaux, une formation initiale scientifique est souhaitable.<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Introduction \u00e0 MATLAB<\/h3><p>Pr\u00e9sentation du logiciel<br \/>Interface utilisateur<br \/>Les diff\u00e9rents types de variables<br \/>Commandes de base<\/p><h3>Les graphes MATLAB<\/h3><p>Savoir afficher des variables<br \/>Les diff\u00e9rents types de graphes<br \/>Menus et \u00e9dition<br \/>L\u2019onglet PLOTS<\/p><h3>Initiation \u00e0 la programmation avec MATLAB<\/h3><p>Scripts et fonctions<br \/>Matrices, cellules et structures<br \/>Commandes avanc\u00e9es<br \/>Ex\u00e9cution des codes<\/p><h3>Techniques de programmation avec MATLAB<\/h3><p>Les bonnes pratiques<br \/>Ce qu&#8217;il faut \u00e9viter<br \/>Connaitre les astuces et l&#8217;optimisation<br \/>Effectuer le d\u00e9bogage<\/p><h3>Import-Export<\/h3><p>Savoir importer des donn\u00e9es<br \/>Comprendre et mettre en \u0153uvre l&#8217;exploitation de donn\u00e9es<br \/>Comment exporter les donn\u00e9es<br \/>Images et graphes<\/p><h3>D\u00e9velopper une interface graphique avec MATLAB<\/h3><p>Prise en main de GUIDE<br \/>Callbacks et Handles<br \/>Pr\u00e9sentation des graphes<br \/>Cr\u00e9er une application ind\u00e9pendante<\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2078\" class=\"elementor-tab-title\" data-tab=\"8\" role=\"tab\" aria-controls=\"elementor-tab-content-2078\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION MATLAB PERFECTIONNEMENT<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2078\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"8\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2078\"><h2>Objectifs de la formation<\/h2><p>L\u2019objectif de cette\u00a0<strong>formation MATLAB Perfectionnement<\/strong>\u00a0est de vous apprendre en profondeur l\u2019environnement MATLAB et l\u2019ensemble de ses fonctionnalit\u00e9s.<\/p><p><br \/><br \/><\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>Utiliser une large gamme de commandes MATLAB avanc\u00e9es<\/li><li>Pratiquer un codage optimis\u00e9 et vectoris\u00e9<\/li><li>Analyser, Interpoler, Extrapoler des donn\u00e9es de tous types<\/li><li>Importer, Traiter, Exporter les Signaux et Images<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>Public :<\/strong><\/p><p>Ce cours MATLAB Avanc\u00e9 s\u2019adresse \u00e0 des techniciens, ing\u00e9nieurs, chercheurs ou enseignants ayant d\u00e9j\u00e0 suivi une formation d\u2019initiation ou ayant d\u00e9j\u00e0 une premi\u00e8re exp\u00e9rience pratique de la programmation dans cet environnement, \u00e0 travers la r\u00e9alisation de projets techniques.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>Pour suivre ce cours MATLAB Avanc\u00e9, il est important d&#8217;avoir suivi la\u00a0formation Matlab Les Fondamentaux ou avoir un niveau \u00e9quivalent<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>\u00c9tudes de la programmation de base<\/h3><p>Rappel sur le script<br \/>Les fonctions et sous-fonctions avec MATLAB<\/p><h3>Gestion des exceptions dans MATLAB<\/h3><p>Les erreurs et avertissements<br \/>Connaitre les arguments d\u2019entr\u00e9e<\/p><h3>Handle de fonctions<\/h3><p>Op\u00e9ration et utilisation de Handle<br \/>Op\u00e9rations sur les Handles<br \/>Les fonctions de fonctions<br \/>R\u00e9solution d\u2019\u00e9quations diff\u00e9rentielles<\/p><h3>Programmation orient\u00e9e objet avec MATLAB<\/h3><p>Connaitre les avantages de la programmation orient\u00e9e objet<br \/>Construction de classe<br \/>Savoir cr\u00e9er des m\u00e9thodes associ\u00e9es<br \/>Priorit\u00e9 des objets<\/p><h3>Mod\u00e9lisation de l\u2019IHM avec MATLAB (Inferface Homme Machine)<\/h3><p>Les principes pour la cr\u00e9ation d\u2019une interface dynamique<br \/>Compr\u00e9hension du processus<br \/>Cr\u00e9ation de l\u2019IHM : Rappels sur le Handle Graphic et sa hi\u00e9rarchie<\/p><h3>Callback<\/h3><p>D\u00e9finition des Callbacks<br \/>Appel des Callbacks en commande, en ligne ou \u00e0 partir du GUIDE<br \/>Maitriser l&#8217;utilisation de M-File<\/p><h3>Traitement d\u2019image avec MATLAB<\/h3><p>Lecture \/ \u00c9criture des diff\u00e9rents formats d\u2019images<br \/>L&#8217;affichage et conversion des diff\u00e9rents types d\u2019images<br \/>Le filtrage<br \/>Mettre en \u0153euvre le traitement fr\u00e9quentiel<br \/>Savoir am\u00e9liorer une image<\/p><h3>Traitement du signal avec MATLAB<\/h3><p>Savoir cr\u00e9er et manipuler des signaux<br \/>Connaitre la visualisation de donn\u00e9es<br \/>Le filtrage<br \/>Comprendre la corr\u00e9lation et l&#8217;analyse spectrale<\/p><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t<div class=\"elementor-toggle-item\">\n\t\t\t\t\t<div id=\"elementor-tab-title-2079\" class=\"elementor-tab-title\" data-tab=\"9\" role=\"tab\" aria-controls=\"elementor-tab-content-2079\" aria-expanded=\"false\">\n\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon elementor-toggle-icon-left\" aria-hidden=\"true\">\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-closed\"><i class=\"fas fa-caret-right\"><\/i><\/span>\n\t\t\t\t\t\t\t\t<span class=\"elementor-toggle-icon-opened\"><i class=\"elementor-toggle-icon-opened fas fa-caret-up\"><\/i><\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t<a href=\"\" class=\"elementor-toggle-title\">FORMATION STORM \u2013 TRAITEMENT DE FLUX DE DONN\u00c9ES AVEC STORM<\/a>\n\t\t\t\t\t<\/div>\n\n\t\t\t\t\t<div id=\"elementor-tab-content-2079\" class=\"elementor-tab-content elementor-clearfix\" data-tab=\"9\" role=\"tabpanel\" aria-labelledby=\"elementor-tab-title-2079\"><h2>Objectifs de la formation<\/h2><p>Connu pour sa capacit\u00e9 de traitement en temps r\u00e9\u00e9l, le framework Apache Storm se distingue par sa capacit\u00e9 \u00e0 effectuer des calculs complexes, de l&#8217;analyse, et \u00e0 traiter les flux de donn\u00e9es reapidement et de fa\u00e7on fiable. Storm r\u00e9pond ainsi efficacement aux probl\u00e9matiques du Big Data.<\/p><p>\u00c0 l&#8217;issue de cette formation, vous aurez acquis les connaissances et les comp\u00e9tences n\u00e9cessaires pour :<\/p><ul><li>Mettre en \u0153uvre Storm pour le traitement de flux de donn\u00e9es<\/li><li>Installer un cluster Storm et assurer la Haute Disponibilit\u00e9<\/li><\/ul><h2>\u00c0 qui s&#8217;adresse cette formation ?<\/h2><p><strong>\u00a0Public :<\/strong><\/p><p>Ce stage Storm s&#8217;adresse aux chefs de projet, aux Data Scientists et aux d\u00e9veloppeurs.<\/p><p><strong>Pr\u00e9requis :<\/strong><\/p><p>La connaissance d&#8217;un langage de programmation comme Java ou Python est n\u00e9cessaire pour suivre ce cours Storm.<\/p><h2>\u00a0Contenu du cours<\/h2><ol><li><h3>Introduction \u00e0 Storm<\/h3><p>Pr\u00e9sentation de Storm : fonctionnalit\u00e9s, architecture, langages support\u00e9s<br \/>D\u00e9finitions : spout, bolt, topology<\/p><h3>Architecture de Storm<\/h3><p>\u00c9tude des composants d&#8217;un cluster Storm : master node &#8216;nimbus&#8217; et worker nodes<br \/>Positionnement par rapport \u00e0 un cluster Hadoop<br \/>Le mod\u00e8le de donn\u00e9es<br \/>Diff\u00e9rents types de flux<\/p><h3>Premiers pas avec Storm<\/h3><p>Configuration d&#8217;un environnement de d\u00e9veloppement<br \/>Installation d&#8217;un cluster Storm<\/p><p><strong><em>Travaux Pratiques :<\/em><\/strong><\/p><p><em>Exercices sur le projet storm-starter<\/em><\/p><h3>Flux de donn\u00e9es<\/h3><p>D\u00e9finition du nombre de flux dans un n\u0153ud, cr\u00e9ation de topologies regroupant des flux entre diff\u00e9rents n\u0153uds<br \/>Communication entre flux en JSON, lecture de flux d&#8217;origines diverses (JMS, Kafka&#8230;)<\/p><h3>Haute Disponibilit\u00e9 avec Storm<\/h3><p>Tol\u00e9rance aux pannes : principe de fiabilisation des master node, workers node, nimbus<br \/>Garantie de traitement des flux : principe, param\u00e8tres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS<br \/>Traitements temps r\u00e9el avec Trident<br \/>Scalabilit\u00e9 : parall\u00e9lisme dans un cluster Storm, ajouts de n\u0153uds, commande &#8216;storm rebalance&#8217;<\/p><h3>\u00a0<\/h3><\/li><\/ol><\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>FORMATION DEVELOPPEMENT D\u2019APPLICATIONS ET DATA VISUALISATION Objectifs de la formation Cette formation vous pr\u00e9sente les principales technologies concernant le d\u00e9veloppement d\u2019applications Big Data. Elle forme un ensemble coh\u00e9rent dans la mesure o\u00f9, dans un premier temps, elle replace le cadre global du Big Data et se conclut par la visualisation des donn\u00e9es que les programmes [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"parent":0,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-13021","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/pages\/13021","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/comments?post=13021"}],"version-history":[{"count":7,"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/pages\/13021\/revisions"}],"predecessor-version":[{"id":13320,"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/pages\/13021\/revisions\/13320"}],"wp:attachment":[{"href":"https:\/\/705consulting.com\/index.php\/wp-json\/wp\/v2\/media?parent=13021"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}