|
 HP a profité de sa conférence Discover pour structurer son offre autour du framework analytique Hadoop. LeMagIT revient avec Marc Padovani, le CTO de la division ESSN d'HP France, sur les dernières annonces.
HP a récemment levé le voile lors de sa conférence annuelle Discover sur une série de solutions d’infrastructure, de logiciels et de services destinés à simplifier le déploiement d’Hadoop en entreprises. LeMagIT a pu faire le point sur ces solutions dans le cadre d’une discussion avec Marc Padovani, le CTO de la division ESSN (Enterprise Servers, Storage and Networking) d’HP.
Concrètement, HP a défini une série d’architectures de référence basées sur ses solutions d’infrastructures et sur ses logiciels pour accélérer le déploiement de Cluster Hadoop et a aussi développé une série de services pour aider les entreprises à adopter plus rapidement le framework analytique libre. Ces architectures sont basées sur l’expertise accumulée tout au long de déploiements Hadoop effectués par HP, comme le projet Mercury chez eBay (deux clusters Hadoop de 24 Po).
HP propose une série d’architectures de référence pour les distributions Hadoop de Cloudera et de MapR, et entend aussi ajouter à son catalogue très rapidement une architecture de référence pour HortonWorks. Ces architectures de références s’appuient sur des serveurs Proliant, sur Red Hat Linux 6.2 et sur la distribution du choix du client. HP fournit aussi son outil de gestion de grands clusters Insight Cluster Management Utility, un outil dont le développement est réalisé à Grenoble au sein du centre d’expertise HPC de la firme. Le site de Grenoble accueille d’ailleurs aussi le très récent centre d’expertise Hadoop d’HP en Europe.
Une architecture pour Cloudera orientée performance
L’architecture HP pour Cloudera s’appuie sur un rack type, préconfiguré. Il inclut 18 nœuds Proliant DL380p Gen8 équipés de Xeon E5-2667, de 64 Go de RAM et de 16 disques durs SAS 7,2K (16 To de capacité par serveur) pour le rôle de « Worker Node », les nœuds qui effectue les calculs dans Hadoop. Le name node et le JobTracker Node, qui gèrent respectivement les métadonnées du file system HDFS et la distribution du travail entre les nœuds sont quant à eux des Proliant DL360p avec 4 disques SAS 10K. Enfin le nœud d’administration est lui aussi un DL360p avec 8 disques SAS 10K. Chacun de ces nœuds dispose de 4 ports Gigabit Ethernet et le tout est interconnecté par deux commutateurs HP5830AF à 48 ports.
Le rack est géré par HP Insight Control for Linux (en v 7.0) et par Insight CMU 7.0. Chaque serveur est motorisé par Red Hat Linux 6.2 et la distribution cloudera mise en œuvre est la CDH3u3, avec Cloudera Manager 3.7.5.
Selon HP il est possible de décliner une version multi-rack de l’architecture de base, mais dans ce cas les racks additionnels ne comprennent que des worker nodes (19 par rack) et deux commutateurs Gigabit. Selon HP, près de 800 nœuds peuvent être provisionnés en quelques minutes avec son architecture de référence, le tout avec une grande simplicité et avec une visibilité sans comparaison sur le fonctionnement du cluster du fait de l’intégration d’Insight CMU.
Une architecture différente pour MapR
Étonnamment, HP a conçu une architecture assez différente pour la distribution Hadoop de MapR. Une partie des différences tient aux particularités de la distribution MapR et notamment son file system propriétaire qui élimine le besoin du name node qui est distribué entre les nœuds. Mais selon Marc Padovani les différences tiennent aussi aux scénarios dans lesquels est utilisée la distribution MapR. « On constate qu’avec MAPR il y a beaucoup d’utilisations qui sont moins intensives en termes de calcul qu’avec les autres configurations Hadoop. Le résultat est que l’architecture de référence pour MapR s’appuie sur des nœuds d’ancienne génération, des Proliant DL180G6.
Là encore HP s’appuie sur Red Hat Linux 6.2 et embarque son outil de gestion de cluster Insight CMU 7.0.
Hadoop : quelques entreprises matures et beaucoup en phase de POC
Interrogé sur le niveau de maturité des entreprises françaises quant à Hadoop, Marc Padovalni constate « que certaines entreprises sont déjà dans le plateau de la hype curve telle que définie par Gartner » et ont donc un usage mature d’Hadoop. Il cite par exemple de Crédit Mutuel Arkea, où Hadoop est utilisé pour traiter des données provenant d’application DB2/Cobol sur Mainframe à un coût sans commune mesure avec celui qu’il faudrait payer pour obtenir des résultats similaires sur un mainframe. Il faut dire que l’usage d’Hadoop est piloté chez Arkea par Mathias Herberts, un grand avocat du framework qui a aussi travaillé chez Google sur BigTable et est intervenu lors de plusieurs conférences Hadoop.
Mais Pour Marc Paadovani, nombre d’entreprises en sont encore au stade des POC (à plus ou moins grande échelle). Une des difficultés est la pénurie d’acteurs Hadoop, même si la France est plutôt bien positionnée du fait de la qualité de certains cursus de mathématiques et de statistiques.
Padovani souligne aussi qu’Hadoop est encore jeune et que le framework doit lui aussi mûrir. HP travaille par exemple sur plusieurs développements notamment afin de faciliter le dimensionnement des clusters Hadoop. « Nous avons dans nos labs des algorithmes qui aident à déterminer les tailles de clusters adaptées aux besoins de calculs des clients. L’idée est de déterminer quel type de machine il faut en fonction du problème à résoudre et vice-versa ». Pour l’instant, l’aide au dimensionnement est proposé sous forme de service dans le cadre d’un package baptisé HP roadmap Service for Apache Hadoop, dont l’objectif est d’aider une entreprise à planifier et dimensionner un déploiement du framework analytique libre.
HP a aussi interfacé les outils Vertica 6.0 avec Hadoop de façon à pouvoir importer des jeux de données Hadoop dans son outil analytique. HP reproduit en cela les efforts de concurrents comme Teradata, Greenplum, SAS, IBM.... Notons pour terminer que le constructeur n'entend pas en rester au stade des architectures de référence et entend rapidement industrialiser un peu plus son offre. HP devrait ainsi très prochainement proposer des appliances Hadoop prêtes à l’emploi.
Egalement sur le MagIT :
Polémique sur la sécurité des tokens d’authentification
Cloud : Red Hat revendique une pile complète
|
C’est probablement une bonne nouvelle pour Amazon Web Services, Windows Azure et autres Rackspace : Dell renonce à son offre de cloud public basée sur Open Stack. Le constructeur préfère
S’il est encore le numéro un des fabricants de semi-conducteurs, Intel perd du terrain face à des rivaux comme Samsung ou Qualcomm qui ont, eux, réussi à investir le terrain de la mobilité où Intel peine encore à s’imposer.
Jérôme Robert, le fondateur du défunt revendeur premium Apple grenoblois YouCast, qui a fait 
Jeune pousse française créée début 2010, Kawet propose aux entreprises une technologie qui permet de concevoir, de distribuer et d'administrer des applications mobiles natives sous iOS et Android (et bientôt sous Windows).
Au cours d’un entretien accordé à Reuters, le commissaire européen au Commerce extérieur, Karel De Gucht, a confirmé le lancement par Bruxelles d’une enquête antidumping à l’encontre de ZTE et d’Huawei.
Suite au départ en août dernier de Jean-Marc Odet, qui a rejoint J3TEL en tant que directeur général, Aastra vient de nommer Jérôme Larchet, 47 ans, au poste de directeur commercial France.
Alors que la chaîne d’accessoires pour mobiles The Kase annonce qu’elle souhaite reprendre 80 magasins et 300 salariés de The Phone House, le principal candidat à la reprise des Virgin Megastore se retire.
Une commission bipartite de sénateurs américains s’intéresse au système d’optimisation fiscale d’Apple. Elle pourrait réviser la législation US. Les élus plaident pour une réduction du taux d’imposition.