Plus d’une douzaine d’IBM Labs dans le monde, plus de 3.500 chercheurs et développeurs, soit au bas mot des centaines de millions de dollars : c’est ce que Big Blue va investir dans Apache Spark , qualifié de « potentiellement le plus important nouveau projet open source de la décennie dans le domaine du traitement des données ».
La firme d’Armonk croit tellement à ce projet qu’elle va en plus offrir sa technologie d’apprentissage automatique SystemML à l’écosystème Spark et former plus d’un million de datascientists et ingénieurs au framework en partenariat avec les MOOCs AMPLab, DataCamp, MetiStream, Galvanize et Big Data University
Développé pour traiter très rapidement et de manière distribuée les très gros volumes de données (la fondation Apache annonce un temps de traitement divisé par 100 par rapport à Hadoop), Spark sera intégré aux plateformes d’analytique et d’e-commerce d’IBM ainsi qu’à Watson Health Cloud et à l’offre PaaS Bluemix.
IBM étant un des fondateurs du laboratoire AMPLab de l’université de Berkeley où Spark a vu le jour en 2009, l’intérêt de la société pour le framework n’est pas vraiment une surprise. Il fait d’ailleurs l’objet d’une coopération entre Big Blue et certains de ses clients.
La NASA et le SETI Institute (un organisme sans but lucratif qui s’intéresse à la vie dans l’Univers) utilisent notamment Spark as a service sur Bluemix pour analyser plusieurs téraoctets de signaux radio provenant de l’espace afin de déterminer si la vie existe ailleurs que sur la terre.
» Nous croyons fermement à la puissance de l’open source en tant que socle pour bâtir de la valeurs pour nos clients. Nous nous sommes investis dans Spark pour en faire une plateforme technologique fondamentale afin d’accélérer l’innovation et de faire de l’analytique un mouvement fondamental touchant toutes les activités « , tient à préciser dans un communiqué la directrice générale en charge de la plateforme Analytique d’IBM, Beth Smith.