Google explique pourquoi il a été obligé de construire ses propres réseaux
Google a toujours été un pionnier de l'informatique distribuée et du traitement des données avec Google MapReduce, Bigtable et Borg. Ils nécessitent des performances que personne ne peut assurer pour répondre aux besoins de Google.
Depuis dix ans, Google a construit ses propres réseaux pour centres de données, ils sont définis par logiciel. La société n'en avait pas parlé jusqu'alors, mais l'un de ses dirigeants, Amin Vahdat, responsable technique réseau, s'est exprimé lors de l'Open Network Summit mercredi. Le réseau actuel, qui alimente tous les centres de données de Google, a une capacité maximale de 1,13 petabits par seconde. Cent fois plus que le premier réseau de centre de données développé par Google il y a dix ans. Ce réseau a une conception hiérarchique à trois niveaux de commutateurs, utilisant tous les mêmes puces de base. Il n'est pas contrôlé par des protocoles standards, mais par un logiciel qui traite tous les commutateurs.
Sur le même sujetBrocade lance Flux Optimizer, pour décongestionner les réseauxLa question du réseau est critique pour les centres de données de Google, où les tâches sont réparties entre des pools de calcul et de stockage, a poursuivi Amin Vahdat. Le réseau est ce qui permet à Google de faire le meilleur usage de tous ses services, mais la capacité nécessaire a connu une croissance si rapide que les routeurs et les commutateurs classiques ne peuvent pas suivre. « La quantité de bande passante que nous devons offrir à nos serveurs évolue plus vite que la loi de Moore elle-même » souligne-t-il. Au cours des six dernières années, elle a été multipliée par cinquante. Et les réseaux doivent non seulement prendre en compte la puissance de calcul, mais être de plus en plus performants pour tirer parti des technologies de stockage rapides utilisant flash et la mémoire non volatile.
Google ne pouvait plus continuer
Revenant sur le fait que Google utilisait au départ du matériel traditionnel des fournisseurs du marché, il a expliqué que la taille du réseau était alors définie par celle du routeur que la société pouvait acheter. Et quand un routeur plus important arrivait sur le marché, le réseau devait être refait. Au final, cela ne fonctionnait pas. "Nous ne pouvions pas continuer à acheter, à n'importe quel prix, un réseau de centre de données pour réponde aux exigences de nos systèmes distribués", a souligné Amin Vahdat.
Aussi, la société a-t-elle commencé à construire ses propres réseaux, en utilisant du matériel générique, contrôlé de manière centralisée par un logiciel. Pour cela, Google a utilisé une topologie dite Clos, une architecture mesh avec de multiples chemins entre les terminaux et l'équipement construits avec un silicon merchant, des puces génériques que les fabricants de box blanches utilisent. La pile logicielle qui contrôle le tout est propre à Google, mais fonctionne avec le protocole OpenFlow.
Un réseau de cinquième génération
Google a commencé il y a dix ans avec un projet appelé Firehose 1.0, qui ne pouvait passer en production, a indiqué Amin Vahdat. À l'époque, il n'y avait pas de bons protocoles avec plusieurs chemins entre les destinations et pas de bonnes gestions de réseaux en open-source, Google a dû développer le sien en propre. La société en est maintenant à l'utilisation d'un réseau de cinquième génération, appelé Jupiter, avec des connexions Ethernet 40-Gigabit et une hiérarchie top-of-rack, des commutateurs agrégés ou en colonne vertébrale. Il peut fournir plus de un pétabit par seconde en bande passante. Pour mettre cela en perspective, explique Amin Vahdat explique dans son blog, « cette capacité serait suffisante pour que 100 000 serveurs échangent des informations à 10Gb/s chacun, ce serait suffisant pour lire l'intégralité du contenu numérisé de la Bibliothèque du Congrès en moins d'un dixième de seconde ».
Cette conception permet à Google une mise à niveau de ses réseaux sans perturber le fonctionnement des centres de données. Google arrive maintenant à une nouvelle étape, où il ouvre sa technologie de réseau, il a fallu une décennie pour atteindre ce stade.
En illustration : Amin Vahdat, l'un des premiers dirigeants de Google à expliquer sa conception du réseau
