L'avenir du controversé site Pwnhead en question
La question de l'avenir du site Pwnhead, qui répertorie et classe les chercheurs et les conférences sur la sécurité, se pose déjà, deux semaines à peine après son lancement, après les réactions négatives des professionnels du secteur. Certains mettent en question la valeur du classement qu'ils considèrent davantage comme « un concours de popularité ».
Pwnhead.com a été lancé à la fin de l'année dernière dans le but d'évaluer les conférences sur la sécurité, les entreprises et les personnes travaillant pour elles. « Si une conférence était un film, on pourrait simplement aller sur imdb.com et vérifier son score. Mais il n'y a rien de tel pour les conférences sur la sécurité », peut-on lire dans un message mis en ligne sur le site le 3 janvier. Lequel poursuit : « Il en va de même pour les entreprises et leurs employés. Et pour les mêmes raisons : il n'existe pas de système standardisé d'évaluation/de notation dans le domaine de la sécurité informatique. C'est pour cela que nous avons construit pwnhead.com », indique encore le blog.
Le site a évalué 82 conférences mondiales sur la sécurité en fonction de plusieurs indicateurs, comme sa date de création, le nombre de participants et l'accès à un enregistrement vidéo. Les conférences DEF CON de Las Vegas, Black Hat USA et Black Hat Europe sont les trois premières du premier classement de Pwnhead. La conférence Kiwicon, organisée tous les ans depuis 2007 à Wellington, Nouvelle-Zélande se classe à la 78e place. D'après Pwnhead, les individus sont notés en fonction de leurs « compétences techniques » sur la base de paramètres comme le nombre de référentiels et d'étoiles Github, la popularité de leurs outils de sécurité, le nombre de présentations données lors de conférences importantes, le nombre d'articles et de livres publiés, ainsi que le « poids de l'intervenant dans le domaine de la sécurité », un score « subjectif » attribué par les dix éditeurs de Pwnhead, comme le dit Pwnhead dans sa FAQ.
Selon le même classement, les trois meilleurs chercheurs en sécurité, sur les 196 répertoriés par le site, sont : Tavis Ormandy, chercheur en vulnérabilité chez Google, Dafydd Stuttard, chercheur chez l'éditeur de logiciels de test de sécurité Web Portswigger et Raphael Mudge, cofondateur de Strategic Cyber, éditeur de solutions Red teaming. Cinq chercheurs néo-zélandais figurent dans le classement : Wade Alcorn, Aldo Cortesi, Michael Skelton, Eldar Marcussen, Shubham Shah et Andrew Horton. « Le score d'une entreprise est déterminé en faisant la moyenne des scores des cinq meilleures personnes qui y travaillent », explique encore le site. Google, Atredis Partners, Snap inc., Spectorops et Mozilla figurent parmi les cinq premières entreprises du classement Pwnhead.
Des réactions très négatives
Mais, à peine lancé, le site a fait l'objet de vives critiques de la part de la communauté infosec. Certains ont émis des doutes sur la valeur de ce classement, qu'ils assimilent à un « concours de popularité ». D'autres s'interrogent sur l'anonymat des 10 éditeurs de Pwnhead et de l'opacité de leur algorithme. « Inconditionnel de la sécurité, je trouve vraiment que l'idée de ce tableau de bord est très mauvaise. Je ne veux pas vivre dans un monde où l'on est surveillé et/ou classé pour ses publications. Vraiment, une mauvaise mentalité », a écrit Sh0ck (@Sh0ckFR), le 8 janvier 2019.
« Vous avez été inspirés par un épisode de Black Mirror ? Vous attribuez un « score social » aux chercheurs.... Le monde académique a essayé de le faire aussi en utilisant plusieurs indicateurs, mais c'est une mauvaise idée », a écrit Mathy Vanhoef (@vanhoefm) le 12 janvier 2019.
« Je n'aime pas cette idée, ni cette évaluation sommaire. Ce n'est ni transparent, ni impartial, ni très utile. J'aimerais me retirer de façon proactive pour toujours de ce classement. Ce n'est pas vraiment représentatif de la culture que j'aime dans le monde infosec », a réagi Kody (@KodyKinzie), le 13 janvier 2019.
« Je veux vraiment me tenir à l'écart de ce site. Il est totalement biaisé et il n'est en rien représentatif de la communauté, ni de notre capacité à apprécier les NOUVELLES idées. Pas besoin d'intermédiaires, ni de contrôleurs biaisés. #WeakAF », a écrit pour sa part ShadowOps | (@Shadow0pz), le 13 janvier 2019.
Une liste très scrutée
Un certain nombre de personnes classées sur le site ont demandé à être retirées de la liste. Le compte Twitter du site a d'abord répondu : « c'est juste amusant », en ajoutant qu'il avait expliqué clairement les modalités de mesure et qu'il allait bientôt rendre publique la formule utilisée pour établir son classement.
N'empêche, David Jorm, directeur principal des tests d'intrusion de la Commonwealth Bank of Australia, a posté un message sur Twitter pour dire qu'il se méfierait de tous les chercheurs apparaissant sur la liste Pwnhead. « Cela fait sept ans que j'embauche des testeurs spécialisés dans les intrusions et des ingénieurs de sécurité », a-t-il déclaré. « Tous ceux qui figurent sur la liste Pwnhead seront automatiquement rayés de ma liste s'ils postulent pour un job chez moi. Demandez, s'il vous plaît, à être retirés de cette liste avant de postuler ».
Aujourd'hui, soit un peu plus de deux semaines après son lancement, le site a admis ses lacunes sur Twitter. « Notre intention était de créer une référence fiable pour la communauté de la sécurité. Mais il semble que nous n'y sommes pas parvenus », reconnaît le tweet, toujours anonyme. Pwnhead a également demandé, encore via Twitter, si le site devait continuer sans rien changer ou abandonner son classement des personnes : sur les 400 participants au sondage, 80 % ont déclaré qu'ils souhaitaient la suppression du classement individuel.
