Mesurer la « qualité » de l'accès à l'Internet, mission difficile

L’ARCEP vient de publier  son premier rapport « Qualité du service fixe d’accès à l’€™Internet ».

Ce rapport est le résultat d’une campagne de mesures de l’accès Internet via plusieurs FAI (Fournisseurs d’Accès à l’Internet). Le but est de mesurer objectivement quel FAI est meilleur sur un certain nombre de critères. Une telle mesure soulève évidemment plein de questions techniques. Le problème a l’air trivial au début (« quel FAI est le plus rapide ? ») mais en fait un réseau comme l’Internet est complexe et il n’existe pas un seul critère qui suffirait à définir un concept aussi flou que « la vitesse » (même si les publicités des FAI simplifient à outrance cette complexité). Cela avait fait l’objet en 2011 d’une intéressante consultation publique.

Pour effectuer les mesures qui ont mené à ce rapport, il a donc fallu beaucoup de discussions, s’étalant sur plusieurs années, au sein d’un comité technique regroupant des représentants des FAI, mais aussi d’associations comme la Quadrature du Net ou l’UFC Que Choisir, ainsi que des experts venant d’organisations qui ne sont pas des FAI, comme l’INRIA ou l’Afnic. Ce comité technique a eu à traiter de chacun des points du rapport. La plupart du temps, contrairement à ce qu’affirment bien vite certaines personnes sur les forums, il n’y a pas une solution idéale. Il y a plusieurs façons de mesurer, chacune avec des avantages et des inconvénients. Aucune des plate-formes existantes (par exemple Grenouille) n’est parfaite.

Pour donner une idée (partielle) des choix qui se posaient, revenons d’abord sur la façon dont on fait une mesure active sur l’Internet. Un engin de mesure, la sonde, est connecté à l’Internet. La sonde envoie des requêtes vers une mire, une machine également connectée à l’Internet, qui va répondre. Il existe des tas de décisions à prendre, sur la sonde, sur les requêtes, et sur la mire.

Par exemple, la sonde peut être une machine spécialisée, ne faisant que la mesure, ce qui permet de contrôler étroitement les divers paramètres, mais rend le déploiement massif plus difficile. Ou bien elle peut être purement logicielle, ce qui est plus proche du vécu des utilisateurs, mais rend très difficile les comparaisons parce qu’un PC peut être infecté par un virus qui le ralentit, il peut être connecté en Wifi dans un environnement où les ondes radio ne passent pas bien, etc.

Les requêtes offrent encore plus de variabilité. Elles peuvent porter sur des paramètres techniques bien définis et normalisés (comme la latence, c’est-à-dire le temps d’aller-retour, ou comme la capacité maximale du réseau, le nombre de bits qu’on peut faire passer par seconde) et elles sont alors rigoureuses, et spécifiées dans des documents comme les RFC du groupe de travail IPPM (IP Performance Metrics) de l’IETF. Ou bien les mesures peuvent porter sur des grandeurs qui sont plus proches du vécu de l’utilisateur, comme le temps de chargement d’une page Web. Elles sont alors plus compréhensibles par le non technicien mais beaucoup moins précises et moins rigoureuses dans leur définition.

Un exemple d’une discussion qui a bien agité le comité technique : faut-il retirer le temps de chargement des publicités ? D’un côté, elles sont présentes et contribuent donc à l’expérience utilisateur. De l’autre, on peut estimer, au nom d’un jugement de valeur, qu’elles ne font pas réellement partie de la page. Pour compliquer ce débat, on peut aussi noter que les publicités sont souvent ciblées, c’est-à-dire qu’elles varient selon le destinataire, rendant ainsi impossible toute comparaison.

Quant aux mires, on peut se demander si elles doivent être situées sur le réseau du FAI qu’on mesure (qui est la seule partie de l’Internet qu’il contrôle totalement) ou bien en dehors (la qualité de l’interconnexion avec les autres réseaux est un élement essentiel dans les performances).

(Au passage, depuis le début du travail sur ce projet, le RIPE-NCC a déployé le réseau des Ancres Atlas – l’Afnic a été la deuxième organisation au monde à en héberger une, réseau qui fournit un ensemble de mires neutres, au service des sondes Atlas mais aussi d’autres mesureurs.)

En conclusion, le point important est que ces mesures existent, qu’elles pourront être améliorées, et qu’en attendant, elles fournissent déjà beaucoup de données sur lesquelles travailler. (Les données brutes sont disponibles.)