jump to navigation

Benchmark IPTV / DSL en France … ca réagit … janvier 29, 2007

Posted by jmplanche in Witbe.
trackback

Suite à la publication de notre partenaire « presse en ligne », le journal du net, concernant une étude sur la qualité des principales offres TV / ADSL en France, avec toutes les limitations que notre méthodologie expose, nous avons eu de nombreux retours, en particulier de la communauté Free.

Enfin ! les choses bougent un peu … et surtout les utilisateurs eux mêmes prennent part au débat. Nous en sommes particulièrement heureux, même si nous avons eu quelques remarques un peu rapides, mais dont je remercie les auteurs pour leur temps : (en ITALIQUE et en GRAS, mes remarques, je pensais que NDLR était suffisant, mais il ne semble pas)

Vivinfo : … ce test ne peut pas être considéré comme significatif car
toute personne ayant fait des études statistiques sait qu’il faut au
moins 30 observations pour avoir des résultats représentatifs…
Donc
carton rouge pour le benchmark Witbe du Journal du Net car méthodologie
complètement farfelue… (NDLR: même si après tout l’auteur semble être d’accord avec nos systèmes de monitoring …) Ceci étant dit, il est quand même connu que la qualité de la TV par
ADSL chez Free est insuffisante pour ceux qui sont assez proches du
central car le débit TV de 3.5Mbps n’a jamais été revu malgré
l’augmentation du débit suite à l’arrivée de l’ADSL2+

Kitano : et le MPEG4 va mettre tout le monde d’accord. smile
Witbe peut se cacher avec ses SUPER tests! (NDLR : ??? Witbe ne se cache pas et ne se cachera pas et attends aussi avec impatience le MPEG4 … 🙂 )

p4p1 : @ Vivenco
Toute a fait d’accord avec toi pour l’interprétation des
résultats de cette étude qui n’as rien de représentatif, puisque la
méthode utilisé ne respecte en rien les règles scientifiques d’usage.
D’un
autre coté , d’après mes observations complètement subjective, et suite
au nombre de témoignages vu sur le net, je dirais que la qualité de
réception des bouquets TV des box proposés par Orange et Neuf sont
quand même de meilleure qualité que celui de Free. (NDLR : d’un autre coté, c’est bien ce que l’on mesure …. donc nous sommes d’accord … cela tombe bien 🙂 ) Bien sur Free a
choisi de compresser le flux pour servir un plus grand nombre, d’où
cette dégradation de l’image.

titeuf86 : euh perso je ne suis pas d’accord avec les tests effectué par witbee
(NDRL : witbE, bon sang 🙂 ) parce que chez moi ça marche nickel j’ai jamais de freeze et la qualité
d’image est impeccable.
Donc on peut se poser des questions sur ces tests, ils ne sont pas fiable à 100%. (NDLR : et comprenez que l’on peut aussi se poser des questions sur votre installation chez vous … pas de freeze, qualité d’image impeccable, est ce bien raisonnable 🙂 )

navidof : … Depuis que j’ai remis le mode standart. J’ai jamais eu
un seul freeze et la qualité d’image est tout à fait regardable (plasma
141 cm relié en hdmi à la freebox). S’ils étaitent venu faire les tests
chez moi ça aurait pas donné les mêmes résultats ! (NDLR : c’est sur, mais ce n’est pas le principe de nos tests. Sauf à ce que vous ayez une dizaine de lignes téléphoniques avec des accès ADSL calibrés et les offres des différents fournisseurs et de quoi héberger 2 baies de télécom complètes)

Je dois dire que pour une fois, je suis particulièrement heureux de constater que les gens sérieux et censés sont majoritaires, à une très large majorité …

Matt.Rixx : Vous avez mal lu la méthodologie employée par Witbe: … Witbe n’a donc pas perdu 9m20s du 20h de France, en revanche, il y a
9m20s d’image « mauvaise », en tout cas ayant une note inférieur à 2/5

Greenaway : Objectivement , pourquoi vouloir mettre en doute systematiquement les comparatifs ?

mauris : Freenews, vous faites une mauvaise interpretation de la méthode de
Witbe, avant de vous de se precipiter il serai peut être bien de LIRE
le test.. !

roque : … Du même point (je ne pense pas de la même ligne), il est testé 5 offres de télé par IP.
Donc tout le monde est à égalité. Cela permet d’avoir une idée de la qualité de l’offre.
Les 30 observations ne donneraient peut-être pas les mêmes résultats en fonction des distances.

Le test vaut ce qu’il est, mais il permet d’avoir une idée de la qualité pour une distance donnée sur un NRA donné.
Ce
qui aurait fallu vérifier, c’est si la qualité des lignes sont
identiques pour chaque FAI, car il peut y avoir des variations aussi,
mais sur le même lieu.

Maintenant, si les mesures sont faîtes régulièrement, aux opérateurs d’améliorer leur qualité de service, un point c’est tout.

quickos57 : Le test on fait une comparaison dans un lieu où tout les FAI peuvent
permettre au client d’avoir la télé et on remarque que Free n’est pas
le meilleur. Voilà que je disais pour la tv chez Free, il propose la tv
pratiquement à tout le monde mais la qualité d’image est moyenne, pas
rapport à orange ou autre FAI qui propose la tv au client qui ont une
ligne optimal pour recevoir la tv sans soucis.

stefouil : La Qualite de Service sera le prochain combat des FAI, et la reste a savoir si Free et son reseau seront capables de s’adapter pour offrir
une QoS afin de garder ses usagers! ? … Perso je prefere payer un peu plus cher et faire tout ce que je veux quand je le veux avec une QoS irreprochable.

Alors, pour expliquer :

segfault : non je ne mets pas en doute « les comparatifs », simplement le fait que les ligne qui servent pour les tests ne sont pas nécessairement représentatives : … Tester l’ADSL depuis un seul endroit ça ne veut pas dire grand chose …

Cela ne veut pas dire ce que vous pensez que cela veuille dire … nous n’extrapolons pas la qualité GLOBALE d’un opérateur à partir d’un seul point. Nous nous mettons en situation d’un utilisateur presque normal, qui demande une ligne à un opérateur depuis un endroit qui est censé ne pas poser de problème. Il faut plutôt penser les choses à l’envers par rapport à ce que je comprends de ce que vous pensez … si un opérateur n’est pas capable de faire fonctionner son service chez nous, nous pourrions extrapoler que cela va être difficile de le faire fonctionner en Lozère septentrionale sur une ligne ADSL de 4000 mètres avec 80 db d’atténuation …

Faire d’un cas particulier
une généralité n’est pas faire preuve d’objectivité : si ça marche
parfaitement chez l’un ou pas du tout chez l’autre, on ne peut dire que
c’est le cas partout.

Exact … chez vous cela sera au mieux, mieux que chez nous (à la Défense) et au pire, pire. En fait c’est un peu comme l’aiguille de la boussole qui indique tout sauf le nord magnétique … vous me suivez ?

palnap : Après, c’est vrai que le fait de pour l’idée de witbe de faire un test représentatif sur une ligne, faudra repasser 😉

Cela fait 7 ans que nous faisons ce genre de tests et cela fait 7 ans que nous expliquons les limites de ces tests et leur intérêt, que nous verrons par la suite (à la fin de ce message)

Ce qui aurait fallu vérifier, c’est si la qualité des lignes sont identiques pour chaque FAI, car il peut y avoir des variations aussi, mais sur le même lieu.

Bonne question … elles sont censées être indentiques, nous avons fait du mieux possible pour qu’elles le soient (construction en même temps, qualification, demande d’aide aux opérateurs pour vérification par leur soin …). A priori, de ce que nous constatons, elles ne sont pas fondamentalement différentes. (si l’on peut croire les indicateurs fournis par les modems adsl, par exemple)

Ce qui est clair, j’ai de la famille et des amis qui ont essayé Alice et qui sont partis de suite. Le test confirme la très mauvaise qualité de service chez Alice? Comme quoi la pub, ce n’est pas tout.

Comme on dit dans la finance … les performances passées ne présagent pas des futures … nous sommes *très* surpris des performances d’Alice en ce moment, depuis qu’une nouvelle « BOX » nous a été livré … il y a encore des soucis de disponibilité, mais la qualité a augmenté d’une façon spectaculaire.

Witbe corrompu

A votre avis ? en tous les cas, pas à ma connaissance. En fait ce n’est pas vraiment gentils pour les gens qui assurent ce lourd travail et il ne faudrait pas tomber dans le ridicule … Pour information, le résultat de ces mesures n’est pas corrélé avec le chiffre d’affaire que nous faisons avec certains opérateurs … D’ailleurs mieux que cela (si l’on peut dire), certains opérateurs (presque tous), sont nos clients et certains ont des classements inversement proportionnel au chiffre d’affaire que nous faisons avec eux …

Un truc important à noter: Si Witbe utilisait une V5 HD à la place d’une vieille V4/a, est-ce que le test serait-il pareil?

Nous utilisons une V5 HD … en fait nous demandons aux opérateurs de nous fournir le MEILLEUR de ce qu’ils peuvent fournir SANS NOUS AVANTAGER par rapport à un client lambda.

La Qualite de Service sera le prochain combat des FAI,

OUI !

OUI et mille fois OUI !

C’est d’ailleurs tout le travail qui nous anime depuis 7 ans et beaucoup plus de un siècle / homme de R&D sur le sujet …

Hier, nous avions d’un coté de la télévision qui fonctionnait, du téléphone qui fonctionnait et de l’Internet qui fonctionnait.

Maintenant que tout est mélangé, en va t’il toujours de même ? J’ai l’impression, avec l’IPTV de revenir au temps de l’Internet asynchrone. La qualité n’est pas si facile à assurer et il faut s’en occuper.

C’est juste notre objectif, que l’on puisse déjà mesurer un état 0 de la qualité IPTV et ensuite la suivre, de la même façon, ou d’une façon consistante pour voir si les choses s’améliorent ou si elles se dégradent.

Etant un éternel optimiste, je suis sur que nos amis opérateurs feront ce qu’il faut pour que les choses s’améliorent, car de tout facon ils n’ont pas le choix. C’est le FUTUR et c’est structurant de leur futur et en final … c’est VOUS qui serez gagnant.

En fait, je me rends compte que ces quelques mots n’arriveront pas à convaincre les éternels sceptiques et que souvent, comme Saint Thomas, il faut qu’ils puissent toucher pour croire. Alors si certains d’entre vous sont intéressés à visiter nos installations, à ce que nous leurs présentions les choses « vues de l’intérieur », nous serions ravis d’organiser pour vous une mini « porte ouverte » … (laissez moi votre avis ici et indiquez un email valide que l’on puisse vous recontacter pour organiser cela)

Commentaires»

1. S. - février 5, 2007

Moi j’ai une question simple: Pourquoi 9 secondes ?

http://www.journaldunet.com/witbe/video/0612/1.shtml

2. jmplanche - février 5, 2007

une réponse simple : il faut bien choisir un délai de timeout …
Considérant qu’en moyenne un changement de chaîne « vrai » (ie: pas simplement le switch d’adresses dans le réseau, mais je parle du moment démarrant à l’envoi d’une séquence de changement de chaîne et se terminant à l’apparition de la nouvelle chaîne à la télévision) est de 4 secondes …. 9 secondes nous semble une marge suffisament importante pour considérer arbitrairement le service comme non disponible (nous ne pouvons pas attendre un délai infini ou indéterminé).
En plus, je ne crois pas vraiment qu’un humain normal puisse attendre 9 secondes devant sa télévision pour passer d’une chaîne à une autre. Dans le futur nous pourrons « durcir » ce paramètre, mais aujourd’hui nous constatons plutôt que si la nouvelle chaîne n’est pas apparue en moins de 5 secondes, il y a quasiment 100% de chance pour que le service ne soit en panne.
Cela répond il à votre question ?


Laisser un commentaire