Nach Bekanntwerden von wiederholten Manipulationsversuchen beim grössten Schweizer Handy-Netztest, dem «connect Netztest 2019», fragte watson bei den drei betroffenen Schweizer Providern nach. Resultat: Swisscom, Sunrise und Salt distanzierten sich von den Vorfällen.
Der deutsche Ingenieur Bernd Theiss ist für die Durchführung der alljährlichen «Connect»-Tests verantwortlich. Er leitet das in München angesiedelte Messlabor (Testlab) sowie den Bereich Test und Technik beim Branchenmagazin, das die alljährlichen Mobilfunktests organisiert.
Im Interview nimmt der erfahrene Netztester auch zum Vorwurf eines Branchen-Insiders Stellung, der behauptet, «Connect» habe die Crowd-Messungen nicht im Griff.
Herr Theiss, welche Schweizer Netzbetreiber waren von den Manipulationen betroffen?
Bernd Theiss: Wenn wir Anhaltspunkte hätten, dass Netzbetreiber selbst beteiligt wären, würden wir diese nennen, ohne Indizien verzichten wir darauf. Denn bei einer Namensnennung bliebe immer etwas am Betreiber hängen. Das entspräche nicht unserem Selbstverständnis der Neutralität.
Können Sie ausschliessen, dass manipulierte Messungen die endgültigen Testergebnisse verfälscht haben?
Dass manipulierte Samples in die Messungen einfliessen, lässt sich natürlich nie völlig ausschliessen. Um aber die Punktzahl nach oben zu treiben, wären schon massive Eingriffe nötig. Und massive Abweichungen von dem, was in der Crowd passiert, sind natürlich erkenn- und damit ausfilterbar.
Sind solche Manipulationsversuche das erste Mal überhaupt aufgetreten?
Ja, das Phänomen beobachten wir das erste Mal.
Sie sprechen von «einer geringen zweistelligen Anzahl» von Geräten, die an den Manipulationsversuchen beteiligt waren. Wie ist es zu erklären, dass so wenige Geräte die Resultate massgeblich verfälschen könnten?
Ein Wert, den wir per Crowdsourcing erfassen, sind die zehn schnellsten Prozent in den sogenannten Evaluation Areas – das sind Planquadrate, in die wir die Schweiz aufgeteilt haben. Wenn sich jemand in der Schweiz weiträumig von Ort zu Ort bewegt und in regelmässigen Abständen grosse Downloads initiiert, kann dieser Wert nach oben getrieben werden.
Wie einfach ist das zu erkennen?
Die Übertragung grosser Datenmengen treibt Netze auf Höchstgeschwindigkeit, kommt im normalen Crowdsourcing aber nur selten und unregelmässig vor. Um die Resultate zu beeinflussen, muss das aber massiv passieren, was es uns sehr gut ermöglicht, die Smartphones mit den regelmässigen, grossen Übertragungen zu erkennen. Wir filtern solche Daten aus – entsprechend beeinflussen sie unsere Bewertung nicht.
Gab es bei Ihren eigenen Messungen zum «Connect-Test 2019» Hinweise auf andere Manipulationsversuche?
Nein, von dieser Auffälligkeit abgesehen gab es keine weiteren Überraschungen.
Stimmt es eigentlich, dass die getesteten Provider mit technischen Tricks und temporären Eingriffen in ihre Mobilfunknetze versuchen dürfen, während den Messungen die Ergebnisse zu «optimieren»?
Es gibt ein sehr genaues Framework, nach dem der Test abläuft, und das allen Providern vorab zur Kenntnis gebracht wird. Eingriffe und Tricks tolerieren wir nicht, ganz im Gegenteil. Kurz vor Start der Messungen werden die Anbieter noch einmal darauf hingewiesen, dass Änderungen an diversen Konfigurationen während des Netztests verboten sind. Das betrifft unter anderem Änderungen, die regulatorische Vorschriften missachten oder den durch den Netztest verursachten Traffic anders behandeln als die Datenströme normaler Kunden. Wir machen klar, dass so etwas aus unserer Sicht Verstösse gegen unsere Fair-Play-Regeln wären.
Ein Branchen-Insider behauptet, Sie hätten die im letzten Jahr eingeführten Crowd-Messungen nicht im Griff, dies könnte schamlos ausgenützt werden.
Das Schöne an der empirischen Erfassung technischer Messwerte ist, dass sich für die Dichtefunktion der Stichproben in aller Regel eine glockenförmige Gausskurve ergibt. Versuchte jemand durch Einstreuen besonders guter Samples sein Ergebnis zu verbessern, so würde diese Kurve an der positiven Seite einen zweiten Peak bekommen. Das Einstreuen einer Anomalie fällt in einer durch technische Gegebenheiten bedingten Verteilung so schnell auf wie die orange Boje im blauen Meer. Von daher ist es leicht, die Anomalie zu identifizieren und zu eliminieren. Insofern liegen Provider falsch, die anderes denken.
Könnte sich Ihr Unternehmen leisten, einen Provider namentlich der Manipulation anzuprangern?
Wenn ein Provider manipuliert und wir Wissen darüber erlangen, könnten wir es uns nicht leisten, das nicht anzuprangern. Wir tun sehr viel, um sicherzustellen, dass der Netztest sauber abläuft, und wir würden nicht zögern, mit einem erkannten Betrug an die Öffentlichkeit zu gehen.
Dem Connect-Netztest wird allgemein eine grosse Bedeutung beigemessen. Aus diesem Grund fühlen wir uns verpflichtet ihn mit grösster Sorgfalt durchzuführen. Wir hielten es in der Vergangenheit und halten es auch heute für unsere Pflicht, auf Auffälligkeiten während der Messungen hinzuweisen. Und solche Beobachtungen publik zu machen ist auch ein Signal an die, die glauben, mit unredlichen Mitteln Einfluss nehmen zu können.
Die Fragen wurden per E-Mail beantwortet.
