Digital
China

Benchmark-Cheating: Wie Huawei erwischt wurde

Bei Marketing-Aufnahmen helfen verschiedene Hersteller gerne etwas nach. Und bei Benchmark-Tests?
Bei Marketing-Aufnahmen helfen verschiedene Hersteller gerne etwas nach. Und bei Benchmark-Tests?screenshot: youtube

Wie Huawei mit seinem Top-Handy beim Schummeln erwischt wurde

Der bekannte Android-Hersteller gibt zu, gewisse Testergebnisse zu «optimieren» und nennt als Hauptgrund dafür andere Anbieter aus China.
10.09.2018, 17:4206.11.2018, 10:45
Mehr «Digital»

Huawei baut Spitzen-Smartphones, ohne Zweifel. Digital-Redaktor Oliver Wietlisbach zeigte sich insbesondere begeistert vom aktuellen Android-Topmodell, dem Huawei P20.

Die Mobilgeräte schneiden in Praxistests gut bis sehr gut ab und überzeugen durch hohe Benutzerfreundlichkeit. Umso merkwürdiger mutet es an, dass der Hersteller offenbar bei Prozessor-Geschwindigkeitstests schummelt. Oder müsste es im Marketing-Sprech ganz einfach «optimiert» heissen?

Fakt ist: Huawei ist dabei erwischt worden, wie es einige seiner vielgelobten Smartphones für sogenannte Benchmark-Tests optimiert hat. Oder wie The Verge die umfangreichen Recherchen von Anand Tech zusammenfasst, wurde Huawei mit folgenden Modellen beim Schummeln erwischt:

  • P20
  • P20 Pro
  • Nova 3
  • Honor Play

Das Unternehmen versucht sich damit zu verteidigen, dass seine Smartphones einfach so konzipiert seien, dass sie ihre Leistung je nach App anpassen würden. Zudem gelte es, sich gegen die Konkurrenz in China zu wehren, die die eigenen Geräte öfters mit unrealistischen Benchmark-Resultaten anpreise.

Die Art und Weise, wie Huawei dies umgesetzt habe, sei nicht gestattet, konstatiert The Verge. Zwar dürften Handys ihre Leistung als Teil ihres typischen Verhaltens unter hohen Arbeitslasten (wie etwa Gaming-Tests) anpassen. Doch dürfe dies nicht fest programmiert sein, nur weil eine bestimmte Benchmark-App laufe. Und genau dies scheine Huawei getan zu haben, sage die Entwicklerfirma hinter der 3DMark-Software.

«(...) Huawei behauptet auch, dass seine Telefone eine Künstliche Intelligenz (KI) enthalten, die intelligent genug ist, um die Leistung basierend auf der laufenden App zu optimieren, und das ist eindeutig nicht der Fall.»
quelle: theverge.com

Ist Benchmark-Cheating überhaupt schlimm?

Huawei sei bei weitem nicht der erste Hersteller, der beim Manipulieren von Benchmark-Tests erwischt wurde, erinnert The Verge. Samsung sei 2013 wegen des gleichen Verhaltens bei seinen Flaggschiff-Handys ertappt worden und erst letztes Jahr wurde festgestellt, dass OnePlus dasselbe machte.

Deutlich gravierender als die falschen Geschwindigkeitsmessungen sei wohl der drohende Vertrauensverlust respektive der Image-Schaden, konstatiert Anand Tech. 

«Für ein Unternehmen von der Grösse von Huawei ist das Markenimage ein grosser Teil dessen, was das Unternehmen ist, und der Versuch, Kunden nur für einen Benchmark-Spitzenwert zu täuschen, wird nach hinten losgehen.»

Bei Huawei ist zudem das Timing ungünstig. Vor wenigen Wochen sorgte ein PR-Foto für Aufregung, das nicht mit dem P20 geschossen wurde, sondern mit einer DSLR-Kamera.

Und was lernen wir daraus? Die Smartphone-Hersteller sollten sich auf die wahren Stärken ihrer eigenen Hardware und Software konzentrieren, statt auf Marketing-Tricks.

Wer sich für die technischen Details des Benchmark-Cheating interessiert, wird hier bei Anand Tech fündig.

Ist es schlimm, wenn Hersteller bei unabhängigen Handy-Tests schummeln?
An dieser Umfrage haben insgesamt 1393 Personen teilgenommen

(dsc)

Zum ersten Mal interviewt unser Wirtschaftsexperte einen Roboter

Video: watson
Mehr Reviews: Die neusten Smartphones und Co. im Test
Fairphone 4? Das Öko-Smartphone für Weltverbesserer? Richtig? Falsch!
44
Fairphone 4? Das Öko-Smartphone für Weltverbesserer? Richtig? Falsch!
von Oliver Wietlisbach
Ich habe Apples neue kabellose Ohrhörer mit 3D-Audio getestet – mit klarem Urteil
19
Ich habe Apples neue kabellose Ohrhörer mit 3D-Audio getestet – mit klarem Urteil
von Daniel Schurter
Warum ich mich in diesem Falt-Smartphone gehörig getäuscht habe
39
Warum ich mich in diesem Falt-Smartphone gehörig getäuscht habe
von Oliver Wietlisbach
Dieses mehr als gute Handy zeigt perfekt, warum 1000-Franken-Smartphones Unsinn sind
96
Dieses mehr als gute Handy zeigt perfekt, warum 1000-Franken-Smartphones Unsinn sind
von Oliver Wietlisbach
Apples neue Streaming-Box im Test: Der heimliche Star ist die Beilage
39
Apples neue Streaming-Box im Test: Der heimliche Star ist die Beilage
von Daniel Schurter
Dieses Smartphone gibt dir die Kontrolle über deine Daten zurück – und so funktioniert es
36
Dieses Smartphone gibt dir die Kontrolle über deine Daten zurück – und so funktioniert es
von Oliver Wietlisbach
Das Vermächtnis von Apples Design-Legende Jony Ive: Der neue iMac im Test
87
Das Vermächtnis von Apples Design-Legende Jony Ive: Der neue iMac im Test
von Daniel Schurter
Ich habe das neue Nokia-Phone 2 Monate getestet – und das ist die ungeschminkte Wahrheit
26
Ich habe das neue Nokia-Phone 2 Monate getestet – und das ist die ungeschminkte Wahrheit
von Oliver Wietlisbach
Das iPad Air ist ein bezahlbares Fast-«Pro»-Gerät und perfekt für Corona-Zeiten
86
Das iPad Air ist ein bezahlbares Fast-«Pro»-Gerät und perfekt für Corona-Zeiten
von Daniel Schurter
Huaweis Over-Ear-Einstand ist nicht schlecht – aber da geht noch was
3
Huaweis Over-Ear-Einstand ist nicht schlecht – aber da geht noch was
von Pascal Scherrer
Warum dieses völlig unterschätzte Smartphone ein echter «Geheimtipp» ist
77
Warum dieses völlig unterschätzte Smartphone ein echter «Geheimtipp» ist
von Oliver Wietlisbach
Fairphone? Das Handy für Weltverbesserer und Ökofreaks. Richtig? Falsch!
75
Fairphone? Das Handy für Weltverbesserer und Ökofreaks. Richtig? Falsch!
von Oliver Wietlisbach
Das Nokia 5.3 ist der Beweis: Ein gutes Smartphone unter 200 Franken ist möglich
49
Das Nokia 5.3 ist der Beweis: Ein gutes Smartphone unter 200 Franken ist möglich
von Oliver Wietlisbach
Dells neues XPS 13 ist der Laptop, an dem sich die Konkurrenz messen muss
34
Dells neues XPS 13 ist der Laptop, an dem sich die Konkurrenz messen muss
von Pascal Scherrer
Ich habe mich 2 Monate mit dem Huawei P40 Pro durchgeschlagen – ohne Google Apps
65
Ich habe mich 2 Monate mit dem Huawei P40 Pro durchgeschlagen – ohne Google Apps
von Pascal Scherrer
Auf der Suche nach einem Top-Smartphone? Wir haben da einen Geheimtipp
44
Auf der Suche nach einem Top-Smartphone? Wir haben da einen Geheimtipp
von Oliver Wietlisbach
Hat Samsung das ultimative Kamera-Handy gebaut? Wir haben es einen Monat lang getestet
16
Hat Samsung das ultimative Kamera-Handy gebaut? Wir haben es einen Monat lang getestet
von Pascal Scherrer
Das soll der schönste Fernseher der Welt sein? Ich habe ihn zwei Monate getestet
32
Das soll der schönste Fernseher der Welt sein? Ich habe ihn zwei Monate getestet
von Oliver Wietlisbach
HP will den perfekten Laptop für unterwegs gebaut haben – es ist ihnen fast gelungen
39
HP will den perfekten Laptop für unterwegs gebaut haben – es ist ihnen fast gelungen
von Pascal Scherrer
Huawei Freebuds 3 im Langzeittest: Günstige Airpods-Alternative oder teurer Schrott?
19
Huawei Freebuds 3 im Langzeittest: Günstige Airpods-Alternative oder teurer Schrott?
von Pascal Scherrer
Dieses 500-Franken-Handy zeigt perfekt, warum 1000-Franken-Smartphones Quatsch sind
66
Dieses 500-Franken-Handy zeigt perfekt, warum 1000-Franken-Smartphones Quatsch sind
von Oliver Wietlisbach
Vergiss teure E-Reader! Warum du mit dem günstigen Tolino-Modell am besten liest
64
Vergiss teure E-Reader! Warum du mit dem günstigen Tolino-Modell am besten liest
von Pascal Scherrer
Das beste Kamera-Handy gibt's jetzt in der Schweiz – wir haben es getestet
24
Das beste Kamera-Handy gibt's jetzt in der Schweiz – wir haben es getestet
von Pascal Scherrer
Ein beinahe perfekter Kopfhörer – doch das hat seinen Preis
51
Ein beinahe perfekter Kopfhörer – doch das hat seinen Preis
von Pascal Scherrer
Ich war mit dem neuen iPhone auf Elba und ging durch die «Food Porn»-Hölle
40
Ich war mit dem neuen iPhone auf Elba und ging durch die «Food Porn»-Hölle
von Daniel Schurter
Warum dieses völlig unterschätzte Smartphone ein echter «Geheimtipp» ist
29
Warum dieses völlig unterschätzte Smartphone ein echter «Geheimtipp» ist
von Oliver Wietlisbach
Die neuen «Pro»-Ohrstöpsel von Apple sind genial, haben aber einen grossen Haken
94
Die neuen «Pro»-Ohrstöpsel von Apple sind genial, haben aber einen grossen Haken
von Daniel Schurter
Die Switch Lite ist der fast perfekte Game Boy, den ich mir als Kind gewünscht hätte
33
Die Switch Lite ist der fast perfekte Game Boy, den ich mir als Kind gewünscht hätte
von Oliver Wietlisbach
Googles smarte Lautsprecher verstehen nun Schweizerdeutsch – und das können sie sonst noch
38
Googles smarte Lautsprecher verstehen nun Schweizerdeutsch – und das können sie sonst noch
von Oliver Wietlisbach
11 Dinge, die jeder Android- und iPhone-Nutzer über das Fairphone 3 wissen sollte
23
11 Dinge, die jeder Android- und iPhone-Nutzer über das Fairphone 3 wissen sollte
von Oliver Wietlisbach
Asus hat den spektakulärsten Laptop der Welt gebaut – und wir haben ihn getestet
56
Asus hat den spektakulärsten Laptop der Welt gebaut – und wir haben ihn getestet
von Oliver Wietlisbach
Oppos Reno 5G ist ein spektakuläres Smartphone – das seiner Zeit voraus ist
33
Oppos Reno 5G ist ein spektakuläres Smartphone – das seiner Zeit voraus ist
von Oliver Wietlisbach
Ich hab die 3 neuen Huawei-Handys 2 Monate im Alltag getestet – es gab einen klaren Sieger
23
Ich hab die 3 neuen Huawei-Handys 2 Monate im Alltag getestet – es gab einen klaren Sieger
von Pascal Scherrer
OnePlus 7 Pro im Test: Kein Preishit mehr – lohnt sich der Kauf trotzdem?
13
OnePlus 7 Pro im Test: Kein Preishit mehr – lohnt sich der Kauf trotzdem?
von Ali Vahid Roodsari
Beinahe hätte Nokia die Handy-Kamera neu erfunden – aber der Test enthüllt ein Problem
28
Beinahe hätte Nokia die Handy-Kamera neu erfunden – aber der Test enthüllt ein Problem
von Oliver Wietlisbach
iRobot Roomba i7+ – der Rolls-Royce unter den Roboterstaubsaugern im grossen Test
21
iRobot Roomba i7+ – der Rolls-Royce unter den Roboterstaubsaugern im grossen Test
von Laura Stresing
10 Dinge zu Apples neuen AirPods, die nicht nur iPhone-User wissen sollten
64
10 Dinge zu Apples neuen AirPods, die nicht nur iPhone-User wissen sollten
von Daniel Schurter
Beinahe hätte Samsung das perfekte Allzweck-Handy gebaut, aber es gibt da ein Problem ...
13
Beinahe hätte Samsung das perfekte Allzweck-Handy gebaut, aber es gibt da ein Problem ...
von Oliver Wietlisbach
Ich habe Huaweis Mate 20 Pro vier Wochen getestet – und das ist die ungeschminkte Wahrheit
27
Ich habe Huaweis Mate 20 Pro vier Wochen getestet – und das ist die ungeschminkte Wahrheit
von Oliver Wietlisbach
Das Shiftphone im Test – dieses Handy gibt dir ein verdammt gutes Gefühl, aber ...
38
Das Shiftphone im Test – dieses Handy gibt dir ein verdammt gutes Gefühl, aber ...
von Daniel Schurter
DANKE FÜR DIE ♥
Würdest du gerne watson und unseren Journalismus unterstützen? Mehr erfahren
(Du wirst umgeleitet, um die Zahlung abzuschliessen.)
5 CHF
15 CHF
25 CHF
Anderer
Oder unterstütze uns per Banküberweisung.
Das könnte dich auch noch interessieren:
Du hast uns was zu sagen?
Hast du einen relevanten Input oder hast du einen Fehler entdeckt? Du kannst uns dein Anliegen gerne via Formular übermitteln.
9 Kommentare
Weil wir die Kommentar-Debatten weiterhin persönlich moderieren möchten, sehen wir uns gezwungen, die Kommentarfunktion 24 Stunden nach Publikation einer Story zu schliessen. Vielen Dank für dein Verständnis!
Die beliebtesten Kommentare
avatar
Madison Pierce
10.09.2018 17:58registriert September 2015
Das ist schon eher "optimiert" als "geschummelt": die Hardware erreicht die angezeigten Werte ja tatsächlich, es wird nicht einfach eine falsche Punktzahl in der App angezeigt.

Ist ein wenig, wie wenn man im Anzug ans Vorstellungsgespräch geht, am ersten Arbeitstag aber im T-Shirt erscheint: man kann den Anzug tragen, aber es ist nicht alltagstauglich. :)

Oder wenn Autohersteller die Verbrauchswerte ermitteln: die sind korrekt, nur fährt halt niemand mit abgedecktem Kühlergrill und ausgeschalteter Klimaanlage...
00
Melden
Zum Kommentar
avatar
joshy
10.09.2018 19:05registriert September 2018
Inzwischen sollte eigentlich jedem Konsument klar sein, das die Werte egal ob bei Autos, Smartphones, Kühlschränke usw. immer bei optimalen und manchmal auch bei vollkommen unrealistischen Vorraussetzungen getestet werden.
Ist ja logisch, dass jeder Anbieter die beste Ware will, und diese auch so anpreisen.
Ich bin bei solchen Angaben immer sehr kritisch. Im Internet findet man viel ausagekräftigere Tests, aber auch da ist nicht alles Gold was glänzt.
00
Melden
Zum Kommentar
9
Nach Tod von Live-Streamer: Frankreich knöpft sich Streaming-Plattform Kick vor
Die französische Justiz geht wegen des Todes von Streamer Raphaël Graven gegen die australische Live-Streaming-Plattform vor. Diese verspricht mit den Behörden zu kooperieren.
Frankreich will Kick verklagen, weil die Plattform nach Ansicht der Ermittler «nicht alles Mögliche getan hat, um die Verbreitung gefährlicher Inhalte zu verhindern». Damit sei ein Gesetz von 2004 zur Regulierung von Online-Inhalten verletzt worden, erklärte die französische Digitalministerin Clara Chappaz am Dienstag.
Zur Story