Huawei-benchmark resulterer i private vs offentlige tests med manipuleret SoC-strøm.
For et par uger siden dækkede vi Huawei ved hjælp af et professionelt DSLR-kamera i en reklame om deres selfie-kapaciteter, og det ser ud til, at de bare ikke kan stoppe med at finde måder at prøve at narre forbrugere - denne gang er dens benchmarks, de manipulerer.
Benchmarks er en populær og ( indtil nu?) legitim måde at fremvise en enheds ydeevne på - hvad enten dens CPU, GPU eller systemets ydeevne benchmarks. Hele pointen med benchmarks er at give forbrugerne et nøjagtigt resultat af, hvordan enheder fungerer under stress.
Desværre ser det ud til, at Huawei har inkluderet en 'benchmark-opdagelsesmekanisme' i nogle af deres nyeste enheder. Hvad denne mekanisme i det væsentlige gør, er at skubbe SoC til en meget højere effektgrænse og termisk loftshøjde, når den opdager, at den benchmarkes i visse apps - hvilket resulterer i meget højere præstationsscorer, end brugere normalt ville få i daglig brug. Dette er ikke kun uærligt, det er farligt i SoC's levetid og kan meget hurtigt overophedes en enhed og reducere dens batterilevetid.
Huaweis forsvar for denne praksis kan bedst opsummeres som, “ alle andre gør det også! ” - og desværre har de faktisk ret. Benchmark snyd er slet ikke nyt - det var voldsomt i pc-scenen for et årti siden, og det har også været i mobilscenen i et stykke tid.
Forskellige enheder blev fjernet fra 3DMark til benchmarkmanipulation.
Exynos-varianten af Samsung Galaxy S4 blev fanget ved at udføre lignende benchmark snydpraksis, og redaktørerne for mobilanmeldelseswebstedet AnandTech opdagede et stort antal andre smartphone-leverandører, der også manipulerede benchmarkdata. Dette førte til, at en række enheder, såsom Galaxy S4, Galaxy Note 3, HTC One og mange andre var fjernet fra listen fra 3DMark-databasen.
Selvom de fleste producenter ophørte med adfærden efter at være blevet kaldt ud, fortsatte nogle få - for eksempel fortsatte OnePlus med at snyde i populære benchmarks som GeekBench, men har tilsyneladende stoppet praksis siden OnePlus 5T - som faktisk er en stor enhed og er meget populær modding- og udviklingssamfundet, så måske følte OnePlus, at de ikke gjorde det brug for at manipulere benchmarkdata.
Desværre ser det ud til, at Huawei fortsætter, hvor andre enhedsleverandører er sluttet, da der er verificerede rapporter om, at Huawei manipulerer benchmarks med enheder, herunder Huawei P20, Huawei P20 Pro og Honor Play. Dybest set var Huawei P20s ydeevne faldet tilbage sammenlignet med Huawei Mate 10 Pro - og på det tidspunkt sagde Huawei, at det var en “ firmwareproblem ”- en direkte fed løgn, da det faktisk skyldtes ovennævnte benchmark-detektionsmekanisme, som udløser en meget overlegen effektgrænse for SoC.
Ikke kun er dette dårligt for SoC selv, da SoC's samlede effektivitet falder, når dette er gjort, fordi SoC skubbes godt udenfor af dets normale driftsvindue ( forestil dig at overklokke din CPU så højt som det kan gå uden termisk fedt) . Dette er dog også dårligt for marked sig selv.
For det første får det SoC til at se dårligt ud, som om det behov at få manipuleret benchmarkdataene til at være værd at sælge. For det andet rejser det tvivl om det kinesiske smartphone-marked - som allerede er fyldt med efterligninger, kloner og lyssky praksis. Desuden er Huaweis benchmarkadfærd måske den mest uhyggelige at se endnu, da der virkelig er en massiv forskel i resultatresultater med benchmark-detektionsmekanismen aktiveret sammenlignet med når den er slået fra. Så meget, at AnandTech bemærkede, at forskellene i offentligt tilgængelige benchmarkresultater og deres egne interne test var ' helt forbløffende ”.
Huawei har reageret på at blive fundet ud af, og som vi sagde tidligere, var deres svar dybest set “ alle andre gør det også ”. Hvad de bogstaveligt talt sagde ( citat fra Dr. Wang Chenglu, præsident for software hos Huawei's Consumer Business Group) var “ andre gør det samme, får høj score, og Huawei kan ikke forblive tavs. Huawei ønsker at komme sammen med andre i Kina for at finde den bedste verifikations benchmark for brugeroplevelse. ”
Dr. Wang pegede også på andre producenter med vildledende benchmark-tal og nævnte en ikke navngivet populær smartphone-producent i Kina som den største synder. Ifølge Dr. Wang er benchmark snyd blevet 'almindelig praksis i Kina', og mens Huawei ønsker at 'åbne op' for forbrugerne, har de problemer, når konkurrenter 'konstant sender urealistiske scores.' Huawei forsøger at imødegå sin store kinesiske konkurrence, en opgave, som tilsyneladende gøres vanskelig, når andre enhedsproducenter producerer urealistiske score.
For at opsummere, Huawei
- Indrømmer, at de manipulerer benchmark-tal
- Indrømmer, at alle andre på det kinesiske telefonmarked gør det
- Har ingen planer om at stoppe på grund af nr. 2.
Hvordan kan nogen tillid det kinesiske telefonmarked efter denne slags ting? Under alle omstændigheder afgav Huawei en erklæring om, at virksomheden vil “ sikre, at fremtidige benchmarkdata uafhængigt verificeres af tredjeparter ”.
Huawei sendte et fuldt svar til XDA:
”Huawei prioriterer altid brugeroplevelsen snarere end at forfølge høje benchmark-scores - især da der ikke er en direkte forbindelse mellem smartphone-benchmarks og brugeroplevelser. Huawei smartphones bruger avancerede teknologier såsom AI til at optimere ydelsen af hardware, herunder CPU, GPU og NPU.
Når nogen starter en fotograferingsapp eller spiller et grafisk-intensivt spil, skaber Huaweis intelligente software en jævn og stabil brugeroplevelse ved at anvende hardwareens fulde kapaciteter og samtidig styre enhedens temperatur og energieffektivitet. For applikationer, der ikke er så strømkrævende som at surfe på nettet, tildeler det kun de nødvendige ressourcer til at levere den nødvendige ydelse.
I normale benchmarking-scenarier, når Huawei's software genkender en benchmarking-applikation, tilpasser den sig intelligent til 'Performance Mode' og leverer optimal ydeevne. Huawei planlægger at give brugerne adgang til 'Performance Mode', så de kan bruge den maksimale effekt af deres enhed, når de har brug for det.
Huawei - som brancheleder - er villig til at samarbejde med partnere for at finde de bedste benchmarkingstandarder, der nøjagtigt kan evaluere brugeroplevelsen. ”
Under alle omstændigheder rigtigt benchmarks løb forbi AnandTech testet Huawei P20, P20 Pro og Honor Play - og alle enhederne udført på samme måde, fordi de alle deler den samme HiSilicon Kirin 970 SoC - men den virkelige ydelse for hver enhed er begrænset af de termiske grænser, da hver enhed har en forskellige chassis- og køledesign. Huawei P20 Pro har de bedste temperaturer, så den fungerer bedre i en ægte præstationstilstand.
Redaktøren af AnandTech , Andrei Frumusanu, havde følgende at sige:
“Tidligere har vi set leverandører faktisk hæve SoC-frekvenserne eller låse dem til deres maksimale tilstande, hvilket øger ydeevnen ud over, hvad der normalt er tilgængeligt for generiske applikationer. Hvad Huawei i stedet laver, er at øge benchmark-scoringerne ved at komme til det fra den anden retning - benchmarking-applikationerne er de eneste use-cases, hvor SoC faktisk udfører sine annoncerede hastigheder. I mellemtiden er alle andre virkelige applikationer nedbragt i en betydelig grad under denne tilstand på grund af hardwareens termiske begrænsninger. Det vi ender med at se med uhindret ydeevne er måske den 'sande' form for en ubegrænset SoC, selvom dette er helt akademisk sammenlignet med det, som brugerne faktisk oplever.
Deres grafer viser, at Huaweis nyeste telefoner allerede når 3,5-4,4W i deres ægte præstationstilstand, mens 3,5W TDP er det maksimale beløb, der kan opretholdes. På den anden side går telefonen i overdrive med TDP, når de udfører de offentligt tilgængelige benchmarks, med effekttal, der går over 6W og toppes til 8,5W. Som anandTech bemærker, udløser disse tal hurtigt en overophedningsmeddelelse på enheden, hvilket betyder, at termiske grænser ikke stemmer overens med software forventningerne.
Hvad der kan tages fra denne situation er, at de sande ydeevne ikke er stabile, da de afhænger af telefonens temperatur. Huawei blokerer ikke GPU'en for at nå sin maksimale GPU-frekvenstilstand. Standardadfærden er faktisk en 'hård termisk gasreguleringsmekanisme [...], der vil forsøge at opretholde betydeligt lavere SoC-temperaturniveauer og det samlede strømforbrug.'
Telefonenes normale tilstand kan nå de samme maksimale strømforbrugstal under GPU-benchmarks som dem, der er indsendt af de ubegrænsede varianter. Imidlertid falder disse tal hurtigt markant tilbage, og AnandTech bemærker, at telefonen i nogle tilfælde gasser ned til 2,2 W, hvilket har den virkning, at den reducerer ydeevnen markant.
I publikationen hedder det, at benchmark snydeadfærd tilsyneladende kun er blevet introduceret i årets enheder. Telefoner som Huawei Mate 9 og Huawei P10 påvirkes ikke, og det ser ud til, at kun EMUI 8.0 og nyere enheder er berørt. AnandTech fik også at vide af Huawei, at dette 'udelukkende var en softwareimplementering', hvilket bekræftede publikationens resultater.
AnandTech offentliggjorde sande tal for GPU-ydelse for de berørte Kirin 970-drevne telefoner, og konklusionen er, at Huawei er betydeligt bag sine konkurrenter i både GPU-ydelse og effektivitet .
Publikationen offentliggjorde også grafer til sammenligning af strøm til de Kirin 970 og Kirin 960-drevne Huawei-enheder. Graferne viser, at Huaweis justering af effektbegrænsning faktisk er bedre for brugeroplevelsen, da de mindsker problemet med højere strømforbrug. AnandTechs test af Kirin 960 viste, at den havde 'forfærdelige GPU-effektegenskaber', mens Kirin 970-drevne enheder har en ny streng reguleringsmekanisme, der reducerer strømforbruget og temperaturerne.
AnandTech nævnte også, at den nye gaspolitiske mening giver mening, når man overvejer det faktum, at både Kirin 960 og Kirin 970 viser power draws, der ligger meget over deres bæredygtige niveau for deres respektive formfaktorer.
Selvom Huawei ikke nødvendigvis har gjort noget forkert ved at indføre en ny gasreguleringsmekanisme, er de bestemt krydset ind i snydetærsklen ved udelukkelse af populære benchmarkapplikationer via en hvidliste, hvilket er det, der i dette tilfælde kaldes benchmark-snyd.
UL, som købte Futuremark, firmaet bag PCMark og 3DMark, har fjernet Huawei P20, Huawei P20 Pro, Huawei Nova 3 og Honor Play fra 3DMark.
Virksomheden har verificeret benchmark-snyd på Huawei P20 Pro, Huawei Nova 3 og Honor Play. På baggrund af AnandTechs test og rapportering har den også fjernet standarden Huawei P20. Brugere kan ikke længere se benchmarkresultaterne for de berørte telefoner, da virksomheden ikke ønsker at være vært for snydte benchmark-scores.
Virksomheden fandt ud af, at score fra den offentlige 3DMark-app var op til 47% højere end score fra den private app (som ikke er tilgængelig for offentligheden), på trods af at testene er identiske.
I meddelelsen tilføjede UL, at det var glad for, at Huawei forpligtede sig til at anvende en mere gennemsigtig tilgang i fremtiden. UL's opfattelse er, at valgfri ydelsestilstande, der kan indstilles af brugeren, er tilladt i henhold til dens nuværende regler, så længe de er deaktiveret som standard. Virksomheden siger: 'En enhed skal køre benchmarket, som om det var en anden applikation.'
Afslutningsvis skal alle Huawei GPU-ydeevne-benchmarks, der blev taget ved hjælp af offentligt tilgængelige benchmarks, ikke tages som en repræsentation af den faktiske ydeevne.
Huawei nåede ud til UL for at diskutere de bedste fremgangsmåder til benchmark-test og udsendte en erklæring:
“Huawei og UL (skabere af 3DMark) har afholdt omfattende drøftelser om benchmarking-praksis i denne uge og har nået en positiv aftale om de næste skridt i at arbejde sammen.
I diskussionen forklarede Huawei, at dets smartphones bruger en kunstig intelligent ressourceplanlægningsmekanisme. Fordi forskellige scenarier har forskellige ressourcebehov, udnytter de nyeste Huawei-håndsæt innovative teknologier såsom kunstig intelligens til at optimere ressourceallokering på en måde, så hardwaren kan demonstrere sine evner i det fulde omfang, samtidig med at den opfylder brugernes krav i alle scenarier.
UL forstår hensigten med Huaweis tilgang, men er imod at tvinge brugen af en 'Performance Mode' som standard, når en benchmarking-applikation opdages af enheden. UL-regler kræver, at en enhed kører benchmarket, som om det var en anden applikation.
Huawei respekterer forbrugernes ret til at vælge, hvad de skal gøre med deres enheder. Derfor vil Huawei give brugerne åben adgang til 'Performance Mode' i EMUI 9.0, så brugeren kan vælge, hvornår de skal bruge den maksimale effekt på deres enhed.
Huawei og UL har også generelt diskuteret de nuværende almindelige testmetoder for benchmark. UL og Huawei vil gerne deltage i en industribevægelse for at udvikle benchmarkingstandarder, der bedst imødekommer producenters, presses og forbrugers behov.
For at forhindre forvirring omkring aktuelle benchmarking-resultater har UL og Huawei efter diskussion midlertidigt fjernet benchmark-scoringerne for en række Huawei-enheder og vil genindføre dem, når Huawei giver alle brugere af Huawei-håndsæt adgang til Performance Mode. ”
Mærker Huawei
