Wie kommen die Bewertungen in den Handytests von Areamobile zustande? Und wie werden die Tester Handys mit außergewöhnlichen Features gerecht? Diese Fragen beantworten wir in diesem Hintergrundartikel zu unserem Handy-Bewertungssystem.
Treue Leser werden sich noch an die alte, inzwischen abgelöste Testwertung von Areamobile erinnern – sie war einfacher und legte mehr Wert auf Bereiche, die im Laufe der Zeit bei modernen Smart- und Feature Phones immer mehr in den Hintergrund rückten. Daher führten wir vor etwa zwei Jahren ein neues, modernisiertes Wertungssystem ein, das mit der Zeit die einzelnen Bewertungen von Features runterstuft, was aber auf den ersten Blick gar nicht aufällt. Jetzt haben wir unser Wertungssystem für Handytests noch flexibler gestaltet, um auch besonderen Eigenschaften von Smartphones gerechter zu werden. In unseren Augen darf auch ein Testbericht nicht völlig frei von persönlicher Meinung sein – solange sie als solche erkennbar ist und nicht überhand nimmt. Ein großer Teil unserer Handy-Wertungen bleibt jedoch frei von subjektiven Empfindungen.
Unterschiedliche Eingabefelder und automatisches Auslesen | (c) Areamobile
Der Bereich Ausstattung wird etwa komplett aus dem Datenblatt des jeweiligen Gerätes ausgelesen, in anderen Bereichen wie Kamera oder Internet herrscht eine ausgewogene Mischung aus automatisiertem Auslesen und Wertung durch den Tester. Die Punktevergabe des automatisierten Auslesens basiert auf festen, von uns zuvor aufgestellten Wertungstabellen. Bei einer Kamera verteilt das System beispielsweise automatisch Wertungspunkte für die Auflösung bei Fotos und Videos, für die Framerate bei Videos und für einen Blitz. Anderen Punkte wie Bildqualität werden hingegen vom Tester eingegeben.
Den Rahmen unseres bisherigen Wertungssystems hatte das Nokia 808 Pureview gesprengt. Während bei anderen Kamera-Handys bei einer Auflösung von 12 Megapixel Schluss ist, kommt das Pureview mit 41-Megapixel-Kamera. Darauf haben wir während des kürzlich vorgenommenen Tests des Nokia-Handys reagiert.
Punktetabellen für das automatisierte Auslesen | (c) Areamobile
Sobald in Deutschland verstärkt Handys mit Kameras mit mehr als 12 Megapixel Auflösung angeboten werden, haben wir die Maximalpunktzahl in diesem Bereich an. Ab diesem zeitpunkt werden die heutigen Top-Geräte mit 12-Megapixel-Kamera nicht mehr die Maximalpunktzahl erhalten und im Vergleich zu den neuen Modellen höherauflösenden Kameras abgewertet. Wir nennen das Zeitwertung. Das geschieht in zahlreichen Bereichen wie etwa Display, Auflösung, RAM, Prozessor und interner Speicherkapazität. Die zeitliche Abwertung findet man bei der ausführlichen Testwertung in den Tests unter dem Reiter "Aktuelle Wertung" - an der Darstellung wird derzeit noch gearbeitet, auch eine eine grafische Präsentation ist im Gespräch.
Dadurch soll erreicht werden, dass ehemalige Spitzenmodelle nicht in Stein gemeißelt für die Ewigkeit mit einem rekordverdächtigen Ergebnis in unseren Bestenlisten ganz oben zu finden sind, denn ein zwei Jahre altes Spitzenmodell hat bei normaler technischer Entwicklung einfach keine Chance mehr gegen ein aktuelles Spitzenmodell. Ein Test ist einfach immer eine Momentaufnahme. Bestes Beispiel: Das Samsung Galaxy S2 hat zum Testzeitpunkt eine Wertung von knapp über 90 Prozent erhalten und war das erste Gerät, das mit der Note "hervorragend" abschnitt. Inzwischen ist seine Zeitwertung auf 88 Prozent gesunken und es ist damit nur noch "sehr gut".
Unterschiedliche Gewichtungen | (c) Areamobile
Innerhalb der verschiedenen Bereiche wie Foto, Internet oder Ausstattung haben die einzelnen Parameter unterschiedliche Gewichtungen. So wird bei der Kamerawertung die reine Megapixel-Zahl, die nur bedingten Aussagegehalt zu Qualität der Kamera zulassen, nur mit 5 Prozent (innerhalb der Kamerawertung) gewichtet, die Qualität hingegen mit je 30 Prozent und 20 Prozent für Foto und Video. Und auch die verschiedenen Bereiche wie Musik, Kamera oder Bedienung werden unterschiedlich gewichtet – so legen wir besonderen Wert auf die Bedienung (17 Prozent) und die Ausstattung (15 Prozent), räumen Navigation (2 Prozent) und Verarbeitung (3 Prozent) aber eine untergeordnete Rolle ein. Die unterschiedlichen Gewichtungen unterscheiden sich bei Smartphones und Tablets natürlich in wichtigen Punkten wie Display oder Speicher.
Die Bonuspunkte werden bei den Tops&Flops...
...und in der Wertung mit Erklärung aufgeführt | (c) Areamobile
Eine Testwertung ist aber – egal wie ausgefeilt sie ist – immer ein Kompromiss. Unsere Wertung legt recht viel Wert auf die technische Ausstattung, tut damit aber Betriebssystemen wie Windows Phone oder Symbian in gewisser Weise Unrecht, die mit schwächerer Hardware ähnliche Leistung wie Android mit deutlich stärkerer Ausstattung erreichen. Andererseits ist ein Quad-Core-Chip tendenziell schneller als ein Single-Core und die Wertung arbeitet daher vom Ansatz her korrekt. Aus diesem Grund haben wir unser System dahingehend bislang nicht verändert. Dennoch wollten wir die Möglichkeit haben, einzelne Features stärker hervorzuheben – positiv wie negativ. Daher haben wir unseren Handytestern jetzt die Möglichkeit eingeräumt, am Ende - nach strengen vorgegebenen Richtlinien - wenige Prozentpunkte auf die Wertung aufzuschlagen oder von ihr abzuziehen. Man findet diese händische Korrektur mit Begründung im Test bei der ausführlichen Wertung und in den "Tops&Flops". Dadurch verzichten wir zwar auf einen geringen Anteil Objektivität bei der Wertung, werden aber Geräten mit außergewöhnlichen Features oder spürbaren Nachteilen gerecht, die von unserem Standard-Wertungssystem nicht erfasst werden. Das Nokia 808 Pureview ist das erste Gerät gewesen, dasZusatzpunkten erhielt, da wir die Kamera als Meilenstein ansehen, der uns nach dem Test zusätzliche 5 Prozentpunkte wert war.
Areamobile ist bei seinen Handytests immer unbestechlich und alle Beschreibungen und Wertungen werden nach bestem Wissen und Gewissen geschrieben. Werbung auf unserer Website ist immer als solche gekennzeichnet und zu erkennen (und ermöglicht es, dass ihr den Content auf unserer kostenfrei lesen könnt). Dennoch kann es bei dem beschriebenen Wertungssystem oder einer Testnote auch mal zu einem Fehler kommen – etwa wenn zuvor im Datenblatt ein falscher Wert eingetragen wurde. Daher sind wir für entsprechende Hinweise und Feedback aus unserer Community immer dankbar und freuen uns über konstruktive Kritik am Wertungssystem. Fehlt etwas? Ist etwas überholt? In den Kommentaren könnt ihr gerne eure Meinung posten oder uns eine Mail an die Redaktion über den Button Tipp senden schicken, den ihr auf der Startseite unter dem Suchfenster oben rechts findet.
Lest auch: Der Handyfinder von Areamobile - der schnellste Weg zum passenden Smartphone
Die Kommentarfunktion ist hier leider nur für angemeldete Benutzer freigegeben.
Du bist nicht dabei?@thahoodz
Negativ wird die Größe zwar schon bewertet, andererseits das Display aber auch wiederum positiv. Wir müssen ein Gerät wie das Note ja in eine Kategorie stecken, wir haben uns für "Smartphone" statt "Tablet" entschieden. Für eine Smartphone ist das Gehäuse aber unbestritten sehr groß. Letztendlich ist aber weder der Punktverlust bei der Handlichkeit, noch der Punktgewinn beim Display für sich gesehen ausschlaggebend für das Gesamtergebnis, da es einfach so viele Wertungskriterien gibt. Um ein gutes Ergebnis zu erzielen muss einfach fast alles stimmen, einzelne Ausreißer sind dann auch kein Beinbruch mehr.
@mikey6981
Das hätten wir auch gern in unseren Tests, allerdings erfordert eine Messung (die Anzahl der Empfangsbalken ist allenfalls ein grober Hinweis auf den tatsächlichen Empfang) enormen Aufwand, den wir derzeit leider nicht bewältigen können.
@all
Danke für das Feedback! Ich beobachte den Thread weiter, Verbesserungsvorschläge her! ;)
Mir gefällt das Bewertungssystem sehr gut. Was ich allerdings sehr schmerzlich vermisse, sind vergleichbare Werte was die Sende- und Empfangsleistung angeht. Auch in der modernen Welt leben noch sehr viele Smartphonebenutzer in Gebieten mit schlechter Netzversorgung. Was nützt ein das tollste Smartphone, wenn man viele Features nicht nutzen kann, weil der Empfang zu schlecht ist.
Beispiel bei mir: Wohnort im Sauerland, Dorf; Iphone 3Gs Empfang nur ein Balken EDGE auf der Fensterbank, bei Handyberührung Empfang weg. Nächstes Handy HTC One S, Empfang meist Fehlanzeige, nur manchmal kurzzeitig besser. Wechsel zum Iphone 4 (ohne S)nach Tipp vom Bekannten: 3 Balken EDGE am gleichen Ort ohne Berührung, mit Berührung 1-2 Balken - Telefonieren immer möglich!!!
Wäre schön, wenn man das irgendwie einbinden könnte
mfG
Also ich muss mich bei am nicht immer neu anmelden (ebenfalls wo)
Ich finde das besondere werten bei außergewöhnlichen Features sau geil, weil soetwas einfacch heraussticht:):).Deswegen hab ich mich auch über die Bewertung des 808 sehr gefreut.
Macht bitte noch einmal eine areamobile app für wp,damit man sich nicht dauernd neu anmelden muss und so ;)
finde ich super das ihr eure herangehensweise erläutert und bis ins kleinste glied verständlich erklärt.
ich bin gespannt wie das note 2 bewertet wird.
eins muss ich aber noch sagen ein smartlet wie ein note darf aufgrund seiner grösse nicht negativ bewertet werden, es vielmehr ein zwitter zwischen tablet und smartphone. selbst samsung hat das note extra auf der webseite. ansonsten müsste ja z.b. ein iphone abzug bekommen, weil der touchscreen zu klein ist. versteht ihr?
das ihr mit der zeit geht, finde ich ungemein wichtig, da wer weiss ob es 5 jahren zum guten ton gehört einen integrierten beamer im gerät dabei zu haben.
@mikey6981:
wohne auch im sauerland. wo wohnst denn da?