Viele Ratings in den letzten Tagen von neuen Nutzern

Mir ist aufgefallen, dass es in den letzten Tagen eine signifikante Zahl neuer Bewertungen für RX605, RX16, RX3, RX11, RX323 und RX605 gegeben hat. Fand da ein großes Tasting statt? Zusätzlich scheines es alles neue Nutzer zu sein bzw. Nutzer mit ihren ersten Bewertungen.

Kennt da jemand Hintergründe?

3 Likes

Den Bewertungen nach ist @WolfgangKlotz dabei gewesen. Vielleicht weiß er ja mehr, was da los war.

3 Likes

Vllt hat er die beim GAF ausgeschenkt

4 Likes

Also Don Papa, Botucal und Co. hab ich bei ihm am Stand definitiv nicht gesehen. Evtl Bückware für ganz besondere Kunden. :joy:

5 Likes

Ne, die hatte Wolfgang definitiv nicht am Stand. Irgendwas ist da sehr seltsam :face_with_raised_eyebrow:

4 Likes

Ich hatte vor einer Woche bei Start der App ne Umfrage welche Flaschen mir am ehesten zusagen würden damit die KI mir passende Empfehlungen geben kann. Dabei wurden die genannten Flaschen automatisch bei mir als (bewertet) angegeben obwohl ich die nie probiert habe. :sweat_smile:

7 Likes

Dann sei mal froh, dass du nicht alle probieren musstest :sweat_smile:

6 Likes

Ich denke das ist um fürs Matching die ersten paar Rums semi-auto bewerten zu lassen.
Bei den 5 Vorschlägen kommt dann (ws bei neuen Usern, oder solchen ohne Bewertungen) nur die “Daumen” (2x rot, 1x rot, 1x grün, 2x grün) mit vorgefertigten Scores

5 Likes

Ja genau, und dann stehen die bei deinem Account direkt als (bewertet)

4 Likes

Ok, das erklärt die vielen Wertungen

3 Likes

Exakt. Seit dem letzten Update gibt. es ein Onboarding für neue Nutzer wo die Präferenz für ca. 30 “Key-Rums” abgefragt wird. Quasi, um den initialen Geschmack eines neuen Nutzers zu ermitteln und ihm so den AHA-Moment des neuen Match Scores früher zu bescheren. Die Bewertungen werden intern als “Quick Review” gekennzeichnet und neue Nutzern dann nach einiger Zeit zum feinjustierten aufgefordert. Ziel: Die Hürde die ersten Rums zu bewerten für neue Nutze rau senken und den Anteil der Community die aktiv mit Bewertungen beiträgt mittelfristig zu steigern.

12 Likes

Kann man die Quick Reviews nicht aus der Liste der normalen Reviews ausblenden?
Ich sehe mir immer wieder gerne die Bewertungen aller User durch und nicht nur von denjenigen, denen ich folge.
Momentan tauchen allerdings fast nur Ratings dieser „Key Rums“ auf, wodurch das Auffinden der für mich relevanten Reviews zu einem Dauerscrollen wird, was ehrlich gesagt ein bisschen nervt.

15 Likes

Gute Idee! Blende ich im Tasting Feed im nächsten Update aus.

6 Likes

I’m not sure if this question has been asked and answered before, but I don’t understand the reasoning behind the quick rating system with thumbs up and down. Especially it being so ostentatious. To get into the old, deeper review I have to click a link a fifth of the size of the red and green orbs.

The old rating system was perhaps too convoluted, but the new setup strongly promotes the use of the thumbs. Isn’t there a huge risk of generating (a large amount of) reviews without in depth notes and so potentially inflating or tanking a rums ‘true’ rating? These near-zero-effort reviews are exactly the ones I do not like flipping through and being included in the final score.

12 Likes

Hey @RareAkuma,

Thanks for your thoughts. Here is some background information on the experiment: the worry behind this thread is one I share. I personally rate everything on the full slider with notes, aromas and most of the time in-depth comments. The 100-point system (0.1-10.0) is not going anywhere and I’d be the first to push back if it ever was.

But here’s the part you don’t see from the outside. When we looked at the numbers, only a small share of our active users had ever submitted a single rating. Not “less than I’d like”, a fraction. The old form was working great for power-users of the app, and for me, and at the same time it was a wall for almost everybody else. A new user opens a rum and cannot decide whether it is a 7.3 or a 7.9. They don’t taste like that yet. So the form scared them off and the rating never happened. For years. This insights from the data analysis was also confirmed in many survey interviews with non-power users.

That’s the problem the 4-button row tries to solve. It’s not “RumX simplified”. It’s “RumX has a way in for the user who isn’t there yet”. The four buttons are not a separate scale either. They map to the labels the 100-point scale has built in (Bad / Okay / Good / Very Good are real anchor points on our scale, that’s how the descriptors work. Full background HERE). So a quick rating is the same scale, just picked at four anchors instead of all hundred.

Some things you should know:

  1. Every rating in our system is tagged with where it came from. Full tasting, quick rate, onboarding flow, imported, all separately marked. That means we can treat them differently anywhere we want. First place we did this was the feeds. After @Boletus pointed out that quick ratings were clogging the Global feed, we filtered them out within a day. He was right and it was the obvious call.
  2. How quick ratings flow into the global score of a rum is a question I’m actively sitting on. I don’t want to announce a formula before I see how the system actually behaves over a longer window. Too early, too many assumptions. What I can tell you: the option is open. Flag them visually, weight them lower, leave them out of the average entirely, all of those are on the table because the data is tagged for it.
  3. The full tasting form is unchanged. Slider, aroma tags, notes, photos, all of it. The quick row is added on top, not in place of.

What I’d ask from you, since you’re the people who actually understand how a rum score should feel:

Pay attention over the next few weeks to a rum you know well. If a score starts feeling off in a way you can pin on quick ratings, post the bottle here. Concrete rum, concrete current score, concrete reason it feels wrong to you. That’s the evidence I need to decide the aggregation question properly. “Scores will inflate” I already worry about, same as you. What I am missing is the specific bottle that proves it. :folded_hands:

7 Likes

Fließen die schnellreviews genauso in die Bewertung ein wie ausführliche Reviews? Kann ja eigentlich aufgrund der anderen Skala nicht, aber irgendwie macht mir das Sorgen… :smiling_face_with_tear:

1 Like

Siehe Post von gerade eben. Ist die gleiche Skala.

1 Like

Ah, ich dachte ich hätte den Post übersehen, aber nein, genau gleichzeitig :grin:

Mit anderer Skala meine ich, es gibt keine 9 Punkte oder 10. Wenn der Großteil der User schnell bewertet (wovon auszugehen ist), dann wird der beste Rum 8,5 Punkte haben. Und der schlechteste 3 Punkte.

Für mich persönlich geht der Sinn der Bewertung flöten, wenn diese Scores mit eingehen, wobei ich deine Intention absolut nachvollziehen kann. Mir fehlt das Vertrauen. Lieber wenige und gute Reviews als Amazon. Die Rum-X Bewertung ist ein ziemliches Prädikat, das ist ja auch ein Wert für das Unternehmen.

Wenn die unbedingt einfließen sollen, wäre es eventuell eine Option einen Experten-Score oder so zu haben der nur die ausführlichen berücksichtigt?

Sorry, wenn ich als eher passiver Nutzer so groß protestiere, aber die Bewertungen hier sind (gerade deshalb) für mich echt wertvoll und ich hoffe, dass das so bleibt :wink:

9 Likes

Haha, haben wir wohl beide gleichzeitig abgedrückt. :nerd_face:

Du hast recht mit der Obergrenze. Die vier Schaltflächen sind bestimmten Ankerpunkten auf der 100-Punkte-Skala zugeordnet, und die oberste Schaltfläche liegt nicht bei 100, sondern bei dem Ankerpunkt, der zwischen „Sehr gut“ und “Exzellent” liegt. Diese 4 Punkte haben wir mit einer Datenanalyse als optimale Referenzpunkt berechnet. Ein Rum, der also immer nur Schnellbewertungen erhält, kann mathematisch gesehen nicht die Spitze der Skala erreichen. Genau so ist das System aufgebaut, und das hast du erkannt.

Die Formulierung „weniger gute Bewertungen im Vergleich zu Amazon“ ist richtig, und genau diese Diskussion führen wir auch intern immer wieder im RumX Team. Dass der RumX-Score ein Prädikat ist, wird emir nicht nur in unzähligen Interviews von euch bestätigt, sondern dass ist auch meine Philosophie hinter ganz RumX: Die Community und ihre Schwarmintelligenz ist unser höchsts Gut.

Die Idee mit dem Experten-Score, die du erwähnst, ist im Wesentlichen eine der Richtungen, die wir in Betracht ziehen. Eine Art Score, der nur die detaillierten Bewertungen zählt und neben der allgemeineren Zahl angezeigt wird, die wir anzeigen. Ich lege mich heute noch nicht auf genau diese Benutzeroberfläche fest, aber du beschreibst einen Weg, über den ich viel nachdenke. Eine andere Option ist die “Seniorität” eines Nutzers stärker zu gewichten, einen ähnlichen Ansatz verfolgt die Whiskybase.

Und bitte entschuldige dich nicht dafür, dass du protestierst. Passive Nutzer, denen es wichtig genug ist, einen Beitrag wie diesen zu schreiben, wenn sie etwas sehen, dem sie nicht trauen, sind die Art von Feedback, aus der ich lerne. Stille Zustimmung hilft mir nicht viel. Widerstand wie dieser schon. :heart:

15 Likes

Kann absolut nachvollziehen was @bur2000 meint aber glaube soweit wird es vermutlich nie kommen. Eine Art extra Rating Schema wo “power” user die alles aus einer Bewertung rausholen (200+ Zeichen, slider und alle tags und Aromen nennen und nutzen+ Foto etc) fände ich auch super.
Ich werde so oft von eher inaktiveren Usern auf meine ausführlichen Reviews angesprochen die still mitlesen und das super finden was ich schreibe und bin selbst auch großer Fan von einigen hardlinern hier wie @Skyfly @DomM @BananaJoe @lukasdrinkinghabits @Gunnar @KevinDK @Lunulata und vielen weiteren und sowas fände ich cool wenn das in Zukunft in irgendeiner Form “belohnt” oder ge-highlighted wird. Glaube das war auch schon ein Thema Mal früher.

So oder so ist es natürlich aber wichtig auch Einsteigern und absoluten Leihen den Weg möglichst einfach zu gestalten und nicht zu überladen mit 100+ Sachen die man am besten direkt von Anfang an ausfüllen soll. Ich habe da über die letzten Jahre so einige Leute kennengelernt die ich zwar dazu gebracht habe RumX zu installieren und sich teils sogar ein Account zu machen aber die meisten sind dann doch entweder zu faul oder zu überfordert von der schieren Masse an Möglichkeiten die RumX bietet. Das man da nicht in paar Stunden alles versteht und nutzt ist klar. Von daher kann ich den Ansatz das in Zukunft etwas simpler zu machen und den Weg mehr zu ebnen absolut nachvollziehen. Denke hier wird @Oliver einen sinnvollen Mittelweg für sich und alle Seiten der Community - die eben auch nicht nur aus Hardlinern wie uns besteht - finden! :slight_smile:

PS: konstruktive Kritik ist denke ich immer gerne gesehen :slight_smile:

15 Likes