Kelle hinnanguid peaksite usaldama? IMDB, mädanenud tomatid, Metacritic või Fandango?

Andmeteadlane uurib

Kas peaksite filmi vaatama? Noh, tuleb arvestada paljude teguritega, näiteks režissöör, näitlejad ja filmi eelarve. Enamik meist lähtub oma otsuses arvustusest, lühikesest treilerist või lihtsalt filmi hinnangu kontrollimisest.

Arvustuste lugemist või treileri vaatamist võiksite vältida paar head põhjust, ehkki need toovad palju rohkem teavet kui hinnang.

Esiteks võiksite täielikult vältida spoilereid, ükskõik kui väikesed. Ma saan aru, et!

Teiseks võib olla, et soovite selle filmi vaatamise mõjutamata kogemuse. Tavaliselt kehtib see ainult arvustuste kohta, mida puistatakse kaadritega, näiteks “see on film universumi keerukusest” või “see film pole tegelikult armastus”. Kui need kaadrid teie lühiajalisse mällu kodeeritakse, on neid tõesti raske takistada teie enda filmikogemust segamast.

Teine hea põhjus on see, et kui olete väsinud või kiire, ei pruugi te arvustust lugeda, rääkimata 2-minutilise treileri vaatamisest.

Nii et filmi numbriline hinnang tundub olevat hea lahendus üsna paljudes olukordades, üsna paljudele inimestele.

Selle artikli eesmärk on soovitada ühte veebisaiti filmide täpse hinnangu kiireks saamiseks ja pakutakse selle jaoks tugevat andmepõhist argumentatsiooni.

Parima kriteeriumid

Sellise soovituse tegemine sarnaneb paljuski ütlemisega „see on parim koht filmi hinnangu otsimiseks”, mis on hinnanguline väide, tuginedes mõnele kriteeriumile, mida kasutatakse selleks, et teha kindlaks, mis on parem, mis halvem või halvem ja mis on parim , sel juhul. Soovituseks kasutan ühte kriteeriumi: normaaljaotust.

Parim koht filmi hinnangu otsimiseks on näha, kelle hinnangud on jaotatud mustrisse, mis sarnaneb kõige rohkem või on identne normaaljaotuse mustriga, mis on järgmine: antud väärtuste komplekt, mis asub teatud intervallis , enamik neist on selle keskel ja vähesed teised selle intervalli äärmustes. Üldiselt näeb normaalne (nimetatakse ka Gaussi) jaotuseks välja selline:

Mis on selle kriteeriumi tagamaad? Omaenda sajast filmist koosneva kogemuse põhjal võin öelda, et olen näinud:

  • mõned silmapaistvad, mida olen mitu korda vaadanud
  • paar, mis oli tõesti kohutav ja pani mind kahetsema nende vaatamiseks kulutatud aega
  • ja terve hunnik keskmisi, enamiku jaoks ei mäleta ma seda süžeed enam isegi.

Usun, et enamikul inimestel - olgu siis kriitikutel, kinefiilidel või lihtsalt tavalistel filmivaatajatel - on sarnane kogemus.

Kui filmihinnangud tõepoolest väljendavad filmi kvaliteeti, peaksime mõlemal nägema sama mustrit.

Arvestades, et enamik meist hindab enamikku filme keskmise kvaliteediga, peaksime filmide hinnangute analüüsimisel nägema sama mustrit. Sarnane loogika kehtib ka halbade ja heade filmide puhul.

Kui te pole veel veendunud, et mustrite vahel peaks selline vastavus olema, mõelge ühe filmi hinnangute jaotusele. Kuna paljud inimesed hindavad filmi, pole usuhüpe eeldada, et kõige sagedamini leidub neid palju sarnaste eelistustega. Nad on üldiselt nõus, et film on kas halb, keskmine või hea (ma kvantifitseerin need kvalitatiivsed väärtused hiljem). Samuti on veel mõned, kes hindavad filmi ühe teise kahest kvalitatiivsest väärtusest.

Kui visualiseerime üksiku filmi kõigi hinnangute jaotuse, näeksime kõige tõenäolisemalt, et ühes piirkonnas moodustub üks klaster, mis vastab madalale, keskmisele või kõrgele hinnangule.

Kui enamikku filme peetakse keskmisteks, on kõige suurema tõenäosusega klastrid keskmise ala ümber ja ülejäänud kahel klastril on väiksem (kuid siiski märkimisväärne) tõenäosus. (Pange tähele, et kõiki neid tõenäosusi saab põhimõtteliselt kvantifitseerida, kuid see nõuaks palju andmeid ja võiks muuta selle artikli raamatuks.)

Kõige vähem tõenäoline oleks ühtlane jaotumine, kus klastreid pole ja inimeste eelistused jagunevad kolme kvalitatiivse väärtuse vahel peaaegu võrdselt.

Arvestades neid tõenäosusi, peaks piisavalt suure filmivalimi hinnangute jaotus olema keskmises piirkonnas nüri klastriga, mida piiravad langeva kõrguse (sageduse) ribad ja mis sarnanevad seega normaaljaotusega.

Kui teil on sellest kõigest raske aru saada, kaaluge järgmist illustratsiooni:

IMDB, mädanenud tomatid, Fandango või Metacritic?

Nüüd, kui meil on kriteerium, millega töötada, uurigem andmeid.

Seal on palju veebisaite, mis pakuvad välja oma filmireitingud. Olen valinud ainult neli, peamiselt nende populaarsuse põhjal, et saaksin vastuvõetava häälteenamusega filmidele hinnanguid. Õnnelikud võitjad on IMDB, Fandango, Rotten Tomatoes ja Metacritic.

Viimased kaks, olen keskendunud ainult oma ikooniks hinnang liiki - nimelt Tomatometeri ja metascore -peamiselt seetõttu, et need on kasutajate jaoks paremini nähtavad igal veebisaidil (see tähendab, et neid on kiirem leida). Neid jagatakse ka kahel teisel veebisaidil (metaskoori jagatakse IMDB-s ja tomatomeetrit Fandangos). Lisaks neile ikoonilistele hinnangutele on mõlemal veebisaidil ka vähem esiletõstetud reitingutüüp, kus ainult kasutajad saavad oma panuse anda.

Olen kogunud hinnanguid 2016. ja 2017. aastal enim hääletatud ja arvustatud filmidele. Puhastatud andmekogumil on hinnangud 214 filmile ja selle saab alla laadida sellest Githubi repost.

Ma ei ole enne 2016. aastat välja antud filmide kohta hinnanguid kogunud, lihtsalt seetõttu, et varsti pärast Walt Hickey analüüsi on Fandango reitingusüsteemis toimunud väike muutus, millele ma edaspidi siin artiklis viitan.

Olen teadlik, et väikese valimiga töötamine on riskantne, kuid vähemalt selle kompenseerib reitingute jaotuste viimase ülevaate saamine.

Enne jaotuste joonistamist ja tõlgendamist lubage mul kvantifitseerida varem kasutatud kvalitatiivsed väärtused: skaalal 0–10 on halb film kuskil 0–3, keskmine 3–7 ja hea 7–10. .

Palun võtke arvesse kvaliteedi ja kvantiteedi eristamist. Selleks, et see oleks järgnevas eristatav, viitan hinnangutele (kogusele) madalale, keskmisele või kõrgele. Nagu varemgi, väljendatakse filmi kvaliteeti halva, keskmise või heana. Kui muretsete selle pärast, et keskmine tähtaeg on sama, ärge seda tehke, sest ma hoolitsen selle eest, et vältida ebaselgust.

Vaatame nüüd jaotusi:

Lihtsal pilgul võib märgata, et metaskoori histogramm (nii seda graafikut nimetatakse) sarnaneb kõige rohkem normaaljaotusega. Selle keskmises piirkonnas on paks kobar, mis koosneb ebakorrapärase kõrgusega vardadest, mistõttu tipp ei ole nüri ega terav.

Kuid need on arvukamad ja kõrgemad kui vardad mõlemas teises piirkonnas, mille kõrgus väheneb äärmuste suunas, enam-vähem järk-järgult. Kõik need näitavad selgelt, et enamikul metaskooridest on keskmine väärtus, mida me peaaegu otsimegi.

IMDB puhul on suurem osa jaotusest samuti keskmises piirkonnas, kuid kõige kõrgemate keskmiste väärtuste suunas on ilmne kalduvus. Kõrge reitinguala näeb välja sarnane sellega, mida eeldatakse normaaljaotuse korral histogrammi selles osas . Silmatorkav on see, et filmi madalat hinnangut esindav ala on täiesti tühi, mis tekitab suure küsimärgi.

Esialgu panin süü väiksele valimile, arvates, et suurem annaks IMDB-le rohkem õigust. Õnneks suutsin leida Kaggle'ist valmis andmekogumi, mis sisaldas IMDB hinnanguid 4917 erineva filmi jaoks. Minu suureks üllatuseks nägi levitamine välja selline:

Levitamise kuju näeb välja peaaegu sama, mis 214 filmiga valimi puhul, välja arvatud madala reitinguga ala, mis on sel juhul nõrgalt asustatud 46 filmiga (4917-st). Suurem osa väärtustest on endiselt keskmises piirkonnas, mistõttu on IMDB reiting soovituse jaoks edasist kaalumist väärt, ehkki selle kaldega on selgelt raske konkureerida metaskooriga.

Igatahes on selle tulemuse puhul tõepoolest suurepärane see, et seda saab kasutada tugeva argumendina, et toetada teesi, et 214 filmi valim on kogu elanikkonna jaoks üsna esinduslik. Teisisõnu, nüüd on suurem kindlus, et selle analüüsi tulemused oleksid samad või vähemalt sarnased saavutatud tulemustega, kui analüüsida kõigi nelja veebisaidi absoluutselt kõiki filmide reitinguid.

Selle suurenenud enesekindlusega läheme edasi Fandango hinnangute jaotuse uurimisele, mis ei tundu olevat pärast Hickey analüüsi eriti muutunud. Vilt on endiselt nähtavalt filmi reitinguspektri kõrgema osa suunas, kus elab enamik hinnangutest. Keskmiste hinnangute alumise poole ala on täiesti tühi, nagu madalate hinnangute puhul. Võib hõlpsalt järeldada, et jaotus pole minu kriteeriumile üsna sobiv. Järelikult ei kaalu ma seda võimaliku soovituse osas edasi.

(Luban, et üles kerimise vaev saab varsti otsa. Palju lihtsam on jaotusi võrrelda, kui need asetatakse üksteise lähedale, selle asemel, et lasta neil artiklit mööda laiali hajutada.)

Lõpuks on tomatomeetri jaotus ootamatult ühtlane ja erineva ühendamisstrateegia korral näeks veelgi lamedam (ühendamisstrateegia määratakse ribade koguarvu ja nende vahemike järgi; histogrammi loomisel saate mängida nende kahe parameetriga) .

Seda jaotust pole kontekstis lihtne tõlgendada, sest tomatomeeter ei ole klassikaline hinnang, vaid pigem näitab kriitikute protsenti, kes andsid filmile positiivse ülevaate. See muudab selle kehva keskmise-hea kvalitatiivse raamistiku jaoks sobimatuks, sest see muudab filmid kas headeks või halbadeks. Igatahes peaks vist ikkagi taanduma samale normaalsele levitamisele, kusjuures enamikul filmidel on mõõdukalt erinev positiivsete ja negatiivsete arvustuste arv (muutes paljud hinnangud 30–70% positiivseks) ja vähe filme, millel on ühel või teisel viisil oluliselt suurem erinevus.

Arvestades viimast kaalutlust ja jaotuse kuju, ei vasta tomatomeeter minu kriteeriumile. See võiks olla, et suuremat valimit teeksin seda rohkem õiglust, kuid isegi nii, kui ma soovitaks seda, ma teeksin seda mõned reservide tõttu ebamäärane positiivne või negatiivne hinnang süsteemi.

Analüüsi selles punktis võiksin öelda, et jaotusi vaadates on minu soovitus metaskoor.

Kuid tundub, et tasub kaaluda ka IMDB jaotust, eriti kui näpistate veidi kolme kvalitatiivse kategooria (intervallid, mille ma ise määratlesin enam-vähem meelevaldselt) reitinguintervalle. Sellest vaatenurgast ei piisa metaskoori soovitamisest enamasti visuaalse uuringu abil.

Niisiis, proovin kvantitatiivse meetodi abil nende kahe vahel piiritleda .

Idee on kasutada muutuja Fandango negatiivse viitena ja seejärel määrata, milline muutuja IMDB reitingust ja metaskoorist on sellega kõige vähem korrelatsioonis (ma nimetan neid muutujaid, kuna need võivad võtta erinevaid väärtusi - näiteks metaskoor on muutuja, kuna see võtab filmist sõltuvalt erinevaid väärtusi).

Ma lihtsalt arvutan mõned korrelatsioonikordajad ja minu soovituseks on väikseima väärtusega muutuja (seletan siis, kuidas need korrelatsioonikordajad toimivad). Kuid enne seda lubage mul lühidalt põhjendada muutuja Fandango valimist negatiivse viitena.

Fandango kasutajad armastavad filme liiga palju

Selle valiku üks põhjus on see, et Fandango filmireitingute jaotus on tavalisest omast kõige kaugemal, millel on see ilmselge kalduvus filmireitingute spektri kõrgema osa suunas.

Teine põhjus on Walt Hickey analüüsi järgi tekkinud kahtlusepilv Fandango ümber. 2015. aasta oktoobris oli ta samasuguse levitamise pärast hämmingus ja avastas, et Fandango veebisaidil ümardati numbrilised hinnangud alati järgmisele kõrgeimale pooletähele, mitte lähimale (näiteks filmi keskmine hinnang 4,1 on ümardatud 4,0 tähe asemel 4,5 tärnini).

Fandango meeskond parandas kallutatud reitingusüsteemi ja ütles Hickeyle, et hinnanguloogika oli nende veebisaidil pigem "tarkvara tõrge", osutades nende mobiilirakenduses erapooletule süsteemile. (Lisateavet selle kohta leiate Hickey artiklist.) Kohandamine muutis mõningaid statistilisi parameetreid paremuse poole, kuid mitte piisavalt, et veenda mind mitte töötama muutujaga Fandango negatiivse viitena.

Nii näeb muudatus välja:

Nüüd suumime Fandangot:

Mis on metascoori ja IMDB reitingu vahel Fandango hinnanguga kõige vähem seotud?

Vähim korrelatsioon Fandango reitinguga on metaskoor. Selle Pearsoni r väärtus on Fandango suhtes 0,38, IMDB reitingul aga 0,63.

Las ma seletan seda kõike.

Kui muutujad muutuvad, võttes erinevaid väärtusi, on need korrelatsioonis, kui mõlemale muutusele vastab muster. Korrelatsiooni mõõtmine tähendab lihtsalt sellise mustri olemasolu mõõtmist.

Üks selle mõõtmise viise on Pearsoni r arvutamine. Kui väärtus on +1,0, tähendab see, et on olemas ideaalne positiivne korrelatsioon ja kui see on -1,0, tähendab see, et on olemas täielik negatiivne korrelatsioon.

Muutujate korrelatsiooni ulatus väheneb Pearsoni r lähenemisel 0-le nii negatiivsest kui ka positiivsest küljest.

Kujutleme seda paremini:

Kui nüüd võrrelda ülaltoodud abstraktsiooni kontekstiga, siis kui me võrdleme seda, kuidas muutuvad kahe reitingutüübi - näiteks Fandango ja IMDB - väärtused, saame määrata, mil määral on mõlemale muutusele vastav muster.

Arvestades äsja mainitud korrelatsioonikordajaid, on Fandango ja IMDB vahel suurem muster kui Fandango ja metascore puhul. Mõlemad koefitsiendid on positiivsed ja seepärast öeldakse, et korrelatsioon on positiivne, mis tähendab, et kui Fandango reitingud tõusevad, kipuvad ka IMDB reitingud tõusma, rohkem kui metaskoorid.

Teisiti öeldes on iga Fandango filmi hinnangu puhul tõenäolisem, et metaskoor erineb sellest rohkem kui IMDB reiting.

Kohtuotsus: kasutage Metacriticu metaskoori

Kokkuvõttes soovitan vaadata metaskoori alati, kui otsite filmi hinnangut. Siit saate teada, kuidas see töötab, ja selle varjuküljed.

Lühidalt öeldes on metaskoor paljude arvustatud kriitikute arvustuste kaalutud keskmine. Metacriticu meeskond loeb arvustusi ja määrab igaühele 0–100 skoori, millele seejärel antakse kaal, lähtudes peamiselt arvustuse kvaliteedist ja allikast. Nende reitingusüsteemi kohta leiate lisateavet siit.

Nüüd tahan lihtsalt välja tuua metaskoori mõned varjuküljed:

  • Kaalumiskoefitsiendid on konfidentsiaalsed, nii et te ei saa aru, kui palju iga ülevaade metaskooris arvestati.
  • Metaskooride leidmine on vähem aega vähem tuntud filmide jaoks, mis ilmusid enne 1999. aastat, kui Metacritic loodi.
  • Mõnda hiljutist filmi, mille põhikeel pole inglise keel, pole isegi Metacriticus loetletud. Näiteks Rumeenia filme Kaks loteriipiletit (2016) ja Ida-äri (2016) ei ole Metacriticus loetletud, samas kui need on IMDB-s, hinnangutega.

Veel vähe sõnu

Kokkuvõtteks tegin selles artiklis ühe soovituse, kust filmi hinnangut otsida. Soovitasin metaskoori, tuginedes kahele argumendile: selle jaotus sarnaneb kõige rohkem tavalisele ja see on kõige vähem korrelatsioonis Fandango hinnanguga.

Kõik artikli kvantitatiivsed ja visuaalsed elemendid on Pythonis reprodutseeritavad, nagu seda siin näidatakse.

Täname lugemast! Ja head filmi vaatamist!