Szerkesztő:Tgr/Jelölt változatok hatásának elemzése
- English translation is available
Dióhéjban[szerkesztés]
Két kérdést vizsgáltunk: 1) Segít-e a jelölt változatok részleges kikapcsolása az elfogyóban levő vagy stagnáló szerkesztőközösség problémáján? 2) Mekkora pluszterhet ró a járőrökre? (A harmadik szempont az lenne, hogy mekkora valószínűséggel találkoznak az olvasók vandalizált változatokkal; ennek vizsgálata kapacitás hiányában nem történt meg.)
- Az anonim szerkesztések száma ~30%-kal nőtt; az aktív anonim szerkesztők száma ~100%-kal (bár az utóbbi statisztika az anonimitás lényegéből kifolyóan kevésbé megbízható). Ezen kívül más hatást nem láttunk: a regisztrációk száma nem nőtt; az aktív bejelentkezett szerkesztők és a bejelentkezett szerkesztő általi szerkesztések száma kissé nőtt, de nehéz megmondani, hogy ez a kikapcsoláshoz köthető, vagy egy pár hónappal előtte kezdődő trend. Ez alapján a szerkesztőközösség növekedését a változtatás közvetlenül nem segíti látványosan; közvetve, ha a jövőben módot találunk az anonim szerkesztők hatékonyabb bevonzására (pl. a szerkesztés utáni célzott üzenetekkel), annak hatékonyságát jelentősen fokozhatja.
- A rosszindulatú vagy kártékony anonim szerkesztések aránya minimális mértékben (2-3 százalékponttal) nőtt. (Feltehetőleg a vandálok egy részének pozitív visszacsatolás, hogy látják a szerkesztésüket megjelenni.) Az ilyen szerkesztések abszolút száma ennél lényegesen nagyobb mértékben nőtt, mivel az anonim szerkesztések abszolút száma is nőtt. A két hatás együtt havonta körülbelül 500-zal több vandalizmust és 800-zal több jóindulatú, de nem hasznos szerkesztést jelent. A hasznos anonim szerkesztésekből mintegy havi 2000-rel lett több. (A kikapcsolás előtti állapot: havonta körülbelül 1000 vandalizmus, 2000 egyéb nem hasznos szerkesztés, 7000 hasznos szerkesztés.)
Mik azok a jelölt változatok?[szerkesztés]
A jelölt változatok egy járőrözést segítő szoftver, amivel a járőrök megjelölhetik az általuk átnézett lapokat (illetve azok egyes változatait) helyesként. A szoftvernek két fő funkciója van:
- jelzi, hogy mik azok a változtatások, amiket már átnézett valaki, így a járőri munka hatékonyabban osztható be (a járőrök nem fogják olyan változtatások ellenőrzésével tölteni az idejüket, amit már egy másik járőr ellenőrzött, illetve látható, ha egy lap ellenőrizetlenül marad);
- a (be nem jelentkezett) olvasók elől elrejti a még nem ellenőrzött változtatásokat.
Az első funkció egyértelműen hasznos, nagyban megkönnyíti a járőrmunkát. A második funkció egyfelől megakadályozza, hogy az olvasók a szócikkeket azok éppen vandalizált formájában olvassák, és talán a vandálokat is demotiválja valamennyire; másfelől a kezdő vagy anonim szerkesztők motivációját is csökkenti, amennyiben a szerkesztéseik sokáig (gyakran napokig, hetekig) nem jelennek meg[1], illetve összezavarja őket, hogy a szerkesztésre megnyitott szöveg nem mindig azonos az előtte olvasottal; ez hozzájárulhat a szerkesztőszám csökkenéséhez. (A nagyon aktív, megbízhatóan dolgozó szerkesztők felvetethetik magukat azok listájára, akiknek a szerkesztései azonnal megjelennek. Ez jelenleg mintegy 750 ember, ami nagyjából az összes szerkesztő fél százaléka.[2] Sok vita volt arról, hogy a két hatás mennyire jelentős, és melyik a fontosabb számunkra, míg végül a magyar Wikipédia közössége úgy döntött, hogy a második funkció ideiglenes kikapcsolásával teszteli ezeket a hatásokat.[3] Ez némi késlekedés után 2018 áprilisában megtörtént, ez a lap az azt megelőző és azt követő bő egy év összehasonlító elemzése.
Szerkesztők száma[szerkesztés]
Az aktív szerkesztők száma kb. 2017 nyara óta enyhén növekvő tendenciát mutat, ami a kísérleti időszak alatt is változatlan. A 2017. június és 2018. április közötti növekedés önmagában nem nagyobb, mint a 2015–2017-es (stagnáló) szakasz véletlen fluktuációi, így nem lehet biztosan megmondani, hogy egy pár hónapos véletlen felfutást követően a jelölt változatok részleges kikapcsolás által kiváltott további növekedésről van szó, vagy a kikapcsolás előtt fél-egy évvel kezdődött, ismeretlen okú növekedésről, amin a kikapcsolás nem változtatott. A havi regisztrációk száma nagyjából 2016 óta lényegében stagnál (előtte, a 2012 és 2016 között minimálisan csökkent, azelőtt meredeken csökkent). A kísérleti időszak alatt egyértelmű változás nem figyelhető meg.
Szerkesztések száma[szerkesztés]
Az anonim szerkesztések száma a kísérleti időszakban látványosan nőtt; előtte is növekvő tendenciát mutatott, de kisebb mértékben (és az előző ponthoz hasonlóan, nehéz megmondani, hogy valódi tendencia vagy csak fluktuáció volt). A bejelentkezett szerkesztések száma leginkább stagnál; sem a kísérleti időszakban, sem előtte nincs jól látható trendje (bár a korábban 60 és 80 ezer közötti tartomány a 70 és 80 ezer szerkesztés közötti tartományban stabilizálódott az elmúlt évben).
Vandalizmus és káros szerkesztések[szerkesztés]
A vandál vagy káros szerkesztések számát az ORES segítségével tudjuk becsülni. Az ORES egy osztályozó algoritmus, amit a magyar Wikipédia szerkesztői betanítottak a problémás és/vagy rosszindulatú szerkesztések felismerésére; a friss változtatások modern felületén a „Szinte biztosan jó” / „Problémák lehetnek” / „Valószínűleg problémák vannak” / „Szinte biztosan problémák vannak” illetve a „Szinte biztosan jóhiszemű” / „Rosszhiszemű lehet” / „Valószínűleg rosszhiszemű” / „Szinte biztosan rosszhiszemű” szűrők tartoznak hozzá. Az ezen szűrők által a jelölt változtatások működésének átállítása előtti és utáni egy-egy évben felcímkézett szerkesztések gyakorisága azt mutatja, hogy a vandalizmusok, és jó szándékú, de nem hasznos szerkesztések aránya is nőtt, de csak elhanyagolható mértékben (2-3%-ot).
Az ORES minden szerkesztésre egy 0-1 közötti pontszámot ad arra, hogy mennyire gondolja valószínűnek, hogy vandalizmus lenne (ill. egy másik pontszámot arra, hogy nem hasznos); ebből úgy kapunk darabszámot, ha megállapítunk egy korlátot (pl. 0.8 fölött vandalizmusnak vesszük, alatta nem). A fent említett frissváltoztatás-szűrökhöz egy-egy ilyen beépített korlát tartozik. A „Valószínűleg rosszhiszemű” szűrő a megjelölt szerkesztések mennyiségét nézve nagyjából jól illik a kézi vizsgálattal beazonosított vandalizmushoz (pl. [1], [2]); a problémás szerkesztésekre nem volt jó összehasonlítási alap, ott csak feltételeztem, hogy a „Valószínűleg problémák vannak” szűrő határértéke jó kritérium. Ezekkel dolgozva az alábbi grafikonokat kapjuk:
A nem anonim szerkesztők esetén ritkák a problémás szerkesztések (havi pár tucat), ezért ezeket figyelmen kívül hagyhatjuk. (A linkelt forrásban elérhetőek róluk számszerű adatok.) Az anonim szerkesztések között a fentiek alapján a vandalizmusok száma a kikapcsolás után 11%-ról 13%-ra nőtt, a nem hasznos szerkesztések száma (ezekbe az ORES a vandalizmusokat is beleszámolja) 32%-ról 35%-ra.[4] Figyelembe véve, hogy az anonim szerkesztések teljes száma is kb. 6000-ről 9-10000-re nőtt, a vandalizmusok száma havonta körülbelül 500-zal, a jó szándékú, de problémás szerkesztések száma 800-zal nőtt (a hasznos szerkesztések száma mintegy 2000-rel).
A vandál / nem hasznos anonim szerkesztések aránya viszonylag stabil, csak a jelölt változatok részleges kikapcsolásának hatására változott meg. Az összes anonim szerkesztés száma a kikapcsolás előtt mintegy tíz hónappal kezdett nőni; ami a kikapcsoláskor kissé felgyorsult; nehéz megmondani, hogy a növekedés nagy része mindenképp bekövetkezett volna-e, vagy csak véletlen fluktuációról volt szó.
Milyen más méréseket próbáltunk?[szerkesztés]
Egyéb kísérletek, amik nem adtak hasznos eredményt:
- A WMF által nyújtott szerkesztő aktivitás szerint bontott statisztikák (pl. az adott hónapban 1-4 szerkesztést tevő szerkesztők száma): [3], [4]. Mint kiderült, ezekbe az IP-címről jövő szerkesztéseket is beleszámolják, így nem sok mindenre jók.
- Az első hónapjukban 5/25/100 szerkesztést elérő szerkesztők száma. [5] A kikapcsolás környékén nem volt látványos változás (kis mértékű változások beazonosításához kevés az adat).
- Az elmúlt 30 napban legalább 5 illetve 25 szerkesztést végzett szerkesztők regisztrációs dátumának korfája. [6] A kikapcsolás környékén nem volt látványos változás (kis mértékű változások beazonosításához kevés az adat).
Impresszum[szerkesztés]
A szerkesztők, szerkesztések és regisztrációk számával kapcsolatos statisztikák vizsgálatát és trendanalízisét Samat, az ORES-zel kapcsolatos méréseket és a más mérések szakaszban lévő kísérleteket Tgr végezte. (Előbbi jóval bővebben itt tanulmányozható.)
- ↑ Közvetlenül a szerkesztés elmentése után mindig látható a legfrissebb változat, de később, például a lap újratöltése után, már nem.
- ↑ ~15000 olyan szerkesztő van, akinek legalább 10 szerkesztése van. Mind ez, mint az előbbi lista tartalmazza a már nem aktív szerkesztőket is.)
- ↑ A pontosság kedvéért: a második funkció csak részlegesen lett kikapcsolva, egy-egy lapra kézzel jelenleg is beállítható, hogy az olvasók számára az ellenőrzött változata legyen látható. Ezt olyan ritkán használtuk, hogy az elemzésre nincs érdemi hatása.
- ↑ Szemmértéken alapuló számok. Mivel a pillanatnyi értékek erősen hullámzóak, ennél tudományosabb mérési módnak nem láttam értelmét.