Wikipédia-vita:Adatbázis-lekérdezések

Lektor kerestetik

Sikerült már valakinek betölteni a Wikipédiát MySQL alá? Ha igen, akkor átnézhetné a gyorstalpalót – az angolból vettem át, de elég nagy hülyeségek voltak benne. Amit tudtam, már kijavítottam, de még mindig vannak olyan problémák, amikkel egy kezdő biztosan nem boldogul (egyelőre még én sem :-P). Konkrétan a parancssoros kliens nem tud UTF-8-at, a Query Browser viszont hanyattdobja magát a sokmegás fájloktól. (A max_allowed_packet=sokM megadása után már egy fokkal kulturáltabb hibaüzenet jön elő, de még mindig nem működik, legalábbis nálam.) Szóval ha valaki tud olyan módszert, ami működik, és egyszerű (nem kell hozzá Perl scripttel feldolgozni az sql fájlt meg effélék), az írja már le. --TG® 2005. július 19., 00:56 (CEST)

Apache, PHP fel, phpMyAdminen át szerintem megy majd szépen. Kipróbálni most sajnos nem tudom, mert nincs elég helyem egy offline Wikipédiára... – KovacsUr 2005. július 19., 01:01 (CEST)

Kemény 50 mega :-) --TG® 2005. július 19., 01:15 (CEST)

Tudom, és fenntartom. ^_^" Írok egy DVD-t, aztán meglátjuk (vagy még most, vagy ébredés után). – KovacsUr 2005. július 19., 01:18 (CEST)

A phpMyAdminnál meg 2M a maximális scriptméret. Vagy ha beszereznék egy újabb verziót, az segítene? --TG® 2005. július 19., 01:25 (CEST)

Ez valószínűleg a PHP-ben beállított max. feltölthető fájlméret korlátja. Most nekiálltam egy tiszta gépen nulláról kipróbálni a dolgot, a fejleményekről beszámolok. – KovacsUr 2005. július 19., 20:27 (CEST)

Így működik:

mysql -uroot -pjelszavam -D wikipedia --default-character-set=utf8 <C:\ahol\van\fájlnév.sql

Viszont kb. kétszer annyi ideig tartott, mint a SOURCE paranccsal. – KovacsUr 2005. július 19., 21:43 (CEST)

Hálás köszönet. --TG® 2005. július 19., 22:42 (CEST)

Regexp

Pontosan mit is csinál az a regexp, és hogy váltható ez ki az Excel használatával? Azt hittem, a linkeket alakítgatja át. – KovacsUr 2005. július 19., 23:30 (CEST)

Persze, hülyeséget írtam. Az Excel arra jó, hogy egyáltalán elmentse plaintextbe az eredménylistát (nekem legalábbis a Query Browser alól nem sikerült egyszerűbben). A regexp meg az elmentett plaintextből csinál wikilistát, ha jól látom (illetve a legelejét nem egészen értem, hogy mire jó). Mondjuk azt szerintebb egyszerűbb eleve úgy menteni. (Egyáltalán mi tud Windows alatt regexpeket végrehajtani? SCiTE meg hasonló fejlettebb texteditorok igen, de tudtommal semmi olyasmi, ami egy mezei júzernek is meglenne. --TG® 2005. július 19., 23:43 (CEST) Ha a phpMyAdmin miatt úgyis fenn van a php, könnyen készíthető olyan szkript, ami végrehajtja. Maerlyn 2006. szeptember 16., 16:48 (CEST)

wikisign.org

Attól tartok, hogy a wikisign.org domain amire hivatkozik a lap eladásra került. Valami ilyen szokásos eladás előtti reklámos dolog van ugyanis rajta. Ki lehetne szedni? -- iecs 2007. augusztus 25., 16:36 (CEST)

User névtérben meglepi

Amint látom, nem a legegyszerűbb dolog lekérdezést indítani userekre. (Legalább is számomra nem az.) Pedig az imént roppant különös meglepetésben volt részem: Zitalein usernevem helyett a User vita:Zitike lapon találtam utalást arra, hogy új üzenetem érkezett a User vita:Zitalein lapra. Emlékezetem szerint egyetlen felhasználónévvel jelentkeztem be eddig a magyar Wikipédiára, az pedig a Zitalein volt. (Az igaz, hogy használom az iwiw-tag sablont, és ott is (illetve más helyeken szokásosan) Zitike a nickem, de gondolom, efféle automatizmusok azért nem működnek itt... Vagy mégis?) Arra tényleg nem emlékszem, hogy itt bármikor is használtam volna a Zitike nicket, viszont mégiscsak volt belőle redirect (nem auto, hanem kattintásra -- Egyébként a felhasználónak szóló üdvözlet még 2006-ból származik a User vita:Zitike lapon -- de továbbra sem emlékszem rá, hogy akár 2006-ban bejelentkeztem volna.) Viszont azt elismerem, hogy meglehetősen lyukas a memóriám, szóval lehet, hogy majdnem két éve mégis bejelentkeztem -- ezt szeretném tisztázni. Van rá egyéb mód esetleg, vagy csak ezek a lekérdezések? A lényeg: azt szeretném megtudni, hogy esetleg bejelentkeztem-e én itt már valaha elfeledett Zitike nickkel, vagy ez valami általam meglepetéssel tapasztalt automatizmus műve. Erre tud valaki egyszerű módszert? Valahol pl. userek áttekintése vagy hasonló lapot... Zitalein 2007. október 28., 18:10 (CET)

Az új üzenetről szóló értesítést minden lap tetején megkapod, amíg el nem olvasod az üzenetet; ha épp egy másik felhasználó vitalapját nézed, ott is. Zitikéról annyit lehet tudni, hogy január 15-én regisztrált, és azóta nem csinált semmit (ezeket a felhasználó lapján vagy vitalapján a bal oldali oszlopban éred el). Hogy honnan és mikor jelentkeztek be egy adott névre, azt nem lehet megnézni. – Tgr^{vita•IRC•WP•PR} 2007. október 28., 18:47 (CET)

Aha. Köszi! Nem tudtam, hogy bármely lapra lépve értesítést kapok az üzeneteimről. Már azt hittem, hogy kémbotok dolgoznak. Zitalein 2007. október 28., 19:32 (CET)

Probléma

Üdv!

Problémám van a tábla létrehozásával: ennél a lépésnél hibaüzenetet ad:

mysql -uroot -pjelszavad -D wikipedia --default-character-set=utf8 <C:\ahol\van\fájlnév.sql

ezt:

ERROR 1062 (23000) at line 158: Duplicate entry '0-Cri?' for key 2

A decemberi dumpot használom.

Üdv! – Hunyadym ^Vita 2008. december 21., 18:19 (CET)

Nem jó karakterkódolást használsz. Figyelj oda, hogy minden UTF-8-ra=unicode-ra legyen állítva. – Tgr^{vita•IRC•WP•PR} 2008. december 22., 00:14 (CET)

Ez a válasz:

D:\Wamp\bin\mysql\mysql5.0.51b\bin\mysql.exe: Character set 'unis not a 
compiled character set and is not specified in the 'C:\mysql\\share\charsets\Index.xml' file

– Hunyadym ^Vita 2008. december 22., 00:23 (CET)

Bocs, félreértettem, amit mondtál... hol kellhet átállítani? Kétszer hívom meg a dolgot, először a tables.sql-lel, aztán meg a huwiki.sql-lel... Ez a be- és kimenet:

D:\Data\Wikipedia\huwiki-20081216-pages-articles.xml>D:\Wamp\bin\mysql\mysql5.0.
51b\bin\mysql.exe -uwikiuser -p******* -D wiki  --default-character-set=utf8 <
tables.sql

D:\Data\Wikipedia\huwiki-20081216-pages-articles.xml>D:\Wamp\bin\mysql\mysql5.0.
51b\bin\mysql.exe -uwikiuser -p******* -D wiki  --default-character-set=utf8 <
huwiki.sql
ERROR 1062 (23000) at line 158: Duplicate entry '0-Cri?' for key 2

– Hunyadym ^Vita 2008. december 22., 00:28 (CET)

Ezzel sokat lehet szívni, mert rengeteg különböző helyen lehet kódolást állítani MySQL-ben (kliensoldalon, szerveroldalon, az kapcsolatra, adatbázisszinten, táblaszinten), és a MediaWiki is két különböző kódolást használ (natív UTF-8 és bináris) a telepítéskori beállításoktól függően, úgyhogy attól függően kell a szerveroldali karakterkészletet unicode-ra vagy binárisra állítani, hogy az mwdumper melyiket használja (amit fejből nem tudok). – Tgr^{vita•IRC•WP•PR} 2008. december 22., 09:28 (CET)

Bár a unicode/bináris kérdés valószínűleg csak akkor jön elő, ha lokális MediaWiki installáció alá akarod betolni az adatbázist, a hibaüzenet azt jelenti, hogy már a szerveroldali és kliensoldali karakterkódolás sem egyezik. – Tgr^{vita•IRC•WP•PR} 2008. december 22., 09:30 (CET)

Ez a lap egyébként nagyrészt a régi adatbázisséma alapján íródott, úgyhogy nem túl megbízható. – Tgr^{vita•IRC•WP•PR} 2008. december 22., 09:32 (CET)

excel

Érdeklődöm: van-e egyszerű mód arra, hogy excel fájlt betöltsek egy wikitáblázatba? Sejtem, hogy character delimited fájlt kell csinálnom, de a |- és || jeleket elég nehéz létrehozni. Még nagyobb problémám, ha egy táblázatot néhány sorral, vagy oszloppal bővíteni szeretnék már meglévő szócikk belsejében. MZ/X ^vita 2010. november 16., 20:39 (CET)

Próbálkozhatsz a WikEddel, vagy ezzel a kütyüvel, vagy CSV-be mentve ezzel. – Tgr^vita 2010. november 16., 21:37 (CET)

Huwiki telepítése saját gépre

Úgy látom ez a vitalap nem nagyon működik, de itt kezdeném. Kíváncsiságból megpróbálkoztam a cikkben leírt dologgal, és némi bukdácsolás után eljutottam az utolsó pontig, a huwiki adatbázisba töltéséig (a 38 tábla megvan). A 1,5 GB-os sql megnyitása (Workbench 5.2 browser) a következő hibaüzenettel szakad meg: Could not allocate 536 870 912 bytes to read file "huwiki.sql" A C: partíción 2,7GB hely van. A gépben 2GB memória, XP prof op. rendszer.

A tömörített állományt sql-be bz2-ből közvetlenül is konvertáltam, meg xml-be kicsomagolva is: az eredmény bájtra azonos. Mi lehet a probléma? --Porrima^eszmecsere 2011. október 12., 17:28 (CEST)

Ui.: kicsit peches vagyok: nem a mai dumpról van szó, tegnap töltöttem le. --Porrima^eszmecsere 2011. október 12., 17:39 (CEST)

Az "allocate" általában memóriára vonatkozik. Egy másfél gigás fájlnál nem meglepő. Kell valami, ami tudja futtatni anélkül, hogy megpróbálná egyszerre az egészet betölteni (pl. mwdumper, vagy a sima parancssoros mysql, bár azzal windows alatt mindenféle karakterkódolási szívások szoktak lenni). --Tgr^vita 2011. október 12., 23:39 (CEST)

Az mwdumperrel az a probléma, hogy a működéséről semmit nem mutat. Nekem a 300 megás fájl konvertálása 6-7 percig tartott. Mivel nem tudjuk a futási időt, kínos, ha az ember esetleg 1 órát vár a semmire...

A mysql parancssorát már tegnap éjszaka megpróbáltam. Remélhetőleg az sql-t folyamatosan dolgozza fel, de már rögtön az elején (35. sor, ha jól emlékszem) valamilyen kulcshiba miatt kiakadt (az október 12-i dumpon).

Azért ha lesz újabb tanácsod, akkor előre is köszönöm --Porrima^eszmecsere 2011. október 13., 10:54 (CEST)

Python-script segíti az importálást

• https://svn.wikimedia.org/viewvc/mediawiki/trunk/extensions/Offline/mwimport.py

A szerzője szerint még alfa állapotban van. A lényege, hogy az xml.bz2 formátumú dumpot egy olyan alakra konvertálja, amit könnyebb importálni (tabulátorokkal határolt szöveg). Egy felhasználó szerint nagyon nagy a memóriaigénye. Akinek van róla tapasztalata, írja bele a cikkbe. Bináris ^ide Kelt: Wikipédia,  2012. június 14., 07:28 (CEST)

Rev_comment hiba

MegoldvaHiányzik az aláírás!

Az sql futtatásakor az alábbi hibát kapom:

ERROR 1406 (22001) at line 1039: Data too long for column 'rev_comment' at row 125

20120929-es dump. Másnak nincs ilyen? --Bean49 ^vita 2012. október 5., 11:53 (CEST)

bugzilla:13721 --Bean49 ^vita 2012. október 19., 14:13 (CEST)

Javítva. --Bean49 ^vita 2012. december 20., 09:24 (CET)

Kérdés, javaslat

Sziasztok! Pár napja letöltöttem a pages-meta-current.xml-t, de mire odáig eljutottam, hogy rájöjjek melyik változatban vannak benne a vitalapok is, letöltöttem egy vagy két másikat is, mert nem tudtam melyik file milyen tartalmú, és azért ezek nem kicsi állományok :) ez nem egy hejjdenagy probléma, de nem-e lenne jó egy listában felsorolni hogy melyik dump mit tartalmaz? Ezen az oldalon találtam meg a választ: en:Wikipedia:Database_download, ami nem interwikije ennek az oldalnak és nincs is magyar megfelelője, szóval egy ideig keresgéltem. Amúgy nem ez az oldal lenne a pontosabb angol megfelelő? --Mameilon ^vita 2013. augusztus 1., 19:13 (CEST)

Nem tudom ez megfelel-e? --Porrima^eszmecsere 2013. augusztus 1., 21:40 (CEST)

Nekem a fentebb citált enwiki oldal Where do I get... szekciójának kifejtős része kellett volna, ami felsorolja melyik fileban mi van. Azért gondoltam hogy írok ide, hogy más eztán már ne szívjon ezzel, bár ez tényleg olyasmi amit csak egyszer jár meg az ember, de akkor nagyon, két órán át töltögettem a vitalapmentes fájlt :). Az adatbázis struktúrát valamennyire ismerem, volt már dolgom mediawikivel, de köszi az ábrát, egyszer talán hasznát veszem. --Mameilon ^vita 2013. augusztus 1., 22:10 (CEST)

Ja amúgy én innen töltöttem le, látom a dátumos linkeken van némi tartalommagyarázat is, bár a vitalapokról ott sincs szó. Mindegy, vegyétek úgy hogy megosztottam egy hasfájást :) --Mameilon ^vita 2013. augusztus 1., 22:34 (CEST)

Tisztességtevés, javaslat

Sziasztok!

Most találtam, hogy lehet ilyen SQL-lekérdezéseket használni itt.

Tök király!

Ugyan még nem tudom, mire fogom tudni használni, meg nem gondoltam át mire lehet jól használni, de biztos vagyok benne, hogy ezt jól lehet hasznosítani!

Annyi javaslattal élnék, hogy az adatbázisséma leírását szerintem jobb lenne valami feltűnőbb helyen elhelyezni, mint a szócikk alján. Így lehet, hogy keresni kell, mire az ember megtalálja. Nekem 1-2 perc volt mire rájöttem, hogy hol találom ebben a szócikkben a sémaleírást. (Először az SQL-futtatási kérések lapon találtam meg.)

Medvexxx ^vita 2023. január 21., 17:26 (CET)