Szerkesztő:Gyimbot

A bot elsődleges feladata a magyar Wikipédia kémiai lapjairól összegyűjteni az összegképleteket. A másik alkalmazása lapok újraparszolása.

Összegképlet robot

Az összegképletek összegyűjtésekor a bot az alábbi szócikkekbe ír:

A robot által feltöltött lap	Hivatkozás a fő névtérből
Összeglista	Vegyületek összegképlete
Összegtáblázat	Vegyületek összegképlet-táblázata
Brómvegyületek	Brómvegyületek összegképletének listája
Kalciumvegyületek	Kalciumvegyületek összegképletének listája
Klórvegyületek	Klórvegyületek összegképletének listája
Fluorvegyületek	Fluorvegyületek összegképletének listája
Jódvegyületek	Jódvegyületek összegképletének listája
Káliumvegyületek	Káliumvegyületek összegképletének listája
Nitrogénvegyületek	Nitrogénvegyületek összegképletének listája
Nátriumvegyületek	Nátriumvegyületek összegképletének listája
Foszforvegyületek	Foszforvegyületek összegképletének listája
Kénvegyületek	Kénvegyületek összegképletének listája
Vasvegyületek	Vasvegyületek összegképletének listája
Magnéziumvegyületek	Magnéziumvegyületek összegképletének listája
Rubídiumvegyületek	Rubídiumvegyületek összegképletének listája
nincs összegképlet	Vita:Vegyületek összegképlete

A botot Gyimhu üzemelteti.

A legutolsó dump dátuma: 2024. április 21.

• az utolsó futás ideje: 2014. május 24.
• a használt adatbázis dump: május 21.

• Géppel felismert vegyület: 1916
• Hibásan felismert (a fentin felül): 8
• Kézzel hozzáadott vegyület: 33
• Vegyület összesen: 1949
• Felismert összegképlet: 1822
• Fel nem ismert összegképlet: 94
• Kézzel megadott összegképlet az új vegyületekkel együtt: 74
• Összegképlet összesen: 1896
• DISPLAYTITLE: 16

A robot futtatása

1. A wikidump letöltése. Futási idő 10–15 perc.
2. A mysql táblák létrehozása indexek nélkül. A huwiki-n a mediawiki verziójának változásával a szkript változhatik. A végrehajtási idő olyan rövid, hogy nem mérhető.
3. A huWiki importálása: java -jar mwdumper.jar pages-articles.xml. A futási idő kb. negyed óra.
4. Indexek létrehozása a beimportált táblákra. Futási idő 3–4 perc.
5. Munkatábla létrehozása az összegképleteket tartalmazó szócikkek számára. Memóriakorlátos a régi konfigurációban, ezért érdemes leállítani a gnome-ot és saját wikit. Az új konfigurációban diszkkorlátos. Futási idő a régi konfigurációban 4–4½ óra, az újban 3½ perc. (!)
6. A kézi javítólista utolsó változtatásainak ellenőrzése, eltárolás a helyi filerendszerben (kezi.txt).
7. Az összegképletek kigyűjtése
8. A wiki-lapok generálása, feltöltés a helyi wiki-be ellenőrzés céljából.
9. statisztika előállítása, jelen lap kézi szerkesztése. A kapott lap összevetése a helyi wiki összegképlet lap| utolsó és utolsó előtti változatának különbségével. A új, összegképlet nélküli lapok ellenőrzése, szükség esetén az összegképlet javítása és az összegképlet kézi megadása. (A következő futtatáskor ne felejtsük el törölni a javított összegképletű lapokat a kézi listából.) A vegyületekben szereplő elemek számának változása esetén a wtabl.c program módosítása.
10. az utolsó letöltés óta keletkezett új lapok letöltése, kézi javítása, a kémia munkacsoport lapjának szerkesztése
11. a lapok feltöltése huwiki-be.

Konfiguráció

• processzor: 2 darab 2-magos Intel(R) Core(TM) i5-3210M, 2.5 GHz
• memória: 4G
• operációs rendszer: debian 7.4 (wheezy)

Szükséges csomagok: mysql, libmysqlclient-dev, gcc, wget, openjdk-6-jre.

A wikidump letöltése

FNEV=pages-articles.xml.bz2
rm -f $FNEV
wget -t1 "http://dumps.wikimedia.org/huwiki/latest/huwiki-latest-pages-articles.xml.bz2" -O - | bunzip2 -c >$FNEV

Az összegképletek kigyűjtése

• Az összegképlet lapok generálása. A gépi listát (gepi.txt) előállító program (hufo) C nyelven íródott, futási ideje kb. egy perc. Ez a robot magja.

Az összegképlet-lista egyszerű szövegfile. Két példasor:

Aceton-peroxid
Aciklovir|C=8|H=11|N=5|O=3

Az eredményfile-ban minden munkatáblabeli szócikk szerepel, ami nincs a tiltólistán (a kézi javítólista összegképlet nélküli sorai). Az első sorban a C-program nem találta meg az összegképletet, a másodikban a szócikkbeli összegképlettel azonos sorrendben sorolta fel az elemeket.

Ugyanilyen szerkezetű a kézi javítólista is. A lapgeneráló automatikusan összedolgozza a kettőt.

Ugyanez a program gyűjti ki és írja file-ba a DISPLAYTITLE sablonokat. A teljes eredményfile (hufo.ali):

Alfa-ketoizokapronsav|''alfa''-Ketoizokapronsav
B12-vitamin|B<sub>12</sub>-vitamin
Delta-valerolakton|''δ''-Valerolakton
Dinitro-orto-krezol|Dinitro-''orto''-krezol
Gamma-valerolakton|''γ''-Valerolakton
N-klórszukcinimid|''N''-klórszukcinimid
N-metilkoniin|''N''-Metilkoniin
P-Toluolszulfonsav|''p''-Toluolszulfonsav
Terc-butil-bromid|''terc''-Butil-bromid

A wiki-lapok generálása

A lapgeneráló lelke két C-program. Mindkettő a fent leírt összegképlet-file-t olvas be. A wossz lista, a wtabl táblázat alakú weblapot állít elő.

Az első paraméter az összegképlet-file. Ha a program második filenevet is kap, kiírja az elemgyakoriságokat is (melyeket egyébként is figyel a táblázatos weblap miatt).

A lapokat egyetlen shell szkript állítja elő a fenti két C-program segítségével. Az összegképlet-listába bedolgozza az elemgyakoriságot egy második oszlopba. Az elemekre szűkített táblázatoknál a wtabl inputja a hufo.txt elemre szűrt változata. Az elemek listáját és a generálandó file-ok nevét a wiki.txt tartalmazza.

A lapok a wiki alkönyvtárban keletkeznek, a szócikk nevével azonos filenévvel.

A lapok feltöltése a magyar Wikipédiára

A műveletet a wiki-terminológia nem feltöltésnek, hanem edit-nek nevezi.

A feltöltő shell szkript a wiki alkönytár teljes tartalmát feltölti a Szerkesztő:Gyimbot alkönyvtáraiba, a filenévvel azonos szócikk névre.

Teendők

• {{DISPLAYTITLE}} a vegyületek nevében
• helyközök a vegyületek nevében
• a fenti két névformázás a hiányzó összegképleteknél is
• botstring wget-ben
• {{kisbetűscím}}^(?): 250 darab. Ebből kémia:
  • Alfa-propiolakton 11611631
  • Α-ketoglutársav 12382187

Újraparszolás

A wiki a szócikk mentésekor hozza létre a szócikk hivatkozásait. Ha a szócikk által hívott sablonok változnak, a hivatkozások ezt nem követik. Erre szolgál a reparse. A filelist.txt-ből veszi az újraparszolandó lapok listáját. Lekérdezi és változtatás nélkül visszatölti őket.

A laptörténetben ebből semmi nem látható, de a hívott sablonok hivatkozásai megváltoznak.