Scrapy
| Scrapy | |
 | |
| Fejlesztő | Pablo Hoffman |
| Legfrissebb stabil kiadás | 2.11.1 (stabil verzió, 2024. február 14.)[1] |
| Programozási nyelv | Python |
| Operációs rendszer | |
| Kategória |
|
| Licenc | 3-clause BSD License |
| A Scrapy weboldala | |
A Scrapy ( /ˈ s k r eɪ p aɪ /[2] SKRAY-peye ) egy Python nyelven írt és Cambuslang nyelven fejlesztett ingyenes és nyílt forráskódú webbejáró (crawler) keretrendszer. Eredetileg webscrapelésre tervezték, de API-k használatával vagy általános célú webrobotként is használható adatok kinyerésére.[3] Jelenleg a Zyte (korábban Scrapinghub ), egy webscraper eszközöket fejlesztő és szolgáltató cég a karbantartója.
A Scrapy projektarchitektúra „pókok” köré épül, ezek önműködő bejárók, amelyek utasításokat kapnak. A többi ne ismételje meg magát keretrendszer szellemét követve, mint például a Django,[4] ez megkönnyíti a nagy bejáró projektek felépítését és beállítását azáltal, hogy lehetővé teszi a fejlesztők számára, hogy újra felhasználják kódjukat.
Néhány jól ismert, Scrapy-t használó cég és termék: Lyst,[5] [6] Parse.ly,[7] Sayone Technologies,[8] Sciences Po Medialab,[9] Data.gov.uk World Government Data webhely .[10]
Története[szerkesztés]
A Scrapy a londoni székhelyű Mydeco webaggregáló és e-kereskedelmi vállalatnál született, ahol a Mydeco és az Insophia (az uruguayi montevideói webes tanácsadó cég) alkalmazottai fejlesztették és tartották karban. Az első nyilvános kiadás 2008 augusztusában volt a BSD licenc alatt, a mérföldkő 1.0 kiadás pedig 2015 júniusában történt.[11] 2011-ben a Zyte (korábban Scrapinghub) lett az új hivatalos karbantartó.[12] [13]
Jegyzetek[szerkesztés]
- ↑ Release 2.11.1, 2024. február 14. (Hozzáférés: 2024. február 20.)
- ↑ Commit 975f150
- ↑ Scrapy at a glance.
- ↑ Frequently Asked Questions (amerikai angol nyelven). Frequently Asked Questions, Scrapy 2.8.0 documentation. (Hozzáférés: 2015. július 28.)
- ↑ Bell: Scalable Scraping Using Machine Learning. [2016. június 4-i dátummal az eredetiből archiválva]. (Hozzáférés: 2015. július 28.)
- ↑ Scrapy | Companies using Scrapy
- ↑ Montalenti: Web Crawling & Metadata Extraction in Python (amerikai angol nyelven). Web Crawling & Metadata Extraction in Python - Speaker Deck, 2012. október 27. (Hozzáférés: 2015. május 11.)
- ↑ Scrapy Companies. Scrapy | Companies using Scrapy
- ↑ Hyphe v0.0.0: the first release of our new webcrawler is out!
- ↑ @bfirsh: World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore
- ↑ "Scrapy 1.0 official release out!"
- ↑ Hoffman, Pablo. List of the primary authors & contributors (amerikai angol nyelven) (2013). Hozzáférés ideje: 2013. november 18.
- ↑ Interview Scraping Hub.
Fordítás[szerkesztés]
Ez a szócikk részben vagy egészben a Scrapy című angol Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.
