Adattudomány

A NEOWISE üstökös (itt piros pontok sorozataként ábrázolva) létezését egy Wide-field Infrared Survey Explorer űrteleszkóp által gyűjtött csillagászati felmérési adatok elemzésével fedezték fel.

Az adattudomány egy interdiszciplináris tudományterület , amely statisztikát, tudományos számítástechnikát, tudományos módszereket, feldolgozást, tudományos vizualizációt, algoritmusokat és rendszereket használ a potenciálisan zajos, strukturált vagy strukturálatlan adatokból származó tudás kinyerésére vagy extrapolálására.

Az adattudomány integrálja a mögöttes alkalmazási terület (pl. természettudományok, informatika és orvostudomány) szakterületi ismereteit is. Az adattudomány sokrétű, és tudományként, kutatási paradigmaként, kutatási módszerként, tudományágként, munkafolyamatként és szakmaként is leírható.

Az adattudomány „egy koncepció, ami tulajdonképpen egyesíti a statisztikát, az adatelemzést, az informatikát és a hozzá kapcsolódó módszereket”, hogy „megértse és elemezze a tényleges jelenségeket adatokkal". Elméleteket és technikákat a matematika, statisztika, számítástechnika, az információtudomány és a szakterületi tudás területeiről szerzi. Az adattudomány azonban különböző a számítástechnikától és az információtudománytól. A Turing-díjat elnyert Jim Gray az adattudományt a tudomány „negyedik paradigmájaként” ( empirikus, elméleti, számítási és most már adatvezérelt) képzelte el, és azt állította, hogy „a tudományban minden változik az információs technológia hatása és az adatáradat" miatt.

Az adattudományt gyakran multidiszciplináris területként írják le, mivel különböző területekről, például a számítástechnikából, a statisztikából, az információtudományból és más szakterület-specifikus tudományágakból merít technikákat. Egyes kutatók szerint a különböző területek kombinációja hasonló ahhoz, amilyen az információtudomány évtizedekkel ezelőtt volt (Mayernik, 2023). Ezek a hasonlóságok segítenek megérteni, hogyan vált az adattudomány önálló tanulmányi területté.

Az adattudós olyan szakember, aki programkódot hoz létre, és azt kombinálja statisztikai ismeretekkel az adatok összefoglalása érdekében.

Alapok

Az adattudomány egy interdiszciplináris terület amely jellemzően nagy adathalmazokból kinyeri a tudást, és ezt az adatból származó tudást más alkalmazási területeken felmerülő problémák megoldására alkalmazza. A terület magában foglalja az adatok elemzésre való előkészítését, az adattudományi problémák megfogalmazását, az adatok elemzését és az eredmények összefoglalását. Mint ilyen, magában foglalja a számítástechnika, a matematika, az adatvizualizáció, a grafikai tervezés, a kommunikáció és az üzleti élet készségeit.

Vasant Dhar azt írja, hogy a statisztika a kvantitatív adatokra és a leírásra helyezi a hangsúlyt. Ezzel szemben az adattudomány kvantitatív és kvalitatív adatokkal foglalkozik (pl. képekből, szövegből, érzékelőkből, tranzakciókból, ügyfélinformációkból stb.), és a predikciót és a cselekvést hangsúlyozza. Andrew Gelman, a Columbia Egyetem munkatársa a statisztikát az adattudomány nem alapvető részének nevezte. David Donoho, a Stanford professzora azt írja, hogy az adattudományt nem az adathalmazok mérete vagy a számítástechnika használata különbözteti meg a statisztikától, és hogy sok posztgraduális program félrevezetően hirdeti analitikai és statisztikai képzését az adattudományi program lényegeként. Az adattudományt a hagyományos statisztikából kinőtt alkalmazott területként írja le.

Etimológia

Korai használat

1962-ben John Tukey leírt egy általa „ adatelemzésnek ” nevezett területet, amely a modern adattudományra hasonlít. 1985-ben, a Pekingben, a Kínai Tudományos Akadémián tartott előadásában C. F. Jeff Wu először használta az „adattudomány” kifejezést a statisztika alternatív elnevezéseként. Később, egy 1992-es statisztikai szimpózium résztvevői a Montpellier-i Egyetemen a II. számú tanulmány elismerte egy új tudományág megjelenését, amely a különféle eredetű és formájú adatokra összpontosít, és a statisztika és az adatelemzés bevett koncepcióit és elveit ötvözi a számítástechnikával.

Az „adattudomány” kifejezés eredete 1974-re nyúlik vissza, amikor Peter Naur a számítástechnika alternatív elnevezéseként javasolta. 1974-es, a Számítógépes módszerek tömör áttekintése című könyvében Peter Naur a „adattudomány” kifejezés használatát javasolta a „számítástechnika” helyett, hogy tükrözze az adatvezérelt módszerekre helyezett növekvő hangsúlyt 1996-ban a Nemzetközi Osztályozási Társaságok Szövetsége volt az első konferencia, amely kifejezetten az adattudományt témaként emelte ki. A definíció azonban még mindig változékony volt. Az 1985-ös pekingi Kínai Tudományos Akadémián tartott előadás után C. F. Jeff Wu 1997-ben ismét azt javasolta, hogy a statisztikát nevezzék át adattudománynak. Úgy érvelt, hogy egy új név segítene a statisztikának megszabadulni a pontatlan sztereotípiáktól, például attól, hogy a számvitellel szinonim, vagy az adatok leírására korlátozódik. 1998-ban Hayashi Chikio az adattudományt egy új, interdiszciplináris koncepcióként állította fel, amelynek három aspektusa van: adattervezés, -gyűjtés és -elemzés.

Modern használat

2012-ben Thomas H. Davenport és DJ Patil technológusok kijelentették, hogy az adattudós a 21. század legszexisebb munkája, egy olyan szállóigévé vált mondás, amelyet még olyan nagyvárosi újságok is átvettek, mint a New York Times és a Boston Globe. Egy évtizeddel később megerősítették ezt, kijelentve, hogy „a munka iránt nagyobb a kereslet a munkaadók körében, mint valaha”.

Az adattudomány, mint önálló tudományág modern felfogását néha William S. Clevelandnek tulajdonítják. 2014-ben az Amerikai Statisztikai Társaság Statisztikai Tanulás és Adatbányászat Szekciója Statisztikai Tanulás és Adattudomány Szekcióra változtatta a nevét, tükrözve az adattudomány növekvő népszerűségét.

Az elmúlt néhány évben számos főiskola kezdett el strukturáltabb alapképzési programokat létrehozni az adattudomány területén. A Nemzeti Akadémiák jelentése szerint az erős programok jellemzően statisztikai, számítástechnikai, etikai és kommunikációs képzést, valamint egy adott területen végzett gyakorlati munkát tartalmaznak (Nemzeti Tudományos, Mérnöki és Orvosi Akadémiák, 2018). Ahogy az iskolák megpróbálják felkészíteni a diákokat az adatokkal végzett munkakörülményekre, ezek a gyakorlatok egyre gyakoribbá válnak.

Az „adattudós” szakmai címet DJ Patil és Jeff Hammerbacher kapta 2008-ban. Bár a National Science Board használta ezt a kifejezést a 2005-ös „Hosszú életű digitális adatgyűjtemények: A kutatás és az oktatás lehetővé tétele a 21. században” című jelentésében, tágabb értelemben a digitális adatgyűjtemények kezelésében betöltött bármely kulcsfontosságú szerepre utalt.

Adattudomány és adatelemzés

Példa a Tucat Adatszaurusz adatkészletének felhasználásával végzett feltáró adatelemzésre

Az adattudomány területén az adatelemzés olyan folyamat, amely során az adatokat megvizsgálják, megtisztítják, átalakítják és modellezik annak érdekében, hogy hasznos információkat nyerjenek ki, következtetéseket vonjanak le, és támogassák a döntéshozatalt. Az adatelemzés magában foglalja az exploratív elemzést, amely grafikus eszközökkel és leíró statisztikákkal tárja fel a mintázatokat és hipotéziseket generál, valamint a megerősítő elemzést, amely statisztikai következtetésekkel teszteli a hipotéziseket és számszerűsíti a bizonytalanságot.

Tipikus tevékenységek a következők:

• adatgyűjtés és -integráció;
• adattisztítás és -előkészítés (hiányzó értékek, kiugró értékek kezelése, kódolás, normalizálás);
• jellemzőtervezés és kiválasztás;
• vizualizáció és leíró statisztika;
• statisztikai vagy gépi tanuláson alapuló modellek illesztése és kiértékelése;
• az eredmények kommunikálása és a reprodukálhatóság biztosítása (pl. jelentések, jegyzetfüzetek és irányítópultok).

Az adatelemzés teljes életciklusát olyan keretrendszerek írják le, mint például a CRISP-DM, amely a folyamatot az üzleti megértéstől a bevezetésen és monitorozáson át vezeti végig.

Az adattudomány gyakran nagy méretű adathalmazokkal dolgozik, amelyek elemzéséhez fejlett számítási és statisztikai módszerek szükségesek. Az adatok gyakran strukturálatlanok — például szövegek vagy képek —, és az adatelemzők gépi tanulási algoritmusokat alkalmaznak előrejelző modellek építésére. A statisztikai elemzés, az adat-előfeldolgozás és a felügyelt tanulás mind központi szerepet játszanak ebben a munkában.

Friss kutatások szerint a mesterséges intelligencia egyre inkább adatcentrikus irányba mozdul el, ahol a hangsúly nem csupán a modellek fejlesztésén, hanem az adatkészletek minőségén van. Ez a szemlélet az adatok tisztítására, finomítására és címkézésére összpontosít, hogy javítsa a rendszerek teljesítményét. Ahogy az AI rendszerek egyre nagyobbá válnak, az adatcentrikus megközelítés jelentősége is növekszik.

Felhőalapú számítástechnika az adattudomány számára

Egy felhőalapú architektúra nagy adat elemzéséhez. Az adatok különböző forrásokból, például személyi számítógépekből, laptopokból és okostelefonokból áramlanak felhőszolgáltatásokon keresztül feldolgozás és elemzés céljából, ami végül különféle nagy adatú applikációkhoz vezet.

A felhőalapú számítás lehetőséget kínál nagy mennyiségű számítási kapacitás és tárhely elérésére. A big data területén, ahol az információk folyamatosan keletkeznek és feldolgozásra kerülnek, ezek a platformok alkalmasak összetett és erőforrás-igényes analitikai feladatok kezelésére.

Bizonyos elosztott számítási keretrendszerek kifejezetten big data munkafolyamatokhoz lettek tervezve. Ezek lehetővé teszik, hogy az adatelemzők nagy adathalmazokat párhuzamosan dolgozzanak fel és elemezzenek, ami jelentősen csökkentheti a feldolgozási időt.

Etikai megfontolások az adattudományban

A data science során történő adatgyűjtés, -feldolgozás és -elemzés gyakran érint személyes vagy érzékeny információkat, ezért komoly etikai kérdéseket vet fel. Ezek közé tartozik:

• az adatvédelmi jogsértések lehetősége,
• a meglévő társadalmi torzulások felerősítése,
• valamint negatív társadalmi hatások kialakulása.

A data science oktatásában egyre nagyobb hangsúlyt kapnak az etikai és filozófiai kérdések. A kurzusok már nemcsak technikai elveket tanítanak, hanem olyan emberközpontú témákat is integrálnak, mint:

• méltányosság;
• elszámoltathatóság;
• és felelős döntéshozatal.

Ezeket gyakran morálfilozófiai és politikai filozófiai vitákhoz kapcsolják, hogy a hallgatók jobban megértsék, hogyan hatnak az adatvezérelt technológiák a társadalomra.

A gépi tanulási modellek képesek felerősíteni a tanító adatokban meglévő torzításokat, ami diszkriminatív vagy igazságtalan eredményekhez vezethet. Emiatt egyre nagyobb figyelmet kap az adatok megfelelő hivatkozása, amely:

• segíti a kutatókat abban, hogy pontosan lássák, milyen adatokat használtak,
• lehetővé teszi a vizsgálatok megismételhetőségét,
• és biztosítja, hogy az adatgyűjtők és kezelők megfelelő elismerést kapjanak.

Lásd még

• Python (programozási nyelv)
• R (programozási nyelv)
• Adatmérnökség
• Nagy adathalmazok
• Gépi tanulás
• Mesterséges intelligencia
• Bioinformatika
• Asztroinformatika
• Topológiai adatelemzés
• Adattudományi folyóiratok listája
• Adattudományi szoftverek listája
• Nyílt forráskódú adattudományi szoftverek listája
• Adattudományi jegyzetfüzet szoftver

Fordítás

• Ez a szócikk részben vagy egészben a Data_science című angol Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.

Források

<!- Ezt rendbe illenék rakni -->

• Donoho, D. (2017). 50 Years of Data Science. Journal of Computational and Graphical Statistics, 26(4), 745–766. https://doi.org/10.1080/10618600.2017.1384734
• Dhar, V. (2013). Data science and prediction. Communications of the ACM, 56(12), 64–73. https://doi.org/10.1145/2500499
• Danyluk, A., & Leidig, P. (2021). Computing Competencies for Undergraduate Data Science Curricula. ACM Data Science Task Force Final Report.
• Mike, K., & Hazzan, O. (2023). What is Data Science? Communications of the ACM, 66(2), 12–13. https://doi.org/10.1145/3575663
• Hayashi, C. (1998). What is Data Science? Fundamental Concepts and a Heuristic Example. In C. Hayashi et al. (Eds.), Data Science, Classification, and Related Methods (pp. 40–51). Springer. https://doi.org/10.1007/978-4-431-65950-1_3
• Cao, L. (2017). Data Science: A Comprehensive Overview. ACM Computing Surveys, 50(3), 43:1–43:42. https://doi.org/10.1145/3076253
• Hey, T., Tansley, S., & Tolle, K. M. (2009). The Fourth Paradigm: Data-intensive Scientific Discovery. Microsoft Research.
• Bell, G., Hey, T., & Szalay, A. (2009). Computer Science: Beyond the Data Deluge. Science, 323(5919), 1297–1298. https://doi.org/10.1126/science.1170411
• Mayernik, M. S. (2023). Data Science as an Interdiscipline. Data Science Journal, 22(1), 16. https://doi.org/10.5334/dsj-2023-016
• Davenport, T. H., & Patil, D. J. (2012). Data Scientist: The Sexiest Job of the 21st Century. Harvard Business Review, 90(10), 70–76, 128.
• Emmert-Streib, F., & Dehmer, M. (2018). Defining data science by a data-driven quantification of the community. Machine Learning and Knowledge Extraction, 1, 235–251. https://doi.org/10.3390/make1010015
• Doing Data Science. (2013). O’Reilly Media.
• Dhar, V. (2013). Data science and prediction. Communications of the ACM, 56(12), 64–73. https://doi.org/10.1145/2500499
• Statistics is the least important part of data science. statmodeling.stat.columbia.edu
• Donoho, D. (2015). 50 Years of Data Science. Retrieved 2 April 2020.
• Wu, C. F. J. (1986). Future directions of statistical research in China. Application of Statistics and Management, 1, 1–7.
• Escoufier, Y., Hayashi, C., & Fichet, B. (Eds.). (1995). Data Science and its Applications. Academic Press.
• Murtagh, F., & Devlin, K. (2018). The Development of Data Science. Big Data and Cognitive Computing, 2(2), 14. https://doi.org/10.3390/bdcc2020014
• Wu, C. F. J. Statistics = Data Science?
• Davenport, T. (2012). Data Scientist: The Sexiest Job of the 21st Century. Harvard Business Review.
• Miller, C. (2013). Data Science: The Numbers of Our Lives. New York Times.
• Borchers, C. (2015). Behind the scenes of the ‘sexiest job’. Boston Globe.
• Davenport, T. (2022). Is Data Scientist Still the Sexiest Job? Harvard Business Review.
• Cleveland, W. S. (2001). Data Science: An Action Plan for Expanding the Technical Areas of Statistics. International Statistical Review, 69(1), 21–26. https://doi.org/10.1111/j.1751-5823.2001.tb00477.x
• Talley, J. (2016). ASA Expands Scope to Foster Growth in Data Science. Amstat News.
• Spiegelhalter, D. (2019). The Art of Statistics. Basic Books.
• Tukey, J. W. (1977). Exploratory Data Analysis. Addison-Wesley.
• James, G., Witten, D., Hastie, T., & Tibshirani, R. (2017). An Introduction to Statistical Learning. Springer.
• O’Neil, C., & Schutt, R. (2013). Doing Data Science. O’Reilly Media.
• Provost, F., & Fawcett, T. (2013). Data Science for Business. O’Reilly Media.
• Han, J., Kamber, M., & Pei, J. (2011). Data Mining: Concepts and Techniques.
• Bhatt, N. et al. (2024). A Data-Centric Approach to Improve Deep Learning Models. Scientific Reports, 14(1), 22329. https://doi.org/10.1038/s41598-024-73643-x
• Hashem, I. A. T. et al. (2015). The rise of big data on cloud computing. Information Systems, 47, 98–115. https://doi.org/10.1016/j.is.2014.07.006
• Qiu, J. et al. (2016). A survey of machine learning for big data processing. EURASIP Journal on Advances in Signal Processing, 2016(1), 67. https://doi.org/10.1186/s13634-016-0355-x
• Armbrust, M. et al. (2015). Spark SQL: Relational Data Processing in Spark. ACM SIGMOD, 1383–1394. https://doi.org/10.1145/2723372.2742797
• Floridi, L., & Taddeo, M. (2016). What is data ethics? Philosophical Transactions of the Royal Society A, 374(2083). https://doi.org/10.1098/rsta.2016.0360
• Mittelstadt, B. D., & Floridi, L. (2016). The Ethics of Big Data. Science and Engineering Ethics, 22(2), 303–341. https://doi.org/10.1007/s11948-015-9652-2
• Colando, S., & Hardin, J. (2024). Philosophy within Data Science Ethics Courses. Journal of Statistics and Data Science Education, 32(4), 361–373. https://doi.org/10.1080/26939169.2024.2394542
• Barocas, S., & Selbst, A. D. (2016). Big Data’s Disparate Impact. California Law Review.
• Caliskan, A., Bryson, J. J., & Narayanan, A. (2017). Semantics derived automatically from language corpora contain human-like biases. Science, 356(6334), 183–186. https://doi.org/10.1126/science.aal4230
• Lafia, S. et al. (2023). How and Why Do Researchers Reference Data? Data Science Journal, 22(1). https://doi.org/10.5334/dsj-2023-010