Wikipedia

Învățare profundă

(Redirecționat de la Deep learning)

Învățarea profundă (cunoscută și sub numele de învățare profundă structurată sau învățare ierarhică) este parte dintr-o familie de metode de învățare automată bazată pe rețele neuronale artificiale. Învățarea poate fi supravegheată, semi-supravegheată sau nesupravegheată[1][2][3].

Arhitecturile de învățare profundă, precum rețele neuronale profunde, rețele neuronale recurente și rețelele neuronale convoluționale, au fost aplicate în diverse domenii, precum recunoașterea imaginilor, recunoașterea vocală, prelucrarea limbajului natural, recunoașterea audio, filtrarea în rețele sociale, traducerea automată, bioinformatica, proiectarea de medicamente, analiza de imagini medicale, inspeciția materialelor și divertisment, unde au obținut rezultate comparabile cu și, în unele cazuri, superioare experților umani[4][5][6].

Rețelele neuronale au fost inspirate de prelucrarea informațiilor și nodurile de comunicare distribuite în sistemele biologice. Rețelele neuronale artificiale diferă de creierul biologic. În special, rețelele neuronale tind să fie statice și simbolice, în timp ce creierul biologic al celor mai multe organisme vii este dinamic și analog[7][8][9].

Definiție

modificare

Învățarea profundă este o clasă de algoritmi de învățare automată care[10](pp199–200) folosesc mai multe straturi de neuroni pentru a extrage progresiv caracteristici de nivel superior din datele de intrare. De exemplu, în procesarea imaginilor, straturile inferioare pot identifica margini, în timp ce straturile superioare pot identifica elemente semnificative, precum cifre, litere sau fețe de oameni.

Istoric

modificare

Termenul de Învățare Profundă a fost introdus în comunitatea de învățare automată de către Rina Dechter în 1986[11][12], iar în cea de rețele neuronale artificiale de Igor Aizenberg și colegii în anul 2000[13][14].

 
Învățarea profundă face parte din învățarea automată, care face parte din inteligența artificială (IA).

În martie 2019, Yoshua Bengio, Geoffrey Hinton și Yann LeCun au fost distinși cu Premiul Turing pentru descoperirile conceptuale și inginerești care au făcut din rețelele neuronale profunde o componentă critică de calcul.

Rețele neuronale

modificare

Rețelele neuronale artificiale

modificare

Rețelele neuronale artificiale[15] (RNA) sunt sisteme de calcul inspirat de rețelele neuronale biologice care constituie creierul animalelor. Astfel de sisteme învață (își îmbunătățesc progresiv capacitatea lor) să execute sarcini prin observarea de exemple, de obicei fără a fi nevoie de re-programare în funcție de domeniu. De exemplu, în recunoașterea de imagini, ar putea învăța să identifice imaginile care conțin pisici analizând exemple de imagini care au fost manual etichetate ca „pisică” sau „nici o pisică”, iar ulterior să aplice aceste cunoștințe unor imagini noi. Astfel de algoritmi sunt utilizați în aplicații care nu pot fi modelate ușor folosind algoritm tradișionali, precum programarea bazată pe reguli.

O RNA se bazează pe o colecție de unități conectate numite neuroni artificiali, (similar cu neuronii biologici în creierul biologic). Fiecare conexiune (sinapsă) dintre neuroni poate transmite un semnal între neuroni. Neuronul receptor (postsinaptic) poate procesa semnalul și apoi transmite mai departe către următorii neuroni la care este conectat. Neuronii pot avea stare, în general reprezentată de numere reale, de obicei între 0 și 1. Neuronii și sinapsele pot, de asemenea, avea o greutate care variază pe măsură ce învățarea are loc și care poate mări sau micșora puterea semnalului care este transmis mai departe.

De obicei, neuronii sunt organizați în straturi. Diferite straturi pot efectua diferite tipuri de transformări asupra intrărilor lor. Semnale călătoresc de la primul strat (de intrare) până la ultimul strat (de ieșire), eventual după ce traversează straturi intermediare de mai multe ori.

Rețelele neuronale au fost folosite într-o varietate de domenii, printre care recunoașterea imaginilor, recunoaștere vocală, traducere automată, filtrare în rețele de socializare, jocuri și diagnosticare medicală.

În 2017, rețelele neuronale au de obicei câteva mii spre câteva milioane de unități și milioane de conexiuni. În ciuda acestui număr de mai multe ordine de mărime mai mic decât numărul de neuroni din creierul uman, aceste rețele pot efectua mai multe sarcini la un nivel superior față de oameni (de exemplu, recunoașterea fețelor sau jocul „Go”[16] ).

Rețele neuronale profunde

modificare

O rețea neuronală profundă (RNP) este o rețea neuronală artificială (RNA) cu mai multe straturi între straturile de intrare și ieșire.[17][2] RNP găsește modalitatea potrivită de manipulare matematică pentru a transforma semnalul de intrare în cel de ieșire, fie că este vorba de o relație liniară sau neliniară. Rețeaua se mișcă prin straturi calculând probabilitatea fiecărui rezultat. De exemplu, o RNP care este instruită să recunoască rasele de câini v procesa o anumită imagine și calcula probabilitatea ca animalul din imagine să fie dintr-o anumita rasă. Utilizatorul poate revizui rezultatele și selecta care probabilități ar trebui să fie afișate de rețea (peste un anumit prag, etc.). Fiecare astfel de manipulare matematică este considerată un strat, iar RNP complexe au mai multe straturi, de unde și numele de rețele „profunde”.

RNP pot modela relații neliniare complexe. Arhitecturile RNP generează modele compoziționale în care obiectul este exprimat ca o compoziție stratificată de primitive[18]. Straturile suplimentare permit compoziția caracteristicilor din straturile inferioare, cu potențial de modelare a datelor complexe cu mai puține unități decât rețea superficială de performanță similară[17].

Arhitecturile profunde includ multe variante bazate pe doar câteva metode elementare. Fiecare arhitectură are succes în domenii specifice. Diversele arhitecturi nu pot fi întotdeauna comparate, cu excepția cazului în care acestea sunt evaluate pe aceleași seturi de date.

Rețelele neuronale recurente (RNN), în care datele pot circula în orice direcție, sunt utilizate pentru aplicații cum ar fi modelarea limbajului[19][20][21][22][23]. Memoria lungă pe termen scurt este deosebit de eficientă pentru această utilizare[24][25].

Rețelele neuronale convoluționale (RNC) sunt utilizate în recunoașterea imaginilor[26]. RNC au fost aplicate și în modelarea acustică pentru recunoașterea automată a vorbirii[27].

Aplicații

modificare

Recunoașterea automată a vorbirii

modificare

Recunoașterea automată a vorbirii la scară largă este primul și cel mai convingător caz de succes al aplicării învățării profunde. Rețelele recurent cu memorie pot învăța obiective „foarte profunde”[2], care implică intervale multi-secundă și care conțin evenimente de vorbire separate de mii de pași discreți pași de timp, unde un pas de timp durează aproximativ 10 ms. Un LSTM cu porți de uitare[25] este competitiv cu metodele tradiționale de recunoaștere a vorbirii în anumite domenii[28].

Toate marile sisteme comerciale de recunoaștere a vorbirii (de exemplu, Microsoft Cortana, Xbox, Skype Translator, Amazon Alexa, Google Now, Apple Siri, Baidu, iFlyTek și Nuance) se bazează pe învățarea profundă[10][29][30][31].

Prelucrarea limbajului natural

modificare

Rețelele neuronale au fost folosite pentru punerea în aplicare a modelelor de limbă încă de la începutul anilor 2000[19][32]. LSTM a contribuit la îmbunătățirea traducerii automate și modelelor de limbă[20][21][22].

Cercetările recente generalizează reprezentărilor cuvintelor la reprezentările propozițiilor.

Descoperirea de medicamente și toxicologie

modificare

Un procent mare de medicamente potențiale eșuază în a fi aprobate din cauza eficacității insuficiente (efectul asupra țintei), interacțiunilor nedorite (efecte în afara țintei) sau efectelor toxice neprevăzute[33][34]. Cercetătorii au explorat utilizarea învățării profunde pentru a prezice efectele asupra țintelor biomoleculare[35][36] și cele toxice ale substanțelor chimice din nutrienți, produse de uz casnic și medicamente[37][38][39].

Bioinformatică

modificare

O rețea neuronală auto-codificantă a fost folosită în bioinformatică pentru a prezice adnotări spre Gene Ontology și relații genă-funcție[40].

În informatică medicală, învățarea profundă a fost folosită pentru a prezice calitatea somnului pe baza datelor de la senzori portabili[41] și complicații de sănătate pe baza dosarelor electronice de sănătate[42]. Învățarea profundă a arătat că este utilă și în sănătate[43].

Analiza Imaginilor Medicale

modificare

S-a demonstrat că învățarea profundă produce rezultate comparabile cu ale omaenilor în aplicații medicale, precum clasificarea celulelor canceroase, detectarea leziunilor, segmentarea organelor și îmbunătățirea imaginilor[44][45].

Detectarea fraudelor financiare

modificare

Învățarea profundă este aplicată cu succes în detectarea fraudelor financiare și spălării de bani. „Sistemele profunde de detectare a spălării de bani pot identifica și recunoaște relații și asemănări între date și, mai mult, pot învăța să detecteze anomalii sau să clasifice și să anticipeze anumite evenimente”. Soluția folosește atât tehnici de învățare supravegheată, precum clasificarea tranzacțiilor suspecte, cât și învățare nesupravegheată, precum detectarea anomaliilor[46].

Note

modificare
  1. ^ Bengio, Y.; Courville, A.; Vincent, P. (). „Representation Learning: A Review and New Perspectives”. IEEE Transactions on Pattern Analysis and Machine Intelligence. 35 (8): 1798–1828. doi:10.1109/tpami.2013.50. PMID 23787338. 
  2. ^ a b c Schmidhuber, J. (). „Deep Learning in Neural Networks: An Overview”. Neural Networks. 61: 85–117. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. 
  3. ^ Bengio, Yoshua; LeCun, Yann; Hinton, Geoffrey (). „Deep Learning”. Nature. 521 (7553): 436–444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. 
  4. ^ Ciresan, Dan; Meier, U.; Schmidhuber, J. (iunie 2012). „Multi-column deep neural networks for image classification”. 2012 IEEE Conference on Computer Vision and Pattern Recognition: 3642–3649. doi:10.1109/cvpr.2012.6248110. ISBN 978-1-4673-1228-8. 
  5. ^ Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffry (). „ImageNet Classification with Deep Convolutional Neural Networks” (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada. 
  6. ^ „Google's AlphaGo AI wins three-match series against the world's best Go player”. TechCrunch. . 
  7. ^ Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (). „Toward an Integration of Deep Learning and Neuroscience”. Frontiers in Computational Neuroscience. 10: 94. doi:10.3389/fncom.2016.00094. PMC 5021692  . PMID 27683554. 
  8. ^ Olshausen, B. A. (). „Emergence of simple-cell receptive field properties by learning a sparse code for natural images”. Nature. 381 (6583): 607–609. Bibcode:1996Natur.381..607O. doi:10.1038/381607a0. PMID 8637596. 
  9. ^ Bengio. „Towards Biologically Plausible Deep Learning”.  |arxiv= necesar (ajutor)
  10. ^ a b Deng, L.; Yu, D. (). „Deep Learning: Methods and Applications” (PDF). Foundations and Trends in Signal Processing. 7 (3–4): 1–199. doi:10.1561/2000000039. 
  11. ^ Rina Dechter (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online
  12. ^ Jürgen Schmidhuber (2015). Deep Learning. Scholarpedia, 10(11):32832. Online
  13. ^ Igor Aizenberg, Naum N. Aizenberg, Joos P.L. Vandewalle (2000). Multi-Valued and Universal Binary Neurons: Theory, Learning and Applications. Springer Science & Business Media.
  14. ^ Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795-1802, ACM Press, New York, NY, USA, 2005.
  15. ^ Shah, Hardik. „A Full Overview of Artificial Neural Networks (ANN)” (în engleză). learn.g2.com. Accesat în . 
  16. ^ Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (ianuarie 2016). „Mastering the game of Go with deep neural networks and tree search”. Nature. 529 (7587): 484–489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. 
  17. ^ a b Bengio, Yoshua (). „Learning Deep Architectures for AI” (PDF). Foundations and Trends in Machine Learning. 2 (1): 1–127. doi:10.1561/2200000006. Arhivat din original (PDF) la . Accesat în . 
  18. ^ Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (). „Deep neural networks for object detection”. Advances in Neural Information Processing Systems. 
  19. ^ a b Gers, Felix A.; Schmidhuber, Jürgen (). „LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages”. IEEE Trans. Neural Netw. 12 (6): 1333–1340. doi:10.1109/72.963769. PMID 18249962. 
  20. ^ a b Sutskever, L.; Vinyals, O.; Le, Q. (). „Sequence to Sequence Learning with Neural Networks” (PDF). Proc. NIPS. 
  21. ^ a b Jozefowicz. „Exploring the Limits of Language Modeling”.  |arxiv= necesar (ajutor)
  22. ^ a b Gillick. „Multilingual Language Processing from Bytes”.  |arxiv= necesar (ajutor)
  23. ^ Mikolov, T.; et al. (). „Recurrent neural network based language model” (PDF). Interspeech. Arhivat din original (PDF) la . Accesat în . 
  24. ^ Hochreiter, Sepp; Schmidhuber, Jürgen (). „Long Short-Term Memory”. Neural Computation. 9 (8): 1735–1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. 
  25. ^ a b „Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)”. ResearchGate. Accesat în . 
  26. ^ LeCun, Y.; et al. (). „Gradient-based learning applied to document recognition”. Proceedings of the IEEE. 86 (11): 2278–2324. doi:10.1109/5.726791. 
  27. ^ Sainath, T. N.; Mohamed, A. r; Kingsbury, B.; Ramabhadran, B. (mai 2013). „Deep convolutional neural networks for LVCSR”. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing: 8614–8618. doi:10.1109/icassp.2013.6639347. ISBN 978-1-4799-0356-6. 
  28. ^ Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (). „Biologically Plausible Speech Recognition with LSTM Neural Nets” (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland. pp. 175–184. Arhivat din original (PDF) la . 
  29. ^ „How Skype Used AI to Build Its Amazing New Language Translator | WIRED”. www.wired.com. Accesat în . 
  30. ^ Un robot va completa această citare în curând. Clic aici pentru a trece mai în față arXiv:[1].
  31. ^ „Plenary presentation at ICASSP-2016” (PDF). 
  32. ^ Bengio, Yoshua; Ducharme, Réjean; Vincent, Pascal; Janvin, Christian (martie 2003). „A Neural Probabilistic Language Model”. J. Mach. Learn. Res. 3: 1137–1155. ISSN 1532-4435. 
  33. ^ Arrowsmith, J; Miller, P (). „Trial watch: Phase II and phase III attrition rates 2011-2012”. Nature Reviews Drug Discovery. 12 (8): 569. doi:10.1038/nrd4090. PMID 23903212. 
  34. ^ Verbist, B; Klambauer, G; Vervoort, L; Talloen, W; The Qstar, Consortium; Shkedy, Z; Thas, O; Bender, A; Göhlmann, H. W. (). „Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project”. Drug Discovery Today. 20 (5): 505–513. doi:10.1016/j.drudis.2014.12.014. PMID 25582842. 
  35. ^ „Announcement of the winners of the Merck Molecular Activity Challenge”. 
  36. ^ „Multi-task Neural Networks for QSAR Predictions | Data Science Association”. www.datascienceassn.org. Accesat în . 
  37. ^ "Toxicology in the 21st century Data Challenge"
  38. ^ „NCATS Announces Tox21 Data Challenge Winners”. 
  39. ^ „Archived copy”. Arhivat din original la . Accesat în . 
  40. ^ Chicco, Davide; Sadowski, Peter; Baldi, Pierre (). Deep Autoencoder Neural Networks for Gene Ontology Annotation Predictions. Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics - BCB '14. ACM. pp. 533–540. doi:10.1145/2649387.2649442. ISBN 9781450328944. 
  41. ^ Sathyanarayana, Aarti (). „Sleep Quality Prediction From Wearable Data Using Deep Learning”. JMIR mHealth and uHealth. 4 (4): e125. doi:10.2196/mhealth.6562. PMC 5116102  . PMID 27815231. 
  42. ^ Choi, Edward; Schuetz, Andy; Stewart, Walter F.; Sun, Jimeng (). „Using recurrent neural network models for early detection of heart failure onset”. Journal of the American Medical Informatics Association. 24 (2): 361–370. doi:10.1093/jamia/ocw112. ISSN 1067-5027. PMC 5391725  . PMID 27521897. 
  43. ^ „Deep Learning in Healthcare: Challenges and Opportunities”. Medium. . Accesat în . 
  44. ^ Litjens, Geert; Kooi, Thijs; Bejnordi, Babak Ehteshami; Setio, Arnaud Arindra Adiyoso; Ciompi, Francesco; Ghafoorian, Mohsen; van der Laak, Jeroen A.W.M.; van Ginneken, Bram; Sánchez, Clara I. (decembrie 2017). „A survey on deep learning in medical image analysis”. Medical Image Analysis. 42: 60–88. doi:10.1016/j.media.2017.07.005. 
  45. ^ Forslid, Gustav; Wieslander, Hakan; Bengtsson, Ewert; Wahlby, Carolina; Hirsch, Jan-Michael; Stark, Christina Runow; Sadanandan, Sajith Kecheril (octombrie 2017). „Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy”. 2017 IEEE International Conference on Computer Vision Workshops (ICCVW). Venice: IEEE: 82–89. doi:10.1109/ICCVW.2017.18. ISBN 9781538610343. 
  46. ^ Czech, Tomasz. „Deep learning: the next frontier for money laundering detection”. Global Banking and Finance Review. 
Adus de la https://ro.wikipedia.org/w/index.php?title=Învățare_profundă&oldid=16444884