Rețea Hopfield

O rețea Hopfield (sau memorie asociativă) este o formă de rețea neurală recurentă care poate servi ca memorie adresabilă prin conținut. Rețelele Hopfield, numite după John Hopfield, constau dintr-un singur strat de neuroni, în care fiecare neuron este conectat la toți ceilalți, nu și la el însuși. Aceste conexiuni sunt bidirecționale și simetrice, ceea ce înseamnă că ponderea conexiunii de la neuronul i la neuronul j este aceeași cu ponderea celei de la neuronul j la neuronul i. Șabloanele pot fi invocate asociativ prin fixarea anumitor intrări, care împing rețeaua să evolueze dinamic în sensul minimizării unei funcții energetice, către stăride energie minimă local care corespund șabloanelor stocate. Șabloanele sunt învățate asociativ (sau „stocate”) printr-un algoritm de învățare Hebbian.

Una dintre caracteristicile cheie ale rețelelor Hopfield este capacitatea lor de a readuce modele complete din intrări parțiale sau afectate de zgomote, făcându-le să fie robuste în fața datelor incomplete sau corupte. Legătura lor cu mecanica statistică, rețelele recurente și psihologia cognitivă umană a dus la aplicarea lor în diferite domenii, inclusiv fizică, psihologie, neuroștiințe și teoria și practica învățării automate.

Istorie

O origine a conceptului de memorie asociativă este psihologia cognitivă, anume conceptul denumit la fel în acel domeniu. Frank Rosenblatt a studiat „perceptronii cuplati încrucișat în buclă închisă”, care sunt rețele de perceptroni cu 3 straturi al căror strat mijlociu conține conexiuni recurente care se modifică după o regulă de învățare hebbiană. Karl Steinbuch, care dorea să înțeleagă procesul de învățare, și inspirat de copiii săi pe care îi urmărea învățând, a publicat Lernmatrix în 1961.

Cercetări similare au fost efectuate cu corelograma lui (DJ Willshaw et al., 1969). În ( Kohonen, 1974) o memorie asociativă a fost antrenată prin coborâre de gradient.

O rețea perceptron cu cuplare încrucișată în buclă închisă. Principles of Neurodynamics (1961).

O altă origine a memoriei asociative a fost mecanica statistică. Modelul Ising a fost publicat în anii 1920 ca model de magnetism, dar studia echilibrul termic, care nu se modifică în timp. Roy J. Glauber a studiat în 1963 modelul Ising care evoluează în timp, ca proces ce conduce la echilibru termic (dinamica Glauber), adăugând componenta timp.

A doua componentă care a fost adăugată a fost adaptarea la stimuli. Descriind fenomenul independent, Kaoru Nakano în 1971 și Shun'ichi Amari în 1972 au propus modificarea ponderilor unui model Ising prin regula de învățare hebbiană ca model de memorie asociativă. Aceeași idee a fost publicată de William A. Little^{⁠(de)[traduceți]} în 1974, care a fost recunoscut de Hopfield în lucrarea sa din 1982.

Vezi Carpenter (1989) pentru o descriere tehnică a unora dintre aceste prime lucrări în domeniul memoriilor asociative.

Modelul Sherrington–Kirkpatrick, publicat în 1975, este o rețea Hopfield cu inițializare aleatorie. Sherrington și Kirkpatrick au descoperit că este foarte probabil ca funcția energetică a modelului SK să aibă multe minime locale. În lucrarea din 1982, Hopfield a aplicat această teorie recent dezvoltată pentru a studia rețelele Hopfield cu funcții de activare binară. Într-o lucrare din 1984, el a extins aceasta la funcțiile de activare continuă, extensie care a devenit un model standard pentru studiul rețelelor neurale prin mecanica statistică.

Un progres major în capacitatea de stocare a memoriilor a fost dezvoltat de Krotov și Hopfield în 2016 printr-o schimbare a dinamicii rețelei și a funcției energetice. Această idee a fost extinsă în continuare de Demircigil și colaboratorii în 2017. Dinamica continuă a modelelor cu capacitate mare de memorie a fost dezvoltată într-o serie de lucrări între 2016 și 2020. Memorii asociative Hopfield cu mare capacitate de stocare se numesc acum memorii dens asociative sau rețele Hopfield moderne.

În 2024, John J. Hopfield și Geoffrey E. Hinton au primit Premiul Nobel pentru Fizică pentru contribuțiile lor fundamentale la învățarea automată, cum ar fi rețeaua Hopfield.

O rețea Hopfield cu patru unități

Unitățile din rețele Hopfield sunt unități cu prag binar, adică unitățile iau doar două valori diferite pentru stările lor, iar valoarea este stabilită prin verificarea dacă intrarea unității îi depășește sau nu pragul $U_{i}$. Rețelele Hopfield discrete descriu relațiile dintre neuronii binari (activi sau nu). $1,2,\ldots ,i,j,\ldots ,N$. La un anumit moment, starea rețelei neuronale este descrisă de un vector $V$, care înregistrează ce neuroni se declanșează într-un cuvânt binar de $N$ biți.

Interacțiunile $w_{ij}$ între neuroni au unități care, de obicei, iau valori de 1 sau -1, iar această convenție va fi folosită pe tot parcursul acestui articol. Cu toate acestea, altă literatură ar putea folosi unități care iau valori de 0 și 1. Aceste interacțiuni sunt „învățate” prin legea de asociere a lui Hebb, astfel încât, pentru o anumită stare $V^{s}$ și pentru două noduri distincte $i,j$

$w_{ij}=V_{i}^{s}V_{j}^{s}$

dar $w_{ii}=0$ .

Regula de învățare hebbiană ia forma $w_{ij}=(2V_{i}^{s}-1)(2V_{j}^{s}-1)$ când unitățile își asumă valori în $\{0,1\}$.

Odată ce rețeaua este antrenată, $w_{ij}$ nu mai evoluează. Dacă în rețeaua neurală se introduce o nouă stare a neuronilor $V^{s'}$, rețeaua acționează asupra neuronilor astfel încât

• $V_{i}^{s'}\rightarrow 1$ dacă $\sum _{j}w_{ij}V_{j}^{s'}>U_{i}$
• $V_{i}^{s'}\rightarrow -1$ dacă $\sum _{j}w_{ij}V_{j}^{s'}<U_{i}$

unde $U_{i}$ este valoarea de prag a celui de-al i-lea neuron (deseori considerată 0). În acest fel, rețelele Hopfield au capacitatea de a „reține” stările stocate în matricea de interacțiuni, deoarece dacă o stare nouă $V^{s'}$ este supusă matricei de interacțiuni, fiecare neuron se va schimba până când se potrivește cu starea inițială $V^{s}$ (vezi secțiunea Rețea Hopfield § #Actualizare de mai jos).

Conexiunile într-o rețea Hopfield au de obicei următoarele restricții:

• $w_{ii}=0,\forall i$ (nicio unitate nu are o legătură cu ea însăși)
• $w_{ij}=w_{ji},\forall i,j$ (conexiunile sunt simetrice)

Constrângerea conform căreia ponderile sunt simetrice garantează că funcția de energie scade monoton, respectând regulile de activare. O rețea cu ponderi asimetrice poate prezenta un comportament periodic sau haotic; cu toate acestea, Hopfield a descoperit că acest comportament este limitat la părți relativ mici ale spațiului de fază și nu afectează capacitatea rețelei de a acționa ca un sistem de memorie asociativă adresabil prin conținut.

Hopfield a modelat și rețele neurale pentru valori continuale, în care producția electrică a fiecărui neuron nu este binară, ci o valoare între 0 și 1. El a descoperit că și acest tip de rețea este capabil să stocheze și să reproducă stări memorate.

Fiecare pereche de unități i și j dintr-o rețea Hopfield are o conexiune care este descrisă de greutatea conectivității $w_{ij}$. În acest sens, rețeaua Hopfield poate fi descrisă formal ca un graf neorientat complet $G=\langle V,f\rangle$, unde $V$ este o mulțime de neuroni McCulloch–Pitts și $f:V^{2}\rightarrow \mathbb {R}$ este o funcție care leagă perechi de unități la o valoare reală, ponderea conectivității.

Actualizare

Actualizarea unei unități (nodul din graf care simulează neuronul artificial) în rețeaua Hopfield se realizează folosind următoarea regulă:

$s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\text{if }}\sum _{j}{w_{ij}s_{j}}\geq \theta _{i},\\-1&{\text{otherwise.}}\end{array}}\right.$

Capacitatea de stocare poate fi dată ca $C\cong {\frac {n}{2\log _{2}n}}$ unde $n$ este numărul de neuroni din rețea.

• $w_{ij}$ este ponderea conexiunii de la unitatea j la unitatea i.
• $s_{i}$ este starea unității i.
• $\theta _{i}$ este pragul unității i.

Actualizările în rețeaua Hopfield pot fi efectuate în două moduri diferite:

• Asincron: Unitățile sunt actualizate una câte una. Unitatea de actualizat poate fi aleasă la întâmplare sau poate fi impusă o ordine predefinită încă de la început.
• Sincron: Toate unitățile sunt actualizate în același timp. Aceasta necesită un ceas central al sistemului pentru a menține sincronizarea. Această metodă este văzută de unii ca fiind mai puțin realistă, bazată pe faptul că sistemele biologice și sistemele fizice de interes nu au un ceas global observat.

Neuronii „se atrag sau se resping reciproc” în spațiul stărilor

Ponderea legăturii dintre două unități are un impact puternic asupra valorilor neuronilor. Fie $w_{ij}$ ponderea conexiunii între doi neuroni i și j. Dacă $w_{ij}>0$, regula de actualizare înseamnă că:

• atunci când $s_{j}=1$, contribuția lui j în suma ponderată este pozitivă. Astfel, $s_{i}$ este tras de j spre valoarea $s_{i}=1$
• când $s_{j}=-1$, contribuția lui j în suma ponderată este negativă. Din nou, $s_{i}$ este împins de j către valoarea $s_{i}=-1$

Astfel, valorile neuronilor i și j vor converge dacă ponderea legăturii dintre ei este pozitivă. Similar, ei vor diverge dacă ponderea este negativă.

Proprietăți de convergență ale rețelelor Hopfield discrete și continue

În lucrarea sa din 1990, Bruck a studiat rețelele Hopfield discrete și a demonstrat o teoremă de convergență generalizată care se bazează pe conexiunea dintre dinamica rețelei și tăieturile din graful asociat. Această generalizare a acoperit atât dinamica asincronă, cât și cea sincronă și a prezentat dovezi elementare bazate pe algoritmi greedy pentru tăietura maximă în grafuri. O lucrare ulterioară a cercetat mai departe comportamentul oricărui neuron atât în rețele Hopfield în timp discret, cât și în timp continuu, atunci când funcția energetică corespunzătoare este minimizată în timpul unui proces de optimizare. Bruck arată că neuronul j își schimbă starea dacă și numai dacă scade și mai mult următoarea pseudo-tăietură polarizată. Rețeaua Hopfield discretă minimizează următoarea pseudo-tăietură polarizată pentru matricea de ponderi sinaptice ale rețelei Hopfield.

$J_{pseudo-taietura}(k)=\sum _{i\in C_{1}(k)}\sum _{j\in C_{2}(k)}w_{ij}+\sum _{j\in C_{1}(k)}{\theta _{j}}$

unde:

Rețeaua Hopfield în timp discret minimizează întotdeauna exact următoarea pseudo-tăietură:

$U(k)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(s_{i}(k)-s_{j}(k))^{2}+2\sum _{j=1}^{N}\theta _{j}s_{j}(k)$

Rețeaua Hopfield în timp continuu minimizează întotdeauna o limită superioară la următoarea tăietură ponderată:

$V(t)=\sum _{i=1}^{N}\sum _{j=1}^{N}w_{ij}(f(s_{i}(t))-f(s_{j}(t))^{2}+2\sum _{j=1}^{N}\theta _{j}f(s_{j}(t))$

unde $f(\cdot )$ este o funcție sigmoidă centrată în zero.

Rețeaua Hopfield complexă tinde, pe de altă parte, în general să minimizeze așa-numita tăietură-umbră a matricei complexe de ponderi a rețelei.

Energie

Peisajul energetic al unei rețele Hopfield, evidențiind starea actuală a rețelei (vârful dealului), o stare atractoare către care va converge în cele din urmă, un nivel minim de energie și un bazin de atracție colorat în verde. Se observă cum actualizarea rețelei Hopfield duce mereu spre energii mai joase.

Rețelele Hopfield au o valoare scalară asociată cu fiecare stare a rețelei, denumită „energia”, E, a rețelei, unde:

Această cantitate se numește „energie” deoarece fie scade, fie rămâne aceeași la actualizarea unităților de rețea. Mai mult, în cazul actualizării repetate, rețeaua va converge în cele din urmă către o stare care este un minim local în funcția de energie (care este considerată a fi o funcție Leapunov). Astfel, dacă o stare este un minim local în funcția de energie, atunci este o stare stabilă a rețelei. Această funcție energetică aparține unei clase generale de modele din fizică care poartă denumirea de modele Ising; acestea, la rândul lor, sunt un caz special de rețele Markov, deoarece măsura de probabilitate asociată, măsura Gibbs, are proprietatea Markov.

Rețelele Hopfield în optimizare

Hopfield și Tank au prezentat aplicația rețelelor Hopfield în rezolvarea clasicei probleme a comis-voiajorului în 1985. De atunci, rețeaua Hopfield a fost utilizată pe scară largă pentru optimizare. Ideea utilizării rețelei Hopfield în probleme de optimizare este simplă: dacă se poate scrie o funcție de cost cu sau fără constrângeri poate fi scrisă sub forma unei funcții E de energie Hopfield, atunci există o rețea Hopfield ale cărei puncte de echilibru reprezintă soluții la problema de optimizare cu sau fără constrângeri. Minimizarea funcției de energie Hopfield minimizează și funcția obiectiv, dar satisface și constrângerile, deoarece constrângerile sunt „încorporate” în ponderile sinaptice ale rețelei. Deși cea mai bună metodă de includere a constrângerilor de optimizare în ponderile sinaptice rămâne o sarcină provocatoare, multe probleme dificile de optimizare cu constrângeri în diferite discipline au fost convertite la funcția de energie Hopfield: sisteme de memorie asociativă, conversie analog-digitală, probleme de alocări de taskuri, alocare pătratică și alte probleme NP-complete asociate, problema alocării canalelor în rețelele fără fir, problema rutării într-o rețela mobilă ad-hoc, restaurarea imaginilor, identificarea sistemelor, optimizarea combinatorică etc. Cu toate acestea, deși este posibilă convertirea problemelor de optimizare dificile la funcții energetice Hopfield, aceasta nu garantează convergența către o soluție (nici măcar tot în timp exponențial).

Inițializare și rulare

Inițializarea rețelelor Hopfield se face prin setarea valorilor unităților la modelul de pornire dorit. După aceea se efectuează actualizări repetate până când rețeaua converge către un șablon atractor. Convergența este în general asigurată, deoarece Hopfield a demonstrat că atractorii acestui sistem dinamic neliniar sunt stabili, nu periodici sau haotici ca în alte sisteme. Prin urmare, în contextul rețelelor Hopfield, un șablon de atracție este o stare finală stabilă, un șablon care nu-și poate schimba nicio valoare în cursul actualizării.

Antrenarea

Antrenarea unei rețele Hopfield presupune scăderea energiei stărilor pe care rețeaua ar trebui să le „memoreze”. Aceasta permite rețelei să servească drept sistem de memorie adresabilă prin conținut, adică rețeaua va converge către o stare „memorată” dacă i se dă doar o parte din stare. Rețeaua poate fi folosită pentru a reveni de la o intrare distorsionată la starea antrenată care este cea mai asemănătoare cu acea intrare. Aceasta se numește memorie asociativă deoarece recuperează amintirile pe baza asemănării. De exemplu, dacă antrenăm o rețea Hopfield cu cinci unități astfel încât starea (1, −1, 1, −1, 1) să fie un minim de energie și dăm rețelei starea (1, −1, −1, −1, 1), ea va converge către (1, −1, 1, −1, 1). Astfel, rețeaua este antrenată corespunzător atunci când energia stărilor pe care rețeaua ar trebui să le memoreze sunt minime locale. Spre deosebire de antrenarea cu Perceptron, pragurile neuronilor nu sunt niciodată actualizate.

Reguli de învățare

Există diferite reguli de învățare care pot fi folosite pentru a stoca informații în memoria rețelei Hopfield. Este de dorit ca o regulă de învățare să aibă ambele dintre următoarele două proprietăți:

• Locală: o regulă de învățare este locală dacă fiecare pondere este actualizată folosind informațiile disponibile neuronilor de ambele părți ale conexiunii care este asociată cu acea pondere particulară.
• Incrementală: noi șabloane pot fi învățate fără a utiliza informații din vechile șabloane care au fost folosite și pentru antrenament. Adică, atunci când un model nou este folosit pentru antrenament, noile valori pentru ponderi depind doar de valorile vechi și de noul model.

Aceste proprietăți sunt de dorit, deoarece o regulă de învățare care le satisface este mai plauzibilă din punct de vedere biologic. De exemplu, deoarece creierul uman învață mereu concepte noi, se poate argumenta că învățarea umană este incrementală. Un sistem de învățare care nu era incremental ar fi, în general, antrenat o singură dată, cu un lot uriaș de date de instruire.

Regula de învățare hebbiană pentru rețelele Hopfield

Teoria Hebbiană a fost introdusă de Donald Hebb în 1949 pentru a explica „învățarea asociativă”, în care activarea simultană a celulelor neuronale duce la creșteri pronunțate ale forței sinaptice între acele celule. Este adesea rezumată prin fraza: „Neuronii care se declanșează împreună se conectează împreună. Neuronii care se declanșează desincronizat nu se pot lega”.

Regula hebbiană este atât locală, cât și incrementală. Pentru rețelele Hopfield, este implementată în următoarea manieră atunci când se învață $n$ șabloane binare:

$w_{ij}={\frac {1}{n}}\sum _{\mu =1}^{n}\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$

unde $\epsilon _{i}^{\mu }$ reprezintă bitul i din șablonul $\mu$ .

Dacă biții corespunzători neuronilor i și j sunt egali în șablonul $\mu$, apoi produsul $\epsilon _{i}^{\mu }\epsilon _{j}^{\mu }$ va fi pozitiv. Aceasta ar avea, la rândul său, un efect pozitiv asupra ponderii $w_{ij}$ iar valorile lui i și j vor tinde să devină egale. Dacă biții corespunzători neuronilor i și j sunt diferiți, atunci se întâmplă opusul.

Regula de învățare Storkey

Această regulă a fost introdusă de Amos Storkey în 1997 și este atât locală, cât și incrementală. Storkey a arătat și că o rețea Hopfield antrenată folosind această regulă are o capacitate mai mare decât o rețea corespunzătoare antrenată folosind regula hebbiană. Se spune că matricea de ponderi a unei rețele neurale atractoare urmează regula de învățare Storkey dacă respectă condiția:

$w_{ij}^{\nu }=w_{ij}^{\nu -1}+{\frac {1}{n}}\epsilon _{i}^{\nu }\epsilon _{j}^{\nu }-{\frac {1}{n}}\epsilon _{i}^{\nu }h_{ji}^{\nu }-{\frac {1}{n}}\epsilon _{j}^{\nu }h_{ij}^{\nu }$

unde $h_{ij}^{\nu }=\sum _{k=1~:~i\neq k\neq j}^{n}w_{ik}^{\nu -1}\epsilon _{k}^{\nu }$ este o formă de corp local la neuronul i.

Această regulă de învățare este locală, deoarece sinapsele iau în considerare doar neuronii de la capetele lor. Regula utilizează mai multă informație din șabloane și ponderi decât regula hebbiană generalizată, datorită efectului corpului local.

Șabloane false

Șabloanele pe care rețeaua le folosește pentru antrenament (numite stări de recuperare) devin atractori ai sistemului. Actualizările repetate ar duce în cele din urmă la convergența către una dintre stările de recuperare. Cu toate acestea, uneori rețeaua va converge către șabloane false (diferite de șabloanele de antrenare). De fapt, numărul de șabloane false poate fi exponențial în raport cu numărul de șabloane stocate, chiar dacă șabloanele stocate sunt ortogonale. Energia din aceste șabloane false este și ea un minim local. Pentru fiecare șablon stocat x, negația -x este și ea un șablon fals.

O stare falsă poate fi și o combinație liniară a unui număr impar de stări de recuperare. De exemplu, când se folosesc 3 șabloane $\mu _{1},\mu _{2},\mu _{3}$, se poate obține următoarea stare falsă:

$\epsilon _{i}^{\rm {mix}}=\pm \operatorname {sgn}(\pm \epsilon _{i}^{\mu _{1}}\pm \epsilon _{i}^{\mu _{2}}\pm \epsilon _{i}^{\mu _{3}})$

Nu pot exista șabloane false cu un număr par de stări, deoarece ele ar putea avea suma zero.

Capacitate

Capacitatea rețelei în modelul de rețea Hopfield este determinată de cantitățile de neuroni și conexiunile dintr-o rețea dată. Prin urmare, numărul de amintiri care pot fi stocate depinde de neuroni și conexiuni. Mai mult, s-a demonstrat că precizia de reamintire între vectori și noduri a fost de 0,138 (aproximativ 138 de vectori pot fi recuperați din stocare pentru fiecare 1000 de noduri) (Hertz și colab., 1991). Prin urmare, este evident că vor apărea multe greșeli dacă se încearcă stocarea unui număr mare de vectori. Atunci când modelul Hopfield nu reamintește modelul corect, este posibil să fi avut loc o intruziune, deoarece elementele legate semantic tind să deruteze individul și are loc reamintirea modelului greșit. Prin urmare, se arată că modelul de rețea Hopfield confundă un articol stocat cu un altul la recuperare. Amintirile perfecte și capacitatea mare, >0,14, pot fi încărcate în rețea prin metoda de învățare Storkey. Ulterior, modelele inspirate de rețeaua Hopfield au fost concepute pentru a crește limita de stocare și pentru a reduce rata de eroare de recuperare, unele fiind capabile de învățare într-un singur pas.

Rețelele Hopfield sunt un model pentru învățarea asociativă și procesul uman al amintirilor. Ele țin cont de memoria asociativă prin încorporarea vectorilor de memorie. Vectorii de memorie pot fi utilizați ușor, iar acest lucru ar declanșa regăsirea celui mai asemănător vector din rețea. Totuși, din cauza acestui proces pot apărea intruziuni. În memoria asociativă pentru rețelele Hopfield, există două tipuri de operații: auto-asociere și hetero-asociere. Prima fiind atunci când un vector este asociat cu el însuși, iar ultima fiind atunci când doi vectori diferiți sunt asociați la stocare. Mai mult, ambele tipuri de operații pot fi stocate într-o singură matrice de memorie, dar numai dacă acea matrice de reprezentare dată nu este una sau alta dintre operații, ci mai degrabă combinația (auto-asociativă și hetero-asociativă) a celor două.

Modelul rețelelor Hopfield utilizează aceeași regulă de învățare ca și regula de învățare a lui Hebb (1949), care a caracterizat învățarea ca fiind un rezultat al întăririi ponderilor în cazurile de activitate neurală.

Rizzuto și Kahana (2001) au reușit să demonstreze că modelul rețelei neurale poate explica repetarea acurateții rememorării prin încorporarea unui algoritm de învățare probabilistică. În timpul procesului de recuperare, nu are loc nicio învățare. Ca urmare, ponderile rețelei rămân fixe, arătând că modelul este capabil să treacă de la o etapă de învățare la una de reamintire. Adăugând deriva contextuală, ei au reușit să prezinte uitarea rapidă care are loc într-un model Hopfield în timpul unei sarcini de reamintire. Întreaga rețea contribuie la schimbarea activării oricărui singur nod.

Regula dinamică a lui McCulloch și Pitts (1943), care descrie comportamentul neuronilor, face acest lucru într-un mod care arată modul în care activările neuronilor multipli se mapează cu activarea ratei de declanșare a unui neuron nou și cum ponderile neuronilor întăresc conexiunile sinaptice dintre noul neuron activat și cei care l-au activat. Hopfield ar folosi regula dinamică a lui McCulloch-Pitts pentru a arăta cum este posibilă reamintirea în rețeaua Hopfield. Hopfield face însă acest lucru într-un mod repetitiv. Hopfield folosește o funcție de activare neliniară, în loc de una liniară. Prin urmare, aceasta creează regula dinamică Hopfield și cu aceasta, Hopfield a putut să arate că, cu funcția de activare neliniară, regula dinamică va modifica întotdeauna valorile vectorului de stare în direcția unuia dintre șabloanele stocate.