Multiplicatorul Lagrange

Acest articol se referă la Multiplicatorul Lagrange. Pentru alte sensuri, vedeți Lagrange (dezambiguizare).

În probleme de optimizare, multiplicatorii Lagrange, denumiți astfel după Joseph Louis Lagrange, sunt o metodă de lucru cu restricții. Se caută punctele de extrem ale unei funcții cu mai multe variabile și una sau mai multe restricții. Această metodă reduce o problemă cu n variabile și k restricții la o problemă rezolvabilă în n + k variabile, fără restricții. Această metodă introduce o nouă variabilă scalară, necunoscută, multiplicatorul Lagrange, pentru fiecare restricție și formează o combinație liniară cu multiplicatorii drept coeficienți.

IntroducereModificare

Considerăm cazul bidimensional. Presupunem că avem o funcție, f(x,y), pe care trebuie să o maximizăm cu condiția ca

 

unde c este o constantă. Conturul lui f este dat de

 

pentru diferite valori ale lui  , iar conturul lui   este dat de  . Presupunem că ne mișcăm de-a lungul conturului  . Din moment ce, în general, contururile lui   și   vor fi distincte, traversând   conturul va intersecta și va traversa mai multe contururi ale lui  . În general, mișcându-ne de-a lungul liniei   putem crește sau descrește valoarea lui  . Doar dacă  , iar conturul pe care-l urmărim, atinge tangențial, dar nu traversează un contur al lui  , nu creștem sau descreștem valoarea lui  . Acest lucru apare la restricțiile punctelor de extrem locale și la restricțiile punctelor de inflexiune ale lui  .

Un exemplu familiar poate fi obținut din hărțile meteorologice care au contururi pentru temperatură și presiune: restricțiile punctelor de extrem vor apărea acolo unde prin suprapunerea hărților apar linii care se ating, izoplete.

Geometric, condiția de tangență se traduce prin afirmația că unghiurile lui   și ale lui   sunt vectori paraleli în punctul de maxim. Introducând un scalar necunoscut, λ, obținem

 

for λ ≠ 0.

Odată ce valorile lui λ sunt determinate, ne întoarcem la numărul original de variabile și astfel putem continua pentru a găsi punctele de extrem ale noii funcții fără restricții

  =  

într-un mod tradițional. Astfel,   pentru toți   satisfac condiția, deoarece   este egal cu zero în restricție, însă punctele de extrem ale lui   se află toate în  .

Metoda multiplicatorilor LagrangeModificare

Fie f (x) o funcție definită ca {xRn}. Definim k restricțiile gk (x) = 0, și vedem dacă restricțiile sunt într-adevăr satisfăcute:

 

Căutăm punctul de extrem al lui h:

 

care este echivalent cu:

 .

Determinăm multiplicatorii necunoscuți λk din restricțiile noastre și obținem astfel un punct de extrem pentru h întărind restricțiile ( gk=0), ceea ce înseamnă că f a fost extremizat.

Metoda multiplicatorilor Lagrange a fost generalizată prin teorema Kuhn-Tucker.

ExempleModificare

Presupunem că vrem să aflăm distribuția probabilistică discretă, cu entropie informațională maximă. Atunci:

 .

Desigur, suma acestor probabilități este egală cu 1, deci restricția noastră este:

 .

Putem folosi multiplicatorii Lagrange pentru a găsi punctul entropiei maxime (depinzând de probabilități). Pentru toți i de la 1 la n, se cere ca:

 ,

și obținem:

 

Făcând diferențierea acestor ecuații n, obținem:

 .

Asta arată că toți pi sunt egali (deoarece ei depind doar de λ ). Folosind restricția ∑k pk = 1, găsim

 .

Din aceasta rezultă că distribuția uniformă are cea mai mare entropie.

Pentru un alt exemplu, vezi derivarea funcției de partiție.

Legături externeModificare