HOME 首頁
SERVICE 服務(wù)產(chǎn)品
XINMEITI 新媒體代運(yùn)營
CASE 服務(wù)案例
NEWS 熱點(diǎn)資訊
ABOUT 關(guān)于我們
CONTACT 聯(lián)系我們
創(chuàng)意嶺
讓品牌有溫度、有情感
專注品牌策劃15年

    kkt二階最優(yōu)條件(二階最優(yōu)化條件)

    發(fā)布時(shí)間:2023-04-07 12:28:11     稿源: 創(chuàng)意嶺    閱讀: 91        

    大家好!今天讓創(chuàng)意嶺的小編來大家介紹下關(guān)于kkt二階最優(yōu)條件的問題,以下是小編對(duì)此問題的歸納整理,讓我們一起來看看吧。

    開始之前先推薦一個(gè)非常厲害的Ai人工智能工具,一鍵生成原創(chuàng)文章、方案、文案、工作計(jì)劃、工作報(bào)告、論文、代碼、作文、做題和對(duì)話答疑等等

    只需要輸入關(guān)鍵詞,就能返回你想要的內(nèi)容,越精準(zhǔn),寫出的就越詳細(xì),有微信小程序端、在線網(wǎng)頁版、PC客戶端

    官網(wǎng):https://ai.de1919.com

    創(chuàng)意嶺作為行業(yè)內(nèi)優(yōu)秀的企業(yè),服務(wù)客戶遍布全球各地,如需了解SEO相關(guān)業(yè)務(wù)請(qǐng)撥打電話175-8598-2043,或添加微信:1454722008

    本文目錄:

    kkt二階最優(yōu)條件(二階最優(yōu)化條件)

    一、請(qǐng)教關(guān)于拉格朗日乘子法的問題 langrange multiplier

    在求取有約束條件的優(yōu)化問題時(shí),拉格朗日乘子法(Lagrange Multiplier) 和KKT條件是非常重要的兩個(gè)求取方法,對(duì)于等式約束的優(yōu)化問題,可以應(yīng)用拉格朗日乘子法去求取最優(yōu)值;如果含有不等式約束,可以應(yīng)用KKT條件去求取。當(dāng)然,這兩個(gè)方法求得的結(jié)果只是必要條件,只有當(dāng)是凸函數(shù)的情況下,才能保證是充分必要條件。KKT條件是拉格朗日乘子法的泛化。之前學(xué)習(xí)的時(shí)候,只知道直接應(yīng)用兩個(gè)方法,但是卻不知道為什么拉格朗日乘子法(Lagrange Multiplier) 和KKT條件能夠起作用,為什么要這樣去求取最優(yōu)值呢?

    本文將首先把什么是拉格朗日乘子法(Lagrange Multiplier) 和KKT條件敘述一下;然后開始分別談?wù)劄槭裁匆@樣求最優(yōu)值。

    一. 拉格朗日乘子法(Lagrange Multiplier) 和KKT條件

    通常我們需要求解的最優(yōu)化問題有如下幾類:

    (i) 無約束優(yōu)化問題,可以寫為:

    min f(x);

    (ii) 有等式約束的優(yōu)化問題,可以寫為:

    min f(x),

    s.t. h_i(x) = 0; i =1, ..., n

    (iii) 有不等式約束的優(yōu)化問題,可以寫為:

    min f(x),

    s.t. g_i(x) <= 0; i =1, ..., n

    h_j(x) = 0; j =1, ..., m

    對(duì)于第(i)類的優(yōu)化問題,常常使用的方法就是Fermat定理,即使用求取f(x)的導(dǎo)數(shù),然后令其為零,可以求得候選最優(yōu)值,再在這些候選值中驗(yàn)證;如果是凸函數(shù),可以保證是最優(yōu)解。

    對(duì)于第(ii)類的優(yōu)化問題,常常使用的方法就是拉格朗日乘子法(Lagrange Multiplier) ,即把等式約束h_i(x)用一個(gè)系數(shù)與f(x)寫為一個(gè)式子,稱為拉格朗日函數(shù),而系數(shù)稱為拉格朗日乘子。通過拉格朗日函數(shù)對(duì)各個(gè)變量求導(dǎo),令其為零,可以求得候選值集合,然后驗(yàn)證求得最優(yōu)值。

    對(duì)于第(iii)類的優(yōu)化問題,常常使用的方法就是KKT條件。同樣地,我們把所有的等式、不等式約束與f(x)寫為一個(gè)式子,也叫拉格朗日函數(shù),系數(shù)也稱拉格朗日乘子,通過一些條件,可以求出最優(yōu)值的必要條件,這個(gè)條件稱為KKT條件。

    (a) 拉格朗日乘子法(Lagrange Multiplier)

    對(duì)于等式約束,我們可以通過一個(gè)拉格朗日系數(shù)a 把等式約束和目標(biāo)函數(shù)組合成為一個(gè)式子L(a, x) = f(x) + a*h(x), 這里把a(bǔ)和h(x)視為向量形式,a是橫向量,h(x)為列向量,之所以這么寫,完全是因?yàn)閏sdn很難寫數(shù)學(xué)公式,只能將就了.....。

    然后求取最優(yōu)值,可以通過對(duì)L(a,x)對(duì)各個(gè)參數(shù)求導(dǎo)取零,聯(lián)立等式進(jìn)行求取,這個(gè)在高等數(shù)學(xué)里面有講,但是沒有講為什么這么做就可以,在后面,將簡要介紹其思想。

    (b) KKT條件

    對(duì)于含有不等式約束的優(yōu)化問題,如何求取最優(yōu)值呢?常用的方法是KKT條件,同樣地,把所有的不等式約束、等式約束和目標(biāo)函數(shù)全部寫為一個(gè)式子L(a, b, x)= f(x) + a*g(x)+b*h(x),KKT條件是說最優(yōu)值必須滿足以下條件:

    1. L(a, b, x)對(duì)x求導(dǎo)為零;

    2. h(x) =0;

    3. a*g(x) = 0;

    求取這三個(gè)等式之后就能得到候選最優(yōu)值。其中第三個(gè)式子非常有趣,因?yàn)間(x)<=0,如果要滿足這個(gè)等式,必須a=0或者g(x)=0. 這是SVM的很多重要性質(zhì)的來源,如支持向量的概念。

    二. 為什么拉格朗日乘子法(Lagrange Multiplier) 和KKT條件能夠得到最優(yōu)值?

    為什么要這么求能得到最優(yōu)值?先說拉格朗日乘子法,設(shè)想我們的目標(biāo)函數(shù)z = f(x), x是向量, z取不同的值,相當(dāng)于可以投影在x構(gòu)成的平面(曲面)上,即成為等高線,如下圖,目標(biāo)函數(shù)是f(x, y),這里x是標(biāo)量,虛線是等高線,現(xiàn)在假設(shè)我們的約束g(x)=0,x是向量,在x構(gòu)成的平面或者曲面上是一條曲線,假設(shè)g(x)與等高線相交,交點(diǎn)就是同時(shí)滿足等式約束條件和目標(biāo)函數(shù)的可行域的值,但肯定不是最優(yōu)值,因?yàn)橄嘟灰馕吨隙ㄟ€存在其它的等高線在該條等高線的內(nèi)部或者外部,使得新的等高線與目標(biāo)函數(shù)的交點(diǎn)的值更大或者更小,只有到等高線與目標(biāo)函數(shù)的曲線相切的時(shí)候,可能取得最優(yōu)值,如下圖所示,即等高線和目標(biāo)函數(shù)的曲線在該點(diǎn)的法向量必須有相同方向,所以最優(yōu)值必須滿足:f(x)的梯度 = a* g(x)的梯度,a是常數(shù),表示左右兩邊同向。這個(gè)等式就是L(a,x)對(duì)參數(shù)求導(dǎo)的結(jié)果。(上述描述,我不知道描述清楚沒,如果與我物理位置很近的話,直接找我,我當(dāng)面講好理解一些,注:下圖來自wiki)。

    而KKT條件是滿足強(qiáng)對(duì)偶條件的優(yōu)化問題的必要條件,可以這樣理解:我們要求min f(x), L(a, b, x) = f(x) + a*g(x) + b*h(x),a>=0,我們可以把f(x)寫為:max_{a,b} L(a,b,x),為什么呢?因?yàn)閔(x)=0, g(x)<=0,現(xiàn)在是取L(a,b,x)的最大值,a*g(x)是<=0,所以L(a,b,x)只有在a*g(x) = 0的情況下才能取得最大值,否則,就不滿足約束條件,因此max_{a,b} L(a,b,x)在滿足約束條件的情況下就是f(x),因此我們的目標(biāo)函數(shù)可以寫為 min_x max_{a,b} L(a,b,x)。如果用對(duì)偶表達(dá)式: max_{a,b} min_x L(a,b,x),由于我們的優(yōu)化是滿足強(qiáng)對(duì)偶的(強(qiáng)對(duì)偶就是說對(duì)偶式子的最優(yōu)值是等于原問題的最優(yōu)值的),所以在取得最優(yōu)值x0的條件下,它滿足 f(x0) = max_{a,b} min_x L(a,b,x) = min_x max_{a,b} L(a,b,x) =f(x0),我們來看看中間兩個(gè)式子發(fā)生了什么事情:

    f(x0) = max_{a,b} min_x L(a,b,x) = max_{a,b} min_x f(x) + a*g(x) + b*h(x) = max_{a,b} f(x0)+a*g(x0)+b*h(x0) = f(x0)

    可以看到上述加黑的地方本質(zhì)上是說 min_x f(x) + a*g(x) + b*h(x) 在x0取得了最小值,用fermat定理,即是說對(duì)于函數(shù) f(x) + a*g(x) + b*h(x),求取導(dǎo)數(shù)要等于零,即

    f(x)的梯度+a*g(x)的梯度+ b*h(x)的梯度 = 0

    這就是kkt條件中第一個(gè)條件:L(a, b, x)對(duì)x求導(dǎo)為零。

    而之前說明過,a*g(x) = 0,這時(shí)kkt條件的第3個(gè)條件,當(dāng)然已知的條件h(x)=0必須被滿足,所有上述說明,滿足強(qiáng)對(duì)偶條件的優(yōu)化問題的最優(yōu)值都必須滿足KKT條件,即上述說明的三個(gè)條件??梢园袺KT條件視為是拉格朗日乘子法的泛化。

    轉(zhuǎn)載

    二、拉格朗日乘子法和KKT條件

    拉格朗日乘子法要解決的就是有 等式 限制條件的凸優(yōu)化問題。形式如下:

    例如:

    令 導(dǎo)數(shù)為0,得到:

    求解出x, y, z即為最優(yōu)解,同時(shí)也會(huì)求出λ,但是沒什么用。

    關(guān)于拉格朗日乘子法的直觀理解網(wǎng)上已經(jīng)有很多解釋了,此處僅簡要描述。如下圖中的f和g,虛線為f的等高線,g限制條件,可以看出,f一定是在和g相切的地方取到最大(小)值,所以兩者在此處的梯度方向相同,僅相差一個(gè)比例因子(即公式中的λ)。

    注意g(x)=0是一條曲線,如果有多個(gè)限制條件則有多條曲線,此時(shí)將g(x)看做一個(gè)函數(shù),則g(x)=0是g的一個(gè)等高線,函數(shù)與等高線垂直的方向一定是增加最快的方向,即梯度方向。f和g梯度方向一樣,所以有:

    然后再外加一個(gè)所求的點(diǎn)一定在曲線g上的方程(即F(x)對(duì)λ的導(dǎo)數(shù)為0),以上公式和拉格朗日乘子法得出的公式是等價(jià)的。

    拉格朗日乘子法僅適用于等式約束條件,那如果約束條件為不等式怎么辦呢?

    答: 當(dāng)約束條件為不等式時(shí)候,結(jié)合KKT條件,依然可以用拉格朗日乘子法求解,實(shí)際上KKT條件可以把不等式約束轉(zhuǎn)化為等式約束。即,KKT條件求解的問題的形式為:

    待續(xù)。。。

    三、什么是Kuhn-Tucker conditions

    卡羅需-庫恩-塔克條件

    英文原名: Karush-Kuhn-Tucker Conditions常見別名:

    Kuhn-Tucker,KKT條件,Karush-Kuhn-Tucker最優(yōu)化條件,

    Karush-Kuhn-Tucker條件,Kuhn-Tucker最優(yōu)化條件,Kuhn-Tucker條件)是在滿 足一些有規(guī)則的條件下,一個(gè)非線性規(guī)劃(Nonlinear Programming)問題能有最優(yōu)化解法的一個(gè)必要和充分條件。這是一個(gè)廣義化拉格朗日乘數(shù)的成果。

    維基百科

    四、這題可以直接在(a,c)(c,b)上使用拉格朗日嗎?

    不可以。拉格朗日法要求有n個(gè)變量和m個(gè)約束條件,其中n > m,而(a,c)和(c,b)都只有2個(gè)變量,不符合拉格朗日法的要求。

    以上就是關(guān)于kkt二階最優(yōu)條件相關(guān)問題的回答。希望能幫到你,如有更多相關(guān)問題,您也可以聯(lián)系我們的客服進(jìn)行咨詢,客服也會(huì)為您講解更多精彩的知識(shí)和內(nèi)容。


    推薦閱讀:

    hokkien翻譯(hockey 翻譯)

    最優(yōu)化kkt條件(kkt條件例題)

    kkt二階最優(yōu)條件(二階最優(yōu)化條件)

    農(nóng)村園林式庭院設(shè)計(jì)圖(農(nóng)村園林式庭院設(shè)計(jì)圖片大全)

    幼兒園手工雪人景觀設(shè)計(jì)(幼兒園手工雪人景觀設(shè)計(jì)圖)