1. 乘子法

1.1 外罚函数法

下面感谢和借用中山大学谢亮教授的一个最优化理论课程进行说明，链接在文末~


外罚函数主要思想：引入一个罚函数项，当其在可行域范围内时为0，即不影响，但如果超出可行域，则罚函数会很大，使得其倾向于往可行域方向前进。
缺点：如果一开始起点不在可行域内，最终的解也是不在可行域范围内的，这在实际情况不允许。另外，存在的问题就是罚参数$\sigma$的取值问题，它需要取的很大，但是这样会导致增广目标函数$P(x,{\sigma }_k)$趋于病态，由此，乘子法被提出解决该问题。

1.2 乘子法

2.ADMM乘子法

2.1 定义举例：

考虑以下问题：

其对应的增强拉格朗日函数（augmented Lagrangian）为：

重点来了，交替求解原始变量$x_1,x2$和对偶变量$\nu$.

要注意的是对偶变量要在原始变量更新后更新。

2.2 具体例子和求解代码

下面感谢和参考一篇博客的例子和代码，链接放在文末~

2.2.1 具体例子

2.2.2 Matlab求解代码

其中关于 x 和 y的更新过程需要结合具体的下降类算法，如梯度下降算法等，这里采用matlab自带的quadprog算法，而对于不等式的处理，用到了内点法。

% 求解下面的最小化问题：
% min_{x,y} (x-1)^2 + (y-2)^2
% s.t. 0 \leq x \leq 3
%      1 \leq y \leq 4
%      2x + 3y = 5

% augumented lagrangian function:
% L_{rho}(x,y,lambda) = (x-1)^2 + (y-2)^2 + lambda*(2x + 3y -5) + rho/2(2x + 3y -5)^2
% solve x  min f(x) = (x-1)^2 +  lambda*(2x + 3y -5) + rho/2(2x + 3y -5)^2,s.t. 0<= x <=3
% solve y  min f(y) = (y-2)^2 + lambda*(2x + 3y -5) + rho/2(2x + 3y -5)^2, s.t. 1<= y <=4
% sovle lambda :update lambda = lambda + rho(2x + 3y -5)
% rho ,we set rho = min(rho_max,beta*rho) beta is a constant ,we set to 1.1,rho0 = 0.5;

% x0,y0 都为1是一个可行解。
param.x0 = 1;
param.y0 = 1;
param.lambda = 1;
param.maxIter = 30;
param.beta = 1.1; % a constant
param.rho = 0.5;
param.rhomax = 2000;

[Hx,Fx] = getHession_F('f1');
[Hy,Fy] = getHession_F('f2');

param.Hx = Hx;
param.Fx = Fx;
param.Hy = Hy;
param.Fy = Fy;

% solve problem using admm algrithm
[x,y] = solve_admm(param);

% disp minimum
disp(['[x,y]:' num2str(x) ',' num2str(y)]);

function [H,F] = getHession_F(fn)
% fn : function name
% H :hessian matrix
% F :一次项系数
syms x y lambda rho;
if strcmp(fn,'f1')
    f = (x-1)^2 + lambda*(2*x + 3*y -5) + rho/2*(2*x + 3*y -5)^2;
    H = hessian(f,x);
    F = (2*lambda + (rho*(12*y - 20))/2 - 2);
    %%%%%%%%%%%%%%%%%%%%%%%%%%%%
    fcol = collect(f,{'x'});
    disp(fcol);
elseif strcmp(fn,'f2')
    f = (y-2)^2 + lambda*(2*x + 3*y -5) + rho/2*(2*x + 3*y -5)^2;
    H = hessian(f,y);
    F = (3*lambda + (rho*(12*x - 30))/2 - 4);
    fcol = collect(f,{'y'});
    disp(fcol);
end
% fcol = collect(f,{'x'});
% fcol = collect(f,{'y'});
% disp(fcol);
end

function [x,y] = solve_admm(param)

x = param.x0;
y = param.y0;
lambda = param.lambda;
beta = param.beta;
rho = param.rho;
rhomax = param.rhomax;
Hx = param.Hx;
Fx = param.Fx;
Hy = param.Hy;
Fy = param.Fy;
%%
options = optimoptions('quadprog','Algorithm','interior-point-convex');
xlb = 0;
xub = 3;
ylb = 1;
yub = 4;
maxIter = param.maxIter;
i = 1;
% for plot
funval = zeros(maxIter-1,1);
iterNum = zeros(maxIter-1,1);
while 1
    if i == maxIter
        break;
    end
    % solve x
    Hxx = eval(Hx);
    Fxx = eval(Fx);
    x = quadprog(Hxx,Fxx,[],[],[],[],xlb,xub,[],options);% descend
    % solve y
    Hyy = eval(Hy);
    Fyy = eval(Fy);
    y = quadprog(Hyy,Fyy,[],[],[],[],ylb,yub,[],options);%descend
    % update lambda
    lambda = lambda + rho*(2*x + 3*y -5); % ascend
    rho = min(rhomax,beta*rho);
    funval(i) = compute_fval(x,y);
    iterNum(i) = i;
    i = i + 1;
end

plot(iterNum,funval,'-r');

end

function  fval  = compute_fval(x,y)
fval = (x-1)^2 + (y-2)^2;
end

2.2.3 代码结果

[x,y]:0.53849,1.3077

2.3 ADMM的缩放形式

为了进一步简化增强拉格朗日函数，因而有了下面的形式
$$L_{\rho }(x_1,x_2,w)=f(x_1)+f(x_2)+\frac{\rho }{2}\Vert A{x}_1+B{x}_2-c+w{\Vert }_2^2-\frac{\rho }{2}\Vert w{\Vert }_2^2$$
其中$w=\frac{\nu }{\rho }$，具体推理比较简单，就不展开啦，可以参考文末链接4，里面有详细推理过程。

2.4 分布式优化算法

可以从上面2.1看到其实在目标函数中，$x_1$和$x_2$是解耦合的，可以单独用$f(x_1$和$f(x_2)$来表示，但是在更多的情况下，目标函数中的各个决策变量是耦合的，那么怎么将各个变量解耦合，从而利用ADMM算法作为一种分布式优化算法的一个优势呢，可以利用下面的方案。

Reference

1.https://www.bilibili.com/video/BV1CF411F7gN/?spm_id_from=333.999.0.0&vd_source=d813804d2277848d9adad3f41a2903af（外罚函数方法、乘子法）
2.KKT Conditions, First-Order and Second-Order Optimization, and Distributed Optimization: Tutorial and Survey (ADMM)
3.https://blog.csdn.net/raby_gyl/article/details/58108415( ADMM具体例子和求解代码）
4.https://blog.csdn.net/weixin_44655342/article/details/121899501（ADMM缩放形式）