在科学计算和工程应用中, 反问题广泛存在, 其已经发展成为横跨数学, 物理, 医疗, 信号勘察等众多科学的一个热门研究领域^[1]. 随着科技水平的提高, 实际生活的需要促使理论研究成果与丰硕的科技创新并驾齐驱, 数学物理反问题引起了众多研究者的广泛关注与深入探究^[2]. 由于绝大多数反问题都是不适定问题, 为了得到稳定近似解必须采取正则化策略进行求解, 如变分正则化方法和迭代正则化方法^[2-5].

本文考虑如下非线性算子方程反问题

其中 $F:\mathcal{D}(F)\subset \mathcal{X}\rightarrow \mathcal{Y}$ 为非线性算子, $\mathcal{X}$ 与 $\mathcal{Y}$ 为实的 Hilbert 空间. 一般来说, 这类问题是不适定的, 即解不存在或解不唯一或解不连续依赖于右端的测量数据 $y$. 在本文中, 假设问题 (1.1) 的解总是存在且算子 $F$ 为 Fr$\acute{\rm e}$chet 可导. 在实际问题中, 右端的测量数据通常带有一定的噪声扰动误差, 记为 $y^{\delta}$, 满足^[6]

这里 $\delta>0$ 表示噪声水平.

求解问题 (1.1) 的常用方法为 Landweber 迭代正则化方法^[3,7,8], 其迭代格式为

其中 $k$ 为迭代步, 初始值 $x_0^{\delta}=x_0$, $F^{\prime}$ 为算子 $F$ 的 Fr$\acute{\rm e}$chet 导数, $*$ 为算子 $F$ 的伴随, $\alpha_k^{\delta}$ 为迭代步长. 关于步长 $\alpha_k^{\delta}$ 存在多种定义方式, 包括常数法, 最速下降法和最小误差法^[9]. 在数据存在噪声的情况下, 本文采用偏差原理作为停机准则, 即

其中 $k_*$ 为满足 (1.4) 式的最小迭代步数.

Landweber 迭代正则化方法是一种求解线性与非线性反问题的经典方法, 因其良好的稳定性且每次迭代计算复杂度低而被广泛应用. 众所周知, Landweber 迭代法收敛速度往往较慢, 极大限制其在现实问题中的广泛应用. 学术界针对其收敛速度慢的问题提出了多种加速方法, 如同伦摄动法^[10-12], 序列子空间优化法^[12,13], Kaczmarz 型方法^[11,14], 牛顿型方法^[14,15]和两点梯度法^[11,12,16]等, 在一定程度上提高了 Landweber 迭代正则化方法的适用性^[17]. 因此, 对 Landweber 迭代正则化方法的加速研究具有重要的理论意义和实际应用价值^[18]

Nesterov 加速方案最初被引入用于求解凸规划问题, 该方案在实现上效果显著, 并大幅提升了收敛速度, 其数学框架为动量法奠定了一定的理论基础^[17,19,20]. 此外, Hubmer和 Ramlau 在 Nesterov 加速技巧^[19,20]的基础上提出两点梯度法 (TPG)^[16], 并给出相应的收敛性分析. 该方法的迭代更新格式为

其中初始值 $x_0^{\delta}=x_{-1}^{\delta}=x_0$, 通过离散回溯线搜索 (DBTS) 方法求解组合参数 $ \lambda_k^{\delta}>0$ (见文献 [16]). TPG 方法通过引入前一步的迭代信息进行外推加速, 实现了对 Landweber 迭代正则化方法的加速, 但需额外计算组合参数 $\lambda_k^{\delta}$, 增加了计算和空间复杂度.

动量法最初被用于加速梯度下降法, 在迭代算法中加入动量项, 可使得算法在迭代过程中跳出局部最优点, 快速向全局最优点靠近, 提高收敛速度^[21,22]. 该方法的主要思想是利用累积动量近似当前迭代步的下降方向, 每次迭代的梯度可看作加速度^[22]. 张艳等^[22]将动量法与 Landweber 迭代正则化方法结合, 充分利用历史梯度信息对 Landweber 迭代正则化方法进行加速, 通过数值实验验证了其有效性. Sutskever 等^[23]将动量法运用到深度学习中验证了其有效性并广泛推广了动量法的应用. Kingma^[24] 将动量法与自适应学习率结合提出了 Adam 算法, 该算法兼顾了动量的加速效果与自适应学习率的稳定性, 成为了使用最广泛的优化方法之一.

重球法 (HB) 通过添加动量项扩展了梯度下降法, 该动量项整合了当前迭代信息与前一步迭代信息之间的差异, 从而引导下一步迭代向解方向移动^[25,26]. HB 算法不仅需要调整其动量参数, 还需优化步长, 这使得算法运行更加复杂^[26]. 2024 年, Jin 等^[27]提出了自适应重球法, 其迭代格式为

该方法中迭代步长 $\alpha_k^{\delta}$ 和动量系数 $\beta_k^{\delta}$ 具有明确的计算公式, 无需使用回溯搜索策略求解该参数, 进而节省了计算时间.

本文基于两点梯度法, 自适应重球法及动量法的思想, 考虑当前步迭代信息和前一步迭代信息对迭代解进行修正, 在下降方向引入动量项, 利用所有历史梯度信息对当前梯度进行修正, 从而得到自适应动量加速两点梯度法 (ATPGM), 迭代格式为

其中 $s_k^{\delta}$ 为动量项, $\beta_k^{\delta}\in [0,1)$ 为动量系数因子, $\lambda_k^{\delta}\in [0,1)$ 为组合参数, $\alpha_k^{\delta}$ 为步长. 该方法首先保留了 TPG 方法的两点信息修正; 其次引入动量项 $s_k^{\delta}$ 累积历史梯度, 实现加速; 最后通过显示公式自适应计算动量系数 $\beta_k^{\delta}$ 和步长 $\alpha_k^{\delta}$, 避免人工调参和回溯搜索, 兼顾了效率与稳定性.

本文的结构如下: 第 2 部分将介绍 ATPGM 方法的理论基础和算法实现; 第 3 部分将通过数值实验验证该方法的数值表现; 最后, 第 4 部分将总结研究成果.

利用 ATPGM 迭代法求解问题 (1.1) 以获得稳定近似解, 在进行收敛性分析时, 需要以下假设.

假设 2.1 在问题 (1.1) 中, 假设非线性算子 $F$ 在 $x_0$ 的邻域 $B_\rho(x_0)$ 内 Fr$\acute{\rm e}$chet 导数存在, 且满足局部切锥条件

其中 $\eta\in(0,\frac{1}{2}), x, \bar{x}\in B_{4 \rho}(x_0)\subset D(F)$, $B_\rho(x_0)$ 表示以 $x_0$ 为圆心, $\rho$ 为半径的闭球.

假设 2.2 步长满足

为了分析简化, 引入符号: $r_k^{\delta}:=F(z_k^{\delta})-y^{\delta}, g_k^{\delta}:=F^{\prime}(z_k^{\delta})^*r_k^{\delta}$. 由假设 2.1 和假设 2.2, 可以证明如下命题^[6].

命题 2.1 步假设 2.1 和假设 2.2 成立, 且 $F(x)=y$ 有一个解 $x_*\in B_{\rho}(x_0)=B_{\rho}(x_{-1})$. 设 $x_{k}^{\delta},x_{k-1}^{\delta}\in B_{\rho}(x_*)$,

有 $\tau>2\frac{1+\eta}{1-2\eta}$,设

且

则有

证 因为 $x_{k}^{\delta},x_{k-1}^{\delta}\in B_{\rho}(x_*),$ 使用三角不等式和 $x_{*}^{\delta}\in B_{\rho}(x_0),$ 得到 $x_{k}^{\delta},x_{k-1}^{\delta}\in B_{2\rho}(x_0),$ 结合 $\lambda_k^{\delta}< 1$, 有

故 $z_k^{\delta}\in B_{4\rho}(x_0)$. 利用 (1.2) 式, (2.1) 式, (2.3) 式, (2.5) 式, 得到

利用希尔伯特空间中的极化恒等式, 有

从而

为了获得一种收敛的方法, 需要找到合适的 $\alpha_k^{\delta}$ 和 $\beta_k^{\delta}$ 让 (2.8) 式的右端足够小. 当假设 2.2 成立时, 有 $(\alpha_k^{\delta})^2||g_k^{\delta}||^2-\alpha_k^{\delta}||r_k^{\delta}||^2 \le 0$. 由此可以选择 $\alpha_k^{\delta}$ 为

其中 $\mu_0,\mu_1$ 是预先设定的两个正实数. 设定 $\mu_0\in (0,1]$ 且引入 $\mu_1$ 是为了防止步长过大以增强算法稳定性. 假设 (2.9) 式为在区间 $[\mu_1]$ 内使得 (2.8) 式右端取得最小值的 $\alpha_k^{\delta}$. 将 (2.9) 式中的 $\alpha_k^{\delta}$ 带入 (2.8) 式中有

下面考虑 $\beta_k^{\delta}$ 的计算. 给定 $\bar{\beta}\in (0,1)$, 在 $[\bar{\beta}]$ 范围内对 (2.10) 式的右边进行最小化, 当 $\|s_k^{\delta}\|\neq 0$ 时, 我们得到

$$\beta_{k}^{\delta}=\min\Big\{\max\Big\{0,\frac{\alpha_k^{\delta} \langle g_k^{\delta},s_{k}^{\delta} \rangle -\langle s_{k}^{\delta},z_k^{\delta}-x_* \rangle}{\|s_{k}^{\delta}\|^2}\Big\},\bar{\beta}\Big\}.$$

显然该计算表达式中涉及到了未知解 $x_*$, 在实际问题中无法直接计算 $\beta_{k}^{\delta}$, 因此需要对 (2.11) 式进行估计近似. 设

当 $\gamma_0^{\delta}=0$ 且 $k\ge 1$ 时, 假设 $z_{k-1}^{\delta}\in B_{4\rho}(x_0)$, 根据假设 2.1 及 (1.7) 式的第二个方程, 有

记

因此选择 (2.13) 式的 $\tilde{\gamma}_{k}^{\delta}$ 作为 $\gamma_k^{\delta}$ 的近似.

为了收敛性分析, 假设 $x^{\dagger}$ 为 $F(x)=y$ 的最小范数解, 且初始点 $x_0$ 满足

$$ x^{\dagger}-x_0\in \mathcal{N}(F^{\prime}(x^{\dagger}))^{\perp}.$$

采用关于 $z_k^{\delta}$ 的偏差原理替代关于 $x_k^{\delta}$ 的偏差原理^[28]. 记满足不等式 (2.14) 的最小整数为 $k_*=k_*(\delta,y^{\delta})$.

其中 $z_{k_*}^{\delta}$ 为 $x^{\dagger}$ 的近似. 因此, 得到如下算法, 称该方法为自适应动量加速两点梯度法.

在算法 1 中,使用 (2.14) 式作为停机准则 (或偏差原理), 即迭代将在 $k_*$ 步之后停止. 由归纳假设原理, 容易证明在算法 1 的迭代过程中对于所有 $0\le k\le k_*$, 有 $\gamma_{k+1}^{\delta}\le \tilde{\gamma}_{k+1}^{\delta}$.

假设存在 $l<k_*$, 对于 $\forall 0 \le k \le l$, 根据 (2.10) 式以及 $\beta_l^{\delta}\ge 0$ 有

记 $h_l(t):=(t)^2\|s_{l}^{\delta}\|^2-2\alpha_l^{\delta}t\langle g_l^{\delta}, s_{l}^{\delta} \rangle +2t\tilde{\gamma}_l^{\delta}.$$\beta_{l}^{\delta}$ 是函数 $t\rightarrow h_l(t)$ 在 $[\bar{\beta}]$ 上的最小值, 则有

对于 $\forall l< k_*$, 只要不满足偏差原理式 (2.14), 期望 $x_{l+1}^{\delta}$ 比 $x_l^{\delta}$ 更接近 $x_*$. 因此, 根据 (2.15) 式, 使用以下耦合条件

这对所有 $0\le l<k_*$ 成立, 其中 $k_*$ 由 (2.14) 式确定, $\mu$ 是一个大于 1 的常数. 基于上述条件, 有如下命题^[16], 利用归纳假设法推导 $\Delta_{l+1}\le 0$.

命题 2.2 假设 2.1 和假设 2.2 成立, 且方程 $F(x) = y$ 在 $B_\rho(x_0)=B_\rho(x_{-1})$ 邻域内有解 $x_*$. $k_*$ 是满足 (2.14) 式的最小迭代步. 假设 (2.16) 式对所有 $0\le l<k_*$ 成立. 那么

$$\|x_{l+1}^{\delta}-x_*\|\le \|x_l^{\delta}-x_*\|, \forall -1\le l<k_*.$$

此外, 对任意的 $ x_l^{\delta}\in B_\rho(x_*)\subset B_{2\rho}(x_0),-1\le l<k_*$ 有

注 2.1$\lambda_0^{\delta}=0, \lambda_l^{\delta}\ge 0,x_0^{\delta}=x_{-1}^{\delta}=x_0.$

下面使用数学归纳法去证明.

证 由 (2.15) 式可知, 当 $l = 0$ 时, 根据 (2.16) 式, 有

由此有 $x_1^{\delta}\in B_\rho (x_*)$. 假设 $\Delta_l^{\delta}\le 0$ 成立, 接下来证明 $\Delta_{l+1}^{\delta}\le 0$ 也成立. 同理

由此有 $x_{l+1}^{\delta}\in B_\rho(x_*)\subset B_{2\rho}(x_0)$, 从而完成归纳. 此外, 由 (2.19) 式可得

则

得出结论

由 (2.17) 式, 有

$$k_*\le (\min\limits_{0\le k \le l< k_*}{\alpha_k^{\delta}})^{-1}\frac{||x_0^{\delta}-x_*||^2}{\bar{\mu}c_0(\tau \delta)^2}.$$

在精确数据 $y^{\delta}=y$ ($\delta=0$) 下, (2.17) 式意味着 $k_*=\infty$ 时, 有

该结论仅在 $F(z_k)\neq y$ ($k\in N$) 时成立, 否则求和运算会在有限步后终止. 但这并不是限制条件, 因为若存在某个 $k$ 使 $F(z_k)= y$, 说明已找到解, 迭代过程即可终止. 根据 (2.2) 式, (2.16) 式, (2.23) 式, 有

显然有

如果 $\alpha_k^{\delta}$ 有下界, 即

则

命题 2.3 设 $x_*$ 为 $F(x)=y$ 的解, $x_k$ 是 (1.) 式在真实数据下的迭代值, 此时 $\delta=0$. 假设当 $k\rightarrow \infty$ 时, $\|x_k-x_*\|\rightarrow \varepsilon, \varepsilon\ge 0$ 是一个常数. 如果当 $k\rightarrow \infty$ 时, $\lambda_k^0\|x_k-x_{k-1}\|\rightarrow 0$ 和 $\|s_{k+1}\|\rightarrow 0$, 那么有^[16]

$$ \lim\limits_{k\rightarrow \infty}\|z_k-x_*\|=\varepsilon.$$

证 使用 (1.7) 式的定义以及夹逼原则容易证明该结论. 可参考文献 [16].

对组合参数 $\lambda_k^0$ 做另外假设为

由于 $\|x_k-x_{k-1}\| \le 2\rho$, 因此 (2.28) 式成立的充分条件为

这意味着当 $k\rightarrow\infty$ 时, $\lambda_k^0\rightarrow 0$, 这个条件过于严格. 为了在 $\delta = 0$ 时也有明显的加速效果, 须使用条件 (2.28) 式而不是仅满足充分条件 (2.29) 式. 利用 (2.28) 式, 与文献 [16,定理 2.8] 和文献 [27,定理 3.5] 证明类似, 可以证明定理 2.1 中精确数据的收敛性.

定理 2.1 假设 2.1 和假设 2.2 成立且 $F(x)=y$ 有一个解 $x_*\in B_{\rho}(x_0)=B_{\rho}(x_{-1})$. 设 $k_*=k_*(0,y)=\infty$ 且假设$\forall k\in N$, 不等式 (2.6) 成立. (1.7) 式在真实数据 $y^{\delta}=y$ 下定义的迭代解 $z_k$ 收敛到 $F(x)=y$ 的一个解, 其中 $0<\bar{\beta}<1$. 如果对所有 $x\in B_{4\rho}(x^{\dagger})$, 有 $N(F^{\prime}(x^{\dagger}))\subset N(F^{\prime}(x)),$ 那么当 $k\rightarrow \infty $ 时, $z_k\rightarrow x^{\dagger}$.

证 定义 $e_k:=z_k-x_*$. 由命题 2.2 知 $\|x_k-x_*\|\rightarrow \varepsilon\ge 0,$ 利用 (2.25) 式和命题 2.3, 可以推导 $\|e_k\|$ 收敛到相同的 $\varepsilon$. 接下来证明 $\{e_k\}$ 是一个柯西列, 给定 $j\ge k,$ 选一个整数 $l$ 位于 $k$ 和 $j$ 之间, 有

则

那么有

当 $k\rightarrow \infty$ 时, 上述两个方程右侧的最后两项均收敛至 $\varepsilon^2-\varepsilon^2=0$. 接着证明当 $k\rightarrow \infty$ 时, $\langle e_l-e_k,e_l\rangle $ 和 $\langle e_l-e_j,e_l \rangle$ 也趋于 0. 首先

使用 (2.25) 式以及 $\|e_k\|\rightarrow \varepsilon$ 有

由于

$$x_k=x_0+\sum\limits_{n=0}^{k-1}\lambda_n^{0}(x_k-x_{k-1})+\sum\limits_{n=k}^{k-1}s_{n+1},$$

那么

利用定义 (1.7) 式有

利用 Cauchy-Schwarz 不等式及 $0\le \beta_n\le \bar{\beta}, \forall n\ge 0$ 从而

另外, 令

$$M_K=\sum\limits_{n=0}^{K}\sum\limits_{i=0}^n \bar{\beta}^{n-i} \alpha_i\|y-F(z_i)\|^2, \forall K\ge 0.$$

则有

对 $M_k$ 中的项进行重新排列, 结合 (2.17) 式和 $0<\bar{\beta}<1$, 有

因此, $\{M_K\}$ 是单调递增有上界的序列. 根据单调收敛定理, 该序列必然收敛. 特别地, $\{M_K\}$ 作为柯西序列, 有

$$\lim\limits_{k\rightarrow \infty}\sup\limits_{l\ge k}|M_{l-1}-M_{k-1}|=0.$$

由于

$$|M_{l-1}-M_{k-1}|=\sum\limits_{n=k}^{l-1}\sum\limits_{i=0}^n\bar{\beta}^{n-i} \alpha_i\|y-F(z_i)\|^2,$$

由 (2.36) 式有

$$ \sup\limits_{l\ge k}\Big|\sum\limits_{n=k}^{l-1}\langle s_{n+1},e_l\rangle \Big|\le 3(1+\eta)\sup\limits_{l\ge k}|M_{l-1}-M_{k-1}|\rightarrow 0.$$

考虑

$$ \sum_{n=k}^{l-1}\lambda_n^0|\langle x_n-x_{n-1},e_l \rangle| \le \sum_{n=k}^{l-1}\lambda_n^0\|x_n-x_{n-1}\|\|e_l\| \le \sum_{n=k}^{\infty}\lambda_k^0||x_n-x_{n-1}\|\|e_l\|.$$

因为 $\|e_l\|$ 有界, 又由 (2.28) 式有

$$ \lim\limits_{k\rightarrow \infty}\Big(\sum_{n=k}^{l-1}\lambda_n^0\big|\langle x_n-x_{n-1},e_l\rangle \big|\Big)=0.$$

那么当 $k\rightarrow \infty$ 时, 有 $|\langle x_l-x_k,e_l\rangle|\rightarrow 0$, 从而 $|\langle e_l-e_k,e_l\rangle|\rightarrow 0$. 同理 $|\langle e_l-e_j,e_l\rangle|\rightarrow 0$. 因此可得

$$\lim\limits_{k\rightarrow \infty}\|e_j-e_k\|=0.$$

故在 Hilbert 空间 $\mathcal{X}$ 中, $\{e_k\}$ 和 $\{z_k\}$ 都是柯西列. 此外, 由 $\|F(z_k)-y\|\rightarrow 0$, 有 $z_k$ 的极限就是 $F(x)=y$ 的解.

对所有 $x\in B_{4\rho}(x^{\dagger})$, 如果 $N(F^{\prime}(x^{\dagger}))\subset N(F^{\prime}(x))$ 成立, 通过 (1.7) 式的定义, 有

进而有

$$z_k-z_0=\sum_{n=0}^{k-1}(z_{n+1}-z_n)=\sum_{n=0}^{k-1}((1+\lambda_{n+1}^0)s_{n+1}+\lambda_{n+1}^0 \lambda_n^0(x_n-x_{n-1})).$$

显然 $(1+\lambda_{n+1}^0)s_{n+1}\in R(F^{\prime}(z_n)^*)$ 且

$$R(F^{\prime}(z_n)^*)\subset N(F^{\prime}(z_n))^{\perp}\subset N(F^{\prime}(x^{\dagger}))^{\perp}, \forall n\in N.$$

由此得出

$$\sum\limits_{n=0}^{k-1}(1+\lambda_{n+1}^0)s_{n+1}\in N(F^{\prime}(x^{\dagger}))^{\perp},$$

同时也可以得到

$$\sum\limits_{n=0}^{k-1}\lambda_{n+1}^0 \lambda_n^0(x_n-x_{n-1})\in N(F^{\prime}(x^{\dagger}))^{\perp}.$$

因此

$$ z_k-z_0\in N(F^{\prime}(x^{\dagger}))^{\perp}, \forall k\in N.$$

因为对于 $z_k$ 的极限也成立, 且这条件成立时 $x^{\dagger}$ 是唯一解. 这就得出结论 $z_k\rightarrow x^{\dagger}, k\rightarrow \infty$.

根据定理 2.1 的结论, 可以进一步推导出在相同的假设条件下, 迭代序列 $\{x_k\}$ 也收敛到 $x_*$, 也就是说 $\{x_k\}$ 的极限与 $\{z_k\}$ 的极限相同. 在定理2.1 中, 只讨论了噪声水平 $\delta=0$ 时 ATPGM 迭代法的收敛性. 那么当 $\delta\neq 0$ 时, ATPGM 迭代法使用偏差原理式 (2.14), 则可得到如下定理^[16,22].

定理 2.2 假设 2.1 和假设 2.2 成立且 $F(x)=y$ 有解 $x_*\in B_{\rho}(x_0)=B_{\rho}(x_{-1})$. 假设 (2.16) 式成立 ($\forall 0\le k<k_*$). $k_*=k_*(\delta,y^{\delta})$ 由偏差原理 (2.14) 式确定, 假设 $0\le \lambda_k^{\delta}<1$ 满足 (2.28) 式, $\alpha_k^{\delta}$ 满足 (2.9) 式及 (2.26) 式, 且 $\lambda_k^{\delta}\rightarrow \lambda_k^0( \delta\rightarrow 0)$. 由 (1.7) 式定义的迭代解 $z_{k_*}^{\delta}$ 收敛到 $F(x)=y(\delta\rightarrow 0)$ 的解. 如果对所有 $x\in B_{4\rho}(x^{\dagger}), N(F^{\prime}(x^{\dagger})) \subset N(F^{\prime}(x))$, 那么 $z_{k_*}^{\delta}\rightarrow x^{\dagger}(\delta\rightarrow 0)$.

证 设 $x_*$ 是给定真实数据 $y$ 下 $z_k$ 的极限, 当 $n\rightarrow \infty$ 时, 设 $\{\delta_n\}$ 是收敛到 $0$ 的序列. 记 $y_n:=y^{\delta_n}$ 是一噪声数据列且有 $\|y-y_n\|\le \delta_n$. 应用序对 $(\delta_n,y_n)$, 通过偏差原理式 (2.14) 确定停机指标 $k_n:=k_*(\delta_n,y_n)$.

分两种情况讨论

1. 假设 $k$ 是 $k_n$ 的有限聚点. 不失一般性, 假设 $\forall n\in N, k_n=k$. 因此, 从偏差原理的定义可知

$$\|y_n-F(z_k^{\delta_n})|\le \tau \delta.$$

当 $k$ 固定, $z_k^{\delta}$ 连续依赖于 $y^{\delta}$, 关于上述不等式取极限, 就有

$$z_k^{\delta_n}\rightarrow z_k, F(z_k^{\delta_n})\rightarrow F(z_k)=y, n\rightarrow \infty.$$

因此, 迭代会在 $z_k=x_*$ 处终止, 有 $z_{k_n}^{\delta_n}\rightarrow x_*, \delta_n\rightarrow 0;$

2. 假设 $n\rightarrow \infty$ 时, $k_n\rightarrow \infty$. 对于某个 $k$ 和 $k_n>k+1$, 命题 2.2 和 $0\le \lambda_k^{\delta}< 1$ 有

设定某个 $\varepsilon>0$, 根据命题 2.3 可找到 $k=k(\varepsilon)$ 使得 $\|x_{k}-x_*\|\le \frac{\varepsilon}{6}.$ 因此, 对于固定的 $k$, 迭代过程对数据的依赖是连续的, 有一个 $n=n(\varepsilon,k)$, 使得 $\|x_{k}^{\delta_n}-x_k\|\le \frac{\varepsilon}{6}, \forall n>n(\varepsilon,k).$ 那么选择足够大的 $n$ 满足 $k_n>k+1$, 会有

$$\|z_{k_n}^{\delta_n}-x_*\|\le 3\|x_k^{\delta}-x_*\| \le 3\|x_k^{\delta_n}-x_k\|+3\|x_k-x_*\|\le 3\frac{\varepsilon}{6}+3\frac{\varepsilon}{6}=\varepsilon.$$

所以 $z_{k_n}^{\delta_n}\rightarrow x_*$($n\rightarrow \infty$).

如果 $N(F^{\prime}(x^{\dagger}))\subset N(F^{\prime}(x)), \forall x\in B_{4\rho}(x^{\dagger})$, 此时 $x_*$ 可取为 $x^{\dagger}$, 此时定理 2.1 保证了 $z_k\rightarrow x^{\dagger}$ 的收敛性, 进而也保证了 $x_k\rightarrow x^{\dagger}$ 的收敛性.

在本节中, 采用文献 [22] 中的数值实验例子, 即一维和二维的椭圆方程参数识别反问题进行数值模拟展示所提出的 ATPGM 迭代法, 相较于 Landweber 迭代正则化方法和 TPG 方法的加速效果. 首先给出这些方法的简要描述.

(1) Landweber: Landweber 迭代正则化方法见 (1.3) 式;

(2) TPG: 两点梯度方法见 (1.5) 式, 选择最初的组合参数, $\lambda_k^{\delta}=\frac{k-1}{k+\alpha-1},\alpha=4$;

(3) ATPGM: 自适应动量加速两点梯度法见 (1.7) 式, 动量系数 $\beta_k^{\delta}$ 详见算法 1. 组合参数 $\lambda_k^{\delta}=\frac{k-1}{k+\alpha-1},\alpha=4$.

注 3.1 为使 ATPGM 迭代法具有更好的加速效果, 可选择满足 (2.28) 式的 $\lambda_k^{\delta}$, 但为了公平的比较 TPG 方法与 ATPGM 迭代法, 在实验中, TPG 和 ATPGM 选择相同的组合参数 $\lambda_k^{\delta}$.

Landweber 迭代正则化方法的收敛性在文献 [3,7,8] 中有详细说明. 本文实验中, 三种方法选取统一的修正步长

其中 $\mu_0,\mu_1,p,r$ 均为给定的参数且步长可根据当前迭代的残差信息和梯度信息自动更新.

在实验中: $\mu_0=1.8 (1-\frac{1}{\tau})/\omega, \omega\text{为正常数},p=2,r=2$. 为了统一定量分析方法的计算效率和精度上的重构性能, 本文将从算法的计算时间 (Time), 迭代停止次数 (N) 以及模型相对误差($ERR=\frac{\|x_{N_{x^*}}-x^*\|}{\|x^*\|}$) 等三个方面对上述三种方法进行综合对比.

注意, 为了保证 ATPGM 迭代法数据残差 $\|y^{\delta}-F(z_k^{\delta})\|$ 的单调性,在算法 1 中使用了单调性检测^[22].

考虑参数 $c$ 的识别问题

从 $u$ 的测量中, $\Omega\subset R^d,d\le 3$ 是一个具有 Lipschitz 边界的有界域, $f\in L^{2}(\Omega)$ 和 $g\in H^{\frac{3}{2}}(\Omega)$. 在这个例子中, 非线性算子 $F$ 被定义为参数 $c^{\dagger} \in L^2(\Omega)$ 到唯一解 $u=u(c^{\dagger}) \in H^ 1(\Omega)\subset L^ 2(\Omega)$ 的映射, 即 $F(c):= u(c)$. 对任意 $c\in \mathcal{D}(F)$, 存在 $\gamma_0>0$ 使得算子 $F$ 在定义域 $\mathcal{D}(F)$ 中定义良好,

$$\mathcal{D}(F):=\{c\in L^2(\Omega):\|c-\bar{c}\|_{L^2(\Omega)}\le \gamma_0,\forall\bar{c}\ge 0\}.$$

从文献 [3] 可知, $F$ 是弱闭的且满足假设 2.1. $F$ 为 Fr$\acute{\rm e}$chet 可微的且对于任意 $h,\sigma\in L^ 2(\Omega)$, 有

$$F^{\prime}(c)h=v \text{和} F^{\prime}(c)^*\sigma=-u(c)w,$$

其中 $v,w\in H^ 1(\Omega)$ 是下列方程的唯一的解,

和

例 3.1$\textbf{一维椭圆方程参数识别问题}$

考虑 $\Omega = [0,1],u(0) = 1$ 和 $u(1) = 6$ 的一维问题. 所求参数由下式给出

$$c^{\dagger}(\zeta)=5\zeta(1-\zeta^4)+\sin(6\pi \zeta),$$

且 $f(\zeta)=c^{\dagger}(\zeta)(1+5c^{\dagger}(\zeta))$.

使用噪声水平 $\delta = \|u^{\delta}-u(c^{\dagger})\|>0$ 的扰动数据 $u^{\delta}$, 使用 $u^{\delta}$ 反演真参数 $c$. 此时, 问题 (1.1) 中所求参数 $x$ 即为函数 $c(\zeta)$, 即 $x_k^{\delta}=c_k^{\delta}$. 步长按照修正步长 (3.1) 式选取, 偏差原理 (2.14) 式的参数 $\tau=2.1$. 对于 ATPGM 迭代法, 动量初始值 $s_0=0$. 设迭代初始值 $c_0=0$, 取 $\eta=0.01,\omega=30, \mu_1=1000$. 当噪声水平 $\delta=0$ 时, 迭代方法的停机准则选择 $\|u^{\delta}-F(c_k^{\delta})\|\le 0.001$; 当噪声水平 $\delta\neq 0$ 时, 偏差原理 (2.14) 式作为停机准则. 每次迭代中涉及的微分方程通过有限差分法求解, 区间 $[0,1]$ 被划分为 128 个等长的子区间. 由于采用前一步迭代信息与当前迭代信息的误差来修正当前迭代解时所取的权重系数趋近于$1$, 同时对下降方向进行修正时也取权重系数趋近于 $1$ 就会导致过渡修正, 使得迭代解极大偏离正确的下降方向, 于是选定梯度方向的动量项系数时尽可能小但不能趋近于$0$. 通过实验可知动量系数 $\beta_k^{\delta}$ 的范围为 $[0,0.5]$ 时实验结果表现较好, 于是自适应调整 $\beta_k^{\delta}$ 时选择 $\bar{\beta}=0.5$ 作为截断.

选择不同的噪音水平 $\delta$ 对 Landweber 迭代正则化方法, TPG 方法和 ATPGM 迭代法三种方法进行数值实验, 结果如表1 所示. 从表1可知, 在同一噪声水平下, ATPGM 迭代法和 TPG 方法在减少迭代次数和迭代运行时间方面明显优于 Landweber 迭代正则化方法. 其中 ATPGM 迭代法迭代运行时间略高于 TPG 方法, 可能是由于迭代步的增加, ATPGM 迭代法的动量项累积, 以及每一次迭代更新动量系数 $\beta_k^{\delta}$, 因此计算机在存储及更新动量项和动量系数时需要花费额外的时间.

图1 展示了噪音水平 $\delta=0.001$ 时三种方法的迭代结果. 从图1(a) 可知, 三种方法均能有效模拟真解. 由图1(b) 和图1(c) 可知, TPG 方法和 ATPGM 迭代法收敛速度明显快于 Landweber 迭代正则化方法, 且 ATPGM 迭代法略快于 TPG 方法. 图1(d) 中, ATPGM 迭代法的残差下降速度略快于 TPG 方法.

例 3.2$\textbf{二维椭圆方程参数识别问题}$

考虑在区间为 $\Omega=[0,1]\times [0,1]$ 的二维椭圆参数识别问题, 假设真实参数为

其中 $\mathcal{X}_A(\zeta)= \begin{cases} 1,\zeta\in A\\ 0,\zeta\notin A \end{cases}$ 为 $A$ 的特征函数.

假设 $u(c^{\dagger})=c^{\dagger}(\zeta,\xi)(\zeta+\xi)$, 给 $u$ 添加随机高斯噪音后的扰动数据 $u^{\delta}$ 满足 $\|u^{\delta}-u\|=\delta$.使用 $u^{\delta}$ 反演真参数 $c$. 此时, 问题 (1.1) 中所求参数为函数 $c(\zeta,\xi)$, 即 $x_k^{\delta}=c_k^{\delta}$. 对三种迭代法均设定初始值 $c_0=0$, 步长按照修正步长 (3.1) 式选取, 偏差原理 (2.14) 式的参数 $\tau=3$, 取 $\eta=0.01,\omega=10, \mu_1=20000$.对于 ATPGM 迭代法,动量初始值 $s_0=0$. 实验中,使用二阶有限差分法将正演问题 (3.2) 离散, 将区间分为 $64\times64$ 的等长小方块, 最后使用 $LU$ 分解法求解离散后的方程. 当噪音水平 $\delta=0$, 停机准则为 $\|u^{\delta}-F(c_k^{\delta})\|\le 0.001$; 若噪音水平 $\delta\neq0$, 偏差原理 (2.14) 式作为迭代方法的停机准则.

与一维实验相同, 自适应调整 $\beta_k^{\delta}$ 时选择 $\bar{\beta}=0.5$ 作为截断. 当 $\beta_k^{\delta}=0$ 时, ATPGM 迭代法退化为 TPG 方法. 为了进一步研究噪声水平 $\delta$ 对三种方法的数值影响, 采用不同的 $\delta$ 进行数值实验, 实验结果如表2 所示.

由表2 可看出,在相同噪音水平和停机准则下, ATPGM 迭代法所需迭代步最少, 动量加速技巧可以有效加快 Landweber 迭代正则化方法和 TPG 方法的收敛速度. 随着迭代步的增加,动量项不断累积, 计算机存储与更新动量项,动量系数需要花费额外的时间,在此条件下, ATPGM 迭代法所花时间与 TPG 方法所花时间近似,那么可以看出 ATPGM 迭代法在迭代步和运行时间上都具有明显的优势. 此外, 随着噪音水平 $\delta$ 的减小, 相比 Landweber 迭代正则化方法和 TPG 方法, ATPGM 迭代法的迭代步增幅较小, 表明 ATPGM 迭代法对噪音水平降低的敏感度较小.

图2 所示为噪声水平 $\delta=0.0005$ 时, Landweber 迭代正则化方法, TPG 方法和 ATPGM 迭代法重建的结果. 由图2 可知, 三种方法均能高精度重构该实验模型,受噪音的干扰, 三个模拟结果图均有局部尖峰.其中, TPG 方法的模拟结果中局部尖峰数量最少且重构结果趋于平滑, 在速度和精度间取得平衡; Landweber 迭代正则化方法的模拟结果中局部尖峰数量较少; ATPGM 迭代法的模拟结果图中局部尖峰数量较多, 在精度上有欠缺, 可能是由于动量项会累积高频误差从而形成了较多的局部尖峰. 图2(e) 再次表明动量加速技巧能够有效加快 Landweber 迭代正则化方法和 TPG 方法的收敛速度. 图2(f) 展示 ATPGM 迭代法的相对误差下降速度最快, 表明 ATPGM 迭代法能够更快速地收敛到真实解, 其牺牲了一定的重构精度以换取速度和效率, 适合对计算时间敏感但容许一定噪声的场景.

针对 Landweber 迭代正则化方法求解非线性不适定反问题时收敛速度慢的问题, 本文基于两点梯度法, 自适应重球法及动量法, 提出了自适应动量加速两点梯度法（ATPGM). 理论上证明了 ATPGM 迭代法的收敛性, 并基于一维和二维椭圆参数识别问题, 从数值角度验证了 ATPGM 迭代法的快速收敛性. 数值实验结果表明, 相较于 Landweber 迭代正则化方法和两点梯度法, ATPGM 迭代法在迭代次数和运算时间方面具有明显的优势. 此外, 数值结果还表明, ATPGM 迭代法可以作为求解非线性不适定反问题的一种高效的迭代正则化方法.