本章目标
- 看穿两条语言:数值分析(离散、有限样本、可计算)与实变/泛函(连续、无穷维、存在性与收敛性)其实在谈同一件事。
- 用"最佳逼近"统一离散最小二乘与希尔伯特空间正交投影。
- 用巴拿赫不动点定理为数值迭代法的收敛提供理论保证。
- 用控制收敛定理理解数值积分的误差与"极限交换"何时合法。
- 理解离散化:连续算子的谱如何被有限矩阵的特征值逼近。
核心提示:数值分析是"计算的手",实变与泛函是"存在的脑"。手做出来的近似,脑子保证它会收敛到该有的那个真值。两者不是两层楼,而是一枚硬币的两面。
一、两条语言,一个对象:逼近
数值分析关心"给定有限个数据点、有限步算法,怎么算出一个够好的数";实变与泛函关心"在无穷维空间里,某个对象是否最好地存在"。但两者的核心词都是逼近(approximation):用简单的东西(多项式、有限维子空间)去逼近复杂的东西(任意函数、连续算子)。
二、最佳逼近的统一:最小二乘 = 希尔伯特投影
数值分析里,最小二乘拟合解法方程 $A^TA\mathbf a=A^T\mathbf b$,得到使残差 $\lVert A\mathbf a-\mathbf y\rVert_2$ 最小的系数 $\mathbf a$。
实变与泛函里,在希尔伯特空间 $H$ 的闭子空间 $M$ 上,元素 $f$ 的最佳逼近是它在 $M$ 上的正交投影 $P_M f$:满足
$$\langle f-P_Mf,\ m\rangle=0,\qquad \forall\,m\in M.$$
由投影定理,这是唯一使 $\lVert f-m\rVert$ 最小的元素。
桥:把离散向量换成连续函数、把欧氏内积换成 $L^2$ 内积 $\langle f,g\rangle=\int_{-1}^1 f(x)\overline{g(x)}\,dx$,法方程就变成正交条件 $\langle f-p,\ q\rangle=0$。离散最小二乘是连续正交投影在有限样本下的离散化;当采样点趋于稠密,离散拟合收敛到连续最佳逼近——这正是本章交互图演示的内容。
三、迭代法的泛函根基:不动点与压缩映射
数值分析:Jacobi / Gauss-Seidel、不动点迭代 $x_{k+1}=g(x_k)$ 求方程的根;收敛条件常写成 $\lvert g'\rvert<1$。
实变与泛函:巴拿赫不动点定理——完备度量空间 $(X,d)$ 上的压缩映射 $T$(存在 $0\le L<1$ 使 $d(Tx,Ty)\le L\,d(x,y)$)有唯一不动点,且迭代 $x_{k+1}=Tx_k$ 收敛,误差满足
$$\lVert x_k-x^*\rVert\le \frac{L^k}{1-L}\,\lVert x_1-x_0\rVert.$$
桥:数值里的"$\lvert g'\rvert<1$"正是压缩常数 $L<1$ 的微分化身;完备性(柯西列必收敛)保证极限真的存在。上面的误差界直接给出"要达到某精度需要迭代多少步"的预算。
四、数值积分与勒贝格:极限与积分何时能交换
数值分析:复合梯形 / 辛普森把 $\int_a^b f(x)dx$ 近似为有限和;收敛阶由 $f$ 的光滑性(导数有界性)决定。
实变与泛函:黎曼可积要求太强;勒贝格积分在更宽的函数类上有定义。控制收敛定理(DCT):若 $f_n\to f$ 几乎处处,且存在可积函数 $g$ 使 $\lvert f_n\rvert\le g$,则
$$\lim_{n\to\infty}\int f_n=\int \lim_{n\to\infty}f_n=\int f.$$
桥:DCT 正是"什么时候能放心地让数值积分误差随步长趋于 0、且与取极限交换"的理论许可证。函数的可积性(有界变差、几乎处处连续)决定了数值求积收敛的阶与稳定性;若只有逐点收敛而无一致/可积控制,极限与积分不能交换(见例题 3)。
五、谱的统一:离散化逼近连续
数值分析:幂迭代、QR 算法计算矩阵特征值。
实变与泛函:有界线性算子的谱 $\sigma(T)=\{\lambda: T-\lambda I\ \text{不可逆}\}$ 是自伴算子特征值概念的推广;自伴算子的谱定理给出正交函数展开。
桥:对连续问题做离散化(有限元 / 差分网格),得到有限矩阵;其特征值 / 奇异值在网格加密时收敛到连续算子的谱(离散化误差分析)。数值代数里的特征值算法,本质上是算子谱的有限维影子。
六、稳定即连续:条件数 κ 的算子视角
数值分析中条件数 $\kappa$ 衡量问题对扰动的敏感程度;在泛函里,它就是"问题映射作为线性算子"的范数(连同其逆映射的范数)。一个"病态"问题,对应一个在无穷维里也不连续的算子——两条语言再次汇合。
七、动态示意:离散拟合 → 连续投影
下方交互图把目标函数 $f(x)$(灰)、连续 $L^2$ 最佳逼近多项式(粉,实线,希尔伯特投影)、离散最小二乘拟合(青,虚线)画在一起。拖动次数 n 改变多项式阶;拖动采样密度 K 或点击「播放」增加采样点——可见青色虚线随 $K$ 增大而贴合粉色实线,离散-连续 $L^2$ 偏差减小。这正是"离散逼近连续"的可视化。
例题1(离散最小二乘 vs 连续最佳逼近)
取 $f(x)=\cos(2.2x)+0.35\sin(4.5x)$ 于 $[-1,1]$,用 3 次多项式。
(1) 在 14 个等距采样点上做离散最小二乘,写出法方程;
(2) 求连续 $L^2$ 最佳逼近(投影定理),说明两者关系;
(3) 若将采样点增至 120,离散解如何变化?
解: (1) 离散法方程 $(V^TV)\mathbf a=V^T\mathbf y$,$V$ 为范德蒙德矩阵,第 $m$ 行为 $(1,x_m,x_m^2,x_m^3)$。数值解由交互图给出。(2) 连续情形解由 Gram 矩阵 $G_{ij}=\int_{-1}^1 x^{i+j}dx$ 与右端 $b_i=\int_{-1}^1 f(x)x^i dx$ 构成的方程组,即投影条件 $\langle f-p,\ q\rangle=0$。(3) 采样稠密时离散法方程的解趋于连续投影系数,青线贴合粉线,$L^2$ 偏差趋于 0——交互图可直接观察。
例题2(用压缩映射保证迭代收敛)
证明迭代 $x_{k+1}=g(x_k),\ g(x)=\frac12\!\left(x+\frac{2}{x}\right)$ 在 $[1,\infty)$ 上收敛到 $\sqrt{2}$,并估计达到 $10^{-6}$ 精度所需步数。
解: 在 $[1,\infty)$ 上 $g(x)\ge1$,且
$$\lvert g'(x)\rvert=\frac12\left\lvert 1-\frac{2}{x^2}\right\rvert\le \frac12=L<1,$$
故 $g$ 是压缩映射;区间完备,由巴拿赫不动点定理存在唯一不动点,解 $x=g(x)$ 得 $x=\sqrt2$。误差满足
$$\lVert x_k-\sqrt2\rVert\le \frac{L^k}{1-L}\,\lVert x_1-x_0\rVert=2^{-(k-1)}\lVert x_1-x_0\rVert.$$
取 $x_0=1$,要 $2^{-(k-1)}\cdot1<10^{-6}$ 需 $k-1>\log_2 10^6\approx19.9$,即约 21 步。数值分析里这正对应"$\lvert g'\rvert<1$ 保证收敛"。
例题3(DCT 与数值积分极限)
设 $f_n(x)=n x e^{-n x}$ 于 $[0,1]$。
(1) 求逐点极限;(2) 能否交换 $\lim_n\int_0^1 f_n$ 与积分?(3) 联系数值积分的误差控制。
解: (1) 对 $x>0$,$f_n(x)\to0$;在 $x=0$ 也为 0,故逐点极限为 0。(2) 注意 $\lVert f_n\rVert_\infty=n e^{-1}$ 无界,无法用 DCT 找到可积控制函数;而 $\int_0^1 f_n=1-e^{-n}\to1\neq0$,故不能交换极限与积分。(3) 这说明:没有可积(或一致)控制时,数值积分依赖的"极限与积分交换"会失效——提醒我们收敛必须是一致或受控的,否则数值求积会给出错误极限。
练习
1. 对 $f(x)=e^x$ 在 $[-1,1]$,分别写出离散最小二乘与连续 $L^2$ 最佳逼近的法方程,说明二者差异来源。
<details><summary>答案</summary>离散用样本点求和 $\sum$,连续用积分 $\int$;当样本稠密、等距加权趋近积分测度时,离散 Gram 矩阵趋于连续 Gram 矩阵,解趋同。</details>
2. 用巴拿赫不动点定理说明:为何数值分析中"初值远离不动点"仍可能收敛,但步数预算依赖 $L$ 与初值误差。
<details><summary>答案</summary>误差界 $\lVert x_k-x^*\rVert\le \frac{L^k}{1-L}\lVert x_1-x_0\rVert$ 显示只需 $L<1$ 与空间完备即收敛;但常数项含初值误差,初值越差所需步数越多。</details>
3. 为什么数值积分常要求被积函数"足够光滑"?用可积性 / 一致收敛解释。
<details><summary>答案</summary>收敛阶与误差界依赖导数的有界性(如梯形公式误差含 $f''$);不光滑或仅逐点收敛会导致误差估计失效、极限交换不合法(见例题 3)。</details>
本章小结
- 最佳逼近统一:离散最小二乘 = 连续希尔伯特投影的离散化。
- 迭代收敛的理论保证来自巴拿赫不动点定理(压缩映射 + 完备性);$\lvert g'\rvert<1$ 即 $L<1$。
- DCT 是"极限与积分可交换、数值求积误差可控制"的理论许可证;缺一致 / 可积控制会失效。
- 离散化使连续算子的谱被有限矩阵特征值逼近(谱方法根基)。
- 条件数 $\kappa$ 是"问题映射作为算子"的范数视角——稳定即连续。
互动演示
拖动下方控件观察动态过程。