最值，最小二乘，最值验证

羊男原创2026/1/12大约 3 分钟

最值

与单变量微积分相同，导数可以求最值

例：求 $f (x, y) = x^{2} - 2 x y + 3 y^{2} + 2 x - 2 y$ 的最值

求偏导：
$f_{x} = 2 x - 2 y + 2$
$f_{y} = - 2 x + 6 y - 2$

找最值即求偏导为0： $f_{x} = f_{y} = 0$

即解 $f_{x} = 2 x - 2 y + 2 = 0$
$f_{y} = - 2 x + 6 y - 2 = 0$

解： $x = - 1, y = 0$

首先可以确定的是， $(- 1, 0)$ 为 $f (x, y)$ 的临界点，且可以确定为局部最值点

临界点不一定是最值点，如： $f (x, y) = y^{2} - x^{2}$ 马鞍函数，临界点为 $(0, 0)$ ，但是该临界点既不是最大值，也不是最小值。这种既不是最大值点也不是最小值点的点，我们称为鞍点。所以临界点分为：最大值点，最小值点，鞍点。

接下来为本例的临界值点确定类型

配 方 ： f (x, y) = (x - y + 1)^{2} + 2 y^{2} - 1

可以观察出： $(x - y + 1)^{2} \geq 0$ 和 $2 y^{2} \geq 0$
$∴ f (x, y) \geq - 1 = f (- 1, 0)$
$∴ f (- 1, 0)$ 临界点为最小值点

最小二乘问题：给定一个数据集 $(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{n}, y_{n})$ ，求一个函数 $f (x)$ ，使得 $f (x_{i})$ 与 $y_{i}$ 的误差平方和最小。

若数据集呈线性相关，则设置 $f (x) = a x + b$ ，则最小二乘问题转化为求解 $a, b$ 的最值问题。

$E r r o r (i)^{2} = (y_{i} - f (x_{i}))^{2} = (y_{i} - (a x_{i} - b))^{2}$
总误差平方和为

D (a, b) = \sum_{i = 1}^{n} E r r o r (i)^{2} = \sum_{i = 1}^{n} (y_{i} - (a x_{i} + b))^{2}

求偏导 = 0

f_{a} = \sum_{i = 1}^{n} 2 (y_{i} - (a x_{i} + b)) \cdot - x_{i} = 0

f_{b} = \sum_{i = 1}^{n} 2 (y_{i} - (a x_{i} + b)) \cdot - 1 = 0

等价于解线性方程组

方程组转换过程

\sum_{i = 1}^{n} x_{i}^{2} a + x_{i} b - x_{i} y_{i} = 0

\sum_{i = 1}^{n} x_{i} a + n b - y_{i} = 0

(\sum_{i = 1}^{n} x_{i}^{2}) a + (\sum_{i = 1}^{n} x_{i}) b = \sum_{i = 1}^{n} x_{i} y_{i}

(\sum_{i = 1}^{n} x_{i}) a + n b = \sum_{i = 1}^{n} y_{i}

摩尔定律。数据类型： $(晶体管数量, 时间)$ ，数据集呈指数相关。所以摩尔定律对数据集进行拟合的函数应为 $y = c e^{a x}$ ，然而这非常的难解，所以摩尔定律先将”晶体管数量“进行对数转换，可转为线性回归问题。即拟合函数为 $\ln (y) = \ln (c) + a x$

再举例，若拟合函数为二次函数， $y = a x^{2} + b x + c$ ，则

D (a, b, c) = \sum_{i = 1}^{n} (y_{i} - (a x_{i}^{2} + b x_{i} + c))^{2}

最后将会变成解3x3线性方程组问题

$f (x, y)$ 的一阶偏导：

\frac{\partial f}{\partial x} = f_{x}

\frac{\partial f}{\partial y} = f_{y}

$f (x, y)$ 的二阶偏导：

\frac{\partial^{2} f}{\partial x^{2}} = f_{x x}

\frac{\partial^{2} f}{\partial x \partial y} = \frac{\partial^{2} f}{\partial y \partial x} = f_{x y} = f_{y x}

\frac{\partial^{2} f}{\partial y^{2}} = f_{y y}

设 $f (x, y)$ 有临界点 $(x_{0} . y_{0})$

设 $A = f_{x x}$ ， $B = f_{x y}$ ， $C = f_{y y}$

有 $f (x, y) = x + y + \frac{1}{x y}$ ( $x, y > 0$ )

一阶偏导确定临界点:
$f_{x} = 1 - \frac{1}{x^{2} y} = 0$
$f_{y} = 1 - \frac{1}{x y^{2}} = 0$

解方程组得： $x = 1, y = 1$ 。即 $(1, 1)$ 处为 $f (x, y)$ 的临界点

二阶偏导确定类型：
$f_{x x} = \frac{2}{x^{3} y}$ 临界点为 $A = 2$
$f_{x y} = \frac{1}{x^{2} y^{2}}$ 临界点为 $B = 1$
$f_{y y} = \frac{2}{x y^{3}}$ 临界点为 $C = 2$

有 $A C - B^{2} = 4 - 1 = 3 > 0$ ， $A > 0$ ，故为临界点 $(1, 1)$ 局部最小值点