概率需要条件

概率模型描述不确定事件,不会自动把相关关系变成因果关系。条件概率 P(A|B) 表示在 B 已发生的条件下考虑 A;它通常不同于 P(B|A)。传感器检测到障碍与确实存在障碍之间,还隔着先验、漏检和误报。

期望是按概率加权的平均,方差描述围绕期望的波动。样本均值随采样方式和样本量变化;同一段连续视频的相邻帧高度相关,不能简单当作大量独立样本。

测量结果怎样报告

比较两个算法时,固定输入分布与环境,做多次独立或恰当设计的重复实验,保留原始数据。除了均值,也观察分位数、波动和失败比例。异常值可能来自真实尾部行为,不能仅因不符合预期就删除。

从损失函数到参数更新

令损失为 (x-3)^2,导数为 2(x-3)。梯度下降沿负梯度更新参数,步长决定每次移动的幅度。

x = 0.0
for _ in range(100):
    gradient = 2 * (x - 3)
    x -= 0.1 * gradient
assert abs(x - 3) < 1e-6

这个凸的一维例子容易收敛,不能据此保证任意神经网络都找到全局最优。约束、尺度、初始值、学习率与随机噪声都影响实际训练。评估需要单独保留的数据,不能反复在测试集上调参。

练习

把学习率分别改为 0.01、0.9 和 1.1,记录轨迹并解释不同现象。再设计一个罕见事件检测例子:即使检测器准确率看起来很高,也可能产生较多误报,明确每个条件概率的方向。

参考资料