从FeEval评测方法理解视觉模型的稳定性

重复地给出同一错误答案也不代表可靠

一个模型在十次相近拍摄中都输出相同类别，说明结果波动较小，却不能单独证明类别正确。如果基准标签或人工复核显示它始终认错，这种一致性只是稳定的偏差。评估时要把正确性与重复性分开，两者同时满足才接近日常所说的可靠。

反过来，模型多数时候判断正确，却在轻微拍摄变化下频繁跳动，也会给使用者带来困难。平均正确率可能掩盖这种体验，因为几次相反错误互相抵消后，总分仍然好看。逐个样品查看输出序列，能够发现哪些对象容易发生不稳定。

因此，一组评测至少要有可核对的参考判断，也要保留同一样品多次输入的结果。参考判断说明方向是否正确，重复序列说明输出是否容易漂移。若参考本身存在争议，应把样品列为不确定项，不用它强行证明模型稳定或不稳定。

固定灯位、相机、背景与样品后，连续得到的图像仍可能因自动曝光、对焦和传感器噪声略有变化。先在不主动改变条件时重复多次，才能估计系统的自然波动。如果基线输出已经频繁跳动，加入旋转或压缩后的差异就难以单独归因。

基线不一定追求最精致的照片，而应选择日后能够再次搭建的条件。过度依赖一次性的阳光角度、手持距离或临时滤镜，会让后续对照失去起点。固定支架、标记拍摄距离和保存相机设置，通常比精修一张样图更能支持长期比较。

重复次数应根据结果波动与测试成本决定，不能把一次成功简单复制成多次证据。样本少时可以展示每次输出及范围，而不是只报平均值；样本增加后再观察分布和异常值。无论采用哪种摘要，都应让读者知道结论来自多少独立输入。

把亮度、旋转、缩放、虚焦和压缩分别测试，只解决变量混杂的一部分；还要设定变化强度。极轻变化可能看不出差别，过强变化又会把目标变得不可辨认。使用从日常范围逐步增加的梯度，可以观察结果从稳定到失效的转折，而不是只比较正常与极端两点。

数字变换与重新拍摄回答的问题不同。对同一原图做旋转或压缩，能够精确控制处理参数；重新拍摄则同时包含相机自动处理和现场微小变化。二者可以分别使用，但结果不能直接混为一组。报告中注明输入如何产生，读者才能理解模型面对的是算法扰动还是真实拍摄条件。

对照组应与测试组共享同一母版或同一批样品，且处理顺序保持一致。若压缩图来自另一台相机、亮度组又更换了背景，观察到的差异无法只归因于目标变量。发现实验混杂时，最诚实的处理是缩小结论并重新设计，而不是用更多解释把原因补出来。

只报一个平均分会隐藏模型是否在少数条件下突然失效。可以同时呈现重复结果的范围、类别是否跳变、最敏感的变量和失败样例。对普通读者而言，清楚说明“在什么变化下开始不一致”，往往比没有背景的小数分数更容易用于拍摄与复查。

不同模型或不同处理版本只有在使用相同样品、变换范围和判定规则时才适合比较。即使条件一致，结果也只覆盖这组样品与环境，不能外推到所有咖啡、相机和灯光。版本更新后应保留旧基线，以便判断变化来自模型还是测试流程。

一份可复现的简要记录至少能让另一个人重新准备样品、摆放相机、应用同样的变化并理解输出标准。它不必模仿论文格式，但要保留变量、范围、重复方式和限制。做到这些，单次漂亮结果才会被放进一条可检查的证据链。

反复处理同一张照片可以测量数字变换，却不能代表不同咖啡豆、不同摆放和不同相机之间的差异。若想了解日常拍摄稳定性，需要同时保留样品层和重复拍摄层：每个样品在相同条件下拍若干次，再让多个样品共同覆盖正常外观与较难情况。

样本数量少时，个别容易识别的图片会让平均结果显得乐观。可以把样品按光泽、颜色接近程度、遮挡或表面纹理分组，观察问题集中在哪一类。分组不是为了制造更多分数，而是避免一个总体数字掩盖模型只在特定外观下不稳定。

样本来源与拍摄设备也限制结论。只用一部手机和一种室内灯得到的结果，适合说明该组合下的表现，不能外推到所有相机。增加设备前应先保证原有基线可重复，否则样本范围扩大只会把设备差异与模型波动混在一起。

当模型或图像处理流程更新时，可以保留一组固定样品与变换条件作为回归测试。新版先跑同一基线、亮度梯度和压缩梯度，再与旧版逐项比较。这样看到的变化更可能来自版本，而不是临时换了灯光、相机或判定标准。

回归并不要求新版在每个数字上都与旧版相同。对无关扰动更稳定、对真实差异更敏感，才是有意义的改善；若所有输出都被压成同一类别，表面波动虽小，辨别能力却可能下降。因此要同时检查应保持不变和应发生变化的两组条件。

发现退化时，应保存触发问题的输入、处理参数与版本信息，并用独立重复确认它不是偶然结果。结论可以限定为某个条件下需要复查，不必急着给整个模型贴上可靠或不可靠的标签。持续使用同一回归组，才能让后续修正拥有清楚起点。