Learning DiscoSCM 实验图解 · V1

A reader-first experiment walkthrough

E01 · frozen confirmatory experiment 1,400 / 1,400 complete · not_confirmed

一人一条事实，
评测者私藏一整条曲线

模拟器生成 6,000 个 synthetic units；每个 unit 只向 learner 留下一条 factual record。 训练时，我们故意把一部分 outcome 配错对象；测试时，再用 evaluator 私藏的 21 点 conditional response law，检查模型能否恢复 query–response curve。

先划边界 这是 E01 synthetic label-linkage robustness test，不是 UML Inheritance G0，也不是尚未运行的 K=1 proposal；它不是真实干预实验或 individual counterfactual identification。
跟着一个 unit 看一遍 直接看当前结果 返回论文入口
模型看见一个点 Evaluator 知道 21 点 conditional law
单个 factual point 与 evaluator-only response curve 横轴是 query x，纵轴是 response location。橙色圆点是 learner 看见的 factual observation，蓝色曲线是 evaluator 私藏的 conditional response law。 −1 0 1 query x response evaluator-only oracle model prediction 唯一公开的 factual y
oracle conditional law model curve visible factual point
6,000synthetic units
1visible row / unit
21hidden queries
4synthetic worlds
5shuffle levels
7model families
01

The most important picture

先跟着一个 unit
走完整个实验

下面不是玩具数字。它来自当前代码生成的 matched, seed=11 第一个 test unit。 关键在于分清 learner 真能使用什么，以及 evaluator 为了评分额外知道什么。

公开抽屉 Learner 能看见
test unit · example 01
8 维 evidence \(O_i\)
[.851, .465, .038, −.146, .732, −.028, .702, .173]
一个 factual query
x = .862
一个 factual outcome
y = .331
私藏抽屉 Evaluator 才能看见
querylocationscale
−1.477.355
0.458.362
1.438.368

实际评分使用 \(x\in[-1,1]\) 上全部 21 个等距 query points。

这页最重要的一句话 整个实验的主角不是“预测那一个 \(y\)”，而是“从一行 factual evidence 推出一条 hidden query–response law”。
02

The whole experiment

一次实验，
从生成到评分

每一步都回答一个单独问题。把这六步连起来，实验设计才完整。

  1. 01
    生成 6,000 个 units

    每个 unit 只产生一条 learner-visible factual row，同时 simulator 保存 evaluator truth。

    one row / unit
  2. 02
    固定 60 / 20 / 20 split

    3,600 train、1,200 validation、1,200 test；同一 seed 下所有模型共用。

    3600 · 1200 · 1200
  3. 03
    污染 train + validation

    只把 4,800 个 rows 中选定比例的 \(Y\) 错配；test 与 oracle 保持 clean。

    ρ = 0 … .4
  4. 04
    七个模型公平训练

    共享 split、corruption 和训练预算；primary 两模型参数差低于 1%。

    7 models
  5. 05
    固定一次 abduction

    Unit model 对每个 clean test evidence 只 abduct 一次，再复用于 21 个 queries。

    abduce(O) once
  6. 06
    揭开私藏 curve 评分

    比较预测 location curve 与 evaluator oracle curve；不是只看 factual MAE。

    hidden curve error
03

The corruption

Y-shuffle 到底
改了什么？

它没有创造新的 outcome，也没有改变 query。它只破坏“哪个 \(Y\) 属于哪个 \((O,x)\)”的配对。

Clean pairing
(O₁, x₁)→y₁
(O₂, x₂)→y₂
(O₃, x₃)→y₃
Shuffled pairing
(O₁, x₁)→y₃
(O₂, x₂)→y₁
(O₃, x₃)→y₂
0–40%

五档污染比例：0、10%、20%、30%、40%。

1,920

40% 时，4,800 个 train/validation rows 中错配的 (Y) 数量。

0 fixed points

选中 rows 使用 derangement；每个被选 outcome 都必须换主人。

test = clean

test rows 与 evaluator oracle 完全不被修改，并通过 fingerprint 检查。

所以它在测试 input–outcome linkage 受损后的结构鲁棒性。 不是 treatment intervention，也不是 counterfactual experiment。
04

Four falsification worlds

四个 worlds，
四种压力

它们不是四个数据集名字，而是四个反例。一个可信故事必须在该赢时赢、该失效时失效。

01 · favorable case

matched

DGP 与 Cauchy Unit + bilinear mechanism 匹配。

在最有利、设定正确时，Unit factorization 能不能赢？
02 · negative control

no heterogeneity

令 (U) 对 outcome 的 coefficient 为 0。

没有 unit differences 时，模型会不会凭空制造优势？
03 · uncertain identity

weak evidence

给定 \(O\) 后，\(U\) 的 scale 明显变宽。

evidence 不充分时，预测不确定性会不会诚实变宽？
04 · support stress

narrow support

factual \(x\in[-.3,.3]\)，oracle 仍查询 \([-1,1]\)。

离开 observed support 后，模型会不会暴露 extrapolation failure？
05

Seven models, three questions

七个模型，
不是七个主张

真正的 primary comparison 只有一对；其余模型用来拆解结构、分布和容量解释。

Candidate

Cauchy Unit

5,267 parameters

先从 \(O\) 得到 UnitDistribution，再用共享 bilinear mechanism 回答 query。

primaryVS< 1% parameter gap
Baseline

Direct Cauchy

5,216 parameters

直接把 \((O,x)\) 输入 MLP，输出 Cauchy response location 与 scale。

Uncertainty geometry Gaussian Unit Deterministic Unit

问 point / Gaussian / Cauchy 的 uncertainty choice 是否改变结果。

Direct loss family Direct Gaussian

把“Unit structure 的作用”与“Cauchy loss 的作用”分开。

Flexible non-unit structure Varying-coefficient Cauchy 4-expert Cauchy mixture

检查显式 latent factorization 是否只是被更灵活 predictor 轻易替代。

06

What counts as a win?

怎么判分？
先看整条 curve

主指标不是训练 loss，也不是一个 factual point 的 MAE，而是 evaluator-hidden response-curve location error。

白话定义 对 1,200 个 clean test units，每人查询 21 个 \(x\)，平均计算预测 location 与 oracle location 的绝对距离。越小越好。
1,200test units
×
21queries / unit
=
25,200curve points / cell

每个 seed 的 effect

\[\delta_s=\log\frac{E_{\mathrm{direct},s}}{E_{\mathrm{unit},s}}\]

\(\delta_s>0\) 表示 Unit error 更小。

  1. mean \(\delta>0\)
  2. 95% t-interval 下界 (>0)
  3. one-sided sign test \(p\le .05\)
  4. no-heterogeneity 虚假 advantage 的 95% 上界 \(\le10\%\)
还记录了哪些 secondary metrics？

factual NLL、median error、10/50/90% pinball loss、PIT-ECE、80/90% coverage 与 interval width、 hidden-grid CDF error，以及 narrow-support 世界中 support 内外分开的 curve error。它们帮助解释失败，不能改写 primary gate。

07

Evidence, not aspiration

现在跑到了哪里？

三个阶段拥有不同证据等级。smoke 和 development 不能因为数字好看就升级成正式结论。

  1. Mechanics only

    8-row smoke

    8 / 8 complete

    只证明 runner、truth firewall、固定 abduction 接口与 artifact pipeline 能运行。

  2. Diagnostic only

    700-row development

    700 / 700 complete

    用于发现问题和冻结 protocol；按规则不能成为 superiority evidence。

  3. Formal verdict

    1,400-row confirmatory

    1,400 / 1,400 complete · not_confirmed

    冻结的 primary gate 三个条件全部未通过；这是正式的未确认结果，不是“还没跑完”。

Formal confirmatory verdict not_confirmed — Unit robustness advantage 未被确认

Primary: matched, rho=.4

−0.00715 mean log(Edirect/Eunit)

正数才有利于 Unit；点估计略偏向 Direct。

[−.0496, .0353] 95% t interval

跨过 0，无法排除没有优势或方向相反。

4 / 10 seeds 中 Unit 获胜

one-sided exact sign test p=.8281。

6.01% < 10% no-heterogeneity upper bound

负对照 guardrail 通过，但不能挽救 primary claim。

mean delta > 0 · 未通过 CI lower > 0 · 未通过 sign p ≤ .05 · 未通过 no-heterogeneity ceiling · 通过
一句话： 在这个 synthetic protocol 下，正式数据不支持 Unit factorization 比 capacity-matched Direct Cauchy 更抗训练标签错配；它也不等于否定整个 DiscoSCM 研究方向。
Development diagnosis 没有通过预先写下的诊断门
≈ 2.9% Unit 的点估计 error reduction

方向略有利，但效应很小且不稳定。

3 / 5 seeds 中 Unit 获胜

one-sided exact sign (p=.5)。

[−.168, .228] 95% log-effect interval

跨过 0，不能排除没有优势。

15.6% > 10% no-heterogeneity upper bound

负对照 guardrail 也没有通过。

正确结论： development 没有给出可升级的结构优势；它既不是正式否定，也绝不是 superiority evidence。
08

Claim boundary

这个实验已经
证明到哪里？

Formal gate 是 not_confirmed。阴性结果同样需要停在实验真正观察到的层级。

这次结果真正支持
  • 预先冻结的 1,400-cell synthetic protocol 已完整运行，没有失败。
  • 在声明的 DGP 与主指标下，没有证据表明 Unit factorization 更鲁棒。
  • no-heterogeneity 负对照通过，没有暴露超过 10% ceiling 的虚假 Unit advantage。
不能据此声称
  • 恢复了 ground-truth selected value \(u_i\) 或 literal individual mechanism。
  • 识别了 individual counterfactual 或完整 Layer 3 joint law。
  • 验证了 distribution-consistency 或真实 causal intervention 能力。
  • 证明 DiscoSCM 普遍优于现有 causal methods。

四个最容易误读的问题

隐藏 21 点，是同一个 unit 的 21 个结果吗？

不是。它们是 simulator 给出的 conditional response law 参数，不是 21 个 realized outcomes。

测试时，abduction 使用这个 unit 的 factual \(y\) 吗？

当前实现不用，只读取八维 evidence \(O\)。训练数据中的 \(y\) 用于学习共享模型参数与 factual evaluation。

那为什么还叫 same-token？

因为同一个 \(O\)-indexed test token 的 abduction result 被计算一次并跨 query 复用。这是 computational contract，不是 identification theorem。

Y-shuffle 是 causal intervention 吗？

不是。它只是人为破坏 train/validation 中 input–outcome pairing 的 stress test。

下一轮优化设计 · proposal_only K=1 不变：用 256D factual evidence、一个 factual outcome、高维 nonlinear unit state 与真正密封的 same-unit counterfactuals，检验 response-informed abduction。打开设计图解 → 相关但独立 · UML Inheritance G0 Implementation PASS · modern superiority OPEN

G0 比较 evidence-only Causal Regression 与 historical fixed-scale MLP；本页 E01 比较 bilinear Unit 与 capacity-matched Direct Cauchy。模型和 comparator 都不同，因此结果不矛盾。查看继承证书 →