STAGE RESULT II · FRESH-DATA AUDIT · CONFIRMATORY COMPLETEABHTE-IHDP-RELIABILITY-2026-07-17-V1

合成世界里的优势,能走出合成世界吗?

部分能。关键一条不能。

旧 IHDP benchmark 的宽泛平均表现,在新的 50 个 replications 上复现; 但 synthetic exact rank-one world 里的优势,在 20 个未见 IHDP replications 上显著反转。

方法仍有竞争力;它的优势来自正确的结构共享,而不是无条件的普遍 dominance。
01 · BROAD BENCHMARK REPRODUCED

旧 benchmark 的宽结论保持稳定。

0.787 → 0.777

Cauchy AB-HTE 的 original 100-rep 与 fresh 50-rep Effect MedAE。它继续优于 Gaussian twin 与多种 robust learners;TARNet / CFR 的平均误差仍更低。

02 · RANK-ONE TRANSFER REVERSED

一维共享优势没有自动迁移。

0.821 < 2.101

参数几乎相同的 matched unrestricted Direct 明显优于 AB d=1;Direct 在 15/20 个 frozen confirmatory replications 中获胜。

01 what is actually being tested

这次审计回答两个问题,不能把它们混成一张榜单。

Legacy d=8 benchmark 检查整体表现能否重现;frozen d=1 audit 检查 exact rank-one 的条件优势能否外推。模型、数据批次和 claim 都不同。

EXPERIMENT Areps 200–249

宽结论能否复现?

冻结旧模型矩阵,在 fresh 50 replications 上重跑。AB twins 使用此前仅由 factual validation 选出的 latent dimension 8

平均方向复现
EXPERIMENT Breps 250–269

Rank-one 优势能否迁移?

在未用于 decision 的 20 replications 上,冻结比较 AB d=1、deterministic shared-score d=1 与 unrestricted Direct。

Primary contrast 反转
底层逻辑

被检验的不是“latent 是否神奇”,而是共享 geometry 是否合适。

我们默认 factual evidence O ≡ x。全程只有一个 unit selection variable U:abduction 根据 x 推测当前是哪一个 latent token,再固定这一次 UnitDistribution 查询 t=0 与 t=1。U 没有 label,也不是一组可观测的 Ui 协变量。

可见 evidenceO ≡ x不是 U label
abductionq(U | x)一个 latent token distribution
fixed queriest=0 · t=1不重新 abduce
readoutm₁(x) − m₀(x)location contrast
TRUTH 接近 RANK-ONE

共享正确 → pooling 降低 variance

两个 treatment arms 复用同一 response-relevant scalar direction,稀缺 arm 不必独自学习全部方向。

AB 可能赢
TRUTH 偏离 RANK-ONE

共享错配 → restriction 引入 bias

如果两个 response surfaces 需要更高维或不同方向,一维 bottleneck 会系统性丢失可预测结构。

Direct 的 flexibility 更有价值

Rank-one 是一项可能带来收益、也可能付出代价的结构假设;它不是免费的 regularizer。

02 matched confirmatory design

为什么这次反转值得相信?

尽量只改变 factorization,不让参数量、split、初始化预算或 oracle leakage 替结果背锅。

01

参数近乎相等

AB d=1 与 deterministic 均为 1,960;Direct 为 1,962。最大差异约 0.10%。

02

完全相同的数据

每个 replication 的三个模型共享 471 / 201 / 75 train / validation / test split。

03

相同优化预算

每个模型各跑 3 个 initialization restarts,只按 factual validation NLL 选择 checkpoint。

04

Oracle 最后才出现

μ₀、μ₁ 不参与训练、early stopping、restart selection 或 tuning,只进入 final evaluator。

三次 restarts 很重要:三个模型分别有 10/20、13/20、14/20 次不是 restart 0 胜出;equal selection 后,Direct 的优势仍然存在。

03 experiment A · fresh legacy matrix

AB 仍然有竞争力,但不是 universal winner。

Effect MedAE 越低越好。Fresh run 支持宽泛 mean-ranking signature;它不表示每一对相邻模型都有显著、稳定的严格排序。

Original 100 reps → Fresh 50 reps四个核心模型的 Effect MedAE
四个模型在原 100 个与新 50 个 IHDP replications 的 Effect MedAECFR 和 TARNet 最低;Cauchy AB 从 0.7872 到 0.7774,Cauchy T 从 0.8932 到 0.8510。越高表示误差越低。ORIGINAL · 100FRESH · 50CFR-style MMD0.7000.716TARNet0.6990.728Cauchy AB · d=80.7870.777Cauchy T0.8930.851

直接标注核心模型;完整 8-model fresh matrix 见下方可展开表。数值为 replication mean。

该保留什么正结论?

Cauchy AB 的平均表现没有在新 replications 上崩溃,继续优于 Gaussian AB、Huber S、Pinball S 与 Cauchy S。 但 TARNet / CFR 平均更低,因此准确表述是“有竞争力并具有重尾稳健性”,不是“总体最优”。

查看完整 8-model fresh 结果
IHDP legacy benchmark:Original 100 reps 与 Fresh 50 reps
ModelOriginalFreshFresh SE
CFR-style MMD0.69970.71580.0446
TARNet0.69910.72800.0436
Cauchy AB-HTE · d=80.78720.77740.0386
Cauchy T0.89320.85100.0448
Gaussian AB-HTE · d=80.92030.0539
Huber S1.05220.0943
Pinball S1.10360.0930
Cauchy S3.23370.4527
04 experiment B · frozen d=1 transfer audit

当一维共享 geometry 错配,Direct 明显更好。

三个模型的参数量与训练预算近乎完全匹配。下面是 20 个 frozen confirmatory replications 的平均 Effect MedAE ± SE。

Effect MedAE · lower is betterMatched three-model result
0123
Matched unrestricted Direct1,962 parameters
0.821 ± 0.075
Cauchy AB · d=11,960 parameters
2.101 ± 0.325
Deterministic shared-score · d=11,960 parameters
2.628 ± 0.219
PRIMARY CONTRASTΔ = log(ErrorDirect / ErrorAB)
Direct 对 AB d=1 的 paired log error ratio均值负 0.7546,95% interval 从负 1.1510 到负 0.3582,完整落在 Direct better 一侧。DIRECT BETTERAB BETTER−1.5−1.0−0.50+0.5
mean Δ−0.7546
95% paired interval[−1.1510, −0.3582]
reverse sign-testp = 0.02069
REPLICATION-LEVEL DIRECTIONDirect 赢 15 / 20

每个圆点代表一个 frozen replication;这里显示的是胜负计数,不表示运行顺序。

Direct win · 15 AB win · 5
ONTOLOGY ATTRIBUTION · INCONCLUSIVE

AB d=1 的平均 error 低于 deterministic shared-score d=1,但预声明联合 gate 未通过:11/20 wins,sign-test p=0.4119。 因而不能把这条均值差独立归因于 probabilistic UnitDistribution;更稳妥的事实是,两个 rank-one 模型都输给 unrestricted Direct。

05 claim ledger

结果没有把方法清零,它把价值边界画得更清楚。

负结果真正有用的地方,是让下一阶段不再围绕一个过强的 universal claim 打转。

现在得到支持

竞争力与条件优势

  • Legacy AB benchmark 的宽泛平均表现可复现
  • Cauchy AB 对 Gaussian twin 与多种 robust learners 保持竞争力
  • exact aligned rank-one truth 下,partial pooling 可以带来有限样本优势
  • declared same-token world 内,joint-law cancellation 结果仍成立
本轮被反转

无需条件的迁移

  • Exact-rank-one 的 synthetic 优势不会自动外推到 IHDP
  • rank-one bottleneck 不是普遍有利的 regularizer
  • 参数匹配并不能消除 geometry misspecification
仍未解决

Unit-specific attribution

  • Probabilistic UnitDistribution 是否独立优于 deterministic reduced-rank representation
  • 何种可观测 diagnostics 能在训练前判断共享 geometry 是否合适
  • 多 mechanism 与 repeated evidence 是否会放大 token reuse 的价值
本实验没有检验

不要跨过 truth boundary

  • latent U 的真实恢复或唯一坐标
  • same-token coupling 的 factual identification
  • 真实个人的两个 counterfactual outcomes
  • hidden confounding 下的 causal identification
06 · AUDIT & REPRODUCIBILITY

负结果也按 confirmatory evidence 保存。

Source、config、analysis、data hashes、split、restart seeds 与 success gates 均在运行前冻结;没有按 replication 选择性重跑。 Canonical evidence 保留 60 个 selected rows、180 个 restart rows及完整 manifests。

0–9legacy factual tuning
100–199original benchmark
200–249fresh legacy matrix
250–269frozen confirmatory
Protocol correction 与实现审计
新 split471 / 201 / 75

reference CFRNet 口径,三个模型逐 replication 共享。

旧 runner 实际 split470 / 202 / 75

旧结果按真实执行状态保留,没有追溯改写。

测试114 passed

覆盖 protocol、model parity、oracle isolation、restart 与 artifacts。

选择纪律factual-only

hidden response surfaces 不参与任何模型选择。

NEXT STAGE

下一步不只是堆更多相同样本,而是检验“可复用 token structure”本身。

更有信息量的实验是 crossed token × mechanism:同一个 latent token 跨多个 mechanism 被重复使用,并同时设置 shared-token 与 redraw negative control。 如果 Unit Abduction 的价值确实来自 token reuse,优势应随 mechanism 数量、paired evidence 与跨任务复用增强,并在破坏 shared-token ontology 时消失。