Learning DiscoSCM K=1 实验设计 · V1

One factual outcome per unit · many sealed counterfactuals

一条事实,
多个反事实

对每个 test unit,模型只看见一次真实经历 \((W,A^F,Y^F)\)。它必须固定由这次事实形成的 unit posterior, 再回答同一个 unit 在其他行动 \(A^Q\) 下会怎样。这里的 cross-world coupling 会公开冻结并同等提供给所有模型,不伪装成由 K=1 数据自动识别。

当前状态 proposal_only / unrun

这是下一轮优化实验的设计提案,不是已经产生的新结果。

同一个 test unit 左边公开一次;右边密封到最后

Learner 可见

背景\(W_i\)256D · pre-action
事实行动\(A_i^F\)8D · observed
唯一结果\(Y_i^F\)K = 1
abduct once \(Q_i^{X,Y}(dz)\)

Evaluator 密封

actual realization\(U=u_i,\ R=r_i\)
\(A_{i1}^Q\)\(Y_i^*(A_{i1}^Q)\)
\(A_{i2}^Q\)\(Y_i^*(A_{i2}^Q)\)
\(A_{i32}^Q\)\(Y_i^*(A_{i32}^Q)\)

查询时只公开 \(A^Q\);对应 \(Y^Q\) 直到评分才启封。

K = 1outcome / unit
64Dactual unit state
256Dproxy evidence W
8Dcontinuous action
32sealed queries
10confirmatory DGPs
01

Observation regime

K=1 不变:
每个人只公开一个结果

K=1 限制的是每个 unit 的 outcome evaluations 数量,不是数据集人数, 也不是行动前 evidence 的维度。我们从很多人的一次经历中学习共享机制, 但绝不把同一个人不同 treatment 下的 outcomes 偷渡进训练集。

unit pre-action evidence factual action observed outcome alternative outcomes
i = 001\(W_{001}\)\(A^F_{001}\)\(Y_{001}^F\)sealed
i = 002\(W_{002}\)\(A^F_{002}\)\(Y_{002}^F\)sealed
i = 003\(W_{003}\)\(A^F_{003}\)\(Y_{003}^F\)sealed
很多不同 units每人一次每人一个从不训练
最容易误解的地方 一个 \(Y^F\) 通常不能精确破解 64 维 \(U\)。

\(W\) 提供高维初始认识;\((A^F,Y^F)\) 只负责沿着与本次 response 有关的方向更新 posterior。 评测目标是 hidden counterfactual prediction,不是 latent coordinates 逐维复原。

02

Truth firewall

训练、查询、评分
三道门必须分开

模型可以知道问题 \(A^Q\),否则它不知道要回答什么;但它永远不能看见答案 \(Y^Q\)。 Hidden truth 也不能悄悄进入 early stopping 或 hyperparameter tuning。

  1. 01
    训练门

    每个 train unit 只有 \((W,A^F,Y^F)\),所有模型只用 factual likelihood。

    no counterfactual labels
  2. 02
    查询门

    对一个 test unit 先 abduct 一次;evaluator 再逐个提交 32 个 \(A^Q\)。

    A^Q is the question
  3. 03
    评分门

    模型输出锁定后,才打开对应的 hidden \(Y(A^Q)\) 计算 proper score。

    Y^Q stays sealed
Development 5 个公开 DGP seeds

用于 debug、容量选择与 practical threshold 校准。

Confirmatory 10 个全新密封 DGP seeds

模型、分析与 gate 冻结后才运行和启封。

03

Abduction → action → prediction

K=1 能提出 query,
却不能凭空学出 coupling

很多 units 的一次经历可以约束每个 action 下的 outcome marginals;但 same-unit ex-post prediction 还需要不同 potential outcomes 之间怎样共同变化。后者不是 K=1 factual likelihood 自动交付的答案。

不可越过的识别墙
\[ \big\{P(Y(a)\mid W):a\in\mathcal A\big\} \;\not\Rightarrow\; P\!\left(Y(a),Y(a')\mid W\right). \]

两个 worlds 可以拥有完全相同的 \(P(W,A^F,Y^F)\),却给出不同的 \(P(Y(A^Q)\mid W,A^F,Y^F,A^Q)\)。所以本 benchmark 公开并冻结一个 shared-state coupling family(其中 \(R\) channel 为 rank one);它测试的是该 family 下的 inference 与 factorization,不声称从 K=1 无假设地发现了 coupling。

Step 1 · population learning 很多人的一次经历

用不同 units 的 \((W,A^F,Y^F)\) 学习 marginals、nonlinear mechanism 与 unit prior。

Step 2 · factual abduction 事后更新这个人

在公开 coupling family 下形成 \(Q_i^{X,Y}(dz)=q_\phi(dz\mid W_i,A_i^F,Y_i^F)\)。积分变量 \(z\) 是 learned response state,不宣称等于 actual \((U,R)\) coordinates。

Step 3 · alternative action 固定人,只换行动

所有 \(A^Q\) 复用同一个 posterior 与同一个 declared coupling;不能为每个 query 重新“认一个人”。

Ex-post target · conditional on declared coupling \(\mathcal K\)
\[ p\!\left(Y_i^*(A_i^Q)\mid W_i,A_i^F,Y_i^F,A_i^Q;\mathcal K\right) =\int p_\theta\!\left(Y_i^*(A_i^Q)\mid z,A_i^Q\right) q_\phi\!\left(dz\mid W_i,A_i^F,Y_i^F\right). \]
Track A · marginal / ex-ante

K=1 factual data 直接约束

不使用尚未发生的 \(Y^F\),学习 \(p(Y^*(a)\mid W,a)\);它是必须报告的 information baseline。

p(Y*(a) | W, a)
Track B · ex-post, coupling-conditioned

本页的主要结构检验

允许用 \(Y^F\) 更新 posterior,但所有模型共享公开冻结的 coupling family \(\mathcal K\)。

p(Y*(a) | W, A^F, Y^F, a; K)
识别边界 K=1 是正确观测制度,但 K=1 本身不识别 individual counterfactual。

本 benchmark 依赖预先声明的 shared mechanism、proxy evidence、overlap 与 shared-state coupling(其中 \(R\) channel 为 rank one)。它检验模型在这些假设下能否有效 inference,不证明 coupling 由 K=1 数据学出,更不证明现实数据自动拥有 individual counterfactual answers。

04

Make high dimension observable

不是把 4 改成 64,
而是让 64 维真的有用

旧实验的 scalar query + bilinear decoder 最终主要暴露 unit 的截距与斜率两个投影。 新 DGP 必须让不同 query regions 激活不同 unit directions,形成真正高秩的 nonlinear response surface。

旧设计的有效复杂度

旧 primary location:约 2 个投影

旧 primary location endpoint 代数上退化为 \(A(W)+xB(W)\);full scale / CDF 仍可能保留额外几何,但没有形成 factorization advantage。

新设计的有效复杂度

64D latent,多方向 response

8D action、gating、saturation、sinusoidal 与 pairwise interactions 共同决定 response。

01 · actual unit \(U=u_i\in\mathbb R^{64}\)

actual world state,不向 learner 公开。

02 · four proxy views \(W_i\in\mathbb R^{256}\)

四个 nonlinear pre-action views;有信息但不泄露 exact \(U\)。

03 · continuous action \(A_i\in[-1,1]^8\)

Primary 使用 randomized / stratified assignment 与明确 overlap。

04 · hidden response \(Y_i^*(a)=m_*(u_i,a)+\lambda_*(u_i,a)r_i\)

\(R=r_i\) 是该 unit 的 1D shared coupling realization;\(u_i,r_i\) 跨 actions 固定。

研究者细节:闭合的 likelihood、coupling 与 effective-rank gate

\[ U\sim\mathcal N(0,I_{64}),\quad R\sim\mathcal N(0,1),\quad U\perp R, \] \[ U=u_i,\quad R=r_i,\qquad Y_i^*(a)=m_*(u_i,a)+\lambda_*(u_i,a)r_i,\qquad 0<\lambda_*\leq\lambda_{\max}, \] \[ Y_i^F=Y_i^*(A_i^F)+\sigma_{\mathrm{obs}}\varepsilon_i^F,qquad \varepsilon_i^F\sim\mathcal N(0,1). \] Factual measurement noise 是 independent fresh noise,只污染唯一 factual record; evaluator 评分的是 noise-free structural \(Y_i^*(A_i^Q)\),query 时不重新抽 noise。

High-dimensional \(m_*\) 使用 sinusoidal、saturation、threshold、gating 与 pairwise interactions。Rank 不用 raw latent coordinates 计算:先在 whitened metric 下形成 \(\widetilde J=J\Sigma_U^{1/2}\),再用 test-query response covariance 的 function-space effective rank 复核。Preflight 暂定 median rank 为 24–32、top-4 energy 低于 50%;learner latent sweep \(d\in\{4,16,64,128\}\) 应出现 underfit → improve → plateau。

05

One complete run

一次实验,严格六步

训练阶段没有反事实标签。Ex-post competitors 只能用合法 factual marginal likelihood;hidden structural truth 只存在于 synthetic evaluator 中。

  1. 01
    生成 units

    生成 \(U,R,W\)、measurement noise 与完整 structural potential response surface。

    world only
  2. 02
    只公开一次事实

    抽一个 \(A^F\),公开 \(W,A^F,Y^F\),封存其余 outcomes。

    events_per_unit = 1
  3. 03
    按 unit 切分

    50k train / 10k validation / 10k test;同一 unit 绝不跨 split。

    no identity leakage
  4. 04
    只用 factual marginal likelihood 训练

    每个 train unit 只贡献 \(p_\theta(Y^F\mid W,A^F)\);禁止把同一个 \(Y^F\) 同时当 predictor input 与唯一 supervised target。

    single-point likelihood
  5. 05
    固定 factual posterior

    每个 test unit 只 conditioning 一次,再由同一 posterior draw 联合回答 32 个 \(A^Q\)。

    one joint draw
  6. 06
    启封并评分

    模型、coupling contract 与分析规则冻结后,才打开 hidden \(Y^*(A^Q)\)。

    score after freeze
Train50,000factual units
Validation10,000factual only
Test10,000held-out units
Per test unit 16 + 16 overlap interpolation + outside-joint-support structural extrapolation
06

Fair comparisons

Unit 要赢的不是弱基线,
而是同信息的强对手

Strict K=1 下,普通 supervised Direct ex-post 与 standard CNP 没有 disjoint context–target pair。合格的 ex-post baseline 必须先定义一个 joint generative/function prior, 用单点 marginal likelihood 训练,再在 test 时用唯一 factual record 做 posterior conditioning。

model可用信息它检验什么
Marginal Direct / Varyingp(Y|W,A)Track A 的 ex-ante information baseline;不使用 \(Y^F\)
Conditional GP / deep kernelp(F|W), one-point likelihood共享冻结 coupling/kernel 后做合法 Bayesian conditioning
Generic latent-function priorp(z|W), p(Y|z,A)Generic same-unit latent factorization;没有 DiscoSCM-specific unit/shared-state/mechanism decomposition
Y-blind Unitq(Z|W), A^Q\(Y^F\) 是否真的提供增量信息
Structured DiscoSCM Unitcondition once → joint query显式 learned unit state / shared response state / action mechanism decomposition 的增量价值
Bayes ex-ante oraclep*(Y*|W,AQ)不用 factual response 的最优风险
Bayes ex-post oraclep*(Y*|W,AF,YF,AQ)Gate 1 所需的 factual-information ceiling
Clairvoyant \((U,R)\)evaluator-only actual state精确 structural target;只做 DGP/decoder sanity check
所有合格 ex-post models 的训练接口

\[p_\theta(Y^F\mid W,A^F)=\int p_\theta(Y^F\mid z,A^F)p_\theta(dz\mid W)\]

\[q_\phi(Z\mid W,A^F,Y^F)\Rightarrow Y^*(A^Q_{1:32})\]

\(Z\) 是 response-relevant learned state,不与 actual \((U,R)\) 画等号;32 个 queries 必须由同一 posterior draw 联合生成。
Generic baseline \(z\rightarrow f_\theta(z,a)\)

一个 generic same-unit latent function;不拆解 response state 与 action mechanism。

Candidate structure \(m_\theta(Z^{u},a)+\lambda_\theta(Z^{u},a)Z^{r}\)

显式分离 learned unit state、shared-response update 与 action mechanism;\(Z^u,Z^r\) 仍不等于 actual \(U,R\) coordinates。

不合格 baseline Naive Direct ex-post / standard CNP

把 \(Y^F\) 作为 predictor/context,又以同一个 \(Y^F\) 作为唯一 supervised target, 只会产生 identity shortcut;不输入 \(Y^F\) 又退化成 ex-ante。除非引入外部 K>1 calibration data,或重写为有明确 single-point marginal likelihood 的 generative prior, 它们不能参加 strict K=1 primary comparison。

07

Do not run before the task is discriminative

先证明这个 benchmark
值得跑

四道 preflight gate 任何一道失败,都应该修 DGP、缩小 claim 或补足识别数据,而不是继续烧 confirmatory compute。

K1-A0 · assumption audit Coupling identifiability

审计是否存在 factual law 相同、ex-post counterfactual law 不同的两个 models。若存在,必须公开缩小 coupling family、增加识别数据,或把结论降级为 under declared prior。

Gate 1 Oracle information

Bayes ex-post risk 必须明显低于 Bayes ex-ante risk,并分别在 overlap interpolation 与 held-out structural extrapolation 报告。

Gate 2 Effective rank

Whitened latent Jacobian 与 response-space covariance 都必须显示多个 unit directions,而不是 64D 外壳下的低秩任务。

Gate 3 Clairvoyant exactness

给 actual \((U,R)\) 后必须精确返回 noise-free structural target(除数值误差);否则 DGP、decoder 或 metric 有问题。

Co-primary scores

Marginal CRPS + 32D joint proper score

逐点 CRPS 只检验 conditional marginals,不能证明 coupling 正确。因此 joint energy score 与 dependence-sensitive variogram score 进入 gate;所有模型必须用同一 posterior draw 生成完整 32D vector。16 个 overlap-interpolation 与 16 个 outside-joint-support structural-extrapolation queries 分开报告,后者不扩大现实识别结论。

Paired effect per DGP seed
\[ \Delta_{s,b}=\log \frac{\mathrm{Score}_{b,s}} {\mathrm{Score}_{\text{Unit},s}},\qquad b\in\mathcal B_{\mathrm{eligible}}. \]

不在 confirmatory seed 上现场选择“最好 baseline”;要求 Unit 对所有合格 generative baselines 的 simultaneous intervals 都通过。

Confirmatory success 五项必须同时满足
  1. 01

    对每个 eligible baseline,mean \(\Delta_{s,b}>0\)

  2. 02

    multiplicity-controlled simultaneous 95% interval 下界均 \(>0\)

  3. 03

    对每个 eligible baseline,至少 9/10 个 DGP seeds 获胜

  4. 04

    超过 confirmatory 前冻结的 practical threshold;interpolation / extrapolation 不混写

  5. 05

    marginal 与 joint score gates 均通过,negative controls 全通过

Negative controls
No response heterogeneity

令 \(m_*\) 不依赖 \(U\) 且 \(\lambda_*=0\);response-informed advantage 不应出现。

Shared-R-only

移除 U-driven heterogeneity、保留公开 \(R\) coupling;验证合法 factual update。

Permuted \(Y^F\)

所有 response-informed models 使用同一 permutation;相对 Y-blind 的增益应消失。

Uninformative \(Y^F\)

用独立 factual noise channel 替换 shared residual,模型不应假装得到 target information。

Coupling-equivalent pair

相同 factual marginals、不同 hidden coupling;作为预期不可识别的 honesty stress test。

Low-rank / weak-proxy

降低 response rank 或 proxy information 时,优势与 calibration 应诚实退化。

08

What a win would—and would not—mean

结果边界先写下,
再让数字说话

这页描述的是可证伪设计,不预支成功叙事。

如果 Unit 获胜,可以说
  • 在公开冻结的 shared-state coupling family(其中 \(R\) channel 为 rank one)下,DiscoSCM-specific structured parameterization 改善了 K=1 ex-post structural counterfactual prediction。
  • 优势同时超过拥有相同信息、预算与合法 single-point likelihood 的 GP / generative-function baselines。
  • 优势通过 hidden DGP seeds 与 negative controls,而不只是单一 random seed。
×仍然不能说
  • 现实数据中的 actual latent coordinates 已被恢复。
  • individual counterfactual 在无额外假设下已被识别。
  • cross-world coupling 是由 K=1 factual records 学出来的。
  • DiscoSCM 在所有 causal tasks 上优于现有方法。
  • 高维 latent 本身自动带来优势。

读者最可能问的八个问题

K=1 是不是整个训练集只有一条数据?

不是。训练集有很多 units;每个 unit 只贡献一次 factual action–outcome observation。

模型是否看见了反事实答案?

没有。\(A^Q\) 在查询时作为问题输入,\(Y^Q\) 始终密封到最后评分。

一个 \(Y^F\) 能还原 64 维 \(U\) 吗?

通常不能。\(W\) 承担主要高维 evidence,\(Y^F\) 只更新 response-relevant posterior directions。

为什么没有普通 Direct ex-post / standard CNP?

Strict K=1 下没有 disjoint context–target pair。把唯一 \(Y^F\) 同时当输入和 target 会形成 identity shortcut;合格 baseline 必须改写为用 single-point marginal likelihood 训练的 generative function prior。

\(W\) 和 \(A\) 到底有什么不同?

\(W\) 是行动前已经存在、跨 query 保持不变的 unit evidence;\(A\) 是实验中被改变和询问的 action。把 action 本身当成唯一 evidence,无法说明这是哪个 unit。

为什么不能对每个 \(A^Q\) 重新运行 encoder?

因为那可能随 query 改变 unit identity。Same-unit counterfactual 必须复用 factual abduction。

为什么必须固定 event-noise coupling?

本设计公开固定 1D shared state \(R\),跨 actions 保持不变;factual measurement noise 则不复用。若每个 query 重新抽 response state,评测的只是新事件 prediction,而不是同一次 structural counterfactual。

Synthetic counterfactual 是真实世界因果证据吗?

不是。它提供可审计的 hidden ground truth,用来检验算法在声明世界中是否工作。

不要混淆两页 已执行的 Y-shuffle 实验:1,400/1,400 完成,正式结果为 not_confirmed