Causal Regression
学习给定协变量的响应分布。推断时只需要一个预测世界。
Cauchy AB-HTE 将 Causal Regression 的 abduction 结构带入 binary-treatment HTE estimation: 把协变量 X=x 当作 factual evidence,对同一个实际 token U=u* 做 abduction,再用 treatment-indexed mechanism 估计 Y(0)|X 与 Y(1)|X 的条件边缘分布。训练仍是 end-to-end factual likelihood; 评估则严格区分 synthetic oracle、semi-synthetic response surface 与 real RCT 三种 truth layer。
新的 50 个 IHDP replications 保住了 AB 的宽泛平均表现;更严格的 20-rep matched audit 则显示:当 one-score restriction 与 response surfaces 错配,approximation bias 会超过 partial-pooling 收益。
阅读最新可靠性审计Original → fresh AB error
Direct vs AB d=1
Direct replication wins
有竞争力、依赖结构;不是普遍精度冠军。
Shared rank-one geometry 改善 rare treated arm 下的 location-effect recovery; declared same-token coupling 让 fixed abduction 消掉 contrast 中的 common-mode latent uncertainty。 后一条不是 factual identification:使用完全相同的数据与 checkpoints,只把 oracle 换成 independent-token coupling,赢家就会反转。
回看条件优势条件优势,不是 AB 对 flexible Direct HTE 的普遍 dominance。
先用中文导读快速掌握 Binary Treatment 论文的问题设定、方法路径与证据边界,再按需查阅英文原稿。
原始 Causal Regression 解决普通的 X → Y。这篇工作加入处理变量 T, 目标不再只是 factual prediction,而是先从 factual x 对同一个 token 做一次 abduction,再固定这个结果查询两个 treatment worlds 的位置差。 但 observational / RCT data 对每个 unit 仍只给一个 factual outcome;模型输出两个世界, 不等于数据提供了 individual-effect ground truth。
学习给定协变量的响应分布。推断时只需要一个预测世界。
训练只观察 factual arm;推断时分别干预 T=0 与 T=1,再比较两个位置参数。
Cauchy 均值通常不存在,所以主 estimand 是 conditional median / location effect, 不是普通 mean CATE。Observational causal interpretation 还需要 consistency、 conditional exchangeability 与 positivity;缺失这些条件时,factual loss 只拟合两个 arm 的观测响应。
对条件独立的 Cauchy latent coordinates 做仿射组合,分布族保持不变。 location 线性传播,scale 按系数绝对值相加;训练不需要 Monte Carlo latent samples。 这里 location 不是 mean、scale 不是 standard deviation;非退化 Cauchy 没有有限 mean/variance。 重尾表示 learner 不会只因 candidate embedding 离典型位置很远就迅速排除它,并不保证机制能生成任意 outcome。
稳定分布的闭包性质
尺度精确传播
factual likelihood 可微
世界里已有 U=u*;Encoder 输出对这个固定 token embedding 的 epistemic result。一般可用 point、Gaussian 或 Cauchy;本文实证后两种。
固定 factual abduction result,不用 alternative treatment 重新识别 unit;只改变 t 查询 Yu(t)=fθ(t,E;u)。
每个样本只选择实际观察到的 arm;梯度同时更新 φ 与 treatment mechanism parameters。
我们不把 factual prediction error 冒充 ITE accuracy。每个 benchmark 先声明可访问的 truth, 再决定允许报告的指标;只有 synthetic / semi-synthetic oracle 才计算 effect error。
已知两个 potential-outcome location,允许报告 effect MedAE、排序与 oracle policy regret。
benchmark 提供 μ1(x)−μ0(x),这是模拟 response surface,不是真实儿童的 individual effect。
只报告 factual fit、randomized ITT、marginal contrasts 与 cross-fitted policy point value;没有 ITE truth,也不声称 formal learned-policy inference。
Train 与 validation 使用同一 operator / rate,但独立采样位置、donors 与 signs,因而 early stopping 和 checkpoint selection 也在 stress test 内。10 个 frozen seeds 的 oracle effect 只在最终 clean test 上打开。
| Estimator | Family | Clean | Global shuffle | Outlier | Systematic |
|---|---|---|---|---|---|
| Cauchy AB-HTEproposed | Cauchy | 0.071 ± 0.003 | 0.103 ± 0.010 | 0.086 ± 0.005 | 0.125 ± 0.009 |
| Gaussian AB-HTE | Gaussian | 0.065 ± 0.003 | 0.186 ± 0.010 | 0.206 ± 0.006 | 0.115 ± 0.011 |
| Cauchy S | Cauchy | 0.065 ± 0.003 | 0.099 ± 0.010 | 0.084 ± 0.005 | 0.119 ± 0.009 |
| Huber S | Point | 0.057 ± 0.003 | 0.131 ± 0.013 | 0.128 ± 0.006 | 0.089 ± 0.006 |
clean-test effect MedAE · mean ± SE over 10 frozen seeds · lower is better
Appendix 另用同一 grid 保留 clean-validation oracle:Cauchy AB-HTE 五个 operator 的 macro MedAE 为 0.105,对比主协议 0.111(paired gap +0.006 ± 0.002)。它只分解 checkpoint-selection fragility,不作为主 robustness result。
ρ=0.4 时,Cauchy AB-HTE 的 treatment-flip / arm-differential MedAE 为 0.198 / 0.646;direct Cauchy S 为 0.179 / 0.700。系统性伪造 arm contrast 仍会严重伤害 effect estimation。
Cauchy AB-HTE 在 randomized / observed-confounding / hidden-confounding 三种 DGP 上的 MedAE 是 0.071 / 0.072 / 1.445。最后一项超过 20×,是识别边界证据,不是 leaderboard condition。
Cauchy AB-HTE effect MedAE 0.787 ± 0.022、Spearman 0.820;优于 Gaussian AB-HTE 0.912,但落后 TARNet 0.699 与 CFR-style MMD 0.700。这里的 truth 来自 benchmark μ surfaces。
同一 factual fit 下,independent / shared realization 的 predicted effect scale 为 0.372 / 0.067,而声明的 target scale 为 0.353 / 0.153。效应分布需要额外 coupling 假设。
官方 1986-W40—1987-W18 窗口 n=4,218(1,606 ER;2,612 pooled Control/NWS comparator), treatment-blind 5-fold out-of-fold evaluation。随机化 mean ITT 为 118 ± 366 美元(estimate ± SE)。
| Estimator | Factual MedAE | Factual NLL | Policy − assign ER |
|---|---|---|---|
| Cauchy AB-HTE proposed | 5,918 | 10.725 | +0.005 |
| Gaussian AB-HTE | 6,308 | 10.522 | −0.008 |
| Cauchy S | 5,943 | 10.731 | −0.007 |
| TARNet | 6,310 | — | +0.012 |
| CFR-style MMD | 6,314 | — | +0.013 |
earnings dollars for factual MedAE · bounded-utility policy point contrast · no formal learned-policy CI
这里不是公式陈列,而是一条可检查的推导链。每一步都明确写出输入、变换、结论, 并把模型代数、统计恢复与因果识别分开。
令各坐标条件独立,Uj|x ~ Cauchy(μj, γj)。其特征函数为:
独立变量仿射组合的特征函数相乘,因此:
Cauchy(m,s) 的中位数与 location 都是 m,但当 s>0 时普通期望不存在。因此:
两个条件边缘分布的 median / location contrast。
E[Y(1)−Y(0)|X=x];非退化 Cauchy effect 没有普通均值。
正权重与 positivity 让两个 arm 都进入 population risk;KL 等号只在响应核相同时成立。
这里比较的是同一个 token 下的两种 event-noise coupling;两者共享同一个 location,却有不同 scale 与 benefit probability。当 shared scale 为 0 时是 point mass,而不是正尺度 Cauchy。factual data 本身不能替我们选择 coupling。
另见:same-token 与 independent-token 的阶段性实验 →| 对象 | 状态 | 需要什么 |
|---|---|---|
| Ft(y|x), τloc(x) | identified | consistency + exchangeability + positivity |
| mt(x), st(x) | risk-recovered | correct Cauchy specification + population optimum |
| joint law of Y(0),Y(1) | not point-identified | 额外 cross-world coupling |
| latent U coordinates | model-implied | anchors 或额外测量 |
| standard CATE | undefined here | 换用具有有限均值的 effect law |
implementation 是独立 clean-room package;旧 Causal Regression repository 只作为 provenance 与比较表面, 不被 import、复制或作为运行依赖。每个 output 同时写入 config、sample audit 与 truth-boundary record。
查看完整假设、推导与附录uv sync --extra dev
uv run pytest
uv run python \
experiments/render_confirmatory_report.py
uv run python \
experiments/render_paper_tables.py