01 · The contract
一个 actual token,不等于一个确定预测
世界侧先有 \(U=u^\star\)。给定 \(X=x,E=e\),真实 unit outcome 是 \(Y=f_\theta(x,e;u^\star)\);样本编号不参与计算。学习侧看不见 \(u^\star\):它只看到 predictors \(X=x\),必须先做 unit abduction,再调用 generator。
当前样本暴露的 factual evidence。
Point、Gaussian 或 Cauchy。
同一个 \(x\) 再作为 factual query。
综合 candidate outcomes。
一一表征不等于已经识别
token 与 embedding 的一一关系是 ontology,不是 one-shot fit 的结论。并且 \(u\mapsto[x\mapsto p_\theta(y\mid x,u)]\) 不要求 injective:不同 units 可以拥有不同 representations,却 response-equivalent。
ordinary observational prediction 中,同一个 \(x\) 一方面是判断 candidate token 的 evidence,另一方面是 unit mechanism 的 factual query;数值相同,不会把两个角色合并。
学习对象:shared unit-response family。
预测对象:reduced conditional response。
02 · Current default tractable model
复杂 neural abduction,简单 bilinear response
当前 abduction network 直接输出 factorized Cauchy law 的 location 与 scale:
共享的 outcome mechanism 是:
固定一个 candidate \(u\) 后,它决定一条 affine unit-response function:
令 \(g(x)=a+B^\top x\)。在 independent factorized-Cauchy construction 下,reduction 不需要 latent sampling:
Identity map \(I\mapsto u\) 的 injectivity 不推出 response map \(u\mapsto[x\mapsto p_\theta(y\mid x,u)]\) injective。\(m\) 是 Cauchy location(median / mode),不是 mean;\(s\) 是 scale,不是 standard deviation。ordinary prediction 令 \(o=x\),但 \(\mu_\phi(x),\gamma_\phi(x)\) 可以高度 nonlinear,因此总体 predictive distribution 并不是线性回归。
03 · Why this asymmetry?
把复杂性放在 inverse side,把结构留在 response side
为什么 abduction 是神经网络?
从有限、高维、含噪 evidence 判断 actual unit 的哪些 candidate representations 仍 plausible,是困难的 inverse problem。我们允许 \(g_\phi\) 复杂,希望它找到能把 downstream unit response 线性化的 coordinates。
为什么 response 保持线性?
每个 unit 只有一次 factual target,无法独立拟合任意曲线。bilinear family 让 units 共享参数,同时保留 unit-specific intercept 与 slope,并形成可检验的低秩 coefficient geometry。
为什么当前选择 Cauchy?
它把 affine stability 与 heavy-tail likelihood 放在一起,并且不让“离典型个体很远”本身成为快速排除 candidate mechanism 的理由。它有 location / scale,没有有限 mean / variance。
为什么不是“Cauchy 更 causal”?
Gaussian 同样 affine-closed,在 light-tailed data 中可能更有效率。现有稿件只支持特定 corruption setting 的 robustness signal;不支持 universal superiority、factorization recovery 或 causal identification。
开放 candidate mechanisms,不等于 outcome universality
Cauchy 表达 learner 对同一个 actual token 的重尾 epistemic uncertainty,不是 world-side identity redraw。它也不保证任何 unit 都能生成任何 outcome;可生成的 outcomes 仍由 \(f_\theta(x,E;u)\) 与 \(E\) 的 support 决定。
Simple candidate-level responses can induce a complex conditional response
fixed-\(u\) linearity 约束的是 unit-conditioned mechanism;最终 \(m(x,x),s(x,x)\) 仍通过 neural \(\mu_\phi(x),\gamma_\phi(x)\) 高度 nonlinear / heteroscedastic。复杂性没有消失,而是被有意识地分配给 abduction。
先前 Causal Regression 投稿使用 \(Y=f(U,\varepsilon)\) 的 no-explicit-input 特例。它提供 expressive representation + linear Action + Cauchy propagation 的早期 rationale,但不能反过来定义一般 unit-response function。
04 · Prediction objects
单点 marginal、function law 与 joint curve,不是一件事
同一个 \(x\) 有两个角色
先用 \(X=x\) 得到 \(\widehat u_\phi(x)\) 或 \(q_\phi(u\mid x)\),再用同一个 \(x\) 查询 generator。这是 factual likelihood 直接约束的普通预测对象。
固定 factual abduction result
actual unit 不变;learner 保持 factual \(x\) 给出的 point / Gaussian / Cauchy result,只把 query 改为 \(x_\star\)。绝不从 \(x_\star\) 重新 abduce。
派生,不是主输出
可把 \(q_\phi(u\mid x)\) 通过 \(u\mapsto[x'\mapsto p_\theta(y\mid x',u)]\) push forward。它会合并 response-equivalent candidate units。
普通 prediction 不需要
只有明确要生成一条跨 queries 的 coherent sampled curve 时,才从固定 factual abduction law 抽一次 candidate \(u\) 并复用;joint outcomes 还要声明 noise coupling。
05 · One-shot evidence gate
一个 factual point,不能验证整条 unit function
每个 sampled unit / episode 只贡献一次 factual target。跨 unit 共享结构使 predictive distribution 可以学习,却不让 identity map、latent coordinate 或 decomposition 自动可识别。只观察 factual \(p(y\mid X=x)\) 时,same-unit alternative-query prediction 是由 family restriction 与 support 支撑的结构外推。
可以直接验收
- response NLL / CRPS
- quantile 与 interval calibration
- tail behavior 与 support 内泛化
不能由 factual fit 推出
- 唯一或真实的 latent \(U\)
- 完整 unit-function recovery
- causal / counterfactual identification
06 · Method coordinates
不是新发明 unit-specific functions,而是把组合契约写清楚
| 方法家族 | 最近的结构关系 | 关键差别 / 借鉴 |
|---|---|---|
| Varying coefficients | observed modifier 决定 intercept / slope | deterministic point-representation special case;通常不推断 actual unit identity |
| Random coefficients / mixed effects | known subject / group 下的 random coefficients | 经典 subject-specific latent-effect inference;常依赖 identity label 或 repeated outcomes |
| RECaST | Cauchy random effect 校准 source → target mapping | Cauchy-specific 组件级近邻;random effect 是 mapping ratio,不是 evidence 对 latent unit identity 的 candidate abduction |
| Mixtures of experts | gate 混合简单 experts | 离散 \(U\) 时计算形状接近;expert 通常是 response type,不自动等于一个 latent unit |
| Amortized latent inference | encoder 输出 \(q_\phi(U\mid O)\) | 最接近 candidate-representation abduction machinery;本页不默认 prior + KL |
| Neural Processes / Hypernetworks | evidence / task code 直接诱导 function | function distribution 可是 primary object;本页的 function law 只是 \(q(U\mid O)\) 的 pushforward |
| Direct conditional density | 直接学习 \(p(y\mid O,x)\) | 必须保留的 observational benchmark |
| HTE / SCM | treatment-indexed response 与 world semantics | 加入 design、identification、stability 和 coupling 后才成为 causal specialization |
更完整的方法谱系与原论文证据保留在叙述性综述。该综述覆盖更广的 function-level setting;当前默认模型与 prediction contract 以本页为准。
07 · Extensibility
Cauchy-bilinear 是默认起点,不是最终答案
| 维度 | 当前默认 | 候选扩展 | 新增义务 |
|---|---|---|---|
| Identity contract | modeled unit ↔ stable \(u^\circ\)(assumed) | response-equivalence type、nonminimal code、set-valued representation | 定义 unit / equivalence;区分 ontology 与 identification |
| Abduction | point / factorized Cauchy | Gaussian、Student-(t)、mixture、flow | tail / multimodality calibration;分清 location/scale 与 moments |
| Unit space | continuous \(U\) | discrete / hybrid types | label switching、collapse、type semantics |
| Response | bilinear / affine | shared basis、splines、GLM、neural mechanism | complexity control 与 stronger evidence |
| Reduction | exact Cauchy | Gaussian exact、quadrature、Monte Carlo | numerical error 与 sampling variance |
| State | static \(U\) | stable identity + dynamic state | temporal ordering 与 transition model |
Student-(t) 与独立 Student-(t) event noise 相加通常不再同族;nonlinear response 也通常失去当前 closed form。扩展不能只追求 flexibility,还要说明新模型如何训练、校准、证伪。
Seed · 暂不展开同一物理实体出现多条 records 时,one-shot 如何定义?
若 records 含同一 response function 的其他 outcomes,它们就是 additional evaluations;若只是 pre-query evidence,可进入 \(O_i\);若 context 改变了 mechanism,则需定义 unit-in-context episode。
Seed · 暂不展开什么额外数据能识别 unit factorization?
Identity encoding 的一一关系是 ontology assumption,不等于 \(h\)、latent coordinates 或 actual \(u\) 已被识别。候选额外证据包括 repeated measures、multi-view proxies、environments、interventions、anchors 与 invariance restrictions。
Seed · 暂不展开更好的 selector / response family 如何竞争?
使用 matched comparison 检查 calibration、tails、same-unit query 与 function-level recovery;不能同时改变 selector、loss 与 response capacity 后归因于某一组件。
Seed · 暂不展开Joint curve 与 cross-world coupling
共享 \(U\) 只给出部分 dependence;joint realized outcome 仍需 event-noise coupling。若 query 是 intervention,还需 causal identification。
The shortest version
一眼记住
世界侧 \(U=u^\star\) 选定 token。learner 把 predictors \(X=x\) 当作 factual evidence,做 point / Gaussian / Cauchy abduction;再把同一个 \(x\) 作为 factual query,调用 \(f_\theta(x,E;u)\) 并预测 \(Y\)。