Unit Mechanism LearningTechnical note

Clarified contract · 2026-07-16

predictors evidence
到 unit outcome prediction

世界侧 \(U=u^\star\) 指定真实 token;learner 只看到 \(X=x\),先做 point、Gaussian 或 Cauchy abduction,再把同一个 \(x\) 作为 factual query 送入 \(f_\theta(x,E;u)\)。

01 · World\(U=u^\star\)
02 · Evidence\(X=x\to \widehat u_\phi(x)\) or \(q_\phi(u\mid x)\)
03 · Generate\(Y=f_\theta(x,E;u)\)
04 · Predict\(p_{\phi,\theta}(y\mid x)\)

01 · The contract

一个 actual token,不等于一个确定预测

世界侧先有 \(U=u^\star\)。给定 \(X=x,E=e\),真实 unit outcome 是 \(Y=f_\theta(x,e;u^\star)\);样本编号不参与计算。学习侧看不见 \(u^\star\):它只看到 predictors \(X=x\),必须先做 unit abduction,再调用 generator。

Predictors evidence\(X=x\)

当前样本暴露的 factual evidence。

Abduction\(\widehat u_\phi(x)\) or \(q_\phi(u\mid x)\)

Point、Gaussian 或 Cauchy。

Generate\(f_\theta(x,E;u)\)

同一个 \(x\) 再作为 factual query。

Prediction\(p_{\phi,\theta}(y\mid x)\)

综合 candidate outcomes。

\[p_{\phi,\theta}(y\mid X=x)=\int p_\theta(y\mid x,u)q_\phi(u\mid X=x)\,du,\qquad p_\theta(y\mid x,u):=\mathcal L_E\{f_\theta(x,E;u)\}.\]
Identity-encoding assumption

一一表征不等于已经识别

token 与 embedding 的一一关系是 ontology,不是 one-shot fit 的结论。并且 \(u\mapsto[x\mapsto p_\theta(y\mid x,u)]\) 不要求 injective:不同 units 可以拥有不同 representations,却 response-equivalent。

ordinary observational prediction 中,同一个 \(x\) 一方面是判断 candidate token 的 evidence,另一方面是 unit mechanism 的 factual query;数值相同,不会把两个角色合并。

学习对象:shared unit-response family。
预测对象:reduced conditional response。

02 · Current default tractable model

复杂 neural abduction,简单 bilinear response

当前 abduction network 直接输出 factorized Cauchy law 的 location 与 scale:

\[(\mu_\phi(O),\gamma_\phi(O))=g_\phi(O),\qquad U_j\mid O\overset{ind}{\sim}\operatorname{Cauchy}\{\mu_{\phi,j}(O),\gamma_{\phi,j}(O)\}.\]

共享的 outcome mechanism 是:

\[Y=\alpha+\beta^\top x+a^\top U+x^\top BU+\sigma E,\qquad E\sim\operatorname{Cauchy}(0,1).\]

固定一个 candidate \(u\) 后,它决定一条 affine unit-response function:

\[r_u(x)=(\alpha+a^\top u)+(\beta+Bu)^\top x.\]

令 \(g(x)=a+B^\top x\)。在 independent factorized-Cauchy construction 下,reduction 不需要 latent sampling:

\[Y\mid O=o,X=x\sim\operatorname{Cauchy}\{m(o,x),s(o,x)\},\]\[m(o,x)=\alpha+\beta^\top x+g(x)^\top\mu_\phi(o),\qquad s(o,x)=\sigma+\sum_j|g_j(x)|\gamma_{\phi,j}(o).\]

Identity map \(I\mapsto u\) 的 injectivity 不推出 response map \(u\mapsto[x\mapsto p_\theta(y\mid x,u)]\) injective。\(m\) 是 Cauchy location(median / mode),不是 mean;\(s\) 是 scale,不是 standard deviation。ordinary prediction 令 \(o=x\),但 \(\mu_\phi(x),\gamma_\phi(x)\) 可以高度 nonlinear,因此总体 predictive distribution 并不是线性回归。

03 · Why this asymmetry?

把复杂性放在 inverse side,把结构留在 response side

Shared structure

为什么 response 保持线性?

每个 unit 只有一次 factual target,无法独立拟合任意曲线。bilinear family 让 units 共享参数,同时保留 unit-specific intercept 与 slope,并形成可检验的低秩 coefficient geometry。

Boundary

为什么不是“Cauchy 更 causal”?

Gaussian 同样 affine-closed,在 light-tailed data 中可能更有效率。现有稿件只支持特定 corruption setting 的 robustness signal;不支持 universal superiority、factorization recovery 或 causal identification。

Heavy-tail boundary

开放 candidate mechanisms,不等于 outcome universality

Cauchy 表达 learner 对同一个 actual token 的重尾 epistemic uncertainty,不是 world-side identity redraw。它也不保证任何 unit 都能生成任何 outcome;可生成的 outcomes 仍由 \(f_\theta(x,E;u)\) 与 \(E\) 的 support 决定。

Modeling bet

Simple candidate-level responses can induce a complex conditional response

fixed-\(u\) linearity 约束的是 unit-conditioned mechanism;最终 \(m(x,x),s(x,x)\) 仍通过 neural \(\mu_\phi(x),\gamma_\phi(x)\) 高度 nonlinear / heteroscedastic。复杂性没有消失,而是被有意识地分配给 abduction。

先前 Causal Regression 投稿使用 \(Y=f(U,\varepsilon)\) 的 no-explicit-input 特例。它提供 expressive representation + linear Action + Cauchy propagation 的早期 rationale,但不能反过来定义一般 unit-response function。

04 · Prediction objects

单点 marginal、function law 与 joint curve,不是一件事

Factual prediction

同一个 \(x\) 有两个角色

先用 \(X=x\) 得到 \(\widehat u_\phi(x)\) 或 \(q_\phi(u\mid x)\),再用同一个 \(x\) 查询 generator。这是 factual likelihood 直接约束的普通预测对象。

Same-unit new query

固定 factual abduction result

actual unit 不变;learner 保持 factual \(x\) 给出的 point / Gaussian / Cauchy result,只把 query 改为 \(x_\star\)。绝不从 \(x_\star\) 重新 abduce。

Function-space view

派生,不是主输出

可把 \(q_\phi(u\mid x)\) 通过 \(u\mapsto[x'\mapsto p_\theta(y\mid x',u)]\) push forward。它会合并 response-equivalent candidate units。

Optional joint sampling

普通 prediction 不需要

只有明确要生成一条跨 queries 的 coherent sampled curve 时,才从固定 factual abduction law 抽一次 candidate \(u\) 并复用;joint outcomes 还要声明 noise coupling。

05 · One-shot evidence gate

一个 factual point,不能验证整条 unit function

每个 sampled unit / episode 只贡献一次 factual target。跨 unit 共享结构使 predictive distribution 可以学习,却不让 identity map、latent coordinate 或 decomposition 自动可识别。只观察 factual \(p(y\mid X=x)\) 时,same-unit alternative-query prediction 是由 family restriction 与 support 支撑的结构外推。

可以直接验收

  • response NLL / CRPS
  • quantile 与 interval calibration
  • tail behavior 与 support 内泛化

不能由 factual fit 推出

  • 唯一或真实的 latent \(U\)
  • 完整 unit-function recovery
  • causal / counterfactual identification

06 · Method coordinates

不是新发明 unit-specific functions,而是把组合契约写清楚

方法家族最近的结构关系关键差别 / 借鉴
Varying coefficientsobserved modifier 决定 intercept / slopedeterministic point-representation special case;通常不推断 actual unit identity
Random coefficients / mixed effectsknown subject / group 下的 random coefficients经典 subject-specific latent-effect inference;常依赖 identity label 或 repeated outcomes
RECaSTCauchy random effect 校准 source → target mappingCauchy-specific 组件级近邻;random effect 是 mapping ratio,不是 evidence 对 latent unit identity 的 candidate abduction
Mixtures of expertsgate 混合简单 experts离散 \(U\) 时计算形状接近;expert 通常是 response type,不自动等于一个 latent unit
Amortized latent inferenceencoder 输出 \(q_\phi(U\mid O)\)最接近 candidate-representation abduction machinery;本页不默认 prior + KL
Neural Processes / Hypernetworksevidence / task code 直接诱导 functionfunction distribution 可是 primary object;本页的 function law 只是 \(q(U\mid O)\) 的 pushforward
Direct conditional density直接学习 \(p(y\mid O,x)\)必须保留的 observational benchmark
HTE / SCMtreatment-indexed response 与 world semantics加入 design、identification、stability 和 coupling 后才成为 causal specialization

更完整的方法谱系与原论文证据保留在叙述性综述。该综述覆盖更广的 function-level setting;当前默认模型与 prediction contract 以本页为准。

07 · Extensibility

Cauchy-bilinear 是默认起点,不是最终答案

维度当前默认候选扩展新增义务
Identity contractmodeled unit ↔ stable \(u^\circ\)(assumed)response-equivalence type、nonminimal code、set-valued representation定义 unit / equivalence;区分 ontology 与 identification
Abductionpoint / factorized CauchyGaussian、Student-(t)、mixture、flowtail / multimodality calibration;分清 location/scale 与 moments
Unit spacecontinuous \(U\)discrete / hybrid typeslabel switching、collapse、type semantics
Responsebilinear / affineshared basis、splines、GLM、neural mechanismcomplexity control 与 stronger evidence
Reductionexact CauchyGaussian exact、quadrature、Monte Carlonumerical error 与 sampling variance
Statestatic \(U\)stable identity + dynamic statetemporal ordering 与 transition model

Student-(t) 与独立 Student-(t) event noise 相加通常不再同族;nonlinear response 也通常失去当前 closed form。扩展不能只追求 flexibility,还要说明新模型如何训练、校准、证伪。

Seed · 暂不展开同一物理实体出现多条 records 时,one-shot 如何定义?

若 records 含同一 response function 的其他 outcomes,它们就是 additional evaluations;若只是 pre-query evidence,可进入 \(O_i\);若 context 改变了 mechanism,则需定义 unit-in-context episode。

Seed · 暂不展开什么额外数据能识别 unit factorization?

Identity encoding 的一一关系是 ontology assumption,不等于 \(h\)、latent coordinates 或 actual \(u\) 已被识别。候选额外证据包括 repeated measures、multi-view proxies、environments、interventions、anchors 与 invariance restrictions。

Seed · 暂不展开更好的 selector / response family 如何竞争?

使用 matched comparison 检查 calibration、tails、same-unit query 与 function-level recovery;不能同时改变 selector、loss 与 response capacity 后归因于某一组件。

Seed · 暂不展开Joint curve 与 cross-world coupling

共享 \(U\) 只给出部分 dependence;joint realized outcome 仍需 event-noise coupling。若 query 是 intervention,还需 causal identification。

The shortest version

一眼记住

世界侧 \(U=u^\star\) 选定 token。learner 把 predictors \(X=x\) 当作 factual evidence,做 point / Gaussian / Cauchy abduction;再把同一个 \(x\) 作为 factual query,调用 \(f_\theta(x,E;u)\) 并预测 \(Y\)。

Review loop

从默认模型继续向外生长

最有价值的反馈是:给出一个更好的 selector / response family,并说明它在 matched evidence 下改善了什么、牺牲了什么。