学习 Unit-Level Response Function

01 · The foundational contrast

先把标准预测对象与 unit response object 分开

经典数据 \(\mathcal D_N=\{(X^{(n)},Y^{(n)})\}_{n=1}^N\) 通常直接估计总体 predictive distribution：

\[\widehat p(y\mid x)\approx p_{\mathrm{obs}}(y\mid X=x).\]

这不是说标准监督学习否认个体差异；而是说它通常直接学习 observed input 到 population law 的映射。这里增加一层结构：每个 observation 背后有一个 latent unit；evidence 只能给出它可能对应哪些 unit representations；每个 candidate \(u\) 决定一条 response function；最终预测仍回到 conditional response。

Case 1 · direct prediction

输入直接映射到总体预测

用 \(N\) 个 observations 学习 \(x\mapsto p_{\mathrm{obs}}(y\mid x)\)。

x → p(y | x)

Case 2 · token mechanism

先认识 token，再生成 outcome

\(X=x\) 先作为 evidence abduct \(u\)，再作为 factual query 调用 \(f_\theta\)。

x → abduct u → f_theta(x,E;u)

Definition

One-shot population

训练数据为 \(\mathcal D_N=\{(O^{(n)},X^{(n)},Y^{(n)})\}_{n=1}^N\)，每行只贡献一个 factual outcome。上标 \(n\) 只是 bookkeeping，不是 unit ontology。

02 · The response object

真正计算 outcome 的是 generator

模型级 unit-selection variable \(U\) 的 realization \(U=u\) 是 token/unit embedding。固定 token 后：

\[Y_u(x)=f_\theta(x,E;u),\qquad p_\theta(y\mid x,u):=\mathcal L_E\{f_\theta(x,E;u)\}.\]

这里 \(f_\theta\) 是生成机制；\(p_\theta\) 只是它对 event noise 诱导的预测分布，不是第二个模型。

关键区别

一个 actual token，多个 candidate embeddings

actual \(u\) 不可见，所以 evidence 给出 \(q_\phi(du\mid O)\)。这是学习者对同一个 token embedding 的不确定性，不是说 observation 同时属于多个 tokens，也不是预测时重新抽一个 physical identity。一一表征是 modeling assumption，不等于 latent coordinate 已由 one-shot 数据识别。

Evidence\(X=x\)

这个样本暴露的 predictors。

→

Abduction\(\widehat u_\phi(x)\) or \(q_\phi(u\mid x)\)

Point、Gaussian 或 Cauchy。

→

Generate\(f_\theta(x,E;u)\)

同一个 \(x\) 再作为 factual query。

ordinary prediction 中，同一个 \(x\) 同时作为 evidence 和 factual query，但两条路径职责不同。对同一 token 做新 query 时，应固定由 factual \(x\) 得到的 abduction result，只把 generator query 改成 \(x_\star\)；不能从 \(x_\star\) 重新 abduct。

03 · Identification boundary

一个点不能恢复一条任意函数

对任意 factual point \((x,y)\)，都有无穷多条 candidate mechanisms 在该点完全相同，却在 \(x^\star\neq x\) 处分叉：

\[f_u(x,e)=f'_u(x,e)\ \text{at the factual point},\qquad f_u(x^\star,e)\neq f'_u(x^\star,e).\]

所以，不施加跨 unit 结构时，\(n\) 条任意函数从各自一个点出发不可学习。问题绝不是“给每个 unit 单独 fit 一条曲线”；真正要学习的是这些 functions 的共同组织原则。

No cross-unit structure, no unit-level function learning.
这是理论起点，不是模型实现之后才补充的 caveat。

04 · What is shared?

不共享同一条函数；共享 functions 的组织原则

结构层级	跨 unit 约束	One-shot 含义
完全同质	所有 tokens 共用同一 \(f\)	回到经典监督学习
有限类型	\(u\) 只取有限 mechanism types	由 evidence 识别类型
共享参数族 + stochastic abduction	\(q_\phi(u\mid O),\ f_\theta(x,E;u)\)	共享 \(\theta\)，对同一 actual token 的 candidate outcomes 做 composition
Evidence-indexed generator	\(G_\theta(O)\) 直接输出 function	有竞争力的邻近设定
函数集合约束	\(f_u\in\mathcal F(O)\)	可能只做部分识别
完全无共享	每个 token mechanism 任意	不可学习

共享结构可以是低维 family、有限原型、平滑 representation、低秩 response geometry 或 structural template。它不必被解释成一个真实的 Bayesian population prior；首先需要的是可检验的 cross-unit restriction。

05 · Learning interface

Abduction 与 generator 合成 outcome prediction

\[X=x\longmapsto \widehat u_\phi(x)\ \text{or}\ q_\phi(u\mid x),\qquad Y=f_\theta(x,E;u),\]\[p_{\phi,\theta}(y\mid x)=\int p_\theta(y\mid x,u)q_\phi(u\mid x)\,du.\]

当前默认用神经网络输出 factorized Cauchy candidate-representation distribution，并用 bilinear mechanism 让 fixed-\(u\) response 对 \(x\) affine。复杂性主要放在 evidence → candidate \(u\) uncertainty 的 inverse map；简单 response family 提供跨 unit sharing、unit-specific intercept / slope 与精确 uncertainty reduction。

三种基本路线是 point、Gaussian 与 Cauchy。Cauchy 有 location / scale、没有有限 mean / variance；它用重尾对遥远 candidate mechanisms 保持开放，但不表示任何 unit 都能生成任何 outcome。outcome support 仍由 \(f_\theta\) 与 \(E\) 决定。

06 · Learner-side uncertainty

Function-space uncertainty 是派生视图，不是默认输出

若需要表达哪些 response functions 与 evidence 相容，可以把 \(q_\phi(u\mid O)\) 通过 \(u\mapsto[x\mapsto p_\theta(y\mid x,u)]\) 推到 function space。这是 formal appendix view，不是普通 prediction 的主输出。

不同 candidate representations 可能决定同一条 response function；因此这个 pushforward 会合并 response-equivalent units。Unit identity、representation 与 response function 不是同一个对象。

普通 prediction 不需要 kernel 记号，也不需要先抽出一个确定 unit。只有下游明确要求生成一条跨多个 queries 的 coherent sampled curve 时，才从固定 factual abduction law 抽一次 candidate \(u\) 并复用；若还要 joint realized outcomes，则必须另行声明 event-noise coupling。

07 · Learnability obligations

One-shot function learning 必须交代五类条件

Evidence informativeness

\(O_i\) 必须含有区分 response variation 的信息，否则只能返回更粗 equivalence class。

Cross-unit support

不同 units 的 \(X_i\) 共同覆盖目标输入区域；信息来自 population input variation。

Shared-family restriction

约束太弱不可识别，太强则把真实 heterogeneity 错压成一条共享函数。

Role correctness

\(O/X\) 的职责必须声明清楚，不能在公式里静默互换。

Target-level identification

完整 law、mean、quantile、contrast 或 equivalence class 必须分别表述。

08 · Evaluation contract

只评 factual point，就不能声称恢复了 function

Observable predictive layer 可以在 unseen units 上检查 proper score、calibration 与 support-aware error。这证明共享结构有预测价值，却不足以证明 unit function recovery。

Function-level claim 需要 evaluator-only truth 或额外设计，例如 synthetic response grids、alternative-input oracle、function distance、curve calibration、contrast recovery，以及同一 unit 在多个 queries 下的 joint coherence。

可以据 point test 说

学习到可泛化的 conditional response law
unit-function factorization 改善 calibration 或 score
在声明的 support 内有效

不能据此直接说

恢复了每个 unit 的完整 function
识别了 identity map 或 actual latent coordinate
学到了真实 physical / causal mechanism

09 · Method coordinates

它与成熟方法相邻，但隔离出更严格的 one-shot 组合

下面是读者导航，不是 novelty 排他声明；每条 lineage 的识别边界与代表文献，请转到严格技术版的方法坐标。

Varying coefficients：observed modifier 决定 point representation，通常不推断 actual unit identity。
Random coefficients / mixed effects：已知 subject identity 与 repeated outcomes 下的 latent-effect shrinkage，是最直接的经典祖系。
Mixtures of experts：离散 gate + linear experts 在计算上接近；expert 通常是 response type，不自动等于一个 latent unit。
Amortized inference：提供 evidence → candidate latent distribution 的 neural machinery，但不自动赋予 unit semantics。
Neural Processes / Hypernetworks：可以直接把 function distribution 当 primary object；这里 function law 只是 unit-representation uncertainty 的 pushforward。
Direct conditional density：必须保留的 benchmark，用来检验 unit factorization 是否真的增加价值。
SCM / HTE：当 query 具有 intervention semantics 时成为 causal specialization，但需要额外 identification assumptions。

Standard supervised learning pools \(n\) observations to estimate one response law. We study function-valued supervised learning in which each unit owns a response law but reveals only one factual evaluation.

Seed · 暂不展开同一物理实体出现多条 records 时，one-shot 定义是否还成立？

若 history 含有同一个 token mechanism 在其他 queries 上产生的 outcomes，它们就是 additional evaluations，不能只因被放进 encoder 就继续称该 function 为 one-shot。

当前仍可能保留 one-shot contract 的两种解释：

history 是不含该 target response 的 admissible pre-query evidence，可进入 \(O_i=(S_i,C_i,H_i)\)；
context change 定义新的 unit-in-context episode \(\tilde i=(i,c)\)，并令 \(R_{\tilde i}=R_{i,c}\)。

哪一种成立，取决于 temporal ordering、state transition 与 mechanism invariance。这里先折叠为 seed，不与主线并列。

10 · Relation to causal modeling

先定义 function-learning problem，再增加 causal semantics

Unit-Level Response Function Learning 比特定 causal model 更底层。只有当 \(X\) 被赋予 intervention semantics、unit identity 在 counterfactual worlds 间保持、noise coupling 与 structural invariance 被声明后，它才进入 causal specialization。

DiscoSCM / HCGM 可以被理解为这一路线更高层的 formalism 与 model family：它们为 unit identity、context、noise 与 alternative inputs 提供结构语义；但底层问题本身不应被某一种 Cauchy、bilinear 或 latent architecture 定义。

11 · Current research contract

接下来真正需要回答的五个问题

Primary object 是完整 response law、mean function、quantile function，还是有限 contrasts？
\(O_i\) 中哪些 evidence 足以区分 unit functions？
跨 unit 共享的是 family、geometry、generator，还是 weaker equivalence class？
什么 support 与 regularity 条件使 one-shot extrapolation 可识别？
什么 function-level benchmark 能排除“只是一个更复杂 predictor”的解释？

这些问题比任何一条具体公式更基础。具体模型只能成为候选实现，不能替代 problem definition。

The shortest version

一眼记住这个问题

Actual unit：模型层写作 \(U\)，一个 token realization \(U=u\) 给出该 unit 的 embedding 与 response slice。

Abduction：evidence 判断它可能对应哪些 candidate units / representations。

Unit response：每个 candidate \(u\) 决定一条当前默认的 affine response function。

Prediction：综合 candidate responses，输出 conditional response；不会选择一个 unit 或返回一条确定 function。