为什么今天很多生信模型里还有卷积层
为什么今天很多生信模型里还有卷积层
前两篇我们聊了卷积网络为什么最早在生物信息学里跑出来，以及从 DeepBind 到 Basset 它们是怎么进入基因调控问题的。一个自然的问题是：现在大家聊的都是 Transformer、蛋白质语言模型、大模型，卷积网络是不是已经退出了？
答案是没有。 更准确地说，卷积层作为一个模块，仍然广泛存在于今天很多主流的生信模型架构里。它不是作为”主力”出现，而是作为”局部特征提取器”嵌在更复杂的结构中。这个现象本身值得说清楚，因为它反映的不是技术保守，而是不同架构在解决不同层级的问题。
一个常见的误解：”新架构替代旧架构”
在深度学习领域，架构更替的叙事很容易简化为”旧的被淘汰，新的取而代之”。从 CNN 到 RNN 到 Transformer，好像每一代架构都在”证明”前一代不行了。
这个叙事在自然语言处理里有一定道理——Transformer 的自注意力机制确实比 RNN 能更高效地捕捉长程依赖，而且天然适合并行训练。但在生物信息学里，情况更复杂。不同的架构不是在争夺同一个任务的主导权，而是在处理同一个问题的不同层面。
生物序列有一个基本特征：局部模式和全局关系同时存在。转录因子结合位点是局部的（6-20 个碱基），但增强子和启动子之间的调控关系可以跨越几十万个碱基。蛋白质的局部二级结构由连续的氨基酸决定，但三级结构中的远程接触对功能同样关键。
这就意味着，一个完整的生信模型往往需要同时处理两个层面的计算：局部模式识别和长程关系建模。卷积层天然擅长前者，注意力机制天然擅长后者。把两者组合在一起，比单独使用任何一种都更合理。
从 Basenji 到 Enformer：一个典型的混合架构演化
基因表达预测是展示这种混合架构价值的典型任务。
2018 年发表的 Basenji 是一个纯卷积模型，用多层扩张卷积（dilated convolution）从 DNA 序列预测染色质可及性和基因表达。扩张卷积通过在卷积核中引入间隔，让每一层能”看到”更长的序列范围，从而部分克服标准卷积感受野有限的问题。
但 Basenji 的感受野仍然有上限。基因调控中存在大量超长程相互作用——增强子可以位于靶基因几十万个碱基之外，通过三维基因组折叠与启动子接触。纯卷积架构很难充分建模这种关系。
2021 年，DeepMind 发表了 Enformer。它的架构是：前半部分用卷积层提取局部序列特征，后半部分用 Transformer 的自注意力机制建模长程关系。
这个设计不是随意拼接的。卷积层负责的”局部特征提取”对应的是：哪些短序列片段可能包含转录因子结合位点、启动子信号等。注意力层负责的”长程关系建模”对应的是：哪些远距离的序列区域可能通过三维折叠产生调控互动。
Enformer 在长程变异效应预测上的表现明显优于 Basenji，说明注意力层确实在捕捉卷积层难以覆盖的长程依赖。但它并没有去掉前面的卷积层——因为局部 motif 识别仍然需要一个高效的前端模块来做。
这不是”卷积被淘汰了”，而是卷积承担了它擅长的那部分工作。
类似的思路也出现在后续的 Borzoi（2023）等模型中，基本沿用了”卷积前端 + 注意力后端”的混合架构。
蛋白质模型里的卷积层
前面说的主要是基因组学领域。在蛋白质方向，情况类似但表现形式不同。
蛋白质语言模型（如 ESM 系列）以 Transformer 为主体，但在某些变体或下游模型中，卷积层仍然扮演着特定角色。
一个典型的场景是：当模型需要从蛋白质序列中提取局部结构特征时。蛋白质的二级结构——α 螺旋、β 折叠、转角——由连续的氨基酸片段决定，这恰好是卷积核的天然适配场景。一些模型在 Transformer 编码器的前层或中间插入一维卷积，专门处理这类局部窗口特征。
另一个场景是药物-靶点亲和力预测。2026 年初发表的 MDM-DTA 模型，对蛋白质序列的处理就同时使用了卷积网络（带 Squeeze-and-Excitation 通道注意力机制的深度卷积网络）和预训练的蛋白质语言模型嵌入（ESM2）。卷积负责提取局部序列模式，语言模型嵌入负责捕获全局语义信息，两者通过 Mixture of Experts 策略整合。
这种设计背后有一个更普遍的逻辑：卷积擅长提取的局部模式和预训练模型学到的全局表示，提供的信息维度不同。 同时使用两者，比只用一种能得到更完整的特征描述。
启动子建模：卷积和注意力的另一种组合方式
2024 年发表的 Proformer 是另一个值得注意的例子。它的任务是从 DNA 序列预测启动子的表达水平。
Proformer 采用了 Macaron 风格的 Transformer 架构——每个编码器块包含两个半步前馈层，而在第一个前馈层和多头注意力层之间，插入了可分离一维卷积层。
可分离一维卷积（separable 1D convolution）是一种轻量化的卷积变体，计算量比标准卷积小，但仍保留了滑动窗口提取局部特征的能力。在 Proformer 中，它的作用是在注意力层之前，先对序列做一轮局部特征压缩，把原始的 k-mer 嵌入转换为更紧凑的局部表示。
这个设计反映了一个实际工程考量：注意力层的计算复杂度随序列长度增长很快。 先用卷积做一轮局部特征提取和下采样，可以在不丢失关键局部信息的前提下，减少送入注意力层的序列长度，从而降低整体计算成本。
这不是”卷积比注意力差所以只能打辅助”，而是在计算资源有限的条件下，让两种模块各司其职。
为什么混合架构比”纯某一种”更常见
如果把上面这些例子放在一起看，可以总结出几个共性原因：
第一，局部模式在生物问题中普遍存在。 无论 DNA motif、蛋白质二级结构元件，还是短序列调控信号，都是局部决定的功能。卷积层处理这类模式的效率高、可解释性好，不需要用注意力机制的全部能力来覆盖。
第二，纯注意力架构在长序列上计算代价大。 自注意力的计算复杂度是 O(n²)，n 是序列长度。基因组序列动辄几十万个碱基，直接用全注意力并不现实。先用卷积做局部特征提取和降采样，是一种实用的工程策略。
第三，混合架构能利用两种模块各自的归纳偏置。 卷积的归纳偏置是”局部相关性和位置不变性”——同一个 motif 出现在序列的任何位置都应该被同样识别。注意力的归纳偏置是”任意位置之间的动态关系建模”——不同位置之间的相关性不需要预先假设。两种偏置互补，而不是互相排斥。
第四，下游任务的需求决定了架构选择。 如果一个模型最终需要预测的是局部属性（某个位点是否结合、某个区域是否可及），那么卷积层的输出可能已经足够。如果需要预测的是全局属性（整条序列的表达水平、跨越多个区域的调控效应），就需要注意力层来整合更广范围的信息。
一个更普遍的原则
CNN 在今天生信模型中的位置，实际上反映了一个更普遍的原则：在计算建模中，架构不是用来”证明”某种方法优越的，而是用来匹配问题结构的。
生物序列同时具有局部特征和全局关系，所以卷积和注意力的组合是自然的选择。蛋白质同时具有序列信息和结构信息，所以序列模型和图模型的组合也是自然的选择。
如果一个模型用了卷积层，它不代表”技术不够新”。如果一个模型全是注意力层，它也不代表”技术更先进”。真正重要的是：架构的每一部分是否对应了问题的某个计算需求。
这个原则不只适用于深度学习架构。在生物信息学的整个工具箱里，从序列比对到统计检验，从概率图模型到深度网络，每种方法都有它适配的问题结构。技术迭代的意义不在于用新的取代旧的，而在于为更多类型的问题找到更合适的工具。
参考文献
Avsec, Ž., Agarwal, V., Visentin, D., et al. (2021). Effective gene expression prediction from sequence by integrating long-range interactions. Nature Methods, 18(10), 1196-1203. https://www.nature.com/articles/s41592-021-01252-x
Kelley, D. R., Snoek, J., & Rinn, J. L. (2016). Basset: learning the regulatory code of the accessible genome with deep convolutional neural networks. Genome Research, 26(7), 990-999. https://genome.cshlp.org/content/26/7/990
Kwak, I. Y., Kim, B. C., Lee, J., et al. (2024). Proformer: a hybrid macaron transformer model predicts expression values from promoter sequences. BMC Bioinformatics, 25(1), 81. https://doi.org/10.1186/s12859-024-05645-5
Dai, Y., et al. (2026). MDM-DTA: Message Passing Neural Network with molecular descriptors and Mixture of Experts for drug-target affinity prediction. Computer Methods and Programs in Biomedicine, 274, 109163. https://doi.org/10.1016/j.cmpb.2025.109163
Linder, J., Sehan, A., Srivastava, A., et al. (2023). Predicting RNA-seq coverage from DNA sequence as a unifying model of gene regulation. bioRxiv. https://doi.org/10.1101/2023.08.30.555533 (Borzoi)