最新开源的视觉预历练样子26XE，马毅团队、微软考虑院、UC 伯克利等谐和出品！

SimDINO和SimDINOv2，通过编码率正则化简化 DINO 和 DINOv2 模子历练经过得到的两个最新模子。

在当今视觉预历练界限，DINO 和 DINOv2 是最强视觉模子梯队选手，亦然当今最常用的样子。在多模态大模子火热确当下，DINOv2 也时常被用作 VLM 中的视觉编码器提供视觉特征。

此外，图灵奖得主、Meta 首席 AI 科学家杨立昆团队近期对于寰球模子的责任，也基于 DINOv2 而来。

（天然了，DINO 模子自己即是四年前 Meta AI 团队提议的）

但 DINO 系列当今仍然需要基于至极复杂的工程样子来收场。

而SimDINO 通已往除 DINO 中复杂的后处理关节等，贬责了 DINO 系列的历练勤劳。

更令东说念主惊喜的是，简化后的模子不仅历练更容易，性能反而更强。

莽撞这即是"爽脆即是好意思"的联想理念在深度学习中的伏击价值？（手动狗头）

马毅暗意：

咱们不是在修补 DINO，而是在从头发现视觉暗意学习的履行端正。

中枢样子：化繁为简

自监督学习（Self-Supervised Learning，SSL）在处理大限度未标记图像数据方面获得了显耀进展。

在 CV 界限，DINO 系列模子号称自监督学习的标杆选手。

这个无需东说念主工标注就能从海量图像中自主学习特征的模子，不仅不才游任务中屡创佳绩，更成为多模态大模子视觉编码器的标配。

然则，DINO 系列模子的强才气，伴跟着「需要被用心呵护」：

需要用心联想的温度调度战略（温度参数 τ 要精准到极少点后三位）

依赖复杂的中心化 - 锐化操作（堪比精密仪器的校准经过）

必须搭配高维原型投影层（特征维度动辄破万）

这些"保命安设"固然能防卫模子堕入特征崩溃，却让历练过程酿成了超参数调优的恶梦。而且当考虑东说念主员尝试改造模子架构或适配新界限时，经常牵一发而动全身，稍有失慎就会让通盘这个词系统停摆。

为了贬责这些问题，SimDINO 和 SimDINOv2 模子闪亮登场～

通过引入编码率正则化，简化历练经过，进步模子的鲁棒性和性能。

这俩模子的中枢念念想，是通过编码率正则化防卫暗意崩溃，从而去除原始 DINO 和 DINOv2 历练经过中好多耕作性联想组件。

具体样子包括：

移除耕作性组件：删除权重归一化的线性层、均衡操作（如中心化、锐化）以及多样超参数（如温度调度、中心化动量）等。

引入编码率正则化：在亏蚀函数中添加一个爽脆的编码率正则化项，以防卫暗意崩溃。

SimDINO 和 SimDINOv2 模子的主要革命点除了上述 2 种样子外，还有一丝，即简化的历练经过。

通过上述 2 种具体样子的改造，SimDINO 和 SimDINOv2 的历练经过愈加爽脆，减少了对超参数的依赖，进步了历练的结识性和后果。

引入编码率正则化，历练更结识、性能更强

总结自监督对比学习"同类相聚，异类相斥"的原始起点，考虑团队发现，DINO 中好多复杂联想（如输出层高维投影、进修集聚输出中心化 - 锐化操作、温度移动等）都是在迤逦地运用负样本信息来防卫模子习得的暗意"崩溃"。

而 SimDINO 系列考虑团队提议这一需求，不错转而使用马毅提议的数据编码率失真计算样子（可参考 MCR2 等系列责任），招揽自满度量模子表征的质地算作正则化项。

基于这一发现，考虑东说念主员提议了一个贬责决议：

引入编码率（coding rate）正则化，通过在亏蚀函数中添加一个显式的编码率正则项来幸免暗意崩溃。

这个爽脆的编削就能替代原来复杂的联想，将历练经过向勤俭集聚。

而简化的模子历练经过不错带来几个重要上风，即「更了了的优化看法、更少的组件依赖、更容易的表面分析、更好的可延迟性」。

具体而言，SimDINO 保留了 DINO 模子的 EMA 自蒸馏决议和多视图数据增强样子，但在对比学习决议上进行了修改。

湮灭输出层高维原型投影 + 交叉熵多分类，平直使用欧几里得距离 / 余弦不异度比较学生集聚（student network）和进修集聚（teacher network）生成的特征。

加入编码率正则化项促使模子学习到更具折柳性的暗意，移除进修集聚输出中心化 - 锐化操作、温度移动等幸免暗意崩溃的手段。

通过引入编码率正则化，SimDINO 能够灵验防卫特征崩溃，确保学习到的信息具有较大的信息熵，从而进步模子的泛化才气。

SimDINOv2 则进一步将 DINOv2 引入的 iBOT 机制进行替换。

它平直使用余弦不异度监督掩码区域 token 与进修集聚暗意间的对皆，而 Sinkhorn-Knopp centering、KoLeo 正则化等复杂联想也被简化移除。

比拟于原版 DINO， SimDINO 的历练经过更为爽脆，去除了好多繁琐的组件和超参数，裁减了模子历练的复杂度，使得考虑东说念主员和工程师更容易贯串和收场这些模子。

从实验角度看，这一系列操作不错让模子历练更结识，性能也更强。

多样评估均优于 DINO 系列

为了考证 SimDINO 和 SimDINOv2 的灵验性，考虑团队在多个数据集和任务上进行了世俗的实验评估，包括图像分类、看法检测、语义分割以及视频对象分割。

实验罢休标明，SimDINO 系列在规划后果、历练结识性和卑劣任务性能上均优于 DINO 系列。

ImageNet-1K 图像分类

SimDINO 和 SimDINOv2 在 ImageNet-1K 上进行了评估，包括 k-NN 分类和线性评估（linear probing）。

还与 DINO、DINOv2 进行了对比。

COCO val2017 无监督看法检测与实例分割

在看法检测任务中，考虑团队招揽 MaskCut 算作基础检测框架，并在 COCO val2017 数据集上进行了评估。

具体来说，主要对比了 AP50、AP75 和 AP 三个贪图：

ADE20K 语义分割和 DAVIS-2017 视频对象分割

在语义分割任务上，考虑团队招揽 linear head 并在 ADE20K 数据集上进行了评估。

这个任务上主要对比了 mIoU（平均交并比）和 mAcc（平均像素精度）。

至极要提到的是，SimDINO 还在 DAVIS-2017 上进行了评估，包括 ( J&F ) m、Jm 和 Fm 三个设施贪图。

罢休自满，它在定性的特征可视化分析上也展现出了 DINO 系列责任中阐述隆起的语义抒发才气清晰表象。

与此同期，SimDINO 和 SimDINOv2 对超参数和数据的变化更持重了。

其它

此外，神态论文中通过表面分析，提议了一个对于 SimDINO 超参数采用的表面：

若何均衡编码率正则化项和距离项的梯度范数。

通过表面推导，作家给出了一个对于超参数 γ 的采用样子，使得两个项的梯度范数在优化过程中保捏均衡。

下图自满的是在 SimDINO 和 DINO 下历练 ViT-B/16 的历练动态。

X 轴暗意历练周期（epochs），Y 轴暗意在 ImageNet-1K 上的 k-NN 评估性能。

其中，左图自满的是两个模子均在 ImageNet-1K 数据集上历练。

为更好地展示优化过程，考虑团队不祥了早期历练阶段的数据。

右图自满的是两个模子均在 COCO train2017 数据集（爽脆是 ImageNet-1K 的 1/10）上历练。

算作一个考阐述验，该罢休标明 SimDINO 需要更少的超参数调优，而且优化过程愈加爽脆。

考虑团队

SimDINO 系列由多所学校与机构的考虑者共同完成，包括 UC 伯克利、忆生科技、微软考虑院、香港大学等。

一作是 UC 伯克利三年岁博士生吴梓阳，导师是马毅。

他主要考虑看法为表征学习与多模态学习，起劲于于通过数学与统计表面构建高效、可讲解注解的深度学习模子。

此前，吴梓阳本硕均就读于康奈尔大学。

在论文临了，SimDINO 考虑团队进一步提议和建议了 SimDINO 的几个潜在改造看法：

在 SimDINO 框架基础上进一步探索不需要自蒸馏优化的自监督看法。

简化后的框架为自监督学习的表面分析提供了更好的切入点。

将"显式化隐式联想采用"的范式实施到其他框架，启发并探索其他模子的简化改造样子。

论文地址：https://arxiv.org/abs/2502.10385

神态主页：https://robinwu218.github.io/SimDINO

GitHub：https://github.com/RobinWu218/SimDINO

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 神态主页衔接，以及关系面目哦

咱们会（尽量）实时恢复你

一键保养 � � 点亮星标

科技前沿进展逐日见

一键三连「点赞」「转发」「戒备心」

迎接在指摘区留住你的想法！26XE