总结

ViT

创新点：

• transformer在CV首次应用，使用patch划分图片，减少序列长度和注意力计算 知识迁移
• few-shot进行消融实验

ResNet

创新点：

• 提出残差结构，简单的数学认知，按理说不会差，只会好的结构现实中实现不了，就直接定义出确保理论进行的方法，让模型学到上一个的结果，再此基础上尽量学到更多 数学知识

MAE

创新点：

• BERT结构，使用掩盖生成的方法训练Transformer模型，减少patch计算量 知识迁移

• 自编码器

Swin Transformer

创新点：

• 解决了Transformer应用于CV的计算问题，包括图像尺寸，分辨率，注意力计算复杂，在patch上进一步解决
• 应用卷积知识，分patch再卷积 知识迁移
• 计算量分析，矩阵计算 数学知识

OIM

创新点：