保定网站seo费用上海工程信息网

保定网站seo费用,上海工程信息网,解聘 人力资源网站上怎么做,下载手机app下载NACLIP 动机 CLIP关注全局#xff0c;不适合语义分割 SCCLIP使用K-K自注意力#xff0c;可以关注到遥远的物体 作者发现上述方法竟然无法关注到一个patch本身及其近处的物体#xff0c;这意味着它们缺乏空间一致性。方法 提出了一个高斯核#xff0c;对于(i,j)的patch…NACLIP动机CLIP关注全局不适合语义分割SCCLIP使用K-K自注意力可以关注到遥远的物体作者发现上述方法竟然无法关注到一个patch本身及其近处的物体这意味着它们缺乏空间一致性。方法提出了一个高斯核对于(i,j)的patch对其注意力分数进行修正靠近该位置的分数奖励高远离的分数奖励低与SCCLIP的KK自注意力进行叠加。然后最后一层也是移除残差连接和FFN实验发现即使只有高斯核完全忽略KK注意力分数表现也比KK自注意力分数好这说明CLIP确实缺乏这种能力。GPT总结先直接按你给的模板一项一项来梳理这篇“Pay Attention to Your Neighbours: Training-Free Open-Vocabulary Semantic Segmentation (NACLIP)”的方法。0. 摘要翻译意译传统语义分割依赖固定类别集合而 CLIP 这类视觉-语言大模型在零样本图像级任务上泛化性很强。现有开放词表语义分割OVSS方法往往需要额外监督预训练或额外预训练网络比较不现实。本文提出一个完全训练-free的 OVSS 强基线——Neighbour-Aware CLIPNACLIP它是对 CLIP 的一个简单改造。核心做法是在 CLIP 的视觉 Transformer 中显式强化 patch 的局部邻域注意从而提升定位能力这一点在以往 OVSS 工作中被忽视。通过一些有利于分割的设计选择在不引入额外数据、额外预训练网络也几乎不需要调参的前提下大幅提高性能。在 8 个主流分割数据集上NACLIP 在大多数场景都达到了 SOTA代码开源。1. 方法动机1.a 为什么提出这个方法作者关注的场景训练-free OVSS——不再允许使用额外标注数据像素级或图像级不再允许额外预训练模型例如 MoCo、DeiT、Stable Diffusion希望只用一个冻结的 CLIP就做开放词表分割。他们观察到CLIP 的 ViT 更擅长图像级任务而不是密集预测训练时只用到[CLS] token做图像级对比学习patch token 没有被显式用于优化。自注意力和残差模块的设计偏向“全局语义”而不是“局部空间一致性”。ViT 的局部性和位置信息很弱只在第一层加一次 1D 位置编码后续层中空间位置信息逐渐被“洗掉”注意力经常把权重打到远处 patch 上而忽视邻域导致定位不稳定、边界乱Fig.1。现有“训练-free”方法其实并不那么“free”一部分方法用了额外预训练的 ViT、MoCov2、Diffusion 等模型一部分方法有很多结构与超参需要在验证集上调训练-free 但不“现实”。因此作者希望在完全不训练、只改动前向过程和结构的前提下让 CLIP 的 patch 注意力对邻域更敏感从而提升分割质量。1.b 现有方法的痛点 / 局限需要额外数据和训练全监督/弱监督 OVSS需要像素标注或大量 image-text 对且训练集类别与测试 open-set 高重叠会有 dataset bias。依赖额外预训练网络使用 MoCov2、DeiT、Stable Diffusion、其他 UOL/生成模型等实质上“加了另一套大模型数据”不再纯 CLIP。结构复杂 超参多一些训练-free 方法要设计复杂 pipeline、reward 函数、超参搜索实践中非常麻烦。对“空间一致性”的忽视CLIP 的 patch attention 没有显式机制保证patch 至少要关注“自己”和邻域相邻 patch 的注意力图应该相似同一物体上。SCLIP 只强调“每个 patch 关注自身”没显式鼓励“关注邻居”导致邻近 patch 的注意力仍可能不一致Fig.1。1.c 研究假设 / 直觉用一句话概括只要在 CLIP 的最后一层显式加入“邻域注意 语义相似”的约束就能在不训练的情况下大幅提升 OVSS 分割质量。更细一点segmentation 需要的是局部空间一致的语义而不是纯 [CLS] 的全局向量如果让每个 patch按key-key 语义相似度去互相关注再用一个空间 Gaussian kernel强调邻域那么 patch 的注意图既“语义相似”又“空间局部”适合做分割。2. 方法设计2.a 整体 pipeline输入→处理→输出带维度Step 1输入和 patch 表示输入图像X∈RH×W×CX \in \mathbb{R}^{H \times W \times C}X∈RH×W×CCLIP-ViT 将图像划分成h×wh \times wh×w个 patch每个大小P×PP \times PP×PhH/P,wW/Ph H / P, \quad w W / PhH/P,wW/P每个 patch 通过线性投影到DDD维嵌入Z(0)∈Rh×w×DZ^{(0)} \in \mathbb{R}^{h \times w \times D}Z(0)∈Rh×w×D原始 CLIP 会把 patch 展平为长度NhwN hwNhw的序列并加上 [CLS]但在论文公式里为方便忽略 [CLS]保持 2D 网格形式。Step 2标准 CLIP ViT 编码前L−1L-1L−1层不改每一层 encoder blockℓ1,…,L\ell1,\dots,Lℓ1,…,LLayerNormZ~LN(Z(ℓ−1))\tilde{Z} \text{LN}(Z^{(\ell-1)})Z~LN(Z(ℓ−1))自注意力 残差Z′Z(ℓ−1)SA(Z~)Z Z^{(\ell-1)} \text{SA}(\tilde{Z})Z′Z(ℓ−1)SA(Z~)LayerNormZ^LN(Z′)\hat{Z} \text{LN}(Z)Z^LN(Z′)FFN 残差Z(ℓ)Z′MLP(Z^)Z^{(\ell)} Z \text{MLP}(\hat{Z})Z(ℓ)Z′MLP(Z^)其中自注意力 SA单头情形线性投影得到q,k,vq,k,vq,k,v[q,k,v]ZWqkv[q,k,v] ZW_{qkv}[q,k,v]ZWqkv​维度Z∈Rh×w×DZ \in \mathbb{R}^{h \times w \times D}Z∈Rh×w×Dq,k,v∈Rh×w×dq,k,v \in \mathbb{R}^{h \times w \times d}q,k,v∈Rh×w×d通常dD/headsd D/\text{heads}dD/heads对于位置(i,j)(i,j)(i,j)的 patch计算与所有位置(m,n)(m,n)(m,n)的相似度sim∗ij,mnq∗ij⊤kmnd\text{sim}*{ij,mn} \frac{q*{ij}^\top k_{mn}}{\sqrt{d}}sim∗ij,mnd​q∗ij⊤kmn​​softmax 得到注意力权重做 value 的加权和αij,mnsoftmax∗m,n(sim∗ij,mn), Aij∑m,nαij,mnvmn \alpha_{ij,mn} \text{softmax}*{m,n}(\text{sim}*{ij,mn}),\ A_{ij} \sum_{m,n} \alpha_{ij,mn} v_{mn}αij,mn​softmax∗m,n(sim∗ij,mn),Aij​m,n∑​αij,mn​vmn​最后线性变换SA(Z)∗ijA∗ijWo\text{SA}(Z)*{ij} A*{ij} W_oSA(Z)∗ijA∗ijWo​NACLIP 只在最后一层LLL改动 SA 结构前面L−1L-1L−1层完全用原始 CLIP 的参数和结构。Step 3文本编码和 patch-文本匹配输入类别文本自然语言短句tjt_jtj​例如 “a photo of a dog”。用 CLIP 的 text encoder 得到文本嵌入Tj∈RDT_j \in \mathbb{R}^{D}Tj​∈RD对最后一层的 patch 表示Zij(L)∈RDZ^{(L)}_{ij}\in\mathbb{R}^{D}Zij(L)​∈RD和所有文本向量做 cosine 相似sij(c)⟨Z(L)∗ij,Tc⟩∣Z(L)∗ij∣∣Tc∣,c1,…,C s_{ij}^{(c)} \frac{\langle Z^{(L)}*{ij}, T_c\rangle} {|Z^{(L)}*{ij}||T_c|},\quad c1,\dots,Csij(c)​∣Z(L)∗ij∣∣Tc​∣⟨Z(L)∗ij,Tc​⟩​,c1,…,C对每个 patch 做 argmax 得到类别标签yijarg⁡max⁡csij(c)y_{ij} \arg\max_c s_{ij}^{(c)}yij​argcmax​sij(c)​将yijy_{ij}yij​扩展/上采样到原图像分辨率得到语义分割 mask。Step 4可选 mask refinement使用 PAMRPixel-Adaptive Mask Refinement对 coarse mask 做细化保留边缘信息提高 mIoU。2.b 方法结构内各模块及协同关系结构变化只发生在最后一层视觉 encoder block。局部 Gaussian 邻域模块Spatial Kernel对于每个 patch 位置(i,j)(i,j)(i,j)构造一个2D 高斯核在 patch 网格坐标空间1…h, 1…w上高斯分布中心在(i,j)(i,j)(i,j)越远的 patch 权重越小。这给出一个矩阵ϑ((i,j);ε)∈Rh×w\vartheta((i,j);\varepsilon)\in\mathbb{R}^{h\times w}ϑ((i,j);ε)∈Rh×w主要作用强制注意力在 logits 上“加分”邻居 patch使注意概率集中在自身和邻域。Key-Key 相似度相似性模块KK-Sim在最后一层的自注意力中不用q⊤kq^\top kq⊤k改用k⊤kk^\top kk⊤ksim∗ij,mnk∗ij⊤kmnd \text{sim}*{ij,mn} \frac{k*{ij}^\top k_{mn}}{\sqrt{d}}sim∗ij,mnd​k∗ij⊤kmn​​含义qijq_{ij}qij​表示“这个 patch 想要什么”kijk_{ij}kij​表示“这个 patch 是什么”用kij⊤kmnk_{ij}^\top k_{mn}kij⊤​kmn​就是在寻找语义上相似的 patch都是“车”的 patch 互相关注。邻域 语义联合注意力A#在 logits 上把两部分加起来$$A^#{ij} \text{softmax}\big(;\frac{k{ij}^\top k_{mn}}{\sqrt{d}}\vartheta((i,j);\varepsilon)_{mn}\big);v$$第一项语义相似度key-key第二项空间邻域高斯核联合作用相似且邻近的 patch 得到更高注意力。减少最后一层 FFN 与残差Reduced Architecture对最后一层LLL作者直接把 block 改成Z(L)SA~(LN(Z(L−1))) Z^{(L)} \tilde{\text{SA}}\big(\text{LN}(Z^{(L-1)})\big)Z(L)SA~(LN(Z(L−1)))去掉FFN skip connection去掉SA 的残差连接即不再加Z(L−1)Z^{(L-1)}Z(L−1)。理解最后一层原本是为[CLS] 图像级任务服务的残差MLP 会进一步“混”空间信息不利于 dense prediction现在最后一层变成一个“专门为 patch 分割服务的局部注意层”输出直接给 segmentation 用。整体协同前L−1L-1L−1层保持 CLIP 原本的强语义抽象能力最后一层不再优化 [CLS]而是专门把 patch 表示“洗一遍”引入局部空间一致性 语义聚合这样在不训练参数的前提下把 CLIP 从“图像级识别专家”转成更适合“像素级分割”的表示。2.c 关键公式和通俗解释带维度(1) 高斯核邻域权重连续形式ω(x;μ,Σ)exp⁡(−12(x−μ)⊤Σ−1(x−μ)) \omega(x;\mu,\Sigma) \exp\left(-\frac{1}{2}(x-\mu)^\top\Sigma^{-1}(x-\mu)\right)ω(x;μ,Σ)exp(−21​(x−μ)⊤Σ−1(x−μ))取各向同性Σε2I\Sigma \varepsilon^2 IΣε2I则ω(x;μ,ε)exp⁡(−∣x−μ∣22ε2) \omega(x;\mu,\varepsilon) \exp\left(-\frac{|x-\mu|^2}{2\varepsilon^2}\right)ω(x;μ,ε)exp(−2ε2∣x−μ∣2​)离散到 patch 网格上m1…h,,n1…wm1\dots h,,n1\dots wm1…h,,n1…wϑ((i,j);ε)mnω((m,n);(i,j),ε) \vartheta((i,j);\varepsilon)_{mn} \omega((m,n);(i,j),\varepsilon)ϑ((i,j);ε)mn​ω((m,n);(i,j),ε)ϑ((i,j);ε)∈Rh×w\vartheta((i,j);\varepsilon) \in \mathbb{R}^{h \times w}ϑ((i,j);ε)∈Rh×w中心(i,j)(i,j)(i,j)处最大距离越远指数衰减。直觉这一张图就是“以(i,j)(i,j)(i,j)为中心的邻域热图”。(2) 仅邻域注意Neighbourhood Only极端设置把相似度 logits 全设为 0只依赖高斯核Aijsoftmax(ϑ((i,j);ε)),v A_{ij} \text{softmax}\big(\vartheta((i,j);\varepsilon)\big),vAij​softmax(ϑ((i,j);ε)),v这里 softmax 后得到的权重只由空间距离决定与图像内容无关。实验发现仅此一步性能就远超原始 CLIP表3 “N-Only” vs “Vanilla”→ 说明光靠空间局部性就已经解决了 CLIP 的一大痛点。(3) Key-Key 相似度标准注意力sim∗ij,mnq∗ij⊤kmnd\text{sim}*{ij,mn} \frac{q*{ij}^\top k_{mn}}{\sqrt{d}}sim∗ij,mnd​q∗ij⊤kmn​​NACLIP 最后一层改为sim∗ij,mnk∗ij⊤kmnd\text{sim}*{ij,mn} \frac{k*{ij}^\top k_{mn}}{\sqrt{d}}sim∗ij,mnd​k∗ij⊤kmn​​q,k,v∈Rh×w×dq,k,v \in \mathbb{R}^{h\times w \times d}q,k,v∈Rh×w×dkij⊤kmnk_{ij}^\top k_{mn}kij⊤​kmn​高表示“这两个 patch 本质含义相似”。(4) 联合注意 A#完整 self-attentionKaTeX parse error: Expected group after ^ at position 3: A^̲#*{ij} \text{…logits “语义相似度 空间邻域偏置”输出 patch 表示KaTeX parse error: Expected group after ^ at position 19: …lde{Z}*{ij} A^̲#*{ij} W_o \in …最终Z(L)Z~Z^{(L)} \tilde{Z}Z(L)Z~因为最后一层只保留这一块。3. 与其他方法对比3.a 与主流方法的本质区别与 MaskCLIP / CLIP Surgery / GEM / SCLIP 等 training-free 方法相比都不 fine-tune CLIP 参数区别在于多数方法只改“如何读取 patch features如用 value、多层聚合等”NACLIP 是直接改最后一层结构 注意力形式显式加入“局部空间一致性”。与使用额外模型的 FOSSIL / FreeSeg-Diff / PnP-OVSS 等相比那些方法引入 Diffusion、MoCo、额外 ViT 等NACLIP只用单个 CLIP不引入新权重结构更干净。与弱/全监督 OVSSGroupViT、TCL、SideAdapter 等相比它们需要大量 image-text 或 pixel labels 做 adaptationNACLIP 完全不训练无法利用这些额外数据但在多个 benchmark 上已经接近甚至超过一些“带训练”的方法。3.b 创新点和贡献显式“邻域注意 局部空间一致性”机制高斯核加到 attention logits 上保证每个 patch 强调自己的邻居这是 training-free OVSS 里第一篇明确把“邻域”作为 attention 目标的工作。Key-Key 相似度作为注意力信号在最后一层把qk⊤qk^\topqk⊤→kk⊤kk^\topkk⊤强调 patch 的“本质语义相似”而不是“query 想要什么”。删减最后一层结构使其专注于 dense prediction去掉 FFN 和残差只保留改造后的自注意力强调这是“专门为分割输出 patch 表示”的最后一层。在严格 training-free 设置下达到 SOTA在 8 个数据集里 7 个拿到 SOTA在只用 CLIP 的公平条件下且对 backbone 选择较为鲁棒。3.c 更适用的场景与适用范围场景没有额外标注数据也不方便训练大模型的场景需要快速部署“开放词表语义分割”能力只依赖一个 CLIP checkpoint想要在 inference 端做极小结构修改就获益的工业应用。适用范围任何有 CLIP-ViT backbone 的场景输入为自然图像的语义分割任务在不同 patch size/backboneViT-B/16, B/32, L/14下性能都较稳表2。3.d 方法对比表优缺点总结方法需额外数据/模型是否训练结构复杂度空间一致性机制优点缺点CLIP baseline否否低无实现最简单分割效果很差注意力不局部MaskCLIP否否中间接通过 value提取 dense label 简单有效未显式建模邻域局部不稳定CLIP Surgery / GEM否否中-高有一定改善通过多层聚合/改 attention 提升分割仍未直接强制“关注邻居”对 backbone 敏感SCLIP否否中关注 self弱邻域大幅提升 localization训练-free邻近 patch attention 仍不稳定只强调自注意FOSSIL / FreeSeg-Diff / PnP-OVSS是Diffusion/其他 ViT否或弱训练高有多模块性能很强利用额外生成/检索实现重不能算“纯 CLIP training-free”NACLIP否否低-中显式高斯邻域 KK 相似改动小、无训练、SOTA、backbone 鲁棒只改最后一层对极端复杂场景可能仍有限制仍依赖 CLIP 预训练的偏差4. 实验表现与优势4.a 如何验证方法有效性实验设计任务完全 training-free OVSS数据集共 8 个 benchmarkPASCAL VOC 2012 (V21, V20)ADE20K-150 (ADE)PASCAL Context (PC60, PC59)COCO-Stuff (C-Stf)COCO-Object (C-Obj)Cityscapes (City)设置backbone 默认 CLIP ViT-B/16图片短边 resize 到 336City 为 560sliding window 224×224, stride 112评估指标mIoU对比对象CLIP baseline、MaskCLIP、GroupViT、CLIP Surgery、SCLIP、GEM、CLIP-DIY、ReCo、TCL、FOSSIL、FreeSeg-Diff、PnP-OVSS 等。消融实验替换 attentionVanilla vs N-Only vs KK-Sim vs A#表3结构减法Vanilla vs Reduced表4不同 backboneB/16, B/32, L/14表2。4.b 代表性指标与结论以带 PAMR 后处理的公平 training-free 对比为例下行NACLIP vs SCLIPPASCAL VOC 2012 (V21)SCLIP61.761.761.7NACLIP64.164.164.1PASCAL Context (PC59)SCLIP36.136.136.1NACLIP38.438.438.4COCO-ObjectSCLIP32.132.132.1NACLIP36.236.236.2CityscapesSCLIP34.134.134.1NACLIP38.338.338.38 个 benchmark 平均带 post-processingSCLIP40.140.140.1NACLIP42.542.542.5结论在不引入额外权重 不训练的前提下NACLIP 在大多数数据集上明显优于所有其他“公平” training-free 方法。4.c 哪些场景/数据集优势最明显Cityscapes街景大量物体具有强空间结构路、车、人、建筑邻域一致性非常重要NACLIP 在 Cityscapes 上比 SCLIP 高了 ~4.2 mIoU。COCO-Object / COCO-Stuff场景复杂、多物体强调“相邻 patch 语义一致”有助于稳定物体边界和类间分割。可视化Fig.3与 CLIP 相比NACLIP 的 segment map 轮廓更准确类别更少混淆与 SCLIP 相比在 bus/horse 等物体边界上更连贯不会把旁边的 tree/sky 误分成同一类。4.d 局限性仍受限于 CLIP 预训练目标CLIP 预训练只关心 [CLS] 的图像级对比论文尝试利用 [CLS] token 来帮助 segmentation 的尝试基本失败说明 [CLS] 信息很难传到 pixel 级。只在最后一层做局部约束如果中间层也加入邻域约束可能进一步增强空间一致性但这在 training-free 场景会改变分布可能需要 fine-tune。无法利用额外数据与弱/全监督 OVSS 相比NACLIP 没法吸收新数据中的细粒度类别知识在复杂长尾类别上性能仍有限。高分辨率 / 大 backbone 仍有性能下降虽然相比 SCLIP 对 ViT-L/14 更鲁棒但仍有 4% 左右下降。5. 学习与应用建议5.a 是否开源复现的关键步骤论文中给出了 GitHub 链接sinahmr/NACLIP在摘要页——是开源的。若你自己实现 / 复现关键步骤从官方 CLIP 加载 ViT backbone例如 ViT-B/16保证前L−1L-1L−1层完全一致不做任何修改、不训练。在最后一层替换自注意力计算为使用 key-key 相似度在 logits 上加上以(i,j)(i,j)(i,j)为中心的 2D 高斯核去掉 FFN 和所有残差连接只保留Z_L SA_tilde(LN(Z_{L-1}))。保持 CLIP text encoder 不变用相同的 text prompt 模板。实现滑窗推理 PAMR 后处理。评估 mIoU 时注意数据集的特殊设置如是否包含 background 类、是否剔除背景 V20/PC59 等。5.b 实现细节与超参数注意点高斯核标准差ε\varepsilonε论文默认设置ε5\varepsilon 5ε5对大多数数据集表现良好这是唯一比较敏感的超参之一但作者称几乎不需要跨数据集调参。patch grid 坐标系统在h×wh \times wh×w网格上计算欧氏距离∣(m,n)−(i,j)∣22|(m,n)-(i,j)|_2^2∣(m,n)−(i,j)∣22​注意边界 patch 仍然有完整的高斯核只是靠近边缘的权重一部分落到图外可以简单截断。多头注意力实现理论上每个 head 都用同样的高斯核偏置即可key-key 相似度在 head 维度内做和原 attention 一样。数值稳定性高斯核加到 logits 上前可以进行适当缩放避免过大/过小导致 softmax 退化实现时注意保持与 CLIP 原 attention 相同的 scale作者使用1/d1/\sqrt{d}1/d​。后处理使用 PAMR 比 DenseCRF 更轻量推荐跟论文保持一致训练-free 设置下后处理占的比例较大可以通过 ablation 看你自己的数据集是否需要。5.c 迁移到其他任务的可能性开放词表实例分割 / panoptic segmentation当前 NACLIP 输出的是语义 mask你可以把 patch-level logits 看作 “语义特征图”然后加一个简单的聚类 / proposal / mask decoder → 类似于用 CLIP feature 做实例 mask。显著性检测 / weakly-supervised mask 生成只给出前景/背景 prompt这种强化局部一致性的 attention 能产生更连贯的显著图可以作为其他任务的 pseudo label 生成器。开放词表目标检测从 patch-level 类别概率图中提取连通区域做 bounding box邻域一致性保证 bounding box 边界更稳定。迁移到其他 ViT-based VLM如 Florence、EVA-CLIP只要结构是 ViT自注意力形式相同就可以照搬“最后一层KK 高斯邻域 Reduced 架构”这一套。6. 总结 速记版 pipeline6.a 一句话概括核心思想不超过20字在 CLIP 最后一层引入邻域感知注意力以增强分割。6.b 速记版 pipeline去掉论文专有名词把图像切成小块并提取每块的特征向量。用前几层网络照常处理这些特征不做改动。在最后一层用“相似特征 空间邻近”重新聚合每块的特征并去掉多余子模块。将每块特征与所有类别文本向量做相似度比较选出得分最高的类别。把得到的块级类别结果上采样成整图分割并用简单后处理细化边界。如果你后面想做进一步的“矩阵维度走读实现”或者“将 NACLIP 融合进你的一阶段框架比如 ZegCLIP”我也可以一起帮你把伪代码/源码级别的改动点梳理出来。