INCOMING TRANSMISSION

LATEST UPDATES
ALL WIP FAV

CenterNet

Computer Vision
2024-12-31
前言 anchorfree目标检测属于anchorfree系列的目标检测，相比于CornerNet做出了改进，使得检测速度和精度相比于onestage和twostage的框架都有不小的提高，尤其是与YOLOv3作比较，在相同速度的条件下，CenterNet的精度比YOLOv3提高了4个左右的点。 CenterNet不仅可以用于目标检测，还可以用于其他的一些任务，如肢体识别或者3D目标检测等等。 那CenterNet相比于之前的onestage和twostage的目标检测有什么特点？ CenterNet的“anchor”仅仅会出现在当前目标的位置处而不是整张图上撒，所以也没有所谓的box overlap大于多少多少的算positive anchor这一说，也不需要区分这个anchor是物体还是...
#CV #Object Detection
READ

VarifocalNet

Computer Vision
2024-12-31
Introduction 目标检测中NMS需要依据候选检测目标的排序来进行筛选框，如果分类得分较低，但是定位框准确会导致在NMS中将该bbox框被排除掉，因此这个排序的可靠性就非常重要。之前的工作主要采用IOU分支（IOUNet）与Centerness得分（FCOS）来作为大量候选检测的排序依据。 然而，本文认为这些方法可以有效缓解分类得分和物体定位精度之间的不对齐问题。 但是，它们是次优解的，因为将两个不完善的预测相乘可能会导致排名依旧变差，作者经过试验表明，通过这种方法实现的性能上限非常有限。 此外，增加一个额外的网络分支来预测定位分数并不是一个很好的解决方案，并且会带来额外的计算负担。 基于上述分析，作者提出：不采用预测一个额外的定位精确度得分（IOUaware Centerness）...
#CV #Object Detection
READ

ATSS

Computer Vision
2024-12-31
Introduction 由于FPN和Focal loss 的加入，anchorfree模型变得越来越多。在仔细比对了anchorbased和anchorfree目标检测方法后，结合实验结果，论文认为两者的性能差异主要来源于正负样本的定义，假如训练过程中使用相同的正负样本，两者的最终性能将会相差无几。 作者将目前的Anchorfree分为两个大类： 1. keypointbased methods：以CornerNet和ExtremeNet为代表，首先定位几个预定义或自学习的关键点，然后限制物体的空间范围； 1. centerbased methods：以FCOS和Foveabox为代表，使用物体的中心点或区域定义基准点，然后预测从该点到物体边界的四个距离。 为此，论文提出ATSS( Ada...
#CV #Object Detection
READ

Focal Loss & RetinaNet

Computer Vision
2024-12-31
Motivation 我们知道object detection的算法主要可以分为两大类：twostage detector和onestage detector。前者是指类似Faster RCNN，RFCN这样需要region proposal的检测算法，这类算法可以达到很高的准确率，但是速度较慢。虽然可以通过减少proposal的数量或降低输入图像的分辨率等方式达到提速，但是速度并没有质的提升。后者是指类似YOLO，SSD这样不需要region proposal，直接回归的检测算法，这类算法速度很快，但是准确率不如前者。作者提出focal loss的出发点也是希望onestage detector可以达到twostage detector的准确率，同时不影响原有的速度。 既然有了出发点，那么...
#CV #Object Detection
READ

R-FCN

Computer Vision
2024-12-31
动机 Faster RCNN是首个利用CNN来完成proposals的预测的，之后的很多目标检测网络都是借助了Faster RCNN的思想。而Faster RCNN系列的网络都可以分成2个部分： 1. Fully Convolutional subnetwork before RoI Layer 1. RoIwise subnetwork 第1部分就是直接用普通分类网络的卷积层，用其来提取共享特征，然后一个RoI Pooling Layer在第1部分的最后一张特征图上进行提取针对各个RoIs的特征向量（或者说是特征图，维度变换一下即可），然后将所有RoIs的特征向量都交由第2部分来处理（分类和回归），而第二部分一般都是一些全连接层，在最后有2个并行的loss函数：softmax和smooth...
#CV #Self-Supervised
READ

Faster R-CNN

Computer Vision
2024-12-31
总体流程 RPN RPN在Extractor输出的feature maps的基础之上，先增加了一个3x3卷积，然后利用两个1x1的卷积分别进行二分类（是否为正样本）和位置回归。进行分类的卷积核通道数为9×2（9个anchor，每个anchor二分类，使用交叉熵损失），进行回归的卷积核通道数为9×4（9个anchor，每个anchor有4个位置参数）。 接下来RPN做的事情就是利用（AnchorTargetCreator）将20000多个候选的anchor选出2000个proposal并采样256个positive 进行分类和回归位置loss计算。具体过程如下： proposal 前向过程中会做 NMS ： 1. 对所有 anchors 做前背景分类和bbox regression回归（lea...
#CV #Object Detection
READ

DETR

Computer Vision
2024-12-31
原理分析 网络架构: 本文的任务是Object detection，用到的工具是Transformers，特点是Endtoend。 目标检测的任务是要去预测一系列的Bounding Box的坐标以及Label， 现代大多数检测器通过定义一些proposal，anchor或者windows，把问题构建成为一个分类和回归问题来间接地完成这个任务。文章所做的工作，就是将transformers运用到了object detection领域，取代了现在的模型需要手工设计的工作，并且取得了不错的结果。在object detection上DETR准确率和运行时间上和Faster RCNN相当；将模型 generalize 到 panoptic segmentation 任务上，DETR表现甚至还超过了其他...
#Object Detection #CV #transformer
READ

目标检测小目标问题概述

Computer Vision
2024-12-31
在深度学习目标检测中，特别是人脸检测中，由于分辨率低、图像模糊、信息少、噪声多，小目标和小人脸的检测一直是一个实用和常见的难点问题。然而，在过去几年的发展中，也出现了一些提高小目标检测性能的解决方案。本文将对这些方法进行分析、整理和总结。 图像金字塔和多尺度滑动窗口检测 一开始，在深学习方法成为流行之前，对于不同尺度的目标，通常是从原始图像开始，使用不同的分辨率构建图像金字塔，然后使用分类器对金字塔的每一层进行滑动窗口的目标检测。 在著名的人脸检测器MTCNN中，使用图像金字塔法检测不同分辨率的人脸目标。然而，这种方法通常是缓慢的，虽然构建图像金字塔可以使用卷积核分离加速或简单粗暴地缩放，但仍需要做多个特征提取，后来有人借其想法想出一个特征金字塔网络FPN，在不同层融合特征，只需要一次正向计...
#CV #Object Detection
READ

目标检测的遮挡问题概述

Computer Vision
2024-12-31
SoftNMS/DIoUNMS softnms参考： SoftNMS 可以看到，SoftNMS与传统NMS的区别在于对score分数调整的处理。如果是传统的NMS操作，那么当 B 中的 b_i 和 [Math] 的IoU值大于阈值 N_t ，那么就从 B 和 S 中去除该box；对于SoftNMS而言是先计算 [Math] 与 b_i 的IoU，然后IoU经过一个函数输出最后与 s_i 相乘最终得到box的分数。 其中 s_i 的score遵循IoU越大，分数越低的原则（IoU越大，越可能是背景），所以 s_i 定义如下： 考虑到上式是不连续的，并且当达到N_t的NMS阈值时会施加突然的惩罚， 如果惩罚函数是连续的，那将是理想的，否则它可能导致检测结果的排序列表的突然改变（集合D中的scor...
#CV #Object Detection
READ

Path Aggregation Blcok

Computer Vision
2024-12-31
FPN 1.结构区别 （a）图片金字塔生成特征金字塔：缩放图片比例 （b）通常的CNN网络结构 （c）多尺度特征融合的方式：像SSD（Single Shot Detector）就是采用这种多尺度特征融合的方式，没有上采样过程，即从网络不同层抽取不同尺度的特征做预测，这种方式不会增加额外的计算量。作者认为SSD算法中没有用到足够低层的特征（在SSD中，最低层的特征是VGG网络的conv4_3），而在作者看来足够低层的特征对于检测小物体是很有帮助的。 （d）FPN：这是本文要讲的网络，FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。通过高层特征进行上采样和低层特征进行自顶向下的连接，而且每一层都会进行预测。 2....
#Object Detection #CV
READ

多尺度问题概述

Computer Vision
2024-12-31
一、传统的图像金字塔 最开始在深度学习方法流行之前，对于不同尺度的目标，大家普遍使用将原图构建出不同分辨率的图像金字塔，再对每层金字塔用固定输入分辨率的分类器在该层滑动来检测目标，以求在金字塔底部检测出小目标；或者只用一个原图，在原图上，用不同分辨率的分类器来检测目标，以求在比较小的窗口分类器中检测到小目标。经典的基于简单矩形特征(Haar)+级联Adaboost与Hog特征+SVM的DPM目标识别框架，均使用图像金字塔的方式处理多尺度目标，早期的CNN目标识别框架同样采用该方式，但对图像金字塔中的每一层分别进行CNN提取特征，耗时与内存消耗均无法满足需求。但该方式毫无疑问仍然是最优的。值得一提的是，其实目前大多数深度学习算法提交结果进行排名的时候，大多使用多尺度测试。同时类似于SNIP使用...
#CV #Object Detection
READ

SNIPER

Computer Vision
2024-12-31
SNIPER的关键是减少了SNIP的计算量。SNIP借鉴了multiscale training的思想进行训练，multiscale training是用图像金字塔作为模型的输入，这种做法虽然能够提高模型效果，但是计算量的增加也非常明显，因为模型需要处理每个scale图像的每个像素，而SNIPER（Scale Normalization for Image Pyramids with Efficient Resampling）算法以适当的比例处理ground truth（称为chips）周围的上下文区域，在训练期间每个图像生成的chips的数量会根据场景复杂度而自适应地变化，由于SNIPER在采样后的低分辨率的chips上运行，故其可以在训练期间收益于Batch Normalization，...
#CV #Object Detection
READ
1 2 3 4