INCOMING TRANSMISSION

mAP定义及相关概念 mAP: mean Average Precision, 即各类别AP的平均值 AP: PR曲线下面积，后文会详细讲解 PR曲线: PrecisionRecall曲线 Precision: TP / (TP + FP) Recall: TP / (TP + FN) TP: IoU0.5的检测框数量（同一Ground Truth只计算一次） FP: IoU= 0, 0.1, 0.2, ..., 1共11个点时的Precision最大值，然后AP就是这11个Precision的平均值。 在VOC2010及以后，需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值。 mAP计算示例 假...

引言 时序差分（TemporalDifference，TD）方法是强化学习中的一类核心算法，它结合了动态规划与蒙特卡洛方法的优点。TD方法是无模型（modelfree）学习方法，不需要环境模型即可学习价值函数和最优策略。 TD方法的核心特点是通过比较不同时间步骤的估计值之间的差异来更新价值函数，这种差异被称为"时序差分误差"（TD error）。TD方法可以被视为解决贝尔曼方程或贝尔曼最优方程的特殊随机逼近算法。 基础TD算法：状态值函数学习 给定策略 [Math] ，基础TD算法用于估计状态值函数 [Math] 。假设我们有一些按照策略 [Math] 生成的经验样本 (s_0, r_1, s_1, ..., s_t, r_{t+1}, s_{t+1}, ...) ，TD算法的更新规则为： ...

NMS 过程： 1. 根据分类概率从小到大排序ABCDEF 1. 从最大概率F开始，F与A～E的IOU是否大于阈值 1. 大于的扔掉，从剩下的当中继续重复2～3 [代码] SoftNMS NMS算法保留score最高的预测框，并将与当前预测框重叠较多的proposals视作冗余，显然，在实际的检测任务中，这种思路有明显的缺点，比如对于稠密物体检测，当同类的两个目标距离较近时，如果使用原生的nms，就会导致其中一个目标不能被召回，为了提高这种情况下目标检测的召回率，SoftNMS应运而生。对于FasterRCNN在MSCOCO数据集上的结果，将NMS改成SoftNMS，mAP提升了1.1%。 它认为重叠较多的proposals也有可能包含有效目标，只不过重叠区域越大可能性越小。参见下图，NMS...

Segment Anything Segment Anything（SA）项目：一个用于图像分割的新任务、新模型和新数据集 通过FM（基础模型）+prompt解决了CV中难度较大的分割任务，给计算机视觉实现基础模型+提示学习+指令学习提供了一种思路 关键：加大模型容量（构造海量的训练数据，或者构造合适的自监督任务来预训练） Segment Anything Task SAM的一部分灵感是来源于NLP中的基座模型(Foundation Model)，Foundation Model是OpenAI提出的一个概念，它指的是在超大量数据集上预训练过的大模型（如GPT系列、BERT），这些模型具有非常强大的 zeroshot 和 fewshot能力，结合prompt engineering和fine ...

上图是Yolo v4中，对各种detector部件的总结：包含Input、backbone、neck、head、... Backbone Neck 例如：SPP 、 ASPP 、 RFB、 SAM 用来增加感受野 特征融合，主要是指不同输出层直接的特征融合，主要包括FPN、PAN、SFAM、ASFF和BiFPN。 结构 One stage TwoStage Anchor Free Transformer Problems

Random erasing data augmentation 论文名称：Random erasing data augmentation 论文地址：https://arxiv.org/pdf/1708.04896v2.pdf 随机擦除增强，非常容易理解。作者提出的目的主要是模拟遮挡，从而提高模型泛化能力，这种操作其实非常make sense，因为我把物体遮挡一部分后依然能够分类正确，那么肯定会迫使网络利用局部未遮挡的数据进行识别，加大了训练难度，一定程度会提高泛化能力。其也可以被视为add noise的一种，并且与随机裁剪、随机水平翻转具有一定的互补性，综合应用他们，可以取得更好的模型表现，尤其是对噪声和遮挡具有更好的鲁棒性。具体操作就是：随机选择一个区域，然后采用随机值进行覆盖，模拟遮...

Introduction 由于FPN和Focal loss 的加入，anchorfree模型变得越来越多。在仔细比对了anchorbased和anchorfree目标检测方法后，结合实验结果，论文认为两者的性能差异主要来源于正负样本的定义，假如训练过程中使用相同的正负样本，两者的最终性能将会相差无几。 作者将目前的Anchorfree分为两个大类： 1. keypointbased methods：以CornerNet和ExtremeNet为代表，首先定位几个预定义或自学习的关键点，然后限制物体的空间范围； 1. centerbased methods：以FCOS和Foveabox为代表，使用物体的中心点或区域定义基准点，然后预测从该点到物体边界的四个距离。 为此，论文提出ATSS( Ada...

简介 CornerNet是密歇根大学Hei Law等人在发表ECCV2018的一篇论文，作者总结目前anchorbased方法存在两个缺点： 1. 提取的anchor boxes数量较多，比如DSSD使用40k， RetinaNet使用100k，anchor boxes众多造成anchor boxes正负样本的不均衡； 1. anchor boxes需要调整很多超参数，比如anchor boxes数量、尺寸、比率，影响模型的训练和推断速率。 作者的思路其实来源于一篇多人姿态估计的论文"Endtoend learning for joint detection and grouping"。基于CNN的2D多人姿态估计方法，通常有2个思路（BottomUp Approaches和TopDown ...

近期，人脸识别研究领域的主要进展之一集中在了 Softmax Loss 的改进之上；本文从两种主要的改进方式——做归一化以及增加类间 margin——展开梳理，介绍了近年来基于 Softmax 的 Loss 的研究进展。 Softmax简介 Softmax Loss 因为其易于优化，收敛快等特性被广泛应用于图像分类领域。然而，直接使用 softmax loss 训练得到的 feature 拿到 retrieval，verification 等“需要设阈值”的任务时，往往并不够好。 这其中的原因还得从 Softmax 的本身的定义说起，Softmax loss 在形式上是 softmax 函数加上交叉熵损失，它的目的是让所有的类别在概率空间具有最大的对数似然，也就是保证所有的类别都能分类正确，...

Motivation 我们知道object detection的算法主要可以分为两大类：twostage detector和onestage detector。前者是指类似Faster RCNN，RFCN这样需要region proposal的检测算法，这类算法可以达到很高的准确率，但是速度较慢。虽然可以通过减少proposal的数量或降低输入图像的分辨率等方式达到提速，但是速度并没有质的提升。后者是指类似YOLO，SSD这样不需要region proposal，直接回归的检测算法，这类算法速度很快，但是准确率不如前者。作者提出focal loss的出发点也是希望onestage detector可以达到twostage detector的准确率，同时不影响原有的速度。 既然有了出发点，那么...

CVPR2017 算法 Global Convolutional Network（GCN），江湖人送外号“Large Kernel”。 Motivation GCN 主要将 Semantic Segmentation分解为：Classification 和 Localization两个问题。但是，这两个任务本质对特征的需求是矛盾的，Classification需要特征对多种Transformation具有不变性，而 Localization需要对 Transformation比较敏感。但是，普通的 Segmentation Model大多针对 Localization Issue设计，正如图(b)所示，而这不利于 Classification。 所以，为了兼顾这两个 Task，本文提出了两个...

先要明确的知道，FCOS是一个基于FCN（全卷积网络用于目标检测）、一阶段（one stage）、anchor free、proposal free、参考语义分割思想 实现的逐像素目标检测的模型。 简要介绍下FCOS几个核心点： （1）FCOS方法借鉴了FCN的思想，对 feature map 上每个特征点做回归操作，预测四个值 ， 分别代表特征点到Ground Truth Bounding box上、下、左、右边界的距离。 （2）特征点映射会原图后对应多个GT Bounding box，无法准确判断原图像素所属类别，因此模型引入 FPN 结构，利用不同的层来处理不同尺寸的目标框。 （3）远离目标中心点可能会产生劣质预测结果，为了增强中心点选取的准确性，模型引入了Centerness lay...