高效目标跟踪解决

长时间一直进行这样的图像标注工作，那无疑是枯燥而乏味的，手酸不说，更多的是精神上的折磨，进而效率大打折扣。但这又是算法提升的必要途径，无法跳过，当项目紧急时，甚至需要多人加班加点赶进度。这样的痛苦现状急需改变！慧视光电的算法工程师为了提高这一的效率，开发了一个深度学习算法开发平台SpeedDP。它的基本逻辑是基于一个手动标注一定量的数据集进行训练，形成一个可用的预选模型（如果已有模型可以直接使用），然后训练一定阶段后，可以评估此模型的能力，如果能够满足使用就可以对相同目标的新数据集（未进行任何标注）进行AI自动化标注。这一过程的省去了大量需要对新数据集的手动拉框工作，同时也在不断反哺此模型算法，帮助提升性能。慧视RV1126图像跟踪板支持目标跟踪识别目标（人、车）。高效目标跟踪解决

但这也遇到很多难点，通常情况下，视频回传的延迟大概在200ms左右，随着大量的弹打出，视频传输所需带宽就面临压力，如何在通信带宽有限的情况下，保证视频顺畅、清晰、无卡顿地传输，是分析改进这个工作需要解决的前期难点。针对于这个问题，慧视光电利用GS弱网高清音视频传输系统和RK3588打造的Viztra-HE030图像处理板结合，推出了低延迟低带宽图传解决方案。在一个窄带收发信道内，例如在信道有效带宽0.5Mb/s~2Mb/s内，多路视频和交互控制共用一对收发信道，信道支持数据透传，外部系统可以使用该信道，传输任意格式的数据；可实时调整视频码率，在低至500K带宽情况下依然可以回传清晰流畅的图像。可以使设备飞的更远、走的更远;可实现视频中继转发；能够基于H265实时视频编码；可实现基于视频流的“人在回路低延迟控制”。基于普通60帧相机，实现15ms的低延迟编解码，加上数据链传输延迟时间在30ms左右，目前业界前列。通用性强，使用更加灵活，适用更多应用场景；支持多路SDI视频在低至500K带宽情况下的同时传输（1080P60FPS），彻底解决“带宽苦恼”；整体时延约60ms（含相机、编解码、显示，不含传输），实现实时控制、实时打击。高效目标跟踪解决AI图像处理板能实现24小时、无间隙信息化监控。

2010年以前，目标跟踪领域大部分采用一些经典的跟踪方法，比如Meanshift、Particle Filter和Kalman Filter，以及基于特征点的光流算法等。Meanshift方法是一种基于概率密度分布的跟踪方法，使目标的搜索一直沿着概率梯度上升的方向，迭代收敛到概率密度分布的局部峰值上。首先Meanshift会对目标进行建模，比如利用目标的颜色分布来描述目标，然后计算目标在下一帧图像上的概率分布，从而迭代得到局部密集的区域。Meanshift适用于目标的色彩模型和背景差异比较大的情形，早期也用于人脸跟踪。由于Meanshift方法的快速计算，它的很多改进方法也一直适用至今。

“启明935A”系列芯片已经成功点亮，并完成各项功能性测试，达到车规级量产标准。启明935A是行业首颗基于Chiplet(芯粒/小芯片)异构集成范式的自动驾驶芯片，但并非单一芯片，而是一个家族系列。启明935HUBChiplet可以和不同数量的大熊星座AIChiplet互相搭配，再结合灵活的封装方式，快速形成不同性能等级的SoC芯片。它还支持高带宽的PBLink多芯互连，双芯双向带宽128GB/s，四芯双向带宽64GB/s。启明935A每颗芯片都支持比较大20路的1080p60摄像头输入，可应用于各类端侧AI部署。得益于大熊星座NPU天然支持Transformer结构，初步支持的模型有Yolo系列、ResNet50、PSPNet、PointNet++、TrafficSign_Retinanet、BevDet、miniCPM、Unet_ResNet50、PointPillars、PillarNest、M2track、BevFusion、PaliGemma、LLaMa-3B、8B等等。慧视RK3399图像处理板能实现24小时、无间隙信息化监控。

在目标跟踪领域，场景信息与目标状态的融合十分重要，首先，场景信息包含了丰富的环境上下文信息,对场景信息进行分析及充分利用,能够有效地获取场景的先验知识,降低复杂的背景环境以及场景中与目标相似的物体的干扰;同样地,对目标的准确描述有助于提升检测与跟踪算法的准确性与鲁棒性.总之,尝试研究结合背景信息和前景目标信息的分析方法,融合场景信息与目标状态,将有助于提高算法的实用性能。慧视光电开发的图像处理板，具备高性能、高精度的特点，能够进行精确的目标跟踪。目标跟踪监控预警系统是防溺水技防手段中应用比较广的。高效目标跟踪解决

RV1126图像处理板的目标识别能力突出。高效目标跟踪解决

由于侵入的目标的形状和颜色等特征是难以固定的，再加上监控的场景，即背景往往比较复杂，只利用一个单帧图像就找出移动的目标是非常困难的。然而，目标的运动导致了其运动时间内，监控场景图像的连续变化，所以，使用图像序列分析往往是比较有效的，而且适合于低信噪比的情况。由于监控系统通常监控的视野比较大，系统设置的环境较为恶劣，图像传输的距离较远，从而导致图像的信噪比不高，因此采用突出目标的方法，需要在配准的前提下进行多帧能量积累和噪声抑制。在该技术中，要研究的问题有，相邻的两幅或多幅图像之间的关系是什么关系，是简单的图像差的值，还是多幅之间差的最大值，还是其他的与图像减法之间的其他函数关系，是尤其需要研究的。在研究中，研究如何差，如何自动得到差图像的分割门限，如何减小背景和突出目标是研究的方向。高效目标跟踪解决