学生姓名：郭晨飞

班级班级：车辆2020-05班

指导教师：刘平

毕设题目：基于合成数据和YOLOv8的道路多目标检测

一、概况

1.选题意义

在智能汽车领域，计算机视觉是重要的技术之一，它允许汽车通过摄像头收集信息，并对其进行解析以理解周围环境。图像数据合成在这一过程中扮演着至关重要的角色。

（一）其意义主要包括：

1）数据丰富性：实际环境中获取的图像数据受限于地点、时间、气候等多种因素，可能无法覆盖所有驾驶场景。数据合成可以创造出各种虚拟情景，增加数据的多样性。

2）安全性测试：通过合成图像，可以在不将人或财产置于危险之中的情况下模拟各种极端和危险的驾驶情况，以测试智能汽车系统的响应。

3）算法训练：深度学习等计算机视觉算法需要大量数据进行训练。合成图像可以有效地扩充训练数据集，提高算法的准确性和鲁棒性。

4）成本效益：在实际环境中获取大量高质量图像数据通常成本很高，通过合成图像可以降低数据收集的成本。

5）隐私保护：使用合成图像可以避免处理敏感数据，如个人面部信息或车牌号，从而保护隐私。

（二）数据合成的目的有：

1）改善仿真测试：通过合成图像，可以改善智能汽车在虚拟环境中的仿真测试，确保在不同视觉条件下的性能，如不同天气、光照条件等。

2）标注与验证：合成图像通常可以自动产生精确的标注信息，这对于验证和改进计算机视觉算法非常有用。

3）异常情况模拟：合成数据可以用来模拟罕见或未见过的情况，这对于提高系统在面对未知情况时的鲁棒性非常重要。

通过这些方式，图像数据合成不仅加快了智能汽车计算机视觉系统的研发进程，也提高了其最终在真实世界中的性能和可靠性。

2.任务分解

1）学习基于yolov8与pytorch的深度学习网络

2）选择合理的数据集进行交通道路检测，并主要对行人与车辆进行检测。

3）调整参数并训练更利于分割汽车与行人的网络，分割出图片中的车辆

4）学习超分算法对分割结果进行优化

5）选择合适的合成背景并提取交通场景中的可行驶区域

6）将分割结果的车辆和行人合成进背景中并做图像和谐处理。

二、已完成工作

（一）图像预处理

对选择的tusimple数据集和BDD100K数据集进行增强去噪，首先进行了CLAHE自适应直方图均匀化、随后进行了高斯滤波和CANNY算子提取边界，预处理阶段基本完成了对原始输入图像的增强去噪，效果理想，可以用于后续识别与分割。

（二）利用YOLO-v8的多目标检测

利用2023年10月份YOLO团队最新推出的第八代YOLO模型，对已经增强过的图像进行目标检测，主要检测内容为行人、非机动车、机动车，同时机动车又分为小轿车与货车两类，在保证检测精度的条件下，当置信度conf=0.85时，可以最大可能地排除遮挡问题，平均每帧图片可以检测到2-4辆汽车。

（三）语义分割

在上一步目标检测的基础上进行像素级别的语义分割，主要分割出了tusimple数据集和BDD100K数据集视频数据每一帧上的汽车。

（四）车道线检测

车道线检测作为智能汽车视觉感知最基础的技术，目前已经又非常成熟的网络，其又分为：基于检测的方法、基于关键点的方法、基于参数曲线的方法，本次设计主要采用了基于锚点（关键点）的网络，参考IEEE2022：《Ultra Fast Lane Detection》，并且在tusimple数据集上成功复现。

（五）联合放置标准的确定

此部分为本次毕业设计的核心技术，为此根据之前合成数据，尤其是图像数据，本人在此整理出三大条放置标准，并进行了联合放置：

1. 车身姿态条件：将分割出的车辆放置在原图的对应车道上，可以形成与原图相同的语义，当将其放置在与原图非对应车道上时，产生其他语义的图像，通常，这些其他语义包含有：车辆变道、车辆逆行、车辆掉头、前方事故、前车超车、前车靠边停车等。

2. 车辆大小条件：据统计，我国城市道路每车道宽度为3.5米，交叉路口分流车道每车道为2.3-2.5米，干线公路（包括高速公路）每车道宽为3米，路肩（高速公路紧急停车带）为1.5-2.5米。而据统计，我国中小型轿车的平均宽度为1.8m到2.2m之间，因此可以根据此比例，对分割出来的车辆素材进行等比例缩放，以达到车辆大小的合理性。具体实现方法是首先通过算法计算出将要放置车辆位置的车道线宽度，对目标车辆进行缩放，最后进行联合放置。

3. 车辆势能场条件：引自智能驾驶轨迹预测与危险碰撞预测领域的人工势能场概念，当目标车辆与图中原有车辆距离越近时，合成要求越高，合成精度越高，合成可能性越低。

二、下一步工作计划

（一）对合成图像进行和谐化处理

图像和谐化的目的是为了让合成数据的前景与背景和合理的融合在一起，简单的叠加或者对边缘进行高斯滤波是不合理的，参考CVPR2020：《DoveNet: Deep Image Harmonization via Domain Verification》可以最大程度的进行和谐化处理。

（二）车辆势能场模型的建立

建立基于概率模型的车辆势能场放置模型。

（三）继续完善论文

  完善论文的第二、三章与引用的书写工作。

问题一：关于你的合成图像，尤其是汽车的放置问题，你是怎么保证输出图像的真实度的？对于合成图像合理性的评价性指标有哪些？

回答：对于合成图像中汽车的放置问题，我在查阅众多合成数据文献之后，制定了三大放置标准来做联合放置，其一就是车身姿态，若想得到变道车辆，那就将车辆从车道线中抠出来并放置到另外的车道线中，从视觉上就可以完成变道车辆的合成，其二是近大远小的视觉透视关系，摄像头采集到的数据是图像数据，图像数据是有景深的，所以距离摄像头远的对象肯定是大小比较小的，反之亦然，因此车辆大小是通过距离图像中心点的远近进行判断的，根据车道线宽度和轿车平均宽度，即可计算出放置宽度，其三是车辆势能场概念，为了解决车辆重合问题，引入了自动驾驶行为决策领域：危险碰撞可能性研究，并转换成了基于概率模型的车辆势能场放置模型，最大程度的解决了合成车辆与图中原车辆遮挡的问题。

问题二：你的毕业设计工作重心是在合成和放置方面，那创新点在哪里？

回答：我的毕业设计目前一共有两大创新点，一是生成准确率较高自带标签的合成图像，二是提出了对于交通场景中放置车俩的联合放置标准。

问题三：后续打算继续完成什么工作？

回答：后续需要完成图像和谐部分，图像和谐的目的：旨在使前景与背景更加和谐，做到亮度、颜色、光照等条件的一致。然后最后完成论文的书写。

毕业设计中期答辩是一个重要的阶段，它不仅是对我前期工作的总结，也是对我后期工作的指导。中期答辩让我意识到，充分的准备工作是多么重要，这不仅仅是对设计内容的熟悉，还包括对可能提出的问题的预测和准备。在答辩前，我花费了大量的时间来整理我的研究材料，确保我能够清晰、准确地解释我的研究目的、方法和目前的进展。在答辩过程中，我接受了来自老师和同学们的质疑和建议。这些反馈让我从不同的角度审视我的研究，帮助我发现了自己之前未曾注意到的问题。我学会了接受批评，并将其转化为改进自己工作的动力。

总而言之，中期答辩是一个宝贵的学习经历，我非常感谢在此期间帮助过我的所有老师们和同学们，我期待将这些经验应用到我后续的毕业设计工作中，以期达到更好的成果。