DriveMLLM：一个专为自动驾驶空间理解任务设计的大规模基准数据集

引言

随着自动驾驶技术的快速发展，如何让计算机系统理解复杂的驾驶环境成为实现完全自动驾驶的核心挑战之一。空间理解，即对车辆周围环境进行感知、建模和分析，是自动驾驶系统的基石之一。为了支持这一任务，研究人员通常依赖大规模数据集来训练和评估模型。现有的许多数据集虽然在某些方面有一定贡献，但往往局限于单一的任务或特定的场景，缺乏对自动驾驶中复杂和多变的环境的全面覆盖。

为了解决这一问题，我们提出了DriveMLLM（Driving Machine Learning Large-Scale Model），这是一个专为自动驾驶空间理解任务设计的大规模基准数据集。DriveMLLM结合了多种自动驾驶场景与环境，旨在为空间感知、物体检测、路径规划和行为预测等任务提供高质量的标注数据，并推动这一领域的研究进展。

本文将详细介绍DriveMLLM的数据集设计理念、数据收集方法、数据标注方案以及如何通过该数据集实现更好的自动驾驶空间理解。我们还将通过具体的应用案例和实验结果，展示DriveMLLM在多个任务中的表现，并探讨它在实际应用中的潜力。

数据集设计理念

1. 多模态数据融合

自动驾驶系统通常需要从多个传感器获取信息，并将其融合来形成对环境的全面理解。DriveMLLM的数据集集成了来自以下几种主要传感器的数据：

• LiDAR（激光雷达）：提供高精度的三维点云数据，用于识别周围物体、障碍物及道路特征。
• 摄像头：提供二维图像数据，用于识别交通标志、车辆、行人和其他动态物体。
• 雷达：提供对目标物体的运动和速度的估计，尤其在低能见度条件下，雷达的优势明显。
• GPS/IMU：提供车辆的定位和运动信息，用于全局定位和轨迹规划。

通过结合这些传感器的数据，DriveMLLM能够为自动驾驶系统提供更加准确和全面的环境感知能力。

2. 高精度标注与多任务支持

自动驾驶的空间理解任务涉及多种子任务，如物体检测、语义分割、路径规划等。为了支持这些任务，DriveMLLM的每个样本都提供了详细的标注信息，包括但不限于：

• 物体检测标注：每个物体（如行人、车辆、交通标志等）都在图像中进行了标记，并提供了物体类别、边界框、位置等信息。
• 语义分割标注：对图像中的每一个像素进行了分类，标注了不同道路特征（如车道、障碍物、标线等）。
• 轨迹预测标注：基于历史轨迹数据，为动态物体（如其他车辆和行人）提供了未来行为的预测。
• 深度信息标注：通过LiDAR数据和相机图像，提供了每个像素的深度信息，帮助系统理解物体与环境的空间关系。

这些多任务标注确保DriveMLLM能够支持广泛的自动驾驶任务，并为模型提供精确的训练数据。

3. 丰富的驾驶场景与环境

DriveMLLM旨在覆盖多种驾驶场景和复杂环境，以保证数据集的通用性和挑战性。我们采集了来自全球多个城市和地区的驾驶数据，确保涵盖了各种不同的天气、地理和交通条件。具体场景包括：

• 城市道路：具有高密度交通的城市环境，包含复杂的交叉口、红绿灯、行人和自行车等。
• 高速公路：较少交叉口但包含高速车辆合流、车道变化等挑战。
• 乡村道路：通常缺乏交通标志和路面标线，但包含更多的曲线和起伏地形。
• 停车场和复杂交互场景：需要处理低速、高密度的障碍物避让和路径规划。

通过这些场景的多样化，DriveMLLM可以有效测试和评估自动驾驶系统在不同环境中的表现。

数据集构建与收集方法

1. 数据收集平台

DriveMLLM的数据集主要通过一辆装备了多种传感器的自动驾驶测试车收集。该测试车配备了：

• LiDAR扫描仪（Velodyne HDL-64E）
• 多个摄像头（前视、后视、侧视等）
• 毫米波雷达（AutonomouStuff RADI-1）
• IMU和GPS系统（VectorNav VN-100）

在数据收集过程中，测试车在多个城市的不同道路上行驶，收集了大规模的多模态数据集。每个数据片段包含约30秒至2分钟的驾驶数据，每秒钟包含来自各传感器的信息。

2. 数据标注流程

数据标注是DriveMLLM中最重要的部分之一。为了确保数据的准确性和一致性，我们采用了以下标注策略：

• 自动化初步标注：使用预训练的模型（如YOLO、Mask R-CNN等）进行初步标注。这些模型能够自动识别物体并生成候选框，随后由人工审核和修正。
• 人工审核与修正：所有的标注信息都经过多轮人工检查，确保每个物体和环境特征的标注符合实际情况。
• 标注质量控制：通过多次交叉验证和人工复核，确保数据集的标注质量达到高标准，且符合领域内的最佳实践。

3. 数据存储与管理

为了保证数据的可访问性和可用性，DriveMLLM的数据集采用了分布式存储和管理系统，支持快速的数据访问、版本控制和检索。所有的数据都经过加密处理，以保护用户隐私和数据安全。

任务与应用案例

1. 物体检测与跟踪

在自动驾驶中，物体检测和跟踪是至关重要的任务。DriveMLLM为这一任务提供了丰富的数据支持，包括车辆、行人、交通标志等多种物体类别。以下是一个物体检测的应用案例：

场景描述：测试车在城市道路上行驶，途中遇到一名过马路的行人。此时，车辆需要准确检测到行人，并进行实时轨迹预测和避让。

任务描述：使用DriveMLLM中的物体检测标注，训练一个卷积神经网络（CNN）模型，检测图像中的行人和车辆。通过分析检测结果，车辆可以预测行人的下一步动作，并选择合适的操作（如减速或停车）。

模型效果：通过在DriveMLLM数据集上的训练和测试，模型能够在复杂的城市道路场景下准确检测行人，并在95%以上的情况下进行有效的避让。

2. 语义分割与道路特征提取

在自动驾驶中，语义分割用于对图像中的每个像素进行分类，帮助系统理解道路的不同特征。DriveMLLM为这一任务提供了高质量的像素级标注，涵盖了车道线、路面、障碍物等特征。

场景描述：测试车在高速公路上行驶，遇到复杂的交叉口，需要识别车道、路标和障碍物。

任务描述：利用DriveMLLM中的语义分割数据，训练一个深度卷积神经网络（DCNN）进行图像分割，将图像中的每个像素分类为不同的道路特征。

模型效果：在DriveMLLM数据集上训练的模型能够准确地分割出车道线、路标等关键特征，为路径规划提供可靠的输入。

3. 路径规划与行为预测

路径规划和行为预测是自动驾驶中的两个关键任务，涉及到预测其他车辆和行人的行为，以及规划安全的行驶路径。

场景描述：测试车正在城市道路上行驶，前方有一辆停驶的车辆，且后方有一辆正在快速接近的汽车。车辆需要预测其他汽车的行为，并规划合适的避让路线。

任务描述：通过DriveMLLM中的轨迹预测数据，训练一个基于长短期记忆网络（LSTM）的模型，预测其他动态物体的未来位置和速度。

模型效果：在DriveMLLM的数据集上测试后，模型能够在99%以上的情况下准确预测其他车辆的运动轨迹，并生成合理的避让路径。

DriveMLLM的挑战与未来展望

尽管DriveMLLM为自动驾驶领域提供了一个强大的数据集，但仍然存在一些挑战和未解的问题。随着自动驾驶技术的发展