網聯智能車是無人駕駛的重要技術路線，而包含多車和多路端的通信（包括不同頻段，即sub-6 GHz、毫米波等，和不同天線陣列，即SISO、MIMO、大規模MIMO等，的射頻信道信息）與多模態感知（包括射頻感知，即毫米波雷達等，和非射頻感知，即RGB圖、深度圖、激光雷達等），覆蓋典型網聯交通場景以及具有豐富場景條件的數據集是網聯智能車研究的基石。然而，現階段面向網聯智能車的數據集存在缺少多車和多路端的通信與多模態感知信息，具有交通場景簡單和單一以及場景條件匱乏等不足，從而制約了網聯智能車的快速及深度發展。
7月2日，2023中國智能車大會暨國家智能車發展論壇在廣州南沙盛大開幕。會上重磅發布全球首個面向網聯智能車的包含多車和多路端的通信與多模態感知數據集Mixed Multi-Modal Sensing and Communication (M3SC)。該數據集由中國工程院院士、中國自動化學會理事長、西安交通大學教授鄭南寧指導，北京大學程翔教授牽頭，聯合西安交通大學、北京大學、香港科技大學（廣州）和中信科移動通信技術股份有限公司共同發布。
北京大學程翔教授
據悉，M3SC數據集包含多模態感知實測數據集和通信與多模態感知仿真數據集。實測數據集包含了豐富的多模態感知信息并覆蓋了典型的網聯智能應用路段，包括廈門、杭州、北京、西安和常熟多個城市的校園園區、城市道路、復雜路口。仿真數據集包含了通信與多模態感知信息，涵蓋了城鎮、郊區、鄉村等多種網聯智能交通場景，并具有多時段、多天氣、多視角、多車流量密度、多頻段、多種天線陣列等豐富場景條件。目前，實測數據集包含63萬幀RGB圖，41.5萬幀激光雷達點云和41.8萬幀毫米波雷達點云，并有2.5萬幀多類型標注信息。仿真數據集包含18萬張RGB圖，36萬張深度圖，18萬組激光雷達點云，10萬組毫米波雷達信號波形和16萬組信道沖激響應。發布的M3SC數據集將為面向網聯智能車的通信與多模態感知智能融合理論及方案設計提供重要支撐。
