13412598543
技術(shù)文章
隨著汽車向智能化、場(chǎng)景化加速演進(jìn)，智能座艙已成為人車交互的核心承載。從駕駛員注意力監(jiān)測(cè)到兒童遺留檢測(cè)，從乘員識(shí)別到安全帶狀態(tài)判斷，座艙內(nèi)的每一次行為都蘊(yùn)含著巨大的安全與體驗(yàn)價(jià)值。
然而，這些感知系統(tǒng)要在多樣駕駛行為、復(fù)雜座艙布局和非常見光照條件下持續(xù)穩(wěn)定運(yùn)行，傳統(tǒng)的真實(shí)數(shù)據(jù)采集方式已難以支撐其開發(fā)迭代需求。智能座艙的技術(shù)演進(jìn)，正由“采集驅(qū)動(dòng)"轉(zhuǎn)向“仿真驅(qū)動(dòng)"。
圖1：座艙實(shí)例圖
智能座艙中的AI系統(tǒng)，不僅需要理解駕駛員的行為和狀態(tài)，還要同時(shí)感知乘員、兒童、寵物乃至環(huán)境中的潛在交互風(fēng)險(xiǎn)。其仿真面臨幾大挑戰(zhàn)：
（1）行為維度復(fù)雜：如疲勞駕駛、身體遮擋、嬰兒誤留、飲水打電話等多樣行為難以統(tǒng)一采集；
（2）環(huán)境變因多樣：如夜間光照、紅外反射、遮擋物等情況干擾傳感器判斷；
（3）隱私合規(guī)嚴(yán)苛：特別是在兒童檢測(cè)等場(chǎng)景，獲取真實(shí)數(shù)據(jù)存在法律與倫理障礙。
這些因素決定了：高質(zhì)量的、多模態(tài)的合成數(shù)據(jù)與虛擬仿真，已成為智能座艙感知系統(tǒng)研發(fā)重要的支撐工具。
在智能座艙開發(fā)中，獲取高質(zhì)量訓(xùn)練數(shù)據(jù)往往面臨隱私、成本和長(zhǎng)尾場(chǎng)景覆蓋不足的問題。合成數(shù)據(jù)以其可控、高效、多樣、合規(guī)等優(yōu)勢(shì)，正成為訓(xùn)練AI感知系統(tǒng)的重要資源。
圖2：多種類型傳感器下的合成數(shù)據(jù)（Anyverse）
相比真實(shí)數(shù)據(jù)，合成數(shù)據(jù)具有以下優(yōu)勢(shì)：
（1）全面多樣：可靈活生成不同人群、行為、座艙結(jié)構(gòu)與環(huán)境變量組合，輕松覆蓋不常見和低頻場(chǎng)景；
（2）精準(zhǔn)標(biāo)注：輸出像素級(jí)真值、凝視向量、關(guān)鍵點(diǎn)、分割圖等，省去人工標(biāo)注；
（3）高效合規(guī)：不涉及真實(shí)乘員或兒童影像，天然滿足GDPR等隱私法規(guī)；
（4）可重復(fù)與可擴(kuò)展：相同條件下隨時(shí)重建，便于模型對(duì)比測(cè)試與大規(guī)模數(shù)據(jù)擴(kuò)增。
在 DMS、OMS、兒童存在檢測(cè)（CPD）、安全帶識(shí)別、寵物識(shí)別等多個(gè)智能座艙感知模塊中，合成數(shù)據(jù)不僅作為訓(xùn)練數(shù)據(jù)使用，也廣泛應(yīng)用于模型驗(yàn)證、場(chǎng)景補(bǔ)全與魯棒性測(cè)試。
智能座艙的核心不再只是對(duì)駕駛員狀態(tài)的檢測(cè)，更在于理解人在車內(nèi)的各種行為與交互模式。為了實(shí)現(xiàn)這一目標(biāo)，學(xué)術(shù)界在近幾年不斷推進(jìn)艙內(nèi)仿真與合成數(shù)據(jù)相關(guān)研究，這些成果也為 Anyverse 的平臺(tái)能力提供了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。
其中，CVPR 2023 發(fā)表的 BEHAVE 數(shù)據(jù)集是第一個(gè)聚焦全身人-物體交互的大規(guī)模 3D 數(shù)據(jù)集。該研究通過多視角 RGB-D 采集與三維重建，精細(xì)還原了人類與日常物品之間的自然行為，包括動(dòng)作接觸點(diǎn)、物體遮擋、身體姿態(tài)等，為仿真平臺(tái)構(gòu)建乘員使用手機(jī)、飲水、與物體互動(dòng)等細(xì)致行為場(chǎng)景提供了完整建模方案。
圖3：BEHAVE數(shù)據(jù)集
在視線與注意力建模方面，ICCV 2019 的 Gaze360 提出了無(wú)需設(shè)備佩戴的 3D 凝視估計(jì)方法。該數(shù)據(jù)集涵蓋不同光照和姿態(tài)條件下的大量受試者樣本，引入時(shí)間建模與不確定性表達(dá)，為駕駛員注意力評(píng)估和視覺交互訓(xùn)練提供了更加貼近實(shí)際場(chǎng)景的支持，也使得 Anyverse 能夠更加自然地模擬駕駛員在不同狀態(tài)下的凝視方向和關(guān)注點(diǎn)。
圖4 ：Gaze360視線標(biāo)注數(shù)據(jù)集
圖5：Anyverse合成的打瞌睡的司機(jī)元數(shù)據(jù)可視化
這些研究標(biāo)志著艙內(nèi)感知正從靜態(tài)姿態(tài)識(shí)別，逐步邁向?qū)?strong>復(fù)雜交互行為和多模態(tài)信息的深度建模。Anyverse 正是建立在這類前沿研究成果的基礎(chǔ)之上，不斷拓展其在角色行為生成、傳感器仿真、多視角場(chǎng)景構(gòu)建等方面的能力，助力智能座艙系統(tǒng)走向更加真實(shí)、可靠與安全的交互未來。
Anyverse 是一套專為艙內(nèi)感知系統(tǒng)設(shè)計(jì)的多模態(tài)仿真平臺(tái)，覆蓋從駕駛員監(jiān)控（DMS）到乘員識(shí)別（OMS）、兒童存在檢測(cè)（CPD）、安全帶識(shí)別、紅外仿真、雷達(dá)仿真等多場(chǎng)景需求。
圖6：Anyverse功能概覽
圖7：多樣化的艙內(nèi)合成數(shù)據(jù)
（1）多樣化艙內(nèi)合成數(shù)據(jù)生成
支持多年齡、種族、姿態(tài)的角色建模，覆蓋兒童座椅狀態(tài)、寵物遮擋、錯(cuò)誤安全帶系法等復(fù)雜情境，輸出 RGB、IR、ToF、Radar 等多傳感器格式數(shù)據(jù)。
（2）快速虛擬驗(yàn)證與閉環(huán)測(cè)試
適配 Euro NCAP、IIHS、China NCAP 等安全法規(guī)標(biāo)準(zhǔn)，提供像素級(jí)真值標(biāo)注、行為追蹤與模型性能可視化驗(yàn)證。
（3）物理級(jí)傳感器仿真引擎
支持基于 SBR 技術(shù)的雷達(dá)建模、高保真紅外與近紅外成像、MIMO 系統(tǒng)仿真，輸出雷達(dá)立方體與點(diǎn)云格式數(shù)據(jù)。
（4）開放、可復(fù)用的數(shù)據(jù)資產(chǎn)庫(kù)
提供可自定義的角色、座艙結(jié)構(gòu)、傳感器布置與互動(dòng)物體庫(kù)，快速構(gòu)建多變場(chǎng)景，顯著降低研發(fā)成本。
憑借高保真仿真能力與多模態(tài)數(shù)據(jù)生成優(yōu)勢(shì)，Anyverse 展現(xiàn)出在整車廠、Tier 1 與算法研發(fā)團(tuán)隊(duì)中廣泛部署的潛力，正加速艙內(nèi)感知系統(tǒng)的訓(xùn)練與驗(yàn)證閉環(huán)。
智能座艙的真正挑戰(zhàn)，不是識(shí)別駕駛員是否閉眼，而是理解“此時(shí)此刻車內(nèi)發(fā)生了什么"。這需要多模態(tài)、多角色、多行為的精準(zhǔn)感知系統(tǒng)，更需要背后支撐它的，一整套高保真、低成本、標(biāo)準(zhǔn)對(duì)齊的仿真機(jī)制。
從數(shù)據(jù)生成到算法驗(yàn)證，從法規(guī)適配到部署測(cè)試，Anyverse 提供的不僅是一個(gè)仿真平臺(tái)，更是智能座艙走向真正“理解人"的關(guān)鍵基礎(chǔ)設(shè)施。
未來的人車交互，不止于響應(yīng)，而源于洞察！
參考文獻(xiàn)：
1. Sundaram, S., et al. (2023). BEHAVE: Dataset and Method for Tracking Human-Object Interaction. CVPR 2023.
2. Kellnhofer, P., et al. (2019). Gaze360: Physically Unconstrained Gaze Estimation in the Wild. ICCV 2019.
3. Nguyen, T., et al. (2023). Synthevehicle: A Synthetic Dataset and Benchmark for Vehicle Interior Perception. WACV 2023.
關(guān)注微信