計畫背景
智慧團隊型機器人需透過多模態介面使人類操作者理解機器人狀態與任務環境。VR數位孿生可提升空間理解與沉浸式互動，但其呈現品質可能受感測雜訊、壓縮失真、深度錯誤、語意標註錯誤、重建不完整與延遲影響，進而導致錯誤判斷或過度信任。因此，亟需建立以人類感知與任務表現為核心的品質評估與可信任互動模型。
研究目標
一、建立機器人感知導向VR數位孿生資料與品質退化模型。二、量化不同品質條件對人類情境感知、信任、認知負荷與任務決策之影響。三、發展多模態VR數位孿生品質與可信任性預測模型。四、探索品質感知之互動介面優化與生成式輔助說明評估方法。
技術方法
本研究將以模擬或半合成場景產生機器人第一人稱視角、深度圖、語意地圖與機器人狀態資訊，並建構VR數位孿生介面。接著加入壓縮、模糊、低解析度、深度雜訊、點雲稀疏、語意錯誤與延遲等品質退化。透過使用者實驗蒐集主觀品質、信任、認知負荷、任務正確率與反應時間，並以多模態深度學習模型預測數位孿生品質、可信任性與人類決策可靠度。
創新
本計畫創新之處在於將影像/視訊品質評估、VR數位孿生、多模態學習與人機協作結合，從人類感知與信任角度評估機器人感知場景的可用性。不同於傳統數位孿生研究著重系統建置或控制，本研究強調數位孿生介面是否能被人類正確理解、信任並用於決策，並提出任務導向之品質與決策可靠度預測模型。
預期成果
預期建立VR數位孿生品質評估資料集、使用者主觀評估資料、多模態品質預測模型與品質感知互動介面雛形。成果可支援遠端操作、智慧製造、巡檢、倉儲物流、醫療照護與災害救援等人機協作場景，提升操作者情境感知、決策正確率、系統信任度與部署安全性，並強化中心在人機協作與多模態數位孿生技術上的完整性。