揭榜任務(wù):開展面向空間計算的輕量化Linux內(nèi)核XR系統(tǒng)技術(shù)研究,突破基于動態(tài)時間幀補償?shù)牡脱訒r全鏈路渲染、針對光學(xué)畸變及色散的預(yù)校正渲染、基于注視點的動態(tài)渲染、三維化顯示等關(guān)鍵技術(shù),設(shè)計通用一體化的空間感知和智能人機交互接口,提升使用者的沉浸感、交互的自然度。兼容適配不同主芯片平臺;支持主流三維引擎工具和標(biāo)準(zhǔn)。
預(yù)期目標(biāo):到2025年,完成基于Linux內(nèi)核的XR操作系統(tǒng)開發(fā)工作,系統(tǒng)延遲時間等核心指標(biāo)達到行業(yè)領(lǐng)先;兼容多種硬件主芯片平臺;支持多種三維引擎工具;支持OpenXR、GSXR、WebXR等XR標(biāo)準(zhǔn);適配超過100款主流應(yīng)用的三維顯示。
(二)實時三維引擎
揭榜任務(wù):研究多機集群渲染、動態(tài)全局光照、高性能圖形圖像處理等技術(shù),研發(fā)具備跨平臺能力的實時三維引擎,實現(xiàn)超大規(guī)模場景的高性能高質(zhì)量實時渲染;研究基于機器學(xué)習(xí)與程序化的內(nèi)容生成、多人協(xié)同交互等基于實時三維引擎的數(shù)字化內(nèi)容創(chuàng)作技術(shù),研發(fā)具備程序化內(nèi)容生成能力的開放引擎創(chuàng)作交互開發(fā)工具及創(chuàng)作平臺;基于實時三維引擎,在電視演播、教育、文博、工業(yè)等多個領(lǐng)域開發(fā)數(shù)字化示范應(yīng)用。
預(yù)期目標(biāo):到2025年,研發(fā)實時三維引擎,支持在主流國內(nèi)外操作系統(tǒng)上運行,支持單眼和雙眼,最低支持8k分辨率、12bit 位寬的渲染輸出,支持億級三角形在8K 60FPS下的渲染。輸入反饋延遲等性能指標(biāo)達到國際先進水平。
(三)三維序列數(shù)據(jù)編碼傳輸方案
揭榜任務(wù):研究三維序列數(shù)據(jù)編解碼及傳輸框架,結(jié)合三維序列數(shù)據(jù)特點,研究針對三維空間不規(guī)則動態(tài)網(wǎng)格、稠密點云序列和隱式表示三維模型等6自由度數(shù)據(jù)編碼系統(tǒng),實現(xiàn)三維序列數(shù)據(jù)的高效智能壓縮。研究三維序列數(shù)據(jù)傳輸技術(shù),圍繞三維序列數(shù)據(jù)傳輸方式、傳輸協(xié)議開展關(guān)鍵核心能力和標(biāo)準(zhǔn)構(gòu)建。在沉浸式通話、元宇宙會議、沉浸視頻點播等場景實現(xiàn)大規(guī)模應(yīng)用。
預(yù)期目標(biāo):到2025年,在保證高質(zhì)量的視覺效果條件下,三維空間不規(guī)則動態(tài)網(wǎng)格、稠密點云序列和隱式表示三維模型等6自由度數(shù)據(jù)編碼壓縮率達到行業(yè)領(lǐng)先水平。實現(xiàn)點云序列傳輸方案設(shè)計,實現(xiàn)至少1種點云傳輸協(xié)議驗證。
(四)面向元宇宙沉浸多感交互的5G-A網(wǎng)絡(luò)
揭榜任務(wù):研究元宇宙業(yè)務(wù)QoS、網(wǎng)絡(luò)資源、計算資源等多要素聯(lián)合受限下的5G-A網(wǎng)絡(luò)容量理論模型,指導(dǎo)系統(tǒng)性能評估及容量優(yōu)化。研究支持元宇宙終端計算任務(wù)卸載到邊緣、云的5G-A網(wǎng)絡(luò)端邊云協(xié)同優(yōu)化,有效降低終端的計算開銷及功耗。研究基于網(wǎng)絡(luò)狀態(tài)、用戶行為和媒體特征等多維感知信息的沉浸式媒體自適應(yīng)傳輸,有效提升網(wǎng)絡(luò)資源利用率及系統(tǒng)容量。研究基于視頻、音頻、動作及觸覺等多模態(tài)數(shù)據(jù)的5G-A網(wǎng)絡(luò)多模態(tài)協(xié)同傳輸,支持多模態(tài)多感官實時交互。
預(yù)期目標(biāo):到2025年,完成云VR、云AR、分離渲染等元宇宙典型應(yīng)用場景的系統(tǒng)容量理論模型;支持5G-A網(wǎng)絡(luò)下的終端計算任務(wù)卸載,實現(xiàn)終端計算開銷及功耗的有效降低;支持沉浸式媒體自適應(yīng)傳輸,實現(xiàn)網(wǎng)絡(luò)資源利用率提升,相比現(xiàn)有5G網(wǎng)絡(luò),單小區(qū)系統(tǒng)容量(并發(fā)XR用戶數(shù))提升3倍以上;支持多模態(tài)協(xié)同傳輸,多模態(tài)交互場景下端到端時延不超過50毫秒。相關(guān)技術(shù)指標(biāo)應(yīng)通過實驗室仿真驗證或系統(tǒng)原型樣機驗證,達到行業(yè)領(lǐng)先水平。
(五)基于物體特征點的三維模型快速匹配系統(tǒng)
揭榜任務(wù):針對基于圖像的三維建模,開展三維模型特征點匹配和對比的研究。主要利用優(yōu)化后的基于特征(形狀)的技術(shù)方法進行粗配準(zhǔn),利用優(yōu)化后的基于幾何(icp)的技術(shù)方法進行精配準(zhǔn),通過降維以及限制自由度的方式實現(xiàn)快速、穩(wěn)定的配準(zhǔn)。突破對點云數(shù)據(jù)的無序性、非結(jié)構(gòu)化、不均勻和噪聲等干擾,有效地利用已有的信息實現(xiàn)精確、魯棒的點云配準(zhǔn)算法,實現(xiàn)在室內(nèi)正常光照條件下,在市場主流移動設(shè)備上快速、精確地完成點云的配準(zhǔn)。實現(xiàn)在工業(yè)設(shè)備維修維護等場景的應(yīng)用,解決技術(shù)專家無法到場指導(dǎo)設(shè)備維修維護的問題。需要兼容不同的主芯片平臺。
預(yù)期目標(biāo):到2025年,完成基于物體特征點的三維模型快速匹配算法;根據(jù)不同設(shè)備尺寸,建模階段,采集不多于4000個特征點即滿足物體的建模要求,配準(zhǔn)階段,不多于10秒完成配準(zhǔn),物體特征點的精確度偏差毫米級。實現(xiàn)在200-2000勒克斯光照強度范圍內(nèi),即使建模和配準(zhǔn)的環(huán)境光照不同,算法都能穩(wěn)定、準(zhǔn)確地配準(zhǔn)。系統(tǒng)在重點領(lǐng)域?qū)崿F(xiàn)規(guī)模化商用。
二、重點產(chǎn)品
(六)高逼真數(shù)字人快速構(gòu)建與多模態(tài)交互系統(tǒng)