3.1.2. 任務(wù)的驗(yàn)證

第二個(gè)困境是：如何保證被測(cè)智能機(jī)器在所遇到的所有場(chǎng)景中表現(xiàn)出其行為的一致性。因此需要保證任務(wù)測(cè)試的枚舉性/覆蓋性。

通俗的講，我們可以把任務(wù)看作是對(duì)智能機(jī)器測(cè)試的輸入，如果完成該任務(wù)，輸出“是”，反之輸出“否”。對(duì)于一些相對(duì)簡(jiǎn)單的智能性測(cè)試，通過(guò)枚舉所有可能的任務(wù)組合，我們可以窮盡可能的交通場(chǎng)景。如果車輛能通過(guò)所有這些場(chǎng)景，則車輛將足夠智能。但由于任務(wù)空間的時(shí)空連續(xù)性，枚舉是不可能完成的。因此，必須依賴虛擬采樣測(cè)試來(lái)加大如何合理采樣，在降低場(chǎng)景生成復(fù)雜度的同時(shí)，提升測(cè)試覆蓋性成為測(cè)試的關(guān)鍵技術(shù)。通過(guò)記錄受試車輛和其他車輛的軌跡，我們可以定量刻畫(huà)車輛的智能水平(駕駛性能)。

3.1.3. 仿真測(cè)試的設(shè)計(jì)

為了在有限的時(shí)間和財(cái)力內(nèi)盡量解決任務(wù)覆蓋問(wèn)題，現(xiàn)在的研究者多采取仿真測(cè)試來(lái)彌補(bǔ)實(shí)地測(cè)試的不足[4]。由此出發(fā)，研究者進(jìn)一步研究了如下諸多衍生問(wèn)題：

1）如何保證虛擬測(cè)試中虛擬物行為的真實(shí)性；

2）如何保證虛擬測(cè)試中虛擬物表現(xiàn)的豐富性；

3）如何保證虛擬測(cè)試中場(chǎng)景和任務(wù)的覆蓋性；

4）如何實(shí)現(xiàn)虛擬測(cè)試中機(jī)器判定的正確性。

例如在仿真測(cè)試方面，目前的無(wú)人駕駛車輛研究者考慮了如何從現(xiàn)實(shí)采集的2D圖像數(shù)據(jù)中提取物體的3D屬性，并在3D引擎中重新渲染并產(chǎn)生新的2D虛擬測(cè)試數(shù)據(jù)。而另外一些研究者則考慮了如何基于生成式對(duì)抗網(wǎng)絡(luò)來(lái)直接從2D實(shí)測(cè)圖像數(shù)據(jù)來(lái)生成新的2D虛擬測(cè)試數(shù)據(jù)。

再者，測(cè)試標(biāo)準(zhǔn)的設(shè)定也是研究者探討的熱點(diǎn)之一。對(duì)于駕駛這類典型的多目標(biāo)問(wèn)題，如何評(píng)價(jià)不同算法的優(yōu)劣并設(shè)計(jì)適應(yīng)不同用戶要求的測(cè)試標(biāo)準(zhǔn)尚有很大的難度。

3.1.4. 測(cè)試指標(biāo)的設(shè)定

測(cè)試指標(biāo)的設(shè)定的方法有幾種，第一種是要求智能機(jī)器做出類似人的行為表現(xiàn)。這種方法里首先需要確定人在完成該任務(wù)時(shí)會(huì)如何表現(xiàn)，然后再根據(jù)智能機(jī)器在完成該任務(wù)的過(guò)程中的表現(xiàn)和人的表現(xiàn)的區(qū)別來(lái)做判定。

第二種測(cè)試指標(biāo)設(shè)定方式是要求智能機(jī)器有最好的表現(xiàn)。比如，在設(shè)計(jì)針對(duì)圍棋的人工智能機(jī)器時(shí)，我們要求其能夠一直勝利，而不是像一個(gè)人類選手的方式去下棋。對(duì)于這一類目標(biāo)相對(duì)簡(jiǎn)單的情況下，這種方式更加合適。在智能車測(cè)試中，目標(biāo)往往比較復(fù)雜，不能像圍棋一樣以贏得棋局為目標(biāo)，需要考慮行駛安全性，速度，燃油效率等其他復(fù)雜的因素。以不同的因素為目標(biāo)會(huì)導(dǎo)致完全不同的設(shè)計(jì)。例如在2016，2017年的中國(guó)無(wú)人車未來(lái)挑戰(zhàn)賽中，智能車通過(guò)設(shè)定的10個(gè)特定場(chǎng)景任務(wù)的時(shí)間被作為評(píng)價(jià)指標(biāo)之一，如果發(fā)生了碰撞，壓線，闖紅燈，也會(huì)扣去相應(yīng)的分?jǐn)?shù)。當(dāng)人的感受被納入考察因素的時(shí)候，考慮到每個(gè)人對(duì)于同一件事物的感受都會(huì)有一定的區(qū)別，測(cè)試指標(biāo)的設(shè)定會(huì)變的更加艱難。

3.2. 智能車的智能性測(cè)試

我們這里以智能車的智能性測(cè)試為例，來(lái)說(shuō)明我們的觀點(diǎn)：

3.3.1. 智能性測(cè)試中測(cè)試任務(wù)的設(shè)定

傳統(tǒng)的無(wú)人駕駛車輛智能測(cè)試主要分為兩大流派：場(chǎng)景測(cè)試流派和功能測(cè)試流派。

1) 場(chǎng)景測(cè)試

往往是指處在特定時(shí)空中的測(cè)試系統(tǒng)。例如，交通場(chǎng)景一般指的是由眾多交通參與者和特定道路環(huán)境共同構(gòu)成的交通系統(tǒng)。如果受試車輛能夠自主行駛通過(guò)該交通系統(tǒng)，則稱為通過(guò)該特定場(chǎng)景的駕駛測(cè)試。例如DARPA 2005 年無(wú)人車挑戰(zhàn)賽便選取了212 公里的沙漠道路作為測(cè)試場(chǎng)景(其實(shí)2004年也是選擇了沙漠作為測(cè)試場(chǎng)景，但是“全軍覆沒(méi)”，相比之下，2005年則是一段光輝歲月)(Grand Challenge 2005)。DARPA 2007 年無(wú)人車挑戰(zhàn)賽則選取了96 公里的城市道路作為測(cè)試場(chǎng)景(Urban Challenge 2007)。

2) 功能測(cè)試