安全性是自動(dòng)駕駛技術(shù)最核心的命題，盡管目前自動(dòng)駕駛汽車已經(jīng)具備了在一些特定典型場(chǎng)景中示范無(wú)人駕駛運(yùn)行的能力，但不斷出現(xiàn)的自動(dòng)駕駛汽車事故仍舊使公眾對(duì)于無(wú)人駕駛大規(guī)模商用的可能性產(chǎn)生質(zhì)疑。開展更多的自動(dòng)駕駛測(cè)試和示范終究無(wú)法完全消除這一疑慮，真正突破這一瓶頸需要自動(dòng)駕駛汽車在設(shè)計(jì)時(shí)就能保證，面對(duì)突發(fā)情況時(shí)，即使沒(méi)有預(yù)先設(shè)定的應(yīng)對(duì)方案，仍然是可通行的并且是安全的。實(shí)現(xiàn)這一目標(biāo)需要準(zhǔn)確發(fā)現(xiàn)所有可能出現(xiàn)的安全隱患并及時(shí)處理，然而，當(dāng)前自動(dòng)駕駛依賴數(shù)據(jù)驅(qū)動(dòng)的AI技術(shù)，其黑盒特點(diǎn)與偶發(fā)失效特性導(dǎo)致實(shí)現(xiàn)這一目標(biāo)變得十分困難。

為解決這一問(wèn)題，清華大學(xué)車輛學(xué)院研究團(tuán)隊(duì)提出了自動(dòng)駕駛“可信持續(xù)進(jìn)化”技術(shù)，該技術(shù)會(huì)在自動(dòng)駕駛汽車行駛初期將所有場(chǎng)景無(wú)差別地看成未知場(chǎng)景，均采取主動(dòng)避讓的基礎(chǔ)駕駛策略以保證安全性；在此基礎(chǔ)上，AI模型將從大數(shù)據(jù)中主動(dòng)尋找熟悉的行駛場(chǎng)景，并自主地將在這些場(chǎng)景中的駕駛性能從基礎(chǔ)策略調(diào)整到更優(yōu)水平，因而能從系統(tǒng)設(shè)計(jì)的角度，解決長(zhǎng)尾場(chǎng)景難以窮盡的問(wèn)題，保證在任意場(chǎng)景下不依賴預(yù)先設(shè)定的“可信持續(xù)進(jìn)化”。實(shí)現(xiàn)這樣一個(gè)技術(shù)最核心的難點(diǎn)在于進(jìn)化的過(guò)程要保證性能是單調(diào)提升的，這樣才能使得整個(gè)進(jìn)化過(guò)程仍具備最基礎(chǔ)的安全性，但經(jīng)典的AI訓(xùn)練過(guò)程中性能通常存在震蕩現(xiàn)象，可能會(huì)引發(fā)新的安全風(fēng)險(xiǎn)，而研究團(tuán)隊(duì)設(shè)計(jì)的通過(guò)動(dòng)態(tài)評(píng)估置信度進(jìn)行AI模型訓(xùn)練的方案，能夠使性能隨數(shù)據(jù)的增加而單調(diào)持續(xù)提升，因而能夠很好地滿足這一要求。

圖 可信持續(xù)學(xué)習(xí)自動(dòng)駕駛的系統(tǒng)框圖

研究團(tuán)隊(duì)在仿真和實(shí)車測(cè)試過(guò)程中對(duì)該技術(shù)進(jìn)行了驗(yàn)證，實(shí)驗(yàn)結(jié)果表明該技術(shù)能夠保證自動(dòng)駕駛汽車在系統(tǒng)沒(méi)有預(yù)先設(shè)定的突發(fā)場(chǎng)景（如車輛逆行、工程車輛壓線超車等）中的駕駛安全性，同時(shí)隨著車輛的運(yùn)行和數(shù)據(jù)的持續(xù)采集，駕駛性能能夠自動(dòng)得到進(jìn)一步提升。這一技術(shù)突破有望推動(dòng)無(wú)人駕駛從典型場(chǎng)景示范走向開放道路實(shí)際應(yīng)用，讓無(wú)人駕駛汽車具備實(shí)現(xiàn)普及和大規(guī)模商用的可能性。

圖 可信持續(xù)學(xué)習(xí)自動(dòng)駕駛的應(yīng)用效果

該技術(shù)在2022北京科技冬奧自動(dòng)駕駛示范項(xiàng)目中成功得到了應(yīng)用。研究團(tuán)隊(duì)正在與國(guó)內(nèi)外領(lǐng)軍汽車企業(yè)和知名的出行廠商合作開展商業(yè)化合作，進(jìn)一步開展大規(guī)模無(wú)人駕駛開放道路應(yīng)用示范，以檢驗(yàn)該技術(shù)在更多行駛場(chǎng)景中的應(yīng)對(duì)能力與自主提升能力，并持續(xù)收集無(wú)人駕駛測(cè)試數(shù)據(jù)，以滿足開放道路無(wú)人駕駛可信賴性要求。

研究結(jié)果以“利用動(dòng)態(tài)置信度強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)自動(dòng)駕駛的持續(xù)提升”(Continuous improvement of self-driving cars using dynamic confidence-aware reinforcement learning)為題發(fā)表在《自然·機(jī)器智能》(Nature Machine Intelligence)上。主編及審稿專家認(rèn)為，強(qiáng)化學(xué)習(xí)作為強(qiáng)大的AI技術(shù)，目前在應(yīng)用于自動(dòng)駕駛過(guò)程中仍存在可信賴性不足的問(wèn)題。研究團(tuán)隊(duì)提出的方法能夠利用強(qiáng)化學(xué)習(xí)提升自動(dòng)駕駛性能，同時(shí)保障在陌生場(chǎng)景中的安全性，是一項(xiàng)非常有價(jià)值且令人信服的工作。

論文第一作者為清華大學(xué)車輛學(xué)院博士后曹重，通訊作者為車輛學(xué)院楊殿閣教授，清華大學(xué)江昆老師、美國(guó)密歇根大學(xué)彭暉教授共同參與了本研究工作。研究得到了國(guó)家自然科學(xué)基金與清華-豐田聯(lián)合研究基金專項(xiàng)項(xiàng)目支持。