安全性是自動駕駛技術最核心的命題，盡管目前自動駕駛汽車已經具備了在一些特定典型場景中示范無人駕駛運行的能力，但不斷出現(xiàn)的自動駕駛汽車事故仍舊使公眾對于無人駕駛大規(guī)模商用的可能性產生質疑。開展更多的自動駕駛測試和示范終究無法完全消除這一疑慮，真正突破這一瓶頸需要自動駕駛汽車在設計時就能保證，面對突發(fā)情況時，即使沒有預先設定的應對方案，仍然是可通行的并且是安全的。實現(xiàn)這一目標需要準確發(fā)現(xiàn)所有可能出現(xiàn)的安全隱患并及時處理，然而，當前自動駕駛依賴數(shù)據(jù)驅動的AI技術，其黑盒特點與偶發(fā)失效特性導致實現(xiàn)這一目標變得十分困難。

為解決這一問題，清華大學車輛學院研究團隊提出了自動駕駛“可信持續(xù)進化”技術，該技術會在自動駕駛汽車行駛初期將所有場景無差別地看成未知場景，均采取主動避讓的基礎駕駛策略以保證安全性；在此基礎上，AI模型將從大數(shù)據(jù)中主動尋找熟悉的行駛場景，并自主地將在這些場景中的駕駛性能從基礎策略調整到更優(yōu)水平，因而能從系統(tǒng)設計的角度，解決長尾場景難以窮盡的問題，保證在任意場景下不依賴預先設定的“可信持續(xù)進化”。實現(xiàn)這樣一個技術最核心的難點在于進化的過程要保證性能是單調提升的，這樣才能使得整個進化過程仍具備最基礎的安全性，但經典的AI訓練過程中性能通常存在震蕩現(xiàn)象，可能會引發(fā)新的安全風險，而研究團隊設計的通過動態(tài)評估置信度進行AI模型訓練的方案，能夠使性能隨數(shù)據(jù)的增加而單調持續(xù)提升，因而能夠很好地滿足這一要求。

圖 可信持續(xù)學習自動駕駛的系統(tǒng)框圖

研究團隊在仿真和實車測試過程中對該技術進行了驗證，實驗結果表明該技術能夠保證自動駕駛汽車在系統(tǒng)沒有預先設定的突發(fā)場景（如車輛逆行、工程車輛壓線超車等）中的駕駛安全性，同時隨著車輛的運行和數(shù)據(jù)的持續(xù)采集，駕駛性能能夠自動得到進一步提升。這一技術突破有望推動無人駕駛從典型場景示范走向開放道路實際應用，讓無人駕駛汽車具備實現(xiàn)普及和大規(guī)模商用的可能性。

圖 可信持續(xù)學習自動駕駛的應用效果

該技術在2022北京科技冬奧自動駕駛示范項目中成功得到了應用。研究團隊正在與國內外領軍汽車企業(yè)和知名的出行廠商合作開展商業(yè)化合作，進一步開展大規(guī)模無人駕駛開放道路應用示范，以檢驗該技術在更多行駛場景中的應對能力與自主提升能力，并持續(xù)收集無人駕駛測試數(shù)據(jù)，以滿足開放道路無人駕駛可信賴性要求。

研究結果以“利用動態(tài)置信度強化學習實現(xiàn)自動駕駛的持續(xù)提升”(Continuous improvement of self-driving cars using dynamic confidence-aware reinforcement learning)為題發(fā)表在《自然·機器智能》(Nature Machine Intelligence)上。主編及審稿專家認為，強化學習作為強大的AI技術，目前在應用于自動駕駛過程中仍存在可信賴性不足的問題。研究團隊提出的方法能夠利用強化學習提升自動駕駛性能，同時保障在陌生場景中的安全性，是一項非常有價值且令人信服的工作。

論文第一作者為清華大學車輛學院博士后曹重，通訊作者為車輛學院楊殿閣教授，清華大學江昆老師、美國密歇根大學彭暉教授共同參與了本研究工作。研究得到了國家自然科學基金與清華-豐田聯(lián)合研究基金專項項目支持。