Mobileye是致力于開(kāi)發(fā)完全自動(dòng)駕駛系統(tǒng)的領(lǐng)軍企業(yè)之一。我們的目標(biāo)是搭建完全自動(dòng)駕駛“可脫眼”系統(tǒng)，但這是一項(xiàng)十分復(fù)雜的工作，需要極高的安全標(biāo)準(zhǔn)，以及大量的長(zhǎng)期投資。為了達(dá)成這一里程碑，我們憑借在高級(jí)駕駛輔助技術(shù)市場(chǎng)的領(lǐng)先地位創(chuàng)造當(dāng)前收入，確保業(yè)務(wù)的可持續(xù)發(fā)展，同時(shí)始終聚焦于完全自動(dòng)駕駛的最終目標(biāo)。

但要如何實(shí)現(xiàn)這一目標(biāo)？上個(gè)月，我們的首席執(zhí)行官Amnon Shashua教授和首席技術(shù)官Shai Shalev-Schwartz教授在Mobileye Driving AI Day活動(dòng)中發(fā)表了演講，討論并分享了Mobileye為實(shí)現(xiàn)這一里程碑所采用的創(chuàng)新人工智能方法。

觀看演講的五大要點(diǎn)，闡釋了Mobileye以智能方式利用人工智能，從而逐步攻克自動(dòng)駕駛技術(shù)的挑戰(zhàn)。

單一方法無(wú)法解決自主性問(wèn)題

在開(kāi)場(chǎng)演講中，Mobileye首席執(zhí)行官Amnon Shashua教授概述了解決自主性問(wèn)題的三種技術(shù)路線。以激光雷達(dá)為核心的復(fù)合人工智能系統(tǒng)（CAIS）方法，以純視覺(jué)和端到端人工智能方法，以及Mobileye以攝像頭為核心的復(fù)合人工智能系統(tǒng)（CAIS）方法。

Shashua教授強(qiáng)調(diào)了評(píng)估每種方法時(shí)，需要基于四大關(guān)鍵支柱來(lái)衡量其是否成功實(shí)現(xiàn)自主性：成本、模塊化、地域可擴(kuò)展性和平均故障間隔時(shí)間（MTBF）。雖然每種方法都有其獨(dú)特的優(yōu)勢(shì)和局限性，但沒(méi)有一種方法能滿足全部四大支柱并完全解決自主性問(wèn)題。

每種方法都有利有弊。某種方法可以提供高精度但生產(chǎn)效率卻極度低下，而另一種方法本身則可能存在局限性或并不可靠。例如，以激光雷達(dá)為核心方法可提供高精度，從而實(shí)現(xiàn)極高（出色）的平均故障間隔時(shí)間，但其成本卻限制了區(qū)域可擴(kuò)展性，因此其難以適應(yīng)更廣泛的市場(chǎng)。

相反，依靠純視覺(jué)或以攝像頭為核心方法更為經(jīng)濟(jì)實(shí)惠，但通常會(huì)在實(shí)現(xiàn)高M(jìn)TBF方面面臨更多挑戰(zhàn)，而且純端到端方法會(huì)帶來(lái)自動(dòng)駕駛汽車領(lǐng)域的對(duì)齊問(wèn)題（難以確保人工智能系統(tǒng)/機(jī)器學(xué)習(xí)模型的目標(biāo)與人類目標(biāo)保持一致）。不過(guò)，經(jīng)過(guò)平衡的方法可以彌合這些差距，既提供安全性，又能實(shí)現(xiàn)自動(dòng)駕駛市場(chǎng)的可擴(kuò)展性。

純端到端方法存在局限性

端到端方法的前提是，向系統(tǒng)輸入的數(shù)據(jù)越多，系統(tǒng)在模仿人類駕駛行為方面的能力就越優(yōu)秀，最終達(dá)到甚至超越人類的駕駛水平。這種方法無(wú)需“粘合代碼”或手動(dòng)編碼，而是完全依賴數(shù)據(jù)，尤其是無(wú)監(jiān)督數(shù)據(jù)。

基于Transformer的神經(jīng)網(wǎng)絡(luò)從數(shù)以百萬(wàn)計(jì)的汽車發(fā)送的駕駛數(shù)據(jù)中不斷學(xué)習(xí)，消除了人工標(biāo)注或解釋數(shù)據(jù)的手動(dòng)過(guò)程。。然而，這種方法面臨三大挑戰(zhàn)：缺乏抽象概念、存在捷徑學(xué)習(xí)問(wèn)題以及長(zhǎng)尾問(wèn)題。這三個(gè)挑戰(zhàn)都凸顯了當(dāng)前系統(tǒng)在有效處理復(fù)雜現(xiàn)實(shí)駕駛場(chǎng)景方面的局限性。

在演講中，Shashua教授以“計(jì)算器問(wèn)題”為例解釋了缺乏抽象概念的局限性。其中，“計(jì)算器問(wèn)題”是指ChatGPT因其基于語(yǔ)言的架構(gòu)局限性，難以可靠地處理復(fù)雜多步驟計(jì)算的問(wèn)題。

要解決這個(gè)問(wèn)題，答案其實(shí)極其簡(jiǎn)單：必須集成計(jì)算器工具（即集成Python環(huán)境來(lái)提高計(jì)算準(zhǔn)確性）。然而，Shashua教授認(rèn)為，僅僅依靠無(wú)監(jiān)督數(shù)據(jù)的端到端方法來(lái)解決自動(dòng)駕駛汽車這樣的安全關(guān)鍵系統(tǒng)的所有復(fù)雜問(wèn)題，既不可靠又充滿風(fēng)險(xiǎn)。

這種方法還有可能在學(xué)習(xí)階段嵌入不良甚至危險(xiǎn)的駕駛行為，且自動(dòng)駕駛汽車的“對(duì)齊問(wèn)題”也會(huì)更加顯而易見(jiàn)，因?yàn)槟Ｐ涂赡軙?huì)優(yōu)先考慮“常見(jiàn)但錯(cuò)誤”的行為，而不是“罕見(jiàn)但正確”的行為。

例如，人類駕駛員通常會(huì)在接近停車標(biāo)線時(shí)選擇緩慢減速后繼續(xù)前進(jìn)，或做出魯莽駕駛行為，此時(shí)，盡管這些行為并不正確，系統(tǒng)仍可能會(huì)將其視為常見(jiàn)行為進(jìn)行學(xué)習(xí)。因此，區(qū)分正確和不正確的操作（尤其是在“罕見(jiàn)但正確”的場(chǎng)景中）仍然是一項(xiàng)復(fù)雜的挑戰(zhàn)。

這些問(wèn)題可以通過(guò)特斯拉完全自動(dòng)駕駛（FSD）系統(tǒng)收集的數(shù)據(jù)得到實(shí)際例證。我們可以看到，完全自動(dòng)駕駛系統(tǒng)的數(shù)據(jù)表明，長(zhǎng)尾問(wèn)題在此顯現(xiàn)，即使輸入大量數(shù)據(jù)，模型也很難充分解決這些罕見(jiàn)事件，從而影響系統(tǒng)的整體安全性和可靠性，并阻礙系統(tǒng)在每一次產(chǎn)品升級(jí)中提高平均故障間隔時(shí)間（MTBF）的能力。

這一問(wèn)題凸顯了僅依靠大型數(shù)據(jù)集的局限性，因?yàn)楹币?jiàn)但關(guān)鍵的駕駛場(chǎng)景往往在數(shù)據(jù)中被低估或缺失。

PGF(Primary-Guardian-Fallback) 融合對(duì)于打造安全系統(tǒng)至關(guān)重要

在整個(gè)駕駛過(guò)程中，我們需要進(jìn)行無(wú)數(shù)次決策。從非常簡(jiǎn)單的二元選擇——例如左轉(zhuǎn)還是右轉(zhuǎn)、剎車還是不剎車，到更復(fù)雜和微妙的判斷——比如，如果我要?jiǎng)x車，是應(yīng)該輕踩還是急剎？

經(jīng)典的處理方式是：多個(gè)系統(tǒng)提供答案，并采取少數(shù)服從多數(shù)的原則 –?如果三個(gè)系統(tǒng)中有兩個(gè)決定向左并線，那么就向左并線。但是，如果這三個(gè)系統(tǒng)提供了三種不同的建議，例如分別是左轉(zhuǎn)、右轉(zhuǎn)或保持直行呢？在這種情況下，多數(shù)原則并不能解決問(wèn)題。

這時(shí)候就需要PGF（Primary-Guardian-Fallback）融合方法。PGF系統(tǒng)是一個(gè)分層決策模型。其工作原理如下：

• Primary 主系統(tǒng): 該系統(tǒng)是標(biāo)準(zhǔn)自動(dòng)駕駛系統(tǒng)（SDS），用于生成車輛的軌跡 - 規(guī)劃的路線或行動(dòng)方案。在大多數(shù)情況下，它是主要決策者，輸出初步建議的行駛路線或行動(dòng)方案。

• Fallback 備用系統(tǒng): 與Primary主系統(tǒng)一樣，F(xiàn)allback備用系統(tǒng)是另一種能自動(dòng)生成路徑軌跡或替代路線的自動(dòng)駕駛系統(tǒng)。它是“Primary”主系統(tǒng)遇到問(wèn)題或Guardian監(jiān)護(hù)系統(tǒng)檢測(cè)到潛在問(wèn)題時(shí)的備用系統(tǒng)。

• Guardian 監(jiān)護(hù)系統(tǒng): Guardian監(jiān)護(hù)系統(tǒng)是一個(gè)監(jiān)控層。它不會(huì)直接生成路徑，而是對(duì)Primary主系統(tǒng)的軌跡進(jìn)行評(píng)估，以確保其符合一定的安全性和可行性標(biāo)準(zhǔn)。簡(jiǎn)而言之，Guardian監(jiān)護(hù)系統(tǒng)會(huì)評(píng)估Primary主系統(tǒng)建議的行動(dòng)方案是否安全可行。如果Guardian監(jiān)護(hù)系統(tǒng)發(fā)現(xiàn)問(wèn)題，則可以觸發(fā)Primary主系統(tǒng)切換到Fallback備用系統(tǒng)，以確保車輛的安全領(lǐng)航行駛。

在決定是否剎車的二元情景中，以使用三重傳感器系統(tǒng)為例：攝像頭（“Primary”主系統(tǒng)）、雷達(dá)（“Guardian”監(jiān)護(hù)系統(tǒng)）和激光雷達(dá)（“Fallback”備用系統(tǒng)），按多數(shù)原則進(jìn)行決策：如果攝像頭和雷達(dá)決策一致，就直接執(zhí)行；如果不一致，就遵從激光雷達(dá)的建議，而激光雷達(dá)的建議必然會(huì)與另外兩個(gè)系統(tǒng)其中之一的建議保持一致，確保服從多數(shù) - 因此，PGF相當(dāng)于秉持了2/3多數(shù)原則。

“三個(gè)子系統(tǒng)中的多數(shù)”這一概念只在二元決策中具有明確的定義。然而，我們?cè)隈{駛過(guò)程中需要做出的許多決策都不是二元決策。

最值得注意的是，車道的幾何形狀并不是二元決策，而這種幾何形狀對(duì)責(zé)任敏感安全模型（RSS）的決策有著深遠(yuǎn)的影響。因此，我們提出了一種對(duì)多數(shù)原則的概括，稱之為PGF（Primary-Guardian-Fallback）融合系統(tǒng)。這種融合系統(tǒng)遵循“Primary”主系統(tǒng)或“Fallback”備用系統(tǒng)的建議，具體取決于“Guardian”監(jiān)護(hù)系統(tǒng)的輸出。

Transformer 效率可提高100倍

在目標(biāo)物檢測(cè)領(lǐng)域，通信至關(guān)重要。將圖像準(zhǔn)確輸入標(biāo)記化流程 - 將其轉(zhuǎn)換為可解讀和可處理的數(shù)據(jù) -需要盡可能精確的執(zhí)行。而要進(jìn)一步提升效率，不僅需要智能的標(biāo)記化過(guò)程，還需要構(gòu)建一個(gè)系統(tǒng)，使標(biāo)記能夠以高效且有序的方式進(jìn)行大規(guī)模相互通信，從而實(shí)現(xiàn)更高級(jí)別的協(xié)同處理。

需要注意的是，由于單個(gè)芯片的計(jì)算要求很高，通信過(guò)程必須高效。為使芯片流暢運(yùn)行，則必須優(yōu)化數(shù)據(jù)流，以防止芯片性能滯后，從而導(dǎo)致通信速度變慢。

在演講中，Mobileye首席技術(shù)官Shai Shalev-Schwartz教授解釋了Mobileye利用稀疏類型注意力（STAT）方法解決這一問(wèn)題，并將Transformer效率提高100倍。稀疏類型注意力方法通過(guò)將標(biāo)記組織成結(jié)構(gòu)化的組來(lái)優(yōu)化標(biāo)記之間的通信。想象一下，成千上萬(wàn)人試圖在一個(gè)巨大的體育場(chǎng)內(nèi)互相交談，必然會(huì)導(dǎo)致混亂。同樣的概念也適用于成千上萬(wàn)的標(biāo)記，在相同的場(chǎng)景下，它們很難有效地相互交流。而STAT方法正是為解決這一問(wèn)題而設(shè)計(jì)的。

除非將其劃分為特定的角色 - 例如“常規(guī)標(biāo)記”和“管理者標(biāo)記” - 以創(chuàng)建更有組織的通信結(jié)構(gòu)，或者更準(zhǔn)確地說(shuō)，是相關(guān)的連接方式。這基本上就是稀疏類型注意力背后的理念，通過(guò)改進(jìn)類型和組織方式，引入結(jié)構(gòu)和參數(shù)來(lái)提高模型效率。

那我們是如何做到這一點(diǎn)的呢？我們通過(guò)用“管理者”或鏈接標(biāo)記，對(duì)標(biāo)記進(jìn)行劃分和分組來(lái)建立秩序，讓常規(guī)標(biāo)記可以獨(dú)立地與鏈接標(biāo)記（“管理者”）進(jìn)行通信。例如，通過(guò)將300個(gè)常規(guī)標(biāo)記與32個(gè)鏈接標(biāo)記分組，常規(guī)標(biāo)記就可以與鏈接標(biāo)記通信，而鏈接標(biāo)記之間也可以相互通信。這種結(jié)構(gòu)化方法大大降低了復(fù)雜性，將模型效率提高了100倍。

在效率與靈活性之間尋找最佳平衡點(diǎn)

Shai Shalev-Schwartz 教授闡述了芯片運(yùn)行中效率和靈活性之間的平衡。簡(jiǎn)而言之，如果我們要設(shè)計(jì)只具單一內(nèi)置用途的超高效芯片，那么它的效率會(huì)非常高，但同時(shí)功能也非常有限。

另一方面，如果設(shè)計(jì)一款多任務(wù)處理芯片，那么它的靈活性就會(huì)很高，但其性能卻不會(huì)那么高效。這就是效率和靈活性之間的基本權(quán)衡 - 尤其是對(duì)于車載芯片而言。然而，EyeQ?6 High芯片恰好能夠滿足自動(dòng)駕駛的需求，實(shí)現(xiàn)了靈活性和效率之間的完美結(jié)合。

為實(shí)現(xiàn)這一目標(biāo)，EyeQ?6 High芯片內(nèi)部包含了多種組件，每種組件都具有不同程度的靈活性和效率。Shai Shalev-Schwartz教授提到了五種不同架構(gòu)的組件，這些組件從高度專用、高效到高度靈活，不一而足。從兩種高度靈活的中央處理器 - MPC和MIPS，到高效且特定的XNN，再到介于兩者之間的兩種加速器，EyeQ?6 High芯片可根據(jù)操作的不同進(jìn)行調(diào)整，以適用于不同的應(yīng)用范圍。

在執(zhí)行苛刻的人工智能深度學(xué)習(xí)任務(wù)時(shí)，Mobileye EyeQ6 High的效率令人印象深刻。其34 TOPS（每秒萬(wàn)億次運(yùn)算）的算力大大超越了前代產(chǎn)品EyeQ5。然而，單純比較TOPS數(shù)字并不能完全反映其優(yōu)勢(shì)。

衡量芯片在自動(dòng)駕駛應(yīng)用中有效性的真正標(biāo)準(zhǔn)，在于其在各種神經(jīng)網(wǎng)絡(luò)任務(wù)中每秒可處理幀數(shù)的能力。例如，EyeQ5每秒僅能處理91幀的像素標(biāo)注神經(jīng)網(wǎng)絡(luò)，而EyeQ6 High每秒可處理超過(guò)1000幀，效率提高了十倍以上。這一升級(jí)不僅來(lái)自于更高的時(shí)鐘速度，還源于XNN的專用架構(gòu)，該架構(gòu)針對(duì)特定應(yīng)用的高效利用進(jìn)行了優(yōu)化。

例如，英偉達(dá)Orin芯片的算力可達(dá)到275 TOPS，相比之下，其原始數(shù)據(jù)可能更勝我們一籌。然而，在運(yùn)行標(biāo)準(zhǔn)的ResNet-50網(wǎng)絡(luò)時(shí)，兩者的幀數(shù)處理能力差距僅為2倍。

這表明，僅憑TOPS并不足以衡量芯片的有效性；環(huán)境和效率才是關(guān)鍵。總體而言，EyeQ6High的設(shè)計(jì)側(cè)重于量身定制的功能和效率，并輔以強(qiáng)大的軟件堆棧（在各種加速器之間優(yōu)化任務(wù)分配）。從本質(zhì)上講，EyeQ6 High的真正優(yōu)勢(shì)在于它的智能設(shè)計(jì)。而這種為高效處理特定任務(wù)而量身定制的設(shè)計(jì)證明，單純TOPS數(shù)據(jù)并不能反映其真正的性能。

總而言之，Mobileye在人工智能領(lǐng)域的專業(yè)技術(shù)與為提高效率而優(yōu)化的專用硬件相結(jié)合，為實(shí)現(xiàn)區(qū)域可擴(kuò)展的自動(dòng)駕駛技術(shù)開(kāi)辟了一條清晰的道路。隨著我們不斷獲得突破，我們正一步步實(shí)現(xiàn)完全自動(dòng)駕駛的未來(lái)愿景。

?