端到端的三大劃分

有的朋友看到這里可能有些懵，端到端也有不同劃分？是的沒錯，目前端到端主要可以劃分成三類（目前存在多種不同劃分，為了便于大家理解，本文只列舉英偉達GTC大會的劃分），如圖8所示可以分成顯式端到端、隱式端到端、基于大語言模型的端到端。

顯式端到端

顯式端到端自動駕駛將原有的算法模塊以神經網絡進行替代，并連接形成端到端算法。該算法包含可見的算法模塊，可以輸出中間結果，當進行故障回溯時可以一定程度上進行白盒化調整。在這個情況下，便不再需要工程師一行一行去敲代碼來撰寫規則了，決策規劃模塊從手寫規則向基于深度學習的模式進行轉變。

看起來有些抽象難懂，我們用大白話來講的話就是端到端了但又沒有完全端到端（也叫做模塊化的端到端），而所謂的白盒其實是相對于黑盒而言的，在后面隱式端到的部分我會用新手司機的例子來展開講，這里看不懂不要緊可以先行跳過。

獲得2023年CVPR最佳論文的UniAD模型就是采用的顯式端到端，如下圖所示，我們能夠明顯觀察到各個感知、預測規劃等模塊采用了向量的方式進行連接。

注：顯示端到端需要結合隱式端到端一起理解，不要孤立開；顯式端到端還可以劃分為感知端到端、決策規劃端到端

隱式端到端

隱式的端到端算法構建整體化的基礎模型，利用海量的傳感器接收的外部環境數據，忽略中間過程，直接監督最終控制信號進行訓練?！凹夹g原教旨主義者”認為如圖9這樣的傳感器信息一頭進入另一頭直接輸出控制信號的端到端才是真正的端到端，中間沒有任何額外模塊。

前面我們提過顯式端到端，通過比較圖8和圖9，能夠看出明顯的區別就是：隱式一體化的全局端到端中間沒有各個模塊，只有神經網絡存在（傳感器就是它觀看世界的方式，中間的端到端系統就是它的完整的大腦，方向盤、剎車油門就是它的四肢）；而顯式端到端不同的地方在于它把中間完整的大腦按照模塊化的方式給分開了，雖然它不再需要編寫代碼去學習各種各樣的規則，已經逐漸可以通過觀看老司機視頻的方式學習，但是，它依舊是分模塊去做的，所以批評的聲音會認為其不是真正意義上的端到端。

但這樣做也有它的好處，我們在前面提到過顯式端到端在一定程度上是白盒的，這是因為當我們的車輛通過學習涌現出一些我們不期望的糟糕行為時，我們可以回溯究竟是哪個模塊的端到端出現了問題，而作為黑盒模型的隱式端到端則無從下手，因為它是完全一體化的，創造它的人也不知道它為什么會這樣做（這就是大家老在網上聽到的黑盒的大概意思）。

生成式AI大模型的端到端

ChatGPT為自動駕駛帶來了極大的啟發。它運用無需標注且成本低廉的海量數據進行訓練，還具備人機互動以及回答問題的功能。自動駕駛可以效仿這種人機互動的模式，輸入環境方面的問題，它直接輸出駕駛決策，通過基于大語言模型的端到端來完成這些任務的訓練運算。

AI大模型的主要作用有兩點，一是可以低成本生成海量接近真實的、包含Corner Case（自動駕駛過程中很少出現但可能導致危險的異常情況）的多樣化訓練視頻數據，二是采用強化學習的方法來達到端到端的效果，從視頻感知到直接輸出駕駛決策。其核心就是模型可以通過自然數據自己推理學習因果，不再需要標注，模型整體的泛化能力得到大幅度提升，類似ChatGPT那樣，以自回歸的方式從上一個場景預測下一個場景。

讓我們用更簡單的話來講一下大模型對于端到端的重要性：

目前自動駕駛數據庫的價值極低：通常包括兩種數據，一種是正常行駛情況，千篇一律，占公開數據約 90%，如特斯拉影子模式。馬斯克承認這種數據價值較低，有效性可能僅萬分之一甚至更低。另一種就是事故數據即錯誤示范。用其做端到端訓練，要么只能適應有限工況，要么會出錯。端到端是黑盒子，無法解釋、只有相關性，需高質量、多樣化的數據，訓練結果才可能好點。

端到端需先解決數據問題，靠外界采集不太可行，因為成本高、效率低且缺乏多樣化和交互（自車與其他車輛、環境的交互，需昂貴人工標注），因此引入生成式AI大模型，它能制造海量多樣化的數據，減少人工標注，降低成本。

除此之外大語言模型端到端的核心邏輯是預測未來發展，本質是習得因果關系。當前神經網絡與人類有差距，神經網絡是概率輸出，知其然而不知其所以然；人類可通過觀察及無監督交互學習物理世界運行常識，能判斷合理與不可能，通過少量試驗學習新技能并預測自身行為后果。而生成式AI端到端大模型就是希望神經網絡也具備像人類這樣舉一反三的能力。

舉個例子來說：我們人類司機肯定會遇到一些沒有見過但可能有危險的情況，雖然沒有經歷過，但是通過往的經驗我們可以推斷出這個情況做什么才能保住小命（比如我們可能都沒有經歷過路上出現一個霸王龍的現象，但當霸王龍真的出現后，我們肯定會抓緊開車逃跑），通過過往經驗推測并判斷行為合理與否，這就是我們希望大語言模型端到端做的事情，希望我們的車輛真正地像人一樣開車。

圖11.華為ads3.0本能安全網絡

2.1特斯拉FSD V12的前世

特斯拉智能駕駛的發展史在一定程度上反應了自動駕駛行業最重要的一條路線的發展史，在2014年時，特斯拉發布第一代硬件Hardware 1.0，軟硬件均由Mobileye（一家以色列的汽車科技公司）提供，然而整體合作隨著2016年特斯拉“全球首宗自動駕駛致命事故”而結束（這里的核心原因在于Mobileye提供的是封閉黑盒方案，特斯拉不能修改其中的算法，而且還不能與Mobileye共享車輛數據）。

而且BEV+Transformer可以消除遮擋和重疊，實現“局部”端到端優化，感知和預測都在同一個空間進行，輸出“并行”結果。

（3）Occupancy Network占用網絡——2022年特斯拉AI DAY公布

Occupancy占用網絡的加入讓BEV從2D變成了真正意義上的3D（如圖16所示），并且在加入時間流信息（基于光流法）之后，完成了由3D向4D的過度。

Occupancy Network占用網絡引入了高度信息，實現了真正的3D感知。在之前的版本中，車輛可以識別訓練數據集中出現的物體，但對于未見過的物體則無法識別，而且即使認識該物體，在BEV中也只能判斷其占據一定程度的方塊面積，而無法獲取實際形狀。Occupancy網絡通過將車輛周圍的3D空間劃分成許多小方塊（體素），實現了對每個體素是否被占據的判斷（其核心任務不在于識別是什么，而是在于判斷每一個體素中是否有東西被占據）。

這就像你在迷霧中開車，雖然看不清楚前面是什么，但你大概知道前面有障礙物，你需要繞過去。

Occupancy Network也是通過Transformer來實現的，最終輸出Occupancy Volume（物體所占據的體積）和Occupancy flow（時間流）。也就是附近的物體占據了多大的體積，而時間流則是通過光流法來判斷的。