標(biāo)定傳感器是自動(dòng)駕駛感知系統(tǒng)中的必要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個(gè)或者多個(gè)傳感器變換到統(tǒng)一的時(shí)空坐標(biāo)系，使得傳感器融合具有意義，是感知決策的關(guān)鍵前提。任何傳感器在制造、安裝之后都需要通過(guò)實(shí)驗(yàn)進(jìn)行標(biāo)定，以保證傳感器符合設(shè)計(jì)指標(biāo)，保證測(cè)量值的準(zhǔn)確性。

傳感器在安裝到自動(dòng)駕駛汽車(chē)上之后，需要對(duì)其進(jìn)行標(biāo)定；同時(shí)，在車(chē)輛行駛過(guò)程中，由于震動(dòng)等原因，會(huì)導(dǎo)致傳感器位置與原位置產(chǎn)生偏離，因此有必要每隔一定的時(shí)間對(duì)傳感器進(jìn)行校準(zhǔn)。自動(dòng)駕駛汽車(chē)通過(guò)多種類(lèi)型的傳感器同時(shí)工作以進(jìn)行環(huán)境感知與自感知，傳感器的健壯性和準(zhǔn)確性在自動(dòng)駕駛汽車(chē)感知環(huán)節(jié)中尤為重要。

01 攝像頭標(biāo)定

車(chē)載攝像頭以一定的角度和位置安裝在車(chē)輛上，為了將車(chē)載攝像頭采集到的環(huán)境數(shù)據(jù)與車(chē)輛行駛環(huán)境中的真實(shí)物體相對(duì)應(yīng)，即找到車(chē)載攝像頭所生成的圖像像素坐標(biāo)系中的點(diǎn)坐標(biāo)與攝像機(jī)環(huán)境坐標(biāo)系中的點(diǎn)坐標(biāo)之間的轉(zhuǎn)換關(guān)系，需要進(jìn)行攝像頭標(biāo)定。

1.攝像頭內(nèi)參數(shù)標(biāo)定

1.1攝像頭模型的建立

通過(guò)環(huán)境坐標(biāo)系、攝像頭坐標(biāo)系、圖像物理坐標(biāo)系、圖像像素坐標(biāo)系的相互轉(zhuǎn)換關(guān)系，我們可以求出環(huán)境坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，即

對(duì)現(xiàn)實(shí)世界的的點(diǎn)P。其在環(huán)境坐標(biāo)系下的坐標(biāo)為( Xw, Yw, Zw )，在圖像中的位置為(u，v)，兩者有如下的關(guān)系：

環(huán)境坐標(biāo)系與圖像像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系

對(duì)內(nèi)參矩陣,其四個(gè)常量fx,fy,Uo,Vo。與攝像機(jī)的焦距、主點(diǎn)以及傳感器等設(shè)計(jì)技術(shù)指標(biāo)有關(guān)，而與外部因素（如周邊環(huán)境、攝像機(jī)位置）無(wú)關(guān)，因此稱(chēng)為攝像頭的內(nèi)參。內(nèi)參在攝像頭出廠時(shí)就是確定的。然而由于制作工藝等問(wèn)題，即使是同一生產(chǎn)線(xiàn)生產(chǎn)的攝像頭，內(nèi)參都有著些許差別，因此往往需要通過(guò)實(shí)驗(yàn)的方式來(lái)確定攝像頭的內(nèi)參。對(duì)單目攝像頭的標(biāo)定，通常就是指通過(guò)實(shí)驗(yàn)手段確定攝像頭的內(nèi)參。

外參矩陣包括旋轉(zhuǎn)矩陣和平移矩陣，旋轉(zhuǎn)矩陣和平移矩陣共同描述了如何把點(diǎn)從世界坐標(biāo)系轉(zhuǎn)換到攝像機(jī)坐標(biāo)系。在計(jì)算機(jī)視覺(jué)中，確定外參矩陣的過(guò)程通常稱(chēng)為視覺(jué)定位。自動(dòng)駕駛汽車(chē)在車(chē)載攝像頭安裝之后，需要標(biāo)定在車(chē)輛坐標(biāo)系下的攝像頭位置。此外，由于汽車(chē)行駛的顛簸和震動(dòng)，車(chē)載攝像頭的位置會(huì)隨著時(shí)間進(jìn)行緩慢的變化，因此自動(dòng)駕駛汽車(chē)需要定期對(duì)攝像頭位置進(jìn)行重新標(biāo)定，這一過(guò)程稱(chēng)為校準(zhǔn)。

1.2 攝像頭畸變矯正

在實(shí)際使用中，攝像頭并不能完全精確地按照理想的針孔攝像機(jī)模型進(jìn)行透視投影，通常會(huì)存在透鏡畸變，即物點(diǎn)在實(shí)際的攝像頭成像平面上生成的像與理想成像之間存在一定光學(xué)畸變誤差，其畸變誤差主要是徑向畸變誤差和切向畸變誤差。

徑向畸變（radial distortion）:由于透鏡的特性，光線(xiàn)容易在相機(jī)鏡頭的邊緣出現(xiàn)較小或者較大幅度的彎曲，稱(chēng)之為徑向畸變。這種畸變?cè)谄胀畠r(jià)的鏡頭中表現(xiàn)更加明顯，徑向畸變主要包括桶形畸變和枕形畸變兩種。桶形畸變則是由于鏡頭中透鏡物以及鏡片組結(jié)構(gòu)引起的成像畫(huà)面呈桶形膨脹狀的失真現(xiàn)象。通常在使用廣角鏡頭或使用變焦鏡頭的廣角端時(shí)，較容易察覺(jué)桶形失真現(xiàn)象。枕形畸變是由鏡頭引起的畫(huà)面向中間“收縮”的現(xiàn)象。人們?cè)谑褂瞄L(zhǎng)焦鏡頭變焦鏡頭的長(zhǎng)焦端時(shí)，較容易察覺(jué)枕形失真現(xiàn)象。

• 切向畸變（tangential distortion）：是由于透鏡本身與相機(jī)傳感器平面（成像平面）或圖像平面不平行而產(chǎn)生的，這種情況多是由于透鏡被粘貼到鏡頭模組上的安裝偏差導(dǎo)致。

在計(jì)算機(jī)視覺(jué)中，徑向畸變對(duì)場(chǎng)景重建有著非常重要的影響。自動(dòng)駕駛系統(tǒng)對(duì)環(huán)境的感知，要求攝像頭能夠?qū)崿F(xiàn)對(duì)周邊環(huán)境的高精確度重建，如果不對(duì)畸變加以矯正，就無(wú)法到精確的環(huán)境信息。例如，環(huán)境中的目標(biāo)可能出現(xiàn)在圖像的任何區(qū)域，如果不對(duì)畸變加以正，那么通過(guò)視覺(jué)技術(shù)得到的目標(biāo)位置和大小往往是不準(zhǔn)確的，這會(huì)直接影響自動(dòng)駕駛汽車(chē)的行駛安全。此外，自動(dòng)駕駛汽車(chē)安裝有多個(gè)攝像頭，且在不同位置，若不考慮徑向畸變，在圖像拼接過(guò)程中，就會(huì)因?qū)?yīng)特征的誤匹配從而導(dǎo)致拼接圖像的模糊效應(yīng)。

對(duì)一般的攝像頭來(lái)講，圖像的徑向畸變往往描述為一個(gè)低階多項(xiàng)式模型。設(shè)（u,v)是糾正后的點(diǎn)的坐標(biāo)，（u',u')是未糾正的點(diǎn)的坐標(biāo),則二者之間的變換可以通過(guò)以下公式確定：

徑向畸變低階多項(xiàng)式模型

另一方面，對(duì)于切向畸變，可以使用另外的兩個(gè)參數(shù)p1,p2來(lái)進(jìn)行糾正：

切向畸變低階多項(xiàng)式模型

1.3攝像頭內(nèi)參標(biāo)定方法

在現(xiàn)階段，畸變參數(shù)的標(biāo)定一般與其余內(nèi)參同時(shí)進(jìn)行。目前應(yīng)用最廣泛的是張正友于2000年提出的張正友標(biāo)定法。張正友標(biāo)定法通過(guò)在不同位置拍攝棋盤(pán)標(biāo)定板的方式，在每個(gè)圖像中找到棋盤(pán)標(biāo)定板的內(nèi)角點(diǎn)，通過(guò)內(nèi)角點(diǎn)之間的對(duì)應(yīng)關(guān)系建立對(duì)矩陣的約束，從而恢復(fù)內(nèi)參矩陣K。

2.攝像頭間外參的標(biāo)定

自動(dòng)駕駛汽車(chē)中，為了盡可能減少感知盲區(qū)，往往采用多攝像頭的模式。確定多攝像頭之間的相對(duì)位置關(guān)系，這個(gè)過(guò)程稱(chēng)為攝像機(jī)的外參標(biāo)定。

從另一個(gè)角度來(lái)說(shuō)，攝像機(jī)的外參標(biāo)定也可以稱(chēng)為“姿態(tài)估計(jì)”問(wèn)題。兩個(gè)攝像頭之間相對(duì)位姿[R|t]有6個(gè)自由度（空間位置與旋轉(zhuǎn)關(guān)系),從理論上來(lái)講，只要兩個(gè)攝像頭同時(shí)獲取空間中3個(gè)點(diǎn)即可恢復(fù)二者之間的相對(duì)姿態(tài)。從三對(duì)對(duì)應(yīng)點(diǎn)恢復(fù)攝像頭之間的相對(duì)姿態(tài)的問(wèn)題，稱(chēng)為“透視三點(diǎn)問(wèn)題”（Perspective-3-Point-Problem,P3P)。在現(xiàn)實(shí)中，常常使用3個(gè)以上的點(diǎn)來(lái)恢復(fù)相對(duì)姿態(tài)，以提高魯棒性，P3P問(wèn)題被推廣為PnP問(wèn)題。

最初研究者使用直接線(xiàn)性法（Direct Linear Transform,DLT)解決PnP問(wèn)題，之后為了提升精度，研究者們提出了魯棒線(xiàn)性化的重投影誤差，開(kāi)始采用選代的方法來(lái)求解PnP問(wèn)題，并由此提出了姿態(tài)估計(jì)中著名的光束平差法（Bundle Adjustment,BA)。

02 激光雷達(dá)的標(biāo)定

激光雷達(dá)自動(dòng)駕駛平臺(tái)的主要傳感器之一，在感知、定位方面發(fā)揮著重要作用。同攝像頭一樣，激光雷達(dá)在使用之前也需要對(duì)其內(nèi)外參數(shù)進(jìn)行標(biāo)定。內(nèi)參標(biāo)定指的是其內(nèi)部激光發(fā)射器坐標(biāo)系與雷達(dá)自身坐標(biāo)系的轉(zhuǎn)換關(guān)系，在出廠之前已經(jīng)標(biāo)定完成，可以直接使用。自動(dòng)駕駛系統(tǒng)需要進(jìn)行的是外參標(biāo)定，即激光雷達(dá)自身坐標(biāo)系與車(chē)體坐標(biāo)系的關(guān)系。

激光雷達(dá)與車(chē)體為剛性連接，兩者間的相對(duì)姿態(tài)和位移固定不變。為了建立激光雷達(dá)之間以及激光雷達(dá)與車(chē)輛之間的相對(duì)坐標(biāo)關(guān)系，需要對(duì)激光雷達(dá)的安裝進(jìn)行標(biāo)定，并使激光雷達(dá)數(shù)據(jù)從激光雷達(dá)坐標(biāo)系轉(zhuǎn)換至車(chē)體坐標(biāo)系上。

車(chē)體坐標(biāo)系與激光雷達(dá)坐標(biāo)系

通過(guò)實(shí)驗(yàn)采集同一個(gè)點(diǎn)在兩個(gè)坐標(biāo)系下的真實(shí)坐標(biāo)，即同名點(diǎn)，建立一系列的方程可以求出這16個(gè)未知參數(shù)。另外，在自動(dòng)駕駛汽車(chē)上，通常需要將激光雷達(dá)與慣性導(dǎo)航單元（IMU)坐標(biāo)系進(jìn)行標(biāo)定，建立激光雷達(dá)與車(chē)體坐標(biāo)系之間的關(guān)系。

1.激光雷達(dá)和激光雷達(dá)之間的標(biāo)定

對(duì)自動(dòng)駕駛汽車(chē)來(lái)說(shuō)，有時(shí)會(huì)存在多個(gè)激光雷達(dá)的情況，每一個(gè)激光雷達(dá)獲取的外部境都必須準(zhǔn)確地映射到車(chē)體坐標(biāo)系下。因此，當(dāng)存在多個(gè)激光雷達(dá)時(shí)，需要對(duì)多個(gè)激光雷的相對(duì)位置進(jìn)行標(biāo)定和校準(zhǔn)。

激光雷達(dá)之間的外參標(biāo)定有多種思路，其中較為常用的是通過(guò)不同激光雷達(dá)與車(chē)體之間的坐標(biāo)轉(zhuǎn)換關(guān)系來(lái)間接推導(dǎo)出激光雷達(dá)之間的坐標(biāo)轉(zhuǎn)換關(guān)系。

2.激光雷達(dá)與攝像機(jī)的標(biāo)定

在自動(dòng)駕駛車(chē)輛上，激光雷達(dá)與無(wú)人駕駛汽車(chē)為剛性連接，兩者間的相對(duì)姿態(tài)和位移固定不變，因此，激光雷達(dá)掃描獲得的數(shù)據(jù)點(diǎn)，在環(huán)境坐標(biāo)系中有唯一的位置坐標(biāo)與之對(duì)應(yīng)。同樣，攝像機(jī)在環(huán)境坐標(biāo)系中也有唯一的位置坐標(biāo)，因此，激光雷達(dá)與攝像機(jī)之間存在著固定的坐標(biāo)轉(zhuǎn)換。激光雷達(dá)與攝像機(jī)的聯(lián)合標(biāo)定，就是通過(guò)提取標(biāo)定物在單線(xiàn)激光雷達(dá)和圖像上的對(duì)應(yīng)特征點(diǎn)，完成單線(xiàn)激光雷達(dá)坐標(biāo)、攝像機(jī)坐標(biāo)、圖像像素坐標(biāo)等多個(gè)傳感器坐標(biāo)的統(tǒng)一，實(shí)現(xiàn)激光雷達(dá)與攝像機(jī)的空間校準(zhǔn)。

當(dāng)完成攝像機(jī)外參標(biāo)定、激光雷達(dá)外參標(biāo)定之后，二者之間的關(guān)系其實(shí)就可以完全確定，激光雷達(dá)掃描點(diǎn)可投影到圖像像素坐標(biāo)系。

同相機(jī)的內(nèi)參標(biāo)定方法一樣，激光雷達(dá)與攝像機(jī)的外參標(biāo)定也可以使用標(biāo)定板的標(biāo)定方法。