上海2020年7月9日 /美通社/ -- 自動(dòng)駕駛的發(fā)展離不開(kāi)數(shù)據(jù)。近日,禾賽科技與Scale AI聯(lián)合發(fā)布了自動(dòng)駕駛開(kāi)源數(shù)據(jù)集 -- PandaSet。PandaSet采用禾賽科技先進(jìn)的激光雷達(dá)進(jìn)行數(shù)據(jù)采集,并通過(guò)Scale AI強(qiáng)大的標(biāo)注平臺(tái)進(jìn)行精準(zhǔn)的數(shù)據(jù)標(biāo)注,為從事自動(dòng)駕駛研發(fā)的公司、機(jī)構(gòu)和個(gè)人,提供了內(nèi)容豐富、目標(biāo)物密集的高質(zhì)量免費(fèi)數(shù)據(jù)。
盤(pán)點(diǎn)全球人工智能數(shù)據(jù)平臺(tái),Scale AI是當(dāng)之無(wú)愧的領(lǐng)軍者。這家由華裔青年Alexandr Wang在19歲時(shí)參與創(chuàng)立的公司,自成立以來(lái)一直深受投資者的青睞,僅用3年時(shí)間就成為了市值超10億美元的獨(dú)角獸企業(yè)。依托強(qiáng)大的技術(shù)實(shí)力,Scale AI結(jié)合人工標(biāo)注、智能工具和標(biāo)注質(zhì)量保證體系,推出了面向傳感器數(shù)據(jù)、圖像、視頻和文本的一系列標(biāo)注產(chǎn)品,為人工智能應(yīng)用提供了一流的培訓(xùn)和驗(yàn)證數(shù)據(jù)。而作為全球領(lǐng)先的激光雷達(dá)制造商,禾賽科技則憑借自主研發(fā)的微振鏡和波形加密技術(shù),始終引領(lǐng)傳感器創(chuàng)新的發(fā)展方向,目前已布局400多項(xiàng)專(zhuān)利,客戶遍布全球21個(gè)國(guó)家和地區(qū)的70座城市。此次禾賽科技與Scale AI攜手打造PandaSet開(kāi)源數(shù)據(jù)集,無(wú)疑為自動(dòng)駕駛行業(yè)的發(fā)展注入了新的活力。
在自動(dòng)駕駛的發(fā)展進(jìn)程中,數(shù)據(jù)是處于核心地位的生產(chǎn)資料,代表著一家公司的核心競(jìng)爭(zhēng)力,也決定著自動(dòng)駕駛能否實(shí)現(xiàn)安全和穩(wěn)定。以往,自動(dòng)駕駛“玩家”對(duì)自己的數(shù)據(jù)普遍呈現(xiàn)出敏感的姿態(tài),而隨著自動(dòng)駕駛的實(shí)現(xiàn)難度越來(lái)越浮出水面,大家也逐漸認(rèn)識(shí)到單打獨(dú)斗絕對(duì)不行,開(kāi)放合作才是正途,于是開(kāi)源數(shù)據(jù)集成為了很多自動(dòng)駕駛公司的選擇。
截至目前,Waymo、Cruise、百度、Uber、Lyft、Aptiv等全球領(lǐng)先的自動(dòng)駕駛公司都已陸續(xù)開(kāi)源了自己的數(shù)據(jù)集,對(duì)促進(jìn)自動(dòng)駕駛整體研發(fā)進(jìn)程起到了舉足輕重的作用。不過(guò),開(kāi)源數(shù)據(jù)集并不是自動(dòng)駕駛公司的“專(zhuān)利”,傳感器企業(yè)同樣有能力在這一領(lǐng)域大顯身手,甚至可能比自動(dòng)駕駛公司做得更好。禾賽科技與Scale AI聯(lián)合發(fā)布PandaSet就是很好的例子,它為自動(dòng)駕駛行業(yè)鏈條上的很多企業(yè)開(kāi)辟了嶄新的發(fā)展思路。
PandaSet:疫情期間的一場(chǎng)及時(shí)雨
高質(zhì)量標(biāo)注數(shù)據(jù)是訓(xùn)練深度學(xué)習(xí)算法的“燃料”。目前,全球的自動(dòng)駕駛公司所使用的深度學(xué)習(xí)算法,基本都需要使用標(biāo)注數(shù)據(jù)來(lái)進(jìn)行訓(xùn)練——只有通過(guò)不斷學(xué)習(xí)標(biāo)注數(shù)據(jù),深度學(xué)習(xí)算法模型才能夠幫助自動(dòng)駕駛汽車(chē)更好地識(shí)別障礙物。而除了自動(dòng)駕駛公司,其他自動(dòng)駕駛算法開(kāi)發(fā)者,例如學(xué)生、學(xué)術(shù)機(jī)構(gòu)等,同樣對(duì)高質(zhì)量標(biāo)注數(shù)據(jù)有著持續(xù)、強(qiáng)烈的需求。
然而,今年以來(lái),受新冠肺炎疫情沖擊,一大批自動(dòng)駕駛公司不得不暫停路測(cè)工作,直接導(dǎo)致可用路測(cè)數(shù)據(jù)的減少甚至斷供,對(duì)自動(dòng)駕駛深度學(xué)習(xí)算法模型的訓(xùn)練造成了嚴(yán)重影響。 在這樣的背景下,近日禾賽科技與Scale AI聯(lián)合發(fā)布了PandaSet開(kāi)源數(shù)據(jù)集,為眾多自動(dòng)駕駛算法開(kāi)發(fā)者帶來(lái)了一場(chǎng)及時(shí)雨。
PandaSet數(shù)據(jù)集采用2款激光雷達(dá)和6個(gè)攝像頭進(jìn)行數(shù)據(jù)采集,包含超過(guò)16000幀激光雷達(dá)點(diǎn)云和超過(guò)48000張照片,共100多個(gè)場(chǎng)景。除了激光雷達(dá)點(diǎn)云和照片外,數(shù)據(jù)集還包含GPS(全球定位系統(tǒng))/IMU(慣性傳感器)、標(biāo)定參數(shù)、標(biāo)注、SDK(軟件開(kāi)發(fā)工具包)等信息。
尤其值得關(guān)注的是,PandaSet數(shù)據(jù)集對(duì)100多個(gè)場(chǎng)景的每個(gè)場(chǎng)景都進(jìn)行了目標(biāo)檢測(cè),共檢測(cè)28類(lèi)物體;大多數(shù)場(chǎng)景還進(jìn)行了語(yǔ)義分割,共37種語(yǔ)義標(biāo)簽。目標(biāo)檢測(cè)采用傳統(tǒng)的長(zhǎng)方體標(biāo)注,例如,自行車(chē)和汽車(chē)可以用長(zhǎng)方體線框框出來(lái)。而對(duì)于激光雷達(dá)點(diǎn)云數(shù)據(jù),并非每個(gè)點(diǎn)都隸屬于某一目標(biāo)物,因此數(shù)據(jù)集還通過(guò)點(diǎn)云分割工具精確標(biāo)注了每個(gè)點(diǎn)的語(yǔ)義標(biāo)簽。如此細(xì)膩的標(biāo)注,也為深度學(xué)習(xí)算法模型提供了絕佳的數(shù)據(jù)資料。
對(duì)于一個(gè)自動(dòng)駕駛數(shù)據(jù)集,場(chǎng)景的多樣性和復(fù)雜性是衡量其優(yōu)劣程度的重要標(biāo)準(zhǔn)之一。PandaSet數(shù)據(jù)集中的所有數(shù)據(jù)均采集自舊金山的城區(qū)道路和硅谷的郊區(qū)道路,這些道路涵蓋了汽車(chē)、自行車(chē)、交通燈、行人、建筑物等各種各樣的交通信息,是對(duì)自動(dòng)駕駛挑戰(zhàn)性最大的一類(lèi)應(yīng)用場(chǎng)景。此外,PandaSet數(shù)據(jù)集的數(shù)據(jù)覆蓋了白天和黑夜,也讓其具備了很強(qiáng)的適用性。
別被不可靠的數(shù)據(jù)集帶溝里
對(duì)于自動(dòng)駕駛研發(fā)者,如果想要訓(xùn)練出優(yōu)秀的深度學(xué)習(xí)算法模型,就必須在選擇數(shù)據(jù)集時(shí)格外擦亮雙眼。因?yàn)橐恍┎豢煽康臄?shù)據(jù)集,非但不能很好地訓(xùn)練算法,反而會(huì)給算法帶來(lái)巨大危害,起到適得其反的作用。那么,什么樣的數(shù)據(jù)集是不可靠的呢?簡(jiǎn)單來(lái)說(shuō),不準(zhǔn)確、不完整的數(shù)據(jù)集就是不可靠的數(shù)據(jù)集。
一些不準(zhǔn)確、不完整的數(shù)據(jù)集正在把自動(dòng)駕駛汽車(chē)帶溝里,其中也包括知名數(shù)據(jù)集。一個(gè)被廣泛使用的、包含15000張圖片的開(kāi)源數(shù)據(jù)集,在該數(shù)據(jù)集中發(fā)現(xiàn)了數(shù)千張缺少標(biāo)注的圖片,其中有數(shù)百?gòu)埳踔翛](méi)有任何標(biāo)注,但這些圖片中確實(shí)有小汽車(chē)、卡車(chē)、自行車(chē)、街燈或行人。不僅如此,該數(shù)據(jù)集還存在虛假標(biāo)注、復(fù)制粘貼的情況,有些標(biāo)注框的體積明顯超標(biāo)。
“成千上萬(wàn)的學(xué)生都在使用開(kāi)源數(shù)據(jù)集支持自己的自動(dòng)駕駛項(xiàng)目,但質(zhì)量堪憂的數(shù)據(jù)集極易誤導(dǎo)算法模型,從而導(dǎo)致自動(dòng)駕駛汽車(chē)做出糟糕決策,這對(duì)于自動(dòng)駕駛的研發(fā)是災(zāi)難性的?!?
事實(shí)上,數(shù)據(jù)集的準(zhǔn)確性和完整性與數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注的流程密切相關(guān)。例如,在數(shù)據(jù)采集中,如果采集車(chē)搭載的傳感器性能很差,那么采集到的數(shù)據(jù)質(zhì)量一定也會(huì)很差,直接影響后續(xù)的標(biāo)注及最終的使用。而在數(shù)據(jù)標(biāo)注中,如果沒(méi)有一套完整的標(biāo)注方法,就很容易出現(xiàn)各種錯(cuò)誤標(biāo)記,如:未標(biāo)出畫(huà)面中存在的物體,反而標(biāo)出不存在的物體,或者標(biāo)注框沒(méi)有貼合實(shí)際物體,甚至與實(shí)際物體發(fā)生大幅偏移。
對(duì)于如何打造一個(gè)高質(zhì)量數(shù)據(jù)集,PandaSet是一個(gè)優(yōu)秀案例。在數(shù)據(jù)采集中,PandaSet用于數(shù)據(jù)采集的兩款激光雷達(dá)均為業(yè)內(nèi)領(lǐng)先產(chǎn)品,這兩款激光雷達(dá)由禾賽科技自主研發(fā),一款是具有圖像級(jí)分辨率的前向激光雷達(dá)PandarGT,另一款是64線機(jī)械旋轉(zhuǎn)式激光雷達(dá)Pandar64,保證采集到的點(diǎn)云足夠準(zhǔn)確、清晰、細(xì)膩 -- 世界上現(xiàn)有的開(kāi)源數(shù)據(jù)集普遍采集較早,還鮮有使用Pandar64和PandarGT這樣的高性能激光雷達(dá)來(lái)采集數(shù)據(jù)。
此外,在數(shù)據(jù)標(biāo)注中,負(fù)責(zé)該部分的Scale AI作為標(biāo)注領(lǐng)域的翹楚,具有一套非常嚴(yán)格的標(biāo)注體系,包括怎么標(biāo)注、怎么檢查、怎么復(fù)核、怎么對(duì)不合格的標(biāo)注進(jìn)行重新標(biāo)注、怎么管理和考評(píng)負(fù)責(zé)標(biāo)注的員工等。在整個(gè)標(biāo)注流程中,Scale AI以人工作業(yè)為主,結(jié)合計(jì)算機(jī)輔助,充分保證了數(shù)據(jù)標(biāo)注的完整性和準(zhǔn)確性。
開(kāi)源數(shù)據(jù)集是大勢(shì)所趨
作為自動(dòng)駕駛行業(yè)的領(lǐng)頭羊,Waymo也在去年發(fā)布了自己的開(kāi)源數(shù)據(jù)集Waymo Open Dataset。該數(shù)據(jù)集包含20萬(wàn)幀畫(huà)面、1200萬(wàn)條3D標(biāo)注和120萬(wàn)條2D注釋。Waymo希望自家的數(shù)據(jù)集能夠幫助研發(fā)者在2D和3D感知、場(chǎng)景理解、行為預(yù)測(cè)等方面取得進(jìn)展,從而不斷提高自動(dòng)駕駛汽車(chē)的性能,并促進(jìn)計(jì)算機(jī)視覺(jué)和機(jī)器人等其他相關(guān)領(lǐng)域的應(yīng)用。
在Waymo發(fā)布開(kāi)源數(shù)據(jù)集之前,Cruise、百度、Uber、Aptiv等處于領(lǐng)先梯隊(duì)的自動(dòng)駕駛公司都已發(fā)布了自己的開(kāi)源數(shù)據(jù)集。而在Waymo發(fā)布開(kāi)源數(shù)據(jù)集之后,又有多家公司發(fā)布了自動(dòng)駕駛開(kāi)源數(shù)據(jù)集,例如Lyft、福特、奧迪等。
通觀自動(dòng)駕駛開(kāi)源數(shù)據(jù)集的發(fā)展歷程可見(jiàn),在PandaSet發(fā)布之前,開(kāi)源數(shù)據(jù)集基本都是自動(dòng)駕駛公司的“專(zhuān)利”。而禾賽科技的“入局”,則以傳感器企業(yè)的特殊視角為這一領(lǐng)域添上了一抹亮色,同時(shí)也讓人們看到了傳感器企業(yè)在自動(dòng)駕駛賽場(chǎng)上的更多可能性。
事實(shí)上,相比于那些自動(dòng)駕駛“頭部玩家”,傳感器企業(yè)在開(kāi)源數(shù)據(jù)集中的表現(xiàn)并不遜色。以PandaSet為例,該數(shù)據(jù)集就擁有其他很多數(shù)據(jù)集沒(méi)有的優(yōu)勢(shì):采集數(shù)據(jù)的傳感器業(yè)內(nèi)頂尖,采集場(chǎng)景多樣化,采集信息密度高,數(shù)據(jù)標(biāo)注詳盡準(zhǔn)確并進(jìn)行了精細(xì)的語(yǔ)義分割。還有非常重要的一點(diǎn)就是,PandaSet面向?qū)W術(shù)及商業(yè)應(yīng)用均完全開(kāi)源免費(fèi)——不像很多開(kāi)源數(shù)據(jù)集其實(shí)是有商用限制的。不過(guò),PandaSet也有其局限性,例如:總的場(chǎng)景量和數(shù)據(jù)量均不夠大,缺少不同天氣狀況下的數(shù)據(jù),缺少短距激光雷達(dá)數(shù)據(jù)。
當(dāng)然,PandaSet對(duì)于禾賽科技和Scale AI都只是一個(gè)開(kāi)端而已。未來(lái),兩家公司將繼續(xù)深入合作,采用更高線數(shù)的激光雷達(dá)以及PandarQT等短距激光雷達(dá),采集更多場(chǎng)景、更多數(shù)據(jù),并進(jìn)一步優(yōu)化標(biāo)注方法、標(biāo)注流程,讓數(shù)據(jù)集更豐富、全面,讓細(xì)節(jié)更完美。
禾賽科技表示,參與開(kāi)源數(shù)據(jù)集是一個(gè)非常正確的決定,不僅因?yàn)檫@是同行沒(méi)做過(guò)的事,也因?yàn)榭梢詮闹腥〉煤芏嗍斋@。
“一方面,PandaSet數(shù)據(jù)集為自動(dòng)駕駛行業(yè)豐富了數(shù)據(jù),讓研發(fā)者有更多、更全面、更高質(zhì)量的數(shù)據(jù)可以應(yīng)用和參考,特別是對(duì)那些缺少資金和渠道來(lái)獲取可靠數(shù)據(jù)集的學(xué)生們,幫助巨大。另一方面,數(shù)據(jù)集也讓更多人看到了禾賽激光雷達(dá)的表現(xiàn),有助于吸引客戶購(gòu)買(mǎi)我們的產(chǎn)品。此外,數(shù)據(jù)采集過(guò)程涉及采集車(chē)的搭建、不同傳感器的融合、多傳感器之間的標(biāo)定……這些都是自動(dòng)駕駛公司做的事,對(duì)禾賽團(tuán)隊(duì)是前所未有的考驗(yàn),也讓我們?cè)趯?shí)踐中大大提升了自己的能力?!?
就目前而言,開(kāi)源數(shù)據(jù)集是大勢(shì)所趨,是利人利己的一件事。因?yàn)樽詣?dòng)駕駛數(shù)據(jù)采集是一個(gè)周期長(zhǎng)、地域廣的超大型項(xiàng)目,如果各家企業(yè)都能將自己的數(shù)據(jù)進(jìn)行共享,并吸引更多企業(yè)和研發(fā)者應(yīng)用并補(bǔ)充數(shù)據(jù)集,就可以為整個(gè)行業(yè)大大縮減數(shù)據(jù)采集時(shí)間,從而促進(jìn)自動(dòng)駕駛早日實(shí)現(xiàn)商業(yè)化落地。而從企業(yè)自身出發(fā),如果自家的數(shù)據(jù)或代碼被廣泛采用,甚至連競(jìng)爭(zhēng)對(duì)手也大量采用,就相當(dāng)于在業(yè)內(nèi)樹(shù)立起了一個(gè)非正式標(biāo)準(zhǔn),對(duì)企業(yè)地位提升和長(zhǎng)遠(yuǎn)發(fā)展意義重大。