高清一区二区三区日本久,国产精品亚洲一区二区三区,黑人异族巨大巨大巨粗,久久久精品中文字幕麻豆发布

Jetson TX2平臺上的無人駕駛系統研究與實現
2019年06月05日 10:59         所屬學院: []          點擊:


湖南省大學生研究性學習和創新性實驗計劃

項  目  申  報 

 

項目名稱:  

  • 如果您無法在線瀏覽此 PDF 文件,則可以

  • 下載免費小巧的 福昕(Foxit) PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載免費的 Adobe Reader PDF 閱讀器,安裝后即可在線瀏覽  或

  • 下載此 PDF 文件

學校名稱

長沙理工大學

學生姓名

學  號

專      業

性 別

入 學 年 份

劉思遠

卓越

201750080320

計算機科學與技術

      2017

廖科宇

卓越

201756110208

計算機科學與技術

2017

李健

卓越

201750080329

計算機科學與技術

      2017

周偏

卓越

201750080515

計算機科學與技術

      2017

鄧拓

卓越

201635090235

計算機科學與技術

      2016

指導教師

周書仁

職稱

副教授

項目所屬

一級學科

計算機科學與技術

項目科類(理科/文科)

理科

指導教師承擔科研課題情況

 

[1] 湖南省自然科學基金項目“人臉表情自動識別與情感認知關鍵技術研究”(12JJ6057),2012.4-2014.33萬元、已結題、主持。

[2] 湖南省教育廳重點項目深度神經網絡壓縮的理論方法與應用研究(17A007),2017.6-2019.6,10萬元、在研、主持。

[3] 湖南省教育廳青年科學研究項目基于計算機視覺的行人檢測與行為識別方法研究”(13B132),2013.9-2016.85萬元、已結題、主持。

[4] 長沙市科技計劃項目智能視頻監控中人體行為分析系統的開發與應用”(K1203015-11),2012.4-2014.35萬元、已結題、主持。

[5] 湖南省教育廳科學研究項目圖像紋理特征分析關鍵技術研究”(11C0035),2011.6-2013.61萬元、已結題、主持。

[6] 博士科研啟動基金“視頻監控下目標智能識別與跟蹤系統的研究” ( 20091103),2009.12-2013.124萬元、已結題、主持。

項目研究和實驗的目的、內容和要解決的主要問題

 

1. 項目研究和實驗的目的

實現Jetson TX2平臺上的無人駕駛系統設計,完成對汽車的車速、自身車情,道路的路情、車況、交通標識牌等駕駛狀況信息的實時采集,同時實時監測路面的突發情況以及經過的車輛。使開發的系統在人力釋放、交通運輸、軍事作戰等方面起到幫助。

2. 項目研究和實驗的內容:

共有十項:①車道線檢測、②交通標志分類、③行為克隆、④前置車道邊界檢測、⑤車輛檢測與跟蹤、⑥無損卡爾曼濾波器、⑦PID控制技術、⑧模型預測控制技術、⑨路徑規劃技術、⑩道路標記技術。

(1)車道線檢測。實現實時車道線檢測,主要包括攝像頭的標定,應用投影變換校正二值圖像,道路像素與道路邊界的檢測,計算道路的曲率與車輛相對于中心的位置。

 

 

   

圖1 攝像頭標定

 

圖2 車道線檢測

(2)交通標志分類。通過深度學習對不同的交通標志進行識別和分類,利用深層神經網絡和卷積神經網絡的相關知識對交通標志進行分類。本課題以比利時的交通標識數據集為訓練集和測試集驗證系統的可行性,比利時的交通標志分成六大類:警告標志、優先標志、禁令標志、強制性標志、與停車和在路上等待相關的標志、指示牌。

   

圖3 比利時交通標志樣本

 

圖4 比利時交通標志測試樣本

 

 

圖5 比利時交通標志樣本子集

(3)行為克隆。設計和訓練一個深度神經網絡在模擬器中駕駛汽車并克隆自己的駕駛行為模式,針對每幀圖像需要收集3個角度訓練數據,分別包含左右兩邊和正前方。

 

 

圖6  多角度數據采集與行為克隆

(4)前置車道邊界檢測。編寫實時分析車道邊界的程序,前置車道邊界檢測方法基本上可歸結為兩大類方法,一類為基于特征的識別方法,另一類為基于模型的識別方法。

 

圖7 前置車道邊界檢測

(5)車輛檢測與跟蹤。編寫前置車輛檢測的程序,訓練一個基于SSD算法的車輛檢測程序,以便能夠實時檢測出道路上車輛。準備訓練數據,以KITTI車輛數據集為基礎。

 

圖8  KITTI車輛數據集

 

圖9  基于SSD算法的車輛檢測

(6)無損卡爾曼濾波器。該模塊用來實時追蹤非線性運動的目標。

 

 

圖10  無損卡爾曼濾波器

(7)PID控制技術。用來實時操縱車道上的車輛。

 

 

圖11  PID控制

8模型預測控制技術。實現模型的預測控制,以適應命令之間額外的延遲。

 

圖12  模型預測控制

9路徑規劃技術。設計一個路徑規劃器,能夠創建平穩、安全的路徑,實現車輛可沿道路流暢平穩的駕駛。

 

 

圖13  路徑規劃

10道路標記技術。設計一個全卷積神經網絡在圖像中實時標記道路的位置。

 

 

圖14  道路標記

 

3. 要解決的主要問題:

(1)感知的數據獲取與分析算法;

(2)基于決策路徑的算法;

(3)基于傳感的數據推送程序設計;

(4)特定模塊的硬件設計和與之相關的程序設計;

(5)無人駕駛系統實現

(6)系統整體性能優化、界面友好與人性化的體現

 

國內外研究現狀和發展動態

 

近幾年,無人駕駛與AI并列為大熱話題,關于無人駕駛應用于實際的道路行駛的相關問題一直以來都頗有爭論。上個月,美國亞利桑那州州長Doug Ducey簽署了一份關于無人駕駛的行政命令:無駕駛員的純無人駕駛汽車允許在公共道路上通行;無獨有偶,美國加利福尼亞州行政法規辦公室批準了一項新規定:美國加州同樣允許無駕駛員操控的“完全自動駕駛汽車”在公共道路上進行測試。而在國內,上海發放了全國首批智能網聯汽車開放道路測試號牌,這意味著無人駕駛汽車走出封閉園區正式進入路測階段。

而無人駕駛車輛必不可少的就是計算機視覺技術,計算機視覺是應運時代而生的產物,用于計算機對外界圖形的信息處理,它由運用廣泛的CNN的方法,運算速度快,其運用的車道檢測是大多數人面臨的主要問題,運用的Laplacian邊緣檢測技術所需內核小,但易被噪聲干擾,而謹慎的檢測器盡管運用一些方法為更多的研究提供了額外的方法,但也限制了其本身的性能[1]

自2003年起,就有各種無人駕駛車輛的研究,比如清華大學研制成功THMR-V(Tsinghua Mobile Robot-V)型無人駕駛車輛,能在清晰車道線的結構化道路上完成巡線行駛,最高車速超過100km/h。

追溯無人駕駛技術的發展歷史,由國防科技大學自主研制的紅旗HQ3無人車,2011年7月14日首次完成了從長沙到武漢286公里的高速全程無人駕駛實驗,創造了中國自主研制的無人車在復雜交通狀況下自主駕駛的新紀錄,標志著中國無人車在復雜環境識別、智能行為決策和控制等方面實現了新的技術突破,達到世界先進水平,而其采用的就是人工智能的神經網絡技術。

說到神經網絡對自動駕駛汽車的作用,重點之一是其運用了反褶積圖,以顯示影響網絡輸出的圖像區域。其二是運用建立數學模型和使用數學公式的方法檢驗因果關系。但總而言之實現的關鍵方法包含三個步驟:(1)編碼器卷積特征提取;(2)通過視覺注意機制的粗粒度譯碼器;(3)細粒度的解碼器[2]因果視覺顯著性檢測和注意力地圖的細化。

2013年,百度開始研發自動駕駛汽車。百度方面證實,百度已經將視覺、聽覺等識別技術應用在無人汽車系統研發中,負責該項目的是百度深度學習研究院。2015年年末,百度無人駕駛車在北京進行全程自動駕駛測跑,可根據不同場景切換狀態,最高時速達100km/h。2016年,北京理工大學設計了一款無人駕駛賽車,百公里加速僅3秒,使用雙目攝像頭用于行人偵測、避障及路線規劃。70年代開始,美國、英國、德國等發達國家開始進行無人駕駛汽車的研究,在可行性和實用化方面都取得了突破性的進展。美國最為發展前景好的是谷歌和特斯拉。

2014年12月21日,谷歌宣布,其首款成型的無人駕駛原型車制造完畢,將會在2015年正式進行路測。谷歌擁有先進的軟件和算法基礎,其自動駕駛汽車擁有攝像頭、GPS、雷達與激光傳感器,可以極為靈敏地獲取周圍環境的信息。自2009年起,谷歌自動駕駛汽車已在自主模式之下行駛了超出120萬英里。在這樣的磨練中,系統對于應對各類狀況已經積攢了豐富的經驗。谷歌的自動駕駛車可以識別各類物體甚至是交警的手勢,谷歌強大的軟件算法能力由此得以體現。

那么究竟無人駕駛的事故率和傳統駕駛的事故率孰高孰低,從警方給出的事故率和Google報告中的事故率來看,結果是無人駕駛高于傳統駕駛一倍,但是有一些導致結果不穩定的因素,如路面刮蹭的小事故警方根本不會報道,但是我們可以用統計學的方式來計算論證,最終得到結果:無人駕駛的事故率確實小于傳統駕駛的事故率。到目前為止,Google汽車在自主模式下發生的最常見的碰撞事件類型是Google汽車在停止或幾乎不動時被另一輛車追尾,而在所有碰撞事故中,Google汽車并沒有參與任何單一車輛的事故,且在所有碰撞事故中只有一次撞車涉及可能的傷害且傷害程度低于預期值。但由于事故數量較少,所以只能大致得出Google汽車自主模式下的碰撞率低于人類駕駛車輛[3],且在無法避免的碰撞事故中能夠減輕碰撞程度的結論。

特斯拉的優勢則在于其速度之快,在其他企業對自動駕駛技術尚處研究階段之時,特斯拉已經投入量產并創造出一定的規模了。特斯拉本身在自動駕駛方面就具備技術層面的優勢,并且對自動駕駛技術又存在一種特別的執著。其車型擁有用以識別周圍環境的超聲波傳感器、辨別前方物體的前置攝像頭與雷達,以及無數次路測累積的高精度衛星地圖。

但這個領域還有一些問題,比如:如何提高無人駕駛領域中改進消失點的方法。相較于傳統的RANSAC算法,Moon提出的harmory算法可以提高消失點檢測的準確率,RANSAC算法的本質闡釋出RANSAC算法具有隨機性[4]最后通過數據對比的方式,說明了HS算法在準確率這一方面優于RANSAC算法。

無人駕駛技術的不斷發展和更新,是建立在對我們手動駕駛的過程中發生過的各類問題和情況的大量研究的基礎上的,是大量數據統計分析進而得出結論的結晶。而日益增長的數據庫與信息庫給我們提取幫助自動駕駛了解和預測復雜交通場景的任務提出了愈來愈大的挑戰,現有的文獻還沒有提供從大規模數據中自動學習交通原語的方法,而最近引入的一種非參數貝葉斯學習方法[5],實驗結果表明,非參數貝葉斯學習方法能夠從二元和連續事件共存的流量場景中提取交通原語。

無人駕駛技術繼續迅猛發展,英國第一輛無人駕駛汽車于2015年2月亮相,它是旨在幫助乘客,購物者和老年人短距離出行。新的無人駕駛汽車將于本周在英國格林威治亮相,被稱為Lutz Pathfinder。

而幾乎同時在德國漢堡的Ibeo公司應用先進的激光傳感技術把無人駕駛汽車變成了現實:這輛無人駕駛智能汽車在車身安裝了6臺名為“路克斯”(LUX)的激光傳感器,由普通轎車改裝而成,可以在錯綜復雜的城市公路系統中無人駕駛。這歸功于車內安裝的無人駕駛設備,包括激光攝像機、全球定位儀和智能計算機。

無人駕駛技術還有廣闊的應用平臺,可以想到的是,目前無人駕駛地面作戰平臺越來越適應現代化戰爭的需要,較高的雷達測量精度能幫助準確識別出作戰惡劣環境的周圍目標,其中一個重要問題就是考慮確保無編隊碰撞事故,而這取決于無人作戰地面平臺控制算法的設計,這個設計的難點在于,惡劣的作戰環境下,道路上并沒有車道標志,因此,車的前行路線不能太過于依賴于車道線,算法應該可靠地識別包括靜態物體和動態車輛在內的目標[6],從而確保各自安全行駛。

最近人們還通過研究汽車共享業務模型的共享無人駕駛出租車體系后得出結論,共享自主車輛(SAV)車隊可有效地減少停車位,節約城市空間,減少溫室氣體和有害物質地排放,一個無人駕駛車隊可以基本替代一個城市中的所有私家車,并滿足所有人的出行需求,因為無人駕駛車輛擁有更好的安全性能,更方便和優化的旅行,而且能減少擁堵,降低總體成本,降低停車空間要求等。具體來說可以采取類似于出租車服務或點對點實時乘車分享的形式[7]。與基于應用程序的汽車共享一樣,這些形式的乘坐共享已被證明非常受歡迎。

在2016年的CVPR會議上重點講述了運用視覺注意力的神經網絡模型來處理無人駕駛汽車的問題。它比起一般的難以尋蹤的神經網路模型,有著易查看的特點。用于無人駕駛汽車,它能將熱力圖傳達給CNN判斷,使車輛安全駕駛。該模型的實現方法共三大步驟:三個步驟:(1)編碼器:卷積特征提取,(2)通過視覺注意機制的粗粒度譯碼器,以及(3)細粒度的解碼器:因果視覺顯著性檢測和注意力地圖的細化。三大步驟后也存有檢驗步驟以確保正確。模型建立完成后,需要在天氣晴朗時拍攝大量視頻作為練習數據,花不到24小時在NVIDIA Titan X Pascal GPC上訓練,嘗試了三個不同的懲罰系數來理解模型決策的原理,使模型能夠注意道路的要素如車道標記、護欄和前方車輛。最后得出結論,他們與相同的基礎CNN相比,(i)在沒有注意的情況下,對注意力的控制不能降低控制的準確性。(ii)原始的注意突出了圖像中的可解釋特征,而(iii)因果過濾通過去除對輸出沒有顯著影響的特征[8],達到了解釋復雜性的有效降低的效果。

2017年的ICCV等權威會議都強調了自動無人駕駛的研究重心。我們基于Winograd的最小濾波算法引入了一類新的卷積神經網絡快速算法。由于這些算法計算量最小,因此這些算法在小型濾波器和小型設備方面表現優異。與直接卷積相比,這些算法可以將convnet層的算術復雜度降低4倍。幾乎所有的算術運算都是通過足夠大的密集矩陣乘法來進行計算的,即使批量很小時也可以進行有效計算,對于自行駕駛汽車的行人檢測數據計算分析非常有幫助。與傳統的FFT卷積算法相比,存儲器要求也很輕。這些因素使實際實施成為可能。我們對NVIDIA Maxwell GPU的實施實現了所有批量測量的最先進的吞吐量,從1到64,同時使用大約16MB的工作空間內存。深度卷積神經網絡(convnets)在圖像識別問題上達到了最先進的結果。網絡需要幾天的GPU時間來訓練,并且在分類過程中也需要大量的計算資源。數據集較大的和模型導致更高的準確性,但同時也增加了計算時間。因此,在神經網絡中進行神經網絡分析時,如何快速地計算網絡成了關鍵。

而且在無人駕駛的過程中,假設人們看不到任何工作原理,人們也是不愿意乘坐的。但是如果全方位的展示各種參數,各種傳感器數據。任誰都會感到頭大。若想使無人駕駛車輛快速地融入社會,使人們接受并歡迎,首要的工作任務應該是如何讓乘客感到安全和放心,而假如乘客可以在車內實時地關注車外的各種路況信息,但是又不能單純地將各種數據信息硬塞給乘客,在這種情況下,無人駕駛的可視化便成了現在的研究重心之一,即通過神經卷積網絡將處理過的數據信息以簡單直觀的圖像呈現給乘客。通過可視化關注無人駕駛,成為無人駕駛領域中的一個方向。目前,已取得顯著技術突破。美國加利福尼亞大學伯克利分部將圖像區域傳輸到識別網絡(CNN)做出判斷,調整注意力權重,最后講圖像呈現給用戶[2]。該方法已經被證明在真實模型中具有有效性。

新硬件Jetson TX2是嵌入式人工智能超級計算平臺,可以在終端上部署人工智能計算能力,同時提供了JetPack SDK全套軟件的支持。

參考文獻

[1] Brilian Tafjira Nugraha,Shun-Feng Su,Fahmizal. Towards self-driving car using convolutional neural network and road lane detector[C].2017, 2nd International Conference on Automation, Cognitive Science, Optics, Micro Electro--Mechanical System, and Information Technology (ICACOMIT),65-69.

[2] Jinkyu Kim,John Canny. Interpretable Learning for Self-Driving Cars by Visualizing Causal Attention[C]. IEEE International Conference on Computer Vision(ICCV), Venice, Italy, 2017: 2961-2969.

[3] Eric R. Teoh, David G. Kidd. Rage against the machine? Google's self-driving cars versus human drivers[J]. Journal of Safety Research, 2017,63(1):57-60.

[4] Yoon Young Moon,Zoog Woo Geem,Gi-Tae Han. Vanishing point detection for self-driving car using harmony search algorithm[J]. Swarm and Evolutionary,Computation, 2018, In press:1-9.

[5] Wenshuo Wang, Ding Zhao. Extracting Traffic Primitives Directly From Naturalistically Logged Data for Self-Driving Applications[J]. IEEE Robotics and Automation Letters,2018,3(2):1223-1229.

[6] Jiarui Li, Lei Han,Zhipeng Dong, et.al. A target recognition algorithm applied to the unmanned ground combat platform in curve driving[C]. IEEE International Conference on Unmanned Systems (ICUS), 2017, 192-196.

[7] Luis M. Martinez, José Manuel Viegas. Assessing the impacts of deploying a shared self-driving urban mobility system: An agent-based model applied to the city of Lisbon, Portugal[J]. International Journal of Transportation Science and Technology, 2017, 6(1):13-27.

[8] Andrew Lavin, Scott Gray. Fast Algorithms for Convolutional Neural Networks[C]. IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, NV, USA, 2016:4013-4021.

本項目學生有關的研究積累和已取得的成績

劉思遠:計算機科學與技術專業,熟練掌握C語言與C++語言,能使用Python3語言進行編程,通過了英語四級考試,對LiDAR(光學雷達)有一定了解。

 

廖科宇:計算機科學與技術專業,熟練掌握C語言與C++語言,對NVIDIA下的CUDA運算平臺有一定了解;通過了英語四級考試,了解計算機視覺的相關知識。

 

李健:計算機科學與技術專業,熟練掌握C語言與C++語言,能使用TensorFlow軟件庫,掌握了MFC的可視化編程方法,通過了英語四級考試,對GPS和慣性傳感器有一定了解。

 

周偏:計算機科學與技術專業,熟練掌握C語言與C++語言,熟練使用linux系統,能使用MFC編寫窗口對話程序,通過了英語四級考試,對ROS(機器人操作系統)有一定了解。

 

鄧拓:計算機科學與技術專業,熟練掌握C++、Python語言,掌握了MFC的可視化編程方法,通過了英語四級考試,對OpenCV和圖像識別有一定了解。

 

 

 

 

項目的創新點和特色

1. 使用英偉達公司最新的Jetson TX2處理器作為本次項目的運算平臺,具有低功耗 (7.5w) 和高性能兩大亮點。

2. 實現無人駕駛技術需要融合計算機領域,多方面的前沿技術,如:光學雷達系統,基于ROS的無人駕駛系統,基于計算機視覺的無人駕駛感知系統,基于Spark與ROS分布式無人駕駛模擬平臺和GPS及慣性傳感器的應用。

3. 曾有專業人士預測“最多再過25年,配備了完善人工智能的無人駕駛系統將徹底取代人類司機。但是,眾所周知,無人駕駛技術并非完美,僅2017年就出現多次無人駕駛事故,本次項目追蹤時代的敏感話題,用前沿的硬件系統進行二次開發,我們將盡可能地開發與完善無人駕駛系統。

4. 無人駕駛系統符合人工智能時代的時代主題,如果無人駕駛系統取得重大突破,人們的生活方式將發生巨大變化,極大便利人們生活,提高人們的生活水平。

 

 

項目的技術路線及預期成果

 

 

Jetson TX2平臺上的無人駕駛系統是將視覺計算、信息傳遞、圖像處理和模式識別技術結合在一起的綜合信息處理平臺。它將車載傳感器實時觀測到的各種路況信息經過采集、處理并經過準確識別,快速給出實時準確的路況報告,為車輛進一步的安全行駛提供科學依據,整個系統主要分為三部分:圖像信息采集部分、圖像處理與模式識別部分、行進與方向控制部分。該系統框架如圖15所示。

 

 

 

 

 

 

15 系統框架

1、圖像信息采集部分

(1)道路圖像信息的采集。依靠車載攝像頭傳感器完成并將圖像信息傳遞給處理器進行加工。

(2)圖像預處理。對數字圖像信息進行數據類型轉換,形狀變換,翻轉,高亮,歸一化平滑復原等操作,從而增強有關信息的可檢測性和最大限度地簡化數據,以提高特征抽取、圖像分割、圖像識別的可靠性高斯平滑核如下圖16所示。

 

16 高斯平滑核

2、圖像處理與模式識別部分

1)識別車道線和汽車前置車道邊界。依靠圖像處理和深度學習技術,將每一幀的圖像進行反向透視,確定車道線位置與走向,再利用卷積神經網絡(CNN)完成對車道線的特征提取和分類,最后將不同情況即遮擋,陰影,逆光,圖像質量,路況,道路問題都不同的數據加入訓練集進行訓練,保證車輛在不會越過邊界的前提下安全穩定地行駛。車道線檢測和汽車前置車道邊界處理如下圖所示。

 

 

 

17 車道線檢測和汽車前置車道邊界處理

2)識別交通標志。依靠圖像處理和模式識別技術,將圖像信息轉化為數字信息與已知的交通標識模式對照以辨別出具體交通標志種類,確保車輛在無人駕駛過程中在不違反交通規則的前提下行駛或停止。具體依靠SSD模型結構對圖像初始層上添加逐漸減小的卷積層以便進行多尺度預測,之后的每一個新添加的層,可以使用一系列的卷積核進行預測,在每個位置上預測出一個相應的值,即相對其他box的偏移量,這里的box就是在特征圖中各處預測的若干個box,基本完成后再進行訓練和測試。

(3)進行車輛和行人的檢測與跟蹤。運用圖像處理與模式識別技術,仍可以利用SSD架構標記出路上的車輛和行人并進行實時的追蹤,以便在行駛中可及時地跟車或讓行,保證乘客安全。和之前一樣,可以使用SSD卷積神經網絡box的概念進行對象檢測,設置不同尺寸和比率的預定義框,然后對于每一個box,SSD卷積網絡檢測該box內是否存在物體,并計算物體邊界框和固定boxes之間的偏移量,最后再對偏移量使用損失函數最小化,詳細流程如圖18

18 交通標志識別

車輛檢測算法如下圖所示:

 

19 車輛檢測示意圖

車輛檢測步驟實現方法:

Step1:首先是圖像預處理

(1)陰影圖像處理:對圖像陰影處理是為了陰影與目標有效分離,主要包括陰影檢測和陰影去除兩部分。常用到的方法有:基于泊松方程的陰影去除、基于梯度域的陰影去除、基于成對區域的陰影去除、使用金字塔的陰影去除、使用子區域匹配亮度轉移的陰影去除等。

(2)霧霾圖像處理:對霧霾降質圖像的儲量方法有很多,主要有基于圖像增強和基于物理模型兩類。相關算法需要基于偏微分方程、深度關系、先驗知識等算法上進行改進,以便取得較為理想的效果。

(3)地物遮擋處理:拍到的畫面中經常會出現車輛被地物或車輛間相互遮擋的情況,對車輛識別形成很大的干擾。解決地物遮擋的方法主要有特征模型、統計模型、推理和三維模型。特征模型和統計模型的方法應用最為廣泛。

(4)陰天圖像處理:陰天會造成圖像中車輛對比度降低,邊緣輪廓信息模糊,給車輛識別帶來嚴重干擾。通常采用圖像增強的方法削弱或去除圖像中某些干擾信息,根據算法處理的范圍可分為全局處理和局部處理。

Step2:其次是車輛特征提取:

(1)人工特征提取:過去幾十年,人工特征提取在圖像模式識別領域一直占據主導地位,其主流思想是先采用區域選擇方法定位提取感興趣的區域,然后手工設計提取目標特征。車輛特征提取建立在車輛檢測的基礎上,先搜索定位包含車輛的區域,再提取有用的車輛特征信息。傳統的車輛檢測方法采用基于滑動窗口的窮盡策略對整幅圖像遍歷,通過設置不同的尺度、長寬比,搜索包含目標所有可能出現的位置。近年來,以AdaBoost框架和DPM框架的各種改進算法堪稱佳作,取得了較好的效果。

(2)自動學習提取特征:從大量的訓練樣本圖像中自動學習提取特征,神經網絡一度被給予厚望。但其發展出現了瓶頸:訓練容易出現擬合、算法復雜、訓練速度慢。近年來,伴隨著GPU和深度學習的快速發展,彌補了傳統神經網絡的不足。深度學習的本質是通過多層非線性變換,從大規模數據集中自動學習特征。深層的結構使其具有極強的表達能力和學習能力,尤其擅長提取復雜的全局特征和上下文信息。得益于卷積神經網絡和候選區域算法,以R-CNN為代表的目標檢測方法開啟了深度學習應用于目標檢測的先河。

 Step3:最后是分類器設計:

分類器是解決目標識別的有效工具。常用的分類器有最小距離分類器、貝葉斯網絡分類器、人工神經網絡分類器、支持向量機等。目前應用最為廣泛的分類器是神經網絡分類器和支持向量機。

 

 

 

行人檢測算法

Step1: 首先,基于背景建模,注意以下幾個方面:必須適應環境的變化;相機抖動引起畫面的抖動(比如手持相機拍照時候的移動);圖像中密集出現的物體;必須能夠正確的檢測出背景物體的改變;物體檢測中往往會出現Ghost區域,Ghost區域也就是指當一個原本靜止的物體開始運動,背靜差檢測算法可能會將原來該物體所覆蓋的區域錯誤的檢測為運動的,這塊區域就成為Ghost,當然原來運動的物體變為靜止的也會引入Ghost區域,Ghost區域在檢測中必須被盡快的消除。

Step2: 其次,提取出前景運動的目標,在目標區域內進行特征提取,提取的特征主要有目標的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經網絡、SVM、adaboost以及現在被計算機視覺視為寵兒的深度學習。

Step3: 然后,根據大量的樣本構建行人檢測分類器,利用分類器進行分類,判斷是否包含行人,要注意行人的姿態、服飾各不相同、復雜的背景、不同的行人尺度以及不同的光照環境;提取的特征在特征空間中的分布可能不夠緊湊;分類器的性能受訓練樣本的影響較大;離線訓練時的負樣本無法涵蓋所有真實應用場景的情況。

 

 

3、行進與方向控制部分。

1)預測和更新車輛位置。通過無損卡爾曼濾波器,在已測得實時車輛速度的條件下,預測下一幀圖像中車輛的位置并實時更新,保證車輛能夠平穩地行駛或停止。首先需要產生sigma點集并計算其均值,后寫出對估計狀態的不確定性即協方差矩陣,之后通過公式與矩陣變換預測sigma點集和其均值與方差,最后完整地按照卡爾曼濾波的更新步驟計算即可,完整流程如圖20

 

 

 

20 車輛位置的預測與更新

車輛位置預測與更新算法:

Step1: 首先該算法應在GPU上運行,不采用粒子濾波框架,而使用卡爾曼濾波可及時獲得準確特征。

Step2: 其次對整個Network,進行大量訓練,對于每個Branch網絡作訓練mini-batch,選擇32個正樣本和96個負樣本(從大量負樣本中高度篩選得到)。

Step3: 最后進行跟蹤,對每個待跟蹤目標建立一個FC6全連接層。

I.對于輸入每一幀圖像,在該目標位置附近采樣256個 Box 作為Candidates;

II. 所有Candidate 歸一化到 107*107尺寸,輸入到訓練好的 MD-Net 網絡(shared + FC6-k);

III. 網絡輸出是一個二維的向量(Box ID,目標概率),最終目標是概率值最高的Box;

每隔一段時間,根據可行度高的正負樣本,進行網絡更新。

 

(2)調節車輛方向。通過PID控制,利用實時傳遞的信號對被控車輛的行進方向進行控制與調節,基本原理如圖21

21 PID調節基本原理

3)中央控制器及輔助通信模塊。本項目采用Jetson TX2為核心實現,具備實現低功耗與64位數據處理的能力。中央控制器核心板,如圖22所示。

 

 

圖22 中央控制器核心板

預期成果:

(1)研發一套有實用價值無人駕駛系統;

(2)申請1~2項軟件著作權;

(3)發表專業論文2~4篇;

(4)項目研究報告。

 

年度目標和工作內容(分年度寫)

 

 

本項目計劃時間從2018年3月到2020年6月完成,具體時間進度安排如下:

(1)2018年3月至2018年6,閱讀相關的科技參考文獻,完成項目申報書,收集資料及購買相關的電子元器件

(2)2018年7月至2018年9,完成電源模塊、車載傳感器模塊的代碼調試

(3)2018年10月至2018年12,完成圖像處理模塊的代碼調試并撰寫相關專業論文

(4)2019年1月至2019年3,完成模式識別模塊的代碼調試并撰寫相關專業論文

(5)2019年4月至2019年5,完成車輛和行人檢測與跟蹤標記模塊的代碼調試

6)2019年6月至2019年7,完成無損卡爾曼濾波器模塊的代碼調試并撰寫相關專業論文;

7)2019年8月至2019年9,完成PID控制模塊的硬件安裝與代碼調試并撰寫相關專業論文

8)2019年10月至2020年1,通過虛擬影像測試系統的性能及完善優化;

9)2020年2月至2020年3,測試系統的性能及完善優化,撰寫結題報告,提交總結報告

指導教師意見

Jetson TX2平臺上的無人駕駛系統融合了多個學科的知識,項目組所做的技術方案合理,對項目中的關鍵問題把握準確,前期工作準備充分,項目組學生具備較強的理論和實踐能力,項目實用性強,具有良好的創新意識,能夠完成該項目的研發。

同意該組學生申報“大學生創新性實驗計劃項目”。

 

簽字:                   日期:

 

  • <center id="9wjrh"></center>
    <bdo id="9wjrh"></bdo>