假如對移動機器人視覺算法舉行拆解，您就會發(fā)明獵取物體深度信息、定位導航和壁障等全是基于差別的視覺算法，本文就帶大師聊一聊幾種差別但又缺一不可的視覺算法構成。
移動機器人的視覺算法品種
問：實現(xiàn)定位導航、途徑計劃和躲障，那末這一些過程中需求哪些算法的支撐？
談起挪動機器人，很多人想到的需求多是如許的：“嘿，您能不能去那里幫我拿一杯熱拿鐵過來。”這個聽上去對普通人很簡單的使命，正在機器人的天下里，卻充滿了各類挑釁。為了完成這個使命，機器人首先需求載入周圍環(huán)境的輿圖，準確定位本人正在輿圖中的位置，然后依據(jù)輿圖開展途徑計劃控制本人完成挪動。
而在挪動的過程中，機器人還需要根據(jù)現(xiàn)場環(huán)境的三維深度信息，實時的規(guī)避障礙物直至達到終究目標點。在這里一連串機器人的思索過程中，能夠分解為如下幾部門的視覺算法：
1．深度信息提取
2．視覺導航
3．視覺躲障
背面我們會詳細說這一些算法，而這一些算法的根本，是機器人腦殼上的視覺傳感器。
視覺算法的根蒂根基：傳感器
問：智能手機上的攝像頭能夠作為機器人的眼睛嗎？
一切視覺算法的根蒂根基說到底來自于機器人腦殼上的視覺傳感器，就好比人的眼睛和夜間目力很好的植物相比，表現(xiàn)出來的感知本領是完整差別的。一樣的，一個眼睛的植物對天下的感知本領也要差于兩個眼睛的植物。每個人手中的智能手機攝像頭實際就能夠作為機器人的眼睛，當下十分盛行的Pokeman Go游戲就使用了計算機視覺技能來殺青AR的結果。
像上丹青的那樣，一個智能手機中攝像頭模組，其內(nèi)部包括如下一些主要的組件：鏡頭，IR filter，CMOS sensor。個中鏡頭普通由數(shù)片鏡片構成，顛末龐大的光學設計，目前可以用便宜的樹脂資料，做出成像質量很好的手機攝像頭。
CMOS sensor上面會覆蓋著叫做Bayer三色濾光陣列的濾色片。每一個差別色彩的濾光片，能夠根據(jù)特定的光波波長，對應CMOS感光器件上就能夠正在差別位置劃分獲得差別色彩的光強了。若是CMOS傳感器的分辨率是4000x3000，為了獲得一樣分辨率的RGB彩色圖象，就需要用一種叫做demosaicing的測算攝像算法，由2綠1藍1紅的2x2網(wǎng)格中解算出2x2的RGB信息。
普通的CMOS感光特征除挑選紅綠藍三色以外，關于紅外光是透明的。因此在光路中加上IR濾光片，是為了去除太陽光芒中紅外光對CMOS的滋擾。加上濾光片后，一般圖象的對比度會獲得明顯的提拔。
問：計算機視覺中還會用到什么傳感器？
除RGB相機，計算機視覺中常用的另有其他品種的特別相機。例若有一種相機的濾光片是只允許經(jīng)由過程紅外光波段的。因為人眼通常是看不見紅外光的，所以能夠正在相機鄰近加上主動紅外光源，適用于測距等運用。
別的，絕多數(shù)我們用到的camera皆是以rolling shutter的情勢實現(xiàn)電子暴光的，像圖中左邊那樣，為了削減電子器件的本錢，暴光通常是一行一行離別舉行，那樣必將導致物體快速挪動時，相機收集到的圖象會發(fā)作形變。為了制止這類形變對基于立體幾何舉行較量爭論的視覺算法的危害（比方VSLAM），選用global shutter的相機就顯得稀奇重要了。
深度相機是另外一大類視覺算法中需求的傳感器，能夠分紅如下幾類：
1．TOF傳感器（比方Kinect 2代），雷同蟲豸復眼。本錢高，室外能夠利用。
2．布局光傳感器（比方Kinect 1代），三角定位道理，本錢中，室外沒有能用。
3．雙目視覺（比方Intel Realsense R200），主動照明或被動照明，IR或可見光皆可。成本低，室外能夠運用。
算法一：深度信息提取
問：深度相機若何辨認物體的深度信息的呢？
簡而言之，其道理便是利用兩個平行的相機，對空間中的每一個點三角定位。根據(jù)婚配擺布兩個相機中成像點的位置，來測算對應三維點正在空間中的間隔。學術界對雙目婚配規(guī)復深度圖研討有很長的汗青，正在NASA火星車上就開端接納這個手藝。然則其真正正在花費電子品市場獲得廣泛應用仍是由微軟的Kinect體感傳感器開端。
Kinect傳感器背后使用了以色列Primesense公司受權的構造光手藝（現(xiàn)在已被Apple收購）。其道理是避開雙目婚配中龐雜的算法設計，轉而將一個攝像頭更換成向外主動投射龐雜光斑的紅外投影儀，而另一個平行位置的相機還變成了紅外相機，能夠分明的看到投影儀投射的一切光斑。因為人眼看不到紅外光斑，并且紋理異常龐雜，這就異常有利于雙目婚配算法，能夠用異常簡便的算法，識別出深度信息。
雖然Kinect的內(nèi)涵道理官方并沒有給出注釋，正在近年來一篇Kinect Unleashed的文章中，作者向民眾hack了這個體系的事情道理：
首先，紅外圖象在基線方向上采樣8倍，那樣能夠包管在干雙目婚配后實現(xiàn)3bit的亞像素精度。然后，對圖象干sobel濾波，使得圖象的婚配精度進步。然后，圖象取預存的投影光斑模板圖象開展SAD block matching。該算法的盤算復雜度小，合適硬化和并行。最終，顛末簡樸的圖象后處理，下采樣到原始分辨率，獲得終極的深度圖。
我們能夠看到，跟著2009年Kinect設備正在消費機市場的發(fā)作（出售頭10日100萬臺），漸漸起頭催生了相似手藝變種正在挪動端設備的研發(fā)高潮。由2011年至今，跟著較量爭論才能的提拔和算法的發(fā)展，硬件本錢更低的主動／被動雙目深度相機起頭正在挪動手機上出現(xiàn)。
曩昔以為很難實時運轉的雙目婚配算法，即便正在沒有主動布局光輔佐的情況下，還表現(xiàn)出很是優(yōu)秀的3D成像質量。SegwayRobot采用了主動／被動可切換的雙目深度視覺體系。如下圖所示，左邊三個傳感器分別為，左紅外相機，紅外pattern投影，右紅外相機。正在室內(nèi)事情時，由于紅外光源缺乏，紅外投影翻開，輔佐雙目婚配算法。正在室外事情時，紅外光源充沛，紅外投影封閉，雙目婚配算法能夠直接運轉。綜合看，此體系正在室內(nèi)外皆表現(xiàn)出優(yōu)秀的深度傳感才能。
算法兩：定位導航
問：視覺處置后，機器人是若何實現(xiàn)導航的？
機器人導航自己是一個比較復雜的體系。個中涉及到的技能會有如下列表：
視覺里程計 VO
建圖，應用VO和深度圖
重定位，由已知地圖中辨認當前的位置
閉環(huán)檢驗·，清除VO的閉環(huán)偏差
全局導航
視覺躲障
Scene tagging，辨認房間中物體加上tag
機器人開機，視覺里程計就會開端事情，記載由開機位置起的6DOF定位信息。正在機器人活動過程中，mapping算法開端構建機器人看到的天下，將空間中富厚的特性點信息，二維的地圖信息記載到機器人map中。
當機器人活動過程中由于遮擋、斷電等緣故原由喪失了本身的坐標，重定位算法就需求由已知輿圖中定位到機器人當前的位置估量。別的，當機器人活動中回到了輿圖中曾涌現(xiàn)過的位置，常常視覺里程計的毛病會致使軌跡并沒有完整閉合，這就需求閉環(huán)算法檢驗和改正這個毛病。
有了全局輿圖以后，機器人就能夠給定一些目標點指令，干全局的自立導航了。正在實際中，由于環(huán)境是不絕轉變的，全局輿圖并不能完整反應導航時的障礙物情況，因而須要凌駕于全局導航之上的視覺躲障算法開展實時的活動調解。
最終，一個主動的導航系統(tǒng)還需要機器人主動識別和明白空間中的分歧物體的信息、位置、高度和巨細。這一些tag信息疊加在地圖上，機器人就能夠由語義上明白自身所處的環(huán)境，而用戶還能夠由更高條理下達一些指令。
問：視覺VSLAM正在機器人上的實現(xiàn)有哪些難點？
視覺VSLAM是一個薈萃了視覺里程計，建圖，和重定位的算法體系。近年來生長很快?；谔匦缘囊曈XSLAM算法由典范的PTAM算法初階，現(xiàn)階段以ORB－SLAM為代表的算法已能夠正在PC上到達實時運轉。下面是一個ORBSLAM的框圖：
由名字可見，其運用ORB作為圖象特點提取東西，并且在后續(xù)的建圖及重定位中均運用了統(tǒng)一份特點點信息。相對傳統(tǒng)的SIFT和SURF特點提取算法，其效力超出跨越良多。
ORB－SLAM包羅三個并行的線程，即跟蹤，建圖和閉環(huán)。個中跟蹤線程運轉正在前端，包管實時運轉，建圖和閉環(huán)線程運轉正在后端，速度不需要實時，然則取跟蹤線程同享統(tǒng)一份輿圖數(shù)據(jù)，能夠正在線修改使得輿圖數(shù)據(jù)精度和跟蹤精度更高。下圖是ORB－SLAM輿圖的首要數(shù)據(jù)結構，點云和關鍵幀。兩者之間經(jīng)由過程圖象上2D特性點取空間中的點云豎立映照干系，取此同時還保護了關鍵幀之間的covisibility graph干系。經(jīng)由過程這一些數(shù)據(jù)聯(lián)系關系，用優(yōu)化方法來保護全部輿圖。
ORB－SLAM正在機器人上運用仍舊存正在如下難點：
1．測算量過大，正在4核處理器上通常會占去60％擺布CPU資源。
2．正在機器人活動過快時會涌現(xiàn)跟丟不行回復的情形。
3．單目SLAM存正在標準不確定的題目。正在機器人快速扭轉時，此題目特別顯明，很快會涌現(xiàn)閉環(huán)偏差過大沒法改正的狀況。
針對標準題目，有兩種辦法處理：增長一個攝像頭構成雙目SLAM體系，大概增長一個IMU構成松耦合／緊耦合的視覺慣導定位體系。這里簡樸引見松耦合的視覺慣導定位體系。普通把VSLAM當做一個黑盒子，將其的輸出作為觀丈量放到一個基于IMU的EKF體系中，EKF終極fuse的輸出等于體系的輸出。
考慮camera數(shù)據(jù)和IMU數(shù)據(jù)通常是不同步的，因而根據(jù)硬件工夫戳，須要分辨圖象數(shù)據(jù)對應的工夫戳取IMU工夫戳的干系。正在EKF propagate步調，更高幀率的IMU數(shù)據(jù)不絕的更新EKF的狀況。正在camera數(shù)據(jù)到來時，觸發(fā)EKF update步調，依據(jù)EKF建模方程來更新狀況變量、協(xié)方差矩陣，而且從頭更新全部晚于camera數(shù)據(jù)的IMU數(shù)據(jù)對應的狀況變量。
SegwayRobot采用了業(yè)界搶先的視覺慣導定位體系，下面是一個正在樓道內(nèi)里運轉一圈，回到原點以后的效果圖，詳細有如下上風：
1．正在大標準下能夠包管極度小的閉環(huán)偏差
2．實時運轉，需求CPU資源小
3．答應快速扭轉等景象，不容易跟丟
算法三：躲障
問：視覺躲障的算法道理是如何的？
導航辦理的問題是引誘機器人靠近目的。當機器人沒有輿圖的時分，靠近目的的方式稱為視覺躲障手藝。躲障算法辦理的問題是依據(jù)視覺傳感器的數(shù)據(jù)，對靜態(tài)障礙物、靜態(tài)障礙物實現(xiàn)躲躲，但仍保持向目的標的目的活動，實時自立導航。
躲障算法有許多，然而這一些要領都有嚴厲的假定，假定障礙物為圓形或假定機械人為圓形，假定機械人能夠隨意率性標的目的活動，s或假定它只會走圓弧途徑。然而現(xiàn)實應用上，機械人很難到達前提。比方VFF算法， 該算法假定機械人為點，并且能夠隨意率性標的目的活動。VFH＋假定機械人為圓形，經(jīng)過圓形收縮障礙物，正在思量活動學題目時僅僅假定機械人以圓弧途徑活動。DWA還假定機械人為圓形，正在思量活動學題目時只模擬了前向圓弧活動時的狀況。
相對而言，我們沒有限定機器人的外形，斟酌活動學題目時，摹擬多種活動模子，而沒有限于圓弧活動，由于如許可認為機器人找到更佳避開障礙物的舉動。
這張圖表現(xiàn)了運用差別活動學模子致使差別的躲障成果。左圖示意運用圓弧模子時摹擬的途徑，右圖示意運用另一種途徑模子摹擬的途徑。正在這類狹窄環(huán)境，此方式能夠提早猜測多個標的目的的障礙物狀況，挑選適宜的模子能夠協(xié)助找到更適宜的活動標的目的躲躲障礙物。
和現(xiàn)階段常用的躲障算法之間存正在的差別正在于，它將運動學模子抽象化到周圍環(huán)境地圖中，然后就能夠運用任何常用的躲障算法，如許就解耦了運動學模子取算法的綁縛，并且任何請求嚴厲的躲障算法都能插手進來。SegwayRobot的躲障體系，綜合了深度傳感器，超聲波，IMU等sensor。正在龐雜的環(huán)境中，能夠自若躲躲障礙物。
這張圖是我們的躲障體系的一個截圖，能夠看到深度圖和2維的躲障輿圖。最下面白色的指針就代表了時時刻刻躲障的決議。
出色問答
Q：為何選用ir相機而不全是傳統(tǒng)的rgb相機呢？ir相機相對來說的上風正在那里？
A：ir相機能夠看到人眼看不到的物體，例如深度相機須要在室內(nèi)投射紅外紋理，扶助深度辨認。人眼看不到，但ir相機能夠看。
Q：目下當今機器人導航是不是主如果slam技能，另有沒其他導航技能？次要盛行的slam技能有哪些？適用于無人駕駛和無人機的視覺導航技能有哪些異同？
A：slam技能是導航中的一個底子模塊，品種許多，有單目，雙目，depth，imu＋視覺等傳感器為底子的算法。雙目相機能夠很好的順應室內(nèi)和室外的環(huán)境。他的體積實在十分小，segwayRobot利用的camera長度正在10cm擺布
Q：而今有沒有適用于機器人導航的導航輿圖存在，近似車載導航輿圖？適用于機器人導航的輿圖數(shù)占有哪些？
A：如今還沒有如許的機器人導航輿圖存在，可是是研發(fā)熱門。好比tesla和mobileye的輿圖之爭。