請(qǐng)留神，本文所表現(xiàn)的信息、用途及使用完整是Video-Touch客座作者的概念。
你能夠看過(guò)一些科幻電影，片子中的人可以用身體舉措去節(jié)制機(jī)器人?，F(xiàn)在，借助古代計(jì)算機(jī)視覺(jué)跟機(jī)器人方式，咱們可能把這類(lèi)體驗(yàn)釀成理想，并且跟片子一樣出色奇奧。
受新冠病毒影響，正在如斯艱苦的期間，為了讓近程節(jié)制跟近程操縱變得切實(shí)可用，咱們開(kāi)啟了VideoTouch名目。
Video-Touch是第一個(gè)人機(jī)交互體系。它容許多名用戶(hù)，正在世界任何處所經(jīng)由過(guò)程視頻通話(huà)使用（例如GoogleMeet、Zoom、Skype）對(duì)其停止節(jié)制。
咱們思量過(guò)，是不是有能夠只用本人的手來(lái)近程節(jié)制機(jī)器人，而沒(méi)有借助手套、操縱桿等任何額定的設(shè)備，同時(shí)沒(méi)有發(fā)生較著的耽誤。因而，咱們決意利用計(jì)算機(jī)視覺(jué)去及時(shí)辨認(rèn)舉措，并及時(shí)傳送給機(jī)器人。正在MediaPipe的資助下，咱們將其變成了理想。
操作系統(tǒng)大抵以下：
1.經(jīng)由過(guò)程視頻會(huì)議使用，正在用戶(hù)設(shè)備上獲得收集攝像頭視頻，然后將其發(fā)送至機(jī)器人計(jì)算機(jī)；
食品分揀機(jī)器人的作用2.用戶(hù)的收集攝像頭視頻串流經(jīng)由過(guò)程O(píng)BS虛構(gòu)攝像頭對(duì)象被捕捉到機(jī)器人的計(jì)算機(jī)顯示器上；
3.辨認(rèn)模塊正在MediaPipe的資助下讀取用戶(hù)的舉措跟手勢(shì)，并經(jīng)由過(guò)程ZeroMQ發(fā)送給下一個(gè)模塊；
4.正在舉措捕獲數(shù)據(jù)的根底上，機(jī)器臂及其抓手由Python節(jié)制。
從計(jì)劃中可以清晰天看出，用戶(hù)正在操縱機(jī)器人時(shí)只需不變的互聯(lián)網(wǎng)毗鄰跟一個(gè)視頻會(huì)議使用。一切的如屏幕捕獲、手部追蹤、手勢(shì)辨認(rèn)跟機(jī)器人節(jié)制等計(jì)較，皆可以正在Wi-Fi與機(jī)器人毗鄰的零丁設(shè)備上停止。接下來(lái)，咱們將對(duì)流水線(xiàn)的各個(gè)環(huán)節(jié)停止具體解釋。
用戶(hù)可以利用任何一臺(tái)可能實(shí)現(xiàn)跨設(shè)備傳輸視頻的軟件。正在試驗(yàn)中，咱們利用的是視頻會(huì)議的桌面使用。用戶(hù)正在其設(shè)備上呼喚一臺(tái)顯示器與機(jī)器人相連的計(jì)算機(jī)。如許，機(jī)器人便可以看到來(lái)自用戶(hù)收集攝像頭的視頻串流。
此刻，咱們須要某種機(jī)制去把用戶(hù)的視頻從視頻會(huì)議傳送到辨認(rèn)模塊。咱們利用的是OpenBroadcasterSoftware及其虛構(gòu)攝像頭對(duì)象去捕獲翻開(kāi)視頻會(huì)議的窗口。如許咱們便取得了一個(gè)虛構(gòu)攝像頭，它此刻有來(lái)自用戶(hù)收集攝像頭的幀及其怪異的設(shè)備索引，可以正在辨認(rèn)模塊中進(jìn)一步利用。
塑料自動(dòng)分揀機(jī)器人辨認(rèn)模塊
辨認(rèn)模塊的作用是捕獲用戶(hù)的舉措并將其傳送給機(jī)器人節(jié)制模塊。MediaPipe會(huì)正在此發(fā)揮作用。咱們?yōu)椴东@手部舉措探求了最無(wú)效、最正確的計(jì)算機(jī)視覺(jué)軟件。咱們發(fā)明了許多令人興奮的解決方案，但事實(shí)證明，關(guān)于如斯存在挑戰(zhàn)性的使命，MediaPipe是獨(dú)一得當(dāng)?shù)膶?duì)象。
咱們對(duì)MediaPipe手部追蹤模塊停止了兩項(xiàng)要害點(diǎn)竄：增長(zhǎng)了手勢(shì)辨認(rèn)計(jì)算器并集成了ZeroMQ消息傳遞機(jī)制。
兩項(xiàng)要害點(diǎn)竄
正在前次發(fā)表文章的時(shí)間，咱們有兩個(gè)版本的手勢(shì)辨認(rèn)實(shí)現(xiàn)。第一個(gè)版本以下圖3所示，一切的計(jì)較均正在手部姿式辨認(rèn)計(jì)算器內(nèi)停止。計(jì)算器將特點(diǎn)面作為輸入停止縮放，也就是說(shuō)，這些特點(diǎn)面依據(jù)腳的鴻溝框巨細(xì)停止標(biāo)準(zhǔn)化。接下來(lái)，它會(huì)辨認(rèn)4種手勢(shì)：“挪動(dòng)”、“傾斜”、“抓取”跟“無(wú)手勢(shì)”（論文中的“手指距離”手勢(shì)是實(shí)驗(yàn)性?xún)?nèi)容，不包羅正在終極演示版中），并輸出手勢(shì)類(lèi)稱(chēng)號(hào)。只管這個(gè)版本非常穩(wěn)重實(shí)用，但它只是基于簡(jiǎn)略的啟發(fā)式劃定規(guī)矩，如：“若是此特點(diǎn)面［i］.x《特點(diǎn)面［j］.x，那么它是一個(gè)‘挪動(dòng)’手勢(shì)”，并且關(guān)于手部扭轉(zhuǎn)那類(lèi)現(xiàn)實(shí)生活中的環(huán)境，此版本沒(méi)法辨認(rèn)。
發(fā)表文章
為了減緩泛化不良的問(wèn)題，咱們實(shí)行了第二個(gè)版本。咱們正在手動(dòng)網(wǎng)絡(luò)跟加標(biāo)簽的1000個(gè)關(guān)鍵點(diǎn)的數(shù)據(jù)集上鍛煉了來(lái)自scikit-learn的梯度晉升分類(lèi)器：“挪動(dòng)”、“傾斜”跟“抓取”類(lèi)各有200個(gè)，而“無(wú)手勢(shì)”類(lèi)有400個(gè)。趁便道一下，現(xiàn)在可以經(jīng)由過(guò)程比來(lái)宣布的JestureAISDKrepo（注：咱們團(tuán)隊(duì)部門(mén)成員的另一個(gè)名目）輕松獲得此類(lèi)數(shù)據(jù)散。
JestureAISDK
咱們利用縮放的特點(diǎn)面、樞紐間的角度和成對(duì)的特點(diǎn)面距離作為模子的輸入，去猜測(cè)手勢(shì)類(lèi)。接下來(lái)，咱們測(cè)驗(yàn)考試只傳送縮放的特點(diǎn)面，而沒(méi)有傳送任何角度跟距離，成果正在200個(gè)關(guān)鍵點(diǎn)的當(dāng)?shù)仳?yàn)證集上取得了91%的近似多類(lèi)準(zhǔn)確率。關(guān)于這個(gè)版本的手勢(shì)分類(lèi)器，另有一點(diǎn)是咱們沒(méi)法間接正在C++中運(yùn)轉(zhuǎn)scikit-learn模子，以是咱們用Python停止實(shí)現(xiàn)，作為機(jī)器人節(jié)制模塊的一部分。
頒發(fā)后，咱們立刻推出了一個(gè)正在Keras中鍛煉的齊毗鄰神經(jīng)網(wǎng)絡(luò)，它采取的數(shù)據(jù)散與梯度晉升模子不異，而失掉的成果更好，準(zhǔn)確率到達(dá)93%。咱們將這個(gè)模子轉(zhuǎn)換為T(mén)ensorFlowLite格局，此刻咱們可以正在手部姿式辨認(rèn)計(jì)算器中間接運(yùn)轉(zhuǎn)手勢(shì)辨認(rèn)ML模子。
失掉以后手部地位跟以后手勢(shì)類(lèi)后，咱們須要將其傳送給機(jī)器人節(jié)制模塊。停止那一步時(shí)，咱們借助了高性能的異步動(dòng)靜功用庫(kù)ZeroMQ。為了正在C++中實(shí)現(xiàn)那一點(diǎn)，咱們利用了libzmq庫(kù)跟cppzmq標(biāo)頭。應(yīng)用要求-復(fù)興計(jì)劃：辨認(rèn)模塊C++代碼中的REP跟機(jī)器人節(jié)制模塊Python代碼中的REQ。
libzmq
京東分揀機(jī)器人多少錢(qián)cppzmq
要求-復(fù)興
是以，借助咱們點(diǎn)竄過(guò)的手部追蹤模塊，此刻可能將運(yùn)動(dòng)捕獲信息及時(shí)傳送給機(jī)器人。
機(jī)器人節(jié)制模塊
機(jī)器人節(jié)制模塊是一個(gè)Python劇本，它將手部特點(diǎn)面跟手勢(shì)類(lèi)作為輸入，并輸出機(jī)器人挪動(dòng)下令。運(yùn)轉(zhuǎn)該劇本的計(jì)算機(jī)經(jīng)由過(guò)程Wi-Fi與機(jī)器人毗鄰。咱們的試驗(yàn)中利用了搭載NvidiaGTX1050TiGPU的MSI筆記本電腦。同時(shí)測(cè)驗(yàn)考試正在IntelCorei7CPU上運(yùn)轉(zhuǎn)全部體系，因?yàn)橛懈叨葍?yōu)化的MediaPipe計(jì)較圖實(shí)現(xiàn)，該運(yùn)轉(zhuǎn)也是及時(shí)的，耽誤可以忽略不計(jì)。
正在現(xiàn)階段的流水線(xiàn)中，咱們利用了UniversalRobotics的6DoFUR10機(jī)器人。因?yàn)槔玫淖ナ质请p指的，咱們沒(méi)有須要每一個(gè)特點(diǎn)面與機(jī)器人手指關(guān)鍵點(diǎn)的完全映射，只須要腳中間的地位。借助此中間坐標(biāo)跟python-urx軟件包，咱們此刻可能正在所需的方位跟標(biāo)的目的上轉(zhuǎn)變機(jī)器人的速率：正在每一幀上，咱們計(jì)較以后手中心坐標(biāo)與前一幀坐標(biāo)之差，從而得出速率變更矢量或角度。最初，此機(jī)制看起來(lái)與人們用操縱桿節(jié)制機(jī)器人的方法十分類(lèi)似。
分揀機(jī)器人運(yùn)用了哪些技術(shù)python-urx
高密度觸覺(jué)傳感器的觸覺(jué)感知
分揀機(jī)器人agv系統(tǒng)靈活的支配要求存在較下的空間分辨率跟對(duì)物體跟情況的高保真觸覺(jué)感知。最新的傳感器數(shù)組非常適合機(jī)器人支配，由于它們可以很簡(jiǎn)單地掛接到任何機(jī)器人末尾執(zhí)行器上，并順應(yīng)任何接觸面。
源宣布文章
Video-Touch嵌入了一種高密度的觸覺(jué)傳感器數(shù)組。它們裝置正在雙指機(jī)器人抓手中。每一個(gè)指尖上皆?huà)旖右粋€(gè)傳感器數(shù)組。單個(gè)電極數(shù)組可以感到5.8平方厘米的幀面積，每幀分辨率為100面。感到頻次即是120赫茲。每一個(gè)面的力檢測(cè)規(guī)模為1至9牛頓。是以，機(jī)器人以200面的分辨率檢測(cè)施加正在機(jī)器人手指抓取的固體或柔性物體上的壓力。
從傳感器數(shù)組處網(wǎng)絡(luò)的數(shù)據(jù)顛末處置懲罰后，以靜態(tài)手指打仗映射圖的情勢(shì)向用戶(hù)顯現(xiàn)。壓力傳感器數(shù)組讓用戶(hù)可能感知被抓物體的順應(yīng)性、硬度、粗糙度、外形、標(biāo)的目的等物理特性。
圖8：多用戶(hù)機(jī)器臂節(jié)制功用。用戶(hù)可能正在通例的視頻通話(huà)進(jìn)程中履行COVID-19檢測(cè)［源視頻］
尾注
如此一來(lái)，借助MediaPipe跟機(jī)器人，咱們樹(shù)立了一個(gè)無(wú)效的多用戶(hù)機(jī)器人近程操作系統(tǒng)。正在將來(lái)，近程操作系統(tǒng)的潛伏用途將包羅醫(yī)療檢測(cè)，和正在難以進(jìn)入的情況中停止的試驗(yàn)。該體系的多用戶(hù)功用辦理了無(wú)效近程協(xié)作的實(shí)際問(wèn)題，容許正在多人小組中停止須要手動(dòng)近程節(jié)制的名目事情。
咱們流水線(xiàn)的另一個(gè)劣勢(shì)特色是，人們可以利用任何帶有攝像頭的設(shè)備，例如手機(jī)，去節(jié)制機(jī)器人。除機(jī)器臂，人們借可以操縱其他如，邊緣設(shè)備、移動(dòng)機(jī)器人或無(wú)人機(jī)等硬件設(shè)備。當(dāng)然，現(xiàn)階段的解決方案存在必然的局限性：延遲時(shí)間、z坐標(biāo)的應(yīng)用，和手勢(shì)類(lèi)型的便利性皆有改善的空間。咱們非常等候試用MediaPipe團(tuán)隊(duì)的更新，并等候著測(cè)驗(yàn)考試新類(lèi)型的抓手、雙手節(jié)制，以至是全身節(jié)制。
愿望那篇文章對(duì)你跟你的事情有所資助。珍重身體，保持編碼。十分感謝您的存眷！
京東物流的分揀機(jī)器人怎么運(yùn)作智能分揀機(jī)器人購(gòu)買(mǎi)銷(xiāo)售分揀機(jī)器人公司