400 025 3599 
六自由度平臺(tái)視覺(jué)引導(dǎo)系統(tǒng)基于多目立體視覺(jué)技術(shù)，采用多相機(jī)組合實(shí)現(xiàn)反光標(biāo)記點(diǎn)的檢測(cè)以及對(duì)接對(duì)象目標(biāo)位姿的檢測(cè)與輸出，多目立體視覺(jué)技術(shù)在機(jī)器人對(duì)接引導(dǎo)系統(tǒng)中的應(yīng)用涉及使用多個(gè)相機(jī)或視點(diǎn)來(lái)檢測(cè)和追蹤靶標(biāo)的位姿，以協(xié)助機(jī)器人在對(duì)接過(guò)程中實(shí)現(xiàn)精確的定位和對(duì)準(zhǔn)，該技術(shù)允許機(jī)器人識(shí)別和跟蹤目標(biāo)靶標(biāo)的位置和姿態(tài)，從而實(shí)現(xiàn)安全和準(zhǔn)確的對(duì)接操作。
多目立體視覺(jué)系統(tǒng)使用多個(gè)攝像頭或相機(jī)來(lái)同時(shí)捕獲目標(biāo)靶標(biāo)的圖像，這些相機(jī)可以布置在不同位置和角度。這樣，系統(tǒng)可以獲得豐富的圖像信息，從不同視角觀察靶標(biāo)。在每個(gè)攝像頭的圖像中，多目立體視覺(jué)系統(tǒng)會(huì)提取靶標(biāo)上的標(biāo)志物特征點(diǎn)，這些特征點(diǎn)按照特定的方式排列安裝。然后，系統(tǒng)會(huì)嘗試將這些特征點(diǎn)在不同圖像之間進(jìn)行匹配，以進(jìn)一步確定該標(biāo)志物特征的空間三維信息。隨后根據(jù)標(biāo)志物特征點(diǎn)特定的排列規(guī)則和空間位置關(guān)系進(jìn)行靶標(biāo)位姿估計(jì)。通過(guò)匹配特征點(diǎn)和空間位置關(guān)系計(jì)算，系統(tǒng)可以估計(jì)靶標(biāo)的位姿，包括其位置和方向，該位姿信息將用于引導(dǎo)機(jī)器人正確對(duì)準(zhǔn)目標(biāo)。以下為該多目立體視覺(jué)引導(dǎo)系統(tǒng)具體工作原理及流程概述，其主要工作包括以下幾部分：相機(jī)的架設(shè)與調(diào)試、多目相機(jī)掃場(chǎng)標(biāo)定、定位相機(jī)系統(tǒng)參考坐標(biāo)系、靶球位置檢測(cè)以及目標(biāo)位姿計(jì)算。
(1)相機(jī)的架設(shè)與調(diào)試
采用四個(gè)相機(jī)的多目立體視覺(jué)系統(tǒng)中，相機(jī)的架設(shè)可以根據(jù)實(shí)際應(yīng)用場(chǎng)景進(jìn)行調(diào)整，采用特定的架設(shè)方式，通常采用四邊形布局架設(shè)相機(jī)，如圖1 所示，設(shè)備安裝實(shí)物圖如圖2所示，以確保最大程度覆蓋目標(biāo)區(qū)域并獲得多角度的視圖。將四個(gè)相機(jī)以平面布置在目標(biāo)區(qū)域的不同位置，相機(jī)可以均勻分布在一個(gè)平面上，也可以根據(jù)需要分布在不同的高度和角度，這樣可以獲得多個(gè)視角的信息，有助于提高位姿檢測(cè)的準(zhǔn)確性和魯棒性。但每個(gè)相機(jī)所拍攝的畫面應(yīng)該具有一定的重疊區(qū)域，以確保目標(biāo)對(duì)象在兩個(gè)以上不同相機(jī)之間存在共同可見(jiàn)的區(qū)域，以便進(jìn)行立體視覺(jué)匹配，重疊視野有助于提高立體視覺(jué)匹配的成功率，特別是對(duì)于復(fù)雜的場(chǎng)景。其中標(biāo)記球無(wú)需同時(shí)被四個(gè)相機(jī)所檢測(cè)到。
多相機(jī)系統(tǒng)需實(shí)現(xiàn)同步拍攝，確保四個(gè)相機(jī)能夠在相同的時(shí)間點(diǎn)拍攝圖像，以避免時(shí)間差引起的視差問(wèn)題。通過(guò)一個(gè)工控主機(jī)實(shí)現(xiàn)外部的觸發(fā)同步系統(tǒng)來(lái)確保相機(jī)同時(shí)觸發(fā)快門，同時(shí)通過(guò)工控機(jī)實(shí)現(xiàn)與處理器和機(jī)器人系統(tǒng)的交互，系統(tǒng)構(gòu)成如圖3所示。
另外，需確保相機(jī)之間的相對(duì)位置和朝向是已知的，這需要進(jìn)行精確的相機(jī)掃場(chǎng)標(biāo)定過(guò)程來(lái)實(shí)現(xiàn)，以獲得準(zhǔn)確的相機(jī)參數(shù)。
圖1 相機(jī)架設(shè)方式
圖2 設(shè)備安裝實(shí)物圖
圖3 系統(tǒng)構(gòu)成
(2)相機(jī)掃場(chǎng)標(biāo)定
機(jī)器視覺(jué)就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺(jué)系統(tǒng)是指通過(guò)機(jī)器視覺(jué)產(chǎn)品將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，得到被攝目標(biāo)的形態(tài)信息，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào);圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。
在圖像測(cè)量過(guò)程以及機(jī)器視覺(jué)應(yīng)用中，為確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，必須建立相機(jī)成像的幾何模型，這些幾何模型參數(shù)就是相機(jī)參數(shù)。在大多數(shù)條件下這些參數(shù)必須通過(guò)實(shí)驗(yàn)與計(jì)算才能得到，這個(gè)求解參數(shù)的過(guò)程就稱之為相機(jī)標(biāo)定(或攝像機(jī)標(biāo)定)。無(wú)論是在圖像測(cè)量或者機(jī)器視覺(jué)應(yīng)用中，相機(jī)參數(shù)的標(biāo)定都是非常關(guān)鍵的環(huán)節(jié)，其標(biāo)定結(jié)果的精度及算法的穩(wěn)定性直接影響相機(jī)工作產(chǎn)生結(jié)果的準(zhǔn)確性。因此，做好相機(jī)標(biāo)定是做好后續(xù)工作的前提。相機(jī)標(biāo)定方法有：傳統(tǒng)相機(jī)標(biāo)定法、主動(dòng)視覺(jué)相機(jī)標(biāo)定方法、相機(jī)自標(biāo)定法。
此外，多目相機(jī)掃場(chǎng)標(biāo)定(Multi-camera Scene Calibration)是一種用于獲取多個(gè)相機(jī)之間以及相機(jī)與世界坐標(biāo)系之間的關(guān)系的過(guò)程。這個(gè)過(guò)程通常涉及到標(biāo)定相機(jī)的內(nèi)部參數(shù)(如焦距、主點(diǎn)位置、畸變系數(shù)等)以及相機(jī)的外部參數(shù)(位置和姿態(tài))。
相機(jī)模型：在多目相機(jī)標(biāo)定中，通常使用針孔相機(jī)模型來(lái)描述相機(jī)的成像過(guò)程。這個(gè)模型包括相機(jī)的內(nèi)部參數(shù)和外部參數(shù)。
內(nèi)部參數(shù)：這些參數(shù)描述了相機(jī)的內(nèi)部屬性，如焦距、主點(diǎn)位置、畸變系數(shù)(徑向和切向畸變)等。內(nèi)部參數(shù)通常在相機(jī)制造商的規(guī)格表中提供，但為了更準(zhǔn)確的標(biāo)定，可以使用標(biāo)定板或校準(zhǔn)目標(biāo)來(lái)測(cè)量它們。
外部參數(shù)：這些參數(shù)描述了相機(jī)在世界坐標(biāo)系中的位置和姿態(tài)。它們包括相機(jī)的位置(三維坐標(biāo))以及相機(jī)的方向(通常使用歐拉角或四元數(shù)表示)。
標(biāo)定目標(biāo)：在多目相機(jī)標(biāo)定中，通常需要使用一個(gè)或多個(gè)標(biāo)定目標(biāo)，如一維標(biāo)定桿、標(biāo)定板或標(biāo)定棋盤。這些標(biāo)定目標(biāo)上通常有已知的特征點(diǎn)，例如角點(diǎn)。這些特征點(diǎn)在世界坐標(biāo)系中的位置是已知的，并且可以被用來(lái)計(jì)算相機(jī)的外部參數(shù)。通過(guò)以下相機(jī)成像模型和坐標(biāo)系轉(zhuǎn)換等原理進(jìn)行單目相機(jī)標(biāo)定，并通過(guò)基于一維標(biāo)定物的多攝像機(jī)標(biāo)定方法進(jìn)行多相機(jī)統(tǒng)一標(biāo)定。
針孔成像模型：在計(jì)算機(jī)視覺(jué)這一學(xué)科領(lǐng)域的研究中，成像模型是指三維立體場(chǎng)景中的目標(biāo)物體投影至像平面的成像關(guān)系，攝相機(jī)的成像模型是一種簡(jiǎn)化的光學(xué)成像模型，目前為止已有線性和非線性兩種成像模型。針孔成像模型是一種基本成像模型，通常也稱作線性模型，主要由光心、投影中心、成像面和光軸組成。實(shí)際的攝像系統(tǒng)通常都由透鏡或透鏡組構(gòu)成，平行于主光軸的光線穿過(guò)透鏡時(shí)，會(huì)聚到焦點(diǎn)上，焦點(diǎn)到透鏡中心的距離即為焦距f，相機(jī)的鏡頭相當(dāng)于凸透鏡，感光元件就在這個(gè)凸透鏡的焦點(diǎn)附近，將焦距近似為透鏡中心到感光元件的距離就成為針孔成像模型，如圖4所示。
圖4 針孔成像模型示意圖
坐標(biāo)系轉(zhuǎn)換關(guān)系：攝相機(jī)標(biāo)定過(guò)程涉及到世界坐標(biāo)系、相機(jī)坐標(biāo)系、成像面坐標(biāo)系以及像素坐標(biāo)系之間的關(guān)系。
(3)靶球位置檢測(cè)以及目標(biāo)位姿計(jì)算
視覺(jué)引導(dǎo)機(jī)器人定位對(duì)接系統(tǒng)中，目標(biāo)檢測(cè)部分是關(guān)鍵的技術(shù)組成部分之一，它使機(jī)器人能夠識(shí)別和定位目標(biāo)物體，以便安全、精確地對(duì)接、導(dǎo)航或操作。目標(biāo)檢測(cè)是旨在從圖像或視頻中識(shí)別和定位特定對(duì)象的技術(shù)方法。位姿檢測(cè)是實(shí)現(xiàn)對(duì)接目標(biāo)位置與姿態(tài)檢測(cè)的一個(gè)重要任務(wù)，它涉及到相機(jī)視覺(jué)系統(tǒng)、圖像處理、坐標(biāo)系轉(zhuǎn)換等多個(gè)原理和步驟。
雙目視覺(jué)的工作原理來(lái)源于人類的雙目視覺(jué)系統(tǒng)，也就是說(shuō)從不同的視角通過(guò)兩個(gè)相同的相機(jī)捕獲同一個(gè)位置下的左右兩側(cè)圖像，然后再利用三角測(cè)量原理獲取物體的深度信息，通過(guò)這些深度信息重建出物體的三維模型。多目視覺(jué)是雙目視覺(jué)的一種延伸，它是在雙目視覺(jué)的基礎(chǔ)上，增加一臺(tái)或者多臺(tái)攝像機(jī)作為輔助進(jìn)行測(cè)量，從而獲得不同角度下同一物體的多對(duì)圖像。
多目視覺(jué)法不需要人為地對(duì)相關(guān)輻射源進(jìn)行設(shè)置，能夠在不接觸的情況下進(jìn)行自動(dòng)在線檢測(cè)。這種方法的優(yōu)點(diǎn)是可以減少測(cè)量中的盲區(qū)，獲得更大的視野范圍，更高的識(shí)別精度;此外，該方法還能解決雙目視覺(jué)中的誤匹配現(xiàn)象，能夠適應(yīng)各種場(chǎng)景。目前，多目視覺(jué)法在車輛自主駕駛、機(jī)器人視覺(jué)、多自由度機(jī)械裝置控制等很多領(lǐng)域獲得了廣泛的應(yīng)用。
4)視差原理：
視差法是進(jìn)行深度計(jì)算、三維測(cè)量和三維重建的關(guān)鍵方法，通過(guò)計(jì)算不同攝相機(jī)抓取的二維圖像對(duì)應(yīng)點(diǎn)位間的視差，并根據(jù)視差法數(shù)學(xué)模型求解深度信息，進(jìn)而可以實(shí)現(xiàn)三維測(cè)量的目的，由此即可根據(jù)三維測(cè)量獲得目標(biāo)點(diǎn)的三維坐標(biāo)信息并進(jìn)行三維模型重建。視差是指同一物體在不同視角下產(chǎn)生的像素位移。在雙目視覺(jué)或多目立體視覺(jué)系統(tǒng)中，當(dāng)相機(jī)位于不同位置觀察同一場(chǎng)景時(shí)，同一物體在不同圖像中的位置差異就是視差。這個(gè)差異可以用來(lái)估計(jì)物體的深度信息。視差的大小與物體距離相機(jī)系統(tǒng)的遠(yuǎn)近有關(guān)，距離越遠(yuǎn)，視差越小，距離越近，視差越大。
視差法的第一步是計(jì)算視差圖。它是一幅灰度圖像，每個(gè)像素的灰度值表示該像素處的視差大小。視差圖中的每個(gè)像素都對(duì)應(yīng)于左圖像和右圖像中的一個(gè)匹配點(diǎn)。視差圖的生成通常涉及計(jì)算左圖像中的每個(gè)像素與右圖像中可能的匹配點(diǎn)之間的匹配代價(jià)。常用的匹配代價(jià)度量包括絕對(duì)差異、平方差異、歸一化互相關(guān)等。目標(biāo)是找到在右圖像中與左圖像中每個(gè)像素最匹配的點(diǎn)。在計(jì)算視差圖時(shí)，需要確定搜索策略，即確定每個(gè)像素在右圖像中搜索匹配點(diǎn)的范圍。通常使用的方法是在左圖像中確定一個(gè)搜索窗口，然后在右圖像中在一定范圍內(nèi)搜索匹配點(diǎn)。一旦得到視差圖，可以將視差值轉(zhuǎn)換為深度值。這通常涉及使用相機(jī)參數(shù)和基線長(zhǎng)度等信息來(lái)執(zhí)行逆三角測(cè)量。較大的視差對(duì)應(yīng)于較近的物體，較小的視差對(duì)應(yīng)于較遠(yuǎn)的物體。將深度值從視差圖轉(zhuǎn)換為深度地圖，其中每個(gè)像素的深度值表示物體在空間中的距離。深度地圖可以用于三維重建和物體識(shí)別。
5)圖像預(yù)處理與特征點(diǎn)提?。?/b>
圖像預(yù)處理和特征點(diǎn)提取是本系統(tǒng)中的兩個(gè)重要步驟，目的是為了更好地分析圖像并從中提取靶球信息。預(yù)處理過(guò)程主要包括圖像濾波降噪、閾值分割以及形態(tài)學(xué)處理等操作。通過(guò)圖像預(yù)處理過(guò)程，可以實(shí)現(xiàn)降低數(shù)據(jù)復(fù)雜性，原始圖像可能包含大量的信息，包括噪聲和不相關(guān)的細(xì)節(jié)。圖像預(yù)處理有助于去除這些不必要的信息，從而降低數(shù)據(jù)的復(fù)雜性，使后續(xù)處理更加高效。同時(shí)可以消除圖像噪聲，圖像通常受到各種類型的噪聲干擾，如電子噪聲、模糊和偽影。預(yù)處理步驟，如平滑和濾波，有助于減少或去除噪聲，提高圖像質(zhì)量，并增強(qiáng)圖像關(guān)鍵信息，有時(shí)圖像中的靶球關(guān)鍵信息可能不夠明顯，或者受到光照變化的影響。圖像預(yù)處理可以通過(guò)增強(qiáng)特定特征或區(qū)域，使其更容易檢測(cè)和分析。
特征點(diǎn)提取的目的則為定位二維圖像中三個(gè)放反光標(biāo)記點(diǎn)的二維位置坐標(biāo)信息。通過(guò)輪廓提取、邊緣檢測(cè)以及亞像素中心點(diǎn)提取等操作步驟，獲取靶球二維位置信息，以供后續(xù)特征點(diǎn)匹配并計(jì)算靶標(biāo)空間位姿信息使用。
6)特征點(diǎn)匹配與空間位姿計(jì)算：
在不同相機(jī)采集的圖像中，進(jìn)行特征點(diǎn)的匹配。通過(guò)以下方法中的一種可以實(shí)現(xiàn)匹配。基于描述子的匹配：對(duì)每個(gè)特征點(diǎn)計(jì)算描述子，然后使用描述子之間的距離度量(如歐氏距離)來(lái)匹配特征點(diǎn)?；谧罱彛簩?duì)于每個(gè)特征點(diǎn)，在另一個(gè)圖像中找到最接近的特征點(diǎn)作為匹配點(diǎn)?？梢允褂胟最近鄰算法(k-NN)來(lái)實(shí)現(xiàn)?；赗ANSAC的匹配：使用RANSAC(隨機(jī)采樣一致性)算法來(lái)估計(jì)兩個(gè)圖像之間的變換矩陣，以過(guò)濾掉錯(cuò)誤的匹配點(diǎn)。本系統(tǒng)采用基于RANSAC的匹配，效率及準(zhǔn)確率更高。完成基匹配過(guò)程后，通過(guò)以下方法確定匹配。閾值篩選：根據(jù)特征點(diǎn)之間的距離或相似性分?jǐn)?shù)設(shè)置一個(gè)閾值，篩選掉不滿足條件的匹配。幾何驗(yàn)證：使用幾何變換關(guān)系，如基礎(chǔ)矩陣或本質(zhì)矩陣，對(duì)匹配進(jìn)行驗(yàn)證，并排除不符合幾何約束的匹配點(diǎn)。本系統(tǒng)根據(jù)靶球設(shè)置安裝的空間距離信息進(jìn)行匹配篩選，如圖12所示，最終確定匹配關(guān)系。
最后，一旦確定了匹配的特征點(diǎn)，即可以使用三角測(cè)量、視差原理等重建標(biāo)記球的三維信息，包括其在世界坐標(biāo)系中的位置。圖像處理操作均通過(guò)使用OpenCV計(jì)算機(jī)視覺(jué)庫(kù)以及機(jī)器學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)。
在線咨詢 
