TWI816166B - 偵測物件深度和水平距離的方法及系統 - Google Patents
偵測物件深度和水平距離的方法及系統 Download PDFInfo
- Publication number
- TWI816166B TWI816166B TW110130093A TW110130093A TWI816166B TW I816166 B TWI816166 B TW I816166B TW 110130093 A TW110130093 A TW 110130093A TW 110130093 A TW110130093 A TW 110130093A TW I816166 B TWI816166 B TW I816166B
- Authority
- TW
- Taiwan
- Prior art keywords
- depth
- horizontal distance
- image
- coordinates
- reference plate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
一種偵測物件深度和水平距離的方法,由一電腦裝置記錄一參考板影像中的多個參考點的一參考座標、一參考深度及一參考水平距離,該參考板影像是由固定高度和角度的一攝影裝置拍攝平放在一平面上的參考板而獲得,該攝影裝置拍攝放置於該平面上的一物件而獲得一待辨識影像,該電腦裝置辨識該待辨識影像中的該物件而獲得該物件在該待辨識影像中的一座標;該電腦裝置根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的一深度及一水平距離。
Description
本發明是有關於一種偵測物件深度和水平距離的方法,特別是指一種僅需使用單一個彩色或灰階攝影鏡頭裝置即能偵測物件深度和水平距離的方法。
傳統透過RGB彩色相機擷取的2D平面影像雖可被用以進行影像辨識,但2D平面影像無法呈現影像中物件的深度;而目前積極發展的3D感測技術除了能進行影像辨識,還可擷取影像中目標物的深度資訊,不僅提高辨識的精準度,應用也更加廣泛。
現有3D感測技術主要有立體視覺(Stereo Vision)、結構光(Structured Light)與飛時測距(Time of Flight;簡稱:TOF)三種,其中立體視覺是基於人眼視差的原理,在自然光源下,透過兩個或兩個以上鏡頭模組從不同的角度對同一物體拍攝影像,再藉由三角測量法等運算來取得與物體之間的距離資訊(深度);結構光是一種主動式深度感測技術,其原理是由紅外線(IR)發射器先對物體發射特定圖案的光斑(Pattern),再經由紅外線相機來接收物體表面上的光斑圖案編碼(Light Coding),然後比對光斑圖案
編碼與原始投射光斑的異同,並利用三角原理計算出物體的三維座標,以獲得與物體之間的距離資訊(深度);飛時測距也是一種主動式深度感測技術,其原理為利用紅外光發射器發射出紅外光,使紅外光照射到物體表面並反射回來,再利用一個紅外線相機(紅外光影像感測器)感測物體不同深度的位置反射回來的紅外光的時間,即可透過紅外線折返的時間計算得到與物體之間的距離(深度)。但上述三種3D感測技術不是需要使用兩個或兩個以上的鏡頭模組,就是需要紅外線發射器搭配紅外線相機或RGB相機等,需要較多光學感測裝置的支援,不但提高硬體設備成本,而且都只能獲得深度圖,且無法獲得與物件之間的水平距離,並且無法得知深度圖中的每一個深度資訊所對應的物件是什麼。因此,若需要得知影像中各物件實際上是什麼以及其對應的深度,則需要另外結合利用人工智慧(AI)的物件辨識功能,然而利用人工智慧做物件辨識所需要的影像可能跟用以產生深度圖的影像不一樣,因此需要再額外設置攝影機拍攝供物件辨識所需的影像,且提供給人工智慧做物件辨識的影像和產生深度圖的影像需要進行同步,才能讓深度和辨識出的物件相對應。
因此,本發明之目的,即在提供一種偵測物件深度和水平距離的方法和系統,其僅需使用具有單鏡頭的一個彩色或灰階攝
影裝置拍攝影像,不需搭配其它光學感測裝置即能對影像進行物件辨識及同時偵測物件的深度和水平距離,並且節省硬體設備成本。
於是,本發明一種偵測物件深度和水平距離的方法,包括:(A)一電腦裝置記錄一參考板影像中的多個參考點的一參考座標、一參考深度及一參考水平距離,其中該參考板影像是由設置在固定的高度和角度的一攝影裝置拍攝平放在一平面上的一參考板而獲得,各該參考座標是該參考板影像中的各該參考點的像素位置,各該參考深度是該參考板中的各該參考點與該攝影裝置的垂直距離,各該參考水平距離是該參考板中的各該參考點與該攝影裝置的水平距離;(B)該攝影裝置拍攝該平面以獲得一待辨識影像,並輸出該待辨識影像至該電腦裝置;(C)該電腦裝置的一影像辨識模組辨識該待辨識影像並發現其中存在一物件時,該影像辨識模組獲得該物件在該待辨識影像中的一座標;及(D)該電腦裝置的一運算模組根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的一深度及一水平距離。
再者,本發明實現上述方法的一種偵測物件深度和水平距離的系統,用以偵測放置在一平面上的一物件的一深度和一水平距離,並包括一攝影裝置及一電腦裝置;該攝影裝置設置在固定的高度和角度以拍攝該平面;該電腦裝置與該攝影裝置電連接並記
錄一參考板影像中的多個參考點的一參考座標、一參考深度及一參考水平距離,其中該參考板影像是該攝影裝置拍攝平放在一平面上的一參考板而獲得,且各該參考座標是該參考板影像中的各該參考點的像素位置,各該參考深度是該參考板中的各該參考點與該攝影裝置的垂直距離,各該參考水平距離是該參考板中的各該參考點與該攝影裝置的水平距離;其中,該攝影裝置拍攝該平面而獲得一待辨識影像,並輸出該待辨識影像至該電腦裝置,該電腦裝置的一影像辨識模組辨識該待辨識影像並發現其中存在一物件時,該影像辨識模組獲得該物件在該待辨識影像中的一座標,且該電腦裝置的一運算模組根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的該深度及該水平距離。
在本發明的一些實施態樣中,在上述步驟(D)中,該物件的該座標位於該參考板影像中與該座標距離較近的四個參考點的該參考座標之間時,該運算模組根據該物件的該座標、該四個參考點的該參考座標、該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
在本發明的一些實施態樣中,在上述步驟(D)中,該物件的該座標位於該參考板影像中的該等參考點之外時,該運算模組根據該物件的該座標以及該參考板影像中與該物件的該座標距離
較近的四個參考點的該參考座標、該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
在本發明的一些實施態樣中,在上述步驟(D)中,該物件的該座標是位於該參考板影像中與該座標距離較近的兩個參考點相連的一直線上時,該運算模組根據該座標與該兩個參考點的該參考座標的距離遠近比例以及該兩個參考點的該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
在本發明的一些實施態樣中,該參考板影像是由該攝影裝置拍攝表面具有一棋盤狀網格的該參考板而獲得,且該參考板影像中的各該參考點是該棋盤狀網格上的各該網格交叉點,且各該參考深度是該參考板表面的該棋盤狀網格上的各該網格交叉點與該攝影裝置的垂直距離,各該參考水平距離是該參考板表面的該棋盤狀網格上的各該網格交叉點與該攝影裝置的水平距離。
在本發明的一些實施態樣中,該參考板影像中各該參考點的該參考座標、該參考深度及該參考水平距離記錄在該電腦裝置的一儲存單元中,該影像辨識模組和該運算模組是軟體、韌體或由軟、硬體共同構成,該影像辨識模組能被該電腦裝置的一處理單元執行而辨識出該待辨識影像中的該物件位置並以一物件框圍繞該物件的邊緣,且以該物件框的一底邊代表該物件底部位置,並以該物件框的該底邊的一中心點做為該物件在該待辨識影像中的該
座標;該運算模組能被該電腦裝置的該處理單元執行,以根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的該深度及該水平距離。
在本發明的一些實施態樣中,該影像辨識模組辨識出該待辨識影像中的該物件位置並以一物件框圍繞該物件的邊緣,且以該待辨識影像的中線為準,取該物件框的一底邊之最靠近該中線的一點做為該物件在該待辨識影像中的該座標。
本發明之功效在於:藉由預先拍攝平放在該平面上的該參考板而獲得該參考板影像,以預先獲得並記錄該參考板影像中每一個參考點的該參考座標以及該參考板中每一個參考點的該參考深度和該參考水平距離在該電腦裝置中,藉此,當該攝影裝置拍攝該平面而獲得該待辨識影像,且該電腦裝置辨識該待辨識影像而得知影像中存在什麼物件時,該電腦裝置即可根據該物件的座標以及該參考板影像中與該物件的座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的該深度及該水平距離,除了不需其它光學感測裝置的支援,有效減少硬體設備的成本外,還能在辨識物件的同時獲得物件的深度和水平距離資訊。
100:偵測物件深度和水平距離的系統
200:平面
1:攝影裝置
10:鏡頭
2:電腦裝置
21:儲存單元
22:處理單元
221:影像辨識模組
222:運算模組
3:物件
4:參考板影像
41:網格交叉點
5:參考板
50:網格
51:網格交叉點
6:待辨識影像
60:中線
61:物件
62:物件框
621:底邊
6211:點
7:基座
71:輪子
P:中心點
H:水平距離
D:深度
a、b、c、d:網格交叉點
e、f:交會點
S1~S3:步驟
本發明之其他的特徵及功效,將於參照圖式的實施方式中清楚地顯示,其中:圖1是本發明偵測物件深度和水平距離的方法的一實施例的主要流程步驟;圖2是本發明偵測物件深度和水平距離的系統的一實施例包括的硬體裝置及模組方塊的示意圖;圖3是本實施例的一參考板影像簡化後的示意圖;圖4是本實施例的一參考板影像的示意圖;圖5是本實施例放置在一平面上的示意圖,其中顯示一表面具有棋盤狀網格的參考板平放在該平面上;圖6說明本實施例對一待辨識影像進行影像辨識的過程;圖7說明本實施例決定影像中之物件座標的另一種方法;圖8說明圖6(c)所示的待辨識影像中的物件的座標P位於參考板影像中與座標P距離較近的四個網格交叉點之間;圖9說明本實施例根據圖7所示的座標P以及與座標P距離較近的四個網格交叉點的參考座標、參考深度及參考水平距離計算物件的深度和水平距離;及圖10說明本實施例根據物件的座標P以及與座標P距離較近的四個網格交叉點的參考座標、參考深度及參考水平距離計算物件的深度和水平距離。
在本發明被詳細描述之前,應當注意在以下的說明內容中,類似的元件是以相同的編號來表示。
參閱圖1所示,是本發明偵測物件深度和水平距離的方法的一實施例的主要流程,且本實施例是由圖2所示的偵測物件深度和水平距離的系統100來執行及實現,該系統100主要包括設置在一基座7上的一攝影裝置1及一電腦裝置2,該基座7放置在一平面200上且與該平面200距離一定高度,因此,該攝影裝置1也與該平面200距離一固定的高度且具有固定的拍攝角度;此外,該基座7可以是固定在該平面200上,或者如圖2所示,該基座7也可以裝設輪子71而在該平面200上任意移動。該攝影裝置1可以是一般常見的彩色或灰階攝影機而具有一攝影鏡頭10。
該電腦裝置2可以是但不限於一微電腦或一微控制器,其主要但不限於包含一儲存單元21及與該儲存單元21電連接的一處理單元22,例如中央處理器或微處理器。且該處理單元22中預先安裝或載入有能被該處理單元22執行的一影像辨識模組221和一運算模組222;該影像辨識模組221和該運算模組222可以是軟體、韌體或由軟、硬體共同構成,且該影像辨識模組221可以是但不限於採用經由人工智慧(例如神經網路或類神經網路)訓練完成的一影像辨識模型,其能辨識出影像中的物件為何,例如瓶罐、
動物、植物、人、車輛等,端看該影像辨識模型的辨識能力而定。
且在本實施例中,如圖2所示,該系統100主要用以辨識放置在該平面200上的一或多個物件以及同時偵測放置在該平面200上的各該物件的一深度及一水平距離;且為方便說明,以下將以辨識放置在該平面200上的一物件3以及同時偵測放置在該平面200上的該物件3的一深度D及一水平距離H為例,該深度D是指該物件3與該攝影裝置1的垂直距離,該水平距離H是指該物件3與該攝影裝置1的水平距離。
而且,為了能夠偵測該物件3的該深度D及該水平距離H,首先,該電腦裝置2需先取得並記錄如圖3和圖4所示的一參考板影像4中每一個網格交叉點(參考點)41的一參考座標、一參考深度及一參考水平距離在該儲存單元21中。且如圖4和圖5所示,該參考板影像4是由設置在該平面200上的該攝影裝置1拍攝平放在該平面200上且表面具有一棋盤狀網格50的一參考板5而獲得,且該參考板影像4中各該網格交叉點41(參考點)的各該參考座標是各該網格交叉點41在該參考板影像4中的像素位置,且如圖5所示,各該參考深度是該參考板5中各該網格交叉點51(參考點)與該攝影裝置1的垂直距離,各該參考水平距離是該參考板5中各該網格交叉點51(參考點)與該攝影裝置1的水平距離。值得一提的是,該參考板5上棋盤狀網格50的數量、大小以及疏
密程度可以視實際應用時對於偵測距離準確度的需求而適當調整或變化。此外,在其它實施態樣中,該參考板5上可以不具有該棋盤狀網格,亦即不以各該網格交叉點來當作參考點,而是以例如但不限於有序地、以一特定規則刻意安排地或隨機散亂地選擇該參考板影像中的多個分散的點當作參考點,也是可行的一種方式。
藉此,如圖1的步驟S1,當該攝影裝置1拍攝該平面200而獲得如圖6(a)所示的一內含有該物件61影像的待辨識影像6後,該攝影裝置1輸出該待辨識影像6至該電腦裝置2。
接著,當該電腦裝置2收到該待辨識影像6,如圖1的步驟S2,該電腦裝置2的該處理單元22執行該影像辨識模組221以辨識該待辨識影像6,且當該影像辨識模組221發現並辨識出該待辨識影像6中存在該物件61時,該影像辨識模組221獲得該物件61在該待辨識影像6中的一座標,例如圖6(b)所示,該影像辨識模組221可以產生一物件框62圍繞該物件61的邊緣,且以該物件框62的一底邊621代表該物件61底部位置,並以該物件框62的該底邊621的一中心點P代表該物件61所在位置,而以該中心點P的座標(x,y)做為該物件61在該待辨識影像6中的該座標,亦即該中心點P在該待辨識影像6中的像素位置。值得一提的是,該影像辨識模組221獲得該物件61的該座標之方法並不以上述為限,該影像辨識模組221也可以採用已知或其它可能的方法來
獲得該物件的該座標,例如圖7所示,以該待辨識影像6的中線60為準,取該物件框62的底邊621最靠近該中線60的一點做為該物件61在該待辨識影像6中的該座標,因為這一點離該攝影裝置1最近。比如圖7所示,該物件61在該待辨識影像6中是位於該中線60的左邊,則取該底邊621之右端的一點6211做為該物件61在該待辨識影像6中的該座標;反之,若該物件61位於該中線的右邊,則取該底邊621之左端的一點做為該物件61在該待辨識影像6中的該座標。
然後,如圖1的步驟S3,該電腦裝置2的該處理單元22執行該運算模組222,使根據該物件61的座標,即該中心點P的座標(x,y)找出該參考板影像4中與該中心點P的座標(x,y)距離較近的至少一個網格交叉點;例如圖8所示,當找出該中心點P落在該參考板影像4中距離較近的四個網格交叉點a、b、c、d之間時,該運算模組222即可根據該中心點P的座標(x,y)與該四個網格交叉點a、b、c、d的該參考座標、該參考深度及該參考水平距離,利用內插法求得該物件的該深度D及該水平距離H。
以圖9為例,本實施例的該運算模組222可利用(但不限於)例如雙線性內插(插值)法,以一條垂直通過該中心點P並與網格交叉點a、b的連線以及與網格交叉點c、d的連線交會的虛線,得到在網格交叉點a、b的連線上的一交會點e以及在網格交
叉點c、d的連線上的一交會點f;接著,根據交會點e與網格交叉點a、b的距離遠近比例關係,利用線性內插法求得交會點e的該參考座標、該參考深度及該參考水平距離,以及根據交會點f與網格交叉點c、d的距離遠近比例關係,利用線性內插法求得交會點f的該參考座標、該參考深度及該參考水平距離;然後,再根據交會點e、f與該中心點P的距離遠近比例關係,利用線性內插法求得該物件3的該深度D及該水平距離H。
此外,如圖10所示,若該中心點P的座標位於該參考板影像4中的該等網格交叉點之外時,該運算模組222同樣也可根據該中心點P的座標以及該參考板影像4中與該中心點P的座標距離較近的四個網格交叉點的該參考座標、該參考深度及該參考水平距離,利用內插法(例如上述的雙線性內插法)求得該物件3的該深度D及該水平距離H;或者,當該中心點P的座標是位於該參考板影像4中與其距離較近的兩個網格交叉點相連的一直線上時,該運算模組222可根據該中心點P的座標與該兩個網格交叉點的該參考座標的距離遠近比例以及該兩個網格交叉點的該參考深度及該參考水平距離,利用線性內插法求得該物件3的該深度D及該水平距離H。又或者,當該中心點P的座標剛好位於該參考板影像4中的某一個網格交叉點上時,該網格交叉點的該參考深度及該參考水平距離即為該物件3的該深度D及該水平距離H。
綜上說明可知,當該待辨識影像6中存在多個物件時,本實施例藉由該影像辨識模組221可以同時辨識出該些物件並藉由該運算模組222計算出各該物件的該深度D和該水平距離H,因此,本實施例可以應用在例如掃地機器人、無人駕駛車或自動駕駛車等智慧移動載具領域,且當本實施例應用在掃地機器人時,上述的該平面200即為地面,當本實施例應用在無人駕駛車或自動駕駛車等智慧移動載具時,上述的該平面200即為路面。
綜上所述,上述實施例藉由預先拍攝平放在一平面上且表面具有棋盤狀網格50的一參考板5而獲得一參考板影像4,以獲得該參考板影像4中每一個網格交叉點41的該參考座標以及該參考板5中每一個網格交叉點51與該攝影裝置1的該參考深度(垂直距離)以及該參考水平距離,並將該參考板影像4及每一個網格交叉點41的該參考座標、該參考深度和該參考水平距離預存在該電腦裝置2中,藉此,當該攝影裝置1拍攝該平面200而獲得該待辨識影像6,且該電腦裝置2辨識該待辨識影像6得知影像中存在什麼物件(例如該物件61)時,該電腦裝置2即可根據該物件61的座標,以及該參考板影像4中與該物件61的座標距離較近的至少一個網格交叉點的該參考座標、該參考深度及該參考水平距離,求得該物件的該深度及該水平距離,不但不需其它光學感測裝置的支援,有效減少硬體設備的成本,而且能在辨識物件的同時獲得物件的深度和水平距離資
訊,確實達到本發明的功效與目的。
惟以上所述者,僅為本發明之實施例而已,當不能以此限定本發明實施之範圍,凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾,皆仍屬本發明專利涵蓋之範圍內。
S1~S3:步驟
Claims (14)
- 一種偵測物件深度和水平距離的方法,包括:(A)一電腦裝置記錄一參考板影像中的多個參考點的一參考座標、一參考深度及一參考水平距離,其中該參考板影像是由設置在固定的高度和角度的一攝影裝置拍攝平放在一平面上的一參考板而獲得,各該參考座標是該參考板影像中的各該參考點的像素位置,各該參考深度是該參考板中的各該參考點與該攝影裝置的垂直距離,各該參考水平距離是該參考板中的各該參考點與該攝影裝置的水平距離;(B)該攝影裝置拍攝該平面以獲得一待辨識影像,並輸出該待辨識影像至該電腦裝置;(C)該電腦裝置的一影像辨識模組辨識該待辨識影像並發現其中存在一物件時,該影像辨識模組獲得該物件在該待辨識影像中的一座標;及(D)該電腦裝置的一運算模組根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的一深度及一水平距離。
- 如請求項1所述偵測物件深度和水平距離的方法,在步驟(D)中,該物件的該座標位於該參考板影像中與該座標距離較近的四個參考點的該參考座標之間時,該運算模組根據該物件的該座標、該四個參考點的該參考座標、該參 考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
- 如請求項1所述偵測物件深度和水平距離的方法,在步驟(D)中,該物件的該座標位於該參考板影像中的該等參考點之外時,該運算模組根據該物件的該座標以及該參考板影像中與該物件的該座標距離較近的四個參考點的該參考座標、該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
- 如請求項1所述偵測物件深度和水平距離的方法,在步驟(D)中,該物件的該座標是位於該參考板影像中與該座標距離較近的兩個參考點相連的一直線上時,該運算模組根據該座標與該兩個參考點的該參考座標的距離遠近比例以及該兩個參考點的該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
- 如請求項1至4其中任一項所述偵測物件深度和水平距離的方法,其中,該參考板影像是由該攝影裝置拍攝表面具有一棋盤狀網格的該參考板而獲得,且該參考板影像中的各該參考點是該棋盤狀網格上的各個網格交叉點,且各該參考深度是該參考板表面的該棋盤狀網格上的各個網格交叉點與該攝影裝置的垂直距離,各該參考水平距離是該參考板表面的該棋盤狀網格上的各個網格交叉點與該攝影裝置的水平距離。
- 如請求項1所述偵測物件深度和水平距離的方法,其中該影像辨識模組和該運算模組是軟體、韌體或由軟、硬體共 同構成,且該影像辨識模組辨識出該待辨識影像中的該物件位置並以一物件框圍繞該物件的邊緣,且以該物件框的一底邊代表該物件底部位置,並以該物件框的該底邊的一中心點做為該物件在該待辨識影像中的該座標。
- 如請求項1所述偵測物件深度和水平距離的方法,其中該影像辨識模組辨識出該待辨識影像中的該物件位置並以一物件框圍繞該物件的邊緣,且以該待辨識影像的中線為準,取該物件框的一底邊之最靠近該中線的一點做為該物件在該待辨識影像中的該座標。
- 一種偵測物件深度和水平距離的系統,用以偵測放置在一平面上的一物件的一深度和一水平距離,並包括:一攝影裝置,其設置在固定的高度和角度以拍攝該平面;及一電腦裝置,與該攝影裝置電連接並記錄一參考板影像中的多個參考點的一參考座標、一參考深度及一參考水平距離,其中該參考板影像是該攝影裝置拍攝平放在一平面上的一參考板而獲得,且各該參考座標是該參考板影像中的各該參考點的像素位置,各該參考深度是該參考板中的各該參考點與該攝影裝置的垂直距離,各該參考水平距離是該參考板中的各該參考點與該攝影裝置的水平距離;其中該攝影裝置拍攝該平面而獲得一待辨識影像,並輸出該待辨識影像至該電腦裝置,該電腦裝置的一影像辨識模組辨識該待辨識影像並發現其中存在一物件時,該 影像辨識模組獲得該物件在該待辨識影像中的一座標,且該電腦裝置的一運算模組根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的該深度及該水平距離。
- 如請求項8所述偵測物件深度和水平距離的系統,其中該物件的該座標位於該參考板影像中與該座標距離較近的四個參考點的該參考座標之間時,該運算模組根據該物件的該座標、該四個參考點的該參考座標、該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
- 如請求項8所述偵測物件深度和水平距離的系統,其中該物件的該座標位於該參考板影像中的該等參考點之外時,該運算模組根據根據該物件的該座標以及該參考板影像中與該物件的該座標距離較近的四個參考點的該參考座標、該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
- 如請求項8所述偵測物件深度和水平距離的系統,其中該物件的該座標是位於該參考板影像中與該座標距離較近的兩個參考點相連的一直線上時,該運算模組根據該座標與該兩個參考點的該參考座標的距離遠近比例以及該兩個參考點的該參考深度及該參考水平距離,利用內插法求得該物件的該深度及該水平距離。
- 如請求項8至11其中任一項所述偵測物件深度和水平距離的系統,其中,該參考板影像是由該攝影裝置拍攝表面具有一棋盤狀網格的該參考板而獲得,且該參考板影像中的各該參考點是該棋盤狀網格上的各個網格交叉點,且各該參考深度是該參考板表面的該棋盤狀網格上的各個網格交叉點與該攝影裝置的垂直距離,各該參考水平距離是該參考板表面的該棋盤狀網格上的各個網格交叉點與該攝影裝置的水平距離。
- 如請求項8所述偵測物件深度和水平距離的系統,其中該參考板影像中各該參考點的該參考座標、該參考深度及該參考水平距離記錄在該電腦裝置的一儲存單元中,該影像辨識模組和該運算模組是軟體、韌體或由軟、硬體共同構成,該影像辨識模組能被該電腦裝置的一處理單元執行而辨識出該待辨識影像中的該物件位置並以一物件框圍繞該物件的邊緣,且以該物件框的一底邊代表該物件底部位置,並以該物件框的該底邊的一中心點做為該物件在該待辨識影像中的該座標;該運算模組能被該電腦裝置的該處理單元執行,以根據該物件的該座標以及該參考板影像中與該座標距離較近的至少一個參考點的該參考座標、該參考深度及該參考水平距離,求得該物件的該深度及該水平距離。
- 如請求項8所述偵測物件深度和水平距離的系統,其中該影像辨識模組辨識出該待辨識影像中的該物件位置並以一物件框圍繞該物件的邊緣,且以該待辨識影像的中 線為準,取該物件框的一底邊之最靠近該中線的一點做為該物件在該待辨識影像中的該座標。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163177977P | 2021-04-22 | 2021-04-22 | |
US63/177977 | 2021-04-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202242799A TW202242799A (zh) | 2022-11-01 |
TWI816166B true TWI816166B (zh) | 2023-09-21 |
Family
ID=79908925
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110209626U TWM619722U (zh) | 2021-04-22 | 2021-08-16 | 偵測物件深度和水平距離的系統 |
TW110130093A TWI816166B (zh) | 2021-04-22 | 2021-08-16 | 偵測物件深度和水平距離的方法及系統 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110209626U TWM619722U (zh) | 2021-04-22 | 2021-08-16 | 偵測物件深度和水平距離的系統 |
Country Status (1)
Country | Link |
---|---|
TW (2) | TWM619722U (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201251468A (en) * | 2011-06-03 | 2012-12-16 | Sony Corp | Image processing device and image processing method |
CN109146980A (zh) * | 2018-08-12 | 2019-01-04 | 浙江农林大学 | 基于单目视觉的优化的深度提取和被动测距方法 |
CN110455189A (zh) * | 2019-08-26 | 2019-11-15 | 广东博智林机器人有限公司 | 一种大尺寸物料的视觉定位方法和搬运机器人 |
WO2020183710A1 (ja) * | 2019-03-14 | 2020-09-17 | オムロン株式会社 | 画像処理装置及び3次元計測システム |
-
2021
- 2021-08-16 TW TW110209626U patent/TWM619722U/zh unknown
- 2021-08-16 TW TW110130093A patent/TWI816166B/zh active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201251468A (en) * | 2011-06-03 | 2012-12-16 | Sony Corp | Image processing device and image processing method |
CN109146980A (zh) * | 2018-08-12 | 2019-01-04 | 浙江农林大学 | 基于单目视觉的优化的深度提取和被动测距方法 |
WO2020183710A1 (ja) * | 2019-03-14 | 2020-09-17 | オムロン株式会社 | 画像処理装置及び3次元計測システム |
CN110455189A (zh) * | 2019-08-26 | 2019-11-15 | 广东博智林机器人有限公司 | 一种大尺寸物料的视觉定位方法和搬运机器人 |
Also Published As
Publication number | Publication date |
---|---|
TWM619722U (zh) | 2021-11-11 |
TW202242799A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740920B1 (en) | Method and apparatus for combining data to construct a floor plan | |
TWI657408B (zh) | 三維攝像裝置、三維攝像方法及人臉識別方法 | |
US9432655B2 (en) | Three-dimensional scanner based on contours from shadow images | |
CN112013850B (zh) | 定位方法、装置、自移动设备和存储介质 | |
CN112013858B (zh) | 定位方法、装置、自移动设备和存储介质 | |
US20180192032A1 (en) | System, Method and Software for Producing Three-Dimensional Images that Appear to Project Forward of or Vertically Above a Display Medium Using a Virtual 3D Model Made from the Simultaneous Localization and Depth-Mapping of the Physical Features of Real Objects | |
KR20230065978A (ko) | 구조화된 광을 사용하여 장면에서 평면 표면들을 직접 복구하기 위한 시스템, 방법 및 매체 | |
US11282180B1 (en) | Object detection with position, pose, and shape estimation | |
JP2023508501A (ja) | 3次元座標と2次元特徴点との関連付け | |
CN111932675A (zh) | 建立地图的方法、装置、自移动设备和存储介质 | |
CN115342800A (zh) | 一种基于三目视觉传感器的地图构建方法及系统 | |
CN114155349B (zh) | 一种三维建图方法、三维建图装置及机器人 | |
Harvent et al. | Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system | |
WO2020192021A1 (en) | Three-dimensional tracking using hemispherical or spherical visible light-depth images | |
TWI816166B (zh) | 偵測物件深度和水平距離的方法及系統 | |
US11391843B2 (en) | Using time-of-flight techniques for stereoscopic image processing | |
KR102135672B1 (ko) | 자율 주행 장치 및 방법 | |
JPH08329222A (ja) | 3次元位置認識装置 | |
US11688086B2 (en) | Three-dimensional modeling using hemispherical or spherical visible light-depth images | |
Makabe et al. | Shape-coded aruco: Fiducial marker for bridging 2d and 3d modalities | |
Lin et al. | Stereo with coplanar sensor rotation | |
CN113129380A (zh) | 用于评估rgb-d摄像模组标定结果的评估方法、系统及电子设备 | |
Garg et al. | Relative Depth Estimation using a Rotating Camera System | |
Alam | Vision System for Autonomous Robots | |
TW201837857A (zh) | 三維偵測裝置的操作方法 |