TWI320847B - Systems and methods for object dimension estimation - Google Patents

Description

1320847 九、發明說明： 【發明所屬之技術領域】 尤其係關於獲得影像 本發明係關於測量系統及方法， 内物體尺寸之系統及方法。

【先前技術J

隨著科技演進以及社會安全需求的増加 成受歡迎的研究主題並且可用於許多應用情況U忿 系統需要在許纽置上絲許錢輯额 ;ς 視訊影像透過纜線或網路傳輸至儲存媒體。若 内= 意外或，則稍後可查閱已記錄的視訊；像供進 -步分析。因為視訊影像賴識通常依賴人 以讓監視系統提供事先以及/或預防警示。因此 1 系統自動分析的發展吸引許多人的注意。 °

近年來，運用視覺技術獲得幾何資訊已廣為應用。1 應用的範例包含建築與室内測量、畫作内物體重^、廣^ 測量以及交通意外調查。針對範例，該技術可用於利^ 高以及自定目標分析來區分景物内的人。_種獲得物體尺 寸的方法例如在監視場景内某處放置—或多支^，如此稍 後可參照這些尺來評估物體尺寸。其他方式是使用電腦分 析擷取的可見資訊，在離線狀態下獲得物體尺寸，這樣g 時候比較精確、有彈性以及有效率。 目前有許多從影像中測量物體的計算技術，例如： Criminisi等人所提出一種從單一透視影像中計算物體測量 值的方法’此由 A. Criminisi 與 A· Zisserman 於 1999 年 9 月在希臘Kekym舉行的Computer Vision國際會議中的 57^/e W—me的/〇鈥第434-442頁内所提出。假設可從影 像中決定場景中參考平面的消失線以及參考方向中的消^ 5 1320847 點，根據消失線與點，與參考平面平行的任何平面間之距 ，、廷些平©上的面積與長度_以及攝影機位 鼻。 ηί他ίί為使用攝影機與3D場景之間的直線轉換獲 付參數，接者可用於計算物體尺寸，此為A B〇vyrh^〇 κ

Rodyushkin於正ΕΕ 2005中仇麵伽咖丹邊論“

Roads Estmmtwn far Advanced Video Surveillarwe Systems 第219-223頁内所提出。Wang等人提出先透過參考空間平 面及其虛擬消失點的對應來獲得攝影機投射矩陣，然後使 用該矩，以及某些可變場景限制擷取場景的幾何實體，像 是物體高度以及從點到線的距離，這由G Wang、z Hu、 F. Wu 以及 H. Tsui 於 2005 年在 Image Vision computing， Elsevier ΒΛί 的 Single View Metrology From Scene 中所提出。在其他方式中，物體尺寸由透過兩 未測定影像之間關係所獲得的參數來計算，這由z chen、 N. Pears 以及 Β· Liang 於 2006 年在 Pattern Recognition Letters，Elsevier B.V 的 j

Uncaiibrated Images 中所提出。 6 【發明内容】 尺寸的方法x。該影像㈣標物體 標、接收該影像内具有一3已接知收尺許多特徵點的座 標、執行-校正來調整至少該特徵點之二體之座 來增加決定參考物體尺寸二一個特徵點的座標 方法彡像__尺寸的 ^根據對應至該特徵點的^ 座“、接收對應至該影像内且有 Μ卞失，的 ，的該座標來決ί;應】 消失上哕目像内該目標物體的座標並根據該 來增加=====對應至特徵點的座標 尺寸=ίί發ΐί3範例提供一種獲得影像内目標物體 校正梦署，，/、中该參考物體的尺寸係已知，以及一 至今接收對應至該特徵點的該座標以及對應 =標’以及用於調整對應該特徵點的該 時的精心寺徵點的座標來增加決定參考物體尺寸 是示ί人!=限以說明以及下列詳細說明都僅 應至特徵點fl-f6並且透過滑鼠概 軚竺供竺物體尺寸估測系統的準確度。瓦和瓦、弭、漂 及f'f2和Μ的延伸線會導致三個消失點。利用連接盘二二‘ 5于ΐ 兩個消失點可建立消失線。在已經物體 j或尺寸，像是圖4上所示的參考立方塊撕或 6 =況下，物體406、404的頂端與底部座標q 及 尺寸可提供給本發明的物體尺寸估_絲完成步 請回頭參閱圖3，步驟3〇4執行最佳空間校正 計J座，位置的手動選擇或自動谓測誤差影響到消失點的 1牿料=終影響到物體尺寸估測。步驟3G2上所識別對應 者私S點的座標可考慮當成要調整的初始參數。利用盥參 實際尺寸做比較使用目標函數’來評估根“始 参數叶算的物體尺寸估測。 ‘以圖4上的立方塊404當成範例。立方塊4〇4可 、個，徵點A-fg的座標，集中表示為χ={(μ=ι，2，.··6}㈣/。、 每一特徵點fi都具有座標，力y)，六個特徵點就可提 沒十二個色數二根據這十七個^1，就可根據直線祝和 詉佥ί線沾和ίΛ以及直線队和认計算出三個消失點。從 ^ ^考平面平行的直線中獲得的兩消失點可建立一條消失 ^里。根據消失線與第三消失點，可獲得圖2C上顯示的交 離。根據等式(2)，攝影機中心218與地平面2〇〇的距 雕可計算如下： — ^x^,c)xrf(f4,v,) rf(f3’CXf4’V3)-<i(f4，C)Xii(f3，V3) (3) 假設已知高度的參考物體數量為N，集中表示為 仏7’〜)1”1，2, ，則X的目標函數為： 1320847 ⑷ 南度 其中ζ』為根據下列等式計算出來的第j個參考物體之 A = Zc 1- </(q；.,c)x^(q7.,v3) rf(qpc)x(%;.，v3) 7=1,2,...Μ (5) 為了找尋x={f，卜=1’2，···6丨s5R12的最佳參數集，將第k個 參數fk設定在[# - δ^Λ0 + δ/t]的範圍之間，其中心為找尋 空間並且k= 1，2, 3, ...12。運用電腦模擬，像是基因演算 法、退火演算法、禁制搜尋法或粒子群體最佳化法，候選 參數抽象呈現的數量發展成更佳的參數集，如此參考物體 的估測尺寸會更接近其實際尺寸。D. E. Goldberg於1989 年發表於 Genetic Algorithms in Search Optimization and 厶從⑺/叹，Addison-Wesley，Reading MA 中、D. T. Pham 和 D. Karaboga 於 2000 年發表於 咖 Optimisation Techniques: Genetic Algorithms, Tabu Search, Simulated Annealing and Neural Networks » New York* Springer-Verlag 中以及 M. Clerc 於 2006 年發表於 51而m ’ Hermes Science Pubns中，在此都分 ，關於基因演算法、退火演算法、禁制搜尋法或粒子群& 最佳化法而併入本發明。 請回頭參閱圖3，在步驟304的最佳空間校正之後， 在提供對應至影像内特定物體的頂端與底部座標之下，可 進行相同影像内任何物體上的物體尺寸估測。在步驟 上，對應至要測量的物體之座標會透過使用者輪 所選物體座標的自動偵測提供給系統。在步 ^ ^ 據上列等式(2)可獲得物體尺寸。 娜⑽上’根 圖5說明步驟306和308的示範範例。快 擷取一系列視訊資料500的訊框，以獲得特定影像。二^ 11 1320847 體上使用者可透過滑鼠或鍵盤選擇要 尺寸仕、制體f 、底指°然後根據上列等式(2)獲得物體 物體的η:依賴物體分割技術508偵測所要測量 底部座椤在區域，藉此利用電腦分析取得該區域的頂端與 斗、、Βι^6和圖7為構成本發明的範湖用於制物體尺寸 μ方法之範例場景說明。在此範例中，使用

Logitech

Qu= am Sphere數位視訊攝影機以及cCD Pulis p265〇視 訊攝影機含影像#|取+ WinnGV Videum 1GGG+來進行實 =。兩支攝影機的影像解析度都為64〇 χ 48〇像素。範例 ^用基因演算法進行最佳空間校正。搜尋空間設定為心= ^戈次數設定為5000。群體的大小Νραρ為20。選擇率 ^叹定為0.2、交配率pe為0·8並且突變率pm設定為〇」。 使用尺寸為275 mm的立方塊當成參考方塊。

在第一範例中，數位視訊攝影機匕擷取如圖6所示的 場景。攝影機的實際高度為80〇 mm。立方塊可提供六個 ，，點，並且圖6内垂直晝出的三個特徵點ρι、p2和p3。 饭设原點的座標為(〇, 〇)，則影像上每一點的座標為p ^ (3 65, U5)、P2(345, 140)、P3(370, 125)、P4(75, 90)、QK380, 250)、 Q2(315, 170)、Q3(41〇, 135)、Q4(285, 120)。下列表 1 顯示 根據特徵點最佳座標獲得的物體尺寸估測結果。 表1 a a Qs q4 實際高度(mm) 300 300 300 300 像素數目(像素） 83 109 88 129 轉換比例〇11111/像素丨 --- 3.61 2.75 3.41 2.33 估測高度(mm) *—--- 305.21 308.60 302.42 308.67 12 1320847 誤差率(％) 1_74 2.87 0.81 2.89 其中像素表示影像上爹考物體佔用的像素、轉換比例 為（實際尚度/像素數目）並且誤差率為（|估測高度一_^際古 度|/實際高度）。 在第二範例中，使用CCD攝影機P4擷取場景，類似 於圖7内所顯示。在此範例中攝影機的實際高度'為2,65〇 mm。假設原點的座標為(0, 0)，則影像上每一點的座^為 PK505, 260)、P2(475, 230)、P3(495, 21〇)、P4(30, 220),(^75 320)、Q2(635, 320)、Q3(840, 320)、Q4(ll7〇, 290)、q5(67〇: 185)、Q6(755, 170)、Q7(755, 100)。下列表 2 顯示根據特徵 點最佳座標獲得的物體尺寸估測結果。 表2

Qi Q2 a a a 06 實際高度(mm) 750 750 像素數目(像素） in 750 Q? 750 250 750 750 86 70 58 30 81 81 職⑽ 8.33 9.26 9.26 估測高度㈣ 750.08 750.34 743.52 754.92 257.86 759.71 751.03 誤差率(％) 0.01 0.05 0.86 0.66 3.14 1,29 0.14 内物和表2，本發明可提供高精確度的影像 行變應㈣解可對上述各項具體實施例進 本發明並 其廣義之發明性概念。因此，應瞭解 所載各本揭之特定具體實施例，而係為涵蓋如後 所載各4項所定義之本發明精神及範圍⑽改變。 1320847 【圖式簡單說明】 _當併同各隨附圖式而閱覽時，即可更佳瞭解本發明之 前揭摘要域上文詳細㈣。為達本發明之綱目的，各 f式表圖繪有現屬較佳之各具體實施例。然應瞭解本發明 並不限於所繪之精確排置方式及設備裝置。 在各圖式中：

.圖1為用於說明構成本發明的一項應用之範例場景圖 圖2A-2C為用於說明某些幾何原理的圖式； 法構成本發明的範例内用於物體尺寸估測的方 圖4為場景的範例說明。 圖5為用於說明構成本發明的影像處理技術之範例方 、、*· + ί ^為構成本發明的範例内用於應用物體尺寸估測方 法之場景說明；以及

構成本發明的範例内用於應用物體尺—估測方 /ίΓ <場景說明〇 【主要元件符號說明】 1〇〇 102 104 106 108 110 一般視訊CCD監視攝影機 數位視訊攝影機 地平面 電腦 人 車輛 14 1141320847

112 200 202 210 212 214 216 218 220 222 230 400 402 404 406 408 500 502 504 506 508 樹 房屋 地平面 平行線 2D影像平面 一致的直線 消失點 消失線 攝影機中心 平面 參考方向 平面 影像 地平面 立方塊 參考物體 滑鼠 視訊資料 快照 測試點手動選擇 高度估測 物體分割 測試點自動選擇 15 510

Claims (1)

1. 2. 3. 4. 5. 6. 8. 、申請專利範圍： 〜種獲得—影像内—目標 接收該影像内許多特徵點的座標.法，該方法包含： 座標接收鄉像叫有—已知尺寸紅少_參考物體之 執行一校正來調整至少兮特料赴* :調整至少該特徵點之ι:;η-的該座標’其 體尺寸時_確度；以及彡餘切加決定該參考物 該座標並根據該特徵點的 算:iC第1項之方法’其中該校正由最佳化演 ⑽法其=，包 群體最佳化社-。 Μ τ賴#法Μ及粒子 該座標二項座%方。法’另包含根據該特徵點的 尺4寸項之方法’另包含根據該消失點來 範圍第4項之方法’另包含接收該影像内該 寸『物體的座標，並根據該消失點決定該目標物體的尺 利範圍第1項之方法’其中根據該影像内使用 埯擇的對應點來識別該特徵點以及該參考物體的該座 牙示0 二申2專利範圍第！項之方法，其中根據自動來識 別该特徵點以及該參考物體的該座標。 一種獲得-影像内-目標物體尺寸之方法，該方法包含： 9. 1JZU54/ 2對應域影像内許多特徵點的座標； 的座J ;對應至雜徵點的該座標來決定對應至消失點 物體彡軸具有—已知尺寸縣少-參考 物體肖失點的該座標來決定對應至該參考 定該目標^體目‘物體的座標並根據該消失點決 mg範圍第9項之方法，其中該校正由最佳化演 11 ·如申5月專利範圍第]〇馆夕古、土 含至少基因演算法’其中該最佳化演算法包 群體最佳化法之i n#法、禁難尋法以及粒子 12. ^申請專利範圍第9項之方法， 13 =應;該特徵點以及該參考^^者選擇 14. 一種獲像内—目標物體尺寸之系統，該系統包含： ，標，點 標，料該參考物體的尺寸係已知至ς及參考物體的座 以及；其用於接收對應至該特徵點的該座標 及對應至該參考物體的該座標，以及用於調整對= 17 1320847 特徵點的該座標，其中調整對應至該特徵點的該座標來 增加決定該參考物體尺寸時的精確度。 15. 如申請專利範圍第14項之系統，其中該第一裝置為一使 用者輸入裝置。 16. 如申請專利範圍第14項之系統，其中該第一裝置為一自 動偵測裝置。 17. 如申請專利範圍第14項之系統，其中該校正裝置執行最 佳化演算法。 18. 如申請專利範圍第17項之系統，其中該最佳化演算法包 含至少基因演算法、退火演算法、禁制搜尋法以及粒子 群體最佳化法之一。 19. 如申請專利範圍第14項之系統，另包含一第二裝置，其 用於接收對應至該特徵點的該座標並產生消失點的座 標。 18