TWI355615B - Moving object detection apparatus and method by us - Google Patents

Description

1355615 九、發明說明： * 【發明所屬之技術領域】 本發明係關於一種利用光跡(optical flow)分析之移動 物體偵測(moving obj ect detection)裝置與方法。 【先前技術】 移動物體摘測在自動化監控(surveillance)系統中扮 演相當重要的角色。影像監控系統藉由分析監控晝面内 _ 移動物體轨跡(trajectory)與行為(behavior)，得以债測異常 、 保全事件的發生，並且有效通知安全人員進行處理。 然而，傳統的監控環境大多在監控場景架設多隻固 定式(fixed)攝影機監控，於異常事件發生時，無法提供 動態保安支援。故應用移動式攝影機的觀念逐漸興起， 但在移動式攝影機監控架構下，攝影機的移動可能會造 成整體畫面變換’導致無法直接應用傳統影像式移動物 • 體偵測技術於可疑事件的偵測。 美國專利號6,867,799的文獻裡，揭露了一種備有移 動式攝影機的物件監控方法與裝置（Meth〇d and Apparatus for Object Surveillance with a Movable Camera)。此物件監控裝置包含移動物件偵測、使用者指 定(interest object manual selector)、物件與攝影機相對移 動估算(determine difference)、物件移動預測(predict 5 P〇sition)、與攝影機移動訊號發送(generate moving signal) 等模組。其技術特徵在於建構一個系統，可根據使用者 所指定的移動物件區域，持續移動攝影機，使移動的物 件保持在可視畫面内0 美國專利號5,991,428的文獻裡，揭露一種移動物體 4貞測裝置與方法(Moving Object Detection Apparatus and

Method)。可於移動攝影機畫面内，偵測出前景 (foreground)移動物體。其技術特徵係先將畫面分割為多 個區塊(a plurality of blocks) ’再藉由畫面比對(tempiate matching)與綜合評分(evaiuati〇n㈣v〇ting)機制估計相 鄰時間擷取之攝影機晝面對應區塊的位移向量，根據整 張畫面的多數(dominant)移動向量(moti〇n vect〇r)，決定相 鄰畫面間的一對齊(align)向量，據此對齊向量移動 (shifting)其中一張晝面進行對齊，再進行對齊畫面差異 比對，最後從差異結果分析出移動物體區域(m〇ving area)。 美國專利號5,473,364的文獻裡，揭露了一種從移動 平台中指奥移動物體的視訊技術(vide〇 Technique f〇r

Indicating Moving 〇bjects fr〇m a M⑽ble piatf〇蜂此技 術提供-種在移動平台上搭載(ea_g)兩具攝影機或一 具可移輯影機的移動物體偵測系I其中，此兩具攝 〜機的架《di置或可移動攝影機的移動位置必須與載具 1355615 (vehicle)行進的方向一致。其技術特徵係先將一時間點之 月'J攝影機擷取之影像存入記憶體，當載具行進一小段時 間後，再擷取後攝影機的影像，並將之前記憶體中前攝 影機的影像做對齊後與後攝影機的影像相減。再利用高 斯金字塔建構法(Gaussian pyramid construction)計算區域 能量而偵測出移動物體。 此篇專利文獻中，假設前時間之前攝影機擷取出之 影像與後時間後攝影機擷取出之影像之擷取位置只有些 許差異，對齊後之前影像背景與後影像背景的誤差與只 使用一隻固定於平台之攝影機於兩時間擷取之兩影像經 對齊之誤差比來得小，故相減後可得到較穩定之移動物 體輪廓。 美國專利6J10J22號的文獻裡，揭露了一種感測移 動物體的影像處理裝置與方法以及使用此技術的範圍尋 a ^ (Image Processing Device and Method for Sensing

Moving Objects and Rangefinder Employing the Same) 〇 此 技術可從複雜的背景中偵測出移動物體，其技術特徵係 將攝影機擷取的一連争影像放入記憶體中，把前幾張影 像平均作為背景影像而與目前影像相減得到移動物體， 並利用兩個攝影機及立體視覺的技術而計算出移動物 體的距離。 7 在上述及其他諸多的移動物體_的習知技術中， 影像對齊法和立體視覺光跡追縣是_普通常用的移 動平台_移動物體的方法。如第—圖所示，影像對齊 法是先估計錄(也就是前影像與後影像)的 (—_)對齊參數，並將其中一張影像(如前影像 對齊至另-張影像(如後影像)。然後祕影像相減，求出 其差異處後’再翻出移動物體。此影像對齊技術中， 運度快，並且只需-隻攝影機。然而，得到的只有 物體輪廓上的差異，並Μ場景中的背景物體距離 影機過近時，可能會產生誤差。 如第二圖所示，立體視覺光跡追蹤法是先求取兩張 影像(也狀細__贼崎訊，觀利用深度 資訊去估解纟轉缝，觀料鶴錄和深度資 ^去估㈣背景光跡。然後將賴影像的光跡資訊和此 3景光跡相減’求出其^異處後，再侧出移動物體。 此立體視覺光跡魏技财，誤差小，纽可求得實心 物體。然而，運墓读冷陪 私速魏，並且需衫隻攝職求取深 X貝；’f彡像平滑處也難財娜度資訊。 【發明内容] 體福 tr 月的範例中可提供一種利用光跡分析之移動物 光難m方法。本發明綜合影像封齊法和立體視覺 先跡追料_點，並域由躺償_影機移動所造 成的晝面移動，再搭配相鄰畫面移動向量分析，提供可 應用於移動式或固定式攝影機平台的移動物體偵測技 術。 利用光跡分析之移動物體偵測裝置包含影像擷取模 組(image capturing module)、影像校準模組(image aligning module)、對應像素搜尋模組（pixd啪咖叩⑽此㈣和移 動物體篩選模組(moving 〇bject detection m〇dule) 〇 影像擷取模組在攝影機背景移動或靜止的狀態下，持 續擷取影像，作為此利用光跡分析之移動物體偵測裝置 的輸入元件。影像校準模組根據輸入的相鄰影像，估算 出每兩相鄰畫©的對應關係’據此相鄰畫面的對應關係 估算出此兩相鄰影像的一校準轉換參數，再根據此校準 轉換參數，校準此兩相鄰影像之背景區域，求出一校準 後的前影像。完成前影像的校準後，對應像素搜尋模組 即以像素為單位’追蹤每歸在轉畫關的對應像素 位移向量《最後，移動物體篩選模組整合光跡追蹤產生 的資訊，並判定出移動物體在畫面内的位置。 本發明可將整倾景飾物·^，並且能穩定且正 確地偵測出前景的義物寵域，不易受誠誤差的干 擾。只需-隻攝影機架設在㈣式或固定式攝影機平台 上即可實施本發明》 本發明有多種應用。例如’將本發明建構於智慧型 保全機器人(intelligent security robot)平台，可提供監控系 統動態巡守支援，並根據欲加強的監控區域，交由保全 機器人進行巡邏監控，並於移動物體事件發生時，自動 發出保全警告，提供此智慧型保全機狀_異常移動 物體的能力。 茲配合下列圖示、實施例之詳細說明及申請專利範 圍，將上述及本發明之其他目的與優點詳述於後。 實施方式】 第二圖疋本發明之利用光跡分析之移動物體债測裝 置的一個概要範例示意圖。參考第三圖，此利用光跡分 析之移動物體偵測裝置300包含一影像擷取模組3〇1、 一影像校準模組303、一對應像素搜尋模組3〇5和一移 動物體篩選模組307。 影像擷取模組301持續擷取多個影像，例如，從一 監控場景裡，在一攝影機310移動或靜止的狀態下，來 棟取多個影像。影像榻取模組301作為此利用光跡分析 之移動物體偵測裝置300的輸入元件。影像校準模組3〇3 從輸入的每兩相鄰影像，稱之為前影像3011與後影像 3012 ’求出一校準後的前影像3031。完成此影像校準後， 對應像素搜尋模組305以像素為單位，透過光流(optical flow)追縱’找出後影像3Q12巾各像麵光執跡位移，稱 之為對應像素位移向量細。最後，移動物體篩選模組 307整合後影像3〇12中所有像素的對應像素位移向量 3051，判定出移動物體在畫面内的位置3071。 有了影像操取模組301從不同時間點操取出來的每 兩相鄰影像(前影像3011與後影像3〇12)後，本發明再透 過「影像校準」與「對應像素搜尋」，來達成利用單攝影 機進行「鷄攝韻之轉物體細」。其實施的範例可 透過多階層軸触轉技術和光跡追縱技術來達成。 以下進-步制本發日种影像校準馳3G3、對應像素 搜尋模，组305和移動物體篩選模组3〇7的細部結構和運 作。 第四圖是本發明中，實現影像校準模組 303的一個 範例的示意圖。參考第四圖’影像校準模組3〇3可由影 像對應單元403a、校準參數估計單元4〇3b、和影像變形 校準單兀403c來實現。影像對應單元4〇3a根據輸入的 每兩相鄰的前影像3011與後影像3〇12,先建立兩相鄰畫 面的對應關係。此兩相_畫面的對應關係描述著兩相鄰 晝面之影像對應關係4031 ^根據此兩相鄰畫面的對應關 係4031，校準參數估計單元4〇3b可透過如多階層移動 模組(multi-resolution estimaticm μ parametric mQtkm model)估算技術’估算出一校準轉換參數4〇32。藉由此 11 校準轉換參數4032可估算出一前後影像的變形，使兩相 鄰畫面的差異達到最小》根據此校準轉換參數4〇32，影 像變形校準單元403c可套用一轉換矩陣來完成影像變形 與校準，求出一校準後的前影像3〇31。 多階層移動模組估算技術包括選定運動模型與目標 方程式，以及最佳化求解估算。此技術先利用高斯低通 濾波器建立多階層影像金字塔，再透過增值估算 (incremental estimation)與逐級估算（c〇arse_t〇_fme estimation) ’逼近出相鄰晝面最適當的運動補償參數。 動模型(2D pdynGmial m〇ti〇n model)時’攝織的物參雜畫__可經由矩陣 來表示》在此矩陣表示法下，常數(c〇nstant)、仿射 (affine)、二次方程(quadratic)運動模型皆可使用。不失 -般性，以下使用仿概械型為例，說明本發明如何 實現影像校準。 先使用高斯低通m建立錯層影像金字塔，再 利用多階層最小平方根估算㈣後影像的變形參數a= ’根據a，可利用下列式子求得_像中點 的變形位移(<，〇。 m,w = α, + α2χ( + a3y. » ν*=α4+α5χ(. + α6^. > 12 1355615 其中’矩陣A是由所選的仿射運動模型決定的轉換矩 陣’而(知片)代表一個點的空間影像位置(spatial image position of a point) ° 第五圖是本發明中，實現對應像素搜尋模組3〇5的 一個範例示意圖。參考第五圖，對應像素搜尋模組3〇5 可由像素位移方向判定單元5〇5a和像素位移距離估算單 元505b來實現。當影像校準模組3〇3求出校準後的前影 像3031後’像素位移方向判定單元5〇5a即以像素為單 位’根據後影像3012和校準後的前影像3031，光流追 蹤每像素在兩相鄰畫面間位移方向，稱之為像素位移方 向5051。此像素位移方向5051包括該像素在兩相鄰晝 面間水平與垂直位移方向。像素位移距離估算單元5〇5b 根據每像素位移方向5051，估算出後影像中每像素的光 軌跡位移，即對應像素位移向量3〇5卜對應像素位移向 量3051包含像素點在後影像中水平與垂直方向的移動 速度。 本發明中’對應像素搜尋模組305可透過影像式點 對點(piecewise)光跡追蹤技術，來提供相鄰畫面内以像素 為單位的影像追蹤結果，藉由資料維持(data c〇nversati〇n) 與空間連貫(spatial coherence)的假設，找尋最匹配的相鄰 晝面像素對應點。本發明實現對應像素搜尋模組3〇5的 範例中，將相鄰畫面内以像素為單位的影像追縱結果帶 13 1355615 • a光就職術，並且將下狀:雜轉及空間連貫的 . 公式最她’制後巾各騎點㈣iw位移。以 下進一步說明此資料維持與空間連貫的假設。 i料維持的假設忍指:時間為t的影像内(Ύ)座標 的像素值應該和時間t+i的影像内(Xt +dx，Yt +dy)座標的 •減麟素值姻。此又可稱為常數亮度假設㈣邮· constancy assumption)。這個假設可定義如下： 春 ι(工，少〆）= /〇c+M<Sf，少+v<a，i+改）， _ 其中，（w,v)表示水平與垂直方向的影像移動速度，沒則 是極小的一段時間。而最直接使用常數亮度假設的方法 就是使用最小平方根差值(sum-〇f_SqUared differences， SSD)的方式。換句話說，假設極小時間改内，影像亮度 變化在各像素附近區間内接近於固定常數。藉由最小化 下列式子’即可得到正確的像素水平與垂直方向移動速 度。

{x,y)eR 空間連貫的假設意指：每一像素相鄰區域乃隸屬於 相同表面(surface)。在此假設下’平滑剛性物體(smo〇th rigid object)上的區域影像變化幅度不大，故可經由套用 光滑限制(smooth constraint)在鄰近區域的光跡變化上， 執行空間連貫的假設。這個假設可定義如下： 五水 V) = < + + V】+ V;。 14 藉由方程式^(w，v) =乓，並搭配資料維 持與空間連貫的假設與利用;t定義兩假設的權重比例， 透過最小化演算法，即可逼近出最正確的各像素在水平 與垂直方向的移動速度。 第六圖是本發明中，實現移動物體篩選模組307的 一個範例示意圖。參考第六圖，移動物體篩選模組307 可由位移方向投射轉換單元607a、投射轉換分離值決定 單TO 607b和移動物體單判定單元6〇7c來實現。當對應 像素搜尋模，组305找出後影像中各像素的對應像素位移 向量3051後，位移方向投射轉換單元6〇7a根據此對應 像素位移向量3G5卜求出後影像巾各像素·移向量轉 換值6(m。投射轉換分離值決定單元6〇7b根據後影像 中各像素的轉向I轉換值鑛，求出其標準差α，來 決定出後影像巾各像麵投射分雜6072。根據後影像 中各像素的投射分雜6G72，鶴物鮮概單元6〇7c 就可標示出移動物體在晝面内的位置遍。標示出的移 動物體在畫面_位置點所形成的區域就是移動物體的 前景(foreground)。 本發明中’位移方向投轉換單元嶋可先求出各 像素點y的光跡距離，再以半高斯模型 描述影像巾所魏縣跡雜，也就是娜向量轉換值 607卜然後求出其標準差(standard deviation)a。而移動 15 物體篩選模組307可以下列式子來篩選出移動物體點 若岣 >1_15σ且 f 1〇其他 ’ 其中^min為移動向量最小值，可藉由實驗得知。 綜上可看出’本發明先經由相鄰晝面分析，取得書 面補償參數，用以還原因攝影機移動所造成的背景書面 變換。然後於補償完成的相鄰畫面内，追縱相對應像素 偏移。在對應像素追蹤中，藉由將光跡追蹤產生的資訊 進行整合，可標示出前景的移動區塊，再消除過小的雜 訊，進而偵測移動物體在晝面内的發生區域。 由於本發明將前時間操取的影像經對齊後與後時 間擷取的影像進行像素對應與追蹤，如此不僅可以完整 標示出移動物體全部區域，同時，只有正確移動物體區 域才會產生大範圍的移動結果，非常容易與未完全對齊 的畫面雜訊區別，故不須使用兩隻攝影機來減低誤差， 不僅能降低成本容易安裝，並且能應用於移動式或固定 式攝影機平台之移動物體偵測，換言之，攝影機移動或 靜止的狀態下，皆可應用本發明來偵測移動物體。 不失一般性，以下之第七圖至第十一圖是以攝影機 移動的狀況為例，來進一步說明本發明的實施結果。第 七圖是在攝影機移動的狀況下，使用仿射運動模型，估 16 1355615 算出前後影像的變形參數A的一個範例示意圖。第七圖 中，左圖與右圖分別是攝影機移動的狀況下，所拍攝的 前影像與後影像，其中斜線部分表示該影像之背景區 域。前影像與後影像中的笑臉是該影像之前景移動物 體。因為攝影機的移動，影像中的前景和背景區域在晝 面内都發生移動，所以可看出前影像内的笑臉(smiling face)出現在後影像内的笑臉的右上方，而前影像内的背 景區域的長方形框出現在後影像内的背景區域的長方形 框的右方。藉由計算變形參數A，欲對前後影像的背景 區域作修正對齊。 第八圖是利用第七圖中估算出的變形參數A，將前後 影像之背景對齊的一個範例示意圖。利用影像校準模組 303元成校準後，可看出背景區域的長方形框已對齊在 兩景>像内相同的位置了。如此，可使不同位置擷取的影 像有共同的影像基底。 第九圖疋將第八圖中背景對齊過的前後影像進行光 跡追蹤的一個範例示意圖。畫面内的任一像素y進行光 跡追縱後’㈣x軸與y軸方向的向量，如右圖中所示 的箭職私向量。如此，可找出相__因為前景 移動所造成的未對龍域，藉以標示_動物體區域。 第十圖是_移動物體的-個範㈣意圖。第十 17 圖中，左圖是經過對應像素搜尋模，組305計算後，找出 後影像中各像素的統職移，其巾的魏是位移量大 的光跡追踪區域，其餘是位移量不大的光跡追踪區域。 ^圖中標號1071所指區域是左圖經過移動物體篩選模 、且307分離出之前景移動物體發生區域。 第十-圖說明第十圖中篩選出此移動物體的所使用 式子的-個範例。縱軸p代表高斯翻的機率分配，橫 軸3代表影像中像素點的光跡追蹤距離乂η是設定的 移動向量最小值。 從第七圖至第十—圖的例子巾可清楚看出本發明所 揭露之利狀齡狀軸物體侧裝置與方法的可實 施性與穩定的效果， 本發明所揭露的架構也可應用於智慧型車輛設計， 提供未來車輛自動侧可視範_的移動行人或物體， 減少因為人為疏失誤判所造成的損失。另外，本發明也 可用在4除室外監控攝影機所造成的大畫面震動情形， 應用本發明不會受到震動的雜，而得到的是穩定的監 控畫面，並且是穩定而正確的移動物體偵測結果。 惟，以上所述者，僅為發明之實施範例而已，當不能 依此限疋本發明實施之範圍。即大凡一本發明申請專利 1355615 範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋 之範圍内。

19 【圖式簡單說明】 第一圖係習知的移動物體偵測技術中，影像對齊法的一 個示意圖。 第二圖係習知的移動物體偵測技術中，立體視覺光跡追 縱法的一個概要示意圖。 第三圖是本發明之光跡分析之移動物體偵測裝置的一個 概要範例示意圖。 第四圖是本發明中，實現影像校準模組的一個範例示意 圖。 第五圖是本發明中’實現對應像素搜尋模組的一個範例 示意圖。 第六圖是本發明中，實現移動物體篩選模組的一個範例 示意圖。 第七圖是在攝影機移動的狀況下，使用仿射運動模型， 估算出前後影像的變形參數的一個範例示意圖。 第八圖是利用第七圖中估算出的變形參數將前後影像之 背景對齊的一個範例示意圖。 第九圖是將第八圖中背景對齊過的前後影像進行光跡追 蹤的一個範例示意圖。 第十圖是篩選出移動物體的一個範例示意圖。 第十一圖說明第十圖中篩選出此移動物體的所使用式子 的一個範例。 【主要元件符號說明】 丄 丄：)

-----------------------^ 光跡分析之移動物體 偵測裝豎 3〇1影像擷取模組 Μ景缓^^組 --~ 307 雙楚 3011前影像 3031 像 305對應像素搜尋模組 310攝影機 -—--- 3012後影像 ~---- 3051對應像素位移向詈 書面内的仞筈 -----5門的彳立首 — -——-- 403a影像對應單元 403b校準參數估計單元 403c影像變形枋進單元 --- 4031影像對應關係 4032校準轉換參數 5〇5a像素位移方向判定罝开 ------ 505b像素位移距離估糞星开 5051像素位移方向 -_______ 607a位移方向投射轉換單元 轉換分離值決定單元 607c移動物體單判定單元 6071位移向量轉換值 6072投射分離值 Jmin移動向詈最小信 d、忒光跡距離 尸機率分配 21

Claims (1)

1. Μ 6. 17 年月日修Ji：·本 十、申請專利範圍： L 一種利用光跡分析之移動物體制裝置，該裝置包 含： 一影像掏取模組，持續多個影像； 影像校準模經，從該多個影像的每兩相鄰影像，稱 之為則影像與後影像，求出-校準後的前影像； 該影像校準楔組包括： 一影像對解元，根據輸人的該每兩相鄰影像，建立 兩相鄰晝面的對應關係； 七J '數估冲單元，根據該兩相鄰晝面的對應關 係’估算4—校轉換參數;以及 衫像變形_單元’根據該校準轉換參數，求出該 校準後的前影像； 對應像素搜尋模組，於該校準後，以像素為單位， 透過光流魏，找出該校準後之前娜像各對應像素 的位移向量；以及 一移動物體篩選模組，整合該後影像中所有像素的該 對應像素位移向量，並判定出該移動物體在晝面内的 位置。 2.如申請專利範圍第」項所述之利用光跡分析之移動 物體侧裝置，其中騎應像素搜尋模組包括： 一像素位移方向判定單元，光流追縱各像素在該兩相 鄰影像間位移方向;以及 一像素位移距離估算單元’估算出該後影像中各像素 22 1355615 的該對應诔素位移向量。 3.如申請專利範圍第1項所述之利用光跡分析之移動 物體偵測裝置，其中該移動物體篩選模組包括： 一位移方向投射轉換單元，根據該對應像素位移向 量，求出該後影像中各像素的一位移向量轉換值； 一投射轉換分離值決定單元，根據該後影像中各像素 的該位移向量轉換值，求出該位移向量轉換值的標準 差，來決定出該後影像中各像素的一投射分離值;以及

   -移動物體單判轉元，根據該射彡像巾各像素的投 射分離值，標示出該移動物體在畫面内的位置。 4·如申請專利範圍第1項所述之利用光跡分析之移動 物體偵測裝置’其中該前影像與後影像是從不同時間 點操取出來的。 5·如申請專利範圍第1項所述之利用光跡分析之移動 物體偵測裝置，其中該影像插取模組備有—攝影機來 持續擷取多個影像。

   6. 如申請專利範圍第i項所述之利用光跡分析之移動 物體細裝置，其巾碰影像中各像素的對應像素位 移向量是該後影像中各像素的光軌跡位移。 7. 如申請專利範圍第5項所述之利用光跡分析之移動 物體偵測裝置，其中當該攝影機在移動狀態下或是在 靜止狀態下時，該裝置皆適用。 8’ 種利用光跡分析之移動物體偵測方法，該方法包人 下列步驟·· ^ 23 丄功615 一攝影機持續擷取多個影像； 從該多個影像的每兩相鄰影像，稱之為前影像與後影 像’根據輸入的該每兩相鄰影像，建立兩相鄰晝面的 對應關係，根據該兩相鄰畫面的對應關係，估算出一 校準轉換參數； 根據該校準轉換參數，校準該每兩相鄰影像的背景區 域’求出一校準後的前影像； 以像素為單位’於校準後的該每兩相鄰影像進行光流 追縱’找出該後影像中各像素的一個對應像素位移向 量；以及 整合該後影像中所有像素的該對應像素位移向量，並 判定出該移動物體在畫面内的位置。 9·如申請專利範圍第8項所述之利用光跡分析之移動 物體_方法’其中，該光流追縱的進行係透過一種 影像式點對點光跡追蹤技術，來提供相鄰畫面内以像 素為單位的影像追蹤結果，來找出該後影像中各像素 的光軌跡位移。 10.如申請專利範圍第8項所述之利用光跡分析之移動物 體偵測方法’其中，該整合該後影像中所有像素的該 對應像素位移向量的步驟包括： 根據該對應像素位移向量，求出該後影像中各像素的 一位移向量轉換值：以及 根據該後轉巾各像細触㈣量_值來決定 出該後影像中各像素的一投射分離值。 24 Π·如申請專利範圍第10項所述之利用光跡分析之移動 物體_方法，其t，該列定出該移動物體在畫面内 的位置的步驟包括： 根據該後影像中各像素的減射分離值，標示出該移 動物體在畫面内的位置。 12·如申請專利範圍第10項所述之利用光跡分析之移動 物體伯測方法，其中，該位移向量轉換值是透過分析 影像中各像素點的光跡距離而求出。 25