TW200834459A - Video object segmentation method applied for rainy situations - Google Patents

Description

200834459 九、發明說明： 【發明所屬之技術領域】 本發明提供一種視訊切割方法’尤指一種適應於雨天環境的 視訊切割方法。 【先前技術】 近年來，電腦及通訊等相關技術已經全方位蓬勃地被發展， Φ 其中數位多媒體以其多樣化與人性化的介面功能而成為開發的重 點技術，又由於其所呈現的語義能以最少的資訊量直接地傳達給 使用者了解，因此，各種相關研究發展正深深地改變著人們的生 活。數位多媒體技術不但包含常見的音樂與影像，也整合了文字、 語音、視訊與繪圖等媒體。在所謂電腦、通訊、及消費性電子的 3C整合產品中，處處可見多媒體技術深入其中。譬如熱門的 隨身聽、具攝影功能手機，以及具未來感的電子衣服等，都是集 料媒體科技於一身。在多樣化與多功能的多媒體領域中，視: 頃域、、、巴對疋研發的重點技術之一。相較於單張的靜態影像，視訊 的動態性分減理除了包含單張職影像喊理技術，更包含分 析Μπ間遷、$的因素，也就是說，可以把視訊想像成是隨時間而 不斷地變化的連續單張影像，其所包含的資訊量也隨時間而急劇 地增加’因此視訊多媒體技術及其所需較大資訊量的處理而 潛在的困難度。 〃 見代視Λ夕媒體技術已經由低階特徵(low-level)分析處理，從 5 200834459 對亮度(luminance)、色彩(color)或紋路(texture)的描述分析，提升 至研九夕媒體的内各s吾義與概念性的南階特徵描述，孽如研介物 體與事件的抽象關聯概念。視訊技術的提升讓使用者更能直接互 動(interactive)以促進相互了解。上述的互動概念從近年來制定的 視訊壓縮標準MPEG-4與其後的MPEG-7就可以看出端倪，^訊 技術的未來發展係以物體當作基本操作元素，利用視訊中有音義 的物體，以實現物體導向的壓縮技術，進而實現物體的描述二互 動。要達到上述功，視訊物體切割就是主要的關鍵技術，如果 能夠精確地切割出視訊物體，就可提升壓縮演算法的壓縮率，並 且對於視訊内容的相關處理，譬如要在網路或資料庫中搜尋相似 的視訊物體’其檢索準確度與速度的關鍵就在視訊物體切=技 術。除此之外’視訊物體_錢大多數電腦視覺辨識應用的前 級處理’亦即需先將物體從視訊影像中分離出來，才能對該物體 做追蹤、計數、辨識、行為分析等等應用。 〜視訊物體切割不同於靜態影像切割，因為視訊所考慮的不只 =空間上的内容變化，更包含了隨咖因素遷變的資訊，因此， 提供了靜_影像所沒有的物體移動資訊，也朗為多了物體移動 資使視訊物體切割比靜態影像物體切割更容易實現，由物體 ^時間轴上_化所提供之移動資訊，配合物體之低階特徵的辅 可以提砂割視訊物體之準確度。但視訊動態環境的許多變 旦口素’也！丨起視訊處理的其他問題。譬如因雨天環境之變動背 厅、而將雨滴誤判為移動物體，或因雨滴而影響到對移動物體的切 200834459 割準確度。 一般之視訊物體切割方法可分為兩大類，其中一類是自動視訊 物體切利法’另一類則是半自動(semi_automatiC)視訊物體切割法。 自動視訊物體切割法亦稱為非監督公式(unsupervised)視訊物體切 割法，係藉由電腦自動分割出視訊物體。半自動視訊物體切割法 亦稱為監督公式(supervised)視訊物體切割法，係在切割前先定義 好想要切狀物體區域，之後的晝面再根據所錢的物體區域特 倣作切割。底下將分別描述此兩種類型的視訊物體切割法，一般 而s，自動視訊物體切割演算法可分為基於物體邊緣資訊之視訊 物體切割法、級咖與空間域之視訊物體切割法以及基於改變 偵測之撓訊物體切割法，而屬於半自動視訊物體切割演算法者有 與使用者互動式之視訊物體切割法。 μ基於物體邊緣的切割演算法中，主要是利用Ca卿遂緣偵測運 异子來取出物體輪廓資訊。其—開始先計算相鄰晝面之差值，並 執行C:y邊、_ 生了雙倍的物體邊緣_(喻_。之後 面之物體邊緣’然後’物體輪廓可結合移動與靜止部 :的邊緣來取得’最後再經由水平與垂直區域交集偵測，以及型 理方法，以進一步的得出較完整之輪靡。然而，此 中，由於是—運算子作為取出移動物體之方 ，亚且Canny是由梯度(gradient)來決定其邊緣的可 此當物體區域與背景區域之紋理接近 i又’因 了次因雨滴的影響使物體 7 200834459 适、彖模糊化’則其差值之梯度幾乎無法取得，因此物體邊緣會遺 失’而移動與靜止邊界的_錯誤率姐著提高，進而使原始物 體輪摩與切割出的物體輪廓產生明顯差異。 …5 %間與空間域資訊的視訊物體切割法是目前視訊切割演 异法中最常被使用的方法之一，其使用空間域之分割區域來輔助 日寸間域上的切割缺陷以提供—較準確的輪廓位置，破常被利用 _ 的空間域切割法，包括了分水嶺技術、K-Mean分群技術等。此演 异法中，主要分為三個部份：時間域（timed〇mai⑴、空間域（叩atial domain)以及時間域和空間域並用。時間域包含了三個步驟 :全域 移動估測與補償、場景改變偵測以及核心切割。其中全域移動估 測與補償’是為了克服攝影機的些微移動，而場景改變偵測則是 偵測所輸入的視訊晝面中是否有場景改變發生，這兩個部份可以 算是時間域取得的前處理階段。之後則執行時間域的核心切割， 而所得出移動資訊是採用改變偵測法，利用機率估測方式來判斷 修 像素的改變與否。接著，就空間域而言，施行此演算法的空間域 切副’工間域切剔主要是利用影像低階特徵(image c〇ntent)，將影 像區分為有意義之區域，但實際上所切割出來的區域，在人類視 覺感官認知中還是有一段差距，因為在人眼感官中，認為應該切 割屬於不同區域的，但電腦的切割卻是認為同區域。 分水嶺切割法，主要是將影像灰階相近的像素歸為同一區域， 而目剷分水領演异法中，以沈浸法(immersi〇n_base(j)最常被使用， 200834459 其動作開聽區域最小值，即騎度影像的最小值之位置，想像 在此挖個洞，讓水從此處開始上深，這就好像將梯度值相近的像 素歸為同i域，並且逐漸賴纽_，—直剩達影像梯度 的極大值才停止’即疋平原的最高點，之後，在此處建立一水壤 (dam) ’其主要目的是為了防止不同區域之水流互相淹沒。最後藉 由結合所求得的時’空間域之資訊，以得到最後的物體區域輪 廓。 ❿ 細，分水嶺蝴法有著雜織祕影響，尤其是雨天環境的 雨滴更是大量雜訊的來源。過量的雜訊會造成過度切割問題，譬 如臉部區域應該視為同—區域，但因雨雜訊的影響，可能被分 口J成α午夕區域，所以後續還需要有區域合併(代由⑽merging)演算法 來解決過度切割的問題，然而這樣的演算法會增加系統負載量， 因此對於整合於即時系統的困難度也相對複雜許多。 ® 另外’ K_Mean分群技術係將區域分割為K個相近區域。在 將每一 K-Mean分群的區域與相對應改變偵測的結果區域作and 運π若AND運#後之結果除以該區域之像素數目大於預設的門 k值’則將此區域設定為移動區域，之後再利用區域描述運算子 來得出移動物體。但這樣的作法缺點在於，其門棰值並沒有採用 適應性於視朗容，因崎取㈣鑛區域並不完美，因為大部 分屬於靜止部分之前景物體部分，其改變偵測結果會被忽略掉， 反而在雨天環境巾變麵雨水料可能被誤判為前景物體部分。 200834459 而誤ίΖΓΓ1算後，靜賴域之前景物體，財沒辦法取出， 用區域描非所要的前景物體部分’雖然可以利 部分十;:完整物體輪臟消除非所要的前景物體 仁而再化費很多時間以執行前後晝 於要求即時系統而言將是一大困難，且 所需要的分類數，這對於視訊_毅相當重要的H7去決疋 關於以改交偵刪changedetection)為基礎的演算法， 貞=鄰畫面間的改變，而最直接的改變偵測法，則是把= 鄰書订=’所得出的差值(碰⑽Ce)大小則代表物體在相 ▲旦a之改、樣度，以作為相鄰晝面間改變程度之參考 =偵測後’所得到物體遮罩之結果，再進—步作後處理而得出完 正的物體輪廓’由於是直接的利用畫面的差值來決定移動的資 T因此對於料谓，如亮錢化(lightehange)、陰影(shad_ 或雜離01se)等，有著較低的容忍度’所以特別不適用於包含很多 雨滴雜訊_天環境視訊，但基於這種方式的切割演算法， 對的計算量將減少很多。 此外’當移動物在移動-段時間後，如果突然停止或是移動較 緩慢時’基於改變偵測的作法，也將會失去部分可用的移動資訊， 此-問題有相_發明提出解決方法，但基本上還是不能解決亮 度變化與陰影效應_，譬如雨量A小就會直接導至到雨天視ς 的党度變化，而地_水聚錢動所產生的動態倒影效應也是另 200834459 問題再力!7上其固有的未遮背景㈣⑽㈣backgr_d)問題， 都έ &成誤躺情況。在習知技術巾係糊移動估測法，去判斷 在守門k 0守改變區域上之偏移向量(出物⑶爪⑽vect〇r)是否也同 樣對應到時_時之改變區域上，若是的話則將此區域視為前 景物體，否則騎景區域’。喊方法由於是機估測，因 此對於邊鱗確度沒辦法達職高，糾，其只能處理單純移動 _的物體，對於其他的變動(譬如轉動何能會誤判， 並且也增加了系統的計算複雜度。 ^後’與使用者互動式之視訊物體鱗則允許使用者在切割 軸料嘛_飾輪廓， 在= 來的畫面中，針對此框出的區域特徵做 =亚配合低階特徵來得出物體輯。這樣_割枝雖 =出不錯的物體邊緣，但缺點在於t所取得 _ 則輪廓較新將會狀錯細降低 所以 中，因雨滴使物體邊緣模糊化而造成輪廊更新 限制了其應用之範圍。 r7、'a誕率， 由上述可知 11 200834459 * 【發明内容】 本發明揭露一種適應於雨天環境的視訊切割方法，於一視訊中 切割出一移動物體，包含：偵測該視訊之一第一晝面而區分 出複數個邊緣像素與複數個非邊緣像素；(b)偵測該視訊於該第一 晝面之前的一第二晝面而區分出複數個邊緣像素與複數個非邊緣 像素；（C)比較該第一晝面的複數個邊緣像素與該第二畫面的複數 個邊緣像素而區分成複數個靜止邊像素與複數個移動邊像素，並 0 產生一移動邊緣連通區域；(d)依據步驟(c)之區分結果以決定該第 一晝面中一移動物體；以及(e)更新一背景成分。 上述步驟(d)可包含：（dl)偵測該第一晝面與該第二晝面之間 的改變狀態；(d2)依據步驟(dl)之偵測結果將該第一晝面區分成一 移動區域、一靜止區域、一背景區域與一未遮背景區域；以及(d3) 依據步驟(d2)之區分結果以產生一初始物體遮罩；（d4)將移動邊緣 連通區域的複數個移動邊像素存入一佇列(queue)中，當一成長區 • 域的區域成長之像素種子，其後，從該佇列中依序取出像素種子， 若所取出之像素種子與一鄰近像素之像素值的差值小於一臨界 值，則將該鄰近像素歸類於該成長區域並存入佇列中繼續區域成 長，以產生該成長區域；以及(d5)依據該成長區域與該初始物體 遮罩以區分出該第一晝面之該移動物體。 有關本發明相關概念於2006年8月30日至9月1日在中國大 陸北京舉辦之關於資訊處理的國際學術研討會(正EE 26 12 200834459

International Conference on Innovative Computing, Information and Control(ICICIC 06))中，由王大瑾(Da-JinnWang)、陳昭和 (Chao-Ho(Thou-Ho) Chen)、廖鴻軒(Hung-Shiuan Liau)、陳聰毅 (Tsong-Yi Chen )所發表的「a DCT-Based Moving Object Extraction Algorithm for Rainy Situation」(一種基於離散餘弦轉換之 雨天環境中移動物體抽取方法)(ρρ·261-264)並公開出版。 鬱 【實施方式】 為了室外雨天環境的適應性，本發明提出了基於邊緣資訊偵測 結合改變偵測的視訊物體切割方法，主要是考慮到未來實現於即 時系統時需減少系統運算負荷，因此本發明揭露之視訊物體切割 方法中採用改變偵測來取得移動資訊，以藉此取代計算量較高的 移動估測，另外，配合空間域切割來提高物體輪廓的準確度，以 減少雨天動態環境對改變偵測法的影響，雖然空間域必須每個晝 • 面都執行空間切割，為了減少空間域切割的運算量，則採用運算 量較低的梯度臨界值法來取得移動物體的邊緣資訊，由於考慮到 下雨因素影響使晝面易產生較模糊效果，造成不穩定的物體邊 緣’因此，本發明亦提出利用色彩空間轉換來取得色彩資訊來判 別物體邊緣的技術，以提高切割結果的準確率。 請參考第！圖’其為本發明視訊物體切割演算法的功能方塊流 程100之示意圖。功能方塊流程100包含魏畫面輸入1〇5、色彩 13 200834459 空，轉換與分析110、背景緩衝115、晝面緩衝120、高斯平滑濾 波器125、改變偵測13〇、物體區域偵測135、邊緣姻14〇、及“ 物，區域匹配H5等功能方塊。假設所輸人的視訊來源其背景是 為靜止的情況’且攝影機朗定，_在好的顧巾，例如監 視系統歧通流量計數系統等，都是在靜止背景條件下攝取與= 析視訊資訊。所以，視訊畫面輸入1〇5就是用以接收由攝影監視 系統所擷取的視訊晝面，背景緩衝115係用以暫存經色彩空間轉 • 換”刀析110處理後的背景畫面，晝面緩衝Π0則用以暫存經色 彩空間轉換與分析11G處理後的複細_面，其餘功能魏 次^類視覺在雨天環境仍能辨識物體，除_動態資訊外，最多 的貝絲源則料境的色彩分佈。因此，_色彩空間轉換將 轉換為HSI模式，即亮度(—η—、色調㈣及飽和度

=mtiGn) ’ _亮__叫雜糊，再彻色調及飽和 度貧訊補償切割物體的缺陷部份。 由上述可知—般切贿算法是針__或空_兩個方向 效能。在日峨方面常見的方法為改變偵測法， 或上吊見的方法則是利用物體邊緣、紋理、色彩區域等特 性來找出物體之間的目聯… 為預設場景，使科料你―异法中大都以室内環境 保持切割的準確度演算法的影響程度不會㈣ "、、y視σίΐ媒體的應用而言，不會只侷限 200834459 ; 裒兄之使用，當視訊媒體之應用轉換至室外環境時，所需 要考慮的目素’得相當複雜。所考慮的目素巾最令人苦惱的因 素主要疋天候變化，而天候變化的因素中最常遇見的則是雨天， 雨天％火會讓視訊晝面—直呈現變動狀態，且比内或是一般 晴天的情況，光源會稍嫌不足，加上雨水之半透明性質會使得畫 面欠得為模糊。在這種情形下，大多切割演算法幾乎無法發揮 作用j而人類視覺在雨天中仍能分辨出雨巾之移動物體，除了知 Φ 迢是3有移動貧訊的移動物體以外，則是人類視覺可以辨別顏色 的差異使我們還能在雨中看到移動中的物體，因此，我們利用色 彩資訊來降低雨天因素的影響。 為了模擬人類視覺系統對顏色感觀的特性，一般會藉由數學上 的轉換將強度成份從一個彩色影像中帶有顏色的資訊分離出來。 在許多的色彩轉換模型中，以HSI模型最適合做為人類對顏色感 觀的描述，因為人類所感知的物體可由其色彩成份以最自然直接 • 的方式表示。在HSI模型中，色調(H)係用以描述顏色的一個色彩 屬性’飽和度⑸係用以量測純色彩加入白光的程度，而強度(I)則 係用以表示顏色明暗的程度。因此，由RGB構成之像素經由下列 式子轉換後，即可以色調(H)、飽和度(S)及強度地φ等三個成份來 表示。 ^^(R + G + B)......公式(1) 5=1—^+l^)[min(足σ，5)]……公式(2) 15 200834459

θ 360-0 > if B<q ^ if B>q > Θ = c〇s < 2 ~ [(R-G) -l· (R - B)(G - B)]2 〇° <360° 公式(3) 式⑴表tf色彩的亮度值為紅色、綠色、及藍色等三原色強 产八:、广式(2)表示色彩的飽和度為移除白光成份後的純彩 又△式(3 )則表不色調係以角度的大小描述色彩的屬性。 對母個移動物體來說，利用其身上顏色的色調資訊即可提供一 /且、碎別特彳政。然而，當彩色攝影機所擷取之移動物體影像圖 、= B成知二者量均相同時，則飽和度將近似於零，等同 於=影像，所以無法·色調值做為物體之_特徵。因此， 色彩空間轉換與分析11G係在將像素之RGB值轉換為HSI健， 先利用強度(1)特徵當作_移動資訊的輸人，當取得移動資訊 後’再利用色調與飽和度特徵去姻移動物體與背景的關聯性， 用以在惡劣的視訊環境下，提供物體切割技術更高的切割準確率。 由於本發明利用強度(1)特徵與改變偵測法來取得移動物體資 t所以只要先估測出—背景模型，則可透過此背韻型提高分 離月景與别景的準雜，因此在經色彩空間轉換後，可對色調⑻ ’、飽和度(S)特湖職方圖分析以取得—色彩特徵之背景模型參 數0 16 200834459 背景參數估測主要目的是要從目前影傻斑葚枯旦^ ,

，因此其分佈啊為一高斯 L下，不淪是攝影機雜訊或 背景模型 noise)或是雨滴快速變動所引起的情況，

是爾滴快速變動所產生的雜訊，被假設成高斯分佈是可接受的。 假設在差值影像中的背景區域其像素是一隨機變數β，則在假設高 斯雜訊分佈下的機率密度函數，可以下式表示。

公式(4) 在公式(4)中，#1?與(715分別表示背景區域之平均值(mea幻與 變異數(variance)。 ^後，要估測色彩空間中已分離出之色調與餘和度部份的背景 品或之平均值與標準差。先將目前影像與前一張影像的色調與飽 • 又。卩伤進行晝面相減(frame difference)的動作，以產生色調差值 心像DIh及飽和度差值影像DIS，並對這兩個差值畫面分別做直方 圖刀析，在一範圍參數r内選出具有像素數目最多的色調及飽和 度用以當作背景參數估測之參考。假設色調差值影像叫及飽 和度差值影像吨的直方圖可表示如下列二式。 h(p) - Num {(lj)\DjH ^ ^ = e DJ^ ……公式⑸ s(p) Num {(i,j)\DIs (/?y) = e ^ J ……公式⑹ 17 200834459 公式⑶中的P為色調值’公式⑹中的p為飽和度值。假設在範 圍茶數，’具有像素數目最多的色調值及飽和度值分別為心㈧ 和啤⑻’若有兩個值數量相同時，則取較大的色調值或是飽和 度值’範圍參數，可被預設為100。 當和化⑻中的像素被決定後，則將這些像素的位置對 應至目前影像的像素位置，並以每-像素為巾心，彻_ 3x3大 小的估測視窗，配合下列二式計算該估測視窗内之平均值與標準

公式⑺ …公式(8) 〜(户）—知·=½…，祕(P’) ·. /_α·.，历(〆) 、在公式(7)與公式⑻中，Ν係為該估測視窗内的像素數目。當 Ρ’為色調值時，公式⑺制輯算色調平均值，公式⑻係用^ • 算色調標準差，w_具有像素數目最多的色調值之第i個像素的 t像素數目的色雛之像素數目（施W,))。當P，為飽和度值 公式(7)係用以計算飽和度平均值，公式⑻係用以計算飽和度 標2差，W1(j)為具有像素數目最多的飽和度值之第i個像素的估2 視_内之第j個像素，公式⑺及公式⑻之His(p，)係為具有最多像 素數目的餘和度值之像素數目（/%(〆)）。先根據公式⑺計算該 估測視窗的色調與飽和度之平均值，再將色調與飽和度之平均 18 200834459 值# wi分別代人公式⑻計算該侧視窗的色調與飽和度之標準差 stdWi ° 其後，將所計算的所有平均值^與所有標準差stdwi，分別 根據下列-’想仃總平均料算，即可得酬估測出的背景模式 之背景平均值與背景標準差。 、、 ! 卿)

·...··公式(9) 1 .柯〆）

Sidb =i^f) Σ ^{ρ9) 1 •…··公式(10) 當公式(9)與公式⑽中的His(p，)為册"(〆)時公式⑼係用以 t W色射均值(H"b) ’公式(1G)侧輯算背景色調標準差 (Hstdb) ’當公式(9)與公式⑽中的压納為施办，）時公式⑼ 係用以計算背景飽和度平均值(、)，公式⑽係用以計算背景飽和 度標準差(Sstdb)。其中，飽和度的變化翻之原始定麟在〇至i 之間，為方便配合灰階程度變化之說明，可將其變化範圍正規化 至0至255的區間。 在先前技射，姻小波及DCT(d_teeGsinet_fGnn，離 散餘弦轉換)等分頻技術測試濾、除τ_轉視訊畫面之影響，對 於中小雨量的情形仍可處理，但雨勢較大的情形則會失敗。歸究 其原因，係由於_在視訊晝面間乃為時間域之變化而產生晝面 19 200834459 變動的情形’科波及DCT是對單張 當在中小喊哺科可_分赌術的f作，因此， 除’但雨勢較大時卻益 里的向頻變動區排 …、^王處理其晝_的大量高頻變動。 在很多數理佩巾，高斯函數是—驗 數，在影像視訊處理中倾應用於平滑濾波器_=函 因f訊制在輸人難算法處理之前—般都會因為攝的 取像元件之谓，峨細嫩_删，多少=

=到雜_，擾，此，訊號輸人前細濾波器將轴雜訊= ’以產生雜峨少的喊。麵天環境的視訊則巾，本發明 ^W^fS^IKGaussian smoothing filteD^S 4景晝面、—目前晝面、及—前-晝面的變動影響，除上述優 點外，由於雨滴具透明性質而高斯平滑濾波器125是針對晝面^ 每個像素做高斯展開僧，因此，可排除雨天對視訊晝面的影響 並保留晝面的完整性。在本發明中，高斯平滑化濾波器125之二 維高斯函數可定義如下式。 〜 g{ij) = cxe ^ 公式(11) 在公式(11)中，i與j代表影像像素之座標值；c為一常數，用 以決定高斯函數之高度；σ為一變異數，用以決定高斯函數的展開 程度，也就是說，可以根據輸入視訊受雜訊影響之程度而調整 大小，當σ愈大則所產生之影像的平滑度愈高。 20 200834459 …畫=值處理係將相鄰的兩張晝面執行相減的處理程序，因 :、,义々’單且有效率’所以常被使用在基於改變侦測的切割 法之前級處理。差值畫面的變化程度也可稱為移動資訊(motion _ation) ’其中包含著移動物體區域與靜止背景區域的差值， 而姆於背景區域，移動區域往往會產生較大的差值，因此就可 以將巧些變化較大的像素從靜止的背景區域中分離出來，而種分 •離程序即稱為改變躺請。一般而言，由於視訊晝面都會受電子 凡件干擾或是魏亮度變化等辟，以致於差值晝财造成較大 f化量的麵可能就不只是物體的移祕域，另會包含受干擾影 響的區域’而這也是_畫面相減程序以切割移動物體的一個主 f缺點。此外，本演算法中的背影械處理同樣於差值運算 部分，只不過是以目前畫面與背景晝面來做相減運算。# •、」咖不_料鳩-的晝面分別為胸與編，則書面 是值的相減處理程序可表示為下式。 一 邮....公式(12) 在公_中，偏代表在時間t之輸入晝面，⑽代表書 的前-輸人晝面，d舰表兩晝面在座標值⑼之像素= 在根據本發騎揭露之方摘_實驗巾，係針料同的影像 21 200834459 畫面做處理，其中這些不同的影像晝面包含在大雨環境下所拍攝 的Rain一woman視訊之背景影像晝面，並稱之為一第一影像晝面； Rain—woman視訊之一第二影像晝面；以及如记一卿瓜肪視訊的第 一影像晝面與第二影像晝面之差值影像晝面。 在產生差值影像後，接著必須將差值影像區分為改變 (changeregion)區域與未改變(unchangedregi〇n)區域，配合一預 $又6品界值(threshold)以執行改變偵測如把此⑽)。差值影像上 的像素灰階值與背景區域相比較，若超過該預設臨界值則此像素 即被判斷為改變，否則判斷為未改變，因此必須先從差值影像中 估測出背景模式(backgroundmodel)。在先前技術中，是利用先前 晝面的改變偵測結果之未改變區域作為目前晝面改變偵測時的背 景區域，可是當雜訊影響較大時，所得出的未改變區域必定不符 合真實情況，因此造成之後的估測錯誤蔓延。 因此針對先前技術的缺點，本發明一開始即針對色彩資訊部份 估測一色彩背景模式，而在改變偵測方面則是以亮度⑴的資訊來 決定亮度部份的背景模式。請參考第2圖，其為本發明包含背景 模式估測之改變偵測130的功能方塊流程圖。改變偵測13〇包含 一直方圖分析410、一背景參數估測420、及一像素分類430。如 前所述，改變偵測130另具有一晝面差值處理4〇5之前級處理， 當所輸入的一第一晝面為一背景畫面而一第二晝面為一目前晝面 時，則改變偵測130輸出一背景相減遮罩；當所輸入的該第一晝 22 200834459 一晝面時，則改變偵測13〇 面為該目前畫面而該第二晝面為一前 輸出一畫面差值遮罩。 、直主方圖分析的魏主要是提供絲影像之灰階或色彩的 =佈=形’藉由直方圖功能以方便後續的分析功。—般而言， 差值影像係包含靜止的背景與移動的物體，__物體常常產 =較大的触變化，當絲大的強度變化也有可能是雜訊造成的 Φ 影響’反之，較小的強度變化一般都會對應到背景區域，也就是 靜止部分。請參考第3圖，其為上述Rain—w_n視訊之第一影 ，晝面與第二影像晝面所產生之差值影像畫面的直方圖分佈。從 第3圖所示之差值影像的直方圖分布可觀察出大部分的灰階分佈 都是靠近於灰階零值區域，因為這些灰階是最能夠表現出差值晝 面中的背景區域，所以我們在一灰階範圍"内，選出其具有像素數 目最多的灰階，以當作後續的參數估測參考。假設差值影像的 直方圖分布可以下式表示。 _ His(p) = Num{(i,j) | DI{iJ) = {ij) E /)/| ......公式(13) 在公式(13)中’ p為像素之灰階值，DI(i，j)代表差值畫面之座標 值為0，j)的像素灰階值，His(p)表示差值畫面中，像素灰階值為p 的像素數目。所以在灰階範圍「内，若具有像素數目最多的灰階值 為〆，而其數目即為，若灰階數量相同時，則取比較大的 灰階。譬如說，在本發明中，灰階範圍參數r可被設定為1〇〇。 23 200834459 接著月厅、參數估測420即是要估測背景區域之平均值與變異 數。本發财法係先找出差值影像中所有像素雄為^，之位置， =以此像素為中心，考慮—大小為_估測視‘，計算此估測視 ^内之平均健鮮差，計算方式可根據公式⑺與公财）。也就 疋。尤’利用公式⑺計算視窗平均值，利用公式⑻計算視窗標準差。 由於考慮了〆及其鄰近之像素，因此估測參數之準確度會因而 ⑩較高，而估測視窗在本發明係可採用-W的工作視窗，其後，再 I均所估測之平均值與標準差，以取得亮度部份背景參數之背景 儿度平均值(/〃")與@景⑥度標準差，計算方式可根據公式⑼ 與=式⑽。也就是說’利用公式⑼計算背景平均值旧用公式⑽ 计鼻背景標準差。 像素/7 443G即疋要湘先前參數估酬制的背景標準差， 再乘上H以絲臨界值，接著，紐影像上的像素值與背景 癱I均值之雖若纽此轉值，_此像讀_前景部份(以灰 ^ 55表7F)否則將此像素歸類為背景部份(以灰階〇表示），也 、、疋兄歸類為月ij厅、的像素係以亮點表示，歸類為背景的像素係 以暗點表示。 常^翻以控制像她_度，當。較小時可能會將雜訊 <判為·狀時可能會把物體移動量較小之物體部份 Ζ為背景，因此常數e的大小主要是由晝面内容的變化程度所 決疋’當晝面内容產生較大變化時爾要-較高數值之c，反之， 24 200834459 m 當畫面内容變化較緩和時，則需要一較小數值之c。在本發明中， 常數C之範圍可在〇至1〇中間。 在根據本發明所揭露之方法所做的實驗中，Rain—w〇man視訊 之差值影像畫面經像素分類後的影像所使用之常數C係設為1〇。 根據實驗結果可以很明顯地發現，Rain—w〇man視訊之差值影像書 面經像素分類後的影像由於視訊受到雨勢影響，因此在像素分類 之後，差值較大的雨滴雜訊也被誤判為是前景物體，進而被分類 • 產生許多不該有的亮點，如果提高像素分類所需之常數c，則可衰 減因雨滴雜訊所產生的亮點數目。 物體區域偵測135的主要的目的是結合改變偵測結果之晝面差 值遮罩(frame difference mask)與背景相減遮罩(backgr〇un(1 subtraction mask)，用以偵測物體區域的各種情況。請參考第4圖， 其為根據本發明揭露之方法利用物體區域偵測，當移動物體8〇〇 _ 攸左邊移至右邊日守，所偵測到的四種不同性質之區域，其中這四 種區域包含背景區域(backgroundregi〇n)8〇；l、靜止區域(s僅 region)803、未遮背景區域(unc〇veredbackgr_dregi〇n)8〇5、及移 動區域(m〇vingregi〇n)807，且虛線部分代表前一畫面的移動物體 外框。 通常在改變_技術中’靜止區域常會被誤認為是背景區域， 而未遮背景區域會被誤判是移祕體的—部分。軸上述二種情 25 200834459 :=::==== 所以’為解決靜止區域絲遮背景區域被誤判的情況，在不提 南計算量需求的前提下’在本發明晝面差值遮罩，配合背景 相減遮罩以偵測每-區域。請參考第5圖，其為顯示利用:體= 域偵測判斷第4圖所示之四種不同性質區域的方法列表，其中⑽ •表示像素在遮罩上是判斷為改變，而〇FF則表示未改變f根據第 5圖所示之方法列表偵測出的背景區域8〇1與未遮背景區域應 即能從遮罩中被刪除，因此物體區域偵測只有輸出移動區域8〇7 與靜止區域803 ’而結合移動區域807與靜止區域8〇3就可以輸出 一初始移動物體遮罩(Initial 〇bj ect Mask，IOM)。 所以在上述技術中係以改變偵測方法取得移動資訊，並透過物 φ 體區域偵測得到一初始物體遮罩，改變偵測方法是經由晝面間物 體移動變化以取得移動資訊。但當晝面中除感興趣的真實移動物 體外，背景也可能是呈現變動狀態，譬如在下雨情況時，會造成 整個影像畫面呈現連續變動的現象，此時便容易影響改變债測判 斷之結果，而造成移動物體區域的誤判情形。由於雨滴具有光線 透射的透明物理性質，且移動相當快速，使得雨滴在晝面中形成 模糊的細長形狀，雖然下雨造成晝面有被模糊化的效果，但畫面 中大部份的邊緣資訊仍被保留下來。 26 200834459 ϋ柄明提出彻邊緣伽》1 HO方法取得重要的邊緣資 a: X疋位移動物體的區域細，以彌補改變制技術在雨天環 兄下^區域判斷▲力。請參考第6圖，其為邊緣偵測刚的功能 方塊流程圖。邊緣_⑽包含—導數運算處理⑽、—物體邊緣 ，、j 820及物體填補83〇。所謂邊緣是定義在灰階層面的變動 里一而k緣偵測運算子則是針對此變動量去進行制並獲取其邊 ^貝A 1來說’邊緣_係綱導數觀細侧影像邊緣的 ^動里，由於影像是屬於離散性質，所以導數運算處理810即用 差值近似以取代原導數的線性運算，接著再進行—次導數運算就 可臺成—階導型式的邊緣偵測運算式，二階導數的運算式可表示 為如下所示之公切4)，m數運算為最基本的導數運算，所以 省略不贅列示。

A，K dy ) θχ Δχ2 Δ,,-Δχ/ ^ .......公式(14) 若將一階與二階的導數運算式轉換成函數圖形，就可报清楚地 看出影像邊緣經由導數梯度運算後所產生的變化。請參考第7圖， 其為影像空間灰階值分布與其一階導數和二階導數的函數分 圖。 ， 在第7圖最上方的函數圖形係顯示影像對χ方向做橫切剖面， 27 200834459 崎 其灰階值的分布變化，_顯地，其分布變化係由_較低灰階值 的平π區域★化至I场灰階值的平滑區域，巾間的斜坡部份則是 兩個區域之間的邊緣變化。當經過—階導數運算後便形成第7圖 中間的函數圖形’平滑區域經一階導數運算後，大部分趨近於灰 Ρ皆G值’而斜坡_經—階導數運算後，則變成—山脊區域，在 該山脊區域所包含的範圍，廣義來說可都算是邊緣區域，但為了 得到較準_邊緣位置，可利關示之—臨界值定義真正的邊緣 •區域(如第7圖中標示之a與b之間）。再進行一次導數運算則可得 出第7圖最下方的二階導數函數圖形，類似正弦波的函數曲線， 其零點位置正好對應到一階導數函數圖形的最頂峰位置，此位置 一般稱為”零跨越點，，(zero_cr〇ssing p〇int)。 由上述可知’一JI白導數為零而一階導數為極大值之零跨越點 必^落於_區域的内部位置，換句話說，零跨越點屬於邊緣的 可能性為最高。因此’本發明_零跨越點的特性決定邊缘偵、則 i 種界值。假設在影像中零跨越點位置會位於邊緣區域中像素值 ，低點的部份’並利用5x5遮罩搜尋整張影像，在遮罩内像素值 最低的像素會被標記為候選點(candidatepoint)，以cp表示如 示之公式(15)。 ’、卜所 CPt = [p\rnm{Masknxm (p)), p e G/,., 〇 < „ < 5, 〇 < w < 5} ……公式(15) P為梯度影像 在公式(15)中，GI為梯度影像，i表第i張晝面 28 200834459

Glj中的像素，遮罩的大小為nXm，n與m可均假設為$。 但為避免當像素值為0時，會與背景像素或平滑區像素混清而 造成誤判，因此需要濾除非零跨越點的部份。所以，在取得所有 候選點CP後，可以產生第i張梯度影像GIi之候選點集合邙，以 每一候選點CP為中心點取3x3遮罩，若中心點與鄰近點的差值大 於一預設臨界值r，且滿足此條件的像素數目超過4個，則將此 _ cp保留並圮為零跨越點，以ZCp表示如下所示之公式(μ)。 叫 P 卜 4i1>r)>4，pea^eMa^_(p)，〇w3，G^3^ 公式(16) a式(16)中，為遮罩中心點之鄰近像素點，預設臨界值『可 設為10。

當取得所有ZCP之位置後，以每一奶斜心，利用一大小 N的估_® ’根據下列三式計算該估顺窗内之平均值與標 準差。

J. N 公式(Π) f〇r i^\X.^ZCP{x) std (x)

N

N ......公式(18) for 1 = 1,2,..., ZCP(X) 29 200834459 在公式(17)與公式(ι8)中， 、 估測視窗内之平均值， 值可為9 ’公式(17)細以計算該 差。 么式(1δ)係用以計算該估測視窗内之標準 由於以零跨越點灸+ 最s，所以㈣ 週軸祕素點為觀的可能性為 取冋所以將中心點及其鄰近點 翏數之準確度。在本 … *用以^估測 , v 估測視窗係採用-3x3的工作視窗。

;公式(19)與公式⑽，平均所估測之平均值盘標 準差’作為_是否為邊緣像素的參數依據。 MEd§e X ~ ZCP(i) Σ UWi(x) for i = l?2?...?ZCP(^r) ….公式(19) idEd (x)=z — 1 zc^) ^ zcp(x) Σ for i = h2>^^ZCP(x) •…·公式(20) 所以對梯度t;像做邊緣像素之顺，係湘上紐測參數所得 到的邊緣標準差當作—臨界值n梯度影像上的像素與邊緣平 均值之差值大腿界值?；w，驗此像素分_輕部份(以灰階 255表不），否則將此像素分類為背景部份(以灰階〇表示）。 經由上述方法可得砸面邊緣資訊，㈣緣__dge

Map) ’、巾仍έ有屬於背景部份的邊緣區域’但只有移動物體的 邊緣為所要區域，為了只_所要的邊緣區域，必須將邊緣進- 30 200834459 步分類為靜止邊(static edge)和蒋氣、心 ·. 布多動邊(moving edge)，靜止邊是屬於 月厅、孙’而移動邊則是屬於移動物體部份。本發明方法之物體 邊緣偵測82G係利❹重晝面分析觀念，將背景邊緣從邊緣映射 圖中去除’只保留移動物體的邊緣部份。由於視訊晝面間像素與 像素的關聯性高，顧這個特性我們設在目前晝面中邊緣映射的 邊緣點若是被歸屬於靜止邊，則是當在這時間點之前的晝面，其 相同位置的邊緣點也被考慮為靜止邊，換句話說，若目前畫面中 的像素點被歸類為邊緣點，且前幾張畫面中相同位置的像素亦同 樣為邊緣點，則將此像素分類為靜止邊。總而言之，若一像素之 像素值為0，則表示該像素絲被分類為輕部份，將此像素分類 為非邊緣點(not edge)，即為背景部份；若一像素之像素值為255， 且在之雨晝面相同位置的像素之像素值也是255，則該像素被分類 為靜止邊，也是背景部分；若一像素是在上述兩種情況之外，則 將該像素視為移動邊。以上判斷方法可以表示為下列的公式(21)。 ifiEdge^p)二 Q) not edge pixel else if {Edge, (p) = Edge^ (p) = Edge^ (p) ^ 255) static edge pixel else initial moving edge pixel ......公式(21). 在公式(21)中，尸表為像素心是指在第丨張晝面，而”與历 可分別定為3與5，即五办^是指經導數運算處理81〇分析處理後 31 200834459 的第1張晝面，而及/ge^是指經導數運算處理81〇分析處理後於 第1張晝面之前的第?·々張，方是指經導數運算處理81〇分析 處理後於第i張畫面之前的第^所張晝面，也就是說，畫面緩衝 120提供第i張晝面、第以張晝面、及第纟_所張畫面至邊緣偵測 140，该二張畫面經導數運算處理81〇分析處理後，產生另三張晝 面及fee,’、及Λ、及及纟约—⑺以供物體邊緣偵測82〇做進一步的處 理。不㈣轉晝面是考翻移祕體在柳晝面間的關聯性太 馨冋’而使得移動邊容㈣判為靜止邊，尤其是當鑛物體的移動 速度較緩慢時。 备考慮在雨中環境之情況時，雨滴可能因變動的差值大於臨界 值的觸而被偵測出來，使晝面中產生非真實移動物體的雜訊 ·、、、占為了㈣轉確的物體邊緣區域並排除因下雨影響造成的雜 祕’本發縣合改變侧所得摘初始物體遮罩，即當經由公 式(2!W㈣的鶴邊像素亦屬於初始物體遮罩⑽像素，則將 1 像素決福真正的鶴物體雜部份，爲邊緣決 列公式(22)表示。 丁」田下

Moving region, ^{p\pe lnitial M〇ving p ^ J〇^ ^ ........公式(22) ' 上述移動物體邊緣_方法只能產生移動物體的邊 補830係狀—掃描式物體翻方法㈣分出移動物體 亚不I枝很完整的輪廊，所以本發明方法之物體填 的完整輪 32 200834459 * 廓。習知技術所提及之掃描式物體填補方法先對整張影像進行 次橫向掃描，對每一行中位於移動物體邊緣内部的所有像素=行 連接，並設定被連接的像素點之灰階值為255，接著，这一 ^^ L i張影像 進仃一。人縱向掃描，對每一列中位於移動物體邊緣内部的所有像 素進仃連接，並設定被連接的像素點之灰階值為255，然後，再對 ，張影像進行另-次橫向掃描，對每—行中位於移動物體邊緣内 #的所有像素進行連接，並設定被連接的像素點之灰階值為攻。 _ 考第8圖至第1〇圖。第8圖係為一移動物體的不完整邊緣輪 f ^ 9圖係為第8圖所示之移動物體_的不完整邊緣輪廊經 —次橫向掃描連接與-次縱向掃描連接後產生的移動物體填補 圖’射移動物體960之形狀係以第9 _示之實線所圍繞。第9 圖中最右邊的一直向邊緣線95〇並沒有被連接，因為在第8圖中， 直$邊緣線950係對應到左邊直向邊緣的中央缺口處，造成在第 -欠橫向掃描時，沒有可以對應連接的像素。因此，需要再進行 • 另_人杈向掃描，以填補第一次橫向掃描所可能漏失的區域。第 川圖即為第8圖所示之不完整邊緣輪廓經三次掃描連接後所產生 較完整的移動物體96〇填補圖’其中該移動物體填姻可用以作 為後、戈移動物體％〇切割所需的移動物體遮罩，且移動物體96〇 之形狀係以第1〇圖所示之實線所圍繞。 六^述習知技術所述之掃描式物體填補方法只對單一物體有 若晝面中存在多個物體時’則上述填補方法很可能將背景也 I s進去。因此，本發明方法之物體填補83〇另加入距離與像素 33 200834459 ·_ 差值兩個階段的判斷以改良上述物體填補方法。首先執行横向掃 描時遇到的第一個邊緣點，記為，其後再遇到第二個 邊緣點日守會先判斷是否小於一段距離而，若是則記為 並繼續掃描下一點，否則將上一個所找到的邊緣點記 為/^>如，並將目前找到的點設定為候選孤立點c/p(candid槪 isolate point)，將孤立點C/P的權重值加ι(因第一個邊緣點已成為 孤立點），接著從^到/^―如/以做像素相連的動作。上 述方法可由下列公式(23)表示。 if (\First 一 index — Edge(p)\< distance)

Second 一 index 二 Edgeip) and search next pixel else

Last Jndex- Second Jndex and CIP(Edge(p)) + \ ……公式(23) 在公式(23)中，及igefo)表示移動邊緣影像的像素。 _ 其後’判斷是從FWex到/^」Wex做像素相連時是否包 含有背景像素，物體填補830利用亮度、色調及飽和度三種資訊 與背景像素做比較，若欲連接的像素之亮度、色調及飽和度與背 景像素之焭度、色調及飽和度平均值的差值若分別大於前面所估 測的背景亮度標準差、背景色調標準差及背景飽和度標準差，則 表示欲連接之像素與背景相異，係為所要連接的像素，所以執行 其相關之連接動作，否則將之移除。假設連接點所成的集合為移 動邊緣連接區域似(Moving Edge Connection Region)，則上述 34 200834459

V 方法所產生的移動邊緣連接區域MECR可以下列公式(24)表示。 最後，當三次縱橫方向掃描完成後，將孤立點CIP權重值大於2 的像素移除，表示該像素在三次掃描中沒有與其他物體連接，可 視為孤立點並將該像素移除。 mCR^p^p-l^l^ \p-H^\>Hstdb yFmtJndex<p<LastJndex\ if(CIP(p)>2) 八 —j the pixel is removed A 式(24) _ 公式(24)中，p表介於朽r毛/ix與之間的像素，工 "b為背景亮度平均值，istdb為背景亮度標準差，s〃b為背景飽和度 平均值，sstdb為背景飽和度標準差，H〃b為背景色調平均值， 為背景色調標準差。 在本^明所做之其他實驗中，係提出⑺pk視訊所包含 的一晝面經移動物體邊緣_方法所產生的移動物體邊緣晝面、 將該移動物體邊緣晝碰先前技術三次縱财向掃描填補後產生 的移動物_罩、以及將該移動物體邊緣晝面經本發明所揭露之 方法掃描填微產生的雜鐘鮮。由實驗結果可以發現經過 t發明所揭露之方法所處_移動物體遮觀以先前技術三次縱 知 '方向掃描填補後的移動物體遮罩更為精確。 經過物體切割處理後，移動物體可以從畫面中被切割出來， ㈣動物體的特性(characteristics)與行為(behav㈣資訊實際上是 無法穩定且精確地產生，職生的輪廓可能會躲，或包含 35 200834459 了其他不屬於該物體區域的凸出部分，主要3 訊、陰影(shadow)、及物體移動方式轉響，而、^(到了背景雜 環麵而異’譬如在室内環境情況所；的以 小’因為室_境係細嫩_，較少有料動= 而增加影_轉。在斜魏切__變 演算法的準確度受雜大的影響，#如因下雨_使得敕張查二 日:直=變動的狀態’或因雨水造成地面積水使得移動^二過 二二映射的移動反射區域’即水中倒影的影響讓切割 濟异法的準確度日聰降低。耻本發财法另包含修整物體輪 廓，，並降低受水中倒影區域的影響’使切割演算法的準確度獲得

月/考第11圖’其為依本發明方法之物體區域匹配⑷的功 能方塊流程圖。物體區域匹配145包含—物體方框侧160、一區 或成長170物體區域匹配18〇、及一後級處理渡波器卿。其 中輸入的貝成包含物體區域偵測135所產生的初始物體遮罩與經 邊、、彖偵測14〇所得之移動邊緣連舰域，並配合經色彩轉換所分 離的色見、飽和度資訊。在初始物體遮罩中會擁有較完整的物體 邊緣’但在雨天環境下容易含有移動倒影區域，該移動倒影 區域 並非所要@切動區域遮罩中會提供較正確祕域，即較不會 ^有倒影區域的部份，因為大部份倒影區域之邊緣像素變化1 背景區域有她性，所以可_色調與飽和度資訊識別倒影[ 二移除之 < 由於利用空間域資訊偵測物體邊緣變化，所以$ 36 200834459 ，_财敎。因此祕核物雜叙不包含娜區域的 則k下，本發明利用物體方框偵測16〇框出畫面中物體區域範圍， ^尤是說’透過方框所定義的顧進行比虹作，而由初始物體 遮罩狀_方_圍可能包含物體區域顧與爾彡區域範圍， 該倒影區域範圍就可利用其與背景區域的相似性而識別並移除 • …經過邊緣偵測及物體填補處理程序後，可以產生移動邊緣連通 區域’但整個移動物體的輪廓會較不穩定，所以本發明方法另利 用區域成長170的方法以補償移動邊緣連通區域所缺陷的部份。 在執行區域成長之$必須先取得成長的像素種子，假設像素種子 所成的集合為物體的邊緣像素#作成長的像素種子， 所以可使耻前技術的拉普_運算子以取得像素種子。取得像 素種子後，就可以執行區域成長。 _ 區域成長170所提供的區域成長法係利用仵列(queue)技術處 理，此’執行前先將所有像素種子存入仔列，成為仔列之元素， 之後再從符列中-一取出每個元素，並且判斷其鄰近的像素值與 取出元素之像素值的差值是否小於—臨界I，若是_此鄰近像 '、匕入^丁列中，並歸類屬於成長區域，一直重複此動作直到件列 為空便表示區域成長已完成，至祕域成長的條件的設定係利用 色彩資訊’即亮度(1)、色調(H)及飽和度⑻，這三種資訊個別都以 三個條件來做為判斷的依據: 37 200834459 1·種子是否與其鄰近像素相似。 3. 2.種子與對翻f景畫面相同位置的像素是否相似。 L種子_近像素與其對_背景晝帥随置的像素是否 相似。 當條件1為相似且條件2與3為不相似時，表示此像素為移動物 體亚歸類於成紐域’上述崎方法可表示如下列公式⑽。 s^=s^M^)-q\^ SR = SRiuSRsai^SRH .......公式(25) 在a式(25)中，岫二式之qi依序為仔列元素之亮度值、飽和度 $、及色調值’卿為仔列元素之鄰近像素的亮度值，為 仵列元素讀近像素_和度值，NH(qi)為侧元素之鄰近像素 的色雛，ri為亮度臨界值，rsat為飽和度臨界值，γη為色調 S品界值’ I〃b為背景亮度平均值’ Istdb騎景亮度標準差，s〃b為背 景飽和度平均值’Sstdb為背錄和度鮮差，〜騎景色調平均 值’ Η祕為背景色調鮮差，Qi表侧元素之亮度值集合，‘ 表4丁列元素之飽和度值集合’ qh表仲列元素之色調值集合，sr 表經區域成長後的物體區域之像素集合。 在得到一個較穩定的切割物體後，物體區域匹配18〇係用以比 對初始物體方框及軸邊料舰域方框的翻，並以移動邊緣 38 200834459 連通區域方框為基準，在此方框的範圍内結合初始物體遮罩和移 動區域遮罩，可將初始物體遮罩的娜區域排除，並使移動區域 遮罩付到#x準確的輪廓’最鮮取出所要的軸蝴物體區域。 有關於上述萃取出移動切割物體區域的過程，在本發明之實驗 中係提出-原始測試影像、將該原始測試影像經拉普拉斯運算處 it後產生之種子像素晝面、以及_種子像素晝面經區域成長、 鲁 HSI色雜合、及物體區域匹配處理後所產生的畫面，並可藉此 觀察到上述之移動切割物體過程之精確性。 後級處理濾波器190為物體區域匹配技術的最後一個處理，主 要目的是要將物體遮罩中的小區域雜訊消除，並^平滑化其邊緣 以制最後的浦遮罩。雜訊區域絲主要是消除遮罩畫面中的 背景雜訊(白色區域)與物體中的雜訊(黑色區域），本發明方法係利 • 用連通成份標記法(connected-component labeling)將連通區域之面 積小於面積臨界值的區域消除掉。 在消除背景與物體中的小區域雜訊後’其邊緣可能還有毛邊或 不平滑現象，因此，最後利用3x3結構元素(structureelement)的形 態濾波器(mo—ologymter)，包括了打開(〇_與關閉 滑化物體輪廓，經形態平滑化處理後，就可相當精確地萃取出所 要的物體區域。 39 200834459 在上述萃取出所要的物體區域之過程中，本發明所做之實驗係 提供-物體遮罩晝面，以及由該物體遮罩晝面中消除物體區域雜 訊與背景雜訊後’再經平滑化處理與腦色彩結合所產生的晝 面，並可以藉此證實本發明之方法的物體區域萃取精確性。 乂上所述僅為本舍明之車父佳實施例，凡依本發明申請專利範 目所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。 9 【®式簡單說明】 ，1圖為本發明視訊物體切割演算法的功能方塊流程之示意圖。 $ 2圖為本發明包含背景模式估測之改㈣測的魏方塊流程圖。 第3圖為根據本發明之方法所做的實驗中，第—影像晝面與第二 影像晝面所產生之差值影像晝面的直方圖分佈。 第4圖為根據本發明揭露之方法侧物體區域侧，當移動物體 從左邊移至右邊時，所偵測到的四種不同性質之區域的示 麵^ 意圖。 第5圖為顯示利用物體區域债測判斷第4圖所示之四種不同性質 區域的方法列表。 ^圖為本發明之方法中所實施之邊緣偵測的功能方塊流程圖。 弟7圖為第6圖中影像空間灰階值分布與其一階導數和二階導數 的函數分布圖。 ^ 8圖係為—移動物體的不完整邊緣輪廓。 第9圖係為第8圖所示之鑛物體的不完整邊緣輪廓經-次橫向 200834459 卜掃描連接與一次縱向掃插連接後產生的移動物體填補圖。 第ίο圖為第8圖所不之不完整邊緣輪廓經三次掃描連接後所產生 較完整的移動物體填補圖。 第11圖為依本發鴨揭露之方法所實施之物親域㈣145的功 月包方塊流程圖。 功能方塊 移動物體 背景區域 靜止區域 未遮背景區域 移動區域 直向邊緣線 【主要元件符號說明】 105-145、160-190、 405-430 > 810-830 800 801 803 805 807 950

Claims (1)

1. 200834459 、申請專利範圍： 於一視訊中切割出 一種應用於雨天環境的視訊物體切割方法， 一移動物體，包含： ⑻ 侧該視訊之一第一畫面而區分出__ 個非邊緣像素； 1豕京興複數 ⑼偵測該視訊於該第-晝面之_—第二晝喊區 數個邊緣像素與複數個非邊緣像素； • (c)比較該第一晝面的複數個邊緣像素與該第二晝面的複數個 構像素而區分成複數個靜止邊像素與複數個移動邊像 素，並產生至少一移動邊緣連通區域； (Φ依據步驟(c)之區分結果以決定該第一畫面中—移動物 體；以及 更新一背景成分。 _ •如請求項1所述之視訊物體切割方法，其另包含有·· ;執仃步驟(a)之前，使用一平滑濾波器(sm〇〇th filter)去除該第 思面中的雜訊與該第二畫面中的雜訊。 3 如 、、 凊求項1所述之視訊物體切割方法，其中步驟(幻包含： 執仃该第一晝面的導數運算以產生一第一梯度影像；以及 據4第一梯度影像決定該第一畫面的複數個邊緣像素。 4· 如上主、、 明求項1所述之視訊物體切割方法，其中步驟⑼包含： 42 200834459 以產生一第二梯度影像；以及 弟一晝面的複數個邊緣像素。 執行該第二晝面的導數運算 根據該帛二梯度影像決定該 t，1，之視訊物體切割方法，其中步驟⑹包含： 右 晝面與鱗二晝面姻位置之像素均被_為 ㈣素’職像讀分類為靜止邊像素；以及

   為=绪晝面與该第二晝面相同位置之像素分別被偵測 像素與—非邊緣像素，則該像素被分類為移動 •如睛求項5所述之視訊物體切割方法，其中人. e 4峨她伽素產^移 朗掃描式物體填補方法，先對該移動 ”像進仃一次橫向掃描，對每一扞中入协一 邊像素間之像素進行連接，接著 ^;移動 進行-次縱向掃描，對每，介:：=影像 像素進行連接 於—移動邊像素間之 横向掃描，對每二^移動邊像素影像進行另—次 連接，以區分出—輪域,移動邊像素間之像素進行 ，方法’其中步驟⑹另包^ W勤L之-背景亮度平均值、广. f景飽和度平均值、“ 4標準差、— ‘景色 用，7、Μ和度標準差 43 調平均值及-背景色調標準差。 據該第晝面被區分出的複數個移動邊像素產生一移 動邊像素影像，使用掃描式物體填補方法，先對該移 動k像素影像進行一次橫向掃描，每一行所掃描到的 一移動邊像素，與接續該移動邊像素後所掃描到的另 一移動邊像素之間的距離，若小於一預設距離，且介 於该二移動邊像素間的像素之亮度值、飽和度值及色 凋值與該背景亮度平均值、該背景飽和度平均值及該 背景色調平均值的差值分別大於該背景亮度標準差、 該背景飽和度標準差及該背景色調標準差，則對介於 该二移動邊像素間的像素進行連接，接著，對該移動 1像素影像進行-次縱向掃描，每—列所掃描到的一 私動邊像素，與接續該移動邊像素後所掃描到的另一 移動邊像紅__，若轉—預設_，且介於 該二移動邊像素間的像素之亮度值、飽和度值及色調 2與心景⑥度平均值、該背景飽和度平均值及該背 =色調平均值的差值分別大於該背景亮度標準差： 背景飽和度標準差及該背景色調標準差，卿介於= =2像素間的像素進行連接，接著，對_動= t像進行另—次橫向掃描，每―行所掃插到的一 素’與接續該移動邊像素後 移動邊像素之間的距離，若小於⑼力 該二移動邊像素間的像素之亮度值、、二 200834459 值與該背景亮度平均值、該背景飽和度平均值及該背 景色調平均值的差值分別大於該背景亮度標準差、該 背景飽和度標準差及該背景色調標準差，則對介於該 二移動邊像素間的像素進行連接，以區分出一輪廓區 域0 8·如請求項7所述之視訊物體切割方法，其中步驟(c3)包含： 將該第一畫面與該第二畫面的亮度部分進行晝面相減以產生 一亮度差值影像，對該亮度差值影像做直方圖分析，在一 免度範圍内選出具有像素數目最多的亮度，根據具有像素 數目最多的亮度之複數個像素，計算該背景亮度平均值與 該背景亮度標準差； 將該第一晝面與該第二畫面的飽和度部分進行晝面相減以產 生一飽和度差值影像，對該飽和度差值影像做直方圖分 析，在一飽和度範圍内選出具有像素數目最多的亮度，根 據具有像素數目最多的飽和度之複數個像素，計算該背景 飽和度平均值與該背景飽和度標準差；以及 將該第-晝面與該第二晝_色調部分進行晝面相減以產生 -色調差值影像，對該色調差值影像做直方圖分析，在一 色減圍内選出具有像素數目最多的色調，根據具有像素 數目最多的色調之複數個像素’計算該背景色調平均值與 該背景色調標準差。 〃 45 200834459 9 9·如請求項1所述之視訊物體切割方法，其中步驟⑼包含： (dl)偵測該第一晝面與該第二晝面之間的改變狀態； (d2)依據步驟(dl)之偵測結果將該第一晝面區分成一移動區 域、-靜止區域、-背景區域與-未遮背景區域；以及 (d3)依據步驟(d2)之區分結果以產生一初始物體遮罩。 (d4)將該至少一移動邊緣連通區域的複數個移動邊像素存入 一佇列(queue)中，當一成長區域的區域成長之像素種 子，其後’攸该j宁列中依序取出一像素種子，若所取出 ® 之該像素種子與一鄰近像素之像素值的差值小於一臨界 值’則將該鄰近像素歸類於該成長區域並存入仵列中繼 續區域成長，以產生該成長區域。 (d5)依據該成長區域與該初始物體遮罩以區分出該第一畫面 之該移動物體。 10·如請求項9所述之視訊物體切割方法，其中步驟(dl)包含： • (dla)偵測該第一晝面與該第二畫面之間的像素值差異；以 及 (dlb)摘測該第一晝面與該背景成份之間的像素值差異； 其中步驟(d2)係同時依據步驟(dla)與(dlb)之結果來進行處 理0 11·如請求項9所述之視訊物體切割方法，其中步驟(dl)包含： 分析該像素值差異之灰階差值分佈，以決定出像素數目最多 46 200834459 的一特定灰階差值； 根據該特定灰階差值以及對應該特定灰階差值的像素數目決 定對應一特定背景模型之一背景標準差；以及 根據該背景標準差將該第一晝面中的複數個像素進行分類。 12·如請求項9所述之視訊物體切割方法，其中步驟(d4)包含： 若從該佇列所取出之該像素種子之亮度值與該鄰近像素之亮 度值的差值小於一亮度臨界值，且該像素種子之亮度值 ® 與一背景亮度平均值的差值大於一背景亮度標準差，且 該鄰近像素之亮度值與該背景亮度平均值的差值大於該 背景亮度標準差，則將該鄰近像素歸類於該成長區域並 存入佇列中繼續區域成長。 13·如請求項12所述之視訊物體切割方法，包含： 將該第-晝面與該第二晝面的亮度部分進行晝面相減以產生 • 一亮度差值影像，對該亮度差值影像做直方圖分析，在 -亮度範圍内選出具有像素數目最多的亮度，根據具有 像素數目最多的亮度之複數個像素，計算該背景亮度平 均值與該背景亮度標準差。 14·如請求項13所述之視訊物體切割方法，包含： 若具有像素數目最多的亮度係為複數個亮度，則選擇具有嗜 複數個免度之隶大免度的複數個像素，計算該背，古产 47 200834459 平均值與該背景亮度標準差。 15·如請求項9所述之視訊物體切割方法，其中步驟(d4)包含： 若k邊佇列所取出之像素種子之飽和度值與該鄰近像素之飽 和度值的差值小於一飽和度臨界值，且該像素種子之飽 和度值與一背景飽和度平均值的差值大於一背景飽和度 標準差’且該鄰近像素之飽和度值與該背景飽和度平均 _ 值的差值大於該背景飽和度標準差，則將該鄰近像素歸 類於該成長區域並存入佇列中繼續區域成長。 16·如請求項15所述之視訊物體切割方法，包含： 將該第一晝面與該第二晝面的飽和度部分進行畫面相減以產 生一飽和度差值影像，對該飽和度差值影像做直方圖分 析’在一飽和度範圍内選出具有像素數目最多的亮度， 根據具有像素數目最多的飽和度之複數個像素，計算該 _ 背景飽和度平均值與該背景飽和度標準差。 17.如請求項所述之視訊物體切割方法，包含： 若具有像素數目最多的飽和度係為複數個飽和度，則選擇具 有該複數個飽和度之最大飽和度的複數個像素，計算該 背景飽和度平均值與該背景飽和度標準差。 18·如請求項9所述之視訊物體切割方法，其中步驟(d4)包含： 48 200834459 若從該佇列所取出之像素種子之色調值與該鄰近像素之色調 值的差值小於一色調臨界值，且該像素種子之色調值與 一背景色調平均值的差值大於一背景色調標準差，且該 鄰近像素之色調值與該背景色調平均值的差值大於該背 景色調標準差，則將該鄰近像素歸類於該成長區域並存 入佇列中繼續區域成長。 19·如請求項18所述之視訊物體切割方法，包含： 將該第-晝面與該第二畫面的色調部分進行畫面相減以產生 一色調差值影像，對該色調差值影像做直方圖分析，在 一色調範圍内選出具有像素數目最多的色調，根據具有 像素數目最多的色調之複數個像素，計算該背景色調平 均值與該背景色調標準差。 20·如凊求項19所述之視訊物體切割方法，包含·· 若具有像素數目最多的色調係為複數個色調，則選擇具有該 複數個色調之最大色調的複數個像素，計算該背景色調 平均值與該背景色調標準差。 /长員1所述之視訊物體切割方法，其中步驟⑻另包含·· 若該至少-移動邊緣連通區域之一移動邊緣連通區域之面積 j於面積臨界值，移除該移動邊緣連通區域。 49 200834459 22. 如請求項1所述之視訊物體切割方法，其中步驟(d)另包含： 消除該移動物體之輪廓的雜訊。 23. 如請求項1所述之視訊物體切割方法，其中步驟⑹另包含： 平滑該移動物體之輪廓的外圍。 十一、圖式:

   50