TWI376648B - Method and device for keeping image background by multiple gauss models - Google Patents

Description

1376648 六、發明說明： 【發明所屬之技術領域】 本發明係關於-種維持影像背景之方法與裝置，特肢一種利用複 數個高斯模型進行比對以維持影像背景之方法與裝置。 【先前技術】

現今在移動物_技術中，為了要在背景被改變的情況下仍可以正 確地標出雜碰’ f會使㈣級背景之技崎射景的改變來做 學習。由於無法直接判斷所輪人的像素屬於前景還是背景，一般都是 將所得到之像素皆加人背景模型中，再給予—對應之權重值。例如： 當該像素或銳像伽近之像素出現機輪為輕時，對應之權重值 也會較大。職值可依-臨界值作判_像素分為兩類，其中較大者 做為背景’較小者則為前景。依此不斷更新背景並分割出前景以標示 出移動物體。 然而’前景可能因為停留時間太久而直接學習入背景之中，或是邊 緣顏色過於相近於背景而逐漸改難景齡，造成前景的誤屮為改 善此問題，常見之移動物偵測方法為背景減除法。如第i圖所示，首 先在畫面中沒錄體移動時對畫面娜-張_做為背景，接下來將 每張圖片都射景相減並取其絕對值，若有物體進人畫面中，就可依 照相減所得影像取出物體。 另外當背景受到光源、 背景亦能隨著實際狀況而改 風或海浪等外來新的背景影響時，為了讓 變，另有使用適應性背景之技術針對背爭 3 改變來做學f。—般較常用之方式為混合高斯模型的學習法。混合高 斯模型就是將背景上的每個像素都錄個高斯分布來表示，並包含一 平句值和協方差。方以RGB色彩方式表示，則平均值就是像素咖 值，協方差就是該高斯分布所涵蓋的範圍。混合高斯模_學習方法 中，每-高斯分布對應一權重值，所有的高斯分布可能包含前景和背 景，利用權重值的大小來區分二者。 如第2圖流程圖所示，例如：當一幅新的圖片進來，會先做一次高 斯模糊’單去除部分雜訊的清，接翻斷新進來的影像像素 是否符合背景上的數個高斯分布，若符合酿升該分布職並以此像 素更新該问斯^布，也就是更新平均值和龄差；若不符合則建立— 個新的高斯分布在背景模财並取代權重最小之高斯分布，以新的像 素來初始化這個问斯分布。料舰所有分布權重定丨—侧值來區 分出屬於背景的分布’並以該些被認^^背景的分布來處理輸入的 圖像，將前景分割出來做後續的移動物標示。 综上所述’綱上述二種方式，維射景影縣無法精確有效 解決因前景存在時間太長或前景邊緣與背景色敎過接近而造成背景 子省之誤判。因為剛景存在時間太長，權重也隨之升高，有可能會被 誤判為背景。而與背景接近的邊緣色彩’若被判定為屬於背景的高斯 分布’會改變高斯分布的平均值，而使背景顏色和前景相近，造成誤 判的發生。·如何維射景而不被前景人錢_免上述存在之問 題，係為本案發明人及從事此相關行業之技術領域者，亟欲改善之課 1376648 【發明内容】 有鋥於此本發明之目的在於提供—翻帛複數個高斯模型以維持 〜像旁①之方法與裝置。透過主高斯模型建立並轉影像背景再利 用二個次高斯模型進行比對，當比對結果屬於背景資訊時，將此次高 斯&型學習至主高斯模型中，以更新影像背景。 為達上述目的’本發明提供—種彻複數個高斯模型以維持影像 月景之方法’其中方法包括下列步轉· a娜包含複數個像素之影像晝 2用以獲得背景資訊；b·計算背景資訊以建立主高斯模型；c.揭取固 =時間間隔内複數個連續影像晝面，用以獲得圖像資訊，並計算圖像 貧訊以建立次高斯模型；d.重複步驟c·建立複數個次高斯模型；及6 比較一個次高斯模型，若判斷二個次高斯模型所對應之圖像資訊皆屬 於背豕育訊時，則以此次高斯模型更新主高斯模型的學習；若判斷二 做高斯模型所對應谓_至少-者神景資訊時，則不更新: 问斯模型的學f .，㈣持主高斯麵之背景資訊。 為加強維持影像背景之精確度，在利用複數高斯模型以維持影像背 景之方法，可在計算f景資訊建立主高斯模型後，利用畫面差值法得 到一移動物體邊緣，並將此邊緣紀錄。當主高斯模型進行學習時會略 過該移動物體邊緣。避免邊緣射景過於树導致學壯之誤判。 2上述目的，本㈣贿供—_賴_高麵抛維持影像 、、置，包含顧取模組，計算模組，儲存模組，及學習模組。苴 中撕含複數繼之爾面，用鳴背景資訊，' 固定時_數個物編，肋嶋數個圖像資 ^76648 訊；計算模組，連接於操取模組，用以計算背景資訊以建立主高斯模 型，以及計算該等圖像f訊以建立複數個次高斯模型；儲存模組連 接於該計算模組，健存所建立之主高斯模型與次高斯模型，及學習模 •’且連接於贿n與儲存模蝴為-雙_輸制來比較二個 人问斯換型’判斷結果二個次高斯模型所對應之圖像資訊皆層於該背 景資訊時，1彳轉次高賴《新主高賴_學習，並將-更新學 習結果儲存靖絲組，若觸鱗次騎_賴叙圖像資訊至 少者非月景資訊時，則不更新主高斯模型的學習，而維持主高斯模 型之背景資訊。 本發明係先建立主高賴型m彡像後，再透過複數個次高斯 模型取其二個比對。當喊定次高斯模型之圖像資訊為背景資訊時，才 將此-人问斯㈣學習至主高斯麵，避免先學習錢再依權重判斷背 景與前景所造成之誤差。 有關本發明之較佳實施例及其功效’兹配合圖式說明如后。 【實施方式】 ”月參‘”、第3圖及第4圖。第3圖係為本發明之第一實施例方法流程 圖。第4圖縣本翻之高斯模鮮習示意圖。 為了月b更精準地維持影像背景’本發明提出-種利用複數高斯模型 以維持影像背景之方法，包含以下步驟： S10 .擁取包含複數個像素之影像晝面。娜影像晝面可應用於例 i視益系統° §監視11開啟之後，便會開始擷取畫面，而此畫面 、實疋由縣圖像所構成。每一張圖像又由複數個像素所組成。因 6 xj76648 此當監視器開啟後所接收之畫面可選擇某一起始時間為建構影像背景 之初始點。 舉例而έ ’方監視器所接收之畫面為一空白牆面，且無其他任何移 動物及固定物，此時若選觸始建射景影像縣該空⑽面；若在 未建構背景雜前，在此牆面上掛上—幅畫，並於之後關始建構背 ί影像，則此背景影像為包括該幅畫之牆面。 S12 .獲得#景資訊。當確定背景影像之後此時便可獲得由複數 個像素所構狀影像背景資訊。背景資縫不紐於任何—種色彩表 不方式。常見有以RGB之方式表示者，另外亦可採用或是γ(^ 方式表示。 利用RGB主要是將三種原色的光以不同的比顺成，形成各種顏 色的光’亦是常見表示色㈣訊之方式 例如於24位元模式下，用每 像素24位兀(bpp)編碼的RGB值是使用表示紅色 '綠色和藍色強度 的三個8-位元無符號整數(〇財255)來指定。 νυν，是-種顏色編碼方法。編譯true_c〇1〇r顏色空間（c〇1〇r印财） 的種類’ Y’UV，YUV，YCbO, YPbPr· f：專有名卿可⑽為Yuy。「γ」 表示明亮度（Luminance、Luma) ’「U」和「V」則是色度、濃度 (Chrominance、Chroma)。同時不同色彩表示方法間亦可做轉換，例 如可將YUV表示方式轉換為RGB表示方式。 YCbCr是一種絕對色彩空間，是γυν壓縮和偏移的版本。YCb(：r 的γ與yuv中的γ含義一致，Cb和(^與^^同樣都指色彩，cb 指藍色色度，Cr指紅色色度。與上相同者，亦可與RGB間做轉換。 7 S14 :計算背景資訊以建立主高斯麵。當選擇某—種色彩表示方 式後4算每個像素上之色彩資訊建立高斯模型^例如以RGB表示方 式’此時計算背景上每個像素上之RGB資訊，並以高斯分佈來表示， 其中包3 +均值及協方差。平均健是像素RGB值，協方差就是該 问斯刀。卩所涵A的範圍。由每—像素上之高斯分部構成背景資訊整體 之主高斯模型。 .S16 ··擷取-段時間内複數個連續影像畫面，獲得圖像資訊。當確 定背景影像之主高斯翻後，此時開始擷取於—@定時㈣之影像晝 面’以獲得圖像資訊。在映時_之影像，亦為—張張圖像所構成， 而每張圖像又域數轉麵喊。與獲得背景倾姻者，此時對 於固定時間内所齡之影像亦可選擇色彩之表示方式。然而由於此 資訊將可能成為背景資訊所建立之主高斯模型學習對象，故選擇與背 景資訊色彩表示方式姻者’可省略不同色絲示方式間之轉換步驟。 S18 :重賴取圖像f訊，計算建立複數個次高斯模 型。當獲得-m定咖⑽娜之圖像f訊後，便可計算此_資訊 以建立複數個次高斯翻。與主高斯模财同者，次高斯模型將隨著 時間不斷產生。例如於固定1秒内賴取之圖像資訊計算得—次高斯 模型，隋著時間變化，一分鐘内將建立60個次高斯模型。 S20 :比較二個次高斯模型是否屬於背景資訊。當建立超過二個以 上之次高斯模型後，便可將二個次高斯模型做比較，判斷二者是否皆 屬於背景資訊。判斷方式可其中之—次高斯模型所包含之圖^ 訊平均值是否落人另-比對圖像資訊之協方差—定比例中。若有，則 6忍疋兩者Μ於背景資訊’主高斯模型對此做學習。反之，則不做學 習。 選擇哪二個次高斯模型做比較係認定新進影像存在多久應被認定 為背景之考量。例如：選擇相鄰之二個次高斯模型做比較，此時因兩 者為相鄰關係’時間間隔較短，因此比較後較可能皆被認定為屬於背 景資訊’主高斯模型對此次高斯模型做學習。若選擇相間隔之次高斯 模型做比較隔時間較長，表示新進影像應存在較久時間才可能 被判讀屬於背景資訊。 如第4圖所示’即利用二個相間隔之次高斯模型比較示意圖。高斯 模型㈧(B)(C)(D)皆由g]定之相_間議取連續影像，計算該圖像資 訊所獲得。假設隨著時間變化建立次高斯模型⑷〜(D)為一個週期，則 以次高斯模型(A)與次高斯(〇做啸；次高龍型⑻與次高斯模 型(D)做比較。而前—週期之次高斯模型(〇則與下_週期之次高斯模型 (A)做比較，隨著時間不斷比對以維持影像背景之更新❶ S201 :圖像資訊料於背景f訊。比較兩個次高斯模型，例如選 擇兩個相間隔之次高斯模型比較，如第4圖所示。當次高斯模型之 圖像資訊之平均值落人次高斯模雖)之龄差_定_中丨或次高斯 模型(A)之圓像資訊之平均值落入次高斯模型(c)之協方差一定比例中 時’則認定兩者皆屬於背景資訊。 S203 :以次高賴型更新主高斯難的學習。例如選擇兩個相間 隔之次高斯模型比較’如第4圖所示。當次高斯模型⑷與次高斯模型 (C)做比較後’認定屬於背景資訊時，將次高斯模型⑷更新至背景資訊 之主高斯断；當蝴翻(驗高觸雖)齡較後，認定屬 於背景_ ’將_模_更_景魏之_模型中。以 此不間斷地轉影像背景之更新與學習。 S205 .删除已學習之次高斯模型。次高斯模型之建立是存在記憶 體之暫存财^^魏雜猶4；^_桃_立之次高斯模 '兀亚更新至主⑺斯板型之次高斯模型，將從記憶體中刪除。 例如前步驟S203中，攻离胳抬 问斯杈型(A)與次高斯模型(C)比較後，認定皆 屬於背抒訊時，將次高斯模型(敬新至背景資訊之主高斯模型中 後刪除-人同斯換型(A>次高斯模型(c)則與下_週期之次高斯模型⑷ 比較之後，才會從記憶體中刪除。 S2G2:至少—圖像資訊非屬背景資訊。承步驟S20,比較兩個次高 斯模型，若其中之-次高斯模型所包含之圖像資訊平均值未落入另— 比對圖像資訊之龄差_定_中，職認定至少—麟資訊非屬背 景資訊。 S2〇4.不更駐高斯模獅學習。承前_轉，此時主高斯模 型則不作任何更新動作。 S206 :删除已比較完成之次高斯模型。例如選擇相間隔之二個次 高斯模型比較，當次高斯觀⑷與次高龍型(〇做比雛，認定非屬 於背景資訊時，將次高斯模型(A)自記麵㈣除。次高斯模型(c)則與 下週期之次向斯模型(A)比較之後，才會從記憶體中删除。 晴參照第3圖及第5圖。第3 ®係為本發明之第―實施例方法流程 圖第5圖係為畫面差值法(FrameDifference)原理示意圖。 1376648 彻複數间斯模型维持影像背景之方法，於步驟s】4建立主高斯 換里後’更可包括利用_畫面差值法，使主高斯模型學習時略過移動 物體邊緣，避免誤判之產生。 此方法在上料景_ _咖F_ Differenee，結果會如第5蘭 圖的右圖’得到移動物體的邊緣，我們記錄此區塊，在背景學習時姚 過此區域，即可以有效防止前景邊緣與背景接近的色彩的人侵，而因 此更新背景造成錯誤。其餘步驟則與第一實施例相同，於此不另重述。 。月參如第6圖。第6圖係為本發明之第二實施例裝置示意圖。 本發明亦提出-種利用複數高斯模型以維持影像背景之裝置3，包 括：操取触30，計算模組32，儲存模組34，及學習模組％。 擷取模組30係掏取包含複數個像素之影像畫面，用以獲得一背景 資訊與齡-固定時間内複數個連續該影像畫面，用以獲得複數圖像 資訊。例如應用於—監視器中，利用練模組30將影像畫面榻取。所 擷取之影像畫面可解析出—開始所建構之背景資訊，及新進物體進入 後之複數個圖像資訊。 背景資訊及圖像資訊其實就是由一張張圖像所構成之影像，而該些 圖又由複數個像素所减。每個像封糖色彩表示的方法，例如常 見之RGB谢j方法，或是彻，職中該些麵方法間亦 可互相轉換，並秘限於麟任—種表示方式。 計算模組32 ’連接於該齡模组3〇，將娜模組3〇所得之資訊傳 輸至計算模組32 ’透過計算· 32計算背景:纽鱗立-主高斯模 型，以及計算該等圖像f訊以建立複數個次高斯模型。例如：選擇以 11 1376648 RGB方式表㈣，所建立之高_動之高斯分佈包括有—平均值及 一協方差資訊。 儲存模組34 ’連接於該計算模組32，把利用計算模組幻所建立 之主高斯模型與該等次高斯模型儲存於内。

子習核組36 ’連接於該儲存模組％，與該儲存敝％間為—雙向 傳輸。首先由错存模組34取出二個次高斯模型，‘紐透過學習模^ 進行比較當判斷此二個次高斯模型所對應之圖像資訊皆屬於背景資 訊時’則以該次高斯模型更新主高斯觀的學習，並將更新學習結果 傳輸至儲存做34，儲存更新後之主高斯_所對應之影像背綠 讯。若判斷二個次高斯模型所對應之圖像資訊至少一者非背景資訊 時’則不更新主高斯模型的學習，而維持該主高斯模型之背景資訊。

判斷方式為其中之-次高斯模型所包含之圖像資訊平均值是否落 ^另-比像資訊之協方差—定比财，_定兩者皆屬於 背景資訊，主高斯模型對此做學習。.反之.，則不做學習。 選擇二個次高斯模型做比較’可以選擇相鄰或相間隔之二個次高斯 模型進行比較’其考量與第—實施例相同，於此不另重述。 在傳統的昆合高斯中，背景會對每個圖像的所有像素來做學習，不 官像素是屬於前景或是背^因此存在時間過久的前景將會對背景的 更新學習造成誤判。以本發明所提出之方法與裝置做學習，可將主高 斯分布的學前景隔絕開來’背景的學習將不易受前f影響，如此 以來，主高斯模型對於背景的學習會更佳的精確，分割前景發生誤判 的機會也相對減少。 12 1376648 雖本發明的技術内容已以較佳實施例揭露如上，财並非用以限定 本發明，任何《此者，在不脫離本㈣之精神所料許之更動 與濁飾’編獅侧範杯叫恢贿範圍當視後 附之申請專利範圍所界定者為準。 【圖式簡單說明】 第1圖係為習知之背景減除法原理示意圖。

第2圖係為習知之混合高斯模型學習方法之流程圖。 第3圖係為本發明之第一實施例方法流程圖。 第4圖係為本發明之高斯模型學習示意圖。 第5圖係為畫面差值法(FrameDifference)原理示意圖。 第6圖係為本發明之第二實施例裝置示意圖。

【主要元件符號說明】 3 裝置本體 30 類取模組 32 計算模組 34 储存模組 36 學習模組 13

Claims (1)

1376648 七 申請專利範圍： !.-種利用複數高斯模型以維持影像背景之方法，包括下列步驟 土操取包含複數個像素之-影像畫面，用以獲得-背景資訊； b_計算該背景資訊以建立—主高斯模型； C·娜一時間間隔魄數個連續該影像畫面，用以獲得-圖像資 訊，並计具該圖像資訊以建立一次高斯模型； d.重複步驟e.建立複數健次高斯模型；及 咖，軸#蝴_崎應之圖像資 層於該”、綱，則以該次高斯模型更新該主高斯模型的學習，若 判斷該等“繼撕賴H倾 齬兮士-⑽， 有非4景貰訊時，則不更 新该主南斯模型的學習，而維持該主高斯模型之該背景資訊。 2. 如請求項！所述之利用複數高斯模型以維持影像背景之方法1中該办 景資訊與制像f訊仙—YUy冑斯分布絲。 “ 3. 如。月求項1所述之利用複數高斯模型以維持影像背景之方法，其中該背 景資訊與該圖像資訊係以- YCbCr高斯分布表示。 月 4. 如=求们所述之糊複數高賴型韓持#彡料景之方法，其中該背 景貧訊與該圖像資訊係以一 RGB高斯分布表示。 月 5·如請求項4 _靡麵斯她_像槪咏I 南^\布包括-平均值及一協方差，該平均值係該等像素之腳值該 差係該等像素的該RGB高斯分布所涵蓋之範圍。 &如請求項5鞭_觀斯她梅峨吻，其中雜 等次雨斯模型所對應之圖像資訊皆屬於該背景資訊係指其中之一該圖像 ^76648 貧訊之該平均值m圖像f訊之該協方差比例中。 7·如叫求項1所叙姻複數高斯觀以轉影像背景之 個該等次高斯模型係指比較相鄰之該等次高斯模型。其中比較- 8. 如請求項I所述之_複數高斯模独維持影像背景 個該等次高斯模型係指比較相間隔之該等次高斯模型。-中比較- 9. 如請求们所叙複數高斯模抛維贿像背景 驟b.後，.利用一書法，更包括在步 ⑽二二 —以得到，物體邊緣， «祕物體邊緣後，於該主高龍型學科略過麵 心請求物㈣職高斯她維細咖辦，其^用 該畫面差值法係以該影像畫面中建立、 者間該等像素之差值。 ⑴旦框及―參考晝框並計算二 U.:求二所述之湘複數高斯模型以維持影像背景之方法，其中更包 12-種且有^㈣驗趨欠高斯模型。 .種,、有獲數南斯模型以维持影像背.景的裝置，其包括： 旦：一操取模組，細取包含複數個像素之-影像畫面，用以獲得一背 景資訊與擷取一時間内複數個 嗜林像畫面’用以獲得複數圖像資訊，· 二=:=:"，該_訊•主高斯 …、圖像資訊以建立複數個次高斯模型； 一儲存模組，連接於該計算模紐， 等次高斯模型，·及 ，飾所建立之該主高斯模型與該 係比較二個該等次高斯模型，判斷該等次 一學習模組，連接於該儲存模組， 與該儲存模組間為一雙向傳輸， 兩斯模型所對應之圖像資訊皆 】5 1376648 屬於該背景資訊時，則以該次高斯模型更新該主高斯模型的學習，並將 I更新學習結果_於該儲存模组，若判斷該等次高斯模型所對應之圖 •象_少—者崎景資訊時，辭更新該主高斯模型剛，而維 持該主南斯模型之該背景資訊。 13^請求項12所述之具有複數高斯模型以維持影像背景的裝置，其中該背 景資訊與辦_像資訊細-νυν高斯分布表示。 μ姆如2觸之具有·高斯她_繼㈣其中該背 景貧訊與該等圖像資訊係以- YCbCr高斯分布表示。 15:請求項12所述之具有複數高斯模型以維持影像背景的裝置，其中該背 景資訊與該等圓像資訊係以一 RGB高斯分布表示。 I6.如請求項丨5所述之具有複數高斯模型以維持影像背景的裝置，其中該 RGB高斯分布包括—平均值及—協方差，該平均值係該等像素之㈣ 值，該協方差係該等像素的該RGB高斯分布所涵蓋之範圍。 鲁Π·如請求項Μ所述之具有複數高斯模型以維持.影像背景的裝置其中判斷 該等次高斯模型所對應之圖像資訊皆屬於該背景資訊係指其中之一該圖 像.資訊之該平職m圖㈣訊之該財差—定比例之中。 、π.如請求項u騎之具有減高賴型卿縣像背景的裝置，其中比較 二個該等次高斯模型係指比較相鄰之該等次高斯模型。 .19.如請求項12所述之具有複數高斯模独維持影像背景的裝置，其中比較 二個該等次高斯模型係指比較相間隔之該等次高斯模型。