201120816 六、發明說明： 【發明所屬之技術領域】 本發明係有關一種圖像處理裝置及圖像處理方法、以及 . 私式，特別是在自輸入圖像生成目標區域與背景區域之二 . 値遮罩圖像時，除可使處理高速之外，又可省記憶體地予 以貫現之圖像處理裝置及圖像處理方法、以及程式。 【先前技術】 用以c得私疋圖像内之目標區域與背景區域之二値遮罩 圖像的處理，稱為圖像分割處理。作為此圖像分割處理之 一種手法，已知的是圖分割法（參見非專利文獻υ。 此一圖分割法係將圖像整體，以取圖像之色分布與邊之 資訊作為能量的圖形構造表示，並將其作為最大流 (二xflow)問題解析之’以能量成為最小之方式將❹與^之 標5己分配而求得二値遮罩圖像。 然而，就所有像素，為將此圖構造保持於記憶體上，記 憶體使用量非f之大’處理之圖像之解像度有其限度。 料此問題之方法之―，已有將圖分割法非以像素之單 位而疋以像素集合等之小區域此類稍大之粒度，予以處理 之構想。 制法’不受圖形之節點間之連接狀_ 置換U接，因此可僅藉自由地構築小區域將像素 邊處所設定之r曰 接L惟’就圖形之節點與 算。 之…需要利用與像素單位不同之方法計 147273.doc 201120816 定義此類小區域集合而應用圖分割法之方法（參見非專 利文獻2及專利文獻丨）已有提案。根據此一方法，像素間 相鄰能量與概似度能量係使用小區域之平均色求得。 於此手法中，係藉由將圖分割法以較像素個數為少之小 區域單位進行而節省記憶體，且可實現高速化，並減輕2 種能量之計算量。 [先行技術文獻] [專利文獻] 專利文獻 1 : "Systems and methods for image data separation", EP 1 624 413 A2 (2006/6) [非專利文獻] 非專利文獻1:”八11£乂卩61^11^1^1€〇11^&1^〇11(^]^11-Cut/Max-Flow Algorithms for Energy Minimization in Vision (2004), Yuri Boykov, Vladimir Kolmogorov, IEEE Transactions on Pattern Analysis and Machine Intelligence 非專利文獻2 : "Lazy snapping”（2004)，Yin Li, Jian Sun，
Chi-Keung Tang, Heung-Yeung Shum, ACM Transaction. Graphics. 【發明内容】 [發明所欲解決之問題] 然而’非專利文獻2及專利文獻1中所提案之手法中，因 兩個能量均是使用小區域之平均色計算，因此與以像素單 位計异者相比其差增大，而有圖分割法處理結果之二値遮 罩圖像無法方便地求得之情況。 147273.doc 201120816 本發明係有鑑此等狀況完成者，其目 入圖像生成包含目標區域與背景域 --種自輸 , 域之二値遮罩圖像時， :使處理高速化，並可以省記憶體之方式實現，而且即使 «分割法般之圖像分割處理以小區域#_，仍Μ 得與像素單位相同之結果。 f解決問題之技術手段] 成態樣之圖像處理裝置，其係輸出將圖像分離 成U景區域之二値遮罩圖像者，且包含：獲取上述 圖像'與上述圖像中分類成目標區域、背景區域及其以外 之區域的三相圖圖像之三相圖圖像獲取機構；基於上述像 f間之相關性將上述圖像内之像素分類，而分割成小區域 术合之事前分割機構，·基於上述小區域集合中相鄰之小區 域對的邊界附近之像素集合的像素値之差分，計算小區域 相鄰能量之小區域相鄰能量計算機構；基於上述三相圖圖 像^擇上述小區域集合之上述目標區域及背景區域、構 築機率模型函數，並使用上述機率模型函數，針對上述小 區域集合求什目標概似度及背景概似度，並由上述目標概 似度及上述背景概似度而計算小區域概似度能量之小^域 概似度能量計算機構；使用上述小區域相鄰能量與上述小 區域概似度能量’將上述圖像分割成上述前景及上述背景 之二値遮罩圖像之分割機構；及將由上述分割機構所分割 之上述一値遮罩圖像予以輸出之輸出機構。 上述小區域概似度能量計算機構可使用利用各上述小區 域集合之加權平均色的上述機率模型函數，計算上述目標 U7273.doc 201120816 概似度與上述背景概似度。 上述事前分割機構可進一步包含：針對上述圖像中之各 像素，將在光域掃描之順向成為像素値之極小値的像素設 定成上述小區域中心候選像素後，針對上述小區域中心候 選像素，將在上述光域掃描之逆向成為極小値之像素作為 上述小區域中心予以選擇之小區域中心選擇機構。 上述小區域中心選擇機構可進一步包含：將上述圖像微 分處理之微分處理機構；且，針對由上述微分處理機構所 微分處理之圖像的各像素之像素値，將所期望之臨限值以 下的像素値設為0，而減少上述小區域中心之個數並予以 輸出。 將上述小區域之擴大 之小區域擴大處理機 上述事前分割機構可進一步包含： 的順序設定成量子化之像素値的升序 構。 、本發明之-態樣之圖像處理方法係用於輸出將圖像分離 成目標與背景區域之二値遮罩圖像的圖像處理裝置者，且 ^含：獲取上述圖[與上述圖像中之分類成目標區域、 月景區域及其以外之區域的三相圖圖像之三相圖圖像獲取 步驟；基於上述像素間之相關性將上述圖像内之像素分 類，而分割成小區域集合之事前分割步驟；基於上述小區 域集合中相鄰之何域對的邊界料之像素集合的像素値 :刀汁开小區域相鄰能量之小區域相鄰能量計算步 驟；基於上述三相圖圖傻 αα像選擇上述小區域集合之上述目 標區域及背景區域、.構築機率模型函數，並使用上述機率 147273.doc 201120816 標概似度及背景概 概似度而計算小區 步驟；使用上述小 ’將上述圖像分割 模型函數，針對上述小區域集合求得目 似度，並由上述目標概似度及上述背景 域概似度能量之小區域概似度能量計算 區域相鄰能量與上述小區域概似度能量 成上述前景及上述背景之二値遮罩圖像之分割步驟；及將 由上述分割步驟之處理所分割之上述二値遮罩圖像予以輸 出之輸出步驟。 本發明之-態樣之程式，其係使控制圖像處理裝置之電 腦執行處理者，該圖像處理裝置係輪“圖像分離成目標 與背景區域之二値遮罩圖像者；該處理包含：獲取上述圖 像、與上述圖像中之分類成目標區域、背景區域及其以外 之區域的三相圖圖像之三相圖圖像獲取步驟；基於上述像 素間之相關性將上述圖像内之像素分類，而分割成小區域 集合之事前分割步驟；基於上述小區域集合中相鄰之小區 域對的邊界附近之像素集合的像素値之差分，計算小區域 相鄰能量之小區域相鄰能量計算步驟；基於上述三相圖圖 像，選擇上述小區域集合之上述目標區域及背景區域、構 築機率模型函數’並使用上述機率模型函數，針對各上述 小區域集合求得目標概似度及背景概似度，並由上述目標 概似度及上述背景概似度而計算小區域概似度能量之小區 域概似度能量計算步驟；使用上述小區域相鄰能量與上述 小區域概似度能量’將上述圖像分割成上述前景及 b 景之二値遮罩圖像之分割步驟；及將由上述分割步驟之處 理所分割之上述二値遮罩圖像予以輸出之輸出步驟。 147273.doc 201120816 本發明之-態樣中，係獲取上述圖像、與上述圖像中分 ^成目&區域、背景區域及其以外之區域的三相圖圖像； 土於上述像素間之相關性將上述圖像内之像素分類，而分 割成小區域集合；基於上述小區域集合中相鄰之小區域對 的邊界附近之像+隹八认你主，士 2 豕言本口的像素値之差分，計算小區域相鄰 能量；基於上述三相圖圖像，選擇上述小區域集合之上述 目‘區域及月豕區域、構築機率模型函數，並使用上述機 率模里ei» It #對上述小區域集合求得目標概似度及背景 概似度，並由上述目標概似度及上述背景概似度而計算: 區域概似度能量；使用上述小區域相鄰能量與上述小區域 概似度能量，將上述圖像分割成上述前景及上述背景之二 値遮罩圖像；以及將由上述分割機構所分割之上述二 罩圖像予以輸出。 ~ [發明之效果] 根據本心明，即使以小區域單位進行如圖分割法般之圖 像分割處理，仍可獲得與像素單位相同般之結果。 【實施方式】 [圖像分割裝置之構成例] 圖1係應用本發明之圖像分割裝置之一實施形態的構成 例圖。 圖像分割裝置1係使用輸入圖像、以及該輸入圖像之像 素分類成目標像素、背景像素、其以外之像素的任—者而 成之三相圖圖像，將輸入圖像變換成由複數之像素所構成 的小區域之集合所形成的圖像。此外，圖像分割裝置工係 147273.doc 201120816 以其小區域夕g〜上 位八離# 于圖像分割’即’將圖像以小區域單 位刀離成目標傲择 “月景’而生成二値遮罩圖像予以輸出。 圖像刀割裝置1具備 -備.輪入圖像獲取部η、三相圖圖像 &取。川、事前分割執行部13、小區域相鄰能量計算部 、小區域概似度能量計算部15、分割執行部16及輸出部 17° 义二圖像獲取部“係獲取—般之輸人圖像，並供給於事 則刀』執仃部13。三相圖圖像獲取部12係獲取包含輸入圖 像與輪入圖像之像素分類成目標像素、背景像素、其以 外之像素的任—者的資訊之三相圖圖I，並供給至小區域 概似度能量計算部丨5。 事前分割執行部13首先將供給而來之輸入圖像分割成包 含複數個相鄰像素之小區域。而後，事前分割執行部13係 就各小區域設定小區域ID(identifier)而生成小區域ι〇圖， 並供給至小區域相鄰能量計算部14及小區域概似度能量計 算部15。此時’事前分割執行部13係與小區域出圖一起， 將輸入圖像亦供給於小區域相鄰能量計算部14及小區域概 似度能量計算部15。又，事前分割執行部13之詳細構成， 配合圖2容後述之。 小區域相鄰能量計算部14係基於識別各小區域之小區域 ID所構成之小區域ID圖、及輸入圖像，根據位於小區域間 之邊界的像素間之像素値而求取相鄰能量，並將此等小區 域份之加算値作為小區域相鄰能量計算。小區域相鄰能量 計算部14係將計算之小區域相鄰能量供給至分割執行部 147273.doc 201120816 16 ° 小區域概似度能量計算部1 5 ’係根據自事前分割執行部 13所供給之輸入圖像及小區域①圖、與來自三相圖圖像獲 取部12之三相圖圖像，而計算小區域概似度接能量。 更詳細言之，小區域概似度能量計算部丨5具備：約束區 域設定部3 1、代表色計算部32、目標概似度計算部33及背 景概似度計算部34。約束區域設定部3丨係將包含目標圖像 之像素的小區域約束於目標圖像，將包含背景圖像之像素 的小區域約束於背景圖像，針對包含任一圖像之像素的小 區域，不矛盾地分割小區域，或是任其不受任一者之約 束。代表色計算部32，係將構成小區域之像素的色資訊之 加權平均，作為小區域之代表色求得。目標概似度計算部 33係求得約束於目標圖像之小區域單位的高斯機率模型之 函數，使用其高斯機率模型之函數將目標之概似度作為目 標概似度計算。背景概似度計算部34，係求得約束於背景 圖像之小區域單位的高斯機率模型之函數，使用其高斯機 率模型之函數，將背景之概似度作為背景概似度計算。 之後小區域概似度能量計算部1 5係自約束於目標圖像 2小區域之目標概似度、與約束於背景圖像之小區域之背 $概似度，計算小區域概似度能量。小區域概似度能量計 异部15係將計算之小區域概似度能量供給於分割執行部 16又，就小區域相鄰能量及小區域概似度接能量，其細 節請容後述。 ~ ' °'執行。卩1 6，係獲取自小區域相鄰能量計算部】4及小 147273.doc 201120816 區域概似度能量計算部丨5供給而來之輸入圖像、小區域工〇 圖、小區域相鄰能量及小區域概似度能量。而後，分割執 行416係實施圖像分割’並基於輸人圖像、小區域①圖' 小區域相鄰能量及小區域概似度能量而生成二値遮罩圖 像，並供給至輸出部17。 輸出邠17係將供給而來之二値遮罩圖像作為處理結果輸 出。 [事前分割執行部之構成例] 其次，參照圖2說明事前分割執行部13之詳細構成。 J刀。〗執行部13具備：圖像獲取部61、小區域中心選 擇。卩62小區域ID附加部63、小區域擴大處理部64及小區 域ID圖輸出部65。 圖像獲取部61係獲取輸入圖像，並供給至小區域中心選 擇部62。小區域中心選擇部62具備：微分圖像生成部81、 極小値判定部82及極小値圖像生成部83。小區域中心選擇 4 62在自輸入圖像構成小區域時，係選擇成為中心之像 素。更4細而言，微分圖像生成部81係例如為s〇bel演算子 濾波器等，其可處理輸入圖像之各像素而生成微分圖像。 極】値判定部82係自將微分圖像之各像素依光域掃描順序 相郴化之像素間的像素値之差分，檢出極小値像素。極小 値圖像生成部83係從由極小値判定部82判定為極小値之像 素生成極小値圖像。極小値判定部82係將極小値圖像供給 至小區域ID附加部63。 小區域ID附加部63係將作為自小區域中心選擇部62供給 147273.doc 201120816 而來之極小値圖像之極小値而設定之各像素，視為作為小 區域中心所選擇之像素，對於作為小區域中心選擇之各像 素附加小區域m，*生成初始小區域糊^又，小區域出 附加部6 3係將生成之初始小區r D圖與輸人圖像供給至小區 域擴大處理部64。 小區域擴大處理部64料對自初則、區域m圖作為小區 域中心所選擇之各像素，藉由對純像素値之升序未作為 J區域中心所選擇之像素徐徐傳播以小區域⑴，而自小區 域中心擴大小區域，而生成小區域则。又，小區域擴大 處理部6 4，1 系d定>4* i '、、生成之小區域ID圖與輸入圖像供給至小區 域1D圖輸出部65。小區域⑴圖輸出部^係將生成之小區域 出圖與輸人圖像供給至小㈣相鄰能量計算部1 概似度能量計算部15。 域 [有關圖像分割處理] ^ 乂圖3之流程圖，就圖像分割處理説明之。 Λ二你W中，輸入圖像獲取部U係獲取一般之圖像作為輸 入圖像，並供级E 士 ，、、、Ό至事前分割執行部13。作為一般之輸入圖 像’例如可為圖 _ 左側部所示之圖像。圖4之左側部中，俜 顯不風蝶停駐在簦工 牙、 中，此— 在葉子上的狀態之圖像。又，以下之敘述 κ ,,几蝶係作為輸入圖像中之目標圖像，其以外之圖 1冢马矛景圖像 同你 乂此進行説明。惟，輸入圖像並不限於此 —圖像，也可Α甘、 ^ ^ 钓/、以外之圖像。又’針對目標圖像亦同， 不限於風蝶，亦 j Γ為其以外之圖像。 步驟S2中，：士 —相圖圖像獲取部12係獲取輸入圖像之像素 147273.doc •12- 201120816 目標像素、背景像素、其以外之像素的任一者而 目：圖像’並供給於小區域概似度能量計算部η。 而《，二相圖圖像例如係於^ ^ ^ ^ ^ ^ ^ ^ 風蝶的輪靡w、 將作為目裇之 邪。”刀以特定粗度之觸控筆等臨摹所構成之圖 筆勺帛况下’構成目標圖像之區域之像素，為以觸控 二二側的風蝶之區域的像素。又，背景圖像係未以 上=界外側的區域之像素’此外，即在觸控筆之線 1之區域的像素，則是未被分類成任-者者。 步驟S 3中，辜俞公宠丨# v ,,^ 執仃部13係執行事前分割處理，生 成小區域ID圖並供給至小 王 概似卜… J £域相鄰能1計算部14及小區域 概似度戒里計舁部15。 [有關事前分割處理] 於此，兹參照圖5說明事前分割處理。 步驟S3 1中，圖像獲取 又取口Ml係獲取輸入圖像，並 小區域中心選擇部62。 ”至 步驟S32中，小區蛣由 碲中心選擇部62係控制微分圖 部81而生成微分圖像。微分圖像生成部81例如係象^成 示般之sobeU慮波器。 ）戶斤 147273.doc 13 ，1 201120816 +1 +2 +Γ y = 0 〇 0 • -1 '2 -1 +1 〇 -Γ x = +2 〇 -2 .+1 〇 -1. =V6x+Gy 於此’ Gy係藉由上段自左為+1、+2、+ι、中段自左為 〇、〇、〇、及下段自左為、_2、丨之値所構成之垂直方向 的S〇bel渡波器，處理行列A之處理結果。又，行列A係包 含注目像素、以及與注目像素在上下左右、左上、右上、 左下及右下相鄰之以注目像素為中心的3像素χ3像素之區 域的像素値所成之行列。 又，Gx係藉由上段自左為+1、〇、-1、中段自左為+2、 0、-2、及下段自左為+1、〇、d之値所構成之水平方向的 sobel濾波态，處理行列A之處理結果。G係水平方向之 sobel濾波态處理結果與垂直方向之⑽以丨濾波器處理結果 合成之處理結果。 亦即，式（1)所示之sobel濾波器，係計算圖像之微分値 與微分方向而檢出邊。又’式⑴之s〇bel濾波器只為一 例’各値也可為其以外之値。 步驟S33中，極小値判定部82係將對應於輸入圖像之順 向光域掃描的先頭位置之像素，設定成處理對象像素。 步驟S34中，極小値判定部82係比較與處理對象像素相 鄰之像素間的像素値。亦即，極小値判定部82係將輸入圖 147273.doc -14 - 201120816 像之像素，與依光域掃描順序配 配置的像素間之像素値予以比較。^對象像素之別後 辛=::V極小俊判定部82係判定處理對象像素之像 相鄰像素之像素値是否採取極小^更詳細言 =値判定㈣在Μ具較處理對象像素為小之値的 素下，則將其處理對象像素設為極小値像素。再 ;之=、値判定部82針對處理對象像素之相鄰像素中已處 象：，若有與處理對象像素為同値、且判定為非極小 L像素時，則到定其處理對象像素非為極小値。 例如’如圖6之上段所示’針對像mp9，依光域掃 描順序配置之像素的像素値若以棒狀圖形表示，則可依以 I方式㈣是否為極小値。具體言之，極小値衫部82在 处理對象像素為像素P2時，自像㈣與像素P2之差分、及 像素P3與像素P2之差分的資㈣定像㈣Μ為極小値。 θ之上#又中，像素Ρ2之像素値係較相鄰之像素、η 之像素値之任—者為小’由於無較像素Ρ2之像素値為小之 像素因此極小㉟判定部82判定像素Μ為極小値。 '又’處理對象像素為像素Ρ3時，像素Ρ3之像素値係較相 鄰之像素Ρ2、ΙΜ之任一者為大，由於有較像素Η之像素値 為小之像素，因此極小値判定部82判定像素以之像素値並 非為極小値。 再者，處理對象像素為像素Ρ4時，像素Μ之像素俊係較 相鄰之像素Ρ3為小’與像素ρ5相同，由於無較像素以之像 素値為小之像素’因此極小値判定部82判定像素Ρ4之像素
.S I47273.doc J5. 201120816 値為極小値。 又處理對象像素為像素卩5時，像素？5之像素値係與相 鄰之像素P4、P6相同，由於無較像素門之像素値為小之像 素口此極小値判疋部82判定像素^之像素値為極小傻。 再者處理對象像素為像素卩6時，像素p6之像素値係與 相鄰之像素P5相同，由於有較p7為大、較像素^之像素値 為小之像素，因此極小値判定部82判定像素P6之像素値並 非為極小値。 鄰Γ像ίΓ對象像素騎素P7時，像素P7之像素値係較相 象㈣為小’與像素P8相同，由於練像素P7之像素 為^極^^此極小㈣定部82判定像物之像素値 鄰=辛時’像_之像素値與相 小之像辛s &於無㈣為小、較像_之像素値為 ::因此極小値判定部82判定像素•像素値為極 步驟S35中，若判定處理對象像素為極小値 令，極小値判定部82係將處理對象 1，^S36 豕彳冢素作為極小値去印 :°又’步驟S35中’若判定處理對象像佶 訏，步驟S36之處理跳略。 P為極小値 ::337中’極小値判定部82判定輸八圖像 作為處理對象像素未經處理之未處理像素 子在 存在時，處理前進至步驟S38。 處理之像素 步驟叫極小値判定部82係依順向之光域掃描順序 ^7273.do, 201120816 變更處理對象俊去 . 針對輸入 之像素値 又，步驟 否為極小 圖像之各像素至,到步驟㈣。亦即， 是否為極m 掃描順序判定所有像竟 為極小値為止，步驟咖至S38之處理 …中，針對所有之輸入圖像之像素若已判二。 値，處理前進至步驟S39。 疋 之 43之處理中e/:4之處理’因只是針對上述步_ 處理故:::::描順序之處理的依逆光域掃描順序 如此般之依順向光域掃描順序處 ==:此會有與順向光域二= ^即’如圖6上段所示’依順向光域掃描順序處理後， 右依逆向光域掃描順序處理，則如圖6下段所示，當處理 對象像素為料P2、P7、P8之情料，雖與順向為相同之 結果，但就像素P4、P5則結果不同。像素？5之情況下，一 旦處理完畢之像素？6被判定⑽極小錢，與像㈣相同 像素値之像素P5便會成為處㈣象像素，而被判定非為極 小値。同様地，針對像素P4亦同’藉由逆向光域掃描順序 之處理將像素P5判定非為極小値後，與像素？5為相同像素 值之像素P4便成為處理對象像素，因此被判定非為極小 値。 如此，順向光域掃描順序之處理與逆向光域掃描順序之 處理’因處理結果不同’因此步驟S42中，只有在逆向光 域掃描順序之處理中被判定為極小値之像素會作為極小値 H7273.doc 17 201120816 之像素而被記憶。 步驟S45中’極小値圖像生 風°卩83係基於由極小値判定 。以2所記憶之經判定為極 门也 馗之像素的資訊，生成極小値 ，並將其與輸人®像-起供給至小區域晴加部Μ。 又，此處’針對未被判定為極小値之像素，生成空白狀態 之圖像作為極小値圖像。 步驟S46中，小區咖附加部63針對被供給而來之設定 為極小値圖像之極小値之各像素，附加小區域①。此時， 對於極小値圖像中之像素，當像素並未單獨存在而是複數 之像素相鄰存在之情形時，由其等之相鄰像素所構成之區 域被視為小區域，而對於構成小區域之所有像素附加以共 通之小區域ID。此情形時“十對未被判定為極小值之像 素’則將小區域ID設為空白或對其附加表示為空白之値。 小區域ID附加部63例如可藉由UNI〇N_FIND法（參見，，The watershed transform: definitions, algorithms, and parallellization strategies'· (2000), J.B.T.M. Roerdink and A. Meijster，Fundamenta Informaticae 41，pp 187 228)針對 各小區域附加小區域ID。 步驟S47中，小區域ID附加部63生成針對依此方式被設 定為小區域之各區域附加有小區域ID之初始小區域m圖， 並將其與輸入圖像一起供給至小區域擴大處理部64。 步驟S48中，小區域擴大處理部64係基於自小區域⑴附 加部63供給而來之輸入圖像及初始小區域ID圖，將小區域 ID圖之各小區域擴大至未附加小區域ID之成為空白的像素 147273.doc 201120816 之範圍。更詳細言之’小區域擴大處理部64係以具有小區 域ID之像素為中心，對於在其上下左右、左上、右上、左 下、及右下相鄰之8個像素（以下亦稱為周邊8個附近像素） 中未經附加小區域ID之像素，重複傳送小區域⑴之處理。 此時，小區域ID之擴大處理、即傳送小區域⑴之順序，係 依小區域之像素値的升彳而執行者。錢此處理直到所有 像素皆被附加任一小區域1〇時，則處理結束。 步驟S49中，小區域擴大處理部64係自以小區域單位所 附加之ID之資訊而生成小區域1〇圖，並供給至小區域⑴圖 輸出部65。 步驟S50中，小區域ID圖輸出部65係將所生成之小區域 ID圖供給至小區域相鄰能量計算部14及小區域概似度能量 計算部1 5。 根據以上之處理，例如，將圖4之左側部所示般之輸入 圖像基於小區域ID圖，生成為以包圍同一之小區域m附加 之區域方式而由白線分隔之圖像時，則生成如圖7所示般 之分割成小區域之圖像。因此，在將輸入圖像之目標圖像 與背景圖像分離時’藉由使用此一圖像，非以像素單位， 可以小區域單位處理。其結果為，可降低約束於目標圖像 之區域，或是約束於背景圖像之區域的判定處理數，因此 可降低處理所必要之記憶體容量，使處理速度高速化。 於此，回到圖3之流程圖之説明。 步驟S3中’藉由事前分割處理，小區域1〇圖生成，若與 輸入圖像一起供給至小區域相鄰能量計算部丨4及小區域概 147273.doc -19- 201120816 似度能量計算部15，則處理前進至步驟S4。 步驟S4中，，j、p p |决
及浐入円梯°°域相錢量計算部14係基於小區域m圖 及輸入圖像，依下式M 之小區域相鄰能量n不之計算，計算相鄰之小區域間 計算社果之各=.Y ’小區域相鄰能量計算部14係將 域域的小區域相鄰能量、輪人圖像及小區 域D圖供給至分割執行部16。 ΕΝ= Σβχρ( j.||Ip—g2) 々=(2〈ll Wqll2〉)-1 …⑵ :處：EN表小區域間相鄰能量’ w表小區域間之邊 ’ 1鄰之像素之群組中分別之像素値。X，β表像素値 之=刀自乘之値的圖像整體之期望値，為將像素値之差分 之分布之中心値以成為G.5附近之値的方式調整之參數。ρ 之式中之<Α>記號，係表Α之期望値。 亦Ρ如圖8所示，小區域zi、Ζ2存在時，相鄰像素之 群組為像素Ρ1與像素P11、像素ρ2與像素ρΐ2、像素ρ3與像 素ρ13、像素Ρ3與像素ρΐ4、像素ρ4與像素ρΐ4、像素料與 像素Ρ15、像素Ρ5與像素ρΐ4、及像素％與像素ρΐ6。 如此，小區域間相鄰能量Εν，為相鄰之小區域間的相鄰 像素間之像素値的差分自乘之値就各小區域累積加算之 値°疋以’小區域間相鄰能量Εν，在相鄰之小區域間之像 素中相關高之像素愈多則愈大，相關低之像素値之差分大 者若多的話，則變小。 步驟S5中，小區域概似度能量計算部15係控制約束區域 147273.doc -20- 201120816 歧部31，自三相圖圖像抽出作為目標圖像之像素被約束 之像素，即目標約束像素。 步驟S6中，約束區域設定部31係基於小區域_，將各 小區域内之目標約束像素設定為目標約束候選像素。 步驟S7中，小區域概似度能量計算部⑸系控制約束區域 設定部3i，自三相圖圖像抽出作為背景圖像之像素被約束 之像素，即背景約束像素。 步雜中，約束區域設定部31係基於小區域则，將各 小區域内之背景約束像素設定為背景約束候選像素。 步驟S9中’約束區域設定部3H系將只含目標約束候選像 素之小區域設定為目標約束小區域，將只含背景約束候選 像素之小區域設定為背景約束小區域。再者，約束區域設 定部31係將含目標約束候選像素及背景約束候選像幸兩方 之小區域無矛盾地分割，將各自設定為目標約束小區域及 背景約束小區域。 步驟S10中，小區域概似度能量計算部15係控制代表色 設定部32,就各小區域設定代表色。更詳細言之，代_ 設定部32係藉由將各小區域所含之像素之像素値以加權平 ^异，而求得各小區域之代表色。亦即，若將各小區域 域=τ的單純之平均値作為代表色計算，根據小區 域邊界周邊之像素値混色，將 ^ 底為3扣色之平均像素値， 使付後述之概似度能量變得無法高精度求得。 例如，如圖9左側部所示，區域Zl、 經設定時，在小區域邊界㈣邊…像素値的波形 介8之周邊像素値之變化增大，因 147273‘doc -21- 201120816 此相鄰之小區域2】、22間之分別多量含有之像素値混 之像素値增多。因此，若單純求得使用小區域之所有= 之像素値的平均健，則如圖9右上段所示，成為較原本之 小區域中之像素値的平均値愈接近相互之中間値般之像素 値’其結果為相互之小區域的代表色無法正確表現。〃 因此’如圖9右下段之粗實線所示，相對表示像素位置 之空間，以在邊界周邊變小之方式設定平均化權重，乘上 各像素之像素値，再予加算。藉由如此，如圖9右中段所 不，可設定近於小區域Z1、Z2的像素値之原本波形之代表 色。作為相對表示像素位置之空間，以使邊界周邊變小之 方式將權重設定之方法，例如，可利用圖9右下段之虛線 所不之微分圖像的微分値之倒數等等。 疋以，代表色設定部32係如圖9右下段所示，以相對各 邊界，近之像素變小之方式，於像㈣上細權重，進一 步’藉由將其等加算而就各小區域設定成為代表色之像素 値。 步驟S11中’小區域概似度能量計算部15係控制目標概 :度計算部33，就各小區域計算目標概似度。更詳細而 :旦首先目標概似度計算部33係基於目標約束小區域（或 背景約束小區域），生成表現高斯混合模型之函數p(x)。 亦即，目標概似度計算部33,作為以目標約束小區域為 糾資料樣本之一個叢集，算出平均向h。又，目標概似 度计# °卩33，作為以目標約束小區域為第1資料樣本之一 集^出共刀政行列Σ。而後，目標概似度計算部3 3 H7273.doc •22· 201120816 係基於算出之平均向及共分散行列Σ，生成以目標約束 小區域為第1資料樣本之高斯混合模型p(x)。 此處，高斯混合模型之函數p(x)，係如下式（3)所示， D次元資料X被賦與時，表示其概似度之函數。又，$斯= 合模型之函數p(X)，係表*對於式⑷所*之 函數剛μιοΣ0(係數k:k=1’2，· · ·κ)乘上權抑^得 值之總和。 (3) P(x)= lHkN(x|juk,Ik) k=1 Ν(ΧΙ"，Σ) = (2π)οΛ Jlp2 exp {'2-(x'^TΣ_1 (x-//)| • · ♦ (4) 此處，高斯函數N(x)係在以係數k分類之D次元資料又被 賦與時，使用平均向量μΐί、其共分散行列h之逆行列i 與共分散行列行列式|£k|，表示以係數k分類之d.次元 資料X之高斯模型的概似度之函數。 又’南斯混合模型之構築，已知有Expectation Maximization 法。有關其5羊細内容’請參見"Pattern Recognition and
Machine Learning" (2006)，Bishop, Christopher M·，Series: Information Science and Statistics , ISBN: 978-0-387-31073-2)。 步驟S12中，小區域概似度能量計算部15係控制背景概 似度计异部3 4 ’就各小區域計算背景概似度。又，此一處 理係以同於目標概似度計算部33之手法計算背景概似度。 147273.doc -23- 201120816 步驟S13中’小區域概似度能量計算部15，係自以目標 概似度計算部33計算之各小區域之目標概似度、與以背景 概似度計算部34計算之各小區域之背景概似度，計算各小 區域之小區域概似度能量。更詳細而言，丨區域概似度能 量計算部15絲據下式（5)計#各小區域之小區域概似度能 量，並將計算結果供給至分割執行部丨6。
El= l〇g(p〇Bj(x))-l〇g(pBG(x)) ...⑸ 此處，el係表小區域概似度能量，p〇Bj(x)係表目標概似 度’ PBG(X)係表背景概似度，x係表小區域之代表色。 亦即，小區域概似度能量在代表色乂之目#概似度與 背景概似度之差分愈小時則愈大，反之，纟目標概似度與 背景概似度之差分愈大時則愈小。 步驟S14中，分割執行部16係基於小區域相鄰能量、小 區域概似度能量、輸入圖像及小區域⑴圖，執行分割處 理。藉由此-處理，分割執行部16係以小區域為節點設定 圖分割邊界。亦即，分割執行部16係自小區域则構築以 小區域為節點單位之_，並在該圖形之邊狀小區域概 似度能量及小區域相鄰能量，計算圖分割邊界。其結果 為’圖形之邊並非以像素之組設^，而是以小區域之組設 定。 步驟S 1 5中，分割執行部〗6係沿計算之圖分割邊界’以 j區域單位對於屬於目標圖像之像素設定表示目標圖像之 値，對於屬於背景圖像之像素設定表示背景圖像之値。藉 147273.doc -24- 201120816 由此一處理，分割執行部16例如對應於圖4左側部所示之 輸入圖像，生成圖4右側部所示般之顯示目標與背景之二 値所構成的二値遮罩圖像，並供給於輸出部輸出部^ #輸出分割執行部16所生成之二㈣罩圖像，如 八W Λ、〇 口 束。 藉由以上之處理，在以圖分割處理生成二谊圖像時，藉 由以事前分割處理將輸入圖像分割為小區域單位後再予^ 理^可在圖分割處理時不將節點作為像素單位而設為小區 域早位。其結果為可減少處理所必要之記憶體容量，並 高處理速度。 又，根據以上之處理，藉由作為小區域之代表色使用小 區域之加權平均，使得邊界附近之像素値的權重減小，可 降低周邊小區域之混色。其結果為，圖分割法般之圖像分 割處理即使以小區域單位進行，仍可獲得與像素單位相同 之結果。 又，以上之上述事前分割執行部13中，係就輸入圖像直 接生成微分圖像之例説明，但也可藉由例如在計算微分圖 像前應用邊保存平滑化濾波器，而使邊易於殘留。 亦即’事前分割執行部13為保存原來圖像之邊而構築小 區域’藉由應用邊保存平滑化據波器，儘管保存邊但仍可 將小區域進一步擴大’藉而可實現進一步之省記憶體化與 處理之高速化。 作為對於圖像之邊保存平滑化渡波器，例如有Meanshift 慮波器或Bilateral濾波器β 147273.doc •25· 201120816
Meanshift濾波器係注目於圖像之局部區域，找出該區域 之密度最高之位置，將處理對象像素朝其密度高之方向移 動或更新，藉而在殘留邊下進行平滑化之濾波器（參見 "Mean shift: a robust approach t〇ward feature space analysis", Comaniciu, D.; Meer, P., Pattern Analysis and
Machine Intelligence, IEEE Transactions on Volume 24, Issue 5，May 2002) ° 又，Bilateral濾波器係注目於圖像之局部區域，以距離 與注目像素之焭度差的兩個權重混合而進行平滑化之方 法’同様在殘留邊下進行平滑化之濾波器（參見"Bilateral filtering for gray and color images", Tomasi, C. Manduchi, R.，International Conference on Computer Vision，1998.)。 再者，上述之事前分割執行部丨3，為計算微分圖像，係 以使用sobel濾波器為例進行説明，但也可應用其他之邊緣 檢測濾波器，例如Canny邊緣檢測濾波器或Laplacian濾波 器等等。 又代表色ό又疋部3 2所使用之加權平均中，也可不只使 用微分圖像之微分値的倒數，也可使用其他方法。作為代 表色設定部32所使用之加權平均，也可例如將小區域中心 之極小値作為中心色使用周邊像素之濃淡差的倒數，或使 用可I加權平均遽波。又，作為代表色設定部3 2所使用之 加權平均，也可為例如可自局部小區域之像素依近於其中 心色之濃淡等級的順序取出k個而求得平均色之乂個最鄰近 平均濾波等等。 147273.doc -26· 201120816 +再者，針對經微分處理之圖像的各像素之像素値，也可 藉由設特定臨限值以下之像素値為〇，減少上述小區域中 〜之個數輸出，而降低處理負荷提高處理速度。 ，再者，作為代表色設定部32所使用之加權平肖，也可在 權重之計算中只是使用小區域中心與小區域所含之像素為 土的距離之倒數，或是計算測地線距離而採用之方法。 又’測地線距離之情況下的距離計算，例如可選取像素 値之變化最小之路徑，使用將距離與像素値之變化量加 者。 、上敘述中，係表示將事前分割處理與圖像之分 割組合使用之例，但也可單獨使用以事前分割處理求得之 小區域ID圖，或與其他之演算法組合利用。 ，亦即’可藉由事前分割處理，獲得小區域ID圖，即小區 域圖像❿以商易之馬賽克圖像提示，或自輸入圖像將小 區域圖像減算而抽出結構資訊。 又，也可與電職制題之立體圖像對應或目標追縱电 合，使處理高速化，或提高健全性。 、 德^外目應圖像之解像度，也可例如只在可期待成為解 像度高、事前分割處理所生成之小區域數較特定之小區域 數充刀狀怨時’使用事前分割處理之結果執行分割處 理也可精由只在獲得高效果時進行事前分割處理， 效率的進行處理 ^ 又，也可只在由事前分割處理所生成之小區域數 較特定小區域數充分少之狀態時，才使用事前分割處理： 147273.doc •27- 201120816 結果執行分割處理。亦即，只在藉由事前分割處理而大幅 減輕圖像分割處理之負荷時，使用事前分割處理之處理結 果，因而可將事前分割處理結果有效地使用。 上述之連串處理，可以硬體執行，但也可以軟體 執行。當一連串之處理以軟體執行時，構成其軟體之程 式，係可自紀錄媒體安裝在組裝於專用硬體之電腦，或是 可藉由安裝各種程式而執行各種機能之例如泛用個人電腦 等等。 圖1 〇係顯示泛用個人電腦之構成例。此一個人電腦内藏 有CPU(中央處理單元）刚i。cpu刚上經由匯流排剛 連接有輸出入介面1005。匯流排1004上連接有ROM(唯讀 記憶體）1002及RAM(隨機存取記憶體）i 〇〇3。 輸出入介面1005上’連接有由使用者輸入操作指令之鍵 盤、由滑鼠等輸入裝置所構成之輸入部1〇〇6、將處理操作 畫面或處理結果之圖像輸出至顯示裝置之輸出部1〇〇7、由 儲存程式或各種資料之硬式磁碟機等所構成之記憶部 1008、由LAN(區域網路）轉接器等所構成之經由以網際網 路為代表之網路而執行通信處理之通信部1〇〇9。又，尚連 接有對於磁碟（包含軟碟）、光碟（含cd_r〇m(小型碟片-唯 讀記憶體）、靖(數位多功能光碟））、&磁碟（md(迷你碟 片））、或是對於半導體記憶體等之移動式媒體ι〇ιι可讀寫 資料之磁碟機1010。 cpu 1〇01係根據記憶於R0M 1〇〇2之程式 '或自磁碟、 光碟 '光磁碟或半導體記憶體等之移動式媒體iGn讀出而 147273.doc -28 · 201120816 女裝於圮憶部】008並自記憶部〗〇〇8载於⑺们之程 式執订各種處理。rAM 1〇〇3中也可適當記憶有cpu 1 〇 〇 1執行各種處理方面所必需之資料等等。 又’本說明書中，記述處理過程之步驟，係依照記載之 頃序以時間系列地進行之處理，但無疑不非得為時間 系列之處理，也包含並列或個別執行之處理。 【圖式簡單說明】 圖1為應用本發明圖像分割裝置之一實施形態的構成例 圖2為圖】之事前分割執行部的構成例圖。 圖3為說明圖像分割處理之流程圖。 圖4為輪入圖像與二値遮罩圖像之例之圖。 圖5為說明事前分割處理之流程圖。 圖6為成為小區域中心之傻去 又像素的選擇處理之説明圖。 圖7為基於小區域m圖生 明圖。 』匕1^所形成的圖像之説 理之說明圖 圖8為小區域相鄰能量之説明圖。 圖9為各小區域之代表色的設定處 圖1〇為泛用個人電腦之構成例圖。 【主要元件符號說明】 11 輸入圖像獲取部 12 二相圖圖像獲取部 13 事前分割執行部 14 小區域相鄰能量計算部 147273.doc • 5?' 201120816 15 小區域概似度能量計算部 16 分割執行部 17 輸出部 61 圖像獲取部 62 小區域中心選擇部 63 小區域ID附加部 64 小區域擴大處理部 65 小區域ID圖輸出部 -30· 147273.doc