TW200301874A

TW200301874A - Systems and methods for processing boundary information of a graphical object

Info

Publication number: TW200301874A
Application number: TW091133643A
Authority: TW
Inventors: Huitao Luo
Original assignee: Hewlett Packard Co
Priority date: 2002-01-14
Filing date: 2002-11-18
Publication date: 2003-07-16
Also published as: WO2003060829A1; US20030132947A1; EP1466299A1; JP4130915B2; JP2006501530A; AU2003202277A1; US7388988B2

Description

200301874 玖、發明說明 (發明說明應敘明：發明所屬之技術領域、力前技術、内容、實施方式及圖式簡單說明）【發明所屬之技術領域】發明領域本發明是大致有關於電腦圖形，特別是指一種用於處 5理一圖形物件之邊界資訊的方法。【先前技術2 發明背景形狀編碼被數種多媒體用途運用以促成各種影像處理技術。例如形狀編碼便被數位攝影編輯器應用程式所運用。在 1〇形狀已被編碼或定義後，該數位攝影編輯器應用程式允許使用者修改該編碼後形狀内之圖形資訊。各種資料結構與法則已被運用以將形狀編碼。以區域為基礎之方式用一支援地圖將一物件編碼，此為二元影像，以 1代表物件區域及〇代表背景區域。在此方式中，該形狀編 15碼被轉換為二元影像編碼問題。釋例性的以區域為基礎之法則包括用 Joint Binary Image Group (JBIG)，JBIG 2與

Moving Picture Experts Group_4(MPEG-4)所發展之法則。以邊界為基礎之法則亦常被運用。使用者可能以手工選擇在一圖形影像内一物件之一邊界的每一晝素。每一被選擇 20之畫素的座標可被儲存以定義該邊界。而且，各種做法已被運用以近似被儲存之座標，所定義之邊界，如鏈編碼、多邊形近似、高階曲線配適（spline)近似與混合多邊形 spline近似。該等近似法則減少代表該邊界所需的資料量至各種變化的程度。 200301874 玖、發明說明然而，習知的形狀邊界與被運用來代表其基礎圖形影像（如位元地圖與（或）視訊影像之類）為獨立無關的。因之 ’習知的形狀邊界除了基礎圖形影像外需要少許的資料量 5 L· 發明概要在-實施例中，本發明被導向於處理一圖形物件之邊界資訊的方法。該方法可包含：接收包含該圖形物件之一圖形影像，其令該圖形物件被至少一邊界資訊定義；由該 10 邊界貧訊決定數個頂點· ιν β、富m … 頂點，以及運用至少該等數個頂點、圖形影像、及可操作藉由分析圖形影像來摘測一對頂點間之輪廓的一預設函數而創立一近似邊界。圖式簡單說明 15 第1圖顯示—釋例性的系統，用於依據本發明之實施例將邊界資訊編碼。弟2圖顯示一釋例性的電腦系統，其可被運用以實作本發明之實施例。、第3圖顯示一圖形影像，包括有釋例性的邊界虚釋例性的頂點。〃 =圖顯示依據本發明之實施例用橡皮筋函數被制之一釋例性的邊界。弟5圖顯不依據本發明實施例的一釋例性里相關的邊緣。一畜/ ^ 。、厂、依據本發明貫施例的邊界資訊處理步驟之 20 200301874 玖、發明說明釋例性處理流程圖6〇〇。第7圖顯不依據本發明實施例用一邊緣與一橡皮筋函數所偵測的邊界被定義之一釋例性的差別區。第8圖顯示依據本發明實施例說明定義一物件邊界之 5 釋例性的流程圖。第9A-9C圖顯示依據本發明實施例與使用及不使用一適應性門檻值來控制圖形搜尋過程相關之釋例性的輪廓。第1〇圖顯示釋例性的虛擬碼，其依據本發明實施例偵 · 測被辨識之頂點間的輪廓。 1〇第11圖顯示依據本發明實施例用於邊緣偵測之區域圖板。第12圖顯示一流程圖依據本發明實施例來自動選擇一 · 尺度參數。， C實施方式;j 15 較佳實施例之詳細說明本發明係有關於編碼資訊，其定義一圖形影像内之物 · 件的邊界。就這些實施例而言，其被假設其邊界已被定義。例如’使用者可由圖形影像選擇點來定義該邊界。該邊界例如可用來自圖形影像之一組畫素被代表。第1圖顯示依據本發明實施例之釋例性的系統100。系統100實施影像編碼101與形狀編碼102。形狀編碼1〇2實施依形狀而定的編碼。明確地說，形狀編碼1〇2藉由參照在與形狀編碼102相關的資料所代表之基礎影像定義一物件之形狀或邊界。該物件之邊界與基礎圖形影像高度地相關 7 200301874 玖、發明說明。由於此高程度之相關，形狀編碼102能減少代表該邊界所需的資料量。形狀編碼102並非藉由直接將其關節點元素之座標編碼來減少代表該邊界所需的資料量。而是，形狀編碼10 2用偵測來自原始影像之點元素的機制或函數將 5 該編碼邊界。其將被了解在本發明之前去除邊界（或形狀）與基礎圖形影像間的關係曾是一重大的挑戰。特別是，紋理影像與其編碼間之關係很難以封閉式數學解法來呈現。本發明之實施例運用一種「橡皮筋函數」，其如下面更詳細地被討 10論地增量式偵測來自基礎圖形影像之邊界。被影像編碼101與形狀編碼102所產生的資料經由如網路103被通訊。在被接收之系統中，該影像首先被解碼1〇4 。然後各別物件之邊界運用所重建的資料被解碼。明確地說，定義各別邊界之資料包括一組頂點。每一頂點代表該邊界上的單一點。然而，該組頂點代表邊界上之點的很小之部分集合。該橡皮筋函數偵測該等頂點間之點，所用之方法為分析重建後之影像資料以「充填」該邊界的遺漏之點。而且，與每一頂點相關的參數限制橡皮筋函數之運算以致使該函數有效率地運算且如下面更詳細討論地適當地 20調整基礎圖形影像分析之規模。田為衫像與形狀已被解碼，進一步的處理i 〇6可如所右人地^生。此可包括被一使用者經由適當的多媒體應用程式之影像處理。第2圖顯示要實作本發明之實施例的釋例性的電腦系 200301874 玖、發明說明統之方塊圖。系統200包括顯示器201以呈現圖形資訊給使用者。系統200進一步包括中央處理單元（CPU)202以執行軟體指令。CPU 202可包括通用CPU且只要CPU 202支援此處描述之發明性作業，本發明不受CPU 202之架構所限制 5 ° 電腦系統200亦包括隨機存取記憶體（RAM)203，其可為SRAM，DRAM或SDRAM之類。電腦系統200包括ROM 207，其可為PROM，EPROM 或 EEPROM之類。RAM 203 與ROM 207如在本技藝相當習知般地保存使用者與系統資 10 料及程式。在經由可執行的指令被實施時，本發明之各種元件對定義此類各種元件操作之編碼為基本的。該等可執行的指令或編碼可由可讀取的媒體（如硬碟媒體、光學媒體、 PROM、EPROM、EEPROM、磁帶媒體與（或）卡匣媒體之 15 類）被獲得或經由來自通訊媒體（如網際網路）之資料信號被通訊。事實上，可讀取媒體可包括能儲存或傳送資訊之任何媒體。例如，本發明之實施例儲存可執行的指令或編碼以依照本發明之實施例在媒體驅動器208(如硬碟）上定義邊界編 2〇碼法則209(如下面更詳細被描述者）。該等儲存可執行的指令或編碼可被載入RAM 203或被CPU 202執行。受可執行的指令控制之CPU 202可處理圖形影像204與編碼定義205 以依據本發明之實施例產生編碼後之邊界2〇6。進而言之，電腦系統200包含通訊轉接器21 〇，其被採 9 200301874 玖、發明說明用以耦合電腦系統200至網路211，此可為一個以上的電話網路、區域（LAN)與（或）廣域（WAN)網路、乙太網路與（或）網際網路。電腦系統200可通訊編碼後邊界206至另一系統以讓該系統依據本發明實施例由通訊後之資訊重建其邊界 5 〇為協助讀者了解本發明之實施例，現在參照顯示圖形影像300之第3圖。圖形影像300包括邊界301。邊界301被呈現成相當大的晝素集合。將如下面更詳細描述地，本發明之實施例選擇一組頂點（如第3圖顯示之V〇，V!，v2與v3) 10 。每一頂點被配以二參數（Wi，Si)。參數Wi代表橡皮筋函數之寬度，參數Si代表橡皮筋函數之規模尺度。橡皮筋函數運用該等二參數以根據基礎圖形影像之分析定義相鄰頂點間之路徑。由於橡皮筋函數分析基礎圖形影像，重大的編碼改善被達成。明確地說，基礎圖形影像之分析允許去除 15 基礎圖形影像與邊界定義間的相關。在詳細討論編碼法則前討論橡皮筋函數是適當的。橡皮筋函數為一種函數增量地偵測在圖形影像中被選擇或被辨識之點間的邊界。橡皮筋函數的稍早實作在Huitao Luo 與 Alexandors Eleftheriadis 之 ACM Multimedia 1999 的 20 “Designing an Interactive Tool for Video Segmentation and Annotation”中很詳細地被描述，其被納於此處做為參考。本發明之實施例運用橡皮筋函數之較早重複的很多特點。此外，本發明之實施例可運用如尺度參數Si之使用的額外發明性特點。 200301874 玖、發明說明弟4圖顯示依據本發明實施例被橡皮翁函數制之邊，彻之釋例性的圖。該_過程藉由辨識二頂點⑺與^) 而發生。此外，二參數被運用以定義橡皮筋函數之邊緣谓 5 測作業。百先，參數續用作為空間限制以限制與伯測過程相關的搜尋區域。炎倉冬 - >數…疋義邊緣偵測被實施之長方形 402的寬度。其次，失者、八 ^ S(未旦出）被運用以如下將詳細描述地疋義该梯度函數之規模尺度。該橡皮筋函數運用二頂點、被供應之參數與基礎圖形影像以债測一輪廓，B，= (b〇，，bi，，vί立 a中^被侦測之輪廓的第i畫素，且b〇，= vi及v=v2。輪廊 B’藉由根據被基礎圖形影像所產生的權數計算頂點⑼與 V2)間之隶短路徑而被债測。此外，橡皮筋函數將影像模型化成為一圖形，其中每一晝素為-頂點，且每_頂點僅有8個邊緣連到其8個相鄰 15的晝素（如第5圖中頂點501所顯示者）。橡皮筋函數之基本私序包含二步驟：如下列之區域計算步驟與圖形搜尋步驟在第一步驟中，區域影像梯度特點用一個可調整比例規模之運算元被計算。影像梯度之計算決定某_點之區域 2〇影像中的相對變化量（如灰階或紅/綠/藍（RGB)值的變化）。而且，該影像梯度可根據區域鄰近值上變化被決定。影像梯度之目的為要致使最短路徑分析被加權，使得與較大梯度之路徑可被配以較低的距離或權數。為此目的，數個不同的運异元可被使用，如具有可調整比例規模之核的 200301874 玖、發明說明

Laplacian與（或）Laplacian of Gaussian(LoG)運算元之類。就第5圖中顯示為邊緣502的每一圖形邊緣“卩，幻而言，權數或區域距離dist(p，q)可較佳地被定義為： dist(p，q)=l/(gradient(q)+c)，其中e為小常數。 5 在上面的權數定義下，影像被轉換為被導向且加權之圖形。在此圖形中，橡皮筋函數使用二頂點、，V2作為二錨定點。邊緣偵測（由、至乃偵測物件）便被處理為最短路徑搜尋分析。明確地說，該輪廓藉由定出由、開始在乃結束之最短距離路徑被偵測。此分析可使用Dijikstra法則（見 10 1990年MIT Press 出版之Cormen，C E，R L Rivest所著“

Introduction to Algorithms”第25.2章，其揭示在此被納入作為參考）或Controlled Flooding法則被實施，其將在下面詳細地被描述作為例子。如先前指出者，心與乃為圖形搜尋決定錨定點，且w 15為橡皮筋函數之寬度，其與、及乃一起定義Dijikstra法則所運轉的長方形鄰近區。此鄰近區定義有效地降低搜尋複雜性以及藉由去除相鄰強烈不相關梯度之影響而改善該法則績效。參數Si決定該影像梯度被計算之規模尺度或鄰近區。一般而言，較大的規模尺度去除影像紋理雜訊而較小 20 的規模尺度提供改良的空間定位。雖然有邊緣偵測目的，只要偵測結果就形狀編碼1〇2 目的為可接受的，w與S可為任意值。而且，w與s可被選擇以呈現比率與失真間之取捨。在實施例中，Wi係由{1，15 ’ 31}三個值中被選出，及Si係由{1，2，4，6}四個值中被 12 200301874 玖、發明說明 k出（一者均為晝素）。所以，Wi與Si依據本發明實施例二 . 者可僅用將被編碼之二位元資料加以代表。有關較佳編碼句、且之進步細節將在下面更詳細地被討論。在以強健的數學項描述本發明實施例前，先參照第6 5圖，其顯示釋例性的處理流程圖600。處理流程圖600描述依據本發明實施例之相當高等級的邊界資訊處理。在步驟601中，一圖形影像被接收。在步驟6〇2中，圖形影像内一物件之邊界資訊被接收。例如，使用者可定出 · 邊界之每一點或晝素。 1〇由邊界資訊，可搜尋的一組頂點被定出（步驟603)。該組可搜尋的頂點定義在邊界資訊内之可允許的點，其可在最終編碼資料結構巾被利作為頂點。該組可搜尋的㈣ _ 最佳地不包含如邊界資訊之多的點或晝素以降低邊界編碼法則之複雜性。如將更詳細被討論者，各種準則可被運用 15以由邊界資訊選擇點以形成該可搜尋的頂點集合。在步驟604中，就所選擇的可搜尋的頂點集合，其被 · 決定橡皮筋函數是否α充分的精確程度近似在各別頂點對間該邊界資訊的各別部位或「邊緣」。該可搜尋的頂點集合之分析較佳地被限制為所選擇的頂點對以降低該法職 2〇複雜性。為失真分析之頂點對的選擇準則將在下面更詳細地被討論。在步驟604中，被實施之決定係欲於測量二輪廊間之失真或形狀差。就此目的’數個量度為可應用的。在較件的實作中，面積差量度被使用。在此情形中，步驟6〇4中土 13 200301874 玖、發明說明之決定測量就各別所選擇的頂點對與該魅對間該邊界資訊内該組點被橡皮筋函數所_之輪廊間的封閉區域是否小於一失真準則（DmaX)。例如，假設W與v35為在可搜尋的頂點集合内的頂點。再進_步假設v2G=b57h36=b72(即 V2。對應於邊界資訊中之b”及^對應於邊界f訊中之W 。若Μ與V35滿足該失真準則（Dmax)，此意即μ與v35(具

有其各別的參數W’ S)可透過橡皮筋函數近似點b57至b72所定義之邊界資訊的各別邊緣。在步驟605，一對頂點集合（Vp)由在步驟6〇4被決定以 1〇滿足失真準則（Dmax)之頂點對被形成。或者，鑑於依據失真準則之隔離的頂點對，不滿足該失真準則之頂點對的距離或權數可被指定為無限大以由該最短路徑分析（見下面的步驟606)消除其考慮。橫過該邊界之最短路徑由該對頂點集合（v p)在步驟 15 606被定出。如上面討論者，滿足該失真準則之每一頂點

對可被運用以近似各別頂點對相關之各別邊緣。該最短路徑為以最少數目之頂點橫過整個邊界的路徑。該最短路徑之頂點以V f集合表示。 V f中之頂點如將在下面更詳細討論地在步驟6〇7差別 2〇地編碼。在步驟608，各別的頂點w與s被配以差別地被編碼之頂點V f以形成依據本發明實施例之編碼後的邊界資料結構。在步驟609，該處理流程結束。為以數學上更詳細地描述本發明之實施例，定義數項為適g的。集合B={b〇，b!，bi，b2，b3，…，bn}為邊界 14 200301874 玖、發明說明貪訊，其中\為邊界的第丨書素。一 I 予B中之二點^與比（1 >幻，-邊緣被定義為叫至bi(含㈣w。邊緣失真函數d(b h— (bk bl)被疋義以測量點bk，bl之相關邊緣與橡皮筋函數所定出之# 1只判遠界間的差。如前所指出 ίο 15 20 ’吾人可使用封閉區域之面積大小，且所偵測的邊界可被運用作為所選擇之量度賴量其失真。為讀者之方便起見’第7圖圖形式地顯示由邊緣7〇3與橡皮筋函數所價測之邊界702(此二者均包括㈨與吣所定義的區物。然而，其應被了解其他適合的量度可依據本發明實施例被運用。、般化員目而a，編碼分析以排序頂點集合v f= d …’ vNv_l}與其對應的邊緣集合E=={ei; γ咖 ’ =^ ϋ ’ 1 ’ m 之形式找到邊界資訊（Β) 最L代表此處，Vi為第口員點，⑽為Vf中頂點之總數，及e^E中之第i邊緣。在此代表中，每一邊緣e「e(Vi， vi+1)以配以一個四項數（quadruplet): (fi，Pi，Vi，Vi+1)，（i=〇，1，〜Νν·2) 其中fi為預設的函數集合，f(1}，··· }中的一函數，及（Pi，Vi，Vi+1)為函數6為產生一輪廓於=冰)，θ)， bi }所使用之參數。注意pi 一般性地表示&除了頂點參數 Vi與vi+1外所使用的參數。&，被考慮為邊界B的部分呈現。在被結合一起時，BG，，Bl，，…，b，n_2構成一邊界B，= Bi ，B NV_2}，其被視為原始邊界b之近似代表其最佳化問題可用典型比率與失真之意思被公式化。 15 200301874 玖、發明說明令r(fi，Pi，Vi，Vi+1)代表用以將邊緣e(Vi，Vi+〇蝙碼之比率 (如位元率）。則整個邊界的編碼比率為R==乙义、（f，p，

Vi ’ Vi+l)。其最佳化便被列為： min {fieF » piEp ? vieV , i=〇 , I , ...Nv-l}(f〇 J Po > v〇 · f 5 ，Pl，Vl ; ···，fNv-l，P Nv]，V Nv“） subject to D(f〇，Po，v〇 ; ，Pl，Vl ;…，fNW，p Nv-1，v = diff(B，B，）<Dmax /主w F，P，V係指f i，p i，v i分別被選出之可搜尋咬 10可允許的集合。此外，形狀差函數diff(B，B，）測量B與B，間之編碼失真。此以二種方式與邊緣失真d(bk，W相關。第一種為最大運算元。 diff(B ’ B’）= max (d(Vi，Vi+1)) i = 〇,l, .Nv-2 且弟一種為該加總運算元： 15 diff(B，B，)=Nf2(d(Vi，Vi+1)) i = 0 在此點前，本發明之實施例已被描述，其為了向讀者描述本發明之實施例之方便起見係實施最大運算元。雖然加總運算元多少更涉及概念，該加總運算元依據本發明之進步貝把例在貫作上是相當直接的（如見1998年IEEE 20 Trans· Image Processing，第 7卷第！期，G H ㈣仍如與 a K· Katsaggelos 之 “An Optimal P〇lygonai Boundary Encoding Scheme in the Rate Distorti〇n Sense”，其揭示在此被納為參考）。上面列出的最佳化問題被做成最短路徑圖形搜尋問題 200301874 玖、發明說明並用動態規劃法（DP)被求解。圖形模式化之基礎為每一邊緣之編碼率與失真二者均可局部地被決定的事實。

排序後頂點集合Vf係由頂點集合B被搜尋出來，而函數fi與參數Pi由橡皮筋之定義空間被搜尋出來。如先前指 5出者，可允許的參數集合P係較佳地藉由由三個值{1，15 ’ 31}選擇Wl及由四個值{1，2，4，6}選擇_被限制。在給予來自B之二任意頂點bk，brF，將得自邊緣編碼所需的比率被決定如： r(e(bk ^ b〇)-r(f* ^ p* , bk » b{) 10 其中（f*，P*)被下式決定： (f* ’ p*)=argmind((f，p，bk，b ) (feF > ρερ) 17 其中函數d()為上面定義之失真函數。因之，其後為函數與參數搜尋可由頂點搜尋被分離。而且，某一邊緣咖，b,)的權數可用頂點㈣獨一地被決定。因而，吾 15人可將某一邊緣之權數w(bk，bl)定義為如下：

否則，其中 d*( bk，b㈣(f*，p*，bk，bi) 而f ’p*為Ji面討論地被定義。以權數定義而言，加 2〇權導向圖形G以頂點集合V==B且邊緣集合他，心关被疋義。上面定義的取佳化問題便可如下地被列為取紐路徑問題。首先其被假設第一頂點vG=bG已被決定，且被用以將最佳解Vf之前啼點{%，···，與各別的邊緣 ’ Vi) ’…’ e(VM ’ Vi)}編碼的比率被表示為以。 17 200301874 玖、發明說明則其得到：

Ri=l； r(Vk J vk+1)=S w(vk » Vk+i)) k=0 k=0 對應於圖开> G中由v〇 = bm至Vi = bn的最短路徑（否則vf 不為如假設之最佳解）。所以，該問題可由找出由^=%至 5 Vi二bn，1，2，…，NBq之最短路徑增量地被求解。注意，在封閉邊界B之情形中，bNB_1 = b〇。吾人同樣有VNvi 。為求全面的最小化，v的第一個頂點刈可在B中每一個頂點位置上被移動而與對應的Rnw被比較。因之’該最小化問題以數學項被求解。然而，根據此 1〇原始形式之解的最短路徑搜尋具有相當的複雜性，原因為每回合的最短路徑搜尋具有0(|Γ|2 +间）的複雜性，而第一個頂點的每一個變化可能性使其增加至0 (|F|3+闻+内）。所以下面的限制與啟發較佳地被運用以降低複雜性。该第一個頂點v〇被決定為B中之點，其具有最大的曲 15率。為討論之簡單起見，B重新被標示，使得VG == bG。此啟發將最短路徑搜尋之複雜性降低為0 (|< +问），而對編碼口σ質只有很小的影響。

G之邊緣集合被限制為E={(bk，bi)，k<1}。此致使G 成為加權導向後之非週期性的圖形且搜尋複雜性進一步被 2〇降低為(9 (|F| +|句）。就B中每一點匕而言，G中可能的邊緣e(bk，bi)進一步被要求（1—k)<Ls而被限制，其中Ls為用啟發法被決定之常數。此要求使得阁= Ls· |F|且複雜性變為^(Ls·丨厂丨）。 G的頂點數目藉由以二方法將邊界資訊B中之點部分 18 200301874 玫、發明說明 ίο 15 20 抽樣而較佳地減少。首先，一頂點集合B⑷=丨处”，…，哎}藉由設定矽)=130及如下反覆地成長而較佳地被獲取。假設# = bk，bkeB被決定，則^巧藉由尋找會使丨最大之咖，受限於0<(1—k)<njd*( ^，bi)<D_而被決定，其中d*()為上面定義之失真函數，及ns為用啟發法被設定的常數。第二，另一頂點集合仏成)，···，❿藉由找出B中局部曲率高於預設門#之點而被決定。則g之最終或可搜尋的頂點集合被定義為¥=台步}。一般而言，若V用η被部分抽樣，其複雜性將變成％丄,〇在一般項中，依據本發明實施例被η編碼之邊界資訊用的編碼元素為該四項數（fi，Pim

V 依據本發明實施例，該編碼元素可較佳地用G，e ，Wi’Sl)之編碼四項數被表示，其中（mi)為頂點 Vi之列與行座#，且弋與〜分別為對應於邊緣中， i + l)之橡皮筋函婁文寬度與規模尺度。為去除額外的冗餘性’I點座標以(dri ’ dCi Wi，Si)的形式較户地以差分被編碼，其中dm—匕丨，dCi=Ci—Cii〇表1顯示釋例性的編碼句組，其可被運用：本發明實施例將-邊界編碼。進而言之，表2: _ 一釋例性位元流句法用以依據本發明實施例將：：後形狀資料存入一個二元檔案(或在一網路上= 流動）。讓其 19 200301874 玖、發明說明表1 編碼句組位元長度說明 00+dr[int(l)]+dc[int(l)] 2+2*1 Rubberband width=l (尺度為非必要的） 01+s[uint(2)]+dr[int(l)]+dc[int(l)] 4+2*1 Rubberband width=15 10+s[uint(2)]+dr[int(l)]+dc[int(l)] 4+2*1 Rubberband width=31 111 3 邊界結束 110+len[uint(4)] 7 以下為鏈碼描長度= len 表2

第一頂點(絕對碼） r[int(16)]+c[int(16)]+w[uint(2)]+s[uint(2)] 差分座標碼之位元寬度 l[uint(3)] 第二頂點 w+s+dr[int(l)]+dc[int(l)] 最後頂點 w+s+dr[int(l)]+dc[int(l)] 邊界結束 EOB

5 注意r[int(16)]係指具有16位元之整數變數r的編碼，而w[uint(2)]意即將具有2位元之無符號之整數變數編碼。在本發明之實施例中，為了將具有位元長度1之整數編碼係將具有2(1_1)之X相加而將之映對至[0，21]，而將具有位元長度1之無符號整數編碼涉及儲存其最左邊1個位元。在 10 表2，被用以將差別座標（dr，dc)編碼之位元長度藉由在整個頂點集合V找出其絕對最大值而被決定。其亦適當地注意雖然表2中描述之位元流語法僅描述一物件（邊界），但將之擴充至多物件格式為直覺的。本發明之實施例對已知邊界或形狀之編碼法則提供很 15 多優點。明確地說，本發明之實施例促成一邊界以顯著減少的資訊量被編碼。明確地說，最少數目的頂點可被選擇 20 200301874 玖、發明說明以代表該邊界。該等最少數目的頂點足以描述該邊界，原因在於本發明由最少數目的頂點與其基礎影像重建該邊界。因之，本發明之實施例為可操作的以去除該邊界資料與該基礎影像間之相關，而達成所欲的編碼效率。本發明之 5實施例進一步不須要求封閉式的數學式地去除該邊界資料與該基礎影像間之相關。而且，本發明之實施例藉由產生一可搜哥的頂點集合及藉由限制潛在的邊緣集合來進一步降低該編碼處理之複雜性而達成適於使用者導向應用之處理效率。

10 除了以有效率之方式將邊界編碼外，橡皮筋函數可被 15 運用以定義與使用者輸入相關之邊界。第8圖顯示一釋例 f生的抓私圖800 顯示依據本發明實施例運用橡皮筋函數與使用者父互作用而創立一定義。在步驟8〇丨，輸入影像被接收。該輸人影像可為任何數目之適合圖形格式的其中之-。在步驟802，該輸入影像（灰階或料呈現）首先被可依比例調整之邊緣偵測器處理。梯度有利地以多種尺度被計算。

20 在步驟803，橡皮筋函數使用者介面被運用以運用使用者交互作用與自動尺度選擇。明確地說，該制者選擇在圖形影像中各別物件之邊界上的數個頂點。在步驟剛，當使用者例如以滑鼠周邊設備操縱該使用者介面時，應的輪廓根據局部可用的資訊自動地Μ示。如先M 者，該橡皮筋函數_純尋分析至被H點與一突參數所定義之長方形區域内。該❹者介面允許該使拜 21 200301874 玖、發明說明選擇該等二錨定點與一寬度參數。而且，該尺度參數如下面更詳細描述地由使用者交談自動地被決定。當所偵測之輪廓符合被使用者輸入所定義之邊界段落時，該等控制點 (各別的頂點對）可由使用者之適當的輸入（如一個或數個滑 5 鼠點選）。此交談之過程被重複至封閉的邊界被定義為止

在步驟804，封閉邊界之後處理與節點編輯可運用使用者交談被實施。在步驟805，物件描述資料結構（如邊界定義與/或支援地圖之類）被創立以定義該使用者所選擇之 10 物件。在步驟806，圖形資訊（即輸入影像與物件描述資料結構）可被轉換為適當的格式，包括圖形交換格式（GIF)， MPEG-4，與（或）Portable Network Graphics(PNG)之類，但不限於此。

依照定義與使用者輸入相關之物件邊界的本發明實施 15 例，橡皮筋函數之實作可被稱為“Controlled Flooding”法貝1J。該“Controlled Flooding”法則為對Dijikstra搜尋法則之改良，其對鄰近雜訊之表現更強健。而且，其應被了解適應性的門檻未在較早的公報被揭示（如ACM多媒體1999之 "Designing an Interactive Tool for Video Object Segmentation 20 and Annotation)，其討論橡皮筋函數之其他實作。在 “Controlled Flooding”法則中，適應性的門植T被用以控制該圖形搜尋過程。若任何畫素對之原始局部距離大於T ，該距離被設定為無限大。在此方式下，該圖形搜尋被禁止而免於到達這些點。如下面將更詳細被討論者，此工作 22 200301874 玖、發明說明之局部距離的定義致使此門檻測量等值於禁止該圖形搜尋以弱的梯度到達區域。該法則由一控制點開始並以該控制門檻增加δτ(δτ > 〇) 重複該搜尋過程，直至該搜尋過程到達其他控制點為止。 5在此方式下，強力的鄰近邊緣在其若不被強力邊緣連接至該等二控制點時，使該搜尋法則由偵測真實輪廓錯開的機率很小。此觀念在第9A-9C圖被說明。在第9Α圖中，一鄰近模型被顯示。該使用者選擇二控制點f與e，而輪廓B為所欲 10的結果。然而由於另一輪廓A為在該鄰近區内，A具有較強的梯度，當全面性最小化如第9B圖顯示地被獲得時，圖形搜尋結果被吸引至輪廓A。若Dijikstra法則被使用，有一共同的問越會經常發生。然而當“Controlled Flooding，，法則被應用，由於由控制點f與e至輪廓A上之點的搜尋路 15控被門檻T禁止’該圖形搜尋無法到達輪廓A。該成功的搜尋結果在第9C圖被顯示。為更詳細描述“Controlled Flooding，，法則，定義助理資料結構與相關函數為恰當的。該資料結構L為一活性佇列，其被使用引導該搜尋過程。下列四個函數為L被定義 20 : 1. push(L，p，d)被用以儲存晝素p與其累積路徑距離（由開始點算）d=C(p)於該佇列内； 2. pop(L，p)被用以擷取晝素p，其累積路徑在目前佇列中為最小； 200301874 玫、發明說明 3·_α)被用以送回在㈣中被儲存之書素的數目；以及 4.職〇ve(L，ρ)被用以若ρ為在仔列中日寺由該佇列去除該畫素ρ。 5 I種實作可被運用以視所用的資料結構L來實施這些函數。資料結構L之釋例性的實作為針對晝素之累積路捏距離d所儲存之仵列。為改進插入與操取績效，如在本技 *中相田省知之存貯桶結構的其他分類結構可被運用。假設p，q為二個八連接晝素，函數Dist(p，q)定義其 1〇之間的局部距離（Dist()函數之釋例性的定義將在下面更詳細地被描述）。N(P)代表畫素p之八連接鄰近集合。此外，令Ptr(p)為晝素ρ之最佳路徑指標，即ptr(p)指向該最佳路位上之鈾個晝素。則該contr〇lled-flo〇ding法則可用第1 〇圖之虛擬碼被表示。 15 在第圖之虛擬碼中，步驟1001-1004將助理資料結構預置化。步驟1005-1027實施搜尋分析。在這些步驟中，步驟1006-1024為受限搜尋函數（受目前門檻τ之限制）。步驟1010-1012實施門檻比較，且若成長被門檻限制，變數 flag—threshold被設定。在步驟1021_1〇23 中，若flag— 20 threshold被設定，目前的畫素被推入備用的活性佇列（L2) 。此作業之目的為就未來的處理儲存此畫素作為可能的開始畫素。當目前的活性佇列（L1)内所有的畫素被處理（即圖形在目前門檻允許下儘可能地成長），該門檻以心被提高（在步驟1025)，且備用的活性佇列（L2)被移向目前的活性佇 24 200301874 玖、發明說明列（L1)及整個過程被重複至其他錨定點e(結束點）被到達為止。維持圖开> 搜尋處理之精確度的一重要課題為就函數 Dist(p，q)疋義適當的局部距離定義。觀念上此函數應與p 5 ，q畫素之邊緣梯度的大小與方向有關。然而，使用者對一邊緣之主觀了解可能與影像灰階或R(}B成份中之信號不連續性不同。紋理很深之區域可能被視為「同質的」且與其紋理相關之強烈邊緣由使用者觀點可能不會被視為「邊緣」。原因在於「同質性」之定義視觀察的不同規模而定 10 為了產生與使用者期待一致的分段，適當的尺度選擇為有益的。為了達成此目標’橡皮筋函數所定義之鄰近區被運用。由於使用者對此橡皮筋函數長方形之大小與位置有控制 (而確保所論及之邊界段落位於橡皮筋函數内），使用者亦 15隱藏性地指示該使用者所觀察之物件的尺度。所以，此鄰近區内之景〉像特點分析將促進所欲的尺度之選擇。因之，以MDL(最小描述長度）原理為基礎之法則實施自動的尺度選擇。依照本發明之實施例，以區域為準之邊緣偵測器被運 20用。該以區域為準之邊緣偵測器為可以依比例週整之操作器，其根據不同的鄰近區大小計算邊緣強度。該以區域為準之邊緣偵測為比起如Laplacian與Lapiacian 〇f

Gaussian(LoG)之傳統可以依比例週整之操作器能展示更大的空間定位。雖然以區域為準之邊緣偵測器是較佳的，但 25 200301874 玖、發明說明傳統可以依比例週整之操作器可依據本發明實施例在相關的自動尺度選擇中被運用。在以區域為準之邊緣偵測器中，邊緣係被偵測為不同區域間之邊界。如第11圖顯示者，就畫素P，其邊界梯度 5 在三個區域R = Ri + R_2，Ri與R2上被分析。一區域同質性函數Η(·)被定義且其梯度量被定義為：mag=l/2 [Hd) + H(R2)] = H(R)。為運用不同角度偵測梯度，區域圖板可被旋轉為R(0)，ΜΘ)與R2(0)。則最終的梯度（大小量與方向）便被定義為： 1〇 mag= m:X { 1/2^(1(0))+11(^(0))] - H(R(0))} u ori = ^ { 1/2[H(R1(0))+H(R2(0))] - H(R(0))} u 正確的梯度定義視同質性函數H(·)之定義與鄰近區域圖板R，Ri與R2而定。在本發明之實施例中，R為一圓盤且1^與尺2每一個為以各別畫素為中心的半圓盤。方向在由 15 範圍[0，π]均一地被部分抽樣之四個角度被計算。該圓盤之半徑被用以代表邊緣偵測器之尺度因子s。在尺度因子s 被納入下，前面的輻度與方向等式被達成： mag(s)-

U ori ⑻=% {1/2^^8,0)^(^(8,0))] - H(R(s50))} u 20 同質性函數Η(·)可用更彈性的方式被設計。依據本發 26 200301874 玖、發明說明明之實施例，其標準差量度被運用，雖然任何數目之其他適合的量度可被運用。該標準差量度可被表達成： H(R) = pixe \num(R) 其中Vi為畫素特點向量，||·||為Euclid範數，；被定義為 Σ v,e/? pixe In um(R) 就特定的操作器尺度s而言，該局部距離測量根據上面設立之梯度定義被定義。令i (P)為在點p之梯度向量， a(P ’ q)為與向量p-q之單元向量（如先前討論者，方向在[〇 ’冗）之範圍内被計算，且在此節被提及之向量被映對至 10此範圍）。該梯度首先被下式線性地映對以使其輻度在[0， 1]之範圍内：

g(p)<= \ ^ min 、gnm' ^ min J ^ g(p) IMI 15 其中gmax與gmin為整個影像上之最大與最小梯度量度。二相鄰晝素對p與q間之局部距離便被定義為： Dist(p,q)= Distmag(p?q)+ Dist〇ri(pq) 其中Distmag(p，q)被定義為： Distmag(p，q)= (1 一幺⑼）及DisUp’q)被定義為：

/ s(p) g(p) g(p) g(p) ,a(p,q)\+G}2 g(p) ，a(p，q) 20 其中"^與6"2為加權因子且<，>為點乘積運算 27 200301874 玖、發明說明因之’藉由以Controlled-Flooding法則運用所描述之可依比例调整的邊緣偵測器與局部距離定義，搜尋c(s)可依連結二錨定點{'與6之尺度s被產生。其餘的意義便為選擇適當的尺度S以執行該法則。 5 由設計觀點’由較小尺度的搜尋結果在空間上更精確，但對有紋理的鄰近區敏感，而由較大尺度的搜尋結果在分別紋理的區域較佳但會損失空間精確性。由於此邊緣導向法則為局部解，MDL原理被運用以組合全面的量測以平衡最終結果中之局部化偏差。 10 在一般的意義中，MDL原理被列為： ™nDL(X)= -logP,(x)+DL(0 ) 其中x為將被描述/編碼之輸入資料及0為模式參數， Ρβ(χ)為在已知0下X之統計分配函數，及l0g 1%(幻與]〇1^ 0)為該資料與模式參數之描述/編碼長度。依據MDL原理 15 ，最佳的資料模式方法藉由使資料與模式參數之編碼長度和最小而由多種模式被選擇。為使此原理與輪廓分析相配，本發明之實施例考慮輸廓C(s)將橡皮筋函數定義之鄰近區分為如第丨丨圖顯示之二區域R1與R2。該輸入資料為在鄰近區中之晝素顏色，而 20該模式參數包括：（1)該分段輪廓c(s)，（2)分別描述在區域 R1與R2中之畫素顏色的統計分配函數之模式資料。若其被假設在每一區域中的每一畫素顏色成份在空間上為獨立的且共用相同的gaussian分配函數，MDL等式被轉換為封閉的形式· DL^N! · loga ! + N2 · loga 2+DL(c(s))+ 常數 28 200301874 玖、發明說明其中σ#σ2分別為區域R々R2之畫素顏色的標準差，及DL(c(s))為輪廓c(s)之輪廓長度。其前面二項為全面同質性量測，而最後一項為邊界平滑性量測。 5 10 15 最終分段結果便由從微分後MDL等式㈣最小值之輪廓C(s)被選擇。在運算時，本發明之實施例較㈣種尺度：1 ’ 2，4 ’ 6(晝素）計算候選分段輪扉。其可:的尺度因複雜性與績效之取捨而被限制為_特定的部分集合。該MDL等式被應用至每—候選分段輪廓。該最終分段結^與所選擇之尺度相關的結果）為使]^!)]^"式最小化之候選者。第12圖顯示流程圖1200，其顯示該尺度參數§之自動選擇。在步驟1201，圖形影像之二頂點被定出(如被使用者)。在步驟1202，數個輪廓在二頂點間以每—輪廓被配以不同的尺度參數而被偵測。在步驟12〇3，使“〇乙等式最小化（例如藉由使被輪廓定義之區域間的變異數）的尺度參數被選擇作為最佳的尺度參數。

本發明之實施例在被運用以定義與使用者交談相關的物件之邊界時提供數個好處。明確地說，本發明之實施例藉由運用自動尺度選擇達成與使用者主觀期待的更一致性。明確地說，該尺度在錯定關預置化橡皮筋函數時在使 20用者所定義的長方形區域内被分析。因之，該自動尺度選擇依照邊界之使用者主觀認知被實施。特別是，所揭示的自動尺度遥擇在_與紋理影像相關之輪廓時展現優越的績效。此外，本發明之實施例比較不可能因運用適應性門插搜尋準則而產生不規則的結果以達成更大空間精確度。

29 200301874 玖、發明說明【圖式簡單說明】第1圖顯示一釋例性的系統，用於依據本發明之實施例將邊界資訊編碼。第2圖顯示一釋例性的電腦系統，其可被運用以實作 5本發明之實施例。第3圖顯示一圖形影像，包括有釋例性的邊界與釋例性的頂點。第4圖顯示依據本發明之實施例用橡皮筋函數被偵測之一釋例性的邊界。 1〇第5圖顯示依據本發明實施例的一釋例性的晝素與其相關的邊緣。第囷，、、、員示依據本發明實施例的邊界資訊處理步驟之釋例性處理流程圖600。第7圖顯示依據本發明實施例用一邊緣與一橡皮筋函 15數所偵測的邊界被定義之一釋例性的差別區。第8圖顯示依據本發明實施例說明定義一物件邊界之釋例性的流程圖。第9A-9C圖顯示依據本發明實施例與使用及不使用一 >適應性Η檻值來控制圖形搜尋過程相關之釋例性的輪廊。第1 〇圖顯示釋例性的虛擬碼，其依據本發明實施例偵測被辨識之頂點間的輪廓。第11圖顯示依據本發明實施例用於邊緣偵測之區域圖板。♦ 第12圖顯示一流程圖依據本發明實施例來自動選擇一尺度參數。 30 200301874 玖、發明說明【圖式之主要元件代表符號表】 10 0…系統 300…圖形影像 101···影像編碼 301…邊界 102···形狀編碼 401…邊界 103···網路 402…長方形 104···影像解碼 501···頂點 105···物件形狀解碼 502…邊緣 106···處理 600…流程圖 200···電腦系統 601-609···步驟 201···顯示器 7 01…區域 202---CPU 702…邊界 203 …RAM 703…邊緣 204···圖形影像 800…流程圖 205···邊界定義 801-806…步驟 2 0 6…編碼後邊界 1200…步驟 207---ROM 1201…步驟 208···媒體驅動器 1202…步驟 2 0 9…邊界編碼法則 1203…步驟 210···轉接器 211···網路

31

Claims

200301874 2· 10 15 4. 20 拾、申請專利範圍 l -種系統，用於處理一圖形物件之邊界資訊，包含: ，編瑪用於接收包含該圖形物件之一圓形影像二句，其中該圖形物件被至少該邊界資訊(2()5)定義；編瑪用於偵測介於該圖形影像之-對點（ν1，ν2) 間的一輪廓（401); 編码用於由該邊界資訊決定數個頂點，其中被用於_之編碼所_的該等數個頂點之相鄰頂點間的各別輪摩在—失真準_近似該邊界龍之各別邊緣。如申請專利範圍第！項所述之，進一步包含：編碼用於運用至少圖形影像（2〇4)、該等數個頂點舁用於谓測之該編碼來創立一近似的邊界。々申》月專利範圍第1項所述之，其中該預設函數為可操作的以計算與該圖形影像相關之梯度，其令該計算後之梯度在被一尺度參數所限制之該圖形影像的各別空間區域上被計算。如申請專利範圍第i項所述之系統，其中用於決定 °亥編妈僅分析比—啟發值短之與各別邊緣相關的該界資訊之點。如申請專利範圍第1項所述之系統，其中用於決定之 Λ、扁馬僅刀析與加權後非週期性圖形之一邊緣集合的邊緣相關之頂點對。申明專利1巳圍第i項所述之系統，其中用於決定 Λ、扁碼僅刀析頂點來自_組可搜尋的頂點，其中該^ 可搜尋的頂點僅包括⑷與大於一第一啟發值之曲率相之邊之 32 6 拾、申請專利範圍關的頂點及（b)藉由使相鄰頂點間之距離最大化所迴覆地成長的頂點，但受到下列限制：⑴該最大化距離小於一第二啟發值且（ii)被用於偵測之編碼偵測的相鄰頂點間之每一輪廓近似於在一失真準則内之該邊界資 δίΐ的各別邊緣。 7 · 種用於處理一圖形物件之邊界資訊的方法，其中該圖形物件被至少該邊界資訊定義（601); 由該邊界資訊決定數個頂點，其中該等數個頂點之相鄰的頂點被配以各別的輪廓，其近似於在一失真準則内之該邊界資訊的各別邊緣，其中該等各別輪廓藉由用一預先決定的函數分析該圖形影像而被偵測 (6〇5);以及在一資料結構内將至少該等數個頂點編碼以代表該邊界資訊（6〇7)。 8·如申請專利範圍第7項所述之系方法，其中該預先決定的函數為可運算的以決定相鄰頂點間之一最短路徑 ’其中該最短路徑被由該圖形影像被計算之梯度加權，其中該預先決定的函數為可運算的以運用被一尺度參數所定義之一畫素鄰近區來計算該等梯度。 9·如申5月專利犯圍第7項所述之系方法，其中該決定僅勿析與比一啟發值短的邊緣相關之頂點對。 10·如申請專利範圍第7項所述之系方法，其中該決定選 ^之頂點僅為來自一組可搜尋的頂點，其中該組可搜尋的頂點僅包括⑷與大於一第一啟發值之曲率相關的 200301874 拾、申請專利範圍頂點及（b)藉由使相鄰頂點間之距離最大化所迴覆地成長的頂點，但受到下列限制··⑴該最大化距離小於一第二啟發值且（Π)被用於偵測之編碼偵測的相鄰頂點間之每一輪廓近似於在一失真準則内手則内之4邊界資訊的各別邊緣。

34