TWI415030B - 前景領域抽出程式，前景領域抽出裝置，及前景領域抽出方法 - Google Patents

前景領域抽出程式，前景領域抽出裝置，及前景領域抽出方法 Download PDF

Info

Publication number
TWI415030B
TWI415030B TW098132075A TW98132075A TWI415030B TW I415030 B TWI415030 B TW I415030B TW 098132075 A TW098132075 A TW 098132075A TW 98132075 A TW98132075 A TW 98132075A TW I415030 B TWI415030 B TW I415030B
Authority
TW
Taiwan
Prior art keywords
pixel
foreground
color
color space
adjacent
Prior art date
Application number
TW098132075A
Other languages
English (en)
Other versions
TW201020973A (en
Inventor
Rikio Onai
Takahiro Hayashi
Tatsuya Kiyono
Masaya Mori
Masahiro Sanjo
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of TW201020973A publication Critical patent/TW201020973A/zh
Application granted granted Critical
Publication of TWI415030B publication Critical patent/TWI415030B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Description

前景領域抽出程式，前景領域抽出裝置，及前景領域抽出方法
本發明係有關於，從影像中切出物體領域的技術領域。
從影像中抽出物體領域(前景領域)，係被照片或動畫的加工等許多場合所利用。作為此種物體領域的抽出技術，係例如有，根據使用者在物體領域上所拉出的手描線、和使用者在背景領域上所拉出的手描線，抽出物體領域，例如Lazy Snapping之邏輯等的技術(參照非專利文獻1)，係為公知。Lazy Snapping的特徵，係只需要在領域內拉出數條手繪線就能實現物體領域抽出這點，右，每追壓1條線，就會逐次進行物體領域的再抽出，因此使用者係可一面觀看抽出結果一面進行線的追加、刪除。
[非專利文獻1]Y. Li,J. Sun,C. K. Tang and H. Y. Shum,“Lazy Snapping,”ACM Transactions on Graphics (TOG),Vol.23,Issue.3,pp.303-308,Aug.2004.
然而，在如上述的先前之物體領域的抽出技術中，例如追加手描線等等，最終而言是可切出使用者所望的物體領域，但直到正確切出該當物體領域為止，有時會需要耗費時間。
本發明係有鑑於此種問題頂而研發，其課題之一例係目的在於提供一種可高速切出物體領域(前景領域)的前景領域抽出程式、前景領域抽出裝置、及前景領域抽出方法。
為了解決上記課題，請求項1所記載之前景領域抽出程式之發明，係使電腦成為：顯示控制手段，係令影像被顯示；受理手段，係從使用者受理，前記所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中所含之背景領域上的至少一個背景像素之指定；分割色彩空間特定手段，係進行分割色彩空間特定處理，將前記所被指定之前景像素及前記所被指定之背景像素分別當作基準像素，從3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來；色彩距離算出手段，係進行色彩距離算出處理，將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離，予以算出；隸屬與否判別手段，係進行隸屬與否判別處理，判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中；成本算出手段，係進行成本算出處理，基於：針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本；以及，確定手段，係進行確定處理，將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素，而發揮機能；並且使其發揮以下機能：將前記所被確定之相鄰像素視為基準像素，令前記電腦反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域，為其特徵。
若依據此發明，則可高速地切出使用者所望之物體領域(前景領域)。
請求項2所記載之發明，係請求項1所記載之前景領域抽出程式，其中，當相鄰於前記基準像素的相鄰像素，是隸屬於前記基準分割色彩空間時，則前記權重是被設定較小，為其特徵。
請求項3所記載之發明，係請求項1或2所記載之前景領域抽出程式，其中，被前記使用者所指定的前記前景像素，係將被表示在前記前景領域上的紋理圖案加以構成之彼此互異的至少2個色彩所分別對應的前景像素，為其特徵。
若依據此發明，則即使紋理圖案是在影像上，仍可正確區別前景與背景。
請求項4所記載之發明，係請求項1至3之任一項所記載之前景領域抽出程式，其中，當相鄰於前記基準像素的相鄰像素，是不隸屬於前記基準分割色彩空間時，則將前記成本予以累積，當所被累積的成本超過閾值時，則令前景與背景反轉，為其特徵。
若依據此發明，則即使在離島地的輪廓部分有反鋸齒，也能於離島地中正確地反轉前景與背景。
請求項5所記載之發明，係具備：顯示控制手段，係令影像被顯示；和受理手段，係從使用者受理，前記所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中所含之背景領域上的至少一個背景像素之指定；和分割色彩空間特定手段，係進行分割色彩空間特定處理，將前記所被指定之前景像素及前記所被指定之背景像素分別當作基準像素，從3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來；和色彩距離算出手段，係進行色彩距離算出處理，將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離，予以算出；和隸屬與否判別手段，係進行隸屬與否判別處理，判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中；和成本算出手段，係進行成本算出處理，基於：針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本；和確定手段，係進行確定處理，將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素；將前記所被確定之相鄰像素視為基準像素，反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域，為其特徵。
請求項6所記載之發明，係被電腦所進行的前景領域抽出方法，含有：顯示控制工程，係令影像被顯示；和受理工程，係從使用者受理，前記所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中所含之背景領域上的至少一個背景像素之指定；和分割色彩空間特定工程，係進行分割色彩空間特定處理，將前記所被指定之前景像素及前記所被指定之背景像素分別當作基準像素，從3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來；和色彩距離算出工程，係進行色彩距離算出處理，將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離，予以算出；和隸屬與否判別工程，係進行隸屬與否判別處理，判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中；和成本算出工程，係進行成本算出處理，基於：針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本；和確定工程，係進行確定處理，將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素；將前記所被確定之相鄰像素視為基準像素，反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域，為其特徵。
若依據本發明，則將使用者所指定的前景像素及前記所被指定之背景像素分別當作基準像素，從3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來，進行將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離予以算出之色彩距離算出處理並且進行了判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中的隸屬與否判別處理後，進行基於針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本的成本算出處理，然後，進行將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素的確定處理，將前記所被確定之相鄰像素視為基準像素，反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域，由於是如此構成，因此可高速地切出使用者所望之物體領域(前景領域)。
以下，參照圖面來詳細說明本發明的最佳實施形態。以下說明的實施形態，係以使用者所描繪的手描線(手繪線)為提示來區分前景、背景以從影像中切出物體領域的影像編輯裝置，對其適用本發明時的實施形態。此處，「前景」係意味著，將人物或物品等之檢索對象予以顯示的影像，「背景」係意味著檢索對象以外的影像。
圖1係本實施形態所述之影像編輯裝置S的概要構成例的圖示。
如圖1所示，影像編輯裝置S，係具備操作部1、顯示部2、驅動機部3、記憶部4、輸出入介面部5、及系統控制部6等，系統控制部6與輸出入介面部5係透過系統匯流排7而連接。此外，作為影像編輯裝置S係可適用個人電腦。
操作部1，係例如由鍵盤及滑鼠等所成，會接受來自使用者等之操作指示，將其指示內容轉成指示訊號而輸出至系統控制部6。
顯示部2，係例如由CRT(Cathode Ray Tube)顯示器、液晶顯示器等所成，會顯示出文字或影像等資訊。
驅動機部3，係可從例如軟碟片、CD(Compact Disc)、DVD(Digital Versatile Disc)等碟片DK(記錄媒體)讀出資料，另一方面，可對該當碟片DK記錄媒體)記錄資料等。
輸出入介面部5，係在操作部1乃至記憶部4與系統控制部6之間，進行介面處理。
記憶部4，例如是由硬碟機等所成，記憶著作業系統(O/S)、各種程式及資料等。此處，被記憶在記憶部4中的程式中，係包含了動畫編輯應用程式(具有本發明的前景領域抽出程式)等。
此外，動畫編輯應用程式，係例如被記錄在CD-ROM等碟片DK而提供，但或可從連接在網路NW上的伺服器下載而提供、安裝而利用。
系統控制部6，係具備CPU(Central Processing Unit)6a、ROM(Read Only Memory)6b、及作為主記憶體與影像記憶體使用的RAM(Random Access Memory)6c等所構成。然後，系統控制部6，係藉由執行上記動畫編輯應用程式，以成為本發明的顯示控制手段、受理手段、分割色彩空間特定手段、色彩距離算出手段、隸屬與否判別手段、成本算出手段、及確定手段等而發揮機能，進行前景領域抽出處理。
此處，關於前景領域抽出處理，係參照圖2來說明之。
圖2係系統控制部6中的前景領域抽出處理之一例的流程圖。
圖2所示的處理，係因為動畫編輯應用程式的啟動而開始。一旦開始該當處理，則系統控制部6係使從使用者透過操作部1所指示的動畫中的靜止影像，顯示在顯示部2上(步驟S1)。
接下來，系統控制部6係從使用者受理，該當所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中所含之背景領域上的至少一個背景像素之指定(步驟S2)，當作已確定之前景像素及背景像素而加以登錄(記憶在RAM的登錄領域中)。例如，前景像素係藉由使用者操作滑鼠而在所望的前景領域(物體領域)上描繪出手描線就可加以指定，背景像素係藉由使用者操作滑鼠而在所望的背景領域上描繪出手描線就可加以指定。
圖3係於照片的影像中，在前景領域上及背景領域上描繪手描線之例子的圖示。在圖3的例子中，與手描線51重疊的複數像素是被指定作為前景像素，與手描線52重疊的複數像素是被指定作為背景像素。此外，在圖3的例子中，狗的物體領域，是使用者所望的前景領域。圖3中，若使用者所望的前景領域是樹木，則該樹木之物體領域係為前景領域，包含狗的其他領域則為背景領域。
接著，系統控制部6係進行分割色彩空間特定處理(步驟S3)。於該分割色彩空間特定處理中，係將上記所被指定之至少1個前景像素及至少1個所被指定的背景像素，分別當作基準像素，從3次元之RGB色彩空間被複數分割成的分割色彩空間(以下稱作「色盒」)當中，特定出各基準像素所隸屬的基準色盒。
圖4係將RGB色彩空間以分割數s的格線所分割成的色盒之圖示。在圖4的例子中係圖示了，具有R(紅)，G(綠),B(藍)的3個軸，各個亮度設為0～255之範圍的RGB色彩空間，R,G,B分別作了4分割(s=4)。藉此，RGB色彩空間係被分割成64個色盒。此外，在此例子中雖然是分割成64個色盒，但亦可分割成較少，也可分割成較多。
此處，基準像素p(=(pr ,pg ,pb ))所隸屬的色盒b(p)，係可由以下的(1)式算出。
[數1]
如此一來，如圖4所示，前景像素61所隸屬之基準色盒62、和背景像素63所隸屬之基準色盒64係被特定，基準色盒62係被登錄成為前景色彩叢集(換言之，是前景色彩群組)，基準色盒64係被登錄成為背景色彩叢集(換言之，是背景色彩群組)(此種叢集劃分，稱作使用色盒的叢集聚集法)。此外，若依據上述的手描線，則前景像素及背景像素係分別針對位於手描線上的像素而作複數指定，各個像素所隸屬之前景色彩叢集或背景色彩叢集會被登錄。
順便一提，例如，在前景領域上，會有顯示出如圖5所示的紋理圖案(連續模樣)之情形。在此種紋理圖案中，由於即使同樣是前景領域中，構成紋理圖案的至少2個顏色在色彩空間裡的距離也是較大，因此要區別前景與背景是困難的。於是，於本實施形態中，當紋理圖案是被表示在前景領域上時，使用者係在前景領域上描繪手描線，使得構成該當紋理圖案的彼此互異(色彩空間中的色彩之距離是離開一定距離以上)的至少2個顏色(在圖5的例子中係為領域71的顏色、和領域72的顏色)所個別對應的前景像素會被指定，以使至少2個前景色彩叢集被登錄。藉此，即使是紋理圖案，也能如後述般地正確地區別前景與背景。
圖6係前景領域中有顯示紋理圖案時，所被登錄的前景色彩叢集及背景色彩叢集的圖示。此情況下，如圖6所示，藉由登錄2個前景色彩叢集，各個前景色彩叢集中，就會有構成紋理圖案之各色所對應的前景像素，隸屬於其中。此外，在背景領域中也有可能顯示紋理圖案，此時，與前景領域同樣地，可登錄至少2個背景色彩叢集。
接下來，系統控制部6係判別是否有尚未確定是前景、背景的像素(步驟S4)，若有(步驟：YES)，則前進至步驟S5，若無(步驟：NO)，則前景與背景的區別就完成，因此將前景領域當作使用者所望之物體領域而從影像中切出(步驟S10)，結束該當處理。
另一方面，於步驟S5中，系統控制部6係在基準像素(前景像素或背景像素)所相鄰(上下左右任一方向相鄰)的相鄰像素當中，將尚未被特定成為grow候補的1或2個以上之像素，當作grow候補而加以特定。
圖7係影像上的像素是被逐一確定成為前景或背景之樣子的圖示。在圖7(A)的例子中，作為初期階段，被使用者所指定之前景像素81所相鄰的像素83,84，和被使用者所指定之背景像素82所相鄰的像素85,86，是被特定成為grow候補。
接著，系統控制部6係對已特定之各grow候補，進行色彩距離算出處理(步驟S6)。於該色彩距離算出處理中，基準像素與其所相鄰之grow候補的在RGB色彩空間中的色彩之距離，會被算出。該色彩之距離D(pi ,pj )，係可由以下的(2)式所算出。
[數2]
D(pi ，pj )=∥pi -pj ∥2 =(pi,r -pj,r )2 +(pi,g -pj,g )2 +(pi,b -pj,b )2 　‧‧‧(2)
其中，pi (=(pi,r ,pi,g ,pi,b ))係表示grow目的像素(grow候補)，pj (=(pj,r ,pj,g ,pj,b ))係表示grow來源像素(基準像素)。
接下來，系統控制部6係進行隸屬與否判別處理，判別已被算出上記色彩距離的grow候補，是否隸屬於前景色彩叢集，以及是否隸屬於背景色彩叢集(步驟S7)。於該隸屬與否判別處理中，grow候補pi 所隸屬的色盒b(pi )，是由上記(1)式所算出。如此，若依據使用色盒的叢集聚集法，則該當grow候補是否隸屬於前景色彩叢集與背景色彩叢集，就可較先前的例如k-means法(對K個叢集之每一者給予其代表的雛形(平均值(mean))，藉由將每一個體分配至最近的雛形以進行叢集聚集的手法)更為高速(更少計算量)地進行判別。
此外，表示該當判別結果的資訊，係被對應關連至grow候補而記憶。
接下來，系統控制部6係進行成本算出處理，基於針對grow候補所算出的色彩之距離D(pi ,pj )、和以針對該當grow候補所判別的前景色彩叢集及背景色彩叢集之隸屬與否為基礎的權重，來算出關於各grow候補的grow成本(步驟S8)。該grow成本costi ，係可由以下的(3)式所算出。
[數3]
costi =C1 (pi )‧D(pi ,pj )+C2 (pi)‧costj 　‧‧‧(3)
此處，C1 (pi )及C2 (pi )係表示，基於是否隸屬於上記叢集的權重。更具體而言，C1 (pi )係為色彩距離D(pi ,pj )的權重，是有意識到往紋理圖案之對應。另一方面，C2 (pi )係grow成本的累積條件，是意識到後述往離島地之對應。又，costj 係表示，當grow來源像素是grow候補時的grow成本。此外，若是被使用者所指定的像素時，則grow成本係原本就不會被計算因此是costj =0。
C1 (pi )係可用以下的(4)式來表示。
[數4]
此處，若grow來源像素pj是前景像素，則K1係為前景色彩叢集，K2係為背景色彩叢集，反之，若grow來源像素pj是背景像素，則K1係為背景色彩叢集，K2係為前景色彩叢集。
若依據該(4)式，則當grow來源像素pj 是前景像素的情況下，若grow候補pi 是僅隸屬於前景色彩叢集時則是C1 (pi )=1，若grow候補pi 是隸屬於前景色彩叢集及背景色彩叢集之雙方或是不屬於前景色彩叢集及背景色彩叢集之任一方時則是C1 (pi )=2，若grow候補pi 是僅隸屬於背景色彩叢集時則是C1 (pi )=4。另一方面，當grow來源像素pj 是背景像素的情況下，若grow候補pi 是僅隸屬於背景色彩叢集時則是C1 (pi )=1，若grow候補pi 是隸屬於前景色彩叢集及背景色彩叢集之雙方或是不屬於前景色彩叢集及背景色彩叢集之任一方時則是C1 (pi )=2，若grow候補pi 是僅隸屬於前景色彩叢集時則是C1 (pi )=4。
圖8係在影像上有紋理圖案時的grow成本之大小的圖示。
如圖8所示，當像素從前景至前景(或是從背景至背景)移行(飛越)時，C1 (pi )係變小因此grow成本變小，另一方面，當像素從前景至背景(或反之)移行(飛越)時，C1 (pi )係變大因此grow成本變大。
因此，藉由將權重的值乘算至色彩距離D(pi ,pj )，即使是紋理圖案也能正確地區別前景與背景。
此外，在(4)式中，C1 (pi )係可取為1、2、4之任一值，但其大小關係才是重點，因此例如亦可為0.5、1、2。只不過，若將C1 (pi )設成1、2、4，則grow成本的計算只需要用整數演算即可，因此若考慮到四捨五入的誤差，則如此設成2個次方數，較為理想。
另一方面，C2 (pi )係可用以下的(5)式來表示。
[數5]
若依據該(5)式，則當grow來源像素pj 是前景像素的情況下，若grow候補pi 是僅隸屬於前景色彩叢集時則是C2 (pi )=0，若grow候補pi 不是僅隸屬於前景色彩叢集時則是C2 (pi )=1。另一方面，當grow來源像素pj 是背景像素的情況下，若grow候補pi 是僅隸屬於背景色彩叢集時則是C2 (pi )=0，若grow候補pi 不是僅隸屬於背景色彩叢集時則是C2 (pi )=1。
亦即，當grow候補pi 是前景或背景這件事情是很明朗時，C2 (pi )=0，grow成本(costj )就不會被累積。另一方面，當grow候補pi 是前景或背景這件事情是不明朗時，C2 (pi )=1，grow成本(costj )就會被累積。如此，藉由累積grow成本，就可謀求對離島地的正確對應。
此處，所謂離島地，係意味著被前景領域所包圍的背景領域(或被背景領域所包圍的前景領域)，例如該當於甜甜圈的中央部分。在以手描線為線索來區分前景、背景的手法中，只要在上記離島地內沒有追加手描線，則例如要將被前景領域所包圍之離島地視為背景而讓系統控制部6來辨識，是做不到的。因此，為了要讓系統控制部6辨識離島地，當grow成本超過閾值T時，就必須要使前景與背景反轉。此外，閾值T係可由以下的(6)式所算出。
[數6]
T=max{D(Fb ,Bd ),D(Fd ,Bb )}　…(6)
此處，Fb 係表示最大亮度的前景色，Fd 係表示最小亮度的前景色，Bb 係表示最大亮度的背景色，Bd 係表示最小亮度的背景色。亦即，閾值T係為最大亮度的前景色Fb 與最小亮度的背景色Bd 之距離D(Fb,Bd)、與最小亮度的前景色Fd 與最大亮度的背景色Bb 之距離D(Fd,Bb)當中的最大者(max)。
然而，在離島地的輪廓部分(例如與前景領域的交界部分)，一般而言，會有反鋸齒(輪廓部分的模糊)，因此於該當輪廓部分上，相鄰的像素間的色彩之距離係較小，因此，要依據閾值T來正確反轉前景與背景，是有困難的。於是，於本實施形態中，如上述，當C2 (pi )=1時則令grow成本(costj )被累積，使grow成本增大，藉此就可於離島地中，可使前景與背景依照閾值T而被正確地反轉。
圖9係圖示，在影像上有反鋸齒的情況下，不令grow成本被累積時(A)，與令grow成本被累積時(B)的比較例。
在圖9(A)的例子中，由於grow成本未被累積，因此在各像素間不能超過閾值T，但在圖9(B)的例子中，由於令grow成本被累積，因此從像素91移行至像素92時的grow成本，係可超過閾值T。
然後，系統控制部6，係一旦如以上而算出關於各grow候補的grow成本，則進行前景/背景確定處理，將該當所被算出之grow成本為最小的grow候補，確定成為前景像素或背景像素(步驟S9)。例如，被當成與在該當grow候補之間進行過色彩距離之算出(上記步驟S6)的基準像素相同的前景或背景像素而確定(例如，若相鄰的基準像素是前景像素，則grow候補係被當作前景像素而確定)。如此被確定的grow候補，係以後被當作新的基準像素而看待。
在圖7(B)的例子中，grow成本為最小的像素85是被確定成為背景像素，因此該當像素85所相鄰的像素87、88，係被特定成為新的grow候補。
然後，系統控制部6，係返回步驟S4，判別是否還有前景、背景尚未被確定的像素，若有(步驟S4：YES)，則前進至步驟S5。接下來，系統控制部6係將新的基準像素所相鄰的相鄰像素當中，未被特定成為grow候補的像素，特定成為grow候補，對該當grow候補，和上記同樣地，進行色彩距離算出處理(步驟S6)、隸屬與否判別處理(步驟S7)、成本算出處理(步驟S8)、及進行前景/背景確定處理(步驟S9)。此種處理會被重複進行直到沒有grow候補為止，藉此，該當影像上的像素就逐一被確定成為前景或背景，如如圖7所示，一旦該當影像上的所有像素都被確定成為前景或背景，則於上記步驟S10中，前景領域就被當作使用者所望之物體領域而從該當影像中切出。
此外，隨著越是接近圖7(C)之狀態，某個grow候補所相鄰之基準像素會有複數出現之情形，但所述情況下，與各基準像素之間的色彩距離及grow成本會被算出，該當grow候補係與grow成本較小的基準像素同樣地被確定成為前景或背景。
如以上說明，若依據上記實施形態，則使用者所指定的前景像素及背景像素的各自所隸屬之各基準色盒係被特定並將前景色彩叢集及背景色彩叢集事前加以登錄，將相鄰於前景像素或背景像素的相鄰像素予以特定成為grow候補，對各grow候補進行色彩距離算出處理、及使用色盒之叢集聚集法的隸屬與否判別處理，根據如此所得之色彩距離D(pi,pj)、和以前景色彩叢集及背景色彩叢集之隸屬與否為基礎的權重，算出關於各grow候補的grow成本，將該當grow成本為最小的grow候補，確定成為前景像素或背景像素，將此種處理重複進行直到沒有grow候補為止，因為如此構成，所以可高速地切出使用者所望之物體領域(前景領域)。
又，當紋理圖案是被表示在前景領域或背景領域上時，將構成該當紋理圖案之彼此互異的至少2個色彩所分別對應的像素加以指定而將各個叢集(前景色彩叢集或背景色彩叢集)予以登錄，然後才如上述般地計算出grow成本，因為如此構成，所以即使紋理圖案是在影像上，仍可正確區別前景與背景。
甚至，藉由依照上述累積條件而使grow成本增大，即使在離島地的輪廓部分有反鋸齒，仍可於離島地中，使前景與背景正確地反轉。
此外，作為本實施形態中的影像編輯裝置S的利用形態，係除了於個人電腦中作單機利用以外，還亦可例如對於在網際網路上對客戶端進行各種資訊提供服務的Web伺服器等，安裝影像編輯裝置S之構成及機能而加以利用。
1．．．操作部
2．．．顯示部
3．．．驅動機部
4．．．記憶部
5．．．輸出入介面部
6．．．系統控制部
7．．．系統匯流排
S．．．影像編輯裝置
[圖1]本實施形態所述之影像編輯裝置S的概要構成例的圖示。
[圖2]系統控制部6中的前景領域抽出處理之一例的流程圖。
[圖3]在前景領域上及背景領域上描繪手描線之例子的圖示。
[圖4]將RGB色彩空間以分割數s的格線所分割成的色盒之圖示。
[圖5]紋理圖案之一例的圖示。
[圖6]前景領域中有顯示紋理圖案時，所被登錄的前景色彩叢集及背景色彩叢集的圖示。
[圖7]影像上的像素是被逐一確定成為前景或背景之樣子的圖示。
[圖8]在影像上有紋理圖案時的grow成本之大小的圖示。
[圖9]在影像上有反鋸齒的情況下，不令grow成本被累積時(A)，與令grow成本被累積時(B)的比較例的圖示。

Claims (6)

  1. 一種前景領域抽出程式產品，其特徵為，使電腦成為：顯示控制手段，係令影像被顯示；受理手段，係從使用者受理，前記所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中所含之背景領域上的至少一個背景像素之指定；分割色彩空間特定手段，係進行分割色彩空間特定處理，將前記所被指定之前景像素及前記所被指定之背景像素分別當作基準像素，從以R、G、B三色為3個軸的3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來；色彩距離算出手段，係進行色彩距離算出處理，將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離，予以算出；隸屬與否判別手段，係進行隸屬與否判別處理，判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中；成本算出手段，係進行成本算出處理，基於：針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本；以及，確定手段，係進行確定處理，將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素，而發 揮機能；並且使其發揮以下機能：將前記所被確定之相鄰像素視為基準像素，令前記電腦反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域。
  2. 如申請專利範圍第1項所記載之前景領域抽出程式產品，其中，當相鄰於前記基準像素的相鄰像素，是隸屬於前記基準分割色彩空間時，則前記權重是被設定較小。
  3. 如申請專利範圍第1項或第2項所記載之前景領域抽出程式產品，其中，被前記使用者所指定的前記前景像素，係將被表示在前記前景領域上的紋理圖案加以構成之彼此互異的至少2個色彩所分別對應的前景像素。
  4. 如申請專利範圍第1項或第2項所記載之前景領域抽出程式產品，其中，當相鄰於前記基準像素的相鄰像素，是不隸屬於前記基準分割色彩空間時，則將前記成本予以累積，當所被累積的成本超過閾值時，則令前景與背景反轉。
  5. 一種前景領域抽出裝置，其特徵為，具備：顯示控制手段，係令影像被顯示；和受理手段，係從使用者受理，前記所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中 所含之背景領域上的至少一個背景像素之指定；和分割色彩空間特定手段，係進行分割色彩空間特定處理，將前記所被指定之前景像素及前記所被指定之背景像素分別當作基準像素，從以R、G、B三色為3個軸的3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來；和色彩距離算出手段，係進行色彩距離算出處理，將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離，予以算出；和隸屬與否判別手段，係進行隸屬與否判別處理，判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中；和成本算出手段，係進行成本算出處理，基於：針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本；和確定手段，係進行確定處理，將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素；將前記所被確定之相鄰像素視為基準像素，反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域。
  6. 一種前景領域抽出方法，係屬於被電腦所進行的 前景領域抽出方法，其特徵為，含有：顯示控制工程，係令影像被顯示；和受理工程，係從使用者受理，前記所被顯示之影像中所含之前景領域上的至少一個前景像素、以及該當影像中所含之背景領域上的至少一個背景像素之指定；和分割色彩空間特定工程，係進行分割色彩空間特定處理，將前記所被指定之前景像素及前記所被指定之背景像素分別當作基準像素，從以R、G、B三色為3個軸的3次元之色彩空間被複數分割成的分割色彩空間當中，將各前記基準像素所隸屬之分割色彩空間，當作基準分割色彩空間而予以特定出來；和色彩距離算出工程，係進行色彩距離算出處理，將前記各基準像素與其所相鄰之相鄰像素在前記色彩空間中的色彩之距離，予以算出；和隸屬與否判別工程，係進行隸屬與否判別處理，判別各前記相鄰像素是否隸屬於前記各基準分割色彩空間中；和成本算出工程，係進行成本算出處理，基於：針對前記各相鄰像素所算出的前記色彩之距離、和以針對前記各相鄰像素所判別的對前記基準分割色彩空間之隸屬與否為基礎的權重，來算出關於前記各相鄰像素的成本；和確定工程，係進行確定處理，將前記所被算出之成本為最小的相鄰像素，確定成為前景像素或背景像素； 將前記所被確定之相鄰像素視為基準像素，反覆進行前記色彩距離算出處理、前記隸屬與否判別處理、前記成本算出處理、及前記確定處理，以從前記影像中抽出前景領域。
TW098132075A 2008-09-25 2009-09-23 前景領域抽出程式，前景領域抽出裝置，及前景領域抽出方法 TWI415030B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008245350A JP4963306B2 (ja) 2008-09-25 2008-09-25 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法

Publications (2)

Publication Number Publication Date
TW201020973A TW201020973A (en) 2010-06-01
TWI415030B true TWI415030B (zh) 2013-11-11

Family

ID=42059683

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098132075A TWI415030B (zh) 2008-09-25 2009-09-23 前景領域抽出程式，前景領域抽出裝置，及前景領域抽出方法

Country Status (9)

Country Link
US (1) US8611648B2 (zh)
EP (1) EP2328127B1 (zh)
JP (1) JP4963306B2 (zh)
KR (1) KR101180570B1 (zh)
CN (1) CN102165487B (zh)
CA (1) CA2737115C (zh)
ES (1) ES2464345T3 (zh)
TW (1) TWI415030B (zh)
WO (1) WO2010035682A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066738A (ja) * 2009-09-18 2011-03-31 Sanyo Electric Co Ltd 投写型映像表示装置
JP5840940B2 (ja) * 2011-12-16 2016-01-06 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム
JP2013196308A (ja) * 2012-03-19 2013-09-30 Ricoh Co Ltd 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
CN103577475B (zh) * 2012-08-03 2018-01-30 阿里巴巴集团控股有限公司 一种图片自动化分类方法、图片处理方法及其装置
JP6089886B2 (ja) * 2013-03-29 2017-03-08 オムロン株式会社 領域分割方法および検査装置
CN110827287B (zh) * 2018-08-14 2023-06-23 阿里巴巴(上海)有限公司 确定背景色置信度和图像处理的方法、装置及设备
CN113408403A (zh) * 2018-09-10 2021-09-17 创新先进技术有限公司 活体检测方法、装置和计算机可读存储介质
CN112532882B (zh) * 2020-11-26 2022-09-16 维沃移动通信有限公司 图像显示方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW313658B (zh) * 1993-05-21 1997-08-21 Sega Enterprises Kk
TW200632785A (en) * 2005-03-15 2006-09-16 Ind Tech Res Inst Foreground extraction approach by using color and local structure information
US20070133880A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Background Removal In A Live Video
US7245774B2 (en) * 1999-09-13 2007-07-17 Sony Corporation Image processing apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528263A (ja) * 1991-07-17 1993-02-05 Photo Composing Mach Mfg Co Ltd カラー画像処理装置
JPH0721346A (ja) * 1993-06-18 1995-01-24 Fujitsu Ltd 画像処理における限定色表示処理方法
JPH10340334A (ja) * 1997-06-09 1998-12-22 Fukiage Hiroshi デジタルカラ−静止画像の中の切り出す対象の輪郭を含めて太い線で明示的に指定した領域に基づいて対象の画像を切り出す方法
US6134345A (en) * 1998-08-28 2000-10-17 Ultimatte Corporation Comprehensive method for removing from an image the background surrounding a selected subject
US20040130546A1 (en) * 2003-01-06 2004-07-08 Porikli Fatih M. Region growing with adaptive thresholds and distance function parameters
CN1871622B (zh) 2003-10-21 2010-07-14 日本电气株式会社 图像比较系统和图像比较方法
US7508455B2 (en) * 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
JP2006039689A (ja) * 2004-07-22 2006-02-09 Nara Institute Of Science & Technology 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
US8094943B2 (en) * 2007-09-27 2012-01-10 Behavioral Recognition Systems, Inc. Background-foreground module for video analysis system
JP4497236B2 (ja) 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW313658B (zh) * 1993-05-21 1997-08-21 Sega Enterprises Kk
US7245774B2 (en) * 1999-09-13 2007-07-17 Sony Corporation Image processing apparatus
TW200632785A (en) * 2005-03-15 2006-09-16 Ind Tech Res Inst Foreground extraction approach by using color and local structure information
US20070133880A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Background Removal In A Live Video

Also Published As

Publication number Publication date
TW201020973A (en) 2010-06-01
JP2010079477A (ja) 2010-04-08
US8611648B2 (en) 2013-12-17
CN102165487B (zh) 2014-02-12
CN102165487A (zh) 2011-08-24
KR101180570B1 (ko) 2012-09-06
CA2737115A1 (en) 2010-04-01
JP4963306B2 (ja) 2012-06-27
KR20110084405A (ko) 2011-07-22
CA2737115C (en) 2013-01-22
EP2328127A1 (en) 2011-06-01
EP2328127A4 (en) 2012-12-05
WO2010035682A1 (ja) 2010-04-01
US20110164814A1 (en) 2011-07-07
ES2464345T3 (es) 2014-06-02
EP2328127B1 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
TWI415030B (zh) 前景領域抽出程式，前景領域抽出裝置，及前景領域抽出方法
JP4861845B2 (ja) テロップ文字抽出プログラム、記録媒体、方法及び装置
JP4852766B2 (ja) クラスタリングシステム、及び、それを備える画像処理システム
JP3740065B2 (ja) 領域分割された映像の領域特徴値整合に基づいた客体抽出装置およびその方法
CN107292248A (zh) 一种基于图像识别技术的商品管理方法及系统
KR101611895B1 (ko) 감정 기반의 자동 문구 디자인 장치 및 그 방법
JP2013077296A (ja) 画像処理装置、画像処理方法およびプログラム
US9875555B2 (en) Partitioning an image
US20140160155A1 (en) Inserting an Object into an Image
JP5027201B2 (ja) テロップ文字領域検出方法，テロップ文字領域検出装置およびテロップ文字領域検出プログラム
JP4941299B2 (ja) 画像識別システム及び方法
JP4870721B2 (ja) 画像特徴抽出装置、画像特徴抽出方法、プログラム、及び記録媒体
JP4986934B2 (ja) 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体
US20230156177A1 (en) Information processing apparatus, information processing method, and storage medium
JP2003271973A (ja) 画像処理方法および画像処理プログラム
KR101194098B1 (ko) 무늬감 특성을 이용한 유사 쉐이더 검색 방법 및 시스템
CN117173213A (zh) 一种基于视频帧多目标检测跟踪方法、装置、设备及介质
KR20230147130A (ko) 이미지 세그먼트화 및 이미지 분석을 사용하여 수집물의 이미지를 등급화하기 위한 방법들 및 장치
JP2013080390A (ja) 画像解析方法、画像解析装置及びコンピュータプログラム
JP2013235491A (ja) 映像キーワード割り当て装置、映像キーワード割り当て方法及び映像キーワード割り当てプログラム
JP2012118578A (ja) 画像切出装置及びプログラム