JP6125099B2 - 画像分割方法、画像分割装置、プログラム、及び記録媒体 - Google Patents

画像分割方法、画像分割装置、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP6125099B2
JP6125099B2 JP2016517158A JP2016517158A JP6125099B2 JP 6125099 B2 JP6125099 B2 JP 6125099B2 JP 2016517158 A JP2016517158 A JP 2016517158A JP 2016517158 A JP2016517158 A JP 2016517158A JP 6125099 B2 JP6125099 B2 JP 6125099B2
Authority
JP
Japan
Prior art keywords
foreground
image
background
pixel
saliency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016517158A
Other languages
English (en)
Other versions
JP2016522951A (ja
Inventor
リン ワン
リン ワン
チィウピン チン
チィウピン チン
ジジュン チェン
ジジュン チェン
Original Assignee
シャオミ・インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャオミ・インコーポレイテッド filed Critical シャオミ・インコーポレイテッド
Publication of JP2016522951A publication Critical patent/JP2016522951A/ja
Application granted granted Critical
Publication of JP6125099B2 publication Critical patent/JP6125099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理分野に関し、特に、画像分割方法、画像分割装置、プログラム、及び記録媒体に関する。
画像分割技術は、画像分析、画像編集、画像合成等の分野の基礎的な技術である。画像分割技術によると、画像から前景と背景とを分割し得ることができる。画像分割技術では、どのようにして、高速、且つ自動的に、画像から前景と背景とを分割するかが、現在の研究の重要な課題の一つである。
関連する画像分割方法において、まず、ユーザにより手動で選定された画像中の前景サンプル点と背景サンプル点とを取得し、次に、ユーザにより手動で選定された前景サンプル点に基づいて前景色と背景色の尤度モデル（Ｌｉｋｅｌｉｈｏｏｄ ｍｏｄｅｌ）を生成し、最後に、前景色と背景色の尤度モデルに基づいて画像を分割して、分割後の前景と背景を得る。
発明者は、本発明を実現する過程において、関連技術には少なくとも以下の欠陥が存在することを発見した。即ち、従来の画像分割方法においては、ユーザにより手動でおおよその前景サンプル点と背景サンプル点とを選定することが必要であるため、多数の画像に対して分割を行う場合に、分割効率が比較的低くなる。
本発明では、関連技術において、必ず、ユーザにより手動でおおよその前景サンプル点と背景サンプル点と選定する必要があることから、多数の画像に対して分割を行う場合に、分割効率が比較的低くなるという問題を解决する、画像分割方法、画像分割装置、プログラム、及び記録媒体を提供する。この課題を解決するための構成は以下のとおりである。
本発明に係る実施例の第１の態様によると、画像分割方法を提供する。当該方法は、
画像の顕著性モデルを生成するステップと、
前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得するステップと、
前記顕著性モデル、前記前景サンプル点、及び前記背景サンプル点に基づいて、前景／背景分類モデルを生成するステップと、
前記前景／背景分類モデル、及び画素点に関するエッジ情報に基づいて前記画像を分割するための所定のグラフカットアルゴリズムに従って、前記画像を分割するステップと
を含む。
オプションとして、
前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得するステップは、
前記顕著性モデルに基づいて、前記画像中の各々の画素点の顕著性の値を算出するステップと、
前記各々の画素点の顕著性の値を正規化するステップと、
前記正規化後の顕著性の値が所定の前景閾値より大きい画素点を、前記前景サンプル点と特定するステップと、
前記正規化後の顕著性の値が所定の背景閾値より小さい画素点を、前記背景サンプル点と特定するステップとを含み、
前記所定の前景閾値は前記所定の背景閾値より大きく、前記正規化後の各々の顕著性の値はすべて(０、１)の範囲内である。
オプションとして、
前記前景／背景分類モデルは、前景分類モデルと背景分類モデルとを含み、
前記顕著性モデル、前記前景サンプル点、及び前記背景サンプル点に基づいて、前景／背景分類モデルを生成するステップは、
前記前景サンプル点に基づいて、前景色の尤度モデルを生成するステップと、
前記背景サンプル点に基づいて、背景色の尤度モデルを生成するステップと、
前記顕著性モデルと前記前景色の尤度モデルとを乗算することにより、画素点が前景である確率を表わすための、前記前景分類モデルを取得するステップと、
前記顕著性モデルと前記背景色の尤度モデルとを乗算することにより、画素点が背景である確率を表わすための、前記背景分類モデルを取得するステップと
を含む。
オプションとして、
前記所定のグラフカットアルゴリズムに従って、前記画像を分割するステップは、
前記前景分類モデルを用いて、前記画像中の各々の画素点の前景類似度を算出するステップと、
前記背景分類モデルを用いて、前記画像中の各々の画素点の背景類似度を算出するステップと、
前記画像中の隣接する画素点間の類似度を取得するステップと、
前記各々の画素点の前景類似度、前記各々の画素点の背景類似度、及び前記隣接する画素点間の類似度を用いて、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップと、
前記所定のグラフカットアルゴリズムに従って前記無向グラフを分割して、前記画像に対する分割を完了するステップと
を含む。
オプションとして、
前記各々の画素点の前景類似度、前記各々の画素点の背景類似度、及び前記隣接する画素点間の類似度を用いて、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップは、
前景頂点と背景頂点と少なくとも一つの画素頂点と隣接する画素頂点との間の第１種類の辺と、前記画素頂点と前記前景頂点との間の第２種類の辺と、前記画素頂点と前記背景頂点との間の第３種類の辺と、が含まれている無向グラフであって、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップと、
前記第２種類の辺毎に、前記第２種類の辺と繋がれている画素頂点に対応する画素点の前記前景類似度を、前記第２種類の辺の重み値と特定するステップと、
前記第３種類の辺毎に、前記第３種類の辺と繋がれている画素頂点に対応する画素点の前記背景類似度を、前記第３種類の辺の重み値と特定するステップと、
前記第１種類の辺毎に、前記第１種類の辺と繋がれている二つの画素頂点に対応する二つの画素点の間の類似度を、前記第１種類の辺の重み値と特定するステップと
を含み、
前記無向グラフ中の画素頂点と前記画像中の各々の画素点とは1対1で対応する。
オプションとして、
前記画像の顕著性モデルを生成するステップは、
所定の過分割アルゴリズムに従って前記画像を過分割することにより、少なくとも一つの領域を取得するステップと、
前記各々の領域の色の値と中心とを特定するステップと、
各々の領域に対応する色の値、及び各々の領域の中心に基づいて、前記顕著性モデルを生成するステップと
を含み、
一つの前記領域中の各々の画素点の色の値は同一である。
オプションとして、
前記顕著性モデルは、
であり、
ここで、
Ｓｉ１は、領域Ｒｉ中のいずれか一つの画素点の前記顕著性の値であり、
ｗ（Ｒｊ）は、領域Ｒｊ中の画素点の数であり、
ＤＳ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の空間位置の差異のメトリック値を表わすめのものであり、
ＤＣ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の色の差異のメトリック値を表わすめのものであり、
Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
ＤＳ（Ｒｉ，Ｒｊ）は、
であり、
Ｃｅｎｔｅｒ（Ｒｉ）は、前記領域Ｒｉの中心であり、
Ｃｅｎｔｅｒ（Ｒｊ）は、前記領域Ｒｊの中心であり、
前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
になる。
オプションとして、
前記画像の顕著性モデルを生成するステップは、
色の値が同一な画素点を一つの色種類に分類する方法によって、各々の画素点の色の値に基づいて前記画像中の各々の画素点を分類するステップと、
前記各々の色種類の色の値に基づいて、前記顕著性モデルを生成するステップと
を含む。
オプションとして、
前記顕著性モデルは、
であり、
ここで、
ｗ（Ｐｊ）は、色種類Ｐｊの画素点の数であり、
ＤＣ（Ｐｉ，Ｐｊ）は、色種類Ｐｉと色種類Ｐｊとの間の色の差異のメトリック値を表わすためのものである。
本発明に係る実施例の第２の態様によると、画像分割装置を提供する。当該画像分割装置は、
画像の顕著性モデルを生成するための第１生成モジュールと、
前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得するためのサンプル取得モジュールと、
前記第１生成モジュールが生成した顕著性モデル、及び前記サンプル取得モジュールが取得した前景サンプル点と前記背景サンプル点に基づいて、前景／背景分類モデルを生成するための第２生成モジュールと、
前記第２生成モジュールが生成した前景／背景分類モデル、及び画素点に関するエッジ情報に基づいて前記画像を分割するための所定のグラフカットアルゴリズムに従って、前記画像を分割するための画像分割モジュールと
を備える。
オプションとして、
前記サンプル取得モジュールは、
前記顕著性モデルに基づいて、前記画像中の各々の画素点の顕著性の値を算出するための第１算出ユニットと、
前記算出ユニットが算出した各々の画素点の顕著性の値を正規化するための正規化ユニットと、
前記正規化ユニットによって正規化後の顕著性の値が所定の前景閾値より大きい画素点を、前記前景サンプル点と特定するための第１特定ユニットと、
前記正規化ユニットによって正規化後の顕著性の値が所定の背景閾値より小さい画素点を、前記背景サンプル点と特定するための第２特定ユニットと
を備え、
前記所定の前景閾値は前記所定の背景閾値より大きく、前記正規化後の各々の顕著性の値はすべて(０、１)の範囲内である。
オプションとして、
前記前景／背景分類モデルは、前景分類モデルと背景分類モデルとを含み、
前記第２生成モジュールは、
前記前景サンプル点に基づいて、前景色の尤度モデルを生成するための第１生成ユニットと、
前記背景サンプル点に基づいて、背景色の尤度モデルを生成するための第２生成ユニットと、
前記第１生成モジュールが生成した顕著性モデルと前記第１生成ユニットが生成した前景色の尤度モデルとを乗算して、画素点が前景である確率を表わすための、前記前景分類モデルを取得するための第１乗算ユニットと、
前記第１生成モジュールが生成した顕著性モデルと前記第２生成ユニットが生成した背景色の尤度モデルとを乗算して、画素点が背景である確率を表わすための、前記背景分類モデルを取得するための第２乗算ユニットと
を備える。
オプションとして、
前記画像分割モジュールは、
前記前景分類モデルを用いて、前記画像中の各々の画素点の前景類似度を算出するための第２算出ユニットと、
前記背景分類モデルを用いて、前記画像中の各々の画素点の背景類似度を算出するための第３算出ユニットと、
前記画像中の隣接する画素点間の類似度を取得するための取得ユニットと、
前記各々の画素点の前景類似度、前記各々の画素点の背景類似度、及び前記隣接する画素点間の類似度を用いて、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するための構築ユニットと、
前記所定のグラフカットアルゴリズムに従って前記無向グラフを分割して、前記画像に対する分割を完了するための第１分割ユニットと
を備える。
オプションとして、
前記構築ユニットは、
前景頂点と背景頂点と少なくとも一つの画素頂点と隣接する画素頂点との間の第１種類の辺と、前記画素頂点と前記前景頂点との間の第２種類の辺と、前記画素頂点と前記背景頂点との間の第３種類の辺と、が含まれている無向グラフであって、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するための構築サブユニットと、
前記第２種類の辺毎に、前記第２種類の辺と繋がれている画素頂点に対応する画素点の前記前景類似度を、前記第２種類の辺の重み値と特定するための第１特定サブユニットと、
前記第３種類の辺毎に、前記第３種類の辺と繋がれている画素頂点に対応する画素点の前記背景類似度を、前記第３種類の辺の重み値と特定するための第２特定サブユニットと、
前記第１種類の辺毎に、前記第１種類の辺と繋がれている二つの画素頂点に対応する二つの画素点の間の類似度を、前記第１種類の辺の重み値と特定するための第３特定サブユニットと
を備え、
前記無向グラフ中の画素頂点と前記画像中の各々の画素点とは1対1で対応する。
オプションとして、
前記第１生成モジュールは、
所定の過分割アルゴリズムに従って前記画像を過分割することにより、少なくとも一つの領域を取得するための第２分割ユニットと、
前記各々の領域の色の値と中心とを特定するための第４特定ユニットと、
各々の領域に対応する色の値、及び各々の領域の中心に基づいて、前記顕著性モデルを生成するための第３生成ユニットと
を備え、
一つの前記領域中の各々の画素点の色の値は同一である。
オプションとして、
前記顕著性モデルは、
であり、
ここで、
Ｓｉ１は、領域Ｒｉ中のいずれか一つの画素点の前記顕著性の値であり、
ｗ（Ｒｊ）は、領域Ｒｊ中の画素点の数であり、
ＤＳ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の空間位置の差異のメトリック値を表わすめのものであり、
ＤＣ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の色の差異のメトリック値を表わすめのものであり、
Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
ＤＳ（Ｒｉ，Ｒｊ）は、
であり、
Ｃｅｎｔｅｒ（Ｒｉ）は、前記領域Ｒｉの中心であり、
Ｃｅｎｔｅｒ（Ｒｊ）は、前記領域Ｒｊの中心であり、
前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
になる。
オプションとして、
前記第１生成モジュールは、
色の値が同一な画素点を一つの色種類に分類する方法によって、各々の画素点の色の値に基づいて前記画像中の各々の画素点を分類するための分類ユニットと、
前記各々の色種類の色の値に基づいて、前記顕著性モデルを生成するための第４生成ユニットとを備える。
オプションとして、
前記顕著性モデルは、
であり、
ここで、
ｗ（Ｐｊ）は、色種類Ｐｊの画素点の数であり、
ＤＣ（Ｐｉ，Ｐｊ）は、色種類Ｐｉと色種類Ｐｊとの間の色の差異のメトリック値を表わすためのものである。
本発明に係る実施例の第３の態様によると、画像分割装置を提供する。
当該画像分割装置は、
プロセッサと、
前記プロセッサが実行可能な命令を記憶するためのメモリと
を備え、
前記プロセッサは、
画像の顕著性モデルを生成するステップと、
前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得し、
前記顕著性モデル、前記前景サンプル点、及び前記背景サンプル点に基づいて、前景／背景分類モデルを生成し、
前記前景／背景分類モデル、及び画素点に関するエッジ情報に基づいて前記画像を分割するための所定のグラフカットアルゴリズムに従って、前記画像を分割するように構成される。
本発明にかかる実施例の第４の態様によると、プロセッサに実行されることにより、上記の画像分割方法を実現するプログラムを提供する。
本発明にかかる実施例の第５の態様によると、上記プログラムが記録された記録媒体を提供する。
本発明の実施例が提供する技術方案の有益な効果は以下のとおりである。
前景サンプル点と背景サンプル点とを自動的に特定し、顕著性モデル及び前景サンプル点と背景サンプル点を利用して前景／背景分類モデルを生成し、当該前景／背景分類モデルを用いて画像の分割を実現することにより、関連技術でのユーザにより手動でおおよその前景サンプル点と背景サンプル点とを選定することが必要であるため、多数の画像に対して分割を行う場合に分割効率が比較的低くなる問題を解決した。前景サンプル点と背景サンプル点を自動的に取得でき、且つ、前景／背景分類モデルを生成する際にさらに公知の顕著性モデルも用いたため、サンプル選択の自動化を実現でき、分類精度を改善する効果を得ることができる。
以上の概要の説明と以下の詳細な説明は、ただ例示的なものであり、本発明を制限するものではないと、理解するべきである。
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本発明を構成する実施例を示し、明細書とともに本発明の原理の説明に用いられる。
図１は、例示的な一実施例に係る画像分割方法を示すフローチャートである。 図２Ａは、例示的なもう一実施例に係る画像分割方法を示すフローチャートである。 図２Ｂは、例示的な一実施例に係る画像の顕著性モデルを生成する方法を示すフローチャートである。 図２Ｃは、例示的なもう一実施例に係る画像の顕著性モデルを生成する方法を示すフローチャートである。 図２Ｄは、例示的な一実施例に係る無向グラフを構築する方法を示すフローチャートである。 図２Ｅは、例示的な一実施例に係る無向グラフを示す模式図である。 図３は、例示的な一実施例に係る画像分割装置を示すブロック図である。 図４は、例示的なもう一実施例に係る画像分割装置を示すブロック図である。 図５は、例示的なさらにもう一実施例に係る画像分割装置を示すブロック図である。
本発明の目的、技術的特徴及び利点をさらに明確にするために、以下、図面を参照しながら本発明の実施例をさらに詳しく説明する。もちろん、説明する実施例はただ本発明のいくつかの実施例に過ぎず、全部の実施例ではない。本技術分野の当業者が本発明の実施例に基づき創造的労働を実施しない状況で獲得した他の全部の実施例は本発明の範囲に属する。
まず、本発明の各実施例において言及される電子機器は、携帯電話（スマートフォン）、タブレット端末、スマートテレビ、電子ブックリーダー、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）プレーヤー、ＭＰ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレーヤー、ポータブルコンピュータ、デスクトップコンピュータ等であってもよい。
図１は、例示的な一実施例に係る画像分割方法のフローチャートである。図１に示したように、当該画像分割方法は、電子機器に適用できる。当該画像分割方法は、以下のステップを含む。
ステップ１０１において、画像の顕著性モデル(ｓａｌｉｅｎｃｙ ｍｏｄｅｌ)を生成する。
ステップ１０２において、顕著性モデルに基づいて、画像中の前景サンプル点と背景サンプル点とを取得する。
ステップ１０３において、顕著性モデル、前景サンプル点及び背景サンプル点に基づいて、前景／背景分類モデルを生成する。
ステップ１０４において、前景／背景分類モデル及び画素点に関するエッジ情報を用いて画像を分割するための所定のグラフカットアルゴリズム（ｇｒａｐｈ ｃｕｔ ａｌｇｏｒｉｔｈｍ）に従って、画像を分割する。
上記のように、本発明に係る実施例によって提供する画像分割方法によると、前景サンプル点と背景サンプル点とを自動的に特定し、顕著性モデル及び前景サンプル点と背景サンプル点を利用して前景／背景分類モデルを生成し、当該前景／背景分類モデルを用いて画像の分割を実現することにより、関連技術でのユーザにより手動でおおよその前景サンプル点と背景サンプル点とを選定することが必要であるため、多数の画像に対して分割を行う場合に分割効率が比較的低くなる問題を解決した。前景サンプル点と背景サンプル点を自動的に取得でき、且つ、前景／背景分類モデルを生成する際にさらに公知の顕著性モデルも用いたため、サンプル選択の自動化を実現でき、分類精度を改善する効果を得ることができる。
図２Ａは、例示的なもう一実施例に係る画像分割方法のフローチャートである。図２Ａに示したように、当該画像分割方法は、電子機器に適用できる。当該画像分割方法は、以下のステップを含む。
ステップ２０１において、画像の顕著性モデルを生成する。
実際に適用する際には、様々な方法に従って、画像の顕著性モデルを生成できる。具体的には、以下のとおりである。
第１の方法は、図２Ｂのとおりである。当該図２Ｂは、例示的な一実施例に係る画像の顕著性モデルを生成する方法のフローチャートである。当該方法は、以下のステップを含む。
ステップ２０１ａにおいて、所定の過分割アルゴリズム（ｏｖｅｒ−ｓｅｇｍｅｎｔａｔｉｏｎ ａｌｇｏｒｉｔｈｍ）に従って、画像を過分割することにより、少なくとも一つの領域を取得する。一つの領域中の各々の画素点の色の値は同一である。
画像を過分割する処理は、画像を多数の領域に分割する処理である。各々の領域の中の画素点は、ある一つの特徴が同一である。例えば、過分割後のある一つの領域中の各々の画素点の色の値は同一である。或は、過分割後のある一つの領域中の各々の画素点の色の値は非常に近似する。
ここで採用する過分割アルゴリズムは、平均値シフト（Ｍｅａｎ ｓｈｉｆｔ）に基づく過分割アルゴリズムである。実際に適用する際には、さらに、その他の様々な過分割アルゴリズムを採用してもよい。例えば、分水嶺（ｗａｔｅｒｓｈｅｄ）に基づく過分割アルゴリズム、ウルトラピクセルクラスタリング（ｕｌｔｒａ ｐｉｘｅｌ ｃｌｕｓｔｅｒｉｎｇ）に基づく過分割アルゴリズム等を採用してもよい、本実施例においては、過分割アルゴリズムに対して制限しない。
ステップ２０１ｂにおいて、各々の領域の色の値と中心とを特定する。
過分割後の領域中の各々の画素点は同一な色の値を有するため、当該領域の色の値を特定できる。また、領域毎に、領域に対応する中心を算出できる。
ステップ２０１ｃにおいて、各々の領域に対応する色の値、及び各々の領域の中心に基づいて、顕著性モデルを生成する。
ステップ２０１ａ、ステップ２０１ｂ、及びステップ２０１ｃによって生成した顕著性モデルは以下のとおりである。
即ち、
であり、
ここで、
Ｓｉ１は、領域Ｒｉ中のいずれか一つの画素点の顕著性の値であり、
ｗ（Ｒｊ）は、領域Ｒｊ中の画素点の数であり、
ＤＳ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の空間位置の差異のメトリック値を表わすめのものであり、
ＤＣ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の色の差異のメトリック値を表わすめのものであり、
Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
ＤＳ（Ｒｉ，Ｒｊ）は、
であり、
Ｃｅｎｔｅｒ（Ｒｉ）は、前記領域Ｒｉの中心であり、
Ｃｅｎｔｅｒ（Ｒｊ）は、前記領域Ｒｊの中心であり、
前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
になる。
領域Ｒｉの色の値の平均値と領域Ｒｊの色の値の平均値との間のユークリッド距離によって、ＤＣ（Ｒｉ，Ｒｊ）を表わすことができる。領域の色の値の平均値は、当該領域中の各々の画素点の色の値を加算した後に当該領域中の画素点の数で割り算して得た値である。理想的には、領域中の各々の画素点の色の値はすべて同一である。この場合、当該領域の色の値は、その中の一つの画素点の色の値である。しかし、実際に適用する際には、一つの領域中の各々の画素点の色の値は完全に同一ではない。一般的に、各々の画素点の色の値は比較的近似する。この場合には、当該領域中の各々の画素点の色の値を加算した後に当該領域中の画素点の数で割り算して、当該領域の色の値の平均値を取得できる。
当該顕著性モデルの構成から分かるように、当該顕著性モデルは、各々の領域中の画素点の顕著性の値が画像中の他の各々の領域の影響を受けることを表わすことができる。
第２の方法は、図２Ｃのとおりである。当該図２Ｃは、例示的なもう一実施例に係る画像の顕著性モデルを生成する方法のフローチャートである。当該方法は、以下のステップを含む。
ステップ２０１ｄにおいて、色の値が同一な画素点を一つの色種類（ｃｏｌｏｒ ｔｙｐｅ）に分類する方法によって、各々の画素点の色の値に基づいて画像中の各々の画素点を分類する。
実際に適用する際には、画素点を格納するための色の値に対応するストレージスペース（例えば、ストレージキュー、ストレージスタック等）を設定してもよい。ストレージスペースの数は、２５６*２５６*２５６個であってもよい。画像中の画素点を順番に読み込んで、当該画素点を当該画素点の色の値に対応するストレージスペース中に入れると、各々のストレージスペース中に格納した各々の画素点の色の値はすべて同一である。
当該画像中の各々の画素点を全部読み込んだ後に、各々のストレージスペース中に格納された画素点の数の統計をとる。
ステップ２０１ｅにおいて、各々の色種類の色の値に基づいて、顕著性モデルを生成する。
各々の色種類の色の値に基づいて、生成して得た顕著性モデルは、以下のとおりである。
即ち、
であり、
ここで、
ｗ（Ｐｊ）は、色種類Ｐｊの画素点の数であり、
ＤＣ（Ｐｉ，Ｐｊ）は、色種類Ｐｉと色種類Ｐｊとの間の色の差異のメトリック値を表わすためのものである。
実際に適用する際には、ステップ２０１ｄによって画像中の画素点を分類した後、一つの色種類に対応する画素点の数は非常に少ない可能性があり、これら画素点の色がその他の画素点の色の顕著性の値に与える影響はあまり大きくないため、実現可能な一形態において、演算負荷を減らすために、画素点のより多い色に対応する色種類を選択して、顕著性モデルを生成してもよい。
ステップ２０２において、顕著性モデルに基づいて、画像中の各々の画素点の顕著性の値を算出する。
ステップ２０３において、各々の画素点の顕著性の値を正規化させる。
一般的に、各々の画素点の顕著性の値を(０、１)の範囲内に正規化させてもよい。
ステップ２０４において、正規化後の顕著性の値が所定の前景閾値より大きい画素点を、前景サンプル点と特定する。
各々の画素点の顕著性の値を(０、１)の範囲内に正規化させる際に、実際の状況によって所定の前景閾値を設定してもよい。例えば、当該所定の前景閾値を０.８に設定してもよい。
ステップ２０５において、正規化後の顕著性の値が所定の背景閾値より小さい画素点を、背景サンプル点と特定する。
各々の画素点の顕著性の値を(０、１)の範囲内に正規化させる際に、実際の状況によって所定の前景閾値を設定してもよい。例えば、当該所定の前景閾値を０.２５に設定してもよい。
一般的には、所定の前景閾値は所定の背景閾値より大きい。
このようにすると、生成した顕著性モデルを用いて、前景サンプル点と背景サンプル点とを自動的と特定できる。
ステップ２０６において、前景サンプル点に基づいて前景色の尤度モデル(ｌｉｋｅｌｉｈｏｏｄ ｍｏｄｅｌ)を生成する。
実際に適用する際には、色の尤度モデルを生成する方式はより多い。例えば、ヒストグラム統計に基づく数学モデリング方法によって色の尤度モデルを生成してもよい。さらに、ガウス混合モデル(Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ)に基づいて色の尤度モデルを生成してもよい。色の尤度モデルを生成する際に利用したサンプル点が前景サンプル点である場合、取得した色の尤度モデルを前景色の尤度モデルと特定する。
ステップ２０７において、背景サンプル点に基づいて背景色の尤度モデルを生成する。
同様に、ヒストグラム統計に基づく数学モデリング方法によって色の尤度モデルを生成してもよい。さらに、ガウス混合モデル(Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ)に基づいて色の尤度モデルを生成してもよい。色の尤度モデルを生成する際に利用したサンプル点が背景サンプル点である場合、取得した色の尤度モデルを背景色の尤度モデルと特定する。
ステップ２０８において、顕著性モデルと前景色の尤度モデルを乗算して、画素点が前景である確率を表わすための前景分類モデルを取得する。
画像に対して前景分割を行う際の精度を改善するために、公知の顕著性モデル及び拡張された前景色の尤度モデルを結合して、前景分類モデルを取得してもよい。例えば、顕著性モデルと前景色の尤度モデルを乗算して、前景分類モデルを取得してもよい。
ステップ２０９において、顕著性モデルと背景色の尤度モデルを乗算して、画素点が背景である確率を表わすための背景分類モデルを取得する。
同様に、画像に対して背景分割を行う際の精度を改善するために、公知の顕著性モデル及び拡張された背景色の尤度モデルを結合して、背景分類モデルを取得してもよい。例えば、顕著性モデルと背景色の尤度モデルを乗算して、背景分類モデルを取得してもよい。
ステップ２１０において、前景分類モデルを用いて画像中の各々の画素点の前景類似度を算出する。
前景分類モデルは、画素点が前景である確率を表わすことができ、即ち、当該画素点の前景との類似度を表わすことができるため、前景分類モデルを用いて、画像中の各々の画素点の前景類似度を直接算出してもよい。
ステップ２１１において、背景分類モデルを用いて画像中の各々の画素点の背景類似度を算出する。
同様に、背景分類モデルは、画素点が背景である確率を表わすことができ、即ち、当該画素点の背景との類似度を表わすことができるため、背景分類モデルを用いて、画像中の各々の画素点の背景類似度を直接算出してもよい。
ステップ２１２において、画像中の隣接する画素点間の類似度を取得する。
ステップ２１３において、各々の画素点の前景類似度、各々の画素点の背景類似度、及び隣接する画素点間の類似度を用いて、所定のグラフカットアルゴリズムに必要な無向グラフを構築する。
図２Ｄは、例示的な一実施例に係る無向グラフを構築する方法のフローチャートである。各々の画素点の前景類似度、各々の画素点の背景類似度、及び隣接する画素点間の類似度を用いて、所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップは、以下のステップを含んでもよい。
ステップ２１３ａにおいて、前景頂点と背景頂点と少なくとも一つの画素頂点と隣接する画素頂点との間の第１種類の辺と、画素頂点と前景頂点との間の第２種類の辺と、画素頂点と背景頂点との間の第３種類の辺と、が含まれている無向グラフであって、所定のグラフカットアルゴリズムに必要な無向グラフを構築する。無向グラフ中の画素頂点と画像中の各々の画素点は1対1で対応する。
無向グラフ中の画素頂点は、画像中の各々の画素点に対してマッピングを行うことにより取得したものである。即ち、画像中に含まれている画素点の数は、構築した無向グラフ中の画素頂点の数と同一であり、且つ、画素点毎に一つの画素頂点が対応しており、画素頂点毎に一つの画素点が対応している。
図２Ｅは、例示的な一実施例に係る無向グラフの模式図である。当該無向グラフは画素頂点を含み、これら画素頂点は画像中の画素点と1対1で対応する。説明の簡略化のために、ここでは、９個の画素頂点のみ示している。当該無向グラフは、前景頂点Ｓと背景頂点Ｔをさらに含む。ここで、画素頂点同士の間には第１種類の辺s１が繋がれており、前景頂点Ｓといずれか一つの画素頂点の間には第２種類の辺s２が繋がれており、背景頂点Ｔといずれか一つの画素頂点の間には第３種類の辺s３が繋がれている。
ステップ２１３ｂにおいて、第２種類の辺毎に、第２種類の辺に繋がれている画素頂点に対応する画素点の前景類似度を、第２種類の辺の重み値と特定する。
例えば、一つの選定された画素頂点に対して、当該画素頂点に対応する画素点を特定できる。当該画素点の前景類似度を、当該画素頂点と前景頂点の間の第２種類の辺の重み値とする。
ステップ２１３ｃにおいて、第３種類の辺毎に、第３種類の辺に繋がれている画素頂点に対応する画素点の背景類似度を、第３種類の辺の重み値と特定する。
例えば、一つの選定の画素頂点に対して、当該画素頂点に対応する画素点を特定できる。当該画素点の背景類似度を、当該画素頂点と背景頂点の間の第３種類の辺の重み値とする。
ステップ２１３ｄにおいて、第１種類の辺毎に、第１種類の辺に繋がれている二つの画素頂点に対応する二つの画素点の間の類似度を、第１種類の辺の重み値と特定する。
ステップ２１４において、所定のグラフカットアルゴリズムに従って無向グラフを分割して、画像の分割を完了する。
所定のグラフカットアルゴリズムは、上記のステップ２１３にて構築した無向グラフを用いて画像を分割するように構成されたグラフカットアルゴリズムでよい。グラフカットアルゴリズムに従って無向グラフを分割する方法は、本技術分野の当業者にとっては実現できるものであるため、ここでは詳細な説明を省略する。
上記のように、本発明に係る実施例によって提供する画像分割方法によると、前景サンプル点と背景サンプル点とを自動的に特定し、顕著性モデル及び前景サンプル点と背景サンプル点を利用して前景／背景分類モデルを生成し、当該前景／背景分類モデルを用いて画像の分割を実現することにより、関連技術でのユーザにより手動でおおよその前景サンプル点と背景サンプル点とを選定することが必要であるため、多数の画像に対して分割を行う場合に分割効率が比較的低くなる問題を解決した。前景サンプル点と背景サンプル点を自動的に取得でき、且つ、前景／背景分類モデルを生成する際にさらに公知の顕著性モデルも用いたため、サンプル選択の自動化を実現でき、分類精度を改善する効果を得ることができる。
以下は、本発明の装置の実施例であり、本発明の方法の実施例を実行することができる。本発明の装置の実施例において記述していない細部内容に対しては、本発明の方法の実施例を参照することができる。
図３は、例示的な一実施例に係る画像分割装置のブロック図である。図３に示したように、当該画像分割装置は、電子機器に適用できる。当該画像分割装置は、第１生成モジュール３０２、サンプル取得モジュール３０４、第２生成モジュール３０６、及び画像分割モジュール３０８を含むが、これらに制限されない。
当該第１生成モジュール３０２は、画像の顕著性モデルを生成する。
当該サンプル取得モジュール３０４は、顕著性モデルに基づいて画像中の前景サンプル点と背景サンプル点とを取得する。
当該第２生成モジュール３０６は、第１生成モジュールが生成した顕著性モデル、及びサンプル取得モジュールが取得した前景サンプル点と背景サンプル点とに基づいて、前景／背景分類モデルを生成する。
当該画像分割モジュール３０８は、第２生成モジュールが生成した前景／背景分類モデル、及び画素点に関するエッジ情報を用いて画像を分割するための所定のグラフカットアルゴリズムに従って、画像を分割する。
上記のように、本発明に係る実施例によって提供する画像分割装置によると、前景サンプル点と背景サンプル点とを自動的に特定し、顕著性モデル及び前景サンプル点と背景サンプル点を利用して前景／背景分類モデルを生成し、当該前景／背景分類モデルを用いて画像の分割を実現することにより、関連技術でのユーザにより手動でおおよその前景サンプル点と背景サンプル点とを選定することが必要であるため、多数の画像に対して分割を行う場合に分割効率が比較的低くなる問題を解決した。前景サンプル点と背景サンプル点を自動的に取得でき、且つ、前景／背景分類モデルを生成する際にさらに公知の顕著性モデルも用いたため、サンプル選択の自動化を実現でき、分類精度を改善する効果を得ることができる。
図４は、例示的なもう一実施例に係る画像分割装置のブロック図である。図４に示したように、当該画像分割装置は、電子機器に適用できる。当該画像分割装置は、第１生成モジュール４０２、サンプル取得モジュール４０４、第２生成モジュール４０６、及び画像分割モジュール４０８を含むが、これらに制限されない。
当該第１生成モジュール４０２は、画像の顕著性モデルを生成する。
当該サンプル取得モジュール４０４は、顕著性モデルに基づいて画像中の前景サンプル点と背景サンプル点とを取得する。
当該第２生成モジュール４０６は、第１生成モジュール４０２が生成した顕著性モデル及びサンプル取得モジュール４０４が取得した前景サンプル点と背景サンプル点とに基づいて、前景／背景分類モデルを生成する。
当該画像分割モジュール４０８は、第２生成モジュール４０６が生成した前景／背景分類モデル、及び画素点に関するエッジ情報を用いて画像を分割するための所定のグラフカットアルゴリズムに従って、画像を分割する。
図４に示された実施例に係る実施可能な第１の形態において、サンプル取得モジュール４０４は、第１算出ユニット４０４ａ、正規化ユニット４０４ｂ、第１特定ユニット４０４ｃ、及び第２特定ユニット４０４ｄを含んでもよい。
当該第１算出ユニット４０４ａは、顕著性モデルに基づいて、画像中の各々の画素点の顕著性の値を算出する。
当該正規化ユニット４０４ｂは、第１算出ユニット４０４ａが算出した各々の画素点の顕著性の値を正規化する。
当該第１特定ユニット４０４ｃは、正規化ユニット４０４ｂによって正規化された後の顕著性の値が所定の前景閾値より大きい画素点を、前景サンプル点と特定する。
当該第２特定ユニット４０４ｄは、正規化ユニット４０４ｂによって正規化された後の顕著性の値が所定の背景閾値より小さい画素点を、背景サンプル点と特定する。
ここで、所定の前景閾値は所定の背景閾値より大きく、正規化後の各々の顕著性の値はすべて(０、１)の範囲内である。
図４に示された実施例に係る実施可能な第２の形態において、前景／背景分類モデルは、前景分類モデルと背景分類モデルとを含む。当該第２生成モジュール４０６は、第１生成ユニット４０６ａ、第２生成ユニット４０６ｂ、第１乗算ユニット４０６ｃ、及び第２乗算ユニット４０６ｄを含んでもよい。
当該第１生成ユニット４０６ａは、前景サンプル点に基づいて前景色の尤度モデルを生成する。
当該第２生成ユニット４０６ｂは、背景サンプル点に基づいて背景色の尤度モデルを生成する。
当該第１乗算ユニット４０６ｃは、第１生成モジュール４０２が生成した顕著性モデルと第１生成ユニット４０６ａが生成した前景色の尤度モデルとを乗算して、画素点が前景である確率を表わすための前景分類モデルを取得する。
当該第２乗算ユニット４０６ｄは、第１生成モジュール４０２が生成した顕著性モデルと第２生成ユニット４０６ｂが生成した背景色の尤度モデルとを乗算して、画素点が背景である確率を表わすための背景分類モデルを取得する。
図４に示された実施例に係る実施可能な第３の形態において、画像分割モジュール４０８は、第２算出ユニット４０８ａ、第３算出ユニット４０８ｂ、取得ユニット４０８ｃ、構築ユニット４０８ｄ、及び第１分割ユニット４０８ｅを含んでもよい。
当該第２算出ユニット４０８ａは、前景分類モデルを用いて画像中の各々の画素点の前景類似度を算出する。
当該第３算出ユニット４０８ｂは、背景分類モデルを用いて、画像中の各々の画素点の背景類似度を算出する。
当該取得ユニット４０８ｃは、画像中の隣接する画素点間の類似度を取得する。
当該構築ユニット４０８ｄは、各々の画素点の前景類似度、各々の画素点の背景類似度、及び隣接する画素点間の類似度を用いて、所定のグラフカットアルゴリズムに必要な無向グラフを構築する。
当該第１分割ユニット４０８ｅは、所定のグラフカットアルゴリズムに従って無向グラフを分割して、画像の分割を完了する。
図４に示された実施例に係る実施可能な第４の形態において、構築ユニット４０８ｄは、構築サブユニット４０８ｄ１、第１特定サブユニット４０８ｄ２、第２特定サブユニット４０８ｄ３、及び第３特定サブユニット４０８ｄ４を含む。
当該構築サブユニット４０８ｄ１は、前景頂点と背景頂点と少なくとも一つの画素頂点と隣接する画素頂点との間の第１種類の辺と、画素頂点と前景頂点との間の第２種類の辺と、画素頂点と背景頂点との間の第３種類の辺と、が含まれている無向グラフであって、所定のグラフカットアルゴリズムに必要な無向グラフを構築する。無向グラフ中の画素頂点と画像中の各々の画素点は1対1で対応する。
当該第１特定サブユニット４０８ｄ２は、第２種類の辺毎に、第２種類の辺に繋がれている画素頂点に対応する画素点の前景類似度を、第２種類の辺の重み値と特定する。
当該第２特定サブユニット４０８ｄ３は、第３種類の辺毎に、第３種類の辺に繋がれている画素頂点に対応する画素点の背景類似度を、第３種類の辺の重み値と特定する。
当該第３特定サブユニット４０８ｄ４は、第１種類の辺毎に、第１種類の辺に繋がれている二つの画素頂点に対応する二つの画素点の間の類似度を、第１種類の辺の重み値と特定する。
図４に示された実施例に係る実施可能な第５の形態において、第１生成モジュール４０２は、第２分割ユニット４０２ａ、第４特定ユニット４０２ｂ、及び第３生成ユニット４０２ｃを含んでもよい。
当該第２分割ユニット４０２ａは、所定の過分割アルゴリズムに従って画像を過分割して、少なくとも一つの領域を取得する。ここで、一つの領域中の各々の画素点の色の値は同一である。
当該第４特定ユニット４０２ｂは、各々の領域の色の値と中心とを特定する。
当該第３生成ユニット４０２ｃは、各々の領域に対応する色の値、及び各々の領域の中心に基づいて、顕著性モデルを生成する。
図４に示された実施例に係る実施可能な第６の形態において、
前記顕著性モデルは、
であり、
ここで、
Ｓｉ１は、領域Ｒｉ中のいずれか一つの画素点の顕著性の値であり、
ｗ（Ｒｊ）は、領域Ｒｊ中の画素点の数であり、
ＤＳ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の空間位置の差異のメトリック値を表わすめのものであり、
ＤＣ（Ｒｉ，Ｒｊ）は、前記領域Ｒｉと前記領域Ｒｊとの間の色の差異のメトリック値を表わすめのものであり、
Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
ＤＳ（Ｒｉ，Ｒｊ）は、
であり、
Ｃｅｎｔｅｒ（Ｒｉ）は、前記領域Ｒｉの中心であり、
Ｃｅｎｔｅｒ（Ｒｊ）は、前記領域Ｒｊの中心であり、
前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
になる。
図４に示された実施例に係る実施可能な第７の形態において、第１生成モジュール４０２は、分類ユニット４０２ｄ、及び第４生成ユニット４０２ｅを含んでもよい。
当該分類ユニット４０２ｄは、色の値が同一な画素点を一つの色種類に分類する方法によって、各々の画素点の色の値に基づいて画像中の各々の画素点を分類する。
当該第４生成ユニット４０２ｅは、各々の色種類の色の値に基づいて、顕著性モデルを生成する。
図４に示された実施例に係る実施可能な第８の形態において、
前記顕著性モデルは、
であり、
ここで、
ｗ（Ｐｊ）は、色種類Ｐｊの画素点の数であり、
ＤＣ（Ｐｉ，Ｐｊ）は、色種類Ｐｉと色種類Ｐｊとの間の色の差異のメトリック値を表わすためのものである。
上記のように、本発明に係る実施例によって提供する画像分割装置によると、前景サンプル点と背景サンプル点とを自動的に特定し、顕著性モデル及び前景サンプル点と背景サンプル点を利用して前景／背景分類モデルを生成し、当該前景／背景分類モデルを用いて画像の分割を実現することにより、関連技術でのユーザにより手動でおおよその前景サンプル点と背景サンプル点とを選定することが必要であるため、多数の画像に対して分割を行う場合に分割効率が比較的低くなる問題を解決した。前景サンプル点と背景サンプル点を自動的に取得でき、且つ、前景／背景分類モデルを生成する際にさらに公知の顕著性モデルも用いたため、サンプル選択の自動化を実現でき、分類精度を改善する効果を得ることができる。
上記の実施例の装置について、その各モジュールが実行する動作の具体的な形態は既に当該方法に関するの実施例において詳細に説明したため、ここでは詳細に説明しない。
図５は、例示的な一実施例に係る画像分割装置を示すブロック図である。例えば、装置５００は、携帯電話、コンピューター、デジタル放送端末、メッセージ送受信デバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、ＰＤＡ（パーソナルデジタルアシスタント）等であってもよい。
図５を参照して、装置５００は、プロセスアセンブリ５０２、メモリ５０４、電源アセンブリ５０６、マルチメディアアセンブリ５０８、オーディオアセンブリ５１０、入出力（Ｉ／Ｏ）インターフェイス５１２、センサアセンブリ５１４、及び通信アセンブリ５１６のような一つ以上のアセンブリを含んでよい。
プロセスアセンブリ５０２は、一般的には装置５００の全体の動作を制御するものであり、例えば、表示、電話呼び出し、データ通信、カメラ動作、及び記録動作と関連する動作を制御する。プロセスアセンブリ５０２は、一つ以上のプロセッサ５１８を含み、これらによって命令を実行することにより、上記の方法の全部、或は一部のステップを実現するようにしてもよい。なお、プロセスアセンブリ５０２は、一つ以上のモジュールを含み、これらによってプロセスアセンブリ５０２と他のアセンブリの間のインタラクションを容易にするようにしてもよい。例えば、プロセスアセンブリ５０２は、マルチメディアモジュールを含み、これらによってマルチメディアアセンブリ５０８とプロセスアセンブリ５０２の間のインタラクションを容易にするようにしてもよい。
メモリ５０４は、各種類のデータを記憶することにより装置５００の動作を支援するように構成される。これらのデータの例は、装置５００において動作するいずれのアプリケーションプログラム又は方法の命令、連絡対象データ、電話帳データ、メッセージ、画像、ビデオ等を含む。メモリ５０４は、いずれの種類の揮発性メモリ、不揮発性メモリ記憶デバイスまたはそれらの組み合わせによって実現されてもよく、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｂｅｒ）、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクである。
電源アセンブリ５０６は、装置５００の多様なアセンブリに電力を供給する。電源アセンブリ５０６は、電源管理システム、一つ以上の電源、及び装置５００のための電力の生成、管理及び割り当てに関連する他のアセンブリを含んでもよい。
マルチメディアアセンブリ５０８は、前記装置５００とユーザの間に一つの出力インターフェイスを提供するスクリーンを含む。上記の実施例において、スクリーンは液晶モニター（ＬＣＤ）とタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含むことにより、スクリーンはタッチスクリーンを実現することができ、ユーザからの入力信号を受信することができる。タッチパネルは一つ以上のタッチセンサを含んでおり、タッチ、スライド、及びタッチパネル上のジェスチャを検出することができる。前記タッチセンサは、タッチ、或はスライドの動作の境界だけでなく、前記のタッチ、或はスライド操作に係る継続時間及び圧力も検出できる。上記の実施例において、マルチメディアアセンブリ５０８は、一つのフロントカメラ、及び／又はリアカメラを含む。装置５００が、例えば撮影モード、或はビデオモード等の操作モードにある場合、フロントカメラ、及び／又はリアカメラは外部からマルチメディアデータを受信できる。フロントカメラとリアカメラのそれぞれは、一つの固定型の光レンズ系、或は可変焦点距離と光学ズーム機能を有するものであってもよい。
オーディオアセンブリ５１０は、オーディオ信号を入出力するように構成されてもよい。例えば、オーディオアセンブリ５１０は、一つのマイク（ＭＩＣ）を含み、装置５００が、例えば呼出しモード、記録モード、及び音声認識モード等の動作モードにある場合、マイクは外部のオーディオ信号を受信することができる。受信されたオーディオ信号は、さらにメモリ５０４に記憶されたり、通信アセンブリ５１６を介して送信されたりする。上記の実施例において、オーディオアセンブリ５１０は、オーディオ信号を出力するための一つのスピーカーをさらに含む。
Ｉ／Ｏインターフェイス５１２は、プロセスアセンブリ５０２と周辺インターフェイスモジュールの間にインターフェイスを提供するものであり、上記周辺インターフェイスモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボタン、ボリュームボタン、起動ボタン、ロッキングボタンを含んでもよいが、これらに限定されない。
センサアセンブリ５１４は、装置５００に各種の状態に対する評価を提供するための一つ以上のセンサを含む。例えば、センサアセンブリ５１４は、装置５００のＯＮ／ＯＦＦ状態、装置５００のディスプレイとキーパッドのようなアセンブリの相対的な位置決めを検出できる。また、例えば、センサアセンブリ５１４は、装置５００、或は装置５００の一つのアセンブリの位置変更、ユーザと装置５００とが接触しているか否か、装置５００の方位、又は加速／減速、装置５００の温度の変化を検出できる。センサアセンブリ５１４は、何れの物理的接触がない状態にて付近の物体の存在を検出するための近接センサを含んでもよい。センサアセンブリ５１４は、撮影アプリケーションに適用するため、ＣＭＯＳ、又はＣＣＤ画像センサのような光センサを含んでもよい。上記の実施例において、当該センサアセンブリ５１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサ、及び温度センサをさらに含んでもよい。
通信アセンブリ５１６は、装置５００と他の機器の間に有線、又は利便性のよい形態の通信を提供する。装置５００は、例えばＷｉＦｉ、２Ｇ、３Ｇ、或はこれらの組み合わせのような、通信規格に基づいた無線ネットワークに接続されてもよい。一つの例示的な実施例において、通信アセンブリ５１６は、放送チャンネルを介して外部の放送管理システムからの放送信号、又は放送に関連する情報を受信する。一つの例示的な実施例において、前記通信アセンブリ５１６は、近距離無線通信（ＮＦＣ）モジュールをさらに含むことにより、近距離通信を可能にする。例えば、ＮＦＣモジュールは、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）技術、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）技術、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）技術、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））技術、他の技術に基づいて実現できる。
例示的な実施例において、装置５００は、一つ以上のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＤＳＰＤ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品によって実現されるものであり、上記方法を実行する。
例示的な実施例において、さらに、命令を含むコンピュータ読取り可能な非一時的な記録媒体、例えば命令を含むメモリ５０４を提供しており、装置５００のプロセッサ５１８により上記命令を実行して上記方法を実現する。例えば、前記コンピュータ読取り可能な非一時的な記録媒体は、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶デバイス等である。
当業者が、ここで開示した明細書を検討して本発明を実施した後、本発明の他の実施例を容易に考え出せることは明らかである。本願は、本発明のいずれの変形、用途、又は適応的な変更をカバーすることを意図しており、これらの変形、用途、又は適応的な変更は、本発明の一般的な原理に従い、また、本発明は公開していない当該技術分野の公知の知識又は通常の技術手段を含む。明細書と実施例はただ例示として考慮され、本発明の真の範囲と趣旨は以下の特許請求の範囲に記載される。
本発明は上記に記述され、また図面で示した厳密な構成に限定されず、その範囲を逸脱しない限り多様な置換えと変更を行うことができると、理解されるべきである。本発明の範囲は添付の特許請求の範囲のみにより限定される。
本願は、出願番号が２０１４１０１８７２２６.７であって、出願日が２０１４年５月５日である中国特許出願に基づいて優先権を主張し、当該中国特許出願のすべての内容を援用する。

Claims (17)

  1. 画像の顕著性モデルを生成するステップと、
    前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得するステップと、
    前記顕著性モデル、前記前景サンプル点、及び前記背景サンプル点に基づいて、前景／背景分類モデルを生成するステップと、
    前記前景／背景分類モデル、及び画素点に関するエッジ情報に基づいて前記画像を分割するための所定のグラフカットアルゴリズムに従って、前記画像を分割するステップと
    を含み、
    前記画像の顕著性モデルを生成するステップは、
    所定の過分割アルゴリズムに従って前記画像を過分割することにより、少なくとも一つの領域を取得するステップと、
    前記各々の領域の色の値と中心とを特定するステップと、
    各々の領域に対応する色の値、及び各々の領域の中心に基づいて、前記顕著性モデルを生成するステップとを含み、
    一つの前記領域中の各々の画素点の色の値は同一であり、
    前記顕著性モデルは、
    であり、
    ここで、
    Ｓ ｉ１ は、領域Ｒ ｉ 中のいずれか一つの画素点の前記顕著性の値であり、
    ｗ（Ｒ ｊ ）は、領域Ｒｊ中の画素点の数であり、
    ＤＳ（Ｒ ｉ ，Ｒ ｊ ）は、前記領域Ｒｉと前記領域Ｒ ｊ との間の空間位置の差異のメトリック値を表わすものであり、
    ＤＣ（Ｒ ｉ ，Ｒ ｊ ）は、前記領域Ｒ ｉ と前記領域Ｒ ｊ との間の色の差異のメトリック値を表わすものであり、
    Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
    ＤＳ（Ｒ ｉ ，Ｒ ｊ ）は、
    であり、
    Ｃｅｎｔｅｒ（Ｒ ｉ ）は、前記領域Ｒ ｉ の中心であり、
    Ｃｅｎｔｅｒ（Ｒ ｊ ）は、前記領域Ｒ ｊ の中心であり、
    前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
    になる
    ことを特徴とする画像分割方法。
  2. 前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得するステップは、
    前記顕著性モデルに基づいて、前記画像中の各々の画素点の顕著性の値を算出するステップと、
    前記各々の画素点の顕著性の値を正規化するステップと、
    前記正規化後の顕著性の値が所定の前景閾値より大きい画素点を、前記前景サンプル点と特定するステップと、
    前記正規化後の顕著性の値が所定の背景閾値より小さい画素点を、前記背景サンプル点と特定するステップとを含み、
    前記所定の前景閾値は前記所定の背景閾値より大きく、前記正規化後の各々の顕著性の値はすべて(０、１)の範囲内である
    ことを特徴とする請求項１に記載の画像分割方法。
  3. 前記前景／背景分類モデルは、前景分類モデルと背景分類モデルとを含み、
    前記顕著性モデル、前記前景サンプル点、及び前記背景サンプル点に基づいて、前景／背景分類モデルを生成するステップは、
    前記前景サンプル点に基づいて、前景色の尤度モデルを生成するステップと、
    前記背景サンプル点に基づいて、背景色の尤度モデルを生成するステップと、
    前記顕著性モデルと前記前景色の尤度モデルとを乗算することにより、画素点が前景である確率を表わすための前記前景分類モデルを取得するステップと、
    前記顕著性モデルと前記背景色の尤度モデルとを乗算することにより、画素点が背景である確率を表わすための前記背景分類モデルを取得するステップと
    を含むことを特徴とする請求項１に記載の画像分割方法。
  4. 前記所定のグラフカットアルゴリズムに従って、前記画像を分割するステップは、
    前記前景分類モデルを用いて、前記画像中の各々の画素点の前景類似度を算出するステップと、
    前記背景分類モデルを用いて、前記画像中の各々の画素点の背景類似度を算出するステップと、
    前記画像中の隣接する画素点間の類似度を取得するステップと、
    前記各々の画素点の前景類似度、前記各々の画素点の背景類似度、及び前記隣接する画素点間の類似度を用いて、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップと、
    前記所定のグラフカットアルゴリズムに従って前記無向グラフを分割して、前記画像に対する分割を完了するステップと
    を含むことを特徴とする請求項３に記載の画像分割方法。
  5. 前記各々の画素点の前景類似度、前記各々の画素点の背景類似度、及び前記隣接する画素点間の類似度を用いて、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップは、
    前景頂点と背景頂点と少なくとも一つの画素頂点と隣接する画素頂点同との間の第１種類の辺と、前記画素頂点と前記前景頂点との間の第２種類の辺と、前記画素頂点と前記背景頂点との間の第３種類の辺と、が含まれている無向グラフであって、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するステップと、
    前記第２種類の辺毎に、前記第２種類の辺と繋がれている画素頂点に対応する画素点の前記前景類似度を、前記第２種類の辺の重み値と特定するステップと、
    前記第３種類の辺毎に、前記第３種類の辺と繋がれている画素頂点に対応する画素点の前記背景類似度を、前記第３種類の辺の重み値と特定するステップと、
    前記第１種類の辺毎に、前記第１種類の辺と繋がれている二つの画素頂点に対応する二つの画素点の間の類似度を、前記第１種類の辺の重み値と特定するステップとを含み、
    前記無向グラフ中の画素頂点と前記画像中の各々の画素点とは1対1で対応する
    ことを特徴とする請求項４に記載の画像分割方法。
  6. 前記画像の顕著性モデルを生成するステップは、
    色の値が同一な画素点を一つの色種類に分類する方法によって、各々の画素点の色の値に基づいて前記画像中の各々の画素点を分類するステップと、
    前記各々の色種類の色の値に基づいて、前記顕著性モデルを生成するステップと
    を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像分割方法。
  7. 前記顕著性モデルは、
    であり、
    ここで、
    ｗ（Ｐｊ）は、色種類Ｐｊの画素点の数であり、
    ＤＣ（Ｐｉ，Ｐｊ）は、色種類Ｐｉと色種類Ｐｊとの間の色の差異のメトリック値を表わすためのものである
    ことを特徴とする請求項６に記載の画像分割方法。
  8. 画像の顕著性モデルを生成するための第１生成モジュールと、
    前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得するためのサンプル取得モジュールと、
    前記第１生成モジュールが生成した顕著性モデル、及び前記サンプル取得モジュールが取得した前景サンプル点と前記背景サンプル点に基づいて、前景／背景分類モデルを生成するための第２生成モジュールと、
    前記第２生成モジュールが生成した前景／背景分類モデル、及び画素点に関するエッジ情報に基づいて前記画像を分割するための所定のグラフカットアルゴリズムに従って、前記画像を分割するための画像分割モジュールと
    を備え、
    前記第１生成モジュールは、
    所定の過分割アルゴリズムに従って前記画像を過分割することにより、少なくとも一つの領域を取得するための第２分割ユニットと、
    前記各々の領域の色の値と中心とを特定するための第３特定ユニットと、
    各々の領域に対応する色の値、及び各々の領域の中心に基づいて、前記顕著性モデルを生成するための第３生成ユニットと
    を備え、
    一つの前記領域中の各々の画素点の色の値は同一であり、
    前記顕著性モデルは、
    であり、
    ここで、
    Ｓ ｉ１ は、領域Ｒ ｉ 中のいずれか一つの画素点の前記顕著性の値であり、
    ｗ（Ｒ ｊ ）は、領域Ｒ ｊ 中の画素点の数であり、
    ＤＳ（Ｒ ｉ ，Ｒ ｊ ）は、前記領域Ｒ ｉ と前記領域Ｒ ｊ との間の空間位置の差異のメトリック値を表わすものであり、
    ＤＣ（Ｒ ｉ ，Ｒ ｊ ）は、前記領域Ｒ ｉ と前記領域Ｒ ｊ との間の色の差異のメトリック値を表わすものであり、
    Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
    ＤＳ（Ｒ ｉ ，Ｒ ｊ ）は、
    であり、
    Ｃｅｎｔｅｒ（Ｒ ｉ ）は、前記領域Ｒ ｉ の中心であり、
    Ｃｅｎｔｅｒ（Ｒ ｊ ）は、前記領域Ｒ ｊ の中心であり、
    前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
    になる
    ことを特徴とする画像分割装置。
  9. 前記サンプル取得モジュールは、
    前記顕著性モデルに基づいて、前記画像中の各々の画素点の顕著性の値を算出するための第１算出ユニットと、
    前記第１算出ユニットが算出した各々の画素点の顕著性の値を正規化するための正規化ユニットと、
    前記正規化ユニットによって正規化後の顕著性の値が所定の前景閾値より大きい画素点を、前記前景サンプル点と特定するための第１特定ユニットと、
    前記正規化ユニットによって正規化後の顕著性の値が所定の背景閾値より小さい画素点を、前記背景サンプル点と特定するための第２特定ユニットと
    を備え、
    前記所定の前景閾値は前記所定の背景閾値より大きく、正規化後の各々の顕著性の値はすべて(０、１)の範囲内である
    ことを特徴とする請求項８に記載の画像分割装置。
  10. 前記前景／背景分類モデルは、前景分類モデルと背景分類モデルとを含み、
    前記第２生成モジュールは、
    前記前景サンプル点に基づいて、前景色の尤度モデルを生成するための第１生成ユニットと、
    前記背景サンプル点に基づいて、背景色の尤度モデルを生成するための第２生成ユニットと、
    前記第１生成モジュールが生成した顕著性モデルと前記第１生成ユニットが生成した前景色の尤度モデルとを乗算して、画素点が前景である確率を表わすための、前記前景分類モデルを取得するための第１乗算ユニットと、
    前記第１生成モジュールが生成した顕著性モデルと前記第２生成ユニットが生成した背景色の尤度モデルとを乗算して、画素点が背景である確率を表わすための、前記背景分類モデルを取得するための第２乗算ユニットと
    を備えることを特徴とする請求項８に記載の画像分割装置。
  11. 前記画像分割モジュールは、
    前記前景分類モデルを用いて、前記画像中の各々の画素点の前景類似度を算出するための第２算出ユニットと、
    前記背景分類モデルを用いて、前記画像中の各々の画素点の背景類似度を算出するための第３算出ユニットと、
    前記画像中の隣接する画素点間の類似度を取得するための取得ユニットと、
    前記各々の画素点の前景類似度、前記各々の画素点の背景類似度、及び前記隣接する画素点間の類似度を用いて、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するための構築ユニットと、
    前記所定のグラフカットアルゴリズムに従って前記無向グラフを分割して、前記画像に対する分割を完了するための第１分割ユニットと
    を備えることを特徴とする請求項１０に記載の画像分割装置。
  12. 前記構築ユニットは、
    前景頂点と背景頂点と少なくとも一つの画素頂点と隣接する画素頂点との間の第１種類の辺と、前記画素頂点と前記前景頂点との間の第２種類の辺と、前記画素頂点と前記背景頂点との間の第３種類の辺と、が含まれている無向グラフであって、前記所定のグラフカットアルゴリズムに必要な無向グラフを構築するための構築サブユニットと、
    前記第２種類の辺毎に、前記第２種類の辺と繋がれている画素頂点に対応する画素点の前記前景類似度を、前記第２種類の辺の重み値と特定するための第１特定サブユニットと、
    前記第３種類の辺毎に、前記第３種類の辺と繋がれている画素頂点に対応する画素点の前記背景類似度を、前記第３種類の辺の重み値と特定するための第２特定サブユニットと、
    前記第１種類の辺毎に、前記第１種類の辺と繋がれている二つの画素頂点に対応する二つの画素点の間の類似度を、前記第１種類の辺の重み値と特定するための第３特定サブユニットと
    を備え、
    前記無向グラフ中の画素頂点と前記画像中の各々の画素点とは1対1で対応する
    ことを特徴とする請求項１１に記載の画像分割装置。
  13. 前記第１生成モジュールは、
    色の値が同一な画素点を一つの色種類に分類する方法によって、各々の画素点の色の値に基づいて前記画像中の各々の画素点を分類するための分類ユニットと、
    前記各々の色種類の色の値に基づいて、前記顕著性モデルを生成するための第４生成ユニットと
    を備えることを特徴とする請求項８乃至１２のいずれか１項に記載の画像分割装置。
  14. 前記顕著性モデルは、
    であり、
    ここで、
    ｗ（Ｐｊ）は、色種類Ｐｊの画素点の数であり、
    ＤＣ（Ｐｉ，Ｐｊ）は、色種類Ｐｉと色種類Ｐｊとの間の色の差異のメトリック値を表わすためのものである
    ことを特徴とする請求項１３に記載の画像分割装置。
  15. プロセッサと、
    前記プロセッサが実行可能な命令を記憶するためのメモリと
    を備え、
    前記プロセッサは、
    画像の顕著性モデルを生成し、
    前記顕著性モデルに基づいて、前記画像中の前景サンプル点と背景サンプル点とを取得し、
    前記顕著性モデル、前記前景サンプル点、及び前記背景サンプル点に基づいて、前景／背景分類モデルを生成し、
    前記前景／背景分類モデル、及び画素点に関するエッジ情報に基づいて前記画像を分割するための所定のグラフカットアルゴリズムに従って、前記画像を分割する
    ように構成され、
    前記画像の顕著性モデルの生成は、
    所定の過分割アルゴリズムに従って前記画像を過分割することにより、少なくとも一つの領域を取得し、
    前記各々の領域の色の値と中心とを特定し、
    各々の領域に対応する色の値、及び各々の領域の中心に基づいて、前記顕著性モデルを生成することを含み、
    一つの前記領域中の各々の画素点の色の値は同一であり、
    前記顕著性モデルは、
    であり、
    ここで、
    Ｓ ｉ１ は、領域Ｒ ｉ 中のいずれか一つの画素点の前記顕著性の値であり、
    ｗ（Ｒ ｊ ）は、領域Ｒ ｊ 中の画素点の数であり、
    ＤＳ（Ｒ ｉ ，Ｒ ｊ ）は、前記領域Ｒ ｉ と前記領域Ｒ ｊ との間の空間位置の差異のメトリック値を表わすものであり、
    ＤＣ（Ｒ ｉ ，Ｒ ｊ ）は、前記領域Ｒ ｉ と前記領域Ｒ ｊ との間の色の差異のメトリック値を表わすものであり、
    Ｎは、前記画像を過分割した後に取得した領域の数の合計であり、
    ＤＳ（Ｒ ｉ ，Ｒ ｊ ）は、
    であり、
    Ｃｅｎｔｅｒ（Ｒ ｉ ）は、前記領域Ｒ ｉ の中心であり、
    Ｃｅｎｔｅｒ（Ｒ ｊ ）は、前記領域Ｒ ｊ の中心であり、
    前記画像中の各々の画素点の座標のすべてを、[０,１]に正規化すると、
    になる
    ことを特徴とする画像分割装置。
  16. プロセッサに実行されることにより、請求項１から請求項７のいずれかに記載の画像分割方法を実現することを特徴とするプログラム。
  17. 請求項１６に記載のプログラムが記録された記録媒体。
JP2016517158A 2014-05-05 2014-10-23 画像分割方法、画像分割装置、プログラム、及び記録媒体 Active JP6125099B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410187226.7A CN103996189B (zh) 2014-05-05 2014-05-05 图像分割方法及装置
CN201410187226.7 2014-05-05
PCT/CN2014/089297 WO2015169061A1 (zh) 2014-05-05 2014-10-23 图像分割方法及装置

Publications (2)

Publication Number Publication Date
JP2016522951A JP2016522951A (ja) 2016-08-04
JP6125099B2 true JP6125099B2 (ja) 2017-05-10

Family

ID=51310345

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016517158A Active JP6125099B2 (ja) 2014-05-05 2014-10-23 画像分割方法、画像分割装置、プログラム、及び記録媒体

Country Status (8)

Country Link
EP (1) EP2942753B1 (ja)
JP (1) JP6125099B2 (ja)
KR (1) KR101670004B1 (ja)
CN (1) CN103996189B (ja)
BR (1) BR112014032942A2 (ja)
MX (1) MX358601B (ja)
RU (1) RU2596580C2 (ja)
WO (1) WO2015169061A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217440B (zh) * 2014-09-28 2017-03-01 民政部国家减灾中心 一种从遥感图像中提取建成区的方法
CN104809729B (zh) * 2015-04-29 2018-08-28 山东大学 一种鲁棒的图像显著性区域自动分割方法
CN105069774B (zh) * 2015-06-30 2017-11-10 长安大学 基于多示例学习与图割优化的目标分割方法
CN105353674B (zh) * 2015-11-03 2018-04-13 浙江华奕生态建设有限公司 一种多功能生活污水处理集成控制系统及方法
CN105342769A (zh) * 2015-11-20 2016-02-24 宁波大业产品造型艺术设计有限公司 智能电动轮椅
CN105395210A (zh) * 2015-12-22 2016-03-16 管迪 一种ct扫描成像方法
CN105608717A (zh) * 2015-12-22 2016-05-25 肖古华 一种ct系统和ct图像重建方法
CN105662488A (zh) * 2016-01-12 2016-06-15 刘书强 一种断指探查台
CN105748105A (zh) * 2016-01-18 2016-07-13 刘焕涛 一种乳腺检查系统
CN106650744B (zh) * 2016-09-16 2019-08-09 北京航空航天大学 局部形状迁移指导的图像对象共分割方法
CN108073881A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于预定区域和临近像素识别手部区域的方法及装置
CN108073871A (zh) * 2016-11-18 2018-05-25 北京体基科技有限公司 基于两种预定区域识别手部区域的方法及装置
CN106898001B (zh) * 2017-01-04 2020-04-14 努比亚技术有限公司 一种实现交互式图像分割的方法、装置及终端
CN106934774B (zh) * 2017-03-07 2019-11-29 李强 一种利用超声波治疗肛瘘的控制系统
CN107067030A (zh) * 2017-03-29 2017-08-18 北京小米移动软件有限公司 相似图片检测的方法和装置
CN107451522A (zh) * 2017-04-28 2017-12-08 山东省农业可持续发展研究所 一种农业干旱监测与预警预报方法
CN108960247B (zh) * 2017-05-22 2022-02-25 阿里巴巴集团控股有限公司 图像显著性检测方法、装置以及电子设备
CN107273893A (zh) * 2017-06-14 2017-10-20 武汉梦之蓝科技有限公司 一种智能城市绿化遥感调查的数据校正控制系统
CN107088028A (zh) * 2017-06-29 2017-08-25 武汉洁美雅科技有限公司 一种智能新式干湿两用吸尘器机器人控制系统
CN107452003A (zh) * 2017-06-30 2017-12-08 大圣科技股份有限公司 一种含有深度信息的图像分割的方法及装置
CN107573029A (zh) * 2017-10-23 2018-01-12 福建泉州皓佳新材料有限公司 一种陶瓷废釉水制备的多彩艺术砖及其制备方法
CN107894252A (zh) * 2017-11-14 2018-04-10 江苏科沃纺织有限公司 一种实时监测地埋伸缩式喷滴灌装置运行状态的监控系统
CN108764325B (zh) * 2018-05-23 2022-07-08 腾讯科技（深圳）有限公司 图像识别方法、装置、计算机设备和存储介质
CN109035326A (zh) * 2018-06-19 2018-12-18 北京理工大学 基于亚像素图像识别的高精度定位技术
CN109173263B (zh) * 2018-08-31 2021-08-24 腾讯科技（深圳）有限公司 一种图像数据处理方法和装置
CN109168220A (zh) * 2018-09-28 2019-01-08 湖北民族学院 一种提高青柚产量品质的光控方法及系统
JP6716765B1 (ja) * 2018-12-28 2020-07-01 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、プログラム
CN110111338B (zh) * 2019-04-24 2023-03-31 广东技术师范大学 一种基于超像素时空显著性分割的视觉跟踪方法
CN110909724B (zh) * 2019-10-08 2023-11-28 华北电力大学 一种多目标图像的缩略图生成方法
CN110853063B (zh) * 2019-10-31 2023-04-07 广州方硅信息技术有限公司 图像分割信息的处理方法、装置、设备和存储介质
CN111539969B (zh) * 2020-04-23 2023-06-09 武汉铁路职业技术学院 图像边缘检测方法、装置、计算机设备及存储介质
CN111597934A (zh) * 2020-04-30 2020-08-28 重庆科技学院 用于为统计应用处理训练数据的系统和方法
CN111640129B (zh) * 2020-05-25 2023-04-07 电子科技大学 一种应用于室内墙面施工机器人的视觉砂浆识别系统
CN111724396B (zh) * 2020-06-17 2023-07-14 泰康保险集团股份有限公司 图像分割方法及装置、计算机可读存储介质、电子设备
CN112347975B (zh) * 2020-11-23 2023-04-07 浙江华络通信设备有限公司 一种可视化融合通信调度系统及其实现方法
CN112634312B (zh) * 2020-12-31 2023-02-24 上海商汤智能科技有限公司 图像背景处理方法、装置、电子设备及存储介质
CN112800915B (zh) * 2021-01-20 2023-06-27 北京百度网讯科技有限公司 建筑物变化检测方法、装置、电子设备以及存储介质
CN114708464B (zh) * 2022-06-01 2022-08-30 广东艺林绿化工程有限公司 一种基于道路垃圾分类的市政环卫清扫垃圾车清扫方法
CN115841490B (zh) * 2023-02-23 2023-05-09 山东泗水山岭石材厂 基于图像处理的采矿过程矿石颗粒分割方法及系统
CN116721115A (zh) * 2023-06-15 2023-09-08 小米汽车科技有限公司 金相组织获取方法、装置、存储介质及芯片

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2121714C1 (ru) * 1997-02-19 1998-11-10 Закрытое акционерное общество "Медицинские компьютерные системы" Способ автоматизированной сегментации изображения цитологического препарата
US6704456B1 (en) * 1999-09-02 2004-03-09 Xerox Corporation Automatic image segmentation in the presence of severe background bleeding
DE602005026862D1 (de) * 2004-12-21 2011-04-21 Canon Kk Segmentierung eines digitalen bildes und herstellung einer kompakten repräsentation
JP2008042346A (ja) * 2006-08-02 2008-02-21 Canon Inc 画像処理方法、画像処理装置
US7899248B2 (en) * 2007-08-30 2011-03-01 Seiko Epson Corporation Fast segmentation of images
US8009911B2 (en) * 2007-08-30 2011-08-30 Siemens Aktiengesellschaft Interactive image segmentation on directed graphs
JP5235770B2 (ja) * 2009-04-27 2013-07-10 日本電信電話株式会社 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体
JP5464739B2 (ja) * 2010-01-22 2014-04-09 Ｋｄｄｉ株式会社 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
RU2489752C2 (ru) * 2011-08-15 2013-08-10 Дмитрий Валерьевич Шмунк Способ сегментации изображений
JP2013077296A (ja) 2011-09-14 2013-04-25 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
CN102982545B (zh) * 2012-11-22 2015-09-16 清华大学深圳研究生院 一种图像深度估计方法
CN103208123B (zh) * 2013-04-19 2016-03-02 广东图图搜网络科技有限公司 图像分割方法与系统

Also Published As

Publication number Publication date
JP2016522951A (ja) 2016-08-04
BR112014032942A2 (pt) 2017-06-27
EP2942753B1 (en) 2018-07-18
RU2014153987A (ru) 2016-07-20
MX358601B (es) 2018-08-27
MX2014015363A (es) 2016-02-19
KR20160009477A (ko) 2016-01-26
KR101670004B1 (ko) 2016-10-27
WO2015169061A1 (zh) 2015-11-12
EP2942753A1 (en) 2015-11-11
CN103996189B (zh) 2017-10-03
RU2596580C2 (ru) 2016-09-10
CN103996189A (zh) 2014-08-20

Similar Documents

Publication Publication Date Title
JP6125099B2 (ja) 画像分割方法、画像分割装置、プログラム、及び記録媒体
CN106651955B (zh) 图片中目标物的定位方法及装置
WO2021051857A1 (zh) 目标对象匹配方法及装置、电子设备和存储介质
WO2021051650A1 (zh) 人脸和人手关联检测方法及装置、电子设备和存储介质
JP6134446B2 (ja) 画像分割方法、画像分割装置、画像分割デバイス、プログラム及び記録媒体
WO2020134866A1 (zh) 关键点检测方法及装置、电子设备和存储介质
WO2020135529A1 (zh) 位姿估计方法及装置、电子设备和存储介质
US10007841B2 (en) Human face recognition method, apparatus and terminal
WO2020007241A1 (zh) 图像处理方法和装置、电子设备以及计算机可读存储介质
KR101727169B1 (ko) 이미지 필터를 생성하기 위한 방법 및 장치
US9633444B2 (en) Method and device for image segmentation
CN110443366B (zh) 神经网络的优化方法及装置、目标检测方法及装置
CN105631803B (zh) 滤镜处理的方法和装置
CN111461182B (zh) 图像处理方法、图像处理装置及存储介质
CN113065591B (zh) 目标检测方法及装置、电子设备和存储介质
CN106648063B (zh) 手势识别方法及装置
JP6170626B2 (ja) 構図変更方法、構図変更装置、端末、プログラム及び記録媒体
US20220222831A1 (en) Method for processing images and electronic device therefor
CN109784327B (zh) 边界框确定方法、装置、电子设备及存储介质
CN106534951A (zh) 视频分割方法和装置
KR20210054522A (ko) 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체
WO2023155393A1 (zh) 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品
CN107992893B (zh) 压缩图像特征空间的方法及装置
CN107609599B (zh) 特征识别方法及装置
US20150262033A1 (en) Method and terminal device for clustering

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170404

R150 Certificate of patent or registration of utility model

Ref document number: 6125099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250