JP6136537B2 - 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体 - Google Patents

画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体 Download PDF

Info

Publication number
JP6136537B2
JP6136537B2 JP2013094756A JP2013094756A JP6136537B2 JP 6136537 B2 JP6136537 B2 JP 6136537B2 JP 2013094756 A JP2013094756 A JP 2013094756A JP 2013094756 A JP2013094756 A JP 2013094756A JP 6136537 B2 JP6136537 B2 JP 6136537B2
Authority
JP
Japan
Prior art keywords
region
pixel
image
area
convex hull
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013094756A
Other languages
English (en)
Other versions
JP2014215925A (ja
Inventor
翔 阮
翔 阮
湖川 盧
湖川 盧
ナ トウ
ナ トウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2013094756A priority Critical patent/JP6136537B2/ja
Priority to EP14158081.1A priority patent/EP2797052B1/en
Priority to KR1020140032608A priority patent/KR101570290B1/ko
Priority to US14/228,074 priority patent/US9020270B2/en
Priority to CN201410123175.1A priority patent/CN104123718B/zh
Publication of JP2014215925A publication Critical patent/JP2014215925A/ja
Application granted granted Critical
Publication of JP6136537B2 publication Critical patent/JP6136537B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Description

本発明は、画像の顕著領域を検出する画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体に関する。
従来、画像処理の分野では、画像において人間が注目すると予想される画像領域、あるいは注目すべき画像領域である顕著領域を、その画像から検出（抽出）する画像処理装置が知られている。また、このような顕著領域検出の技術を用いて、画像における各点の顕著度合(saliency measure)を算出することにより、その画像の各点の顕著度合を示す顕著マップ画像を作成することも行われている。
こうした顕著領域検出あるいは顕著領域検出の技術は、例えば、画像から被写体を検出するために使用されている。
さて、上記顕著領域検出のためのアルゴリズムとして、学習ベースのアルゴリズムおよび物理モデルベースのアルゴリズムが存在している。
上記学習ベースのアルゴリズムは、大量の画像の学習用データベースを用いて、画像処理装置に顕著領域検出のための学習を行わせたのち、その学習結果に基づいて、顕著領域検出を行うものである。一方、上記物理モデルベースのアルゴリズムは、人間またはその他の物体の認識モデルを近似した数式を用いて、顕著領域を算出するものである。
ところが、上記学習ベースのアルゴリズムでは、画像処理装置による顕著領域の検出性能は、学習用データベースの内容に依存する。しかしながら、顕著領域の学習用データベースを構築することは困難である。
また、上記物理モデルベースのアルゴリズムでは、人間の認識モデルを近似した数式を用いる必要がある。しかしながら、人間の物理モデルは複雑であり、数式で容易に表現できるものではない。そもそも、人間の物理モデルを完全に定義することは、未だ実現されていない。
そこで、例えば、特許文献１には、画像の学習用データベースを構築することも、認識モデルを定義することも事前に行うことなく、画像から顕著領域を抽出して、顕著領域とそれ以外の領域との間における領域分割を実現する顕著領域映像生成装置が記載されている。
具体的には、上記顕著領域映像生成装置では、入力映像のフレームを構成する入力画像から、顕著領域である確率を示す顕著領域事前確率画像と、顕著領域および顕著領域外の領域にそれぞれ含まれる画像特徴量の尤度を示す特徴量尤度とを算出する。そして、上記顕著領域映像生成装置は、上記入力画像、上記顕著領域事前確率画像、および上記特徴量尤度から、上記入力画像の顕著領域を示す顕著領域画像を抽出する。
これにより、上記顕著領域映像生成装置は、ある入力画像について、物体領域および背景領域に関する事前情報が全く与えられていない場合においても、その入力画像から顕著領域を抽出して、画像の領域分割を行うことができる、と同文献には記載されている。
また、非特許文献１および非特許文献２には、ベイズの定理を利用して顕著度合（saliency measure）を計算する方法が開示されている。
特開２０１０−２５８９１４号公報（２０１０年１１月１１日公開）
E. Rahtu, J. Kannala, M. Salo, and J. Heikkila, "Segmenting salient objects from images and videos," in Proceedings of European Conference on Computer Vision, 2010 Z. Tang, Z. Miao, Y. Wan, and J. Li, "Automatic foreground extraction for images and videos," in Proceedings of IEEE International Conference on Image Processing, 2010
特許文献１に記載の上記顕著領域映像生成装置では、上記顕著領域画像を抽出するために、まず、入力映像のある時刻のフレームを構成する入力画像から事前確率画像を生成する。その後、上記ある時刻より１単位時間前の入力画像から生成した顕著領域画像に基づき、上記ある時刻の事前確率画像を更新する。そして、更新された事前確率画像を用いて、上記顕著領域画像を抽出する。
すなわち、上記顕著領域映像生成装置では、ある入力画像から顕著領域を抽出するために、上記ある入力画像を含む複数の入力画像が必要であることになる。そのため、上記顕著領域映像生成装置は、静止画から顕著領域画像を抽出することができない。さらに、上記顕著領域映像生成装置は、顕著領域の抽出処理において複数の入力画像を扱うために、上記抽出処理を実行する演算装置に対する負荷が大きいという問題がある。
また、上記非特許文献１および上記非特許文献２では、顕著領域の事前確率を定数と仮定している。
例えば、上記非特許文献１では、所定の矩形窓（rectangular window）Ｗにおける画素分布（distribution of pixels）Ｚが、矩形窓Ｗの中心部（kernel）Ｋおよび周辺部（border）Ｂにおいて、定数の確率密度関数（probability density function）ｐを有すると仮定している。
そのため、非特許文献１では、画像の画素ｘの顕著度合Ｓ０（ｘ）が、中心部Ｋおよび周辺部Ｂにおける特徴量（feature）Ｆ（ｘ）の正規化された度数分布（normalized histogram）Ｐ（Ｆ（ｘ）｜Ｈ０）およびＰ（Ｆ（ｘ）｜Ｈ１）にのみ依存することになる。Ｈ０、Ｈ１は、それぞれ、中心部Ｋまたは周辺部Ｂに含まれる画素分布Ｚの事象（event）である。
上記度数分布Ｐ（Ｆ（ｘ）｜Ｈ０）およびＰ（Ｆ（ｘ）｜Ｈ１）は、それぞれ、顕著領域の尤度、背景の尤度に対応する。
従って、上記非特許文献１における顕著度合Ｓ０（ｘ）の算出結果は、尤度のみに依存する一般的な物理モデルを用いた算出結果と同等になる。言い換えれば、上記非特許文献１では、上記確率密度関数（事前確率に対応）を定数と仮定しているため、尤度の項とともに事前確率の項も含んでいるベイズの定理が有効に利用されていないことになる。
本発明は、上記課題に鑑みてなされたものであり、その目的は、顕著領域および背景領域に関する事前情報が全く与えられていない場合においても、ベイズの定理を有効に利用して、１枚の画像から顕著領域を精度よく検出することができる画像処理装置等を実現することにある。
本発明に係る画像処理装置は、画像から顕著領域を検出する画像処理装置であって、上記画像から、輝度値および／または色度が類似する互いに隣接した画素からなる画素小領域を単位構成とする画素小領域画像を生成する画素小領域画像生成手段と、上記画像の各画素について、上記顕著領域らしさの事前確率を算出する事前確率計算手段と、上記画像から抽出したコーナーポイントに基づいて、顕著領域を含む可能性の高い顕著領域含有領域を生成する領域生成手段と、上記画素小領域内に含まれるより多くの画素の輝度値および／または色度と同じ輝度値および／または色度を有する画素ほど、上記顕著領域の尤度がより高くなるように、上記画像の各画素について、上記顕著領域の尤度を算出する尤度計算手段と、上記事前確率と上記顕著領域の尤度とを用いて、上記顕著領域らしさの事後確率を算出する顕著領域検出手段とを備え、上記事前確率計算手段は、上記画素小領域画像に含まれる画素小領域において、隣接した画素小領域との色距離がより大きい画素小領域ほど、該画素小領域を構成する各画素の上記事前確率を高くする。
また、本発明の一態様に係る画像処理方法は、画像から顕著領域を検出する画像処理方法であって、上記画像から、輝度値および／または色度が類似する互いに隣接した画素からなる画素小領域を単位構成とする画素小領域画像を生成する画素小領域画像生成ステップと、上記画素小領域画像に含まれる画素小領域において、隣接した画素小領域との色距離がより大きい画素小領域ほど、該画素小領域を構成する各画素について、上記顕著領域らしさの事前確率がより高くなるように、上記画像の各画素について、上記事前確率を算出する事前確率計算ステップと、上記画像から抽出したコーナーポイントに基づいて、顕著領域を含む可能性の高い顕著領域含有領域を生成する領域生成ステップと、上記顕著領域含有領域内に含まれるより多くの画素の輝度値および／または色度と同じ輝度値および／または色度を有する画素ほど、上記顕著領域の尤度がより高くなるように、上記画像の各画素について、上記顕著領域の尤度を算出する尤度計算ステップと、上記事前確率と上記顕著領域の尤度とを用いて、上記顕著領域らしさの事後確率を算出する顕著領域検出ステップとを含んでいる。
ここで、コーナーポイントとは、画像において目立つポイントのことであり、一般的に、顕著領域と背景との境界において生じることが多い。そのため、上記コーナーポイント同士を結ぶことで生成される顕著領域含有領域は、顕著領域の割合が高くなっている。
上記の各構成によれば、画像の各画素について、顕著領域らしさの事前確率を算出する。この事前確率は、ベイズの定理において、顕著領域らしさの事後確率を求めるために利用される。
非特許文献１および２に記載されているように、従来、ベイズの定理を用いて顕著領域の事後確率を求めるにあたり、顕著領域の事前確率は定数とされていた。そのため、本発明と同じようにベイズの定理を利用して顕著領域の事後確率を求める構成であっても、従来の構成における顕著領域の事前確率は、本発明における事前確率ほど、特定の画像に対応した精度の高いものとはならなかった。その結果、従来の構成は、顕著領域の事後確率の精度も低いものであった。
一方、本発明の一態様に係る上記の各構成では、画像の画素ごとに顕著領域の事前確率を求める。これにより、従来よりも、顕著領域の事前確率がより特定の画像に対応した精度の高いものとなる。
そして、その結果、上記事前確率をベイズの定理に代入して得られる顕著領域の事後確率も、従来よりも精度の高いものとなる。言い換えれば、上記の各構成では、画像の領域を精度よく検出することができる。
また、上記の各構成では、顕著領域を抽出する際に、１枚の画像のみを必要とする。すなわち、特許文献１に記載された従来の構成のようには、複数枚の画像を必要としない。
これにより、カメラで撮影した画像などの静止画からも顕著領域を抽出することができ、また、顕著領域抽出処理の際に複数枚の画像を扱う従来の構成と比較して、より負担の小さい処理で、顕著領域抽出を行うことができる。
このように、本発明の一態様によれば、顕著領域および背景領域に関する事前情報が全く与えられていない場合においても、１枚の画像から精度よく顕著領域を抽出することができる。
なお、上記画像処理方法は、コンピュータによって実現してもよく、この場合には、コンピュータに上記各ステップを含む処理を実行させることにより、画像処理方法の各ステップをコンピュータにて実現させる画像処理プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
さらに、本発明に係る画像処理装置において、上記事前確率計算手段は、隣接した他の画素小領域の面積がより大きい画素小領域ほど、該画素小領域を構成する各画素の事前確率をより高くする構成であってもよい。
上記の構成によれば、ある画素小領域について、該画素小領域の周囲にある画素小領域の面積がより大きければ、該画素小領域に含まれる画素の事前確率がより高くなる。
ここで、画素小領域は、色または輝度値等が類似した画素群で構成されるものである。そのため、ある画素小領域の面積が大きい場合、該画素小領域の領域内では、色または輝度値等が比較的に一定の多くの画素同士が隣接していることになる。このように、色または輝度値等が比較的に一定の領域が大きいことは、その領域が画像において注目すべき領域、すなわち顕著領域であることを示す。
そして、ある画素小領域に隣接して、顕著領域である画素小領域が存在する場合、上記ある画素小領域の領域も顕著領域である可能性が高い。
従って、上記の構成によって、顕著領域である可能性が高い画素の事前確率を高くすることができる。
さらに、本発明の一態様に係る画像処理装置において、上記事前確率計算手段は、上記画像の中心との距離がより近い画素小領域ほど、該画素小領域を構成する各画素の事前確率をより高くする構成であってもよい。
上記の構成によれば、画像の中心に近い画素は、事前確率が高くなる。ところで、画像の中心部は、その画像の顕著領域である可能性が高い。
従って、上記の構成によって、顕著領域である可能性が高い画素の事前確率を高くすることができる。
さらに、本発明の一態様に係る画像処理装置は、上記画素小領域に含まれるエッジ点の数が所定数以下である場合、上記エッジ点の数がより多い画素小領域ほど、該画素小領域を構成する各画素の上記事前確率がより低くなるように、また、画素小領域に含まれる上記エッジ点の数が所定数よりも多い場合、該画素小領域を構成する各画素の上記事前確率がゼロとなるように補正するエッジ点補正手段をさらに備えた構成であってもよい。
ここで、画像のエッジ（輪郭）点とは、近接する画素同士のコントラスト差が大きい点のことである。そのようなエッジ点が、比較的狭い領域内に多く存在している場合、その領域は背景である可能性が高い。
上記の構成によれば、エッジ点の数が多い画素小領域を構成する画素の事前確率が低くなるので、顕著領域の事前確率の精度を向上させることができる。また、エッジ点の数が所定数よりも多い画素小領域について、その画素小領域を構成する画素の事前確率がゼロとなるので、顕著領域の事前確率の精度をさらに向上させることができる。
さらに、本発明の一態様に係る画像処理装置において、上記領域生成手段は、上記顕著領域含有領域として、領域の各頂点の内角がそれぞれ１８０よりも小さい凸包領域を生成し、上記凸包領域の少なくとも一部と重なる上画素小領域について、該画素小領域を構成する画素のうち、上記凸包領域に含まれる画素が所定の第１の割合よりも大きい場合、該画素小領域の全体を上記凸包領域に含める一方、該画素小領域を構成する画素のうち、上記凸包領域に含まれる画素が所定の第２の割合よりも小さい場合、上記凸包領域のうち該画素小領域と重なる部分を上記凸包領域から除外する凸包領域調整手段をさらに備え、
上記尤度計算手段は、上記凸包領域調整手段によって調整された凸包領域に基づき、上記画像の各画素について、上記顕著領域の尤度を算出する構成であってもよい。
上記の構成によれば、画像から抽出されたコーナーポイントを用いて、凸包領域が生成される。
また、上記の構成によれば、生成された凸包領域と重なるスーパーピクセルについて、そのスーパーピクセルを構成する所定の割合以上の画素が、上記凸包領域に含まれているか否かに応じて、凸包領域が調整される。
これにより、調整後の凸包領域の輪郭は、スーパーピクセルの輪郭と一致することになる。このように、凸包領域の形状を調整することによって、スーパーピクセルからなるスーパーピクセル画像に対する処理を行い易くなる。
また、上記の構成によれば、凸包領域内に含まれるより多くの画素の輝度値または色度と同じ輝度値または色度を有する画素ほど、顕著領域の尤度がより高くなる。
ここで、上述したように、凸包領域は顕著領域の割合が高くなっている。このことは、調整後の凸包領域も同様である。そのため、凸包領域内に含まれる画素の輝度値または色度は、顕著領域の輝度値または色度に対応していると考えられる。
そのため、上記の構成によって、凸包領域内の多くの画素の輝度値または色度と同じ輝度値または色度を有しており、顕著領域に含まれる可能性が高い画素ほど、顕著領域の尤度を高くすることができる。
さらに、本発明の一態様に係る画像処理装置において、上記凸包領域調整手段は、上記凸包領域において、上記画像の中心から所定の距離以上離間した周辺部に含まれる部分を、上記凸包領域から除外する構成であってもよい。
顕著領域は、画像の中心部に存在している可能性が高く、周辺部に存在している可能性は低い。
上記の構成によれば、顕著領域である可能性が低い画像の周辺部が、凸包領域から除外される。これにより、凸包領域には、顕著領域である可能性が高い画像の中心部のみが含まれることになる。
従って、上記の構成によって、凸包領域に含まれる顕著領域の割合を高くすることができると考えられる。
さらに、本発明の一態様に係る画像処理装置において、上記凸包領域調整手段は、上記領域生成手段によって複数の上記凸包領域が生成されており、ある凸包領域の面積に対する他の凸包領域の面積の割合が所定値よりも小さい場合、上記他の凸包領域を上記凸包領域から除外する構成であってもよい。
複数の凸包領域部があり、それらの凸包領域部同士の面積が同等である場合、それらの凸包領域部は、どちらも顕著領域を含んでいる可能性が高い。
一方で、複数の凸包領域があり、それらの凸包領域同士の面積に大きな差がある場合、大きいほうの凸包領域部が顕著領域を含んでいるが、小さいほうの凸包領域は背景である可能性が高い。
上記の構成によれば、他の凸包領域部に対する面積の割合が所定値よりも小さい凸包領域部を凸包領域から除外するので、凸包領域に含まれる顕著領域の割合を高くすることができると考えられる。
さらに、本発明の一態様に係る画像処理装置において、上記凸包領域調整手段は、上記領域生成手段によって複数の上記凸包領域が生成されており、ある凸包領域の平均事前確率に対する他の凸包領域の平均事前確率の割合が所定値よりも小さい場合、上記他の凸包領域を上記凸包領域から除外する構成であってもよい。
上記平均事前確率とは、ある凸包領域に含まれる全ての画素の事前確率の平均のことである。
顕著領域に含まれる画素の事前確率は、背景に含まれる画素の事前確率と比較して、より高くなると考えられる。
上記の構成によれば、２つの凸包領域の均事前確率同士を比較して、一方の凸包領域の平均事前確率に対する他方の凸包領域の平均事前確率の割合が所定値よりも小さい場合、上記他方の凸包領域を凸包領域から除外する。これにより、背景である可能性が高い上記他方の凸包領域が凸包領域ではなくなるので、凸包領域に含まれる顕著領域の割合を高くすることができると考えられる。
さらに、本発明の一態様に係る画像処理装置において、上記凸包領域調整手段は、該凸包領域調整手段による調整後の上記凸包領域が上記画像の全体において占める割合が、第１の所定値よりも大きくなる場合、または、第２の所定値よりも小さくなる場合、該凸包領域調整手段による調整後の包領域を、調整前の凸包領域に戻す構成であってもよい。
凸包領域調整手段によって凸包領域の調整を行った後、その調整後の凸包領域が大きすぎる場合、調整の過程で凸包領域に含まれる顕著領域の割合が低くなった可能性が高い。
凸包領域が画像において占める領域が、ある範囲に含まれる大きさよりも大きい場合、凸包領域に占める顕著領域の割合が低い可能性が高い。
上記の構成によれば、調整後の凸包領域の面積が、所定の第１のサイズよりも大きい場合、凸包領域生成手段によって生成された凸包領域に戻すので、凸包領域における顕著領域の割合が小さくなる可能性を抑制することができる。
また、凸包領域画像において占める領域が、ある範囲に含まれる大きさよりも小さい場合、凸包領域は顕著領域の大部分を含んでいない可能性が高い。
上記の構成によれば、調整後の凸包領域の面積が、所定の第２のサイズよりも小さい場合、凸包領域生成手段によって生成された凸包領域に戻すので、凸包領域に顕著領域が含まれなくなる可能性を抑制することができる。
本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の画像処理制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
以上のように、本発明に係る画像処理装置は、画像から顕著領域を検出する画像処理装置であって、上記画像から、輝度値および／または色度が類似する互いに隣接した画素からなる画素小領域を単位構成とする画素小領域画像を生成する画素小領域画像生成手段と、上記画像の各画素について、上記顕著領域らしさの事前確率を算出する事前確率計算手段と、上記画像から抽出したコーナーポイントに基づいて、顕著領域を含む可能性の高い顕著領域含有領域を生成する領域生成手段と、上記画素小領域内に含まれるより多くの画素の輝度値および／または色度と同じ輝度値および／または色度を有する画素ほど、上記顕著領域の尤度がより高くなるように、上記画像の各画素について、上記顕著領域の尤度を算出する尤度計算手段と、上記事前確率と上記顕著領域の尤度とを用いて、上記顕著領域らしさの事後確率を算出する顕著領域検出手段とを備え、上記事前確率計算手段は、上記画素小領域画像に含まれる画素小領域において、隣接した画素小領域との色距離がより大きい画素小領域ほど、該画素小領域を構成する各画素の上記事前確率を高くする。
また、本発明に係る画像処理方法は、画像から顕著領域を検出する画像処理方法であって、上記画像から、輝度値および／または色度が類似する互いに隣接した画素からなる画素小領域を単位構成とする画素小領域画像を生成する画素小領域画像生成ステップと、上記画素小領域画像に含まれる画素小領域において、隣接した画素小領域との色距離がより大きい画素小領域ほど、該画素小領域を構成する各画素について、上記顕著領域らしさの事前確率がより高くなるように、上記画像の各画素について、上記事前確率を算出する事前確率計算ステップと、上記画像から抽出したコーナーポイントに基づいて、顕著領域を含む可能性の高い顕著領域含有領域を生成する領域生成ステップと、上記顕著領域含有領域内に含まれるより多くの画素の輝度値および／または色度と同じ輝度値および／または色度を有する画素ほど、上記顕著領域の尤度がより高くなるように、上記画像の各画素について、上記顕著領域の尤度を算出する尤度計算ステップと、上記事前確率と上記顕著領域の尤度とを用いて、上記顕著領域らしさの事後確率を算出する顕著領域検出ステップとを含んでいる。
これにより、顕著領域および背景領域に関する事前情報が全く与えられていない場合においても、ベイズの定理を有効に利用して、１枚の画像から顕著領域を精度よく検出することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置の概略的構成の一例を示す機能ブロック図である。 コーナーポイントＣＰの具体例を示す図である。 凸包領域の具体例を示す図である。 図１に示す画像処理装置における顕著領域検出処理の流れを示すフローチャートである。 顕著領域検出処理において、事前確率計算処理の工程の詳細を示すフローチャートである。 顕著領域検出処理において、尤度計算処理の工程の詳細を示すフローチャートである。 本発明に係る顕著領域検出のアルゴリズムを用いて作成された顕著マップの例を示す図である。 本発明に係る顕著領域検出のアルゴリズムのＰＲカーブを示すグラフである。
以下に、本発明の一実施形態について、図１〜図７を参照して説明する。
本発明は、確率論を用いて、顕著領域を推定することを基本コンセプトとする。詳細には、本発明に係る画像処理装置は、Ｂａｙｅｓｉａｎ理論（ベイズの定理）を使用する顕著領域検出アルゴリズムを用いて、高精度な顕著領域検出を実現するものである。
以下に、式（１）として、上記ベイズの定理を示す。
式（１）において、
Ｐ＜Ｆ｜ｘ＞は、画素ｘが顕著領域である事後確率；
Ｐ（Ｆ）は、画素ｘが顕著領域である事前確率；
Ｐ（Ｂ）＝（１−Ｐ（Ｆ））は、画素ｘが背景である事前確率；
Ｐ＜ｘ｜Ｆ＞は、画素ｘの顕著領域らしさ（すなわち、顕著領域の尤度）；
Ｐ＜ｘ｜Ｂ＞は、画素ｘの背景らしさ；
をそれぞれ表す。
ここで、上記顕著領域の事前確率とは、顕著領域らしい領域（後述する凸包領域に相当）が与えられていない条件下において、画素ｘの顕著領域らしさを示す確率のことである。
（画像処理装置１の構成）
以下に、本発明に係る画像処理装置１の構成について、図１を用いて説明する。同図は、画像処理装置１の構成を示す機能ブロック図である。
図１に示すように、画像処理装置１は、画像取得部１１、制御手段１２、出力部１３、および記憶部１４を備えている。
画像取得部１１は、外部からカラーの入力画像を取得するものである。画像取得部１１は、例示的には、ユーザの入力操作に応じて、画像処理装置１に接続されるデジタルカメラ、あるいはデジタルビデオカメラ等の撮像装置から、リアルタイムで（同期をとって）、または、非同期で、入力画像を取得する。
しかしながら、入力画像の供給元は、特に限定されない。例えば、画像取得部１１は、記憶部１４に格納されている画像データを入力画像として取得してもよいし、画像処理装置１に接続される周辺機器から入力画像を取得してもよいし、有線または無線の通信ネットワークを介して入力画像を取得してもよい。
制御手段１２は、画像処理装置１における各種機能を統括的に制御するものである。制御手段１２の制御機能は、制御プログラムをＣＰＵ（Central Processing Unit）などの処理装置が実行することによって実現される。
例えば、制御手段１２は、画像取得部１１から入力される入力画像に対する各種処理を実行するための機能および構成を備えている。なお、制御手段１２の詳細な機能および構成については後述する。
出力部１３は、制御手段１２による入力画像の処理結果を外部に対して出力するものである。例えば、出力部１３は、各種の画像アプリケーションに上記処理結果を出力してもよい。
記憶部１４は、各種データおよびプログラムを記憶するものである。記憶部１４は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および不揮発性メモリ（例えばフラッシュメモリ）等の記憶装置を組み合わせることにより実現することができる。
記憶部１４には、例えば、制御手段１２において実行されるプログラムや、当該プログラムにおいて処理される各種データ等が格納される。
（制御手段１２）
次に、制御手段１２の各部について、図１〜図３を用いてそれぞれ説明する。
図１に示すように、制御手段１２は、ＳＰ画像生成手段（画素小領域生成手段）１２１、エッジ検出手段（エッジ点補正手段）１２２、事前確率計算手段１２３、凸包領域生成手段（領域生成手段）１２４、凸包領域調整手段１２５、尤度計算手段１２６、および顕著マップ画像生成手段（顕著領域検出手段）１２７を含む構成である。
ＳＰ画像生成手段１２１は、画像取得部１１から取得される入力画像を元画像として、画素を単位とする元画像から、スーパーピクセル（ＳＰ）を単位とするスーパーピクセル画像（ＳＰ画像）を生成するものである。なお、スーパーピクセルについては、後出の補足で説明する。
エッジ検出手段１２２は、ＳＰ画像生成手段１２１によって生成されたスーパーピクセル画像において、各スーパーピクセルのエッジ点（輪郭点）の数を算出するものである。ここで、エッジ点とは、近接する画素同士のコントラスト差が大きい点のことである。
また、エッジ検出手段１２２は、下記の事前確率計算手段１２３によって計算された画素ｋの事前確率を、該画素ｋを含むスーパーピクセルのエッジ点の数に基づいて補正する。
事前確率計算手段１２３は、元画像の各画素ｋについて、顕著領域の事前確率を計算するものである。
凸包領域生成手段１２４は、画像からコーナーポイント（corner point）を検出し、画像内に、上記コーナーポイントの少なくとも一部を含む、凸状の凸包領域（convex hull）を生成するものである。ここで、凸状とは、図形の各頂点の内角が１８０度よりも小さいことを意味する。
詳細には、凸包領域生成手段１２４は、上記コーナーポイントを頂点とし、これらのコーナーポイント同士を直線で結ぶことによって、上記凸包領域を生成する。
なお、コーナーポイントとは、画像において「目立つポイント」のことである。このようなコーナーポイントは、一般的に、顕著領域と背景との境界において生じていることが多い。そのため、上記コーナーポイント同士を結ぶことで生成される凸包領域は、顕著領域を含んでいる可能性が高いことになる。
特に、凸包領域生成手段１２４が、画像中のすべてのコーナーポイントを含むように凸包領域を生成した場合、上記凸包領域内に顕著領域を含む確率が最も高くなる。
本実施形態において、凸包領域生成手段１２４は、図２に示すように、元画像において２本以上のコントラストラインが交差する点、いわゆるｈａｒｒｉｓ ｐｏｉｎｔを、コーナーポイント（ＣＰ）として検出する。
図３として、凸包領域生成手段１２４によって生成される凸包領域の具体例を示す。同図において、４枚の画像中に示された多角形が、それぞれ凸包領域に相当する。なお、画像中の凸包領域はいずれも５角形となっているが、本発明はこれに限られない。すなわち、凸包領域は、３つ以上の頂点を有する凸状の多角形であればよい。
凸包領域調整手段１２５は、凸包領域生成手段１２４によって生成された凸包領域を調整して、画像において、顕著領域らしい特徴量を有する領域を算出するものである。
尤度計算手段１２６は、元画像の各画素ｘについて、顕著領域の尤度を計算するものである。
顕著マップ画像生成手段１２７は、エッジ検出手段１２２および事前確率計算手段１２３によって算出された、各画素についての顕著領域の事前確率と、尤度計算手段１２６によって算出された、各画素についての顕著領域の尤度とを用いて、元画像に対応した、顕著領域の尤度を示す確率画像を生成するものである。
さらに、顕著マップ画像生成手段１２７は、上記確率画像が平滑化された顕著マップ画像を作成する。
（顕著領域検出処理の流れ）
次に、画像処理装置１の制御手段１２によって実行される顕著領域検出処理の流れについて、図４〜図６を用いて説明する。
図４は制御手段１２によって実行される顕著領域検出処理の流れを示すフローチャートである。また、図５は、図４に示す顕著領域検出処理における事前確率計算処理（Ｓ２）の工程の詳細を示すフローチャートである。また、図６は、図４に示す顕著領域検出処理における尤度計算処理（Ｓ３）の工程の詳細を示すフローチャートである。
まず、本発明に係る顕著領域検出処理による顕著領域検出処理の概略的な流れについて、図４を用いて説明する。同図に示すように、顕著領域検出処理は、入力画像の読み込み（Ｓ１）、事前確率計算処理（Ｓ２）、尤度計算処理（Ｓ３）、および顕著領域検出処理（Ｓ４）の４つの工程を含んでいる。
上記顕著領域検出処理において、制御手段１２は、元画像としての入力画像を取得した（Ｓ１）のち、該元画像から生成したスーパーピクセル画像を用いて、元画像の画素ｋが顕著領域である確率Ｐｋ（Ｆ）を算出する事前確率計算処理を行う（Ｓ２）。
次に、制御手段１２は、画素ｋの顕著領域らしさ、すなわち画素ｋが顕著領域に似ている度合（尤度）を算出する尤度計算処理を行う（Ｓ３）。これにより、元画像において顕著領域らしさの度数分布を表す確率画像が得られることになる。
最後に、制御手段１２は、上記確率画像を平滑化して顕著マップ（saliency map）画像を生成する顕著領域検出処理を行う（Ｓ４）。
以下では、顕著領域検出処理のＳ２〜Ｓ４の３つの工程の各々の詳細について、順に説明する。
（１．事前確率計算処理（Ｓ２））
ここでは、図５に示すフローチャートを用いて、本発明に係る事前確率計算アルゴリズムに基づいた事前確率計算処理（Ｓ２）の流れを説明する。
図５に示すように、事前確率計算処理（Ｓ２）では、まず、ＳＰ画像生成手段１２１が、元画像からマルチスケールスーパーピクセル画像（以下、単にスーパーピクセル画像と略記する）を生成する（Ｓ２０１）。
その後、事前確率計算手段１２３が、元画像の各画素ｋにつき、その画素ｋの顕著領域らしさを示す事前確率を算出する（Ｓ２０２）。
次に、エッジ検出手段１２２が、元画像のエッジ点を検出し（Ｓ２０３）、上記エッジ点の情報を用いて、後述する式（４）のＦ（ｒｉ ｍ）を補正する（Ｓ２０４）。
以上のステップＳ２０１〜Ｓ２０４の各処理が、元画像の全画素について実行される（Ｓ２０５）。
（Ｓ２０２；画素の事前確率計算）
ステップＳ２０２において、事前確率計算手段１２３は、元画像の各画素ｋにつき、以下の式（２）〜式（４）を用いて、その画素ｋの顕著領域らしさを示す事前確率を算出する（Ｓ２０２）。
ここで、
式（２）において、
Ｐｋ（Ｆ）は、画素ｋが顕著領域である事前確率；
Ｍは、スーパーピクセル画像のスケール数；
ｍは、スーパーピクセルのスケール番号；
ｒｋ ｍは、画素ｋを含むスケール番号ｍの画像領域中に含まれるスーパーピクセル；
をそれぞれ表す。
また、式（３）において、
Ｄｋ ｍは、式（４）に示すＦ（ｒｉ ｍ）を正規化するための正規化パラメータ；
εは、Ｄｋ ｍの分母がゼロになることを防止するために加えられた微小な値；
Ｉｋは、画素ｋの輝度値または色度；
Ｉｃ（ｒｋ ｍ）は、画素ｋを含むスケール番号ｍの画像領域中に含まれるスーパーピクセルの中心画素の輝度値または色度；
である。
また、式（４）において、
ｄｃは、ｉ番のスーパーピクセルと画像の中心との間の座標距離；
ｄ（ｒｉ，ｒｊ）は、ｉ番のスーパーピクセルとｊ番のスーパーピクセルとの色距離；
Ｎｍは、ｉ番のスーパーピクセルと同じスケールｍに含まれるスーパーピクセルの数；
ｗｊ ｍは、ｉ番のスーパーピクセルと同じスケールｍに含まれるスーパーピクセルの総面積における、ｊ番のスーパーピクセルの面積割合；
をそれぞれ表している。
ここで、上記面積割合の第１の計算方法としては、ｉ番のスーパーピクセルの周囲の一定範囲内に存在するスーパーピクセルを、スケールｍに含まれるスーパーピクセルとして用いて計算してもよい。この場合、ｍとは、ｉ番のスーパーピクセルの周囲の一定範囲内に存在するスーパーピクセルの数に対応する。また、上記面積割合の第２の計算方法としては、ｉ番のスーパーピクセル以外の全てのスーパーピクセルを、スケールｍに含まれるスーパーピクセルとして用いて計算してもよい。この場合、スケール数Ｍは１となる。ただし、計算量とローカル情報とを重視する観点からは、上記面積割合は、第１の計算方法で計算することが望ましい。なお、第１の計算方法における上記一定範囲は、より正しい顕著領域を導くことができる範囲を選択するという判断基準に基づいて、複数の画像を用いた顕著領域の算出結果から、経験的に得ることができる。
ここで、上記画像の中心は、その画像が矩形である場合、その画像の上下の辺の中点同士を結ぶ線分と、左右の辺の中点同士を結ぶ線分との交点であってよい。または、任意の形状の画像において、上記画像の中心は、画像を構成する全画素の重心であってもよい。
なお、上記スケール数Ｍとは、スーパーピクセル画像に含まれるスーパーピクセルを、１つ以上のスーパーピクセルを含むスケールｍごとに分類したときの、上記スケールｍの総数のことである。
１つのスケールは、例えば、互いに接している複数のスーパーピクセルが含まれる。
式（４）によれば、色距離（ｄ（ｒｉ，ｒｊ））が大きいほど、Ｆ（ｒｉ ｍ）の値が大きくなる。従って、ｉ番のスーパーピクセルは、同一スケールｍに含まれる周辺のスーパーピクセルとの色距離が大きいほど、また、多数のスーパーピクセルとの色距離が大きいほど、顕著領域の事前確率が高いことになる。さらに、上記事前確率は、同一のスケール内に含まれるスーパーピクセルの数Ｎｍにも依存することになる。
また、式（４）によれば、ｉ番のスーパーピクセルの周辺にあるｊ番のスーパーピクセルの面積割合ｗｊ ｍが大きいほど、Ｆ（ｒｉ ｍ）の値が大きくなる、すなわち、ｉ番のスーパーピクセルの事前確率が高くなる。
別の見方をすれば、面積割合ｗｊ ｍによって、上記色距離（ｄ（ｒｉ，ｒｊ））に重みがつけられる。従って、ｉ番のスーパーピクセルは、上記面積割合の大きいスーパーピクセルに対する色距離が大きいほど、事前確率が高くなるともいえる。
なお、色距離（ｄ（ｒｉ，ｒｊ））は、例えば、ＬＡＢ色空間において定義される色同士の距離であってよい。
さらに、式（４）によれば、座標距離ｄｃが大きいほど、Ｆ（ｒｉ ｍ）の値が小さくなる。従って、ｉ番のスーパーピクセルは、上記画像の中心から測った座標距離が大きいほど、顕著領域の事前確率が低いことになる。
（Ｓ２０３−Ｓ２０４；エッジ点による補正）
一般的な画像では、顕著領域と比較して、背景により多くのエッジ点が存在することが多い。そのため、エッジ点の数が多い領域、特にスーパーピクセルは、背景に含まれる可能性が高いことになる。
従って、エッジ点の数に基づいて、顕著領域と背景とを区別する補正を行うことによって、顕著領域の事前確率の精度を向上させることができる。
そこで、事前確率計算処理（Ｓ２）のステップＳ２０３〜Ｓ２０４では、エッジ検出手段１２２が、元画像のエッジ点を検出し、上記エッジ点の情報を用いて、上記Ｆ（ｒｉ ｍ）の補正を行う。
以下に、エッジ検出手段１２２が、エッジ点の情報によって上記Ｆ（ｒｉ ｍ）を補正する方法について、式（５）を用いて具体的に説明する。
ここで、ｅｄｎ（ｉ）は、ｉ番のスーパーピクセルが有するエッジ点の数である。
エッジ検出手段１２２は、式（５）に基づき、Ｆ（ｒｉ ｍ）の値を補正する。
式（５）によれば、ｅｄｎ（ｉ）が増大するほど、Ｆ（ｒｉ ｍ）の値が指数関数的に減少してゆく。これは、エッジ検出手段１２２が、エッジ点の数が多いスーパーピクセルに含まれる画素ほど、顕著領域の事前確率を低くすることを示している。
また、式（５）によれば、ｅｄｎ（ｉ）が閾値Ｔよりも大きい場合、顕著領域の事前確率Ｆ（ｒｉ ｍ）は０になる。これは、エッジ検出手段１２２が、（ｉ番の）スーパーピクセルが有するエッジ点の数が閾値Ｔよりも多い場合、このスーパーピクセルに含まれる画素の事前確率をゼロにすることを示している。
（２．尤度計算処理（Ｓ３））
次に、図６に示すフローチャートを用いて、本発明に係る顕著領域検出アルゴリズムに基づいた尤度計算処理（Ｓ３）の流れを説明する。
図６に示すように、尤度計算処理（Ｓ３）では、まず、凸包領域生成手段１２４が、元画像からコーナーポイントを検出する（Ｓ３０１）。
次に、凸包領域生成手段１２４は凸包領域を生成する（Ｓ３０２）。詳細には、凸包領域生成手段１２４は、元画像から３つ以上のコーナーポイントを選択して構成される１つまたは複数の凸包領域を生成する。なお、元画像のコーナーポイントの総数が３つ未満である場合、凸包領域生成手段１２４は、画像全体を凸包領域とする。
その後、凸包領域生成手段１２４は、元画像から生成されたスーパーピクセル画像を生成する（Ｓ３０３）。
なお、凸包領域生成手段１２４は、凸包領域を生成する代わりに、事前確率計算処理（Ｓ２）において生成されたスーパーピクセル画像を利用してもよい。
続いて、凸包領域調整手段１２５が、以下の基準によって、凸包領域生成手段１２４によって生成された凸包領域を調整する（Ｓ３０４）。
（ａ）基準１；元画像の周辺部に存在する画素を凸包領域から除外する。ここで、上記周辺部とは、前述した画像の中心から所定の距離以上で離間している画像領域であってよい。
（ｂ）基準２；凸包領域の少なくとも一部と重なるスーパーピクセルについて、上記スーパーピクセルに含まれる画素のうち、上記所定の割合以上の画素が凸包領域に含まれている場合、上記スーパーピクセルに含まれる全ての画素を凸包領域に含める。一方、上記スーパーピクセルに含まれる画素のうち、上記所定の割合以上の画素が凸包領域に含まれていない場合、上記スーパーピクセルに含まれる全ての画素を凸包領域から除外する。
（ｃ）基準３；画像の凸包領域として、複数の上記凸包領域が存在しており、ある凸包領域の面積に対する他の凸包領域の面積の割合が所定値よりも小さい場合、上記他の凸包領域を上記凸包領域から除外する。
（ｄ）基準４；画像の凸包領域として、複数の上記凸包領域が存在しており、ある凸包領域の平均事前確率に対する他の凸包領域の平均事前確率の割合が所定値よりも小さい場合、上記他の凸包領域を上記凸包領域から除外する。ここで、上記平均事前確率とは、ある凸包領域に含まれる全ての画素の事前確率の平均のことである。
（ｅ）基準５；基準１〜基準４に基づいて調整された凸包領域が上記画像の全体において占める割合が、第１の所定値よりも大きくなる場合、または、第２の所定値よりも小さくなる場合、上記凸調整後の包領域を、調整前の凸包領域に戻す。
以上の基準１〜基準５によって、凸包領域の調整が完了する。なお、調整後の凸包領域は、凸状でなくてもよい。
本実施形態の顕著領域検出アルゴリズムでは、凸包領域調整手段１２５による調整後の凸包領域が、仮の顕著領域として扱われることになる。
従って、調整後の凸包領域内に存在する画素の特徴量（輝度値・色度など）は、仮の顕著領域の特徴量となるので、その特徴量に近い特徴量を有する画素ほど、顕著領域の尤度が高いことになる。
続いて、尤度計算手段１２６が、以下の式（７）に基づき、元画像の各画素ｘについて、顕著領域の尤度Ｐ＜ｘ｜Ｆ＞、および、背景の尤度Ｐ＜ｘ｜Ｂ＞を計算する（Ｓ３０５）。
式（６）および式（７）において、
（Ｌ，ａ，ｂ）の各要素は、ＬＡＢ色空間における各チャネル；
ＮＦは、（調整後の）凸包領域内の全画素数；
ＮＢは、凸包領域外の全画素数；
ｆＬ（ｘＬ）は、画素ｘの輝度値Ｌが、凸包領域に含まれる全ての画素の輝度値の中で発生する頻度；
ｆα（ｘα）およびｆβ（ｘβ）は、それぞれ、画素ｘの色度αまたはβ（βはαの補色）が、凸包領域に含まれる全ての画素の色度の中で発生する頻度；
を表している。
また、ｂＬ（ｘＬ）、ｂα（ｘα）およびｂβ（ｘβ）は、それぞれ、画素ｘに位置する画素の輝度値Ｌまたは色度α、βが、凸包領域外に存在する全ての画素の輝度値または色度の中で発生する頻度を表している。
式（７）によれば、画素ｘの輝度値・色度と、調整後の凸包領域に含まれる画素の輝度値・色度とが一致する頻度が多いほど、その画素ｘは顕著領域である尤度が高い。一方、画素ｘの輝度値・色度と、調整後の凸包領域に含まれない画素の輝度値・色度とが一致する頻度が多いほど、その画素ｘは背景である尤度が高い。
（３．顕著領域検出処理（Ｓ４））
顕著領域検出処理（Ｓ４）では、顕著マップ画像生成手段１２７が、エッジ検出手段１２２および事前確率計算手段１２３によって算出された上記事前確率と、尤度計算手段１２６によって算出された上記顕著領域の尤度とを用いて、元画像の顕著度合を示す顕著マップ画像を生成する。
詳細には、顕著マップ画像生成手段１２７は、まず、式（１）に対して、式（２）、式（６）、および式（７）の計算結果を代入することにより、元画像の画素ｘが顕著領域である事後確率Ｐ＜Ｆ｜ｘ＞を計算する。
このように、顕著マップ画像生成手段１２７は、元画像の各画素ｘにつき、上記事後確率をそれぞれ求めることによって、元画像の各画素ｘと上記事後確率とを対応付けた確率画像を生成する。
その後、顕著マップ画像生成手段１２７は、上記確率画像を平滑化することで、上記顕著マップ画像を作成する。なお、上記確率画像を平滑化するための処理方法は特に限定されないが、例えば、ｇｕｉｄｅｄ ｆｉｌｔｅｒを使用することができる。
図７に、本発明に係る顕著領域検出アルゴリズムに基づいて作成された顕著マップ画像の例を示す。同図において、左端の列の各画像は、それぞれ、顕著マップ画像を作成するためのサンプル画像である。
図７において、右端から２番目の列の各画像は、同じ行にある上記サンプル画像から、本発明に係る顕著領域検出アルゴリズムに基づいて作成された顕著マップ画像である。
また、図７において、右端の列の各画像は、同じ行の上記サンプル画像から、注目すべき領域、すなわち正しい顕著領域（白色の領域）を人手により抽出した白黒画像である。
さらに、図７には、左端から２番目の列に、本発明に対する比較例として、本発明に係る顕著領域検出アルゴリズム以外のアルゴリズムに基づいて作成された比較用顕著マップ画像も示している。
図７を見ると、本発明に係る顕著領域検出アルゴリズムに基づいて作成された顕著マップ画像は、上記比較用顕著マップ画像と比較して、白色に近い領域、すなわち顕著度合の高い領域が、上記白黒画像における白色の領域（すなわち正しい顕著領域）とよく一致していることがわかる。
このことは、本発明に係る顕著領域検出アルゴリズムによれば、従来よりも顕著度合を精度よく計算することができることを示している。
（非特許文献との差異）
以上のように、本発明に係る顕著領域検出アルゴリズムは、Ｂａｙｓｉａｎ理論（ベイズの定理）を利用して、画像から顕著度合を算出するものである。
一方、非特許文献１および非特許文献２には、ベイズの定理を利用して顕著度合（saliency measure）を計算する方法が開示されている。
しかしながら、前述のように、上記非特許文献１および上記非特許文献２では、顕著領域の事前確率を定数と仮定している。
従って、上記非特許文献１における顕著度合Ｓ０（ｘ）の算出結果は、尤度のみに依存する一般的な物理モデルを用いた算出結果と同等になる。言い換えれば、上記非特許文献１では、上記確率密度関数（事前確率に対応）を定数と仮定しているため、尤度の項とともに事前確率の項も含んでいるベイズの定理が有効に利用されていないことになる。
一方、本発明に係る事前確率計算アルゴリズムでは、上記非特許文献１および上記非特許文献２とは異なり、元画像の各画素について、顕著領域の事前確率をそれぞれ計算する。
従って、従来よりも正確な事前確率を求めることができる。また、その結果、従来よりも正確な事後確率を求めることができる。すなわち、本発明によれば、ベイズの定理を有効に利用して、従来よりも精密に顕著度合を算出することができる。
（本発明による顕著領域検出の精度）
発明者は、本発明に係る顕著領域検出アルゴリズムを評価するため、ある画像に関し、該顕著領域検出アルゴリズムを用いて検出された顕著領域のＰＲ（Precision-Recall）カーブを計算した。そして、発明者は、ＰＲカーブによれば、上記顕著領域検出アルゴリズムが、他のアルゴリズムと比較して、顕著領域の検出において優れていることを確認した（図８参照）。
図８は、本発明に係る顕著領域検出アルゴリズムに基づいて計算されたＰＲカーブを示すグラフである。同図において、ｐｒｏｐｏｓｅｄとして示すグラフが、本発明に係る顕著領域検出アルゴリズムのＰＲカーブである。なお、図８には、比較のため、本発明に係る顕著領域検出アルゴリズムではない他のアルゴリズムのＰＲカーブもいくつか示している。
図８によれば、上記ｐｒｏｐｏｓｅｄとして示されたＰＲカーブの適合率（precision）および再現率（recall）の値は、他のＰＲカーブと比較して高くなっていることがわかる。このことは、本発明に係る顕著領域検出アルゴリズムが、上記他のアルゴリズムよりも精度よく顕著領域を検出することができることを示している。
ＰＲカーブは、具体的には、以下のように作成することができる。まず、図７に示す顕著マップ画像において、所定の閾値αを設定して、事後確率Ｐ（Ｆ｜ｘ）＞αならばＰ‘（ｘ）＝１、Ｐ（Ｆ｜ｘ）≦αならばＰ’（ｘ）＝０に対応させることにより、２値画像を生成する。ここで、生成された２値化画像において、Ｐ’（ｘ）＝１の領域は顕著領域に対応し、Ｐ’（ｘ）＝０の領域は背景に対応する。以上のような２値画像の生成方法を用いて、閾値αを一定の範囲内（例えば、０から２５５）で段階的に変更しながら、各閾値αに対して、それぞれ２値化画像を生成する。そして、生成された各２値化画像から、それぞれ一組の適合率と再現率とを得ることができる。このようにして複数の２値化画像から得られる複数の適合率と再現率とから、ＰＲカーブが生成される。
（ＰＲカーブについて）
ＰＲカーブは、顕著領域を計算するアルゴリズムの精度を示す指標となるものであり、適合率（Precision）と再現率（Recall）との間の関係を示すものである。
ここで、適合率とは、元画像から顕著領域の検出を実行した際の検出結果Ａに含まれる正しい顕著領域Ｃの割合（Ｃ／Ａ）のことである。また、再現率とは、正しい顕著領域の全体Ｂにおける、上記顕著領域Ｃの割合（Ｃ／Ｂ）のことである。
図８に示すＰＲカーブのグラフを見ると、再現率が０に近い、すなわち領域Ｂにおける領域Ｃの割合が小さいほど、適合率が１に近くなっている。これは、要求される再現率が小さいならば、検出結果Ａがほとんど領域Ｂに含まれるようにすることができることを示している。
また、図８において、再現率が１のとき、適合率は０．２となっている。この適合率の値は、画像全体における顕著領域の大きさの割合（２０％）に対応するものである。これは、領域Ｂを完全に検出するためには、画像全体を検出結果Ａ（凸包領域）とする必要があることを示している。また、領域Ｂがいかなる形状であったとしても、検出結果Ａが画像全体である場合、領域Ｂは完全に検出されることを示している。
[補足]
以下に、補足として、スーパーピクセルについて説明する。
（スーパーピクセルについて）
画像において、色または輝度などの各種パラメータの値が互いに類似している連接した複数の画素からなる画素生領域をスーパーピクセルと呼ぶ。画素を単位とする元画像から作成されたスーパーピクセルを単位とする画像を、元画像と区別するために、スーパーピクセル画像と呼ぶ。
元画像の替わりに、スーパーピクセル画像を用いた画像処理を行うことによって、処理のデータ量を大幅に削減したり、上記各種パラメータ（輝度、色など）のノイズを抑制したりすることができる。
スーパーピクセル画像の生成アルゴリズムとして、複数の生成アルゴリズムが知られている。いずれの生成アルゴリズムにおいても、使用されるパラメータに依存して、生成されるスーパーピクセル画像に含まれるスーパーピクセルの総数が異なるものとなる。
なお、１つのパラメータだけでなく、複数のパラメータを使用することで、同一の画像について複数のス−パーピクセル画像を生成することもできる。このようにして生成されたスーパーピクセル画像は、マルチスケールスーパーピクセル画像と呼ばれる。
［ソフトウェアによる実現例］
最後に、画像処理装置１の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、画像処理装置１は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、画像処理装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。
また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態中に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、画像から顕著領域を検出する画像処理装置等に利用することができる。
１ 画像処理装置
１４ 記憶部
１２１ ＳＰ画像生成手段（画素小領域生成手段）
１２２ エッジ検出手段（エッジ点補正手段）
１２３ 事前確率計算手段
１２４ 凸包領域生成手段（領域生成手段）
１２５ 凸包領域調整手段
１２６ 尤度計算手段
１２７ 顕著マップ画像生成手段（顕著領域検出手段）

Claims (12)

  1. 画像から顕著領域を検出する画像処理装置であって、
    上記画像から、輝度値および／または色度が類似する互いに隣接した画素からなる画素小領域を単位構成とする画素小領域画像を生成する画素小領域画像生成手段と、
    上記画像の各画素について、上記顕著領域らしさの事前確率を算出する事前確率計算手段と、
    上記画像から抽出したコーナーポイントに基づいて、顕著領域を含む可能性の高い顕著領域含有領域を生成する領域生成手段と、
    上記画素小領域内に含まれるより多くの画素の輝度値および／または色度と同じ輝度値および／または色度を有する画素ほど、上記顕著領域の尤度がより高くなるように、上記画像の各画素について、上記顕著領域の尤度を算出する尤度計算手段と、
    上記事前確率と上記顕著領域の尤度とを用いて、上記顕著領域らしさの事後確率を算出する顕著領域検出手段とを備え、
    上記事前確率計算手段は、上記画素小領域画像に含まれる画素小領域において、隣接した画素小領域との色距離がより大きい画素小領域ほど、該画素小領域を構成する各画素の上記事前確率を高くすることを特徴とする画像処理装置。
  2. 上記事前確率計算手段は、隣接した他の画素小領域の面積がより大きい画素小領域ほど、該画素小領域を構成する各画素の事前確率をより高くすることを特徴とする請求項１に記載の画像処理装置。
  3. 上記事前確率計算手段は、上記画像の中心との距離がより近い画素小領域ほど、該画素小領域を構成する各画素の事前確率をより高くすることを特徴とする請求項１または２に記載の画像処理装置。
  4. 上記画素小領域に含まれるエッジ点の数が所定数以下である場合、上記エッジ点の数がより多い画素小領域ほど、該画素小領域を構成する各画素の上記事前確率がより低くなるように、また、画素小領域に含まれる上記エッジ点の数が所定数よりも多い場合、該画素小領域を構成する各画素の上記事前確率がゼロとなるように補正するエッジ点補正手段をさらに備えたことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
  5. 上記領域生成手段は、上記顕著領域含有領域として、領域の各頂点の内角がそれぞれ１８０よりも小さい凸包領域を生成し、
    上記凸包領域の少なくとも一部と重なる上画素小領域について、該画素小領域を構成する画素のうち、上記凸包領域に含まれる画素が所定の第１の割合よりも大きい場合、該画素小領域の全体を上記凸包領域に含める一方、該画素小領域を構成する画素のうち、上記凸包領域に含まれる画素が所定の第２の割合よりも小さい場合、上記凸包領域のうち該画素小領域と重なる部分を上記凸包領域から除外する凸包領域調整手段をさらに備え、
    上記尤度計算手段は、上記凸包領域調整手段によって調整された凸包領域に基づき、上記画像の各画素について、上記顕著領域の尤度を算出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
  6. 上記凸包領域調整手段は、上記凸包領域において、上記画像の中心から所定の距離以上離間した周辺部に含まれる部分を、上記凸包領域から除外することを特徴とする請求項５に記載の画像処理装置。
  7. 上記凸包領域調整手段は、上記領域生成手段によって複数の上記凸包領域が生成されており、ある凸包領域の面積に対する他の凸包領域の面積の割合が所定値よりも小さい場合、上記他の凸包領域を上記凸包領域から除外することを特徴とする請求項５または６に記載の画像処理装置。
  8. 上記凸包領域調整手段は、上記領域生成手段によって複数の上記凸包領域が生成されており、ある凸包領域の平均事前確率に対する他の凸包領域の平均事前確率の割合が所定値よりも小さい場合、上記他の凸包領域を上記凸包領域から除外することを特徴とする請求項５〜７のいずれか１項に記載の画像処理装置。
  9. 上記凸包領域調整手段は、該凸包領域調整手段による調整後の上記凸包領域が上記画像の全体において占める割合が、第１の所定値よりも大きくなる場合、または、第２の所定値よりも小さくなる場合、該凸包領域調整手段による調整後の上記凸包領域を、調整前の凸包領域に戻すことを特徴とする請求項５〜８のいずれか１項に記載の画像処理装置。
  10. 画像から顕著領域を検出する画像処理方法であって、
    上記画像から、輝度値および／または色度が類似する互いに隣接した画素からなる画素小領域を単位構成とする画素小領域画像を生成する画素小領域画像生成ステップと、
    上記画素小領域画像に含まれる画素小領域において、隣接した画素小領域との色距離がより大きい画素小領域ほど、該画素小領域を構成する各画素について、上記顕著領域らしさの事前確率がより高くなるように、上記画像の各画素について、上記事前確率を算出する事前確率計算ステップと、
    上記画像から抽出したコーナーポイントに基づいて、顕著領域を含む可能性の高い顕著領域含有領域を生成する領域生成ステップと、
    上記顕著領域含有領域内に含まれるより多くの画素の輝度値および／または色度と同じ輝度値および／または色度を有する画素ほど、上記顕著領域の尤度がより高くなるように、上記画像の各画素について、上記顕著領域の尤度を算出する尤度計算ステップと、
    上記事前確率と上記顕著領域の尤度とを用いて、上記顕著領域らしさの事後確率を算出する顕著領域検出ステップとを含むことを特徴とする画像処理方法。
  11. 請求項１から９のいずれか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理制御プログラムであって、コンピュータを上記各手段として機能させるための画像処理制御プログラム。
  12. 請求項１１に記載の画像処理制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013094756A 2013-04-26 2013-04-26 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体 Active JP6136537B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013094756A JP6136537B2 (ja) 2013-04-26 2013-04-26 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体
EP14158081.1A EP2797052B1 (en) 2013-04-26 2014-03-06 Detecting a saliency region in an image
KR1020140032608A KR101570290B1 (ko) 2013-04-26 2014-03-20 화상 처리 장치, 화상 처리 방법, 화상 처리 제어 프로그램, 및 기록 매체
US14/228,074 US9020270B2 (en) 2013-04-26 2014-03-27 Image processing device, image processing method, image processing control program, and recording medium
CN201410123175.1A CN104123718B (zh) 2013-04-26 2014-03-28 图像处理装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013094756A JP6136537B2 (ja) 2013-04-26 2013-04-26 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2014215925A JP2014215925A (ja) 2014-11-17
JP6136537B2 true JP6136537B2 (ja) 2017-05-31

Family

ID=50238206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013094756A Active JP6136537B2 (ja) 2013-04-26 2013-04-26 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体

Country Status (5)

Country Link
US (1) US9020270B2 (ja)
EP (1) EP2797052B1 (ja)
JP (1) JP6136537B2 (ja)
KR (1) KR101570290B1 (ja)
CN (1) CN104123718B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870617B2 (en) * 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
CN104680523B (zh) * 2015-02-11 2017-12-19 浙江工业大学 基于前景和背景先验的多模态区域一致性的显著性对象检测方法
WO2016176840A1 (zh) * 2015-05-06 2016-11-10 北京大学深圳研究生院 深度图/视差图的后处理方法和装置
ITUB20153912A1 (it) * 2015-09-25 2017-03-25 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel
JP6819996B2 (ja) * 2016-10-14 2021-01-27 国立大学法人金沢大学 交通信号認識方法および交通信号認識装置
CN106709517B (zh) * 2016-12-19 2020-09-04 航天恒星科技有限公司 红树林识别方法及系统
CN107767373A (zh) * 2017-10-23 2018-03-06 苏州茂特斯自动化设备有限公司 一种芯片管脚宽度快速亚像素精度视觉检测方法
CN108171236A (zh) * 2018-01-08 2018-06-15 亿嘉和科技股份有限公司 一种led字符自动定位方法
KR102252189B1 (ko) * 2019-06-04 2021-05-13 배재대학교 산학협력단 머신 러닝을 이용한 고장 진단 관리 시스템 및 방법
CN111768375B (zh) * 2020-06-24 2022-07-26 海南大学 一种基于cwam的非对称gm多模态融合显著性检测方法及系统
US11496674B2 (en) * 2020-09-18 2022-11-08 Microsoft Technology Licensing, Llc Camera placement guidance

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
JP4622140B2 (ja) * 2001-04-13 2011-02-02 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP5192315B2 (ja) 2008-07-18 2013-05-08 一夫 相坂 ２値画像を領域分割するための凹点検出方法
JP4800367B2 (ja) * 2008-10-17 2011-10-26 日本電信電話株式会社 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム
JP5235770B2 (ja) 2009-04-27 2013-07-10 日本電信電話株式会社 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体
JP2011034178A (ja) 2009-07-30 2011-02-17 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP5567448B2 (ja) 2010-10-15 2014-08-06 Ｋｄｄｉ株式会社 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
JP5771442B2 (ja) 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2013091186A1 (zh) * 2011-12-21 2013-06-27 中国科学院自动化研究所 多参数三维磁共振图像脑肿瘤分割方法
CN102722891B (zh) * 2012-06-12 2014-08-27 大连理工大学 一种图像显著度检测的方法
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体

Also Published As

Publication number Publication date
US9020270B2 (en) 2015-04-28
EP2797052B1 (en) 2019-10-16
JP2014215925A (ja) 2014-11-17
CN104123718B (zh) 2017-04-12
KR101570290B1 (ko) 2015-11-18
KR20140128226A (ko) 2014-11-05
CN104123718A (zh) 2014-10-29
EP2797052A2 (en) 2014-10-29
US20140321754A1 (en) 2014-10-30
EP2797052A3 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
JP6136537B2 (ja) 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体
CN109325954B (zh) 图像分割方法、装置及电子设备
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
US9299004B2 (en) Image foreground detection
US9330334B2 (en) Iterative saliency map estimation
US10019823B2 (en) Combined composition and change-based models for image cropping
US9483835B2 (en) Depth value restoration method and system
WO2020199478A1 (zh) 图像生成模型训练方法、图像生成方法、装置、设备及存储介质
US10380853B1 (en) Presence detection and detection localization
JP6547386B2 (ja) 画像処理装置及び方法
US10929978B2 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
JP6135283B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20150154471A1 (en) Image processing device and method, and computer readable medium
US10134114B2 (en) Apparatus and methods for video image post-processing for segmentation-based interpolation
JP6663285B2 (ja) 画像生成方法及び画像生成システム
CN111080654B (zh) 图像的病变区域分割方法、装置及服务器
CN110503704B (zh) 三分图的构造方法、装置和电子设备
US20150071532A1 (en) Image processing device, computer-readable recording medium, and image processing method
TW201432620A (zh) 具有邊緣選擇功能性之影像處理器
WO2019209751A1 (en) Superpixel merging
CN110111239B (zh) 一种基于tof相机软分割的人像头部背景虚化方法
JP2021170284A (ja) 情報処理装置及びプログラム
JP5914046B2 (ja) 画像処理装置および画像処理方法
CN107704864B (zh) 基于图像对象性语义检测的显著目标检测方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20151023

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20151028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160304

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170417

R150 Certificate of patent or registration of utility model

Ref document number: 6136537

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250