JP5422018B2 - 画像処理方法および画像処理装置 - Google Patents

画像処理方法および画像処理装置 Download PDF

Info

Publication number
JP5422018B2
JP5422018B2 JP2012108031A JP2012108031A JP5422018B2 JP 5422018 B2 JP5422018 B2 JP 5422018B2 JP 2012108031 A JP2012108031 A JP 2012108031A JP 2012108031 A JP2012108031 A JP 2012108031A JP 5422018 B2 JP5422018 B2 JP 5422018B2
Authority
JP
Japan
Prior art keywords
region
image processing
image
saliency
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012108031A
Other languages
English (en)
Other versions
JP2012243313A (ja
Inventor
翔 阮
事民 胡
明明 程
国▲しん▼ 張
ジェイ．ミトラ ニロイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of JP2012243313A publication Critical patent/JP2012243313A/ja
Application granted granted Critical
Publication of JP5422018B2 publication Critical patent/JP5422018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は画像処理技術の分野に属し、画像の視覚的顕著性を検出する画像処理方法と画像処理装置に関し、より具体的には、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法および画像処理装置に関する。
視覚的注意は、人間の視覚システムがシーンを正確かつ有効的に識別するのを助ける一つの重要なメカニズムである。演算という手法によって画像における顕著性領域を取得することは、コンピュータビジョン分野の一つの重要な研究課題であり、画像処理システムが後続処理ステップにおいて演算リソースを合理的に割り当てるのを助ける。顕著性マップ（Saliency map）は多くのコンピュータビジョンアプリケーションに幅広く適用され、例えば、注目物体の分割（中国特許200910046276(CN101520894)、中国特許200910081069(CN101526955)を参照）、物体識別、適応的画像圧縮、内容に応じた画像のリサイジング（中国特許200910092756(CN101650824)を参照）、および、画像検索などに適用されている。
画像の視覚的顕著性の検出は従来から、研究者に多く注目されている課題の一つである。視覚的注意に関する理論研究では、視覚的注意を二種類に分類する。即ち、処理が迅速でタスクに依存しない、データ駆動に関する顕著性検出と、処理が遅くてタスクに依存する、目標駆動に関する顕著性検出とに分類する。本発明に関する方法はその前者に属する。生理学の研究からわかるように、人間の視覚細胞はセンシングフィールド内の高いコントラストの刺激に優先的に応答する。従来、データ駆動に関する視覚的顕著性の検出研究のほとんどは、諸形式の画像内容とシーンとのコントラストを算出することにより視覚的顕著性を算出するものである。ここで、説明を簡素化するため、さらにこのような研究を二つの下位の種類に分類する。即ち、局部コントラストに基づく方法と、全域コントラストに基づく方法とに分類する。
局部コントラストに基づく方法は、画像領域と、その相対的な小さい隣接領域との差分によって顕著性を算出するものである。Ittiらは1998年に「A model of saliency-based visual attention for rapid scene analysis」（IEEE TPAMI， 20（11）：1254-1259，1998）を提案した。該方法は、マルチスケール画像間において、中心の特徴と隣接領域の特徴との差分で画像顕著性を定義する。また、MaとZhangは2003年に「Contrast-based image attention analysis by using fuzzy growing」（In ACM Multimedia，pages 374-381, 2003）を提案した。該方法は、局部コントラストの分析により顕著性マップを得る。更に、Liuらは2007年に「Learning to detect a salient object」(IEEE TPAMI, 33(2):353-367, 2011)を提案した。該方法は、学習方式を用いて色空間分布や、マルチスケールコントラストや、中心隣接領域のヒストグラム差分など、顕著性検出方法の結果として重み付き値の最適な組み合わせを探す。また、Gofermanらは2010年のワークである「Context-aware saliency detection」( In CVPR, 2010)において、ローレベルの手がかり（clue）、全体の考慮、組織ルール、および、ハイレベルの特徴についてモデルを構築する。これらの局部的方法の結果、視覚的顕著性として物体全体を均一的に突出させるのではなく、通常は物体のエッジ付近でより高い顕著性値を生成した。
全域コントラストに基づく方法は画像領域と画像全体との差分を測定することでその顕著性を評価する。ZhaiとShahは2006年に「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006)を提案した。該方法は、一つのピクセルとそれ以外のすべての画像ピクセルとの輝度の差分により、当該ピクセルの顕著性値を算出する。該方法は、効率面が考慮され、画像の輝度情報のみを利用し、それ以外の色チャネルにおける区別性を無視した。Achantaなどは2009年に「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)を提案した。該方法はピクセルごとに、平均色との差分を算出することで顕著性値を取得する。しかし、このような簡単な方法では、複雑かつ変化が多い自然画像を有効的に分析するには不十分である。
当分野において、今までの関連中国特許として、学習に基づく映像における顕著物体シーケンスの自動検出方法（中国特許第200810150324号(CN101329767)）がある。該方法では、一つのフレームを処理するのに通常数秒間の時間がかかるので、多数のリアルタイム処理への応用ニーズを満すことが困難である。
中国特許第200910046276号(CN101520894)公報 中国特許第200910081069号(CN101526955)公報 中国特許第200910092756号(CN101650824)公報 中国特許第200810150324号(CN101329767)公報
「A model of saliency-based visual attention for rapid scene analysis」（IEEE TPAMI， 20（11）：1254-1259，1998） 「Contrast-based image attention analysis by using fuzzy growing」（In ACM Multimedia，pages 374-381, 2003） 「Learning to detect a salient object」(IEEE TPAMI, 33(2):353-367, 2011) 「Context-aware saliency detection」( In CVPR, 2010) 「Visual attention detection in video sequences using spatiotemporal cues」(In ACM Multimedia, pages 815-824, 2006) 「Frequency-tuned salient region detection」(In CVPR, pages 1597-1604, 2009)
本発明は本分野の従来技術の不足に鑑みてされたものであり、その解決しようとする技術課題は、どのようにして迅速かつ有効的に画像ピクセルの顕著性値を分析して、画像における重要物体領域を均一的に表現するかにある。
上記技術課題を解決するため、本発明は、領域のコントラストに基づいて画像の視覚的顕著性を検出（算出）する画像処理方法と画像処理装置を提供する。得られた顕著性マップは一連のコンピュータビジョンへの応用に適用可能である。
本発明に係る技術的方案１の画像処理方法は、領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法であって、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ステップとを含むことを特徴とする。
技術的方案２．
技術的方案１の画像処理方法において、前記算出ステップは、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ ２は距離要素影響制御パラメーターである。
技術的方案３．
技術的方案２の画像処理方法において、画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ ２は0.1以上1.0以下である。
技術的方案４．
技術的方案２の画像処理方法において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とする。
技術的方案５．
技術的方案２の画像処理方法において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝である。
技術的方案６．
技術的方案５の画像処理方法において、色チャネルごとに、８級以上１２８級以下のカラーで近似する。
技術的方案７．
技術的方案１乃至６のいずれかの画像処理方法において、算出された顕著性値を出力する出力ステップと、算出された顕著性値を表示する表示ステップと、算出された顕著性値を格納する格納ステップと、の少なくとも一つのステップをさらに含む。
技術的方案８．
領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理装置であって、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニットと、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を利用して、当該領域の顕著性値を算出する算出ユニットとを含むことを特徴とする。
技術的方案９．
技術的方案８の画像処理装置において、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ ２は距離要素影響制御パラメーターである。
技術的方案１０．
技術的方案９の画像処理装置において、画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ ２は0.1以上1.0以下である。
技術的方案１１．
技術的方案９の画像処理装置において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とする。
技術的方案１２．
技術的方案９の画像処理装置において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝である。
技術的方案１３．
技術的方案１２の画像処理装置において、色チャネルごとに、８級以上１２８級以下のカラーで近似する。
技術的方案１４．
技術的方案８乃至１３のいずれかの画像処理装置において、算出された顕著性値を出力する出力ユニットと、算出された顕著性値を表示する表示ユニットと、算出された顕著性値を格納する格納ユニットと、の少なくとも一つのユニットをさらに含む。
本発明の上記技術的方案によれば、本発明の、領域のコントラストに基づいて画像の視覚的顕著性を検出(算出)する画像処理方法と画像処理装置は、自動分割アルゴリズムにより分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を利用して当該領域の顕著性値を算出することで、画像ピクセルの顕著性値を迅速かつ有効的に分析でき、画像における重要物体領域を均一的に表現することができる。国際的に最大規模である画像の視覚的顕著性の測定データセットでテストした結果、本方法は従来の方法より明らかに優れている。本方法によれば、複雑かつ変化が多い自然画像を有効的に分析することができると共に、多数のリアルタイム処理への応用ニーズを満すことができる。本発明は画像における視覚的顕著性領域を自動的に分析でき、その分析結果は、重要な目標物体の分割、物体識別、適応的画像圧縮、内容に応じた画像のリサイジング、および、画像検索などの応用分野に適用可能である。
本発明の実施の形態に係る画像処理方法を説明するフローチャートである。 本発明の他の実施の形態に係る画像処理方法を説明するフローチャートである。 本発明の実施の形態に係る画像処理装置を説明するブロック図である。 本発明の他の実施の形態に係る画像処理装置を説明するブロック図である。 本発明に係る入力画像を処理する一例を示す図である。
以下、図面と実施例を組み合わせて、本発明の具体的な実施形態について詳しく説明する。なお、以下の実施例は本発明を説明するためのものであり、本発明の範囲を限定するものではない。
本発明はある画像領域とその他の画像領域との色の差分の重み付き和を算出して当該画像領域の顕著性値を算出する画像処理方法と画像処理装置を公開した。当該方法と装置により検出された顕著性値は一連の画像処理への応用に対するサポートを提供可能である。それらの応用は重要な目標物体の分割、内容に応じた画像のリサイジング、および、画像検索などを含む。
図１は本発明の実施の形態に係る画像処理方法を説明するフローチャートである。
図１に示すように、分割ステップＳ１で、ユーザなどに入力された任意の一つの画像（例えば、図５の（a）に示す入力画像）に対して、任意の画像自動分割アルゴリズムによって入力画像を複数の領域ブロックに分割する。前記入力画像は有線あるいは無線手段で装置の外部から入力されてもよいし、撮像装置に撮像された画像がリアルタイムにあるいは後から入力されてもよいし、装置の内蔵あるいは外付けの格納ユニットから画像を読み取って入力画像としてもよい。入力画像を自動的に分割するための自動分割アルゴリズムとして、例えば、FelzenszwalbとHuttenlocherが2004年に提案された「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)の方法を利用する。もちろん、その他の既存の画像自動分割アルゴリズムを利用してもよい。
算出ステップＳ２で、分割ステップＳ１で自動分割アルゴリズムによって複数の領域ブロックに分割された入力画像(例えば、図５の（ｂ）に示すもの)に関して、分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を算出することで当該領域の顕著性値を算出(検出)する。すべての領域についてそれぞれの顕著性値を算出すると、図５の(ｃ)に示す画像の顕著性を得ることができる。
上記画像処理方法によれば、画像ピクセルの顕著性値を迅速かつ有効的に分析できる。複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
また、該画像処理方法において、分割された複数の領域（1，2，…k…m）における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、k、ｍは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ ２は距離要素影響制御パラメーターである。
また、該画像処理方法において、距離要素影響制御パラメーターσＳ ２は大きいほど、距離要素の影響は小さくなる。一方、距離要素影響制御パラメーターσＳ ２は小さいほど、距離要素の影響は大きくなる。画像ピクセルの空間座標を０〜１に正規化(線形ズーミング)した場合、前記距離要素影響制御パラメーターσＳ ２は0.01以上10以下の値を取りうる。好ましくは、距離要素影響制御パラメーターσＳ ２は0.1以上1.0以下である。σＳ ２=0.4のとき、優れた画像顕著性検出(計算)効果を得ることができる。
また、該画像処理方法において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）としてもよい。
また、該画像処理方法において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離(Euclidean distance)であり、ｋ＝｛１，２｝である。
また、該画像処理方法において、色チャネルごとに２級以上２５６級以下のカラーで計算する。採用されたカラーの級(レベル)が低いほど、計算の量が少なくなるが、精度が悪くなる。採用されたカラーの級(レベル)が高いほど、計算の量が多くなるが、精度がよくなる。計算を加速するため、色チャネルごとに２５６級のフルカラーとすることが必要なく、例えば、好ましくは色チャネルごとに８級以上１２８級以下のカラーで近似する。
本発明の顕著性検出方法によれば、色チャネルごとに１２級カラーで近似すると、優れた効果が得られることができる。したがって、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。
図２は本発明の他の実施の形態に係る画像処理方法を説明するフローチャートである。
図２に示すように、該画像処理方法において、分割ステップＳ１と算出ステップＳ２のほかに、算出された顕著性値を出力する出力ステップＳ３と、算出された顕著性値を表示する表示ステップＳ４と、算出された顕著性値を格納する格納ステップＳ５と、の少なくとも一つのステップをさらに含んでもよい。即ち、出力ステップと、表示ステップと、格納ステップとを任意的に組み合わせることで、得られた顕著性検出結果を希望のシーンに応用できる。出力ステップと、表示ステップと、格納ステップの順番について限定されるものではない。
図３は本発明の実施の形態に係る画像処理装置を説明するブロック図である。
図３に示すように、本実施形態に係る画像処理装置１は領域のコントラストに基づいて画像の視覚的顕著性を検出する。上記画像処理装置１は、自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニット１０と、前記複数の領域のうちの一つの領域とその他の領域との色の差分の重み付き和を当該一つの領域の顕著性値として算出する算出ユニット２０とを含む。
分割ユニット１０は、ユーザなどに入力された任意の一つの画像(例えば、図５の（a)に示す入力画像)に対して、任意の画像自動分割アルゴリズムによって入力画像を複数の領域ブロックに分割する。前記入力画像は有線あるいは無線手段で装置の外部から入力されてもよいし、撮像装置に撮像された画像がリアルタイムにあるいは後から入力されてもよいし、装置の内蔵あるいは外付けの格納ユニットから画像を読み取って入力画像としてもよい。入力画像を自動的に分割するための自動分割アルゴリズムとして、例えば、FelzenszwalbとHuttenlocherが2004年に提案された「Efficient graph-based image segmentation」(IJCV, 59(2):167-181)の方法を利用する。もちろん、その他の既存の画像自動分割アルゴリズムを利用してもよい。
算出ユニット２０は、分割ユニット１０で自動分割アルゴリズムによって複数の領域ブロックに分割された入力画像(例えば、図５の（ｂ）に示すもの)に関して、分割された領域ごとに、当該領域とその他の領域との色の差分の重み付き和を算出することで当該領域の顕著性値を算出(検出)する。すべての領域についてそれぞれの顕著性値を算出すると、図５の(ｃ)に示す画像の顕著性を得ることができる。
上記画像処理装置によれば、画像ピクセルの顕著性値を迅速かつ有効的に分析できる。本発明によれば、複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
また、該画像処理装置１において、分割された複数の領域（1，2，…k…m）における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、k、ｍは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ ２は距離要素影響制御パラメーターである。
また、該画像処理装置１において、距離要素影響制御パラメーターσＳ ２は大きいほど、距離要素の影響は小さくなる。一方、距離要素影響制御パラメーターσＳ ２は小さいほど、距離要素の影響は大きくなる。画像ピクセルの空間座標を０〜１に正規化(線形ズーミング)した場合、前記距離要素影響制御パラメーターσＳ ２は0.01以上10以下の値を取りうる。好ましくは、距離要素影響制御パラメーターσＳ ２は0.1以上1.0以下である。σＳ ２=0.4のとき、優れた画像顕著性検出(計算)効果を得ることができる。
また、該画像処理装置１において、前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）としてもよい。
また、該画像処理装置１において、前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離(Euclidean distance)であり、ｋ＝｛１，２｝である。
また、該画像処理装置１において、色チャネルごとに２級以上２５６級以下のカラーで計算する。採用されたカラーの級(レベル)が低いほど、計算の量が少なくなるが、精度が悪くなる。採用されたカラーの級(レベル)が高いほど、計算の量が多くなるが、精度がよくなる。計算を加速するため、色チャネルごとに２５６級のフルカラーとすることが必要なく、例えば、好ましくは色チャネルごとに８級以上１２８級以下のカラーで近似する。
本発明の顕著性検出方法によれば、色チャネルごとに１２級カラーで近似すると、優れた効果が得られることができる。したがって、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。複雑かつ変化が多い自然画像を有効的に分析することができながら多数のリアルタイム処理への応用ニーズに満足することができる。
図４は本発明の他の実施の形態に係る画像処理装置を説明するブロック図である。
図４に示すように、画像処理装置１において、分割ユニット１０と算出ユニット２０のほかに、算出された顕著性値を出力する出力ユニット３０と、算出された顕著性値を表示する表示ユニット４０と、算出された顕著性値を格納する格納ユニット５０と、の少なくとも一つのユニットをさらに含んでもよい。即ち、出力ユニット３０と、表示ユニット４０と、格納ユニット５０とを任意的に組み合わせることで、得られた顕著性検出結果を希望のシーンに応用できる。本発明によれば、検出された画像顕著性の精度を確保しながら、計算の量を大幅に低減することができる。複雑かつ変化が多い自然画像を有効的に分析することを可能とするとともに、多数のリアルタイム処理への応用ニーズを満足させることができる。
以上本発明は特定の実施例を参照しながら説明されてきたが、それらは単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例などを理解するであろう。発明の理解を促すため具体的な数値例を用いて説明がなされたが、特に断りのない限り、それらの数値は単なる一例に過ぎず、適切な如何なる値が使用されてもよい。実施例又は項目の区分けは本発明に本質的でなく、2以上の実施例又は項目に記載された事項が必要に応じて組み合わせて使用されてよい。説明の便宜上、本発明の実施例に係る装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウエアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例などが本発明に包含される。
１０ 分割ユニット
２０ 算出ユニット
３０ 出力ユニット
４０ 表示ユニット
５０ 格納ユニット

Claims (14)

  1. 領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理方法であって、
    自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ステップと、
    前記複数の領域のうちの一つの領域とその他の領域との色の差分および空間距離、ならびに、重み付き値を利用して、当該領域の顕著性値を算出する算出ステップと
    を含むことを特徴とする画像処理方法。
  2. 前記算出ステップにおいて、前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
    そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ ２は距離要素影響制御パラメーターであることを特徴とする請求項１に記載の画像処理方法。
  3. 画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ ２は0.1以上1.0以下であることを特徴とする請求項２に記載の画像処理方法。
  4. 前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とすることを特徴とする請求項２に記載の画像処理方法。
  5. 前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
    そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝であることを特徴とする請求項２に記載の画像処理方法。
  6. 色チャネルごとに８級以上１２８級以下のカラーで近似することを特徴とする請求項５に記載の画像処理方法。
  7. 算出された顕著性値を出力する出力ステップと、
    算出された顕著性値を表示する表示ステップと、
    算出された顕著性値を格納する格納ステップと、
    の少なくとも一つのステップをさらに含むことを特徴とする請求項１乃至請求項６のいずれかの一項に記載の画像処理方法。
  8. 領域のコントラストに基づいて画像の視覚的顕著性を検出する画像処理装置であって、
    自動分割アルゴリズムを用いて入力画像を複数の領域に分割する分割ユニットと、
    前記複数の領域のうちの一つの領域とその他の領域との色の差分および空間距離、ならびに、重み付き値を利用して、当該領域の顕著性値を算出する算出ユニットと
    を含むことを特徴とする画像処理装置。
  9. 前記複数の領域における領域ｒｋの顕著性Ｓ（ｒｋ）は以下の式に定義され、
    そのうち、ＤＳ（ｒｋ，ｒｉ）およびＤＣ（ｒｋ，ｒｉ）はそれぞれ、領域ｒｋと領域ｒｉとの空間距離、および、領域ｒｋと領域ｒｉとの色の差分であり、i、kは自然数であり、ｗ（ｒｉ）は領域ｒｉの重み付き値であり、σＳ ２は距離要素影響制御パラメーターであることを特徴とする請求項８に記載の画像処理装置。
  10. 画像ピクセルの空間座標を０〜１に正規化した場合、前記σＳ ２は0.1以上1.0以下であることを特徴とする請求項９に記載の画像処理装置。
  11. 前記領域ｒｉに含まれるピクセルの数を前記領域ｒｉの重み付き値ｗ（ｒｉ）とすることを特徴とする請求項９に記載の画像処理装置。
  12. 前記領域ｒｋと領域ｒｉとの色の差分ＤＣ（ｒｋ，ｒｉ）は以下の式に定義され、
    そのうち、ｆ（Ｃｋ，ｉ）は領域ｒｋに含まれるｎｋ種類の色のi番目のＣｋの出現頻度であり、Ｄ（Ｃ１，ｉ，Ｃ２，ｊ）は二つの色Ｃ１，ｉ，Ｃ２，ｊの色空間におけるユークリッド距離であり、ｋ＝｛１，２｝であることを特徴とする請求項９に記載の画像処理装置。
  13. 色チャネルごとに８級以上１２８級以下のカラーで近似することを特徴とする請求項１２に記載の画像処理装置。
  14. 算出された顕著性値を出力する出力ユニットと、
    算出された顕著性値を表示する表示ユニットと、
    算出された顕著性値を格納する格納ユニットと、
    の少なくとも一つのユニットをさらに含むことを特徴とする請求項８乃至１３のいずれかの一項に記載の画像処理装置。
JP2012108031A 2011-05-13 2012-05-09 画像処理方法および画像処理装置 Active JP5422018B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201110124317.2 2011-05-13
CN201110124317.2A CN102779338B (zh) 2011-05-13 2011-05-13 图像处理方法和图像处理装置

Publications (2)

Publication Number Publication Date
JP2012243313A JP2012243313A (ja) 2012-12-10
JP5422018B2 true JP5422018B2 (ja) 2014-02-19

Family

ID=46456306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012108031A Active JP5422018B2 (ja) 2011-05-13 2012-05-09 画像処理方法および画像処理装置

Country Status (5)

Country Link
US (1) US9014467B2 (ja)
EP (1) EP2523165B1 (ja)
JP (1) JP5422018B2 (ja)
KR (1) KR101333347B1 (ja)
CN (1) CN102779338B (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401292B2 (en) * 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
CN102779338B (zh) * 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US9041766B1 (en) * 2013-03-14 2015-05-26 Ca, Inc. Automated attention detection
US9100540B1 (en) 2013-03-14 2015-08-04 Ca, Inc. Multi-person video conference with focus detection
CN103247051A (zh) * 2013-05-16 2013-08-14 北京工业大学 一种基于期望步数的图像显著程度检测方法
KR102109933B1 (ko) 2013-07-01 2020-05-12 삼성전자주식회사 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법
EP3039645B1 (en) 2013-08-28 2017-05-17 Aselsan Elektronik Sanayi ve Ticaret Anonim Sirketi A semi automatic target initialization method based on visual saliency
US9946795B2 (en) 2014-01-27 2018-04-17 Fujitsu Limited User modeling with salience
CN103810707B (zh) * 2014-01-28 2016-08-17 华东理工大学 一种基于移动视觉焦点的图像视觉显著性检测方法
JP6338429B2 (ja) * 2014-04-15 2018-06-06 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
US9195903B2 (en) * 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US10055666B2 (en) 2014-05-08 2018-08-21 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Real-time, semi-automatic method for target tracking window initialization in thermal imagery
CN103985257A (zh) * 2014-05-14 2014-08-13 南通大学 一种智能交通视频分析方法
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US9798972B2 (en) 2014-07-02 2017-10-24 International Business Machines Corporation Feature extraction using a neurosynaptic system for object classification
US10115054B2 (en) 2014-07-02 2018-10-30 International Business Machines Corporation Classifying features using a neurosynaptic system
CN104134217B (zh) * 2014-07-29 2017-02-15 中国科学院自动化研究所 一种基于超体素图割的视频显著物体分割方法
JP6525537B2 (ja) * 2014-09-30 2019-06-05 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US10531103B2 (en) 2014-10-16 2020-01-07 Purdue Research Foundation Video coding using a saliency map
CN104318514B (zh) * 2014-10-17 2017-05-17 合肥工业大学 基于三维显著度的图像扭曲方法
CN104574366B (zh) * 2014-12-18 2017-08-25 华南理工大学 一种基于单目深度图的视觉显著性区域的提取方法
CN106296638A (zh) 2015-06-04 2017-01-04 欧姆龙株式会社 显著性信息取得装置以及显著性信息取得方法
CN105160668B (zh) * 2015-08-26 2018-01-09 爱威科技股份有限公司 图像分割方法、系统与细胞图像分割方法、系统
CN105513042A (zh) * 2015-10-30 2016-04-20 河海大学 一种基于多层分析和分层推理的显著性检测方法
CN105405130B (zh) * 2015-11-02 2019-03-01 北京旷视科技有限公司 基于聚类的证照图像高光检测方法及装置
CN105528757B (zh) * 2015-12-08 2019-01-29 华南理工大学 一种基于内容的图像美学质量提升方法
CN105913064B (zh) * 2016-04-12 2017-03-08 福州大学 一种图像视觉显著性检测拟合优化方法
US10452951B2 (en) 2016-08-26 2019-10-22 Goodrich Corporation Active visual attention models for computer vision tasks
CN106650744B (zh) * 2016-09-16 2019-08-09 北京航空航天大学 局部形状迁移指导的图像对象共分割方法
US10719927B2 (en) * 2017-01-04 2020-07-21 Samsung Electronics Co., Ltd. Multiframe image processing using semantic saliency
CN107392968B (zh) * 2017-07-17 2019-07-09 杭州电子科技大学 融合颜色对比图和颜色空间分布图的图像显著性检测方法
CN107481248A (zh) * 2017-07-28 2017-12-15 桂林电子科技大学 一种图像显著区域的提取方法
CN107545576A (zh) * 2017-07-31 2018-01-05 华南农业大学 基于构图规则的图像编辑方法
CN107784662B (zh) * 2017-11-14 2021-06-11 郑州布恩科技有限公司 一种图像目标显著性度量方法
CN108510557B (zh) * 2018-04-09 2020-09-11 湖南国科微电子股份有限公司 图像色调映射方法及装置
WO2020223962A1 (en) * 2019-05-09 2020-11-12 Boe Technology Group Co., Ltd. Computer-implemented method of detecting foreign object on background object in image, apparatus for detecting foreign object on background object in image, and computer-program product
JP7354686B2 (ja) 2019-08-27 2023-10-03 株式会社リコー 出力制御装置、表示制御システム、出力制御方法およびプログラム
US11373407B2 (en) * 2019-10-25 2022-06-28 International Business Machines Corporation Attention generation
CN113888086B (zh) * 2021-09-29 2024-06-28 平安银行股份有限公司 基于图像识别的物品签收方法、装置、设备及存储介质

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
KR100319155B1 (ko) * 1999-02-01 2001-12-29 구자홍 신뢰도를 이용한 대표칼라 지정방법
JP3482923B2 (ja) * 1999-10-28 2004-01-06 セイコーエプソン株式会社 自動構図決定装置
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
US7130461B2 (en) * 2002-12-18 2006-10-31 Xerox Corporation Systems and method for automatically choosing visual characteristics to highlight a target against a background
JP2004361987A (ja) * 2003-05-30 2004-12-24 Seiko Epson Corp 画像検索システム、画像分類システム、画像検索プログラム及び画像分類プログラム、並びに画像検索方法及び画像分類方法
US20050047647A1 (en) * 2003-06-10 2005-03-03 Ueli Rutishauser System and method for attentional selection
JP4396430B2 (ja) * 2003-11-25 2010-01-13 セイコーエプソン株式会社 視線誘導情報生成システムおよび視線誘導情報生成プログラム、並びに視線誘導情報生成方法
EP1544792A1 (en) 2003-12-18 2005-06-22 Thomson Licensing S.A. Device and method for creating a saliency map of an image
JP4639754B2 (ja) * 2004-11-04 2011-02-23 富士ゼロックス株式会社 画像処理装置
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
JP4821485B2 (ja) * 2006-07-31 2011-11-24 富士ゼロックス株式会社 画像処理装置及びプログラム
US7940985B2 (en) * 2007-06-06 2011-05-10 Microsoft Corporation Salient object detection
CN101329767B (zh) 2008-07-11 2011-11-16 西安交通大学 基于学习的视频中显著物体序列自动检测方法
JP5305768B2 (ja) 2008-07-22 2013-10-02 株式会社東芝 画像強調装置及び画像強調方法
JP4727720B2 (ja) * 2008-12-31 2011-07-20 株式会社モルフォ 画像処理方法および画像処理装置
CN101520894B (zh) * 2009-02-18 2011-03-30 上海大学 基于区域显著性的显著对象提取方法
CN101510299B (zh) * 2009-03-04 2011-07-20 上海大学 基于视觉显著性的图像自适应方法
CN101526955B (zh) 2009-04-01 2010-09-01 清华大学 一种基于草图的网络图元自动提取方法和系统
CN101650824B (zh) 2009-09-23 2011-12-28 清华大学 基于共形能量的内容敏感图像缩放方法
JP5556262B2 (ja) * 2010-03-15 2014-07-23 オムロン株式会社 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
CN102779338B (zh) * 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US9042648B2 (en) * 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation

Also Published As

Publication number Publication date
US9014467B2 (en) 2015-04-21
KR101333347B1 (ko) 2013-11-28
CN102779338B (zh) 2017-05-17
EP2523165A2 (en) 2012-11-14
KR20120127247A (ko) 2012-11-21
CN102779338A (zh) 2012-11-14
EP2523165B1 (en) 2017-09-27
JP2012243313A (ja) 2012-12-10
US20120288189A1 (en) 2012-11-15
EP2523165A3 (en) 2014-11-19
EP2523165A8 (en) 2013-01-02

Similar Documents

Publication Publication Date Title
JP5422018B2 (ja) 画像処理方法および画像処理装置
CN109886130B (zh) 目标对象的确定方法、装置、存储介质和处理器
Subburaman et al. Counting people in the crowd using a generic head detector
CN108596102B (zh) 基于rgb-d的室内场景物体分割分类器构造方法
KR101932009B1 (ko) 다중 객체 검출을 위한 영상 처리 장치 및 방법
JP4877374B2 (ja) 画像処理装置及びプログラム
CN107944403B (zh) 一种图像中的行人属性检测方法及装置
CN104680504B (zh) 场景变化检测方法及其装置
JP6135283B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
Ip et al. Saliency-assisted navigation of very large landscape images
WO2014044158A1 (zh) 一种图像中的目标物体识别方法及装置
WO2012122682A1 (zh) 基于色彩直方图和全局对比度的图像视觉显著性计算方法
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
CN112991238B (zh) 基于纹理色彩混合式的食物图像分割方法、系统、介质
CN102084397A (zh) 图像处理设备、方法和程序
Wang et al. Multi-spectral dataset and its application in saliency detection
CN102346854A (zh) 前景物体检测方法和设备
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
CN112734747A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质
JP2012252691A (ja) 画像からテキスト筆画画像を抽出する方法及び装置
CN109948515B (zh) 物体的类别识别方法和装置
Sheth et al. Object saliency using a background prior
CN117765330A (zh) 基于mri图像的数据标注方法及系统
US8538142B2 (en) Face-detection processing methods, image processing devices, and articles of manufacture

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131122

R150 Certificate of patent or registration of utility model

Ref document number: 5422018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250