JP3848514B2 - 顕著性算出装置及び方法 - Google Patents
顕著性算出装置及び方法 Download PDFInfo
- Publication number
- JP3848514B2 JP3848514B2 JP2000045684A JP2000045684A JP3848514B2 JP 3848514 B2 JP3848514 B2 JP 3848514B2 JP 2000045684 A JP2000045684 A JP 2000045684A JP 2000045684 A JP2000045684 A JP 2000045684A JP 3848514 B2 JP3848514 B2 JP 3848514B2
- Authority
- JP
- Japan
- Prior art keywords
- saliency
- image
- image data
- feature
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、表示されている画像内における各部分の重要性を測る尺度として画像各部の顕著性を算出する装置及び方法に関する。
【０００２】
【従来の技術】
人が画像を観察する場合には、特に意識することなく画像内の特定の部分に着目することが多い。これは、その部分が他の部分とは異なる特徴を有する場合に多く見られる。このように、人が画像を観察したときに人の目の注意が向きやすい程度を表す評価尺度を「顕著性」と呼んでいる。
【０００３】
例えば、図１に示すような画像を観察した場合には、人の目の注意は、１本だけ傾いている線に向けられることから、この部分が他の部分に比べて顕著性が高いものと考えられる。
【０００４】
かかる顕著性を定量化して算出する方法としては、種々の方法が考えられている。例えば、イッティ氏（L.Itti）らによる「高速画像解析のための視覚顕著性モデル（"A model of Silency-based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence 1998;20(11):1254-1259.）」においては、画像各部の明るさや色、線方向等の局所的な変動量を各部の特徴として算出して、それらの重み付け平均値を求めることで顕著性と定義している。例えば図１のような場合には、１本だけ傾いている線の部分で線方向の変動量が大きく評価されることになる。同様の方法が、ウォルフ氏（J.M.Wolfe）による「視覚による検索の修正モデル（"Guided search 2.0:a revised model of visual search",Psychonomic Bulletin Review, vol.1, pp.202 -238,1994.）」にも開示されている。
【０００５】
図２は、このような従来の顕著性算出方法における処理の流れ図である。まず顕著性算出対象となる画像を入力し（ステップＳ２１）、画像各部において線方向の変動量（周囲の線方向との差）等を各部の特徴として算出する（ステップＳ２２）。そして、それらの特徴に基づいて顕著性を算出して（ステップＳ２３）、顕著性マップ等を用いて出力表示する（ステップＳ２４）。ここで「顕著性マップ」とは、定量化された画像の顕著性を、顕著性算出の対象となった画像と同一の座標上で色の濃淡等を用いて表示したものの総称を意味する。
【０００６】
【発明が解決しようとする課題】
しかし、上述した顕著性の算出方法では、画像から抽出するべき特徴の種類が固定されており、どの特徴でもって顕著性を評価すれば最も的確に顕著性を判断することができるのかは問わないという問題点があった。
【０００７】
すなわち、あらかじめ指定した一又は二以上の特徴の種類に基づいて顕著性を算出するため、仮に顕著性抽出対象となる画像に明らかに周囲と異なっている部分が有ったとしても、指定されている特徴の種類と相異していれば顕著性が高いものとは判断されないという不都合が生じてしまうからである。
【０００８】
また、上述した算出方法では、人間の経験や記憶といった要素を考慮に入れて顕著性を算出することができないという問題点もあった。
【０００９】
例えば、図３（ａ）においては、普段から見慣れている文字である‘５’の中に１つだけ‘２’があることを容易に見つけることができる。すなわち、文字‘２’については顕著性が高いものと判断することが容易である。
【００１０】
それに対し、図３（ｂ）は、図３（ａ）と同じ画像を９０度回転させただけの画像であるにもかかわらず、図３（ａ）と同じ文字‘２’を見つけることが図３（ａ）の場合と比べて困難となっている。すなわち、画像自体を９０度回転させたことによって、‘５’や‘２’といった文字が普段から目にすることのない図形となってしまったことが原因と考えられ、顕著性の判断には人間の経験や記憶が大きく作用しているものと考えられる。
【００１１】
また、図４（ａ）においては、普段から見慣れている文字である‘Ｎ’の中から‘Ｎ’の反転文字を見つけることは容易である。一方、図４（ａ）全体を左右反転した図４（ｂ）においては、普段見かけない‘Ｎ’の反転文字の中から普段見慣れている文字である‘Ｎ’を見つけることは、図４（ａ）の場合と比べて困難となっている。したがって、この例においても、顕著性の判断には人間の経験や記憶が大きく作用しているものと考えられる。
【００１２】
本発明は、上記問題点を解消するべく、画像成分の顕著性を算出する場合に、人間の経験や記憶の度合を考慮して算出することのできる顕著性算出装置及び方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる顕著性算出装置は、顕著性算出の対象となる第１の画像データを入力する画像入力部と、第１の画像データの各部の特徴を抽出する特徴抽出部と、抽出された各部の特徴に基づいて顕著性を定量化する顕著性算出部と、算出された顕著性を表示出力する出力表示部とを含む顕著性算出装置であって、学習対象となる第２の画像データを複数入力する学習画像群入力部と、複数の第２の画像データに基づいて特徴の種類を事前に学習し、決定しておく特徴種類決定部とをさらに含み、特徴種類決定部で決定された特徴の種類を特徴抽出部に入力し、特徴抽出部で特徴の種類と第１の画像データに基づいて各部の特徴を抽出することを特徴とする。
【００１４】
かかる構成により、学習画像によって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断が可能となる。
【００１５】
また、本発明にかかる顕著性算出装置は、出力表示部で出力された顕著性に基づいて、第１の画像データの中から顕著性の高い領域である第３の画像データを抽出する領域抽出部をさらに含み、学習画像群入力部の代わりに、領域抽出部によって抽出された第３の画像データを入力する抽出領域再入力部を含み、特徴種類決定部において第３の画像データに基づいて特徴の種類を学習し、特徴抽出部で抽出すべき特徴の種類を再決定することが好ましい。顕著性を判断した画像に基づいて、新たな特徴の種類を設定することができることから、繰り返し顕著性を算出することにより人の感覚に近似した顕著性の判断が可能となるからである。
【００１６】
また、本発明にかかる顕著性算出装置は、特徴種類決定部においてＫＬ変換を用いることが好ましい。さらに、本発明にかかる顕著性算出装置は、顕著性算出部においてＫＬ変換を用いることが好ましい。限られた個数の特徴によって画像データをより忠実に表現するための一つの方法だからである。
【００１７】
また、本発明は、上記のような顕著性算出装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、顕著性算出の対象となる第１の画像データを入力する工程と、第１の画像データの各部の特徴を抽出する工程と、抽出された各部の特徴に基づいて顕著性を定量化する工程と、算出された顕著性を表示出力する工程とを含む顕著性算出方法であって、学習対象となる第２の画像データを複数入力する工程と、複数の第２の画像データに基づいて特徴の種類を事前に学習し、決定しておく工程とをさらに含み、決定された特徴の種類と第１の画像データに基づいて各部の特徴を抽出する方法並びにそのような工程をプログラムとして記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００１８】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、学習画像によって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断ができる顕著性算出装置を実現することが可能となる。
【００１９】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかる顕著性算出装置について、図面を参照しながら説明する。図５は本発明の実施の形態１にかかる顕著性算出装置の構成図である。図５において、５１は画像入力部を、５２は特徴抽出部を、５３は顕著性算出部を、５４は出力表示部を、それぞれ示し、この構成である限りにおいては従来の顕著性算出装置とは何ら相異しない。
【００２０】
本実施の形態１は、特徴抽出時において、事前に複数の画像群によって学習した特徴の種類に基づいて特徴を決定する点、すなわち学習する画像によって抽出すべき特徴の種類が変動する点において、従来例と相違する。つまり、かかる機能を実現するために、学習画像群入力部５２１及び特徴種類決定部５２２を有する点に特徴を有する。
【００２１】
本実施の形態１にかかる顕著性算出装置は、まず図５において、画像入力部５１から顕著性抽出の対象となる画像を入力する。入力媒体としては、スキャナやデジタルカメラ等が一般的であるが、これに限定されるものではない。また、ファイルに保存されているビットマップイメージやＴＩＦＦファイル、ＪＰＥＧファイル等であっても良い。
【００２２】
次に、特徴抽出部５２で顕著性算出対象画像から特徴を抽出することになるが、本実施の形態１では事前に特徴種類決定部５２２において、抽出の対象となる特徴の種類を決定しておくことができる。
【００２３】
すなわち、まず学習画像群入力部５２１から学習の対象となる画像を入力する。例えば、アルファベットが記載されている画像やひらがな、あるいは片仮名が記載されている画像等、複数の画像を、画像入力部５１と同様にスキャナ等の入力媒体を用いて入力しておくことになる。学習画像群入力部５２１から入力された画像において特徴を有すると判断された特徴の種類が、人が画像の顕著性を判断する際の経験や記憶等に相当するものとなる。
【００２４】
そして、特徴種類決定部５２２では、入力された画像群に基づいて、顕著性を算出するべき特徴の種類を決定する。具体的には、以下の処理を行うことになる。
【００２５】
まず、入力された学習画像全体から特徴を有する局所領域を所定の方法によって検出する。そのために、例えば学習画像の一部の大きさを有する窓領域を定め、窓領域を学習画像の上下左右端からドット単位等で移動させながら、学習画像全体の中から特徴を有する局所領域を検出する等の方法が考えられるが、特にかかる方法に限定されるものではない。
【００２６】
そして、各局所領域内の画像パターンをベクトルとみなして、各局所領域に対応するベクトルすべてに基づいて共分散行列を算出する。ここで、共分散行列Ｐとは、（数１）で表すことができる行列をいい、ｎ個のｍ次元ベクトルｖiから、その分散の程度を求めるべく算出されるものである。
【００２７】
【数１】
【００２８】
（数１）において、ベクトルｖaveは、ｎ個のｍ次元ベクトルｖiの単純平均値を、添字‘Ｔ’は転置行列であることを、それぞれ示している。したがって、求める共分散行列Ｐは、ｍ行ｍ列の正方行列となる。
【００２９】
選択すべき特徴の種類は、かかる共分散行列の固有ベクトルのうち、固有値が大きなベクトルから順に、固有値の総和が一定のしきい値に達するまで選択することで得る。こうして選択されたｑ個の固有ベクトルｅ1、ｅ2、…、ｅqを主要固有ベクトルと呼ぶ。
【００３０】
したがって、学習画像の各局所領域の画像パターンは、これらｑ個の主要固有ベクトルの重み付け線形和でもって近似される。すなわち、重み付け線形和を求めるべく、ＫＬ展開によって各画像パターンの主要固有ベクトルを重みとして求め、画像パターンを表すベクトルｖと各主要固有ベクトルｅiの（ｉは１からｑまでの自然数）の内積Ｑを（数２）のように求めることで、ｑ個の特徴ベクトルを定めることになる。
【００３１】
【数２】
【００３２】
従来の方法では、主要固有ベクトルが固定であり、顕著性算出の基準となる特徴の種類が固定されているのに対し、本実施の形態１によれば主要固有ベクトルがサンプル画像の種類によって変動する。すなわち、サンプル画像がアルファベットを表示した画像であればアルファベットについては特徴ベクトルの一つとして選択されることになる。
【００３３】
なお、ＫＬ展開は限られた個数の特徴で画像パターンをできるだけ忠実に表現するための一つの手法にすぎず、多数の学習パターンを限られた個数の特徴で近似的に表現できる方法で有れば、どのような方法を用いても良い。
【００３４】
こうして算出されたｑ個の内積を各局所領域における特徴の種類とみなし、ｑ次元の特徴ベクトルとすると、仮に入力画像のある局所領域の画像パターンと類似したパターンが多数の学習パターンの中に頻繁に出現していれば、この画像パターンは抽出された特徴によって比較的忠実に再現できる。
【００３５】
再現の忠実度は、その画像パターンの二乗ノルムと特徴ベクトルの二乗ノルムの差でもって評価することができる。その差が画像パターンを特徴ベクトルで表したときの残差を表しており、小さければ小さいほど忠実に再現できていることを示している。
【００３６】
次に、顕著性算出部５３において、求まった主要固有ベクトルに基づいて選択された特徴に基づいて顕著性を算出する。具体的には、以下のような処理を行うことになる。
【００３７】
まず、各局所領域から抽出された特徴ベクトルのすべてを対象としてＫＬ変換を行い、上述したのと同様にｒ個の主要固有ベクトルｅ1、ｅ2、…、ｅrを求める。次に、各局所領域から抽出された特徴ベクトルとｒ個の主要固有ベクトルのそれぞれとの内積を二次特徴ベクトルとして算出する。
【００３８】
こうして求めたｒ個の二次特徴ベクトルの二乗ノルムと、各局所領域の画像パターンをベクトルとみなした時の二乗ノルムとの差を算出して、各局所領域ごとの顕著性を表す指標とする。
【００３９】
例えば図６に示すように画像パターンのベクトル６１がｎ次元（図６では表記簡略化のため３次元空間で表記する。）であったとすると、特徴ベクトル６２を求めることはｑ次元の空間上（図６では表記簡略化のため２次元の平面で表記する。）へ射影することに該当する。そして、二次特徴ベクトル６３を求めることは、ｑ次元の空間上の点をｒ次元の空間上（図６では表記簡略化のため直線で表記する。）へ射影することに該当する。すなわち、ＫＬ変換を経るごとに次元の小さな空間へと変換されていくことになる。そして、求める二乗ノルムの差６４は、画像パターンのベクトル６１と二次特徴ベクトル６３との差を示す太線部分となる。
【００４０】
かかる処理によって求まる顕著性は、ある局所領域の画像パターンを入力画像におけるすべての局所領域におけるパターンの特徴集合から定まるｑ個の主要固有ベクトルの重み付け線形和で近似したときの残差を表している。すなわち、ある局所領域の画像パターンが、それ以外の領域におけるパターンと類似していないときは顕著性が高くなる。また、ある局所領域の画像パターンが学習画像における局所パターンと類似していないときにも顕著性が高くなる。
【００４１】
また、画像から特徴を抽出する前処理として、各局所領域において同時生起行列Ｏを算出することも考えられる。同時生起行列Ｏとは、（数３）で示すような行列をいい、画像上の１点における画素値Ｉ（ｘ，ｙ）と当該１点を平行移動した点における画素値Ｉ（ｘ＋ｉ，ｙ＋ｊ）との積の総和を表すものである。
【００４２】
【数３】
【００４３】
かかる行列による前処理を行うことで、平行移動に対する画像パターン認識の変動を最小限に抑制することができる。例えば、図７に示すように、画像が大きく、一部について窓によって認識する場合において、窓（ａ）では文字‘５’が窓の右側に位置していると認識されるのに対し、窓（ｂ）では文字‘５’が窓の左側に位置していると認識されてしまう。これらを別画像と認識したのでは、単なる平行移動であり同一画像パターンとして認識すべき画像であっても、異なる特徴を有すると認識されるおそれがあり、特徴の種類として抽出すべき次元数の限定されている本実施の形態１においては、数多くの特徴を抽出することとなって好ましくない。
【００４４】
そこで、窓位置の操作による窓の位置変化によっては別パターンと認識せず、平行移動しても値が変わらないように同時生起行列Ｏの算出処理をしておくことで、数少ない特徴で本質的な差異を抽出することが可能となる。
【００４５】
最後に、出力表示部５４において、顕著性マップとして算出した顕著性について出力表示する。例えば図８及び図９は、同時生起行列を求めた上で、実際に顕著性を算出した出力結果の例示図である。なお、図８及び図９はそれぞれ図３と図４に対応した出力表示を示している。
【００４６】
まず、図８（ａ）では、顕著性の高い文字のところが白く表示されている。図８（ａ）においては、顕著性の高いところが１箇所だけであることから、その部分に注意が引かれることで‘２’の文字を容易に見つけることが可能となる。
【００４７】
一方、図８（ｂ）では、すべての文字について顕著性が同程度に高くなっていることから、一つ一つの文字に順に注意が引かれることになり、‘２’の文字を見つけるまでに想到の時間を要することがわかる。
【００４８】
同様に図９（ａ）では、顕著性の高い文字のところが白く表示されている。一方、図９（ｂ）では、文字‘Ｎ’ではない‘Ｎ’の反転文字の部分で顕著性が高くなっているので、文字‘Ｎ’を見つけることが困難となっていることが明らかである。
【００４９】
上述した本発明の実施の形態１にかかる顕著性算出装置を実現するプログラムの処理の流れは図１０に示すようになる。
【００５０】
まず、顕著性算出の対象となる画像を入力する前に、サンプルとなる学習画像群を入力し（ステップ１０１）、各画像の各局所領域に対応するベクトルすべてに基づいて共分散行列を算出する（ステップＳ１０２）。そして、共分散行列に基づいてＫＬ変換等することによって主要固有ベクトルを特徴の種類として決定する（ステップＳ１０３）。
【００５１】
特徴の種類が確定した後に、顕著性算出対象となる画像を入力する（ステップＳ１０４）。そして、まず主要固有ベクトルに基づいて特徴ベクトルを算出する（ステップＳ１０５）。次に、算出された特徴ベクトルに基づいてＫＬ変換等によって再度主要固有ベクトルを決定し（ステップＳ１０６）、二次特徴ベクトルを算出する（ステップＳ１０７）。
【００５２】
最後に、各画像の各局所領域に対応するベクトルと二次特徴ベクトルとの二乗ノルムの差を算出して（ステップＳ１０８）、顕著性マップとして出力表示する（ステップＳ１０９）。
【００５３】
一方、上述した方法は、あらかじめ多数の学習画像群を準備しておく方法であるが、例えば図１１に示すような構成とすることで、算出した顕著性に基づいて画像の部分領域を抽出して、当該抽出領域と特徴の種類に基づいて特徴の種類を漸次更新していくことも考えられる。
【００５４】
図１１において、１１１は領域抽出部を、１１２は抽出領域再入力部を、１１３は同時生起行列算出部を、１１４は共分散行列更新部を、それぞれ示す。なお、同時生起行列算出部１１３は必須の構成要件ではない。
【００５５】
図１１では、一旦顕著性マップとして出力された結果に基づいて、領域抽出部１１１によって顕著性が高いと判断された部分領域を抽出する点に特徴を有する。すなわち、出力された顕著性マップから改めて領域抽出部１１１によって各部の特徴を抽出して、抽出した画像データを再度抽出領域再入力部１１２から入力する。再入力された画像データに基づいて再度同時生起行列算出部１１３において同時生起行列を算出し、共分散行列更新部１１４において共分散行列を更新することでＫＬ変換をやり直し、主要固有ベクトル自体を再計算しようとするものである。
【００５６】
こうすることで、システムを使えば使うほど、すなわちシステム上の経験を多く積めば積むほど、適切な特徴の種類を用いて顕著性を判断することができるようになる顕著性算出装置を実現することが可能となる。
【００５７】
以上のように本実施の形態１によれば、学習画像データや顕著性が高いと判断された画像データによって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断が可能となる。
【００５８】
本実施の形態にかかる顕著性算出装置は、様々な分野において応用が可能である。例えば、画面の表示領域に制限のある携帯端末等への適用が考えられる。図１２は本発明の一実施例にかかる顕著性算出装置を用いた携帯端末における処理流れ図である。
【００５９】
一般に、携帯端末のような小画面に大きな画像を表示する場合には、画像を縮小して表示することになるが、単純に縮小して表示する方法では、画面の表示密度の関係上、細部の表示がされない場合が多い。かかる表示上の問題を解消するべく、画像の一部を切り出して表示することが良く行われる。本実施例では、入力される画像の顕著性を求め、画像内において顕著性の高い部分、すなわち画像内において重要な部分領域を切り出して表示することを目的としている。
【００６０】
図１２では、まず表示すべき画像データの全体を入力し（ステップＳ１２１）、画像データ全体にわたって顕著性を算出することで、当該画像データ全体における顕著性マップを求める（ステップＳ１２２）。かかる顕著性の算出に、本実施の形態にかかる顕著性算出方法を用いている。
【００６１】
次に、携帯端末で表示できるサイズには物理的な制約があることから、表示可能な画像領域サイズを指定するとともに（ステップＳ１２３）、当該画像領域サイズの窓を表示画像データ全体について順次ラスタ走査し（ステップＳ１２４）、窓の位置を変えるごとに窓領域内の顕著性を算出する（ステップＳ１２５）。この顕著性の算出にも、本実施の形態にかかる顕著性算出方法を用いる。
【００６２】
そして、顕著性が最も高いと判断された窓領域を切り出し領域として選択することで（ステップＳ１２６）、携帯端末の画面へ最も顕著性の高い画面、すなわち利用者にとって重要な情報が最も多く含まれていると判断される部分の画像が表示される（ステップＳ１２７）。
【００６３】
こうすることで、顕著性が高い情報が最も多く含まれていると判断される画像データを、すなわち人が見て重要な部分であると判断できる部分を携帯端末の画面上に表示することができるとともに、画像データを縮小して表示しているわけではないので、画像の細部を消失しているという弊害も解消できる。
【００６４】
また、ＴＶカメラによる異常監視システムの無人化への適用も考えられる。図１３は本発明の他の実施例にかかる顕著性算出装置を用いた異常監視システムにおける処理流れ図である。
【００６５】
図１３では、画像を入力する入力媒体はテレビカメラであり、カメラから常時動画像として、あるいは一定時間間隔ごとの静止画像として、監視対象となる画像データを入力する（ステップＳ１３１）。そして、カメラにより入力された画像データの顕著性を算出する（ステップＳ１３２）。すなわち、動画像については一定時間間隔ごとの画像データについての顕著性を、静止画像については各々の顕著性を算出する。かかる顕著性の算出には本実施の形態にかかる顕著性算出方法を用いている。
【００６６】
そして、顕著性が突然増加したり、急激に増加した場合を検出することで（ステップＳ１３３：Ｙｅｓ）、異常が発生したものと判断する（ステップＳ１３４）。例えば、普段は人の出入りのない場所を常時監視しておき、顕著性を算出しておくと、人や他の生物の画像が入力されると顕著性が非常に高く算出される。したがって、実際に人が監視カメラを常時覗いていなくても、顕著性の定量値による自動判断によって人や生物等の進入を容易に監視することが可能となる。
【００６７】
さらに、ウェブ画面等の設計において利用者に見て欲しい情報について顕著性を高めるように配置する等の宣伝広告強化補助を行う画面作成支援装置として応用することも考えられる。図１４は本発明の他の実施例にかかる顕著性算出装置を用いたウェブ画面上の注意喚起システムにおける処理流れ図である。
【００６８】
図１４では、まず初期の設計画面を顕著性算出の対象画像として入力する（ステップＳ１４１）。そして、対象画像の顕著性を算出して顕著性マップを作成する（ステップＳ１４２）。かかる顕著性の算出には本実施の形態にかかる顕著性算出方法を用いている。
【００６９】
次に、利用者に見て欲しい情報を表示するオブジェクトを指定し（ステップＳ１４３）、当該オブジェクトが画像上で占めている領域について領域内の顕著性を算出する（ステップＳ１４４）。かかる顕著性の算出には本実施の形態にかかる顕著性算出方法を用いている。
【００７０】
かかるオブジェクト領域の顕著性が、事前に定めておいた所定のしきい値Ｔよりも大きい場合には、画面表示において十分な顕著性を有するものと判断して処理を終了する（ステップＳ１４５：Ｙｅｓ）。逆に、事前に定めておいたしきい値Ｔよりも小さい場合には（ステップＳ１４５：Ｎｏ）、十分な顕著性を有していないものと判断して、対象画面の設計の変更を行った後に（ステップＳ１４６）、同様の処理を繰り返す。かかる設計変更として考えられるのは、オブジェクトの色や配置等の変更であることは言うまでもない。
【００７１】
なお、本発明の実施の形態にかかる顕著性算出装置を実現するプログラムを記憶した記録媒体は、図１５に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１５２−１やフロッピーディスク１５２−２等の可搬型記録媒体１５２だけでなく、通信回線の先に備えられた他の記憶装置１５１や、コンピュータ１５３のハードディスクやＲＡＭ等の記録媒体１５４のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７２】
また、本発明の実施の形態にかかる顕著性算出装置により生成された二次特徴ベクトル等を記録した記録媒体も、図１５に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１５２−１やフロッピーディスク１５２−２等の可搬型記録媒体１５２だけでなく、通信回線の先に備えられた他の記憶装置１５１や、コンピュータ１５３のハードディスクやＲＡＭ等の記録媒体１５４のいずれでも良く、例えば本発明にかかる顕著性算出装置を利用する際にコンピュータ１５３により読み取られる。
【００７３】
【発明の効果】
以上のように本発明にかかる顕著性算出装置によれば、学習画像データや顕著性が高いと判断された画像データによって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断が可能となる。
【図面の簡単な説明】
【図１】 顕著性判断の例示図
【図２】 従来の顕著性算出方法における処理流れ図
【図３】 顕著性判断の例示図
【図４】 顕著性判断の例示図
【図５】 本発明の実施の形態にかかる顕著性算出装置の基本構成図
【図６】 本発明の実施の形態にかかる顕著性算出装置における顕著性算出プロセスの説明図
【図７】 本発明の実施の形態にかかる顕著性算出装置におけるパターン認識の説明図
【図８】 本発明の実施の形態にかかる顕著性算出装置における出力表示の例示図
【図９】 本発明の実施の形態にかかる顕著性算出装置における出力表示の例示図
【図１０】 本発明の実施の形態にかかる顕著性算出装置における処理の流れ図
【図１１】 本発明の実施の形態にかかる顕著性算出装置の構成図
【図１２】 本発明の一実施例にかかる顕著性算出装置における処理の流れ図
【図１３】 本発明の他の実施例にかかる顕著性算出装置における処理の流れ図
【図１４】 本発明の他の実施例にかかる顕著性算出装置における処理の流れ図
【図１５】 記録媒体の例示図
【符号の説明】
５１ 画像入力部
５２ 特徴抽出部
５３ 顕著性算出部
５４ 出力表示部
６１ 画像パターンのベクトル
６２ 特徴ベクトル
６３ 二次特徴ベクトル
６４ 二乗ノルムの差
１１１ 領域抽出部
１１２ 抽出領域再入力部
１１３ 同時生起行列算出部
１１４ 共分散行列算出部
１５１ 回線先の記憶装置
１５２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１５２−１ ＣＤ−ＲＯＭ
１５２−２ フロッピーディスク
１５３ コンピュータ
１５４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
５２１ 学習画像群入力部
５２２ 特徴種類決定部
【発明の属する技術分野】
本発明は、表示されている画像内における各部分の重要性を測る尺度として画像各部の顕著性を算出する装置及び方法に関する。
【０００２】
【従来の技術】
人が画像を観察する場合には、特に意識することなく画像内の特定の部分に着目することが多い。これは、その部分が他の部分とは異なる特徴を有する場合に多く見られる。このように、人が画像を観察したときに人の目の注意が向きやすい程度を表す評価尺度を「顕著性」と呼んでいる。
【０００３】
例えば、図１に示すような画像を観察した場合には、人の目の注意は、１本だけ傾いている線に向けられることから、この部分が他の部分に比べて顕著性が高いものと考えられる。
【０００４】
かかる顕著性を定量化して算出する方法としては、種々の方法が考えられている。例えば、イッティ氏（L.Itti）らによる「高速画像解析のための視覚顕著性モデル（"A model of Silency-based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence 1998;20(11):1254-1259.）」においては、画像各部の明るさや色、線方向等の局所的な変動量を各部の特徴として算出して、それらの重み付け平均値を求めることで顕著性と定義している。例えば図１のような場合には、１本だけ傾いている線の部分で線方向の変動量が大きく評価されることになる。同様の方法が、ウォルフ氏（J.M.Wolfe）による「視覚による検索の修正モデル（"Guided search 2.0:a revised model of visual search",Psychonomic Bulletin Review, vol.1, pp.202 -238,1994.）」にも開示されている。
【０００５】
図２は、このような従来の顕著性算出方法における処理の流れ図である。まず顕著性算出対象となる画像を入力し（ステップＳ２１）、画像各部において線方向の変動量（周囲の線方向との差）等を各部の特徴として算出する（ステップＳ２２）。そして、それらの特徴に基づいて顕著性を算出して（ステップＳ２３）、顕著性マップ等を用いて出力表示する（ステップＳ２４）。ここで「顕著性マップ」とは、定量化された画像の顕著性を、顕著性算出の対象となった画像と同一の座標上で色の濃淡等を用いて表示したものの総称を意味する。
【０００６】
【発明が解決しようとする課題】
しかし、上述した顕著性の算出方法では、画像から抽出するべき特徴の種類が固定されており、どの特徴でもって顕著性を評価すれば最も的確に顕著性を判断することができるのかは問わないという問題点があった。
【０００７】
すなわち、あらかじめ指定した一又は二以上の特徴の種類に基づいて顕著性を算出するため、仮に顕著性抽出対象となる画像に明らかに周囲と異なっている部分が有ったとしても、指定されている特徴の種類と相異していれば顕著性が高いものとは判断されないという不都合が生じてしまうからである。
【０００８】
また、上述した算出方法では、人間の経験や記憶といった要素を考慮に入れて顕著性を算出することができないという問題点もあった。
【０００９】
例えば、図３（ａ）においては、普段から見慣れている文字である‘５’の中に１つだけ‘２’があることを容易に見つけることができる。すなわち、文字‘２’については顕著性が高いものと判断することが容易である。
【００１０】
それに対し、図３（ｂ）は、図３（ａ）と同じ画像を９０度回転させただけの画像であるにもかかわらず、図３（ａ）と同じ文字‘２’を見つけることが図３（ａ）の場合と比べて困難となっている。すなわち、画像自体を９０度回転させたことによって、‘５’や‘２’といった文字が普段から目にすることのない図形となってしまったことが原因と考えられ、顕著性の判断には人間の経験や記憶が大きく作用しているものと考えられる。
【００１１】
また、図４（ａ）においては、普段から見慣れている文字である‘Ｎ’の中から‘Ｎ’の反転文字を見つけることは容易である。一方、図４（ａ）全体を左右反転した図４（ｂ）においては、普段見かけない‘Ｎ’の反転文字の中から普段見慣れている文字である‘Ｎ’を見つけることは、図４（ａ）の場合と比べて困難となっている。したがって、この例においても、顕著性の判断には人間の経験や記憶が大きく作用しているものと考えられる。
【００１２】
本発明は、上記問題点を解消するべく、画像成分の顕著性を算出する場合に、人間の経験や記憶の度合を考慮して算出することのできる顕著性算出装置及び方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる顕著性算出装置は、顕著性算出の対象となる第１の画像データを入力する画像入力部と、第１の画像データの各部の特徴を抽出する特徴抽出部と、抽出された各部の特徴に基づいて顕著性を定量化する顕著性算出部と、算出された顕著性を表示出力する出力表示部とを含む顕著性算出装置であって、学習対象となる第２の画像データを複数入力する学習画像群入力部と、複数の第２の画像データに基づいて特徴の種類を事前に学習し、決定しておく特徴種類決定部とをさらに含み、特徴種類決定部で決定された特徴の種類を特徴抽出部に入力し、特徴抽出部で特徴の種類と第１の画像データに基づいて各部の特徴を抽出することを特徴とする。
【００１４】
かかる構成により、学習画像によって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断が可能となる。
【００１５】
また、本発明にかかる顕著性算出装置は、出力表示部で出力された顕著性に基づいて、第１の画像データの中から顕著性の高い領域である第３の画像データを抽出する領域抽出部をさらに含み、学習画像群入力部の代わりに、領域抽出部によって抽出された第３の画像データを入力する抽出領域再入力部を含み、特徴種類決定部において第３の画像データに基づいて特徴の種類を学習し、特徴抽出部で抽出すべき特徴の種類を再決定することが好ましい。顕著性を判断した画像に基づいて、新たな特徴の種類を設定することができることから、繰り返し顕著性を算出することにより人の感覚に近似した顕著性の判断が可能となるからである。
【００１６】
また、本発明にかかる顕著性算出装置は、特徴種類決定部においてＫＬ変換を用いることが好ましい。さらに、本発明にかかる顕著性算出装置は、顕著性算出部においてＫＬ変換を用いることが好ましい。限られた個数の特徴によって画像データをより忠実に表現するための一つの方法だからである。
【００１７】
また、本発明は、上記のような顕著性算出装置の機能をコンピュータの処理ステップとして実行するソフトウェアを特徴とするものであり、具体的には、顕著性算出の対象となる第１の画像データを入力する工程と、第１の画像データの各部の特徴を抽出する工程と、抽出された各部の特徴に基づいて顕著性を定量化する工程と、算出された顕著性を表示出力する工程とを含む顕著性算出方法であって、学習対象となる第２の画像データを複数入力する工程と、複数の第２の画像データに基づいて特徴の種類を事前に学習し、決定しておく工程とをさらに含み、決定された特徴の種類と第１の画像データに基づいて各部の特徴を抽出する方法並びにそのような工程をプログラムとして記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００１８】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、学習画像によって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断ができる顕著性算出装置を実現することが可能となる。
【００１９】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかる顕著性算出装置について、図面を参照しながら説明する。図５は本発明の実施の形態１にかかる顕著性算出装置の構成図である。図５において、５１は画像入力部を、５２は特徴抽出部を、５３は顕著性算出部を、５４は出力表示部を、それぞれ示し、この構成である限りにおいては従来の顕著性算出装置とは何ら相異しない。
【００２０】
本実施の形態１は、特徴抽出時において、事前に複数の画像群によって学習した特徴の種類に基づいて特徴を決定する点、すなわち学習する画像によって抽出すべき特徴の種類が変動する点において、従来例と相違する。つまり、かかる機能を実現するために、学習画像群入力部５２１及び特徴種類決定部５２２を有する点に特徴を有する。
【００２１】
本実施の形態１にかかる顕著性算出装置は、まず図５において、画像入力部５１から顕著性抽出の対象となる画像を入力する。入力媒体としては、スキャナやデジタルカメラ等が一般的であるが、これに限定されるものではない。また、ファイルに保存されているビットマップイメージやＴＩＦＦファイル、ＪＰＥＧファイル等であっても良い。
【００２２】
次に、特徴抽出部５２で顕著性算出対象画像から特徴を抽出することになるが、本実施の形態１では事前に特徴種類決定部５２２において、抽出の対象となる特徴の種類を決定しておくことができる。
【００２３】
すなわち、まず学習画像群入力部５２１から学習の対象となる画像を入力する。例えば、アルファベットが記載されている画像やひらがな、あるいは片仮名が記載されている画像等、複数の画像を、画像入力部５１と同様にスキャナ等の入力媒体を用いて入力しておくことになる。学習画像群入力部５２１から入力された画像において特徴を有すると判断された特徴の種類が、人が画像の顕著性を判断する際の経験や記憶等に相当するものとなる。
【００２４】
そして、特徴種類決定部５２２では、入力された画像群に基づいて、顕著性を算出するべき特徴の種類を決定する。具体的には、以下の処理を行うことになる。
【００２５】
まず、入力された学習画像全体から特徴を有する局所領域を所定の方法によって検出する。そのために、例えば学習画像の一部の大きさを有する窓領域を定め、窓領域を学習画像の上下左右端からドット単位等で移動させながら、学習画像全体の中から特徴を有する局所領域を検出する等の方法が考えられるが、特にかかる方法に限定されるものではない。
【００２６】
そして、各局所領域内の画像パターンをベクトルとみなして、各局所領域に対応するベクトルすべてに基づいて共分散行列を算出する。ここで、共分散行列Ｐとは、（数１）で表すことができる行列をいい、ｎ個のｍ次元ベクトルｖiから、その分散の程度を求めるべく算出されるものである。
【００２７】
【数１】
（数１）において、ベクトルｖaveは、ｎ個のｍ次元ベクトルｖiの単純平均値を、添字‘Ｔ’は転置行列であることを、それぞれ示している。したがって、求める共分散行列Ｐは、ｍ行ｍ列の正方行列となる。
【００２９】
選択すべき特徴の種類は、かかる共分散行列の固有ベクトルのうち、固有値が大きなベクトルから順に、固有値の総和が一定のしきい値に達するまで選択することで得る。こうして選択されたｑ個の固有ベクトルｅ1、ｅ2、…、ｅqを主要固有ベクトルと呼ぶ。
【００３０】
したがって、学習画像の各局所領域の画像パターンは、これらｑ個の主要固有ベクトルの重み付け線形和でもって近似される。すなわち、重み付け線形和を求めるべく、ＫＬ展開によって各画像パターンの主要固有ベクトルを重みとして求め、画像パターンを表すベクトルｖと各主要固有ベクトルｅiの（ｉは１からｑまでの自然数）の内積Ｑを（数２）のように求めることで、ｑ個の特徴ベクトルを定めることになる。
【００３１】
【数２】
従来の方法では、主要固有ベクトルが固定であり、顕著性算出の基準となる特徴の種類が固定されているのに対し、本実施の形態１によれば主要固有ベクトルがサンプル画像の種類によって変動する。すなわち、サンプル画像がアルファベットを表示した画像であればアルファベットについては特徴ベクトルの一つとして選択されることになる。
【００３３】
なお、ＫＬ展開は限られた個数の特徴で画像パターンをできるだけ忠実に表現するための一つの手法にすぎず、多数の学習パターンを限られた個数の特徴で近似的に表現できる方法で有れば、どのような方法を用いても良い。
【００３４】
こうして算出されたｑ個の内積を各局所領域における特徴の種類とみなし、ｑ次元の特徴ベクトルとすると、仮に入力画像のある局所領域の画像パターンと類似したパターンが多数の学習パターンの中に頻繁に出現していれば、この画像パターンは抽出された特徴によって比較的忠実に再現できる。
【００３５】
再現の忠実度は、その画像パターンの二乗ノルムと特徴ベクトルの二乗ノルムの差でもって評価することができる。その差が画像パターンを特徴ベクトルで表したときの残差を表しており、小さければ小さいほど忠実に再現できていることを示している。
【００３６】
次に、顕著性算出部５３において、求まった主要固有ベクトルに基づいて選択された特徴に基づいて顕著性を算出する。具体的には、以下のような処理を行うことになる。
【００３７】
まず、各局所領域から抽出された特徴ベクトルのすべてを対象としてＫＬ変換を行い、上述したのと同様にｒ個の主要固有ベクトルｅ1、ｅ2、…、ｅrを求める。次に、各局所領域から抽出された特徴ベクトルとｒ個の主要固有ベクトルのそれぞれとの内積を二次特徴ベクトルとして算出する。
【００３８】
こうして求めたｒ個の二次特徴ベクトルの二乗ノルムと、各局所領域の画像パターンをベクトルとみなした時の二乗ノルムとの差を算出して、各局所領域ごとの顕著性を表す指標とする。
【００３９】
例えば図６に示すように画像パターンのベクトル６１がｎ次元（図６では表記簡略化のため３次元空間で表記する。）であったとすると、特徴ベクトル６２を求めることはｑ次元の空間上（図６では表記簡略化のため２次元の平面で表記する。）へ射影することに該当する。そして、二次特徴ベクトル６３を求めることは、ｑ次元の空間上の点をｒ次元の空間上（図６では表記簡略化のため直線で表記する。）へ射影することに該当する。すなわち、ＫＬ変換を経るごとに次元の小さな空間へと変換されていくことになる。そして、求める二乗ノルムの差６４は、画像パターンのベクトル６１と二次特徴ベクトル６３との差を示す太線部分となる。
【００４０】
かかる処理によって求まる顕著性は、ある局所領域の画像パターンを入力画像におけるすべての局所領域におけるパターンの特徴集合から定まるｑ個の主要固有ベクトルの重み付け線形和で近似したときの残差を表している。すなわち、ある局所領域の画像パターンが、それ以外の領域におけるパターンと類似していないときは顕著性が高くなる。また、ある局所領域の画像パターンが学習画像における局所パターンと類似していないときにも顕著性が高くなる。
【００４１】
また、画像から特徴を抽出する前処理として、各局所領域において同時生起行列Ｏを算出することも考えられる。同時生起行列Ｏとは、（数３）で示すような行列をいい、画像上の１点における画素値Ｉ（ｘ，ｙ）と当該１点を平行移動した点における画素値Ｉ（ｘ＋ｉ，ｙ＋ｊ）との積の総和を表すものである。
【００４２】
【数３】
かかる行列による前処理を行うことで、平行移動に対する画像パターン認識の変動を最小限に抑制することができる。例えば、図７に示すように、画像が大きく、一部について窓によって認識する場合において、窓（ａ）では文字‘５’が窓の右側に位置していると認識されるのに対し、窓（ｂ）では文字‘５’が窓の左側に位置していると認識されてしまう。これらを別画像と認識したのでは、単なる平行移動であり同一画像パターンとして認識すべき画像であっても、異なる特徴を有すると認識されるおそれがあり、特徴の種類として抽出すべき次元数の限定されている本実施の形態１においては、数多くの特徴を抽出することとなって好ましくない。
【００４４】
そこで、窓位置の操作による窓の位置変化によっては別パターンと認識せず、平行移動しても値が変わらないように同時生起行列Ｏの算出処理をしておくことで、数少ない特徴で本質的な差異を抽出することが可能となる。
【００４５】
最後に、出力表示部５４において、顕著性マップとして算出した顕著性について出力表示する。例えば図８及び図９は、同時生起行列を求めた上で、実際に顕著性を算出した出力結果の例示図である。なお、図８及び図９はそれぞれ図３と図４に対応した出力表示を示している。
【００４６】
まず、図８（ａ）では、顕著性の高い文字のところが白く表示されている。図８（ａ）においては、顕著性の高いところが１箇所だけであることから、その部分に注意が引かれることで‘２’の文字を容易に見つけることが可能となる。
【００４７】
一方、図８（ｂ）では、すべての文字について顕著性が同程度に高くなっていることから、一つ一つの文字に順に注意が引かれることになり、‘２’の文字を見つけるまでに想到の時間を要することがわかる。
【００４８】
同様に図９（ａ）では、顕著性の高い文字のところが白く表示されている。一方、図９（ｂ）では、文字‘Ｎ’ではない‘Ｎ’の反転文字の部分で顕著性が高くなっているので、文字‘Ｎ’を見つけることが困難となっていることが明らかである。
【００４９】
上述した本発明の実施の形態１にかかる顕著性算出装置を実現するプログラムの処理の流れは図１０に示すようになる。
【００５０】
まず、顕著性算出の対象となる画像を入力する前に、サンプルとなる学習画像群を入力し（ステップ１０１）、各画像の各局所領域に対応するベクトルすべてに基づいて共分散行列を算出する（ステップＳ１０２）。そして、共分散行列に基づいてＫＬ変換等することによって主要固有ベクトルを特徴の種類として決定する（ステップＳ１０３）。
【００５１】
特徴の種類が確定した後に、顕著性算出対象となる画像を入力する（ステップＳ１０４）。そして、まず主要固有ベクトルに基づいて特徴ベクトルを算出する（ステップＳ１０５）。次に、算出された特徴ベクトルに基づいてＫＬ変換等によって再度主要固有ベクトルを決定し（ステップＳ１０６）、二次特徴ベクトルを算出する（ステップＳ１０７）。
【００５２】
最後に、各画像の各局所領域に対応するベクトルと二次特徴ベクトルとの二乗ノルムの差を算出して（ステップＳ１０８）、顕著性マップとして出力表示する（ステップＳ１０９）。
【００５３】
一方、上述した方法は、あらかじめ多数の学習画像群を準備しておく方法であるが、例えば図１１に示すような構成とすることで、算出した顕著性に基づいて画像の部分領域を抽出して、当該抽出領域と特徴の種類に基づいて特徴の種類を漸次更新していくことも考えられる。
【００５４】
図１１において、１１１は領域抽出部を、１１２は抽出領域再入力部を、１１３は同時生起行列算出部を、１１４は共分散行列更新部を、それぞれ示す。なお、同時生起行列算出部１１３は必須の構成要件ではない。
【００５５】
図１１では、一旦顕著性マップとして出力された結果に基づいて、領域抽出部１１１によって顕著性が高いと判断された部分領域を抽出する点に特徴を有する。すなわち、出力された顕著性マップから改めて領域抽出部１１１によって各部の特徴を抽出して、抽出した画像データを再度抽出領域再入力部１１２から入力する。再入力された画像データに基づいて再度同時生起行列算出部１１３において同時生起行列を算出し、共分散行列更新部１１４において共分散行列を更新することでＫＬ変換をやり直し、主要固有ベクトル自体を再計算しようとするものである。
【００５６】
こうすることで、システムを使えば使うほど、すなわちシステム上の経験を多く積めば積むほど、適切な特徴の種類を用いて顕著性を判断することができるようになる顕著性算出装置を実現することが可能となる。
【００５７】
以上のように本実施の形態１によれば、学習画像データや顕著性が高いと判断された画像データによって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断が可能となる。
【００５８】
本実施の形態にかかる顕著性算出装置は、様々な分野において応用が可能である。例えば、画面の表示領域に制限のある携帯端末等への適用が考えられる。図１２は本発明の一実施例にかかる顕著性算出装置を用いた携帯端末における処理流れ図である。
【００５９】
一般に、携帯端末のような小画面に大きな画像を表示する場合には、画像を縮小して表示することになるが、単純に縮小して表示する方法では、画面の表示密度の関係上、細部の表示がされない場合が多い。かかる表示上の問題を解消するべく、画像の一部を切り出して表示することが良く行われる。本実施例では、入力される画像の顕著性を求め、画像内において顕著性の高い部分、すなわち画像内において重要な部分領域を切り出して表示することを目的としている。
【００６０】
図１２では、まず表示すべき画像データの全体を入力し（ステップＳ１２１）、画像データ全体にわたって顕著性を算出することで、当該画像データ全体における顕著性マップを求める（ステップＳ１２２）。かかる顕著性の算出に、本実施の形態にかかる顕著性算出方法を用いている。
【００６１】
次に、携帯端末で表示できるサイズには物理的な制約があることから、表示可能な画像領域サイズを指定するとともに（ステップＳ１２３）、当該画像領域サイズの窓を表示画像データ全体について順次ラスタ走査し（ステップＳ１２４）、窓の位置を変えるごとに窓領域内の顕著性を算出する（ステップＳ１２５）。この顕著性の算出にも、本実施の形態にかかる顕著性算出方法を用いる。
【００６２】
そして、顕著性が最も高いと判断された窓領域を切り出し領域として選択することで（ステップＳ１２６）、携帯端末の画面へ最も顕著性の高い画面、すなわち利用者にとって重要な情報が最も多く含まれていると判断される部分の画像が表示される（ステップＳ１２７）。
【００６３】
こうすることで、顕著性が高い情報が最も多く含まれていると判断される画像データを、すなわち人が見て重要な部分であると判断できる部分を携帯端末の画面上に表示することができるとともに、画像データを縮小して表示しているわけではないので、画像の細部を消失しているという弊害も解消できる。
【００６４】
また、ＴＶカメラによる異常監視システムの無人化への適用も考えられる。図１３は本発明の他の実施例にかかる顕著性算出装置を用いた異常監視システムにおける処理流れ図である。
【００６５】
図１３では、画像を入力する入力媒体はテレビカメラであり、カメラから常時動画像として、あるいは一定時間間隔ごとの静止画像として、監視対象となる画像データを入力する（ステップＳ１３１）。そして、カメラにより入力された画像データの顕著性を算出する（ステップＳ１３２）。すなわち、動画像については一定時間間隔ごとの画像データについての顕著性を、静止画像については各々の顕著性を算出する。かかる顕著性の算出には本実施の形態にかかる顕著性算出方法を用いている。
【００６６】
そして、顕著性が突然増加したり、急激に増加した場合を検出することで（ステップＳ１３３：Ｙｅｓ）、異常が発生したものと判断する（ステップＳ１３４）。例えば、普段は人の出入りのない場所を常時監視しておき、顕著性を算出しておくと、人や他の生物の画像が入力されると顕著性が非常に高く算出される。したがって、実際に人が監視カメラを常時覗いていなくても、顕著性の定量値による自動判断によって人や生物等の進入を容易に監視することが可能となる。
【００６７】
さらに、ウェブ画面等の設計において利用者に見て欲しい情報について顕著性を高めるように配置する等の宣伝広告強化補助を行う画面作成支援装置として応用することも考えられる。図１４は本発明の他の実施例にかかる顕著性算出装置を用いたウェブ画面上の注意喚起システムにおける処理流れ図である。
【００６８】
図１４では、まず初期の設計画面を顕著性算出の対象画像として入力する（ステップＳ１４１）。そして、対象画像の顕著性を算出して顕著性マップを作成する（ステップＳ１４２）。かかる顕著性の算出には本実施の形態にかかる顕著性算出方法を用いている。
【００６９】
次に、利用者に見て欲しい情報を表示するオブジェクトを指定し（ステップＳ１４３）、当該オブジェクトが画像上で占めている領域について領域内の顕著性を算出する（ステップＳ１４４）。かかる顕著性の算出には本実施の形態にかかる顕著性算出方法を用いている。
【００７０】
かかるオブジェクト領域の顕著性が、事前に定めておいた所定のしきい値Ｔよりも大きい場合には、画面表示において十分な顕著性を有するものと判断して処理を終了する（ステップＳ１４５：Ｙｅｓ）。逆に、事前に定めておいたしきい値Ｔよりも小さい場合には（ステップＳ１４５：Ｎｏ）、十分な顕著性を有していないものと判断して、対象画面の設計の変更を行った後に（ステップＳ１４６）、同様の処理を繰り返す。かかる設計変更として考えられるのは、オブジェクトの色や配置等の変更であることは言うまでもない。
【００７１】
なお、本発明の実施の形態にかかる顕著性算出装置を実現するプログラムを記憶した記録媒体は、図１５に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１５２−１やフロッピーディスク１５２−２等の可搬型記録媒体１５２だけでなく、通信回線の先に備えられた他の記憶装置１５１や、コンピュータ１５３のハードディスクやＲＡＭ等の記録媒体１５４のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００７２】
また、本発明の実施の形態にかかる顕著性算出装置により生成された二次特徴ベクトル等を記録した記録媒体も、図１５に示す記録媒体の例に示すように、ＣＤ−ＲＯＭ１５２−１やフロッピーディスク１５２−２等の可搬型記録媒体１５２だけでなく、通信回線の先に備えられた他の記憶装置１５１や、コンピュータ１５３のハードディスクやＲＡＭ等の記録媒体１５４のいずれでも良く、例えば本発明にかかる顕著性算出装置を利用する際にコンピュータ１５３により読み取られる。
【００７３】
【発明の効果】
以上のように本発明にかかる顕著性算出装置によれば、学習画像データや顕著性が高いと判断された画像データによって抽出すべき特徴の種類を変動させることができ、画像データに見合った特徴の種類に基づいて顕著性を判断することができる。したがって、かかる学習効果を人間の経験や記憶の度合と擬制することにより、より人の感覚に近似した顕著性の判断が可能となる。
【図面の簡単な説明】
【図１】 顕著性判断の例示図
【図２】 従来の顕著性算出方法における処理流れ図
【図３】 顕著性判断の例示図
【図４】 顕著性判断の例示図
【図５】 本発明の実施の形態にかかる顕著性算出装置の基本構成図
【図６】 本発明の実施の形態にかかる顕著性算出装置における顕著性算出プロセスの説明図
【図７】 本発明の実施の形態にかかる顕著性算出装置におけるパターン認識の説明図
【図８】 本発明の実施の形態にかかる顕著性算出装置における出力表示の例示図
【図９】 本発明の実施の形態にかかる顕著性算出装置における出力表示の例示図
【図１０】 本発明の実施の形態にかかる顕著性算出装置における処理の流れ図
【図１１】 本発明の実施の形態にかかる顕著性算出装置の構成図
【図１２】 本発明の一実施例にかかる顕著性算出装置における処理の流れ図
【図１３】 本発明の他の実施例にかかる顕著性算出装置における処理の流れ図
【図１４】 本発明の他の実施例にかかる顕著性算出装置における処理の流れ図
【図１５】 記録媒体の例示図
【符号の説明】
５１ 画像入力部
５２ 特徴抽出部
５３ 顕著性算出部
５４ 出力表示部
６１ 画像パターンのベクトル
６２ 特徴ベクトル
６３ 二次特徴ベクトル
６４ 二乗ノルムの差
１１１ 領域抽出部
１１２ 抽出領域再入力部
１１３ 同時生起行列算出部
１１４ 共分散行列算出部
１５１ 回線先の記憶装置
１５２ ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１５２−１ ＣＤ−ＲＯＭ
１５２−２ フロッピーディスク
１５３ コンピュータ
１５４ コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
５２１ 学習画像群入力部
５２２ 特徴種類決定部
Claims (7)
- 学習パターンを近似的に表現できる所定の方法により各局所領域における画像パターンを近似しそれらの変動量を算出する顕著性の算出の対象となる第１の画像データを入力する画像入力部と、
学習対象となる第２の画像データを複数入力する学習画像群入力部と、
複数の前記第２の画像データから画像パターンを算出し、それらの画像パターンに対して、限られた個数の特徴で近似的に表現できる所定の方法により、主要固有ベクトルを事前に学習し、当該主要固有ベクトルを特徴の種類として決定しておく特徴種類決定部と、
前記所定の方法により各局所領域における画像パターンが近似表現された前記第１の画像データの各局所領域の特徴ベクトルに対して、再度、限られた個数の特徴で近似的に表現できる所定の方法により、近似表現の２次特徴ベクトルを算出する特徴抽出部と、
各局所領域の画像パターンベクトルと２次特徴ベクトルの２乗ノルムの差を算出して、顕著性を定量化する顕著性算出部と、
算出された顕著性を顕著性マップとして表示出力する出力表示部とを含む顕著性算出装置。 - 前記出力表示部で出力された顕著性に基づいて、前記第１の画像データの中から顕著性の高い領域である第３の画像データを抽出する領域抽出部をさらに含み、
前記学習画像群入力部の代わりに、前記領域抽出部によって抽出された前記第３の画像データを入力する抽出領域再入力部を含み、前記特徴種類決定部において前記第３の画像データに基づいて特徴の種類を学習し、前記特徴抽出部で抽出すべき特徴の種類を再決定する請求項１記載の顕著性算出装置。 - 前記特徴種類決定部においてＫＬ変換を用いる請求項１又は２記載の顕著性算出装置。
- 前記顕著性算出部においてＫＬ変換を用いる請求項１から３のいずれか一項に記載の顕著性算出装置。
- 前記画像パターンとして同時生起行列を用いる、請求項１に記載の顕著性算出装置。
- 学習パターンを近似的に表現できる所定の方法により各局所領域における画像パターンを近似しそれらの変動量を算出する顕著性の算出の対象となる第１の画像データを入力する工程と、
学習対象となる第２の画像データを複数入力する工程と、
複数の前記第２の画像データから画像パターンを算出し、それらの画像パターンに対して、限られた個数の特徴で近似的に表現できる所定の方法により、主要固有ベクトルを事前に学習し、当該主要固有ベクトルを特徴の種類として決定しておく工程と、
前記所定の方法により各局所領域における画像パターンが近似表現された前記第１の画像データの各局所領域の特徴ベクトルに対して、再度、限られた個数の特徴で近似的に表現できる所定の方法により、近似表現の２次特徴ベクトルを算出する工程と、
各局所領域の画像パターンベクトルと２次特徴ベクトルの２乗ノルムの差を算出して、顕著性を定量化する工程と、
算出された顕著性を顕著性マップとして表示出力する工程とを含む顕著性算出方法。 - 学習パターンを近似的に表現できる所定の方法により各局所領域における画像パターンを近似しそれらの変動量を算出する顕著性算出の対象となる第１の画像データを入力するステップと、
学習対象となる第２の画像データを複数入力するステップと、
複数の前記第２の画像データから画像パターンを算出し、それらの画像パターンに対して、限られた個数の特徴で近似的に表現できる所定の方法により、主要固有ベクトルを事前に学習し、当該主要固有ベクトルを特徴の種類として決定しておくステップと、
前記所定の方法により各局所領域における画像パターンが近似表現された前記第１の画像データの各局所領域の特徴ベクトルに対して、再度、限られた個数の特徴で近似的に表現できる所定の方法により、近似表現の２次特徴ベクトルを算出するステップと、
各局所領域の画像パターンベクトルと２次特徴ベクトルの２乗ノルムの差を算出して、顕著性を定量化するステップと、
算出された顕著性を顕著性マップとして表示出力するステップとをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000045684A JP3848514B2 (ja) | 2000-02-23 | 2000-02-23 | 顕著性算出装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000045684A JP3848514B2 (ja) | 2000-02-23 | 2000-02-23 | 顕著性算出装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001236508A JP2001236508A (ja) | 2001-08-31 |
| JP3848514B2 true JP3848514B2 (ja) | 2006-11-22 |
Family
ID=18568224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000045684A Expired - Fee Related JP3848514B2 (ja) | 2000-02-23 | 2000-02-23 | 顕著性算出装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3848514B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4161659B2 (ja) | 2002-02-27 | 2008-10-08 | 日本電気株式会社 | 画像認識システム及びその認識方法並びにプログラム |
| FR2888375A1 (fr) * | 2005-07-06 | 2007-01-12 | Thomson Licensing Sa | Procede d'obtention d'une carte de saillance a partir d'une pluralite de cartes de saillances etablies a partir de grandeurs visuelles differentes |
| JP2007148835A (ja) | 2005-11-28 | 2007-06-14 | Fujitsu Ten Ltd | 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム |
| JP5016541B2 (ja) | 2008-04-01 | 2012-09-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
| JP5416663B2 (ja) * | 2010-07-12 | 2014-02-12 | 日本放送協会 | 画像評価装置および画像評価プログラム |
| JP6135283B2 (ja) | 2013-04-26 | 2017-05-31 | オムロン株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP6232982B2 (ja) | 2013-12-02 | 2017-11-22 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP6330385B2 (ja) | 2014-03-13 | 2018-05-30 | オムロン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP6669376B2 (ja) * | 2014-10-31 | 2020-03-18 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06105398B2 (ja) * | 1986-03-31 | 1994-12-21 | 株式会社東芝 | パタ−ン認識学習装置 |
| JPH05280960A (ja) * | 1992-03-30 | 1993-10-29 | Fuji Photo Film Co Ltd | 欠陥検査装置 |
| JP3225179B2 (ja) * | 1995-07-04 | 2001-11-05 | シャープ株式会社 | パターン欠陥検査装置 |
| JP3447572B2 (ja) * | 1998-07-31 | 2003-09-16 | 株式会社山武 | 部品の接続良否検査方法 |
| JP2000207566A (ja) * | 1999-01-18 | 2000-07-28 | Ricoh Co Ltd | テクスチャ特徴抽出装置 |
-
2000
- 2000-02-23 JP JP2000045684A patent/JP3848514B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001236508A (ja) | 2001-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108416377B (zh) | 柱状图中的信息提取方法及装置 | |
| EP1768058B1 (en) | Information processing apparatus and control method therefor | |
| TWI254891B (en) | Face image detection method, face image detection system, and face image detection program | |
| JP2008537198A (ja) | 人工知能を使用した外来のアプリケーションユーザインタフェースからの情報のインテリジェントインポート | |
| WO2002073521A2 (en) | Automatic algorithm generation | |
| WO2020240809A1 (ja) | 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム | |
| JP6985856B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
| CN108682007A (zh) | 基于深度随机森林的jpeg图像重采样自动检测方法 | |
| JP2010134957A (ja) | パターン認識方法 | |
| WO2004042392A1 (ja) | 画像解析支援方法、画像解析支援プログラムおよび画像解析支援装置 | |
| CN110069129A (zh) | 确定系统和确定方法 | |
| CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
| JP4303092B2 (ja) | 年齢推定装置、年齢推定方法および年齢推定プログラム | |
| JP3848514B2 (ja) | 顕著性算出装置及び方法 | |
| CN112950561A (zh) | 光纤端面缺陷检测方法、设备及存储介质 | |
| CN117854072B (zh) | 一种工业视觉缺陷自动标注方法 | |
| CN114332473A (zh) | 目标检测方法、装置、计算机设备、存储介质及程序产品 | |
| JP5311899B2 (ja) | パターン検出器の学習装置、学習方法及びプログラム | |
| CN112598031A (zh) | 一种蔬菜病害检测方法及系统 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN117437691A (zh) | 一种基于轻量化网络的实时多人异常行为识别方法及系统 | |
| JP5407897B2 (ja) | 画像分類方法、装置、及びプログラム | |
| CN114792300B (zh) | 一种基于多尺度注意力x光断针检测方法 | |
| CN113034420B (zh) | 一种频率空间域特征的工业产品表面缺陷分割方法及系统 | |
| CN114550179A (zh) | 对手写汉字黑板板书进行指导的方法、系统及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060822 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060825 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |