JP4859057B2

JP4859057B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体

Info

Publication number: JP4859057B2
Application number: JP2007068168A
Authority: JP
Inventors: 浩久稲本; 幸二小林; 酉華木原
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2007-03-16
Filing date: 2007-03-16
Publication date: 2012-01-18
Anticipated expiration: 2027-03-16
Also published as: JP2008233959A

Description

本発明は、デジタル画像処理装置に関し、プリンタや複写機、デジタルカメラ及びＰＣやサーバのソフトウェアなどに好適な技術に関する。

近年、デジタルスチルカメラの爆発的な普及及び、デジタルスチルカメラに搭載される記憶容量の増大に伴って、一般的な写真撮影方法に大きな変化が見られるようになった。即ち、従来のカメラは一回のフィルム交換で２０回程度の撮影しか行えず、それぞれの写真に対して撮り直しもできなかったため、ユーザは撮影するシーン、人物、タイミングを吟味し、ここぞという場面でシャッターを押すことで、厳選された写真のみを取得していた。

これに対し、デジタルスチルカメラでは、何百枚もの画像を撮影することができる上に、一度撮影した画像を液晶モニタ上で確認し、容易に削除できるため、昨今ではとりあえず様々な場面で何度もシャッターを切り、後でそれらを吟味し、取捨選択を行うといった撮影方法が主流となっており、ユーザの保持する画像数は増大の一途である。さらに言えば、デジタルスチルカメラで撮影した画像を保持しておくＰＣのハードディスクや光ディスクといった記憶装置の容量も、年々増加しており、いまやユーザは天文学的な枚数の画像を保持することが可能となっている。結果、取捨選択を行わずにそのまま、記憶装置に大量の画像を保持しておくユーザも少なくない。

一方、そのように莫大な数の画像がＰＣの記憶領域内に保持されているとなると、場合によっては必要な画像を探すのには長大な時間を要することになる。例えば、必要な画像を探さなければならない場合の例として、運動会の日に子供が友人と写っている写真を選択して印刷し、一緒に移っている子供の友人に配る場合などが考えられる。このような場合、ユーザの一般的な画像の探し方は以下の通りである。まず、画像に付加された情報で画像を絞り込み（第一の絞込み）、絞り込まれた画像を縮小表示して並べてその中から友人が写っていると思しき画像を絞り込む（第二の絞込み）。最後に一枚一枚画像を拡大表示し、確認しながら所望の画像を探す（第三の絞り込み）ことになる。このように一枚一枚画像を確認しながら過去を振り返ることは、写真の醍醐味ではあるが、先程例に挙げた様に他人に配るための画像となると効率的な作業が求められる。

このとき第一の絞込み、第二の絞込みで十分に画像を絞り込むことができれば、それほどユーザの負担は大きくない。しかし、第二の絞り込みについて、前述したとおり、ユーザは大量の画像を撮影できるという安心感があり、同じ場面で何度もシャッターを切るため、類似した画像が多くなる。更に言えば、前述の例で挙げた運動会などでは、基本的に学校のグラウンドという限られた空間で撮影が行われるため、縮小画像ではそれぞれの画像の差異が判別できないことも多い。更に、ユーザが撮影時に本当に欲しかった画像は様々なユーザのその時々の好みによって異なるため、これを効率的に行うことは難しい。

一方、第一の絞り込みで利用する付加情報のうち、人手を介さず自動的に付加される物は、一般に画像に対して間接的である場合が多い。例えば、最も一般的な付加情報は撮影日時であるが、イベントの日時を正確に記憶しているユーザは少なく、そのようなユーザにとって、撮影日時はイベントと画像を繋ぐ間接的な情報でしかない。また、その他の一般的な付加情報として、撮影モード等も有るが、これは更に間接的な情報で有る。例えば撮影時にフラッシュがたかれたことが付加情報として保持されていても、ユーザはそこから室内で撮影が行われたのか、夜に撮影が行われたのか、天気が悪かったか、といった推測を行う必要があるという問題がある。その結果、効果的な付加情報を得るためにはユーザの手作業に頼るしかなかった。

以上述べた様に、近年の写真撮影方法の変化を考慮すると、第二の絞り込みを効率的に行うことは非常に難しく、効率的且つ直接的な第一の絞り込みが望まれ、様々な発明が考案されている。

例えば、特許文献１では、スケジュール表と画像とを連携して表示することにより、付加情報として保持される日付情報を媒介して、画像とイベントを直接関連づけて提示している。しかし、場合によっては同じイベント中に沢山の画像が撮影されている可能性があり、絞り込みを行うに十分では無い。

また、特許文献２では、画像から特定のオブジェクトを抽出し、抽出したオブジェクトに一度オブジェクト名を付加すると、以降他の写真にオブジェクト名を付けたオブジェクトと類似するオブジェクトが撮影されていた場合、自動的にその画像にも同様にそのオブジェクト名を付加している。前記特定オブジェクトを顔と見なすと、風景、動物などと並び人物の顔が被写体となる可能性の最も高い物であることを考慮すると、本発明を用いることで、画像には非常に有効かつ直接的な付加情報である被写体人物の名前を繁雑な作業無しに付加できることになる。

一方、画像としてみると、顔というオブジェクトは非常に不安定なオブジェクトである。写真に写る顔画像は様々な表情を呈することが一般的であるが、同じ人物であっても表情が変化するとその人物の撮影画像は大きく変化する。例えば、笑うことで目尻が下がり口角が上がり、目が細くなる。更に言えば、髪型を変えたり、眼鏡をかけたり、太ったり、やせたり、歳を取ったりといった変動は大きく撮影画像を変化させる。特に子供の顔は経年変化が著しい。このような変動に対して単純な類似度判定では同じ人物を同じ人物であると同定することは難しい。単純なパターンマッチングを用いた類似度判定で、上記の様な変化に対応することが難しい事は勿論の事、高度な顔識別アルゴリズムを用いても同様である。例えば、非特許文献１を用いた方法を例に挙げて説明する。非特許文献１の手法は、ＧａｂｏｒＪｅｔと呼ばれる特徴量を用いることで、顔の特徴点（図１参照）を検出し、それぞれの特徴点における特徴量及び、特徴点間の距離を用いて顔の類似度判定を行う。

特開２００６−５０１７６号公報特開２００６−３３３４４３号公報ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎｂｙＥｌａｓｔｉｃＢｕｎｃｈＧｒａｐｈＭａｔｃｈｉｎｇｉｎｉｎｔｅｌｌｉｇｅｎｔＢｉｏｍｅｔｒｉｃＴｅｃｈｎｉｑｕｅｓｉｎＦｉｎｇｅｒｐｒｉｎｔａｎｄＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ，（１１）ｐｐ．３５５−３９６，１９９９ＲａｐｉｄＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎｕｓｉｎｇａＢｏｏｓｔｅｄＣａｓｃａｄｅｏｆＳｉｍｐｌｅＦｅａｔｕｒｅｓ．ＩＥＥＥＣＶＰＲ，２００１．ＴｈｅＥｌｅｍｅｎｔｓｏｆＳｔａｔｉｓｔｉｃａｌＬｅａｒｎｉｎｇ：ＤａｔａＭｉｎｉｎｇ，Ｉｎｆｅｒｅｎｃｅ，ａｎｄＰｒｅｄｉｃｔｉｏｎ．ＳｐｒｉｎｇｅｒＳｅｒｉｅｓｉｎＳｔａｔｉｓｔｉｃｓ．２００１．

上述した様に、人間は一般に笑うと目尻が下がり、口角が上がる事を考えると特徴点間の距離が変化することは明らかである。また、ＧａｂｏｒＪｅｔの動作を端的に示すと、様々な角度、太さのエッジを検出するフィルタであると考えて良い。上述したとおり、人間は笑うことで目が細くなる。当然目の端で検出されるエッジの角度は変化するし、時にはエッジの太さも変化してしまう。このように、顔という不安定なオブジェクトに対して、あらゆる変化に対し、同じ人物を同じ人物であると同定するためには、類似度判定の基準を緩和させなければならず、逆に類似度判定の基準を緩和することで誤識別が発生するといった問題があった。

本発明は上記した問題点に鑑みてなされたものであり、
本発明の目的は、顔識別を行うことで煩雑な操作無しに第一の絞り込み（画像に付加された情報で画像を絞り込み）を行うためのタグ情報を付加する際、表情の変化、経年変化といった人物の顔の変動が起こっても誤識別が少なく、且つ識別漏れも少なくなる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

本発明は、画像を入力する画像入力手段と、前記入力画像を保持する画像保持手段と、前記入力画像から特定のオブジェクトに関する特徴量を算出する特徴量算出手段と、前記算出された特徴量を入力画像と関連づけて保持する特徴量保持手段と、前記オブジェクトの重要度を判定するオブジェクト重要度判定手段と、前記算出された特徴量と、前記特徴量保持手段に保持されている既存の特徴量とを比較する特徴量比較手段と、前記判定されたオブジェクトの重要度に応じて、前記特徴量比較手段の比較結果の類似度を判定する類似度判定手段と、前記類似度判定手段によって類似度が高いと判定されたとき、前記入力画像および前記類似度の高い特徴量に関連づけられた画像に対して情報を付加する情報付加手段を備えたことを最も主要な特徴とする。

請求項１：一度タグ情報を付加したオブジェクトと類似するオブジェクトに、以降自動的にタグが付加されるシステムにおいて、類似の判定手段が、柔軟に且つ、合理的に決定されるため、より正確なタグ情報付加を行うことができ、ユーザの利便性が向上する。

請求項２：一度タグ情報を付加したオブジェクトと類似するオブジェクトに、以降自動的にタグが付加されるシステムにおいて、類似の判定手段が、柔軟に且つ、合理的に決定されるため、より正確なタグ情報付加を行うことができ、ユーザの利便性が向上する。更に画像そのものに付加された情報が付加されるので、環境が異なっても付加されたタグ情報を利用することができるため、ユーザの利便性が向上する。

請求項３、４：一枚の画像に対して付加されたタグ情報を改変することで、他の画像に付加されたタグ情報も改変されるため、ユーザの作業工数が削減できる。

請求項５：検出したオブジェクトのサイズに応じて、オブジェクトの重要度が判定される事により、撮影時に注目していた画像の重要度が高まる可能性が高まるため、重要度の合理的な判定が可能となる。

請求項６：検出したオブジェクトの位置に応じて、オブジェクトの重要度が判定される事により、撮影時に注目していた画像の重要度が高まる可能性が高まるため、重要度の合理的な判定が可能となる。

請求項７：入力画像より算出された特徴量に対し、特徴量保持手段に比較的類似度の高い特徴量が多数保存されている際にオブジェクトの重要度を高めることで、重要度の合理的な判定が可能となる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
本発明の実施例１として、画像をサーバにアップロードし、閲覧できる様なサービスを例に挙げて説明する。

まず始めに、図２を用いて画像登録時のユーザの操作及び、サーバの動作について説明する。左の破線で囲まれた処理がユーザの操作を示し、右の破線で囲まれた領域がサーバ側の処理を表すものとする。尚前提として、サーバには、アップロードされた画像を保持する画像保持手段、特徴量を保持する特徴量保持手段、及びテキスト情報を保持するテキスト情報保持手段及び、画像のＩＤを管理する画像管理データベース、特徴量のＩＤを管理する特徴量管理データベース、テキスト情報のＩＤを管理するテキスト情報データベースを具備しているものとしている。尚、これらは個別の記憶媒体に実装されていても良いし、一つの記憶媒体に実装されていても良い。

ユーザはアップロードしたい画像を選択し、サーバへ画像を転送する（ステップ００１）。アップロードされた画像は画像保持手段に保存され（ステップ００４）、１０（ａ）に示される様に、画像ファイル名とその画像ＩＤを対にして保持する画像データベースの内容が更新される（ステップ００３）。更に画像内に人物の顔が存在するか否かが判定される（ステップ００２）。検出結果として出力されるのは、顔が存在するか否か、及び、顔の位置、更に顔の大きさといった矩形情報であるとする。顔検出手段についての概要については後述する。

次に画像中に顔が存在した場合、画像中の顔に対して特徴量算出（ステップ００５）が行われる。ここで算出される特徴量は特徴点の位置情報、及び各点におけるＧａｂｏｒＪｅｔ（非特許文献１参照）とする。算出された特徴量は特徴量保持手段に記録され（ステップ００８）、図１０（ｂ）の様に特徴量ＩＤと特徴量、及び特徴量が算出された元画像と顔検出結果である矩形情報を対にして保持するデータベースの内容が更新される（ステップ００７）。更に特徴量保持手段に記録されている既存の特徴量と比較する（ステップ００６）。特徴量算出方法及び、特徴量比較方法については非特許文献１に記載されているとおりであるが、その概略について後述する。特徴量比較結果については後述するが、出力値は０〜１の実数で出力されるものとする。

一方、特徴量比較結果及び、顔検出結果から人物の重要度が判定され、類似度判定のための閾値（０〜１）が出力される（ステップ００９）。特徴量比較結果とステップ００９で算出された閾値を比較し（ステップ０１０）、特徴量比較結果が閾値を超えているならば、サーバは、ユーザに対し対象となった人物の顔を図３に示す様に示し、該人物の名前を示すテキスト情報の入力をユーザに促す（ステップ０１１）。ユーザは、該人物に対して名前を表すテキスト情報を入力する（ステップ０１２）。サーバはユーザの入力したテキスト情報をテキスト情報保持手段に保持する（ステップ０１４）とともに、図１０（ｃ）のように、テキスト情報と特徴量ＩＤとが対となって保持されているテキストデータベースを更新する（ステップ０１３）。

次に画像閲覧時の処理について述べる。図８は閲覧時のフローを示すものである。まずユーザは閲覧時に、従来技術で述べた第一の絞り込みを行うため、特定のテキストを入力する（ステップ２０１）。ここで特定のテキストとは画像登録時に入力したテキストを示す。すると、サーバ側ではテキストデータベースを参照し、選択されたテキストと関連づけられた特徴量ＩＤを得る（図１０（ｃ）参照）。次に特徴量データベースを参照して前記得られた特徴量ＩＤと対応づけられた画像ＩＤが得られる（図１０（ｂ）参照）。更に画像データベースを参照し、前記得られた画像ＩＤから画像ファイル名を得る。この得られた画像ファイル名を元に、画像保持手段に問い合わせることで画像ファイルを得る。以上の動作をユーザが入力したテキスト情報を持つ全ての画像に適用することで、複数枚の画像が得られ（ステップ２０２）、ユーザに提示される（ステップ２０３）。ユーザは提示された画像群を閲覧し（ステップ２０４）、場合によってはまだテキスト情報の付けられていない顔を含む画像を選択して、テキスト情報を入力する（ステップ２０５）。サーバは画像データベース及び、特徴量データベースを参照して上記と同様に、特徴量保持手段より選択された画像に含まれる特徴量及び矩形情報を取得する（ステップ２０６）。その後、特徴量保持手段に保持される全ての特徴量及びそれに関連づけられた矩形情報を随時取得し（ステップ２０８）、それぞれに対し随時類似度判定を行う（ステップ２０７）。ここでいう類似度判定は前述した図２における特徴量比較（ステップ００６）から重要度判定（ステップ００９）及び類似度判定（ステップ０１０）までと同様の処理を行うものとする。ユーザにより入力されたテキスト情報はテキスト保持手段に保存される（ステップ２０９）と同時に、類似であると判定された特徴量と対応づけられたテキスト情報も、前記入力されたテキスト情報に更新される（ステップ２１０）。

以上の様に、ユーザは任意のタイミングで、画像と関連づけられたテキスト情報を改変でき、またそれと同時に同じ人物を示す特徴量に関連づけられたテキスト情報が更新されるので、同じ人物の名前を何度も入力する手間に煩わされることが無くなり、快適にテキスト情報の付加を実行できる。

ステップ００３の顔検出手法について：
顔検出については非特許文献２で紹介されている手法を用いるものとする。その詳細は非特許文献２に譲るが、ここでは、その概要について述べる。非特許文献２で紹介される手法のエッセンスは、ＲｅｃｔａｎｇｌｅＦｉｌｔｅｒと呼ばれるフィルタ及び、Ａｄａｂｏｏｓｔ（非特許文献３）と呼ばれる学習手段であると言える。ＲｅｃｔａｎｇｌｅＦｉｌｔｅｒとは図４に示す様なフィルタ群である。例えば図４の１．ＥｄｇｅＦｅａｔｕｒｅｓ（ａ）を画像に適用することを考えると、図５の様にフィルタをスキャンし、白い矩形に含まれた領域の画素の平均値と、黒い矩形に含まれる領域の画素の平均値との差を以て、フィルタ中心部の出力値とすることになる。これにより特定のエッジパタンとの一致度を算出できることになる。ここでＲｅｃｔａｎｇｌｅＦｉｌｔｅｒのように単純な形のフィルタを用いる理由はＩｎｔｅｇｒａｌＩｍａｇｅと呼ばれる高速化が利用できるからである。ＩｎｔｅｇｒａｌＩｍａｇｅについて詳しくは触れないが、本来ならば、各矩形に含まれる画素の平均値を算出するのに（領域に含まれる画素数）回の加算が必要であるのに対し、ＩｎｔｅｇｒａｌＩｍａｇｅを利用することによって３回の加算で計算が完了するため非常に高速な計算が可能である。これらの計算を図４に示す全てのフィルタを様々な大きさに変化させながら行う。その結果、入力画像の各点において、多次元のベクトルが得られることになる。その後、入力画像における、様々な大きさ、様々な位置の矩形を仮定し、それぞれの矩形に含まれるベクトルの値から、顔が存在するか否かを判定する。その判定は非常に大きな次元のベクトルを扱うことになり、人間の手によって、判定手段を作成することは非常に困難である。そこで、Ａｄａｂｏｏｓｔと呼ばれる学習器を用いることになる。様々な学習器が有る中でＡｄａｂｏｏｓｔを利用する理由は、実験的に確認されている汎用性能の高さ、学習器そのものの高速性もあるが、ｃａｓｃａｄｅと呼ばれる高速化のための工夫が容易に実装できる点に有る。

ステップ００５の特徴量算出手法、ステップ００６の特徴量比較手法について：
特徴量の算出手法、特徴量の比較手法については非特許文献１で紹介されている手法を用いるものとする。その詳細は非特許文献１に譲るが、ここではその概要について図６を用いて述べる。

まずＧａｂｏｒウェーブレット変換部１０１では、前段で顔として検出された領域に対し、Ｇａｂｏｒウェーブレットと呼ばれるウェーブレット変換を施す。この変換は、画像データに対し、式１で示されるような関数をたたみ込み、その画像を得る処理である。式１に於いてσ、φ、ｋｊに関しては式２に示されるような値を代入するものとする。

尚、式１に対し、ν＝４，μ＝２を代入すると、図７で示されるように、特定方向に傾いた縞模様が得られる。この縞模様で表されるフィルタを画像に適用すると、縞模様の方向を向いたエッジで且つ太さが、各縞の太さに一致するエッジで強い応答が得られる。更にμの値を変化させると縞模様の方向が回転し（μが０，１，・・・，７の場合１変わる毎に２２．５度ずつ回転する）、またμの値を変化させるとフィルタのサイズが変化する（１変化する毎に√２倍ずつ変化する）。つまり、このウェーブレットフィルタ群は極めて単純に言うと、様々な角度、様々な太さのエッジ検出を行うフィルタ群であるといえる。

本実施例では論文通り、８方向、５サイズのフィルタを施して４０枚の画像を得るものとする。以降、論文に習い、顔画像内の各点に対して４０種のウェーブレットを施すことで得られた４０の特徴量をＧａｂｏｒＪｅｔと呼ぶ。尚、余談であるが、Ｇａｂｏｒウェーブレットは第一次受容野と呼ばれる視覚を司る人間の脳の部位に存在する単純細胞の働きをうまくモデル化していることが知られており、近年認識の分野ではその利用が盛んになっている。

次にＦｉｄｕｃａｉｌＰｏｉｎｔ検出部１０２ではｆｉｄｕｃｉａｌＰｏｉｎｔ、つまり顔の特徴的な点を探す。ＦｉｄｕｃｉａｌＰｏｉｎｔとしては、ここでは図１に示すような点を採用する。Ｆｉｄｕｃｉａｌな点を探すために、テンプレートＤＢ１０３には数多くの人間の顔の様々な表情を呈した際のｆｉｄｕｃｉａｌＰｏｉｎｔにおけるＧａｂｏｒＪｅｔが登録されており、それらの特徴量との類似度比較を行うことによって入力された顔画像のｆｉｄｕｃｉａｌＰｏｉｎｔを検出する。尚、類似度比較には相関係数Ｓｊを用いた手法（式３）が好適である。

式３においてａｊ及びａｊ’は比較したい２つのＧａｂｏｒＪｅｔを示し、Ｓｊが１に近いほど二つのＧａｂｏｒＪｅｔが似ていると言うことを示す。蓄積された平均ＧａｂｏｒＪｅｔに対し、最もＳｊが１に近い点を探すことで対応するｆｉｄｕｃｉａｌＰｏｉｎｔを検出する。

類似度算出部１０４では特徴量保持手段内に保持されている、既に登録された顔画像から得られた、ｆｉｄｕｃｉａｌＰｏｉｎｔに於けるＧａｂｏｒＪｅｔ及び各ｆｉｄｕｃｉａｌＰｏｉｎｔ間の距離を、入力画像から得られた特徴量と比較する。このときのマッチングには式４を用いるものとする。

この式の前段部は特徴量保持手段に登録された、ｆｉｄｕｃｉａｌＰｏｉｎｔに於けるＧａｂｏｒＪｅｔと算出されたｆｉｄｕｃｉａｌＰｏｉｎｔにおけるＧａｂｏｒＪｅｔとの相関係数Ｓφの平均である。また、後段部は各ｆｉｄｕｃｉａｌＰｏｉｎｔ間の距離の差の平均である。尚、λは距離情報をどれだけ重視するかの任意に変化可能なパラメータで、λが大きいほど距離情報が重視される。式４により得られるＳｍ（０＜Ｓｍ＜１）が所定の閾値（例えば０．８）よりも大きいならば合致、小さいならば合致せずという判定を下す。

尚、ここまで述べた様に、顔検出手法と、ｆｉｄｕｃｉａｌＰｏｉｎｔ検出手法について、様々なエッジパタンが存在するか否かを用いて、特定の領域若しくはポイントを検出するという点で本質的に変わらない。そのため、本発明に於いて、顔検出部は必須構成ではないが、顔検出手段はｆｉｄｕｃｉａｌＰｏｉｎｔに比べて、単純であり、また上述した様な工夫によって高速化が成されている。その結果、事前にｆｉｄｕｃａｉｌＰｏｉｎｔを探索する領域を限定しておけるので、顔検出手段を前段におくことで高速な演算が可能となる。

ステップ００９の重要度判定について：
重要度判定手法については、本実施例では、顔検出により得られた顔領域の矩形情報及び、特徴量比較により、所定の閾値以上の類似度であると判定された画像の数を利用してステップ００１０の類似度判定手段で用いる閾値を算出するものである。顔領域の矩形情報（ｘ，ｙ，ｗ，ｈ）に対し、元画像の中央座標（ｘ０，ｙ０）、元画像の大きさ（ｗ０，ｈ０）とした場合に式５に基づいて、ｌ，ｓ，ｎを算出する。

ｌは元画像の中心に対して、顔領域の中心がどれだけ近いかを示す係数、ｓは元画像の矩形サイズに対して顔領域がどれだけ大きいかを示す係数、及びｎはデータベース内に類似する画像がどれだけ存在するかを示す係数であり、それぞれ０〜１に収まる様に正規化してあり、ｌ×ｓ×ｎも０〜１に正規化されている。算出されたｌ，ｓ，ｎを用いて、式６を用いて閾値を設定する。

式６を図示すると図９の様に、ｌ×ｓ×ｎが１に近づく程、算出される閾値は低くなる。

一般に、ユーザは撮影したい人物を中央付近に配置して撮影を行う事が多い。また、撮影したい人物はできるだけ、大きく撮影される様にする。また、ユーザの子供や配偶者、仲の良い友人など、ユーザにとって重要な人物は頻繁に撮影される事が多い。画像の中央付近に撮影される人物、画像において大きな領域を占める人物、また頻繁に撮影されている人物は、ユーザにとって重要な人物である可能性が高くなる。そのため、そのように撮影されている人物の判定基準を下げても、正しく識別できる可能性が高くなる事になる。このように、撮影されている人物の重要度を判定し、類似度判定をフレキシブルに行うことにより、被写体の表情の変化や経年変化に対して安定した識別を行うことができる。

実施例２：
実施例２は、実施例１とほぼ構成を同じくするものであるが、検出された人物の名前として付加されるテキスト情報の管理方法が異なる。即ち、実施例１では、画像は画像保持手段に、テキスト情報はテキスト保持手段に保持されていたのに対し、本実施例では、テキスト情報を画像のヘッダ部分に埋めこむことで、どの人物が含まれているかという情報を画像に付加できる。このように画像とテキスト情報を一つのファイルとして保持することにより、ユーザは画像に付加されたテキスト情報を本実施例とは異なるシステムでも利用でき、ユーザの利便性は向上する。

以上、本実施例はサーバを用いたＷｅｂサービスとして提供する場合について述べたが、ＰＣ上のソフトウェアとして実装しても何ら問題はない。また、本実施例で述べたそれぞれの構成要素をハードウェアとして実装しても何ら問題はない。

顔の特徴点を示す。本発明の画像登録の処理フローチャートを示す。ユーザに提示する、検出された人物の顔を示す。ＲｅｃｔａｎｇｌｅＦｉｌｔｅｒ群を示す。ＥｄｇｅＦｅａｔｕｒｅｓを画像に適用する例を示す。特徴量の算出、比較手法を説明する図である。特定方向に傾いた縞模様を示す。閲覧時の処理フローチャートを示す。ｌ×ｓ×ｎと閾値の関係を示す。画像データベース、特徴量データベース、テキストデータベースの内容を示す。

符号の説明

１０１Ｇａｂｏｒウェーブレット変換部
１０２ＦｉｄｕｃａｉｌＰｏｉｎｔ検出部
１０３テンプレートＤＢ
１０４類似度算出部

Claims

画像を入力する画像入力手段と、前記入力画像を保持する画像保持手段と、前記入力画像から特定のオブジェクトに関する特徴量を算出する特徴量算出手段と、前記算出された特徴量を入力画像と関連づけて保持する特徴量保持手段と、前記オブジェクトの重要度を判定するオブジェクト重要度判定手段と、前記算出された特徴量と、前記特徴量保持手段に保持されている既存の特徴量とを比較する特徴量比較手段と、前記判定されたオブジェクトの重要度に応じて、前記特徴量比較手段の比較結果の類似度を判定する類似度判定手段と、前記類似度判定手段によって類似度が高いと判定されたとき、前記入力画像および前記類似度の高い特徴量に関連づけられた画像に対して情報を付加する情報付加手段を備えたことを特徴とする画像処理装置。
画像を入力する画像入力手段と、前記入力画像を保持する画像保持手段と、前記入力画像から特定のオブジェクトに関する特徴量を算出する特徴量算出手段と、前記算出された特徴量を入力画像と関連づけて保持する特徴量保持手段と、前記オブジェクトの重要度を判定するオブジェクト重要度判定手段と、前記算出された特徴量と、前記特徴量保持手段に保持されている既存の特徴量とを比較する特徴量比較手段と、前記判定されたオブジェクトの重要度に応じて、前記特徴量比較手段の比較結果の類似度を判定する類似度判定手段と、前記類似度判定手段によって類似度が高いと判定されたとき、前記入力画像および前記類似度の高い特徴量に関連づけられた画像に対応づけてテキスト情報を保持するテキスト情報保持手段を備えたことを特徴とする画像処理装置。
ユーザにより、前記画像保持手段に保持される画像に対するテキスト情報が付加された場合、前記特徴量保持手段に格納されている前記画像に関連づけられた特徴量と既存の特徴量とを前記特徴量比較手段によって比較し、類似する特徴量に関連づけされた画像に前記テキスト情報を付加することを特徴とする請求項１記載の画像処理装置。
ユーザにより、前記画像保持手段に保持される画像に対するテキスト情報が付加された場合、前記特徴量保持手段に格納されている前記画像に関連づけられた特徴量と既存の特徴量とを前記特徴量比較手段によって比較し、類似する特徴量に関連づけされた画像に関連する前記テキスト情報保持手段内のテキスト情報に対して、前記ユーザにより改変されたテキスト情報が反映されることを特徴とする請求項２記載の画像処理装置。
前記オブジェクト重要度判定手段は、オブジェクトのサイズを算出するオブジェクトサイズ算定手段を含むことを特徴とする請求項１または２記載の画像処理装置。
前記オブジェクト重要度判定手段は、オブジェクトの位置を算出するオブジェクト位置算定手段を含むことを特徴とする請求項１または２記載の画像処理装置。
前記オブジェクト重要度判定手段は、前記特徴量比較手段において類似度が高いと判定された回数を算出する類似度数カウント手段を含むことを特徴とする請求項１または２記載の画像処理装置。
画像を入力する画像入力工程と、前記入力画像を保持する画像保持工程と、前記入力画像から特定のオブジェクトに関する特徴量を算出する特徴量算出工程と、前記算出された特徴量を入力画像と関連づけて保持する特徴量保持工程と、前記オブジェクトの重要度を判定するオブジェクト重要度判定工程と、前記算出された特徴量と、前記特徴量保持工程に保持されている既存の特徴量とを比較する特徴量比較工程と、前記判定されたオブジェクトの重要度に応じて、前記特徴量比較工程の比較結果の類似度を判定する類似度判定工程と、前記類似度判定工程によって類似度が高いと判定されたとき、前記入力画像および前記類似度の高い特徴量に関連づけられた画像に対して情報を付加する情報付加工程を備えたことを特徴とする画像処理方法。
画像を入力する画像入力工程と、前記入力画像を保持する画像保持工程と、前記入力画像から特定のオブジェクトに関する特徴量を算出する特徴量算出工程と、前記算出された特徴量を入力画像と関連づけて保持する特徴量保持工程と、前記オブジェクトの重要度を判定するオブジェクト重要度判定工程と、前記算出された特徴量と、前記特徴量保持工程に保持されている既存の特徴量とを比較する特徴量比較工程と、前記判定されたオブジェクトの重要度に応じて、前記特徴量比較工程の比較結果の類似度を判定する類似度判定工程と、前記類似度判定工程によって類似度が高いと判定されたとき、前記入力画像および前記類似度の高い特徴量に関連づけられた画像に対応づけてテキスト情報を保持するテキスト情報保持工程を備えたことを特徴とする画像処理方法。
請求項８または９記載の画像処理方法をコンピュータに実現させるためのプログラム。
請求項８または９記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。