JP6529314B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、ユーザに個人嗜好性を尋ねる画像を提示し、個人嗜好性を学習する技術に関する。

近年のデジタルカメラ等の撮像装置は連写性能が向上し、またメモリーなどの記憶媒体の大容量化に伴い、個人であっても収集する画像枚数が飛躍的に増加している。その結果、大量の画像から好みの画像を選択する作業は、ユーザに負担を強いる作業になってきている。

このような点に対して、特許文献１のように、ユーザによる大量の画像から所望の画像を選択する作業を簡略化するための方法が提案されている。特許文献１の方法では、ユーザが登場人物の優先順位とその登場人物の好みの表情とを予めデータベースに登録し、それらの情報から画像の推薦度を計算して、ユーザが所望するであろう画像を選別し表示するようにしている。

特開２０１３−１９６４１７号公報

Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ（２００１）．"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． Ｍ．Ｔｕｒｋ ａｎｄ Ａ．Ｐｅｎｔｌａｎｄ，"Ｅｉｇｅｎｆａｃｅｓ ｆｏｒ ｒｅｃｏｇｎｉｔｉｏｎ"，Ｊｏｕｒｎａｌ ｏｆ Ｃｏｇｎｉｔｉｖｅ Ｎｅｕｒｏｓｃｉｅｎｃｅ ３，ｐｐ．７１−８６ Ｍ．Ｅｃｋｈａｒｄｔ ｅｔ ａｌ．（２００９），"Ｔｏｗａｒｄｓ Ｐｒａｃｔｉｃａｌ Ｆａｃｉａｌ Ｆｅａｔｕｒｅ Ｄｅｔｅｃｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ Ｖｏｌ．２３，Ｎｏ．３（２００９）３７９−４００． Ｇｗｅｎ Ｌｉｔｔｌｅｗｏｒｔ ｅｔ ａｌ．，"Ｔｈｅ Ｃｏｍｐｕｔｅｒ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｔｏｏｌｂｏｘ（ＣＥＲＴ）"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ，２０１１． Ｐ．Ｅｋｍａｎ ａｎｄ Ｗ．Ｆｒｉｅｓｅｎ，"Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ： Ａ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｆａｃｉａｌ Ｍｏｖｅｍｅｎｔ"，Ｃｏｎｓｕｌｔｉｎｇ Ｐｓｙｃｈｏｌｏｇｉｓｔｓ Ｐｒｅｓｓ，Ｐａｌｏ Ａｌｔｏ，１９７８． 高野博幸，出口光一郎，"輪郭によるフェイスアライメントにおける姿勢変化への対応のための顔輪郭の利用について"，情報処理学会研究報告．ＣＶＩＭ，２０１２−ＣＶＩＭ−１８３（１１），１−８，２０１２−０８−２６ Ｊ．Ｓａｒａｇｉｈ，Ｓ．Ｌｕｃｅｙ，ａｎｄ Ｊ．Ｃｏｈｎ，"Ｆａｃｅ Ａｌｉｇｎｍｅｎｔ ｔｈｒｏｕｇｈ Ｓｕｂｓｐａｃｅ Ｃｏｎｓｔｒａｉｎｅｄ Ｍｅａｎ−Ｓｈｉｆｔｓ"，ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２００９． Ｗｅｉ Ｌｕｏら，"Ｃｏｎｔｅｎｔ−ｂａｓｅｄ ｐｈｏｔｏ ｑｕａｌｉｔｙ ａｓｓｅｓｓｍｅｎｔ"，ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，（Ｐｏｓｔｅｒ，ＩＣＣＶ ２０１１）． 猪俣 拓利，山本 俊太，稲葉 善典，赤松 茂，"３次元モーフィングモデルによる顔表情生成：主成分パラメータによる表情生成への指針"，電子情報通信学会技術研究報告．ＭＶＥ，マルチメディア・仮想環境基礎 １１０（４５７），９５−１００，２０１１−０２−２８

しかしながら、特許文献１の方法では、ユーザが登場人物の好みの表情を点数等を用いてデータベースに登録する必要があった。しかしながら、微妙な表情の変化等に対して、ユーザの好み、嗜好性を正確に反映させるのは難しいという問題があった。

本発明は、画像から抽出された特徴量と当該画像に対する良否との良否関係を対応付けて記憶するデータベースを参照し、入力画像から抽出した特徴量に基づいて前記入力画像の良否を判定する判定手段と、前記判定手段による前記入力画像に対する良否の判定結果と、ユーザによる前記入力画像に対する良否の判定の結果とが異なる場合に、前記データベースより候補画像を抽出する抽出手段と、前記抽出された候補画像を表示部に表示させる表示制御手段と、前記表示された候補画像からユーザにより選択された候補画像に基づいて、前記データベースに前記ユーザの判定に基づく良否関係を設定する設定手段と、を有することを特徴とする。

以上の構成によれば、本発明では、ユーザは自身の好み、嗜好性を容易に設定できるようになる。

第１の実施形態に関わる画像処理装置の機能構成を示すブロック図。 第１の実施形態において画像が特徴空間に分類された様子を示す概念図。 第１の実施形態に関わる表示制御部が表示する選択肢表示画面を説明する図。 第１の実施形態に関わる良否登録部の処理手順を示すフローチャート。 第１の実施形態に関わる個別嗜好学習部の処理手順を示すフローチャート。 第１の実施形態において選択肢候補画像を抽出する処理の概念図。 第２の実施形態に関わる画像処理装置の機能構成を示すブロック図。 第２の実施形態に関わる表示制御部が表示する選択肢表示画面を説明する図。

［第１の実施形態］
第１の実施形態として、撮影者ないし被写体の個人が万人とは違う基準で「好ましくない」と判断した画像に基づいて、撮影者ないし被写体の個人の嗜好性を学習方法について説明する。以下、図面を参照して本実施形態を詳細に説明する。

図１は、本実施形態に関わる画像処理装置１０のソフトウェア構成（機能構成）を示すブロック図である。図１に示す画像処理装置１０の各機能部は、画像処理装置が備えるＣＰＵがＲＯＭ、ＲＡＭ、ＨＤＤ等の格納手段に格納されている制御プログラムを実行することにより実現される。本実施形態では、画像処理装置がデジタルカメラ等の撮像装置である場合を例に説明する。

図１において、良否登録部１００は、画像を見たときに万人が感じる良否（「好ましい」または「好ましくない」）の判定基準を画像特徴毎に予め登録しておくためのものである。良否登録部１００は、画像取得部１０１、画像特徴抽出部１０２、および画像特徴分類部１０３により構成される。

画像取得部１０１は、良否判定の基準を学習するための学習用画像を取得する。学習用画像は、カメラ等の撮像装置により撮影され、ＰＣ、スキャナ、記憶装置（ハードディスクドライブ等）、記憶媒体（不揮発性フラッシュメモリーやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）から予め学習装置に入力され、不図示のＨＤＤ等に格納されている。学習用画像は、「好ましい」、「好ましくない」とタグ付けされるか、または「タグ無し」の３つの状態に分けられているものとする。学習用画像に対するタグ付けは、例えばプロのカメラマンがそれぞれの画像を見て、「好ましい」と「好ましくない」とを判断することで行われる。

画像特徴抽出部１０２は、画像取得部１０１が取得した学習用画像の画像データから画像特徴を抽出する。画像特徴分類部１０３は、画像特徴抽出部１０２で抽出した画像特徴、および学習用画像のタグ情報に基づいて画像を分類する。画像を分類する手法としては、機械学習のクラスタリングの代表的な手法である、ｋ−ｍｅａｎｓ法やＮｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ法などを利用することができる。画像特徴分類部１０３が分類する各クラスタは、画像の良否を判定する要因（良否判定要因）に対応している。

図２は、画像特徴分類部１０３によって学習用画像が特徴空間に分類され、マッピングされている様子を模式的に図示した概念図である。特徴空間２００は、画像特徴抽出部１０２で抽出した特徴量の次元数に基づき、各学習用画像の画像特徴を写像するための空間である。同図においては、「好ましくない」学習用画像の画像特徴が、「目線」、「目瞑り」等の要否判定要因毎にクラスタリングされた様子を示す。

本実施形態では、撮影環境（背景、照明など）および撮影条件（同一人物、顔向き、見切れの発生など）を所望の状態に設定し、万人が好ましくないと判定するような学習用画像を用意している。そして、本実施形態に係る良否登録部１００では、これら「好ましくない画像」が、意味的なまとまりを持って、図２のように特徴空間２００にマッピングされる。例えば、クラスタ２０１は、画像２０２のように顔向きのみの変動が生じているクラスタである。他にも、「表情」、「目瞑り」、「目線」、「見切れ」などの良否判定要因に応じたクラスタに、「好ましくない」とタグ付けされた画像が分類され、データベース１０４に登録されている。このように、データベース１０４には、画像特徴抽出部１０２により抽出された特徴量と、その画像の良否との良否関係とが対応付けられて記憶されている。

なお、データベース１０４に登録される学習用画像は、予め同一人物を様々な撮影条件で撮影した画像群を利用してもよいし、複数の人物を様々な条件で撮影した後、個体差に依らない特徴量のみを抽出し、画像特徴分類部１０３でクラスタに分類してもよい。また、実際の人物でなくても、コンピュータグラフィックスを利用して、架空の人物を様々な撮影条件で画像生成し、それらの画像特徴から良否判定要因を解析して、データベース１０４に登録するなどしてもよい。

個別嗜好学習部１１０は、システムとユーザが良否判定した結果が異なる場合に、データベース１０４に登録されている画像を数枚利用し、ユーザ固有の嗜好性を特定する。また、特定したユーザの嗜好性に基づきデータベース１０４を更新する。個別嗜好学習部１１０は、良否判定部１１１、嗜好選択肢抽出部１１２、表示制御部１１３、および個別嗜好設定部１１４により構成される。

本実施形態の画像処理装置１０はデジタルカメラ等の撮像装置であり、良否判定部１１１は、撮像部で撮像された画像を入力信号として受信する。そして、データベース１０４を参照し、取得した撮像画像の良否を判定する。なお、良否判定部１１１は、取得した画像の良否判定を行うにあたり、画像特徴抽出部１０２および画像特徴分類部１０３と同様に画像の特徴抽出および分類を行う。

ここで、例えば、良否判定部１１１が「好ましい画像」であると判定したにも関わらず、ユーザは「好ましくない画像」と判定する場合がある。この場合、明らかにその画像は、ユーザ固有の嗜好性によって「好ましくない」と判定されている。したがって、ユーザがなぜ当該画像を「好ましくない」と判定したかの理由を特定することができれば、ユーザ固有の嗜好を良否判定要因画像データベースに組込むことが可能になる。そこで、本実施形態では、「好ましくない画像」と判定した理由（良否判定要因）を特定するための画像を撮像装置の表示部に表示し、ユーザに選択をさせるものである。

嗜好選択肢抽出部１１２は、ユーザ固有の嗜好性を特定するために、データベース１０４から、ユーザに選択させる画像の候補を抽出する。本実施形態は、選択肢となる画像の候補としてデータベース１０４に登録済みの画像を、ユーザ個人の嗜好性を確認する選択肢の画像として利用する。一般的に、ユーザの嗜好性を言語で表現すると、例えば「もう少し右からのアングルで撮影される方が好ましい」や「もう少し柔らかい表情が好ましい」等、曖昧な表現になってしまう場合が多い。また、これを点数として表現することも難しい。また、ユーザ自身は常に個人嗜好性を意識して画像の良否判定を行っているわけでは無いため、ユーザによっては個人嗜好性を言語や点数で的確に答えられない場合も多い。本実施形態では、予め用意する画像群を視覚的なヒントとして利用することで、ユーザが「好ましくない」と判定した画像に対して、その根拠となる要因を、ユーザは言語で嗜好性を示さなくとも、直感的に嗜好性を登録することが可能になる。

表示制御部１１３は、嗜好選択肢抽出部１１２でデータベース１０４より抽出した画像群を撮像装置の表示部に表示させる。図３には、ユーザが良否判定した結果と良否判定部１１１が良否判定した結果とが異なった場合に、表示制御部１１３によって撮像装置の表示部に表示される選択肢表示画面３００を示す。選択肢表示画面３００は、ユーザが「好ましくない画像」を選択する領域（上部）と、好ましくないと感じる要因を特定するための選択肢となる画像群を表示する領域（下部）と、から構成されるユーザインタフェースである。

本実施形態では、まず、上部の領域に、撮像部で撮像された画像がプレビュー画像一覧３０１として撮影順に並べられて表示される。なお、表示する順番は、被写体毎、イベント単位、時間的に降順あるいは昇順のように、他の規則に従って表示することもできる。ユーザは、プレビュー画像一覧３０１の画像群の中から、「好ましくない画像」を選択し、装置に備えられたボタンもしくはタッチユーザインタフェースを利用して、指示することができる。図３では、ユーザが画像３０２を「好ましくない」と判断し選択している様子を示しており、画像３０２が「好ましくない画像」として削除対象に指定されているため太枠で表示されている。

次に、良否判定部１１１は、プレビュー画像一覧３０１から「好ましくない画像」が選択されたことに応じて、データベース１０４を参照し、ユーザが削除対象として「好ましくない」と判断した画像３０２の良否を判定する。そして、良否判定の結果が異なっていた場合、ユーザ固有の嗜好を特定するために、画像３０２の良否判定の根拠になり得る領域を推定し、良否判定候補領域３０３として図のように表示させる。良否判定候補領域３０３は、例えば、顔検出処理によって算出された顔領域や、連続した画像を対象にする場合は、オプティカルフローなどを用いて画像間の変動量を算出し、変動量が１番大きい領域を良否判定候補領域に設定すればよい。また、複雑な計算はせずにユーザが直接その領域を指定するなどしてもよい。

続いて、嗜好選択肢抽出部１１２は、設定された良否判定候補領域３０３に基づいて、データベース１０４から、ユーザに選択させる画像の候補を抽出する。そして、表示制御部１１３は、嗜好選択肢抽出部１１２が抽出した画像群を、選択肢表示画面３００の下部の領域に良否判定要因を特定する画像３０４を含む画像群として表示する。なお、嗜好選択肢抽出部１１２による画像群の抽出方法の詳細については、後述する。

選択肢表示画面３００は、画像群のいずれか、もしくは複数枚をユーザが選択することを可能にするユーザインタフェースとして機能する。ユーザは、画像３０２を「好ましくない画像」と判定した理由に近い画像を、選択肢候補の画像群の中から選択し、ボタン３０５を押下する。図３では、目線、表情、顔向きの３つの良否判定要因に関して画像３０２に近いものが選択肢画像として表示されている。また、各画像がどの良否判定要因に対応する画像であるかを分かりやすくするために、各良否判定要因を図示化し、表示される画像群のそれぞれに付加して表示させている。例えば、３枚の画像のうち一番右の画像では、良否判定要因が顔向きの画像であるため、顔に３次元の座標軸を注釈情報として表示している。なお、ユーザが「好ましくない」と判定した理由に近い画像が選択肢候補として表示されなかった場合は、ボタン３０６を押下し、選択肢候補が無かったことを通知する。

図１に戻り、個別嗜好設定部１１４は、ユーザの否判定要因を特定する画像群に対する操作指示の情報を受け付ける。そして、データベース１０４の更新内容を決定し、ユーザ固有の嗜好を設定する。

次に、良否登録部１００において、良否判定基準を登録する処理の詳細について説明する。図４は、本実施形態に係る良否登録部１００の処理手順を示すフローチャートである。

まず、ステップＳ４０１において、画像取得部１０１は、データベース１０４に登録するための学習用画像を読み込む処理を行う。ここで、良否登録部１００では、良否判定の根拠となる要因毎にある程度まとまった画像の組として、データベース１０４に登録した方が、良否判定要因毎に画像群をクラスタに分離しやすくなる。なお、ステップＳ４０１で読み込む画像は、予めプロの写真家などが一定の基準で良否判定した画像群や、意図的に表情や顔向きを変えて撮影した画像群などを想定している。

ステップＳ４０２からＳ４０６までの処理は、画像特徴抽出部１０２によって画像特徴を抽出するための処理である。本実施形態は、個人嗜好性が顕著に現れる、人物が被写体の画像の良否判定を行うことを想定しているため、ステップＳ４０２からＳ４０６で抽出する特徴は主に人物の顔から抽出可能な特徴量を利用する。ステップＳ４０２からＳ４０６で計算する画像特徴の一例は、個人識別した情報、表情に関する情報、顔向きの姿勢情報、および画質（ボケや色味）に関する情報などである。ここでは、被写体の顔から判別できる特徴を多く挙げたが、それ以外に画像の審美性を左右する構図情報など他の特徴量を導入しても構わない。また、被写体の年齢や性別の属性情報などを追加するなどしてもよい。

以下、ステップＳ４０２からＳ４０６の個々の処理について詳しく説明する。ステップＳ４０２では、ステップＳ４０１で読み込んだ画像に写る被写体の顔に関する様々な情報を抽出するために、まず画像から被写体の顔を検出する。画像から顔を検出する方法としては、非特許文献１に記載の方法が幅広く利用されている。例えば、非特許文献１で開示される手法を利用することで、画像内の各人の顔の位置および大きさを算出することができる。

非特許文献１の原理は、学習用画像の顔からＨａａｒ−Ｌｉｋｅと呼ばれる特徴量を収集し、ＡｄａＢｏｏｓｔにより統計的に顔らしい特徴を識別できるようにしている。ステップＳ４０２の処理により、画像に顔が含まれていれば、検出した顔の個数、（顔を包含する）顔検出枠の左上と右下の座標値と重心位置などの情報が出力される。
ステップＳ４０３では、ステップＳ４０２で１つ以上の顔を検出したことを受け、個人識別処理を行う。個人識別処理は、１９８０年代より様々な手法が提案されており、その一例として、非特許文献２が挙げられる。非特許文献２に記載の方法は、顔画像から固有顔を算出し、固有顔の主成分分析を行い、固有顔が予め登録されている画像データベースと比較することで個人を識別する。本実施形態では、ステップＳ４０３で被写体の個人識別が行われ、被写体毎に個人嗜好性がデータベース１０４に設定される。

ステップＳ４０４では、例えば、非特許文献３で開示される技術を利用することで表情識別及び表出強度推定を行う。

ステップＳ４０４では、まず、ステップＳ４０２で検出した顔検出枠内の顔特徴点（例えば目尻、瞳、目頭、鼻の先端、口角、口の中心の位置）を算出する。これらの顔特徴点の算出方法は、非特許文献２で開示される方法で検出することが可能である。非特許文献３に記載の方法では、ステップＳ４０２で検出した顔検出枠内の顔特徴点をＧｅｎｔｌｅＢｏｏｓｔの手法を利用して算出している。ＧｅｎｔｌｅＢｏｏｓｔの手法を利用した顔特徴点の算出方法に関しては、非特許文献２にも記載されているが、非特許文献１の手法と同じように、予め目尻や口角と言った特徴的な顔パーツを弱識別器によって学習しておくことで、検出が可能になる。この他にも、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）やＣＬＭ（Ｃｏｎｓｔｒａｉｎｅｄ Ｌｏｃａｌ Ｍｏｄｅｌ）と呼ばれる手法などを利用し、顔の特徴点を算出することも可能である。

そして、ステップＳ４０２で算出した顔特徴点周辺の輝度情報から特徴量を算出する。特徴量の算出方法は、例えば、非特許文献４で開示される手法を利用して求めることができる。非特許文献４で開示される手法では、ステップＳ４０２で算出した顔特徴点の位置を中心に周囲９６×９６ピクセルを顔パッチとして切り取り、切り取った顔パッチを高速フーリエ変換した後、Ｇａｂｏｒフィルターにかけ、特徴ベクトルを算出している。なお、非特許文献４では特徴量の算出にＧａｂｏｒフィルターを用いて算出しているが、その代わりに、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）やＬＰＱ（Ｌｏｃａｌ Ｐｈａｓｅ Ｑｕａｎｔｉｚａｔｉｏｎ）などを利用する方法もある。

ここで、データベース１０４に登録する表情に関する特徴量を算出することができるが、更にこの特徴量を識別器にかけ、予め決めた表情分類に従って分類することも可能である。非特許文献４の手法では、顔の表情動作を客観的に記述する方法として知られているＦＡＣＳ（Ｆａｃｉａｌ Ａｃｔｉｏｎ Ｃｏｄｉｎｇ Ｓｙｓｔｅｍ）のＡＵ（Ａｃｔｉｏｎ Ｕｎｉｔ）に対応する変化を検出する。そして、全４６個のＡＵの組合せとその強弱で、表情を識別している。なお、ＦＡＣＳとＡＵの詳細に関しては、下記の非特許文献５を参照することができる。

ステップＳ４０４では、非特許文献４の手法を用いて、計算される特徴ベクトルを入力として線形ＳＶＭ（サポートベクターマシン）で、どのＡＵが変化したか否かの２値判別を行い、表情によって変化したＡＵを特定することができる。ここで特定したＡＵの組合せによって、被写体の表情が、どの表情カテゴリ（喜び、悲しみ、恐怖、不安、怒り、驚き、無表情）に属するかを識別することができる。例えば、ＡＵ４（Ｂｒｏｗ Ｌｏｗｅｒ）とＡＵ１０（Ｕｐｐｅｒ Ｌｉｐ Ｒａｉｓｅｒ）が変化していたら、「怒り」の表情カテゴリに属する、と言った具合である。

さらに、特定したＡＵの変化強度より被写体の表情表出強度を特徴量として、算出することもできる。具体的には、特定されたＡＵを識別する線形ＳＶＭの超平面と、特徴ベクトルとの距離を算出し、ＡＵの変化強度とすることが可能である。つまり、表情変化が大きければ大きい程、特徴ベクトルとＡＵを識別する線形ＳＶＭの超平面との距離が遠くなり、表情変化が小さければその距離は０に近くなる。

非特許文献４の手法では、変化が生じたＡＵの組合せとＡＵの変化強度を、予め用意しておいた表情データベースより抽出した表情カテゴリと表出強度の参照テーブルと比較することで、現在の撮影者の表情表出強度を推定している。または、ＡＵの組合せとＡＵの変化強度を線形の重み付き足し算で表出強度を推定するなどしてもよい。ただし、表情の表出に関しては個人差があり、被写体によっては、そもそも表情が出難い人物もいる。そのため、被写体毎に表出強度計算に利用する重みを変更することが望ましい。また、ステップＳ４０４の計算過程で既に顔特徴点を算出しているため、表情の識別に加えて、目の開閉度合いと言った特徴を特徴量として計算することも可能である。

ステップＳ４０５では、ステップＳ４０２で検出した顔領域に対して、その顔の向き（姿勢）を計算する。顔向きの計算方法も個人識別同様、従来より数々の手法が提案されており、それらの中から好適な手段を適宜選択すればよい。その一例として、非特許文献６や非特許文献７に記載の方法などが挙げられる。どちらの方法も、顔特徴点で表現される顔モデルと顔画像の濃淡パターンから作られるアピアランス情報を使って、予め特徴検出器を作成しておき、入力画像とのマッチングを計算するものである。

ステップＳ４０５は、これらの手法を利用して、３次元的な顔の位置および向きを推定する。本実施形態に係るデータベース１０４には、入力画像から得られる被写体の顔の位置、並びに向きの情報も特徴量として記録される。顔向きに関する特徴は、例えばカメラ写りを気にする人物の場合、右側から撮影された写真と左側から撮影された写真とで好みが大きく分かれることが多く、そのような個人嗜好性をシステムに登録するために必要になる。

次に、ステップＳ４０６では、画質（被写体の写り具合）に関する特徴量を抽出する。これは、例えば、被写体にピントが合っているか、ブラーが生じていないか、画像内の被写体の位置やサイズは適切か、といった審美的な要因を評価するための特徴量である。審美的な要因を評価するための特徴量を計算する方法は、例えば、非特許文献８に記載の方法が挙げられる。非特許文献８は、既存の顔検出技術に加え、画像内を物体毎にいくつかの領域に分割し、その領域内の画素のクリアさ（ブラーが生じているか否か）を特徴量として抽出して良否判定を行っている。また、非特許文献８では、画素のクリアさに加え、様々な他の特徴量も抽出し、総合的に画像全体の審美性を評価するスコアを算出している。

以上、本実施形態では、ステップＳ４０３〜Ｓ４０６において、画像特徴抽出部１０２は、種々の特徴量として、個人識別情報、表情に関する情報、顔向き（姿勢）に関する情報、画質に関する情報の４つの特徴量を計算する。また、これらの特徴量に加え、被写体の年齢や性別といった属性情報や、顔以外の身体の姿勢（ジェスチャーを含む）に関する情報も同時に抽出して良否判定要因に利用するなどしてもよい。

次に、ステップＳ４０７では、画像特徴分類部１０３が、ステップＳ４０２〜Ｓ４０６の各処理で画像から抽出された特徴量と画像をデータベース１０４に登録する。そして、ステップＳ４０８では、データベース１０４に登録する全ての画像の特徴量抽出および画像の登録作業が完了したか否かが判定される。全ての画像を登録し終えていない場合は、ステップＳ４０１に戻る。全ての画像を登録し終えたら、画像特徴を良否判定の根拠となる要因毎にまとめるために、次のステップに進む。

ステップＳ４０９では、画像特徴分類部１０３が、ステップＳ４０７でデータベース１０４に登録した全ての画像に対して抽出した特徴空間上でクラスタリングを行う。クラスタリングは、例えば、前述のｋ−ｍｅａｎｓ法などを利用して画像特徴毎にまとまったクラスタを算出する。前述したように、このステップで生成されたクラスタは、例えば図２に示すように、目線、顔向き、表情、というように意味のある特徴毎にまとめられる。また、特徴空間上に分布する各画像特徴に主成分分析をかけ、次元圧縮し各画像特徴の主成分を割り出すことも可能である。算出した主成分は、良否判定の根拠となる要因の変化を顕著に示すパラメータ軸になっているため、前述のクラスタの代わりに算出した主成分軸を利用して画像特徴を分類してもよい。

なお、本実施形態は予め撮影した実写画像を学習用画像として用いデータベース１０４に登録するようにしているが、例えば非特許文献９のように、実写画像以外にもコンピュータグラフィックスで生成した顔画像を利用してもよい。コンピュータグラフィックスによる目線、顔向き、表情の変更は、３次元の顔モデルさえ用意できれば、パラメータを変えるだけで容易に行うが可能である。

また、データベース１０４で良否判定の根拠となる要因毎にクラスタリングできた場合、特徴選択を行い、そのクラスタを分類するために最も寄与する特徴量のみを利用し、各クラスタへの分類を行うなどしてもよい。以上で、良否登録部１００における良否判定基準を登録する処理が終了する。

次に、個別嗜好学習部１１０において、ユーザ固有の嗜好性を学習する処理の詳細について説明する。図５は、本実施形態に係る個別嗜好学習部１１０の処理手順を示すフローチャートである。まず、ステップＳ５０１では、良否判定部１１１が、撮像部で撮像された画像を入力信号として受信する。ここでは、デジタルカメラ等の撮像装置で撮像した画像に対して処理を行う例について説明するが、撮像装置の記憶装置等に格納される画像を読み込んでもよい。

ステップＳ５０２では、良否判定部１１１が、データベース１０４を参照し、ステップＳ５０１で取得した画像の良否判定を行う。具体的には、良否判定部１１１は、まず画像特徴抽出部１０２と同様の画像処理を行い、画像特徴を抽出する。そして、抽出した特徴量を特徴ベクトルとして、良否判定要因画像データベースに登録済みの「好ましくない画像」のクラスタに分類されるか否かを判定する。撮像画像の特徴ベクトルが、あるクラスタに分類されるか否かは、良否登録部１００で利用したクラスタリングの方法と同一の方法で判別可能である。具体的には、特徴ベクトルと各クラスタの中心ないし重心との距離を算出し、距離が閾値以下となるクラスタを見つけることで、分類することができる。もしくは、最も距離が近い特徴ベクトルが属するクラスタを撮像画像の特徴ベクトルが属する候補となるクラスタに設定するなどしてもよい。なお、ステップＳ５０２の処理は、撮像直後、もしくは撮像した画像をユーザに見せる前には完了していることが望ましい。

ステップＳ５０３では、表示制御部１１３が、ステップＳ５０１で取得した撮像画像を撮像装置の画像表示部（液晶ディスプレイ等）に表示する。そして、ステップＳ５０４では、良否判定部１１１が、ユーザが指示した良否判定の結果を受付ける。具体的には、撮像装置の液晶ディスプレイにプレビュー表示されている状態で、例えばその撮像画像を削除するか否かの指定を受付ける処理になる。

ステップＳ５０５では、良否判定部１１１が、ステップＳ５０２で判定した良否結果と、ステップＳ５０４で受付けたユーザによる良否判定結果が一致するか否かを比較する。比較した結果、両者の良否結果が一致した場合は、ユーザの個人嗜好性を学習する必要が無いので、ステップＳ５０１に処理を戻し、新しい画像の入力を待つ。一方、良否結果が一致しない場合、例えば良否判定部１１１で好ましいと判断した画像であるにも関わらず、ユーザが削除を選択した場合などは、ユーザの個人嗜好性を学べる機会と判断し、ステップＳ５０６〜Ｓ５０９までの処理を実行する。

ステップＳ５０６において、嗜好選択肢抽出部１１２は、ユーザの個人嗜好性を把握するために、データベース１０４に登録済みの「好ましくない画像群」から、それらの画像のどれに近いかをユーザに問合せるための画像候補を抽出する。図６は、ステップＳ５０６の処理で、データベース１０４に登録されたクラスタから、選択肢候補画像を抽出する場合の一例を図示した概念図である。

以下、選択肢候補画像の抽出例を、図３および図６を参照しつつ、具体的に説明する。なお、前提として、本実施形態の画像処理装置は、ユーザの個人嗜好性を学習する前であり、図３の画像３０２を「好ましい画像」と判定しているものとする。そして、装置が「好ましい画像」と判定した図３の画像３０２に対して、ユーザは「目線が前（ゴール）を向いていなかった」という理由で削除指定を行ったとする。なお、この画像３０２について、ステップＳ５０２の良否判定処理の過程で、その画像特徴量は抽出済みである。抽出した画像特徴量を特徴ベクトルとして良否判定要因画像データベースに登録されている特徴空間に写像した点は、図６において特徴点６０１として示している。

ステップＳ５０６では、嗜好選択肢抽出部１１２が、特徴点６０１に距離（類似度）が近い画像を選択肢候補として抽出する。図６の特徴空間内の距離は、特徴ベクトル間のユークリッド距離などを計算することで求めることができる。図６の例では、算出した距離が近い順に上位３つの特徴点を選択肢候補として抽出している。データベース１０４には、登録済みの各画像と特徴ベクトルがセットで登録されているため、特徴ベクトルに対応する元画像を検索することが可能である。図６では、例として３枚の選択肢候補画像を表示しているが、表示枚数には制限は無く、データベース１０４に登録されている画像から必要な枚数を抽出して表示すればよい。

ステップＳ５０７では、表示制御部１１３が、ステップＳ５０６で抽出された選択肢候補画像を装置の表示部に表示する。図３の画像３０４は、選択肢候補画像を表示した一例である。図３では、ステップＳ５０６で算出した特徴ベクトル間の距離の近い順に並べて表示しているが、距離が遠い順や、距離の算出方法を変えて並び順を操作するなどしてもよい。また、ユーザによってはそれぞれの特徴量に優先順位を付けた方が適切に個人嗜好性を反映できる場合も考えられるため、特徴ベクトルに優先順位の重みを付けて距離を算出するなどしてもよい。

ステップＳ５０８において、個別嗜好設定部１１４は、ステップＳ５０７で表示した画像からユーザが選択した選択肢候補画像の情報を受付ける。ここでは、ユーザは目線の向きが好ましくないと感じて、画像３０２を選択している場合であるので、ユーザは、図３の選択肢候補の表示領域に表示される画像３０４の目線の向きが上方を向いている画像を選択する。その際、表示画面には、図３の画像３０４に示すように画像特徴が一目でわかるように、特徴を可視化して表示するなどしてもよい。これは例えば、無表情の時の顔画像からの変分量を抽出し、変分量が閾値以上となる領域の方向を矢印で示してもよいし、矩形領域などで表示するようにしてもよい。また、顔向きに特徴がある場合は、顔に３次元の座標軸を注釈情報として表示するなどしてもよい。

ステップＳ５０９では、個別嗜好設定部１１４が、ユーザの選択した画像を元に、データベース１０４に登録する個別嗜好に関する情報をパラメータとして追加する。ここで、個別嗜好に関する情報とは、データベース１０４に登録済みの各良否判定クラスタに対し、新規にクラスタを生成した場合に変更される各種数値情報（パラメータ）を指している。あるいは、既存クラスタに新たに個別嗜好情報を持つ画像を追加し、クラスタの範囲を再学習した場合に変更される各種数値情報（パラメータ）を指している。

選択肢表示画面３００においてユーザが１以上の選択肢候補画像を選択した場合、ステップＳ５０９では、個別嗜好設定部１１４が、データベース１０４に登録済みのクラスタに対して個別嗜好情報を追加し、特徴空間上のクラスタの範囲が再度計算する。具体的には、図２ないし図６の顔向きの特徴を示すクラスタ２０１の範囲を特徴点６０１まで広げる。このクラスタの再計算処理により、再度特徴点６０１に似た画像が入力された場合に、良否判定部１１１は、このユーザ個人の嗜好性を反映したクラスタに分類することができるようになる。このようにクラスタの再計算処理を行うことで、データベース１０４は、個人嗜好性を持つ情報を逐次追加しながら、良否判定の根拠となるクラスタを個人の嗜好性に合わせて設定し直すことが可能になる。

一方、選択肢表示画面３００において、ユーザが「選択肢無し」のボタン３０６を押下した場合は、データベース１０４に選択肢となるクラスタが存在しないことを意味する。そのため、個別嗜好設定部１１４は、ユーザが削除対象に指定した画像３０２の特徴点６０１を中心としたクラスタを新たに生成する。このとき、特徴点６０１を中心としたクラスタの範囲は、隣り合うクラスタに重ならないように範囲を設定することが望ましい。また、設定する時の範囲は、初期値として予め設定していてもよいし、新規クラスタ生成時にユーザが直接設定するなどしてもよい。

ステップＳ５１０では、本処理の終了判定を行い、処理を続ける場合には、ステップＳ５０１の画像取得工程に処理を戻す。

なお、本実施形態の説明では、被写体である人物の表情についてユーザ固有の嗜好性を学習する形態について説明してきたが、本実施形態の適用範囲は、人物の表情に限られるものではない。例えば、画面内の顔の位置と大きさ（構図）、顔向き（姿勢）、視線の向き、目つき、瞬き、性別や年齢による影響などによって、良否判定の基準が被写体によって異なる場合に同様に適用可能である。

以上、本実施形態によれば、ユーザが「好ましくない」と判定した画像の画像特徴に近い画像をデータベースより抽出し、ユーザに選ばせることで、個人嗜好性を学習することが可能になる。特に、本実施形態では、ユーザが「好ましくない」と判定した画像に対して、その根拠となる要因を、ユーザは点数や言語で示さなくとも、直感的に嗜好性を登録することが可能になる。

［第１の実施形態の変形例］
第１の実施形態では、装置が「好ましい画像」と判定した画像に対して、ユーザが「好ましくない」と判定した場合について説明した。これとは逆に、装置が「好ましくない画像」と判定した画像に対して、ユーザが「好ましい」と判定するような場合についても、本発明は適用可能である。

本変形例では、学習用画像として「好ましい画像」が要否判定要因毎にクラスタリングされ、データベース１０４に登録される。そして、ある画像に対して、良否判定部１１１が「好ましくない」と判定し、ユーザが「好ましい」と判定した場合に、嗜好選択肢抽出部１１２は、データベース１０４の「好ましい」画像群の中から候補画像を抽出する。ユーザの個人嗜好性をデータベース１０４に反映する設定方法については前述の第１の実施形態と同様である。

本変形例において、データベース１０４に登録されている画像は、予め用意される画像群やユーザが撮影した画像以外に、例えば雑誌などに写っているモデルの画像などでも構わない。これは、モデルなどのお手本となり得る写り方から、好ましい画像の特徴を抽出し、データベース１０４に登録することができるためである。一方で、「好ましくない」とユーザが判定する画像は、ユーザが暗黙的に抱えるコンプレックスなども反映される必要がある。そのため、前述の第１の実施形態のように、ユーザ本人や主に被写体となる人物が写っている画像に対して、パラメータを設定する方がよいと考えられる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明を行う。本実施形態では、ユーザに複数枚の候補画像を同時に選択させることで、複数の良否判定要因に係る個別嗜好性を学習する構成について説明する。以下の説明では、パーソナルコンピュータ（ＰＣ）が本発明の画像処理装置として機能し、アルバム作成や印刷をする際に、装置が大量の画像群より撮影者および被写体が好まないと思われる画像を選別する場合を例にして説明する。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。

図７は、本実施形態に関わる画像処理装置１０のソフトウェア構成（機能構成）を示すブロック図である。同図において、第１実施形態の構成と異なるのは、個別嗜好設定部１１４に代えて、個別嗜好パラメータ設定部７０１を有する点である。また、第１の実施形態では、撮像部で撮像された画像を取得するようにしていたが、本実施形態では、画像取得部１０１が学習用画像に加えて、処理対象の画像を取得する。画像取得部１０１は、本画像処理装置内の記憶装置、または本装置に接続された記憶媒体、記憶装置等に格納された画像を読み込む。

なお、学習用画像を取得する機能部と、処理対象の画像を取得する機能部が別々となった構成であってもよい。なお、本実施形態では、大量の画像群を処理する場合を想定しており、学習用画像および処理対象画像を読み込むための入力部（インターフェイス）は別に構成されていることが望ましい。例えば、学習用画像を装置に接続された記憶媒体または記憶装置から読込み、インターネット上のクラウドと呼ばれるディスクストレージサービスから大量の画像データをダウンロードして読込むなどの構成が想定される。

図７に戻り、個別嗜好パラメータ設定部７０１は、第１の実施形態と同様に、ユーザにより選択された候補画像に基づいて、ユーザの個別嗜好性を学習する。そして、データベース１０４に登録済みのクラスタに対して個別嗜好情報を追加し、特徴空間上のクラスタの範囲が再度計算する。これに加えて、選択肢表示画面３００においてユーザが選択した候補画像に基づいて、データベース１０４に登録するパラメータを設定する。

次に、本実施形態におけるユーザ固有の嗜好性を学習する処理について説明する。図８は、本実施形態において、表示制御部により表示される選択肢表示画面３００の一例を示したものである。同図において、プレビュー画像一覧３０１には、例えば運動会で撮影した様々なシーンから、装置の良否判定部１１１が「好ましい」と判定した画像が選択され、表示されている。

ここで、例えばユーザが画像３０２に示す主被写体となる子供の顔向きが好ましくないと判定し、削除もしくは非表示にすることを選択したとする。本実施形態に係る画像処理装置１０の嗜好選択肢抽出部１１２は、ユーザの指定操作を受け、個人嗜好性を示すパラメータを再設定するための画像をデータベース１０４より抽出する。そして、抽出した画像は、表示制御部１１３によって、図８の選択肢画像表示領域８０１に表示される。

選択肢画像表示領域８０１のうち、画像８０２は、ユーザによって既に「好ましくない」と判定されたことがあり、データベース１０４で「好ましくない画像」として登録されている画像である。「好ましくない画像」として登録された画像は、図８に示すように、フレームが太線もしくは斜線でユーザが視認しやすいように表示される。

一方、画像８０３は、ユーザによって既に「好ましい」と判定されたことがあり、データベース１０４で「好ましい画像」として登録されている画像である。また、画像８０４は、ユーザが新たに「好ましくない」と判定した理由（この場合は顔向き）に近い画像として、指定した画像である。画像８０４は、画像８０２および画像８０３と容易に区別できるよう、破線等で枠線および斜線を表示している。

カテゴリ表示欄８０５は、各行で示される画像群がどの良否判定要因に基づくものかをユーザに提示するものである。図８の場合、単に「カテゴリ１」、「カテゴリ２」と表示しているが、「カテゴリ１」には「目線」に基づく画像群を表示しているため、「カテゴリ１」と表示する代わりに、「目線」というタグを表示するなどしてもよい。ただし、良否判定要因は、前述のように「目線」と言った分かりやすい単語で表現されるものばかりではなく、言語化が困難な表情や写り方も多く存在する。そのため、カテゴリ表示欄８０５には必ずしも画像群の意味がわかる単語がカテゴリ名として表示できるわけではない。また、言語化が困難な画像群の場合は、例えば第１の実施形態で示したクラスタの識別ＩＤをカテゴリ表示欄に表示するなどしてもよい。

パラメータ８０６およびパラメータ８０７は、ユーザの個人嗜好性を示すパラメータを図示したものである。パラメータ８０６およびパラメータ８０７は、ユーザが選択した候補画像に基づき個別嗜好パラメータ設定部７０１により設定され、表示制御部１１３により表示される。例えばカテゴリ１は、目線の向きに関する画像群で、そのうち目線が左下から右下までの顔画像と、上を向いた顔画像が好ましくないと指定されているため、その大凡の範囲がパラメータ８０６の灰色で指定した領域に表示されている。ここで、パラメータ８０６は目線に関する角度をパラメータとしてユーザにわかりやすく表示するために円の図形で表示している。一般的には、このようにカテゴリの内容をわかりやすく図示することは困難であるため、その場合はパラメータの最大値と最小値を表示するようにする。

また、カテゴリ２には、顔向きに関連する画像群が列挙されている。パラメータ８０７は中心が顔向きの０度（正面）を示しており、右向き−１８０度〜左向き１８０度までを示している。ここで、新たに画像８０４（若干右向きの顔画像）を、ユーザが好ましくない画像として指定したため、パラメータ８０７の表示が更新され、好ましくないと判断する顔向きの角度が増加している。

このように、本実施形態に係る選択肢表示画面３００には、個人嗜好性のパラメータを変更するための画像群が良否判定要因別に１行ずつ表示され、そのパラメータも同時に表示される。ユーザは、選択肢画像表示領域８０１の画像を選択しながら変化するパラメータを確認しつつ、ユーザの個人嗜好性を登録することができる。

一方、画像８０４の指定により、データベース１０４に登録されるパラメータが変更になるため、本実施形態では、プレビュー画像一覧のうち点線の枠で示される画像８０８も新たに「好ましくない」画像と判断されるようになる。これは、画像８０８の被写体の顔の向きも画像３０２と同様に右を向いているためである。そこで、本実施形態では、カテゴリ表示欄８０５に表示されるカテゴリのそれぞれの優先度を指定できるようにしている。例えば、画像８０８に対してユーザが「好ましい」と判断する場合は、ユーザは、カテゴリ表示欄８０５に表示されるカテゴリのうち、被写体の顔向きに係る優先度を下げて、他のカテゴリの優先度を上げるように設定することができる。これにより、顔向きが「好ましくない」ような画像であっても、その他の要因（表情等）が良ければ「好ましい画像」と判定されるようになる。

以上、本実施形態によれば、ユーザに良否判定要因（カテゴリ）ごとに候補画像を選択させることで、複数の良否判定要因に係る個別嗜好性を学習することが可能となる。また、本実施形態では、個別嗜好パラメータ設定部７０１により、データベース１０４に反映させる数値情報（パラメータ）を選択肢表示画面３００に表示させることにより、自身が設定している個別嗜好性をユーザに直感的に示すことができる。

［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、前述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ 画像処理装置
１０１ 画像取得部
１０２ 画像特徴抽出部
１０３ 画像特徴分類部
１０４ データベース
１１１ 良否判定部
１１２ 嗜好選択肢抽出部
１１３ 表示制御部
１１４ 個別嗜好設定部

Claims (10)

1. 画像から抽出された特徴量と当該画像に対する良否との良否関係を対応付けて記憶するデータベースを参照し、入力画像から抽出した特徴量に基づいて前記入力画像の良否を判定する判定手段と、
   前記判定手段による前記入力画像に対する良否の判定結果と、ユーザによる前記入力画像に対する良否の判定の結果とが異なる場合に、前記データベースより候補画像を抽出する抽出手段と、
   前記抽出された候補画像を表示部に表示させる表示制御手段と、
   前記表示された候補画像からユーザにより選択された候補画像に基づいて、前記データベースに前記ユーザの判定に基づく良否関係を設定する設定手段と、
   を有することを特徴とする画像処理装置。
2. 前記データベースは、前記良否関係を画像の良否に関係する要因ごとに分類して記憶していることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記要因に関するパラメータを設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記抽出手段は、複数の前記要因ごとに候補画像を抽出し、
   前記設定手段は、前記複数の要因それぞれに関するパラメータを設定することを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、前記設定手段が設定するパラメータの情報を表示部に表示させることを特徴とする請求項３または４に記載の画像処理装置。
6. 前記制御手段は、前記候補画像に前記良否に関係する要因の情報を付加して表示することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記抽出手段は、前記入力画像と距離の近い複数の画像を前記データベースより抽出することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記特徴量は、顔の向き、目線の角度、表情が表出強度、目が開いている度合い、口が開いている度合い、画質のうちの少なくとも１つであることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 画像から抽出された特徴量と当該画像に対する良否との良否関係を対応付けて記憶するデータベースを参照し、入力画像から抽出した特徴量に基づいて前記入力画像の良否を判定する判定ステップと、
   前記判定ステップにおいて前記入力画像に対する良否の判定結果と、ユーザによる前記入力画像に対する良否の判定の結果とが異なる場合に、前記データベースより候補画像を抽出する抽出ステップと、
   前記抽出された候補画像を表示部に表示させる表示制御ステップと、
   前記表示された候補画像からユーザにより選択された候補画像に基づいて、前記データベースに前記ユーザの判定に基づく良否関係を設定する設定ステップと、
   を有することを特徴とする画像処理方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images