JP4881185B2 - 画像ソート装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像をソートするための画像ソート装置および方法並びに画像ソート方法をコンピュータに実行させるためのプログラムに関するものである。

近年、デジタルカメラの普及により写真撮影が手軽に行われるようになってきている。撮影により取得した画像は、ミニラボやネットワークプリントサービスを利用してプリント出力することができる。しかしながら、撮影により取得した多数の画像からプリントを所望する画像を探す作業は大変面倒である。このため、検索の基準となる基準画像を指定し、基準画像に類似する画像を複数の画像から検索するための手法が提案されている（特許文献１参照）。
特開２００１−１１７９２８号公報

特許文献１に記載された手法においては、類似する画像を検索するために、基準となる画像に含まれる顔と、複数の画像に含まれる顔との類似度を算出する必要がある。しかしながら、類似度を算出するアルゴリズムとしては、正面を向いた顔（正面顔）の類似度の算出に適したアルゴリズム、斜めを向いた顔（斜め顔）の類似度の算出に適したアルゴリズム、無表情の顔の類似度の算出に適したアルゴリズム、および表情のある顔の類似度の算出に適したアルゴリズム等、顔の態様に応じたアルゴリズムが存在する。このため、類似度を判定する顔の態様に対応したアルゴリズムを使用しなければ、精度よく類似度を算出することができない。

本発明は上記事情に鑑みなされたものであり、各種顔の態様を考慮して精度よく類似度を算出することを目的とする。

本発明による画像ソート装置は、複数の画像をソートする画像ソート装置において、
所定の顔と前記複数の画像のそれぞれとの類似度を、それぞれ異なる顔の態様に応じたアルゴリズムにより算出する複数の類似度算出手段と、
前記複数の類似度算出手段により算出した複数の類似度を重みづけした重みづけ類似度を算出する重みづけ手段と、
前記重みづけ類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とするものである。

なお、本発明による画像ソート装置においては、前記複数の画像を前記ソートされた順に表示する表示手段と、
前記表示された複数の画像から所望とされる複数の画像の選択を受け付ける選択手段とをさらに備えるものとし、
前記重みづけ手段を、前記画像の選択状況を解析し、該解析結果に基づいて、前記複数の類似度の重みづけを変化させて前記重みづけ類似度を再度算出する手段とし、
前記ソート手段を、前記再度算出された重みづけ類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手段としてもよい。

本発明による画像ソート方法は、複数の画像をソートする画像ソート方法において、
所定の顔と前記複数の画像のそれぞれとの類似度を、それぞれ異なる顔の態様に応じたアルゴリズムにより算出し、
前記複数の類似度を重みづけした重みづけ類似度を算出し、
前記重みづけ類似度が高い順に前記複数の画像をソートすることを特徴とするものである。

なお、本発明による画像ソート方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、所定の顔と複数の画像のそれぞれとの類似度が、それぞれ異なる顔の態様に応じたアルゴリズムにより算出され、算出された複数の類似度を重みづけした重みづけ類似度が算出され、重みづけ類似度が高い順に複数の画像がソートされる。このため、重みづけを適切に行うことにより、顔の態様に応じて精度よく類似度を算出することができ、その結果、ユーザは所定の顔に対応する顔が写っている画像を見つけやすくなる。

また、表示された複数の画像から所望とされる複数の画像の選択を受け付け、画像の選択状況を解析し、解析結果に基づいて複数の類似度の重みづけを変化させて重みづけ類似度を再度算出し、再度算出された重みづけ類似度が高い順に複数の画像を再ソートし、再ソートされた順に複数の画像を表示することにより、ユーザによる画像の選択状況を考慮して画像をソートすることができるため、ユーザは未だ選択していない態様の所定の顔に対応する顔を含む画像を選択できるようになる。したがって、複数の画像に様々な態様の所定の顔が含まれていても、所定の顔に類似する画像をくまなく選択することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像ソート装置を適用した画像のプリント注文受付装置の外観斜視図である。図１に示すように、本実施形態によるプリント注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う液晶等の表示部６とを備え、写真店に設置されたプリンタ８と接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。

図２は本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図２に示すように、プリント注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、画像のプリント注文を行うためのプリント注文プログラムおよび装置１を動作させるための基本的なプログラムや各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。

また、プリント注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、複数の画像を保存するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。

また、プリント注文受付装置１は、後述するようにハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する顔検出部３２と、第１および第２の類似度算出部３４，３６と、第１および第２の類似度算出部３４，３６が算出した類似度Ｒ１，Ｒ２を重みづけた類似度Ｒ３を算出する重みづけ部３８と、複数の画像をソートするソート部４０とを備える。

顔検出部３２は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、各画像上における顔の位置を顔領域として検出する。また、顔検出部３２は顔の向きも検出する。具体的には、検出した顔領域から両目および鼻の位置を検出し、両目および鼻の位置関係に基づいて顔の向きを左右の０〜９０度の間の値として算出する。そして、顔の向きが所定のしきい値Ｔｈ０より小さい場合には検出した顔領域の顔の向きが正面であると検出し、顔の向きが所定のしきい値Ｔｈ０以上の場合には検出した顔領域の顔の向きが斜めであると検出する。

第１および第２の類似度算出部３４，３６はそれぞれ異なる顔の態様に応じたアルゴリズムにより、後述するように入力された所定の顔Ｔ０と複数の画像との類似度を算出する。具体的には、第１の類似度算出部３４は、特に正面を向いた顔（正面顔）の固体判別に有効なアルゴリズムにより類似度を算出し、第２の類似度算出部３６は、特に斜めを向いた顔（斜め顔）の固体判別に有効なアルゴリズムにより類似度を算出する。

第１および第２の類似度算出部３４，３６は、まず後述するように指定された所定の顔Ｔ０について、顔Ｔ０を構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出する。

そして、第１の類似度算出部３４は、検出した９個の特徴点があらかじめ定められた正面を向いた基準顔の基準位置に近づくように、所定の顔Ｔ０に対して施すアフィン変換のパラメータを求め、所定の顔Ｔ０に対してアフィン変換を施して、正規化顔Ｔ１を取得する。なお、所定の顔Ｔ０が正面顔の場合、正規化顔Ｔ１はより正面を正しく向いた顔となるが、所定の顔Ｔ０が斜め顔の場合には、正規化顔Ｔ１は正面を向くものの本来の正面顔からの誤差は非常に大きくなる。このため、正面顔にできるだけ近づけるように、斜め顔が正面顔となるようなダミーデータを生成してアフィン変換を行う。なお、ダミーデータとしては、正面を向いた位置関係にある目や鼻の画像を用いることができる。

第１の類似度算出部３４は、正規化顔Ｔ１の画像データをより低次元の第１の特徴量空間へ第１の射影行列を用いて射影して特徴量ＦＴ１を抽出する。ここで、第１の特徴量空間は、下記のような第１の学習により決定される。

正面を向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第１の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第１の特徴量空間とする。このようにして決められた第１の特徴量空間は、正面を向いた顔の固体判別がしやすい空間となっている。

また、第１の類似度算出部３４は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる正面顔の対象顔Ｐ０について、上記と同様に正規化を行って正規化顔Ｐ１を取得し、さらに正規化顔Ｐ１の画像データをより低次元の第１の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ１における特徴量ＦＰ１を抽出する。

そして、所定の顔Ｔ０の特徴量ＦＴ１と対象顔Ｐ０の特徴量ＦＰ１とを比較して、所定の顔Ｔ０と対象顔Ｐ０との類似度Ｒ１を算出する。なお、ここでは、例えば特開２００５−１４９５０６号公報に記載されているＡＧＭモデル（付加ガウスモデル）を利用して類似度Ｒ１を算出する。ここで、類似度Ｒ１は０〜１の間の値で算出され、１に近いほど類似度が高いものとなる。

ＡＧＭモデルとは、個人差を表す変数と個人内の見えの変化（照明変化、顔向き変化、経年変化など）を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、類似度算出の対象となる顔の数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、特徴量空間を決定する際に利用した学習用顔画像群を用いる。

なお、特徴量空間において、特徴量ＦＴ１で規定される顔Ｔ０の座標と、特徴量ＦＰ１で規定される類似度算出の対象顔Ｐ０の座標との間のユークリッド距離をそのまま類似度Ｒ１として用いる方法等、他の類似度算出方法を用いてもよい。

一方、第２の類似度算出部３６は、検出した９個の特徴点があらかじめ定められた斜めを向いた基準顔の基準位置に近づくように、所定の顔Ｔ０に対して施すアフィン変換のパラメータを求め、所定の顔Ｔ０に対してアフィン変換を施して、正規化顔Ｔ２を取得する。この場合、所定の顔Ｔ０の向きと基準顔の向きとが異なる場合には、アフィン変換の前に所定の顔Ｔ０の画像データを左右対称に反転させて、所定の顔Ｔ０の向きと基準顔の向きとを一致させる。なお、所定の顔Ｔ０が斜め顔の場合、正規化顔Ｔ２はより斜めを正しく向いた顔となるが、所定の顔Ｔ０が正面顔の場合には、正規化顔Ｔ２は斜めを向くものの本来の斜め顔からの誤差は非常に大きくなる。このため、斜め顔にできるだけ近づけるように、正面顔が斜め顔となるようなダミーデータを生成してアフィン変換を行う。なお、ダミーデータとしては、斜めを向いた位置関係にある目や鼻の画像を用いることができる。

第２の類似度算出部３６は、正規化顔Ｔ２の画像データをより低次元の第２の特徴量空間へ第２の射影行列を用いて射影して特徴量ＦＴ２を抽出する。ここで、第２の特徴量空間は、下記のような第２の学習により決定される。

斜めを向いた顔の多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により第２の射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を第２の特徴量空間とする。このようにして決められた第２の特徴量空間は、斜めを向いた顔の固体判別がしやすい空間となっている。なお、学習用顔画像は基準顔の向きと同一方向を向いたものを用いる。

また、第２の類似度算出部３６は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる斜め顔の対象顔Ｐ０について、上記と同様に正規化を行って正規化顔Ｐ２を取得し、さらに正規化顔Ｐ２の画像データをより低次元の第２の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ２における特徴量ＦＰ２を抽出する。この場合においても、正規化のためのアフィン変換の前に、対象顔Ｐ０の向きと斜めを向いた基準顔の向きとが異なる場合には、対象顔Ｐ０の画像データを左右対称に反転させて、対象顔Ｐ０の向きと基準顔の向きとを一致させる。

そして、所定の顔Ｔ０の特徴量ＦＴ２と対象顔Ｐ０の特徴量ＦＰ１とを比較して、第１の類似度算出部３４と同様の手法を用いて、所定の顔Ｔ０と対象顔Ｐ０との類似度Ｒ２を算出する。

なお、特徴量空間において、特徴量ＦＰ２で規定される顔Ｔ０の座標と、特徴量ＦＴ２で規定される類似度算出の対象顔Ｐ０の座標との間のユークリッド距離をそのまま類似度Ｒ２として用いる方法等、他の類似度算出方法を用いてもよい。

ここで、所定の顔Ｔ０が正面顔の場合、対象顔Ｐ０が正面顔であると精度良く類似度Ｒ１を算出することができ、対象顔Ｐ０が所定の顔Ｔ０と同一人物の顔である場合、類似度Ｒ１は高くなる。しかしながら、対象顔Ｐ０が斜め顔であると所定の顔Ｔ０を無理に斜めを向くようにダミーデータを生成してアフィン変換を行っていることから、精度良く類似度Ｒ２を算出することができず、対象顔Ｐ０が所定の顔Ｔ０と同一人物の顔であっても、類似度Ｒ２は低くなってしまう。

逆に、所定の顔Ｔ０が斜め顔の場合、対象顔Ｐ０が斜め顔であると精度良く類似度Ｒ２を算出することができ、対象顔Ｐ０が所定の顔Ｔ０と同一人物の顔である場合、類似度Ｒ２は高くなる。しかしながら、対象顔Ｐ０が正面顔であると所定の顔Ｔ０を無理に正面を向くようにダミーデータを生成してアフィン変換を行っていることから、精度良く類似度Ｒ１を算出することができず、対象顔Ｐ０が所定の顔Ｔ０と同一人物の顔であっても、類似度Ｒ１は低くなってしまう。

重みづけ部３８は、第１および第２の類似度算出部３４，３６が算出した類似度Ｒ１、Ｒ２に基づいて、顔Ｔ０と各画像との類似度Ｒ３を算出する。ここで、画像に複数の顔が含まれる場合、図３に示すように、それぞれの顔について顔の向きに応じて顔Ｔ０との類似度Ｒ１、Ｒ２が算出される。なお、画像に含まれる顔のうち正面顔については類似度Ｒ１が、斜め顔については類似度Ｒ２が算出される。そして、算出した類似度Ｒ１，Ｒ２のうち最も高い類似度Ｒ１，Ｒ２を下記の式（１）に示す演算により重みづけ加算して所定の顔Ｔ０とその画像との類似度Ｒ３を算出する。

Ｒ３＝ｗ１×Ｒ１＋ｗ２×Ｒ２ （１）
但し、ｗ１，ｗ２は重み係数であり、ｗ１＋ｗ２＝１である。なお、本実施形態においては、所定の顔Ｔ０が正面顔である場合ｗ１＝１，ｗ２＝０とし、所定の顔Ｔ０が斜め顔である場合ｗ１＝０，ｗ２＝１とする。

したがって、図４に示すように、画像Ｇ０に４つの正面顔が含まれており、所定の顔Ｔ０が正面顔であり、各顔と顔Ｔ０との類似度が図３に示すように０．９，０．７，０．６，０．２であった場合、顔Ｔ０とその画像Ｇ０との類似度Ｒ３は０．９として算出される。逆に、図４に示す４つの顔が斜め顔であり、所定の顔Ｔ０が斜め顔である場合、類似度Ｒ３は０．９として算出される。

以下、本実施形態において行われる処理について説明する。なお、ここで説明する処理を第１の実施形態の処理とする。図５は第１の実施形態において行われる処理を示すフローチャートである。ユーザが画像ソートの指示を表示部６にタッチして行うことによりＣＰＵ１２が処理を開始し、所定の顔Ｔ０の入力を受け付ける（ステップＳＴ１）。

ここで、所定の顔Ｔ０は、ソートを行うユーザがあらかじめ写真店に登録したものであってもよく、プリント注文受付装置に顔撮影用のカメラを設け、そのカメラによりユーザの顔を撮影することにより取得したものであってもよい。また、ユーザのＩＤカードや、写真店のメンバーカード等にユーザの顔画像を記憶しておき、その画像を読み出して所定の顔Ｔ０として用いてもよい。また、ハードディスク２４に保存された複数の画像に含まれる顔の数が多い順に画像をソートして表示部６に表示し、表示した画像からユーザが選択した画像を所定の顔Ｔ０としてもよい。

次いで、ＣＰＵ１２がハードディスク２４に保存された複数の画像のうち、類似度算出の処理対象となる最初の画像を読み出し（ステップＳＴ２）、顔検出部３２が対象の画像から顔領域および顔の向きを検出する（ステップＳＴ３）。そしてＣＰＵ１２が類似度算出の対象顔Ｐ０を最初の顔（例えば対象画像の左端にある顔）に設定し（ステップＳＴ４）、対象顔Ｐ０の顔の向きを判定し（ステップＳＴ５）、正面顔である場合には、第１の類似度算出部３４が所定の顔Ｔ０と対象顔Ｐ０との類似度Ｒ１を算出する（ステップＳＴ６）。一方、対象顔Ｐ０が斜め顔である場合には、第２の類似度算出部３６が所定の顔Ｔ０と対象顔Ｐ０との類似度Ｒ２を算出する（ステップＳＴ７）。

そして、対象画像に含まれるすべての顔の類似度Ｒ１，Ｒ２を算出したか否かをＣＰＵ１２が判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、対象顔Ｐ０を次の顔に設定し（ステップＳＴ９）、ステップＳＴ５に戻ってステップＳＴ５以降の処理を繰り返す。ステップＳＴ８が肯定されると、重みづけ部３８が上記式（１）に示す演算を行って、所定の顔Ｔ０と対象画像との類似度Ｒ３を算出する（ステップＳＴ１０）。

次いでＣＰＵ１２が、ハードディスク２４に保存されているすべての画像の類似度Ｒ３を算出したか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が否定されると対象画像を次の画像に設定し（ステップＳＴ１２）、ステップＳＴ３に戻ってステップＳＴ３以降の処理を繰り返す。

ステップＳＴ１１が肯定されると、ソート部４０が所定の顔Ｔ０との類似度Ｒ３が高い順に複数の画像をソートし（ステップＳＴ１３）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ１４）、処理を終了する。なお、類似度が同一の場合には撮影日時の昇順に画像をソートするものとする。また、複数の画像のすべてを類似度順に表示する必要はなく、例えば類似度Ｒ３が所定のしきい値Ｔｈ１を超える画像のみをソートして表示するようにしてもよい。

図６は類似度が高い順にソートした場合のソート結果の表示画面を示す図である。図６に示すように表示画面５３の表示エリア５４には、複数の画像が類似度Ｒ３の順にて表示されている。また、表示画面５３には、複数の画像が１画面に入りきらない場合に、表示エリア５４に表示される画像を切り替えるための矢印ボタン５２Ａ，５２Ｂが表示されている。

図６に示すように、表示エリア５４に表示された各画像において、所定の顔Ｔ０との類似度が最も高い顔には太枠が付与されている。ユーザは、表示された複数の画像を見て、例えばプリントしたい画像を表示部６にタッチすることにより選択することができる。例えば、太枠で囲まれた自分の顔（すなわち所定の顔Ｔ０）を含む画像にタッチすることにより画像を選択することができる。

ここで、所定の顔Ｔ０が正面顔であるとすると、ハードディスク２４に保存された画像に含まれる所定の顔Ｔ０に対応する顔のうち、正面顔との類似度が高くなるが、所定の顔Ｔ０に対応する顔であっても斜め顔の場合には類似度は低くなってしまう。このため、上述したように類似度が高い順に画像をソートすると、所定の顔Ｔ０に対応する正面顔を含む画像は上位に含まれるが、斜め顔を含む画像は同一人物が含まれているにも拘わらず、ソート順が下位となってしまい、その結果、斜め顔を含む画像についてはプリントの注文がしにくくなってしまう。以下、この問題を解決するための処理について説明する。

図７はソート順に画像を表示した以降に行われる処理を示すフローチャートである。なお、以下の説明においては所定の顔Ｔ０は正面顔とする。

所定の顔Ｔ０が正面顔である場合、所定の顔Ｔ０に対応する顔のうち正面顔を含む画像はソート順の上位に位置するため、例えば、図６に示すように表示エリア５４に８枚の画像を表示可能な場合、８枚すべての画像に所定の顔Ｔ０に対応する顔が含まれる可能性が高い。このような場合、ユーザは所定の顔Ｔ０に対応する顔を含むすべての画像をプリントすべく選択するため、８枚中８枚の画像を選択することとなる。そして、表示エリア５４に表示する画像を切り替えて画像の選択を続ける。

このように表示エリア５４に表示する画像の切替を続けていくと、徐々にソート順が下位の画像が表示されていくため、表示エリア５４に表示される８枚の画像において所定の顔Ｔ０に対応する顔が含まれる割合が徐々に小さくなる。このため、本実施形態においては、重みづけ部３８が、表示エリア５４に表示された画像においてユーザが選択した画像の割合が、所定のしきい値Ｔｈ２以下（例えば８枚中２枚）となった場合に、上記式（１）における重み係数をｗ１＝１，ｗ２＝０から所定の顔Ｔ０が斜め顔である場合のｗ１＝０，ｗ２＝１に切り替える。

このため、重みづけ部３８は、選択された画像の割合が所定のしきい値Ｔｈ２以下となったか否かの監視を続けており（ステップＳＴ２１）、ステップＳＴ２１が肯定されると、表示エリア５４に表示する画像を切り替えるタイミングにて、ユーザが選択した画像以外のすべての画像について、上記式（１）に示す演算において、重み係数をｗ１＝１，ｗ２＝０からｗ１＝０，ｗ２＝１に切り替え（ステップＳＴ２２）、所定の顔Ｔ０とユーザが選択した画像以外の画像との類似度Ｒ３を再度算出する（ステップＳＴ２３）。

そして、ソート部４０が所定の顔Ｔ０との類似度Ｒ３が高い順に複数の画像を再ソートし（ステップＳＴ２４）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ２５）、処理を終了する。

図８は類似度が高い順に再ソートした場合のソート結果の表示画面を示す図である。図７に示すように、表示エリア５４に表示された各画像において、所定の顔Ｔ０との類似度が最も高い顔には太枠が付与されているが、その顔は斜め顔となっている。このため、ユーザは、表示された複数の画像を見て、ユーザの斜めの顔についても容易に選択することが可能となる。

そして、ユーザが表示エリア５４に表示された画像からプリントする画像を選択し、プリントの指示を行うことにより、選択した画像がプリンタ８からプリント出力される。

このように、本実施形態においては、ユーザによる画像の選択状況を考慮して、類似度Ｒ１，Ｒ２の重み係数を変化させて画像を再ソートするようにしたため、ユーザは未だ選択していない態様の所定の顔Ｔ０に対応する顔を含む画像を選択することができるようになる。したがって、複数の画像に様々な態様の所定の顔Ｔ０に対応する顔が含まれていても、所定の顔Ｔ０に類似する顔を含む画像をくまなく選択することができる。

ここで、第１および第２の類似度算出部３４，３６における類似度の算出は精度が１００％ではなく、自分の顔である所定の顔Ｔ０と似ている他人の顔を含む画像は、所定の顔Ｔ０との類似度が高くなってしまう。このため、所定の顔Ｔ０との類似度が高い順に画像をソートしたとしても、ソート順の上位に自分の顔である所定の顔Ｔ０を含まず、他人の顔のみを含む画像が含まれてしまう場合がある。

図９は所定の顔Ｔ０との類似度が高い８枚の画像が表示エリアに表示された状態を示す図である。図９に示すように、表示エリア５４には所定の顔Ｔ０との類似度が高い順に８つの画像Ｇ１〜Ｇ８が表示されるが、所定の顔Ｔ０として選択した顔をＡとすると、画像Ｇ１〜Ｇ８に含まれる顔Ａに太枠が付与されるはずである。

ここで、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７には顔Ａが含まれているため、顔Ａに太枠が付与されている。しかしながら、第１および第２の類似度算出部３４，３６の類似度算出の精度は１００％ではないため、画像Ｇ４，Ｇ８に顔Ａに似ている顔Ｂが、画像Ｇ６に顔Ａに似ている顔Ｃが含まれていたとすると、画像Ｇ４，Ｇ８には顔Ａが含まれていないにも拘わらず、所定の顔Ｔ０との類似度が高くなる顔Ｂに太枠が付与されてしまう。また、画像Ｇ６には顔Ａが含まれていないにも拘わらず、所定の顔Ｔ０との類似度が高くなる顔Ｃに太枠が付与されてしまう。

ここで、ユーザはプリント注文を行う場合、通常自分の顔を含む画像のみを選択することから、図９に示す８つの画像Ｇ１〜Ｇ８のうち、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７のみを選択し、画像Ｇ４，Ｇ６，Ｇ８は選択しないこととなる。なお、図８においては選択した画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７に太枠を付与している。このような場合、選択した画像に含まれる所定の顔Ｔ０との類似度が最も高い太枠が付与された顔を用いて、選択した画像以外の他の画像を再ソートすることが好ましい。

以下、このように画像が選択された場合における再ソートの処理を第２の実施形態として説明する。図１０は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態における再ソートは、表示エリアに表示する画像を切り替えるために、ページボタン５２Ａ，５２Ｂにユーザがタッチしたタイミングで行われるものとする。また、所定の顔Ｔ０は正面顔であるものとする。

ページボタン５２Ａ，５２ＢにユーザがタッチすることによりＣＰＵ１２が処理を開始し、第１の類似度算出部３４が、選択されたすべての画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０について、特徴量ＦＰ１の平均値ＦＰＭ１を算出する（ステップＳＴ３１）。なお、特徴量ＦＰ１が平均値ＦＰＭ１となる顔を、所定の顔Ｔ０の平均顔ＴＭ０と称する。また、所定の顔Ｔ０の特徴量ＦＴ１を平均値ＦＰＭ１の算出に加えてもよい。

そして、第１の類似度算出部３４は、平均値ＦＰＭ１と複数の画像にそれぞれ含まれる顔の特徴量ＦＰ１とを比較することにより、所定の顔Ｔ０の平均顔ＴＭ０と複数の画像にそれぞれ含まれる顔との類似度Ｒ１′を算出する（ステップＳＴ３２）。そして、重みづけ部３８が、類似度Ｒ１′に基づいて所定の顔Ｔ０の平均顔ＴＭ０と各画像との類似度Ｒ３′を算出する（ステップＳＴ３３）。なお、類似度Ｒ１′，Ｒ３′の算出は、上記第１の実施形態において所定の顔Ｔ０を平均顔ＴＭ０とした場合の類似度Ｒ１，Ｒ３の算出と同様であるため、ここでは詳細な説明は省略する。

そして、ソート部４０が所定の顔Ｔ０の平均顔ＴＭ０との類似度が高い順に、図９に示す選択された画像以外の複数の画像をソートし（ステップＳＴ３４）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ３５）、処理を終了する。

図１１は第２の実施形態において再ソートを行うことにより類似度が高い８枚の画像が表示エリアに表示された状態を示す図である。図１１に示すように、表示エリア５４には図９において選択された画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７がこの順序にて表示されている。なお、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７には選択されたことを示す太枠が付与されている。また、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７に加えて、３つの新たな画像Ｇ１１〜Ｇ１３が表示エリア５４に表示される。第２の実施形態においては、所定の顔Ｔ０の平均顔ＴＭ０を用いて類似度が高い順に再ソートを行っているため、画像Ｇ１１〜Ｇ１３には、所定の顔Ｔ０に対応する顔Ａが含まれる確率が高くなる。これにより、第２の実施形態においては、ユーザは自分が写っている画像をより見つけやすくなる。

なお、所定の顔Ｔ０が正面顔であっても、上記図７に示すフローチャートの処理により、画像が再ソートされた場合には、所定の顔Ｔ０の斜め顔を含む画像が表示エリア５４において選択されるようになる。このような場合に、第２の実施形態においては、第２の類似度算出部３６が、重み係数の切替後に選択されたすべての画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０について、特徴量ＦＰ２の平均値ＦＰＭ２を算出し、平均値ＦＰＭ２と複数の画像にそれぞれ含まれる顔の特徴量ＦＰ２とを比較することにより、所定の顔Ｔ０の平均顔ＴＭ０と複数の画像にそれぞれ含まれる顔との類似度Ｒ２′を算出すればよい。

また、上記第２の実施形態においては、表示エリア５４に表示する画像を切り替えるタイミングで再ソートを行っているが、ユーザが画像を選択する毎に選択した画像以外の他の画像について再ソートを行うようにしてもよい。

また、特徴量ＦＰ１，ＦＰ２の平均値ＦＰＭ１，ＦＰＭ２の算出は、選択されたすべての画像について行ってもよいが、選択された画像の数が多くなると、平均値ＦＰＭ１，ＦＰ２の演算に長時間を要するものとなる。このため、直近に選択されたあらかじめ定められた所定数の画像のみを用いて平均値ＦＰＭ１，ＦＰＭ２を算出するようにしてもよい。また、とくに、ユーザが自身の顔をあらかじめ写真店に登録しているような場合には、その顔の特徴量を算出し、算出した特徴量をも加えて平均値ＦＰＭ１，ＦＰＭ２を算出してもよい。

また、第１および第２の類似度算出部３４，３６は、選択した画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０の特徴量ＦＰ１，ＦＰ２の平均値ＦＰＭ１，ＦＰＭ２を算出しているが、選択した画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０の特徴量ＦＰ１，ＦＰ２を特徴量空間にマッピングし、そのマッピングされた空間の外側にある特徴量ＦＰ１，ＦＰ２のみを用いて平均値ＦＰＭ１，ＦＰＭ２を算出してもよい。例えば、特徴量空間が２次元である場合において、特徴量ＦＰ１，ＦＰ２が図１２に示すようにマッピングされたとすると、丸で囲んだプロットに対応する特徴量ＦＰ１，ＦＰ２のみを用いて平均値ＦＰＭ１，ＦＰＭ２を算出してもよい。

また、上記第１および第２の実施形態においては、類似度が高い順にソートする前に、撮影場所や撮影時間に応じてあらかじめ複数の画像を分類しておき、分類された画像単位でソートを行うようにしてもよい。

また、上記第１および第２の実施形態においては、表示画面において、所定の顔Ｔ０に対応する対象顔Ｐ０に太枠を付与しているが、例えば画像に顔Ａおよび顔Ｂの２つの顔が含まれ、所定の顔Ｔ０に対応する顔が顔Ａである場合において、偶然顔Ａが横を向いている等により、顔Ｂの方が所定の顔Ｔ０との類似度が高くなってしまうと、図１３（ａ）に示す画像Ｇ２０のように、顔Ａではなく顔Ｂに太枠が付与されてしまう。このような場合には、例えば図１３（ｂ）に示すように、ユーザが操作することにより、太枠を付与する顔を顔Ｂから顔Ａに変更できるようにすることが好ましい。

また、上記第１および第２の実施形態においては、所定の顔Ｔ０に対応する対象顔Ｐ０に太枠を付与しているが、とくに太枠を付与することなくソートされた画像を表示するようにしてもよい。但し、太枠を付与することにより、ソートが正しく行われているか否かを容易に判定することができるため、太枠を付与した方が好ましい。

また、上記第１および第２の実施形態においては、顔の態様として正面顔と斜め顔とを用いているが、これに限定されるものではなく、表情のある顔および表情のない顔等を顔の態様として用いればよい。この場合、類似度の算出は、表情のある顔および表情のない顔のそれぞれについて学習した学習結果を用いればよい。

また、上記第１および第２の実施形態においては、重み係数ｗ１，ｗ２として、ｗ１＝１，ｗ２＝０およびｗ１＝０，ｗ２＝１のいずれかを用いているが、これに限定されるものではなく、ｗ１＋ｗ２＝１の関係を満たすようにｗ１，ｗ２の値を設定すればよいものである。

また、上記第１および第２の実施形態においては、本発明による画像ソート装置を写真店の店頭に設置されたプリント注文装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像ソート装置を適用し、ネットワーク経由で注文サーバに保管された画像のソートを行うようにしてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部３２、第１の類似度算出部３４、第２の類似度算出部３６およびソート部４０に対応する手段として機能させ、図５，７，１０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の実施形態による画像ソート装置を適用したプリント注文受付装置の外観斜視図 本発明の第１の実施形態によるプリント注文受付装置の構成を示す概略ブロック図 所定の顔と画像に含まれる顔との類似度の算出を説明するための図（その１） 所定の顔と画像に含まれる顔との類似度の算出を説明するための図（その２） 第１の実施形態において行われる処理を示すフローチャート 類似度が高い順にソートした場合のソート結果の表示画面を示す図 ソート順に画像を表示した以降に行われる処理を示すフローチャート 重み係数を切替後に類似度が高い順に再ソートした場合のソート結果の表示画面を示す図 第１の実施形態において所定の顔との類似度が高い８枚の画像が表示エリアに表示された状態を示す図 第２の実施形態において行われる処理を示すフローチャート 第２の実施形態において再ソートを行うことにより、類似度が高い８枚の画像が表示エリアに表示された状態を示す図 特徴量の特徴量空間へのマッピングを示す図 太枠を付与する顔の変更を説明するための図

符号の説明

１ プリント注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ プリンタインターフェース
３２ 顔検出部
３４ 第１の類似度算出部
３６ 第２の類似度算出部
３８ 重みづけ部
４０ ソート部

Claims (5)

1. 複数の画像をソートする画像ソート装置において、
   所定の顔と前記複数の画像のそれぞれとの類似度を、それぞれ異なる顔の態様に応じたアルゴリズムにより算出する複数の類似度算出手段と、
   前記複数の類似度算出手段により算出した複数の類似度を重みづけした重みづけ類似度を算出する重みづけ手段と、
   前記重みづけ類似度が高い順に前記複数の画像をソートするソート手段と、
   前記複数の画像を前記ソートされた順に表示する表示手段と、
   前記表示された複数の画像から所望とされる複数の画像の選択を受け付ける選択手段とを備え、
   前記重みづけ手段は、前記画像の選択状況を解析し、該解析結果に基づいて、前記複数の類似度の重みづけを変化させて前記重みづけ類似度を再度算出する手段であり、
   前記ソート手段は、前記再度算出された重みづけ類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手段であることを特徴とする画像ソート装置。
2. 前記重みづけ手段は、前記選択手段により選択された画像の、前記表示手段に表示された画像に対する割合が所定値以下となったときに、前記複数の類似度の重みづけを変化させて前記重みづけ類似度を再度算出する手段であることを特徴とする請求項１記載の画像ソート装置。
3. 前記類似度算出手段は、前記所望とされる画像に含まれる前記所定の顔に対応する顔と、前記複数の画像のうちの前記所望とされる画像以外の他の画像との類似度を新たな類似度として算出する手段であり、
   前記重みづけ手段は、前記新たな類似度の重みづけを変化させて前記重みづけ類似度を再度算出する手段であることを特徴とする請求項１または２記載の画像ソート装置。
4. コンピュータが、複数の画像をソートする画像ソート方法において、
   所定の顔と前記複数の画像のそれぞれとの類似度を、それぞれ異なる顔の態様に応じたアルゴリズムにより算出し、
   前記複数の類似度を重みづけした重みづけ類似度を算出し、
   前記重みづけ類似度が高い順に前記複数の画像をソートし、
   前記複数の画像を前記ソートされた順に表示手段に表示し、
   前記表示された複数の画像から所望とされる複数の画像の選択を受け付け、
   前記画像の選択状況を解析し、該解析結果に基づいて、前記複数の類似度の重みづけを変化させて前記重みづけ類似度を再度算出し、
   前記再度算出された重みづけ類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を表示することを特徴とする画像ソート方法。
5. 複数の画像をソートする画像ソート方法をコンピュータに実行させるためのプログラムにおいて、
   所定の顔と前記複数の画像のそれぞれとの類似度を、それぞれ異なる顔の態様に応じたアルゴリズムにより算出する手順と、
   前記複数の類似度を重みづけした重みづけ類似度を算出する手順と、
   前記重みづけ類似度が高い順に前記複数の画像をソートする手順と、
   前記複数の画像を前記ソートされた順に表示手段に表示する手順と、
   前記表示された複数の画像から所望とされる複数の画像の選択を受け付ける手順と、
   前記画像の選択状況を解析し、該解析結果に基づいて、前記複数の類似度の重みづけを変化させて前記重みづけ類似度を再度算出する手順と、
   前記再度算出された重みづけ類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を表示する手順とを有することを特徴とするプログラム。

Images