JP4891119B2 - 画像ソート装置および方法並びにプログラム - Google Patents

Description

本発明は、複数の画像をソートするための画像ソート装置および方法並びに画像ソート方法をコンピュータに実行させるためのプログラムに関するものである。

近年、デジタルカメラの普及により写真撮影が手軽に行われるようになってきている。とくに、観光地を訪れた時の写真は後に思い出になることから、旅行客はカメラを持参して写真撮影を行っている。また、団体旅行は各地の名所および旧跡をバス等にて順次回ることから、各場所にて旅行者は自身のカメラを用いて撮影を行うことができる。なお、撮影により取得した画像は、ミニラボやネットワークプリントサービスを利用してプリント出力することができる。

また、団体旅行において、旅行者であるユーザが撮影により取得した画像や添乗員が撮影により取得した画像をまとめて保存しておき、保存された画像の中からユーザが所望とする画像を選択してプリント出力を行うようにしたシステムが提案されている（特許文献１参照）。このようなシステムを用いれば、ユーザは旅行に出かけた時の画像を容易に選択してプリントすることが可能となる。
特開２００２−３１８７５８号公報

しかしながら、特許文献１に記載されたシステムにより保存された画像には、添乗員が取得した画像や他の旅行者が取得した画像が含まれる。このため、画像数が非常に多くなり、また、自分が写っていない画像が多くなることから、自分が写っている画像を探すことが困難となる。

本発明は上記事情に鑑みなされたものであり、複数の画像から自分が写っている画像を容易に探すことができるようにすることを目的とする。

本発明による第１の画像ソート装置は、複数の画像をソートする画像ソート装置において、
前記複数の画像のそれぞれから顔領域を検出する顔検出手段と、
前記複数の画像のそれぞれについて前記顔領域の数をカウントするカウント手段と、
前記顔領域の数が多い順に前記複数の画像をソートするソート手段とを備えたことを特徴とするものである。

なお、本発明による第１の画像ソート装置においては、前記複数の画像を前記ソートされた順に表示する表示手段と、
前記表示された複数の画像から所定の顔の選択の指示を受け付ける選択手段と、
前記所定の顔と前記複数の画像のそれぞれとの類似度を算出する類似度算出手段とをさらに備えるものとし、
前記ソート手段を、前記類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手段としてもよい。

所定の顔と画像との類似度は、まず所定の顔と画像に含まれるすべての顔との類似度を算出し、算出したすべての類似度のうち、最も高い類似度とすればよい。

なお、選択の指示を受け付ける所定の顔は、１つであっても複数であってもよい。なお、所定の顔が複数の場合には、類似度の算出は、すべての所定の顔と複数の画像のそれぞれに含まれるすべての顔との間において行われる。この場合、複数の所定の顔と各画像との類似度は、複数の顔と複数の所定の顔との類似度のうち、最も高い類似度を用いる。

また、本発明による第１の画像ソート装置においては、前記選択手段を、前記表示された複数の画像から所望とされる画像の選択を受け付ける手段とし、
前記類似度算出手段を、前記選択された複数の画像に含まれる前記所定の顔に対応する顔と前記複数の画像のうち前記選択された画像以外の他の画像との類似度を新たな類似度として算出する手段とし、
前記ソート手段を、前記新たな類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手段としてもよい。

新たな類似度の算出は、例えば、選択された複数の画像に含まれる所定の顔に対応するすべての顔の平均的な顔に基づいて行えばよい。

本発明による第２の画像ソート装置は、複数の画像をソートする画像ソート装置において、
所定の顔と前記複数の画像のそれぞれとの類似度を算出する類似度算出手段と、
前記類似度が高い順に前記複数の画像をソートするソート手段とを備えたことを特徴とするものである。

本発明による第１の画像ソート方法は、複数の画像をソートする画像ソート方法において、
前記複数の画像のそれぞれから顔領域を検出し、
前記複数の画像のそれぞれについて前記顔領域の数をカウントし、
前記顔領域の数が多い順に前記複数の画像をソートすることを特徴とするものである。

本発明による第２の画像ソート方法は、複数の画像をソートする画像ソート方法において、
所定の顔と前記複数の画像のそれぞれとの類似度を算出し、
前記類似度が高い順に前記複数の画像をソートすることを特徴とするものである。

なお、本発明による第１および第２の画像ソート方法をコンピュータに実行させるためのプログラムとして提供してもよい。

上記特許文献１に記載されたシステムのように、団体旅行の添乗員が取得した画像や他の旅行者が取得した画像がまとめて保存されている場合には、大勢の人物が写っている画像ほど自分が写っている可能性が高くなる。

本発明の第１の画像ソート装置および方法によれば、複数の画像のそれぞれから顔領域を検出し、複数の画像のそれぞれについて顔領域の数をカウントし、顔領域の数が多い順に複数の画像がソートするようにしたものである。これにより、写っている人物が多い画像ほど上位となるように複数の画像がソートされるため、ユーザは自分が写っている画像を見つけやすくなる。

また、複数の画像をソートされた順に表示し、表示された複数の画像から例えばユーザの顔等の所定の顔の選択の指示を受け付け、所定の顔と複数の画像のそれぞれとの類似度を算出し、類似度が高い順に複数の画像を再ソートし、再ソートされた順に複数の画像を表示することにより、ユーザは自分が写っている画像をより見つけやすくなる。

また、表示された複数の画像から所望とされる画像の選択を受け付け、選択された画像に含まれる所定の顔に対応する顔と複数の画像のうち選択された画像以外の他の画像との類似度を新たな類似度として算出し、新たな類似度が高い順に複数の画像を再ソートし、再ソートされた順に複数の画像を表示することにより、再ソートされた画像にはその所定の顔が含まれる確率が高い画像が上位となるため、より自分が写っている画像を見つけやすくすることができる。

本発明による第２の画像ソート装置および方法によれば、例えば自分の顔等の所定の顔と複数の画像のそれぞれとの類似度が算出され、類似度が高い順に複数の画像がソートされる。このため、ソートされた順に複数の画像を表示することにより、自分が写っている画像を見つけやすくすることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像ソート装置を適用した画像のプリント注文受付装置の外観斜視図である。図１に示すように、本実施形態によるプリント注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されてなるものであり、プリント注文するための画像が記録された各種メモリカード２を装填し、メモリカード２から画像を読み出したり、メモリカード２に画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う液晶等の表示部６とを備え、写真店に設置されたプリンタ８と接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文に必要な入力を行うことができる。

図２は本発明の実施形態によるプリント注文受付装置の構成を示す概略ブロック図である。図２に示すように、プリント注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、画像のプリント注文を行うためのプリント注文プログラムおよび装置１を動作させるための基本的なプログラムや各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。

また、プリント注文受付装置１は、上述したカードスロット４と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、例えば団体旅行において添乗員が撮影により取得した画像や、団体旅行の参加者が撮影により取得した画像を保存するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部２６と、表示部６の表示を制御する表示制御部２８と、プリンタ８を装置１に接続するためのプリンタインターフェース３０とを備える。

また、プリント注文受付装置１は、後述するようにハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する顔検出部３２と、複数の画像のそれぞれについて顔領域の数をカウントするカウント部３４と、後述するように指定された所定の顔と複数の画像のそれぞれとの類似度を算出する類似度算出部３６と、複数の画像をソートするソート部３８とを備える。

顔検出部３２は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、各画像上における顔の位置を顔領域として検出する。

カウント部３４は、顔検出部３２が検出した各画像の顔領域の数をカウントする。

類似度算出部３６は、まず後述するように指定された所定の顔Ｔ０について、顔Ｔ０を構成する主要な顔部品を顔の特徴点として検出する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭、左右目尻、左右小鼻、左右口角、上唇の計９個の特徴点の位置を検出する。

そして、検出した９個の特徴点があらかじめ定められた基準位置に近づくように、所定の顔Ｔ０に対して施すアフィン変換のパラメータを求め、所定の顔Ｔ０に対してアフィン変換を施して、正規化顔Ｔ１を取得する。

そして、正規化顔Ｔ１の画像データをより低次元の特徴量空間へ射影行列を用いて射影して、正規化顔Ｔ１における特徴量ＦＴ１を抽出する。ここで、特徴量空間は、下記のような学習により決定される。

各種表情および向きを有する多数の学習用顔画像に対して、上記のように正規化した正規化学習用顔画像群を用いて、主成分分析または線形判別分析（ＬＤＡ）等の分析により射影行列を求め、この射影行列によって射影される固有空間もしくはこれに準ずる空間を特徴量空間とする。

一方、類似度算出部３６は、複数の画像のそれぞれに含まれる顔のうち、類似度算出の対象となる対象顔Ｐ０について、上記と同様に正規化を行って正規化顔Ｐ１を取得し、さらに正規化顔Ｐ１の画像データをより低次元の特徴量空間へ射影行列を用いて射影して、正規化顔Ｐ１における特徴量ＦＰ１を抽出する。

そして、所定の顔Ｔ０の特徴量ＦＴ１と対象顔Ｐ０の特徴量ＦＰ１とを比較して、所定の顔Ｔ０と対象顔Ｐ０との類似度Ｒ１を算出する。なお、ここでは、例えば特開２００５−１４９５０６号公報に記載されているＡＧＭモデル（付加ガウスモデル）を利用して類似度Ｒ１を算出する。ここで、類似度Ｒ１は０〜１の間の値で算出され、１に近いほど類似度が高いものとなる。

ＡＧＭモデルとは、個人差を表す変数と個人内の見えの変化（照明変化、顔向き変化、経年変化など）を表す変数の和で顔データが表現できると仮定した確率モデルであり、各変数は正規分布に従うものとする。あらかじめ各正規分布のパラメータを推定しておくことで、類似度算出の対象となる顔の数が少ない場合にも見えの変化を考慮したロバストな類似度算出処理が可能となる。各正規分布のパラメータ推定には、特徴量空間を決定する際に利用した学習用顔画像群を用いる。

なお、特徴量空間において、特徴量ＦＴ１で規定される顔Ｔ０の座標と、特徴量ＦＰ１で規定される類似度算出の対象顔Ｐ０の座標との間のユークリッド距離をそのまま類似度Ｒ１として用いる方法等、他の類似度算出方法を用いてもよい。

そして、類似度算出部３６は、算出した類似度Ｒ１に基づいて、顔Ｔ０と各画像との類似度Ｒ２を算出する。ここで、画像に複数の顔が含まれる場合、図３に示すように、それぞれの顔について顔Ｔ０との類似度Ｒ１が算出されるが、複数の類似度Ｒ１のうち最も高い類似度Ｒ１を顔Ｔ０とその画像との類似度Ｒ２とする。例えば、図４に示すように、画像Ｇ０に４つの顔が含まれており、各顔と顔Ｔ０との類似度が図３に示すように０．９，０．７，０．６，０．２であった場合、顔Ｔ０とその画像Ｇ０との類似度Ｒ２は０．９として算出される。

以下、本実施形態において行われる処理について説明する。なお、ここで説明する処理を第１の実施形態の処理とする。図５は第１の実施形態において行われる処理を示すフローチャートである。ユーザが画像ソートの指示を表示部６にタッチして行うことによりＣＰＵ１２が処理を開始し、顔検出部３２がハードディスク２４に保存された複数の画像のそれぞれから顔領域を検出する（ステップＳＴ１）。次いで、カウント部３４が、複数の画像のそれぞれについて検出された顔領域の数をカウントし（ステップＳＴ２）、ソート部３８が顔領域の数が多い順に複数の画像をソートし（ステップＳＴ３）、ソートした順に複数の画像を表示部６に表示する（ステップＳＴ４）。なお、顔領域の数が同一の場合には撮影日時の昇順に画像をソートするものとする。

図６は顔領域の数が多い順にソートした場合のソート結果の表示画面を示す図である。図６に示すようにソート結果の表示画面５０には、複数の画像のサムネイル画像をソート順に表示する表示エリア５１と、複数の画像が１画面に入りきらない場合に、表示エリア５１に表示される画像を切り替えるための矢印ボタン５２Ａ，５２Ｂが表示されている。

ユーザは、表示エリア５１に表示された複数の画像を見て、自分の顔が含まれる画像において、自分の顔を所定の顔Ｔ０として選択する。具体的には画像に含まれる自分の顔にタッチすることにより所定の顔Ｔ０を選択する。ここで、第１の実施形態においては、表示エリア５１に表示された複数の画像の上段における左から３番目の画像において、下の列にいる中央の顔を所定の顔Ｔ０として選択したものとする。選択した顔Ｔ０は他の顔と区別するために太枠が付与される。

なお、表示エリア５１に自分の顔が含まれている画像が表示されていない場合には、矢印ボタン５２Ａ，５２Ｂにタッチすることにより、自分が含まれる画像が表示されるまで表示エリア５１に表示される画像を切り替えることができる。

ＣＰＵ１２は、所定の顔Ｔ０が選択されたか否かを監視しており（ステップＳＴ５）、ステップＳＴ５が肯定されると、類似度算出部３６が、所定の顔Ｔ０と複数の画像にそれぞれ含まれる顔との類似度Ｒ１を算出する（ステップＳＴ６）。そして、類似度Ｒ１に基づいて所定の顔Ｔ０と各画像との類似度Ｒ２を算出する（ステップＳＴ７）。

そして、ソート部３８が所定の顔Ｔ０との類似度が高い順に複数の画像をソートし（ステップＳＴ８）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ９）、処理を終了する。なお、類似度が同一の場合には撮影日時の昇順に画像をソートするものとする。また、複数の画像のすべてを類似度順に表示する必要はなく、例えば類似度Ｒ２が所定のしきい値Ｔｈ１を超える画像のみをソートして表示するようにしてもよい。

図７は類似度が高い順にソートした場合のソート結果の表示画面を示す図である。図７に示すように表示画面５３の表示エリア５４には、複数の画像が類似度Ｒ２の順にて表示されている。また、表示画面５３には、複数の画像が１画面に入りきらない場合に、表示エリア５４に表示される画像を切り替えるための矢印ボタン５２Ａ，５２Ｂが表示されている。

図７に示すように、表示エリア５４に表示された各画像において、所定の顔Ｔ０との類似度が最も高い顔には太枠が付与されている。

そしてユーザが表示エリア５４に表示された画像からプリントする画像を選択し、プリントの指示を行うことにより、選択した画像がプリンタ８からプリント出力される。

ここで、団体旅行の添乗員が取得した画像や他の旅行者が取得した画像がまとめて保存されている場合には、大勢の人物が写っている画像ほど自分が写っている可能性が高くなる。

本発明の第１の実施形態によれば、複数の画像に含まれる顔領域の数が多い順に複数の画像をソートするようにしたため、写っている人物が多い画像ほど上位となるように複数の画像がソートされ、これにより、ユーザは自分が写っている画像を見つけやすくなる。

また、表示された複数の画像から例えば自分の顔等を所定の顔Ｔ０として選択し、所定の顔Ｔ０と複数の画像のそれぞれとの類似度Ｒ２を算出し、類似度Ｒ２が高い順に複数の画像を再ソートし、再ソートされた順に複数の画像を表示することにより、ユーザはより自分が写っている画像を見つけやすくなる。

なお、ユーザは、表示された複数の画像を見て、例えばプリントしたい画像を表示部６にタッチすることにより選択することができる。例えば、太枠で囲まれた自分の顔（すなわち所定の顔Ｔ０）を含む画像にタッチすることにより画像を選択することができる。

ここで、類似度算出部３６における類似度の算出は精度が１００％ではなく、自分の顔である所定の顔Ｔ０と似ている他人の顔を含む画像は、所定の顔Ｔ０との類似度が高くなってしまう。このため、所定の顔Ｔ０との類似度が高い順に画像をソートしたとしても、ソート順の上位に自分の顔である所定の顔Ｔ０を含まず、他人の顔のみを含む画像が含まれてしまう場合がある。

図８は所定の顔Ｔ０との類似度が高い８枚の画像が表示エリアに表示された状態を示す図である。図８に示すように、表示エリア５４には所定の顔Ｔ０との類似度が高い順に８つの画像Ｇ１〜Ｇ８が表示されるが、所定の顔Ｔ０として選択した顔をＡとすると、画像Ｇ１〜Ｇ８に含まれる顔Ａに太枠が付与されるはずである。

ここで、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７には顔Ａが含まれているため、顔Ａに太枠が付与されている。しかしながら、類似度算出部３６の類似度算出の精度は１００％ではないため、画像Ｇ４，Ｇ８に顔Ａに似ている顔Ｂが、画像Ｇ６に顔Ａに似ている顔Ｃが含まれていたとすると、画像Ｇ４，Ｇ８には顔Ａが含まれていないにも拘わらず、所定の顔Ｔ０との類似度が高くなる顔Ｂに太枠が付与されてしまう。また、画像Ｇ６には顔Ａが含まれていないにも拘わらず、所定の顔Ｔ０との類似度が高くなる顔Ｃに太枠が付与されてしまう。

ここで、ユーザはプリント注文を行う場合、通常自分の顔を含む画像のみを選択することから、図８に示す８つの画像Ｇ１〜Ｇ８のうち、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７のみを選択し、画像Ｇ４，Ｇ６，Ｇ８は選択しないこととなる。なお、図８においては選択した画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７に太枠を付与している。このような場合、選択した画像に含まれる所定の顔Ｔ０との類似度が最も高い太枠が付与された顔を用いて、選択した画像以外の他の画像を再ソートすることが好ましい。

以下、このように画像が選択された場合における再ソートの処理を第２の実施形態として説明する。図９は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態における再ソートは、表示エリアに表示する画像を切り替えるために、ページボタン５２Ａ，５２Ｂにユーザがタッチしたタイミングで行われるものとする。

ページボタン５２Ａ，５２ＢにユーザがタッチすることによりＣＰＵ１２が処理を開始し、類似度算出部３６が、選択されたすべての画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０について、特徴量ＦＰ１の平均値ＦＰＭ１を算出する（ステップＳＴ１１）。なお、特徴量ＦＰ１が平均値ＦＰＭ１となる顔を、所定の顔Ｔ０の平均顔ＴＭ０と称する。また、所定の顔Ｔ０の特徴量ＦＴ１を平均値ＦＰＭ１の算出に加えてもよい。

そして、類似度算出部３６は、平均値ＦＰＭ１と複数の画像にそれぞれ含まれる顔の特徴量ＦＰ１とを比較することにより、所定の顔Ｔ０の平均顔ＴＭ０と複数の画像にそれぞれ含まれる顔との類似度Ｒ１′を算出する（ステップＳＴ１２）。そして、類似度Ｒ１′に基づいて所定の顔Ｔ０の平均顔ＴＭ０と各画像との類似度Ｒ２′を算出する（ステップＳＴ１３）。なお、類似度Ｒ１′，Ｒ２′の算出は、上記第１の実施形態において所定の顔Ｔ０を平均顔ＴＭ０とした場合の類似度Ｒ１，Ｒ２の算出と同様であるため、ここでは詳細な説明は省略する。

そして、ソート部３８が所定の顔Ｔ０の平均顔ＴＭ０との類似度が高い順に、図８に示す選択された画像以外の複数の画像をソートし（ステップＳＴ１４）、ソートされた順に複数の画像を表示部６に表示し（ステップＳＴ１５）、処理を終了する。

図１０は第２の実施形態において再ソートを行うことにより類似度が高い８枚の画像が表示エリアに表示された状態を示す図である。図１０に示すように、表示エリア５４には図８において選択された画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７がこの順序にて表示されている。なお、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７には選択されたことを示す太枠が付与されている。また、画像Ｇ１〜Ｇ３，画像Ｇ５，Ｇ７に加えて、３つの新たな画像Ｇ１１〜Ｇ１３が表示エリア５４に表示される。第２の実施形態においては、所定の顔Ｔ０の平均顔ＴＭ０を用いて類似度が高い順に再ソートを行っているため、画像Ｇ１１〜Ｇ１３には、所定の顔Ｔ０に対応する顔Ａが含まれる確率が高くなる。これにより、第２の実施形態においては、ユーザは自分が写っている画像をより見つけやすくなる。

ユーザは表示エリア５４に表示された画像からプリントする画像を選択し、プリントの指示を行うことにより、選択した画像がプリンタ８からプリント出力される。

なお、上記第２の実施形態においては、表示エリア５４に表示する画像を切り替えるタイミングで再ソートを行っているが、ユーザが画像を選択する毎に選択した画像以外の他の画像について再ソートを行うようにしてもよい。

また、特徴量ＦＰ１の平均値ＦＰＭ１の算出は、選択されたすべての画像について行ってもよいが、選択された画像の数が多くなると、平均値ＦＰＭ１の演算に長時間を要するものとなる。このため、直近に選択されたあらかじめ定められた所定数の画像のみを用いて平均値ＦＰＭ１を算出するようにしてもよい。また、とくに、ユーザが自身の顔をあらかじめ写真店に登録しているような場合には、その顔の特徴量を算出し、算出した特徴量をも加えて平均値ＦＰＭ１を算出してもよい。

また、類似度算出部３６は、選択した画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０の特徴量ＦＰ１の平均値ＦＰＭ１を算出しているが、選択した画像に含まれる所定の顔Ｔ０に対応する対象顔Ｐ０の特徴量ＦＰ１を特徴量空間にマッピングし、そのマッピングされた空間の外側にある特徴量ＦＰ１のみを用いて平均値ＦＰＭ１を算出してもよい。例えば、特徴量空間が２次元である場合において、特徴量ＦＰ１が図１１に示すようにマッピングされたとすると、丸で囲んだプロットに対応する特徴量ＦＰ１のみを用いて平均値ＦＰＭ１を算出してもよい。

また、上記第１および第２の実施形態においては、１つの所定の顔Ｔ０を選択した場合について説明しているが、例えばユーザとユーザの家族のように複数の顔を所定の顔Ｔ０として選択してもよい。この場合、所定の顔Ｔ０のそれぞれについて複数の画像のそれぞれとの類似度Ｒ２が算出され、算出された類似度Ｒ２のうち最も大きい類似度を、選択した複数の顔Ｔ０と画像との類似度とすればよい。例えば、所定の顔Ｔ０を２つ選択した場合において、一方の顔をＴ０１、他方の顔をＴ０２とする。そして、顔Ｔ０１とある画像Ｓ１との類似度Ｒ２が０．５、顔Ｔ０２とある画像Ｓ１との類似度Ｒ２が０．６であったとすると、選択した複数の顔Ｔ０とその画像Ｓ１との類似度Ｒ２は０．６とすればよい。

また、上記第１の実施形態においては、類似度に基づいて複数の画像をソートする前に顔領域の数が多い順に複数の画像をソートしているが、顔領域の数が多い順に複数の画像をソートすることなく、直ちに類似度に基づいて複数の画像をソートしてもよい。この場合、類似度の算出の基準となる所定の顔Ｔ０は、ソートを行うユーザがあらかじめ写真店に登録したものであってもよく、プリント注文受付装置に顔撮影用のカメラを設け、そのカメラによりユーザの顔を撮影することにより取得したものであってもよい。また、ユーザのＩＤカードや、写真店のメンバーカード等にユーザの顔画像を記憶しておき、その画像を読み出して所定の顔Ｔ０として用いてもよい。

また、上記第１および第２の実施形態においては、顔領域の数が多い順にソートしたり、類似度が高い順にソートしたりする前に、撮影場所や撮影時間に応じてあらかじめ複数の画像を分類しておき、分類された画像単位でソートを行うようにしてもよい。

また、上記第１および第２の実施形態においては、類似度が高い順にソートした場合の表示画面において、所定の顔Ｔ０に対応する対象顔Ｐ０に太枠を付与しているが、例えば画像に顔Ａおよび顔Ｂの２つの顔が含まれ、所定の顔Ｔ０に対応する顔が顔Ａである場合において、偶然顔Ａが横を向いている等により、顔Ｂの方が所定の顔Ｔ０との類似度が高くなってしまうと、図１２（ａ）に示す画像Ｇ２０のように、顔Ａではなく顔Ｂに太枠が付与されてしまう。このような場合には、例えば図１２（ｂ）に示すように、ユーザが操作することにより、太枠を付与する顔を顔Ｂから顔Ａに変更できるようにすることが好ましい。

また、上記第１および第２の実施形態においては、所定の顔Ｔ０に対応する対象顔Ｐ０に太枠を付与しているが、とくに太枠を付与することなくソートされた画像を表示するようにしてもよい。但し、太枠を付与することにより、ソートが正しく行われているか否かを容易に判定することができるため、太枠を付与した方が好ましい。

また、上記第１および第２の実施形態においては、本発明による画像ソート装置を写真店の店頭に設置されたプリント注文装置に適用しているが、これに限定されるものではなく、ネットワーク経由でプリント注文を行う注文サーバに画像ソート装置を適用し、ネットワーク経由で注文サーバに保管された画像のソートを行うようにしてもよい。

以上、本発明の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部３２、カウント部３４、類似度算出部３６およびソート部３８に対応する手段として機能させ、図５および図９に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。

本発明の実施形態による画像ソート装置を適用したプリント注文受付装置の外観斜視図 本発明の第１の実施形態によるプリント注文受付装置の構成を示す概略ブロック図 所定の顔と画像に含まれる顔との類似度の算出を説明するための図（その１） 所定の顔と画像に含まれる顔との類似度の算出を説明するための図（その２） 第１の実施形態において行われる処理を示すフローチャート 顔領域の数が多い順にソートした場合のソート結果の表示画面を示す図 類似度が高い順にソートした場合のソート結果の表示画面を示す図 第１の実施形態において所定の顔Ｔ０との類似度が高い８枚の画像が表示エリアに表示された状態を示す図 第２の実施形態において行われる処理を示すフローチャート 第２の実施形態において再ソートを行うことにより、類似度が高い８枚の画像が表示エリアに表示された状態を示す図 特徴量の特徴量空間へのマッピングを示す図 太枠を付与する顔の変更を説明するための図

符号の説明

１ プリント注文受付装置
２ メモリカード
４ カードスロット
６ 表示部
８ プリンタ
１２ ＣＰＵ
１４ システムメモリ
１６ 入力部
２２ 圧縮解凍部
２４ ハードディスク
２６ メモリ制御部
２８ 表示制御部
３０ プリンタインターフェース
３２ 顔検出部
３４ カウント部
３６ 類似度算出部
３８ ソート部

Claims (3)

1. 複数の画像をソートする画像ソート装置において、
   前記複数の画像のそれぞれから顔領域を検出する顔検出手段と、
   前記複数の画像のそれぞれについて前記顔領域の数をカウントするカウント手段と、
   前記顔領域の数が多い順に前記複数の画像をソートするソート手段と、
   前記複数の画像を前記ソートされた順に表示する表示手段と、
   前記表示された複数の画像から所定の顔の選択の指示を受け付ける選択手段と、
   前記所定の顔と前記複数の画像のそれぞれとの類似度を算出する類似度算出手段とを備え、
   前記ソート手段は、前記類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手段であり、
   前記選択手段は、前記再ソートされた順に前記表示手段に表示された複数の画像から、所望とされる画像の選択の指示をさらに受け付ける手段であり、
   前記類似度算出手段は、前記所望とされる画像に含まれる前記所定の顔に対応する顔と、前記複数の画像のうちの前記所望とされる画像以外の他の画像との類似度を新たな類似度として算出する手段であり、
   前記ソート手段は、前記新たな類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手段であることを特徴とする画像ソート装置。
2. コンピュータが、複数の画像をソートする画像ソート方法において、
   前記複数の画像のそれぞれから顔領域を検出し、
   前記複数の画像のそれぞれについて前記顔領域の数をカウントし、
   前記顔領域の数が多い順に前記複数の画像をソートし、
   前記複数の画像を前記ソートされた順に表示手段に表示し、
   前記表示された複数の画像から所定の顔の選択の指示を受け付け、
   前記所定の顔と前記複数の画像のそれぞれとの類似度を算出し、
   前記類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示し、
   前記再ソートされた順に前記表示手段に表示された複数の画像から、所望とされる画像の選択の指示をさらに受け付け、
   前記所望とされる画像に含まれる前記所定の顔に対応する顔と、前記複数の画像のうちの前記所望とされる画像以外の他の画像との類似度を新たな類似度として算出し、
   前記新たな類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示することを特徴とする画像ソート方法。
3. 複数の画像をソートする画像ソート方法をコンピュータに実行させるためのプログラムにおいて、
   前記複数の画像のそれぞれから顔領域を検出する手順と、
   前記複数の画像のそれぞれについて前記顔領域の数をカウントする手順と、
   前記顔領域の数が多い順に前記複数の画像をソートする手順と、
   前記顔領域の数が多い順に前記複数の画像をソートする手順と、
   前記複数の画像を前記ソートされた順に表示手段に表示する手順と、
   前記表示された複数の画像から所定の顔の選択の指示を受け付ける手順と、
   前記所定の顔と前記複数の画像のそれぞれとの類似度を算出する手順と、
   前記類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手順と、
   前記再ソートされた順に前記表示手段に表示された複数の画像から、所望とされる画像の選択の指示をさらに受け付ける手順と、
   前記所望とされる画像に含まれる前記所定の顔に対応する顔と、前記複数の画像のうちの前記所望とされる画像以外の他の画像との類似度を新たな類似度として算出する手順と、
   前記新たな類似度が高い順に前記複数の画像を再ソートし、該再ソートされた順に前記複数の画像を前記表示手段に表示する手順とをコンピュータに実行させることを特徴とするプログラム。

Images