JP5293422B2 - 画像特定装置及び画像特定プログラム - Google Patents

Description

本発明は、画像特定装置及び画像特定プログラムに関する。

この種の技術として、例えば、特許文献１には、再生表示中の撮影画面上において人物Ａを指でタッチすると、人物Ａに対応する画像データに基づいて顔位置情報と顔情報とが抽出され、メモリに格納され、この顔位置情報と顔情報とに基づいて、記録媒体内に記録された画像の中から人物Ａの含まれる画像が検索される技術が開示されている。

また、特許文献２には、個人認証装置は、記録メディアに記録されている最終の画像ファイル（最後に記録された画像ファイル）から検出された顔Ｘの特徴量の情報を取得して、記録メディア内の他の画像ファイルの顔の特徴量と比較し、記録メディアに記録された画像ファイルの中から、最後の記録に係る画像ファイルと同一人物の顔を含む画像ファイル（関連画像）を特定する技術が開示されている。

特開２００７−３１０８１３号公報 特開２００７−３２９６７９号公報

しかしながら、特許文献１及び２は、複数の画像から所定のユーザと同一人物の被写体（例えば顔）が写った画像を特定する技術を開示するのみであった。

上記点に鑑み、本発明は、新たな基準によって、所定のユーザと同一人物の被写体が写っていない画像も特定できる画像特定装置及び画像特定プログラムを提供することを目的とする。

本発明の第一の観点に係る画像特定装置は、表示部の表示面の前方を撮影した撮影画像のデータである撮影画像データを取得し、取得した前記撮影画像データを分析して前記撮影画像における撮影対象の状態を検出する状態検出手段と、前記状態検出手段が検出した前記撮影対象の状態に基づいて前記表示部に表示する画像の画像データを特定する画像特定手段と、を備え、前記撮影対象の状態は、前記撮影画像における前記撮影対象の位置を含み、前記画像特定手段は、前記撮影画像における前記撮影対象の位置と所定の関係を満たす位置に被写体が写った画像の画像データを、前記表示部に表示する前記画像の前記画像データとして特定することを特徴とする。

本発明の第二の観点に係る画像特定プログラムは、コンピュータに、表示部の表示面の前方を撮影した撮影画像のデータである撮影画像データを取得し、取得した前記撮影画像データを分析して前記撮影画像における撮影対象の状態を検出する状態検出ステップと、前記状態検出ステップで検出した前記撮影対象の状態に基づいて前記表示部に表示する画像の画像データを特定する画像特定ステップと、を行わせ、前記撮影対象の状態は、前記撮影画像における前記撮影対象の位置を含み、前記画像特定ステップは、前記撮影画像における前記撮影対象の位置と所定の関係を満たす位置に被写体が写った画像の画像データを、前記表示部に表示する前記画像の前記画像データとして特定するステップを含むことを特徴とする。

本発明に係る画像特定装置、表示制御装置、画像特定プログラム、及び、表示制御プログラムによれば、新たな基準によって、所定のユーザと同一人物の被写体が写っていない画像も特定できる。

本発明の一実施形態に係る画像特定装置の各部の関係を示すブロック図である。 本発明の一実施形態に係る画像特定装置のハードウェア構成を示す図である。 本発明の一実施形態に係る画像特定装置を正面から見た正面図である。 本発明の一実施形態に係る画像特定装置が行う画像特定・表示処理を示すフローチャートである。 本発明の一実施形態に係る画像特定装置が行う記録画像データの処理を説明するための図である。 本発明の一実施形態に係る画像特定装置が生成する被写体状態情報のデータ内容の一例を示す図である。 本発明の一実施形態に係る画像特定装置が生成する記録画像情報のデータ内容の一例を示す図である。 本発明の一実施形態に係る画像特定装置が生成する記録画像情報データテーブルのデータ内容の一例を示す図である。 本発明の一実施形態に係る画像特定装置が行う撮影画像データの処理を説明するための図である。 本発明の一実施形態に係る画像特定装置が生成する撮影対象状態情報のデータ内容の一例を示す図である。 本発明の一実施形態に係る画像特定装置が生成する撮影画像情報のデータ内容の一例を示す図である。 本発明の一実施形態に係る画像特定装置が表示する画像と撮影対象との関係の一例を説明する図である。 本発明の一実施形態に係る画像特定装置が表示する画像と撮影対象との関係の他の例を説明する図である。 本発明の一実施形態に係る画像特定装置が表示する画像と撮影対象との関係の他の例を説明する図である。 本発明の一実施形態に係る画像特定装置が表示する画像と撮影対象との関係の他の例を説明する図である。 本発明の一実施形態に係る画像特定装置が生成する記録画像情報のデータ内容の他の例を示す図である。 本発明の一実施形態に係る画像特定装置が生成する撮影画像情報のデータ内容の他の例を示す図である。 本発明の一実施形態に係る画像特定装置が表示する画像と撮影対象との関係の他の例を説明する図である。 本発明の一実施形態に係る画像特定装置が表示する画像と撮影対象との関係の他の例を説明する図である。

本発明の一実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来るのはもちろんである。本発明に係る画像特定装置は、例えばコンピュータによって実現される。また、本発明に係る画像特定装置は、表示制御装置であってもよい。

本実施形態に係る画像特定装置１は、デジタルフォトスタンド（デジタルフォトフレームともいう。）である（図３参照）。デジタルフォトスタンドは、画像（例えば、デジタルカメラで撮影したデジタル写真）を表示再生する。

まず、画像特定装置１の構成を説明する。図１のように、画像特定装置１は、制御部１０と、記憶部２０と、撮影部３０と、表示部４０と、入力部５０と、読出部６０と、を備える。なお、各部の機能の少なくとも一部は、ネットワークを介して画像特定装置１と通信可能な他の装置に設けても良い。

制御部１０は、各部の制御を行い、画像特定装置１全体の制御を行う。また、制御部１０は、画像特定部１０ａと、状態検出部１０ｂと、を備え、後述の画像特定・表示処理を行う。

記憶部２０は、後述のメモリーカード１００から読み出した記録画像データ、及び、後述の画像特定・表示処理で生成したデータ等のデータを必要に応じて記憶する。

撮影部３０の少なくとも一部（撮影装置３１の少なくとも一部）は、撮影レンズが表示部４０の表示面の前方を向くように、表示部４０のフレーム等に固定される（図３参照）。撮影部３０は、制御部１０の制御のもと、表示部４０の表示面の前方を撮影する。ここで、表示面の前方とは、例えば、表示面の光の出射方向の少なくとも一部、又は、表示面の法線方向から一定範囲方向として規定される。撮影部３０は、表示部４０の前方を撮像し、撮像した静止画像を表す撮像信号を生成し、生成した撮像信号をもとに、デジタルの静止画像元データを生成する。撮影部３０は、生成した静止画像元データを制御部１０に順次供給する。このようにして、撮影部３０は静止画像の連続である動画像を撮影する。

表示部４０は、制御部１０の制御のもと、画像を表示する。特に、表示部４０は、記録画像データによって表現される記録画像を表示する。

入力部５０は、ユーザの操作入力を受け付け、受け付けた操作に対応する操作入力データを制御部１０に供給する。

メモリーカード１００は、複数の記録画像データを記憶する。この記録画像データは、予め撮影されて所定の記憶媒体に記録される画像データであればよく、記録される媒体はメモリーカード１００に限られない。また、記録画像データによって表現される画像を記録画像という。

読出部６０は、制御部１０の制御のもと、メモリーカード１００から所定の記録画像データを読み出し、制御部１０に供給する。

次に、画像特定装置１のハードウェア構成の一例を説明する。画像特定装置１は、図２のように、ＣＰＵ（Central Processing Unit）１１と、一次記憶装置１２と、二次記憶装置２１と、撮影装置３１と、駆動回路４１と、表示パネル４２と、入力装置５１と、読出装置６１と、を備える。

図１の制御部１０は、例えば、ＣＰＵ１１と、一次記憶装置１２と、によって構成される。一次記憶装置１２は、ＲＡＭ（Random Access Memory）等によって構成される。制御部１０は、ＣＰＵ１１と、ＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）等と、を含んで構成されてもよい。この場合、ＣＰＵ１１が行う後述の画像特定・表示処理の一部（画像データの処理等）をＡＳＩＣ等が行う。ＡＳＩＣは、例えば、ＤＳＰ（Digital Signal Processor）である。

図１の記憶部２０は、二次記憶装置２１によって構成される。二次記憶装置２１は、フラッシュメモリ又はハードディスク等によって構成される。二次記憶装置２１は、画像特定プログラム２５を記録している。画像特定プログラム２５は、一次記憶装置１２に展開される。

ＣＰＵ１１は、一次記憶装置１２に展開された画像特定プログラム２５の指令に基づいて後述の画像特定・表示処理を行う。また、一次記憶装置１２にはＣＰＵ１１が処理するデータが記録される。制御部１０が他の部から受け取る又は制御部１０が他の部に供給するデータは、例えば、一旦、一次記憶装置１２に記録されることになる。ＣＰＵ１１は一次記憶装置１２に記録されたデータを読み出し演算等して、演算結果のデータを一次記憶装置１２に記録する。一次記憶装置１２には、ＣＰＵ１１の作業領域が設けられる。なお、制御部１０が備える画像特定部１０ａと、状態検出部１０ｂとは、それぞれ、画像特定プログラム２５に従って後述の画像特定・表示処理の一部を行うＣＰＵ１１と、一次記憶装置１２の所定の記憶領域と、によって構成される。

一次記憶装置１２及び二次記憶装置２１は、後述のメモリーカード１００から読み出した記録画像データ、及び、後述の画像特定・表示処理で使用するデータ等のデータを記憶する。また、一次記憶装置１２及び二次記憶装置２１が記憶するデータは、ＣＰＵ１１によって、必要に応じて消去又は他のデータによって上書きされる。

画像特定プログラム２５は、持ち運び可能な記憶媒体等に記録されてもよい。持ち運び可能な記憶媒体は、例えば、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）又はＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等である。画像特定プログラム２５は、持ち運び可能な記憶媒体から各種の読取装置を介して画像特定装置１にインストールされてもよい。また、画像特定プログラム２５は、インターネット等のネットワークから各種の通信部を介して画像特定装置１にダウンロード及びインストールされてもよい。また、画像特定プログラム２５は、画像特定装置１と通信可能なサーバ等の記憶装置に格納されて、ＣＰＵ１１への指示を行っても良い。画像特定プログラム２５を記憶した読み取り可能な記憶媒体（例えば、ＲＡＭ、ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＤＶＤ−Ｒ、ハードディスク、又は、フラッシュメモリ）は、コンピュータが読み取り可能なプログラム製品となる。

図１の撮影部３０は撮影装置３１（図３も参照）から構成される。撮影装置３１は、撮影レンズが表示パネル４２の表示面の前方を向くように、撮影装置３１の少なくとも一部が表示部４０のフレーム等に固定される（図３参照）。撮影装置３１は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を備えるカメラ等によって構成される。撮像素子は、一定周期毎の像のＲＧＢ（Red Green Blue）値の各色の光の強さを光電変換して撮像信号を順次生成する。撮影装置３１は、撮像信号に各種処理を行って、デジタルの静止画像元データを順次生成する。このようにして、撮影装置３１は、表示パネル４２（表示部４０）の前方を順次撮像し、撮像した静止画像を表す撮像信号を生成し、生成した撮像信号をもとに、デジタルの静止画像元データを順次生成する。撮影装置３１は、生成した静止画像元データを、例えば、一次記憶装置１２に順次供給する。一次記憶装置１２は、供給された静止画像元データを順次受け取って、受け取った静止画像元データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する静止画像元データを用いて後述の処理を行う。なお、上記の各種処理としては、例えば、相関二重サンプリング（Correlated Double Sampling）、サンプリング後の撮像信号に施す自動利得調整（Automatic Gain Control）、及び、自動利得調整後のアナログの撮像信号をデジタル信号に変換するアナログ・デジタル変換等がある。連続する静止画像元データは、動画像の元データとなる。

図１の表示部４０は、駆動回路４１と、表示パネル４２（図３も参照）と、によって構成される。駆動回路４１には、記録画像データの記録画像を表す再生データが供給される。駆動回路４１は、供給された再生データを受け取り、受け取った再生データに基づいて表示パネル４２を駆動し、表示パネル４２に記録画像を再生表示する。表示パネル４２は、例えば、液晶表示パネル又は有機ＥＬ表示パネル等によって構成される。このように、表示パネル４２は、ＣＰＵ１１の制御のもと、記録画像データが表現する記録画像を表示する。

図１の入力部５０は、入力装置５１によって構成される。入力装置５１は、例えば、再生キー、特定キー、停止キー等を備える。ユーザがこれらのキーを操作すると、入力装置５１は各キーに応じた操作入力データを一次記憶装置１２に供給する。一次記憶装置１２は供給された操作入力データを受け取り、受け取った操作入力データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する操作入力データを用いて後述の処理を行う。

なお、図１の表示部４０と入力部５０とをタッチパネルによって構成してもよい。この場合、表示パネル４２及び入力装置５１は、タッチパネルによって構成される。タッチパネルは、所定の入力画面を表示するとともに、操作入力データを一次記憶装置１２に供給する。

メモリーカード１００は、フラッシュメモリタイプのメモリーカード等によって構成される。メモリーカードとしては、デジタルカメラが撮影した画像のデータ（記録画像データ）を記録するＳＤメモリーカード等がある。

図１の読出部６０は、読出装置６１によって構成される。読出装置６１は、メモリーカード１００に記録された記録画像データを読み出す適宜の装置によって構成される。読出装置６１は、メモリーカード１００に記録された記録画像データを読み出し、読み出した記録画像データを一次記憶装置１２に供給する。一次記憶装置１２は、供給された記録画像データを受け取り、受け取った記録画像データを記憶する。ＣＰＵ１１は、一次記憶装置１２が記憶する記録画像データを用いて後述の処理を行う。

バス９０は、このバス９０に接続された各構成要素でやりとりされるデータ等を伝送する伝送路である。

次に画像特定装置１が行う画像特定・表示処理を図４乃至図１９を参照して説明する。

この画像特定・表示処理は、ユーザによる入力部５０の操作を契機として始まる。例えば、メモリーカード１００が読出部６０に挿入される等して、読出部６０がメモリーカード１００に記録された記録画像データを読み取り可能になった場合、画像特定装置１は表示部４０にその旨を表示させる。そして、画像特定装置１は、ユーザが入力部５０の再生キーを操作すると、画像特定・表示処理を開始する。なお、処理中、ユーザが入力部５０の停止キーを操作すると、この処理が処理中であっても、画像特定装置１はこの処理を終了するものとする。また、メモリーカード１００には所定数の記録画像データが記録されているものとする。ここでの記録画像データは、例えば、デジタルカメラ等で撮影された静止画像データであり、ＪＰＥＧ（Joint Photographic Experts Group）等のファイル形式になっている。なお、記録画像データは、ＡＶＩ（Audio Video Interleave）等の動画像データであってもよい。

画像特定部１０ａは、ｎ＝０を設定する（ステップＳ１０１）。ｎは、メモリーカード１００から読み出す記録画像データの番号を示すものである。画像特定部１０ａは、ｎ＝ｎ＋１とする（ステップＳ１０２）。画像特定部１０ａは、読出部６０を介してメモリーカード１００に記録された記録画像データをｎ番目の画像データとして読み出す（ステップＳ１０３）。画像特定部１０ａは、この際、同一の記録画像データを重複して読み出さないようにする。

画像特定部１０ａは、読み出したｎ番目の記録画像データを分析する（ステップＳ１０４）。具体的には、例えば、画像特定部１０ａは、分析対象である記録画像データの記録画像における被写体を含む被写体領域の状態を検出することによって、ｎ番目の記録画像データを分析する。このような分析によって、画像特定部１０ａは、ｎ番目の記録画像データの記録画像における被写体の状態を検出する（ステップＳ１０４）。被写体領域は被写体を含むものである。このため、画像特定部１０ａは、例えば、被写体領域の状態を検出することによって、被写体の状態を検出する。

なお、画像特定部１０ａは、ｎ番目の記録画像データを分析するときに、この記録画像データの記録画像の縦横の辺の比を把握し、把握した縦横の辺の比が予め設定された辺の比と同じであるか判断する。予め設定された辺の比とは、例えば、後述の撮影画像及び表示部が表示する画像の辺の比である。例えば、撮影画像の辺の比は、表示部が表示する画像の辺の比（つまり、表示部４０の表示面の辺の比）と同じに設定されている。両者の辺の比が同じである場合、画像特定部１０ａは、記録画像データを編集せずにそのまま被写体の状態の把握を試みる。両者の辺の比が異なる場合には、画像特定部１０ａは、記録画像の縦横の辺の比が予め設定された辺の比となるように、記録画像データを編集し、編集した記録画像データを分析して、被写体の状態の把握を試みる。例えば、記録画像の縦の辺の長さに対する記録画像の横の辺の長さが、予め設定された辺の比に対して短い場合、画像特定部１０ａは、記録画像を横方向中央に置いて、横方向両側の足りない部分に対応する二つの領域（足りない部分の辺×縦の辺の領域）に黒色等の画像又は所定の背景画像等を記録画像に付加した新たな記録画像データを生成することによって、記録画像データを編集する。また、記録画像の縦の辺の長さに対する記録画像の横の辺の長さが、予め設定された辺の比に対して長い場合、画像特定部１０ａは、例えば、画像の横方向の両端部の横の辺の長い部分に対応する二つの領域（長い部分の辺×縦の辺の領域）を削除した新たな記録画像データを生成することによって、記録画像データを編集する。画像特定部１０ａは、記録画像データを編集した場合、編集後の、つまり、編集によって新たに生成した、新たな画像データが予め撮影され記録された記録画像データであるとして、以下の処理で扱う。つまり、記録画像データは、適宜編集されたデータであってもよい。

ここで、被写体とは、例えば、人物又は動物の特徴的部分である。特徴的部分とは、例えば、人物又は動物の顔である。特徴的部分は、画像特定装置１が画像上でこの特徴的部分を把握できる人物又は動物の少なくとも一部分であればよい。以下では被写体は、人物の顔であるとして説明する。

画像特定部１０ａは、例えば、記録画像データが表現する記録画像を複数の分割領域に分割するとともに、被写体を検出し、検出した被写体がどの分割領域に位置するかを把握し、把握した被写体の位置を示す情報を生成することによって、被写体の位置という被写体の状態を検出する。画像特定部１０ａは、被写体の位置の把握等に被写体領域の検出等を用いる。ここでは、被写体領域の状態がそのまま被写体の状態になる。

各分割領域は、例えば、図５に示す、記録画像データの記録画像を横方向に四分割した四つの分割領域Ａ１乃至Ａ４である。各分割領域は、これに限らず、例えば、画像の縦方向及び横方向に２分割した、画像を四分割した各領域（左上、左下、右上、及び、右下の各領域）であってもよい。

図５の記録画像では、人物５１１と、人物５１２と、が写っている。そして、第１の被写体である、人物５１１の顔５１１ａは分割領域Ａ２内にある。また、第２の被写体である、人物５１２の顔５１２ａは分割領域Ａ４内にある。画像特定部１０ａは、顔（被写体）５１１ａを含む顔領域（被写体領域）５２１及び顔（被写体）５１２ａを含む顔領域（被写体領域）５２２を検出する。そして、画像特定部１０ａは、検出した顔領域５２１が分割領域Ａ２内に位置すると把握する。また、画像特定部１０ａは、検出した顔領域５２２が分割領域Ａ４内に位置すると把握する。画像特定部１０ａは、例えば、検出した顔領域の位置情報等により、顔領域がどの分割領域に位置するか把握する。これら顔領域の位置が顔の位置になるので、顔領域の位置によって被写体の位置がどの分割領域内に位置しているか把握されたことになる。

画像特定部１０ａは、被写体の状態（ここでは、各分割領域Ａ１乃至Ａ４内に顔領域があるか）を把握すると、把握した被写体の状態を示す情報である被写体状態情報を生成することで、被写体の状態を検出する。さらに、画像特定部１０ａは、生成した被写体状態情報を記憶部２０に記録する（ステップＳ１０４）。このとき、画像特定部１０ａは、ｎ番目の記録画像データを特定するための情報である記録画像特定情報と、ｎ番目の記録画像データ（上記で編集した場合には、編集後の記録画像データ）と、を前記の被写体状態情報に対応付けて記憶部２０に記録する（ステップＳ１０４）。記録画像特定情報は、ここでは、画像ナンバーであり、ｎの数字がそのまま用いられる。記録画像特定情報は、画像特定部１０ａが適宜生成した情報であってもよい。被写体状態情報と、記録画像特定情報と、画像データとを含む情報は、記録画像情報となる。なお、記録画像情報は、記録画像特定情報を含まなくてもよい。

ここで、図５の記録画像の被写体を分析して生成した被写体状態情報の内容を図６に示す。また、図５の記録画像の記録画像データが２番目の記録画像データであるとしたときの記録画像情報の内容を図７に示す。図５の記録画像では分割領域Ａ２内と分割領域Ａ４内に被写体（顔）が位置しているので、被写体状態情報は、図６及び図７のようにＡ１＝×、Ａ２＝○、Ａ３＝×、Ａ４＝○という位置情報を含む。また、図７のように、図５の記録画像データの記録画像特定情報は「２」である。また、図７の記録画像データは図５の記録画像の記録画像データの内容（図７では「ｘｘｘ」となっている。）になる。記録画像上に被写体が存在しない場合、画像特定部１０ａは、被写体が存在しないという被写体の状態を検出することになる。この場合、被写体状態情報は、Ａ１＝×、Ａ２＝×、Ａ３＝×、Ａ４＝×となる。

なお、顔領域が複数の分割領域にまたがって位置する場合、画像特定部１０ａは、例えばこの顔領域を構成する画素を最も多く含む分割領域にこの顔領域が位置すると判断する等、予め定められた方法によって顔領域がどの分割領域に位置するかを判断する。なお、複数の分割領域が同じ数の前記顔領域の画素を含んでいる場合、画像特定部１０ａは、同じ数の画素を含む複数の分割領域のうちのランダムに決定した分割領域に前記顔領域が位置すると判断する等、予め定められた方法によって顔領域がどの分割領域に位置するかを判断する。

このステップＳ１０４で行われる撮影対象領域（特に顔領域）の検出については、公知の方法を採用できる。例えば、特開２０００−１０５８１９号公報に記載の手法のように入力画像から肌色領域を抽出することによって顔領域を検出しても良いし、特開２００６−２１１１３９号公報又は特開２００６−７２７７０号公報に記載の手法を用いて顔領域を検出しても良い。

例えば、画像特定部１０ａは、記録画像内に設定された着目領域の画像と所定のテンプレート顔画像とを対比して両画像の類似度を判定し、その類似度に基づいて着目領域に顔が含まれているか否かを判定する。つまり、両画像の類似度がある基準を満たす場合には、着目領域は顔領域である。つまり、画像特定部１０ａが顔領域を検出したことになる。類似判定は、顔であるか否かを識別するのに有効な特徴量を抽出することによって行う。特徴量は、水平エッジ、垂直エッジ、右斜めエッジ、及び、左斜めエッジ等である。

記録画像において着目領域は一画素ずつ左右方向又は上下方向にずらされる。そして、ずらされた後の着目領域内の画像とテンプレート顔画像とが対比されて、再度、両画像の類似度が判定される。このように、着目領域は、例えば記録画像の左上から右下方向に向けて１画素ずつずらされながら、更新設定される。また、記録画像を一定割合で縮小し、縮小後の画像に対して、同様の顔検出処理を行ってもよい。このような処理を繰り返すことにより、記録画像中から任意の大きさの顔領域を検出することができる。

なお、記録画像データの画像が動画像である場合には、画像特定部１０ａは、例えば、前記と同様の各分割領域内に、所定時間以上（所定数以上のフレーム画像（動画を構成する静止画）に）留まる顔領域がいくつあるかを把握する。このようにして、画像特定部１０ａは、上記の被写体状態情報と同様のデータを生成できる。

なお、画像データが動画像である場合の処理においては、画像特定部１０ａは、顔領域の追跡処理を行って、各分割領域内に、所定時間以上（所定数以上のフレーム画像（一定数動画を構成する静止画）に）留まる顔領域があるかを把握するとよい。

この場合、画像特定部１０ａは、この動画上の顔領域を追跡する。ここで、或るフレーム画像を基準フレーム画像と呼ぶ。画像特定部１０ａは、まず基準フレーム画像から顔領域を検出する。検出方法は、上記と同様である。そして、画像特定部１０ａは、基準フレームの次のフレームのフレーム画像内における顔領域を追跡処理によって特定する。ここで、時間的に互いに隣接する２つのフレーム画像を前フレーム画像及び現フレーム画像と呼ぶ。画像特定部１０ａは、前フレーム画像における顔の位置の近傍領域を探索領域とし、現フレーム画像の探索領域内で画像マッチング処理を行うことにより現フレーム画像の顔領域を検出することができる。画像マッチング処理では、例えば、前フレーム画像における顔の位置を中心とした矩形領域内の画像をテンプレート画像として、そのテンプレート画像と現フレーム画像の探索領域内の画像との類似性を計算することにより、現フレーム画像から顔領域を検出する。類似度に関する一定の条件を満たす探索領域が顔領域になる。画像特定部１０ａは、このような検出処理を繰り返し行うことで、基準フレーム画像にて検出された顔領域を、基準フレーム画像以降の動画像内で追跡する。

画像特定部１０ａは、メモリーカード１００から読み出していない記録画像データがあるかを、メモリーカード１００を参照して判断し（ステップS１０５）、読み出していない記録画像データがある場合（ステップS１０５；ＹＥＳ）、すべての記録画像を読み出すまで、ステップS１０２乃至ステップS１０４の処理を繰り返す。この繰り返される処理によって、記憶部２０には記録画像情報が蓄積される。蓄積された記録画像情報は、記録画像情報データテーブルを構成する（図８参照）。図８の表の一行が記録画像情報の内容である。

なお、上記では、画像特定部１０ａは、記録画像データを読み出すたびに記録画像データの分析を行っているが、複数の記録画像データを読み出してから一つずつ分析してもよい。

このようにして、画像特定部１０ａは、予め撮影されて記録された画像データ（記録画像データ）を取得し、取得した画像データを分析し、分析した画像データの画像の被写体の状態を検出する（なお、この方法は、上記方法には限らない）。

ステップS１０５の処理で画像特定部１０ａが読み出していない記録画像データがないと判断すると（ステップS１０５；ＮＯ）、画像特定部１０ａは、メモリーカード１００から読み出した記録画像データの記録画像を任意の順序で所定間隔順次表示していく（ステップＳ１０６）。具体的には、画像特定部１０ａは、記憶部２０に記録した記録画像データを記憶部２０から所定の期間毎に順次読み出す。次に、画像特定部１０ａは、この順次読み出した記録画像データ毎に所定の処理（復号化、逆量子化、及び、表示部４０の表示領域に合わせるための画像の拡大・縮小等）を施して再生用の再生データを生成する。画像特定部１０ａは、生成した再生データを表示部４０に供給する。表示部４０は、画像特定部１０ａが供給する再生データを受け取り、受け取った再生データ用いて、前記の記録画像データが表す記録画像を表示する。このような処理が、各記録画像データそれぞれについて任意の順序（例えば画像ナンバー順）で繰り返し行われる。このようにして、表示部４０は、記録画像データの記録画像を所定の期間毎に切り替えて順次表示する。この表示処理は、新たな表示処理（後述のステップＳ１１４の処理）が開始されるまで繰り返し行われ、全ての画像を表示し終わっても再度表示処理が行われる。これは、後述のステップＳ１１４の処理でも同様である。

画像特定部１０ａが画像の表示処理を開始すると、状態検出部１０ｂは撮影部３０に表示部４０の前方の撮影を開始させる（ステップＳ１０７）。例えば、撮影部３０は、状態検出部１０ｂの制御のもと、表示部４０の前方を撮影して上述の静止画像元データを順次生成し、生成した静止画像元データを状態検出部１０ｂに順次供給する。そして、状態検出部１０ｂは、撮影部３０が出力した静止画像元データを順次受け取り、受け取った静止画像元データに必要な処理（ホワイトバランス調整、ガンマ補正、及び圧縮処理等）を順次施し、顔領域の検出が可能な画像データ（撮影画像データ）に順次変換する。また、状態検出部１０ｂは、前記必要な処理の際に画像を左右反転させる処理を行うとよい。撮影部３０が撮影する撮影画像は、表示部４０を見る方向とは逆の方向から撮影された画像である。前記の左右反転させる処理によって、撮影画像の撮影対象と画像データの画像の被写体との位置を比較することが容易にできることになる。このようにして、状態検出部１０ｂは、表示部４０の前方を撮影した撮影画像のデータである撮影画像データを順次取得していく。なお、左右反転させる処理をしないときは、画像特定部１０ａ及び状態検出部１０ｂは、撮影画像と記録画像との位置関係が左右逆になることを前提として、画像特定・表示処理を行う。例えば、被写体の位置と撮影対象の位置とを比較する場合等には、どちらかの位置を左右逆として処理を行う。なお、撮影画像データは、そのデータから撮影画像を表現できるデータであればよく、前記のように撮影画像を反転させた画像の画像データ等であってもよい。この撮影画像データの画像（撮影画像）の連続が動画となる。例えば、状態検出部１０ｂは、所定数の撮影画像データを状態検出部１０ｂの記憶部（例えば、一次記憶装置１２の記憶領域の一部）で記憶する。状態検出部１０ｂが所定数の撮影画像データを記憶した後、状態検出部１０ｂが新たに撮影画像データを取得すると、状態検出部１０ｂは、新たな撮影画像データを前記の記憶部に最も古く記録される撮影画像データに上書きして記憶する。

状態検出部１０ｂは、ステップＳ１０８の処理を行う時点で取得している撮影画像データを分析し、撮影画像データが表す撮影画像内の撮影対象の状態を検出する（ステップＳ１０８）。このようにして、状態検出部１０ｂは、撮影部３０が撮影する動画を分析して、撮影対象の状態（ここでは、撮影対象の位置）を検出する。撮影対象の状態を検出する方法は、上記の被写体の状態の検出方法と同様の方法でできるので、下記では撮影対象の検出の主な点についてのみ説明し、他の詳細な説明は上記の被写体の状態の検出方法の説明に準じる。撮影対象の状態の検出には、上記の被写体の状態の検出方法と同様に撮影対象を含む撮影対象領域が用いられる。撮影対象領域の状態が撮影対象の状態と考えることができる。

状態検出部１０ｂは、例えば、上記のように、撮影画像データが表現する撮影画像を複数の分割領域に分割するとともに、撮影対象（ここでは、撮影対象領域）を検出し、検出した撮影対象がどの分割領域に位置するかを把握し、把握した撮影対象の位置を示す情報を生成することによって、撮影対象の位置という撮影対象の状態を検出する。

図９のように、各分割領域は、例えば、撮影画像データの撮影画像を横方向に四分割した四つの分割領域Ｂ１乃至Ｂ４である。各分割領域は、これに限らず、例えば、画像の縦方向及び横方向に２分割した、画像を四分割した各領域（左上、左下、右上、及び、右下の各領域）であってもよい。但し、撮影画像内の各分割領域Ｂ１乃至Ｂ４と、記録画像の各分割領域Ａ１乃至Ａ４と、は、それぞれ、数字が同じもの同士対応しているものとする。つまり、両者の形状は、同じであるか、相似の関係にある。また、両者は、画像における位置が同じである。例えば、分割領域Ｂ１の横の辺と画像全体の横の辺との比は、分割領域Ａ１の横の辺と画像全体の横の辺との比と同一になる。

図９の撮影画像では、人物９１１が写っている。そして、撮影対象である、人物９１１の顔９１１ａは分割領域Ｂ４内にある。状態検出部１０ｂは、顔（撮影対象）９１１ａを含む顔領域（撮影対象領域）９２１を検出する。そして、状態検出部１０ｂは、検出した顔領域９２１が分割領域Ｂ４内に位置すると把握する。状態検出部１０ｂは、検出した顔領域の位置から、検出した顔領域がどの分割領域に位置するかを把握する。これら顔領域の位置が顔の位置になるので、顔領域の位置によって被写体の位置がどの分割領域内に位置しているか把握されたことになる。なお、状態検出部１０ｂは、撮影対象領域を複数検出した場合には、例えば、そのうちの一つを任意の方法（例えばランダム）で選択し、選択した撮影対象領域を検出した撮影対象領域とする。状態検出部１０ｂは、撮影対象領域を複数検出した場合には、全ての撮影対象領域が位置する分割領域を把握してもよい。

状態検出部１０ｂは、撮影対象の状態（ここでは、各分割領域Ｂ１乃至Ｂ４内に顔領域があるか）を把握すると、把握した撮影対象の状態を示す情報である撮影対象状態情報を生成することで、撮影対象の状態を検出する。なお、このときに、状態検出部１０ｂは、検出した撮影対象領域の画像データである撮影対象領域画像データを撮影画像データから取り出し、撮影対象状態情報に対応付け、対応付けた両者を保持する。状態検出部１０ｂは、撮影対象領域を複数検出した場合には、例えば、そのうちの一つを任意の方法（例えばランダム）で選択し、選択した撮影対象領域の画像データを前記の撮影対象領域画像データとして撮影対象状態情報に対応付け、対応付けた両者を保持する。撮影対象状態情報と、撮影対象領域画像データとは、撮影画像情報を構成する。状態検出部１０ｂは、撮影画像情報を生成する。

ここで、図９の撮影画像を分析して生成した撮影対象状態情報の内容を図１０に示し、撮影画像情報の内容を図１１に示す。図９の撮影画像では分割領域Ｂ４内に撮影対象（顔）が位置しているので、撮影対象状態情報は、図１０のようにＢ1＝×、Ｂ２＝×、Ｂ３＝×、Ｂ４＝○という位置情報を含む。なお、撮影画像上に撮影対象が存在しない場合、画像特定部１０ａは、撮影対象が存在しないという被写体の状態を検出することになる。この場合、撮影対象状態情報は、Ｂ1＝×、Ｂ２＝×、Ｂ３＝×、Ｂ４＝×という位置情報を含む。また、図１１のように、撮影対象状態情報と撮影対象領域画像データとによって、撮影画像情報が構成される。

なお、状態検出部１０ｂは、順次取得する撮影画像データを用いて上記と同様の方法により、撮影画像の撮影対象を追跡してもよい。この場合、状態検出部１０ｂは、画像特定部１０ａが行う被写体の追跡（ステップＳ１０４の説明参照）と同様、撮影対象を含む撮影対象領域を追跡することによって、撮影対象を追跡していく。状態検出部１０ｂは、ステップＳ１０８の処理を行うときに、追跡している撮影対象の位置情報をもとに、撮影対象の位置を把握し、把握した撮影対象の位置から前記の撮影対象状態情報を生成し、撮影対象の状態を検出する。このような処理によって処理負担を軽減できる。なお、追跡する撮影対象が複数ある場合には、その中の一つを任意の方法（例えばランダム）によって選択し、選択した撮影対象を追跡するか、それぞれの撮影対象を追跡する。また、追跡する撮影対象の撮影対象領域（複数の場合は、任意の方法（例えばランダム）で選択した一の撮影対象領域）を任意のタイミングで取り出し、前記の撮影対象領域画像データとする。

なお、状態検出部１０ｂは、繰り返し行われるステップＳ１０８において、撮影画像情報を状態検出部１０ｂの記憶部（一次記憶装置１２の記憶領域）に記録することで、所定数（２以上）の撮影画像情報を保持する。

状態検出部１０ｂは、撮影対象の状態を検出すると、撮影対象の状態が変化したかを判別する（ステップＳ１０９）。具体的には、例えば、状態検出部１０ｂは、今回生成した撮影対象状態情報と、前回生成した撮影対象状態情報と、を比較して、撮影対象の状態が変化したかを判別する。例えば、状態検出部１０ｂは、撮影画像情報に含まれる両者を比較し、撮影対象が位置する分割領域（撮影対象が複数の場合は撮影対象が位置する１以上の分割領域）が変化している場合に、撮影対象の状態が変化したと判断する。例えば、状態検出部１０ｂは、両者を比較し、撮影対象が位置する分割領域（撮影対象が複数の場合は撮影対象が位置する１以上の分割領域）が変化していない場合に、撮影対象の状態が変化していないと判断する。なお、比較の対象となる前回検出した撮影対象状態情報が存在しないステップＳ１０９（例えば、最初に行われるステップＳ１０９）の処理では、状態検出部１０ｂは撮影対象の状態が変化したと判別する。

状態検出部１０ｂは、撮影対象の状態が変化していないと判断した場合（ステップＳ１０９；ＮＯ）、ステップＳ１０８の処理を再び行う。このようにして、状態検出部１０ｂは、撮影対象の状態が変化するまで、撮影対象の状態を監視する。

状態検出部１０ｂが撮影対象の状態が変化したと判断した場合（ステップＳ１０９；ＹＥＳ）、画像特定部１０ａは、最新の撮影対象の状態に基づいて記録画像データを取得する（ステップＳ１１０）。具体的には、例えば、画像特定部１０ａは、状態検出部１０ｂが保持する最新の撮影対象状態情報を用いてこの最新の撮影対象状態情報に対応する記録画像データを記憶部２０の記録画像情報データテーブルから取得する。さらに具体的には、例えば、画像特定部１０ａは、記録画像情報データテーブルの中から、状態検出部１０ｂが保持する最新の撮影画像情報に含まれる撮影対象状態情報と或る関係を満たす被写体状態情報を有する記録画像情報を記録画像情報データテーブルの中から特定する。そして、画像特定部１０ａは、この特定した記録画像情報に含まれる記録画像データを読み出して取得する。例えば、画像特定部１０ａは、撮影対象状態情報が示す、撮影対象が位置する分割領域と、記録画像情報に含まれる被写体状態情報が示す、被写体が位置する分割領域とが、互いに対応する領域である場合（例えばＡ４とＢ４とは対応する領域である）に前記の或る関係を満たすとする。なお、対応とは、一部対応であってもよいし、完全対応であってもよい。一部対応とは、例えば、被写体が位置する１以上の分割領域のうちの少なくとも１つと、撮影対象が位置する１以上の分割領域の少なくとも１つとが、互いに対応する場合をいう。完全対応とは、被写体が位置する１以上の分割領域と、撮影対象が位置する１以上の分割領域と、が完全に対応する場合をいう。例えば、図１０の撮影対象状態情報に基づいて図８の記録画像情報データテーブル内の対応する記録画像情報を検索する場合、完全対応の場合は、画像ナンバーが４の記録画像情報を特定することになり、一部対応の場合は、画像ナンバーが２と４とｎの記録画像情報を特定することになる。なお、比較する分割領域の画像上における相対位置が一緒で、比較する分割領域の形状が同じ又は相似であれば、両分割領域は対応するといえる。そして、画像特定部１０ａは、特定した記録画像情報に含まれる記録画像データを記憶部２０から読み出して取得する。この読み出した記録画像データが、前記の最新の撮影対象情報に対応する記録画像データとなる。なお、読み出された全ての記録画像データは、例えば、画像特定部１０ａ内の記憶部（一次記憶装置１２の記憶領域等）等に記録され、これによって、画像特定部１０ａは記録画像データを保持する。

画像特定部１０ａは、記録画像データを１以上取得できたか判断する（ステップＳ１１１）。取得出来ない場合（ステップＳ１１１；ＮＯ）、画像特定部１０ａは、撮影対象の状態が変化したが、変化した撮影対象の状態に対応する記録画像の記録画像データが無いので、その旨を表示部４０に例えば記録画像の中の字幕等で表示させ（ステップＳ１１４）、状態検出部１０ｂにステップＳ１０８の処理を再び行わせる。これによって、撮影対象の状態に対応する記録画像がなくても、記録画像の表示が途切れないことになり、また、今回の処理で特定される記録画像がないことをユーザに知らせることができる。

画像特定部１０ａは、記録画像データを１以上取得出来た場合（ステップＳ１１１；ＹＥＳ）、記録画像の表示順序を決定する（ステップＳ１１２）。例えば、画像特定部１０ａは、各記録画像を分析して被写体領域を検出する（方法は上記と同様）。そして、画像特定部１０ａは、検出した被写体領域の画像データ（被写体領域画像データ）と、状態検出部１０ｂが保持する撮影対象状態情報に含まれる撮影対象領域画像データと、を用いて被写体領域と撮影対象領域との類似度（すなわち被写体と撮影対象の類似度）を検出し、検出した類似度を用いて記録画像の表示順序を決定する。決定した記録画像の表示順序は、例えば、撮影対象と類似度の大きい被写体を有する記録画像から表示していく順序である。なお、類似度が同じ記録画像の表示順序は、ランダムに決めるか、画像ナンバー順等で決める。また、被写体領域が複数検出された場合、画像特定部１０ａは類似度の検出に用いる被写体領域をランダム等の任意の方法によって決定する。また、状態検出部１０ｂが撮影対象領域画像データを取り出すときに、取り出した位置の情報（例えば分割領域を特定する情報）をこの撮影対象領域画像データに含ませておき、被写体領域が複数検出された場合、画像特定部１０ａは前記の位置の情報を前記の撮影対象領域画像データから取り出して、この位置の情報が示す位置と所定範囲内（対応する分割領域内）の位置にある被写体領域を類似度の検出に用いる被写体領域としてもよい。類似度の検出に用いる被写体領域が複数の場合、画像特定部１０ａは、例えば、各被写体領域と撮影対象領域との各類似度を導出し、導出した類似度の中で一番類似度の高い類似度を前記の検出した類似度として用いて前記の記録画像の表示順序を決定する。

前記の類似度の検出には、例えば、ＳＡＤ（Sum of Absolute Difference）、ＳＳＤ（Sum of Squared Difference）、又はＺＮＣＣ（Zero-mean Normalized Cross-Correlation）を用いる。ＳＡＤ及びＳＳＤの場合、算出値が小さいほど類似度が高くなる。ＺＮＣＣの場合、算出値が大きいほど類似度が高くなる。

画像特定部１０ａは、ステップＳ１１０の処理で取得した記録画像データ（上記の編集をした場合には、編集した後の記録画像データが望ましい。）の各記録画像を、ステップＳ１１２の処理で決定した表示順序に従って表示部４０へ表示させることを開始する（ステップＳ１１３）。なお、記録画像の表示処理の詳細な説明は、ステップＳ１０６の説明に準じる。画像特定部１０ａは、記録画像の表示処理を開始すると、状態検出部１０ｂに再びステップＳ１０８の処理を行わせる。

状態検出部１０ｂは表示部４０の表示面の前方を撮影部３０に撮影させる際に動画を撮影させているが、状態検出部１０ｂは、ステップＳ１０８において、撮影部３０に静止画を撮影させ、撮影させた静止画に基づいて上記の処理を行っても良い。この場合、ステップＳ１０７の処理は不要になり、変わりにステップＳ１０８において、状態検出部１０ｂは、撮影部３０に撮影を行わせる。

また、上記では、画像特定装置１は、分割領域を用いて、撮影対象と被写体との位置を検出することによって、表示部４０に表示する記録画像の記録画像データを特定しているが、この特定方法は、上記の具体例に限らず、他の方法によって実現してもよい。画像特定装置１は、例えば、撮影対象の画像における座標と、被写体の画像における座標と、を比較することによって、表示部４０に表示する記録画像の記録画像データを特定してもよい。この場合、画像特定部１０ａ及び状態検出部１０ｂは、ステップＳ１０４及びステップＳ１０８において、撮影対象及び被写体の座標（例えば、撮影対象領域の中心（又は、左上及び右下）及び被写体領域の中心（又は、左上及び右下）の座標）を把握し、把握した座標情報を、撮影画像情報に撮影対象状態情報として含ませるとともに、記録画像情報に記録画像状態情報として含ませる。状態検出部１０ｂは、ステップＳ１１０において前記の座標情報を用いて記録画像情報を取得する。例えば、状態検出部１０ｂは、撮影対象の座標及び被写体の座標が所定の範囲内に入っている記録画像情報を取得する。なお、このときの座標は、画像全体における相対位置を示す座標であってもよいし、画像の左上、右上、左下、又は右下のいずれかの端点を原点とした座標であってもよい。端点を原点とした座標を用いる場合、画像特定部１０ａ又は状態検出部１０ｂは、ステップＳ１０４の処理又はステップＳ１０８の処理において、他方の画像と座標の比較が出来るように、画像の解像度等を変換する処理を行った新たな記録画像データ又は撮影画像データを生成し、両者の画像の縦横の辺の長さ（画素数）を合わせるとよい。

上述のように、状態検出部１０ｂは、表示部４０の表示面の前方を撮影した撮影画像のデータである撮影画像データを取得し、取得した撮影画像データを分析して撮影画像における撮影対象の状態（ここでは、撮影対象の位置）を検出する（ステップＳ１０８参照、なお、この検出方法は上記具体例以外の他の方法によって実現しても良い）。また、画像特定部１０ａは、状態検出部１０ｂが検出した撮影対象の状態に基づいて表示部４０に表示する記録画像の記録画像データを特定する（ステップＳ１１０参照、なお、この特定方法は上記具体例以外の他の方法によって実現しても良い）。なお、記録画像データは、ここでは、予め撮影され、記憶媒体等に記録されている画像データである。画像特定部１０ａは、ここでは、複数の記録画像データの中から表示部４０に表示する記録画像の記録画像データを特定する。撮影対象の状態に基づいて表示部４０に表示する記録画像の記録画像データを特定するので、新たな基準によって、ユーザと同一人物の顔を含んでいない画像も特定できる。ここで、撮影対象の状態とは、例えば、同一人物等を判定するための撮影対象の特徴量等ではなく、画像内の撮影対象の状況等を表す情報である。

そして、本実施形態では、画像特定部１０ａは、特に、撮影対象の状態と一定の関係を満たす状態にある被写体が写った記録画像の記録画像データを、表示部４０に表示する画像の画像データとして特定しているので、新たな基準でユーザと同一人物の顔を含んでいない画像も特定できる。なお、この画像データの特定方法は上記具体例以外の他の方法によって実現しても良い。

上述のように本実施形態では、撮影対象の状態及び被写体の状態を、それぞれ、撮影対象の位置及び被写体の位置としている。また、画像特定装置１は、撮影画像における撮影対象の位置と第１の所定の関係を満たす位置に被写体が写った記録画像の記録画像データを複数の記録画像の中から特定する（ステップＳ１１０等を参照、なお、この特定方法は上記具体例以外の他の方法によって実現しても良い）。ここで、第１の所定の関係は、ここでは、撮影対象と被写体とが、画像上の同じ分割領域、又は、撮影対象の座標から前記所定の範囲内にある領域内に位置する関係である。ここで、画像特定装置１は、被写体と撮影対象とが同じ分割領域等のある領域に位置するような記録画像を表示部４０に順次表示していくことになる（ステップＳ１１３等を参照）。これにより、本実施形態に係る画像特定装置１は、図１２に示すように、画像の鑑賞者（撮影対象１２０１を有する人物）の面前又はその近傍に被写体１２１１が写る記録画像ばかりを表示するので、この画像特定装置１は撮影対象の人物に新たな印象を与えることができる。

上述のように本実施形態では、画像特定装置１は、記録画像データを複数特定し、特定した記録画像データの記録画像の表示順序を、撮影対象の特徴（ここでは顔の特徴）と特定した記録画像データの記録画像の被写体の特徴（ここでは顔の特徴）との類似度（ここでは、類似度の高さ）に基づいて特定する（ステップＳ１１２等を参照、なお、この特定方法は上記具体例以外の他の方法によって実現しても良い）。これによって、画像特定装置１は、撮影対象と被写体との類似度が高い順に記録画像を表示部に順次表示する。このように、本実施形態に係る画像特定装置１は、図１３のように、画像の鑑賞者（撮影対象１３０１を有する人物）の面前又はその近傍に自分と類似する被写体１３１１が写る記録画像を優先して表示するので、この画像特定装置１は撮影対象の人物に新たな印象を与えることができる。ここでは、図１３では、被写体１３１１の方が被写体１３１２よりも撮影対象との類似度が高くなっている。画像特定装置１は、例えば、図１３のように、被写体１３１１が写る記録画像を表示し、その後に被写体１３１２が写る記録画像を表示する。

上述のように本実施形態では、画像特定装置１は、状態検出部１０ｂが新たな撮影対象の状態（ここでは、顔の位置）を検出すると、検出した新たな撮影対象の状態に基づいて、表示部４０に表示する記録画像の記録画像データを特定する（ステップＳ１０９；ＹＥＳ、ステップＳ１１０参照、なお、この特定方法は上記具体例以外の他の方法によって実現しても良い）。これによって、画像特定装置１は、被写体が写る記録画像を表示していても、撮影対象が移動すると、次に表示する画像として、撮影対象の面前又はその近傍に位置する被写体が写る記録画像を表示する。画像特定装置１は、図１４のように、画像の鑑賞者（撮影対象１４０１を有する人物）の面前又はその近傍に被写体１４１１が位置する記録画像を表示し、この鑑賞者（つまり撮影対象１４０１）が移動すると、移動した後の鑑賞者の面前又はその近傍に被写体１４１２が写る記録画像を表示するので、この画像特定装置１は撮影対象の人物に新たな印象を与えることができる。

なお、画像特定部１０ａは、撮影対象状態情報が、被写体が存在しないという被写体の状態を示している場合には、記憶部２０から全ての記録画像データを読み出して取得し、ステップＳ１１２の処理を行わずステップＳ１１３の処理において、ステップＳ１０６と同様の処理を行っても良い。これによって、撮影対象が表示部４０の表示面の前方に存在しない場合、画像特定装置１は、初期の表示方法で記録画像を表示できる。

なお、前記の第１の所定の関係を、例えば、撮影対象と被写体とが、画像上の異なる分割領域、又は、撮影対象の座標から前記所定の範囲外にある領域内に位置する関係としてもよい。この場合、画像特定部１０ａは、例えば、ステップＳ１１０において、状態検出部１０ｂが検出した撮影対象状態情報が示す、撮影対象が位置する分割領域に対応する分割領域以外の分割領域に被写体が位置する（このとき、撮影対象が位置する分割領域に対応する分割領域に別の被写体が位置してもよい。）記録画像の記録画像データを取得する。これによって、画像特定装置１は、画像の鑑賞者（撮影対象を有する人物）の面前又はその近傍ではない領域内に被写体が写る記録画像ばかりを表示するので、この画像特定装置１は撮影対象の人物に新たな印象を与えることができる。さらに、例えば位置を検出された鑑賞者の後方に他の鑑賞者が存在しても、後方の他の鑑賞者が被写体を鑑賞することが出来る（例えば図１５参照）。図１５のように、画像特定装置１は、撮影対象１５０１を有する人物の面前又はその近傍ではない領域内に被写体１５１１が写る記録画像を表示する。

なお、撮影対象の状態及び被写体の状態は、例えば、それぞれ、撮影画像における撮影対象の数及び記録画像における被写体の数であってもよい。この場合、画像特定部１０ａは、例えば、ステップＳ１１０において、被写体領域を検出することによって被写体の数を把握する（被写体領域の数は、被写体の数に等しい）。画像特定部１０ａは、把握した被写体の数を被写体状態情報として、記録画像情報（図１６参照）を生成する。また、状態検出部１０ｂは、ステップＳ１０８において、撮影対象領域を検出することによって撮影対象領域の数を把握する（撮影対象領域の数は、撮影対象の数に等しい）。状態検出部１０ｂは、把握した撮影対象の数を撮影対象状態情報として、撮影画像情報（図１７参照）を生成する。そして、画像特定部１０ａは、ステップＳ１１０において、撮影画像情報に含まれる撮影対象の数と第２の所定の関係にある被写体の数を含む被写体状態情報の記録画像データを取得する。このようにして、画像特定部１０ａは、撮影画像における撮影対象の数と第２の所定の関係を満たす数の被写体が写った記録画像の記録画像データを、表示部４０に表示する記録画像の記録画像データとして特定する。ここで、第２の所定の関係は、例えば両者の数が同数となる場合である。図１８のように、画像特定装置１は、二つの撮影対象１６０１乃至１６０２と同数の被写体１６１１乃至１６１２が写る記録画像を表示している。この画像特定装置１は撮影対象の人物に新たな印象を与えることができる。

なお、撮影対象の状態は、撮影画像における撮影対象の視線であってもよい。状態検出部１０ｂは、ステップＳ１０８において、撮影対象領域を検出し、検出した撮影対象領域の画像データを分析することによって撮影対象の視線を把握する。状態検出部１０ｂは、把握した撮影対象の視線の先と判断できる分割領域（上記図９の例では分割領域Ｂ１乃至Ｂ４のいずれか）を撮影対象状態情報として、撮影画像情報（データ内容は図１１のデータ内容と略同様になる）を生成する。このようにすれば、画像特定部１０ａは、ステップＳ１１０の処理で、撮影画像における撮影対象の視線と第３の所定の関係を満たす状態の被写体が写った画像の画像データを、表示部４０に表示する記録画像の記録画像データとして特定する。ここで、第３の所定の関係を満たす状態とは、例えば撮影対象の視線の先と判断できる分割領域と対応する分割領域に被写体が位置する記録画像の状態をいう。図１９のように、画像特定装置１は、撮影対象１９０１の視線（破線矢印参照）の先と判断出来る分割領域に被写体１９１１が写る記録画像を表示している。この画像特定装置１は撮影対象の人物に新たな印象を与えることができる。状態検出部１０ｂは、顔領域内を分析し、顔領域内の顔の視線を把握する。視線は、顔の目の領域を顔領域の中から検出し（顔領域の検出と同様に着目画像と目のテンプレート画像とを用いたパターンマッチング等によって検出する）、検出した目の白色の領域（白目の部分）が検出した目全体のどこに位置しているかで把握できる。そして、状態検出部１０ｂは、この検出した視線をもとに、視線の範囲と、この視線の先にあると思われる分割領域と、を特定したデータテーブルを参照して、視線がどの分割領域内に向いているか、つまり、視線の先と判断出来る分割領域を把握する。例えば、図９の撮影対象９１１ａの目が、図９の横方向における内側を向き、かつ、目全体における白目の分布が所定の範囲の分布である場合、この視線の先にある分割領域はＢ１であるとする。なお、視線の把握についてはその他の公知の方法も採用できる。なお、分割領域を他の領域の情報（例えば座標を用いた所定範囲の領域）に置き換えても良い。

なお、撮影対象の状態は、上記の撮影対象の位置、上記の撮影対象の数、及び、上記の撮影対象の視線等のうちの少なくとも一つを含めばよい。この場合、被写体の状態も撮影対象の状態に対応して、被写体の位置又は被写体の数の少なくとも一つとなる（上記参照）。そして、画像特定部１０ａは、ステップＳ１１０において、撮影画像情報に含まれる撮影対象の状態と或る関係（例えば上記一定の関係）を満たす被写体の状態を示す被写体状態情報の記録画像データを取得する。ここで、両者が満たす或る関係は、例えば、上記の第１乃至第３の所定の関係のうちの少なくも一つ又は組合せから適宜選択できる。また、第１の関係は、分割領域が対応する場合であっても、分割領域が異なる場合でも、どちらでも良い。また、撮影対象の状態が、撮影対象の位置と撮影対象の視線とを含む場合、撮影対象状態情報は撮影対象の位置用の位置情報と撮影対象の視線用の位置情報とを含むことが望ましい。

本実施形態における画像特定装置１は表示制御装置であり、画像選択プログラム２５は表示制御プログラムでもある。制御部１０は、上述のように、予め撮影された記録画像データの記録画像であって、表示部４０の前方の人物又は動物の状態と一定の関係を満たす状態にある人物又は動物が写った記録画像を表示部４０に表示させる（この表示方法は上記具体例以外の他の方法で実現されてもよい）。これによって、鑑賞者に新たな印象を与える。

１・・・画像特定装置、１０・・・制御部、１０ａ・・・画像特定部、１０ｂ・・・状態検出部、１１・・・ＣＰＵ、１２・・・一次記憶装置、２０・・・記憶部、２１・・・二次記憶装置、２５・・・画像特定プログラム、３０・・・撮影部、３１・・・撮影装置、４０・・・表示部、４１・・・駆動回路、４２・・・表示パネル、５０・・・入力部、５１・・・入力装置、６０・・・読出部、６１・・・読出装置、１００・・・メモリーカード、Ａ１乃至Ａ４・・・分割領域、５１１・・・人物、５１１ａ・・・顔（被写体）、５１２・・・人物、５１２ａ・・・顔（被写体）、５２１・・・顔領域（被写体領域）、５２２・・・顔領域（被写体領域）、９１１・・・人物、９１１ａ・・・顔（撮影対象）、９２１・・・顔領域（撮影対象領域）、１２０１・・・顔（撮影対象）、１２１１・・・顔（被写体）、１３０１・・・顔（撮影対象）、１３１１・・・顔（被写体）、１３１２・・・顔（被写体）、１４０１・・・顔（撮影対象）、１４１１・・・顔（被写体）、１４１２・・・顔（被写体）、１５０１・・・顔（撮影対象）、１５１１・・・顔（被写体）、１６０１・・・顔（撮影対象）、１６０２・・・顔（撮影対象）、１６１１・・・顔（被写体）、１６１２・・・顔（被写体）、１９０１・・・顔（撮影対象）、１９１１・・・顔（被写体）

Claims (8)

1. 表示部の表示面の前方を撮影した撮影画像のデータである撮影画像データを取得し、取得した前記撮影画像データを分析して前記撮影画像における撮影対象の状態を検出する状態検出手段と、
   前記状態検出手段が検出した前記撮影対象の状態に基づいて前記表示部に表示する画像の画像データを特定する画像特定手段と、
   を備え、
   前記撮影対象の状態は、前記撮影画像における前記撮影対象の位置を含み、
   前記画像特定手段は、前記撮影画像における前記撮影対象の位置と所定の関係を満たす位置に被写体が写った画像の画像データを、前記表示部に表示する前記画像の前記画像データとして特定する
   ことを特徴とする画像特定装置。
2. 前記所定の関係は、前記撮影対象と前記被写体とが、画像上の互いに対応する領域内に位置する関係であることを特徴とする請求項１に記載の画像特定装置。
3. 前記所定の関係は、前記撮影対象と前記被写体とが、画像上の異なる領域内に位置する関係であることを特徴とする請求項１に記載の画像特定装置。
4. 前記画像特定手段は、前記画像データを複数特定し、特定した前記画像データの前記画像の表示順序を、前記撮影対象の特徴と特定した前記画像データの前記画像の被写体の特徴との類似度に基づいて特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像特定装置。
5. 前記画像特定手段は、前記状態検出手段が新たな前記撮影対象の状態を検出すると、検出した新たな前記撮影対象の状態に基づいて、前記複数の画像データの中から前記表示部に表示する前記画像の前記画像データを特定することを特徴とする請求項１乃至４のいずれか１項に記載の画像特定装置。
6. 前記表示部をさらに備え、
   前記画像特定手段は、特定した前記画像データの前記画像を前記表示部に表示させることを特徴とする請求項１乃至５のいずれか１項に記載の画像特定装置。
7. 前記撮影対象を撮影する撮影部をさらに備え、
   前記状態情報生成手段は、前記撮影部が撮影した前記撮影画像のデータである前記撮影画像データを取得する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像特定装置。
8. コンピュータに、
   表示部の表示面の前方を撮影した撮影画像のデータである撮影画像データを取得し、取得した前記撮影画像データを分析して前記撮影画像における撮影対象の状態を検出する状態検出ステップと、
   前記状態検出ステップで検出した前記撮影対象の状態に基づいて前記表示部に表示する画像の画像データを特定する画像特定ステップと、
   を行わせ、
   前記撮影対象の状態は、前記撮影画像における前記撮影対象の位置を含み、
   前記画像特定ステップは、前記撮影画像における前記撮影対象の位置と所定の関係を満たす位置に被写体が写った画像の画像データを、前記表示部に表示する前記画像の前記画像データとして特定するステップを含む
   ことを特徴とする画像特定プログラム。

Images