JP6570840B2 - 電子機器および方法 - Google Patents

Description

本発明の実施形態は、写真のような画像群を閲覧するための技術に関する。

近年、デジタルカメラやカメラ機能を有するモバイル機器（例えば、スマートフォン、タブレット）の普及によって、一般のユーザであっても、多数の画像（写真）を扱う機会が増えている。

そのため、ユーザが多数の画像から所望の画像を探し出すことを支援することができる様々な写真閲覧アプリケーションが提案されている。これら写真閲覧アプリケーションの代表的な機能の１つとして、ある人物に関する画像を検索する画像検索機能が知られている。

特開２００５−１０７８６７号公報

しかし、従来の画像検索機能では、同じ日に撮影されたほぼ同じような内容の多数の画像がユーザに提示されてしまう場合がある。

本発明の一形態の目的は、時間経過による人物の画像の内容の変化を表現可能な形態で提示することができる電子機器および方法を提供することを目的とする。

実施形態によれば、電子機器は、ディスプレイと、カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、を具備する。前記プロセッサは、前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出し、抽出された前記画像群のトータル撮影期間を複数の期間に分割した小期間毎に対応して、前記抽出された画像群から代表画像を選出し、前記小期間毎に対応して選出された複数の代表画像を時系列順に前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示する。

実施形態に係る電子機器の外観を示す例示的な斜視図。 同実施形態の電子機器のシステム構成を示す例示的なブロック図。 同実施形態の電子機器によって実行されるフォトビューアアプリケーションプログラムの機能構成を示す例示的なブロック図。 同実施形態の電子機器によって生成されるインデックスデータのデータ構造例を示す図。 同実施形態の電子機器によって実行される、キー顔画像選択のためのユーザインタフェースの例を示す図。 同実施形態の電子機器によって表示される顔検索結果（人物タイムライン表示画面）を示す例示的な図。 同実施形態の電子機器によって表示される検索条件入力画面を示す例示的な図。 人物タイムライン表示画面に表示されるべき顔画像を、検索条件入力画面に入力された検索条件に基づいて絞り込むための処理の概要を説明するための例示的な図。 人物タイムライン表示画面から顔検索結果一覧表示画面への遷移を示す例示的な図。 同実施形態の電子機器によって実行される顔検索処理の手順を示す例示的なフローチャート。 同実施形態の電子機器によって実行される顔検索結果一覧表示処理と全画面表示処理の手順を示す例示的なフローチャート。 同実施形態の電子機器によって表示されるキー顔画像一覧表示画面を示す例示的な図。 キー顔画像一覧表示画面から選択されたキー顔画像に基づく顔検索処理の手順を示す例示的なフローチャート。 人物タイムライン表示画面上で新たにキー顔画像が選択される様子を示す例示的な図。 ２つの顔画像を使用した顔検索処理の結果に基づいて、人物タイムライン表示画面上の幾つかの顔画像が更新される様子を示す例示的な図。 キー顔画像と新たなキー顔画像とを使用して実行される顔検索処理の手順を示す例示的なフローチャート。 同実施形態の電子機器によって表示される顔検索結果の別の例を示す例示的な図。

以下、図面を参照して、実施形態を説明する。
まず、図１を参照して、一実施形態に係る電子機器の構成について説明する。この電子機器は、例えば、ノートブック型の携帯型パーソナルコンピュータ、タブレットコンピュータ、または他の各種情報機器として実現されうる。以下では、この電子機器が、ノートブック型の携帯型パーソナルコンピュータ１０として実現されている場合を想定する。

図１は、ディスプレイユニットを開いた状態におけるコンピュータ１０を正面側から見た斜視図である。本コンピュータ１０は、バッテリ２０から電力を受けるように構成されている。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とを備える。ディスプレイユニット１２には、液晶表示装置（ＬＣＤ）３１のような表示装置が組み込まれている。さらに、ディスプレイユニット１２の上端部には、カメラ（Ｗｅｂカメラ）３２が配置されている。ディスプレイユニット１２は、タッチパネルを含むタッチスクリーンディスプレイであってもよい。

ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面がディスプレイユニット１２で覆われる閉塞位置との間を回動可能に回動可能ヒンジ１９Ａ、１９Ｂを介してコンピュータ本体１１に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、タッチパッド１４、指紋センサ１５、本コンピュータ１０をパワーオン／オフするための電源スイッチ１６、幾つかの機能ボタン１７、およびスピーカ１８Ａ、１８Ｂが配置されている。

また、コンピュータ本体１１には、電源コネクタ２１が設けられている。電源コネクタ２１はコンピュータ本体１１の側面、例えば左側面に設けられている。この電源コネクタ２１には、外部電源装置が取り外し自在に接続される。外部電源装置としては、ＡＣアダプタを用いることが出来る。

バッテリ２０は、例えば、コンピュータ本体１１の後端部に取り外し自在に装着される。バッテリ２０は本コンピュータ１０に内蔵されるバッテリであってもよい。

本コンピュータ１０は、外部電源装置からの電力またはバッテリ２０からの電力によって駆動される。

さらに、コンピュータ本体１１には、幾つかのＵＳＢポート２２、ＨＤＭＩ（High-Definition Multimedia Interface（登録商標））出力端子２３、およびＲＧＢポート２４が設けられている。

図２は、本コンピュータ１０のシステム構成を示している。本コンピュータ１０は、プロセッサ（ＣＰＵ）１１１、システムコントローラ１１２、主メモリ１１３、グラフィクスプロセッシングユニット（ＧＰＵ）１１４、サウンドコーデック１１５、ＢＩＯＳ−ＲＯＭ１１６、補助記憶装置（ハードディスクドライブ（ＨＤＤ）またはソリッドステートドライブ（ＳＳＤ））１１７、光ディスクドライブ（ＯＤＤ）１１８、ＢＴ（Ｂｌｕｅｔｏｏｔｈ（登録商標））モジュール１２０、無線ＬＡＮモジュール１２１、ＳＤカードコントローラ１２２、ＰＣＩ ＥＸＰＲＥＳＳカードコントローラ１２３、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１３０、電源回路１４２等を備えている。

プロセッサ１１１は、本コンピュータ１０の各コンポーネントの動作を制御するように構成されたプロセッサである。このプロセッサ１１１は回路（処理回路）を含む。このプロセッサ１１１は、補助記憶装置１１７から主メモリ１１３にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）２０１および様々なアプリケーションプログラムを含む。アプリケーションプログラムには、フォトビューアアプリケーションプログラム２０２が含まれる。

フォトビューアアプリケーションプログラム２０２は、デジタルカメラ、外部ストレージ（ＵＳＢメモリ、ＳＤカード）、モバイルデバイス（スマートフォン）等から画像（写真）群を受け取ることができ、画像群を補助記憶装置１１７内の写真フォルダに保存することができる。各画像は、ＪＰＥＧまたは他のファイルフォーマットを有する画像ファィルである。各画像ファイルは、デジタル画像データと、メタデータとを含む。メタデータは、この画像が撮影された日時を示す日時データ、この画像が撮影された場所を示す位置データを含む。

さらに、フォトビューアアプリケーションプログラム２０２は、顔検索機能を有している。この顔検索機能は、写真フォルダ内の画像群から、検索キーとして指定された顔画像（キー顔画像）に類似する顔画像をそれぞれ含む画像群を検索することができる。

また、プロセッサ１１１は、不揮発性メモリであるＢＩＯＳ−ＲＯＭ１１６に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳはハードウェア制御のためのシステムプログラムである。

ＧＰＵ１１４は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ３１を制御する表示コントローラである。ＧＰＵ１１４は、ビデオメモリ（ＶＲＡＭ）１１４Ａに格納された表示データからＬＣＤ３１に供給すべき表示信号（ＬＶＤＳ信号）を生成する。さらに、ＧＰＵ１１４は、表示データからアナログＲＧＢ信号およびＨＤＭＩビデオ信号を生成することもできる。アナログＲＧＢ信号はＲＧＢポート２４を介して外部ディスプレイに供給される。ＨＤＭＩ出力端子２３は、ＨＤＭＩビデオ信号（非圧縮のデジタル映像信号）と、デジタルオーディオ信号とを一本のケーブルで外部ディスプレイに送出することができる。ＨＤＭＩ制御回路１１９は、ＨＤＭＩビデオ信号およびデジタルオーディオ信号をＨＤＭＩ出力端子２３を介して外部ディスプレイに送出するためのインタフェースである。ＧＰＵ１１４は、プロセッサ１１１内に内蔵されていても良い。

サウンドコーデック１１５は、サウンドデータを処理するように構成されたサウンドコントローラである。サウンドコーデック１１５は、再生対象のサウンド信号をデジタル信号からアナログ信号に変換し、アナログサウンド信号をヘッドフォンまたはスピーカ１８Ａ，１８Ｂに供給する。さらに、サウンドコーデック１１５は、マスクロフォンから入力されるサウンド信号をアナログ信号からデジタル信号に変換する。

ＢＴモジュール１２０は、Ｂｌｕｅｔｏｏｔｈ規格の無線通信を実行するように構成された無線通信デバイスである。無線ＬＡＮモジュール１２１は、ＩＥＥＥ ８０２．１１規格の無線通信を実行するように構成された無線通信デバイスである。

ＥＣ／ＫＢＣ１３０は、本コンピュータ１０の電力管理を実行するように構成された電力管理コントローラであり、例えば、キーボード（ＫＢ）１３およびタッチパッド１４などを制御するキーボードコントローラを内蔵したワンチップマイクロコンピュータとして実現されている。ＥＣ／ＫＢＣ１３０は、ユーザによる電源スイッチ１６の操作に応じて本コンピュータ１０をパワーオンまたはワーオフする機能を有している。本コンピュータ１０のパワーオンおよびパワーオフの制御は、ＥＣ／ＫＢＣ１３０と電源回路１４２との協働動作によって実行される。ＥＣ／ＫＢＣ１３０は、本コンピュータ１０がパワーオフされている期間中も、バッテリ２０またはＡＣアダプタ１５０からの電力によって動作する。

電源回路１４２は、バッテリ２０からの電力、またはコンピュータ本体１１に外部電源として接続されるＡＣアダプタ１５０からの電力を用いて、各コンポーネントへ供給すべき電力を生成する。

図３は、フォトビューアアプリケーションプログラム２０２の機能構成を示す。

フォトビューアアプリケーションプログラム２０２は、多数の画像（画像ファイル）を管理でき、また上述の顔検索機能を実行することができる。

図３に示されているように、フォトビューアアプリケーションプログラム２０２は、インデキシングエンジン３００、画像検索エンジン３０２、および表示処理部３０４を含む。

インデキシングエンジン３００は、写真フォルダ（記憶媒体）５００に格納されている全ての画像６００−１〜６００−ｎを検索するために使用されるインデックスデータ７００を生成する。写真フォルダ（記憶媒体）５００に新たな画像（画像ファイル）が保存された時、インデキシングエンジン３００は、その新たな画像（画像ファイル）のインデックスデータを自動的に生成する。そして、インデキシングエンジン３００は、生成されたインデックスデータを既存のインデックスデータ７００に追加する。

インデキシングエンジン３００は、顔画像検出部４００、特徴量算出部４０２、顔画像クラスタリング処理部４０４、およびインデックスデータ生成部４０６を含む。

顔画像検出部４００は、処理対象の画像から人物の顔画像を検出する。複数の顔画像が１つの画像（画像ファィル）に含まれている場合もあるし、１つの画像に顔画像が全く含まれていない場合もある。顔画像検出部４００は、例えば、画像に含まれる多数の画素値を用いて、顔画像であると推定される領域（顔画像領域）を検出する。この顔画像領域は、人間の典型的な顔特徴を有する領域である。

特徴量算出部４０２は、検出された顔画像領域に含まれる画素の画素値を用いて、当該顔画像の特徴量（顔特徴量）を算出する。例えば、特徴量算出部４０２は、顔画像領域内の目、鼻、口のような物体間の位置関係を示す特徴量、これら物体の色や形状を表す特徴量、等を、顔特徴量として算出してもよい。

特徴量算出部４０２は、顔画像の笑顔度、顔画像の正面度、および顔画像の鮮明度等もまた算出してもよい。これら笑顔度、正面度、および鮮明度は、補助的な特徴量として使用される。また、さらに、特徴量算出部４０２は、顔画像の位置、顔画像のサイズも算出する。

顔画像クラスタリング処理部４０４は、検出された顔画像それぞれを複数のクラスタ（複数の人物）に分類する。互いに類似する顔特徴量を有する顔画像は、同一のクラスタに分類される。これらクラスタは互いに異なる人物ＩＤを有する。

インデックスデータ生成部４０４は、検出された顔画像それぞれの特徴量を使用して、インデックスデータ７００を生成する。インデックスデータ７００は、図４に示すように、検出された顔画像それぞれに対応する多数のレコード７０１を含む。各レコードは、「画像ＩＤ」フィールド、「撮影日時」フィールド、「撮影場所」フィールド、「イベント名」フィールド、および「顔画像情報」フィールドを含む。

「画像ＩＤ」フィールドは、対応する顔画像が抽出された元画像の識別子（ＩＤ）を示す。「撮影日時」フィールドは、元画像が撮影によって得られた日時を示す。この日時は、元画像（画像ファイル）のメタデータから取得される。「撮影場所」フィールドは、元画像が撮影によって得られた場所を示す。この場所は、元画像（画像ファイル）のメタデータから取得される。「イベント名」フィールドは、ユーザ入力によって元画像に与えられた追加データ（コメント）である。

「顔画像情報」フィールドは、元画像から抽出された顔画像を含む。さらに、「顔画像情報」フィールドは、対応する顔画像の特徴量（顔特徴量）、顔画像の笑顔度、顔画像の位置、顔画像のサイズ、顔画像に対応する人物ＩＤ、等を含む。

図３の画像検索エンジン３０２は、写真フォルダ５００の画像６００−１〜６００−ｎから、ある顔画像（キー顔画像）に類似する顔画像を含む画像群を検索するための顔検索処理を実行する。キー顔画像は、顔検索処理において検索キーとして使用される顔画像である。ユーザは、任意の画像に含まれる任意の顔画像をキー顔画像として指定することができる。

この画像検索エンジン３０２は、キー画像選択部４１０、顔画像検出部４１２、特徴量算出部４１４、および画像検索部４１６を含む。

キー画像選択部４１０は、ユーザ入力に応じて、キー画像を選択する。キー画像は、キー顔画像が抽出されるべき画像を意味する。ユーザは、必要に応じて、現在全画面表示されている画像をキー画像として指定することができる。顔画像検出部４１２は、キー画像に含まれる顔画像（顔画像領域）を検出する。

もしキー画像に多数の顔画像が含まれているならば、これら全ての顔画像が顔画像検出部４１２によって検出される。ユーザは、これら検出された顔画像の１つを、キー顔画像として指定することができる。

特徴量算出部４１４は、検索キーとして指定される顔画像、つまりキー顔画像、の特徴量（顔特徴量）を算出する。画像検索部４１６は上述の顔検索処理を実行して、キー顔画像と類似する顔画像を含む画像群、つまりキー顔画像と同一の人物として認識された顔画像を含む画像群を、写真フォルダ５００から抽出する。顔検索処理においては、キー顔画像の特徴量は、インデックスデータ７００内の顔画像それぞれの特徴量と比較される。そして、キー顔画像の特徴量に類似する特徴量を有する顔画像をそれぞれ含む画像群が写真フォルダ５００から抽出される。

フォトビューアアプリケーションプログラム２０２は、これら抽出された全ての画像の一覧を、顔検索処理の検索結果としてユーザに提示してもよい。

しかし、もし抽出された全ての画像を単純に表示するという方法を使用したならば、同じ日に撮影されたほぼ同じような内容の多数の画像がユーザに提示されてしまうかもしれない。キー顔画像と同一の人物として認識された顔画像を含む画像が大量に抽出された場合などにおいては、同じような内容の多数の画像が提示される可能性が高くなる。同じような内容の多数の画像、つまり変化に乏しい多数の画像を見ても、ユーザは、顔検索の検索結果を楽しむことができないかもしれない。なぜなら、ユーザは、通常、キー顔画像と同一の人物に関する様々な異なる画像（写真）を顔検索の検索結果に期待する場合が多いからである。

そこで、フォトビューアアプリケーションプログラム２０２は、キー顔画像に基づいて、写真フォルダ５００内の画像６００−１〜６００−ｎから、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像を選出するための処理を実行する。そして、フォトビューアアプリケーションプログラム２０２は、これら期間毎に選出された画像（代表画像）を時系列順に画面上に表示する。

これにより、たとえキー顔画像と同一の人物として認識された顔画像を含む画像が大量に存在する場合であっても、キー顔画像と同一の人物に関する様々な異なる画像（写真）をユーザに提示することが可能となる。

期間毎に画像を選出するための処理は、以下のように実行されうる。

画像検索部４１６は、まず、キー顔画像と類似する顔画像を含む画像群を、写真フォルダ５００から抽出する。次いで、画像検索部４１６は、抽出された画像群のトータル撮影期間（最も古い撮影日時から最新の撮影日時までの期間）を、各々が例えば３ヶ月の時間長を有する複数の期間（小期間）に分割する。そして、画像検索部４１６は、抽出された画像群から、３ヶ月の期間毎に１つの画像を代表画像として選出する。この場合、キー顔画像は、そのキー顔画像が撮影された日時が属する期間の画像（代表画像）として優先的に選出される。さらに、画像検索部４１６は、抽出された画像群から、３ヶ月の期間よりも長い期間（大期間）毎に、例えば１年の期間毎に、１つの画像を代表画像として選出する。

この結果、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像をユーザに提示することができる。

さらに、画像検索部４１６は、キー顔画像リスト７０２を写真フォルダ５００等に保存することができる。キー顔画像リスト７０２は、過去にキー顔画像として利用された顔画像の一覧を示すデータである。キー顔画像リスト７０２は、過去に使用されたキー顔画像を、新たな顔検索のために再利用することを可能にする。

画像検索部４１６によって選出された代表画像それぞれに関する情報は、画像検索エンジン３０２から表示処理部３０４内の顔画像タイムライン表示処理部４２０に検索結果として送られる。

顔画像タイムライン表示処理部４２０は、顔検索結果（人物タイムライン表示画面）を表示する。人物タイムライン表示画面は、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像を表示するための画面である。人物タイムライン表示画面においは、期間毎に選出された画像が画面上に時系列順に表示される。例えば、これら画像は画面上に古い順に並べられても良いし、画面上に新しい順に並べられても良い。

ここでは、小期間の時間長が３ヶ月で、大期間の時間長は１年である場合を説明したが、小期間の時間長、大期間の時間長はこれに限定されない。例えば、小期間の時間長が１ヶ月で、大期間の時間長が６ヶ月であってもよいし、小期間の時間長が１週間で、大期間の時間長が１ヶ月であってもよい。

あるいは、小期間の時間長は、抽出された画像群の個数に応じて、適応的に変更されても良い。例えば、抽出された画像群の個数が上限閾値よりも多い場合には、小期間の時間長を基準値（例えば３ヶ月）よりも短くしてもよい。逆に、抽出された画像群の個数が下限閾値よりも少ない場合には、小期間の時間長を基準値（例えば３ヶ月）よりも長くしてもよい。

人物タイムライン表示画面においては、上述したように、キー顔画像と類似する顔画像をそれぞれ含み、且つ異なる期間にそれぞれ撮影された複数の画像が、画面上に時系列順に表示される。さらに、人物タイムライン表示画面においては、キー顔画像もこれら画像の１つとして表示される。

したがって、人物タイムライン表示画面は、キー顔画像と抽出された画像との間の時間的な関係や、抽出された画像間の時間的な関係を表現することができる。したがって、ユーザは、人物タイムライン表示画面を通して、注目すべき人物の歩みの過程、例えば子供の成長過程等を、容易に確認することができる。

人物タイムライン表示画面は、顔検索結果一覧表示画面へジャンプするためのユーザインタフェースとしても機能できる。例えば、人物タイムライン表示画面において、ある画像がユーザによって選択された時、顔画像一覧表示処理部４２２は、顔検索結果一覧表示画面を表示する。顔検索結果一覧表示画面においては、人物タイムライン表示画面上で選択された画像の撮影日時以降の期間が割り当てられる。つまり、キー顔画像と同一の人物として認識された顔画像を含む画像のうち、選択された画像の撮影日時以降に撮影された画像の一覧が顔検索結果一覧表示画面に表示される。

図５は、キー顔画像選択のためのユーザインタフェースの例を示す。

右クリックまたは特定の指ジャスチャといったユーザ入力が、表示中の画像上の位置で検出された時、フォトビューアアプリケーションプログラム２０２は、図５の上部に示されているように、「顔検索」を含むメニューを表示中の画像上に表示する（ポップアップ）。

「顔検索」がユーザによって選択されると、フォトビューアアプリケーションプログラム２０２は、表示中の画像から顔画像（顔画像領域）を検出する。そして、図５の下部に示されているように、フォトビューアアプリケーションプログラム２０２は、検出された顔画像領域を囲む矩形枠を表示する。図５の下部においては、表示中の画像が２つの顔画像を含んでいるので、２つの顔画像を囲む２つの矩形枠８０２、８０３が表示されている。ユーザは、矩形枠８０２によって囲まれた顔画像または矩形枠８０３によって囲まれた顔画像のいずれかタップまたは左クリックすることによって、その顔画像をキー顔画像として指定することができる。

図６は、人物タイムライン表示画面の例を示す。

図６では、抽出された画像群、つまりキー顔画像と同一人物として認識された画像群から、３ヶ月の期間毎に代表画像が選出され、そしてこれら代表画像が古い順に表示される場合が想定されている。表示される各代表画像は、顔画像のサムネイルであってもいし、この顔画像が抽出された元画像のサムネイルであってもよい。

人物タイムライン表示画面８１０は、子供の成長過程のような、注目すべき人物の経歴（タイムライン）を表現することができるユーザインタフェースである。

人物タイムライン表示画面８１０においては、時間軸であるタイムバー９００が表示される。タイムバー９００は垂直方向に延在されてもよいし、水平方向に延在されてもよい。図６では、タイムバー９００が水平方向に延在されている場合が例示されている。このタイムバー９００には、抽出された画像群のトータル撮影期間を３ヶ月単位で分割することによって得られる複数の期間が割り当てられる。抽出された画像群のトータル撮影期間は、これら抽出された画像群の最も古い撮影日時から、抽出された画像群の最新の撮影日時までの期間を意味する。例えば、抽出された画像群のトータル撮影期間が２００２年から２０１４年までの１３年間にわたる場合には、この撮影期間は５２個（＝１３×４）の期間に分割され、これら５２個の期間がタイムバー９００に割り当てられる。

キー顔画像と同一人物として認識された画像群は、複数の期間（上述の例では、５２個の期間）に対応する複数の画像グループに分類される。これら画像グループのいずれも、キー顔画像と同一人物であると推定される顔がそれぞれ登場する画像の集合である。そして、画像グループ毎に、つまり３ヶ月の期間毎に１つの画像（代表画像）が選出される。例えば、各画像グループの中で、最も笑顔度の高い顔画像を含む画像、またはキー顔画像との類似度が最も高い顔画像を含む画像が、この画像グループの代表画像として選出されてもよい。

抽出された画像群のトータル撮影期間内の最も古い１年は、２００２年である。画像９０２ａは、キー顔画像と類似する顔画像を含み、且つ２００２年の１月〜３月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０２ａは、２００２年１月〜３月の３ヶ月の期間中に撮影された第１画像グループの代表画像である。

画像９０２ｂは、キー顔画像と類似する顔画像を含み、且つ２００２年の４月〜６月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０２ｂは、２００２年４月〜６月の３ヶ月の期間中に撮影された第２画像グループの代表画像である。

画像９０２ｃは、キー顔画像と類似する顔画像を含み、且つ２００２年の７月〜９月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０２ｃは、２００２年７月〜９月の３ヶ月の期間中に撮影された第３画像グループの代表画像である。

画像９０２ｄは、キー顔画像と類似する顔画像を含み、且つ２００２年の１０月〜１２月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０２ｄは、２００２年１０月〜１２月の３ヶ月の期間中に撮影された第４画像グループの代表画像である。

人物タイムライン表示画面８１０においては、画像９０２ａ〜９０２ｄは、顔画像のサムネイルであってもよい。

画像９０２は、キー顔画像と類似する顔画像を含み、且つ２００２年の１年分の期間中に撮影された画像である。つまり、この画像９０２は、２００２年に撮影された上述の４つの画像グループ全体の代表画像である。例えば、画像２００２年に撮影された４つの画像グループの中で、笑顔度、類似度、正面度、および鮮明度などの点でベストショットであると推定される画像などが、これら４つの画像グループの代表画像として選出されてもよい。画像９０２の表示サイズは、画像９０２ａ〜９０２ｄのサイズよりも大きいサイズであってもよい。さらに、画像９０２は、顔画像サムネイルでは無く、顔画像を含む元画像全体のサムネイルであってもよい。

あるいは、画像９０２に対応する表示領域においては、２００２年に撮影された４つの画像グループから選出された１つの画像だけが固定的に表示されても良いし、２００２年に撮影された４つの画像グループから選択された幾つかの画像またはこれら画像グループに属する全ての画像が自動的に切り替えながら表示されても良い（スライドショー）。

２００２年に後続する２００３年の期間において、画像９０４ａは、キー顔画像と類似する顔画像を含み、且つ２００３年の１月〜３月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０４ａは、２００３年１月〜３月の３ヶ月の期間中に撮影された第５画像グループの代表画像である。

画像９０４ｂは、キー顔画像と類似する顔画像を含み、且つ２００３年の４月〜６月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０４ｂは、２００３年４月〜６月の３ヶ月の期間中に撮影された第６画像グループの代表画像である。

画像９０４ｃは、キー顔画像である。キー顔画像が撮影された日時が、２００３年の７月〜９月の３ヶ月の期間中に属する場合、このキー顔画像は、２００３年７月〜９月の３ヶ月の期間中に撮影された画像グループの代表画像として選出される。キー顔画像９０４ｃは、他の画像（小期間それぞれに対応する他の代表画像）と異なる表示形態で、例えばこのキー顔画像を囲む枠を表示するようなエフェクトが施された状態で、表示される。これにより、どの顔画像サムネイルが、検索キーとして使用されたキー顔画像に対応するかを分かりやすくユーザに提示することができる。ユーザは、キー顔画像９０４ｃと他の各顔画像サムネイルを見比べることにより、子供の成長に伴う顔の変化等を容易に確認することができる。

２００３年の１０月〜１２月の３ヶ月の期間中に撮影された第７画像グループが存在しない場合には、この期間に対応する表示領域には画像は表示されない。

人物タイムライン表示画面８１０においては、画像９０４ａ〜９０４ｃは、顔画像のサムネイルであってもよい。

画像９０４は、キー顔画像と類似する顔画像を含み、且つ２００３年の１年分の期間中に撮影された画像である。つまり、この画像９０４は、２００３年に撮影された上述の４つの画像グループ全体の代表画像である。

画像９０４に対応する表示領域においては、２００３年に撮影された４つの画像グループから選出された１つの画像だけが固定的に表示されても良いし、２００３年に撮影された４つの画像グループから選択された幾つかの画像またはこれら画像グループに属する全ての画像が自動的に切り替えながら表示されても良い（スライドショー）。

２００３年に後続する２００４年の期間において、画像９０６ａは、キー顔画像と類似する顔画像を含み、且つ２００４年の１月〜３月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０６ａは、２００４年１月〜３月の３ヶ月の期間中に撮影された第９画像グループの代表画像である。

２００４年の４月〜６月の３ヶ月の期間中に撮影された第１０画像グループが存在しない場合には、この期間に対応する表示領域には画像は表示されない。

画像９０６ｃは、キー顔画像と類似する顔画像を含み、且つ２００４年の７月〜９月の３ヶ月の期間中に撮影された画像である。つまり、この画像９０６ｃは、２００４年７月〜９月の３ヶ月の期間中に撮影された第１１画像グループの代表画像である。

人物タイムライン表示画面８１０においては、画像９０６ａ、９０６ｃは、顔画像のサムネイルであってもよい。

画像９０６は、キー顔画像と類似する顔画像を含み、且つ２００４年の１年分の期間中に撮影された画像である。つまり、この画像９０６は、２００４年に撮影された４つの画像グループ全体の代表画像である。

画像９０６に対応する表示領域においては、２００４年に撮影された４つの画像グループから選出された１つの画像だけが固定的に表示されても良いし、２００４年に撮影された４つの画像グループから選択された幾つかの画像またはこれら画像グループに属する全ての画像が自動的に切り替えながら表示されても良い（スライドショー）。

人物タイムライン表示画面８１０においては、大期間にそれぞれ対応する画像９０２、９０４、９０６は時系列順に表示される、小期間にそれぞれ対応する画像９０２ａ〜９０２ｄ、９０４ａ〜９０４ｃ、９０６ａ、９０６ｃも時系列順に表示される。

換言すれば、画像９０２、９０２ａ〜９０２ｄを含む画像セットと、画像９０４、９０４ａ〜９０２ｃを含む画像セットと、画像９０６、９０９ａ、９０６ｃ…を含む画像セットが、時系列順に表示される。

ユーザは、小期間にそれぞれ対応する画像９０２ａ〜９０２ｄ、９０４ａ〜９０４ｃ、９０６ａ、９０６ｃを見る事により、３ヶ月毎の時間経過に伴う注目すべき人物の顔や姿の変化の様子を確認することができる。また、ユーザは、大期間にそれぞれ対応する画像９０２、９０４、９０６を見る事により、１年毎の時間経過に伴う注目すべき人物の顔や姿の変化の様子を確認することができる。

スクロール操作のためのユーザ入力、例えば、左右の矢印キーの操作、左右方向のスワイプジャスチャ等が検出された時、フォトビューアアプリケーションプログラム２０２は、人物タイムライン表示画面８１０を横方向にスクロールする。抽出された画像群が２００５〜２０１４年の期間に撮影された画像群もまた含む場合には、ユーザは、スクロール操作によって、２００５〜２０１４年の期間それぞれに対応する画像セットを見ることができる。

さらに、フォトビューアアプリケーションプログラム２０２は、古い順の表示または新しい順の表示のいずれかを指定するユーザ入力を受け付けることができる。そして、フォトビューアアプリケーションプログラム２０２は、そのユーザ入力に応じて、人物タイムライン表示画面８１０上に表示される画像セットの並び順を、古い順と、新しい順との間で変更することができる。

このように、人物タイムライン表示画面８１０においては、キー顔画像と類似する顔画像を含み、且つ異なる期間それぞれに対応する異なる画像が時系列順に表示される。したがって、同一人物の顔や姿の時間経過に伴う変化の様子を分かりやすくユーザに提示することができる。

さらに、人物タイムライン表示画面８１０においては、キー顔画像自体もその撮影日時に対応する期間に撮影された画像グループの代表画像として表示される。このため、ユーザは、キー画像と同一人物の顔や姿の時間経過に伴う変化の様子を、このキー顔画像を基準として容易に確認することができる。

また、さらに、キー顔画像（例えば顔画像９０４ｃ）は、小期間にそれぞれ対応する画像９０２ａ〜９０２ｄ、９０４ａ〜９０４ｃ、９０６ａ、９０６ｃの内のキー顔画像（例えば顔画像９０４ｃ）以外の画像とは異なる表示形態で表示される。したがって、人物タイムライン表示画面８１０上の顔画像それぞれが、どの顔画像に基づいて抽出された顔画像であるかをユーザに分かりやすく提示できる。

したがって、人物タイムライン表示画面８１０は、注目すべき人物の歩みの過程、例えば子供の成長過程等の確認に有用である。

次に、顔検索処理に適用可能な検索条件について説明する。

フォトビューアアプリケーションプログラム２０２は、注目すべき人物の生年月日（日付）および／またはこの人物の現在の年齢を検索条件として使用することができる。

ユーザは、キー顔画像として指定した人物の生年月日（日付）またはこの人物の現在の年齢の少なくとも一方を、必要に応じて検索条件として入力することができる。ユーザによる検索条件の入力は、人物タイムライン表示画面８１０が表示される前に行われてもよい。あるいは、人物タイムライン表示画面８１０が表示されている間に、ユーザは、この人物タイムライン表示画面８１０から別の人物の顔画像を取り除くために、必要に応じて、検索条件を入力してもよい。

フォトビューアアプリケーションプログラム２０２は、生年月日（日付）および／または現在の年齢に関するユーザ入力を受け付ける。このユーザ入力の内容に基づき、フォトビューアアプリケーションプログラム２０２は、人物タイムライン表示画面８１０上に表示される画像を検索条件に合致する画像のみに絞り込むことができる。

例えば、もし生年月日（日付）がユーザによって入力された場合には、キー顔画像に類似する顔画像を含み、且つ入力された生年月日（日付）以降の時間に対応する画像群のみが人物タイムライン表示画面８１０上に表示される。

あるいは、現在の年齢のみがユーザによって入力された場合には、フォトビューアアプリケーションプログラム２０２は、生年月日（日付）を、以下のように算出する。

現在の日時−現在の年齢−１年
＝（算出された）生年月日
現在の年齢は、２歳、３歳といった年のみによって与えられても良いし、２歳３ヶ月、３歳６ヶ月といった年と月との双方によって与えられてもよい。

このようにすることで、キー画像として指定された人物の第１ユーザの顔画像の検索結果として、この人物が誕生する前に撮影された画像（写真）が、誤って表示されることを防止することができる。特に、この人物の兄弟またはこの姉妹の写真を排除することができる。

図７は、検索条件入力画面を示す。

検索条件の指定を要求するユーザ入力に応答して、フォトビューアアプリケーションプログラム２０２は、図７の検索条件入力画面８３０を表示する。検索条件入力画面８３０は、検索したい人物の生年月日を入力するための入力領域と、検索したい人物の現在の年齢を入力するための入力領域を含む。ユーザは、キー画像として選択した人物の生年月日（日付）および／またはこの人物の現在の年齢を検索条件入力画面８３０に入力することができる。

図８に示されているように、キー画像に類似する顔画像を含む画像群８４０のうち、人物タイムライン表示画面８１０上に表示される画像群は、入力された生年月日（または計算された生年月日）以降に撮影された画像群のみに制限される。生年月日よりも前に撮影された画像群は、検索したい人物以外の人物を撮った画像、例えば検索したい人物の兄弟や姉妹を撮った画像である可能性が高い。したがって、人物タイムライン表示画面８１０上に表示される画像群を生年月日（または計算された生年月日）以降に撮影された画像群のみに制限することによって、検索したい人物以外の人物の顔画像が誤って表示されてしまうことを防止することができる。

図９は、人物タイムライン表示画面８１０から顔検索結果一覧表示画面８２０への遷移を示す。

人物タイムライン表示画面８１０上の画像（顔サムネイル）の何れかがユーザによって選択された時、フォトビューアアプリケーションプログラム２０２は、選択された顔サムネイルに対応する画像が先頭に配置された顔検索結果一覧表示画面８２０を、人物タイムライン表示画面８１０に代えて表示する。顔検索結果一覧表示画面８２０においては、画像８２１〜８６４…が、例えば２次元のマトリクス状に配置される。これら画像８２１〜８６４は、キー顔画像に類似する顔画像を含む画像のうち、選択された顔サムネイルの撮影日時以降の期間に撮影された画像のサムネイルである。

ユーザが人物タイムライン表示画面８１０を見て興味のある期間を見つけた場合、ユーザは、この期間に対応する顔サムネイルをタップまたはクリックすることによって、この期間に対応する多数の抽出画像のサムネイルを見ることができる。

図１０のフローチャートは、顔検索処理の手順を示す。

プロセッサ１１１は、フォトビューアアプリケーションプログラム２０２の制御の下、以下の処理を実行する。

キー顔画像がユーザによって指定された時、プロセッサ１１１は、顔検索処理を実行して、このキー顔画像に類似する顔画像をそれぞれ含む画像群を、写真フォルダ５００から抽出する（ステップＳ１１）。次いで、プロセッサ１１１は、抽出された画像群のトータル撮影期間を、各々が例えば３ヶ月の時間長を有する複数の期間（小期間）に分割する（ステップＳ１２）。そして、プロセッサ１１１は、小期間毎に１つの画像（代表画像）を選出する（ステップＳ１３）。ステップＳ１３では、キー顔画像が撮影された期間に関しては、プロセッサ１１１は、キー顔画像を、この期間の代表画像として優先的に選出する。さらに、プロセッサ１１１は、他の各期間の代表画像と、各大期間の代表画像とを選出する。

この後、プロセッサ１１１は、選出された代表画像群を時系列順に表示するための処理を実行する（ステップＳ１４）。ステップＳ１４では、プロセッサ１１１の制御の下、ＧＰＵ１１４は、図６で説明した人物タイムライン表示画面８１０を表示する。キー画像はエフェクトが施された状態で人物タイムライン表示画面８１０上に表示される。

図１１のフローチャートは、顔検索結果一覧表示処理と全画面表示処理の手順を示す。

プロセッサ１１１は、人物タイムライン表示画面８１０上のある代表画像（ある顔サムネイル）がユーザによって選択されたか否かを判定する（ステップＳ２１）。ある顔サムネイルがユーザによって選択されたならば（ステップＳ２１のＹＥＳ）、プロセッサ１１１は、選択された顔サムネイルの撮影日時以降に撮影された画像のサムネイルの一覧を表示するための処理を実行する（ステップＳ２２）。ステップＳ２２では、プロセッサ１１１の制御の下、ＧＰＵ１１４は、図９で説明した顔検索結果一覧表示画面８２０を表示する。

プロセッサ１１１は、顔検索結果一覧表示画面８２０上のある画像（サムネイル）がユーザによって選択されたか否かを判定する（ステップＳ２３）。顔検索結果一覧表示画面８２０上のあるサムネイルがユーザによって選択されたならば（ステップＳ２３のＹＥＳ）、プロセッサ１１１は、この選択されたサムネイルに対応する画像を通常サイズ（例えばフルスクリーンサイズ）で表示するための処理を実行する（ステップＳ２４）。

図１２は、キー顔画像一覧表示画面１１００を示す。

キー顔画像一覧表示画面１１００は、過去に検索キーとして使用されたキー顔画像の一覧を表示する。図１２では、２つのキー顔画像オブジェクト１１０１、１１０２が表示されている。キー顔画像オブジェクト１１０１は、キー顔画像と、最終検索日と、検索された画像数とを表示する。最終検索日は、このキー顔画像を用いた顔検索が最後に行われた日または日時を示す。検索された画像数は、このキー顔画像を用いた最後の顔検索によって抽出された画像数を示す。

ユーザによってキー顔画像オブジェクト１１０１、１１０２の一方が選択された時、選択されたキー顔画像オブジェクトのキー顔画像に基づく顔検索が実行される。

図１３のフローチャートは、キー顔画像一覧表示画面１１００から選択されたキー顔画像に基づく顔検索処理の手順を示す。

プロセッサ１１１は、過去に検索キーとして使用されたキー顔画像（キー顔画像オブジェクト）の一覧を表示するための処理を実行する（ステップＳ３１）。ユーザによってキー顔画像一覧の中のあるキー顔画像が選択されたならば（ステップＳ３２のＹＥＳ）、プロセッサ１１１は、顔検索処理を実行して、この選択されたキー顔画像に類似する顔画像をそれぞれ含む画像群を、写真フォルダ５００から抽出する（ステップＳ３３）。

この後、プロセッサ１１１は、図１０のフローチャートで説明したステップＳ１２〜Ｓ１４と同じ処理を実行する。

次に、２つのキー顔画像を使用して実行される顔検索処理について説明する。

２つのキー顔画像を使用した顔検索処理は、例えば、注目すべき人物と同一の人物の顔画像を含む画像を高精度に検索するたるために使用できる。あるいは、２つのキー顔画像を使用した顔検索処理は、異なる二人の人物が一緒に写っている画像を検索するたるために使用してもよい。

例えば、図１４に示されているように、人物タイムライン表示画面８１０上の顔画像のいいずれか、例えば顔画像（顔サムネイル）９０２ｂが、新たに検索キーとして指定された場合、フォトビューアアプリケーションプログラム２０２は、顔検索処理を再び実行する。

この場合、フォトビューアアプリケーションプログラム２０２は、２つの顔画像（キー顔画像９０４ｃ、および顔サムネイル９０２ｂ）の双方を検索キーとして使用することによって、写真フォルダ５００から、これら２つの顔画像にそれぞれ対応する画像群を検索する。そして、フォトビューアアプリケーションプログラム２０２は、新たに検索された少なくとも１つの画像（顔画像）によって、人物タイムライン表示画面８１０に表示されている代表画像の少なくとも一つを更新することができる。

図１５に示されるように、例えば、２００２年の１０月〜１２月の期間に撮影された画像９０２ｄ’が、２つの顔画像を使用した顔検索処理によって新たに検索されたならば、２００２年の４つの代表画像群は、画像９０２ｄ’によって更新されても良い。つまり、画像９０２ｄ’が、画像９０２ｄの代わりに、２００２年の１０月〜１２月の期間の代表画像として表示されても良い。

図１６のフローチャートは、新たに顔画像が検索キーとして指定された場合に実行される顔検索処理の手順の一例を示す。

新たにキー顔画像が検索キーとして指定された場合、プロセッサ１１１は、まず、既に検索キーとして指定されているキー顔画像の特徴量と新たに指定されたキー顔画像（新たなキー顔画像）の特徴量との差を算出する（ステップＳ４１）。キー顔画像の特徴量と新たなキー顔画像の特徴量の差に基づいて、プロセッサ１１１は、キー顔画像および新たなキー顔画像が、同一人物の顔画像であるか、または異なる人物それぞれの顔画像であるかを推定することができる。

キー顔画像の特徴量と新たなキー顔画像の特徴量の差が閾値以上であるならば（ステップＳ４２のＹＥＳ）、プロセッサ１１１は、キー顔画像および新たなキー顔画像が、異なる人物それぞれの顔画像であると判定する。そして、プロセッサ１１１は、キー顔画像に類似する顔画像と新たなキー顔画像に類似する顔画像の双方をそれぞれ含む画像群を、写真フォルダ５００から抽出する（ステップＳ４３）。これによって、異なる二人の人物が一緒に写っている画像が写真フォルダ５００から抽出される。

一方、キー顔画像の特徴量と新たなキー顔画像の特徴量の差が閾値以上でないならば（ステップＳ４２のＮＯ）、プロセッサ１１１は、キー顔画像および新たなキー顔画像が、同一人物の顔画像であると判定する。そして、プロセッサ１１１は、キー顔画像および新たなキー顔画像の双方に類似する顔画像をそれぞれ含む画像群を、写真フォルダ５００から抽出する（ステップＳ４４）。ステップＳ４４では、キー顔画像に類似する顔画像をそれぞれ含む画像群から、新たなキー顔画像に類似する顔画像をそれぞれ含む画像群が、抽出されてももい。これにより、注目すべき人物と同一の人物の顔画像を含む画像を高精度に検索することができる。

この後、プロセッサ１１１は、図１０のフローチャートで説明したステップＳ１２〜Ｓ１４と同じ処理を実行する。

なお、人物タイムライン表示画面８１０上の顔画像のいいずれが新たに検索キーとして指定された場合には、フォトビューアアプリケーションプログラム２０２は、既に検索キーとして指定されているキー顔画像と新たに検索キーとして指定された顔画像の双方を使用することによって、写真フォルダ５００から、画像群を検索するための処理を実行する。そして、フォトビューアアプリケーションプログラム２０２は、新たに検索された画像群の少なくとも１つを使用して、人物タイムライン表示画面８１０上の画像群の少なくとも１を更新する。

図１７は、顔検索結果を示す別の表示画面例を示す。

上述の人物タイムライン表示画面８１０では、抽出画像は、それらの撮影日時に基づく複数の期間に分類され、期間毎に１つの画像（代表画像）が表示された。一方、図１７の顔検索結果表示画面１２００においては、抽出画像は、それらの撮影場所に基づく複数の場所に分類され、場所毎に１つの画像（代表画像）が表示される。各画像は、対応する場所に関連付けられた状態で表示される。

画像１２０１は、キー顔画像と類似する顔画像を含み、且つ場所Ａで撮影された画像である。つまり、この画像１２０１は、キー顔画像と類似する顔画像を含み、且つ場所Ａで撮影された第１画像グループの代表画像である。画像１２０１の表示領域には、場所Ａを示すテキストが表示されてもよい。あるいは、画像１２０１の表示領域には、場所Ａを含む地図が表示されてもよい。この場合、画像１２０１は、この地図上に表示される。

画像１２０２は、キー顔画像と類似する顔画像を含み、且つ場所Ｂで撮影された画像である。つまり、この画像１２０２は、キー顔画像と類似する顔画像を含み、且つ場所Ｂで撮影された第２画像グループの代表画像である。画像１２０２の表示領域には、場所Ｂを示すテキストが表示されてもよい。あるいは、画像１２０２の表示領域には、場所Ｂを含む地図が表示されてもよい。この場合、画像１２０２は、この地図上に表示される。

画像１２０３は、キー顔画像と類似する顔画像を含み、且つ場所Ｃで撮影された画像である。つまり、この画像１２０３は、キー顔画像と類似する顔画像を含み、且つ場所Ｃで撮影された第２画像グループの代表画像である。画像１２０３の表示領域には、場所Ｃを示すテキストが表示されてもよい。あるいは、画像１２０３の表示領域には、場所Ｃを含む地図が表示されてもよい。この場合、画像１２０３は、この地図上に表示される。

画像１２０４は、キー顔画像である。キー顔画像が撮影された場所が場所Ｄである場合、このキー顔画像は、場所Ｄで撮影された画像グループの代表画像として選出される。キー顔画像１２０４は、他の画像（他の代表画像）と異なる表示形態で、例えばこのキー顔画像を囲む枠を表示するようなエフェクトが施された状態で、表示される。画像１２０４の表示領域には、場所Ｄを示すテキストが表示されてもよい。あるいは、画像１２０４の表示領域には、場所Ｄを含む地図が表示されてもよい。この場合、画像１２０４は、この地図上に表示される。

以上説明したように、本実施形態によれば、人物タイムライン表示画面８１０は、時間経過による人物の画像の内容の変化、つまりキー顔画像と抽出された画像との間の時間的な関係や、抽出された画像間の時間的な関係を表現することができる。よって、ユーザは、人物タイムライン表示画面８１０を通して、注目すべき人物の歩みの過程、例えば子供の成長過程等を、容易に確認することができる。

なお、本実施形態では、期間毎に１つの画像（代表画像）を表示する例を説明したが、期間毎に２つまたは３つの画像を代表画像として表示してもよい。

また、本実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０２…フォトビューアアプリケーションプログラム、３００…インデキシングエンジン、３０２…画像検索エンジン、３０４…表示処理部、４１０…キー画像選択部、４１２…顔画像検出部、４１４…特徴量算出部、４１６…画像検索部４１６。

Claims (12)

1. ディスプレイと、
   カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、
   フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、
   を具備し、
   前記プロセッサは、
   前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出し、
   抽出された前記画像群のトータル撮影期間を複数の期間に分割した小期間毎に対応して、前記抽出された画像群から代表画像を選出し、
   前記小期間毎に対応して選出された複数の代表画像を時系列順に前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示する電子機器。
2. 前記プロセッサは、
   前記画像群から新たに第２顔画像が検索キーとして指定された場合で、前記第１顔画像の特徴量と前記第２顔画像の特徴量との差が閾値以上であるならば、前記第１顔画像と前記第２顔画像の双方を前記検索キーとして使用することによって、前記第１顔画像に類似する第１画像群と前記第２顔画像に類似する第２画像群を前記写真フォルダから抽出し、
   前記第１顔画像の特徴量と前記第２顔画像の特徴量との差が前記閾値以上でないならば、前記第１顔画像と前記第２顔画像の双方に類似する第３画像群を前記写真フォルダから抽出する
   請求項１記載の電子機器。
3. 前記プロセッサは、
   過去に前記検索キーとして使用された顔画像を前記写真フォルダに保存して再利用を可能とし、
   前記写真フォルダから前記過去に検索キーとして使用された顔画像の一覧を前記ディスプレイに表示し、
   前記一覧から顔画像の１つが選択された場合、選択された第３顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第３顔画像に類似する画像群を前記写真フォルダから抽出する
   請求項１記載の電子機器。
4. ディスプレイと、
   カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、
   フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、
   を具備し、
   前記プロセッサは、
   前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出し、
   抽出された前記画像群を撮影場所に基づいて複数の場所毎に分類して、前記複数の場所毎に抽出された画像群から代表画像を選出し、
   前記複数の場所毎に選出された複数の代表画像を前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示する
   電子機器。
5. ディスプレイと、
   カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、
   フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、
   を具備する電子機器の方法であって、
   前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出することと、
   抽出された前記画像群のトータル撮影期間を複数の期間に分割した小期間毎に対応して、前記抽出された画像群から代表画像を選出することと、
   前記小期間毎に対応して選出された複数の代表画像を時系列順に前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示することと
   を具備する方法。
6. 前記画像群から新たに第２顔画像が検索キーとして指定された場合で、前記第１顔画像の特徴量と前記第２顔画像の特徴量との差が閾値以上であるならば、前記第１顔画像と前記第２顔画像の双方を前記検索キーとして使用することによって、前記第１顔画像に類似する第１画像群と前記第２顔画像に類似する第２画像群を前記写真フォルダから抽出し、
   前記第１顔画像の特徴量と前記第２顔画像の特徴量との差が前記閾値以上でないならば、前記第１顔画像と前記第２顔画像の双方に類似する第３画像群を前記写真フォルダから抽出する
   請求項５記載の方法。
7. 過去に前記検索キーとして使用された顔画像を前記写真フォルダに保存して再利用を可能とし、
   前記写真フォルダから前記過去に検索キーとして使用された顔画像の一覧を前記ディスプレイに表示し、
   前記一覧から顔画像の１つが選択された場合、選択された第３顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第３顔画像に類似する画像群を前記写真フォルダから抽出する
   請求項５記載の方法。
8. ディスプレイと、
   カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、
   フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、
   を具備する電子機器の方法であって、
   前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出することと、
   抽出された前記画像群を撮影場所に基づいて複数の場所毎に分類して、前記複数の場所毎に抽出された画像群から代表画像を選出することと、
   前記複数の場所毎に選出された複数の代表画像を前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示することと
   を具備する方法。
9. ディスプレイと、
   カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、
   フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、
   を具備する電子機器により実行されるプログラムであって、前記プログラムは、
   前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出することと、
   抽出された前記画像群のトータル撮影期間を複数の期間に分割した小期間毎に対応して、前記抽出された画像群から代表画像を選出することと、
   前記小期間毎に対応して選出された複数の代表画像を時系列順に前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示することとの機能を前記電子機器に実行させるプログラム。
10. 前記画像群から新たに第２顔画像が検索キーとして指定された場合で、前記第１顔画像の特徴量と前記第２顔画像の特徴量との差が閾値以上であるならば、前記第１顔画像と前記第２顔画像の双方を前記検索キーとして使用することによって、前記第１顔画像に類似する第１画像群と前記第２顔画像に類似する第２画像群を前記写真フォルダから抽出し、
    前記第１顔画像の特徴量と前記第２顔画像の特徴量との差が前記閾値以上でないならば、前記第１顔画像と前記第２顔画像の双方に類似する第３画像群を前記写真フォルダから抽出する
    機能を前記電子機器にさらに実行させる請求項９記載のプログラム。
11. 過去に前記検索キーとして使用された顔画像を前記写真フォルダに保存して再利用を可能とし、
    前記写真フォルダから前記過去に検索キーとして使用された顔画像の一覧を前記ディスプレイに表示し、
    前記一覧から顔画像の１つが選択された場合、選択された第３顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第３顔画像に類似する画像群を前記写真フォルダから抽出する
    機能を前記電子機器にさらに実行させる請求項９記載のプログラム。
12. ディスプレイと、
    カメラ、外部ストレージ、携帯電子機器の１つ以上からの画像群と前記画像群の各画像の特徴量を示すインデックスデータとを保存する写真フォルダと、
    フォトビューアアプリケーションの実行により、前記写真フォルダへ新たな画像の保存、前記新たな画像の前記インデックスデータの生成と保存、及び前記写真フォルダ内の前記画像群から検索キーとして指定される顔画像に類似する顔画像をそれぞれ含む画像群の検索並びに表示を実行するプロセッサと、
    を具備する電子機器により実行されるプログラムであって、前記プログラムは、
    前記検索キーとして指定される第１顔画像の顔特徴量と前記インディクスデータの前記特徴量とを比較して、前記第１顔画像に類似する画像群を前記写真フォルダから抽出することと、
    抽出された前記画像群を撮影場所に基づいて複数の場所毎に分類して、前記複数の場所毎に抽出された画像群から代表画像を選出することと、
    前記複数の場所毎に選出された複数の代表画像を前記ディスプレイに表示すると共に、前記複数の代表画像に前記第１顔画像を含む場合、当該第１顔画像を他の代表画像と異なる表示形態で前記ディスプレイに表示することとの機能を前記電子機器に実行させるプログラム。

Images