JP4987943B2 - 電子機器及び画像表示方法 - Google Patents

Description

本発明は、画像を表示する電子機器及び該電子機器に適用される画像表示方法に関する。

近年、デジタルフォトフレーム等と称される映像再生装置が普及している。デジタルフォトフレームは、例えば、接続された記憶媒体に格納された複数の静止画像を、所定の間隔で順次表示する機能を有する。また、パーソナルコンピュータやデジタルカメラ等においても、デジタルフォトフレームのように、複数枚の静止画像を所定の間隔で順次表示する機能を有するものが一般的である。

特許文献１には、動画と静止画とが混在するコンテンツを再生する画像再生装置が開示されている。この画像再生装置は、動画と複数の静止画を含むスライドショーとを連続的に再生する。

特開２００９−６５５９０号公報

特許文献１の画像再生装置では、例えば撮影日時に基づいて、時系列的に動画と静止画を含むスライドショーとを再生する。しかし、このような再生では、ユーザがコンテンツの内容を把握することが困難である可能性がある。

例えば、ユーザは、写真や映像に捉えられている人物や風景により、写真や映像の内容を把握することが想定される。しかし、人物や風景から得られる情報では、いつ、どこで、誰と、といった明確な情報を想起することが困難である場合もある。

本発明は上述の事情を考慮してなされたものであり、表示される写真や映像の内容をユーザに分かり易く提示することができる電子機器及び画像表示方法を提供することを目的とする。

上述の課題を解決するため、本発明の電子機器は、複数の静止画像に含まれる文字を認識する文字認識手段と、前記複数の静止画像に含まれる顔画像を認識する顔認識手段と、前記複数の静止画像を分類して複数のグループを作成するグループ作成手段と、前記複数のグループから、指定された人物の顔画像を含む静止画像を含む複数のグループを抽出するグループ抽出手段と、前記抽出された複数のグループを所定の順序で配列し、前記抽出された複数のグループに含まれる複数の静止画像のうち、前記文字を含む画像をグループ毎に選択し、前記抽出された複数のグループに含まれる複数の静止画像内の先頭に、前記選択された文字を含む画像をグループ毎に配置する配列手段と、前記配列された複数のグループに含まれる複数の静止画像を順に表示する映像データを生成する映像生成手段とを具備することを特徴とする。

本発明によれば、表示される写真や映像の内容をユーザに分かり易く提示することができる。

本発明の一実施形態に係る電子機器の外観を示す図。 同実施形態の電子機器のシステム構成を示す図。 同実施形態の電子機器上で動作するコンテンツ再生アプリケーションプログラムの機能構成を示すブロック図。 図３のコンテンツ再生アプリケーションプログラムの詳細な機能構成の例を示すブロック図。 図３のコンテンツ再生アプリケーションプログラムによって用いられるインデックス情報の構成の例を示す図。 図３のコンテンツ再生アプリケーションプログラムによって検出される文字情報を含む静止画像の例を示す図。 図３のコンテンツ再生アプリケーションプログラムによって行われる画像表示の動作の例を説明するための概念図。 図３のコンテンツ再生アプリケーションプログラムによって実行される画像表示処理の手順を示すフローチャート。 図３のコンテンツ再生アプリケーションプログラムによって実行されるスライドショー作成処理の手順を示すフローチャート。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の実施形態に係る電子機器の外観を示す図である。この電子機器は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。

図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７を備えた表示装置が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。

また、コンピュータ本体１１の右側側面には、例えばUSB（universal serial bus）2.0規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。さらに、コンピュータ本体１１の背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。

図２は、本コンピュータ１０のシステム構成を示す図である。

本コンピュータ１０は、図２に示されているように、ＣＰＵ（central processing unit）１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、ＧＰＵ（Graphics Processing Unit）１０５、ＶＲＡＭ（ビデオＲＡＭ:random access memory）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ（basic input/output system-read only memory）１０７、ＬＡＮ（local area network）コントローラ１０８、ＨＤＤ１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ（electrically erasable programmable ROM）１１４、カードコントローラ１１６等を備えている。

ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１や、コンテンツ再生アプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。コンテンツ再生アプリケーションプログラム２０２は、例えばＯＤＤ１１０にセットされたＤＶＤ（digital versatile disc）等に格納された、例えば、デジタル写真、ホームビデオ等といったデジタルコンテンツを再生する機能を有するソフトウェアである。コンテンツ再生アプリケーションプログラム２０２は、ＨＤＤ１０９に格納されたデジタル画像をいわゆるデジタルフォトフレームのように表示する機能も有している。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスおよびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９およびＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ１１１は、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。例えば、外部機器であるデジタルカメラによって管理されているデジタル画像を取り込んでＨＤＤ１０９に格納する際の通信等を実行する。

カードコントローラ１１６は、カードスロット２０に挿入された記録メディア２０Ａとの通信を実行する。例えば、カードコントローラ１１６は、記録メディア２０ＡであるＳＤカードに格納された画像ファイルを読み出してＨＤＤ１０９に格納する際の通信等を実行する。

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１４は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。

次に、図３を参照して、以上のような構成をもつコンピュータ１０上で動作するコンテンツ再生アプリケーションプログラム２０２の一機能構成を説明する。ここでは、前述したコンテンツ再生アプリケーションプログラム２０２が有する機能のうち、ＨＤＤ１０９に格納されたデジタル画像（静止画像データ４０１）をいわゆるデジタルフォトフレームのように表示する機能を実現するための構成例について説明する。

デジタル画像を順次表示する機能を有するデジタルフォトフレーム等では、機器内に格納された複数の静止画像を、例えば、撮影時刻順に又はランダムに再生して、画面に順次表示することができる。しかし、このような再生では、ユーザが表示される静止画像の内容を把握することが困難である可能性がある。

例えば、ユーザは、写真（映像）に捉えられている人物や風景により、写真の内容を把握することが想定される。しかし、人物や風景から得られる情報では、いつ、どこで、誰と、といった明確な情報を想起することが困難である場合もある。

写真の内容を容易に把握するための方法の一つとして、その内容に関連する文字情報を提供することが挙げられる。ユーザは、例えば、写真に写っている看板に記載された地名から、写真が撮影された場所を容易に把握することができる。本実施形態では、文字情報を含む写真を、表示対象の写真群の、例えば先頭に配置することにより、表示される一連の静止画像の内容をユーザが容易に把握できるようにする。

本実施形態のコンテンツ再生アプリケーションプログラム２０２は、制御部３０１、解析部３０２、抽出部３０３、作成部３０４、及び表示部３０５等を備える。制御部３０１は、コンテンツ再生アプリケーションプログラム内の各部の動作を制御する。解析部３０２は、ＨＤＤ１０９に格納された静止画像データ４０１に含まれる、各々の静止画像を解析する。解析部３０２は、例えば、静止画像に含まれる顔画像や文字（文字列）を認識する。また、解析部３０２は、顔画像のクラスタリングや、文字情報の量の測定等を行う。抽出部３０３は、解析部３０２により認識された顔画像や文字に関する情報に基づいて、スライドショーやフォトムービーの作成に用いる複数の静止画像を抽出する。抽出される複数の静止画像には、文字情報を多く含む静止画像が含まれる。

作成部３０４は、抽出部３０３により抽出された複数の静止画像を用いて、スライドショーやフォトムービーを作成する。作成部３０４は、時間情報や場所情報に基づいて、抽出された複数の静止画像を分類し、グループ化する。そして、作成部３０４は、グループ毎に、当該グループに含まれる静止画像を整列する。作成部３０４は、例えば、グループに含まれる複数の静止画像を時間情報に基づいて整列し、当該複数の静止画像のうち、文字情報を多く含む静止画像を、グループの先頭に配置する。作成部３０４は、グループ化され、グループ毎に整列された静止画像を順に表示するためのスライドショーやフォトムービーを作成する。なお、作成部３０４は、抽出部３０３により抽出された複数の静止画像が少数である際等には、グループ化を行わずに、複数の静止画像を所定の順序で配列し、複数の静止画像のうち、文字列を含む静止画像を、配列された複数の静止画像内の先頭に挿入する処理のみを行ってもよい。また、作成部３０４は、解析部３０２等によって既にグループ化された静止画像を用いて、スライドショーを作成してもよい。

表示部３０５は、作成部３０４により作成されたスライドショー又はフォトムービーを画面に表示する。なお、作成部３０４は、作成したスライドショー又はフォトムービーをデータファイルとしてＨＤＤ１０９等に格納してもよい。

図４は、図３に示すコンテンツ再生アプリケーションプログラム２０２のより詳細な構成の例を表す。コンテンツ再生アプリケーション２０２は、画像解析部５０２、画像抽出部５０３、スライドショー作成部５０４、及びスライドショー表示部５０５を備える。

画像解析部５０２は、ＨＤＤ１０９に格納された静止画像データ４０１を読み出し、静止画像データ４０１に含まれる静止画像の各々を解析する。画像解析部５０２は、文字認識部５０２Ａと顔画像認識部５０２Ｂとを備える。

文字認識部５０２Ａは、各静止画像４０１に含まれる文字を検出し、検出した文字を認識する。文字認識部５０２Ａによって認識される文字は、単語や文章等を示す文字列であり得る。文字認識部５０２Ａは、例えば、静止画像内に捉えられた看板上の文字を認識する。そして、文字認識部５０２Ａは、認識した文字（文字列）の文字数、サイズ、位置、角度等を検出する。また、文字認識部５０２Ａは、文字列の内容を分析し、当該文字列の属性（地名、イベント名等）を取得してもよい。文字の検出（認識）は、例えば、予め用意された各文字の特徴量と類似する特徴量を有する領域を探索することによって行うことができる。

顔画像認識部５０２Ｂは、各静止画像４０１に含まれる顔画像を認識する。具体的には、顔画像認識部５０２Ｂは、例えば、静止画像４０１から顔領域を検出し、検出された顔領域を静止画像４０１から切り出す。顔領域の検出は、例えば、静止画像４０１の特徴を解析し、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。

顔画像認識部５０２Ｂは、例えば、切り出された複数の顔画像をクラスタリングする。顔画像認識部５０２Ｂは、クラスタリングにより、同一人物と推定される顔画像を認識する。また、顔画像認識部５０２Ｂは、切り出された顔画像に対応する人物を認識してもよい。顔画像認識部５０２Ｂは、例えば、切り出された顔画像の特徴量と、人物毎の顔画像の特徴量とが類似しているか否かに基づいて、切り出された顔画像が当該人物であるかどうかを判定する。顔画像認識部５０２Ｂは、特徴量が類似している（例えば、特徴量の差がしきい値以内である）場合、切り出された顔画像が当該人物の顔画像であると認識する。

画像解析部５０２は、解析により得られた情報をインデックス情報４０２としてデータベース１０９Ａに格納する。画像解析部５０２は、文字認識部５０２Ａにより認識された文字（文字列）に関する情報、顔画像認識部５０２Ｂにより認識された顔画像に関する情報、ＧＰＳ等を用いて取得された場所情報（例えば、撮影地点の緯度・経度情報）、Ｅｘｉｆ、並びに静止画像データのファイル作成日時及び更新日時等に基づく時刻情報等をインデックス情報４０２としてデータベース１０９Ａに格納する。

データベース１０９Ａは、インデックス情報４０２を格納するためにＨＤＤ１０９内に用意された記憶領域である。図５に、データベース１０９Ａに格納されるインデックス情報４０２の一構成例を示す。

インデックス情報４０２には、画像毎の、画像ＩＤ、撮像日時、文字情報、場所情報、顔画像情報、グループ情報等が含まれる。画像ＩＤは、静止画像データ４０１に含まれる各々の静止画像に一意に割り当てられる識別情報を示す。撮像日時は、各静止画像４０１の撮像日時を示す時刻情報を示す。なお、静止画像が動画像データを構成する複数のフレームの一つであるとき、当該静止画像の撮像日時には、動画像データの撮像日時に対して、フレーム番号に基づく先頭フレームからの経過時間を加えた値（タイムスタンプ情報）が設定される。

文字情報は、各静止画像４０１に含まれる文字列に関する情報を示す。文字情報は、各静止画像４０１に複数の文字列が含まれる場合、その複数の文字列に対応する数だけ格納される。文字情報には、文字列、文字数、サイズ、位置、角度等が含まれる。文字列は、文字認識部５０２Ａにより認識された文字列を示す。文字数は、当該文字列に含まれる文字の数を示す。サイズは、当該文字列の大きさ（例えば、ピクセル単位の画像サイズ）を示す。位置は、当該文字列が静止画像４０１上に描画されている位置を示す。角度は、当該文字列が静止画像４０１上に描画されている角度を示す。

場所情報は、各静止画像４０１が撮影された場所に関する情報を示す。場所情報は、例えば、ＧＰＳを用いて取得された撮影場所の緯度・経度情報を示す。

顔画像情報は、各静止画像４０１に含まれる顔画像に関する情報を示す。顔画像情報は、各静止画像４０１に複数の顔画像が含まれる場合、その複数の顔画像に対応する数だけ格納される。顔画像情報には、顔画像、正面度、サイズ、分類情報等が含まれる。顔画像は、顔画像認識部５０２Ｂにより認識された顔画像を示す。正面度は、当該顔画像が正面から撮影された度合いを示す。サイズは、当該顔画像の大きさ（例えば、ピクセル単位の画像サイズ）を示す。分類情報は、顔画像認識部５０２Ｂにより認識された複数の顔画像を、同一人物であると推定される顔画像別に分類した分類結果を示す。したがって、分類情報は、例えば、人物に一意に割り当てられる識別情報（人物ＩＤ）を示す。

グループ情報は、グループ作成部５０４Ａにより作成される複数のグループを識別するための情報（グループＩＤ）を示す。したがって、グループ情報には、当該静止画像が属するグループを示す情報が格納される。

つまり、このインデックス情報４０２によれば、各静止画像データ４０１について、誰が写っている画像か、文字が写っている画像か否か、どのグループに属する画像か、等を知ることができる。換言すると、このインデックス情報４０２を用いて、目的の人物が写っている静止画像データ４０１や人物が写っていない静止画像データ４０１、目的の人物が写っており、且つ文字が写っている静止画像データ４０１等を、ＨＤＤ１０９に格納された複数の静止画像データ４０１の中から速やかに探し出すことができる。

また、画像抽出部５０３は、インデックス情報４０２を参照して、静止画像データ４０１から、スライドショー（フォトムービー）作成に用いる静止画像を抽出する。画像抽出部５０３は、時刻情報（例えば、撮像日時情報）、場所情報（例えば、ＧＰＳ等により取得された撮影位置の緯度・経度情報）、顔画像情報等に基づいて、所定の条件を満たす静止画像を静止画像データ４０１から抽出する。画像抽出部５０３は、例えば、所定の期間内に撮影された静止画像、すなわち、所定の期間内の時刻情報を有する静止画像を静止画像データ４０１から抽出する。画像抽出部５０３は、例えば、所定の領域内で撮影された静止画像、すなわち、所定の領域内の場所情報を有する静止画像を静止画像データ４０１から抽出する。画像抽出部５０３は、例えば、所定の人物が写った静止画像、すなわち、所定の人物の顔画像を含む静止画像を静止画像データ４０１から抽出する。

また、画像抽出部５０３は、インデックス情報４０２を参照して、抽出される静止画像に、文字情報を多く含む静止画像を含める。画像抽出部５０３は、例えば、所定の期間内の時刻情報を有する所定数の静止画像を抽出する場合、所定の期間内の時刻情報を有する静止画像から、文字情報を多く含む幾つかの静止画像を優先的に抽出した後、残りの枚数の分だけ、さらに静止画像を抽出する。

画像抽出部５０３は、所定の条件を満たす複数の静止画像の各々について、当該静止画像に含まれる文字情報の情報量を示す文字情報量（スコア）を算出する。画像抽出部５０３は、静止画像に含まれる文字列の文字数、サイズ、位置、角度等に基づいて、文字情報量を算出する。また、画像抽出部５０３は、文字列の内容に基づく属性を考慮して、文字情報量を決定してもよい。画像抽出部５０３は、算出した文字情報量が大きい（例えば、しきい値以上である）静止画像を、文字情報を多く含む静止画像として抽出する。なお、画像抽出部５０３は、ＨＤＤ１０９に格納された静止画像データ４０１に含まれる全ての静止画像を、スライドショー作成に用いる静止画像として抽出してもよい。その場合、画像抽出部５０３は、文字情報量が大きい（文字情報を多く含む）静止画像を分類して抽出する。

スライドショー作成部５０４は、画像抽出部５０３により抽出された複数の静止画像を用いて、スライドショー（フォトムービー）を作成する。スライドショー作成部５０４は、グループ作成部５０４Ａ、グループ抽出部５０４Ｂ、画像選択部５０４Ｃ、表示順決定部５０４Ｄ、及びデータ生成部５０４Ｅを備える。

グループ作成部５０４Ａは、画像抽出部５０３により抽出された静止画像データを分類して、複数のグループ（イベントグループ）を作成する。グループ作成部５０４Ａは、時刻情報、場所情報、顔画像情報等に基づいて、静止画像データを分類する。グループ作成部５０４Ａは、例えば時刻情報に基づいて、所定の時間内（例えば、１日）に撮影された静止画像を同一のグループに分類する。グループ作成部５０４Ａは、例えば、場所情報に基づいて、所定の領域内（例えば、指定のテーマパーク内や指定された位置からＸメートル以内）で撮影された静止画像を同一のグループに分類する。また、グループ作成部５０４Ａは、例えば、顔画像情報に基づいて、所定の人物が写っていると推定される静止画像を同一のグループに分類する。グループ作成部５０４Ａは、作成した複数のイベントグループに関する情報をグループ抽出部５０４Ｂに出力する。

グループ抽出部５０４Ｂは、グループ作成部５０４Ａにより作成された複数のイベントグループから、所定の条件を満たすイベントグループを抽出する。ユーザは、例えば、キーボード１３やタッチパッド１６を用いて、作成するスライドショーに登場させたい人物やスライドショーのテーマ等を選択する。グループ抽出部５０４Ｂは、選択された人物やテーマに関連する静止画像を含むイベントグループを、グループ作成部５０４Ａにより作成された複数のイベントグループから抽出する。グループ抽出部５０４Ｂは、抽出したグループに関する情報を画像選択部５０４Ｃに出力する。

画像選択部５０４Ｃは、例えば、抽出したグループに含まれる静止画像から、所定の条件を満たす静止画像を選択する。もちろん抽出したグループに含まれる全ての静止画像を選択するようにしてもよい。

表示順決定部５０４Ｄは、複数のグループの各々に含まれる複数の静止画像の表示順序を決定する。表示順決定部５０４Ｄは、グループ間の表示順序も決定し得る。具体的には、表示順決定部５０４Ｄは、時刻情報や場所情報等に基づく順序で、グループに含まれる複数の静止画像を整列する。そして、表示順決定部５０４Ｄは、グループに含まれる複数の静止画像のうち、文字情報を多く含む静止画像を、例えば、グループの先頭に配置する。表示順決定部５０４Ｄは、例えば、上述の文字情報量が最大である静止画像をグループの先頭に配置する。つまり、文字情報を多く含む静止画像、すなわち、ユーザが場所やイベント等を認識しやすい静止画像が最初に表示され、それに続いて同じ場所で撮影された写真や同じ時刻に撮影された写真が表示されるように、表示順序が決定される。なお、表示順決定部５０４Ｄは、場所情報等に基づいて、又はランダムに、先頭に配置する静止画像以外の静止画像の表示順序を決定してもよい。また、表示順決定部５０４Ｄは、文字情報を含む静止画像をグループ内の先頭に限らず、グループ内の中央、最後尾等の所定の位置に配置してもよい。文字情報を含む静止画像を配置する位置は、作成されるスライドショーのテーマ等に基づいて決定したり、ユーザが指定することもできる。

データ生成部５０４Ｅは、整列された静止画像を用いて、スライドショー又はフォトムービーのデータを生成する。作成されたスライドショー又はフォトムービーでは、単純な順次表示のみならず、表示切り替え時の遷移効果（トランジションエフェクト）等の加工が施されてもよい。

スライドショー表示部５０５は、スライドショー作成部５０４により作成されたスライドショー（フォトムービー）を画面（ＬＣＤ１７）に表示する。なお、スライドショー作成部５０４により作成されたスライドショー（フォトムービー）は、ファイルとしてＨＤＤ１０９等に格納されてもよい。

図６は、コンテンツ再生アプリケーションプログラム２０２（文字認識部５０２Ａ）によって検出される文字情報を含む静止画像の例を示す。静止画像６０１では、画像内に「○○駅」という看板が捉えられている。静止画像６０２では、画像内に「○○小学校 入学式」という立て札が捉えられている。また、静止画像６０３では、「○○イベント Ａ会場」という張り紙が捉えられている。コンテンツ再生アプリケーションプログラム２０２は、上述の看板等に含まれる文字を認識し、インデックス情報４０２としてデータベース１０９Ａに格納する。そして、コンテンツ再生アプリケーションプログラム２０２は、インデックス情報４０２に基づいて文字を含む静止画像を抽出し、複数の静止画像を画面に表示する際、例えばその最初に、文字を含む静止画像を表示する。ユーザは、最初に表示された静止画像に含まれる文字列から、場所やイベントの名称等を認識することができるため、表示される一連の静止画像の内容を容易に把握することができる。

また、グループ抽出部５０４Ｂによるグループの抽出、画像選択部５０４Ｃによる静止画像の選択、及び表示順決定部５０４Ｄによる静止画像の表示順序の決定について、図７を参照して説明する。なおここでは、グループの抽出及び静止画像の選択のための条件として、人物が指定されていることを想定する。

図７中、（Ａ）は、ＨＤＤ１０９に格納された複数の静止画像データ４０１が、データベース１０９Ａに格納されたインデックス情報４０２に基づき、撮像日時の順に時系列に並べられ、かつ、グループ分けされている様子を示す第１の概念図である。図７（Ａ）に示すように、ここでは、ＨＤＤ１０９に格納された複数の静止画像データ４０１が、グループｎ、グループｎ＋１、グループｎ＋２の３つのグループに分けられているものと想定する。なお、各グループ内の１，２，３，…等の数字が記載された各ボックスは、それぞれ１つの静止画像データ４０１を表しており、その数字は、各グループ内における撮像日時順を表している。また、ボックスを太枠で示した静止画像４０１ａ，４０１ｂは、文字情報を多く含む画像を表している。

また、符号ｃ１で示す静止画像データ４０１のボックス内の丸形は、当該静止画像データ４０１が、指定された人物の顔画像を含む画像であることを表す。符号ｃ２で示す静止画像データ４０１のボックス内の三角形は、当該静止画像データ４０１が、指定された人物は写っていないが、その他のいずれかの人物が写っている画像であることを表す。符号ｃ３で示す静止画像データ４０１のボックス内の菱形は、当該静止画像データ４０１が、いずれの人物も写っていない画像であることを表している。
つまり、この図７（Ａ）は、グループｎ、グループｎ＋１、グループｎ＋２の３つのグループのうち、指定された人物の顔画像を含む静止画像データ４０１を含むグループは、グループｎ、グループｎ＋２の２グループであることを表している。そこで、グループ抽出部５０４Ｂは、このグループｎ、グループｎ＋２内を表示対象とする静止画像を含むグループとして、ＨＤＤ１０９から抽出する。本実施形態では、指定された人物の顔画像を含む静止画像データ４０１と同一グループに属する静止画像データ４０１は、（当該指定された人物が写っていなくとも）指定された人物と関連性を有する画像であると判断する。

画像選択部５０４Ｃは、抽出したグループに属する静止画像データ４０１Ａから、データベース１０９Ａに格納されたインデックス情報４０２に基づき、例えば予め定められた枚数を上限として静止画像データ４０１を選択する。このとき、画像選択部５０４Ｃは、まず、文字情報を多く含む静止画像４０１ａ，４０１ｂを選択する。次に、画像選択部５０４Ｃは、例えば、指定された人物の顔画像を含む静止画像データ４０１を優先的に選択することを原則としつつ、人物が写っていない風景画像等も選択する。

図７中、（Ｂ）は、画像選択部５０４Ｃによる静止画像データ４０１の選択結果を示す第２の概念図である。図７（Ｂ）に示すように、グループｎにおいては、符号ｄ１で示す、指定された人物は写っていないが、その他のいずれかの人物が写っている画像が選択されており、また、符号ｄ２で示す、いずれの人物も写っていないが、文字情報を多く含む静止画像４０１ａも選択されている。同様に、グループｎ＋２においても、指定された人物が写っており、且つ文字情報を多く含む静止画像４０１ｂが選択されており、また、符号ｄ３で示す、指定された人物は写っていないが、その他のいずれかの人物が写っている画像や、符号ｄ４で示す、いずれの人物も写っていない画像も選択されている。

この符号ｄ１〜ｄ４で示す画像は、従来の画像検索手法において、人物が検索鍵情報として指定された場合には選択され得ない画像であり、この点で、本コンテンツ再生アプリケーションプログラム２０２は、例えば、「何処へ誰と」がわかるようにスライドショーを表示すべく、高度なインテリジェンスを持った効果的な画像検索を実行する。

また、図７中、（Ｃ）は、表示順決定部５０４Ｄによる静止画像データ４０１の表示順を示す第３の概念図である。図７（Ｃ）に示すように、表示順決定部５０４Ｄは、表示される静止画像（写真）の内容をユーザに分かり易く提示することができるように、グループｎ及びグループｎ＋２の先頭に、それぞれ文字情報を多く含む静止画像４０１ａ，静止画像４０１ｂを配置する。そして、表示順決定部５０４Ｄは、グループ単位においては現在から過去へと誘導する配列を構成しつつ（グループｎ＋２→グループｎ）、各グループ内の画像についてはより自然に画像を楽しめるように（例えば、撮像日時順や撮像場所順に）配列を構成する。即ち、グループの配列と各グループ内の画像の配列とで、異なるアルゴリズムを採用し得る。

なお、文字情報を多く含む静止画像がグループ内に複数含まれる場合、画像選択部５０４Ｃは、上述の文字情報量に基づいて、文字情報量が最大である静止画像を選択してもよい。また、画像選択部５０４Ｃによって、文字情報量がしきい値以上である静止画像が複数選択されている場合には、表示順決定部５０４Ｄは、文字情報量が最大である静止画像を、優先的に先頭に配置してもよい。

つまり、本コンテンツ再生アプリケーションプログラム２０２は、シーンを把握するのに適した画像、すなわち、文字情報を多く含む静止画像を代表画像として最初に配置するといった、高度なインテリジェンスを持った効果的な画像表示を実行する。

次いで、図８のフローチャートを参照して、コンテンツ再生アプリケーションプログラム２０２によって実行される画像表示処理の手順について説明する。

まず、コンテンツ再生アプリケーション２０２は、静止画像データ４０１をＨＤＤ１０９から読み出す（ステップＳ１０１）。コンテンツ再生アプリケーション２０２は、カードスロット２０に挿入された記録メディア等から、静止画像データ４０１を読み出してもよい。次に、コンテンツ再生アプリケーション２０２は、読み出した静止画像データ４０１を解析する（ステップＳ１０２）。コンテンツ再生アプリケーション２０２は、例えば、静止画像データ４０１に含まれる複数の静止画像の各々に含まれる顔画像や文字等を認識する。そして、コンテンツ再生アプリケーション２０２は、認識した顔画像や文字等に関する情報を、インデックス情報４０２としてデータベース１０９Ａに格納する。

次いで、コンテンツ再生アプリケーション２０２は、スライドショー又はフォトムービーの作成に、静止画像データ４０１に含まれる全ての静止画像を使用するか否かを判定する（ステップＳ１０３）。全ての静止画像を使用する場合（ステップＳ１０３のＹＥＳ）、コンテンツ再生アプリケーション２０２は、静止画像データ４０１から文字情報を多く含む静止画像データを抽出する。一方、全ての静止画像を使用しない場合（ステップＳ１０３のＮＯ）、コンテンツ再生アプリケーション２０２は、静止画像データ４０１から、使用する静止画像データと文字情報を多く含む静止画像データとを抽出する。なお、コンテンツ再生アプリケーション２０２は、文字情報を多く含む静止画像データとして、例えば、各静止画像に含まれる文字の情報量を示す文字情報量を算出し、この文字情報量が大きい静止画像を静止画像データ４０１から抽出する。文字情報量は、各静止画像に含まれる文字列の文字数、並びに文字列が描画される大きさ、位置、及び角度等に基づいて算出される。文字情報量には、例えば、文字列の文字数が多いほど、大きさが大きいほど、位置が静止画像の中央に近いほど、また、可読性が高い角度で静止画像上に描画されているほど、大きな値が設定される。

次いで、コンテンツ再生アプリケーション２０２は、抽出した静止画像データを用いて、スライドショーやフォトムービーを作成する（ステップＳ１０６）。コンテンツ再生アプリケーション２０２は、抽出した静止画像データを分類して、グループ化する。そして、コンテンツ再生アプリケーション２０２は、グループ内の複数の静止画像の表示順序、及びグループ間の表示順序等を決定する。コンテンツ再生アプリケーション２０２は、文字情報を多く含む静止画像を、例えば、グループの先頭に配置する。スライドショー（フォトムービー）を作成するスライドショー作成処理の手順は、図９を参照して後述する。

そして、コンテンツ再生アプリケーション２０２は、作成したスライドショー又はフォトムービーを画面（ＬＣＤ１７）に出力する（ステップＳ１０７）。なお、コンテンツ再生アプリケーション２０２は、作成したスライドショー又はフォトムービーを含むデータファイルを生成し、ＨＤＤ１０９等に格納してもよい。

図９は、図８に示すステップＳ１０６に対応するスライドショー作成処理の手順を示すフローチャートである。

まず、コンテンツ再生アプリケーション２０２は、静止画像データを分類して、複数のグループを作成する（ステップＳ２０１）。コンテンツ再生アプリケーション２０２は、時刻情報、場所情報、顔画像情報等に基づいて、静止画像データを分類する。コンテンツ再生アプリケーション２０２は、例えば、時刻情報に基づいて、所定の時間内に撮影された静止画像を同一のグループに分類する。コンテンツ再生アプリケーション２０２は、例えば、ＧＰＳ等を用いて取得された場所情報に基づいて、所定の領域内で撮影された静止画像を同一のグループに分類する。また、コンテンツ再生アプリケーション２０２は、例えば、顔画像情報に基づいて、所定の人物が写っていると推定される静止画像を同一のグループに分類する。

次に、コンテンツ再生アプリケーション２０２は、作成された複数のグループから、スライドショー作成に用いるグループ（表示対象グループ）を抽出する（ステップＳ２０２）。コンテンツ再生アプリケーション２０２は、例えば、指定された条件を満たす静止画像を含むグループを抽出する。そして、コンテンツ再生アプリケーション２０２は、抽出されたグループに含まれる静止画像から、表示する画像を選択する（ステップＳ２０３）。コンテンツ再生アプリケーション２０２は、例えば、指定された条件を満たす静止画像に加えて、それに関連する静止画像も選択する。したがって、例えば、ステップＳ２０２におけるグループの抽出及びステップＳ２０３における静止画像の選択のための条件として、人物が指定されている場合、コンテンツ再生アプリケーション２０２は、指定された人物を含む静止画像を含むグループを抽出する。そして、コンテンツ再生アプリケーション２０２は、抽出されたグループに含まれる静止画像から、指定された人物が写った静止画像に加えて、他の人物が写った画像や人物が写っていない風景の静止画像等を選択する。

コンテンツ再生アプリケーション２０２は、複数のグループの各々に含まれる複数の静止画像を整列する（ステップＳ２０４）。コンテンツ再生アプリケーション２０２は、グループ内の複数の静止画像の表示順序、及びグループ間の表示順序等を決定する。コンテンツ再生アプリケーション２０２は、時刻情報や場所情報等に基づく順序で、グループ内の複数の静止画像を並べる。そして、コンテンツ再生アプリケーション２０２は、文字情報を多く含む静止画像を、例えば、グループの先頭に配置する。つまり、文字情報を多く含む静止画像、すなわち、ユーザが場所やイベント等を認識しやすい静止画像が最初に表示され、それに続いて同じ場所で撮影された写真や同じ時刻に撮影された写真が表示されるように、表示順序が決定される。

次いで、コンテンツ再生アプリケーション２０２は、整列された静止画像を用いて、スライドショー又はフォトムービーを作成する（ステップＳ２０５）。作成されたスライドショー又はフォトムービーでは、単純な順次表示のみならず、表示切り替え時の遷移効果（トランジションエフェクト）等の加工が施されてもよい。

以上の処理により、コンテンツ再生アプリケーション２０２は、複数のグループの各々に含まれる複数の静止画像が所定の順序で整列され、且つグループ毎の先頭に文字情報を多く含む静止画像が配置されたスライドショーを画面に表示することができる。グループの先頭に配置された、文字情報を多く含む静止画像によって、ユーザは、当該グループに含まれる静止画像に関連する場所やイベントの名称等を認識できるため、表示される写真の内容を容易に把握することができる。なお、文字情報を多く含む静止画像は、グループの先頭に限らず、グループの中央や最後尾等の所定の位置に配置してもよい。

以上説明したように、本実施形態によれば、表示される写真や映像の内容をユーザに分かり易く提示することができる。本実施形態では、スライドショーやフォトムービーを作成する際に、場所情報や時間情報に基づいて、静止画像群をグループ化し、文字情報を多く含む静止画像を各グループの始めに表示する。したがって、例えば、場所やイベントが分かる写真が始めに表示され、それに続いて、同じ場所で、又は同じ時間帯に撮影された写真が表示される。これにより、ユーザは、各グループに含まれる静止画像に関連する場所やイベントの名称等を始めに認識できるため、表示される写真の内容を容易に把握することができる。

なお、本実施形態の画像表示処理の手順は全てソフトウェアによって実行することができる。このため、画像表示処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］複数の静止画像に含まれる文字列を認識する文字認識手段と、
前記複数の静止画像を分類して複数のグループを作成するグループ作成手段と、
前記複数のグループから、所定の条件を満たす静止画像を含むグループを抽出するグループ抽出手段と、
前記抽出されたグループに含まれる複数の静止画像を所定の順序で配列し、前記抽出されたグループに含まれる複数の静止画像のうち、前記文字列を含む画像を、前記配列された複数の画像内の所定の位置に挿入する配列手段と、
前記抽出されたグループに含まれる配列された複数の静止画像を順に表示する映像データを生成する映像生成手段とを具備することを特徴とする電子機器。
［２］前記抽出されたグループに含まれる複数の静止画像から、前記文字列を含む静止画像を含む複数の静止画像を選択する画像選択手段をさらに具備し、
前記配列手段は、前記選択された複数の静止画像を所定の順序で配列し、前記選択された複数の静止画像のうち、前記文字列を含む静止画像を、前記配列された複数の画像内の所定の位置に挿入することを特徴とする［１］記載の電子機器。
［３］前記文字認識手段は、静止画像毎に、当該静止画像内に含まれる文字列の情報量を示す文字情報量を算出し、
前記配列手段は、前記文字情報量が最大である静止画像を、前記配列された複数の静止画像内の所定の位置に挿入することを特徴とする［１］記載の電子機器。
［４］前記配列手段は、前記文字情報量が最大である静止画像を、前記配列された複数の静止画像内の先頭に挿入することを特徴とする［３］記載の電子機器。
［５］前記文字認識手段は、画像毎に、当該静止画像内に含まれる文字列に属する文字数、並びに文字列が描画される大きさ、位置、及び角度に基づいて、前記文字情報量を算出することを特徴とする［３］記載の電子機器。
［６］前記グループ作成手段は、前記複数の静止画像の各々に付加された位置情報又は時刻情報に基づいて、前記複数の静止画像を分類して複数のグループを作成することを特徴とする［１］記載の電子機器。
［７］前記所定の順序は、前記複数の静止画像の各々に付加された位置情報又は時刻情報に基づく順序であることを特徴とする［１］記載の電子機器。
［８］前記映像データに基づいて画面に映像を表示する表示手段をさらに具備することを特徴とする［１］記載の電子機器。
［９］複数の静止画像に含まれる文字列を認識する文字認識ステップと、
前記複数の静止画像を分類して複数のグループを作成するグループ作成ステップと、
前記複数のグループから、所定の条件を満たす静止画像を含むグループを抽出するグループ抽出ステップと、
前記抽出されたグループに含まれる複数の静止画像を所定の順序で配列し、前記抽出されたグループに含まれる複数の静止画像のうち、前記文字列を含む画像を、前記配列された複数の画像内の所定の位置に挿入する配列ステップと、
前記抽出されたグループに含まれる配列された複数の静止画像を順に表示する映像データを生成する映像生成ステップとを具備することを特徴とする画像表示方法。

１０９…ＨＤＤ、１０９Ａ…データベース、２０２…コンテンツ再生アプリケーションプログラム、４０１…静止画像データ、４０２…インデックス情報、５０２…画像解析部、５０２Ａ…文字認識部、５０２Ｂ…顔画像認識部、５０３…画像抽出部、５０４…スライドショー作成部、５０４Ａ…グループ作成部、５０４Ｂ…グループ抽出部、５０４Ｃ…画像選択部、５０４Ｄ…表示順決定部、５０４Ｅ…データ生成部、５０５…スライドショー表示部。

Claims (8)

1. 複数の静止画像に含まれる文字を認識する文字認識手段と、
   前記複数の静止画像に含まれる顔画像を認識する顔認識手段と、
   前記複数の静止画像を分類して複数のグループを作成するグループ作成手段と、
   前記複数のグループから、指定された人物の顔画像を含む静止画像を含む複数のグループを抽出するグループ抽出手段と、
   前記抽出された複数のグループを所定の順序で配列し、前記抽出された複数のグループに含まれる複数の静止画像のうち、前記文字を含む画像をグループ毎に選択し、前記抽出された複数のグループに含まれる複数の静止画像内の先頭に、前記選択された文字を含む画像をグループ毎に配置する配列手段と、
   前記配列された複数のグループに含まれる複数の静止画像を順に表示する映像データを生成する映像生成手段とを具備することを特徴とする電子機器。
2. 前記抽出された複数のグループに含まれる複数の静止画像から、前記文字を含む静止画像を含む複数の静止画像をグループ毎に選択する画像選択手段をさらに具備し、
   前記配列手段は、前記選択された複数の静止画像をグループ単位で前記所定の順序で配列し、前記選択された複数の静止画像のうち、前記文字を含む静止画像をグループ毎に選択し、前記選択された複数の静止画像内の先頭に、前記選択された文字を含む画像をグループ毎に配置することを特徴とする請求項１記載の電子機器。
3. 前記文字認識手段は、静止画像毎に、当該静止画像内に含まれる文字の情報量を示す文字情報量を算出し、
   前記配列手段は、前記抽出された複数のグループに含まれる複数の静止画像のうち、前記文字情報量が最大である静止画像をグループ毎に選択し、前記抽出された複数のグループに含まれる複数の静止画像内の先頭に、前記選択された文字情報量が最大である静止画像をグループ毎に配置することを特徴とする請求項１記載の電子機器。
4. 前記文字認識手段は、画像毎に、当該静止画像内に含まれる文字の文字数、並びに文字が描画される大きさ、位置、及び角度に基づいて、前記文字情報量を算出することを特徴とする請求項３記載の電子機器。
5. 前記グループ作成手段は、前記複数の静止画像の各々に付加された位置情報又は時刻情報に基づいて、前記複数の静止画像を分類して複数のグループを作成することを特徴とする請求項１記載の電子機器。
6. 前記所定の順序は、前記複数の静止画像の各々に付加された位置情報又は時刻情報に基づく順序であることを特徴とする請求項１記載の電子機器。
7. 前記映像データに基づいて画面に映像を表示する表示手段をさらに具備することを特徴とする請求項１記載の電子機器。
8. 複数の静止画像に含まれる文字を認識する文字認識ステップと、
   前記複数の静止画像に含まれる顔画像を認識する顔認識ステップと、
   前記複数の静止画像を分類して複数のグループを作成するグループ作成ステップと、
   前記複数のグループから、指定された人物の顔画像を含む静止画像を含む複数のグループを抽出するグループ抽出ステップと、
   前記抽出された複数のグループを所定の順序で配列し、前記抽出された複数のグループに含まれる複数の静止画像のうち、前記文字を含む画像をグループ毎に選択し、前記抽出された複数のグループに含まれる複数の静止画像内の先頭に、前記選択された文字を含む画像をグループ毎に配置する配列ステップと、
   前記配列された複数のグループに含まれる複数の静止画像を順に表示する映像データを生成する映像生成ステップとを具備することを特徴とする画像表示方法。

Images