JP5677011B2 - 動画再生装置及びその制御方法 - Google Patents

Description

本発明は、動画再生装置及びその制御方法に関し、動画像において所望のシーンの検索性を向上させるための技術に関する。

機器の操作性を向上させるために、さまざまなＧＵＩ（グラフィックユーザーインターフェース）が提案されている。下記特許文献１には、ＧＵＩ画像の表示を制御する制御手段を備える情報処理装置について開示されている。特許文献１に記載の情報処理装置が有する制御手段は、１以上の画像コンテンツのそれぞれについての各インデックスを含む第１のＧＵＩ画像の表示を制御する。そして、第１のＧＵＩ画像から１のインデックスがユーザーにより選択されたとき、対応する画像コンテンツから検出された人物の顔に対応する顔サムネイル画像を含む第２のＧＵＩ画像の表示を制御する。また、下記特許文献２には、撮影画像から顔を検出し、各顔にウエイトをつけて主要被写体を検出する撮像装置が開示されている。

特開２００８−０１７０４１号公報 特開２００８−０３５１２５号公報

しかしながら、前記背景技術にて説明したＧＵＩでは、例えば運動会のような人物が多く出現するようなシーンを含む動画像について顔サムネイル画像表示を行うときに、顔情報が多くなりすぎてしまうことが考えられる。これらのすべてが、ユーザーが顔サムネイル画像表示して欲しい顔情報であるとは限らない。これは、ユーザーが一番撮影したい主被写体としての人物の周辺に、他の人物が入ってくるためである。このような状況では、すべての顔情報を使った顔サムネイル画像表示では、主被写体の検索性が損なわれてしまうことが考えられる。

本発明は、このような事情に鑑みてなされたものであり、異なる被写体が多く出現するようなシーンを含む動画像であっても、所望の被写体が含まれるシーンの検索性を向上させることを目的とする。

本発明に係る動画再生装置は、動画において、被写体が新たに出現したフレームを特定する情報である被写体情報と、該被写体情報が示すフレームのうち、主被写体と判定された被写体が出現したフレームを特定する情報である主被写体情報とを取得する取得手段と、表示モードを、少なくとも第１の表示モードと第２の表示モードとを含む複数の表示モードのうち何れかに変更する変更手段と、前記第１の表示モードにおいて、動画のうち、前記被写体情報が示すフレームを時間順に並べて表示し、前記第２の表示モードにおいて、動画のうち、前記被写体情報が示すフレームのうち、前記主被写体情報が示していないフレームを表示することなく、前記被写体情報が示すフレームのうち、前記主被写体情報が示すフレームを時間順に並べて表示するように制御する表示制御手段とを有することを特徴とする。

本発明によれば、異なる被写体が多く出現するようなシーンを含む動画像であっても主被写体が含まれるシーンの検索性が向上する。

本発明の実施形態における画像再生装置及び画像記録装置が適用された撮像装置の構成例を示す図である。 本実施形態における画像再生装置及び画像記録装置の機能構成例を示す図である。 撮影時における液晶パネルの表示例を示す図である。 記録用顔検出情報のデータの一例を示す図である。 撮影時における記録用顔検出情報の変化を説明するための図である。 管理情報の一例を示す図である。 本実施形態における顔インデックス情報構築処理の例を示すフローチャートである。 構築された顔インデックス情報の一例を示す図である。 タイムライン表示の一例を示す図である。 タイムライン表示に係る指定間隔の選択を説明するための図である。 顔タイムライン表示の一例を示す図である。 主顔タイムライン表示の一例を示す図である。 本実施形態におけるタイムライン表示処理の例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態における動画再生装置としての画像再生装置及び動画管理装置としての画像記録装置が適用された撮像装置（デジタルビデオカメラ）の構成例を示すブロック図である。図１において、レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、及び補正レンズ群により構成される。補正レンズ群は、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを有する。被写体像は、レンズユニット１０１によって撮像素子１０２の結像面上に結像される。撮像素子１０２は、光を電荷に変換し撮像信号を生成する。カメラ信号処理部１０３は、撮像信号に所定の信号処理を施してデジタル画像データとして出力する。

圧縮伸張回路１０４は、デジタル画像データを例えばＭＰＥＧ２方式にて圧縮し、圧縮ビデオデータを生成する。また、圧縮伸張回路１０４は、圧縮ビデオデータを入力し、これを伸張する機能も有する。ここで、ＭＰＥＧ２ビデオ圧縮技術（動画像圧縮方式）では、フレーム内符号化ピクチャ（Ｉピクチャ）と、フレーム間符号化ピクチャであるＰ（前方予測）ピクチャ及びＢ（双方向予測）ピクチャとがある。このうち、フレーム内符号化ピクチャであるＩピクチャは、そのフレームのデータのみでデコードし再生することが可能である。また、ＭＰＥＧ２方式では再生時刻を示すＰＴＳ（Presentation Time Stamp）と呼ばれる再生時刻情報があり、各フレームにＰＴＳを付与することで再生時に各フレームの再生すべき時刻がＰＴＳに基づき制御される。

圧縮伸張回路１０４は、圧縮動作時に少なくともＩピクチャのＰＴＳと、圧縮ビデオデータ内のどの位置に存在するのかを特定するための情報を、後述するマイクロコンピュータ１０７が読み出せるように格納する機能を有する。この情報を蓄積して記録することで、任意のＩピクチャの圧縮ビデオデータ内における位置が検索可能となり、任意のＩピクチャを再生させることができる。

顔検出処理部１２０は、デジタル画像データが入力され、デジタル画像データに係る撮影画像から顔（被写体）を検出して、顔検出情報を保持する。顔検出情報は、顔毎の位置、大きさを少なくとも認識できる座標情報、大きさ情報を含む表示用顔検出情報と、後述する顔インデックス情報を構築するため記録用顔検出情報を含む。また、顔検出処理部１２０は、検出した顔の中から、顔の大きさ、位置等により主被写体を判定する機能を有する。主被写体とは単一フレーム内で最も主要な被写体（注目すべき被写体）として判定され、例えば主被写体に合わせて撮像条件等が調整されることとなる。本例では、主被写体として最も重要と思われる人物の顔を判定する例を説明するが、顔以外の被写体を検出できる場合には顔に限らず、他の被写体を主被写体としてもよい。例えば犬や猫などの動物（あるいは動物の顔）や、コントラストが高い物体を含めた被写体のなかから主被写体を判定してもよい。なお、撮影時に、ユーザーの操作によってどの顔を主被写体とするかの指定を受けつけ、その顔を主被写体として判定するようにしてもよい。以下では、主被写体となった顔を「主顔」と記述する。

顔検出処理部１２０が保持する顔検出情報は、マイクロコンピュータ１０７によってフレーム単位で逐次読み出される。マイクロコンピュータ１０７は、システム全体を制御する。フラッシュＲＯＭ１０８は、マイクロコンピュータ１０７が実行するプログラム、及び各種パラメータなどが格納されている。メモリ１０９は、マイクロコンピュータ１０７や圧縮伸張回路１０４などがワークメモリとして使用する揮発性メモリである。ハードディスク（ＨＤＤ）１１２は、圧縮伸張回路１０４で生成された圧縮ビデオデータをＦＡＴファイルシステムなどのコンピュータと互換性のある所定フォーマットに従って記録するための記録媒体である。１１３はバスであり、１１４はＵＳＢデバイスである。

オンスクリーンディスプレイ（ＯＳＤ）部１０５は、各種設定メニューやタイトル、時間などの情報をデジタル画像データに重畳させるものである。液晶パネル１０６は、ＯＳＤ部１０５の出力を受け、その出力に応じた画像を表示させるためのものである。操作スイッチ群１１１は、ユーザーが操作入力するためのものである。また操作スイッチ群１１１には、主としてカメラ撮影を行うためのカメラモード、主として再生させるための再生モード、及び電源オフとするパワーオフモードを選択するためのスイッチも設けられている。また、特に図示していないが、音声についてもマイクユニット、スピーカーや外部出力経路を設け、画像と共に圧縮伸張する。前述の圧縮ビデオデータには音声データも多重化される。

図２は、前述した撮像装置（デジタルビデオカメラ）によって実現される本実施形態における画像再生装置及び画像記録装置の機能構成例を示すブロック図である。図２（ａ）は本実施形態における画像記録装置の機能構成例を示しており、図２（ｂ）は本実施形態における画像再生装置の機能構成例を示している。

画像記録装置は、図２（ａ）に示すように、特徴情報抽出部２０２、被写体判定部２０３、管理情報生成部２０４、記録部２０５、及び記憶部２０６を有する。特徴情報抽出部２０２及び被写体判定部２０３は、顔検出処理部１２０により実現される。また、管理情報生成部２０４及び記録部２０５は、フラッシュＲＯＭ１０８に記録されたプログラムをマイクロコンピュータ１０７が実行することにより実現される。

特徴情報抽出部２０２は、画像情報（デジタル画像データ）２０１から所定の特徴を検出し、検出された特徴の特徴情報を生成する。被写体判定部２０３は、特徴情報抽出部２０２により生成された特徴情報を用いて被写体を判定する。例えば、被写体判定部２０３は、特徴情報抽出部２０２により生成された特徴情報のうちから主被写体を判定し、判定の結果を基に主被写体情報を生成する。管理情報生成部２０４は、画像情報２０１、特徴情報抽出部２０２により生成された特徴情報、及び被写体判定部２０３での判定の結果（主被写体情報を含む。）が入力され、これらの情報を基に画像情報２０１を管理するための管理情報を生成する。なお、特徴情報抽出部２０２により生成された特徴情報及び被写体判定部２０３により生成された主被写体情報を組み合わせることで、前述した顔検出情報（表示用顔検出情報、記録用顔検出情報）に相当する情報が得られる。また、管理情報には、画像情報において被写体が出現するフレームの時刻情報と、そのフレームが主被写体が出現するフレームであるか否かを示す主被写体情報と、及び時刻情報に対応するフレームのデータを特定するための情報が格納された検索テーブルとを含む。記録部２０５は、画像情報２０１及び管理情報生成部２０４により生成された当該画像情報２０１に係る管理情報を記憶部２０６に記録する。記憶部２０６は、例えばハードディスク（ＨＤＤ）１１２である。なお、記憶部２０６は、これに限定されず、例えばメモリカードやＣＤ、ＤＶＤ等の着脱可能な記録媒体であっても良い。

画像再生装置は、図２（ｂ）に示すように、記憶部２０７、再生部２０８、縮小画像生成部２０９、管理情報読出部２１０、表示制御部２１１、モード判定部２１２、及び表示部２１３を有する。再生部２０８、縮小画像生成部２０９、管理情報読出部２１０、及びモード判定部２１２は、フラッシュＲＯＭ１０８に記録されたプログラムをマイクロコンピュータ１０７が実行することにより実現される。また、表示制御部２１１は、ＯＳＤ部１０５及びフラッシュＲＯＭ１０８に記録されたプログラムをマイクロコンピュータ１０７が実行することで実現される。表示部２１３は液晶パネル１０６により実現される。

記憶部２０７は、画像情報及び当該画像情報に係る管理情報を有する。記憶部２０７は、例えば画像再生装置と画像記録装置が１つの機器（画像記録再生システム）として構成される、あるいは着脱可能な記録媒体である場合には、記憶部２０６と同一なものであっても良い。また、記憶部２０６に記録されているデータが読み出され、伝送路等を介して記憶部２０７に対して供給し記録するようにしても良い。

再生部２０８は、記憶部２０７が保持している画像情報を読み出して再生する。縮小画像生成部２０９は、再生部２０８により再生された再生画像を縮小して縮小画像を生成する。縮小画像生成部２０９により生成された縮小画像は、例えばサムネイル表示に用いられる。管理情報読出部２１０は、画像情報とともに記憶部２０７が保持している管理情報を読み出して表示制御部２１１に供給する。表示制御部２１１は、モード判定部２１２の出力及び管理情報読出部２１０から供給された管理情報に基づいて、再生部２０８により再生された再生画像や縮小画像生成部２０９により生成された縮小画像を表示部２１３に表示させる。

例えば、表示制御部２１１は、モード判定部２１２の出力による指示が通常の再生であれば、再生部２０８により再生された再生画像を表示部２１３に表示させる。また、表示制御部２１１は、モード判定部２１２の出力による指示（表示モード）がタイムライン表示であれば、供給される管理情報に基づいて縮小画像生成部２０９からの縮小画像を表示部２１３に表示させる。例えば、主顔タイムライン表示を行う第１の表示モードでは、表示制御部２１１は、管理情報が有する被写体が出現するフレームの時刻情報及び主被写体情報に基づいて、主被写体が出現するフレームの画像を表示部２１３に並べて表示させる。また、顔タイムライン表示を行う第２の表示モードでは、表示制御部２１１は、管理情報が有する被写体が出現するフレームの時刻情報に基づいて、その時刻情報が示すフレームの画像を表示部２１３に並べて表示させる。また、指定された時間間隔の画像を表示させるタイムライン表示を行う第３の表示モードでは、表示制御部２１１は、指定された時間間隔毎のフレームのデータを画像情報から検索し、その画像を表示部２１３に並べて表示させる。なお、顔タイムライン表示及び主顔タイムライン表示を含むタイムライン表示についての詳細は後述する。

＜顔検出について＞
次に、本実施形態での顔検出について、図３を参照して説明する。図３は、撮影時における液晶パネル１０６での表示例を示す図である。図３（ａ）、（ｂ）において、３０１は液晶パネル１０６における表示領域であり、３０２は撮影画像中の人物である。３０３は顔検出枠であり、検出された顔位置に対し重畳するビットマップである。これらビットマップ表示は、マイクロコンピュータ１０７がＯＳＤ部１０５を制御することによって液晶パネル１０６等の表示部に表示する。

図３（ｂ）は、図３（ａ）に示した状態から時間が経過し、撮影画像中における人物の数が増えた場合を示している。図３（ｂ）において、３０４は撮影画像中の人物であり、３０５は顔検出枠である。図３（ｂ）に示したようなケースでは、同一フレームに人物が二人存在すると判定される。なお、撮影画像中の人物が撮影中に移動したとしても、所定範囲内での移動であればフレーム間で同一人物であると判定する。なお、撮影画像中の人物が同一人物であるか否かの判定は、フレーム間での位置関係（近いか否か）だけでなく、色などの画像マッチング、大きさ等もあわせて判断基準としても良い。

本実施形態における撮像装置は、このように１つのフレームにおいて複数の人物を検出可能であり、またフレーム間での連続性等から同一人物（顔）であることも判定する。また、同一フレームにて複数の人物を同時に検出しているとき、その中から主被写体となる人物（顔）を特定する。なお、主被写体は、被写体の位置、大きさ、フォーカス位置などの情報に基づいて判定を行い決定する。

＜記録用顔検出情報について＞
本実施形態では、後述するＧＵＩを実現するために、新たに顔が出現したフレームを検出し、再生時にこのフレームを検索可能とするための情報を記録する。また、新たに顔が出現したフレームが、主顔が新たに出現したフレームであるか否かも判断できる情報を併せて記録する。

図４は、顔検出処理部１２０からマイクロコンピュータ１０７に通知される記録用顔検出情報のデータの一例を示す図である。なお、記録用顔検出情報は、フレーム毎に顔検出処理部１２０から通知される。図４において、１つのマスが１ビットに相当する。すなわち、図４に一例を示した記録用顔検出情報は、１６ビットで構成される。

４０１は顔検出フラグが格納されるフィールドである。それぞれのマスに対応して示した「０」〜「８」の数字は顔検出ビットの番号であり、顔検出フラグのフィールド４０１における各ビットを識別するために一意に割り振られた番号である。以降、各ビットをＢｉｔ０，Ｂｉｔ１，…，Ｂｉｔ８のように、それぞれ顔検出ビットの番号を用いて表記する。顔検出フラグは、１ビットに顔一つの検出を割り当て、そのビットの値が「０」で顔なし、「１」で顔ありを示すものとする。よって、図４に示した例では、同時に九つの顔の検出状態を通知することができる。４０２は主顔ビット番号が格納されるフィールドである。主顔ビット番号が格納されるフィールド４０２には、顔検出フラグにおける顔検出ビットのうち、主顔となっている顔検出ビットの番号が格納される。

記録用顔検出情報は、例えば、顔検出ビットの値が「０」から「１」に変化するとき、顔が一つ増えたことを意味する。さらに、例えば記録用顔検出情報の主顔ビット番号が０であれば、Ｂｉｔ０に割り当たった被写体が主顔となる被写体であることを意味する。

以下、図５を参照して、撮影時における記録用顔検出情報の変化について説明する。図５において、５０１〜５０６のそれぞれは撮影された動画像におけるフレームであり、５０７〜５０９は顔検出される顔（人物）である。なお、ここでは説明のため６枚のフレームを図示したが、各フレーム間には図示していない複数のフレームがある。下段に示した顔検出ビットＢｉｔ０〜Ｂｉｔ５は、記録用顔検出情報の顔検出フラグの一部であり、「０」（顔なし）、「１」（顔あり）の変化の様子を表している。

顔５０７は、顔検出フラグにおける顔検出ビットＢｉｔ０に割当たったものとする。顔５０７はフレーム５０１から連続で存在するフレーム５０４の期間にわたって存在するので、この期間中は顔検出ビットＢｉｔ０の値は「１」となる。フレーム５０２から顔５０８が出現し、顔検出ビットＢｉｔ１に割り当たり、顔検出ビットＢｉｔ１の値が「０」から「１」に変化する。顔検出ビットＢｉｔ２以降も同様にフレーム５０４のタイミングで値が「０」から「１」に変化する。また、フレーム５０１からフレーム５０４までの期間、主顔が顔５０７と判定されるものとする。また、フレーム５０５では、画像中に顔（人物）がいないので、すべての顔検出ビットの値が「０」となる。フレーム５０６にて再び顔５０９が出現すると、顔検出ビットＢｉｔ０の値が「１」となり、主顔ビット番号４０２は顔検出ビットＢｉｔ０となる。

後述の顔インデックス情報として記録したいのは、顔が新たに出現したフレーム（イン点）であり、顔検出ビットのいずれかが「０」から「１」に変化するフレームである。また、そのフレームは主顔が出現したフレーム（イン点）であるか否かも併せて記録する。図５に示した例では、フレーム５０１、５０２、５０４、５０６が、新たに顔が出現したフレームである。このうち、フレーム５０１、５０６が、主顔が出現したフレームである。これらの顔が出現したフレーム（イン点）を検索するための情報を画像情報とともに記録しておくことで、新たに顔が出現したフレームのみを縮小表示したり、頭だしをしたりする再生制御が可能となる。また、さらに主顔が出現したフレームに限定することも可能となる。

＜管理情報について＞
次に、顔インデックス情報を含む管理情報について説明する。
図６は、画像情報である圧縮ビデオデータとともに記録される管理情報の一例を示す図である。管理情報ファイル６０１は、基本情報６０２、検索テーブル６０３、機種情報テーブル６０４、及び顔インデックス情報６０５で構成される。

基本情報６０２には、圧縮ビデオデータの圧縮方式、フレームレート、画素数などの基本的な情報が記録される。検索テーブル６０３は、早送りなどの特殊再生や指定時間のフレームを表示するとき等に必要となる検索テーブルである。検索テーブル６０３には、動画ファイルに含まれるすべてのＩピクチャのＩＤ、各ＩピクチャのＰＴＳ、各Ｉピクチャが動画ファイルの先頭から何バイト目のデータ位置にあるか、及び何バイトであるかを示す情報が記録される。すなわち、検索テーブル６０３には、動画ファイルにて時刻情報であるＰＴＳに対応するフレームのデータを特定する情報が記録されている。なお、動画ファイルがパケットに分割されていれば、各Ｉピクチャが何パケット目に含まれるか、及び何パケットであるかの情報を記録してもよい。この検索テーブル６０３によりＩピクチャのＰＴＳさえわかれば、動画ファイル中のＩピクチャの位置が特定できる。機種情報テーブル６０４は、メーカーＩＤや機種ＩＤが記録される領域である。メーカーＩＤや機種ＩＤには、メーカーや製品毎にユニークなＩＤが付与される。

顔インデックス情報６０５には、顔インデックス情報ＩＤ６０６、顔インデックス数６０７、及び各顔インデックス６０８が記録される。顔インデックス情報ＩＤ６０６は、この領域が顔インデックス情報を記録している部分であることを示す識別子が記録される。この識別子を認識できる画像再生装置であれば、この領域の情報を顔インデックス情報として利用することができ、顔タイムライン表示を行うことができる。一方、顔インデックス情報ＩＤ６０６を識別できない（この識別子が顔インデックス情報の記録部分を示すものであることを知らない）画像再生装置では、顔インデックス情報６０５は利用されない。顔インデックス数６０７には、顔インデックス６０８に記録された顔インデックスの数が記録される。本実施形態では、顔インデックス６０８には最大Ｎ個分まで顔インデックスを記録できるものとする。Ｎ個とは、予め決められた最大値である。このように制限を設けることで、顔情報が異常に増加してしまい作業メモリ容量や検索速度の点から不利となることを防ぐことができる。顔インデックス６０８の各々は、顔タイムライン表示で表示すべき画像（フレーム）を特定する情報（ＰＴＳ，フレーム番号等）と、主顔フラグで構成される。主顔フラグとは、各顔インデックス６０８に係るフレームが新たに主顔が出現したフレームであるか否かを判定可能とする情報（主被写体情報）であり、「０」が非主顔、「１」が主顔であること示す。

この管理情報ファイルと対応する動画ファイルとは別のファイルとして設けられる。例えば、管理情報ファイルのファイル名の拡張子より前の部分を、対応する動画ファイルのファイル名の拡張子より前の部分と同じとすることで、管理情報ファイルと動画ファイルとの対応関係を取ることができる。なお、管理情報ファイルは動画ファイルと別体とせずに、動画ファイル内のヘッダ情報として付加するようにしても良い。

＜顔インデックス情報構築処理＞
次に、圧縮ビデオデータの記録時に、マイクロコンピュータ１０７が管理情報に記録する顔インデックス情報を構築するために実行する処理について説明する。

図７は、顔インデックス情報の構築処理の一例を示すフローチャートである。図７に示す処理は、マイクロコンピュータ１０７がフラッシュＲＯＭ１０８に記録されたプログラムをメモリ１０９に展開して実行することにより行われる。なお、この処理は、撮像素子による動画像の撮影と並行して行うものとするが、ＨＤＤ１１２等に格納されている記録済みの動画像を再生して顔検出処理部１２０で解析することによっても行うことができる。したがって、顔インデックス情報が付与されていない動画像に新たに顔インデックス情報を付与したり、付与済みの顔インデックス情報を更新したりすることが可能である。

動画像の撮影を開始すると（あるいは記録済み動画像の解析を開始すると）、図７に示す処理が開始される。
まず、ステップＳ７０１にて、マイクロコンピュータ１０７は、最初のフレームの記録用顔検出情報を顔検出処理部１２０より取得する。

ステップＳ７０２にて、マイクロコンピュータ１０７は、ステップＳ７０１において取得した記録用顔検出情報の顔検出フラグ４０１のうち、いずれかの顔検出ビットが立ち上がったか否かを判定する。ここで、顔検出ビットの立ち上がりとは、前回取得した記録用顔検出情報においてビットの値が「０」で、今回取得した記録用顔検出情報においてビットの値が「１」に変化したことをさす。最初のフレームに関しては前回の記録用顔検出情報を取得していないが、マイクロコンピュータ１０７は、今回取得した記録用顔検出情報の顔検出フラグに値が「１」の顔検出ビットがあれば立ち上がったと判定する。立ち上がった顔検出ビットがあると判定した場合にはステップＳ７０３へ進み、ステップＳ７０３にて、マイクロコンピュータ１０７は、今回取得した記録用顔検出情報に対応するフレームのＰＴＳをメモリ１０９に記録する。立ち上がった顔検出ビットがないと判定した場合にはステップＳ７０７へ進む。

ステップＳ７０４にて、マイクロコンピュータ１０７は、今回取得した記録用顔検出情報において主顔ビット番号４０２に示される顔検出ビットが立ち上がりであったか否かを判定する。立ち上がりであると判定した場合にはステップＳ７０５へ進み、ステップＳ７０５にて、マイクロコンピュータ１０７は、メモリ１０９にステップＳ７０３において記録した今回のフレームのＰＴＳに対応付けて、主顔フラグの情報として「１」を記録する。一方、立ち上がりでないと判定した場合にはステップＳ７０６へ進み、ステップＳ７０６にて、マイクロコンピュータ１０７は、メモリ１０９にステップＳ７０３において記録した今回のフレームのＰＴＳに対応付けて、主顔フラグの情報として「０」を記録する。

ステップＳ７０７にて、マイクロコンピュータ１０７は、動画の撮影が終了して最後のフレームまで処理を終了したか否かを判定する（あるいは記録済み動画像の最後のフレームまで処理を終了したか否かを判定する）。最後のフレームまで処理を終了していないと判定した場合にはステップＳ７０１へ進み、マイクロコンピュータ１０７は、次のフレームの記録用顔検出情報を顔検出処理部１２０より取得して処理を繰り返す。一方、最後のフレームまで処理を終了したと判定した場合にはステップＳ７０８へ進む。

ステップＳ７０８にて、マイクロコンピュータ１０７は、ＨＤＤ１１２に管理情報ファイルを記録する。管理情報ファイルの記録では、メモリ１０９に記録したＰＴＳとその主顔フラグの情報（主被写体情報）とを各顔インデックス６０８とし、メモリ１０９に記録したＰＴＳの数を顔インデックス数とし、顔インデックス情報ＩＤを付与して記録する。管理情報ファイルを記録すると、図７に示した処理を終了する。

なお、フレーム毎のＰＴＳと主顔フラグの情報は、最後のフレームの処理が終了するまでは、メモリ１０９に一時保持するものとしているが、これに限定されるものではない。例えば、最後のフレームの処理が終了する前に、逐次的に管理情報ファイルの一部としてフレーム毎のＰＴＳと主顔フラグの情報とをＨＤＤ１１２に記録し、ステップＳ７０８にてマイクロコンピュータ１０７が管理情報ファイルをクローズするようにしてもよい。

この一連の処理により、顔が出現する時間的位置の特定と、さらにそれぞれの顔出現位置が、新たに主顔が出現した位置であるか否かを判定可能とする顔インデックス情報が構築される。

図５に示した撮影例を記録した場合に構築される顔インデックス情報を図８に示す。顔インデックス情報６０５には、前述のとおり、顔インデックス情報ＩＤ６０６、顔インデックス数６０７、各顔インデックス６０８が記録される。顔インデックス数６０７は図中で４となっており、顔インデックスが４つあることを示している。各顔インデックス６０８には、顔インデックス番号とＰＴＳと主顔フラグとが記録される。顔インデックス情報６０５に記録された情報は、図５に示した例の撮影で得られたものであるので、各顔インデックス６０８におけるＰＴＳは、図５におけるフレーム５０１、５０２，５０４，５０６に対応するものである。顔インデックス番号０のＰＴＳは５０１６７０であり、フレーム５０１に対応する。また、フレーム５０１は主顔が出現したフレーム（イン点）であるので主顔フラグが「１」である。他の各顔インデックス６０８も同様に図８に示した通りであり、フレーム５０２、５０４は顔が増えているが、新たに主顔が出現したフレームではないので主顔フラグは「０」である。

また、この顔インデックス情報６０５に基づいて、各タイムラインでどのフレームの画像が表示されることになるのかを表８０１に示す。表中において、「○」となっているフレームが表示されるフレームであり、「×」となっているフレームが表示されないフレームである。顔インデックス６０８のあるフレームはすべて顔が新たに出現したフレームであるので、タイムラインにおいて指定間隔が「顔」である場合には、フレーム５０１、５０２，５０４，５０６のすべてが表示される。また、指定間隔が「主顔」である場合には、主顔が新たに出現したフレームのみを表示するので、主顔フラグが「１」となっているフレーム５０１、５０６のみが表示される。指定間隔が時間で指定される場合には、新たな顔の出現の有無は関係ないので、顔インデックス情報６０５は参照せずに、管理情報ファイル６０１に含まれる検索テーブル６０３を参照して表示するフレームが決定される。

本実施形態における撮像装置（デジタルビデオカメラ）は、このように管理情報ファイルを用いて、再生モードにおいて次に説明するタイムライン表示を行うことができる（表示制御）。撮像装置は、操作スイッチ群１１１が操作されることによって再生モードでのタイムライン表示が指示されると、タイムライン表示の対象となった動画ファイルと、それに対応する管理情報ファイルを検索する。そして、検索された管理情報ファイルに含まれる検索テーブル６０３及び顔インデックス情報６０５に基づいてタイムライン表示を行うよう制御する。

＜ＧＵＩ＞
次に、管理情報ファイルの顔インデックス情報を用いて実現するＧＵＩ（表示例）について説明する。なお、以下では、図５に示した撮影例が記録された動画像（記録シーン）を再生する場合を一例として説明する。
図９は、動画像の再生時におけるシーンの検索性向上のために設けられたＧＵＩ（タイムライン表示）の一例を示す図である。タイムライン表示とは、任意のシーンに注目し、その代表画像と指定間隔のフレームの画像を表示することである。タイムライン表示を用いることで、動画像に含まれるシーンを把握したり、動画像における所望の位置を検索したりすることができる。

図９において、９０１はタイムライン表示における表示画像の一例である。表示画像９０１を参照し、まず画面構成を説明する。９０２はシーン全体の代表画像であり、例えばシーン先頭のＩピクチャの画像を縮小したものである。代表画像９０２は、最初に顔情報が存在する画像でも良い。９０３、９０４、９０５、９０６、９０７は、サムネイル画像であり、指定間隔のフレームの画像を基に生成された縮小画像である。９０８は指定間隔表示部であり、現在の設定されている指定間隔について表示される。

ここで、タイムライン表示に係る指定間隔の選択について図１０を用いて説明する。
図１０は、指定間隔の選択肢一覧の一例を示している。ユーザーが操作スイッチ群１１１で所定の操作をすることで、指定間隔は、例えば２秒→６秒→３０秒→１分→顔→主顔といった順に切り替わる。あわせて現在選択しているものを知らしめるため、指定間隔表示部９０８に表示される内容が変化する。例えば、操作スイッチ群１１１に含まれる方向ボタンで指定間隔表示部９０８に選択枠をあわせ、操作スイッチ群１１１に含まれる選択ボタンの押下に応じて２秒→６秒→３０秒→１分→顔→主顔といった順にトグルして選択する。また、例えば指定間隔表示部９０８を選択することで、２秒、６秒、３０秒、１分、顔、主顔を選択肢として含むプルダウンメニューを表示し、その中から選択された指定間隔に決定するようにしてもよい。

例えば、指定間隔が３０秒に選択されていると、各コマの間隔が３０秒毎のフレームの画像をサムネイル画像として表示する。マイクロコンピュータ１０７は、これらのフレームが動画像ファイルのどの位置に存在するかを検索テーブル６０３から検索し、検索されたフレームのデータを記録媒体から読み込み再生させ、サムネイル表示を行う。また、ユーザーの操作に従い、現在表示されている５枚のサムネイル画像より前又は後の５枚分のフレームの画像へと表示を切り替えることが可能となっている。

図１１は、顔タイムライン表示の一例を示す図である。図１１において、１１０１は顔タイムライン表示における表示画像の一例である。顔タイムライン表示とは、指定間隔として“顔”が選択されているときの表示モードであり、前述の顔インデックス情報を用いて顔インデックスにおけるＰＴＳが指し示すフレームが表示される。顔タイムライン表示では、新たに顔が検出されたイン点となるフレームの画像がサムネイル表示される。したがって、顔タイムライン表示は、人物の検索を行いたい時に利用して好適な機能である。

図５に示した撮影例が記録された動画像を再生する場合を例として説明すると、図８に示した表８０１において、タイムライン指定間隔で顔の項が「○」となっているフレームがサムネイル表示の対象である。すなわち、顔インデックス番号０、１、２，３のＰＴＳで示されるフレームとなる。よって、サムネイル画像９０３〜９０６は、それぞれ図５に示した例でのフレーム５０１、５０２、５０４、５０６の画像（フレーム番号に存在するフレーム）であり、いずれかの顔が新たに出現した位置である。この例では、顔インデックスが４つしかないため、サムネイル画像９０７は存在せず、ブランクとなるが、顔インデックスが５つ以上存在するシーンでは他と同様にサムネイル画像が表示される。

しかし、本当に撮影したい主被写体の周りに多くの人物が出入りするような状況では、主被写体が出現した位置よりも他の人物が出現した位置の方が多くなってしまうことが考えられる（例えば図５に示した５０４のようなフレーム）。したがって、指定間隔を“顔”としても、本来探したい位置がなかなか出てこないなど使い勝手を低下させてしまうことが考えられる。そこで本実施形態では、指定間隔として“顔”の他に“主顔”を設け、切り替え表示ができるようにしている。

図１２は、主顔タイムライン表示の一例を示す図である。図１２において、１２０１は主顔タイムライン表示における表示画像の一例である。主顔タイムライン表示とは、指定間隔として“主顔”が選択されているときの表示モードであり、前述の顔インデックスにおける主顔フラグ（主被写体情報）を利用して新たに主顔が出現したフレームを表示する。主顔タイムライン表示では、図１１に示した指定間隔が“顔”である顔タイムライン表示に対し、フレーム５０２、５０４は新たに主顔が検出されたイン点ではないので除外される。したがって、主顔タイムライン表示では、図１２に示すように主顔のイン点であるフレーム５０１、５０６のみがサムネイル表示されることとなる。

図５に示した撮影例が記録された動画像を再生する場合を例として説明すると、図８に示した表８０１において、タイムライン指定間隔で主顔の項が「○」となっているフレームがサムネイル表示の対象である。すなわち、顔インデックス番号０、３のＰＴＳで示されるフレームとなる。これは、顔インデックスの主顔フラグが「１」である顔インデックスのみ抽出することで実現する。この例では、主顔フラグが「１」である顔インデックスが２つしかないため、サムネイル画像９０５、９０６、９０７は存在せず、ブランクとなるが、主顔フラグが「１」である顔インデックスが３つ以上存在するシーンではサムネイル画像が並ぶこととなる。

なお、タイムラインにおいて指定間隔が“主顔”又は“顔”であるとき、表示されたサムネイル画像のうちいずれかの画像がユーザーの操作によって選択されたとする。この状態で、さらにユーザーからの再生指示を受け付けると、選択された画像に対応する顔インデックス番号のＰＴＳが示すフレームから動画の再生が開始される（再生制御）。タイムラインにおいて指定間隔が時間であるときも同様に、表示されたサムネイル画像のうちのいずれかが選択された後に再生指示を受け付けると、選択された画像に対応するＰＴＳが示すフレームから動画の再生が開始される。

＜タイムライン表示処理＞
次に、動画像の再生において、マイクロコンピュータ１０７が前述した管理情報ファイルを用いて、各種タイムライン表示を行う処理について説明する。
図１３は、タイムライン表示処理の一例を示すフローチャートである。図１３に示す処理は、マイクロコンピュータ１０７がフラッシュＲＯＭ１０８に記録されたプログラムをメモリ１０９に展開して実行することにより行われる。

タイムライン表示を行うべき動画が選択され、タイムライン表示開始の指示があると図１３に示す処理が開始される。
まず、ステップＳ１３０１にて、マイクロコンピュータ１０７は、タイムライン表示を行うべき動画像の管理情報ファイルを読み込む（取得する）。

ステップＳ１３０２にて、マイクロコンピュータ１０７は、ステップＳ１３０１において取得した管理情報ファイルと、タイムライン表示を行うべき動画の動画像ファイルとに基づいて、初期設定の指定間隔でタイムライン表示を行う。このときの表示例が、例えば図９に示した表示画面である。

ステップＳ１３０３にて、マイクロコンピュータ１０７は、ユーザーからの指定間隔を変更する操作を受け付けたか否かを判定する。指定間隔の変更操作の方法は、例えば前述のとおりである。指定間隔の変更を受け付けたと判定した場合にはステップＳ１３０４へ進み、指定間隔の変更を受け付けていないと判定した場合にはステップＳ１３１２へ進む。

ステップＳ１３０４にて、マイクロコンピュータ１０７は、変更された指定間隔が“顔”又は“主顔”であるか否か（あるいは時間指定であるか否か）を判定する。指定間隔が“顔”又は“主顔”でないと判定した場合（あるいは時間指定であると判定した場合）にはステップＳ１３０５へ進む。ステップＳ１３０５にて、マイクロコンピュータ１０７は、ステップＳ１３０１において取得した管理情報ファイルのうち、検索テーブルを読み込む。指定間隔が“顔”又は“主顔”でなければ顔インデックス情報を読み込む必要がないので、ここでは顔インデックス情報は読み込まない。そして、マイクロコンピュータ１０７は、検索テーブルに基づいて、指定された時間間隔のフレームの画像を動画像ファイルから取得する。ステップＳ１３０６にて、マイクロコンピュータ１０７は、ステップＳ１３０５において取得したフレームの縮小画像を用いて、指定された時間間隔でのタイムライン表示を行う。このときの表示例が、例えば図９に示した表示画面である。

一方、ステップＳ１３０４で指定間隔が“顔”又は“主顔”であると判定した場合（あるいは時間指定でないと判定した場合）にはステップＳ１３０７へ進む。ステップＳ１３０７にて、マイクロコンピュータ１０７は、変更された指定間隔が“主顔”であるか（すなわち、主顔表示モードであるか）否かを判定する。

指定間隔が“主顔”であると判定した場合にはステップＳ１３０８へ進み、ステップＳ１３０８にて、マイクロコンピュータ１０７は、ステップＳ１３０１において取得した管理情報ファイルのうち、顔インデックス情報と検索テーブルを読み込む。そして、マイクロコンピュータ１０７は、顔インデックス情報のうち主顔フラグが「１」となっている顔インデックスのＰＴＳが示すフレームの画像を、検索テーブルに基づいて動画像ファイルから取得する。ステップＳ１３０９にて、マイクロコンピュータ１０７は、ステップＳ１３０８において取得したフレームの縮小画像を用いて、指定間隔を“主顔”としたタイムライン表示（主顔タイムライン表示）を行う。このときの表示例が、例えば図１２に示した表示画面である。

一方、指定間隔が“主顔”でないと判定した場合にはステップＳ１３１０へ進み、ステップＳ１３１０にて、マイクロコンピュータ１０７は、ステップＳ１３０１において取得した管理情報ファイルのうち、顔インデックス情報と検索テーブルを読み込む。そして、マイクロコンピュータ１０７は、顔インデックス情報のうちすべての顔インデックスのＰＴＳが示すフレームの画像を、検索テーブルに基づいて動画像ファイルから取得する。ステップＳ１３１１にて、マイクロコンピュータ１０７は、ステップＳ１３１０において取得したフレームの縮小画像を用いて、指定間隔を“顔”としたタイムライン表示（顔タイムライン表示）を行う。このときの表示例が、例えば図１１に示した表示画面である。

ステップＳ１３１２にて、マイクロコンピュータ１０７は、ユーザーの操作や電源ＯＦＦなどによってタイムライン表示の終了が指示されたか否かを判定する。判定の結果、タイムライン表示の終了が指示されていなければステップＳ１３０３に戻り、マイクロコンピュータ１０７は、指定間隔の変更があったか否かを監視する。一方、タイムライン表示の終了が指示されていれば処理を終了する。

なお、ユーザーが操作を行うことによって主顔（主被写体）を指定できる機能を有する場合には、ユーザーが指定した主顔のイン位置のみを表示するモードを備えていても良い。また、フレーム間において顔の増減がなくても、主顔とする顔が切り替わった位置を顔インデックス情報として記録しても良い。また、これらの場合には、顔の出現位置と区別できるよう情報を付加しても良い。また、予め撮像装置に特定人物の情報を登録でき、被写体からこの人物を検出できる機能を持たせ、この特定人物を新たに検出した出現位置のみを表示するモードを設けても良い。また、動画像を一例に説明したが、複数枚の静止画像を対象に前述した顔タイムライン表示及び主顔タイムライン表示を含むタイムライン表示を実現しても良い。

本実施形態によれば、顔インデックス情報の主顔フラグ（主被写体情報）による主顔タイムライン表示を行うことができ、主被写体である主顔が出現するシーンの検索性を向上させることが可能となる。本実施形態に示した例のように、新たに顔が出現するフレームを複数枚縮小し並べて表示するような表示形態において、特に主被写体の他に不特定多数の被写体が撮影されてしまうような状況で撮影され記録された動画像の再生に利用して有効である。

なお、前述した実施形態でのマイクロコンピュータ１０７による制御は、１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、前述した実施形態は本発明の一実施形態を示すものにすぎない。
また、前述した実施形態においては、本発明を撮像装置（デジタルビデオカメラ）に適用した場合を例にして説明したが、これはこの例に限定されない。すなわち、本発明は複数の画像を同時に表示するように制御可能な再生機能を有する装置であれば適用可能である。このような装置の一例としては、パーソナル・コンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、プリンタ装置に設けられた印刷画像選択および確認のためのディスプレイ、デジタルフォトフレームなどが含まれる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明を構成することになる。

２０１…画像情報、２０２…特徴情報抽出部、２０３…被写体判定部、２０４…管理情報生成部、２０５…記録部、２０６…記憶部、２０７…記憶部、２０８…再生部、２０９…縮小画像生成部、２１０…管理情報読出部、２１１…表示制御部、２１２…モード判定部、２１３…表示部

Claims (12)

1. 動画において、被写体が新たに出現したフレームを特定する情報である被写体情報と、該被写体情報が示すフレームのうち、主被写体と判定された被写体が出現したフレームを特定する情報である主被写体情報とを取得する取得手段と、
   表示モードを、少なくとも第１の表示モードと第２の表示モードとを含む複数の表示モードのうち何れかに変更する変更手段と、
   前記第１の表示モードにおいて、動画のうち、前記被写体情報が示すフレームを時間順に並べて表示し、
   前記第２の表示モードにおいて、動画のうち、前記被写体情報が示すフレームのうち、前記主被写体情報が示していないフレームを表示することなく、前記被写体情報が示すフレームのうち、前記主被写体情報が示すフレームを時間順に並べて表示するように制御する表示制御手段と
   を有することを特徴とする動画再生装置。
2. 各表示モードにおいて前記表示制御手段で表示された複数のフレームのうちの何れかがユーザーに指定されることに応じて、指定されたフレームの位置から前記動画を再生することを特徴とする請求項１に記載の動画再生装置。
3. 前記変更手段は、さらに第３の表示モードにも変更可能であり、
   前記表示制御手段は、前記第３の表示モードでは、前記被写体情報及び前記主被写体情報に関わらず、前記動画から所定時間間隔で抽出した複数のフレームを時間順に並べて表示するように制御することを特徴とする請求項１又は２に記載の動画再生装置。
4. 前記変更手段は、さらに第４の表示モードにも変更可能であり、
   前記表示制御手段は、前記第４の表示モードでは、前記動画において、特定の人物を新たに検出した出現位置のフレームのみを表示するように制御することを特徴とする請求項１乃至３の何れか１項に記載の動画再生装置。
5. 動画を解析して被写体を検出する被写体検出手段と、
   前記被写体検出手段で検出した被写体を主被写体とするか否かを特定の条件に基づいて判定する判定手段と、
   前記被写体検出手段での検出結果及び前記判定手段での判定結果に基づいて、前記動画に関連付けて、前記被写体情報及び前記主被写体情報を記録する記録制御手段と
   を更に有することを特徴とする請求項１乃至４の何れか１項に記載の動画再生装置。
6. 前記被写体は人物の顔であることを特徴とする請求項１乃至５の何れか１項に記載の動画再生装置。
7. 前記動画再生装置は、撮像手段を有する撮像装置であることを特徴とする請求項１乃至６の何れか１項に記載の動画再生装置。
8. 前記特定の条件は、前記検出された被写体の、フレームにおける位置又は大きさの少なくとも一方に基づく条件であることを特徴とする請求項５に記載の動画再生装置。
9. 前記特定の条件は、ユーザー操作に応じて指定されることを特徴とする請求項５に記載の動画再生装置。
10. 動画において、被写体が新たに出現したフレームを特定する情報である被写体情報と、該被写体情報が示すフレームのうち、主被写体と判定された被写体が出現したフレームを特定する情報である主被写体情報とを取得する取得ステップと、
    表示モードを、少なくとも第１の表示モードと第２の表示モードとを含む複数の表示モードのうち何れかに変更する変更ステップと、
    前記第１の表示モードにおいて、動画のうち、前記被写体情報が示すフレームを時間順に並べて表示し、
    前記第２の表示モードにおいて、動画のうち、前記被写体情報が示すフレームのうち、前記主被写体情報が示していないフレームを表示することなく、前記被写体情報が示すフレームのうち、前記主被写体情報が示すフレームを時間順に並べて表示するように制御する表示制御ステップと
    を有することを特徴とする動画再生装置の制御方法。
11. コンピュータを請求項１乃至９の何れか１項に記載の動画再生装置の各手段として機能させるためのプログラム。
12. コンピュータを請求項１乃至９の何れか１項に記載の動画再生装置の各手段として機能させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images