JP4931251B2 - 表示制御装置、表示制御システム、表示制御方法 - Google Patents

Description

本発明は、複数の画像をひとつの画面に表示するマルチビュー表示を実行可能な表示制御装置、表示制御システム、及び、表示制御方法に関するものである。

従来、マルチビュー表示の制御技術として、視聴者をカメラ撮影して得られた視聴者の視線（ベクトル）と顔位置情報（位置）から、マルチビュー表示時に視聴者の興味が集まる映像を検出し、最も大きな画面と入れ替える、という技術が開示されている（例えば、特許文献１）。
また、複数の視聴者を撮影した動画像をマルチビュー表示し、被写体の動きに併せて、画像の変形・アニメーションの移動を行う、という技術が開示されている（例えば、特許文献２）。
さらに、視聴者が予め設定した被写体の重要度に応じてマルチビュー表示を行う画像を選択して表示させる、という技術が開示されている（例えば、特許文献３）。
特開２００６−１１９４０８号公報 特開２００６−３１９８１８号公報 特開２００１−０３４２５０号公報

しかし、特許文献１の技術では、視聴者が「注目した」という情報に基づいて画面の移動・変形を行うため、視聴者がずっと大きな画面を見ていれば、小さい画面に見たかった映像が表示されても気が付かずに見逃してしまう可能性が大きかった。
また、特許文献２の技術では、被写体の動きによって表示領域を変化させるため、被写体に動きが無い場合は、表示制御を変化させることができなかった。

さらに、特許文献３の技術では、被写体の重要度に応じて画像の入れ替えを行うため、表示させるか否かの切り換えのみとなってしまっていた。したがって、複数の画像の同時視聴を可能にしつつ、その中の重要なシーンの見逃しを防止することができなかった。
その上、上述した従来の技術では、動画を取り扱う場合に、表示を変更するための条件が変わる度に頻繁に表示状態が変化し、落ち着きのない画像表示となり、視聴しにくい場合があった。さらにまた、表示を変更するための条件の判断には、ある程度の処理時間が必要であることから、表示状態を変化させたときには、既に状況が変化してしまっていて、適切な表示とならない場合があった。

本発明の課題は、複数の動画像をひとつの画面で表示するマルチビュー表示時に、視聴者が見たいシーンを強調して表示することによって、見逃しを防止し、後戻りのないスムーズな視聴を行うことができる表示制御装置、表示制御システム、表示制御方法を提供することである。
さらに、本発明の第２の課題は、より的確に視聴者が見たいシーンを強調して表示することができ、かつ、視聴しやすい表示制御装置、表示制御システム、表示制御方法を提供することである。

本発明の第１の側面としての表示制御装置は、複数の動画像の表示制御を行う表示制御装置であって、画像を登録する登録手段と、複数の動画像を前記表示制御装置に入力する画像入力手段と、前記画像入力手段により入力された前記動画像の中から、前記登録手段により登録された前記画像の特徴と一致する特徴を有する被写体を検出する被写体検出手段と、前記被写体検出手段が前記被写体を同一の動画像の中の複数のフレームで連続して検出している検出期間をカウントするカウント手段と、前記複数の動画像の表示状態を制御する表示制御手段と、を備え、前記表示制御手段は、前記検出期間が予め定めた第１の期間を超えた場合に、前記被写体検出手段により前記被写体が検出された動画像の大きさを第１のサイズに拡大し、前記検出期間が前記第１の期間よりも長い第２の期間を超えた場合に、前記被写体検出手段により前記被写体が検出された動画像の大きさを前記第１のサイズよりも大きな第２のサイズに拡大し、段階的に表示状態を変更することを特徴とする。

本発明の第２の側面としての表示制御システムは、表示装置と、上記の表示制御装置と、を備えた表示制御システムであって、前記表示装置は、前記制御装置通信手段と通信を行う表示装置通信手段と、前記制御装置通信手段及び表示装置通信手段を介して前記表示制御手段が行う表示状態の制御に応じて前記複数の動画像の表示を行う表示部とを備えることを特徴とする。

本発明の第３の側面としての表示制御方法は、複数の動画像の表示制御を行う表示制御方法であって、画像を登録し、前記複数の動画像の中から、登録された前記画像の特徴と一致する特徴を有する被写体を検出し、前記被写体を同一の動画像の中の複数のフレームで連続して検出している検出期間をカウントし、前記検出期間が予め定めた第１の期間を超えた場合に、前記被写体が検出された動画像の大きさを第１のサイズに拡大し、前記検出期間が前記第１の期間よりも長い第２の期間を超えた場合に、前記被写体が検出された動画像の大きさを前記第１のサイズよりも大きな第２のサイズに拡大し、段階的に表示状態を変更する。

本発明によれば、複数の動画像をひとつの画面で視聴するマルチビュー視聴時に、見たいシーンを強調して見せることが可能になる。これによって、見逃しを防止し、見逃したシーンを逆再生によって見直すという後戻りを防止したスムーズな視聴形態を実現することができる。
また、より的確に視聴者が見たいシーンを強調して表示することができ、かつ、視聴しやすい表示制御装置、表示制御システム、表示制御方法を提供できる。

以下、本発明を実施するための最良の形態について図面等を参照して説明する。

（第１実施形態）
図１は、本発明による表示制御装置、表示制御方法を用いた表示制御システムの第１実施形態を示すブロック図である。
なお、以下の説明では、具体的な数値、動作等を示して説明を行うが、これらは、適宜変更することができる。
本実施形態の表示制御システムは、第１のカメラ１０１、第２のカメラ１０２、第３のカメラ１０３、サーバ２００、テレビジョン受像装置（以下、ＴＶ）３００を有している。

第１のカメラ１０１、第２のカメラ１０２、第３のカメラ１０３は、動画の撮影が可能なビデオカメラである。第１のカメラ１０１〜第３のカメラ１０３は、いずれも通信機能を備えており、撮影した動画像を無線又は有線接続された通信ネットワークを介してサーバ２００へ送る（アップロードする）ことができる。
ここで、通信ネットワークとしては、インターネット等の公衆通信ネットワークでもよいし、ホームネットワーク等に設けられた無線ＬＡＮ等のローカルエリアネットワークであってもよいし、これらを適宜組み合わせたものであってもよい。以下の説明では、第１のカメラ１０１〜第３のカメラ１０３とサーバ２００とは、無線ＬＡＮにより通信を行い、サーバ２００とＴＶ３００とは、インターネットを介して通信を行う場合を例に挙げて説明する。
また、本実施形態では、第１のカメラ１０１〜第３のカメラ１０３の３台のカメラを接続した例を示して説明するが、本実施形態の表示制御システムは、複数台の接続を想定しているものであり、３台に限定するものではない。

サーバ２００は、通信ネットワーク上に設けられており、第１のカメラ１０１〜第３のカメラ１０３及びＴＶ３００と通信ネットワークを介して通信可能な表示制御装置である。サーバ２００は、インターネットに接続されたネットワークサーバであってもよいし、家庭内のネットワークに接続されたホームサーバであってもよい。
また、本実施形態のサーバ２００は、ＴＶ３００に表示するマルチビュー表示用の動画データを作成してＴＶ３００へ送信し、ＴＶ３００は、これにしたがって表示を行う。よって、サーバ２００は、ＴＶ３００の表示を、表示用のデータを作成するという形で制御する表示制御装置としても機能も有する。

ＴＶ３００は、表示部３０１、表示装置通信部３０２、入力部３０３を備えた表示装置である。
表示部３０１は、液晶表示パネルやプラズマ表示パネル、有機ＥＬ（electroluminescence）表示パネル等であり、動画、静止画、グラフィックス等を表示する表示パネルである。
表示装置通信部３０２は、通信ネットワークを介してサーバ２００と通信を行う。
入力部３０３は、視聴者が各種のデータ、及び、選択指示等の入力を行う。入力部３０３には、メモリカード等の外部記憶媒体からデータを読取ることができる不図示のリーダ部と、キーボードやポインティングデバイス等の入力デバイスを有している。
なお、図１では、ＴＶ３００を１台のみ示したが、これに限らず、複数台のＴＶを接続することができる。

第１のカメラ１０１〜第３のカメラ１０３は、例えば、同一のイベントを撮影しており、それぞれ通信ネットワークを介して撮影した画像データをリアルタイムでサーバ２００に送信している。
サーバ２００は、送られてきた各画像を合成して、マルチビュー表示されたひとつの画像として、ＴＶ３００へ送出する。サーバ２００の動作の詳細については、後述する。
ＴＶ３００は、サーバ２００から送られてくる画像を表示装置通信部３０２が受信し、表示部３０１に表示する。また、画像の選択や表示形式の設定などを視聴者が入力部３０３から入力し、その情報は、表示装置通信部３０２がサーバ２００に送出する。

図２は、第１実施形態のサーバの構成を示すブロック図である。
サーバ２００は、画像入力部２０１、一時記憶部２０２、表示制御部２０３、制御装置通信部２０４、顔画像登録部２０５、カウント部２０６、被写体検出部２１０を備えている。
画像入力部２０１は、制御装置通信部２０４を介して第１のカメラ１０１〜第３のカメラ１０３が撮影した複数の動画像を受信する。画像入力部２０１は、入力された動画像を一時記憶部２０２へ送る。
一時記憶部２０２は、画像入力部２０１に入力された複数の動画像（ライブ映像）を一時的に記憶する。第１実施形態では、サーバ２００は、第１のカメラ１０１〜第３のカメラ１０３が撮影した動画像を蓄積して保存することはせずに、リアルタイムでマルチビュー表示処理を行い、ＴＶ３００へ表示用の動画データを送信する。したがって、一時記憶部２０２は、サーバ２００の処理のために一時的に動画像を記憶（バッファ）するものである。

表示制御部２０３は、一時記憶部２０２に記憶された複数の画像をマルチビューレイアウトとなるように配置して、ＴＶ３００へ送信するマルチビュー表示用の動画データの作成を行う。ＴＶ３００は、この表示制御部２０３が作成したマルチビュー表示用の動画データの表示を行う。したがって、表示制御部２０３は、ＴＶ３００の表示を、表示用のデータを作成するという形で制御している。

制御装置通信部２０４は、通信ネットワークを介して第１のカメラ１０１〜第３のカメラ１０３、及び、ＴＶ３００と通信を行う通信回路である。
顔画像登録部２０５は、視聴者が指定した顔画像を登録する登録部である。登録に必要なデータや視聴者の指示は、制御装置通信部２０４が通信ネットワークを介して顔画像登録部２０５に伝える。顔画像の指定方法は、後述する。
カウント部２０６は、後述する被写体検出部２１０が顔画像登録部２０５に登録された人の顔の特徴と一致する顔の特徴を有する人（被写体）を同一の動画像から継続して検出している検出期間をカウントする。本実施形態では、カウント部２０６は、後述するように動画のフレーム数でカウントを行うが、秒単位等、時間でカウントしてもよい。

被写体検出部２１０は、画像入力部２０１に入力された動画像中から、顔画像登録部２０５に登録された人の顔の特徴と一致する顔の特徴を有する人を検出する。すなわち、被写体検出部２１０は、顔画像登録部２０５に登録された人と同一人物と判断される人を動画像の中から検出する。
被写体検出部２１０は、第１の顔検出部２１１、第１の特徴点抽出部２１２、第２の顔検出部２１３、第２の特徴点抽出部２１４、比較送出部２１５を備えている。

第１の顔検出部２１１は、一時記憶部２０２に記憶された複数の動画像の中から人の顔が含まれている領域を判別して検出する。
第１の特徴点抽出部２１２は、第１の顔検出部２１１で検出された顔画像の特徴点を抽出する。

第２の顔検出部２１３は、顔画像登録部２０５に登録された顔画像から人の顔が含まれている領域を判別して検出する。なお、顔画像登録部２０５に登録される画像を、人の顔部分のみとすれば、この第２の顔検出部２１３は、省略してもよい。
第２の特徴点抽出部２１４は、第２の顔検出部２１３で検出された顔画像から特徴点を抽出する。

比較送出部２１５は、第１の特徴点抽出部２１２及び第２の特徴点抽出部２１４により抽出された顔画像の特徴点を比較する。比較送出部２１５が比較した特徴点の比較結果は、表示制御部２０３及びカウント部２０６に送られて、マルチビュー表示の表示サイズやレイアウトに反映される。
図３は、人の顔の特徴点抽出例を示す図である。
第１の特徴点抽出部２１２及び第２の特徴点抽出部２１４は、目の位置や間隔、鼻の位置、耳の位置、口の位置、各位置の比率、輪郭の縦横比等から顔の特徴を抽出する。

図４は、第１実施形態の表示制御システムの動作を説明するフローチャートである。
ステップ（以下、Ｓとする）１０１では、画像登録部２０３に登録されたライブ動画像が表示部３０１にマルチビュー表示される。
ここで、視聴者は、予め顔検出したい顔画像を入力部３０３から入力する。より具体的には、デジタルカメラ等で撮影した顔画像をメモリカードのような記憶メディアを介してＴＶ３００の入力部３０３から入力する。入力された顔画像は、表示制御通信部３０２を介してサーバ２００に送られて、顔画像の登録部である顔画像登録部２０５に登録される。
視聴者が予め複数種類の顔画像を登録しておいた場合は、Ｓ１０１の前にグラフィックユーザインターフェイス（ＧＵＩ）で顔画像の選択画面を表示し、視聴者に顔画像の選択を促すようにする。この顔画像の選択指示も入力部３０３から行う。
また、顔画像の選択は、ひとつとは限らない。複数の顔画像を選択して、複数の顔を検出できるようにしてもよい。この場合、ＧＵＩで顔画像の優先度設定も行えるようにする。

Ｓ１０２では、視聴者が指定した顔画像とマルチビュー表示中の複数の動画像中の顔の特徴点比較が比較送出部２１５によって行われる。そして、比較結果が予め設定された閾値を超えるか否かを判別する。比較結果が予め設定された閾値を超える場合には、視聴者が指定した顔画像とマルチビュー表示中の複数の動画像中の顔の特徴点が一致したとして、Ｓ１０３へ進む。一方、比較結果が予め設定された閾値を超えない場合には、Ｓ１０２を繰り返す。

Ｓ１０３では、閾値を超えたフレームがいくつ続くかをカウント部２０６がカウントすることにより検出する。予め設定された一定フレーム数（図４中では、Ｘフレーム）を超えて、閾値を超えたフレームが連続する場合には、Ｓ１０４へ進む。予め設定されたＸフレームを超えて、閾値を超えたフレームが連続するということは、顔画像登録部２０５に登録された画像と同一人物が、Ｘフレーム連続して同一の動画像中に検出されている（すなわち、同一のカメラで継続的に撮影されている）ということである。この場合には、その後もある程度の期間継続的に当該人物が撮影される可能性が高い。よって、この場合に、Ｓ１０４へ進み、後述する拡大表示等を行う検出時表示状態とする。

一方、閾値を超えたフレームが連続する数がＸフレームを超えない場合には、Ｓ１０２へ戻り、特徴点の検出を継続する。閾値を超えたフレームが連続する数がＸフレームを超えないということは、顔画像登録部２０５に登録された画像と同一人物が、ごく僅かな期間だけ撮影されているということであり、その後直ぐにフレームアウトして撮影されない可能性がある。よって、この場合は、閾値を超えたフレームがＸフレームを超えて連続するまで、検出を継続するのである。

Ｓ１０４では、顔画像登録部２０５に登録された画像と同一人物が検出された動画像を拡大して表示する。
Ｓ１０５では、Ｓ１０４が行う拡大表示に対応して、拡大した画像と他の画像が重ならないように、マルチビューレイアウトを変更し、Ｓ１０２へ戻る。

図５は、第１実施形態の表示制御システムにおける非検出時表示状態及び検出時表示状態の一例を示した図である。なお、本実施形態では、動画像を扱っているが、理解を容易にするために、図５中の各図では、同一の図柄で示している。
図５（ａ）は、図４のＳ１０１で行われる表示状態であり、顔画像登録部２０５に登録された画像と同一人物が検出されていない非検出時表示状態の例である。この非検出時表示状態では、マルチビュー表示は、３つのカメラからの動画像が同じ大きさで表示されている。
図５（ｂ）は、左下の画像の顔（顔画像登録部２０５に登録された画像と同一人物の顔）を検出した状態を示している。本図では、わかり易いように検出した顔に枠を表示させているが、実施の形態では、枠を表示する必要はない。
図５（ｃ）は、図５（ｂ）の状態、すなわち、顔画像登録部２０５に登録された画像と同一人物が検出されている状態が、連続してＸフレーム検出された場合の表示の状態である検出時表示状態を示している。この検出時表示状態では、顔画像登録部２０５に登録された画像と同一人物を含む動画像を拡大表示し、この拡大表示に合わせてレイアウト変更を行っている。

画像の拡大やレイアウトの変更は、視聴者が注目する動画像を見やすく表示する目的で行われる。したがって、頻繁に拡大やレイアウト変更が行われるとかえって見にくくなってしまうので、閾値の設定は、以下のようにする。
例えば、１フレームのみ閾値を超えた場合は、非検出時表示状態から検出時表示状態への変更（サイズ変更およびレイアウト変更）を実行せず、複数フレーム閾値を超えた場合に上記変更を実行する。

図６は、非検出時表示状態と検出時表示状態との切換に閾値がどのように関わるかを示す図である。
図６では、左から右へ時間が進むものとする。また、横長の長方形で示した部分は、上方から、第１のカメラ１０１が撮影した動画像Ａ，第２のカメラ１０２が撮影した動画像Ｂ，第３のカメラ１０３が撮影した動画像Ｃを示す。また、この長方形部分において、ハッチングを付した所は、顔画像登録部２０５に登録された画像と同一人物が、動画像中に検出（以下、適宜「人物検知」と省略する）されている期間を示すものとする。さらに、各時間帯における画面レイアウトの例を図６の下段に示している。上段と下段の（ａ）〜（ｅ）記号は、同じ時間帯であることを表している。なお、この例では、先に説明した閾値Ｘを６０フレームとし、図中では、６０ｆと示した。

図６の例で、時刻ｔ０からの（ａ）期間では、非検出時表示状態であり、動画像Ａ，Ｂ，Ｃのいずれも同じ大きさで表示されている。
時刻ｔ１で動画像Ｂで人物検知され、カウント部２０６は、人物検知が継続している検出期間のフレーム数のカウントを開始する。そのまま動画像Ｂで人物検知が継続されて、時刻ｔ２にカウント数が予め設定された閾値である６０フレームに到達すると、期間（ｂ）へ移行し、検出時表示状態に移行し、動画像Ｂが拡大表示され、レイアウト変更される。

時刻ｔ３に、動画像Ｂで人物検知がされなくなると、カウント部２０６は、その人物検知がされなくなった非検出期間をカウントし始める。時刻ｔ４に動画像Ｂでの非検出期間が６０フレームに達すると、期間（ｃ）へ移行し、非検出時表示状態へと戻す。このように、非検出期間についてもカウントを行うことで、対象の被写体が一時的に検出されなくなった場合などに、表示状態が頻繁に変化することを防止できる。

時刻ｔ５に、再び動画像Ｂで人物検知がされる。しかし、この人物検知状態は時刻ｔ５に終了し、６０フレームを超えて継続しないため、非検出時表示状態を継続する。
そして、時刻ｔ７に動画像Ｃで人物検知され、６０フレームを超えて継続した時刻ｔ８に期間（ｄ）へ移行する。

期間（ｄ）では、動画像Ｃを対象として検出時表示状態を行う。すなわち、動画像Ｃを拡大表示して、レイアウト変更を行う。時刻ｔ９に動画像Ｃから人物検知がされなくなり、非検出期間が６０フレームに達した時刻ｔ１０に、期間（ｅ）に移行し、非検出時表示状態に戻る。
以上のように、閾値を決めて検出期間と非検出期間とをカウントした結果に応じて、検出時表示状態と非検出時表示状態とを切り換えることにより、表示状態が頻繁に変化することなく、視聴しやすい表示を行える。

また、拡大処理を段階的に行うようにしてもよい。
図７は、拡大処理を段階的に行う場合の表示例を示す図である。
例えば、図７（ａ）の非検出時表示状態から、６０フレーム連続で閾値を超えたら一段階拡大した図７（ｂ）の検出時表示状態とする。そして、１２０フレーム連続で二段階拡大した図７（ｃ）の検出時表示状態とする。その後、１８０フレーム連続で三段階拡大した図７（ｄ）の検出時表示状態とする。
このように段階的に拡大を行うことにより、検出期間に応じて表示が変化し、より見やすい表示が行える。

また、複数の画像で閾値を超える場合もあり得る。この場合、優先順位を設けるとよいが、優先順位の付け方もいくつか考えられる。
第一の優先順位の付け方は、特徴点の比較結果のスコアの高い順に優先順位をつけることである。ここで、比較結果のスコアが高いということは、顔画像登録部２０５に登録された画像に記録されている人物の顔の特徴点と、動画像中から検出された人物の顔の特徴点との一致度が高いということである。
第二の優先順位の付け方は、動画像中で検出された顔の領域の大きさで優先順位をつけることである。例えば、検出された顔の領域が大きい動画像ほど、優先順位を高くする。
第三の優先順位の付け方は、顔の検出位置によって優先順位をつけることである。例えば、顔の検出位置が中央に近い動画像ほど、優先順位を高くする。

また、拡大する動画像は、１つの動画像に限ったものではなく、２つの動画像を拡大する等、複数の動画像を拡大するようにしてもよい。
さらに、本実施形態では、動画像を拡大する例で説明を行ったが、注目する動画像を見やすく表示する目的のためには、拡大処理のみではなく、明るさを変更する、表示枠を強調する、色味を変更する、といった処理を用いたり、これらを組み合わせたりしてもよい。

以上、述べてきたように、本実施形態によれば、ライブ画像をマルチビュー視聴しているときに、見たいシーンを強調して見せることが可能になる。これによって、見逃しを防止し、見逃したシーンを逆再生によって見直すという後戻りを防止したスムーズな視聴形態を実現することができる。
また、より的確に視聴者が見たいシーンを強調して表示することができ、かつ、表示状態が頻繁に変化することなく、視聴しやすい表示を行える。

（第２実施形態）
図８は、第２実施形態の表示制御システムを形成するサーバの構成を示すブロック図である。
第２実施形態のサーバ２２０は、第１実施形態のサーバ２００における一時記憶部２２０に代えて蓄積部２２１を設けた点と被写体検出部２１０の動画が一部異なる他は、第１実施形態と同様な形態をしている。よって、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第１実施形態の動画像の表示は、撮影と同時のライブ動画で行う形態であるが、第２実施形態では、第１のカメラ１０１〜第３のカメラ１０３で撮影された動画像データは、ＨＤＤ（ハード・ディスク・ドライブ）等の蓄積部２２１に保存される。カメラ１０１〜１０３で撮影された動画像データは、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２等のファイル形式で転送されて蓄積部２２１に保存される。そして、表示は、蓄積部２２１に蓄積された動画像を再生することにより行われる。

図９は、第２実施形態の表示制御システムの動作を説明するフローチャートである。
Ｓ２０１では、第１のカメラ１０１〜第３のカメラ１０３から送られてきた複数の動画像が蓄積部２２１に蓄積された場合に、複数の動画像のタイムスタンプを参照し、タイムスタンプの時刻が一致する動画シーンを抽出する。ここで、各動画像データには撮影時刻がメタデータとして付加され、動画像中の各シーンの時刻がタイムスタンプで識別可能であるものと仮定する。この一致する動画シーンの抽出は、不図示の制御部からの指示により、蓄積部２２１で行われる。
Ｓ２０２では、抽出した動画像を再生候補としてアイコンやリスト形式のユーザインターフェイスを用いて視聴者に提示する。
このときのユーザインターフェイスの画面は、不図示の制御部の指示により、蓄積部２２１からの情報を元に表示制御部２０３で生成される。

Ｓ２０３では、視聴者が、複数提示された動画像の中からどの画像をマルチビュー表示させるかを選択して、入力部３０３から指示を与える。ただし、このステップＳ２０３は省略してもよく、複数提示された動画像を全てマルチビュー表示させる構成であってもよい。
Ｓ２０４では、視聴者からの指示に基づき、録画部２２１で選択された画像の再生が行われ、表示制御部２０３でマルチビューレイアウトが行われる。この再生を行うときには、Ｓ２０１で抽出した、タイムスタンプの時刻が一致する複数の動画シーンが同じタイミングで再生されるように制御される。

Ｓ２０５では、再生中の動画像と同一の動画像データから、現在再生しているタイムスタンプよりも時刻が後の動画シーン、すなわちこれから再生する予定の動画シーンを所定のフレーム数分だけ先読みする。この先読みした動画像について、顔画像を検出し、当該顔画像の特徴点と、視聴者が指定した顔画像の特徴点との比較が比較送出部２１５によって行われる。そして、比較結果が予め設定された閾値を超えるか否かを判別する。比較結果が予め設定された閾値を超える場合には、視聴者が指定した顔画像とマルチビュー表示中の複数の動画像中の顔の特徴点が一致したとして、Ｓ２０６へ進む。一方、比較結果が予め設定された閾値を超えない場合には、Ｓ２０５を繰り返す。
Ｓ２０６〜Ｓ２０８のステップは、図４に示した第１実施形態のＳ１０３〜Ｓ１０５と同様なステップなので、説明を省略する。

図１０は、Ｓ２０３で視聴者が再生画像を選択せずに、時刻順に自動再生を行った場合の表示例を示している。
図１０は、第１実施形態の図６と比較される図である。被写体検出部２１０が蓄積部２２１から先読みする動画像を上段に示し、中段に再生している動画像を示している。また、図６と異なり、動画像Ａ及び動画像Ｂの長方形が途切れている部分があるが、これは、その部分で撮影が一時中断又は停止しており、動画像のデータが存在していないことを表している。また、この図１０についても、先に説明した閾値Ｘを６０フレームとし、先読みは、これに余裕を設けた８０フレーム先読みするものとする。

最も早い撮影時刻のデータが存在するのは、動画像Ｃである。動画像Ｃの先頭フレームの撮影時刻に対応する動画像Ａ，Ｂのデータは、存在していない。したがって、期間（ａ）での画面表示は、動画像Ｃのみの表示となる。このとき、動画像Ｃのみが拡大されて表示されている。
次に、期間（ｂ）から動画像Ａの撮影データが存在するので、動画像Ａ，Ｃの二画面表示となる。ここでは、どちらの画像にも人物検知が行われなかったので、動画像Ａ，Ｃどちらの画像も同じ大きさで表示されるレイアウト例を表している。
さらに、期間（ｃ）になって動画像Ｃの撮影データが存在するので、動画像Ａ，Ｂ，Ｃの３画面表示になる。ここでも、３つの動画像の中で人物検知が行われなかったので、動画像Ａ，Ｂ，Ｃが同じ大きさで表示されるレイアウト例を表している。

ここで、この期間（ｃ）の動画再生中に、先読みデータにおいて、動画像Ａの撮影データが途切れている。また、動画像Ｃで人物検知が行われたので、この時点のタイムスタンプＴ０を記憶すると共に、カウント部２０６が検出期間をカウントする。そして、先読みした動画像Ｃで人物検知が継続する検出期間が６０フレームに達したときに、非検出時表示状態から検出時表示状態へ切り換えを行うことが決定される。

この決定時点では、再生中の動画像Ｃのタイムスタンプは、先に記憶したタイムスタンプＴ０と対応するタイムスタンプＴ１に到達しておらず、フレーム数で２０フレームの余裕がある。そして、再生動画像ＣのタイムスタンプがＴ１になったときに、非検出時表示状態から検出時表示状態へ切り換えを行う。具体的には、動画像ＢとＣとの二画面表示であり、かつ、動画像Ｃを拡大して表示する。このように先読みを行うことにより、第１実施形態とは異なり、動画像Ｃに顔画像登録部２０５に登録された画像と同一人物が登場する瞬間から動画像Ｃを拡大表示することができる。

期間（ｅ）では、動画像Ａの撮影が再開されたため、再び三画面表示となる。ここでは、期間（ｄ）の状態から引き続き動画像Ｃで人物検知が行われて、動画像Ｃを大きく表示するレイアウト例を示している。また、図示しないが、この実施形態では動画像を先読みするため、人物検知がされなくなった瞬間から動画像の拡大表示を終了して、通常のレイアウト表示に戻すことができる。

本実施形態によれば、蓄積コンテンツをマルチビュー視聴するときに視聴者の見たいシーンの見逃しを防止し、見逃したシーンを逆再生によって見直すという後戻りを防止したスムーズな視聴形態を実現することができる。
また、蓄積コンテンツを先読みして顔画像を検出し、当該顔画像の特徴点と、視聴者が指定した顔画像の特徴点との比較を行うことによって、閾値Ｘ分のタイムラグを排除して、視聴者の見たいシーンをより的確に表示できる。すなわち、第１実施形態よりも適切なタイミングで、視聴者の見たいシーンを強調表示することが可能となる。

（第３実施形態）
図１１は、第３実施形態の表示制御システムを形成するサーバの構成を示すブロック図である。
第３実施形態のサーバ２３０は、第２実施形態のサーバ２２０における被写体検出部２１０に代えて、構成の異なる被写体検出部２５０を備える点が、第２実施形態と異なっている。よって、前述した第１及び第２実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第３実施形態の被写体検出部２５０は、顔検出部２５１，特徴点抽出部２５２，サンプル記憶部２５３，サンプル提示部２５４，比較送出部２５５を有し、再生している動画像の中から検出する被写体の候補となる顔画像を抽出してサンプル提示を行う。

顔検出部２５１は、第１実施形態の第１の顔検出部２１１と同様な部分であるが、顔画像のデータをサンプル提示部２５４にも送出する。
特徴点抽出部２５２は、顔検出部２５１が検出した顔画像から特徴点を抽出し、サンプル記憶部２５３に記憶する。
サンプル記憶部２５３は、候補とする顔画像の特徴点を随時記憶する。この時、同一の特徴と判別したものについては、データを複数保持せずに、ひとつだけ保持するようにする。

サンプル提示部２５４は、サンプル記憶部２５３で保持された特徴点のデータと、顔検出部２５１で検出された顔画像とを関連付けて記憶し、顔画像のサムネイル画像を作成する。さらにサムネイル画像から顔画像の選択画面を作成し、制御装置通信部２０４に送る。
比較送出部２５５は、特徴点抽出部２５２が複数の動画像から得た顔画像の特徴点と、サンプル記憶部に記憶されたサンプルの内で視聴者が選択した顔画像の特徴点とを比較する。
制御装置通信部２０４は、通信ネットワークを介して視聴者に顔画像の選択画面を提示する。

図１２は、サンプル提示選択画面の表示例を示す図である。
視聴者は、図１２に示す画面を確認しながら、入力部３０３から顔画像の選択を行ってサーバ２３０に送出する。
図１１に戻って、制御装置通信部２０４は、視聴者の選択情報をサンプル提示部２５４に送る。サンプル提示部２５４は、選択された顔画像の特徴点データをサンプル記憶部２５３に伝える。
動画の再生が開始されると、特徴点抽出部２５２は、動画像中の顔画像の特徴点を抽出し、比較送出部２５５に送出する。また、サンプル記憶部２５３は、視聴者により選択された顔画像の特徴点を比較送出部２５５に送出する。
比較送出部２５５は、２つの特徴点を比較し、比較結果を表示制御部２０３に送出する。

図１３は、第３実施形態の表示制御システムの動作を説明するフローチャートである。
第２実施形態の図９との差異は、Ｓ３０４〜Ｓ３０６の部分のみである。図１３のステップＳ３０１〜Ｓ３０３は、図９のステップＳ２０１〜２０３に対応しており、図１３のステップＳ３０７〜Ｓ３１１は、図９のステップＳ２０４〜Ｓ２０８に対応している。以下、第２実施形態との相違点のみを説明する。
視聴者によって再生する動画が選択される（Ｓ３０３）と、Ｓ３０４では、当該動画像の中から顔画像のみを抽出する。
Ｓ３０５では、抽出された顔画像がサンプル記憶部２５３によって同一の顔が除外され、代表顔画像がサンプル提示部２５４によってサンプル表示される。
Ｓ３０６では、入力部３０３によって視聴者が代表顔画像を選択する。
選択された代表顔画像は、第１実施形態で説明した視聴者指定の顔画像と同様に扱われる。つまり、当該代表顔画像を用いて再生動画中の顔画像との比較を行い、同一の顔の検出を行う。

第３実施形態によれば、顔画像のサンプルを提示することにより、予め視聴者が顔画像を登録する手順を省くことができる。また、これにより、本システムに適用できるＴＶの要件が少なくなり、本システムの構築が容易になる。

（第４実施形態）
図１４は、第４実施形態の表示制御装置の構成を示すブロック図である。
第４実施形態は、上述した第１実施形態におけるサーバの機能とＴＶの機能とを１つの表示制御装置にまとめた形態である。また、この表示制御装置は、顔画像の指定の代わりに視聴者を撮影する機能も併せ持っている。
第４実施形態についても、前述した第１実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。
第４実施形態の表示制御装置２４０は、表示部２４１，視聴者撮影部２４２，画像入力部２４３を備えている。なお、表示制御装置２４０は、第１実施形態のＴＶ３００のような、テレビジョン受像装置としての構成を備えている。

表示部２４１は、表示制御部２０３で生成されたマルチビュー画像を表示する表示パネルである。
視聴者撮影部２４２は、表示制御装置２４０に備え付けられたカメラである。視聴者撮影部２４２は、表示制御装置２４０の表示部２４１を視聴している視聴者を撮影する。視聴者撮影部２４２は、撮影した画像を、第２の顔検出部２１３を介して第２の特徴点抽出部２１４に送る。また、視聴者撮影部２４２は、新たに撮影が行われるまでは、撮影した視聴者の顔画像を登録しておく登録部として機能する。
第２の特徴点抽出部２１４は、視聴者の顔画像の特徴点を抽出する。
画像入力部２４３は、第１のカメラ１０１〜第３のカメラ１０３から直接、撮影された動画像を入力する。なお、図１４では、第１のカメラ１０１〜第３のカメラ１０３を直接、画像入力部２４３に接続している図になっているが、第１実施形態と同様に通信ネットワークを介した接続とすることもできる。

図１５は、第４実施形態の表示制御装置の動作を説明するフローチャートである。
図１５に示した第４実施形態の動作が、図９に示した第２実施形態の動作と相違する点は、Ｓ４０４の部分である。図１５のステップＳ４０１〜Ｓ４０３は、図９のステップＳ２０１〜２０３に対応しており、図１５のステップＳ４０５〜Ｓ４０９は、図９のステップＳ２０４〜Ｓ２０８に対応している。以下、相違点を中心に説明する。
Ｓ４０３では、視聴者が視聴したい画像を選択すると、同時に視聴者撮影部２４２がそのとき表示制御装置２４０の前にいる視聴者を撮影する。
Ｓ４０４では、撮影された画像の中から顔画像を検出し、その特徴点を抽出する。
Ｓ４０６では、Ｓ４０４で抽出された特徴点がサンプルとして登録され、再生中の動画との比較が随時行われる。
視聴者の顔画像が検出された場合は、当該画像が見やすくなるように画像の拡大、レイアウト変更等を行い、検出時表示状態とする。

以上、述べてきたように第４実施形態によれば、予め視聴者が顔画像を登録する手順を省くだけでなく、サンプルとなる画像を選択する手順を省くこともできる。よって、視聴者は、自らが含まれる動画像を簡単に視聴できる。

（変形形態）
以上説明した実施形態に限定されることなく、種々の変形や変更が可能であって、それらも本発明の範囲内である。
（１）各実施形態において、顔検出結果に基づいて表示サイズやレイアウトを変更した例を説明した。これに限らず、例えば、新しく再生が始まった画像に優先順位をつけて、顔画像検出結果に重み付けをしてもよい。

（２）各実施形態において、注目する被写体を登録する登録部として、顔画像を登録する例を示したが、これに限らず、例えば、顔の特徴点を登録してもよい。

（３）各実施形態において、注目する被写体を登録する登録部として、顔画像を登録する例を示したが、これに限らず、例えば、動物、乗り物、建物等のように、人以外の被写体を登録してもよい。この場合、被写体の特定の色や形を特徴点として抽出するとよい。

なお、第１実施形態〜第４実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は、以上説明した各実施形態によって限定されることはない。

本発明による表示制御装置、表示制御方法を用いた表示制御システムの第１実施形態を示すブロック図である。 第１実施形態のサーバの構成を示すブロック図である。 人の顔の特徴点抽出例を示す図である。 第１実施形態の表示制御システムの動作を説明するフローチャートである。 第１実施形態の表示制御システムにおける非検出時表示状態及び検出時表示状態の一例を示した図である。 非検出時表示状態と検出時表示状態との切換に閾値がどのように関わるかを示す図である。 拡大処理を段階的に行う場合の表示例を示す図である。 第２実施形態の表示制御システムを形成するサーバの構成を示すブロック図である。 第２実施形態の表示制御システムの動作を説明するフローチャートである。 Ｓ２０３で視聴者が再生画像を選択せずに、時刻順に自動再生を行った場合の表示例を示している。 第３実施形態の表示制御システムを形成するサーバの構成を示すブロック図である。 サンプル提示選択画面の表示例を示す図である。 第３実施形態の表示制御システムの動作を説明するフローチャートである。 第４実施形態の表示制御装置の構成を示すブロック図である。 第４実施形態の表示制御装置の動作を説明するフローチャートである。

符号の説明

１０１ 第１のカメラ
１０２ 第２のカメラ
１０３ 第３のカメラ
２００，２２０ サーバ
２０１，２４３ 画像入力部
２０２ 一時記憶部
２０３ 表示制御部
２０４ 制御装置通信部
２０５ 顔画像登録部
２０６ カウント部
２１０，２５０ 被写体検出部
２１１ 第１の顔検出部
２１２ 第１の特徴点抽出部
２１３ 第２の顔検出部
２１４ 第２の特徴点抽出部
２１５，２５５ 比較送出部
２２１ 蓄積部
２４１ 表示部
２４０ 表示装置
２４２ 視聴者撮影部
２５１ 顔検出部
２５２ 特徴点抽出部
２５３ サンプル記憶部
２５４ サンプル提示部
３００ ＴＶ
３０１ 表示部
３０２ 表示装置通信部
３０３ 入力部

Claims (16)

1. 複数の動画像の表示制御を行う表示制御装置であって、
   画像を登録する登録手段と、
   複数の動画像を前記表示制御装置に入力する画像入力手段と、
   前記画像入力手段により入力された前記動画像の中から、前記登録手段により登録された前記画像の特徴と一致する特徴を有する被写体を検出する被写体検出手段と、
   前記被写体検出手段が前記被写体を同一の動画像の中の複数のフレームで連続して検出している検出期間をカウントするカウント手段と、
   前記複数の動画像の表示状態を制御する表示制御手段と、
   を備え、
   前記表示制御手段は、前記検出期間が予め定めた第１の期間を超えた場合に、前記被写体検出手段により前記被写体が検出された動画像の大きさを第１のサイズに拡大し、前記検出期間が前記第１の期間よりも長い第２の期間を超えた場合に、前記被写体検出手段により前記被写体が検出された動画像の大きさを前記第１のサイズよりも大きな第２のサイズに拡大し、段階的に表示状態を変更すること、
   を特徴とする表示制御装置。
2. 請求項１に記載の表示制御装置において、
   前記カウント手段は、前記被写体検出手段により前記被写体が検出された動画像で前記被写体が検出されなくなってからの非検出期間をカウントし、
   前記表示制御手段は、前記非検出期間が予め定めた期間を超えた場合に、当該動画像の大きさを、前記第１のサイズに拡大する前のサイズに戻すこと、
   を特徴とする表示制御装置。
3. 請求項１または請求項２に記載の表示制御装置において、
   前記画像入力手段により入力された前記動画像を蓄積する蓄積部を有し、
   前記表示制御手段は、前記動画像の撮影時のタイムスタンプから時刻が一致するシーンを抽出して、複数の前記動画像を再生するときのタイミングを合わせること、
   を特徴とする表示制御装置。
4. 請求項３に記載の表示制御装置において、
   前記被写体検出手段は、前記蓄積部に蓄積された前記動画像を読み出し、表示されている動画像のフレームよりもタイムスタンプの時刻が後のフレームを先読みして被写体の検出を行うこと、
   を特徴とする表示制御装置。
5. 請求項３または請求項４に記載の表示制御装置において、
   前記被写体検出手段は、前記蓄積部に蓄積された前記動画像を読み出し、前記動画像の中から検出可能な被写体の候補を複数検出し、
   前記表示制御手段は、前記候補を表示するように制御を行い、
   前記登録手段は、前記候補の中から選択された被写体を含む画像を登録すること、
   を特徴とする表示制御装置。
6. 請求項１から請求項５までのいずれか１項に記載の表示制御装置において、
   前記登録手段により登録される画像は、顔を含む画像であり、
   前記被写体検出手段が用いる特徴は、顔の特徴であること、
   を特徴とする表示制御装置。
7. 請求項１から請求項６までのいずれか１項に記載の表示制御装置において、
   外部と通信を行う制御装置通信手段を有し、
   前記表示制御手段は、前記制御装置通信手段を介して外部へ表示用のデータを送信することにより、表示の制御を行うこと、
   を特徴とする表示制御装置。
8. 請求項１から請求項６までのいずれか１項に記載の表示制御装置において、
   前記表示制御手段により表示状態を制御される表示部を備えること、
   を特徴とする表示制御装置。
9. 表示装置と、
   請求項７に記載の表示制御装置と、
   を備えた表示制御システムであって、
   前記表示装置は、
   前記制御装置通信手段と通信を行う表示装置通信手段と、
   前記制御装置通信手段及び表示装置通信手段を介して前記表示制御手段が行う表示状態の制御に応じて前記複数の動画像の表示を行う表示部と、
   を備えることを特徴とする表示制御システム。
10. 複数の動画像の表示制御を行う表示制御方法であって、
    画像を登録し、
    入力された前記複数の動画像の中から、登録された前記画像の特徴と一致する特徴を有する被写体を検出し、
    前記被写体を同一の動画像の中の複数のフレームで連続して検出している検出期間をカウントし、
    前記検出期間が予め定めた第１の期間を超えた場合に、前記被写体が検出された動画像の大きさを第１のサイズに拡大し、前記検出期間が前記第１の期間よりも長い第２の期間を超えた場合に、前記被写体が検出された動画像の大きさを前記第１のサイズよりも大きな第２のサイズに拡大し、段階的に表示状態を変更する表示制御方法。
11. 請求項１０に記載の表示制御方法において、
    前記被写体が検出された動画像で前記被写体が検出されなくなってからの非検出期間をカウントし、
    前記非検出期間が予め定めた期間を超えた場合に、当該動画像の大きさを、前記第１のサイズに拡大する前のサイズに戻すこと、
    を特徴とする表示制御方法。
12. 請求項１０または請求項１１に記載の表示制御方法において、
    前記入力された前記動画像を蓄積部に蓄積し、
    前記動画像の撮影時のタイムスタンプから時刻が一致するシーンを抽出して、複数の前記動画像を再生するときのタイミングを合わせること、
    を特徴とする表示制御方法。
13. 請求項１２に記載の表示制御方法において、
    前記蓄積部に蓄積された前記動画像を読み出し、表示されている動画像のフレームよりもタイムスタンプの時刻が後のフレームを先読みして被写体の検出を行うこと、
    を特徴とする表示制御方法。
14. 請求項１２または請求項１３に記載の表示制御方法において、
    前記蓄積部に蓄積された前記動画像を読み出し、前記動画像の中から検出可能な被写体の候補を複数検出し、
    前記候補を表示するように制御を行い、
    前記候補の中から選択された被写体を含む画像を登録すること、
    を特徴とする表示制御方法。
15. 請求項１０から請求項１４までのいずれか１項に記載の表示制御方法において、
    前記登録される画像は、顔を含む画像であり、
    前記被写体の検出に用いる特徴は、顔の特徴であること、
    を特徴とする表示制御方法。
16. 請求項１０から請求項１５までのいずれか１項に記載の表示制御方法において、
    外部と通信を行う制御装置通信手段を介して外部へ表示用のデータを送信することにより、表示の制御を行うこと、
    を特徴とする表示制御方法。

Images