以下、図面を参照して、本発明の実施形態を説明する。
まず、図1および図2を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ10から実現されている。
このパーソナルコンピュータ10は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ(オーディオビジュアルコンテンツデータ)を記録および再生することができる。即ち、パーソナルコンピュータ10は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン(TV)機能を有している。このTV機能は、例えば、パーソナルコンピュータ10に予めインストールされているTVアプリケーションプログラムによって実現されている。また、TV機能は、外部のAV機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。
さらに、パーソナルコンピュータ10は、パーソナルコンピュータ10に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、TV機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデキシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータ内に含まれる所定の属性区間に着目して人物の一覧を表示することもできる。
図1はコンピュータ10のディスプレイユニットを開いた状態における斜視図である。本コンピュータ10は、コンピュータ本体11と、ディスプレイユニット12とから構成されている。ディスプレイユニット12には、TFT−LCD(Thin Film Transistor Liquid Crystal Display)17から構成される表示装置が組み込まれている。
ディスプレイユニット12は、コンピュータ本体11に対し、コンピュータ本体11の上面が露出される開放位置とコンピュータ本体11の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体11は薄い箱形の筐体を有しており、その上面にはキーボード13、本コンピュータ10をパワーオン/パワーオフするためのパワーボタン14、入力操作パネル15、タッチパッド16、およびスピーカ18A,18Bなどが配置されている。
入力操作パネル15は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、TV機能(視聴、録画、録画された放送番組データ/ビデオデータの再生)を制御するための操作ボタン群も含まれている。また、コンピュータ本体11の正面には、本コンピュータ10のTV機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部20が設けられている。リモコンユニットインタフェース部20は、赤外線信号受信部などから構成されている。
コンピュータ本体11の例えば右側面には、TV放送用のアンテナ端子19が設けられている。また、コンピュータ本体11の例えば背面には、例えばHDMI(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ(動画像データ)を外部ディスプレイに出力するために用いられる。
次に、図2を参照して、本コンピュータ10のシステム構成について説明する。
本コンピュータ10は、図2に示されているように、CPU101、ノースブリッジ102、主メモリ103、サウスブリッジ104、グラフィクスプロセッシングユニット(GPU)105、ビデオメモリ(VRAM)105A、サウンドコントローラ106、BIOS−ROM109、LANコントローラ110、ハードディスクドライブ(HDD)111、DVDドライブ112、ビデオプロセッサ113、メモリ113A、カードコントローラ113、無線LANコントローラ114、IEEE 1394コントローラ115、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116、TVチューナ117、およびEEPROM118等を備えている。
CPU101は本コンピュータ10の動作を制御するプロセッサであり、ハードディスクドライブ(HDD)111から主メモリ103にロードされる、オペレーティングシステム(OS)201、およびTVアプリケーションプログラム202のような各種アプリケーションプログラムを実行する。TVアプリケーションプログラム202はTV機能を実行するためのソフトウェアである。このTVアプリケーションプログラム202は、TVチューナ117によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをHDD111に記録する録画処理、およびHDD111に記録された放送番組データ/ビデオデータを再生する再生処理等を実行する。また、CPU101は、BIOS−ROM109に格納されたBIOS(Basic Input Output System)も実行する。BIOSはハードウェア制御のためのプログラムである。
ノースブリッジ102はCPU101のローカルバスとサウスブリッジ104との間を接続するブリッジデバイスである。ノースブリッジ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ102は、PCI EXPRESS規格のシリアルバスなどを介してGPU105との通信を実行する機能も有している。
GPU105は、本コンピュータ10のディスプレイモニタとして使用されるLCD17を制御する表示コントローラである。このGPU105によって生成される表示信号はLCD17に送られる。また、GPU105は、HDMI制御回路3およびHDMI端子2を介して、外部ディスプレイ装置1にデジタル映像信号を送出することもできる。
HDMI端子2は上述の外部ディスプレイ接続端子である。HDMI端子2は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置1に送出することができる。HDMI制御回路3は、HDMIモニタと称される外部ディスプレイ装置1にデジタル映像信号をHDMI端子2を介して送出するためのインタフェースである。
サウスブリッジ104は、LPC(Low Pin Count)バス上の各デバイス、およびPCI(Peripheral Component Interconnect)バス上の各デバイスを制御する。また、サウスブリッジ104は、ハードディスクドライブ(HDD)111およびDVDドライブ112を制御するためのIDE(Integrated Drive Electronics)コントローラを内蔵している。さらに、サウスブリッジ104は、サウンドコントローラ106との通信を実行する機能も有している。
またさらに、サウスブリッジ104には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ113が接続されている。
ビデオプロセッサ113は、前述の映像インデキシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ113は、映像インデキシング処理を実行するためのインデキシング処理部として機能する。すなわち、映像インデキシング処理においては、ビデオプロセッサ113は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。
さらに、ビデオプロセッサ113は、例えば、映像コンテンツデータ内に含まれるコマーシャル(CM)区間を検出する処理、および音声インデキシング処理も実行する。通常、各CM区間の時間長は、予め決められた幾つかの時間長の内の1つに設定されている。また、CM区間の前後には一定時間長の無音期間が存在する。したがって、CM区間の検出処理においては、例えば、映像コンテンツデータ内に含まれるオーディオデータが分析され、一定時間長の無音区間が検出される。そして、検出された連続する2つの無音区間に挾まれ、且つ一定値以上の時間長を有する部分データを含む区間が、CM区間として検出される。
音声インデキシング処理は、映像コンテンツデータ内に含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を検出するインデキシング処理である。音声インデキシング処理においては、例えば、オーディオデータの周波数スペクトルの特徴が分析され、その周波数スペクトルの特徴に応じて、音楽区間、およびトーク区間が検出される。音楽区間に対応する周波数スペクトルの特徴と、トーク区間に対応する周波数スペクトルの特徴とは互いに異なるので、周波数スペクトルの特徴を分析することによって、音楽区間およびトーク区間のそれぞれを検出することができる。また、音楽区間に対応する周波数スペクトルの特徴とトーク区間に対応する周波数スペクトルの特徴とが混ざり合った周波数スペクトルを有する区間は、音楽区間とトーク区間とが重なった重畳区間として検出することができる。
トーク区間の検出処理においては、例えば、話者セグメンテーション技術または話者クラスタリング技術等が用いられ、これによって話者の切り替わりも検出される。同一の話者(または同一の話者グループ)が連続してトークしている期間が、一つのトーク区間となる。
さらに、音声インデキシング処理は、映像コンテンツデータ内の各部分データ(一定時間長のデータ)毎に歓声レベルを検出する歓声レベル検出処理、および映像コンテンツデータ内の各部分データ毎に盛り上がりレベルを検出する盛り上がりレベル検出処理を実行する。
歓声レベルは、歓声の大きさを示す。歓声は、大勢の人の声が合わさった音である。大勢の人の声が合わさった音は、ある特定の周波数スペクトルの分布を有する。歓声レベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの周波数スペクトルが分析され、そしてその周波数スペクトルの分析結果に従って、各部分データの歓声レベルが検出される。盛り上がりレベルは、ある一定以上の音量レベルがある一定時間長以上連続的に発生する区間の音量レベルである。例えば、比較的盛大な拍手、大きな笑い声のような音の音量レベルが、盛り上がりレベルである。盛り上がりレベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの音量の分布が分析され、その分析結果に従って、各部分データの盛り上がりレベルが検出される。
メモリ113Aは、ビデオプロセッサ113の作業メモリとして用いられる。インデキシング処理(CM検出処理、映像インデキシング処理、および音声インデキシング処理)を実行するためには多くの演算量が必要とされる。本実施形態においては、CPU101とは異なる専用のプロセッサであるビデオプロセッサ113がバックエンドプロセッサとして使用され、このビデオプロセッサ113によってインデキシング処理が実行される。よって、CPU101の負荷の増加を招くことなく、インデキシング処理を実行することが出来る。なお、CM検出処理は上述したようにオーディオデータを解析することによって実行することができるので、以下では、CM検出処理を音声インデキシング処理内の1つの処理として扱うことにする。
サウンドコントローラ106は音源デバイスであり、再生対象のオーディオデータをスピーカ18A,18BまたはHDMI制御回路3に出力する。
無線LANコントローラ114は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ115は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。
エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、電力管理のためのエンベデッドコントローラと、キーボード(KB)13およびタッチパッド16を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。このエンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、ユーザによるパワーボタン14の操作に応じて本コンピュータ10をパワーオン/パワーオフする機能を有している。さらに、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)116は、リモコンユニットインタフェース20との通信を実行する機能を有している。
TVチューナ117はテレビジョン(TV)放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子19に接続されている。このTVチューナ117は、例えば、地上波デジタルTV放送のようなデジタル放送番組データを受信可能なデジタルTVチューナとして実現されている。また、TVチューナ117は、外部機器から入力されるビデオデータをキャプチャする機能も有している。
次に、図3を参照して、TVアプリケーションプログラム202によって実行される顔画像一覧表示機能について説明する。
放送番組データのような映像コンテンツデータに対するインデキシング処理(映像インデキシング処理、および音声インデキシング処理)は、上述したように、インデキシング処理部として機能するビデオプロセッサ113によって実行される。
ビデオプロセッサ113は、TVアプリケーションプログラム202の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデキシング処理を実行する。また、ビデオプロセッサ113は、TVチューナ117によって受信された放送番組データをHDD111に格納する録画処理と並行して、当該放送番組データに対するインデキシング処理を実行することもできる。
映像インデキシング処理(顔画像インデキシング処理とも云う)においては、ビデオプロセッサ113は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ113は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。
さらに、ビデオプロセッサ113は、抽出された各顔画像のサイズ(解像度)も出力する。ビデオプロセッサ113から出力される顔検出結果データ(顔画像、タイムスタンプ情報TS、およびサイズ)は、データベース111Aに顔画像インデキシング情報として格納される。このデータベース111Aは、HDD111内に用意されたインデキシングデータ記憶用の記憶領域である。
さらに、映像インデキシング処理においては、ビデオプロセッサ113は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像(縮小画像)である。すなわち、ビデオプロセッサ113は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像(サムネイル画像)と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報TSとを出力する。ビデオプロセッサ113から出力されるサムネイル画像取得結果データ(サムネイル、タイムスタンプ情報TS)も、データベース111Aにサムネイルインデキシング情報として格納される。
また、音声インデキシング処理においては、ビデオプロセッサ113は、映像コンテンツに含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる複数種の属性区間(CM区間、音楽区間、およびトーク区間)を検出し、検出された各属性区間の開始および終了の時点を規定する区間属性情報を出力する。この区間属性情報は、例えば、各属性区間毎にその属性区間の開始時点および終了時点をそれぞれ示す時間情報から構成することができる。また、区間属性情報を、属性区間の開始時点を示す情報とその属性区間の時間長を示す情報とによって構成してもよい。
この区間属性情報は、属性検出結果情報としてデータベース111Aに格納される。さらに、音声インデキシング処理においては、ビデオプロセッサ113は、上述の歓声レベル検出処理および盛り上がりレベル検出処理も実行する。これら歓声レベル検出処理の結果および盛り上がりレベル検出処理の結果も、上述の属性検出結果情報の一部としてデータベース111Aに格納される。
属性検出結果情報(区間属性情報)は、図4に示されているように、例えば、CM区間テーブル、音楽区間テーブル、トーク区間テーブル、および歓声/盛り上がりテーブルから構成されている。
CM区間テーブルは、検出されたCM区間の開始時点および終了時点を示すCM区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のCM区間が存在する場合には、それら複数のCM区間それぞれに対応するCM区間属性情報がCM区間テーブルに格納される。CM区間テーブルにおいては、検出された各CM区間毎に当該CM区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。
音楽区間テーブルは、検出された音楽区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数の音楽区間が存在する場合には、それら複数の音楽区間それぞれに対応する音楽区間属性情報が音楽区間テーブルに格納される。音楽区間テーブルにおいては、検出された各音楽区間毎に当該音楽区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。
トーク区間テーブルは、検出されたトーク区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のトーク区間が存在する場合には、それら複数のトーク区間それぞれに対応するトーク区間属性情報がトーク区間テーブルに格納される。トーク区間テーブルにおいては、検出された各トーク区間毎に当該トーク区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。
歓声/盛り上がりテーブルは、映像コンテンツデータ内の一定時間長の部分データ(タイムセグメントT1,T2,T3,…)それぞれにおける歓声レベルおよび盛り上がりレベルを格納する。
図3に示されているように、TVアプリケーションプログラム202は、顔画像一覧表示機能を実行するための顔画像一覧表示処理部301を含んでいる。この顔画像一覧表示処理部301は、例えば、インデキシングビューワプログラムとして実現されており、データベース111Aに格納されたインデキシング情報(顔画像インデキシング情報、サムネイルインデキシング情報、区間属性情報、等)を用いて、映像コンテンツデータの概要を俯瞰するためのインデキシングビュー画面を表示する。
具体的には、顔画像一覧表示処理部301は、データベース111Aから顔画像インデキシング情報(顔画像、タイムスタンプ情報TS、およびサイズ)を読み出し、そしてその顔画像インデキシング情報を用いて、映像コンテンツデータに登場する人物の顔画像の一覧を、インデキシングビュー画面上の2次元の表示エリア(以下、顔サムネイル表示エリアと称する)上に表示する。この場合、顔画像一覧表示処理部301は、映像コンテンツデータの総時間長を、例えば等間隔で、複数の時間帯に分割し、時間帯毎に、抽出された顔画像の内から当該時間帯に登場する顔画像を所定個選択する。そして、顔画像一覧表示処理部301は、時間帯毎に、選択した所定個の顔画像それぞれを並べて表示する。
すなわち、2次元の顔サムネイル表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含む。複数の列それぞれには、映像コンテンツデータの総時間長を構成する複数の時間帯が割り当てられている。具体的には、例えば、複数の列それぞれには、映像コンテンツデータの総時間長をこれら複数の列の数で等間隔に分割することによって得られる、互いに同一の時間長を有する複数の時間帯がそれぞれ割り当てられる。もちろん、各列に割り当てられる時間帯は必ずしも同一の時間長でなくてもよい。
顔画像一覧表示処理部301は、顔画像それぞれに対応するタイムスタンプ情報TSに基づき、各列内に属する行数分の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれを、例えば、それら顔画像の出現頻度順(顔画像の検出時間長順)のような順序で並べて表示する。この場合、例えば、当該各列に割り当てられた時間帯に属する顔画像の内から、出現頻度(登場頻度)の高い順に顔画像が行数分だけ選択され、選択された顔画像が登場頻度順に上から下に向かって並んで配置される。もちろん、出現頻度順ではなく、各列に割り当てられた時間帯に出現する顔画像それぞれを、その出現順に並べて表示してもよい。
この顔画像一覧表示機能により、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに分かりやすく提示することができる。顔サムネイル表示エリアの具体的な構成例については、図6以降で後述する。
また、顔画像一覧表示処理部301は、データベース111Aからサムネイルインデキシング情報(サムネイル、タイムスタンプ情報TS)を読み出し、そしてサムネイルインデキシング情報を用いて、サムネイル画像それぞれを、顔サムネイル表示エリアの下方側または上方側の一方に配置されたサムネイル表示エリア(以下、じゃばらサムネイル表示エリアと称する)上に、それらサムネイル画像の出現時間順に一列に並べて表示する。
映像コンテンツデータによっては、顔画像が登場しない時間帯も存在する。したがって、インデキシングビュー画面上に顔サムネイル表示エリアのみならず、じゃばらサムネイル表示エリアも表示することにより、顔画像が登場しない時間帯においても、その時間帯の映像コンテンツデータの内容をユーザに提示することができる。
さらに、顔画像一覧表示処理部301は、データベース111Aから区間属性情報(CM区間属性情報、音楽区間属性情報、トーク区間属性情報)を読み出し、その区間属性情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における各属性区間(CM区間、音楽区間、トーク区間)の位置(開始時点から終了時点までの区間)を示すバー領域を含む区間バーを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に表示する。この区間バーは、例えば、3つのサブ区間バー、つまりCM区間の位置を示すCM区間バー、音楽区間の位置を示す音楽区間バー、トーク区間の位置を示すトーク区間バーを含んでいる。
シーケンス内に複数のCM区間が存在する場合、複数のCM区間それぞれの位置を示す複数のバー領域がCM区間バー内に表示される。同様に、シーケンス内に複数の音楽区間が存在する場合には複数の音楽区間それぞれの位置を示す複数のバー領域が音楽区間バー内に表示され、シーケンス内に複数のトーク区間が存在する場合には複数のトーク区間それぞれの位置を示す複数のバー領域がトーク区間バー内に表示される。以下では、シーケンス内に分散して存在する複数のCM区間の各々を部分CM区間と称し、シーケンス内に分散して存在する複数の音楽区間のそれぞれを部分音楽区間と称し、シーケンス内に分散して存在する複数のトーク区間のそれぞれを部分トーク区間と称する。
インデキシングビュー画面上に区間バーを表示することにより、顔サムネイル表示エリア内の各顔画像がどのような属性区間(CM区間、音楽区間、トーク区間)に登場する人物の顔画像であるかを、ユーザに提示することができる。したがって、ユーザは、登場人物と、区間属性とを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。
さらに、顔画像一覧表示処理部301は、データベース111Aから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化および盛り上がりレベルの変化をそれぞれ示すグラフを、インデキシングビュー画面上の顔サムネイル表示エリアの下方側または上方側の一方に配置されたレベル表示エリア上に表示する。
このレベル表示エリアを見ることにより、ユーザに、映像コンテンツデータ内のどの辺りに大きな歓声が生じた区間が存在し、また映像コンテンツデータ内のどの辺りに盛り上がりの大きな区間が存在するかを提示することができる。ユーザは、登場人物と、区間属性と、歓声レベルと、盛り上がりレベルとを考慮して、映像コンテンツデータ全体の中から再生を開始すべきデータ位置を見つけることができる。
顔画像一覧表示処理部301は、区間属性情報(CM区間属性情報、音楽区間属性情報、トーク区間属性情報)と複数の顔画像それぞれにタイムスタンプ情報とを用いることにより、顔インデキシング情報に含まれる複数の顔画像の内からある特定の属性区間(CM区間、音楽区間、またはトーク区間)に属する顔画像を検出することができる。この検出結果に基づき、顔画像一覧表示処理部301は、例えば、ある特定の属性区間に属する顔画像群を表示する“特定属性区間顔画像表示状態”と、ある特定の属性区間以外の区間に属する顔画像群を表示する“特定属性以外区間顔画像表示状態”と、全ての顔画像群を対象に顔画像の一覧を表示する“全顔画像表示状態”との間で、顔画像一覧表示に使用する表示状態を切り替えることができる。
すなわち、顔画像一覧表示処理部301は、大別して、第1の表示モードと第2の表示モードとを有しており、これら第1の表示モードおよび第2の表示モードを選択的に使用して、顔画像の一覧を2次元の顔サムネイル表示エリアに表示する。
第1の表示モードは、CM区間、音楽区間、トーク区間のような属性区間とは無関係に、映像コンテンツデータ全体内の顔画像の一覧を2次元の顔サムネイル表示エリアに表示する表示モードである。第1の表示モードにおいては、顔インデキシング情報に含まれる複数の顔画像それぞれに対応するタイムスタンプ情報に基づき、2次元の顔サムネイル表示エリアの各列毎に、当該各列に割り当てられた時間帯に属する顔画像が行数分だけ選択され、その選択された顔画像が当該列内の顔画像表示エリアそれぞれの上に並べて表示される。
第2の表示モードは、CM区間、音楽区間、トーク区間の中から選択されたある特定の属性区間に着目して、顔画像の一覧を2次元の顔サムネイル表示エリア上に表示する表示モードである。第2の表示モードにおいては、顔インデキシング情報に含まれる複数の顔画像それぞれに対応するタイムスタンプ情報と、区間属性情報とに基づいて、複数の顔画像が、ある特定属性区間内に属する第1の顔画像グループと、ある特定属性区間以外に属する第2の顔画像グループとに分類される。そして、第1の顔画像グループおよび第2の顔画像グループの一方のグループに属する各顔画像が、他方のグループに属する各顔画像と区別された状態で2次元の顔サムネイル表示エリア上に表示される。具体的には、以下のような表示制御を利用することが出来る。
(1)第1の顔画像グループおよび第1の第2の顔画像グループの一方のグループに属する各顔画像のみを表示し、他方のグループに属する各顔画像を表示しない。
(2)第1の顔画像グループおよび第1の第2の顔画像グループの一方のグループに属する各顔画像を強調表示し、他方のグループに属する各顔画像を抑制表示する。
(3)第1の顔画像グループおよび第1の第2の顔画像グループの一方のグループに属する各顔画像を優先的に表示し、他方のグループに属する各顔画像群は、顔サムネイル表示エリア上に余裕があれば表示する。
したがって、例えば、第2表示モードにおいては、例えばCM区間属性情報に基づいて、複数の顔画像をCM区間に属する顔画像グループと、CM区間以外の他の区間(本編区間)に属する顔画像グループとに分類し、CM区間に属する顔画像グループおよび本編区間に属する顔画像グループのいずれか一方のグループに属する各顔画像を、他方のグループに属する各顔画像と区別して表示することができる。CM区間に属する顔画像グループおよび本編区間に属する顔画像グループのどちらのグループを選択するかは、ユーザが指定することが出来る。
このように、CM区間属性情報を用いることにより、CM区間に属する顔画像群を、CM区間以外の他の区間(本編区間)に属する顔画像群と区別して表示したり、あるいは逆に、CM区間以外の他の区間(本編区間)に属する顔画像群をCM区間に属する顔画像群と区別して表示したりすることができる。この場合、例えば、以下のような表示制御を利用することが出来る。
(1)CM区間に属する顔画像群のみを表示し、CM区間以外の区間(本編区間)に属する顔画像群を表示しない。あるいは、逆に、CM区間以外の区間(本編区間)に属する顔画像群のみを表示し、CM区間に属する顔画像群を表示しない。
(2)CM区間に属する顔画像群を強調表示し、CM区間以外の区間(本編区間)に属する顔画像群を抑制表示する。あるいは、逆に、CM区間以外の区間(本編区間)に属する顔画像群を強調表示し、CM区間に属する顔画像群を抑制表示する。
また、同様にして、例えば、複数の顔画像を音楽区間に属する顔画像グループと音楽区間以外の他の区間に属する顔画像グループとに分類し、音楽区間に属する顔画像グループおよび音楽区間以外の他の区間に属する顔画像グループのいずれか一方のグループに属する各顔画像を、他方のグループに属する各顔画像と区別して表示することもできる。
第1表示モードおよび第2表示モードの内で使用すべき表示モードは、ユーザが選択することが出来る。また、第2表示モードにおいて、CM区間、音楽区間、トーク区間の内のどの属性に着目すべきかについても、ユーザが指定することができる。すなわち、ユーザは、CM、音楽、トークのいずれか1つの属性を指定でき、且つ“特定属性区間顔画像表示状態”と“特定属性以外区間顔画像表示状態”のどちらを使用するかも選択することができる。
ユーザによる属性の指定には、上述の区間バーを利用することが出来る。区間バーを利用した表示状態の切替は、例えば、次のように実行される。
・区間バー上のバー領域がユーザによるマウス、キーボード、リモコンユニットの操作によって選択された時は、顔画像一覧表示処理部301は、使用する表示モードを第1表示モードから第2表示モードに切り替え、そして、例えば“特定属性区間顔画像表示状態”を用いて顔画像の一覧を表示する。この場合、例えば、第1表示モードで表示されている複数の顔画像の中から、ユーザによって選択されたバー領域に対応する属性区間(CM区間、音楽区間、またはトーク区間)に属する顔画像群が顔画像一覧表示処理部301によって検出され、それら検出された顔画像群が、他の顔画像群と区別して表示される。
・ある属性の区間バー内に複数の部分区間(複数の部分CM区間、複数の部分音楽区間、または複数の部分トーク区間)それぞれに対応する複数のバー領域が含まれており、これら複数のバー領域の一つがユーザによって選択された時は、顔画像一覧表示処理部301は、使用する表示モードを第1表示モードから第2表示モードに切り替え、そして、例えば“特定属性区間顔画像表示状態”を用いて顔画像の一覧を表示する。この場合、選択されたバー領域に対応する部分区間に属する各顔画像が、他の各顔画像と区別して表示される。例えば、複数の部分CM区間の一つがユーザによって選択された時は、選択された部分CM区間に属する顔画像だけが検出され、その検出された各顔画像が、他の部分CM区間に属する各顔画像、およびCM以外の他の属性区間に属する各顔画像と区別して表示される。
また、CM区間、音楽区間、トーク区間のみならず、例えば、ある一定値以上の歓声レベルを有する区間(歓声区間)、およびある一定値以上の盛り上がりレベルを有する区間(盛り上がり区間)などを属性区間として使用することもできる。この場合、ユーザは、CM区間、音楽区間、トーク区間、歓声区間、盛り上がり区間それぞれに対応する属性を、着目すべき属性として選択的に指定することができる。
次に、図5を参照して、TVアプリケーションプログラム202の機能構成を説明する。
TVアプリケーションプログラム202は、上述の顔画像一覧表示処理部301に加え、記録処理部401、インデキシング制御部402、再生処理部403等を備えている。
記録処理部401は、TVチューナ117によって受信された放送番組データ、または外部機器から入力されるビデオデータをHDD111に記録する記録処理を実行する。また、記録処理部401は、ユーザによって予め設定された録画予約情報(チャンネル番号、日時)によって指定される放送番組データをTVチューナ117を用いて受信し、その放送番組データをHDD111に記録する予約録画処理も実行する。
インデキシング制御部402は、ビデオプロセッサ(インデキシング処理部)113を制御して、インデキシング処理(映像インデキシング処理、音声インデキシング処理)をビデオプロセッサ113に実行させる。ユーザは、録画対象の放送番組データ毎にインデキシング処理を実行するか否かを指定することができる。例えば、インデキシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがHDD111に記録された後に、インデキシング処理が自動的に開始される。また、ユーザは、既にHDD111に格納されている映像コンテンツデータの内から、インデキシング処理を実行すべき映像コンテンツデータを指定することもできる。
再生処理部403は、HDD111に格納されている各映像コンテンツデータを再生する処理を実行する。また、再生処理部403は、ある映像コンテンツデータの顔画像一覧の中の一つの顔画像が選択されている状態でユーザ操作によって再生指示イベントが入力された時、選択されている顔画像が登場する時点よりも所定時間前の時点から映像コンテンツデータの再生を開始する機能を有している。
ユーザは、複数の属性区間を選択的に指定することにより、様々な属性に着目した顔画像一覧を見ながら、映像コンテンツデータの再生位置を決定することができる。
なお、インデキシング処理は、必ずしもビデオプロセッサ113によって実行する必要はなく、例えば、TVアプリケーションプログラム202にインデキシング処理を実行する機能を設けてもよい。この場合、インデキシング処理は、TVアプリケーションプログラム202の制御の下に、CPU101によって実行される。
次に、図6乃至図11を参照して、インデキシングビュー画面の具体的な構成について説明する。
図6には、顔画像一覧表示処理部301によってLCD17に表示されるインデキシングビュー画面の例が示されている。このインデキシングビュー画面は、ある映像コンテンツデータ(例えば放送番組データ)をインデキシング処理することによって得られた画面である。このインデキシングビュー画面には、顔画像の一覧を表示するための上述の顔サムネイル表示エリアと、上述のレベル表示エリアと、上述の区間バーと、サムネイル画像の一覧をじゃばら形式で表示するための上述のじゃばらサムネイル表示エリアとを含んでいる。
ここで、じゃばら形式とは、選択されているサムネイル画像を通常サイズで表示し、他の各サムネイル画像についてはその横方向サイズを縮小して表示する表示形式である。図6においては、選択されたサムネイル画像との距離が大きいサムネイル画像ほど、その横方向サイズが縮小されている。
レベル表示エリアにおいては、歓声レベルの変化を示すグラフ(図6中の濃い色で示されるグラフ)と、歓声レベルの変化を示すグラフ(図6中の薄い色で示されるグラフ)が表示される。
区間バーは、トーク区間バーと、音楽区間バーと、CM区間バーとを含んでいる。CM区間バーにおいては、各CM区間(各部分CM区間)の位置にバー領域(図6の黒色の帯状領域)が表示される。音楽区間バーにおいては、各音楽区間(各部分音楽区間)の位置にバー領域(図6のクロスハッチングされた帯状領域)が表示される。トーク区間バーにおいては、各トーク区間(各部分トーク区間)の位置にバー領域(図6のハッチングされた帯状領域)が表示される。ユーザは、リモコンユニットのボタン、上下左右等のカーソルキーの操作により、トーク区間バー、音楽区間バーと、CM区間バーのいずれか一つを選択することができる。また、ユーザは、リモコンユニットのボタン、上下左右等のカーソルキーの操作により、選択された区間バー内の一つのバー領域を選択することもできる。
図7は、顔サムネイル表示エリアの構成例が示されている。
顔サムネイル表示エリアは、複数の行と複数の列とを含むマトリクス状に配置された複数個の顔画像表示エリアを含んでいる。図7においては、顔サムネイル表示エリアは6行×16列から構成されている。顔サムネイル表示エリアに含まれる顔画像表示エリアの数は、96個である。
列1〜列16のそれぞれには、例えば、映像コンテンツデータの総時間長を列数(=16)で等間隔で分割することによって得られる、互いに同一の時間長Tを有する複数の時間帯がそれぞれ割り当てられる。
例えば、映像コンテンツデータの総時間長が2時間であるならば、その2時間が16個の時間帯に等間隔で分割される。この場合、各時間帯の時間長Tは、7.5分である。例えば、列1には、先頭0:00:00から0:07:30までの時間帯が割り当てられ、列2には、0:07:30から0:15:00までの時間帯が割り当てられ、列3には、0:15:00から0:22:30までの時間帯が割り当てられる。映像コンテンツデータの総時間長に応じて、各時間帯の時間長Tは変化する。
もちろん、複数の列それぞれに割り当てられる時間帯の長さは、必ずしも同一である必要はない。
第1表示モードにおいては、顔画像一覧表示処理部301は、ビデオプロセッサ113によって抽出された顔画像それぞれに対応するタイムスタンプ情報に基づき、各列内の6個の顔画像表示エリア上に、当該各列に割り当てられた時間帯に属する顔画像それぞれをたとえば上述の頻度順に並べて表示する。この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から行数分(6個)の顔画像を選択し、選択した行数分の顔画像それぞれを並べて表示する。
このように、顔サムネイル表示エリアにおいては、左端位置(1,1)を基点とし、右端位置(6,16)を映像コンテンツデータの終端とする時間軸が用いられている。
顔サムネイル表示エリアの各顔画像表示エリアに表示される顔画像のサイズは“大”、 “中”、“小”の内からユーザが選択することができる。行と列の数は、ユーザが選択した顔画像のサイズに応じて変化される。顔画像のサイズと行と列の数との関係は、次の通りである。
(1)“大”の場合; 3行×8列
(2)“中”の場合; 6行×16列
(3)“小”の場合: 10行×24列
“大”の場合においては、各顔画像は、例えば、180×180ピクセルのサイズで表示される。“中”の場合においては、各顔画像は、例えば、90×90ピクセルのサイズで表示される。“小”の場合においては、各顔画像は、例えば、60×60ピクセルのサイズで表示される。デフォルトの顔画像サイズは、例えば、“中”に設定されている。
顔サムネイル表示エリア内の各顔画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態の顔画像のサイズは、“標準”状態の時のサイズ(180×180、90×90、または60×60)よりも大きく設定される。図7においては、座標(1,12)の顔画像が“フォーカス”状態である場合を示している。
じゃばらサムネイル表示エリアに表示されるサムネイル画像の枚数は、ユーザ設定に従って、例えば240枚、144枚、96枚、48枚のいずれかに設定される。デフォルトは例えば240枚である。
サムネイル画像は、選択されていない“標準”状態、選択されている“フォーカス”状態の2つの状態のいずれかに設定される。“フォーカス”状態のサムネイル画像は、他のサムネイル画像よりも大きいサイズで表示される。
次に、図8を参照して、顔サムネイル表示エリアとじゃばらサムネイル表示エリアとの関係について説明する。
同一列に属する顔画像表示エリア群の集合、つまり顔サムネイル表示エリア内の個々の列を“大区間”と称する。また、“大区間”をさらに分割したものを“小区間”と称する。1つの大区間に含まれる小区間の数は、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数を顔サムネイル表示エリアの列数で割った商で与えられる。例えば、顔サムネイル表示エリアが6行×16列で、じゃばらサムネイル表示エリアに表示されるサムネイル画像の数が240枚であるならば、1つの大区間に含まれる小区間の数は、15(=240÷16)となる。1つの大区間は15個の小区間を含む。換言すれば、1つの大区間に対応する時間帯には、15枚のサムネイル画像が属することになる。
じゃばらサムネイル表示エリア上のあるサムネイル画像が選択された時、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づき、顔サムネイル表示エリア内の複数の列(複数の大区間)の内で、選択されたサムネイル画像が属する時間帯が割り当てられた列(大区間)を選択する。選択される大区間は、選択されたサムネイル画像を小区間として含む大区間である。そして、顔画像一覧表示処理部301は、選択した大区間を強調表示する。
さらに、顔画像一覧表示処理部301は、選択されたサムネイル画像と選択された大区間との間を接続する縦長のバーを表示する。この縦長のバーは、選択されたサムネイル画像に対応する小区間が、選択された大区間に含まれる15個の小区間の内のどの小区間に対応するかを提示するために使用される。縦長のバーは、選択された大区間に含まれる15個の小区間の内で、選択されたサムネイル画像に対応する小区間の位置に表示される。例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の先頭の画像、つまり大区間内の先頭の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の左端に接続される。また、例えば、選択されたサムネイル画像が、ある大区間に対応する時間帯に属する15枚のサムネイル画像の内の終端の画像、つまり大区間内の終端の小区間に対応する画像であるならば、選択されたサムネイル画像は、縦長のバーによって大区間の右端に接続される。
このように、じゃばらサムネイル表示エリア上のサムネイル画像が選択された時には、顔サムネイル表示エリア内の複数の列の内から、選択されたサムネイル画像が属する時間帯が割り当てられている列(大区間)が自動選択される。これにより、ユーザは、選択したサムネイル画像が、顔サムネイル表示エリア内のどの列(大区間)に対応する画像であるかを識別することができる。さらに、縦長のバーにより、ユーザは、選択したサムネイル画像が、どの列(大区間)内のどの辺りの時点に対応する画像であるかも識別することができる。
また、顔画像一覧表示処理部301は、選択されたサムネイル画像のタイムスタンプ情報に基づいて、選択されたサムネイル画像が出現する時点を示す時間情報もインデキシングビュー画面上に表示する。
“現在位置変更”ボタンは選択されているサムネイル画像を変更するための操作ボタンである。“現在位置変更”ボタンがフォーカスされている状態でユーザが左カーソルキーまたは右カーソルキーを操作すると、選択対象のサムネイル画像は、例えば1小区間単位で、左または右に移動する。
図9は、CM区間バー内の1つのバー領域が選択された場合に対応する顔画像一覧表示の例を示している。
例えば第1の表示モードで顔一覧表示が行われている状態で、CM区間バー内の1つのバー領域がユーザによって選択されると、顔画像一覧表示のための表示モードは、第1表示モードから第2の表示モードに切り替わる。図9においては、選択されたバー領域は枠で囲んだ状態で示されている。
この場合、例えば、第1の表示モードにおいて顔サムネイル表示エリアに表示されていた複数の顔画像の内から、選択されたバー領域に対応するCM区間(選択されたCM区間)に属する顔画像と、他のCM区間に属する顔画像とが検出される。そして、選択されたCM区間に属する顔画像は例えば二重の枠で囲まれた状態で表示され、他のCM区間に属する顔画像は例えば一重の枠で囲まれた状態で表示される。表示の仕方はこれに限られず、枠で示したものを強調(大きく、明るく等)表示したり、それ以外を抑制(小さく、暗く、淡く等)表示したり、顔画像の隅の方にマークを表示したり、それ以外を除外して、枠で示した顔画像のみを表示したりすることができる。
CM区間バー内のバー領域以外の部分がユーザによって選択されたときは、CM区間以外の区間(本編区間)に属する顔画像が検出され、それらCM区間以外の区間(本編区間)に属する顔画像を強調表示したり、CM区間に属する顔画像を抑制表示したり、CM区間に属する顔画像を除外して本編区間に属する顔画像のみを表示したりすることができる。
このように、ユーザは、CM区間バー内のバー領域または当該バー領域以外の部分を選択することにより、使用する表示モードの選択と、注目すべき属性区間の指定とを行うことができ、これにより、映像コンテンツデータ全体の中のCM区間のみに着目して、または映像コンテンツデータ全体の中の本編区間のみに着目して、登場する人物の顔画像の一覧を俯瞰することが出来る。
なお、第2表示モードで音楽区間またはトーク区間に着目した顔画像一覧表示が行われている状態でCM区間バー内のバー領域がユーザによって選択された場合には、着目すべき属性が音楽区間またはトーク区間から、CM区間に切り替えられ、CM区間に着目した顔画像一覧表示が行われる。
図10は、音楽区間バー内の1つのバー領域が選択された場合に対応する顔画像一覧表示の例を示している。
例えば第1の表示モードで顔一覧表示が行われている状態で、音楽区間バー内の1つのバー領域がユーザによって選択されると、顔画像一覧表示のための表示モードは、第1表示モードから第2の表示モードに切り替わる。図10においては、選択されたバー領域は枠で囲んだ状態で示されている。
この場合、第1の表示モードにおいて顔サムネイル表示エリアに表示されていた複数の顔画像の内から、選択されたバー領域に対応する音楽区間(選択された音楽区間)に属する顔画像と、他の音楽区間に属する顔画像とが検出される。そして、選択された音楽区間に属する顔画像は例えば二重の枠で囲まれた状態で表示され、他の音楽区間に属する顔画像は例えば一重の枠で囲まれた状態で表示される。表示の仕方はこれに限られず、枠で示したものを強調(大きく、明るく等)表示したり、それ以外を抑制(小さく、暗く、淡く等)表示したり、それ以外を除外して、枠で示した顔画像のみを表示したりすることができる。
このように、ユーザは、音楽区間バー内のバー領域を選択することにより、映像コンテンツデータ全体の中の音楽区間のみに着目して、登場する人物の顔画像を確認することが出来る。なお、第2表示モードでCM区間またはトーク区間に着目した顔画像一覧表示が行われている状態で音楽区間バー内のバー領域がユーザによって選択された場合には、着目すべき属性がCM区間またはトーク区間から、音楽区間に切り替えられ、音楽区間に着目した顔画像一覧表示が行われる。
図11は、トーク区間バー内の1つのバー領域が選択された場合に対応する顔画像一覧表示の例を示している。
例えば第1の表示モードで顔一覧表示が行われている状態で、トーク区間バー内の1つのバー領域がユーザによって選択されると、顔画像一覧表示のための表示モードは、第1表示モードから第2の表示モードに切り替わる。図11においては、選択されたバー領域は枠で囲んだ状態で示されている。
この場合、第1の表示モードにおいて顔サムネイル表示エリアに表示されていた複数の顔画像の内から、選択されたバー領域に対応するトーク区間(選択されたトーク区間)に属する顔画像と、他のトーク区間に属する顔画像とが検出される。そして、選択されたトーク区間に属する顔画像は例えば二重の枠で囲まれた状態で表示され、他のトーク区間に属する顔画像は例えば一重の枠で囲まれた状態で表示される。表示の仕方はこれに限られず、枠で示したものを強調(大きく、明るく等)表示したり、それ以外を抑制(小さく、暗く、淡く等)表示したり、それ以外を除外して、枠で示した顔画像のみを表示したりすることができる。
このように、ユーザは、トーク区間バー内のバー領域を選択することにより、映像コンテンツデータ全体の中のトーク区間のみに着目して、登場する人物の顔画像を確認することが出来る。なお、第2表示モードでCM区間または音楽区間に着目した顔画像一覧表示が行われている状態でトーク区間バー内のバー領域がユーザによって選択された場合には、着目すべき属性がCM区間または音楽区間から、トーク区間に切り替えられ、トーク区間に着目した顔画像一覧表示が行われる。
図12は、区間バーの他の構成例が示されている。
図12においては、区間バーは、2つのサブ区間バー、つまり音楽/トーク区間バーと、CM区間バーから構成されている。CM区間バーは、CM区間の位置を示す。音楽/トーク区間バーは、CM区間以外の区間(本編区間)内における音楽区間の位置およびトーク区間の位置をそれぞれ示す。ユーザによってCM区間バーが選択された場合、CM区間に属する各顔画像が検出され、その検出された各顔画像が本編区間内の各顔画像と区別して表示される。またユーザによって音楽/トーク区間バーが選択された場合、本編区間内に属する各顔画像が検出され、その検出された各顔画像が、CM区間内の各顔画像と区別して表示される。またユーザによって音楽/トーク区間バー内のあるトークバー領域が選択された場合、選択されたトークバー領域に対応するトーク区間に属する各顔画像が検出され、その検出された各顔画像が、他の各顔画像と区別して表示される。さらに、ユーザによって音楽/トーク区間バー内のある音楽バー領域が選択された場合、選択された音楽バー領域に対応する音楽区間に属する各顔画像が検出され、その検出された各顔画像が、他の各顔画像と区別して表示される。
次に、図13のフローチャートを参照して、顔画像一覧表示処理部301によって実行される表示処理の手順を説明する。
まず、顔画像一覧表示処理部301は、データベース111Aに格納されている顔画像それぞれを、それら顔画像に対応するタイムスタンプ情報に基づいて、それら顔画像の登場時間順にソートする(ステップS101)。次いで、顔画像一覧表示処理部301は、ユーザによって指定された表示すべき顔画像サイズに応じて行及び列の数を決定すると共に、例えばインデキシング対象の映像コンテンツデータの総時間長を列数で均等に分割することによって、各列(大区間)に割り当てる時間帯を算出する。そして、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯内に属する顔画像の内から、行数分の顔画像を選択する(ステップS102)。表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合には、顔画像一覧表示処理部301は、例えば、出現頻度の高い顔画像を優先的に選択する処理を実行することもできる。
この場合、顔画像一覧表示処理部301は、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、当該時間帯において登場する頻度の高い顔画像を優先的に選択する。例えば、ビデオプロセッサ113は、抽出した顔画像それぞれの特徴データの相関に基づいて、同一人物の顔画像それぞれを同一カテゴリーに分類するクラスタリング処理を実行することができる。この場合、図14に示すように、顔画像それぞれは、人物毎(すなわちカテゴリー毎)に分類されてデータベース111Aに格納される。図14においては、カテゴリー1は、ある人物Aの顔画像の集合を示しており、カテゴリー2は、ある人物Bの顔画像の集合を示しており、またカテゴリー3は、ある人物Bの顔画像の集合を示している。顔画像一覧表示処理部301は、登場する頻度の高い人物の顔画像を優先的に選択する。なお、ある同一人物の顔画像のみが比較的長い時間出現され続けている時間帯においては、当該時間帯に対応する列上に同一人物の異なる複数の顔画像を表示してもよい。
また、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも多い場合、顔画像一覧表示処理部301は、データベース11Aに格納された顔画像それぞれのサイズ情報に基づいて、表示処理対象の列に割り当てられた時間帯に属する顔画像の内から、サイズの大きい顔画像を優先的に選択する処理を実行することもできる。
クローズアップされた顔を映すフレームから抽出される顔画像のサイズは、比較的大きなものとなる。したがって、抽出された顔画像のサイズが大きいほど、重要度の高い人物である可能性が高い。よって、サイズの大きい顔画像を優先的に選択することにより、重要度の高い人物の顔画像を優先的に表示することが可能となる。
次いで、顔画像一覧表示処理部301は、表示処理対象の列内の複数の顔画像表示エリアに、選択した顔画像それぞれを例えば出現頻度順に並べて表示する(ステップS103)。出現頻度の高い顔画像ほど、上方の顔画像表示エリアに表示される。
ステップS102,S103の処理は、全ての列に対する処理が完了するまで、表示処理対象の列の番号を更新しながら繰り返し実行される(ステップS104,S105)。この結果、顔画像表示エリアには、複数の顔画像が第1の表示モードで表示される。
なお、表示処理対象の列に割り当てられた時間帯内に属する顔画像の数が行数よりも少ない場合には、対応する時間帯内に属するサムネイル画像を表示処理対象の列に表示することも出来る。
全ての列に対する処理が完了すると(ステップS104のNO)、顔画像一覧表示処理部301は、データベース11Aに格納されているサムネイル画像それぞれを、それらサムネイル画像それぞれのタイムスタンプ情報に基づいて、じゃばらサムネイル表示エリア上にそれらサムネイル画像が出現する時間順に一列に並べて表示する(ステップS106)。
次いで、顔画像一覧表示処理部301は、データベース111Aから歓声レベル情報および盛り上がりレベル情報を読み出し、それら歓声レベル情報および盛り上がりレベル情報に従って、レベル表示エリア上に、映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化を示すグラフと、シーケンス内における盛り上がりレベルの変化をそれぞれ示すグラフとを表示する(ステップS107)。
次に、顔画像一覧表示処理部301は、データベース111AからCM区間属性情報、音楽区間属性情報、およびトーク区間属性情報を読み出し、それらCM区間属性情報、音楽区間属性情報、およびトーク区間属性情報に基づいて、CM区間バー、音楽区間バー、トーク区間バーをそれぞれ表示する(ステップS108)。CM区間バーには、CM区間の位置を示すバー領域が表示される。同様に、音楽区間バーには音楽区間の位置を示すバー領域が表示され、トーク区間バーにはトーク区間の位置を示すトークバー領域が表示される。
次に、図15のフローチャートを参照して、特定の属性区間に属する顔画像一覧を表示する処理の手順を説明する。
ユーザによってある属性(属性区間)が指定されると(ステップS201)、顔画像一覧表示処理部301は、指定された属性区間に対応する区間属性情報と、顔画像インデキシング情報内の複数の顔画像それぞれのタイムスタンプ情報とに基づいて、複数の顔画像の内から、指定された属性区間に属する各顔画像を検出する(ステップS202)。
ステップS202では、顔画像一覧表示処理部301は、指定された属性区間(CM区間、音楽区間、またはトーク区間)に対応する区間属性情報(CM区間属性情報、音楽区間属性情報、またはトーク区間属性情報)をデータベース111Aから読み出し、指定された属性区間の開始時点および終了時点を特定する。そして、顔画像一覧表示処理部301は、複数の顔画像の内で、出現する時点が指定された属性区間の開始時点から終了時点までの時間帯に属する各顔画像を検出する。換言すれば、複数の顔画像は、指定された属性区間に属する顔画像のグループと、選択された属性区間以外の他の区間に属する顔画像のグループとに分類される。なお、ユーザによる属性区間の指定は、上述したように区間バーを用いて行うことが出来る。もちろん、属性区間(CM区間、音楽区間、トーク区間)をユーザに指定させるためのメニュー画面を利用することもでき、またリモコンユニットのボタン操作によってCM区間、音楽区間、トーク区間のいずれかを指定できるようにすることもできる。
次いで、顔画像一覧表示処理部301は、検出した各顔画像を、他の顔画像と区別して表示する処理を実行する(ステップS203)。ステップS203では、上述したように、(1)検出した各顔画像を強調表示し、且つ他の各顔画像を抑制表示する処理、(2)検出した各顔画像のみを表示し、他の各顔画像を表示対象から除外する処理、(3)他の各顔画像を強調表示し、且つ検出した各顔画像を抑制表示する処理、(4)他の各顔画像のみを表示し、検出した各顔画像を表示対象から除外する処理、等が実行される。
次に、図16のフローチャートを参照して、再生処理部403によって実行される再生処理の手順を説明する。
ユーザ操作に応じて映像コンテンツデータの再生を指示するイベントが入力された時(ステップS201のYES)、再生処理部403は、顔画像一覧表示処理部301と連携して、顔サムネイル表示エリア上のある顔画像がユーザによって選択されているか否かを判定する(ステップS202)。選択されている顔画像が存在するならば(ステップS202のYES)、再生処理部403は、選択されている顔画像のタイムスタンプ情報に基づいて、選択されている顔画像が登場する時点を検出する(ステップS203)。そして、再生処理部403は、検出された時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する(ステップS206)。
なお、じゃばらサムネイル表示エリア上のあるサムネイル画像が選択されている状態で映像コンテンツデータの再生を指示するイベントが入力された時には、その選択されているサムネイル画像のタイムスタンプ情報に基づいて、再生処理部403は、選択されているサムネイル画像が出現する時点よりも所定時間前の時点、たとえば、2秒前の時点から、映像コンテンツデータの再生を開始する。
以上のように、本実施形態においては、映像コンテンツデータ全体ではなく、映像コンテンツデータ内の特定の属性区間に着目して登場人物の一覧をユーザに提示することができる。よって、ユーザは、例えば、映像コンテンツデータ内のCM区間またはCM区間以外の区間(本編区間)に着目して映像コンテンツデータを俯瞰できる。また他の属性区間(音楽、トーク、歓声、盛り上がり、本編、等)に着目して映像コンテンツデータを俯瞰することもできる。
さらに、本実施形態においては、映像コンテンツデータ全体を対象に顔画像の一覧を表示する第1の表示モードと、映像コンテンツデータ全体の中の特定の属性区間に着目して顔画像の一覧を表示する第2の表示モードとを選択的に使用することができる。よって、映像コンテンツデータを再生することなく、映像コンテンツデータ全体の中のどの辺りの時間帯にどの人物が登場するのかをユーザに提示でき、さらに特定の属性区間に着目した登場人物の一覧をユーザに提示することができる。
なお、本実施形態では、インデキシング処理部として機能するビデオプロセッサ113によってインデキシング情報(顔画像インデキシング情報、区間属性情報、等)を生成したが、例えば、放送番組データ内に予め当該放送番組データに対応するインデキシング情報が含まれている場合には、それを利用することができる。必要なインデキシング情報がすべて揃っていれば、インデキシング処理を行う必要はない。よって、本実施形態の顔画像一覧表示機能は、データベース111Aと顔画像一覧表示処理部301のみによっても実現することが出来る。
また、本実施形態では、複数種の属性区間を使用する場合を例示したが、例えばCM区間のような、特定の1つの属性区間のみを使用する構成であってもよい。
また、本実施形態では、第1の表示モードでは通常の顔一覧、第2の表示モードでは選択された属性に着目した区別の可能な顔一覧を、それぞれ表示するようになっているが、例えば第2の表示モードでは選択された属性区間に属する顔画像のグループの顔一覧を表示し、第1の表示モードでは選択された属性区間以外の他の区間に属する顔画像のグループの顔一覧を表示する構成であってもよい。
また、本実施形態の顔サムネイル表示エリアにおいては、左端位置を基点とし、右端位置を映像コンテンツデータの終端とする時間軸が用いられているが、例えば映像コンテンツデータの一部分について、左端位置を基点、右端位置を終端としてもよく、また、左右逆でもよい。また、上下方向と左右方向の配置を逆にしてもよい。
また、本実施形態では、区間属性情報として開始時点を示す時間情報と終了時点を示す時間情報とを用いる例を説明したが、区間属性情報は各区間の開始および終了の時点を規定する情報であればよいので、区間の開始時点を示す情報と区間の時間長を示す情報とを区間属性情報として用いても良い。
また、本実施形態の顔画像一覧表示処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
また、本実施形態の電子機器はコンピュータ10によって実現するのみならず、例えば、HDDレコーダ、DVDレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、TVアプリケーションプログラム202の機能は、DSP、マイクロコンピュータのようなハードウェアによって実現することができる。
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
以下、本願原出願の特許査定時の特許請求の範囲に記載された発明を付記する。
[1] 映像コンテンツデータから抽出された複数の顔画像と前記各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報とを含む顔画像インデキシング情報と、前記映像コンテンツデータ内に含まれる、コマーシャル区間、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を含む複数の属性区間の内の少なくとも1つの所定属性区間の開始および終了の時点を規定する区間属性情報とを格納する記憶装置と、
前記区間属性情報と前記複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記顔画像インデキシング情報に含まれる複数の顔画像を前記所定属性区間内に属する第1の顔画像グループと前記所定属性区間以外の他の区間に属する第2の顔画像グループとに分類し、前記第1の顔画像グループおよび前記第2の顔画像グループのいずれか一方のグループに属する各顔画像を、他方のグループに属する各顔画像と区別して表示エリア上に表示する顔画像一覧表示手段とを具備することを特徴とする電子機器。
[2] 前記顔画像一覧表示手段は、前記一方のグループに属する各顔画像を他方のグループに属する各顔画像と区別して表示エリア上に表示するために、前記他方のグループに属する各顔画像が表示されない状態で前記一方のグループに属する各顔画像を前記表示エリア上に表示することを特徴とする[1]記載の電子機器。
[3] 前記顔画像一覧表示手段は、前記区間属性情報に基づいて、前記映像コンテンツデータの開始位置から終端位置までのシーケンス内における前記所定属性区間の位置を示すバー領域を含む区間バーをさらに表示することを特徴とする[1]記載の電子機器。
[4] 前記顔画像一覧表示手段は、前記顔画像インデキシング情報に含まれる複数の顔画像の一覧を前記表示エリア上に表示する第1の表示モードと、前記第1の顔画像グループおよび前記第2の顔画像グループのいずれか一方のグループに属する各顔画像を他方のグループに属する各顔画像と区別して前記表示エリア上に表示する第2の表示モードとを含む複数の表示モードの中から選択されたいずれか1つの表示モードで顔画像の一覧を前記表示エリア上に表示するように構成されており、前記顔画像の一覧が前記第1表示モードで前記表示エリア上に表示されている状態で、前記区間バーのバー領域がユーザによって選択された場合、使用する表示モードを前記第1表示モードから前記第2表示モードに切り替えることを特徴とする[3]記載の電子機器。
[5] 前記顔画像一覧表示手段は、前記所定属性区間が前記映像コンテンツデータの開始位置から終端位置までのシーケンス内に分散して存在する複数の部分区間を含む場合、前記映像コンテンツデータの開始位置から終端位置までのシーケンス内における前記複数の部分区間の位置それぞれを示す複数のバー領域を含む区間バーをさらに表示することを特徴とする[1]記載の電子機器。
[6] 前記顔画像一覧表示手段は、前記顔画像インデキシング情報に含まれる複数の顔画像の一覧を前記表示エリア上に表示する第1の表示モードと、前記第1の顔画像グループおよび前記第2の顔画像グループのいずれか一方のグループに属する各顔画像を他方のグループに属する各顔画像と区別して前記表示エリア上に表示する第2の表示モードとを含む複数の表示モードの中から選択されたいずれか1つの表示モードで顔画像の一覧を前記表示エリア上に表示するように構成されており、前記顔画像の一覧が前記第1表示モードで前記表示エリアに表示されている状態で、前記区間バー内の前記複数のバー領域の一つがユーザによって選択された場合、使用する表示モードを前記第1表示モードから前記第2表示モードに切り替え、且つ前記選択されたバー領域に対応する部分区間に属する各顔画像を、他の各顔画像と区別して表示することを特徴とする[5]記載の電子機器。
[7] 前記区間属性情報は、前記映像コンテンツデータの各部分データ毎に歓声レベルおよび盛り上がりレベルの少なくとも一方を示すレベル情報を含み、
前記顔画像一覧表示手段は、前記レベル情報に基づいて、前記映像コンテンツデータの開始位置から終端位置までのシーケンス内における歓声レベルの変化および盛り上がりレベルの変化の少なくとも一方を示すレベル表示情報をさらに表示することを特徴とする[1]記載の電子機器。
[8] 前記表示エリアに表示された顔画像の中の一つがユーザによって選択されている状態で前記映像コンテンツデータの再生を指示するイベントが入力された場合、前記タイムスタンプ情報に基づき、前記選択されている顔画像が登場する時点よりも所定時間前の時点から前記映像コンテンツデータの再生を開始する再生処理手段をさらに具備することを特徴とする[1]記載の電子機器。
[9] 前記表示エリアは、複数の行および複数の列を含むマトリクス状に配置された複数の顔画像表示エリアを含み、前記複数の列それぞれには、前記映像コンテンツデータの総時間長を構成する複数の時間帯がそれぞれ割り当てられており、
前記顔画像一覧表示手段は、前記複数の顔画像それぞれに対応するタイムスタンプ情報に基づき、前記各列の顔画像表示エリア上に当該各列に割り当てられた時間帯に属する顔画像それぞれを並べて表示する第1の表示モードと、前記第1の顔画像グループおよび前記第2の顔画像グループのいずれか一方のグループに属する各顔画像を他方のグループに属する各顔画像と区別して前記表示エリア上に表示する第2の表示モードとを含む複数の表示モードの中から選択されたいずれか1つの表示モードで顔画像の一覧を前記表示エリア上に表示するように構成されていることを特徴とする[1]記載の電子機器。
[10] 映像コンテンツに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する第1のインデキシング処理と、前記映像コンテンツに含まれるオーディオデータを分析し、前記映像コンテンツデータ内に含まれる、コマーシャル区間、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を含む複数の属性区間の内の少なくとも1つの所定属性区間の開始および終了の時点を規定する区間属性情報を出力する第2のインデキシング処理とを実行するインデキシング処理部と、
前記タイムスタンプ情報に基づいて、前記抽出された顔画像の一覧を表示エリア上に表示する顔画像一覧表示手段であって、顔画像表示エリア上には顔画像それぞれが並べて表示される、顔画像一覧表示手段とを具備し、
前記顔画像一覧表示手段は、
前記区間属性情報に基づいて、前記映像コンテンツデータの開始位置から終端位置までのシーケンス内における前記所定属性区間の位置を示すバー領域を含む区間バーを表示し、前記区間バーのバー領域がユーザによって選択された場合、前記区間属性情報と前記複数の顔画像それぞれに対応する前記タイムスタンプ情報とに基づいて、前記所定属性区間内に属する顔画像を検出し、前記検出された各顔画像を他の各顔画像と区別して前記表示エリアに表示するように構成されていることを特徴とする電子機器。
[11] 映像コンテンツデータに登場する顔画像の一覧を表示する顔画像表示方法であって、 映像コンテンツに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する第1のインデキシング処理と、前記映像コンテンツに含まれるオーディオデータを分析し、前記映像コンテンツデータ内に含まれる、コマーシャル区間、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を含む複数の属性区間の内の少なくとも1つの所定属性区間の開始および終了の時点を規定する区間属性情報を出力する第2のインデキシング処理とを実行するステップと、
前記区間属性情報と前記抽出された複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記抽出された複数の顔画像を前記所定属性区間内に属する第1の顔画像グループと前記所定属性区間以外の他の区間に属する第2の顔画像グループとに分類するステップと、
前記第1の顔画像グループおよび前記第2の顔画像グループのいずれか一方のグループに属する各顔画像を、他方のグループに属する各顔画像と区別して表示エリア上に表示するステップとを具備することを特徴とする顔画像表示方法。
[12] 映像コンテンツデータから抽出された複数の顔画像と前記各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報とを含む顔画像インデキシング情報と、前記映像コンテンツデータ内に含まれる、コマーシャル区間、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を含む複数の属性区間の内の少なくとも1つの所定属性区間の開始および終了の時点を規定する区間属性情報とを格納するデータベースを使用することによって、前記映像コンテンツデータに登場する顔画像の一覧を表示する処理をコンピュータに実行させるプログラムであって、
前記区間属性情報と前記抽出された複数の顔画像それぞれに対応するタイムスタンプ情報とに基づいて、前記抽出された複数の顔画像を前記所定属性区間内に属する第1の顔画像グループと前記所定属性区間以外の他の区間に属する第2の顔画像グループとに分類する手順と、
前記第1の顔画像グループおよび前記第2の顔画像グループのいずれか一方のグループに属する各顔画像を、他方のグループに属する各顔画像と区別して表示エリア上に表示する手順とを前記コンピュータに実行させることを特徴とするプログラム。