JP5039020B2 - 電子機器および映像コンテンツ情報表示方法 - Google Patents

Description

本発明は、映像コンテンツデータの再生時に音楽が再生される区間を示す電子機器および映像コンテンツ情報表示方法に関する。

現在、放送番組をハードディスクドライブ等の記憶装置に保存する録画装置が普及している。放送番組を視聴する際、特定のシーンにジャンプして再生できると便利である。

特許文献１は、動画像データに含まれる各シーンが、無音シーン、会話シーン、音楽シーン、及び、会話と音楽とのオーバラップシーンのいずれであるかを判別し、結果（各シーンのシーン種別、開始／終了時間）をシーンインデックステーブルに格納・表示し、編集目的で選択操作が出来る技術を開示されている。
特開２００６−５００４５号公報

音楽番組の場合、一般的には一番組中に複数の曲を放映する。曲と曲との間にトークやＣＭが放映されている。しかし、ユーザによっては、番組中に曲が何曲あるのかというような番組中の音楽情報を知りたいという要望がある。

本発明の目的は、映像コンテンツデータ中の音楽が再生される音楽区間の情報をユーザが容易に認識することが可能な電子装置および映像コンテンツ情報表示方法を提供することにある。

本発明の一例に係わる電子装置は、ビデオデータおよびオーディオデータを含む映像コンテンツデータを格納する記憶装置と、前記映像コンテンツデータに含まれるオーディオデータを解析することによって、前記映像コンテンツデータの再生時に音楽を出力する音楽区間の開始時点および終了時点を示す音楽区間属性情報を生成する音楽区間属性情報生成手段と、前記映像コンテンツデータから複数の顔画像を抽出すると共に、抽出された顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する映像インデクシング処理を実行する映像インデクシング処理部と、前記映像コンテンツデータから抽出されたサムネイル画像と、前記音楽区間属性情報に示される音楽区間に対応するアイコンを含むコンテンツ情報表示画面とを表示画面上に表示するコンテンツ情報表示手段と、ユーザの前記アイコンの操作に応じて当該アイコンに対応する音楽区間のオーディオデータ、または当該音楽区間の映像コンテンツデータを再生する再生手段とを具備し、前記コンテンツ情報表示手段は、前記映像インデクシング処理部が出力するタイムスタンプ情報に基づいて、前記アイコンの画像に音楽区間から抽出される顔画像を少なくとも用いることを特徴とする。

本願発明によれば、映像コンテンツデータ中の音楽が再生される音楽区間の情報をユーザが容易に認識することが可能になる。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１および図２を参照して、本発明の一実施形態に係る電子機器の構成を説明する。本実施形態の電子機器は、例えば、情報処理装置として機能するノートブック型の携帯型パーソナルコンピュータ１０から実現されている。

このパーソナルコンピュータ１０は、放送番組データ、外部機器から入力されるビデオデータといった、映像コンテンツデータ（オーディオビジュアルコンテンツデータ）を記録および再生することができる。即ち、パーソナルコンピュータ１０は、テレビジョン放送信号によって放送される放送番組データの視聴および録画を実行するためのテレビジョン（ＴＶ）機能を有している。このＴＶ機能は、例えば、パーソナルコンピュータ１０に予めインストールされているＴＶアプリケーションプログラムによって実現されている。また、ＴＶ機能は、外部のＡＶ機器から入力されるビデオデータを記録する機能、および記録されたビデオデータおよび記録された放送番組データを再生する機能も有している。

さらに、パーソナルコンピュータ１０は、パーソナルコンピュータ１０に格納されたビデオデータ、放送番組データのような映像コンテンツデータに登場する人物の顔画像の一覧等を表示する顔画像一覧表示機能を有している。この顔画像一覧表示機能は、例えば、ＴＶ機能内にその一機能として実装されている。顔画像一覧表示機能は、映像コンテンツデータの概要等をユーザに提示するための映像インデクシング機能の一つである。この顔画像一覧表示機能は、映像コンテンツデータ全体の中のどの時間帯にどの人物が登場するのかをユーザに提示することができる。また、この顔画像一覧表示機能は、映像コンテンツデータ内に含まれる所定の属性区間に着目して人物の一覧を表示することもできる。

図１はコンピュータ１０のディスプレイユニットを開いた状態における斜視図である。本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＴＦＴ−ＬＣＤ（Thin Film Transistor Liquid Crystal Display）１７から構成される表示装置が組み込まれている。

ディスプレイユニット１２は、コンピュータ本体１１に対し、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在に取り付けられている。コンピュータ本体１１は薄い箱形の筐体を有しており、その上面にはキーボード１３、本コンピュータ１０をパワーオン／パワーオフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、およびスピーカ１８Ａ，１８Ｂなどが配置されている。

入力操作パネル１５は、押されたボタンに対応するイベントを入力する入力装置であり、複数の機能をそれぞれ起動するための複数のボタンを備えている。これらボタン群には、ＴＶ機能（視聴、録画、録画された放送番組データ／ビデオデータの再生）を制御するための操作ボタン群も含まれている。また、コンピュータ本体１１の正面には、本コンピュータ１０のＴＶ機能をリモート制御するリモコンユニットとの通信を実行するためのリモコンユニットインタフェース部２０が設けられている。リモコンユニットインタフェース部２０は、赤外線信号受信部などから構成されている。

コンピュータ本体１１の例えば右側面には、ＴＶ放送用のアンテナ端子１９が設けられている。また、コンピュータ本体１１の例えば背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子が設けられている。この外部ディスプレイ接続端子は、放送番組データのような映像コンテンツデータに含まれる映像データ（動画像データ）を外部ディスプレイに出力するために用いられる。

次に、図２を参照して、本コンピュータ１０のシステム構成について説明する。

本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、サウンドコントローラ１０６、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＤＶＤドライブ１１２、ビデオプロセッサ１１３、メモリ１１３Ａ、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６、ＴＶチューナ１１７、およびＥＥＰＲＯＭ１１８等を備えている。

ＣＰＵ１０１は本コンピュータ１０の動作を制御するプロセッサであり、ハードディスクドライブ（ＨＤＤ）１１１から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）２０１、およびＴＶアプリケーションプログラム２０２のような各種アプリケーションプログラムを実行する。ＴＶアプリケーションプログラム２０２はＴＶ機能を実行するためのソフトウェアである。このＴＶアプリケーションプログラム２０２は、ＴＶチューナ１１７によって受信された放送番組データを視聴するためのライブ再生処理、受信された放送番組データをＨＤＤ１１１に記録する録画処理、およびＨＤＤ１１１に記録された放送番組データ／ビデオデータを再生する再生処理等を実行する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳはハードウェア制御のためのプログラムである。

ノースブリッジ１０２はＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、PCI EXPRESS規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７を制御する表示コントローラである。このＧＰＵ１０５によって生成される表示信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ装置１にデジタル映像信号を送出することもできる。

ＨＤＭＩ端子２は上述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号と、デジタルオーディオ信号とを一本のケーブルでテレビのような外部ディスプレイ装置１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ装置１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。

サウスブリッジ１０４は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ハードディスクドライブ（ＨＤＤ）１１１およびＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０６との通信を実行する機能も有している。

またさらに、サウスブリッジ１０４には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ１１３が接続されている。

ビデオプロセッサ１１３は、前述の映像インデクシングに関する各種処理を実行するプロセッサである。このビデオプロセッサ１１３は、映像インデクシング処理を実行するためのインデクシング処理部として機能する。すなわち、映像インデクシング処理においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報、等を出力する。顔画像の抽出は、例えば、動画像データの各フレームから顔領域を検出する顔検出処理、検出された顔領域をフレームから切り出す切り出し処理等によって実行される。顔領域の検出は、例えば、各フレームの画像の特徴を解析して、予め用意された顔画像特徴サンプルと類似する特徴を有する領域を探索することによって行うことができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。

さらに、ビデオプロセッサ１１３は、例えば、映像コンテンツデータ内に含まれるコマーシャル（ＣＭ）区間を検出する処理、および音声インデクシング処理も実行する。通常、各ＣＭ区間の時間長は、予め決められた幾つかの時間長の内の１つに設定されている。また、ＣＭ区間の前後には一定時間長の無音期間が存在する。したがって、ＣＭ区間の検出処理においては、例えば、映像コンテンツデータ内に含まれるオーディオデータが分析され、一定時間長の無音区間が検出される。そして、検出された連続する２つの無音区間に挾まれ、且つ一定値以上の時間長を有する部分データを含む区間が、ＣＭ区間として検出される。

音声インデクシング処理は、映像コンテンツデータ内に含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる、音楽が流れている音楽区間、および人物によるトークが行われているトーク区間を検出するインデクシング処理である。音声インデクシング処理においては、例えば、オーディオデータの周波数スペクトルの特徴が分析され、その周波数スペクトルの特徴に応じて、音楽区間、およびトーク区間が検出される。音楽区間に対応する周波数スペクトルの特徴と、トーク区間に対応する周波数スペクトルの特徴とは互いに異なるので、周波数スペクトルの特徴を分析することによって、音楽区間およびトーク区間のそれぞれを検出することができる。また、音楽区間に対応する周波数スペクトルの特徴とトーク区間に対応する周波数スペクトルの特徴とが混ざり合った周波数スペクトルを有する区間は、音楽区間とトーク区間とが重なった重畳区間として検出することができる。

トーク区間の検出処理においては、例えば、話者セグメンテーション技術または話者クラスタリング技術等が用いられ、これによって話者の切り替わりも検出される。同一の話者（または同一の話者グループ）が連続してトークしている期間が、一つのトーク区間となる。

さらに、音声インデクシング処理は、映像コンテンツデータ内の各部分データ（一定時間長のデータ）毎に歓声レベルを検出する歓声レベル検出処理、および映像コンテンツデータ内の各部分データ毎に盛り上がりレベルを検出する盛り上がりレベル検出処理を実行する。

歓声レベルは、歓声の大きさを示す。歓声は、大勢の人の声が合わさった音である。大勢の人の声が合わさった音は、ある特定の周波数スペクトルの分布を有する。歓声レベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの周波数スペクトルが分析され、そしてその周波数スペクトルの分析結果に従って、各部分データの歓声レベルが検出される。盛り上がりレベルは、ある一定以上の音量レベルがある一定時間長以上連続的に発生する区間の音量レベルである。例えば、比較的盛大な拍手、大きな笑い声のような音の音量レベルが、盛り上がりレベルである。盛り上がりレベル検出処理においては、映像コンテンツデータに含まれるオーディオデータの音量の分布が分析され、その分析結果に従って、各部分データの盛り上がりレベルが検出される。

メモリ１１３Ａは、ビデオプロセッサ１１３の作業メモリとして用いられる。インデクシング処理（ＣＭ検出処理、映像インデクシング処理、および音声インデクシング処理）を実行するためには多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１０１とは異なる専用のプロセッサであるビデオプロセッサ１１３がバックエンドプロセッサとして使用され、このビデオプロセッサ１１３によってインデクシング処理が実行される。よって、ＣＰＵ１０１の負荷の増加を招くことなく、インデクシング処理を実行することが出来る。なお、ＣＭ検出処理は上述したようにオーディオデータを解析することによって実行することができるので、以下では、ＣＭ検出処理を音声インデクシング処理内の１つの処理として扱うことにする。

サウンドコントローラ１０６は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８ＢまたはＨＤＭＩ制御回路３に出力する。

無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。

エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、電力管理のためのエンベデッドコントローラと、キーボード（ＫＢ）１３およびタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このエンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０をパワーオン／パワーオフする機能を有している。さらに、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）１１６は、リモコンユニットインタフェース２０との通信を実行する機能を有している。

ＴＶチューナ１１７はテレビジョン（ＴＶ）放送信号によって放送される放送番組データを受信する受信装置であり、アンテナ端子１９に接続されている。このＴＶチューナ１１７は、例えば、地上波デジタルＴＶ放送のようなデジタル放送番組データを受信可能なデジタルＴＶチューナとして実現されている。また、ＴＶチューナ１１７は、外部機器から入力されるビデオデータをキャプチャする機能も有している。

次に、図３を参照して、ＴＶアプリケーションプログラム２０２によって実行される顔画像一覧表示機能について説明する。

放送番組データのような映像コンテンツデータに対するインデクシング処理（映像インデクシング処理、および音声インデクシング処理）は、上述したように、インデクシング処理部として機能するビデオプロセッサ１１３によって実行される。

ビデオプロセッサ１１３は、ＴＶアプリケーションプログラム２０２の制御の下、例えば、ユーザによって指定された録画済みの放送番組データ等の映像コンテンツデータに対してインデクシング処理を実行する。また、ビデオプロセッサ１１３は、ＴＶチューナ１１７によって受信された放送番組データをＨＤＤ１１１に格納する録画処理と並行して、当該放送番組データに対するインデクシング処理を実行することもできる。

映像インデクシング処理（顔画像インデキシング処理とも云う）においては、ビデオプロセッサ１１３は、映像コンテンツデータに含まれる動画像データをフレーム単位で解析する。そして、ビデオプロセッサ１１３は、動画像データを構成する複数のフレームそれぞれから人物の顔画像を抽出すると共に、抽出された各顔画像が映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する。各顔画像に対応するタイムスタンプ情報としては、映像コンテンツデータの開始から当該顔画像が登場するまでの経過時間、または当該顔画像が抽出されたフレーム番号、等を使用することが出来る。

さらに、ビデオプロセッサ１１３は、抽出された各顔画像のサイズ（解像度）も出力する。ビデオプロセッサ１１３から出力される顔検出結果データ（顔画像、タイムスタンプ情報ＴＳ、およびサイズ）は、データベース１１１Ａに顔画像インデクシング情報として格納される。このデータベース１１１Ａは、ＨＤＤ１１１内に用意されたインデキシングデータ記憶用の記憶領域である。

さらに、映像インデクシング処理においては、ビデオプロセッサ１１３は、顔画像を抽出する処理と並行して、サムネイル画像取得処理も実行する。サムネイル画像は、映像コンテンツデータから例えば等時間間隔で抽出された複数のフレームの各々に対応する画像（縮小画像）である。すなわち、ビデオプロセッサ１１３は、顔画像を含むフレームであるか否かに関係なく、映像コンテンツデータから例えば所定の等時間間隔でフレームを順次抽出し、抽出した各フレームに対応する画像（サムネイル画像）と、そのサムネイル画像が出現する時点を示すタイムスタンプ情報ＴＳとを出力する。ビデオプロセッサ１１３から出力されるサムネイル画像取得結果データ（サムネイル、タイムスタンプ情報ＴＳ）も、データベース１１１Ａにサムネイルインデキシング情報として格納される。

また、音声インデクシング処理においては、ビデオプロセッサ１１３は、映像コンテンツに含まれるオーディオデータを分析して、映像コンテンツデータ内に含まれる複数種の属性区間（ＣＭ区間、音楽区間、およびトーク区間）を検出し、検出された各属性区間の開始および終了の時点を規定する区間属性情報を出力する。この区間属性情報は、例えば、各属性区間毎にその属性区間の開始時点および終了時点をそれぞれ示す時間情報から構成することができる。また、区間属性情報を、属性区間の開始時点を示す情報とその属性区間の時間長を示す情報とによって構成してもよい。

この区間属性情報は、属性検出結果情報としてデータベース１１１Ａに格納される。さらに、音声インデクシング処理においては、ビデオプロセッサ１１３は、上述の歓声レベル検出処理および盛り上がりレベル検出処理も実行する。これら歓声レベル検出処理の結果および盛り上がりレベル検出処理の結果も、上述の属性検出結果情報の一部としてデータベース１１１Ａに格納される。

属性検出結果情報（区間属性情報）は、図４に示されているように、例えば、ＣＭ区間テーブル、音楽区間テーブル、トーク区間テーブル、および歓声／盛り上がりテーブルから構成されている。

ＣＭ区間テーブルは、検出されたＣＭ区間の開始時点および終了時点を示すＣＭ区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のＣＭ区間が存在する場合には、それら複数のＣＭ区間それぞれに対応するＣＭ区間属性情報がＣＭ区間テーブルに格納される。ＣＭ区間テーブルにおいては、検出された各ＣＭ区間毎に当該ＣＭ区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。

音楽区間テーブルは、検出された音楽区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数の音楽区間が存在する場合には、それら複数の音楽区間それぞれに対応する音楽区間属性情報が音楽区間テーブルに格納される。音楽区間テーブルにおいては、検出された各音楽区間毎に当該音楽区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。

トーク区間テーブルは、検出されたトーク区間の開始時点および終了時点を示す音楽区間属性情報を格納する。映像コンテンツデータの開始位置から終端位置までのシーケンス内に複数のトーク区間が存在する場合には、それら複数のトーク区間それぞれに対応するトーク区間属性情報がトーク区間テーブルに格納される。トーク区間テーブルにおいては、検出された各トーク区間毎に当該トーク区間の開始時点および終了時点をそれぞれ示すスタートタイム情報およびエンドタイム情報が格納される。

歓声／盛り上がりテーブルは、映像コンテンツデータ内の一定時間長の部分データ（タイムセグメントＴ１，Ｔ２，Ｔ３，…）それぞれにおける歓声レベルおよび盛り上がりレベルを格納する。

図３に示されているように、ＴＶアプリケーションプログラム２０２は、映像コンテンツ情報画面生成処理を実行するためのコンテンツ情報画面生成処理モジュール３０１を含んでいる。コンテンツ情報画面生成処理モジュール３０１は、データベース１１１Ａに格納されたインデクシング情報（顔画像インデクシング情報、サムネイルインデキシング情報、区間属性情報、等）を用いて、映像コンテンツデータ内の音楽区間の選択を容易にするための番組情報画面を表示する。この番組情報画面は、例えばハードディスクドライブ１１１に格納されている映像コンテンツデータの一覧を表示する際に表示される。

具体的には、コンテンツ情報画面生成処理モジュール３０１は、データベース１１１Ａから区間属性情報を読み出し、音楽区間だけを検出する。そして、音楽区間に対応する音楽アイコンを番組情報画面中に表示する。また、サムネイル画像取得処理によって取得されたサムネイル画像を番組サムネイル画像として番組情報画面中に表示する。番組サムネイル画像は、番組のタイトルが表示されていることが好ましい。しかし、タイトルが表示している画像を検出することは困難である。タイトルは番組の先頭に表示されることが多いので、映像コンテンツ中のＣＭ区間を除いた番組の先頭の区間の一番最初に抽出されたサムネイル画像を番組サムネイル画像として選択する。

次に、図５を参照して、ＴＶアプリケーションプログラム２０２の機能構成を説明する。

ＴＶアプリケーションプログラム２０２は、上述のコンテンツ情報画面生成処理モジュール３０１に加え、記録処理モジュール３０２、インデクシング制御モジュール３０３、再生処理モジュール３０４等を備えている。

記録処理モジュール３０２は、ＴＶチューナ１１７によって受信された放送番組データ、または外部機器から入力されるビデオデータをＨＤＤ１１１に記録する記録処理を実行する。また、記録処理モジュール３０２は、ユーザによって予め設定された録画予約情報（チャンネル番号、日時）によって指定される放送番組データをＴＶチューナ１１７を用いて受信し、その放送番組データをＨＤＤ１１１に記録する予約録画処理も実行する。

インデクシング制御モジュール３０３は、ビデオプロセッサ（インデクシング処理部）１１３を制御して、インデクシング処理（映像インデクシング処理、音声インデクシング処理）をビデオプロセッサ１１３に実行させる。ユーザは、録画対象の放送番組データ毎にインデクシング処理を実行するか否かを指定することができる。例えば、インデクシング処理の実行が指示された録画対象の放送番組データについては、その放送番組データがＨＤＤ１１１に記録された後に、インデクシング処理が自動的に開始される。また、ユーザは、既にＨＤＤ１１１に格納されている映像コンテンツデータの内から、インデクシング処理を実行すべき映像コンテンツデータを指定することもできる。

再生処理モジュール３０４は、ＨＤＤ１１１に格納されている各映像コンテンツデータを再生する処理を実行する。再生処理モジュール３０４は、ユーザがマウスオーバー等の音楽アイコンを選択する操作を行うことで、音楽区間の音楽データを再生する。また、再生処理モジュール３０４は、さらにユーザが左ボタンを押す等の音楽アイコンを確定する操作を行うことで、音楽区間のコンテンツを再生する。

ユーザは、複数の属性区間を選択的に指定することにより、様々な属性に着目した顔画像一覧を見ながら、映像コンテンツデータの再生位置を決定することができる。

なお、インデクシング処理は、必ずしもビデオプロセッサ１１３によって実行する必要はなく、例えば、ＴＶアプリケーションプログラム２０２にインデクシング処理を実行する機能を設けてもよい。この場合、インデクシング処理は、ＴＶアプリケーションプログラム２０２の制御の下に、ＣＰＵ１０１によって実行される。

次に、映像コンテンツデータの一覧を表示する際に表示される番組情報画面の例を図６に示す。表示画面上の左上に番組サムネイル４０１が表示される。番組サムネイル４０１の右脇に、番組の概略を示す概略表示欄４０２が設けられている。概略表示欄には、番組名として“MUSIC○○”、映像コンテンツデータの録画日時として“○月×日 ”が表示されている。番組名、録画日時、ジャンルは、テレビジョン（ＴＶ）放送信号に重畳されている電子番組情報から抽出される。

番組サムネイル４０１および概略表示欄４０２の下側に、複数の音楽アイコン４０３Ａ，４０３Ｂ，４０３Ｃが表示される音楽詳細欄４０３が設けられている。各音楽アイコン４０３Ａ，４０３Ｂ，４０３Ｃの下に表示されている時間は、映像コンテンツデータの開始から当該音楽区間が再生されるまでの経過時間である。

ユーザが音楽アイコン４０３Ａ，４０３Ｂ，４０３Ｃの何れかを選択する操作を行うと、ＴＶアプリケーションプログラム２０２は音楽区間中の音楽部分のみを再生する。そして、ユーザが選択した音楽アイコン４０３Ａ，４０３Ｂ，４０３Ｃを確定するための操作をすると、ＴＶアプリケーションプログラム２０２は映像コンテンツデータの音楽区間を再生する。

なお、図７に示すように、音楽アイコン４１３Ａ，４１３Ｂ，４１３Ｃの画像に音楽区間に登場する人物の顔画像を用いても良い。コンテンツ情報画面生成処理モジュール３０１は、顔画像それぞれに対応するタイムスタンプ情報ＴＳに基づいて、各音楽区間について、音楽区間内から抽出された顔画像の顔画像の顔画像の出現頻度順（顔画像の検出時間長順）を演算し、出現頻度が最も高い顔画像を顔アイコン上に表示される画像として選択する。

次に、図８を参照して、コンテンツ情報画面生成処理モジュール３０１が、図６または図７に示す情報画面を表示するか否を選択する処理の手順を説明する。
先ず、コンテンツ情報画面生成処理モジュール３０１は、音楽区間の情報を含む番組情報画面を表示するか否かを判別する（ステップＳ１１）。ステップＳ１１の判断処理は、属性情報を参照し、音楽区間の有無に応じて判断を行う。音楽区間があれば音楽区間の情報を含む番組情報画面を表示し、音楽区間がなければ音楽区間の情報を含む番組情報画面を表示しないと判断する。或いは、電子番組情報に含まれるジャンルの情報に基づいて判断を行う。ジャンルの情報に基づいて判断を行う場合、ジャンルの情報が音楽の場合に音楽区間の情報を含む番組情報画面を表示すると判断し、ジャンルの情報が音楽以外の場合に音楽区間の情報を含む番組情報画面を表示しないと判断する。

表示しないと判断した場合（ステップＳ１１のＮｏ）、コンテンツ情報画面生成処理モジュール３０１は処理を終了する。表示すると判断した場合（ステップＳ１１のＹｅｓ）、コンテンツ情報画面生成処理モジュール３０１は、音楽アイコンの画像に顔画像を用いるか否かを判別する（ステップＳ１２）。ユーザは予め音楽アイコンの画像の画像に顔画像を用いるか否かの設定をしておき、コンテンツ情報画面生成処理モジュール３０１は設定に基づいて判断を行う。

顔画像の画像を用いると判断した場合（ステップＳ１２のＹｅｓ）、コンテンツ情報画面生成処理モジュール３０１は、音楽区間毎に顔画像の出現頻度を演算する（ステップＳ１３）。コンテンツ情報画面生成処理モジュール３０１は、各音楽区間毎に出現頻度が最も高い顔画像を選択する（ステップＳ１４）。そして、コンテンツ情報画面生成処理モジュール３０１は、アイコンの画像に選択された顔画像を用いた番組情報画面を表示する（ステップＳ１５）。

顔画像を用いないと判断した場合（ステップＳ１２のＮｏ）、アイコンの画像に通常の画像を用いた番組情報画面を表示する（ステップＳ１６）。以上の処理で音楽区間の情報を含む番組情報画面を表示するか否を選択することが可能になる。

本実施形態の装置によれば、録画番組を一覧表示する段階で音楽の有無・音楽シーンの代表出演者など、番組の特徴を確認することが出来るため、利用者が録画番組を視聴する際の助けとなる。

なお、本実施形態では、番組情報画面は映像コンテンツデータの一覧を表示する際に表示されていたが、視聴中の映像コンテンツデータの詳細な情報を表示する場合に表示しても良い。番組情報画面の例を図９に示す。表示画面上の左上に番組サムネイル４２１が表示される。番組サムネイル４０１の右脇に、番組の概略を示す概略表示欄４２２が設けられている。概略表示欄には、番組名として“MUSIC○○”、映像コンテンツデータの録画日時として“○月×日 20:00〜21:00”、ジャンルとして音楽が表示されている。番組名、録画日時、ジャンルは、テレビジョン（ＴＶ）放送信号に重畳されている電子番組情報から抽出される。音楽詳細欄４２３の下方に番組詳細な情報を示す詳細情報表示欄４２４が設けられている。

なお、本実施形態では、区間属性情報として開始時点を示す時間情報と終了時点を示す時間情報とを用いる例を説明したが、区間属性情報は各区間の開始および終了の時点を規定する情報であればよいので、区間の開始時点を示す情報と区間の時間長を示す情報とを区間属性情報として用いても良い。

また、本実施形態の顔画像一覧表示処理の手順は全てソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。

また、本実施形態の電子機器はコンピュータ１０によって実現するのみならず、例えば、ＨＤＤレコーダ、ＤＶＤレコーダ、テレビジョン装置といった様々なコンシューマ電子機器によって実現することもできる。この場合、ＴＶアプリケーションプログラム２０２の機能は、ＤＳＰ、マイクロコンピュータのようなハードウェアによって実現することができる。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

本発明の一実施形態に係る電子機器の概観の例を示す斜視図。 同実施形態の電子機器のシステム構成の例を示すブロック図。 同実施形態の電子機器の顔画像一覧表示機能を説明するためのブロック図。 同実施形態の電子機器で用いられる区間属性情報（属性検出結果情報）の例を示す図。 同実施形態の電子機器で用いられるプログラムの機能構成を示すブロック図。 映像コンテンツデータの一覧を表示する際に表示される番組情報画面の一例を示す図。 映像コンテンツデータの一覧を表示する際に表示される番組情報画面の一例を示す図。 コンテンツ情報画面生成処理モジュールが情報画面を表示するか否を選択する処理の手順を示すフローチャート。 番組情報画面の一例を示す図。

符号の説明

１１３…ビデオプロセッサ，２０１…オペレーティングシステム，２０２…ＴＶアプリケーションプログラム，３０１…コンテンツ情報画面生成処理モジュール，３０２…記録処理モジュール，３０３…インデクシング制御モジュール，３０４…再生処理モジュール，４０１…番組サムネイル，４０２…概略表示欄，４０３Ａ．４０３Ｂ…音楽アイコン，４０３…音楽詳細欄，４１３Ａ．４１３Ｂ…音楽アイコン，４２１…番組サムネイル，４２２…概略表示欄，４２３…音楽詳細欄，４２４…詳細情報表示欄。

Claims (12)

1. ビデオデータおよびオーディオデータを含む映像コンテンツデータを格納する記憶装置と、
   前記映像コンテンツデータに含まれるオーディオデータを解析することによって、前記映像コンテンツデータの再生時に音楽を出力する音楽区間の開始時点および終了時点を示す音楽区間属性情報を生成する音楽区間属性情報生成手段と、
   前記映像コンテンツデータから複数の顔画像を抽出すると共に、抽出された顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する映像インデクシング処理を実行する映像インデクシング処理部と、
   前記映像コンテンツデータから抽出されたサムネイル画像と、前記音楽区間属性情報に示される音楽区間に対応するアイコンを含むコンテンツ情報表示画面とを表示画面上に表示するコンテンツ情報表示手段と、
   ユーザの前記アイコンの操作に応じて当該アイコンに対応する音楽区間のオーディオデータ、または当該音楽区間の映像コンテンツデータを再生する再生手段と
   を具備し、
   前記コンテンツ情報表示手段は、前記映像インデクシング処理部が出力するタイムスタンプ情報に基づいて、前記アイコンの画像に音楽区間から抽出される顔画像を少なくとも用いることを特徴とする電子機器。
2. ビデオデータおよびオーディオデータを含む映像コンテンツデータを格納する記憶装置と、
   前記映像コンテンツデータの再生時に音楽を出力する音楽区間を示す音楽区間属性情報を生成する音楽区間属性情報生成手段と、
   前記映像コンテンツデータから顔画像を抽出すると共に、抽出された顔画像が前記映像コンテンツデータ内に登場する時点に関するタイムスタンプ情報を出力する映像インデクシング処理を実行する映像インデクシング処理部と、
   前記音楽区間属性情報に示される音楽区間に対応するアイコンを含むコンテンツ情報表示画面を表示画面上に表示するコンテンツ情報表示手段と、
   ユーザの前記アイコンの操作に応じて当該アイコンに対応する音楽区間のオーディオデータ、または当該音楽区間の映像コンテンツデータを再生するための再生手段と
   を具備し、
   前記コンテンツ情報表示手段は、前記タイムスタンプ情報に基づいて、音楽区間から抽出される顔画像を少なくとも用いて、前記アイコンの画像を生成することを特徴とする電子機器。
3. 前記アイコンに表示される顔画像は、前記音楽区間に登場する顔画像の中で出現頻度が最も高い顔画像であることを特徴とする請求項１、２の何れか１項に記載の電子機器。
4. 前記再生手段は、前記ユーザが前記アイコンを選択するための操作を行うと前記映像コンテンツデータのオーディオデータだけを再生し、前記ユーザが前記選択したアイコンを確定するための操作を行うと前記映像コンテンツデータの再生を行うことを特徴とする請求項１、２の何れか１項に記載の電子機器。
5. 前記映像コンテンツデータは放送番組を録画したデータであることを特徴とする請求項１、２の何れか１項に記載の電子機器。
6. ビデオデータおよびオーディオデータを含む映像コンテンツデータを格納する記憶装置と、
   前記映像コンテンツデータの第１区間を示す区間属性情報を生成する区間属性情報生成手段と、
   前記映像コンテンツデータから顔画像を抽出すると共に、抽出された顔画像が前記映像コンテンツデータ内に登場する時点に関する情報を出力する映像インデクシング処理を実行する映像インデクシング処理部と、
   前記第１区間に対応するアイコンを含むコンテンツ情報表示画面を表示画面上に表示するコンテンツ情報表示手段と、
   ユーザの前記アイコンの操作に応じて当該アイコンに対応する第１区間のオーディオデータ、または第１区間の映像コンテンツデータを再生するための再生手段と
   を具備し、
   前記コンテンツ情報表示手段は、前記顔画像が前記映像コンテンツデータ内に登場する時点に関する情報に基づいて、第１区間から抽出される顔画像を少なくとも用いて、前記アイコンの画像を生成することを特徴とする電子機器。
7. 映像コンテンツデータに含まれるオーディオデータを解析することによって、前記映像コンテンツデータの再生時に音楽を出力する音楽区間の開始時点および終了時点を示す音楽区間属性情報を生成し、
   映像コンテンツに含まれる動画像データから複数の顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に登場する時点を示すタイムスタンプ情報を出力する映像インデクシング処理を実行し、
   前記映像コンテンツデータから抽出されたサムネイル画像と、前記音楽区間属性情報に示される各音楽区間に対応するアイコンを含むコンテンツ情報表示画面を表示画面上に表示し、
   ユーザの前記アイコンの操作に応じて前記アイコンに対応する音楽区間のオーディオデータ、または当該音楽区間の映像コンテンツデータを再生し、
   前記映像インデクシング処理部が出力するタイムスタンプ情報に基づいて、前記アイコンの画像に音楽区間から抽出される顔画像を用いる
   ことを特徴とする映像コンテンツ情報表示方法。
8. 映像コンテンツデータの再生時に音楽を出力する音楽区間を示す音楽区間属性情報を生成し、
   映像コンテンツに含まれる動画像データから顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に登場する時点に関するタイムスタンプ情報を出力する映像インデクシング処理を実行し、
   前記音楽区間属性情報に示される各音楽区間に対応するアイコンを含むコンテンツ情報表示画面を表示画面上に表示し、
   ユーザの前記アイコンの操作に応じて前記アイコンに対応する音楽区間のオーディオデータ、または当該音楽区間の映像コンテンツデータを再生し、
   前記タイムスタンプ情報に基づいて、前記音楽区間から抽出される顔画像を用いて前記アイコンの画像を生成する
   ことを特徴とする映像コンテンツ情報表示方法。
9. 前記アイコンに表示される顔画像は、前記音楽区間に登場する顔画像の中で出現頻度が最も高い顔画像であることを特徴とする請求項７、８の何れか１項に記載の映像コンテンツ情報表示方法。
10. 前記ユーザが前記アイコンを選択するための操作を行うと前記音楽区間のオーディオデータだけの再生を行い、前記ユーザが前記選択した音楽アイコンを確定するための操作を行うと当該音楽区間の前記映像コンテンツデータの再生を行うことを特徴とする請求項７、８の何れか１項に記載の映像コンテンツ情報表示方法。
11. 前記映像コンテンツデータは放送番組を録画したデータであることを特徴とする請求項７、８の何れか１項記載の映像コンテンツ情報表示方法。
12. 映像コンテンツデータの第１区間を示す区間属性情報を生成し、
    映像コンテンツに含まれる動画像データから顔画像を抽出すると共に、抽出された各顔画像が前記映像コンテンツデータ内に登場する時点に関する情報を出力する映像インデクシング処理を実行し、
    前記第１区間に対応するアイコンを含むコンテンツ情報表示画面を表示画面上に表示し、
    ユーザの前記アイコンの操作に応じて前記アイコンに対応する第１区間のオーディオデータ、または第１区間の映像コンテンツデータを再生し、
    前記顔画像が前記コンテンツデータ内に登場する時点に関する情報に基づいて、第１区間から抽出される顔画像を少なくとも用いて、前記アイコンの画像を生成する
    ことを特徴とする映像コンテンツ情報表示方法。

Images