JP5350037B2 - 表示制御装置、その制御方法及びプログラム - Google Patents

Description

本発明は、少なくとも第１の状態と第２の状態とで物体を表示させることが可能な技術に関するものである。

近年、通常のテレビのほかに、衛星放送、ケーブルテレビ等が普及しつつあり、通常のテレビでもデジタル化によって放送のコンテンツの多様化、多数化が進んでいる。今後、光ファイバー網等のネットワークインフラの普及によって広域帯の通信基盤が各家庭に整備されることが予想され、コンテンツの多様化、多数化はさらに加速すると考えられる。

このような多数のコンテンツの中から、必要なコンテンツを選別し、目的のコンテンツを探し出すことは、ユーザにとって非常に大きな労力と時間を割く作業になっている。ユーザによる検索作業の負荷削減のために、複数のコンテンツを同時に再生・表示するようなサムネイルを作成する形式のユーザインタフェースも一般的になってきた。

このようなコンテンツの表示に際して、ユーザに表示するコンテンツの内容をユーザに把握しやすいものにして表示する手法が提案されている。例えば、特許文献１では、黒や白等の内容把握の困難な単色画像から始まる動画であっても、その部分をとばして、映像中の色信号の変化、映像中の輝度データの変化、映像再生のビットレート、音声信号、映像再生のビットレートの変化、及び、字幕データが存在していることを確認することで、内容把握の可能な有意な画像を表示する方法が開示されている。

また、特許文献２では、ビデオコンテンツの早送り・巻き戻し及び頭出しに際して、コンテンツやセグメントの切れ目で一瞬普通速にし、代表的なフレームを表示あるいは代表的なフレーズを再生するという方法が開示されている。

特開２００５−８６６８０号公報 特開２００２−１８５８８９号公報

ところで、例えばリング状に配置された複数の物体を回転表示させ、各物体上に表示されるコンテンツデータのうちからユーザが所望のコンテンツデータを選ぶことができる技術が知られている。しかしながら、各物体の回転表示に伴ってコンテンツデータの表示状態（例えば、表示、非表示）も変化することになり、ユーザが所望のコンテンツデータを選ぶ際に最適なシーンを常に表示できているとは限らないという課題があった。

そこで、本発明の目的は、複数の表示状態のうちの或る表示状態における物体上のコンテンツデータの内容をより把握しやすくすることにある。

本発明の表示制御装置は、少なくとも第１の状態と第２の状態とで物体を表示させることが可能な表示制御装置であって、前記物体が前記第１の状態で表示されている際に、コンテンツデータの特徴画像データを判定する判定手段と、前記物体を前記第２の状態で表示させる際に、前記判定手段により判定された前記特徴画像データを前記物体上に表示する表示制御手段とを有し、前記第１の状態は、前記物体の第１の面が表示された状態であり、前記第２の状態は、前記物体の第２の面が表示された状態であることを特徴とする。

本発明によれば、コンテンツデータの検索をより容易にすることが可能となる。

本発明の実施形態に係る映像処理装置の主要部の構成を示すブロック図である。 本発明の実施形態に係る映像再生装置における特徴映像シーン抽出及び再生処理を示すフローチャートである。 本発明の実施形態に係る映像処理装置が複数のコンテンツを提供する際のユーザインタフェースの一例を示す図である。 ステップＳ２０６、Ｓ２０７の再生制御が行われた場合のサムネイルの表示例を示す図である。 ステップＳ２０６、Ｓ２０７の再生制御が行われなかった場合におけるサムネイルの表示例を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。なお、以下の実施形態において示す構成は飽くまでも一例に過ぎず、本発明は図示された構成に限定されるものではない。

図３は、本実施形態に係る映像処理装置が複数のコンテンツデータ（以下、コンテンツと略称する）を提供する際のユーザインタフェースの一例を示す図である。本実施形態においては、複数のコンテンツをサムネイル形式で同時表示するものである。３００〜３０５までの６つの表示ウィンドウをリング状に配置し、リングを水平方向に自動回転させることによって、各表示ウィンドウの背面が表示される状態と表面が表示される状態とが切り替わりながら表示ウィンドウの回転表示が行われる。

表示ウィンドウは、ユーザから近い順に３０２、３０１と３０３、３０４と３００、３０５と配置されており、表示ウィンドウ３０２がユーザから見て最も近く大きく表示され、表示ウィンドウ３０５がユーザから見て最も遠く小さく表示される。以下、リング状に配置されている表示ウィンドウのうち、ユーザ側の半円上にあるものを表面にある表示ウィンドウ、それ以外のものを背面にある表示ウィンドウと呼ぶものとする。また、このユーザインタフェースは好適な構成の一つであり、本発明がこの形態に限定されるものではない。

上記表示ウィンドウは、本発明の物体の適用例となる構成である。また、表示ウィンドウの背面が表示される状態は、本発明の第１の状態の一例であり、表示ウィンドウの表面が表示される状態は、本発明の第２の状態の一例である。

図１は、本発明の実施形態に係る映像処理装置の主要部の構成を示すブロック図である。図１において、ストリーム受信部１０１は、外部から入力された映像ストリームを受信し、ＤＥＭＵＸ（ストリームデマルチプレクサ）１０１に出力する。また、ストリーム受信部１０１は、ハードディスクやＤＶＤ等の記録媒体１００に記録・蓄積されたコンテンツを読み込む。なお、上記映像ストリームは、ネットワークを介して入力されるＩＰ放送やＩＰＶＯＤ、地上波、ＣＳ、ＢＳ等のＲＦ放送において使用されているＭＰＥＧ-２ＴＳ（トランスポートストリーム）方式の映像ストリームである。記録媒体１００に記録・蓄積されたコンテンツを以下では蓄積コンテンツと称する。また、ＩＰはインターネットプロトコルの略称、ＩＰＶＯＤはインターネットプロトコルビデオオンデマンドの略称、ＲＦはラジオフリークエンシーの略称である。本実施形態に係る映像処理装置は、本発明の表示制御装置の適用例となる構成である。

ＤＥＭＵＸ１０１は、入力された映像ストリームの各ＴＳパケットのＰＩＤ（パケット識別子）を参照して動画や音声パケットのフィルタリングを行う。そして、ＤＥＭＵＸ１０１は、受信したＴＳパケットから元の動画や音声のＰＥＳ（パケタイズドエレメンタリーストリーム）パケットを再構成し、デコーダ１０３に出力する。

デコーダ１０３は、入力されたＰＥＳパケットをデコードして元の動画データや音声データを構成し、メモリやハードディスク等の記録装置で構成される映像記録部１０４に出力する。映像記録部１０４は、入力された動画データや音声データを再生時刻まで保持する。

番組情報抽出部１０９は、ＤＥＭＵＸ１０２でフィルタリングされたＰＥＳパケットのうち、ＥＩＴ（イベントインフォメーションテーブル）を参照して、コンテンツの名称情報や内容情報、ジャンル情報を抽出し、映像特徴一致判定部１１１に出力する。なお、番組情報抽出部１０９は、本発明の取得手段の適用例となる構成である。

特徴映像データ記憶部１１０は、特徴映像データを記憶している。特徴映像データとは、コンテンツの名称、ジャンル、内容等に応じたテーマに対応付けられた映像の特徴を示すデータ（映像特徴データ）である。映像特徴データは、一般的なシーン検出に用いられるデータとする。例えば、モーションベクトルやＤＣＴ係数等の画像・音声の圧縮処理に関わるデータである。具体的に特徴映像データとは、上記の映像特徴データが「ニュース」や「スポーツ」等のコンテンツのテーマを示すキーワードで分類されているデータである。

特徴映像一致判定部１１１は、番組情報抽出部１０９によって抽出されたコンテンツの名称情報、内容情報、ジャンル情報に対応するテーマと、映像記録部１０４に蓄積されたコンテンツの映像データとの一致を判定し、特徴映像シーンを検出する。特徴映像一致判定部１１１は、所定の閾値以上の映像データをコンテンツの特徴映像シーンと判断し、特徴映像シーンの開始時刻を再生同期部１１２に出力する。なお、特徴映像一致判定部１１１は、本発明の判定手段の適用例となる構成である。上記特徴映像シーンは、本発明の特徴画像データの適用例となる構成である。

再生同期部１１２は、ＰＥＳパケットに含まれるタイムスタンプを参照し、コンテンツの再生を行う。再生同期部１１２は、表示ウィンドウの背面から表面にコンテンツが表示される際に再生開始時点を検出して再生要求を行うための再生要求部１０５を備える。

再生要求部１０５は、蓄積コンテンツ、ＩＰ放送、ＩＰＶＯＤ、ＲＦ放送から得られるコンテンツに対する再生の要求も行う。また、再生要求部１０５は、蓄積コンテンツ対しては、早送り、巻き戻し、停止等の一般的に使用されている再生制御を行うとともに、ＩＰ放送、ＩＰＶＯＤ、ＲＦ放送から得られるコンテンツに対しては、ジャンプ再生要求等も行う。表示制御部１０６は表示装置１０７にコンテンツを出力する。

図２は、本実施形態に係る映像再生装置における特徴映像シーン抽出及び再生処理を示すフローチャートである。

ステップＳ２００において、表示制御部１０６は、ＤＥＭＵＸ１０２、デコーダ１０３を介して出力されたコンテンツを表示装置１０７に表示し、初期サムネイルを構成する。

図３は、ステップＳ２００における通常再生時の初期サムネイルを示す図である。３０４、３０５、３００が背面にある表示ウィンドウ、３０１、３０２、３０３が表面にある表示ウィンドウである。また、３００の表示ウィンドウに再生されているコンテンツは、ニュース番組であるとする。以下、コンテンツ３００のニュース番組を例にとって特徴映像シーン抽出及び再生処理のフローを説明する。

ステップＳ２０１において、表示制御部１０６は、現在表示中のコンテンツそれぞれについて、表示ウィンドウが表面にあるか背面にあるかの判断を行う。判断基準は、例えば、表示ウィンドウを表示する際に手前、奥の情報を該当するそれぞれのコンテンツに付加し、それを参照することで行う。また、表示ウィンドウの大きさやＺ方向の深さ等のパラメータを参照することで判断してもよい。このような手法を用いることにより、コンテンツ３００は表示ウィンドウの背面に配置されていると判断され、コンテンツ３０１は表示ウィンドウの表面に配置されていると判断される。ステップＳ２０１において表示ウィンドウの表面に配置されていると判断されたコンテンツに関しては、通常再生が行われる。

ステップＳ２０２において、映像記録部１０４は、ステップＳ２０１において表示ウィンドウの背面に配置されていると判定されたコンテンツの特徴映像シーンを抽出するために、デコードされた映像データを蓄積する。図３に示す表示状態では、コンテンツ３００は特徴映像シーン抽出のための映像データの蓄積が行われ、コンテンツ３０１は特徴映像シーン抽出のための映像データの蓄積は行われない。

ステップＳ２０３において、番組情報抽出部１０９は、ＤＥＭＵＸ１０２においてフィルタリングされたＰＥＳパケットのうち、ＥＩＴを参照してコンテンツの名称情報や内容情報、ジャンル情報からテーマ情報を抽出する。例えば、コンテンツ３００では、名称情報及びジャンル情報からコンテンツのテーマ情報「ニュース」が抽出される。

ステップＳ２０４において、特徴映像一致判定部１１１は、番組情報抽出部１０９が抽出したコンテンツのテーマ情報「ニュース」に対応する特徴映像データを、特徴映像データ記憶部１１０から参照する。そして、特徴映像一致判定部１１１は、ステップＳ２０２において蓄積されたコンテンツの映像データを参照し、特徴映像データ１１０の「ニュース」に対応する特徴映像データと一致しているかを判定する。この判定方法は、一般に行われている画像特徴抽出・比較を用いる。例えば、コンテンツ３００のニュース番組では、キャスターが全面に登場するカット、画面下や横のテロップ表示、話者は一人で音声や画面色が単一である時間が続く等の画面上の特徴がある。単一の人物が写っているカットを探す場合は、色信号のＤＣＴのＤＣ係数から特定の色を抽出比較することである程度の精度で検出可能である。テロップ表示は、ＤＣＴのＡＣ係数から高周波数成分が多い領域の有無で判断可能である。また、映像データだけでなく、音声データの特徴量を用いて特徴映像データとの一致を判定してもよい。また、特徴映像データとの一致判定は、各特徴量の一致率を求め、所定の閾値を超えたか超えないかを判断する方法でもよい。

ステップＳ２０５において、映像記録部１０４は、特徴映像一致判定部１１１が特徴映像データと一致すると判定される映像データである特徴映像シーンを検出できたか否かを判定する。特徴映像シーンを検出できた場合には、映像記録部１０４は、特徴映像一致判定部１１１から出力され、コンテンツ内で検出された特徴映像シーンの再生開始時刻情報を再生同期部１１２に出力する。一方、ステップＳ２０５において、特徴映像シーンを検出できなかった場合は、ステップＳ２０４に戻り、後述するステップＳ２０６、Ｓ２０７の制御が行われない、通常と同様の再生制御が行われる。

ステップＳ２０６において、再生同期部１１２は、特徴映像一致判定部１１１より入力された特徴映像シーンの再生開始時刻情報を参照し、再生要求部１０５を用いて、コンテンツ内の特徴映像シーンからの再生準備を行う。例えば、図３のコンテンツ３００が蓄積コンテンツである場合は、巻き戻し或いは早送り処理等によって特徴映像シーンの頭出しを行う。コンテンツ３００がネットワークを介して配信されているＩＰ放送やＩＰＶＯＤ等から得られるコンテンツである場合は、ジャンプ再生処理等によって特徴映像シーンの頭出しを行う。コンテンツ３００がリアルタイムの放送波から得られるコンテンツである場合は、映像記録部１０４に蓄積したコンテンツ内の特徴映像シーンから再度再生するタイムシフト再生処理を行い、巻き戻し或いは早送り処理等によって特徴映像シーンの頭出しを行う。

ステップＳ２０７において、表示制御部１０５は、各コンテンツが表示ウィンドウの背面から表示ウィンドウの表面に移動して表示されることを、ステップＳ２０１と同様の方法を用いて判断する。そして、表示制御部１０５は、表示ウィンドウの背面から表示ウィンドウの表面に移動して表示されるコンテンツに関しては、ステップＳ２０６において再生同期部１１２が再生準備を行った特徴映像シーンを読み出す。そして、表示制御部１０５は、表示ウィンドウの背面から表面に移動表示されると同時に、特徴映像シーンからコンテンツの再生を行う。本処理は、本発明の表示制御手段の処理例である。

図５は、ステップＳ２０６、Ｓ２０７の再生制御が行われなかった場合におけるサムネイルの表示例を示す図である。図５は、図３のサムネイルが回転し、表示ウィンドウが一つ左に進んだ状態を示しており、図３の表示ウィンドウ３０１が図５の表示ウィンドウ５０１へ、図３の表示ウィンドウ３００が図５の表示ウィンドウ５００へと移動している。表示ウィンドウ５００に表示されている動画は、背面から表面に移動する際に時間が連続している通常再生時のものである。

一方、図４は、ステップＳ２０６、Ｓ２０７の再生制御が行われた場合のサムネイルの表示例を示す図である。図４は、図３のサムネイルが回転し、表示ウィンドウが一つ左に進んだ状態を示しており、図３の表示ウィンドウ３０１が図４の表示ウィンドウ４０１へ、図３の表示ウィンドウ３００が図４の表示ウィンドウ４００へと移動している。ステップＳ２０７において、表示ウィンドウ４００に再生されている動画は、ステップＳ２０５において抽出された「ニュース」のテーマに沿った特徴映像シーンからの再生となる。

本実施形態においては、表示ウィンドウが背面にあるときには、コンテンツの特徴映像シーンを判定し、表示ウィンドウが表面で表示される際に、当該特徴映像シーンを表示ウィンドウ上に表示するように構成している。従って、ユーザにとってコンテンツの内容を把握しやすい表示ウィンドウが表面で表示されているときに、当該コンテンツの内容を把握しやすい特徴映像シーンをユーザに提示することができることになり、コンテンツの検索をより容易にすることが可能となる。

また、本実施形態においては、放送等のリアルタイムコンテンツや、代表シーンや特徴的なフレーズを指示するデータが付加されていないコンテンツに関しても、代表シーンや特徴的なフレーズ（特徴映像シーン）を効率的にユーザに提示することが可能となる。

上述した本発明の実施形態を構成する各手段及び各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが実行されることによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

１００ 記録媒体、１０１ ストリーム受信部、１０２ ＤＥＭＵＸ、１０３ デコーダ、１０４ 映像記録部、１０５ 再生要求部、１０６ 表示制御部、１０７ 表示装置、１０９ 番組情報抽出部、１１０ 特徴映像データ記憶部、１１１ 特徴映像一致判定部

Claims (6)

1. 少なくとも第１の状態と第２の状態とで物体を表示させることが可能な表示制御装置であって、
   前記物体が前記第１の状態で表示されている際に、コンテンツデータの特徴画像データを判定する判定手段と、
   前記物体を前記第２の状態で表示させる際に、前記判定手段により判定された前記特徴画像データを前記物体上に表示する表示制御手段とを有し、
   前記第１の状態は、前記物体の第１の面が表示された状態であり、前記第２の状態は、前記物体の第２の面が表示された状態であることを特徴とする表示制御装置。
2. 前記第１の面は、前記物体の背面であり、前記第２の面は、前記物体の表面であることを特徴とする請求項１に記載の表示制御装置。
3. 前記コンテンツデータの内容に係る情報を取得する取得手段を更に有し、
   前記判定手段は、前記取得手段により取得された情報に基づいて、前記コンテンツデータの前記特徴画像データを判定することを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記物体は、前記第１の状態と前記第２の状態とを切り替えながら回転表示されることを特徴とする請求項１乃至３の何れか１項に記載の表示制御装置。
5. 少なくとも第１の状態と第２の状態とで物体を表示させることが可能な表示制御装置の制御方法であって、
   前記物体が前記第１の状態で表示されている際に、コンテンツデータの特徴画像データを判定する判定ステップと、
   前記物体を前記第２の状態で表示させる際に、前記判定ステップにより判定された前記特徴画像データを前記物体上に表示する表示制御ステップとを含み、
   前記第１の状態は、前記物体の第１の面が表示された状態であり、前記第２の状態は、前記物体の第２の面が表示された状態であることを特徴とする表示制御装置の制御方法。
6. 少なくとも第１の状態と第２の状態とで物体を表示させることが可能な表示制御装置の制御方法をコンピュータに実行させるためのプログラムであって、
   前記物体が前記第１の状態で表示されている際に、コンテンツデータの特徴画像データを判定する判定ステップと、
   前記物体を前記第２の状態で表示させる際に、前記判定ステップにより判定された前記特徴画像データを前記物体上に表示する表示制御ステップとをコンピュータに実行させ、
   前記第１の状態は、前記物体の第１の面が表示された状態であり、前記第２の状態は、前記物体の第２の面が表示された状態であることを特徴とするプログラム。

Images