JP5228623B2 - 放送映像再生方法、システム及び装置 - Google Patents

Description

本発明は、地上デジタルテレビ（ＴＶ）放送によって放送された記録映像を再生するためのデジタル放送映像再生方法、デジタル放送映像再生システム、デジタル放送映像再生装置及びプログラムに関する。

今般、地上デジタルＴＶ放送が普及していく中で、受信したデータをリアルタイムにではなく、一時ハードディスクなどに録画し、その後（あるいは、録画しながら）ユーザの都合に合わせて、視聴するといった方法が用いられている（例えば特許文献１〜３参照）。
視聴方法としては様々な方法が提案されているが、更にユーザの用途に合わせた視聴方法を提供することで、ユーザの利便性を向上することが望まれる。
一般的に、地上デジタルＴＶ放送を記録、再生する方法は、受信した音声、画像、あるいは字幕データをある一定時間分、受信端末にて保存しておき、再生を行うことを可能にした視聴方法である。これにより、受信したリアルタイムのデータのみではなく、ユーザの都合に合わせて、視聴することが可能である。

録画したコンテンツ再生において、ユーザが情報を掻い摘んで、あるいは短い時間で内容を把握するように視聴する方法として、ユーザ操作により、再生位置を一定時間（例えば３０秒など）進める方法や、早送り再生する方法が挙げられる。録画したコンテンツ本来の再生速度を保ちつつ、尚且つ、ユーザの目的や好みに応じて、コンテンツの必要な情報（シーン）を、的確な位置で掻い摘んで視聴することができれば、更に利便性が向上できる。

従来、音声のチャネル情報がモノラルからステレオへ、あるいはステレオからモノラルへと変化した場合に、この変化した時点をシーン変化ポイントとして捉え、番組中のＣＭ（Commercial Message）を飛ばして視聴するといった方法が提案されているが、これは、あくまで番組（音声がステレオ）／ＣＭ（音声がモノラル）という切り替えがされているという前提の下である。昨今、ＣＭでもステレオ音声が頻繁に使用されるようになるにつれ、この手法の有効性は低いと考えられる。

また、特許文献１には、映像シーンの特徴量に基づいて自動的にシーン群に区分するようにしているため、区分のために使用する情報量が極めて大きくなるという問題がある。
特許文献２には、楽曲区間を検出するために音声信号を用いて処理しており、これは映像シーンを区分するための発明ではない。
特許文献３には、データ放送によって放送されたデータを画像として表示しまたは音声として再生する発明に関するものである。したがって、地上デジタルテレビ放送を効率よく再生しようとするものではない。

特開２００４−３３６５５６号公報 特開２００７−３０６３２７号公報 特開平１１−１０２５５０号公報

本発明は、地上デジタルテレビ放送を受信して記録した映像について、シーン変化を示す情報を効率良く生成し、効率よく視聴できるようにすることを課題としている。

本発明によれば、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録し、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録しておき、検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生することを特徴とするデジタル放送映像再生方法が提供される。

少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録し、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録しておき、検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する。

また、本発明によれば、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段と、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段とを備えて成ることを特徴とするデジタル放送映像再生装置が提供される。

記録手段は、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する。マーキング手段は、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録する。再生手段は、入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する。

また、本発明によれば、地上デジタルテレビ放送信号を送信する送信装置と、前記送信装置からの地上デジタルテレビ放送信号を受信する受信手段、前記受信手段によって受信した地上デジタルテレビ放送信号を記録し、前記記録手段に記録した地上デジタルテレビ放送信号を再生する再生手段を有するデジタル放送映像再生装置とを備えたデジタル放送映像再生システムにおいて、前記デジタル放送映像再生装置として前記記載のデジタル放送映像再生装置を用いて成ることを特徴とするデジタル放送映像再生システムが提供される。

また、本発明によれば、コンピュータを、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段に記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段として機能させることを特徴とするプログラムが提供される。

コンピュータは、プログラムを実行することにより、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段に記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段として機能する。

本発明に係るデジタル放送映像再生方法、デジタル放送映像再生システムによれば、地上デジタルテレビ放送を受信して記録した映像について、シーン変化を示す情報を効率良く生成し、効率よく視聴できるようにすることが可能になる。
また、本発明に係るデジタル放送映像再生装置によれば、前記デジタル放送映像再生方法、デジタル放送映像再生システムを構築することが可能になる。
また、本発明によれば、コンピュータを用いて前記デジタル放送映像再生装置を構築することが可能になる。

先ず本発明の実施の形態の概要を説明すると、本発明の実施の形態は、地上デジタルテレビジョン（ＴＶ）放送を利用して、受信した音声、画像、あるいは字幕データをある一定時間分、受信端末にて保存しておき、視聴したい箇所を掻い摘んで再生を行うことを可能にした視聴方法である。受信したリアルタイムのデータのみではなく、ユーザの都合に合わせて視聴するように構成することが可能である。

地上デジタルＴＶ放送では、音声データとして、ＭＰＥＧ（Moving Picture Expert Group）２−ＡＡＣ（Advanced Audio Coding）、ならびにこれを拡張したＨＥ−ＡＡＣ（High-Efficiency Advanced Audio Coding）符号化方式で符号化されたデータが送信される。本実施の形態では、受信端末にて録画した音声データから、符号化データの特徴的な変動を検知し、コンテンツのシーン変化ポイントとして、マーキングしておく。更に、字幕データの有無もシーン変化ポイントとして捉え、マーキングしておく。ユーザは、このマーキング情報から、任意のマーキング箇所へシークして再生することを可能にする。これにより、コンテンツをユーザの目的や好みに応じて、掻い摘んで視聴することが期待でき、更に利便性が向上することが期待できる。

図１は、本発明の実施の形態に係るデジタル放送映像再生方法、デジタル放送映像再生システムに使用するデジタル放送映像再生装置のブロック図である。
図１において、放送映像再生装置は、入力メモリ１０１、ストリーム分離部１０２、音声ストリーム解析部１０３、マーキング情報生成部１０４、字幕情報解析部１０５、再生制御部１０６、入力デバイス１０７、音声デコード部１０８、音声出力デバイス１０９、動画像デコード部１１０、字幕生成部１１１、表示制御部１１２、ビデオ出力デバイス１１３を備えている。

ここで、入力メモリ１０１は、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段を構成している。
ストリーム分離部１０２、音声ストリーム解析部１０３、マーキング情報生成部１０４、字幕情報解析部１０５は、入力メモリ１０１に記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段を構成している。

入力デバイス１０７は入力手段を構成している。
また、再生制御部１０６、音声デコード部１０８、音声出力デバイス１０９、動画像デコード部１１０、字幕生成部１１１、表示制御部１１２、ビデオ出力デバイス１１３は、入力デバイス１０７からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段を構成している。

尚、デジタル放送映像再生装置はコンピュータによって構成することが可能であり、その場合、入力メモリ１０１は磁気ディスクやランダムアクセスメモリ（ＲＡＭ）等の記録手段によって構成でき、入力デバイス１０７はキーボードやマウスによって構成できる。また、ストリーム分離部１０２、音声ストリーム解析部１０３、マーキング情報生成部１０４、字幕情報解析部１０５、再生制御部１０６、音声デコード部１０８、動画像デコード部１１０、字幕生成部１１１、表示制御部１１２は、中央処理装置（ＣＰＵ）及び前記ＣＰＵが実行するプログラムによって構成することができる。

本発明の実施の形態の動作概要を図１に沿って説明すると、図１において、入力デバイス１０７をユーザが操作することによって再生開始が指示されると、ストリーム分離部１０２は、既に受信し、入力メモリ１０１に記録されている地上デジタルテレビ放送内容であるデータ地上デジタルストリームを音声、動画像ストリームに分離する。更にストリーム分離部１０２は、コンテンツに字幕データが含まれていれば、これも分離する。

音声ストリーム解析部１０３は分離された音声ストリームの解析処理し、マーキング情報生成部１０４は音声ストリーム解析部１０３が検出したシーン変化ポイントの時間情報をマーキング情報として記録する。この際の、音声ストリームの解析は、チャネル情報、サンプリングレートの切り替わり箇所を検知、あるいはＡＡＣ情報とＨＥ−ＡＡＣ情報の切り替わりを検出することにより行う。

これら情報の切り替わりは、ユーザが視聴する音声の劇的な変化につながるため、シーン切り替わり箇所として考えられる。
また、字幕データの有無の変化もシーン切り替わり箇所として考えられるため、字幕情報解析部１０５は、この変化（字幕情報が新たに生じた時点や、字幕情報が消滅した時点）を検知したら、マーキング情報生成部１０４は前記字幕情報の変化時点である時間情報をマーキング情報として記録する。

音声デコード部１０８は、生成されたマーキング情報に従い、マーキングした部分の音声ストリームのデコード処理を行い、スピーカなどの音声出力デバイス１０９から音声信号を出力する。同時に、入力デバイス１０７などからのユーザからの指示に従い、再生制御部１０６において、音声ストリームのデコード処理を開始した箇所と同期するように、動画像デコード部１１０は動画像デコード処理を行い、画像縮小、および字幕データとの合成処理などの表示制御を表示制御部１１２によって行った後、液晶ディスプレイ（ＬＣＤ）などのビデオ出力デバイス１１３に動画信号を出力する。
一般的に、音声ストリームおよび字幕データは、動画像ストリームよりも情報量が大幅に少ないため、これらをシーン変化のマーキング情報生成に利用することで、動画像を主とした解析よりも、演算量の削減につながるという効果を奏する。

以下、本実施の形態の動作を詳細に説明する。
図１において、入力デバイス１０７によってユーザから再生開始が指示されると、ストリーム分離部１０２は、既に受信し、入力メモリ１０１に記録されている地上デジタルストリームを音声、動画像ストリームを分離する。ストリーム分離部１０２は、更にコンテンツに字幕データが含まれていれば、これも分離する。

音声ストリーム解析部１０３は分離された音声ストリームを解析してシーン変化時点を検出し、マーキング情報生成部１０４は前記シーン変化時点に対応するシーン変化ポイントの時間情報をマーキング情報として記録する。前記マーキング情報は後述する音声フレーム間に記録する。前記マーキング情報は物理的には入力メモリ１０１に記録される。
この際の、音声ストリームの解析は、チャネル情報の切り替わり箇所の検知、サンプリングレートの切り替わり箇所を検知、あるいはＡＡＣ／ＨＥ−ＡＡＣ情報の切り替わりを検出することにより行う。

これら情報の切り替わりは、ユーザが視聴する音声の劇的な変化につながるため、シーン切り替わり箇所として考えられる。
また、字幕データの有無の変化もシーン切り替わり箇所として考えられるため、字幕情報解析部１０５がこの変化を検知したら、マーキング情報生成部１０４は、字幕データの有無の変化時点に対応する時間情報をマーキング情報として記録する。前記マーキング情報は物理的には入力メモリ１０１に記録される。

生成されたマーキング情報に従い、音声デコード部１０８は、マーキングした部分の音声ストリームのデコード処理を行い、スピーカなどの音声出力デバイス１０９から音声信号を出力する。同時に、入力デバイス１０７などからのユーザからの指示に従い、再生制御部１０６において、音声ストリームのデコード処理を開始した箇所と同期するように、動画像デコード部１１０において動画像デコード処理を行い、画像縮小、および字幕生成部１１１からの字幕データとの合成処理などの表示制御を表示制御部１１２が行った後、ＬＣＤディスプレイなどのビデオ出力デバイス１１３に動画信号を出力する。

これにより、マーキング情報を記録した位置の動画像ストリーム、音声ストリーム及び字幕が同期して再生されることになる。入力デバイス１０７によって、再生する位置のマーキング情報を指定することにより、ユーザが再生させたい位置の動画像や音声を視聴することが可能になる。
また、一般的に、音声ストリームおよび字幕データは、動画像ストリームよりも情報量が大幅に少ないため、これらをシーン変化のマーキング情報生成に利用することで、動画像を主とした解析よりも、演算量の削減につながる。

図２は、本発明の実施の形態の動作を説明するフローチャートである。
図２に示すように、入力出番須１０７によってユーザからの再生が指示されると（ステップＳ２０１）、入力メモリ１０１に記録されている地上デジタルストリームを音声、動画像ストリームに分離する（ステップＳ２０２）。更にコンテンツに字幕データが含まれていれば、これも分離される（ステップＳ２０２）。

音声ストリームは１つ以上のフレームから構成される。図３は、音声ストリーム解析部１０３が行う音声ストリーム解析処理（ステップＳ２０３）の詳細を示すフローチャートである。
図３に示すように、音声ストリーム解析部１０３が行う音声ストリームの解析（ステップＳ３０１）は、分離した音声ストリームに対して、まず基礎情報として、ストリーム中の各フレームのチャネル情報の切り替わり、サンプリングレートの切り替わり、ＡＡＣ情報とＨＥ−ＡＡＣ情報との間の切り替わりの有無を検知する（ステップＳ３０２）。

尚、ここで、ストリーム中の各フレームのチャネル情報の切り替わり、サンプリングレートの切り替わり、ＡＡＣ情報とＨＥ−ＡＡＣ情報相互間の切り替わりの有無のいずれか１つ若しくは複数を検知するように構成してもよい。例えば、前回処理したフレームがＡＡＣ符号化方式のフレームであったが、現在のフレームがＨＥ−ＡＡＣ符号化方式のフレームになった場合を、切り替わり検知のトリガとする。

これら情報の切り替わりが検知された場合、マーキング情報生成部１０４は切り替わりが発生したフレームに対して、シーン変化ポイントの時間情報としてマーキング情報を生成してマーキングする。ＨＥ−ＡＡＣは、ＡＡＣを拡張した方式であり、ＡＡＣの低域信号を元に帯域拡張して、高域成分を擬似的に生成することにより、少ない符号量で高域成分も含んだ信号の生成を可能としたものであり、主にワンセグ放送で用いられている。

また、音声ストリーム解析部１０３がＡＡＣデータと判定した場合（ステップ３０３）、ＡＡＣの符号化データに記録されている信号帯域幅情報のある既定時間内の平均（有効帯域幅平均）が所定の閾値以上の変化をしたことを検知したとき（ステップＳ３０４）、マーキング情報生成部１０４は、それを検知したフレームに対してもマーキング情報を生成する（ステップＳ２０５）。

処理ステップＳ３０３において、音声ストリーム解析部１０３がＨＥ−ＡＡＣデータであると判定した場合、その中に含まれるＡＡＣ部分の信号は、一般的に一定の帯域幅とされている場合が多いため、ＨＥ−ＡＡＣデータである場合は、上記のＡＡＣ部分の解析では、変化箇所を検知できないと考えられる。そのため、音声ストリーム解析部１０３がＨＥ−ＡＡＣデータであることを検出すると（ステップＳ３０５）、マーキング情報生成部１０４は、ＨＥ−ＡＡＣデータ固有の情報であるＳＢＲ（Spectral Band Replication）ヘッダ中に示される帯域拡張範囲の切り替わり箇所をマーキング情報として記録する（ステップＳ２０５）。

更に、音声ストリーム解析部１０３が、音声の急激な増加のため定常時より高解像度で符号化されているフレームを検知し、このフレームの検知間隔の平均が既定以上の変化があると判定した場合（ステップＳ３０６）、マーキング情報生成部１０４は、同様にそれを検知したフレームに対してもマーキング情報を生成する（ステップＳ２０５）。
以上のように処理して、処理ステップＳ２０３の音声ストリーム解析処理を終了する。

また、字幕データの有無の変化もシーン切り替わり箇所として考えられるため、字幕情報解析部１０５がこの変化を検出したら、マーキング情報生成部１０４は、前記変化を検出した時点の時間情報をマーキング情報として記録する（ステップＳ２０４、Ｓ２０５）。
図４にマーキング情報の例を示す。図４中のＴ０、Ｔ１、Ｔ２がそれぞれマーキング情報であり、マーキング情報はフレーム間に設定される。以後、入力デバイス１０７によるユーザからの指示に従い、任意の位置にシークして再生することを可能にする。

以上のようにして入力メモリに記録した放送映像（放送された映像、音声、文字情報を含む情報）の再生制御を行う場合（ステップＳ２０６）、音声デコード部１０８は、処理ステップＳ２０５において生成されたマーキング情報に従い、入力デバイス１０７によってユーザ操作により指定されたマーキングした部分の音声ストリームのデコード処理を音声デコード部１０８が行い（ステップＳ２０７）、スピーカなどの音声出力デバイス１０９から音声信号を出力する（ステップＳ２０８）。

同時に、入力デバイス１０７などからのユーザ操作に従い、再生制御（ステップＳ２０６）において、音声ストリームのデコード処理を開始した箇所と同期するように、動画像デコード部１１０において、動画像デコード処理を行い（ステップＳ２０７）、表示制御部１１２が画像縮小、および字幕データとの合成処理などの表示制御を行った後、ＬＣＤディスプレイなどのビデオ出力デバイス１１３に動画信号を出力する（ステップＳ２０８）。

以上説明したように本発明の実施の形態に係る放送映像再生方法、放送映像再生システムによれば、受信し、記録した音声・字幕ストリームから、シーン変化ポイントをマーキングしておき、ユーザ操作により、任意のマーキング箇所へシークして再生することが可能になる。
マーキング位置の決定は、音声ストリームや文字情報に基づいて行うため、少ない情報処理によってマーキング位置を決定することが可能になる。
また、本実施の形態によれば、前記放送映像再生方法、放送映像再生システムを構築するのに好適な放送映像再生装置を提供することができる。

尚、デジタル放送映像再生システムを構築する場合には、地上デジタルテレビ放送信号を送信する送信装置でありデジタル放送映像装置とともにデジタル放送映像再生システムを構築する地上デジタルテレビ放送局が含められる。
この場合、デジタル放送映像再生装置には、前記地上デジタルテレビ放送信号を受信するためのアンテナや復調部等の受信手段が設けられ、前記受信手段によって受信した地上デジタルテレビ放送信号を入力メモリ１０１に記録するように構成する。入力メモリ１０１に記録した地上デジタルテレビ放送信号に対して、前記したようなマーキング情報生成処理や再生処理等が行われる。

地上デジタルテレビ放送信号には、少なくとも動画像及び音声ストリームが含まれている、また、地上デジタルテレビ放送信号には、音声ストリーム中の各フレームのチャネル情報又はサンプリングレートの情報が含まれている。更に、地上デジタルテレビ放送信号には、字幕情報が含まれる場合もある。
図１に示したようにデジタル放送映像再生装置が前記受信手段を備えないように構成する場合には、受信手段を備えた他の機器によって地上デジタルテレビ放送を受信し、前記機器によって受信した地上デジタルテレビ放送を電気ケーブル（図示せず）等を介して入力メモリ１０１に記録するように構成すればよい。

以上述べたように、本実施の形態に係るデジタル放送映像再生方法によれば、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録し、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録しておき、検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生することを特徴としている。

ここで、音声ストリーム中の各フレームのＡＡＣ情報、ＨＥ−ＡＡＣ情報の切り替わりを検知し、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録することができる。また、音声ストリームがＡＡＣ符号化方式データの場合、ＡＡＣの符号化データに記録されている信号帯域幅情報の既定時間内の平均が所定の閾値以上の変化をしたことを検知したとき、前記変化を検知したフレームに対してもマーキング情報を生成するように構成することができる。

また、音声ストリームがＨＥ−ＡＡＣ符号化方式データの場合、ＨＥ−ＡＡＣ符号化方式データのＳＢＲヘッダ中に示される帯域拡張範囲の切り替わり箇所をマーキング情報として記録するように構成することができる。また、更に、音声ストリームにおける音声の急激な増加のため定常時より高解像度で符号化されているフレームを検知し、前記フレームの検知間隔の平均が所定値以上の変化がある場合、前記検知したフレームに対してもマーキング情報を生成するように構成することができる。

また、更に、音声ストリーム中の各フレームのチャネル情報又はサンプリングレートの切り替わりの有無を検知し、切り替わりが検知された場合、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録するように構成することができる。また、更に、前記記録した放送に含まれる字幕データの有無の変化を検知し、前記検知情報から、前記検知したフレームに対してマーキング情報を生成するように構成することができる。

また、本実施の形態に係るデジタル放送映像再生装置によれば、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段と、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段とを備えて成ることを特徴としている。

ここで、前記マーキング手段は、音声ストリーム中の各フレームのＡＡＣ情報、ＨＥ−ＡＡＣ情報の切り替わりを検知し、切り替わりが検知された場合、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録するように構成することができる。また、前記マーキング手段は、音声ストリームがＡＡＣ符号化方式データの場合、ＡＡＣの符号化データに記録されている信号帯域幅情報の既定時間内の平均が所定の閾値以上の変化をしたことを検知したとき、前記変化を検知したフレームに対してもマーキング情報を生成するように構成することができる。

また、前記マーキング手段は、音声ストリームがＨＥ−ＡＡＣ符号化方式データの場合、ＨＥ−ＡＡＣ符号化方式データのＳＢＲヘッダ中に示される帯域拡張範囲の切り替わり箇所をマーキング情報として記録するように構成することができる。また、前記マーキング手段は、更に、音声ストリームにおける音声の急激な増加のため定常時より高解像度で符号化されているフレームを検知し、前記フレームの検知間隔の平均が所定値以上の変化がある場合、前記検知したフレームに対してもマーキング情報を生成するように構成することができる。

また、前記マーキング手段は、更に、音声ストリーム中の各フレームのチャネル情報又はサンプリングレートの切り替わりの有無を検知し、切り替わりが検知された場合、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録するように構成することができる。また、 前記マーキング手段は、更に、前記記録した放送に含まれる字幕データの有無の変化を検知し、前記検知情報から、前記検知したフレームに対してマーキング情報を生成するように構成することができる。

また、本実施の形態に係るデジタル放送映像再生システムによれば、地上デジタルテレビ放送信号を送信する送信装置と、前記送信装置からの地上デジタルテレビ放送信号を受信する受信手段、前記受信手段によって受信した地上デジタルテレビ放送信号を記録し、前記記録手段に記録した地上デジタルテレビ放送信号を再生する再生手段を有するデジタル放送映像再生装置とを備えたデジタル放送映像再生システムにおいて、前記デジタル放送映像再生装置として前記記載のデジタル放送映像再生装置を用いて成ることを特徴としている。

したがって、本実施の形態に係るデジタル放送映像再生方法、デジタル放送映像再生システムによれば、地上デジタルテレビ放送を受信して記録した映像について、シーン変化を示す情報を効率良く生成し、効率よく視聴できるようにすることが可能になる。
また、本実施の形態に係るデジタル放送映像再生装置によれば、前記デジタル放送映像再生方法、デジタル放送映像再生システムを構築することが可能になる。

また、本実施の形態に係るプログラムは、コンピュータを、少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段に記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段として機能させることを特徴としている。
したがって、コンピュータが本実施の形態に係るプログラムを実行することにより、前記デジタル放送映像再生装置を構築することが可能になる。

少なくとも記録した地上デジタルテレビ放送の再生を行うデジタル放送映像再生方法、デジタル放送映像再生システム及びデジタル放送映像再生装置に利用可能である。

本発明の実施の形態に係るデジタル放送映像再生方法、デジタル放送映像再生システムに使用するデジタル放送映像再生装置のブロック図である。 本発明の実施の形態の動作を説明するフローチャートである。 本発明の実施の形態の動作を説明するフローチャートである。 本発明の実施の形態におけるマーキング情報の例を示す図である。

符号の説明

１０１・・・入力メモリ
１０２・・・ストリーム分離部
１０３・・・音声ストリーム解析部
１０４・・・マーキング情報生成部
１０５・・・字幕情報解析部
１０６・・・再生制御部
１０７・・・入力デバイス
１０８・・・音声デコード部
１０９・・・音声出力デバイス
１１０・・・動画像デコード部
１１１・・・字幕生成部
１１２・・・表示制御部
１１３・・・ビデオ出力デバイス

Claims (19)

1. 少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録し、前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録しておき、検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生するようにして成り、
   音声ストリーム中の各フレームのＡＡＣ情報とＨＥ−ＡＡＣ情報の切り替わりを検知し、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録することを特徴とするデジタル放送映像再生方法。
2. 音声ストリームがＡＡＣ符号化方式データの場合、ＡＡＣの符号化データに記録されている信号帯域幅情報の既定時間内の平均が所定の閾値以上の変化をしたことを検知したとき、前記変化を検知したフレームに対してもマーキング情報を生成することを特徴とする請求項１記載のデジタル放送映像再生方法。
3. 音声ストリームがＨＥ−ＡＡＣ符号化方式データの場合、ＨＥ−ＡＡＣ符号化方式データのＳＢＲヘッダ中に示される帯域拡張範囲の切り替わり箇所をマーキング情報として記録することを特徴とする請求項１記載のデジタル放送映像再生方法。
4. 更に、音声ストリームにおける音声の急激な増加のため定常時より高解像度で符号化されているフレームを検知し、前記フレームの検知間隔の平均が所定値以上の変化がある場合、前記検知したフレームに対してもマーキング情報を生成することを特徴とする請求項１乃至３のいずれか一に記載のデジタル放送映像再生方法。
5. 更に、音声ストリーム中の各フレームのチャネル情報又はサンプリングレートの切り替わりの有無を検知し、切り替わりが検知された場合、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録することを特徴とする請求項１乃至４のいずれか一に記載のデジタル放送映像再生方法。
6. 更に、前記記録した放送に含まれる字幕データの有無の変化を検知し、前記検知情報から、前記検知したフレームに対してマーキング情報を生成することを特徴とする請求項１乃至５のいずれか一に記載のデジタル放送映像再生方法。
7. 少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段と、
   前記記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、
   入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段とを備えて成り、
   前記マーキング手段は、音声ストリーム中の各フレームのＡＡＣ情報とＨＥ−ＡＡＣ情報の切り替わりの有無を検知し、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録することを特徴とするデジタル放送映像再生装置。
8. 前記マーキング手段は、音声ストリームがＡＡＣ符号化方式データの場合、ＡＡＣの符号化データに記録されている信号帯域幅情報の既定時間内の平均が所定の閾値以上の変化をしたことを検知したとき、前記変化を検知したフレームに対してもマーキング情報を生成することを特徴とする請求項７記載のデジタル放送映像再生装置。
9. 前記マーキング手段は、音声ストリームがＨＥ−ＡＡＣ符号化方式データの場合、ＨＥ−ＡＡＣ符号化方式データのＳＢＲヘッダ中に示される帯域拡張範囲の切り替わり箇所をマーキング情報として記録することを特徴とする請求項７記載のデジタル放送映像再生装置。
10. 前記マーキング手段は、更に、音声ストリームにおける音声の急激な増加のため定常時より高解像度で符号化されているフレームを検知し、前記フレームの検知間隔の平均が所定値以上の変化がある場合、前記検知したフレームに対してもマーキング情報を生成することを特徴とする請求項７乃至９のいずれか一に記載のデジタル放送映像再生装置。
11. 前記マーキング手段は、更に、音声ストリーム中の各フレームのチャネル情報又はサンプリングレートの切り替わりの有無を検知し、切り替わりが検知された場合、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録することを特徴とする請求項７乃至１０のいずれか一に記載のデジタル放送映像再生装置。
12. 前記マーキング手段は、更に、前記記録した放送に含まれる字幕データの有無の変化を検知し、前記検知情報から、前記検知したフレームに対してマーキング情報を生成することを特徴とする請求項７乃至１１のいずれか一に記載のデジタル放送映像再生装置。
13. 地上デジタルテレビ放送信号を送信する送信装置と、
    前記送信装置からの地上デジタルテレビ放送信号を受信する受信手段、前記受信手段によって受信した地上デジタルテレビ放送信号を記録し、前記記録手段に記録した地上デジタルテレビ放送信号を再生する再生手段を有するデジタル放送映像再生装置とを備えたデジタル放送映像再生システムにおいて、
    前記デジタル放送映像再生装置として請求項７乃至１２のいずれか一に記載のデジタル放送映像再生装置を用いて成ることを特徴とするデジタル放送映像再生システム。
14. コンピュータを、
    少なくとも動画像及び音声ストリームを含む地上デジタルテレビ放送を記録する記録手段に記録した放送に含まれる音声ストリームの特徴的な変動を検知し、前記検知した情報からシーン変化ポイントとしてマーキング情報を記録するマーキング手段と、
    入力手段からの検索指示に対応するマーキング情報を検出し、前記マーキング情報に対応する音声ストリーム及び該音声ストリームに対応する動画像を同期させて再生する再生手段として機能させると共に、
    前記マーキング手段が、音声ストリーム中の各フレームのＡＡＣ情報とＨＥ−ＡＡＣ情報の切り替わりの有無を検知し、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録するように機能させることを特徴とするプログラム。
15. コンピュータを、
    前記マーキング手段が、音声ストリームがＡＡＣ符号化方式データの場合、ＡＡＣの符号化データに記録されている信号帯域幅情報の既定時間内の平均が所定の閾値以上の変化をしたことを検知したとき、前記変化を検知したフレームに対してもマーキング情報を生成するように機能させることを特徴とする請求項１４記載のプログラム。
16. コンピュータを、
    前記マーキング手段が、音声ストリームがＨＥ−ＡＡＣ符号化方式データの場合、ＨＥ−ＡＡＣ符号化方式データのＳＢＲヘッダ中に示される帯域拡張範囲の切り替わり箇所をマーキング情報として記録するように機能させることを特徴とする請求項１４記載のプログラム。
17. コンピュータを、
    前記マーキング手段が、更に、音声ストリームにおける音声の急激な増加のため定常時より高解像度で符号化されているフレームを検知し、前記フレームの検知間隔の平均が所定値以上の変化がある場合、前記検知したフレームに対してもマーキング情報を生成するように機能させることを特徴とする請求項１４乃至１６のいずれか一に記載のプログラム。
18. コンピュータを、
    前記マーキング手段が、更に、音声ストリーム中の各フレームのチャネル情報又はサンプリングレートの切り替わりの有無を検知し、切り替わりが検知された場合、切り替わりが発生したフレームに対して、シーン変化ポイントとしてマーキング情報を生成して記録するように機能させることを特徴とする請求項１４乃至１７のいずれか一に記載のプログラム。
19. コンピュータを、
    前記マーキング手段が、更に、前記記録した放送に含まれる字幕データの有無の変化を検知し、前記検知情報から、前記検知したフレームに対してマーキング情報を生成するように機能させることを特徴とする請求項１４乃至１８のいずれか一に記載のプログラム。

Images