JP4791422B2 - コマーシャル判別装置、方法及びプログラム - Google Patents

Description

本発明は、デジタル放送番組の記録及び再生技術に関し、特に、デジタル放送番組中のコマーシャルを判別する技術に関する。

一般に、放送番組にはコマーシャルが挿入されている。しかし、コマーシャルカットによる視聴時間の短縮と、番組の盛り上がり部分で挿入されるコマーシャルによって興醒めしたくないのという二つの側面から、記録した放送番組を再生して視聴する際にはコマーシャルをスキップして本編だけを見たいという強い要求がある。こうした背景から、放送番組中のコマーシャルを判別し、それをスキップする技術が数多く提案されている。

従来、番組本編がモノラル音声又はデュアルモノ音声（二カ国語音声）で放送され、コマーシャルがステレオ音声で放送される場合において、これら音声モードの切り替わりを検出することでコマーシャルを判別している。また、所定期間にわたる無音部を検出し、その無音部間の間隔時間と所定コマーシャル時間との差が所定の許容範囲内にあれば、当該部分をコマーシャルと判別している（例えば、特許文献１参照）。
特開平８−２３５６７６号公報

デジタル放送では番組本編及びコマーシャルのいずれもステレオ音声で放送されるため、音声モードの切り替わりに基づくコマーシャル判別は困難である。また、番組本編中の無音部がコマーシャルの開始時又は終了時に相当すると誤判定されると、番組本編の一部がコマーシャルとみなされてカットされるおそれがある。

上記問題に鑑み、デジタル放送番組中のコマーシャルを的確に判別することを課題とする。

上記課題を解決するために本発明が講じた手段は、デジタル放送番組中のコマーシャルを判別する装置又は方法として、順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する字幕データ解析部（第１のステップ）と、映像データを解析して、第１の候補時刻近傍に表示される基準フレームの表示時刻を第１の時刻として取得するとともに第２の候補時刻近傍に表示される基準フレームの表示時刻を第２の時刻として取得する映像データ解析部又は（第２のステップ）と、第１の時刻と第２の時刻との差がコマーシャルの最小提示時間以上であったとき、第１の時刻から遅くとも第２の時刻までの部分をコマーシャルと判別するコマーシャル判別部（第３のステップ）とを備えたものとする。これによると、デジタル放送によって伝送される字幕データ及び映像データに含まれる情報に基づいて、基準フレームの表示時刻を基準にコマーシャルと番組本編とを切り分けて、デジタル放送番組中のコマーシャルを的確に判別することができる。

好ましくは、映像データ解析部（第２のステップ）は、第２の候補時刻直近、かつ、第１の時刻からコマーシャルの最小提示時間の整数倍に相当する時間の経過した時点近傍に表示される基準フレームの表示時刻を、第２の時刻として取得するものであり、コマーシャル判別部（第３のステップ）は、第１の時刻から第２の時刻までの部分をコマーシャルと判別するものとする。これによると、コマーシャルと判別される部分がコマーシャルの最小提示時間の整数倍で終了するため、コマーシャルの提示終了後の番組本編の正当部分がコマーシャルと誤判定されるのを回避することができる。

また、好ましくは、映像データ解析部（第２のステップ）は、第１の時刻からコマーシャルの最大提示時間の経過した時点近傍に表示される基準フレームの表示時刻を、第２の時刻及び新たな第１の時刻として取得するものであり、コマーシャル判別部（第３のステップ）は、第１の時刻から第２の時刻までの部分をコマーシャルと判別するものとする。これによると、長くともコマーシャルの最大提示時間でコマーシャルが区切られて判別されるため、コマーシャルの提示終了後にしばらく字幕が表示されない場合において番組本編がコマーシャルと誤判定されるのを回避することができる。

また、上記課題を解決するために本発明が講じた別の手段は、デジタル放送番組中のコマーシャルを判別する装置又は方法として、順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する字幕データ解析部（第１のステップ）と、映像データを解析して、第１の候補時刻近傍から第２の候補時刻近傍までに表示される基準フレームのそれぞれの表示時刻を取得する映像データ解析部（第２のステップ）と、取得された複数の表示時刻のうち、第１の候補時刻近傍のものを第１の時刻と決定するととともに第１の候補時刻との差がコマーシャルの最小提示時間の整数倍に最も近くかつ最大であるものを第２の時刻として決定し、第１の時刻から第２の時刻までの部分をコマーシャルと判別するコマーシャル判別部（第３のステップ）とを備えたものとする。これによると、デジタル放送によって伝送される字幕データ及び映像データに含まれる情報に基づいて、基準フレームの表示時刻を基準にコマーシャルと番組本編とを切り分けて、デジタル放送番組中のコマーシャルを的確に判別することができる。

さらに、上記のコマーシャル判別装置又は方法は、デジタル放送番組の少なくとも一部に係る映像データを解析して、基準フレームの標準的な表示間隔を算出する表示間隔算出部（第４のステップ）を備え、映像データ解析部（第２のステップ）は、算出された表示間隔とは異なる間隔で表示される基準フレームの表示時刻を取得するものとする。これによると、取得される基準フレームの表示時刻が絞り込まれるため、コマーシャル判別処理の高速化、装置の消費電力低減が可能となる。

好ましくは、上記のいずれのコマーシャル判別装置又は方法においても、字幕データ解析部（第１のステップ）は、画面消去符号のみからなる文字符号データを含む字幕データが連続して入力されたとき、これら字幕データのうち最先のものに係る提示開始時刻を第１の候補時刻として取得することが好ましい。これによると、連続して提示される複数のコマーシャルと一のコマーシャルとして取り扱うことができ、コマーシャル判別処理の高速化、装置の消費電力低減が可能となる。

また、好ましくは、上記のいずれのコマーシャル判別装置又は方法においても、コマーシャル判別部（第３のステップ）は、コマーシャルと判別した連続する二つの部分について先行部分の提示終了時刻と後続部分の提示開始時刻との差が番組本編の最小提示時間よりも小さいとき、先行部分の提示開始時刻から後続部分の提示終了時刻までの部分を一つのコマーシャルと判別することが好ましい。これによると、コマーシャル間の不要な部分をコマーシャルとみなしてカットすることができる。

以上説明したように本発明によると、デジタル放送番組中のコマーシャルを的確に判別することができる。これにより、記録したデジタル放送番組を、コマーシャルをカットして再生することができ、視聴時間を短縮することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

（第１の実施形態）
図１は、第１の実施形態に係るデジタル放送記録再生装置の構成を示す。アンテナ１０は、デジタル放送波を受信する。具体的には、アンテナ１０は、ホイップ（ロッド）アンテナ、ダイポールアンテナ、八木・宇田アンテナ、パラボラアンテナ、ループアンテナ、又は誘電体アンテナなどで実現される。チューナ／復調部２０は、アンテナ１０が受信した放送波を、指定されたチャンネルに対応する周波数に同調させることにより選局を行う。そして、指定されたチャンネルを通じて受信された信号をデジタルストリームデータ、具体的には、ＴＳ（Transport Stream）に復調する。ＴＳは、映像、音声、字幕、及びセクション情報などのデータが多重化されたものである。ＴＳは、必要に応じて記憶手段３０に順次記録される。記憶手段３０は、メモリカード、光ディスク、磁気ディスクなどの記録媒体、これら記録媒体を備えた機器、及び有線又は無線のネットワークなどで実現される。

ＴＳデコーダ４０は、復調されたＴＳあるいは記憶手段３０から読み出したＴＳ、すなわち、デジタル放送コンテンツを解析して、音声、映像、字幕、及びセクション情報などについて、それぞれのデータ、具体的には、ＰＥＳ（Packetized Elementary Stream）を構築する。音声映像処理部５０において、ＡＶデコーダ５２は、映像及び音声ＰＥＳを、それぞれのヘッダ領域に記録されているＰＴＳ（Presentation Time Stamp）、又はＤＴＳ（Decoding Time Stamp）に従ったタイミングでデコードして再生可能な形態の音声及び映像データを構築する。ＡＶエンコーダ５４は、当該音声及び映像データをエンコードして所定のフォーマットに変換する。具体的には、映像データは、ＭＰＥＧ（Motion Picture Experts Group）−２、ＭＰＥＧ−４、Ｈ．２６４、ＤｉｖＸ（登録商標）などの圧縮フォーマットに変換する。音声データは、ＡＡＣ（登録商標）、ＡＡＣ＋ＳＢＲ（登録商標）、ＭＰ３、ＡＴＲＡＣ（登録商標）などの圧縮フォーマットやＰＣＭなどの非圧縮フォーマットなどに変換する。これらフォーマット変換された音声及び映像データは記憶手段３０に順次記録される。

なお、ＡＶデコーダ５２及びＡＶエンコーダ５４をトランスコーダに置換してもよい。トランスコーダを用いることで、音声及び映像ＰＥＳをより高速に所定のフォーマットの音声及び映像データに変換することができる。

また、後述するように、デジタル放送番組の記録中にコマーシャル判別装置６０によってコマーシャルが判別された場合には、当該部分についてはＡＶデコーダ５２及びＡＶエンコーダ５４の少なくとも一方の動作を休止させるようにしてもよい。これにより、コマーシャルと判別された部分の音声及び映像ＰＥＳのデコード又は音声及び映像データへの変換が行われなくなり、デジタル放送番組のうち当該部分が除去されて記録される。これは、記憶手段３０の容量が制限されている場合などに有効である。なお、当該休止の指示は後述するコマーシャル判別部６４が行う。

コマーシャル判別装置６０は、字幕データ解析部６２、映像データ解析部６３、及びコマーシャル判別部６４を備えている。字幕データ解析部６２は、ＴＳデコーダ４０から出力された字幕ＰＥＳを解析して当該字幕ＰＥＳに含まれる文字符号データ及びその提示開始時刻を取得する。文字符号データとは、表示すべき字幕文及び制御符号を指す。字幕ＰＥＳのデータ領域が字幕文データからなる場合、文字符号データは、その字幕文データから取得可能である。また、提示開始時刻は、字幕ＰＥＳのヘッダ領域に含まれているＰＴＳから取得可能である。データ領域に字幕管理データが格納された字幕ＰＥＳは字幕データ解析部６２の解析対象外である。

デジタル放送では、コマーシャルの開始部分に画面消去符号（ＣＳ）のみを含む字幕ＰＥＳ（以下、「単独ＣＳの字幕ＰＥＳ」という）が挿入されている。字幕データ解析部６２は、単独ＣＳの字幕ＰＥＳを検出したとき、当該字幕ＰＥＳに係る提示開始時刻をコマーシャル開始候補時刻として取得する。一方、デジタル放送では、コマーシャルの終了部分に特殊な字幕ＰＥＳが挿入されないため、字幕データ解析部６２は、字幕文データを含む後続の字幕ＰＥＳを検出したとき、当該字幕ＰＥＳに係る提示開始時刻をコマーシャル終了候補時刻として取得する。

一方、デジタル放送で伝送される圧縮符号化された映像データには、復号時にフレーム間予測によって各フレームを再構築する元となる基準フレームが含まれている。例えば、携帯端末向けの地上デジタル放送放送（いわゆるワンセグ放送）などで採用されているＨ．２６４規格に準拠した映像データには、長くとも５秒を超えない間隔（通常は２秒間隔）で基準フレーム（具体的にはＩＤＲ（Instantaneous Decoder Refresh）ピクチャ）が含まれている。特に、シーン転換などで映像が大きく変化する部分には、基準フレームの標準表示間隔にかかわらず、基準フレームを挿入して、一定の再生画質が確保される。したがって、映像が大きく変化する、コマーシャルと番組本編との切り替わり部分では基準フレームが出現することとなる。

映像データ解析部６３は、音声映像処理部５０に入力される映像データを解析して、字幕データ解析部６２が取得したコマーシャル開始候補時刻及びコマーシャル終了候補時刻のそれぞれの近傍（当該時刻前後の基準フレームの標準的な表示間隔程度、具体的には、２〜３秒）に表示される基準フレームの表示時刻を取得する。すなわち、映像データ解析部６３は、字幕データ解析部６２による字幕データの解析結果に基づいて、コマーシャルと番組本編との境界をより高い精度で特定する。具体的には、映像データ解析部６３は、コマーシャル開始候補時刻及びコマーシャル終了候補時刻のそれぞれを含む数秒分の映像ＰＥＳを解析し、当該映像ＰＥＳに含まれる基準フレームの表示時刻をコマーシャル開始時刻及びコマーシャル終了時刻として取得する。基準フレームの表示時刻は、例えば、映像ＰＥＳのヘッダを解析することで取得可能である。

コマーシャル判別部６４は、映像データ解析部６３の解析結果に基づいてデジタル放送番組中のコマーシャルを判別する。具体的には、コマーシャル判別部６４は、映像データ解析部６３が取得したコマーシャル開始時刻とコマーシャル終了時刻との差がコマーシャルの最小提示時間（例えば、１５秒）であったとき、当該部分をコマーシャルと判断する。コマーシャルの最小提示時間を設ける理由は、一般に、コマーシャルの提示時間は最小提示時間の整数倍となっているため、映像データ解析部６３が取得したコマーシャル開始時刻とコマーシャル終了時刻との差が当該最小提示時間よりも短い場合には、その部分は番組本編である可能性が高いからである。

コマーシャル終了後に番組本編が開始してもしばらく字幕が表示されないような場合には、コマーシャルと判別される部分が必要以上に長くなってしまうおそれがある。そこで、コマーシャル判別部６４は、映像データ解析部６３が取得したコマーシャル終了時刻直近の、映像データ解析部６３が取得したコマーシャル開始時刻からコマーシャルの最小提示時間の整数倍に相当する時間の経過した時点までの部分を、コマーシャルと判別するようにしてもよい。あるいは、映像データ解析部６３は、コマーシャル終了候補時刻直近の、取得したコマーシャル開始時刻からコマーシャルの最小提示時間の整数倍に相当する時間の経過した時点近傍に表示される基準フレームの表示時刻を、コマーシャル終了時刻として取得してもよい。前者の場合、比較的容易にコマーシャル終了時刻を修正することができる。後者の場合、基準フレームの表示時刻でコマーシャルと番組本編とを切り分けつつ、コマーシャル終了時刻をより適正な値にすることができる。

また、通常、コマーシャルは長くとも１２０秒程度であることから、取得したコマーシャル開始時刻からコマーシャルの最大提示時間（例えば、１２０秒）の経過した時点近傍に表示される基準フレームの表示時刻を、コマーシャル終了時刻及び新たなコマーシャル開始時刻として取得してもよい。これにより、番組本編がコマーシャルであると誤って判別されることを防ぐことができる。特に、受信中のデジタル放送番組をコマーシャルを判別しながらリアルタイムに記録する場合には、映像データ解析部６３は、図示しないタイマからコマーシャルの最大提示時間の経過の通知を受けるようにすればよい。

メタデータ生成部７０は、受信中のデジタル放送番組中でコマーシャル判別部６４によってコマーシャルと判別された部分を示すメタデータを生成する。メタデータは、例えば、デジタル放送番組を区切るチャプターであったり、各コマーシャルの提示開始時刻及び提示終了時刻が示されたテーブルであったりする。そして、生成されたメタデータは、チューナ／復調部２０から出力されたＴＳ又はＡＶエンコーダ５４から出力された音声及び映像データとともに記憶手段３０に順次記録される。メタデータ生成部７０は、受信中のデジタル放送番組をコマーシャルを判別しながらリアルタイムに記録する場合に機能する。したがって、記憶手段３０に記録されたデジタル放送番組を再生する場合にはメタデータ生成部７０は不要である。

再生制御部８０は、記憶手段３０に記録されているデジタル放送番組を再生する。記録物がＡＶエンコーダ５４によって生成された音声及び映像データである場合には、再生制御部８０は当該記録物をＡＶデコーダ５２に読み出して再生する。ここで、コマーシャル部分を示すメタデータも合わせて記録されている場合には、当該メタデータを参照してコマーシャルをスキップして番組本編のみを再生する。一方、記録物がＴＳである場合には、当該記録物はＴＳデコーダ４０及びＡＶデコーダ５２で再生可能な形態の音声及び映像データにされた後、再生制御部８０によって再生される。ここで、コマーシャル部分を示すメタデータも合わせて記録されている場合には、当該メタデータを参照してコマーシャルをスキップして番組本編のみを再生する。メタデータが記録されていない場合には、コマーシャル判別装置６０が番組中のコマーシャルを判別し、再生制御部８０はその判別結果に基づいてコマーシャルをスキップして番組本編のみを再生する。この場合、番組全体についてコマーシャルの判別処理が完了してから番組を再生してもよいし、字幕ＰＥＳ及び映像ＰＥＳを先読みしてコマーシャルを判別しながら番組を再生するようにしてもよい。後者の場合、コマーシャルの判別結果を一時的に保存するためのバッファが小さくて済むという利点がある。

次に、コマーシャル判別装置６０によるコマーシャル判別処理を図２のフローチャートを参照しながら詳細に説明する。下記のコマーシャル判定処理は、デジタル放送番組の再生又は記録の開始から終了まで繰り返される。

まず、最初の字幕データ（具体的には、字幕ＰＥＳ）が解析され、文字符号データ及びその提示開始時刻が取得される（Ｓ１）。当該字幕データが単独ＣＳの字幕ＰＥＳでなければ（Ｓ２のＮＯ肢）、当該字幕データはコマーシャルの開始部分に挿入されたものではないため、コマーシャル判別処理は終了する。当該字幕データが単独ＣＳの字幕ＰＥＳであれば（Ｓ２のＹＥＳ肢）、映像データ（具体的には、映像ＰＥＳ）が解析され、当該字幕データに係る提示開始時刻（コマーシャル開始候補時刻）近傍に表示される基準フレームの表示時刻がコマーシャル開始時刻Ｔ１として取得されるとともに（Ｓ３）、コマーシャルの最大提示時間を計時するタイマがリセットされる（Ｓ４）。その後、後続の字幕データを受信するか又はタイマがコマーシャルの最大提示時間が経過するまで処理はループする（Ｓ５のＮＯ肢、Ｓ６のＮＯ肢）。

後続の字幕データの受信よりも先にコマーシャルの最大提示時間が経過すると（Ｓ６のＹＥＳ肢）、時刻Ｔ１からコマーシャルの最大提示時間の経過した時点近傍に表示される基準フレームの表示時刻までがコマーシャルと判別される（Ｓ７）。そして、時刻Ｔ１が当該表示時刻に再設定され（Ｓ８）、ステップＳ４に戻ってタイマ６６がリセットされる。

一方、コマーシャルの最大提示時間の経過よりも先に後続の字幕データを受信すると（Ｓ５のＹＥＳ肢）、当該後続の字幕データが解析され、文字符号データ及びその提示開始時刻が取得される（Ｓ９）。ここで、当該字幕データが単独ＣＳの字幕ＰＥＳであれば（Ｓ１０のＹＥＳ肢）、別のコマーシャルの提示が続いて始まったと考えられるため、ステップＳ５に戻ってさらに次の字幕データの受信を待つ。このように、単独ＣＳの字幕ＰＥＳが連続して入力された場合において２度目以降の入力に係るものを無視することで、連続して提示される複数のコマーシャルを一のコマーシャルとして取り扱うことができる。一方、当該字幕データが単独ＣＳの字幕ＰＥＳでなければ（Ｓ１０のＮＯ肢）、映像データが解析され、当該字幕データに係る提示開始時刻（コマーシャル終了候補時刻）近傍に表示される基準フレームの表示時刻がコマーシャル終了時刻Ｔ２として取得される（Ｓ１１）。

その後、時刻Ｔ１からＴ２までの部分がコマーシャルの最小提示時間以上か否かが判定される（Ｓ１４）。当該部分がコマーシャルの最小提示時間よりも小さければ（Ｓ１４のＮＯ肢）、当該部分はコマーシャルではないと考えられるため、コマーシャル判別処理は終了する。一方、当該部分がコマーシャルの最小提示時間以上であれば（Ｓ１４のＹＥＳ肢）、次に当該部分がコマーシャルの最小提示時間の整数倍であるか否かが判定される（Ｓ１５）。整数倍であれば（Ｓ１５のＹＥＳ肢）、時刻Ｔ１からＴ２までの部分はコマーシャルと判別され（Ｓ１６）、コマーシャル判別処理は終了する。一方、整数倍でなければ（Ｓ１５のＮＯ肢）、当該部分の時間長を超えない範囲で、当該部分がコマーシャルの最小提示時間の整数倍となるように時刻Ｔ２が修正されてから（Ｓ１７）、ステップＳ１６でコマーシャルの判別がされる。

（第２の実施形態）
図３は、第２の実施形態に係るデジタル放送記録再生装置の構成を示す。本実施形態に係るデジタル放送記録再生装置は、第１の実施形態とは異なる構成のコマーシャル判別装置６０を備えており、それ以外の部分は第１の実施形態と同様である。以下、コマーシャル判別装置６０の構成及び動作について説明する。

コマーシャル判別装置６０は、表示間隔算出部６１、字幕データ解析部６２、映像データ解析部６３、及びコマーシャル判別部６４を備えている。表示間隔算出部６１は、音声映像処理部５０に入力される映像データを解析して、基準フレームの標準的な表示間隔を算出する。具体的には、映像データに含まれる基準フレームの表示間隔を統計して、最も頻度の高い表示間隔を標準表示間隔とする。例えば、ワンセグ放送の場合、基準フレームは通常２秒間隔で表示されるため、標準表示間隔は２秒と算出されることとなる。なお、標準表示間隔の算出は、デジタル放送番組の全映像データを解析して行う必要はなく、例えば、番組冒頭５分程度の映像データを解析して行えばよい。

字幕データ解析部６２は、ＴＳデコーダ４０から出力された字幕ＰＥＳを解析してコマーシャル開始候補時刻及びコマーシャル終了候補時刻を取得する。当該取得したコマーシャル開始候補時刻及びコマーシャル終了候補時刻は必要に応じて組にして適当なところに記録してもよい。単独ＣＳの字幕ＰＥＳに係る提示開始時刻と後続の字幕ＰＥＳに係る提示開始時刻との差がコマーシャルの最小提示時間よりも短ければ、これら時刻については記録しなくてもよい。単独ＣＳの字幕ＰＥＳが連続して入力されたとき、これら字幕ＰＥＳのうち最先のものに係る提示開始時刻をコマーシャル開始候補時刻として取得するようにしてもよい。また、単独ＣＳの字幕ＰＥＳが入力されてから次の字幕ＰＥＳが入力されるよりも先にコマーシャルの最大提示時間が経過した場合には、その時刻をコマーシャル終了候補時刻及び新たなコマーシャル開始候補時刻として取得するようにしてもよい。特に、受信中のデジタル放送番組をコマーシャルを判別しながらリアルタイムに記録する場合には、字幕データ解析部６２は、図示しないタイマからコマーシャルの最大提示時間の経過の通知を受けるようにすればよい。

映像データ解析部６３は、音声映像処理部５０に入力される映像データを解析して各基準フレームの表示時刻を取得する。当該取得した表示時刻は必要に応じて適当なところに記録してもよい。各基準フレームの表示時刻の取得は、デジタル放送番組の全映像データを解析して行う必要はなく、字幕データ解析部６２が取得したコマーシャル開始候補時刻近傍からコマーシャル終了候補時刻近傍までの映像データを解析して行えばよい。このとき、解析区間をコマーシャル開始候補時刻−１５秒からコマーシャル終了候補時刻＋１５秒までに拡張してもよい。また、コマーシャルと番組本編との切り替わり部分では映像が大きく変化するため、標準表示間隔よりも短い間隔で、すなわち、標準表示間隔とは異なる間隔で基準フレームが出現することが予想されるため、表示間隔算出部６１によって算出された標準表示間隔とは異なる間隔で表示される基準フレームの表示時刻を取得すればよい。これにより、映像データ解析部６３の処理負荷が軽減され、コマーシャル判別装置６０の動作の高速化及び消費電力の低減が可能となる。

コマーシャル判別部６４は、字幕データ解析部６２及び映像データ解析部６３のそれぞれの解析結果に基づいてデジタル放送番組中のコマーシャルを判別する。具体的には、コマーシャル判別部６４は、映像データ解析部６３が取得した複数の表示時刻のうち、字幕データ解析部６２が取得したコマーシャル開始候補時刻近傍のものをコマーシャル開始時刻と決定する。また、これら複数の表示時刻のうち、当該コマーシャル開始候補時刻に対するコマーシャル終了候補時刻を越えない範囲で、コマーシャル開始候補時刻との差がコマーシャルの最小提示時間の整数倍に最も近くかつ最大であるものを、コマーシャル終了時刻と決定する。

例えば、字幕データ解析部６２が取得したあるコマーシャル開始候補時刻からコマーシャル終了候補時刻までの範囲において映像データ解析部６３によって３つの表示時刻Ｔｉｄｒ１，Ｔｉｄｒ２，Ｔｉｄｒ３が取得され、これら表示時刻とコマーシャル開始候補時刻との差がそれぞれ３１秒、４４秒、６６秒であったとする。ここで、コマーシャルの最小提示時間を１５秒とすると、この整数倍に最も近いのはＴｉｄｒ１及びＴｉｄｒ２の二つである。そして、これら二つの時刻のうちコマーシャル開始候補時刻との差が最大となるのはＴｉｄｒ２である。したがって、この場合、コマーシャル判別部６４は、Ｔｉｄｒ２をコマーシャル終了時刻と決定する。

なお、字幕データ解析部６２においてコマーシャルの最小提示時間が考慮されていない場合には、コマーシャル判別部６４は、字幕データ解析部６２が取得したコマーシャル開始候補時刻及びコマーシャル終了候補時刻の組のうちコマーシャルの最小提示時間以上となるもののみを取り扱うようにすればよい。

次に、コマーシャル判別装置６０によるコマーシャル判別処理を図４のフローチャートを参照しながら詳細に説明する。下記のコマーシャル判定処理は、デジタル放送番組の再生又は記録の開始から終了まで繰り返される。

まず、映像データが解析され、基準フレームの標準的な表示間隔である標準表示間隔が算出される（Ｓ１）。また、字幕データが解析され、番組全体のコマーシャル開始候補時刻及びコマーシャル終了候補時刻が取得され記録される（Ｓ２）。また、映像データが解析され、番組全体の基準フレームの表示時刻が取得され記録される（Ｓ３）。ステップＳ２及びＳ３での処理は、同時並行的に行ってもよいし、逐次的に行ってもよい。

次に、コマーシャル開始候補時刻及びコマーシャル終了候補時刻の組が読み出される（Ｓ４）。そして、読み出されたコマーシャル開始候補時刻及びコマーシャル終了候補時刻に基づいて特定されるコマーシャル候補区間において表示される基準フレームの表示時刻が読み出される（Ｓ５）。読み出された複数の表示時刻の中からコマーシャル開始時刻及びコマーシャル終了時刻に該当するものが決定され、当該コマーシャル開始時刻からコマーシャル終了時刻までの部分がコマーシャルと判別される（Ｓ６）。そして、番組終端までコマーシャル判別処理が行われていたならば（Ｓ７のＹＥＳ肢）、コマーシャル判別処理は終了する。そうでなければ（Ｓ７のＮＯ肢）、ステップＳ４に戻り、次のコマーシャル開始候補時刻及びコマーシャル終了候補時刻の組を読み出してコマーシャル判別処理を続行する。

以上説明した第１及び第２の実施形態によると、字幕データ及び映像データに基づいてデジタル放送番組中のコマーシャルを的確に判別することができる。特に、コマーシャルと番組本編との境界を高精度に特定することができる。また、本実施形態に係るコマーシャル判別装置６０は、映像データをデコードすることなくコマーシャル判別を行うため、処理負荷が軽く、比較的高速かつ少ない消費電力で動作可能である。コマーシャル判別装置６０は、コンピュータにコマーシャル判別プログラムを実行させることによって実現可能である。

なお、第１及び第２の実施形態のいずれにおいても、コマーシャルと判別した連続する二つの部分について先行部分の提示終了時刻と後続部分の提示開始時刻との差が番組本編の最小提示時間よりも小さいとき、当該二つの部分に挟まれた部分は、番組スポンサー交代のナレーションなどの番組本編ではない可能性が高い。そこで、このような微少部分をコマーシャルとして判別するために、コマーシャル判別部６４は、コマーシャルと判別した連続する二つの部分に挟まれた部分の時間長が番組本編の最小提示時間よりも短いときには、これら二つのコマーシャルを一つのコマーシャルと判別するようにしてもよい。具体的には、コマーシャル判別部６４は、二つのコマーシャル間が１０秒以下であれば、これら二つのコマーシャルを一つのコマーシャルと判別する。これは、二つのコマーシャル間における番組スポンサー交代のナレーションなどが１０秒程度であることが経験的にわかっているからである。

また、記録されたデジタル放送番組についてコマーシャルをカットして本編のみを再生する場合には、コマーシャル開始時刻はコマーシャル開始候補時刻よりも時間的に後に、コマーシャル終了時刻はコマーシャル終了候補時刻よりも時間的に前になるように、これら時刻を取得又は決定することが好ましい。こうすることでコマーシャルの冒頭と末尾の一部がカットされずに再生される。このように敢えてコマーシャルの冒頭と末尾の一部を再生することで、ユーザに、番組本編が誤ってカットされていないことを示すことができる。

また、第２の実施形態については、表示間隔算出部６１を省略して、標準表示間隔として固定値を与えるようにしてもよい。また、図４に示したステップＳ２及びＳ３において、番組全体を一括処理するのではなく、番組再生中に字幕データ及び映像データをある程度先読みして、コマーシャル開始候補時刻及びコマーシャル終了候補時刻並びに基準フレームの表示時刻を取得するようにしてもよい。この場合、ステップＳ７のＮＯ肢はステップＳ４ではなくステップＳ２及びＳ３に戻るようにすればよい。

本発明に係るコマーシャル判別装置は、デジタル放送番組中のコマーシャルを的確に判別することができるため、デジタル放送記録再生装置などにおけるコマーシャル判別機能として有用である。

第１の実施形態に係るデジタル放送記録再生装置の構成図である。 図１に示したコマーシャル判別装置によるコマーシャル判別処理のフローチャートである。 第２の実施形態に係るデジタル放送記録再生装置の構成図である。 図３に示したコマーシャル判別装置によるコマーシャル判別処理のフローチャートである。

符号の説明

６０ コマーシャル判別装置
６１ 表示間隔算出部
６２ 字幕データ解析部
６３ 映像データ解析部
６４ コマーシャル判別部

Claims (21)

1. デジタル放送番組中のコマーシャルを判別する装置であって、
   順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する字幕データ解析部と、
   映像データを解析して、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を第１の時刻として取得するとともに前記第２の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を第２の時刻として取得する映像データ解析部と、
   前記第１の時刻と前記第２の時刻との差がコマーシャルの最小提示時間以上であったとき、前記第１の時刻から遅くとも前記第２の時刻までの部分をコマーシャルと判別するコマーシャル判別部とを備えた
   ことを特徴とするコマーシャル判別装置。
2. 請求項１に記載のコマーシャル判別装置において、
   前記映像データ解析部は、前記第２の候補時刻直近、かつ、前記第１の時刻から前記コマーシャルの最小提示時間の整数倍に相当する時間の経過した時点前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を、前記第２の時刻として取得するものであり、
   前記コマーシャル判別部は、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別する
   ことを特徴とするコマーシャル判別装置。
3. 請求項１に記載のコマーシャル判別装置において、
   前記映像データ解析部は、前記第１の時刻からコマーシャルの最大提示時間の経過した時点前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を、前記第２の時刻及び新たな前記第１の時刻として取得するものであり、
   前記コマーシャル判別部は、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別する
   ことを特徴とするコマーシャル判別装置。
4. デジタル放送番組中のコマーシャルを判別する装置であって、
   順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する字幕データ解析部と、
   映像データを解析して、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内から前記第２の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内までに表示される基準フレームのそれぞれの表示時刻を取得する映像データ解析部と、
   前記取得された複数の表示時刻のうち、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内のものを第１の時刻と決定するととともに前記第１の候補時刻との差がコマーシャルの最小提示時間の整数倍に最も近くかつ最大であるものを第２の時刻として決定し、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別するコマーシャル判別部とを備えた
   ことを特徴とするコマーシャル判別装置。
5. 請求項４に記載のコマーシャル判別装置において、
   前記デジタル放送番組の少なくとも一部に係る映像データを解析して、基準フレームの標準的な表示間隔を算出する表示間隔算出部を備え、
   前記映像データ解析部は、前記算出された表示間隔とは異なる間隔で表示される基準フレームの表示時刻を取得する
   ことを特徴とするコマーシャル判別装置。
6. 請求項１及び４のいずれか一つに記載のコマーシャル判別装置において、
   前記字幕データ解析部は、画面消去符号のみからなる文字符号データを含む字幕データが連続して入力されたとき、これら字幕データのうち最先のものに係る提示開始時刻を前記第１の候補時刻として取得する
   ことを特徴とするコマーシャル判別装置。
7. 請求項１及び４のいずれか一つに記載のコマーシャル判別装置において、
   前記コマーシャル判別部は、コマーシャルと判別した連続する二つの部分について先行部分の提示終了時刻と後続部分の提示開始時刻との差が番組本編の最小提示時間よりも小さいとき、前記先行部分の提示開始時刻から前記後続部分の提示終了時刻までの部分を一つのコマーシャルと判別する
   ことを特徴とするコマーシャル判別装置。
8. デジタル放送番組中のコマーシャルを判別する方法であって、
   順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する第１のステップと、
   映像データを解析して、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を第１の時刻として取得するとともに前記第２の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を第２の時刻として取得する第２のステップと、
   前記第１の時刻と前記第２の時刻との差がコマーシャルの最小提示時間以上であったとき、前記第１の時刻から遅くとも前記第２の時刻までの部分をコマーシャルと判別する第３のステップとを備えた
   ことを特徴とするコマーシャル判別方法。
9. 請求項８に記載のコマーシャル判別方法において、
   前記第２のステップでは、前記第２の候補時刻直近、かつ、前記第１の時刻から前記コマーシャルの最小提示時間の整数倍に相当する時間の経過した時点前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻が、前記第２の時刻として取得され、
   前記第３のステップでは、前記第１の時刻から前記第２の時刻までの部分がコマーシャルと判別される
   ことを特徴とするコマーシャル判別方法。
10. 請求項８に記載のコマーシャル判別方法において、
    前記第２のステップでは、前記第１の時刻からコマーシャルの最大提示時間の経過した時点前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻が、前記第２の時刻及び新たな前記第１の時刻として取得され、
    前記第３のステップでは、前記第１の時刻から前記第２の時刻までの部分がコマーシャルと判別される
    ことを特徴とするコマーシャル判別方法。
11. デジタル放送番組中のコマーシャルを判別する方法であって、
    順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する第１のステップと、
    映像データを解析して、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内から前記第２の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内までに表示される基準フレームのそれぞれの表示時刻を取得する第２のステップと、
    前記取得された複数の表示時刻のうち、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内のものを第１の時刻と決定するととともに前記第１の候補時刻との差がコマーシャルの最小提示時間の整数倍に最も近くかつ最大であるものを第２の時刻として決定し、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別する第３のステップとを備えた
    ことを特徴とするコマーシャル判別方法。
12. 請求項１１に記載のコマーシャル判別方法において、
    前記デジタル放送番組の少なくとも一部に係る映像データを解析して、基準フレームの標準的な表示間隔を算出する第４のステップを備え、
    前記第２のステップでは、前記算出された表示間隔とは異なる間隔で表示される基準フレームの表示時刻が取得される
    ことを特徴とするコマーシャル判別方法。
13. 請求項８及び１１のいずれか一つに記載のコマーシャル判別方法において、
    前記第１のステップでは、画面消去符号のみからなる文字符号データを含む字幕データが連続して入力されたとき、これら字幕データのうち最先のものに係る提示開始時刻が前記第１の候補時刻として取得される
    ことを特徴とするコマーシャル判別方法。
14. 請求項８及び１１のいずれか一つに記載のコマーシャル判別方法において、
    前記第３のステップでは、コマーシャルと判別した連続する二つの部分について先行部分の提示終了時刻と後続部分の提示開始時刻との差が番組本編の最小提示時間よりも小さいとき、前記先行部分の提示開始時刻から前記後続部分の提示終了時刻までの部分が一つのコマーシャルと判別される
    ことを特徴とするコマーシャル判別方法。
15. コンピュータを、デジタル放送番組中のコマーシャルを判別する装置として機能させるためのプログラムであって、
    順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する字幕データ解析手段、
    映像データを解析して、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を第１の時刻として取得するとともに前記第２の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を第２の時刻として取得する映像データ解析手段、及び
    前記第１の時刻と前記第２の時刻との差がコマーシャルの最小提示時間以上であったとき、前記第１の時刻から遅くとも前記第２の時刻までの部分をコマーシャルと判別するコマーシャル判別手段として、コンピュータを機能させる
    ことを特徴とするコマーシャル判別プログラム。
16. 請求項１５に記載のコマーシャル判別プログラムにおいて、
    前記映像データ解析手段は、前記第２の候補時刻直近、かつ、前記第１の時刻から前記コマーシャルの最小提示時間の整数倍に相当する時間の経過した時点前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を、前記第２の時刻として取得するものであり、
    前記コマーシャル判別手段は、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別する
    ことを特徴とするコマーシャル判別プログラム。
17. 請求項１５に記載のコマーシャル判別プログラムにおいて、
    前記映像データ解析手段は、前記第１の時刻からコマーシャルの最大提示時間の経過した時点前後の基準フレームの標準的な表示間隔程度の時間内に表示される基準フレームの表示時刻を、前記第２の時刻及び新たな前記第１の時刻として取得するものであり、
    前記コマーシャル判別手段は、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別する
    ことを特徴とするコマーシャル判別プログラム。
18. コンピュータを、デジタル放送番組中のコマーシャルを判別する装置として機能させるためのプログラムであって、
    順次入力される字幕データを解析して、画面消去符号のみからなる文字符号データを含む字幕データの当該文字符号データの提示開始時刻を第１の候補時刻として取得するとともにその後に入力された字幕データに含まれる文字符号データの提示開始時刻を第２の候補時刻として取得する字幕データ解析手段、
    映像データを解析して、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内から前記第２の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内までに表示される基準フレームのそれぞれの表示時刻を取得する映像データ解析、及び
    前記取得された複数の表示時刻のうち、前記第１の候補時刻前後の基準フレームの標準的な表示間隔程度の時間内のものを第１の時刻と決定するととともに前記第１の候補時刻との差がコマーシャルの最小提示時間の整数倍に最も近くかつ最大であるものを第２の時刻として決定し、前記第１の時刻から前記第２の時刻までの部分をコマーシャルと判別するコマーシャル判別手段として、コンピュータを機能させる
    ことを特徴とするコマーシャル判別プログラム。
19. 請求項１８に記載のコマーシャル判別プログラムにおいて、
    前記デジタル放送番組の少なくとも一部に係る映像データを解析して、基準フレームの標準的な表示間隔を算出する表示間隔算出手段として、コンピュータを機能させ、
    前記映像データ解析手段は、前記算出された表示間隔とは異なる間隔で表示される基準フレームの表示時刻を取得する
    ことを特徴とするコマーシャル判別プログラム。
20. 請求項１５及び１８のいずれか一つに記載のコマーシャル判別プログラムにおいて、
    前記字幕データ解析手段は、画面消去符号のみからなる文字符号データを含む字幕データが連続して入力されたとき、これら字幕データのうち最先のものに係る提示開始時刻を前記第１の候補時刻として取得する
    ことを特徴とするコマーシャル判別プログラム。
21. 請求項１５及び１８のいずれか一つに記載のコマーシャル判別プログラムにおいて、
    前記コマーシャル判別手段は、コマーシャルと判別した連続する二つの部分について先行部分の提示終了時刻と後続部分の提示開始時刻との差が番組本編の最小提示時間よりも小さいとき、前記先行部分の提示開始時刻から前記後続部分の提示終了時刻までの部分を一つのコマーシャルと判別する
    ことを特徴とするコマーシャル判別プログラム。

Images