JP5658964B2 - コマーシャル検出方法および装置 - Google Patents

Description

本発明は、テレビジョン放送中におけるコマーシャル（広告放送）を自動的に検出するためのコマーシャル検出方法および装置に関する。

テレビジョン放送中におけるコマーシャル（一般にはＣＭ(commercial message)の放送時刻は、大まかに決まってはいるものの、番組のスケジュールが緊急ニュースや番組自体の都合（特に生放送の場合）で変更されることが多いために、厳密には決められていない。そのため、特定の放送局について特定の時刻だけ受信し、特定のＣＭが放送されたかどうかをチェックするという方法では、ＣＭ放送区間を特定することができない。
そこで、テレビジョン放送におけるＣＭを自動的に検出してそのＣＭを自動的に同定する技術の実現が求められている。
従来、テレビジョン放送中におけるＣＭの放送区間を推定する方法の１つとして、無音区間を検出するコマーシャル検出装置が特許文献１に報告されている。

特許文献１には、音声信号における無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として抽出し、１以上のＣＭが連続して存在する区間であるＣＭ放映区間を判定し、ＣＭ放映区間内に含まれる全てのＣＭ候補区間について、当該ＣＭ候補区間に引き続いて、ＣＭとして考えられる時間間隔で無音区間が連続して配列しているかどうかを判定し、より多くのＣＭ候補区間が連続するようにＣＭ候補を抽出する。抽出された各ＣＭ候補に関し、当該ＣＭ候補の開始点及び終了点の近辺に映像信号におけるカット点があれば信頼度が高くなるように、かつ、当該ＣＭ候補の前後の少なくとも一方に他のＣＭ候補が存在すれば信頼度が高くなるように信頼度を算出し、高い信頼度を得たＣＭ候補を出力する、というコマーシャル検出装置が開示されている。

しかしながら、従来のコマーシャル検出装置にあっては、音声(無音区間)のみを用いてCM区間の判断処理を行う場合、音声が無音になるタイミングと、映像が[番組本編→CM]、[CM→番組本編]へ切り替わるタイミングとが一致しないため、映像データの[番組本編→CM]切り替わり(CM-in点)、および[CM→番組本編]切り替わり(CM-out点)についての正確な判断処理ができなくなっていた。このため、CM-in点やCM-out点を含む無音区間の先頭部や終端部、若しくはその中間部を切り替わり点とみなしていた。
このため、コマーシャル検出装置により割り出したCM-in点およびCM-out点を基準にすると、実際の音声信号および映像信号上でのＣＭ区間が例えば数フレーム分ずれてしまうといった問題があった。

特開２００３−４７０３１号公報

そこで、少しでも正確なCM-in点およびCM-out点を割り出すことが切望されている。
本発明は、音声判断のみで抽出したＣＭ区間の開始位置または終了位置を微調整し、最良のCM区間を割り出すことができるコマーシャル検出装置および方法を提供することを目的とする。

上記課題を解決するために、請求項１記載の発明は、テレビジョン放送に含まれるコマーシャル（以下、ＣＭという）を検出するコマーシャル検出方法であって、前記テレビジョン放送の音声信号から無音区間を検出する無音区間検出ステップと、前記検出された前記無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として判定するＣＭ候補判定ステップと、前記判定された前記ＣＭ候補区間に基づいて、２つ以上のコマーシャルが連続して存在する区間であるＣＭ区間を判定するＣＭ区間判定ステップと、前記判定された前記ＣＭ区間の開始位置から所定の時間間隔となる位置に、前記ＣＭ区間に含まれる複数の無音区間のそれぞれが位置するよう、前記ＣＭ区間の開始位置および終了位置について微調整を行う微調整ステップと、を有することを特徴とする。

請求項５記載の発明は、テレビジョン放送に含まれるコマーシャル（以下、ＣＭという）を検出するコマーシャル検出装置であって、前記テレビジョン放送の音声信号から無音区間を検出する無音区間検出手段と、前記検出された前記無音区間から、２つの無音区間が所定の時間間隔で離れて存在する区間をＣＭ候補区間として判定するＣＭ候補判定手段と、前記判定された前記ＣＭ候補区間に基づいて、２つ以上のコマーシャルが連続して存在する区間であるＣＭ区間を判定するＣＭ区間判定手段と、前記判定された前記ＣＭ区間の開始位置から所定の時間間隔となる位置に、前記ＣＭ区間に含まれる複数の無音区間のそれぞれが位置するよう、前記ＣＭ区間の開始位置および終了位置について微調整を行う微調整手段と、を備えたことを特徴とする。

本発明によれば、音声判断のみで抽出したＣＭ区間の開始位置および終了位置を微調整し、最良のＣＭ区間を割り出すことができ、割り出したＣＭ区間の精度を著しく向上することができる。

本発明の実施形態に係るコマーシャル検出装置の構成について説明するためのブロック図である。 本発明の実施形態に係るコマーシャル検出装置に設けられたＣＭ区間微調整部２１の動作概要について説明するためのフローチャートである。 本発明の実施形態に係るコマーシャル検出装置の処理対象となるＣＭ区間を示す説明図（ａ）と、ＣＭ−ｉｎ点の微調整について説明するための説明図（ｂ）である。 無音区間内における映像上の切り替わり点の例を示す説明図である。

以下、本発明の実施形態について、図面を参照して説明する。
図１を参照して、本発明の実施の形態に係るコマーシャル検出装置１１の構成について説明する。
このコマーシャル検出装置１１は、アンテナ１２を介してテレビジョン放送波を受信する受信部１３からのビットストリーム（映像信号及び音声信号）、あるいは予め蓄積部１４に蓄積された放送データ（映像信号及び音声信号）を入力とするものである。なお、このコマーシャル検出装置１１では、放送波に含まれるＣＭ区間を検出してそのＣＭ区間の開始及び終了時刻を出力するので、また、映像信号と音声信号とを独立して処理するものの両者間の時刻同期は確立させる必要があるので、映像信号及び音声信号には、放送波における時刻タイミングを示す情報（タイムスタンプ）が付加されていることが好ましい。

図１に示すコマーシャル検出装置１１は、上述した受信部１３、蓄積部１４に加えて、ストリーム分離部１５、音声解析部１６、無音区間リスト記憶部１７、ＣＭ候補判定部１８、ＣＭ候補リスト記憶部１９、ＣＭ区間判定部２０、ＣＭ区間微調整部２１、ＣＭ区間リスト記憶部２２を備えている。
ストリーム分離部１５は、受信部１３や蓄積部１４から出力された音声と映像が多重化したビットストリームを音声と映像に分離し、分離した音声ビットストリームと映像ビットストリームとを音声解析部１６へ出力する。

音声解析部１６は、音声信号における無音区間を検出する。音声解析部１６は、音声信号からリアルタイムで無音区間を検出する。音声信号における無音区間の検出方法としては、いくつかの周知の方法があるが、ここでは例えば、音声信号を８ビット（２５６値）でサンプリング周波数８ｋＨｚでサンプリングすることとし、５０ミリ秒の長さの区間を１つの単位とし、その５０ミリ秒の単位で無音区間を判定する方法を採用する。

無音区間リスト記憶部１７は、音声解析部１６で検出された無音区間のリストを記憶する。
ＣＭ候補判定部１８は、音声解析部１６で検出した無音区間について、２つの無音区間が、ある時間間隔（例えば１５秒、３０秒）離れて存在する区間を検出し、ＣＭ候補区間として判定して抽出する。
ＣＭ候補リスト記憶部１９は、ＣＭ候補判定部１８で抽出されたＣＭ候補区間をＣＭ候補リストとして記憶する。
ＣＭ区間判定部２０は、CM候補判定部１８で抽出した単一のCM候補同士を比較し、その連続性評価を実施して、複数個のCMが連続していると判断された場合に、その区間をCM区間とみなす(判断する)。
ＣＭ区間微調整部２１は、ＣＭ区間判定部２０で抽出されたＣＭ区間の開始点となる無音区間の開始点について微調整を行う。
ＣＭ区間リスト記憶部２２は、ＣＭ区間微調整部２１で抽出されたＣＭ区間をＣＭ区間リストとして記憶する。
なお、上述した音声解析部１６、ＣＭ候補判定部１８、ＣＭ区間判定部２０、ＣＭ区間微調整部２１におけるそれぞれの処理は、ＣＰＵ、ＲＯＭ、ＲＡＭを有する制御部（図示しない）により動作するものである。

次に、図２に示すフローチャートを参照して、コマーシャル検出装置１１に設けられたＣＭ区間微調整部２１での処理について説明する。なお、図２に示すフローチャートは、制御プログラムとして上記制御部（図示しない）により実行されることとする。
なお、制御部は、ＣＭ区間の開始位置（CM-in点）を評価するための得点となるＣＭ評価カウンタ値とＣＭ区間の開始位置とを１組にしてＣＭ区間リスト記憶部２２に記憶しておくこととする。

まず、それぞれのＣＭを区別するための番号をＬ（Ｌ＝１，２，３，・・・）とし、ＣＭ区間内での最初のＣＭの番号を１とし、最後のＣＭの番号をＭとしておく。
ステップＳ１０では、制御部は、Ｌ＝１として初期化する。なお、ステップＳ２０以降の処理ではＬを現在の処理におけるＣＭの番号として考える。

次いで、ステップＳ１５では、制御部は、ＣＭ区間の先頭の無音区間に対して、初回はその最も先頭にCM-in点を設定する。この結果、図３（ａ）に示すように、CM-in点が設定される。
なお、実際の音声信号上の無音区間と映像信号との位置関係は、図４に示すように、番組本編からＣＭに切り替わるタイミングが無音区間の範囲に入っている場合がある。

ところで、日本国内のＣＭでは、一般に１５秒または３０秒の長さのものが多い。そこで、１５秒をＣＭの基本単位長としておき、１５秒に整数ｎを乗じた時間をＣＭ区間の時間として考える。
次いで、ステップＳ２０では、制御部は、そのCM-in点を基準に次の無音区間、すなわち、先頭ＣＭの終了部分を示す無音区間までの間が、（１５秒×ｎ）の範囲に収まるか否かを判断する。
CM-in(L) + (15×n)＝CM-out(L) ・・・（１）
ここで、収まっている場合には、ステップＳ２５に進む。他方、収まっていない場合には、ステップＳ３０に進む。

次いで、ステップＳ２５では、制御部は、単一のCM単位でカウントするためのＣＭ評価カウンタ値をインクリメントする。なお、収まらない場合は、ＣＭ評価カウンタ値をインクリメントしない。

次いで、ステップＳ３０では、制御部は、Ｌ番目のCM-out(L)を（Ｌ＋１）番目のCM-in(L+1)と見なして置き換え、
CM-in(L+1)＝CM-out(L) ・・・（２）
とする。
次いで、ステップＳ３５では、制御部は、現在処理中のＣＭの番号Ｌをインクリメントする。

次いで、ステップＳ４０では、制御部は、Ｌ≦Ｍ、すなわち、現在処理中のＣＭの番号Ｌが最後のＣＭの番号Ｍ未満か否かを判断する。ここで、現在処理中のＣＭの番号Ｌが最後のＣＭの番号Ｍまで到達していない場合には、ステップＳ２０に戻り、上記の処理を繰り返す。他方、現在処理中のＣＭの番号Ｌが最後のＣＭの番号Ｍまで到達した場合には、ステップＳ４５に進む。
なお、ステップＳ４０からＳ２０に戻ることで、先頭ＣＭの終端(すなわち、次ＣＭの先頭)を基準に、さらに次の無音区間(次のＣＭの終了部分を示す無音区間)までの間が、（１５秒×ｎ）の範囲に収まるか否かを判断する。収まる場合には、ステップＳ２５において、ＣＭ評価カウンタ値をインクリメントする。そして、最後のＣＭの番号Ｍまで繰り返す。

次いで、ステップＳ４５では、制御部は、現在のＣＭ評価カウンタ値はＣＭ区間リスト記憶部２２に格納してあるＣＭ評価カウンタ値より大きいか否かを判断する。大きい場合には、ステップＳ５０に進む。他方、大きくない場合には、ステップＳ５５に進む。

次いで、ステップＳ５０では、制御部は、現在のＣＭ評価カウンタ値と、CM-in点の位置CM-in(L)とをＣＭ区間リスト記憶部２２に格納する。

次いで、ステップＳ５５では、制御部は、CM-in点の位置CM-in(１)に規定値を加算し、新たなCM-in(１)点の位置とする。
CM-in(１)＝CM-in(１)＋規定値 ・・・（３）
なお、無音判断の単位が50ミリ秒なので、上記の規定値を50ミリ秒に設定している。

次いで、ステップＳ６０では、制御部は、CM-in点の位置CM-in(１)が先頭の無音区間長以内か否かを判断する。CM-in点の位置CM-in(１)が先頭の無音区間長よりも大きくなって、はずれている場合には、ステップＳ７０に進む。他方、CM-in点の位置CM-in(１)が先頭無音区間長よりも小さく、はずれていない場合には、ステップＳ６５に進む。
CM-in(１)≦先頭の無音区間長 ・・・（４）

次いで、ステップＳ６５では、制御部は、ＣＭ評価カウンタ値をクリアし、Ｌ＝１と設定し、ステップＳ２０に戻り、同様の処理を繰り返す。

次いで、ステップＳ７０では、制御部は、ＣＭ区間リスト記憶部２２に格納されているCM-in点の位置とＣＭ評価カウンタ値とを読み出し、最もＣＭ評価カウンタ値が高かったCM-in点をこのＣＭ区間のCM-in点と決定する。

次いで、ステップＳ７５では、制御部は、ステップＳ７０で決定されたCM-in点を基準にして、改めてこのＣＭ区間のCM-out点を算出する。すなわち、決定されたＣＭ区間のCM-in点に（１５秒×ｎ）値を加算して、ＣＭ区間の終了位置を算出する。

次いで、ステップＳ８０では、制御部は、ステップＳ７５で算出されたCM-out点が、ＣＭ区間内に収まらず逸脱する場合には、CM-out点を微調整する。すなわち、CM-out点をCM区間内に戻すように微調整する。これは、ＣＭ区間内に含まれる無音区間の区間長が同じではないために、発生することである。
ここで、図３（ｂ）は、ステップＳ７５で算出されたCM-out点が、ＣＭ区間内に収まらずに逸脱した状態を一例として示している。
なお、ステップＳ８０において、CM-out点をCM区間内に戻すように微調整するようにしたが、具体的には、CM-out点をこの無音区間の終端に設定する。

以上のようにして、抽出したＣＭ区間の開始位置および終了位置を微調整し、最良のCM区間を割り出すことができる。
この結果、割り出したCM-in点およびCM-out点を基準にすると、実際の音声信号および映像信号上でのＣＭ区間が、ＣＭ区間の特徴である「15秒×n」の連続性の観点から、従来例と比較してより正確な位置を導き出せるようになり、割り出したＣＭ区間の精度を著しく向上することができる。

本発明は、テレビジョン放送を受信して蓄積することが可能なテレビジョン受信機、パーソナルコンピュータ、情報記録装置に利用できる。

１１ コマーシャル検出装置
１３ 受信部
１４ 蓄積部
１５ ストリーム分離部
１６ 音声解析部
１７ 無音区間リスト記憶部
１８ ＣＭ候補判定部
１９ ＣＭ候補リスト記憶部
２０ ＣＭ区間判定部
２１ ＣＭ区間微調整部
２２ ＣＭ区間リスト記憶部

Claims (5)

1. テレビジョン放送に含まれるコマーシャル（以下、ＣＭという）を検出するコマーシャ
   ル検出方法であって、
   前記テレビジョン放送の音声信号から無音区間を検出する無音区間検出ステップと、
   前記検出された前記無音区間から、２つの無音区間が所定の時間間隔で離れて存在する
   区間をＣＭ候補区間として判定するＣＭ候補判定ステップと、
   前記判定された前記ＣＭ候補区間に基づいて、２つ以上のコマーシャルが連続して存在
   する区間であるＣＭ区間を判定するＣＭ区間判定ステップと、
   前記判定された前記ＣＭ区間の開始位置から所定の時間間隔となる位置に、前記ＣＭ区間に含まれる複数の無音区間のそれぞれが位置するよう、前記ＣＭ区間の開始位置および終了位置について微調整を行う微調整ステップと、を有することを特徴とするコマーシャル検出方法。
2. 前記微調整ステップは、
   単一のＣＭ単位でカウントするためのＣＭ評価カウンタ値とＣＭ区間の開始位置とを１
   組にして記憶する記憶ステップと、
   ＣＭ区間の開始位置にＣＭ時間を示す所定の時間間隔を整数倍した時間を加算した和値
   が単一ＣＭの終了位置に到達した場合に、ＣＭ評価カウンタ値をインクリメントし、ＣＭ
   区間末尾まで処理を繰り返す計数ステップと、
   前記計数ステップによりインクリメントされたＣＭ評価カウンタ値が前記記憶ステップ
   に格納済みのＣＭ評価カウンタ値より大きい場合に、ＣＭ評価カウンタ値とＣＭ区間の開
   始位置とを１組にして前記記憶ステップに記憶する更新ステップと、
   最初のＣＭ区間の開始位置に所定の規定値を加算した和値が先頭の無音区間長を超えて
   いない場合には、前記計数ステップによる処理に戻り、他方、最初のＣＭ区間の開始位置
   に所定の規定値を加算した和値が先頭の無音区間長を超えた場合には、前記記憶ステップ
   から読み出したＣＭ区間の開始位置をこのＣＭ区間の開始位置と決定する決定ステップと
   を有することを特徴とする請求項１記載のコマーシャル検出方法。
3. 前記決定ステップにより決定されたＣＭ区間の開始位置に基づいて、ＣＭ区間の終了位
   置を算出する算出ステップと、
   前記算出されたＣＭ区間の終了位置が無音区間の終了点内に入らなかった場合には、Ｃ
   Ｍ区間の終了位置を無音区間の終了点に修正する修正ステップとを有することを特徴とす
   る請求項２記載のコマーシャル検出方法。
4. 前記微調整ステップは、前記抽出されたＣＭ区間の開始点となる無音区間の範囲で微調
   整を行う、ことを特徴とする請求項１記載のコマーシャル検出方法。
5. テレビジョン放送に含まれるコマーシャル（以下、ＣＭという）を検出するコマーシャ
   ル検出装置であって、
   前記テレビジョン放送の音声信号から無音区間を検出する無音区間検出手段と、
   前記検出された前記無音区間から、２つの無音区間が所定の時間間隔で離れて存在する
   区間をＣＭ候補区間として判定するＣＭ候補判定手段と、
   前記判定された前記ＣＭ候補区間に基づいて、２つ以上のコマーシャルが連続して存在
   する区間であるＣＭ区間を判定するＣＭ区間判定手段と、
   前記判定された前記ＣＭ区間の開始位置から所定の時間間隔となる位置に、前記ＣＭ区間に含まれる複数の無音区間のそれぞれが位置するよう、前記ＣＭ区間の開始位置および終了位置について微調整を行う微調整手段と、を備えたことを特徴とするコマーシャル検出装置。

Images