JP4332988B2 - 信号処理装置及び方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば映像音声記録再生装置に適用されるものであり、特に、テレビジョン放送に付加されるコマーシャルメッセージを蓄積、閲覧、視聴、検索等する場合に好適な信号処理装置及び方法に関するものである。
【０００２】
【従来の技術】
テレビジョン放送やラジオ放送等の公共放送は、一部の有料放送などを除き、企業や団体などを提供者とするコマーシャルメッセージ（以下、単にＣＭとする）を、番組本編中に挿入して放送されることが多い。
【０００３】
視聴者は番組本編の視聴中にはＣＭを不要と感じることもある反面、ＣＭは未知の商品などに対する直接的な情報源であることや、有名俳優の登場するＣＭやストーリー性のあるＣＭなどに代表されるように、作品としてＣＭ自体が視聴対象となる場合も多い。
【０００４】
しかしながら、番組に関しては、例えば番組表などにより事前に放送時間を知ることができるのに対し、ＣＭに関しては、一般には何時放送されるのかを事前には知り得ないため、特定のＣＭを必要に応じて視聴することは難しい。そこで、例えば所定の時間内に放送されるＣＭがすべて蓄積され、必要に応じた閲覧、視聴、検索など可能となれば、上記のような多様な要求に対し、利便性の高い対応が図れると考えられる。
【０００５】
【発明が解決しようとする課題】
ところで、従来より、放送信号からＣＭを検出に関する技術としては、例えば特開平８−３１７３４２号公報、特開平３−１５８０８６号公報、特開平３−２６２２８７２号公報などに、ＣＭをスキップして視聴する技術が公開されている。しかしながら、これら技術ではＣＭの除去はできても、ＣＭの蓄積、閲覧、視聴、検索などを行うことは出来ない。
【０００６】
また、特開平１０−２２４７２４号公報には、ＣＭに付随する情報を検出、蓄積し、同一コマーシャルを１回だけ再生する技術が公開されている。しかしながら、この技術をしてもＣＭの蓄積、閲覧、視聴、検索などの要求を満たすものではなく、また、ステレオモードで放送されることの多いＣＭ区間とスレテオ番組区間とが区別されないため、使用できる範囲は非常に限定されている。
【０００７】
以上のようなことから、放送信号からＣＭ部分を高精度に検出できると共に、そのＣＭの蓄積、閲覧、視聴、検索等を可能とすることが望まれている。
【０００８】
そこで、本発明は、以上のような状況を鑑みてなされたものであり、例えば、放送信号からＣＭ部分を高精度に検出できると共に、そのＣＭの蓄積、閲覧、視聴、検索等を可能とする、信号処理装置及び方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の信号処理装置は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出手段と、上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出する特徴量抽出手段と、上記特徴量に基づき、上記第１の信号の区間を検出する検出手段と、上記検出手段により検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定手段と、上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出する第１の信号抽出手段と、上記抽出された第１の信号を記録する記録手段とを有し、上記入力信号は、映像及び音声信号からなり、上記第１の信号の区間はコマーシャルメッセージ（ＣＭ）区間であり、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、上記判定手段で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である。
【００１０】
また、本発明の信号処理方法は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出工程と、上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出する特徴量抽出工程と、上記特徴量に基づき、上記第１の信号の区間を検出する検出工程と、上記検出工程により検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定工程と、上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出する第１の信号抽出工程と、上記抽出された第１の信号を記録する記録工程とを有し、上記入力信号は、映像及び音声信号からなり、上記第１の信号の区間はコマーシャルメッセージ（ＣＭ）区間であり、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、上記判定工程で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である。
【００１１】
すなわち本発明によれば、入力信号から第１の信号を検出して記録することにより、入力信号から第１の信号を分離し、整理することが可能となる。また、本発明によれば、検出した第１の信号を特徴づける特徴量を抽出し、第１の信号と合わせて記録することにより、例えば第１の信号の閲覧、除去、検索などが容易に実現可能となる。また本発明によれば、第１の信号からそれを代表する索引情報を抽出し、表示することにより、第１の信号の閲覧、検索などが容易に実現可能となる。さらに、本発明によれば、記録された第１の信号から同一のものを例えば除去することで、記録効率を高め、また、閲覧時には同一の信号を複数回閲覧したり検索したり無駄を省くことができる。さらに、本発明によれば、第１の信号が部分的に同一若しくは類似したものを検出することで、様々な検索が可能となっている。
【００１２】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１３】
図１には、本発明の第１の実施の形態の放送信号処理装置の概略構成を示す。
【００１４】
この図１に示す放送信号処理装置には、映像信号，音声信号，制御信号，番組ガイド信号等からなる信号２００ａが入力される。この入力信号２００ａは、地上波放送、衛星放送、ケーブル放送、電話回線等を通じて受信されたもの、若しくはそれらが図示しない別の記録装置に記録された後、再生されたものである。ここで、映像信号，音声信号は、番組本編及びＣＭ部分を含む、放送信号の主要部を構成する信号である。また、制御信号には、放送モード、放送時刻、放送周波数もしくはチャンネル等の情報が含まれ、番組ガイド信号には、ディジタル放送や電話回線等により受信される、上記映像信号や音声信号に関連のあるデータを含む。以下の説明では、これらが単数の放送番組の信号であることを想定して説明するが、同時に複数のチャンネルの信号が入力されてもよい。
【００１５】
この図１に示す放送信号処理装置において、ＣＭ検出部２０２は、上記映像信号／音声信号／制御信号／番組ガイド信号等よりなる入力信号２００ａから、少なくともＣＭ区間の開始時刻（ＣＭ開始時刻と呼ぶ）及びＣＭ区間の長さ（以下、ＣＭ長さと呼ぶ）を検出し、それらＣＭ開始時刻及びＣＭ長さを含むＣＭ検出信号２０２ａを出力する。なお、このＣＭ検出部２０２の詳細な動作とＣＭ開始時刻及びＣＭ長さについては後述する。当該ＣＭ検出部２０２にて検出されたＣＭ検出信号２０２ａは、ＣＭ抽出部２０１とＣＭ特徴抽出部２０３に送られる。
【００１６】
ＣＭ抽出部２０１は、ＣＭ検出部２０２より供給されたＣＭ検出信号２０２ａに基づいて、入力信号２０２ａからＣＭ区間に相当する部分の信号２０１ａを抽出する。すなわち、ＣＭ抽出部２０１は、ＣＭ検出部２０２より供給されたＣＭ検出信号２０２ａに含まれるＣＭ開始時刻からＣＭ長さで指定される時間までのＣＭ区間に相当する信号部分（以下、適宜、ＣＭ部分信号２０１ａと呼ぶ）を、上記入力信号２００ａから抽出し、そのＣＭ区間に相当する映像信号／音声信号／制御信号／番組ガイド信号からなるＣＭ部分信号２０１ａを出力する。このＣＭ部分信号２０１ａは、ＣＭ記録部２０５に送られる。なお、上記ＣＭ検出部２０２からのＣＭ検出信号２０２ａは、入力信号２００ａに対して、その検出処理時間分の遅延が生じているので、ＣＭ抽出部２０１は、内設或いは外付けされた例えば磁気記録装置などからなる一時記憶装置を用いて、上記遅延分を吸収するようにしている。
【００１７】
ＣＭ記録部２０５は、例えば磁気テープや磁気ディスク、光磁気ディスク、記録可能な光ディスク、半導体メモリ等の記録媒体の何れか一つ若しくはそれらの組み合わせを用いて、信号を記録及び再生する装置からなる。当該ＣＭ記録部２０５は、上記ＣＭ抽出部２０１からＣＭ部分信号（ＣＭ区間に相当する映像信号／音声信号／制御信号／番組ガイド信号）２０１ａが供給されたとき、そのＣＭ部分信号２０１ａを記録する。
【００１８】
ここで、図２には、上記図１の構成のうち、上述したＣＭ抽出部２０１、ＣＭ検出部２０２、ＣＭ記録部２０５の部分のみを抜き出したサブセットを示しており、図３にはこれら図２に抜き出した部分の動作の流れをフローチャートとして示す。
【００１９】
図３において、先ず、図２のサブセットでは、ステップＳ２２０として、上記入力信号２００ａである映像信号／音声信号／制御信号／番組ガイド信号が順次入力されると、ステップＳ２２１として、その入力信号２００ａがＣＭ抽出部２０１に前記内設或いは外付けされた一時記憶装置に保存される。
【００２０】
同時に、図２のサブセットでは、前述のようにＣＭ区間の開始時刻とＣＭ区間の長さをＣＭ検出部２０２により検出する。ここで、ステップＳ２２２として、入力信号２００ａについて、信号がＣＭ区間に相当するか否かの検出を行い、ＣＭ区間であると判定した場合にはステップＳ２２３の処理に進み、ＣＭ区間でないと判定判定した場合にはステップＳ２２５の処理に進む。
【００２１】
ステップＳ２２３の処理に進むと、ＣＭ抽出部２０１により入力信号２００ａからＣＭ区間に相当する映像信号／音声信号／制御信号／番組ガイド信号の信号２０１ａを抽出し、その後、ステップＳ２２４において当該抽出された信号をＣＭ記録部２０５により保存する。
【００２２】
その後、図２のサブセットでは、ステップＳ２２５の処理に進むと、ＣＭ抽出部２０１に一時的に記憶した信号を破棄し、ステップＳ２２０に戻って上述した処理を繰り返す。
【００２３】
図１に戻り、ＣＭ特徴抽出部２０３では、上記ＣＭ検出部２０２より供給されたＣＭ検出信号２０２ａに基づいて、入力信号２００ａからＣＭの特徴を抽出する。すなわち、ＣＭ特徴抽出部２０３は、ＣＭ検出部２０２より供給されたＣＭ検出信号２０２ａに含まれるＣＭ開始時刻からＣＭ長さで指定される時間までのＣＭ区間に相当する信号部分について、その信号部分が有する特徴を抽出（後述するＣＭとしての特徴を表すことになる特徴量を抽出）し、その特徴量２０３ａをＣＭ記録部２０５へ出力する。なお、上記ＣＭ検出部２０２からのＣＭ検出信号２０２ａは、入力信号２００ａに対して、その検出処理時間分の遅延が生じているので、ＣＭ特徴抽出部２０３は、内設或いは外付けされた例えば磁気記録装置などからなる一時記憶装置を用いて、上記遅延分を吸収するようにしている。当該一時記憶装置は、ＣＭ抽出部２０１の一時記憶装置と共有することが可能である。
【００２４】
ここで、上記ＣＭを特徴付ける特徴量としては、映像信号及び音声信号から抽出される、以下の振幅特徴量、スペクトル特徴量、線形予測係数、輝度ヒストグラム及び色ヒストグラム、平均輝度、輝度差分エネルギー、カットチェンジ回数及び時刻などのような物理量の一部又は全部を用いることができる。これらの特徴量は、同一のＣＭでは同一のパターンとなり、異なるＣＭでは異なるパターンとなるものであるから、ＣＭを特徴付けるものと言うことができる。
【００２５】
以下の説明では、入力音声信号及び映像信号は離散化されているとし、図４の（ｂ）に示すＳ[m]により入力音声信号を表し、ｍ＝０，１，…，Ｍ−１により離散化された時間を表し、Ｍにより処理フレームに対応する離散時間を表わすことにする。また、図４の（ａ）に示すＩ[x,y;l]により入力映像信号を表し、ｌ＝０，１，…，Ｌ−１により入力映像の各映像フレームを表し、Ｌにより処理フレームに対応する映像フレーム数を、ｘ＝０，…，Ｘ−１は横方向の画素番号を、Ｘは横方向の映像サイズを、ｙ＝０，…，Ｙ−１は縦方向の画素番号を、Ｙは縦方向の映像サイズを表すことにする。なお、処理フレームは、所定の時間長の処理単位であり、例えば２５０ｍｓとする。さらに、図４の（ｃ）に示すように、ＣＭ区間長に対応するフレーム数をＮで表わす。
【００２６】
以下、各特徴量について説明する。
【００２７】
先ず、処理フレームｎの振幅特徴量Ａ[n]は、フレームｎ内の音声信号の平均二乗振幅値であり、式（１）ように得られる。
【００２８】
【数１】

【００２９】
これをＣＭ区間の全フレームについてまとめたベクトルをＡ＝(A[0],A[1],…,A[N-1]）で表す。
【００３０】
次に、処理フレームｎのスペクトル特徴量Ｆ[k;n]は、フレームｎ内の平均スペクトルであり、式（２）ようにして得られる。
【００３１】
【数２】

【００３２】
ただし、ｋ＝０，…，Ｋは離散化周波数を表わす番号であり、Ｋは対象とする最高周波数を表わす。この演算は、ＦＦＴや線形予測分析などを用いて実装される。周波数離散化のステップは、式（２）のｋを再離散化することで、例えば１ｋＨｚ毎といった線形なものにすることも、例えば１オクターブ毎といった非線型なものにすることもできる。また、これをＣＭ区間の全フレームについてまとめたベクトルをＦ＝（F[0;0],F[1;0],…,F[K-1;N-1]）で表わす。
【００３３】
次に、処理フレームｎにおける線形予測係数Ｐ[k;n]は、例えばLinear Predictionof Speech （Markel他者、Springer‐Verag,1978）等に示される、ＬＰＣアルゴリズムを用いて計算される。ｋ＝０，…，Ｋ−１は、線形予測係数を表わす番号、Ｋは予測次数である。また、これをＣＭ区間の全ワレームについてまとめたベクトルをＰ＝(P[0;0],P[1;0],…,P[K-1;N-1]）で表わす。
【００３４】
次に、処理フレームｎの輝度ヒストグラムＨ₁[q;n]は、フレームｎ内の映像信号の輝度のヒストグラムである。ただし、ｑ＝０,…,Ｑ−１は、輝度に対する升目を表わすインデックス番号であり、Ｑはビスとグラムの升目の数である。
【００３５】
処理フレームｎの色ヒストグラムＨ_C[q;n]は、フレームｎ内の信号の各色毎の強度のヒストグラムである。ただし、ｑ＝０，…，Ｑ−１は、色及び強度の升目を表わすインデックス番号であり、Ｑはヒストグラムの升目の数である。
【００３６】
これら輝度ヒストグラム、色ヒストグラムをそれぞれＣＭ区間の全フレームについてまとめたベクトルを、Ｈ_I＝（H_I[0;0],H_I[1;0],…,H_I[Q-1;N-1]）、及び、Ｈ_C＝（H_C[0;0],H_C[1;0],…,H_C[Q-1;N-1]）により表す。
【００３７】
次に、処理フレームｎの平均輝度Ｂ[n]は、フレームｎ内の映像信号の平均輝度であり、式（３）に示すように求められる。
【００３８】
【数３】

【００３９】
これをＣＭ区間の全フレームについてまとめたベクトルをＢ＝（B[0],B[1],…,B[N-1]）で表す。
【００４０】
次に、処理フレームｎの輝度差分エネルギーＤ[n]は、隣接する映像フレームの画素間差分エネルギーであり、例えば式（４）により求められる。
【００４１】
【数４】

【００４２】
これをＣＭ区間の全フレームについてまとめたベクトルをＤ＝（D[0],D[1],…,D[N-1]）で表わす。なおこの演算は、画素間差分に代えて、全画面の平均輝度の差分や、水平×垂直方向に８×８画素や１６×１６画素といったブロック間の差分を用いることもできる。
【００４３】
次に、処理フレームｎのカットチェンジ回数Ｃ[n]は、処理フレームｎ内で、隣接映像フレーム間の画素差分エネルギーが所定の閾値を越えるフレーム数であり、式（５）により求められる。
【００４４】
【数５】

【００４５】
ただし、Count^b _a(f)は、ａからｂまでの区間内で評価式ｆが満足される回数を表わす関数であり、Ｄ_thsdは、輝度差分エネルギーに関する所定の閾値である。これをＣＭ区間の全処理フレームについてまとめたベクトルをＣ＝（C[0],C[1],…,C[N-1]）で表わす。
【００４６】
また、カットチェンジ時刻は、Ｃ[n]＞０となるフレーム番号ｎとして求めることができ、ＣＭ区間全体でのカットチェンジ回数は、Ｃ[n]の総和として求めることができる。
【００４７】
上記ＣＭ特徴抽出部２０３では、以上に説明した特徴量の一部又は全部を、各ＣＭ区間毎に検出する。すなわち、ＣＭ区間を特徴付ける特徴量は、式（６）に示されるベクトルＶとして表わされることになる。
【００４８】
Ｖ＝｛Ａ，Ｆ，Ｐ，Ｈ_I，Ｈ_C，Ｂ，Ｄ，Ｃ｝ (6)
また、特徴ベクトルＶは、式（７）のようにも表すことができる。
【００４９】
Ｖ＝｛V[0]，V[1]，…，V[N-1] ｝ (7) 但し、Ｖ[n]は式（８）に示されるように、処理フレームｎにおける各々の特徴量を、ベクトルとしてまとめたものである。
【００５０】
Ｖ＝｛A[n]，F[k;n]，P[k;n]，H_I[n]，H_C[n]，B[n]，D[n]，C[n] ｝ (8)ＣＭ特徴抽出部２０３により抽出された上記の特徴量は、先に説明したＣＭ抽出部２０１で抽出されたＣＭ区間に相当するＣＭ部分信号（映像信号／音声信号／制御信号／番組ガイド信号）２０１ａと合わせて、ＣＭ記録部２０５に蓄積される。
【００５１】
ここで、図５には、上記図１の構成のうち、上述したＣＭ抽出部２０１、ＣＭ検出部２０２、ＣＭ特徴抽出部２０３、ＣＭ記録部２０５の部分のみを抜き出したサブセットを示しており、図６にはこれら図３に抜き出したサブセット部分の動作の流れをフローチャートとして示す。なお、図６のフローチャートにおいて、図３と重複する部分については図３と同じ指示符号を付してその説明は省略し、ＣＭ特徴抽出部２０３に係る部分に限って説明する。
【００５２】
図６において、図５のサブセットでは、前記ステップＳ２２０により、の処理後、ステップＳ２３３の処理に進むと、上記入力信号２００ａである映像信号／音声信号／制御信号／番組ガイド信号が順次入力されると、ステップＳ２３１として、その入力信号２００ａがＣＭ特徴抽出部２０３に前記内設或いは外付けされた一時記憶装置に保存される。
【００５３】
同時に、ＣＭ検出部２０２によりＣＭ区間の開始時刻とＣＭ区間の長さが検出され、前記ステップＳ２２２においてＣＭ区間であると判定した場合にはステップＳ２３３の処理に進み、ＣＭ区間でないと判定判定した場合にはステップＳ２３５の処理に進む。
【００５４】
図５のサブセットでは、ステップＳ２３２の処理に進むと、ＣＭ特徴抽出部２０３により、ＣＭ区間に相当する映像信号／音声信号／制御信号／番組ガイド信号から、ＣＭの特徴量を抽出し、ステップＳ２３４において当該抽出された特徴量をＣＭ記録部２０５により保存する。
【００５５】
その後、図５のサブセットでは、ステップＳ２３５の処理に進むと、ＣＭ特徴抽出部２０３に一時的に記憶した信号を破棄し、ステップＳ２２０に戻って上述した処理を繰り返す。
【００５６】
図１に戻り、上述のようにしてＣＭ記録部２０５に記録されたＣＭ区間に相当するＣＭ部分信号（映像信号／音声信号／制御信号／番組ガイド信号）２０１ａと、ＣＭ区間の特徴量２０３ａは、当該ＣＭ記録部２０５から読み出され、ＣＭ索引生成部２０６と、ＣＭ閲覧部２０８に送られる。
【００５７】
ＣＭ索引生成部２０６は、ＣＭ記録部２０５から供給されたＣＭ部分信号２０１ａと特徴量２０３ａに基づいて、ＣＭを代表して索引となる情報を生成し、その情報（以下、ＣＭ索引情報と呼ぶ）２０６ａをＣＭ閲覧部２０８に送る。
【００５８】
ここで、ＣＭ索引情報２０６ａとしては、例えば以下の開始点画像、カット点画像、カット点映像、開始部音声、終了部音声等を示す情報を用いる。
【００５９】
以下、これらのＣＭ索引情報２０６ａについて説明する。
【００６０】
先ず、開始点画像とは、ＣＭ区間の開始点の画像であり、この開始点画像を索引情報の一つとする。
【００６１】
カット点画像とは、ＣＭ区間の各カット点の画像であり、このカット点画像を索引情報の一つとする。なお、カット点は、特徴量Ｃ[n]が０より大きい処理フレームであるので、その時刻の画像を用いる。通例、一つのＣＭ内にカット点は複数あるので、例えば最初又は最後のカット点といった、所定の基準により一枚の画像を選択する。
【００６２】
カット点映像とは、ＣＭ区間の各カット点の画像をつないで時系列化し、映像としたものであり、このカット点映像を索引情報の一つとする。通例、一つのＣＭ内にカット点は複数あるので、カット点の画像を全てつなぐことで新たな短い映像が生成される。
【００６３】
開始部音声とは、ＣＭ区間の最初の部分の所定の時間、例えば２秒間の音声であり、この開始部音声を索引情報の一つとする。特に、音声の開始部では、短いＣＭのイントロダクションとして特徴的な音声が存在する場合があるため、これをＣＭ索引とすることは有用である。
【００６４】
終了部音声とは、ＣＭ区間の最初の部分の所定の時間、例えば２秒間の音声であり、この終了部音声を索引情報の一つとする。特に、音声の終了部では、商品名また会社や団体が共通に使用する映像や音声などが存在することが多いため、これをＣＭの索引とすることは有用である。
【００６５】
上記ＣＭ記録部２０５からのＣＭ部分信号２０１ａ及びＣＭ区間の特徴量２０３ａ（以下これらを纏めて、適宜、記録部再生信号２０５ａと呼ぶ）と、上記ＣＭ索引生成部２０６からのＣＭ索引情報２０６ａとが供給されるＣＭ閲覧部２０８は、表示プロセッサ８０１と表示部８０２とからなる。
【００６６】
表示部８０２は、例えばＣＲＴ（陰極線管）や液晶モニタ等の表示デバイスとスピーカなどで構成され、映像及び音声をユーザに提示する。
【００６７】
また、ＣＭ閲覧部２０８の表示プロセッサ８０１には、ユーザ２０９の選択指示２０９ａに応じてＣＭ選択部２０７が発生したユーザ選択情報２０７ａも供給される。すなわち、後述するように、表示部８０２に表示されたＣＭ索引画像又は映像やアイコン等をユーザ２０９が閲覧２０８ａし、その表示部８０２に表示されたＣＭ索引画像又は映像やアイコン等に対して、例えばマウスやリモートコマンダ、タッチパネル等のポインティングデバイスを通じてユーザ２０９が選択指示２０９ａを与えると、ＣＭ選択部２０７はその選択指示２０９ａに応じたユーザ選択情報２０７ａを発生し、このユーザ選択情報２０７ａがＣＭ閲覧部２０８の表示プロセッサ８０１に送られる。
【００６８】
表示プロセッサ８０１は、上記ＣＭ索引情報２０６ａ及び記録部再生信号２０５ａ（特に映像／音声信号部分）と、上記ＣＭ選択部２０７からのユーザ選択情報０２７ｂとを受け、ユーザに提示する表示の操作を行う。なおこれは、プロセッサとソフトウェアなどにより実装される。
【００６９】
以下、図７に示す表示部８０２の表示画面例を参照しながら、上記表示プロセッサ８０１の動作を説明する。
【００７０】
表示プロセッサ８０１は、先ず、図７に示すように、上記ＣＭ索引情報２０６ａに基づく複数のＣＭについてのＣＭ索引画像又は映像８１０を、１画面内に配置して、表示部８０２に表示する。なお、ＣＭ索引画像又は映像８１０としては、各ＣＭの開始点画像又はカット点映像が表示される。ＣＭ数が多い場合（ＣＭ索引画像又は映像８１０の数が多い場合）には、複数のページに分けた表示等が行われる。また、表示プロセッサ８０１は、ＣＭ選択部２０７においてユーザの指示を入力するためのアイコン８１１〜８１４等を、上記ＣＭ索引画像又は映像８０１と共に１画面内に配置して、表示部８０２に表示する。図７の表示例では、１画面内に１２個のＣＭ索引画像又は映像８１０と、ＣＭ再生アイコン８１１、音声専生アイコン８１２、前ページアイコン８１３、次ページアイコン８１４が表示されている。
【００７１】
この図７のような表示がなされている状態で、ＣＭ選択部２０７からのユーザ選択情報２０７ａを受けると、表示プロセッサ８０１は、そのユーザ選択情報２０７ａに従い、表示を変更する。すなわち、表示プロセッサ８０１は、例えばＣＭ選択部２０７を介してユーザ２０９が各ＣＭ索引画像又は映像８１０のうち何れか或いは複数を選択すると、その選択指示に応じたＣＭ索引画像又は映像８１０を、例えばハイライト表示等する。
【００７２】
また、図７のような表示がなされている状態で、例えばＣＭ選択部２０７を介してユーザ２０９により各アイコンのうちの何れかが選択指示されると、表示プロセッサ８０１は、その選択指示がなされたアイコンに応じた処理を行う。すなわち、表示プロセッサ８０１は、例えば、ＣＭ再生アイコン８１１がユーザ選択情報２０７ａにより指定された場合、上記ＣＭ索引画像又は映像８１０の中で既に選択されているＣＭの映像及び音声を再生させる。また、表示プロセッサ８０１は、例えば音声再生アイコン８１２がユーザ選択情報２０７ａにより指定されると、上記ＣＭ索引画像又は映像８１０の中で既に選択されているＣＭの開始点音声又は終了点音声又は全音声を再生させる。また、表示プロセッサ８０１は、例えば、前ページアイコン８１３がユーザ選択情報２０７ａにより指定されると、その時の表示画面の直前に表示されていたページのＣＭ索引画像又は映像８１０群を画面上に表示させ、一方、例えば次ページアイコン８１４がユーザ選択情報２０７ａにより指定されると、次のページのＣＭ索引画像又は映像８１０群（閲覧されていない他のＣＭ索引画像又は映像８１０群）を画面上に表示させる。
【００７３】
ここで、図８には、上記図１の構成のうち、上述したＣＭ記録部２０５、ＣＭ索引生成部２０６、ＣＭ閲覧部２０８、ＣＭ選択部２０７の部分のみを抜き出したサブセットを示しており、図９にはこれら図８に抜き出したサブセット部分の特にＣＭ閲覧部２０８の動作の流れをフローチャートとして示す。
【００７４】
図９において、ＣＭ閲覧部２０８は、先ず、ステップＳ２４０として、最初のページのＣＭ群を指定し、次に、ステップＳ２４１として、上記指定されたＣＭ群に対応する映像信号／音声信号をＣＭ記録部２０５より取得し、その後、ステップＳ２４２として、ＣＭ索引生成部６によりＣＭ索引情報２０６ａが生成される。
【００７５】
次に、ステップＳ２４３として、ＣＭ閲覧部２０８の表示プロセッサ８０１は、上記ＣＭ索引情報２０６ａに基づいて、上記図７に示したような表示を行うための表示画面を生成して表示部８０２に表示させ、ステップＳ２４４として、その表示状態でユーザ２０９の指示入力（ユーザ選択情報２０７ａの入力）がなされるまで待機する。
【００７６】
ここで、ユーザ２０９の指示入力に応じて上記ＣＭ選択部２０７により生成されたユーザ選択情報２０７ａが、ＣＭ索引を指定するものであった場合、表示プロセッサ８０１は、ステップＳ２４５として、ユーザ選択情報２０７ａにより指定されたＣＭ索引画像又は映像８１０を選択し、ステップＳ２４３として、当該選択したＣＭ索引画像又は映像８１０をハイライト表示した表示画面を再生成して表示部８０２に表示させた後、ステップＳ２４４により、その表示状態でユーザ２０９の指示入力の待機状態となる。
【００７７】
また、上記ユーザ選択情報２０７ａが、ＣＭ再生アイコン８１１を指定するものであった場合、表示プロセッサ８０１は、ステップＳ２４６として、ユーザ選択情報２０７ａにより既に指定されているＣＭ索引画像又は映像８１０に対応するＣＭの映像及び音声信号をＣＭ記録部２０５から再生させ、ステップＳ２４３として、当該再生された映像信号に応じた表示画面を再生成して表示部８０２に表示させた後、ステップＳ２４４により、その表示状態でユーザ２０９の指示入力の待機状態となる。
【００７８】
また、上記ユーザ選択情報２０７ａが、音声再生アイコン８１２を指定するものであった場合、表示プロセッサ８０１は、ステップＳ２４７として、ユーザ選択情報２０７ａにより既に指定されているＣＭ索引画像又は映像８１０に対応するＣＭの開始音声又は終了音声又は全音声信号をＣＭ記録部２０５から再生させ、ステップＳ２４３として、当該再生された音声信号に応じた音声をスピーカから出力させた後、ステップＳ２４４により、その状態でユーザ２０９の指示入力の待機状態となる。
【００７９】
また、上記ユーザ選択情報２０７ａが、前ページアイコン８１３を指定するものであった場合、表示プロセッサ８０１は、ステップＳ２４８として、その直前に表示されていた表示画面のＣＭ索引画像又は映像８１０に対応するＣＭの映像及び音声信号をＣＭ記録部２０５から再生させ、ステップＳ２４３として、当該再生された映像信号に応じた表示画面を表示部８０２に表示させた後、ステップＳ２４４により、その表示状態でユーザ２０９の指示入力の待機状態となる。
【００８０】
また、上記ユーザ選択情報２０７ａが、次ページアイコン８１４を指定するものであった場合、表示プロセッサ８０１は、ステップＳ２４９として、次に表示される表示画面のＣＭ索引画像又は映像８１０に対応するＣＭの映像及び音声信号をＣＭ記録部２０５から再生させ、ステップＳ２４３として、当該再生された映像信号に応じた表示画面を表示部８０２に表示させた後、ステップＳ２４４により、その表示状態でユーザ２０９の指示入力の待機状態となる。
【００８１】
以下、この繰り返しである。
【００８２】
図１に戻り、前記ＣＭ記録部２０５に記録されている各ＣＭの特徴ベクトルＶは、信号２０５ｂとして特徴比較部２０４に送られる。
【００８３】
特徴比較部２０４は、読み出し制御信号２０４ａによりＣＭ記録部２０５に記録されている各ＣＭの特徴ベクトルＶを読み出す。当該特徴比較部２０４は、上記ＣＭ記録部２０５から読み出した各ＣＭの特徴ベクトルＶ_iを用いて、各ＣＭが同一のＣＭか否かの比較を行う。ここで、ｉは各ＣＭを区別するためのインデックス（インデックスの変数）である。当該特徴比較部２０４における２つのＣＭの特徴ベクトルＶ_iとＶ_jの比較は次のようにして行う。
【００８４】
先ず、評価関数Ｊ(i,j)を、式（９）のように計算する。
【００８５】
【数６】

【００８６】
続いて、Ｊ(i,j)を所定のスレッショルドＪ_thsdと比較し、Ｊ_thsd以下ならば同一のＣＭと判断し、Ｊ_thsdより大きければ異なるＣＭと判断する。このような比較を、ＣＭ記録部２０５に記録されている全てのＣＭについて行い、同一と判断されたＣＭのうち、どちらかをＣＭ記録部２０５から除去する。これにより、ＣＭ記録部２０５に記録されている信号のうち、同一のＣＭにかかる信号は除去されることとなる。
【００８７】
ここで、図１０には、上記図１の構成のうち、上述したＣＭ記録部２０５、特徴量比較部２０４の部分のみを抜き出したサブセットを示しており、図１１にはこれら図１０に抜き出したサブセット部分の特に特徴比較部２０４の動作の流れをフローチャートとして示す。
【００８８】
図１１において、特徴比較部２０４は、先ず、ステップＳ２５０として、上記インデックスの変数ｉを０にセットし、次に、ステップＳ２５１として、インデックスの変数ｊをｉ＋１にセットする。
【００８９】
続いて、特徴比較部２０４は、ステップＳ２５２として、特徴ベクトルＶ_i，Ｖ_jより評価関数Ｊ(i,j)を計算し、所定の閾値Ｊ_thsdと比較する。ここで、当該比較の結果、閾値を下回っていると判定した場合（Ｙｅｓ）は、同一のＣＭと判断し、ステップＳ２５３として、特徴ベクトルＶ_jで表わされるＣＭをＣＭ記憶部２０５より除去する。一方、閾値を下回っていないと判定した場合（Ｎｏ）は、異なるＣＭであると判断し次のステップＳ２５４に進む。
【００９０】
ステップＳ２５４に進むと、特徴比較部２０４は、ｊが対象とするＣＭの中で、最後のＣＭ番号かどうかチェックする。ここで、最後のＣＭでないと判定した場合（Ｎｏ）は、ステップＳ２５５にてｊをインクリメントし、続いてステップＳ２５２にて再び閾値との比較に戻る。一方、最後のＣＭであると判定した場合（Ｙｅｓ）は、ステップＳ２５６として、ｉが対象とするＣＭの中で、最後のＣＭであるかどうかをチェックする。ここで、最後のＣＭではないと判定した場合（Ｎｏ）は、ステップＳ２５７としてｉをインクリメントし、続いてステップＳ２５１にて再びｊのセットに戻る。最後のＣＭであった場合（Ｙｅｓ）は、処理を終了する。
【００９１】
次に、本発明実施の形態の放送信号処理装置では、前述した図７の表示部８０２の表示画面例に更に検索アイコンを追加し、ユーザがＣＭの検索を行いたい場合に、当該検索アイコンを指示することで、ユーザ所望のＣＭを検索可能としている。図１２には、検索アイコン８１５が追加表示された、表示部８０２の表示画面例を示す。以下、この図１２の表示画面例を参照しながら前記ＣＭ記録部２０５、特徴量比較部２０４、ＣＭ閲覧部２０８、ＣＭ索引生成部２０６、ＣＭ選択部２０７等の動作を説明する。
【００９２】
すなわち、上記検索アイコン８１５がユーザ２０９により指定されると、ＣＭ選択部２０７はそのユーザ選択に応じたユーザ選択情報２０７ａを発生し、そのユーザ選択情報２０７をＣＭ閲覧部２０８に送ると共に、特徴比較部２０４にも送る。
【００９３】
特徴比較部２０４では、上記ユーザ選択情報２０７ａが供給されると、前記ＣＭ索引画像又は映像８１０の中で既に選択されているＣＭとその特徴量が部分的に一致する特徴量を有するＣＭをＣＭ記録部２０５内から検索する。
【００９４】
すなわち、特徴比較部２０４では、ＣＭ選択部２０７からのユーザ選択情報２０７ａにより、任意のＣＭｉが指定された場合、そのＣＭｉの特徴量とＣＭ記録部２０５に記録されている他のＣＭｊの特徴量との比較を行う。
【００９５】
この比較の際には、先ず、ＣＭの部分区間の評価関数Ｊ′(i,j）を、式（１０）に従って計算することにより行う。
【００９６】
【数７】

【００９７】
但し、式中のＮ_sは、比較するＣＭ部分区間の最初の処理フレーム番号、Ｎ_eは比較するＣＭ部分区間の最後の処理フレーム番号である。
【００９８】
続いて、特徴比較部２０４は、その評価関数Ｊ′(i,j）を所定の閾値Ｊ′_thsdと比較し、閾値より大きい場合には不一致と判断し、閾値より小さい場合には一致と判断する。
【００９９】
なお、この比較において、例えば異なるＣＭであっても、同一提供者が提供するＣＭには、商品もしくは会社もしくは団体などに共通する映像／音声信号を挿入することで、視聴者に共通感をもたせるよう作成されている場合が多く存在する。また、そのための共通する映像／音声信号は、１秒程度であることが多い。従って、例えばＮ_e＝Ｎ−１をＣＭ区間の最後のフレーム番号とし、Ｎ_sをその１秒前の処理フレームとすることで、一つのＣＭを指定すると、その同一会社の提供するＣＭを全て検索することが可能となる。
【０１００】
また、特徴量の比較の際の評価関数Ｊ′(i,j)は、式（１１）のように設定することもできる。
【０１０１】
【数８】

【０１０２】
但し、Ｎ_wは一致検索を行う区間長であり、ｓは部分一致検索区間をＣＭ区間の最初から最後までシフトしてゆくインデックス番号であり、Ｍin_s()は、全てのｓのなかで最小となる値を表わす。またこの場合、ベクトルＶ[n]のなかで、映像に関する特徴量Ｈ_I[n]，Ｈ_C[n]，Ｂ[n]，Ｄ[n]，Ｃ[n]を除き、音声に関する特徴量Ａ[n]，Ｆ[k;n]，Ｐ[k;n]のみを用いて行うことも有効である。
【０１０３】
このような関数を用いると、ＣＭ中の何れかの部分で一致するＣＭを検索することができる。これによると、例えば同じ音楽を背景音楽として用いるＣＭなどが検索できる。例えば同じ商品又は会社又は団体が、幾つかの継続性のあるＣＭを提供している場合、視聴者に共通性を感じさせるため同じ背景音楽が用いられることが多いことから、当該関数は、継続性をもって作られたＣＭなどを検索する際に有効な評価関数となる。
【０１０４】
なお、評価関数Ｊ(i,j）及びＪ′(i,j）は、２つのＣＭの類似度と称することもある。
【０１０５】
上述のようにしてＣＭ記録部２０５から検索されたＣＭの映像及び音声信号は、前記記録部再生信号２０５ａとしてＣＭ閲覧部２０８に送られる。
【０１０６】
またこのとき、前記索引生成部２０６では、上記特徴量が一致するＣＭの索引情報を生成し、その索引情報２０６ａをＣＭ閲覧部２０８に送る。
【０１０７】
これにより、ＣＭ閲覧部２０８では、上記検索されたＣＭの映像が表示され、また音声が再生可能となる。
【０１０８】
図１３には、上記図１の構成のうち、上述したＣＭ検索を実現するための、ＣＭ記録部２０５、特徴量比較部２０４、ＣＭ索引生成部２０６、ＣＭ閲覧部２０８、ＣＭ選択部２０７の部分のみを抜き出したサブセットを示しており、図１４にはこれら図１３に抜き出したサブセット部分の特に特徴比較部２０４の動作の流れをフローチャートとして示す。なお、図１４のフローチャートは、前述した図９のフローチャートのステップＳ２４４の後段の処理となるものである。
【０１０９】
この図１４において、図９のフローチャートのステップＳ２４４のユーザ指示待機状態となっているとき、例えば上記ユーザ選択情報２０７ａが、ＣＭ件サックアイコン８１５を指定するものであった場合、特徴比較部２０４は、ステップＳ２６０として、インデックスの変数ｉを、上記選択されているＣＭのインデックスにセットし、次に、ステップＳ２６１として、インデックスの変数ｊを０にセットする。
【０１１０】
続いて、特徴比較部２０４は、ステップＳ２６２として、特徴ベクトルＶ_i，Ｖ_jより評価関数Ｊ′(i,j)を計算し、所定の閾値Ｊ′_thsdと比較する。ここで、閾値Ｊ′_thsdを下回っていると判定した場合（Ｙｅｓ）には、類似するＣＭと判断され、ステップＳ２６３において、特徴ベクトルＶ_jで表されるＣＭをマークしておく。一方、閾値Ｊ′_thsdを下回っていないと判定した場合（Ｎｏ）は、類似していないＣＭと判断して次のステップＳ２９４に進む。
【０１１１】
ステップＳ２６４に進むと、特徴比較部２０４は、ｊが対象とするＣＭの中で、最後のＣＭ番号かどうかをチェックする。ここで、最後のＣＭではないと判定した場合(Ｎｏ）は、ステップＳ２６５にてｊをインクリメントした後、ステップＳ２６２に戻り再び閾値との比較を行う。一方、最後のＣＭであった場合（Ｙｅｓ）には、ステップＳ２６６として、マークしたＣＭ群をまとめて指定し、図９に示したステップＳ２４１、すなわち指定されたＣＭ群の信号をＣＭ記録部２０５より取得する処理へ戻る。
【０１１２】
なお、本実施の形態において、上述した同一ＣＭの除去を行わず、全てのＣＭを蓄積し、かつ検索を全ＣＭ区間の一致にて行うことで、同一のＣＭが放送された回数及びその時刻を検索することも可能となる。
【０１１３】
以上説明したようなことから、本実施の形態の放送信号処理装置によれば、放送信号からＣＭ部分だけを抽出し、蓄積することが可能となり、これによって、例えば、番組部分を記録せず、ＣＭ部分のみを蓄積するデータベース装置を提供することが可能となる。
【０１１４】
また、本実施の形態の放送信号処理装置によれば、放送信号からＣＭ部分だけを抽出し、該ＣＭ部分を特徴付ける特徴量を抽出し、それらを蓄積することが可能となり、これによって、例えば、番組部分を記録せず、ＣＭ部分及びその特徴量のみを蓄積するデータベース装置を提供することが可能となる。これらの特徴量は、特に同一ＣＭ検索、類似ＣＭ検索などに有用なものである。
【０１１５】
また、本実施の形態の放送信号処理装置によれば、上述のように蓄積されたＣＭを、表示、閲覧することが可能となり、これによって、視聴者（ユーザ）は蓄積されたＣＭの一覧の表示、再生及び検索などを行うことができる。これは、ＣＭを探して視聴する場合に有用である。
【０１１６】
また、本実施の形態の放送信号処理装置によれば、上述のように蓄積されたＣＭから、同一のＣＭを除去することが可能となり、これによって、蓄積容量が節約されると同時に、同一のＣＭを何度も閲覧してしまう手間を回避可能となる。
【０１１７】
また、本実施の形態の放送信号処理装置によれば、類似するＣＭの検索が可能となり、これによって、蓄積されたＣＭから、同一商品のＣＭ、同一提供者のＣＭなどを、容易に検索、表示することが可能となる。
【０１１８】
また、本実施の形態の放送信号処理装置によれば、ＣＭの最後の部分が一致するものを検索することができる。すなわち、ＣＭの最後の部分には商品、会社、団体等に共通する映像や音声が含まれることが多いことから、これにより、同一商品や提供者のＣＭを容易に検索、表示可能となる。
【０１１９】
さらに、本実施の形態の放送信号処理装置によれば、背景音楽の一致するＣＭを検索することができる。すなわち、同一商品や提供者が、継続性をもって作成したＣＭには同一の背景音楽が用いられることが多いため、これにより、継続性をもって作成されたＣＭを、に検索、表示可能となる。
【０１２０】
最後に、本実施の形態の放送信号処理装置によれば、同一ＣＭが放送された時刻及び回数を計測することができる。これは、例えばＣＭの作成者などが、放送予定と実際の放送を比較する等の目的に対して、有効な装置となる。
【０１２１】
次に、本発明実施の形態において、放送信号からＣＭを検出し、ＣＭ開始時刻やＣＭ長さを検出する、図１のＣＭ検出部２０２の詳細について以下に説明する。
【０１２２】
以下、ＣＭ検出部２０２において、例えばＴＶ放送信号からＣＭ部分を検出する際の原理について概説する。なお、以下の説明で、特徴量という記載は、前記ＣＭ特量抽出部２０３や特徴比較部２０４における特徴と同じ場合と異なる場合とがあるが、それらは共にＣＭの特徴を表すものであるため、ここではそれらを特に区別せずに使用している。
【０１２３】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【０１２４】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【０１２５】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが満たす条件である。本発明では、以下、これら３つの特徴に基づく条件を「必須条件」と称することにする。
【０１２６】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【０１２７】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【０１２８】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【０１２９】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【０１３０】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【０１３１】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【０１３２】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【０１３３】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【０１３４】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【０１３５】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【０１３６】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【０１３７】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【０１３８】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【０１３９】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【０１４０】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【０１４１】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【０１４２】
本発明では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。
【０１４３】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【０１４４】
本発明では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【０１４５】
より具体的に言うと、本発明では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【０１４６】
図１５には、上記ＣＭ検出部２０２の第１の具体例の詳細な構成を示す。当該ＣＭ検出部２０２は、大別して、フロントエンド部とバックエンド部とから構成されている。また、図中の動作制御部２３は、放送チャンネルを示すチャンネル情報１ｂに基づいて、明らかにＣＭが放送されない放送チャンネルであるか否か判断し、その判断結果に応じて、当該図１５の各部におけるＣＭ検出動作を行わないように制御するものである。
【０１４７】
先ず、図１５のフロントエンド部から説明する。
【０１４８】
この図１５において、当該フロントエンド部には、前記入力信号２００ａに含まれる映像信号２ａ、音声信号２ｂ、及び放送モード信号２ｃが入力される。また、フロントエンド部には、図示しない時計により発生した時間情報３ａも入力される。
【０１４９】
映像信号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フレームメモリ１１に蓄えられる。なお、フレームメモリ１１には、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１からフレーム毎に読み出された映像信号は、カットチェンジ検出器１２に送られる。
【０１５０】
カットチェンジ検出器１２は、フレームメモリ１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【０１５１】
すなわち、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【０１５２】
以下、当該カットチェンジ検出器１２における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【０１５３】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩ_n（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩ_n-1（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の二乗和Ｄ[n]は、式（１２）により得られ、また、第ｎフレームの輝度分散値Ｖ[n]は、式（１３）により得られる。
【０１５４】
【数９】

【０１５５】
また、このときのカットチェンジ検出器１２の検出出力Ｃ[n]は、式（１４）により表わされる。
【０１５６】
【数１０】

【０１５７】
ただし、式中のＤ_thsdは上記映像変化フレームを検出する際の前記自乗和に対する所定の閾値であり、Ｖ_thsdは上記一様輝度フレームを検出する際の前記輝度の分散値に対する所定の閾値である。
【０１５８】
当該カットチェンジ検出器１２の検出出力Ｃ[n]は、映像信号についての特徴量として特徴量バッファ１８へ送られる。
【０１５９】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の各画素毎に輝度差分を求めるのではなく、各フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、各フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにするで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【０１６０】
次に、音声信号２ｂは、Ａ／Ｄ変換器１３にてディジタル化され、音声信号バッファ１４に蓄えられる。なお、音声信号バッファ１４には、少なくとも所定時間Ｔ₁（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１４から読み出された音声信号は、振幅検出器１５、相関検出器１６、スペクトル検出器１７に送られる。
【０１６１】
振幅検出器１５は、音声信号バッファ１４に蓄えられた音声信号を用いて、所定の時間Ｔ₂（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均二乗振幅を検出する。すなわち、振幅検出器１５は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号Ｓ_L[m]，Ｓ_R[m]から、所定の時間Ｔ₂（１５ｍｓ、１フレーム周期）毎に、短時間平均二乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ₁に対応する。
【０１６２】
より具体的に説明すると、振幅検出器１５は、第ｎフレームにおける左右２チャンネルの音声信号の平均二乗振幅Ａ[n]を式（１５）により計算する。
【０１６３】
【数１１】

【０１６４】
当該振幅検出器１５の検出出力である平均二乗振幅Ａ[n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【０１６５】
相関検出器１６は、音声信号バッファ１４に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１６は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号Ｓ_L[m]，Ｓ_R[m]から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【０１６６】
より具体的に説明すると、相関検出器１６は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数Ａ_LR[n]を式（１６）により計算し、左チャンネルの音声信号エネルギーＡ_LL[n]を式（１７）により計算し、右チャンネルの音声信号エネルギーＡ_RR[n]を式（１８）により計算する。
【０１６７】
【数１２】

【０１６８】
当該相関検出器１６の検出出力である相関係数Ａ_LR[n]と音声信号エネルギーＡ_LL[n]、Ａ_RR[n]は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【０１６９】
スペクトル検出器１７は、音声信号バッファ１４に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１７は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号Ｓ_L[m]，Ｓ_R[m]から、短時間スペクトルを計算する。
【０１７０】
より具体的に説明すると、スペクトル検出器１７は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ[k;n]は式（１９）により表わされる。
【０１７１】
【数１３】

【０１７２】
この式（１９）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【０１７３】
当該スペクトル検出器１７の計算出力である短時間離散スペクトルＦ[k;n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【０１７４】
次に、放送モード信号２ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【０１７５】
より具体的に説明すると、第ｎフレームにおける放送モード信号２ｃは、例えば式（２０）のような数値Ｂ[n]となされる。
【０１７６】
【数１４】

【０１７７】
この放送モード信号２ｃを離散化した数値Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１８へ送られる。
【０１７８】
同様に、時間信号３ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ[n]となされ、特徴量の一つとして特徴量バッファ１８へ送られる。
【０１７９】
特徴量バッファ１８は、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均二乗振幅Ａ[n]と、相関検出器１６からの相関係数Ａ_LR[n]、音声信号エネルギーＡ_LL[n]，Ａ_RR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる、式（２１）に示される特徴量Ｇ[n]を、所定の時間Ｔ₃に渡って蓄積する。なお、時間Ｔ₃はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
【０１８０】
Ｇ[n]≡｛Ｃ[n],Ａ[n],Ａ_LR[n],Ａ_LL[n],Ａ_RR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝ (21)以上のＡ／Ｄ変換器１０から特徴量バッファ１８までが、図１５に示したＣＭ検出部２０２のフロントエンド部の構成であり、以下、図１６、図１７のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図１６のステップＳ３０〜Ｓ３２までは映像信号２ａについての処理の流れを表しており、図１７のステップＳ３３〜Ｓ４０までは音声信号２ｂ及び放送モード信号２ｃ、時間信号３ａについての処理の流れを表している。
【０１８１】
先ず、映像信号２ａについての処理の流れを表す図１６において、フロントエンド部は、ステップＳ３０の処理として、Ａ／Ｄ変換器１０によりディジタル化された、少なくとも１フレーム分の映像信号２ａをフレームメモリ１１に蓄える。このフレームメモリ１１は、１フレーム分の映像信号２ａを１サンプルとして扱うようになされており、１フレーム分の映像信号２ａが入力されると、当該フレームメモリ１１内に既に蓄積されている映像信号２ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号２ａが押し出されて出力されるようになっている。
【０１８２】
次に、フロントエンド部は、ステップＳ３１の処理として、フレームメモリ１１から映像信号２ａを読み出してカットチェンジ検出器１２に送り、前述のようにして検出出力Ｃ[n]を求める。
【０１８３】
その後、フロントエンド部は、ステップＳ３２の処理として、当該検出出力Ｃ[n]を特徴量バッファ１８に蓄える。
【０１８４】
一方、音声信号２ｂについての処理の流れを表す図１７において、フロントエンド部は、ステップＳ３３及びステップＳ３４の処理として、Ａ／Ｄ変換器１３によりディジタル化された、音声信号２ｂを音声信号バッファ１４に入力すると共に、当該音声信号バッファ１４に少なくとも１フレーム周期Ｔ₂分の音声信号２ｂを蓄積する。この音声バッファ１４は、１フレーム周期Ｔ₂分の音声信号２ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ₂分の音声信号２ｂが入力されると、当該音声バッファ１４内に既に蓄積されている音声信号２ｂが１フレーム周期Ｔ₂分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ₂分の音声信号２ｂが押し出されて出力されるようになっている。
【０１８５】
上記音声信号バッファ１４に少なくとも１フレーム周期Ｔ₂分の音声信号２ｂが蓄積されると、フロントエンド部は、ステップＳ３５の処理として、当該音声信号バッファ１４に蓄積された音声信号２ｂを読み出して振幅検出器１５に送り、前述のようにして、平均二乗振幅Ａ[n]を求める。
【０１８６】
同時に、フロントエンド部は、ステップＳ３６の処理として、音声信号バッファ１４に蓄積された音声信号２ｂを相関検出器１６に送り、前述のようにして、相関係数Ａ_LR[n]と音声信号エネルギーＡ_LL[n]、Ａ_RR[n]を求める。
【０１８７】
また同時に、フロントエンド部は、ステップＳ３７の処理として、音声信号バッファ１４に蓄積された音声信号２ｂをスペクトル検出器１７に送り、前述のようにして、短時間離散スペクトルＦ[k;n]を求める。
【０１８８】
さらに、フロントエンド部は、ステップＳ３８の処理として、放送モード信号２ｃから離散化した数値Ｂ[n]を求めると共に、時間信号３ａから、離散化された数値Ｔ[n]を求める。
【０１８９】
フロントエンド部は、以上にようにして求められた、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均二乗振幅Ａ[n]と、相関検出器１６からの相関係数Ａ_LR[n]、音声信号エネルギーＡ_LL[n]，Ａ_RR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる特徴量Ｇ[n]を、特徴量バッファ１８に蓄積する。
【０１９０】
図１５に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１８内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ[0]とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【０１９１】
図１５において、特徴量バッファ１８に蓄積された特徴量は、フレーム毎にＣＭ候補検出器１９に送られる。
【０１９２】
当該ＣＭ候補検出器１９は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（２２）で且つ式（２３）で且つ式（２４）の条件として書き下すことができる。
【０１９３】
Ａ[0]＜Ａ_thsd (22)
Ｃ[0]＝１ (23)
Ａ[n₁]＜Ａ_thsd，Ｃ[n₁]＝１又はＡ[n₂]＜Ａ_thsd，Ｃ[n₂]＝１又は
Ａ[n₃]＜Ａ_thsd，Ｃ[n₃]＝１ (24)
ただし、Ａ_thsdは所定の二乗振幅の閾値であり、ｎ₁，ｎ₂，ｎ₃はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ₁，ｎ₂，ｎ₃にはそれぞれ多少の幅を持たせる。
【０１９４】
ここで、図１８を用いて、上記ＣＭ候補検出器１９の動作の流れを説明する。
【０１９５】
図１８において、特徴量バッファ１８では、ステップＳ５０のバッファシフト処理とステップＳ５１の特徴量入力処理として、図１６のステップＳ３２で説明したフレームメモリと図１７のステップＳ４０で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１８は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１８内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１９６】
上記ステップＳ５０及びステップＳ５１の処理により、特徴量バッファ１８から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検索器１９は、ステップＳ５２及びステップＳ５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。すなわち。ＣＭ候補検索器１９は、ステップＳ５２において、先ず最初のフレームの平均二乗振幅Ａ[0]と所定の二乗振幅の閾値Ａ_thsdを比較し、次に、ステップＳ５３の処理として、前記検出出力Ｃ[0]が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検索器１９では、これらステップＳ５２，Ｓ５３の判定処理の結果、上記平均二乗振幅Ａ[0]が所定の二乗振幅の閾値Ａ_thsdを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ５７以降（ステップＳ５４〜Ｓ５６については後述する）の処理に進み、逆に、上記平均二乗振幅Ａ[0]が所定の二乗振幅の閾値Ａ_thsdを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ５０の処理に戻る。
【０１９７】
上記ステップＳ５２，Ｓ５３の各判定処理の結果、上記平均二乗振幅Ａ[0]が所定の二乗振幅の閾値Ａ_thsdを超えず、且つ、上記必須条件を満たしている場合、ＣＭ候補検索器１９は、ステップＳ５７の処理としてＣＭ開始フレームｎ_sを検索し、次に、ステップＳ５８の処理としてＣＭ終了フレームｎ_eの検索を行い、更に、ステップＳ５９の処理としてＣＭ開始時刻Ｔ_sを計算し、ステップＳ６０としてＣＭ長さＷを計算する。
【０１９８】
ＣＭ候補検索器１９は、以上のステップＳ５７〜Ｓ６０の検索及び計算を行った後、ステップＳ６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔ_s及びＣＭ長さＴ_wの一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ５４〜Ｓ５６の処理に戻り、逆に存在しない場合には、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ５４〜Ｓ５６の処理に戻る。
【０１９９】
ステップＳ５４〜Ｓ５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０２００】
なお、上記ＣＭ開始フレームｎ_sとは、ｎ₁，ｎ₂，ｎ₃で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均二乗振幅Ａ[n]が二乗振幅の閾値Ａ_thsdを越える最初のフレーム番号である。また、ＣＭ終了フレームｎ_eとは、０番目のフレームより過去の方向に向かって、平均二乗振幅Ａ[n]が二乗振幅の閾値Ａ_thsdを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔ_sは、ＣＭ開始フレーム番号ｎ_sを用いてＴ_s＝Ｔ[n_s]として求められる。同様にＣＭ長さＴ_wは、Ｔ_w＝Ｔ[n_e]−Ｔ[n_s]として求められる。
【０２０１】
ここで、図１９には、上記必須条件の算出例を示す。この図１９に示すＡ[n]の項において、「ｏ」は二乗振幅の閾値Ａ_thsd未満の平均二乗振幅を持つフレームを示し、「ｘ」は二乗振幅の閾値Ａ_thsd以上の平均二乗振幅を持つフレームを示している。この例では、Ａ[0]，Ｃ[0]及びＡ[n₁]，Ｃ[n₁]が条件を満たし、ｎ₁より左方で最初にＡ[n]＝ｘとなるフレームがｎ_s、０より右方に連続する最後のＡ[n]＝ｏとなるフレームがｎ_eとなる。
【０２０２】
以上の処理により、ＣＭ候補検出器１９では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０２０３】
図２０には、ＣＭ候補テーブルの構成例を示す。この図２０において、ＣＭ候補テーブルの項目は、開始時刻Ｔ_s、長さＴ_w、及び後述する付加条件算出器２０で算出する特徴量Ｑ₁〜Ｑ₁₁、及び後述する付加条件判定器２１で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器１９によるＣＭ候補テーブル１９ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器１９で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器２０で算出される特徴量Ｑ₁〜Ｑ₁₁と、付加条件判定器２１で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器２２からＣＭ検出出力４ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０２０４】
上記ＣＭ候補検出器１９により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル１９ａは、付加条件算出器２０に送られる。
【０２０５】
付加条件算出器２０では、ＣＭ候補テーブル１９ａにエントリーされた候補区間より、特徴量バッファ１８を参照しながら、以下に示すような特徴量Ｑ₁〜Ｑ₁₁を抽出し、それをＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして付加条件判定器２１に出力する。
【０２０６】
図２１には、当該付加条件算出器２０における特徴量Ｑ₁〜Ｑ₁₁の算出例を示す。
【０２０７】
この図２１において、横軸はフレーム番号（離散時間に相当）を表し、図２１の（ａ）はカットチェンジ検出出力Ｃ[n]、図２１の（ｂ）は放送モード信号２ｃの離散化数値Ｂ[n]、図２１の（ｃ）は音声信号の短時間離散スペクトルＳ[k,n]、図２１の（ｄ）は音声信号の平均二乗振幅Ａ[n]を表わし、ｎ₁の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図２１の（ａ）において、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ[n]が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図２１の（ｂ）において、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図２１の（ｃ）において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図２１の（ｄ）において、図中ＡＭは二乗振幅の変化を表している。また、図中Ｑ₁からＱ₁₁は、上記付加条件算出器２０にて特徴量Ｑ₁〜Ｑ₁₁が計算される場所を示している。
【０２０８】
以下、付加条件算出器２０で算出される各特徴量Ｑ₁〜Ｑ₁₁について個々に説明する。
【０２０９】
特徴量Ｑ₁は前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａ_thsd以下である時間長であり、図２１中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ₁である。
【０２１０】
特徴量Ｑ₂は後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａ_thsd以下である時間長であり、図２１中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ₂である。
【０２１１】
特徴量Ｑ₃は前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ₃は、前記の前ブレーク区間におけるＡ[n]の最小値である。
【０２１２】
特徴量Ｑ₄は後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ₄は、前記の後ブレーク区間におけるＡ[n]の最小値である。
【０２１３】
特徴量Ｑ₅は左右相関値である。当該左右相関値Ｑ₅は、ＣＭ候補区間の音声の左右２チャンネルの音声信号Ｓ_L[m]、Ｓ_R[m]の相関値である。これは、式（１６）〜式（１８）のＡ_LR[n]，Ａ_LL[n]，Ａ_RR[n]を利用して、式（２５）に従って算出することができる。
【０２１４】
【数１５】

【０２１５】
この式（２５）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０２１６】
特徴量Ｑ₆は平均振幅値である。当該平均振幅値Ｑ₆は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均二乗振幅）である。これは、式（２６）により計算することができる。
【０２１７】
【数１６】

【０２１８】
この式（２６）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０２１９】
特徴量Ｑ₇はカット数である。当該カット数Ｑ₇は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、[n_s,n_e）の区間でＣ[n]＝１となる回数を数える演算となる。
【０２２０】
特徴量Ｑ₈は放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［n_s,n_e）の区間のＢ[n］値の中で、最も頻発する放送モードＱ₈を選ぶ演算である。
【０２２１】
特徴量Ｑ₉は隣接候補数である。当該隣接候補数Ｑ₉は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔ_sと長さＴ_wと後ブレーク長Ｑ₂の和（Ｔ_s＋Ｔ_w＋Ｑ₂）が、他のＣＭ候補の開始時刻（Ｔ′_s）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔ_sと前ブレーク長Ｑ₁の差（Ｔ_s−Ｑ₁）が、他のＣＭ候補の開始時刻Ｔ′_sと長さＴ′_wの和（Ｔ′_s＋Ｔ′_w）と一致するかどうかで、前側候補の判定が行われる。
【０２２２】
特徴量Ｑ₁₀，Ｑ₁₁はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ₁₀，Ｑ₁₁は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（２７）〜（３２）に従って計算される。
【０２２３】
【数１７】

【０２２４】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ′_eはＣＭ候補区間の直前の有音区間の終了フレーム番号（図２１参照）、ｎ′_sはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ₁[k]はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ₂[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ₃[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ₄[k]はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓ_normは適切な規格化定数である。
【０２２５】
上記付加条件算出器２０は、以上により算出したＱ₁からＱ₁₁までの特徴量を、ＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして出力する。当該ＣＭ候補テーブル２０ａは、付加条件判定器２１に送られる。
【０２２６】
付加条件判定器２１は、ＣＭ候補テーブル２０ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器２１は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出力する。
【０２２７】
図２２には、付加条件判定器２１の概略構成を示す。
【０２２８】
この図２２において、ＣＭ候補テーブル２１ａの各特徴量Ｑ₁〜Ｑ_Lは、それぞれ対応する関数演算器５０₁〜５０_Lに送られ、それぞれ対応するパラメータ変換関数Ｈ₁()〜Ｈ_L()による変換演算が施された後、さらにそれぞれ対応する重み付け器５１₁〜５１_Lにより重みＷ₁〜Ｗ_Lとの積がとられる。各重み付け器５１₁〜５１_Lにより重み付けがなされた後の特徴量は、総和加算器５２での総和加算によりスコアＲが算出される。この総和加算器５２から出力されたスコアＲは、スコア判定器５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０２２９】
より具体的に説明すると、当該付加条件判定器２１におけるスコア算出演算は、式（３３）に従って行われる。
【０２３０】
【数１８】

【０２３１】
ただし、Ｈ_l()は各特徴量に対して予め定めるパラメータ変換関数、Ｗ_lは予め決定しておく荷重、Ｌは特徴量数（＝１１）である。なお、ｌは１〜１１のうちの任意の数である。
【０２３２】
ここで、各関数演算器５０₁〜５０_Lにおけるパラメータ変換関数Ｈ_l()は、最も簡単には矩形関数でよい。すなわち例えば、図２３の（ｂ）に示すような矩形関数Ｒect（x;t₁,t₂）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ_1l，ｔ_2lとし、式（３４）により例えばＱ₁が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０２３３】
Ｈ_l（Ｑ_l）＝Ｒect（Ｑ_l;t₁,t₂） (34)
なお、前記境界付近で滑らかに０から１、１から０への推移させるようにする場合には、例えば式（３５）のような、シグモイド関数Ｓigm(x;t₁,t₂)を用いることもできる。
【０２３４】
【数１９】

【０２３５】
図２３の（ｃ）にはその概形を示す。ただし、σ_1l,σ_2lは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０２３６】
また、上記各重み付け器５１₁〜５１_Lによる加算荷重Ｗ_lは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（1999）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１〜１１のうちの任意の数である。
【０２３７】
さらに、上記判定器５３におけるスコア判定は、式（３６）のように、スコアＲの閾値処理により行う。
【０２３８】
Ｚ＝Ｕnit（Ｒ−ｔ_r） (36)
ただし、Ｕnit（ｘ）は、図２３の（ａ）に示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔ_rは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０２３９】
次に、ルール判定器２２は、上記付加条件判定器２１でのスコア判定により得られたＣＭ候補テーブル２１ａを入力とし、後述するような所定のルール判定によりｍ最終的なＣＭ検出出力４ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器２２では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０２４０】
以下、ルール判定器２２の動作を図２４のフローチャートを用いて説明する。
【０２４１】
先ず、ルール判定器２２は、ステップＳ７０として、ＣＭ候補テーブルより、判定するべくＣＭ候補を選択する。これは、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ₄が経過したものから順に行う。Ｔ₄は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０２４２】
続いて、ルール判定器２２は、ステップＳ７１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ７１において、存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０２４３】
一方、ステップＳ７１において、存在すると判定した場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ７２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０２４４】
図２５を用いて、この最小長さ優先ルールの一例を説明する。
【０２４５】
なおこの例には、図２５の（ａ）のように、実際には４つのＣＭ１〜ＣＭ４が連続して放送されている区間に対し、図２５の（ｂ）中Ａ〜Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０２４６】
先ず、図２５の（ｃ）に示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図２５の（ｄ）に示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図２５の（ｅ）に示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図２５の（ｆ）に示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０２４７】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０２４８】
図２４に戻り、ステップＳ７２のルール判定の後、ルール判定器２２の処理は、ステップＳ７３に進む。ステップＳ７３に進むと、ルール判定器２２は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７３において、判定中のＣＭが棄却されと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０に戻る。一方、ステップＳ７３において、棄却されていないと判断した場合（Ｎｏ）、ルール判定器２２では、ステップＳ７４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０２４９】
このステップＳ７４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器２２では、ステップＳ８０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７４にて存在すると判断した場合（Ｙｅｓ）、ルール判定器２２の処理は、ステップＳ７５に進む。
【０２５０】
ステップＳ７５に進むと、ルール判定器２２は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０２５１】
図２６を用いて、当該隣接優先ルールについて説明する。
【０２５２】
なおこの例には、図２６の（ａ）のように、実際には４つのＣＭ１１〜ＣＭ１４が連続して放送されている区間に対し、図２６の（ｂ）中Ｉ〜Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０２５３】
このような例において、先ず、図２６の（ｃ）に示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図２６の（ｄ）に示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図２６の（ｅ），（ｆ）に示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０２５４】
以上により、この図２６に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０２５５】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０２５６】
図２４に戻り、ステップＳ７５の処理後、ルール判定器２２の処理は、ステップＳ７６に進む。ステップＳ７６に進むと、ルール判定器２２は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０の処理に戻る。一方、ステップＳ７６において棄却されていない場合（Ｎｏ）、ルール判定器２２は、次のステップＳ７７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０２５７】
このステップＳ７７において、他のＣＭ候補が存在しなと判定された場合（Ｎｏ）、ルール判定器２２は、ステップＳ８０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器２２は、ステップＳ７８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器２１により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０２５８】
図２７を用いて、当該スコア優先ルールについて説明する。
【０２５９】
なおこの例には、図２７の（ａ）のように、実際には４つのＣＭ２１〜ＣＭ２４が連続して放送されている区間に対し、図２７の（ｂ）中Ｐ〜Ｗで示すような７つの候補が存在する場合が示されている。
【０２６０】
この例において、先ず、図２７の（ｃ）に示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、前記最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０２６１】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、(Ｐ−Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−Ｓ)という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ(2.0)が最も高いスコアであるため、図２７の（ｄ）に示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０２６２】
しかしながら、図２７の（ｅ）に示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、３つの候補が関係する２つの競合関係のみとなる。
【０２６３】
さらに、これらの候補の中で最もスコアの高い候補Ｑ(1.9)を採用し、図２７の（ｆ）に示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０２６４】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０２６５】
なお、もしも、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器２２では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０２６６】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０２６７】
図２４に戻り、ステップＳ７８の処理後、ルール判定器２２の処理は、ステップＳ７９に進む。ステップＳ７９に進むと、ルール判定器２２は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ７９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルより消去し、ステップＳ７０に戻る。一方、ステップＳ７９において、棄却されなかった場合、ルール判定器２２は、ステップＳ８０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ７０に戻る。
【０２６８】
以上説明したように、本実施の形態の第１の具体例のＣＭ検出部２０２においては、ほぼ全てのＣＭが満足する必須条件に基づき、決定論的に番組中からＣＭの候補を抽出し、ＣＭらしさの指標である付加条件に基づく特徴量の統計論的な評価により候補を選択し、論理条件により候補のオーバーラップ関係を解消することで、精度の高いＣＭ検出を実現している。また、本実施の形態では、例えば現行のアナログＴＶ放送の映像音声録画録音装置を例にとったが、ディジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部２０２が適用できることは明らかである。また、例えばラジオ放送に適用される場合には、上記ＣＭ検出部２０２から映像信号の処理を担当する部分を省略することで同様の機能が実現できる。
【０２６９】
次に、本発明の第２の具体例としてのＣＭ検出部２０２について以下に説明する。
【０２７０】
図２８には、本発明の第２の具体例としてのＣＭ検出部２０２の詳細な構成を示す。
【０２７１】
当該第２の具体例のＣＭ検出部２０２は、前述した付加条件の中でも基本的なもののみを実装するようにしており、前述した１）〜１４）の付加条件のうち、１１）〜１４）に関しては導入しないことで、装置構成を簡略化している（複雑になることを防いでいる）。
【０２７２】
この第２の具体例のＣＭ検出部２０２も、図１５の例と同様にフロントエンド部とバックエンド部とから構成されている。なお、この図２８において、図１５の各構成要素と同じ動作を行う部分については、同一の指示符号を付して、それらの説明は省略する。
【０２７３】
以下、図２８の構成において、新たに追加された各構成要素（１０１，１０２，１０３）と、付加条件算出器２０において新たに拡張された機能についてのみ説明する。
【０２７４】
フロントエンド部に設けられた音源識別器１０１は、ディジタル化及びフレーム化された音声信号２ｂを入力とし、この音声信号２ｂの該当フレームに関する音源名を出力する。音源名としては、例えば、音声、音楽、音声と音楽、その他を挙げることができる。なお、入力された音声信号の音源識別を実現する技術としては、例えば、河地、他による、「ＶＱ歪みに基づく放送音の自動分類」信学技報、DSP97‐95/SP97‐50、43/48(1998)に記載された技術や、南、他による、「音情報を用いた映像インデクシングとその応用」信学論、Vo1.J81‐D‐II、No.3，529/537(1998)に記載された技術、安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などがあり、これらを利用することができる。
【０２７５】
この音源識別器１０１により識別された各音源名は、例えば音声＝１、音楽＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｕ[n]として特徴量バッファ１８に入力される。
【０２７６】
フロントエンド部に設けられた番組ジャンルデータ又は番組ジャンル識別器１０２は、現在処理している番組のジャンル名を出力するものである。番組ジャンルは、例えば、ニュース、ドラマ、野球、サッカーなどである。番組ジャンルデータは、テレビ番組表などから入力してもよく、また近年ではインターネット等を通じて自動的に取得することもできる。または、外部情報に頼らず音声及び映像信号から番組ジャンルを識別する装置を用いることも可能である。なお、音声及び映像信号から番組ジャンルを識別する技術としては、例えば安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などを利用することができる。
【０２７７】
この番組ジャンルデータ又は番組ジャンル識別器１０２により分類された番組ジャンル名は、例えばニュース＝１、ドラマ＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｗ［n]として特徴量バッファ１８に入力される。
【０２７８】
フロントエンド部のその他の各構成要素は、図１５の例と全く同じである。
【０２７９】
この第２の具体例の場合、フロントエンド部に、上記音源識別器１０１と番組ジャンルデータ又は番組ジャンル識別器１０２を設け、これらにより得られた各特徴量Ｕ[n]とＷ［n]を特徴量バッファ１８に蓄積することで、当該特徴量バッファ１８においては、式（２１）に示した特徴量Ｇ[n]が、式（３７）のように拡張されることになる。
【０２８０】

バックエンド部のＣＭ検出器１９は、前述の図１５のものと全く同じであるが、当該第２の具体例の場合、ＣＭ候補テーブル１９ａ〜２１ａは、次のように拡張される。すなわち、この第２の具体例の場合のＣＭ候補テーブル１９ａ〜２１ａは、前述したＱ₁からＱ₁₁までの特徴量に加え、図２９に示すように、後述する特徴量Ｑ₁₂からＱ₁₅が拡張される。なお、図２９は、Ｑ₁からＱ₁₁までの特徴量についての図示を省略している。
【０２８１】
また、バックエンド部のＣＭ確率データベース１０３には、予め、時間帯に応じたＣＭの放送確率、及び、番組ジャンルと経過時間に応じたＣＭの放送確率をデータとして蓄積してある。このＣＭ確率データベース１０３からは、現在時刻に応じてそれらの確率が読み出され、付加条件算出器２０に入力するようになされている。なお、これらの確率のデータは、実際の放送を元に統計をとることで作成することができる。
【０２８２】
この第２の具体例の場合の付加条件算出器２０は、前述の特徴量Ｑ₁からＱ₁₁に加え、次の特徴量Ｑ₁₂からＱ₁₅の演算を行うよう拡張される。
【０２８３】
ここで、特徴量Ｑ₁₂は、ＣＭ候補区間中に、音声区間があったどうかを検出して求められるものである。音声の有無を表す特徴量Ｑ₁₂は、式（３８）に従って検出される。
【０２８４】
【数２０】

【０２８５】
特徴量Ｑ₁₃は、上記音声の有無と同様に、ＣＭ候補区間中に、音楽区間があったどうかを検出して求められるものである。この音楽の有無を表す特徴量Ｑ₁₃は、式（３９）に従って検出される。
【０２８６】
【数２１】

【０２８７】
特徴量Ｑ₁₄は、現在時刻に応じたＣＭの発生確率（時間帯確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ₁₄に代入する。
【０２８８】
特徴量Ｑ₁₅は、番組ジャンル及びその番組の開始からの経過時間に従うＣＭの放送確率（番組ジャンル確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ₁₅に代入する。
【０２８９】
付加条件判定器２１以降は、変数としての特徴量Ｑ₁₂〜Ｑ₁₅が拡張されるだけであり、前述の図１５のＣＭ検出部２０２の場合と同様であるため、説明を省略する。
【０２９０】
この場合のＣＭ検出部２０２においては、以上の拡張により、放送信号の音源に応じたＣＭ検出を行うことができ、また、現在時間に応じたＣＭ検出を行うこと、さらに、番組ジャンルに応じたＣＭ検出を行うことが可能となる。
【０２９１】
次に、図３０には、上述した図１５や図２８に示したＣＭ検出部２０２を実装する場合のハードウェア構成の一例を示す。
【０２９２】
この図１９において、Ａ／Ｄ変換器４０は、前記図１５や図２８のＡ／Ｄ変換器１０及び１３の機能を備え、メモリ４１は、前記フレームメモリ１１及び音声信号バッファ１４の機能を備えている。
【０２９３】
Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２は、前記カットチェンジ検出器１１２、振幅検出器１５、相関検出器１６、スペクトル検出器１７、音源識別器１０１等の機能を備え、メモリ４３は、前記特徴量バッファ１８の機能を備えている。
【０２９４】
プロセッサ４４は、前記ＣＭ候補検出器１９、付加情報算出器２０、付加条件判定器２１、ルール判定器２２、ＣＭ確率データベース１０３等の機能を備えている。
【０２９５】
前記動作制御部２３の機能については、Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２か、或いは、プロセッサ４４が備えることができる。
【０２９６】
【発明の効果】
本発明においては、入力信号から第１の信号区間を検出し、その第１の信号区間の検出結果に基づいて入力信号から第１の信号部分を抽出して記録することにより、例えば、入力信号としての放送信号から、第１の信号としてのＣＭ部分を高精度に検出できると共に、そのＣＭの蓄積、閲覧、視聴、検索等も可能となる。
【図面の簡単な説明】
【図１】本発明実施の形態の放送信号処理装置の全体構成図である。
【図２】ＣＭ検出部、ＣＭ抽出部、ＣＭ記録部のサブセットの構成図である。
【図３】図２のサブセットにおける動作の流れを示すフローチャートである。
【図４】入力音声信号及び映像信号の離散化とフレームの説明に用いる図である。
【図５】ＣＭ検出部、ＣＭ抽出部、ＣＭ特徴抽出部、ＣＭ記録部のサブセットの構成図である。
【図６】図５のサブセットにおける動作の流れを示すフローチャートである。
【図７】表示部の表示画面例を示す図である。
【図８】ＣＭ記録部、ＣＭ索引生成部、ＣＭ閲覧部、ＣＭ選択部のサブセットの構成図である。
【図９】図８のサブセットにおける動作の流れを示すフローチャートである。
【図１０】ＣＭ記録部、特徴比較部のサブセットの構成図である。
【図１１】図１０のサブセットにおける動作の流れを示すフローチャートである。
【図１２】表示部の他の表示画面例（検索アイコンを表示する例）を示す図である。
【図１３】ＣＭ記録部、特徴比較部、ＣＭ索引生成部、ＣＭ閲覧部、ＣＭ選択部のサブセットの構成図である。
【図１４】図１３のサブセットにおける動作の流れを示すフローチャートである。
【図１５】第１の具体例のＣＭ検出部の詳細な構成図である。
【図１６】ＣＭ検出部のフロントエンド部における映像信号処理の流れを示すフローチャートである。
【図１７】ＣＭ検出部のフロントエンド部における音声信号処理の流れを示すフローチャートである。
【図１８】ＣＭ検出部のＣＭ候補検出器における動作の流れを示すフローチャートである。
【図１９】必須条件の算出例の説明に用いる図である。
【図２０】第１の具体例のＣＭ検出部におけるＣＭ候補テーブルを示す図である。
【図２１】ＣＭ検出部の付加条件算出器における特徴量の算出例の説明に用いる図である。
【図２２】付加条件算出器の構成図である。
【図２３】スコア算出演算の際の単位ステップ関数、矩形関数、シグモイド型関数の説明に用いる図である。
【図２４】ルール判定器の動作の流れを示すフローチャートである。
【図２５】最小長さ優先ルールの説明に用いる図である。
【図２６】隣接優先ルールの説明に用いる図である。
【図２７】スコア優先ルールの説明に用いる図である。
【図２８】第２の具体例のＣＭ検出部の詳細な構成図である。
【図２９】第２の具体例のＣＭ検出部におけるＣＭ候補テーブル（拡張部分のみ）を示す図である。
【図３０】ＣＭ検出部を実装する場合の一例としてのハードウェア構成図である。
【符号の説明】
２０１ ＣＭ抽出部、 ２０２ ＣＭ検出部、 ２０３ ＣＭ特徴抽出部、 ２０４ 特徴比較部、 ２０５ ＣＭ記録部、 ２０６ ＣＭ索引生成部、 ２０７ ＣＭ選択部、 ２０８ ＣＭ閲覧部、 ８０１ 表示プロセッサ、 ８０２ 表示部、 ８１０ ＣＭ索引画像又は映像、 ８１１ ＣＭ再生アイコン、８１２ 音声再生アイコン、 ８１３ 前ページアイコン、 ８１４ 次ページアイコン、 ８１５ 検索アイコン

Claims (12)

1. 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出手段と、
   上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出する特徴量抽出手段と、
   上記特徴量に基づき、上記第１の信号の区間を検出する検出手段と、
   上記検出手段により検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定手段と、
   上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出する第１の信号抽出手段と、
   上記抽出された第１の信号を記録する記録手段とを有し、
   上記入力信号は、映像及び音声信号からなり、上記第１の信号の区間はコマーシャルメッセージ（ＣＭ）区間であり、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、
   上記判定手段で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である
   信号処理装置。
2. 上記記録手段は、更に当該特徴量を記録する請求項１記載の信号処理装置。
3. 上記記録された第１の信号を代表して索引となる情報を抽出する索引情報抽出手段と、
   上記抽出された索引情報を表示する表示手段とを有する請求項１記載の信号処理装置。
4. 上記表示手段は、上記索引情報に基づく複数のＣＭのＣＭ索引画像又は映像を、ユーザの指示を入力するためのアイコンと共に１画面内に配置して表示する請求項３記載の信号処理装置。
5. 上記アイコンとしては、上記複数のＣＭのＣＭ索引画像又は映像の中で既に選択されているＣＭの映像及び音声を再生させるＣＭ再生アイコン、既に選択されているＣＭの開始点音声又は終了点音声又は全音声を再生させる音声再生アイコン、現在表示されている画面の前ページ又は次ページを表示させる前ページアイコン又は次ページアイコンの少なくとも１つを含む請求項４記載の信号処理装置。
6. 上記記録手段に記録された特徴量に基づき、上記第１の信号区間を検索する検索手段を有する請求項１記載の信号処理装置。
7. 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出工程と、
   上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出する特徴量抽出工程と、
   上記特徴量に基づき、上記第１の信号の区間を検出する検出工程と、
   上記検出工程により検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定工程と、
   上記第１の信号区間の判定結果に基づき、上記入力信号から第１の信号区間の信号を抽出する第１の信号抽出工程と、
   上記抽出された第１の信号を記録する記録工程とを有し、
   上記入力信号は、映像及び音声信号からなり、上記第１の信号の区間はコマーシャルメッセージ（ＣＭ）区間であり、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、
   上記判定工程で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である
   信号処理方法。
8. 上記記録工程では、更に当該特徴量を記録する請求項７記載の信号処理方法。
9. 上記記録された第１の信号を代表して索引となる情報を抽出する索引情報抽出工程と、
   上記抽出された索引情報を表示する表示工程とを有する請求項７記載の信号処理方法。
10. 上記表示工程では、上記索引情報に基づく複数のＣＭのＣＭ索引画像又は映像を、ユーザの指示を入力するためのアイコンと共に１画面内に配置して表示する請求項９記載の信号処理装置。
11. 上記アイコンとしては、上記複数のＣＭのＣＭ索引画像又は映像の中で既に選択されているＣＭの映像及び音声を再生させるＣＭ再生アイコン、既に選択されているＣＭの開始点音声又は終了点音声又は全音声を再生させる音声再生アイコン、現在表示されている画面の前ページ又は次ページを表示させる前ページアイコン又は次ページアイコンの少なくとも１つを含む請求項１０記載の信号処理方法。
12. 上記記録された特徴量に基づき、上記第１の信号区間を検索する検索工程を有する請求項７記載の信号処理方法。

Images