JP4512969B2 - 信号処理装置及び方法、記録媒体、並びにプログラム - Google Patents
信号処理装置及び方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4512969B2 JP4512969B2 JP2001217620A JP2001217620A JP4512969B2 JP 4512969 B2 JP4512969 B2 JP 4512969B2 JP 2001217620 A JP2001217620 A JP 2001217620A JP 2001217620 A JP2001217620 A JP 2001217620A JP 4512969 B2 JP4512969 B2 JP 4512969B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- character
- detecting
- section
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び方法、記録媒体、並びにプログラムに関し、特に、テレビジョン放送に付加されるコマーシャルメッセージを適切に自動的に検出することができる信号処理装置及び方法、記録媒体、並びにプログラムに関するものである。
【０００２】
【従来の技術】
一般に、放送番組についてスポンサーが付いているテレビジョン（以下、適宜ＴＶと称する）放送では、本編（番組そのもの）の合間に、その番組を提供しているスポンサーのコマーシャルメッセージ（以下、単にＣＭと称する）が挿入される。
【０００３】
しかしながら、視聴者の興味は、主として本編にあるため、ＣＭを省略して視聴したいという要望は多い。
【０００４】
その一方で、関心のある製品のＣＭや、ストーリー性のあるＣＭ、有名俳優が登場するＣＭなど、ＣＭ自体を視聴対象とする場合も少なくない。
【０００５】
このようなことから、特に、磁気テープや磁気ディスク等の媒体にＴＶ放送番組等を録画する場合において、放送番組から本編とＣＭとを分離／区別して、必要なときに必要な部分を視聴することが可能となれば、上述したような多様な要望に対する有効な解決手段を与えることになると考えられる。
【０００６】
ところで、ＴＶ放送からＣＭのみを省略して試聴可能とする技術としては、従来より、いわゆるＣＭスキップ機能（広義のＣＭスキップ機能）が存在し、例えば家庭用ビデオ録画再生装置には当該ＣＭスキップ機能が搭載されているものが多い。
【０００７】
このＣＭスキップ機能（広義のＣＭスキップ機能）は、その仕組みに応じて４つに大別され、それぞれ一般には、ＣＭ早送り機能、ＣＭカット機能、放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）と呼ばれている。なお、これら４つに大別されたＣＭスキップ機能のうち、上記ＣＭ早送り機能とは、日本国内においては通例としてＣＭが１５秒の倍数で製作されていることを利用し、家庭用ビデオ録画再生装置でのビデオ再生中に、例えばリモコンボタン操作によって（３０秒）×（ボタンを押した回数）の時間だけ早送りを行うことにより、ＣＭ部分を飛ばす機能である。このＣＭ早送り機能に関する技術については、例えば特開平１０−２６９６５１号公報などに公開されている。また、特開平９−３０７８４１号公報には、上記ＣＭ早送り機能における早送り終了時刻を時間で決定せず、映像信号のブラックフレームと音声信号の無音部が同時に所定長さ以上にわたり生じる部分を、早送り終了時刻とする技術が公開されている。
【０００８】
ＣＭカット機能とは、日本国内においてはＣＭがステレオ放送されることが多く、また、ＴＶ放送信号には音声がモノラルモード／ステレオモード／音声多重モードの何れであるかを示すパイロット信号が多重されていることを利用し、例えば音声がモノラルモード又は音声多重モードとなされている本編を録画するような場合に、ステレオモード区間（すなわちＣＭ区間）のみ録画を停止することで、ＣＭ部分をカットすることを可能にする機能である。このＣＭカット機能に関する技術については、例えば特開平３−１５８０８６号、特開平３−２６２２８７２号などの公報に公開されている。
【０００９】
放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）とは、ＣＭカット機能と同様に放送モードの違いを利用する仕組みであるが、上記ＣＭカット機能が録画時にＣＭをカットしているのに対し、当該放送モードに基づくＣＭスキップ機能では、録画時には全ての映像及び音声を記録すると同時にその放送モードも記録しておき、再生時にステレオ放送区間（すなわちＣＭ区間）のみ自動的に早送りする機能である。この放送モードに基づくＣＭスキップ機能に関する技術については、例えば特開平５−２５０７６２号公報などに公開されている。
【００１０】
放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）とは、放送信号中に含まれる音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔、映像信号の黒レベル／白レベルの出現間隔などを利用して、これらが１５秒の倍数間隔に合致する部分をＣＭとして早送りする機能である。当該放送モードによらないＣＭスキップ機能に関する技術については、特開平８−３１７３４２号公報や、文献「ＴＶ放送のＣＭ検出方式についての一検討」（映像情報メディア学会技術報告、VIR97-22、19/23（1997））などに公開されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記ＣＭ早送り機能自体は、家庭用ビデオ録画再生装置にて録画したＴＶ放送を再生して視聴する視聴者に対して、ＣＭかどうかの判断を任せるものであり、ＴＶ放送から自動的にＣＭ部分を検出するようなＣＭ検出機能は備えていない。
【００１２】
また、上記放送モードに基づくＣＭカット機能やＣＭスキップ機能（狭義のＣＭスキップ機能）では、放送モードの違い、すなわち例えばステレオモードによるＣＭ検出を行うようになされているが、例えば本編自体がステレオモードとなされている場合や、ＣＭがモノラルモードや音声多重モードとなっている場合には、全く効果がない（すなわちＣＭカットやＣＭスキップができない）。
【００１３】
一方、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）では、視聴者や放送モードに依存することなく、放送内容に基づいたＣＭ検出が可能となっている。ただし、当該機能の場合は、音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔などが、予め想定されている設定値と一致することなど、非常に狭い条件に基づいた決定論的な判定手続きによりＣＭ区間を検出するようになされている。これに対し、実際の放送番組では、放送時間の調整の目的や人為的なスイッチングなどの要因によって無音区間間隔が例えば短縮されていたりする場合が少なからずあり、逆に、番組本編の中にも上記の条件を満たす区間が多く存在している。このため、無音区間間隔が予め想定されている長さより短いようなＣＭの場合は全く検出ができなくなる問題が発生し、逆に、上記設定値の条件を満たす本編の場合は当該本編をＣＭ区間として誤って検出してしまう等の問題点が生じてしまう。
【００１４】
さらに、上記４つの機能では、例えば複数のＣＭが連続されて放送されている場合には、ＣＭ全体の区間を検出することはできても、個々のＣＭの検出はできない。このため、ＣＭを個別に抽出して視聴したいような場合（要望）には適さない。
【００１５】
以上のようなことから、ＴＶ放送信号からＣＭ部分を高精度に検出又は検索できることが望まれている。
【００１６】
そこで、本発明は、以上のような状況を鑑みてなされたものであり、例えばＴＶ放送信号に含まれるコマーシャルメッセージ部分を適切に検出する、信号処理装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の信号処理装置は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出手段と、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出手段と、小領域には、所定の順に番号が割り当てられており、文字検出手段により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出手段と、文字検出手段による文字検出結果または文字表示位置検出手段による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出手段と、特徴量に基づいて、第１の信号の区間を検出する区間検出手段とを備え、算出手段は、文字検出手段により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出手段により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する。
【００２０】
文字検出手段により、文字を表示する信号が検出されたとき、文字の出現時刻を検出する文字出現時刻検出手段をさらに備え、算出手段は、文字出現時刻検出手段により検出された出現時刻が候補区間内における候補区間の始点または終点付近にあるときにも、さらにより大きい特徴量を算出することができる。
【００２１】
本発明の信号処理方法は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出ステップと、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、小領域には、所定の順に番号が割り当てられており、文字検出ステップの処理により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出ステップと、文字検出ステップの処理による文字検出結果または文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出ステップと、特徴量に基づいて、第１の信号の区間を検出する区間検出ステップとを含み、算出ステップでは、文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する。
【００２２】
本発明の記録媒体のプログラムは、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出ステップと、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、小領域には、所定の順に番号が割り当てられており、文字検出ステップの処理により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出ステップと、文字検出ステップの処理による文字検出結果または文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出ステップと、特徴量に基づいて、第１の信号の区間を検出する区間検出ステップとを含み、算出ステップでは、文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する処理をコンピュータに実行させる。
【００２３】
本発明のプログラムは、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出ステップと、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、小領域には、所定の順に番号が割り当てられており、文字検出ステップの処理により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出ステップと、文字検出ステップの処理による文字検出結果または文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出ステップと、特徴量に基づいて、第１の信号の区間を検出する区間検出ステップとを含み、算出ステップでは、文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する処理をコンピュータに実行させる。
【００２４】
本発明においては、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間が検出され、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号が検出される。また、小領域には、所定の順に番号が割り当てられており、文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置が検出される。そして、文字を表示する信号が検出されたとき、より大きい、第１の信号らしさを表す特徴量が算出され、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量が算出され、特徴量に基づいて、第１の信号の区間が検出される。
【００２５】
【発明の実施の形態】
先ず、本発明実施の形態の具体的構成について述べる前に、本発明に基づき、例えばＴＶ放送信号からＣＭ部分を検出する際の原理について概説する。
【００２６】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【００２７】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【００２８】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが示すパターンである。本発明では、このようにほぼ全てのＣＭが示す信号のパターンを「特徴的パターン」と称し、それを検出するための条件を「必須条件」と称することにする。
【００２９】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【００３０】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【００３１】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【００３２】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【００３３】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【００３４】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【００３５】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【００３６】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【００３７】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【００３８】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【００３９】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【００４０】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【００４１】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【００４２】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【００４３】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【００４４】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【００４５】
１５）ＣＭ期間中には、商品名や企業名などを表す文字やロゴ、マーク等が表示される場合が多い。
【００４６】
１６）商品名等を表す文字は、視聴者に強い印象を与えるため、画面の中央に表示されることが多い。
【００４７】
１７）企業名等を表す文字は、企業や団体の統一感を与えるために、ＣＭの初めの方と、後の方に表示されることが多い。
【００４８】
本発明では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。本発明は、上記の１５）乃至１７）を付加条件とすることに特徴がある。
【００４９】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【００５０】
本発明では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【００５１】
より具体的に言うと、本発明では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【００５２】
図１には、上述のようにＴＶ放送信号からＣＭを検出可能とした、本発明の実施の形態としての映像音声記録装置の概略構成を示す。
【００５３】
図１において、アンテナ６により受信されたＴＶ放送信号は、チューナ１により同調され、放送信号１ａとして復調器２に入力する。
【００５４】
復調器２は、入力された放送信号１ａに含まれるパイロット信号の変調周波数から、その入力時点での放送モード（モノラルモード／ステレオモード／音声多重モード）を判別し、また、放送信号１ａに含まれる映像及び音声の変調信号を復調する。このとき、音声変調信号は、上記判別した放送モードに応じて復調される。当該復調器２により復調された映像信号２ａ、音声信号２ｂ、及び放送モード信号２ｃは、ＣＭ検出部４に入力される。また、映像信号２ａおよび音声信号２ｂは、映像音声記録部５にも入力される。
【００５５】
映像音声記録部５は、磁気テープ、磁気ディスク、光ディスク若しくは光磁気ディスク等を記録媒体として用い、上記映像信号２ａ及び音声信号２ｂを記録再生可能な装置である。なお、映像音声記録部５は、映像信号及び音声信号に対して符号化や圧縮などを施して記録し、再生時にはその符号化や圧縮された映像信号及び音声信号を復号化、伸張する装置であってもよい。
【００５６】
時計部３は、時刻を表す時間信号３ａを発生し、当該時間信号３ａをＣＭ検出部４に供給する。
【００５７】
ＣＭ検出部４は、詳細については後述するが、上記復調器２からの映像信号２ａ、音声信号２ｂ、および放送モード信号２ｃ、並びに時計部３からの時間信号３ａを入力とし、放送信号１ａの映像及び音声信号に含まれるＣＭ区間を検出し、その開始時刻と長さをＣＭ検出出力４ａとして出力する。当該ＣＭ検出部４によるＣＭ検出出力４ａは、映像音声記録部５に送られ、上記映像信号２ａ及び音声信号２ｂと共に記録される。
【００５８】
また、このＣＭ検出部４には、チューナ１から、上記同調された放送チャンネルを示すチャンネル情報１ｂも供給される。当該チャンネル情報１ｂは、ＣＭが含まれない放送チャンネルが指定されたか否かを、ＣＭ検出部４において判断する為に用いられる。すなわち、ＣＭ検出部４は、上記チャンネル情報１ｂにより、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされていると判断した場合、上記ＣＭ検出動作を行わないようにする。なお、ここでは、ＣＭ検出部４自身がチャンネル情報１ｂに基づいてＣＭ検出動作を行うか否か判断することとしているが、チューナ１がチャンネル情報１ｂによりＣＭ検出部４でのＣＭ検出動作を制御するようにしても良い。
【００５９】
以上、チューナ１、復調器２、時計部３、映像音声記録部５に示した各構成要素は、現在広く知られているビデオ装置などの磁気記録再生装置のものと同様であるため、以下では、ＣＭ検出部４に限って詳細に説明する。
【００６０】
図２は、上記ＣＭ検出部４の構成例を示す。なお、この図２中の各信号のうち、図１と共通の信号については、図１と同じ指示符号を付している。また、当該ＣＭ検出部４は、大別して、フロントエンド部とバックエンド部とから構成されている。また、図中の動作制御部２４は、チューナ１から供給された上記チャンネル情報１ｂに基づいて、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされているか否かを判断し、その判断結果に応じて、当該図２の各部におけるＣＭ検出動作を行わないように制御するものである。
【００６１】
先ず、フロントエンド部から説明する。この図２において、図１の復調器２より供給された映像信号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フレームメモリ１１に蓄えられる。なお、フレームメモリ１１は、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１からフレーム毎に読み出された映像信号は、文字検出器１２およびカットチェンジ検出器１３に送られる。
【００６２】
文字検出器１２は、フレームメモリ１１より供給されるフレーム毎の映像信号に基づいて、フレーム中に文字が含まれているか否かを判定するとともに、文字が含まれている場合、それがフレームの中央に位置しているか否かをさらに判定する。文字検出器１２は、それらの判定結果に基づいて、式（１）のような離散化数値Ｍ［ｎ］を決定する。
【００６３】
【数１】
【００６４】
すなわち、第ｎフレーム中に文字が含まれていない場合、離散化数値Ｍ［ｎ］は０となる。一方、第ｎフレーム中に文字が含まれており、かつ、それがフレームの中央に位置する場合、離散化数値Ｍ［ｎ］は２となり、中央以外に位置する場合（周辺に位置する場合）、数値Ｍ［ｎ］は１となる。
【００６５】
ここで、文字検出器１２の動作を、図３のフローチャートを参照して説明する。なお、ここでは、文字パターンは、多くの線分により構成されていることから、多くの線分を含む領域を文字領域とすることでフレーム上の文字が検出される。
【００６６】
ステップＳ１において、文字検出器１２は、フレームメモリ１１に蓄えられた時間的に隣接する、第ｎフレーム、および第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームを読み出す。ステップＳ２において、文字検出器１２は、ステップＳ１で読み出した隣接する２つのフレームに対して、微分法によるエッジ処理を施し、２つのエッジ画像を生成し、それらを２値化する。
【００６７】
次に、ステップＳ３において、文字検出器１２は、ステップＳ２で２値化されたそれぞれのエッジ画像間でＡＮＤ演算を行って、動き部分を消去し、静止部分についてのエッジ画像を生成する。
【００６８】
ステップＳ４において、文字検出器１２は、ステップＳ３で生成した静止エッジ画像を、Ｐ個の小領域に分割するとともに、各小領域に、図４に示すように番号ｐ（ｐ＝１、２，・・・Ｐ）を割り当てる。図４の例の場合、小領域には、反時計回転方向、かつフレームの周辺から中心に向う順番で番号が割り当てられるので、フレームの中央に位置する小領域には大きい番号が割り当てられる。
【００６９】
次に、ステップＳ５において、文字検出器１２は、小領域の番号を示すカウンタｐの値を１に初期化する。ステップＳ６において、文字検出器１２は、カウンタｐの値の番号を有する小領域ｐ内のエッジ線分の密度を算出する。なお、線分密度は、２値化画像の白黒比により求められる。
【００７０】
次に、ステップＳ７において、文字検出器１２は、ステップＳ６で算出した線分密度が、所定の閾値以上であるか否かを判定し、それ以上であると判定した場合、ステップＳ８に進み、小領域ｐは文字領域であると判定する。一方、ステップＳ７で、閾値より小さいと判定された場合、ステップＳ９に進み、小領域ｐは文字領域ではないと判定される。
【００７１】
ステップＳ８またはステップＳ９で、小領域ｐが文字領域である、または文字領域ではないと判定されたとき、ステップＳ１０に進み、文字検出器１２は、カウンタｐの値が、小領域の数Ｐより大きいか否かを判定し、それより大きくはないと判定した場合（それ以下である場合）、ステップＳ１１に進み、カウンタｐの値を１だけインクリメントして、ステップＳ６に戻り、次の小領域に対して、それ以降の処理を実行する。
【００７２】
ステップＳ１０で、カウンタｐの値が小領域の数Ｐより大きいと判定された場合、すなわち、すべての少領域について文字領域であるか否かが判定されたとき、ステップＳ１２に進み、文字検出器１２は、ステップＳ８で文字領域であると判定された少領域が、所定の数以上あるか否かを判定し、それ以上あると判定した場合、第ｎフレームには文字が含まれるとし、ステップＳ１３に進む。
【００７３】
ステップＳ１３において、文字検出器１２は、文字領域であると判定された小領域の群（文字）が、フレームの中央に位置するか否かを判定する。
【００７４】
例えば、図４の例では、小領域に割り当たられた番号は、フレームの周辺から中央に向かって大きくなっている。そこでこの場合、文字検出器１２は、文字領域とされた小領域の番号を検出し、その番号が所定の番号より大きいか否かを判定することで、フレーム中の文字が中央に位置するか否かを判定することができる。
【００７５】
ステップＳ１３で、文字領域とされた小領域の群（文字）は、フレームの中央に位置すると判定された場合、ステップＳ１４に進み、文字検出器１２は、離散化数値Ｍ[ｎ］を値２とする。一方、ステップＳ１３で、文字領域とされた少領域の群が、フレームの中央に位置しないと判定された場合、ステップＳ１５に進み、文字検出器１２は、離散化数値Ｍ［ｎ］を値１とする。
【００７６】
ステップＳ１２で、ステップＳ８で文字領域であると判定された小領域が、所定の数以上ないと判定された場合、ステップＳ１６に進み、文字検出器１２は、第ｎフレームには文字が含まれていないとし、離散化数値Ｍ［ｎ］を値０とする。
【００７７】
ステップＳ１４，１５，１６で、離散化数値Ｍ［ｎ］が決定されたとき、ステップＳ１に戻り、次にフレームに対して同様の処理が行われる。
【００７８】
なお、ここでは、線分密度を利用して文字領域を検出したが、例えば、「画像処理アルゴリズムの最新動向」（新技術コミュニケーションズ，1987)に紹介されている他の方法などを利用することもできる。
【００７９】
文字検出器１２の出力である離散化数値Ｍ［ｎ］は、ＴＶ送信信号の特徴量の一つとして特徴量バッファ１９へ送られる。
【００８０】
図２に戻り、カットチェンジ検出器１３は、フレームメモリ１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【００８１】
すなわち、カットチェンジ検出器１３は、フレームメモリ１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１３は、フレームメモリ１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【００８２】
以下、当該カットチェンジ検出器１３における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【００８３】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩn（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩn-1（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の自乗和Ｄ[n]は、式（２）により得られ、また、第ｎフレームの輝度分散値Ｖ[n]は、式（３）により得られる。
【００８４】
【数２】
【００８５】
また、このときのカットチェンジ検出器１３の検出出力Ｃ[n]は、式（４）により表わされる。
【００８６】
【数３】
【００８７】
ただし、式中のＤthsdは上記映像変化フレームを検出する際の自乗和に対する所定の閾値であり、Ｖthsdは上記一様輝度フレームを検出する際の輝度の分散値に対する所定の閾値である。
【００８８】
当該カットチェンジ検出器１３の検出出力Ｃ[n]は、映像信号についての特徴量として特徴量バッファ１９へ送られる。
【００８９】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の画素毎に輝度差分を求めるのではなく、フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにするで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【００９０】
図２に戻り、図１の復調器２より供給された音声信号２ｂは、Ａ／Ｄ変換器１４にてディジタル化され、音声信号バッファ１５に蓄えられる。なお、音声信号バッファ１５は、少なくとも所定時間Ｔ1（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１５から読み出された音声信号は、振幅検出器１６、相関検出器１７、およびスペクトル検出器１８に送られる。
【００９１】
振幅検出器１６は、音声信号バッファ１５に蓄えられた音声信号を用いて、所定の時間Ｔ2（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均自乗振幅を検出する。すなわち、振幅検出器１６は、音声信号バッファ１５に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１５より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、所定の時間Ｔ2（１５ｍｓ、１フレーム周期）毎に、短時間平均自乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ1に対応する。
【００９２】
より具体的に説明すると、振幅検出器１６は、第ｎフレームにおける左右２チャンネルの音声信号の平均自乗振幅Ａ[n]を式（５）により計算する。すなわち、平均自乗振幅は１５ms（１／２フレーム）毎に計算され、その１５ms毎の平均自乗振幅の３０ms（１フレーム）の期間における平均値がさらに演算され、最終的な、１フレームの平均自乗振幅とされる。
【００９３】
【数４】
【００９４】
当該振幅検出器１６の検出出力である平均自乗振幅Ａ[n]は、音声信号についての特徴量の一つとして特徴量バッファ１９へ送られる。
【００９５】
相関検出器１７は、音声信号バッファ１５に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１７は、音声信号バッファ１５に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１５より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【００９６】
より具体的に説明すると、相関検出器１７は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数ＡLR[n]を式（６）により計算し、左チャンネルの音声信号エネルギーＡLL[n]を式（７）により計算し、そして右チャンネルの音声信号エネルギーＡRR[n]を式（８）により計算する。
【００９７】
【数５】
【００９８】
当該相関検出器１７の検出出力である相関係数ＡLR[n]と音声信号エネルギーＡLL[n]，ＡRR[n]は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１９へ送られる。
【００９９】
スペクトル検出器１８は、音声信号バッファ１５に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１８は、音声信号バッファ１５に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１５より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、短時間スペクトルを計算する。
【０１００】
より具体的に説明すると、スペクトル検出器１８は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ[k;n]は式（９）により表わされる。
【０１０１】
【数６】
【０１０２】
この式（９）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【０１０３】
当該スペクトル検出器１８の計算出力である短時間離散スペクトルＦ[k;n]は、音声信号についての特徴量の一つとして特徴量バッファ１９へ送られる。
【０１０４】
次に、図１の復調器２より供給された放送モード信号２ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【０１０５】
より具体的に説明すると、第ｎフレームにおける放送モード信号２ｃは、例えば式（１０）のような数値Ｂ[n]となされる。
【０１０６】
【数７】
【０１０７】
この放送モード信号２ｃを離散化した数値Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１９へ送られる。
【０１０８】
同様に、図１の時計部３より供給された時間信号３ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ[n]となされ、特徴量の一つとして特徴量バッファ１９へ送られる。
【０１０９】
特徴量バッファ１９は、上記文字検出器１２からの離散化数値Ｍ［ｎ］、カットチェンジ検出器１３からの検出出力Ｃ[n]、振幅検出器１６からの平均自乗振幅Ａ[n]、相関検出器１７からの相関係数ＡLR[n]および音声信号エネルギーＡLL[n]，ＡRR[n]、スペクトル検出器１８からの短時間離散スペクトルＦ[k;n]、放送モード信号２ｃの離散化数値Ｂ[n]、並びに時間信号３ａの離散化数値Ｔ[n]とからなる、式（１０）に示される特徴量Ｇ[n]を、所定の時間Ｔ3に渡って蓄積する。なお、時間Ｔ3はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
Ｇ[n]=｛Ｍ[n],Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝ (10)
【０１１０】
以上のＡ／Ｄ変換器１０乃至特徴量バッファ１９までが、図２に示したＣＭ検出部４のフロントエンド部の構成であり、以下、図５、図６のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図５のステップＳ３０乃至Ｓ３３までは映像信号２ａについての処理の流れを表しており、図６のステップＳ３４乃至Ｓ４１までは音声信号２ｂ及び放送モード信号２ｃ、時間信号３ａについての処理の流れを表している。
【０１１１】
先ず、映像信号２ａについての処理の流れを表す図５において、フロントエンド部は、ステップＳ３０の処理として、Ａ／Ｄ変換器１０によりディジタル化された、少なくとも１フレーム分の映像信号２ａをフレームメモリ１１に蓄える。このフレームメモリ１１は、１フレーム分の映像信号２ａを１サンプルとして扱うようになされており、１フレーム分の映像信号２ａが入力されると、当該フレームメモリ１１内に既に蓄積されている映像信号２ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号２ａが押し出されて出力されるようになっている。
【０１１２】
次に、フロントエンド部は、ステップＳ３１の処理として、フレームメモリ１１から映像信号２ａを読み出して文字検出器１２に送り、前述のようにして離散化数値Ｍ［ｎ］を求める。
【０１１３】
フロントエンド部は、ステップＳ３２の処理として、フレームメモリ１１から映像信号２ａを読み出してカットチェンジ検出器１３に送り、前述のようにして検出出力Ｃ[n]を求める。
【０１１４】
その後、フロントエンド部は、ステップＳ３３の処理として、離散化数値Ｍ［ｎ］および検出出力Ｃ[n]を特徴量バッファ１９に蓄える。
【０１１５】
一方、音声信号２ｂについての処理の流れを表す図６において、フロントエンド部は、ステップＳ３４及びステップＳ３５の処理として、Ａ／Ｄ変換器１４によりディジタル化された、音声信号２ｂを音声信号バッファ１５に入力すると共に、当該音声信号バッファ１５に少なくとも１フレーム周期Ｔ2分の音声信号２ｂを蓄積する。この音声信号バッファ１５は、１フレーム周期Ｔ2分の音声信号２ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ2分の音声信号２ｂが入力されると、当該音声信号バッファ１５内に既に蓄積されている音声信号２ｂが１フレーム周期Ｔ2分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ2分の音声信号２ｂが押し出されて出力されるようになっている。
【０１１６】
上記音声信号バッファ１５に少なくとも１フレーム周期Ｔ2分の音声信号２ｂが蓄積されると、フロントエンド部は、ステップＳ３６の処理として、当該音声信号バッファ１５に蓄積された音声信号２ｂを読み出して振幅検出器１６に送り、前述のようにして、平均自乗振幅Ａ[n]を求める。
【０１１７】
同時に、フロントエンド部は、ステップＳ３７の処理として、音声信号バッファ１５に蓄積された音声信号２ｂを相関検出器１７に送り、前述のようにして、相関係数ＡLR[n]と音声信号エネルギーＡLL[n]，ＡRR[n]を求める。
【０１１８】
また同時に、フロントエンド部は、ステップＳ３８の処理として、音声信号バッファ１５に蓄積された音声信号２ｂをスペクトル検出器１８に送り、前述のようにして、短時間離散スペクトルＦ[k;n]を求める。
【０１１９】
さらに、フロントエンド部は、ステップＳ３９の処理として、図１の復調器２より供給された放送モード信号２ｃから、前述のように離散化した数値Ｂ[n]を求めると共に、ステップＳ４０の処理として、図１の時計部３より供給された時間信号３ａから、前述のように離散化された数値Ｔ[n]を求める。
【０１２０】
その後、フロントエンド部は、ステップＳ４１の処理として、振幅検出器１６からの平均自乗振幅Ａ[n]、相関検出器１７からの相関係数ＡLR[n]および音声信号エネルギーＡLL[n]，ＡRR[n]、スペクトル検出器１８からの短時間離散スペクトルＦ[k;n]、放送モード信号２ｃの離散化数値Ｂ[n]、並びに時間信号３ａの離散化数値Ｔ[n]を、特徴量バッファ１９に蓄積する。すなわち、特徴量バッファ１９には、ステップＳ３３とステップＳ４１の処理により、特徴量Ｇ［ｎ］が蓄積される。
【０１２１】
図２に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１９内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ[0]とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【０１２２】
図２において、特徴量バッファ１９に蓄積された特徴量は、フレーム毎にＣＭ候補検出器２０に送られる。
【０１２３】
当該ＣＭ候補検出器２０は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（１１）で且つ式（１２）で且つ式（１３）の条件として書き下すことができる。
【０１２４】
Ａ[0]＜Ａthsd (11)
Ｃ[0]＝１ (12)
Ａ[n1]＜Ａthsd，Ｃ[n1]＝１又はＡ[n2]＜Ａthsd，Ｃ[n2]＝１又は
Ａ[n3]＜Ａthsd，Ｃ[n3]＝１ (13)
【０１２５】
ただし、Ａthsdは所定の自乗振幅の閾値であり、ｎ1，ｎ2，ｎ3はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ1，ｎ2，ｎ3にはそれぞれ多少の幅を持たせる。
【０１２６】
ここで、図７を用いて、上記ＣＭ候補検出器２０の動作を説明する。
【０１２７】
図７において、特徴量バッファ１９では、ステップＳ５０のバッファシフト処理とステップＳ５１の特徴量入力処理として、図５のステップＳ３０で説明したフレームメモリと図６のステップＳ３４で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１９は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１９内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１２８】
上記ステップＳ５０およびステップＳ５１の処理により、特徴量バッファ１９から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検出器２０は、ステップＳ５２およびステップＳ５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。
【０１２９】
すなわち、ＣＭ候補検出器２０は、ステップＳ５２において、先ず最初のフレームの平均自乗振幅Ａ[0]と所定の自乗振幅の閾値Ａthsdを比較し、次に、ステップＳ５３の処理として、検出出力Ｃ[0]が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検出器２０では、これらステップＳ５２，Ｓ５３の判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ５７以降（ステップＳ５４乃至Ｓ５６については後述する）の処理に進み、逆に、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ５０の処理に戻る。
【０１３０】
上記ステップＳ５２，Ｓ５３の各判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定された場合、ＣＭ候補検出器２０は、ステップＳ５７の処理としてＣＭ開始フレームｎsを検索し、次に、ステップＳ５８の処理としてＣＭ終了フレームｎeの検索を行い、更に、ステップＳ５９の処理としてＣＭ開始時刻Ｔsを計算し、ステップＳ６０としてＣＭ長さＷを計算する。
【０１３１】
ＣＭ候補検出器２０は、以上のステップＳ５７乃至Ｓ６０の検索及び計算を行った後、ステップＳ６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔs及びＣＭ長さＴwが一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ５４乃至Ｓ５６の処理に戻り、逆に存在しない場合には、ステップＳ６２において、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ５４乃至Ｓ５６の処理に戻る。
【０１３２】
ステップＳ５４乃至Ｓ５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０１３３】
なお、上記ＣＭ開始フレームｎsとは、ｎ1，ｎ2，ｎ3で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越える最初のフレーム番号である。また、ＣＭ終了フレームｎeとは、０番目のフレームより過去の方向に向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔsは、ＣＭ開始フレーム番号ｎsを用いてＴs＝Ｔ[ns]として求められる。同様にＣＭ長さＴwは、Ｔw＝Ｔ[ne]−Ｔ[ns]として求められる。
【０１３４】
ここで、図８に、上記必須条件の算出例を示す。この図８に示すＡ[n]の項において、「ｏ」は自乗振幅の閾値Ａthsd未満の平均自乗振幅を持つフレームを示し、「ｘ」は自乗振幅の閾値Ａthsd以上の平均自乗振幅を持つフレームを示している。この例では、Ａ[0]，Ｃ[0]及びＡ[n1]，Ｃ[n1]が条件を満たし、ｎ1より左方で最初にＡ[n]＝ｘとなるフレームがｎs、０より右方に連続する最後のＡ[n]＝ｏとなるフレームがｎeとなる。
【０１３５】
以上の処理により、ＣＭ候補検出器２０では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０１３６】
図９には、ＣＭ候補テーブルの構成例を示す。この図９において、ＣＭ候補テーブルの項目は、開始時刻Ｔs、長さＴw、及び後述する付加条件算出器２１で算出する特徴量Ｑ1乃至Ｑ14、及び後述する付加条件判定器２２で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器２０によるＣＭ候補テーブル２０ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器２０で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器２１で算出される特徴量Ｑ1乃至Ｑ14と、付加条件判定器２２で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器２３からＣＭ検出出力４ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０１３７】
上記ＣＭ候補検出器２０により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル２０ａは、付加条件算出器２１に送られる。
【０１３８】
付加条件算出器２１では、ＣＭ候補テーブル２０ａにエントリーされた候補区間より、特徴量バッファ１９を参照しながら、以下に示すような特徴量Ｑ1乃至Ｑ14を抽出し、それをＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして付加条件判定器２２に出力する。
【０１３９】
図１０には、当該付加条件算出器２１における特徴量Ｑ1乃至Ｑ11の算出例を示す。
【０１４０】
この図１０において、横軸はフレーム番号（離散時間に相当）を表し、図１０（Ａ）はカットチェンジ検出出力Ｃ[n]、図１０（Ｂ）は放送モード信号２ｃの離散化数値Ｂ[n]、図１０（Ｃ）は音声信号の短時間離散スペクトルＳ[k,n]、図１０（Ｄ）は音声信号の平均自乗振幅Ａ[n]を表わし、ｎ1の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図１０（Ａ）において、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ[n]が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図１０（Ｂ）において、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図１０の（Ｃ）において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図１０（Ｄ）において、図中ＡＭは自乗振幅の変化を表している。また、図中Ｑ1乃至Ｑ11は、上記付加条件算出器２１にて特徴量Ｑ1乃至Ｑ11が計算される場所を示している。
【０１４１】
以下、付加条件算出器２１で算出される各特徴量Ｑ1乃至Ｑ14について個々に説明する。
【０１４２】
特徴量Ｑ1は、前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図１０中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ1である。
【０１４３】
特徴量Ｑ2は、後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図１０中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ2である。
【０１４４】
特徴量Ｑ3は、前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ3は、の前ブレーク区間におけるＡ[n]の最小値である。
【０１４５】
特徴量Ｑ4は、後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ4は、の後ブレーク区間におけるＡ[n]の最小値である。
【０１４６】
特徴量Ｑ5は、左右相関値である。当該左右相関値Ｑ5は、ＣＭ候補区間の音声の左右２チャンネルの音声信号ＳL[m]，ＳR[m]の相関値である。これは、式（６）乃至式（８）のＡLR[n]，ＡLL[n]，ＡRR[n]を利用して、式（１５）に従って算出することができる。
【０１４７】
【数８】
【０１４８】
この式（１５）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０１４９】
特徴量Ｑ6は、平均振幅値である。当該平均振幅値Ｑ6は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均自乗振幅）である。これは、式（１６）により計算することができる。
【０１５０】
【数９】
【０１５１】
この式（１６）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０１５２】
特徴量Ｑ7は、カット数である。当該カット数Ｑ7は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、[ns,ne］の区間でＣ[n]＝１となる回数を数える演算となる。
【０１５３】
特徴量Ｑ8は、放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［ns,ne］の区間のＢ[n］値の中で、最も頻発する放送モードＱ8を選ぶ演算である。
【０１５４】
特徴量Ｑ9は、隣接候補数である。当該隣接候補数Ｑ9は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔsと長さＴwと後ブレーク長Ｑ2の和（Ｔs＋Ｔw＋Ｑ2）が、他のＣＭ候補の開始時刻（Ｔ's）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔsと前ブレーク長Ｑ1の差（Ｔs−Ｑ1）が、他のＣＭ候補の開始時刻Ｔ'sと長さＴ'wの和（Ｔ's＋Ｔ'w）と一致するかどうかで、前側候補の判定が行われる。
【０１５５】
特徴量Ｑ10，Ｑ11はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ10，Ｑ11は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（１７）乃至（２２）に従って計算される。
【０１５６】
【数１０】
【０１５７】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ'eはＣＭ候補区間の直前の有音区間の終了フレーム番号（図１０参照）、ｎ'sはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ1[k]はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ2[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ3[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ4[k]はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓnormは適切な規格化定数である。
【０１５８】
特徴量Ｑ12は、式（２３）に示すように、ＣＭ候補区間中に存在するフレーム（フレームＮs乃至フレームＮe）の離散化数値Ｍ［ｎ］に基づく値である。
【０１５９】
【数１１】
【０１６０】
従って、フレームＮs乃至フレームＮeの中に、文字が中央に表示される（位置する）フレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームが存在する場合、特徴量Ｑ12は、値２となる。
【０１６１】
フレームＮs乃至フレームＮeの中に、文字が中央に位置するフレームは存在しないが、文字が中央以外の部分（周辺）に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが存在する場合、特徴量Ｑ12は、値１となる。
【０１６２】
そしてフレームＮs乃至フレームＮeの中に、文字を含むフレームが存在しない場合、すなわち、離散化数値Ｍ［ｎ］が値１または値２のフレームは存在しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレームである場合）、特徴量Ｑ12は、値０となる。
【０１６３】
ここで、特徴量Ｑ12を決定する場合の付加条件算出器２１の動作を、図１１のフローチャートを参照して説明する。
【０１６４】
ステップＳ７１において、付加条件算出器２１は、ＣＭ候補区間中のフレームＮs乃至フレームＮe）の離散化数値Ｍ［ｎ］を取得し、ステップＳ７２において、その中に、数値Ｍ［ｎ］が値２のフレームが存在するか否かを判定し、存在すると判定した場合、ステップＳ７３に進み、特徴量Ｑ12を値２とする。
【０１６５】
ステップＳ７２で、数値Ｍ［ｎ］が値２のフレームが存在しないと判定された場合、ステップＳ７４に進み、付加条件算出器２１は、数値Ｍ［ｎ］が値１のフレームが存在するか否かを判定し、存在すると判定した場合、ステップＳ７５に進み、特徴量Ｑ12を値１にする。
【０１６６】
ステップＳ７４で、数値Ｍ［ｎ］が値１のフレームが存在しないと判定された場合、すなわち、結局、数値Ｍ［ｎ］が値２，値１のフレームが存在しない場合、ステップＳ７６に進み、付加条件算出器２１は、特徴量Ｑ12を値０にする。
【０１６７】
ステップＳ７３，７５，７６で特徴量Ｑ12が決定されたとき、処理は終了する。
【０１６８】
特徴量Ｑ13は、式（２４）に示すように、ＣＭ候補区間の最初の部分のフレーム（この例の場合、フレームＮsが入力されてから１秒間に入力された、フレームＮsを含む３０個のフレーム）の離散化数値Ｍ［ｎ］に基づく値である。
【０１６９】
【数１２】
【０１７０】
従って、この最初の部分のフレームの中に、文字が中央に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームが存在する場合、特徴量Ｑ13は、値２となる。
【０１７１】
最初の部分のフレームの中に、文字が中央に位置するフレームが存在しないが、文字が周辺に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが存在する場合、特徴量Ｑ13は、値１となる。
【０１７２】
そして最初の部分のフレームの中に、文字を含むフレームが存在しない場合、すなわち、離散化数値Ｍ［ｎ］が値１または値２のフレームが存在しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレームである場合）、特徴量Ｑ13は、値０となる。
【０１７３】
特徴量Ｑ14は、式（２５）に示すように、ＣＭ候補区間の最後の部分のフレーム（この例の場合、フレームＮeが入力される１秒前から入力された、フレームＮeを含む３０個のフレーム）の離散化数値Ｍ［ｎ］に基づく値である。
【０１７４】
【数１３】
【０１７５】
従って、この最後の部分のフレームの中に、文字が中央に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームが存在する場合、特徴量Ｑ14は、値２となる。
【０１７６】
最後の部分のフレームの中に、文字が中央に位置するフレームが存在しないが、文字が周辺に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが存在する場合、特徴量Ｑ14は、値１となる。
【０１７７】
そして最後の部分のフレームの中に、文字を含むフレームが存在しない場合、すなわち、離散化数値Ｍ［ｎ］が値１または値２のフレームが存在しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレームである場合）、特徴量Ｑ14は、値０となる。
【０１７８】
特徴量Ｑ13，Ｑ14を算出する場合、特徴量Ｑ12を算出する場合における図１１のステップＳ７１に相当する処理で、最初の部分のフレームまたは最後の部分のフレームの数値Ｍ［ｎ］が取得された後、ステップＳ７２乃至ステップＳ７６に相当する処理が同様に行われる。
【０１７９】
上記付加条件算出器２１は、以上により算出したＱ1からＱ14までの特徴量を、ＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出力する。当該ＣＭ候補テーブル２１ａは、付加条件判定器２２に送られる。
【０１８０】
付加条件判定器２２は、ＣＭ候補テーブル２１ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器２２は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル２１ａに追加記述し、ＣＭ候補テーブル２２ａとして出力する。
【０１８１】
図１２には、付加条件判定器２２の概略構成を示す。
【０１８２】
この図１２において、ＣＭ候補テーブル２１ａの各特徴量Ｑ1乃至ＱLは、それぞれ対応する関数演算器５０1乃至５０Lに送られ、それぞれ対応するパラメータ変換関数Ｈ1()乃至ＨL()による変換演算が施された後、さらにそれぞれ対応する重み付け器５１1乃至５１Lにより荷重Ｗ1乃至ＷLとの積がとられる。各重み付け器５１1乃至５１Lにより重み付けがなされた後の特徴量は、総和加算器５２での総和加算によりスコアＲが算出される。この総和加算器５２から出力されたスコアＲは、スコア判定器５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０１８３】
より具体的に説明すると、当該付加条件判定器２２におけるスコア算出演算は、式（２６）に従って行われる。
【０１８４】
【数１４】
【０１８５】
ただし、Ｈl()は各特徴量に対して予め定めるパラメータ変換関数、Ｗlは予め決定しておく荷重、そしてＬは特徴量数（＝１４）である。なお、ｌは１乃至１４のうちの任意の数である。
【０１８６】
ここで、各関数演算器５０1乃至５０Lにおけるパラメータ変換関数Ｈl()は、最も簡単には矩形関数でよい。すなわち例えば、図１３（Ｂ）に示すような矩形関数Ｒect（x;t1,t2）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ1l，ｔ2lとし、式（２７）により例えばＱ1が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０１８７】
Ｈl（Ｑl）＝Ｒect（Ｑl;t1,t2） (27)
【０１８８】
なお、境界付近で滑らかに０から１、１から０へ推移させるようにする場合には、例えば式（２８）のような、シグモイド関数Ｓigm(x;t1,t2)を用いることもできる。
【０１８９】
【数１５】
【０１９０】
図１３（Ｃ）にシグモイド関数の概形を示す。ただし、σ1l,σ2lは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０１９１】
また、上記各重み付け器５１1乃至５１Lによる加算荷重Ｗlは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（1999）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１乃至１４のうちの任意の数である。
【０１９２】
さらに、上記判定器５３におけるスコア判定は、式（２９）のように、スコアＲの閾値処理により行う。
【０１９３】
Ｚ＝Ｕnit（Ｒ−ｔr） (29)
【０１９４】
ただし、Ｕnit（ｘ）は、図１３（Ａ）に示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔrは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０１９５】
次に、ルール判定器２３は、上記付加条件判定器２２でのスコア判定により得られたＣＭ候補テーブル２２ａを入力とし、後述するような所定のルール判定により最終的なＣＭ検出出力４ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器２３では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０１９６】
以下、ルール判定器２３の動作を図１４のフローチャートを用いて説明する。
【０１９７】
先ず、ルール判定器２３は、ステップＳ８０として、ＣＭ候補テーブルより、判定すべきＣＭ候補を選択する。この選択は、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ4が経過したものから順に行われる。Ｔ4は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０１９８】
続いて、ルール判定器２３は、ステップＳ８１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ８１において、他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０１９９】
一方、ステップＳ８１において、他のＣＭ候補が存在すると判定された場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ８２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０２００】
図１５を用いて、この最小長さ優先ルールの一例を説明する。
【０２０１】
なおこの例には、図１５（Ａ）のように、実際には４つのＣＭ１乃至ＣＭ４が連続して放送されている区間に対し、図１５（Ｂ）中Ａ乃至Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０２０２】
先ず、図１５（Ｃ）に示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図１５（Ｄ）に示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図１５（Ｅ）に示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図１５（Ｆ）に示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０２０３】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０２０４】
図１４に戻り、ステップＳ８２のルール判定の後、ルール判定器２３の処理は、ステップＳ８３に進む。ステップＳ８３に進むと、ルール判定器２３は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ８３において、判定中のＣＭが棄却されと判断した場合（Ｙｅｓ）、ルール判定器２３は、その候補をＣＭ候補テーブルから消去し、ステップＳ８０に戻る。一方、ステップＳ８３において、判定中のＣＭが棄却されていないと判断した場合（Ｎｏ）、ルール判定器２３は、ステップＳ８４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０２０５】
このステップＳ８４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器２３は、ステップＳ９０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ８４にて他のＣＭ候補が存在すると判断した場合（Ｙｅｓ）、ルール判定器２３の処理は、ステップＳ８５に進む。
【０２０６】
ステップＳ８５に進むと、ルール判定器２３は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０２０７】
図１６を用いて、当該隣接優先ルールについて説明する。
【０２０８】
なおこの例には、図１６（Ａ）のように、実際には４つのＣＭ１１乃至ＣＭ１４が連続して放送されている区間に対し、図１６（Ｂ）中Ｉ乃至Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０２０９】
このような例において、先ず、図１６（Ｃ）に示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図１６（Ｄ）に示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図１６（Ｅ），（Ｆ）に示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０２１０】
以上により、この図１６に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０２１１】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０２１２】
図１４に戻り、ステップＳ８５の処理後、ルール判定器２３の処理は、ステップＳ８６に進む。ステップＳ８６に進むと、ルール判定器２３は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ８６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２３は、その候補をＣＭ候補テーブルから消去し、ステップＳ８０の処理に戻る。一方、ステップＳ８６において棄却されていないと判定された場合（Ｎｏ）、ルール判定器２３は、次のステップＳ８７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０２１３】
このステップＳ８７において、他のＣＭ候補が存在しなと判定された場合（Ｎｏ）、ルール判定器２３は、ステップＳ９０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ８７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器２３は、ステップＳ８８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器２２により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０２１４】
図１７を用いて、当該スコア優先ルールについて説明する。
【０２１５】
なおこの例には、図１７（Ａ）のように、実際には４つのＣＭ２１乃至ＣＭ２４が連続して放送されている区間に対し、図１７（Ｂ）中Ｐ乃至Ｗで示すような７つの候補が存在する場合が示されている。
【０２１６】
この例において、先ず、図１７（Ｃ）に示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０２１７】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、(Ｐ−Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−Ｓ)という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ(2.0)が最も高いスコアであるため、図１７（Ｄ）に示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０２１８】
しかしながら、図１７（Ｅ）に示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、３つの候補が関係する２つの競合関係のみとなる。
【０２１９】
さらに、これらの候補の中で最もスコアの高い候補Ｑ(1.9)を採用し、図１７（Ｆ）に示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０２２０】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０２２１】
なお、仮に、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器２３では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０２２２】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０２２３】
図１４に戻り、ステップＳ８８の処理後、ルール判定器２３の処理は、ステップＳ８９に進む。ステップＳ８９に進むと、ルール判定器２３は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ８９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２３は、その候補をＣＭ候補テーブルより消去し、ステップＳ８０に戻る。一方、ステップＳ８９において、棄却されなかった場合、ルール判定器２３は、ステップＳ９０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ８０に戻る。
【０２２４】
なお、本実施の形態では、例えば現行のアナログＴＶ放送の映像音声記録装置を例にとったが、ディジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部４が適用できることは明らかである。また、例えばラジオ放送に適用される場合には、上記ＣＭ検出部４から映像信号の処理を担当する部分を省略することで同様の機能が実現できる。
【０２２５】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した映像音声記録装置が機能的に実現される。
【０２２６】
図１８は、上述のような映像音声記録装置として機能するコンピュータ１０１の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）１１１にはバス１１５を介して入出力インタフェース１１６が接続されており、CPU１１１は、入出力インタフェース１１６を介して、ユーザから、キーボード、マウスなどよりなる入力部１１８から指令が入力されると、例えば、ROM（Read Only Memory）１１２、ハードディスク１１４、またはドライブ１２０に装着される磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、若しくは半導体メモリ１３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）１１３にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU１１１は、その処理結果を、例えば、入出力インタフェース１１６を介して、LCD（Liquid Crystal Display）などよりなる出力部１１７に必要に応じて出力する。なお、プログラムは、ハードディスク１１４やROM１１２に予め記憶しておき、コンピュータ１０１と一体的にユーザに提供したり、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３，半導体メモリ１３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部１１９を介してハードディスク１１４に提供することができる。
【０２２７】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２８】
本発明によれば、第１の信号を適切に検出することができる。
【図面の簡単な説明】
【図１】本発明を適用した映像音声記録装置の構成例を表すブロック図である。
【図２】図１のＣＭ検出部の構成例を表すブロック図である。
【図３】文字検出器１２の動作を説明するフローチャートである。
【図４】小領域に割り当てられる番号を説明するための図である。
【図５】ＣＭ検出部のフロントエンド部における映像信号処理の流れを示すフローチャートである。
【図６】ＣＭ検出部のフロントエンド部における音声信号処理の流れを示すフローチャートである。
【図７】ＣＭ検出部のＣＭ候補検出器における動作の流れを示すフローチャートである。
【図８】必須条件の算出例の説明に用いる図である。
【図９】ＣＭ候補テーブルを示す図である。
【図１０】ＣＭ検出部の付加条件算出器における特徴量の算出例の説明に用いる図である。
【図１１】特徴量Ｑ12を算出する場合の付加条件算出器の動作を説明するフローチャートである。
【図１２】付加条件算出器の構成例を示すブロック図である。
【図１３】スコア算出演算の際の単位ステップ関数、矩形関数、シグモイド型関数の説明に用いる図である。
【図１４】ルール判定器の動作の流れを示すフローチャートである。
【図１５】最小長さ優先ルールの説明に用いる図である。
【図１６】隣接優先ルールの説明に用いる図である。
【図１７】スコア優先ルールの説明に用いる図である。
【図１８】コンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１ チューナ， ２ 復調器， ３ 時計部， ４ ＣＭ検出器， ５ 映像音声記録部， １０，１４ Ａ／Ｄ変換器， １１ フレームメモリ， １２ 文字検出器， １３ カットチェンジ検出器， １５ 音声信号バッファ，１６振幅検出器， １７ 相関検出器， １８ スペクトル検出器， １９ 特徴量バッファ， ２０ ＣＭ候補検出器， ２１ 付加条件算出器， ２２ 付加条件判定器， ２３ ルール判定器， ２４ 動作制御部
【発明の属する技術分野】
本発明は、信号処理装置及び方法、記録媒体、並びにプログラムに関し、特に、テレビジョン放送に付加されるコマーシャルメッセージを適切に自動的に検出することができる信号処理装置及び方法、記録媒体、並びにプログラムに関するものである。
【０００２】
【従来の技術】
一般に、放送番組についてスポンサーが付いているテレビジョン（以下、適宜ＴＶと称する）放送では、本編（番組そのもの）の合間に、その番組を提供しているスポンサーのコマーシャルメッセージ（以下、単にＣＭと称する）が挿入される。
【０００３】
しかしながら、視聴者の興味は、主として本編にあるため、ＣＭを省略して視聴したいという要望は多い。
【０００４】
その一方で、関心のある製品のＣＭや、ストーリー性のあるＣＭ、有名俳優が登場するＣＭなど、ＣＭ自体を視聴対象とする場合も少なくない。
【０００５】
このようなことから、特に、磁気テープや磁気ディスク等の媒体にＴＶ放送番組等を録画する場合において、放送番組から本編とＣＭとを分離／区別して、必要なときに必要な部分を視聴することが可能となれば、上述したような多様な要望に対する有効な解決手段を与えることになると考えられる。
【０００６】
ところで、ＴＶ放送からＣＭのみを省略して試聴可能とする技術としては、従来より、いわゆるＣＭスキップ機能（広義のＣＭスキップ機能）が存在し、例えば家庭用ビデオ録画再生装置には当該ＣＭスキップ機能が搭載されているものが多い。
【０００７】
このＣＭスキップ機能（広義のＣＭスキップ機能）は、その仕組みに応じて４つに大別され、それぞれ一般には、ＣＭ早送り機能、ＣＭカット機能、放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）と呼ばれている。なお、これら４つに大別されたＣＭスキップ機能のうち、上記ＣＭ早送り機能とは、日本国内においては通例としてＣＭが１５秒の倍数で製作されていることを利用し、家庭用ビデオ録画再生装置でのビデオ再生中に、例えばリモコンボタン操作によって（３０秒）×（ボタンを押した回数）の時間だけ早送りを行うことにより、ＣＭ部分を飛ばす機能である。このＣＭ早送り機能に関する技術については、例えば特開平１０−２６９６５１号公報などに公開されている。また、特開平９−３０７８４１号公報には、上記ＣＭ早送り機能における早送り終了時刻を時間で決定せず、映像信号のブラックフレームと音声信号の無音部が同時に所定長さ以上にわたり生じる部分を、早送り終了時刻とする技術が公開されている。
【０００８】
ＣＭカット機能とは、日本国内においてはＣＭがステレオ放送されることが多く、また、ＴＶ放送信号には音声がモノラルモード／ステレオモード／音声多重モードの何れであるかを示すパイロット信号が多重されていることを利用し、例えば音声がモノラルモード又は音声多重モードとなされている本編を録画するような場合に、ステレオモード区間（すなわちＣＭ区間）のみ録画を停止することで、ＣＭ部分をカットすることを可能にする機能である。このＣＭカット機能に関する技術については、例えば特開平３−１５８０８６号、特開平３−２６２２８７２号などの公報に公開されている。
【０００９】
放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）とは、ＣＭカット機能と同様に放送モードの違いを利用する仕組みであるが、上記ＣＭカット機能が録画時にＣＭをカットしているのに対し、当該放送モードに基づくＣＭスキップ機能では、録画時には全ての映像及び音声を記録すると同時にその放送モードも記録しておき、再生時にステレオ放送区間（すなわちＣＭ区間）のみ自動的に早送りする機能である。この放送モードに基づくＣＭスキップ機能に関する技術については、例えば特開平５−２５０７６２号公報などに公開されている。
【００１０】
放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）とは、放送信号中に含まれる音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔、映像信号の黒レベル／白レベルの出現間隔などを利用して、これらが１５秒の倍数間隔に合致する部分をＣＭとして早送りする機能である。当該放送モードによらないＣＭスキップ機能に関する技術については、特開平８−３１７３４２号公報や、文献「ＴＶ放送のＣＭ検出方式についての一検討」（映像情報メディア学会技術報告、VIR97-22、19/23（1997））などに公開されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記ＣＭ早送り機能自体は、家庭用ビデオ録画再生装置にて録画したＴＶ放送を再生して視聴する視聴者に対して、ＣＭかどうかの判断を任せるものであり、ＴＶ放送から自動的にＣＭ部分を検出するようなＣＭ検出機能は備えていない。
【００１２】
また、上記放送モードに基づくＣＭカット機能やＣＭスキップ機能（狭義のＣＭスキップ機能）では、放送モードの違い、すなわち例えばステレオモードによるＣＭ検出を行うようになされているが、例えば本編自体がステレオモードとなされている場合や、ＣＭがモノラルモードや音声多重モードとなっている場合には、全く効果がない（すなわちＣＭカットやＣＭスキップができない）。
【００１３】
一方、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）では、視聴者や放送モードに依存することなく、放送内容に基づいたＣＭ検出が可能となっている。ただし、当該機能の場合は、音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔などが、予め想定されている設定値と一致することなど、非常に狭い条件に基づいた決定論的な判定手続きによりＣＭ区間を検出するようになされている。これに対し、実際の放送番組では、放送時間の調整の目的や人為的なスイッチングなどの要因によって無音区間間隔が例えば短縮されていたりする場合が少なからずあり、逆に、番組本編の中にも上記の条件を満たす区間が多く存在している。このため、無音区間間隔が予め想定されている長さより短いようなＣＭの場合は全く検出ができなくなる問題が発生し、逆に、上記設定値の条件を満たす本編の場合は当該本編をＣＭ区間として誤って検出してしまう等の問題点が生じてしまう。
【００１４】
さらに、上記４つの機能では、例えば複数のＣＭが連続されて放送されている場合には、ＣＭ全体の区間を検出することはできても、個々のＣＭの検出はできない。このため、ＣＭを個別に抽出して視聴したいような場合（要望）には適さない。
【００１５】
以上のようなことから、ＴＶ放送信号からＣＭ部分を高精度に検出又は検索できることが望まれている。
【００１６】
そこで、本発明は、以上のような状況を鑑みてなされたものであり、例えばＴＶ放送信号に含まれるコマーシャルメッセージ部分を適切に検出する、信号処理装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の信号処理装置は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出手段と、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出手段と、小領域には、所定の順に番号が割り当てられており、文字検出手段により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出手段と、文字検出手段による文字検出結果または文字表示位置検出手段による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出手段と、特徴量に基づいて、第１の信号の区間を検出する区間検出手段とを備え、算出手段は、文字検出手段により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出手段により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する。
【００２０】
文字検出手段により、文字を表示する信号が検出されたとき、文字の出現時刻を検出する文字出現時刻検出手段をさらに備え、算出手段は、文字出現時刻検出手段により検出された出現時刻が候補区間内における候補区間の始点または終点付近にあるときにも、さらにより大きい特徴量を算出することができる。
【００２１】
本発明の信号処理方法は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出ステップと、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、小領域には、所定の順に番号が割り当てられており、文字検出ステップの処理により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出ステップと、文字検出ステップの処理による文字検出結果または文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出ステップと、特徴量に基づいて、第１の信号の区間を検出する区間検出ステップとを含み、算出ステップでは、文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する。
【００２２】
本発明の記録媒体のプログラムは、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出ステップと、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、小領域には、所定の順に番号が割り当てられており、文字検出ステップの処理により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出ステップと、文字検出ステップの処理による文字検出結果または文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出ステップと、特徴量に基づいて、第１の信号の区間を検出する区間検出ステップとを含み、算出ステップでは、文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する処理をコンピュータに実行させる。
【００２３】
本発明のプログラムは、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出ステップと、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、小領域には、所定の順に番号が割り当てられており、文字検出ステップの処理により文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置を検出する文字表示位置検出ステップと、文字検出ステップの処理による文字検出結果または文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、第１の信号らしさを表す特徴量を算出する算出ステップと、特徴量に基づいて、第１の信号の区間を検出する区間検出ステップとを含み、算出ステップでは、文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい特徴量を算出し、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量を算出する処理をコンピュータに実行させる。
【００２４】
本発明においては、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間が検出され、時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つのエッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した静止エッジ画像を小領域に分割し、小領域内のエッジ線分の密度を算出し、算出した密度が所定の閾値以上である場合、小領域を文字領域とすることで、候補区間の信号から、文字を表示する信号が検出される。また、小領域には、所定の順に番号が割り当てられており、文字を表示する信号が検出されたとき、小領域に割り当てられた番号に基づいて、文字の表示位置が検出される。そして、文字を表示する信号が検出されたとき、より大きい、第１の信号らしさを表す特徴量が算出され、文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい特徴量が算出され、特徴量に基づいて、第１の信号の区間が検出される。
【００２５】
【発明の実施の形態】
先ず、本発明実施の形態の具体的構成について述べる前に、本発明に基づき、例えばＴＶ放送信号からＣＭ部分を検出する際の原理について概説する。
【００２６】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【００２７】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【００２８】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが示すパターンである。本発明では、このようにほぼ全てのＣＭが示す信号のパターンを「特徴的パターン」と称し、それを検出するための条件を「必須条件」と称することにする。
【００２９】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【００３０】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【００３１】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【００３２】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【００３３】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【００３４】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【００３５】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【００３６】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【００３７】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【００３８】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【００３９】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【００４０】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【００４１】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【００４２】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【００４３】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【００４４】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【００４５】
１５）ＣＭ期間中には、商品名や企業名などを表す文字やロゴ、マーク等が表示される場合が多い。
【００４６】
１６）商品名等を表す文字は、視聴者に強い印象を与えるため、画面の中央に表示されることが多い。
【００４７】
１７）企業名等を表す文字は、企業や団体の統一感を与えるために、ＣＭの初めの方と、後の方に表示されることが多い。
【００４８】
本発明では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。本発明は、上記の１５）乃至１７）を付加条件とすることに特徴がある。
【００４９】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【００５０】
本発明では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【００５１】
より具体的に言うと、本発明では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【００５２】
図１には、上述のようにＴＶ放送信号からＣＭを検出可能とした、本発明の実施の形態としての映像音声記録装置の概略構成を示す。
【００５３】
図１において、アンテナ６により受信されたＴＶ放送信号は、チューナ１により同調され、放送信号１ａとして復調器２に入力する。
【００５４】
復調器２は、入力された放送信号１ａに含まれるパイロット信号の変調周波数から、その入力時点での放送モード（モノラルモード／ステレオモード／音声多重モード）を判別し、また、放送信号１ａに含まれる映像及び音声の変調信号を復調する。このとき、音声変調信号は、上記判別した放送モードに応じて復調される。当該復調器２により復調された映像信号２ａ、音声信号２ｂ、及び放送モード信号２ｃは、ＣＭ検出部４に入力される。また、映像信号２ａおよび音声信号２ｂは、映像音声記録部５にも入力される。
【００５５】
映像音声記録部５は、磁気テープ、磁気ディスク、光ディスク若しくは光磁気ディスク等を記録媒体として用い、上記映像信号２ａ及び音声信号２ｂを記録再生可能な装置である。なお、映像音声記録部５は、映像信号及び音声信号に対して符号化や圧縮などを施して記録し、再生時にはその符号化や圧縮された映像信号及び音声信号を復号化、伸張する装置であってもよい。
【００５６】
時計部３は、時刻を表す時間信号３ａを発生し、当該時間信号３ａをＣＭ検出部４に供給する。
【００５７】
ＣＭ検出部４は、詳細については後述するが、上記復調器２からの映像信号２ａ、音声信号２ｂ、および放送モード信号２ｃ、並びに時計部３からの時間信号３ａを入力とし、放送信号１ａの映像及び音声信号に含まれるＣＭ区間を検出し、その開始時刻と長さをＣＭ検出出力４ａとして出力する。当該ＣＭ検出部４によるＣＭ検出出力４ａは、映像音声記録部５に送られ、上記映像信号２ａ及び音声信号２ｂと共に記録される。
【００５８】
また、このＣＭ検出部４には、チューナ１から、上記同調された放送チャンネルを示すチャンネル情報１ｂも供給される。当該チャンネル情報１ｂは、ＣＭが含まれない放送チャンネルが指定されたか否かを、ＣＭ検出部４において判断する為に用いられる。すなわち、ＣＭ検出部４は、上記チャンネル情報１ｂにより、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされていると判断した場合、上記ＣＭ検出動作を行わないようにする。なお、ここでは、ＣＭ検出部４自身がチャンネル情報１ｂに基づいてＣＭ検出動作を行うか否か判断することとしているが、チューナ１がチャンネル情報１ｂによりＣＭ検出部４でのＣＭ検出動作を制御するようにしても良い。
【００５９】
以上、チューナ１、復調器２、時計部３、映像音声記録部５に示した各構成要素は、現在広く知られているビデオ装置などの磁気記録再生装置のものと同様であるため、以下では、ＣＭ検出部４に限って詳細に説明する。
【００６０】
図２は、上記ＣＭ検出部４の構成例を示す。なお、この図２中の各信号のうち、図１と共通の信号については、図１と同じ指示符号を付している。また、当該ＣＭ検出部４は、大別して、フロントエンド部とバックエンド部とから構成されている。また、図中の動作制御部２４は、チューナ１から供給された上記チャンネル情報１ｂに基づいて、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされているか否かを判断し、その判断結果に応じて、当該図２の各部におけるＣＭ検出動作を行わないように制御するものである。
【００６１】
先ず、フロントエンド部から説明する。この図２において、図１の復調器２より供給された映像信号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フレームメモリ１１に蓄えられる。なお、フレームメモリ１１は、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１からフレーム毎に読み出された映像信号は、文字検出器１２およびカットチェンジ検出器１３に送られる。
【００６２】
文字検出器１２は、フレームメモリ１１より供給されるフレーム毎の映像信号に基づいて、フレーム中に文字が含まれているか否かを判定するとともに、文字が含まれている場合、それがフレームの中央に位置しているか否かをさらに判定する。文字検出器１２は、それらの判定結果に基づいて、式（１）のような離散化数値Ｍ［ｎ］を決定する。
【００６３】
【数１】
すなわち、第ｎフレーム中に文字が含まれていない場合、離散化数値Ｍ［ｎ］は０となる。一方、第ｎフレーム中に文字が含まれており、かつ、それがフレームの中央に位置する場合、離散化数値Ｍ［ｎ］は２となり、中央以外に位置する場合（周辺に位置する場合）、数値Ｍ［ｎ］は１となる。
【００６５】
ここで、文字検出器１２の動作を、図３のフローチャートを参照して説明する。なお、ここでは、文字パターンは、多くの線分により構成されていることから、多くの線分を含む領域を文字領域とすることでフレーム上の文字が検出される。
【００６６】
ステップＳ１において、文字検出器１２は、フレームメモリ１１に蓄えられた時間的に隣接する、第ｎフレーム、および第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームを読み出す。ステップＳ２において、文字検出器１２は、ステップＳ１で読み出した隣接する２つのフレームに対して、微分法によるエッジ処理を施し、２つのエッジ画像を生成し、それらを２値化する。
【００６７】
次に、ステップＳ３において、文字検出器１２は、ステップＳ２で２値化されたそれぞれのエッジ画像間でＡＮＤ演算を行って、動き部分を消去し、静止部分についてのエッジ画像を生成する。
【００６８】
ステップＳ４において、文字検出器１２は、ステップＳ３で生成した静止エッジ画像を、Ｐ個の小領域に分割するとともに、各小領域に、図４に示すように番号ｐ（ｐ＝１、２，・・・Ｐ）を割り当てる。図４の例の場合、小領域には、反時計回転方向、かつフレームの周辺から中心に向う順番で番号が割り当てられるので、フレームの中央に位置する小領域には大きい番号が割り当てられる。
【００６９】
次に、ステップＳ５において、文字検出器１２は、小領域の番号を示すカウンタｐの値を１に初期化する。ステップＳ６において、文字検出器１２は、カウンタｐの値の番号を有する小領域ｐ内のエッジ線分の密度を算出する。なお、線分密度は、２値化画像の白黒比により求められる。
【００７０】
次に、ステップＳ７において、文字検出器１２は、ステップＳ６で算出した線分密度が、所定の閾値以上であるか否かを判定し、それ以上であると判定した場合、ステップＳ８に進み、小領域ｐは文字領域であると判定する。一方、ステップＳ７で、閾値より小さいと判定された場合、ステップＳ９に進み、小領域ｐは文字領域ではないと判定される。
【００７１】
ステップＳ８またはステップＳ９で、小領域ｐが文字領域である、または文字領域ではないと判定されたとき、ステップＳ１０に進み、文字検出器１２は、カウンタｐの値が、小領域の数Ｐより大きいか否かを判定し、それより大きくはないと判定した場合（それ以下である場合）、ステップＳ１１に進み、カウンタｐの値を１だけインクリメントして、ステップＳ６に戻り、次の小領域に対して、それ以降の処理を実行する。
【００７２】
ステップＳ１０で、カウンタｐの値が小領域の数Ｐより大きいと判定された場合、すなわち、すべての少領域について文字領域であるか否かが判定されたとき、ステップＳ１２に進み、文字検出器１２は、ステップＳ８で文字領域であると判定された少領域が、所定の数以上あるか否かを判定し、それ以上あると判定した場合、第ｎフレームには文字が含まれるとし、ステップＳ１３に進む。
【００７３】
ステップＳ１３において、文字検出器１２は、文字領域であると判定された小領域の群（文字）が、フレームの中央に位置するか否かを判定する。
【００７４】
例えば、図４の例では、小領域に割り当たられた番号は、フレームの周辺から中央に向かって大きくなっている。そこでこの場合、文字検出器１２は、文字領域とされた小領域の番号を検出し、その番号が所定の番号より大きいか否かを判定することで、フレーム中の文字が中央に位置するか否かを判定することができる。
【００７５】
ステップＳ１３で、文字領域とされた小領域の群（文字）は、フレームの中央に位置すると判定された場合、ステップＳ１４に進み、文字検出器１２は、離散化数値Ｍ[ｎ］を値２とする。一方、ステップＳ１３で、文字領域とされた少領域の群が、フレームの中央に位置しないと判定された場合、ステップＳ１５に進み、文字検出器１２は、離散化数値Ｍ［ｎ］を値１とする。
【００７６】
ステップＳ１２で、ステップＳ８で文字領域であると判定された小領域が、所定の数以上ないと判定された場合、ステップＳ１６に進み、文字検出器１２は、第ｎフレームには文字が含まれていないとし、離散化数値Ｍ［ｎ］を値０とする。
【００７７】
ステップＳ１４，１５，１６で、離散化数値Ｍ［ｎ］が決定されたとき、ステップＳ１に戻り、次にフレームに対して同様の処理が行われる。
【００７８】
なお、ここでは、線分密度を利用して文字領域を検出したが、例えば、「画像処理アルゴリズムの最新動向」（新技術コミュニケーションズ，1987)に紹介されている他の方法などを利用することもできる。
【００７９】
文字検出器１２の出力である離散化数値Ｍ［ｎ］は、ＴＶ送信信号の特徴量の一つとして特徴量バッファ１９へ送られる。
【００８０】
図２に戻り、カットチェンジ検出器１３は、フレームメモリ１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【００８１】
すなわち、カットチェンジ検出器１３は、フレームメモリ１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１３は、フレームメモリ１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【００８２】
以下、当該カットチェンジ検出器１３における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【００８３】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩn（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩn-1（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の自乗和Ｄ[n]は、式（２）により得られ、また、第ｎフレームの輝度分散値Ｖ[n]は、式（３）により得られる。
【００８４】
【数２】
また、このときのカットチェンジ検出器１３の検出出力Ｃ[n]は、式（４）により表わされる。
【００８６】
【数３】
ただし、式中のＤthsdは上記映像変化フレームを検出する際の自乗和に対する所定の閾値であり、Ｖthsdは上記一様輝度フレームを検出する際の輝度の分散値に対する所定の閾値である。
【００８８】
当該カットチェンジ検出器１３の検出出力Ｃ[n]は、映像信号についての特徴量として特徴量バッファ１９へ送られる。
【００８９】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の画素毎に輝度差分を求めるのではなく、フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにするで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【００９０】
図２に戻り、図１の復調器２より供給された音声信号２ｂは、Ａ／Ｄ変換器１４にてディジタル化され、音声信号バッファ１５に蓄えられる。なお、音声信号バッファ１５は、少なくとも所定時間Ｔ1（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１５から読み出された音声信号は、振幅検出器１６、相関検出器１７、およびスペクトル検出器１８に送られる。
【００９１】
振幅検出器１６は、音声信号バッファ１５に蓄えられた音声信号を用いて、所定の時間Ｔ2（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均自乗振幅を検出する。すなわち、振幅検出器１６は、音声信号バッファ１５に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１５より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、所定の時間Ｔ2（１５ｍｓ、１フレーム周期）毎に、短時間平均自乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ1に対応する。
【００９２】
より具体的に説明すると、振幅検出器１６は、第ｎフレームにおける左右２チャンネルの音声信号の平均自乗振幅Ａ[n]を式（５）により計算する。すなわち、平均自乗振幅は１５ms（１／２フレーム）毎に計算され、その１５ms毎の平均自乗振幅の３０ms（１フレーム）の期間における平均値がさらに演算され、最終的な、１フレームの平均自乗振幅とされる。
【００９３】
【数４】
当該振幅検出器１６の検出出力である平均自乗振幅Ａ[n]は、音声信号についての特徴量の一つとして特徴量バッファ１９へ送られる。
【００９５】
相関検出器１７は、音声信号バッファ１５に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１７は、音声信号バッファ１５に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１５より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【００９６】
より具体的に説明すると、相関検出器１７は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数ＡLR[n]を式（６）により計算し、左チャンネルの音声信号エネルギーＡLL[n]を式（７）により計算し、そして右チャンネルの音声信号エネルギーＡRR[n]を式（８）により計算する。
【００９７】
【数５】
当該相関検出器１７の検出出力である相関係数ＡLR[n]と音声信号エネルギーＡLL[n]，ＡRR[n]は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１９へ送られる。
【００９９】
スペクトル検出器１８は、音声信号バッファ１５に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１８は、音声信号バッファ１５に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１５より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、短時間スペクトルを計算する。
【０１００】
より具体的に説明すると、スペクトル検出器１８は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ[k;n]は式（９）により表わされる。
【０１０１】
【数６】
この式（９）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【０１０３】
当該スペクトル検出器１８の計算出力である短時間離散スペクトルＦ[k;n]は、音声信号についての特徴量の一つとして特徴量バッファ１９へ送られる。
【０１０４】
次に、図１の復調器２より供給された放送モード信号２ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【０１０５】
より具体的に説明すると、第ｎフレームにおける放送モード信号２ｃは、例えば式（１０）のような数値Ｂ[n]となされる。
【０１０６】
【数７】
この放送モード信号２ｃを離散化した数値Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１９へ送られる。
【０１０８】
同様に、図１の時計部３より供給された時間信号３ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ[n]となされ、特徴量の一つとして特徴量バッファ１９へ送られる。
【０１０９】
特徴量バッファ１９は、上記文字検出器１２からの離散化数値Ｍ［ｎ］、カットチェンジ検出器１３からの検出出力Ｃ[n]、振幅検出器１６からの平均自乗振幅Ａ[n]、相関検出器１７からの相関係数ＡLR[n]および音声信号エネルギーＡLL[n]，ＡRR[n]、スペクトル検出器１８からの短時間離散スペクトルＦ[k;n]、放送モード信号２ｃの離散化数値Ｂ[n]、並びに時間信号３ａの離散化数値Ｔ[n]とからなる、式（１０）に示される特徴量Ｇ[n]を、所定の時間Ｔ3に渡って蓄積する。なお、時間Ｔ3はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
Ｇ[n]=｛Ｍ[n],Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝ (10)
【０１１０】
以上のＡ／Ｄ変換器１０乃至特徴量バッファ１９までが、図２に示したＣＭ検出部４のフロントエンド部の構成であり、以下、図５、図６のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図５のステップＳ３０乃至Ｓ３３までは映像信号２ａについての処理の流れを表しており、図６のステップＳ３４乃至Ｓ４１までは音声信号２ｂ及び放送モード信号２ｃ、時間信号３ａについての処理の流れを表している。
【０１１１】
先ず、映像信号２ａについての処理の流れを表す図５において、フロントエンド部は、ステップＳ３０の処理として、Ａ／Ｄ変換器１０によりディジタル化された、少なくとも１フレーム分の映像信号２ａをフレームメモリ１１に蓄える。このフレームメモリ１１は、１フレーム分の映像信号２ａを１サンプルとして扱うようになされており、１フレーム分の映像信号２ａが入力されると、当該フレームメモリ１１内に既に蓄積されている映像信号２ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号２ａが押し出されて出力されるようになっている。
【０１１２】
次に、フロントエンド部は、ステップＳ３１の処理として、フレームメモリ１１から映像信号２ａを読み出して文字検出器１２に送り、前述のようにして離散化数値Ｍ［ｎ］を求める。
【０１１３】
フロントエンド部は、ステップＳ３２の処理として、フレームメモリ１１から映像信号２ａを読み出してカットチェンジ検出器１３に送り、前述のようにして検出出力Ｃ[n]を求める。
【０１１４】
その後、フロントエンド部は、ステップＳ３３の処理として、離散化数値Ｍ［ｎ］および検出出力Ｃ[n]を特徴量バッファ１９に蓄える。
【０１１５】
一方、音声信号２ｂについての処理の流れを表す図６において、フロントエンド部は、ステップＳ３４及びステップＳ３５の処理として、Ａ／Ｄ変換器１４によりディジタル化された、音声信号２ｂを音声信号バッファ１５に入力すると共に、当該音声信号バッファ１５に少なくとも１フレーム周期Ｔ2分の音声信号２ｂを蓄積する。この音声信号バッファ１５は、１フレーム周期Ｔ2分の音声信号２ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ2分の音声信号２ｂが入力されると、当該音声信号バッファ１５内に既に蓄積されている音声信号２ｂが１フレーム周期Ｔ2分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ2分の音声信号２ｂが押し出されて出力されるようになっている。
【０１１６】
上記音声信号バッファ１５に少なくとも１フレーム周期Ｔ2分の音声信号２ｂが蓄積されると、フロントエンド部は、ステップＳ３６の処理として、当該音声信号バッファ１５に蓄積された音声信号２ｂを読み出して振幅検出器１６に送り、前述のようにして、平均自乗振幅Ａ[n]を求める。
【０１１７】
同時に、フロントエンド部は、ステップＳ３７の処理として、音声信号バッファ１５に蓄積された音声信号２ｂを相関検出器１７に送り、前述のようにして、相関係数ＡLR[n]と音声信号エネルギーＡLL[n]，ＡRR[n]を求める。
【０１１８】
また同時に、フロントエンド部は、ステップＳ３８の処理として、音声信号バッファ１５に蓄積された音声信号２ｂをスペクトル検出器１８に送り、前述のようにして、短時間離散スペクトルＦ[k;n]を求める。
【０１１９】
さらに、フロントエンド部は、ステップＳ３９の処理として、図１の復調器２より供給された放送モード信号２ｃから、前述のように離散化した数値Ｂ[n]を求めると共に、ステップＳ４０の処理として、図１の時計部３より供給された時間信号３ａから、前述のように離散化された数値Ｔ[n]を求める。
【０１２０】
その後、フロントエンド部は、ステップＳ４１の処理として、振幅検出器１６からの平均自乗振幅Ａ[n]、相関検出器１７からの相関係数ＡLR[n]および音声信号エネルギーＡLL[n]，ＡRR[n]、スペクトル検出器１８からの短時間離散スペクトルＦ[k;n]、放送モード信号２ｃの離散化数値Ｂ[n]、並びに時間信号３ａの離散化数値Ｔ[n]を、特徴量バッファ１９に蓄積する。すなわち、特徴量バッファ１９には、ステップＳ３３とステップＳ４１の処理により、特徴量Ｇ［ｎ］が蓄積される。
【０１２１】
図２に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１９内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ[0]とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【０１２２】
図２において、特徴量バッファ１９に蓄積された特徴量は、フレーム毎にＣＭ候補検出器２０に送られる。
【０１２３】
当該ＣＭ候補検出器２０は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（１１）で且つ式（１２）で且つ式（１３）の条件として書き下すことができる。
【０１２４】
Ａ[0]＜Ａthsd (11)
Ｃ[0]＝１ (12)
Ａ[n1]＜Ａthsd，Ｃ[n1]＝１又はＡ[n2]＜Ａthsd，Ｃ[n2]＝１又は
Ａ[n3]＜Ａthsd，Ｃ[n3]＝１ (13)
【０１２５】
ただし、Ａthsdは所定の自乗振幅の閾値であり、ｎ1，ｎ2，ｎ3はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ1，ｎ2，ｎ3にはそれぞれ多少の幅を持たせる。
【０１２６】
ここで、図７を用いて、上記ＣＭ候補検出器２０の動作を説明する。
【０１２７】
図７において、特徴量バッファ１９では、ステップＳ５０のバッファシフト処理とステップＳ５１の特徴量入力処理として、図５のステップＳ３０で説明したフレームメモリと図６のステップＳ３４で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１９は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１９内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１２８】
上記ステップＳ５０およびステップＳ５１の処理により、特徴量バッファ１９から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検出器２０は、ステップＳ５２およびステップＳ５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。
【０１２９】
すなわち、ＣＭ候補検出器２０は、ステップＳ５２において、先ず最初のフレームの平均自乗振幅Ａ[0]と所定の自乗振幅の閾値Ａthsdを比較し、次に、ステップＳ５３の処理として、検出出力Ｃ[0]が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検出器２０では、これらステップＳ５２，Ｓ５３の判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ５７以降（ステップＳ５４乃至Ｓ５６については後述する）の処理に進み、逆に、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ５０の処理に戻る。
【０１３０】
上記ステップＳ５２，Ｓ５３の各判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定された場合、ＣＭ候補検出器２０は、ステップＳ５７の処理としてＣＭ開始フレームｎsを検索し、次に、ステップＳ５８の処理としてＣＭ終了フレームｎeの検索を行い、更に、ステップＳ５９の処理としてＣＭ開始時刻Ｔsを計算し、ステップＳ６０としてＣＭ長さＷを計算する。
【０１３１】
ＣＭ候補検出器２０は、以上のステップＳ５７乃至Ｓ６０の検索及び計算を行った後、ステップＳ６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔs及びＣＭ長さＴwが一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ５４乃至Ｓ５６の処理に戻り、逆に存在しない場合には、ステップＳ６２において、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ５４乃至Ｓ５６の処理に戻る。
【０１３２】
ステップＳ５４乃至Ｓ５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０１３３】
なお、上記ＣＭ開始フレームｎsとは、ｎ1，ｎ2，ｎ3で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越える最初のフレーム番号である。また、ＣＭ終了フレームｎeとは、０番目のフレームより過去の方向に向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔsは、ＣＭ開始フレーム番号ｎsを用いてＴs＝Ｔ[ns]として求められる。同様にＣＭ長さＴwは、Ｔw＝Ｔ[ne]−Ｔ[ns]として求められる。
【０１３４】
ここで、図８に、上記必須条件の算出例を示す。この図８に示すＡ[n]の項において、「ｏ」は自乗振幅の閾値Ａthsd未満の平均自乗振幅を持つフレームを示し、「ｘ」は自乗振幅の閾値Ａthsd以上の平均自乗振幅を持つフレームを示している。この例では、Ａ[0]，Ｃ[0]及びＡ[n1]，Ｃ[n1]が条件を満たし、ｎ1より左方で最初にＡ[n]＝ｘとなるフレームがｎs、０より右方に連続する最後のＡ[n]＝ｏとなるフレームがｎeとなる。
【０１３５】
以上の処理により、ＣＭ候補検出器２０では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０１３６】
図９には、ＣＭ候補テーブルの構成例を示す。この図９において、ＣＭ候補テーブルの項目は、開始時刻Ｔs、長さＴw、及び後述する付加条件算出器２１で算出する特徴量Ｑ1乃至Ｑ14、及び後述する付加条件判定器２２で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器２０によるＣＭ候補テーブル２０ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器２０で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器２１で算出される特徴量Ｑ1乃至Ｑ14と、付加条件判定器２２で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器２３からＣＭ検出出力４ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０１３７】
上記ＣＭ候補検出器２０により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル２０ａは、付加条件算出器２１に送られる。
【０１３８】
付加条件算出器２１では、ＣＭ候補テーブル２０ａにエントリーされた候補区間より、特徴量バッファ１９を参照しながら、以下に示すような特徴量Ｑ1乃至Ｑ14を抽出し、それをＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして付加条件判定器２２に出力する。
【０１３９】
図１０には、当該付加条件算出器２１における特徴量Ｑ1乃至Ｑ11の算出例を示す。
【０１４０】
この図１０において、横軸はフレーム番号（離散時間に相当）を表し、図１０（Ａ）はカットチェンジ検出出力Ｃ[n]、図１０（Ｂ）は放送モード信号２ｃの離散化数値Ｂ[n]、図１０（Ｃ）は音声信号の短時間離散スペクトルＳ[k,n]、図１０（Ｄ）は音声信号の平均自乗振幅Ａ[n]を表わし、ｎ1の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図１０（Ａ）において、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ[n]が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図１０（Ｂ）において、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図１０の（Ｃ）において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図１０（Ｄ）において、図中ＡＭは自乗振幅の変化を表している。また、図中Ｑ1乃至Ｑ11は、上記付加条件算出器２１にて特徴量Ｑ1乃至Ｑ11が計算される場所を示している。
【０１４１】
以下、付加条件算出器２１で算出される各特徴量Ｑ1乃至Ｑ14について個々に説明する。
【０１４２】
特徴量Ｑ1は、前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図１０中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ1である。
【０１４３】
特徴量Ｑ2は、後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図１０中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ2である。
【０１４４】
特徴量Ｑ3は、前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ3は、の前ブレーク区間におけるＡ[n]の最小値である。
【０１４５】
特徴量Ｑ4は、後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ4は、の後ブレーク区間におけるＡ[n]の最小値である。
【０１４６】
特徴量Ｑ5は、左右相関値である。当該左右相関値Ｑ5は、ＣＭ候補区間の音声の左右２チャンネルの音声信号ＳL[m]，ＳR[m]の相関値である。これは、式（６）乃至式（８）のＡLR[n]，ＡLL[n]，ＡRR[n]を利用して、式（１５）に従って算出することができる。
【０１４７】
【数８】
この式（１５）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０１４９】
特徴量Ｑ6は、平均振幅値である。当該平均振幅値Ｑ6は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均自乗振幅）である。これは、式（１６）により計算することができる。
【０１５０】
【数９】
この式（１６）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０１５２】
特徴量Ｑ7は、カット数である。当該カット数Ｑ7は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、[ns,ne］の区間でＣ[n]＝１となる回数を数える演算となる。
【０１５３】
特徴量Ｑ8は、放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［ns,ne］の区間のＢ[n］値の中で、最も頻発する放送モードＱ8を選ぶ演算である。
【０１５４】
特徴量Ｑ9は、隣接候補数である。当該隣接候補数Ｑ9は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔsと長さＴwと後ブレーク長Ｑ2の和（Ｔs＋Ｔw＋Ｑ2）が、他のＣＭ候補の開始時刻（Ｔ's）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔsと前ブレーク長Ｑ1の差（Ｔs−Ｑ1）が、他のＣＭ候補の開始時刻Ｔ'sと長さＴ'wの和（Ｔ's＋Ｔ'w）と一致するかどうかで、前側候補の判定が行われる。
【０１５５】
特徴量Ｑ10，Ｑ11はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ10，Ｑ11は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（１７）乃至（２２）に従って計算される。
【０１５６】
【数１０】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ'eはＣＭ候補区間の直前の有音区間の終了フレーム番号（図１０参照）、ｎ'sはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ1[k]はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ2[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ3[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ4[k]はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓnormは適切な規格化定数である。
【０１５８】
特徴量Ｑ12は、式（２３）に示すように、ＣＭ候補区間中に存在するフレーム（フレームＮs乃至フレームＮe）の離散化数値Ｍ［ｎ］に基づく値である。
【０１５９】
【数１１】
従って、フレームＮs乃至フレームＮeの中に、文字が中央に表示される（位置する）フレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームが存在する場合、特徴量Ｑ12は、値２となる。
【０１６１】
フレームＮs乃至フレームＮeの中に、文字が中央に位置するフレームは存在しないが、文字が中央以外の部分（周辺）に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが存在する場合、特徴量Ｑ12は、値１となる。
【０１６２】
そしてフレームＮs乃至フレームＮeの中に、文字を含むフレームが存在しない場合、すなわち、離散化数値Ｍ［ｎ］が値１または値２のフレームは存在しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレームである場合）、特徴量Ｑ12は、値０となる。
【０１６３】
ここで、特徴量Ｑ12を決定する場合の付加条件算出器２１の動作を、図１１のフローチャートを参照して説明する。
【０１６４】
ステップＳ７１において、付加条件算出器２１は、ＣＭ候補区間中のフレームＮs乃至フレームＮe）の離散化数値Ｍ［ｎ］を取得し、ステップＳ７２において、その中に、数値Ｍ［ｎ］が値２のフレームが存在するか否かを判定し、存在すると判定した場合、ステップＳ７３に進み、特徴量Ｑ12を値２とする。
【０１６５】
ステップＳ７２で、数値Ｍ［ｎ］が値２のフレームが存在しないと判定された場合、ステップＳ７４に進み、付加条件算出器２１は、数値Ｍ［ｎ］が値１のフレームが存在するか否かを判定し、存在すると判定した場合、ステップＳ７５に進み、特徴量Ｑ12を値１にする。
【０１６６】
ステップＳ７４で、数値Ｍ［ｎ］が値１のフレームが存在しないと判定された場合、すなわち、結局、数値Ｍ［ｎ］が値２，値１のフレームが存在しない場合、ステップＳ７６に進み、付加条件算出器２１は、特徴量Ｑ12を値０にする。
【０１６７】
ステップＳ７３，７５，７６で特徴量Ｑ12が決定されたとき、処理は終了する。
【０１６８】
特徴量Ｑ13は、式（２４）に示すように、ＣＭ候補区間の最初の部分のフレーム（この例の場合、フレームＮsが入力されてから１秒間に入力された、フレームＮsを含む３０個のフレーム）の離散化数値Ｍ［ｎ］に基づく値である。
【０１６９】
【数１２】
従って、この最初の部分のフレームの中に、文字が中央に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームが存在する場合、特徴量Ｑ13は、値２となる。
【０１７１】
最初の部分のフレームの中に、文字が中央に位置するフレームが存在しないが、文字が周辺に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが存在する場合、特徴量Ｑ13は、値１となる。
【０１７２】
そして最初の部分のフレームの中に、文字を含むフレームが存在しない場合、すなわち、離散化数値Ｍ［ｎ］が値１または値２のフレームが存在しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレームである場合）、特徴量Ｑ13は、値０となる。
【０１７３】
特徴量Ｑ14は、式（２５）に示すように、ＣＭ候補区間の最後の部分のフレーム（この例の場合、フレームＮeが入力される１秒前から入力された、フレームＮeを含む３０個のフレーム）の離散化数値Ｍ［ｎ］に基づく値である。
【０１７４】
【数１３】
従って、この最後の部分のフレームの中に、文字が中央に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームが存在する場合、特徴量Ｑ14は、値２となる。
【０１７６】
最後の部分のフレームの中に、文字が中央に位置するフレームが存在しないが、文字が周辺に位置するフレームが存在する場合、すなわち、離散化数値Ｍ［ｎ］が値２のフレームは存在しないが、離散化数値Ｍ［ｎ］が値１のフレームが存在する場合、特徴量Ｑ14は、値１となる。
【０１７７】
そして最後の部分のフレームの中に、文字を含むフレームが存在しない場合、すなわち、離散化数値Ｍ［ｎ］が値１または値２のフレームが存在しない場合（すべてが離散化数値Ｍ［ｎ］が値０のフレームである場合）、特徴量Ｑ14は、値０となる。
【０１７８】
特徴量Ｑ13，Ｑ14を算出する場合、特徴量Ｑ12を算出する場合における図１１のステップＳ７１に相当する処理で、最初の部分のフレームまたは最後の部分のフレームの数値Ｍ［ｎ］が取得された後、ステップＳ７２乃至ステップＳ７６に相当する処理が同様に行われる。
【０１７９】
上記付加条件算出器２１は、以上により算出したＱ1からＱ14までの特徴量を、ＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出力する。当該ＣＭ候補テーブル２１ａは、付加条件判定器２２に送られる。
【０１８０】
付加条件判定器２２は、ＣＭ候補テーブル２１ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器２２は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル２１ａに追加記述し、ＣＭ候補テーブル２２ａとして出力する。
【０１８１】
図１２には、付加条件判定器２２の概略構成を示す。
【０１８２】
この図１２において、ＣＭ候補テーブル２１ａの各特徴量Ｑ1乃至ＱLは、それぞれ対応する関数演算器５０1乃至５０Lに送られ、それぞれ対応するパラメータ変換関数Ｈ1()乃至ＨL()による変換演算が施された後、さらにそれぞれ対応する重み付け器５１1乃至５１Lにより荷重Ｗ1乃至ＷLとの積がとられる。各重み付け器５１1乃至５１Lにより重み付けがなされた後の特徴量は、総和加算器５２での総和加算によりスコアＲが算出される。この総和加算器５２から出力されたスコアＲは、スコア判定器５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０１８３】
より具体的に説明すると、当該付加条件判定器２２におけるスコア算出演算は、式（２６）に従って行われる。
【０１８４】
【数１４】
ただし、Ｈl()は各特徴量に対して予め定めるパラメータ変換関数、Ｗlは予め決定しておく荷重、そしてＬは特徴量数（＝１４）である。なお、ｌは１乃至１４のうちの任意の数である。
【０１８６】
ここで、各関数演算器５０1乃至５０Lにおけるパラメータ変換関数Ｈl()は、最も簡単には矩形関数でよい。すなわち例えば、図１３（Ｂ）に示すような矩形関数Ｒect（x;t1,t2）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ1l，ｔ2lとし、式（２７）により例えばＱ1が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０１８７】
Ｈl（Ｑl）＝Ｒect（Ｑl;t1,t2） (27)
【０１８８】
なお、境界付近で滑らかに０から１、１から０へ推移させるようにする場合には、例えば式（２８）のような、シグモイド関数Ｓigm(x;t1,t2)を用いることもできる。
【０１８９】
【数１５】
図１３（Ｃ）にシグモイド関数の概形を示す。ただし、σ1l,σ2lは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０１９１】
また、上記各重み付け器５１1乃至５１Lによる加算荷重Ｗlは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（1999）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１乃至１４のうちの任意の数である。
【０１９２】
さらに、上記判定器５３におけるスコア判定は、式（２９）のように、スコアＲの閾値処理により行う。
【０１９３】
Ｚ＝Ｕnit（Ｒ−ｔr） (29)
【０１９４】
ただし、Ｕnit（ｘ）は、図１３（Ａ）に示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔrは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０１９５】
次に、ルール判定器２３は、上記付加条件判定器２２でのスコア判定により得られたＣＭ候補テーブル２２ａを入力とし、後述するような所定のルール判定により最終的なＣＭ検出出力４ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器２３では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０１９６】
以下、ルール判定器２３の動作を図１４のフローチャートを用いて説明する。
【０１９７】
先ず、ルール判定器２３は、ステップＳ８０として、ＣＭ候補テーブルより、判定すべきＣＭ候補を選択する。この選択は、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ4が経過したものから順に行われる。Ｔ4は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０１９８】
続いて、ルール判定器２３は、ステップＳ８１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ８１において、他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０１９９】
一方、ステップＳ８１において、他のＣＭ候補が存在すると判定された場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ８２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０２００】
図１５を用いて、この最小長さ優先ルールの一例を説明する。
【０２０１】
なおこの例には、図１５（Ａ）のように、実際には４つのＣＭ１乃至ＣＭ４が連続して放送されている区間に対し、図１５（Ｂ）中Ａ乃至Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０２０２】
先ず、図１５（Ｃ）に示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図１５（Ｄ）に示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図１５（Ｅ）に示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図１５（Ｆ）に示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０２０３】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０２０４】
図１４に戻り、ステップＳ８２のルール判定の後、ルール判定器２３の処理は、ステップＳ８３に進む。ステップＳ８３に進むと、ルール判定器２３は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ８３において、判定中のＣＭが棄却されと判断した場合（Ｙｅｓ）、ルール判定器２３は、その候補をＣＭ候補テーブルから消去し、ステップＳ８０に戻る。一方、ステップＳ８３において、判定中のＣＭが棄却されていないと判断した場合（Ｎｏ）、ルール判定器２３は、ステップＳ８４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０２０５】
このステップＳ８４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器２３は、ステップＳ９０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ８４にて他のＣＭ候補が存在すると判断した場合（Ｙｅｓ）、ルール判定器２３の処理は、ステップＳ８５に進む。
【０２０６】
ステップＳ８５に進むと、ルール判定器２３は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０２０７】
図１６を用いて、当該隣接優先ルールについて説明する。
【０２０８】
なおこの例には、図１６（Ａ）のように、実際には４つのＣＭ１１乃至ＣＭ１４が連続して放送されている区間に対し、図１６（Ｂ）中Ｉ乃至Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０２０９】
このような例において、先ず、図１６（Ｃ）に示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図１６（Ｄ）に示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図１６（Ｅ），（Ｆ）に示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０２１０】
以上により、この図１６に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０２１１】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０２１２】
図１４に戻り、ステップＳ８５の処理後、ルール判定器２３の処理は、ステップＳ８６に進む。ステップＳ８６に進むと、ルール判定器２３は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ８６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２３は、その候補をＣＭ候補テーブルから消去し、ステップＳ８０の処理に戻る。一方、ステップＳ８６において棄却されていないと判定された場合（Ｎｏ）、ルール判定器２３は、次のステップＳ８７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０２１３】
このステップＳ８７において、他のＣＭ候補が存在しなと判定された場合（Ｎｏ）、ルール判定器２３は、ステップＳ９０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ８７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器２３は、ステップＳ８８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器２２により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０２１４】
図１７を用いて、当該スコア優先ルールについて説明する。
【０２１５】
なおこの例には、図１７（Ａ）のように、実際には４つのＣＭ２１乃至ＣＭ２４が連続して放送されている区間に対し、図１７（Ｂ）中Ｐ乃至Ｗで示すような７つの候補が存在する場合が示されている。
【０２１６】
この例において、先ず、図１７（Ｃ）に示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０２１７】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、(Ｐ−Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−Ｓ)という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ(2.0)が最も高いスコアであるため、図１７（Ｄ）に示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０２１８】
しかしながら、図１７（Ｅ）に示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、３つの候補が関係する２つの競合関係のみとなる。
【０２１９】
さらに、これらの候補の中で最もスコアの高い候補Ｑ(1.9)を採用し、図１７（Ｆ）に示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０２２０】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０２２１】
なお、仮に、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器２３では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０２２２】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０２２３】
図１４に戻り、ステップＳ８８の処理後、ルール判定器２３の処理は、ステップＳ８９に進む。ステップＳ８９に進むと、ルール判定器２３は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ８９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２３は、その候補をＣＭ候補テーブルより消去し、ステップＳ８０に戻る。一方、ステップＳ８９において、棄却されなかった場合、ルール判定器２３は、ステップＳ９０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ８０に戻る。
【０２２４】
なお、本実施の形態では、例えば現行のアナログＴＶ放送の映像音声記録装置を例にとったが、ディジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部４が適用できることは明らかである。また、例えばラジオ放送に適用される場合には、上記ＣＭ検出部４から映像信号の処理を担当する部分を省略することで同様の機能が実現できる。
【０２２５】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した映像音声記録装置が機能的に実現される。
【０２２６】
図１８は、上述のような映像音声記録装置として機能するコンピュータ１０１の一実施の形態の構成を示すブロック図である。CPU（Central Processing Unit）１１１にはバス１１５を介して入出力インタフェース１１６が接続されており、CPU１１１は、入出力インタフェース１１６を介して、ユーザから、キーボード、マウスなどよりなる入力部１１８から指令が入力されると、例えば、ROM（Read Only Memory）１１２、ハードディスク１１４、またはドライブ１２０に装着される磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３、若しくは半導体メモリ１３４などの記録媒体に格納されているプログラムを、RAM（Random Access Memory）１１３にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU１１１は、その処理結果を、例えば、入出力インタフェース１１６を介して、LCD（Liquid Crystal Display）などよりなる出力部１１７に必要に応じて出力する。なお、プログラムは、ハードディスク１１４やROM１１２に予め記憶しておき、コンピュータ１０１と一体的にユーザに提供したり、磁気ディスク１３１、光ディスク１３２、光磁気ディスク１３３，半導体メモリ１３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部１１９を介してハードディスク１１４に提供することができる。
【０２２７】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２２８】
本発明によれば、第１の信号を適切に検出することができる。
【図面の簡単な説明】
【図１】本発明を適用した映像音声記録装置の構成例を表すブロック図である。
【図２】図１のＣＭ検出部の構成例を表すブロック図である。
【図３】文字検出器１２の動作を説明するフローチャートである。
【図４】小領域に割り当てられる番号を説明するための図である。
【図５】ＣＭ検出部のフロントエンド部における映像信号処理の流れを示すフローチャートである。
【図６】ＣＭ検出部のフロントエンド部における音声信号処理の流れを示すフローチャートである。
【図７】ＣＭ検出部のＣＭ候補検出器における動作の流れを示すフローチャートである。
【図８】必須条件の算出例の説明に用いる図である。
【図９】ＣＭ候補テーブルを示す図である。
【図１０】ＣＭ検出部の付加条件算出器における特徴量の算出例の説明に用いる図である。
【図１１】特徴量Ｑ12を算出する場合の付加条件算出器の動作を説明するフローチャートである。
【図１２】付加条件算出器の構成例を示すブロック図である。
【図１３】スコア算出演算の際の単位ステップ関数、矩形関数、シグモイド型関数の説明に用いる図である。
【図１４】ルール判定器の動作の流れを示すフローチャートである。
【図１５】最小長さ優先ルールの説明に用いる図である。
【図１６】隣接優先ルールの説明に用いる図である。
【図１７】スコア優先ルールの説明に用いる図である。
【図１８】コンピュータ１０１の構成例を示すブロック図である。
【符号の説明】
１ チューナ， ２ 復調器， ３ 時計部， ４ ＣＭ検出器， ５ 映像音声記録部， １０，１４ Ａ／Ｄ変換器， １１ フレームメモリ， １２ 文字検出器， １３ カットチェンジ検出器， １５ 音声信号バッファ，１６振幅検出器， １７ 相関検出器， １８ スペクトル検出器， １９ 特徴量バッファ， ２０ ＣＭ候補検出器， ２１ 付加条件算出器， ２２ 付加条件判定器， ２３ ルール判定器， ２４ 動作制御部
Claims (5)
- 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、前記第１の信号の候補区間を検出する候補区間検出手段と、
時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つの前記エッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した前記静止エッジ画像を小領域に分割し、前記小領域内のエッジ線分の密度を算出し、算出した前記密度が所定の閾値以上である場合、前記小領域を文字領域とすることで、前記候補区間の信号から、文字を表示する信号を検出する文字検出手段と、
前記小領域には、所定の順に番号が割り当てられており、前記文字検出手段により文字を表示する信号が検出されたとき、前記小領域に割り当てられた番号に基づいて、前記文字の表示位置を検出する文字表示位置検出手段と、
前記文字検出手段による文字検出結果または前記文字表示位置検出手段による文字表示位置検出結果に基づいて、前記第１の信号らしさを表す特徴量を算出する算出手段と、
前記特徴量に基づいて、前記第１の信号の区間を検出する区間検出手段と
を備え、
前記算出手段は、前記文字検出手段により文字を表示する信号が検出されたとき、より大きい前記特徴量を算出し、前記文字表示位置検出手段により画面中央に文字を表示する信号が検出されたとき、さらにより大きい前記特徴量を算出する
信号処理装置。 - 前記文字検出手段により、文字を表示する信号が検出されたとき、前記文字の出現時刻を検出する文字出現時刻検出手段をさらに備え、
前記算出手段は、前記文字出現時刻検出手段により検出された出現時刻が前記候補区間内における前記候補区間の始点または終点付近にあるときにも、さらにより大きい前記特徴量を算出する
請求項１に記載の信号処理装置。 - 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、前記第１の信号の候補区間を検出する候補区間検出ステップと、
時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つの前記エッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した前記静止エッジ画像を小領域に分割し、前記小領域内のエッジ線分の密度を算出し、算出した前記密度が所定の閾値以上である場合、前記小領域を文字領域とすることで、前記候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、
前記小領域には、所定の順に番号が割り当てられており、前記文字検出ステップの処理により文字を表示する信号が検出されたとき、前記小領域に割り当てられた番号に基づいて、前記文字の表示位置を検出する文字表示位置検出ステップと、
前記文字検出ステップの処理による文字検出結果または前記文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、前記第１の信号らしさを表す特徴量を算出する算出ステップと、
前記特徴量に基づいて、前記第１の信号の区間を検出する区間検出ステップと
を含み、
前記算出ステップでは、前記文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい前記特徴量を算出し、前記文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい前記特徴量を算出する
信号処理方法。 - 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、前記第１の信号の候補区間を検出する候補区間検出ステップと、
時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つの前記エッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した前記静止エッジ画像を小領域に分割し、前記小領域内のエッジ線分の密度を算出し、算出した前記密度が所定の閾値以上である場合、前記小領域を文字領域とすることで、前記候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、
前記小領域には、所定の順に番号が割り当てられており、前記文字検出ステップの処理により文字を表示する信号が検出されたとき、前記小領域に割り当てられた番号に基づいて、前記文字の表示位置を検出する文字表示位置検出ステップと、
前記文字検出ステップの処理による文字検出結果または前記文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、前記第１の信号らしさを表す特徴量を算出する算出ステップと、
前記特徴量に基づいて、前記第１の信号の区間を検出する区間検出ステップと
を含み、
前記算出ステップでは、前記文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい前記特徴量を算出し、前記文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい前記特徴量を算出する
処理をコンピュータに実行させるためのプログラムが記録されている記録媒体。 - 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、前記第１の信号の候補区間を検出する候補区間検出ステップと、
時間的に隣接する２つのフレームに対して微分法によるエッジ処理を施すことで得られたエッジ画像を２値化し、２値化された２つの前記エッジ画像間で演算処理を行うことで静止部分についての静止エッジ画像を生成し、生成した前記静止エッジ画像を小領域に分割し、前記小領域内のエッジ線分の密度を算出し、算出した前記密度が所定の閾値以上である場合、前記小領域を文字領域とすることで、前記候補区間の信号から、文字を表示する信号を検出する文字検出ステップと、
前記小領域には、所定の順に番号が割り当てられており、前記文字検出ステップの処理により文字を表示する信号が検出されたとき、前記小領域に割り当てられた番号に基づいて、前記文字の表示位置を検出する文字表示位置検出ステップと、
前記文字検出ステップの処理による文字検出結果または前記文字表示位置検出ステップの処理による文字表示位置検出結果に基づいて、前記第１の信号らしさを表す特徴量を算出する算出ステップと、
前記特徴量に基づいて、前記第１の信号の区間を検出する区間検出ステップと
を含み、
前記算出ステップでは、前記文字検出ステップの処理により文字を表示する信号が検出されたとき、より大きい前記特徴量を算出し、前記文字表示位置検出ステップの処理により画面中央に文字を表示する信号が検出されたとき、さらにより大きい前記特徴量を算出する
処理をコンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001217620A JP4512969B2 (ja) | 2001-07-18 | 2001-07-18 | 信号処理装置及び方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001217620A JP4512969B2 (ja) | 2001-07-18 | 2001-07-18 | 信号処理装置及び方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003032631A JP2003032631A (ja) | 2003-01-31 |
| JP4512969B2 true JP4512969B2 (ja) | 2010-07-28 |
Family
ID=19051907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001217620A Expired - Fee Related JP4512969B2 (ja) | 2001-07-18 | 2001-07-18 | 信号処理装置及び方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4512969B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4293105B2 (ja) | 2004-10-06 | 2009-07-08 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP2007108960A (ja) * | 2005-10-12 | 2007-04-26 | Nippon Telegr & Teleph Corp <Ntt> | ディジタルコンテンツ特徴量抽出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP4965980B2 (ja) * | 2006-11-30 | 2012-07-04 | 株式会社東芝 | 字幕検出装置 |
| JP4613941B2 (ja) * | 2007-10-10 | 2011-01-19 | 三菱電機株式会社 | 文字表示領域検出装置及びその方法、並びに携帯端末 |
| CN104202668B (zh) * | 2014-09-09 | 2018-05-29 | 安一恒通（北京）科技有限公司 | 视频广告的过滤方法和装置 |
| CN108605150A (zh) | 2016-01-05 | 2018-09-28 | 格雷斯诺特公司 | 具有基于内容特性的触发特征的计算系统 |
| JP6966707B2 (ja) * | 2018-06-05 | 2021-11-17 | 日本電信電話株式会社 | 提供クレジット表示検出装置、提供クレジット表示検出方法、及びプログラム |
| JP6966705B2 (ja) * | 2018-06-05 | 2021-11-17 | 日本電信電話株式会社 | Ｃｍ区間検出装置、ｃｍ区間検出方法、及びプログラム |
| JP6713229B2 (ja) * | 2018-06-05 | 2020-06-24 | 日本電信電話株式会社 | Ｃｍ情報生成装置、ｃｍ情報生成方法、及びプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002521977A (ja) * | 1998-07-28 | 2002-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02139740A (ja) * | 1988-11-18 | 1990-05-29 | Fujitsu General Ltd | 記録・再生装置 |
| JPH08339379A (ja) * | 1995-06-12 | 1996-12-24 | Nippon Telegr & Teleph Corp <Ntt> | 映像解析方法および装置 |
| JPH1155613A (ja) * | 1997-07-30 | 1999-02-26 | Hitachi Ltd | 記録および／または再生装置およびこれに用いられる記録媒体 |
-
2001
- 2001-07-18 JP JP2001217620A patent/JP4512969B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002521977A (ja) * | 1998-07-28 | 2002-07-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオデータストリーム内に配置されたコマーシャルを位置決めする装置および方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003032631A (ja) | 2003-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4300697B2 (ja) | 信号処理装置及び方法 | |
| EP1081960B1 (en) | Signal processing method and video/voice processing device | |
| JP4332988B2 (ja) | 信号処理装置及び方法 | |
| US7587124B2 (en) | Apparatus, method, and computer product for recognizing video contents, and for video recording | |
| US7027508B2 (en) | AV signal processing apparatus for detecting a boundary between scenes, method and recording medium therefore | |
| US6744922B1 (en) | Signal processing method and video/voice processing device | |
| KR101385087B1 (ko) | 정보 신호 처리 방법, 정보 신호 처리 장치 및 컴퓨터프로그램 기록 매체 | |
| KR101237229B1 (ko) | 콘텐츠 처리 장치 및 콘텐츠 처리 방법 | |
| US7214868B2 (en) | Acoustic signal processing apparatus and method, signal recording apparatus and method and program | |
| US7502547B2 (en) | Signal recording/reproducing apparatus and recording/reproducing method, signal reproducing apparatus and reproducing method, and program | |
| US20050267740A1 (en) | Signal processing apparatus and method, recording medium, and program | |
| JP4512969B2 (ja) | 信号処理装置及び方法、記録媒体、並びにプログラム | |
| US8234278B2 (en) | Information processing device, information processing method, and program therefor | |
| JP2000285242A (ja) | 信号処理方法及び映像音声処理装置 | |
| US8554057B2 (en) | Information signal processing method and apparatus, and computer program product | |
| JP3642019B2 (ja) | Ａｖコンテンツ自動要約システム及びａｖコンテンツ自動要約方法 | |
| JPH11259061A (ja) | デジタル動画像処理装置およびデジタル動画像処理方法 | |
| JP2007267211A (ja) | コマーシャル検出方法およびコマーシャル検出装置並びにコマーシャル検出プログラムが記録された記録媒体 | |
| JP4507351B2 (ja) | 信号処理装置及び方法 | |
| JP2006054619A (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 | |
| JP4470638B2 (ja) | 情報信号処理方法、情報信号処理装置及びプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080509 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100415 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100428 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |