JP4300697B2 - 信号処理装置及び方法 - Google Patents
信号処理装置及び方法 Download PDFInfo
- Publication number
- JP4300697B2 JP4300697B2 JP2000307907A JP2000307907A JP4300697B2 JP 4300697 B2 JP4300697 B2 JP 4300697B2 JP 2000307907 A JP2000307907 A JP 2000307907A JP 2000307907 A JP2000307907 A JP 2000307907A JP 4300697 B2 JP4300697 B2 JP 4300697B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- section
- candidate
- amplitude
- feature quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/59—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4112—Peripherals receiving signals from specially adapted client devices having fewer capabilities than the client, e.g. thin client having less processing power or no tuning capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/16—Analogue secrecy systems; Analogue subscription systems
- H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
- H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/781—Television signal recording using magnetic recording on disks or drums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/85—Television signal recording using optical recording on discs or drums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Television Signal Processing For Recording (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び方法に関し、特に、テレビジョン放送に付加されるコマーシャルメッセージを自動的に検出或いは検索可能とする信号処理装置及び方法に関するものである。
【０００２】
【従来の技術】
一般に、放送番組についてスポンサーが付いているテレビジョン（以下、適宜ＴＶとする）放送では、本編（番組そのもの）の合間に、その番組を提供しているスポンサーのコマーシャルメッセージ（以下、単にＣＭとする。）が挿入される。
【０００３】
しかしながら、視聴者の興味は、主として本編にあるため、ＣＭを省略して視聴したいという要望は多い。
【０００４】
その一方で、関心のある製品のＣＭや、ストーリー性のあるＣＭ、有名俳優が登場するＣＭなど、ＣＭ自体を視聴対象とする場合も少なくない。
【０００５】
このようなことから、特に、磁気テープや磁気ディスク等の媒体にＴＶ放送番組等を録画する場合において、放送番組から本編とＣＭとを分離／区別して、必要なときに必要な部分を視聴することが可能となれば、上述したような多様な要望に対する有効な解決手段を与えることになると考えられる。
【０００６】
ところで、ＴＶ放送からＣＭのみを省略して試聴可能とする技術としては、従来より、いわゆるＣＭスキップ機能（広義のＣＭスキップ機能）が存在し、例えば家庭用ビデオ録画再生装置には当該ＣＭスキップ機能が搭載されているものが多い。
【０００７】
このＣＭスキップ機能（広義のＣＭスキップ機能）は、その仕組みに応じて４つに大別され、それぞれ一般には、ＣＭ早送り機能、ＣＭカット機能、放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）と呼ばれている。なお、これら４つに大別されたＣＭスキップ機能のうち、上記ＣＭ早送り機能とは、日本国内においては通例としてＣＭが１５秒の倍数で製作されていることを利用し、家庭用ビデオ録画再生装置でのビデオ再生中に、例えばリモコンボタン操作によって（３０秒）＊（ボタンを押した回数）の時間だけ早送りを行うことにより、ＣＭ部分を飛ばす機能である。このＣＭ早送り機能に関する技術については、例えば特開平１０−２６９６５１号公報などに公開されている。また、特開平９−３０７８４１号公報には、上記ＣＭ早送り機能における早送り終了時刻を時間で決定せず、映像信号のブラックフレームと音声信号の無音部が同時に所定長さ以上にわたり生じる部分を、早送り終了時刻とする技術が公開されている。
【０００８】
ＣＭカット機能とは、日本国内においてはＣＭがステレオ放送されることが多く、また、ＴＶ放送信号には音声がモノラルモード／ステレオモード／音声多重モードの何れであるかを示すパイロット信号が多重されていることを利用し、例えば音声がモノラルモード又は音声多重モードとなされている本編を録画するような場合に、ステレオモード区間（すなわちＣＭ区間）のみ録画を停止することで、ＣＭ部分をカットすることを可能にする機能である。このＣＭカット機能に関する技術については、例えば特開平３−１５８０８６号、特開平３−２６２２８７２号などの公報に公開されている。
【０００９】
放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）とは、ＣＭカット機能と同様に放送モードの違いを利用する仕組みであるが、上記ＣＭカット機能が録画時にＣＭをカットしているのに対し、当該放送モードに基づくＣＭスキップ機能では、録画時には全ての映像及び音声を記録すると同時にその放送モードも記録しておき、再生時にステレオ放送区間（すなわちＣＭ区間）のみ自動的に早送りする機能である。この放送モードに基づくＣＭスキップ機能に関する技術については、例えば特開平５−２５０７６２号公報などに公開されている。
【００１０】
放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）とは、放送信号中に含まれる音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔、映像信号の黒レベル／白レベルの出現間隔などを利用して、これらが１５秒の倍数間隔に合致する部分をＣＭとして早送りする機能である。当該放送モードによらないＣＭスキップ機能に関する技術については、特開平８−３１７３４２号公報や、文献「ＴＶ放送のＣＭ検出方式についての一検討」（映像情報メディア学会技術報告、VIR97-22、19/23（1997））などに公開されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記ＣＭ早送り機能自体は、家庭用ビデオ録画再生装置にて録画したＴＶ放送を再生して視聴する視聴者に対して、ＣＭかどうかの判断を任せるものであり、ＴＶ放送から自動的にＣＭ部分を検出するようなＣＭ検出機能は備えていない。
【００１２】
また、上記放送モードに基づくＣＭカット機能やＣＭスキップ機能（狭義のＣＭスキップ機能）では、放送モードの違い、すなわち例えばステレオモードによるＣＭ検出を行うようになされているが、例えば本編自体がステレオモードとなされている場合や、ＣＭがモノラルモードや音声多重モードとなっている場合には、全く効果がない（すなわちＣＭカットやＣＭスキップができない）。
【００１３】
一方、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）では、視聴者や放送モードに依存することなく、放送内容に基づいたＣＭ検出が可能となっている。ただし、当該機能の場合は、音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔などが、予め想定されている設定値と一致することなど、非常に狭い条件に基づいた決定論的な判定手続きによりＣＭ区間を検出するようになされている。これに対し、実際の放送番組では、放送時間の調整の目的や人為的なスイッチングなどの要因によって無音区間間隔が例えば短縮されていたりする場合が少なからずあり、逆に、番組本編の中にも上記の条件を満たす区間が多く存在している。このため、無音区間間隔が予め想定されている長さより短いようなＣＭの場合は全く検出ができくなる問題が発生し、逆に、上記設定値の条件を満たす本編の場合は当該本編をＣＭ区間として誤って検出してしまう等の問題点が生じてしまう。
【００１４】
さらに、上記４つの機能では、例えば複数のＣＭが連続されて放送されている場合には、ＣＭ全体の区間を検出することはできても、個々のＣＭの検出はできない。このため、ＣＭを個別に抽出して視聴したいような場合（要望）には適さない。
【００１５】
以上のようなことから、ＴＶ放送信号からＣＭ部分を高精度に検出又は検索できることが望まれている。
【００１６】
そこで、本発明は、以上のような状況を鑑みてなされたものであり、例えばＴＶ放送信号に含まれるコマーシャルメッセージ部分を高精度に検出又は検索可能とする、信号処理装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の信号処理装置は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて第１の信号の候補区間を検出する候補区間検出手段と、その候補区間内又はその前後の入力信号から第１の信号らしさを表わす特徴量を抽出する特徴量抽出手段と、その特徴量に基づき第１の信号の区間を検出する検出手段と、検出手段により検出された第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定手段とを有し、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、上記判定手段で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である。
【００１８】
ここで、検出手段は、特徴量に基づいて候補区間が第１の信号である可能性を評価する特徴量評価手段を有する。或いは、検出手段は、特徴量に基づいて、候補区間の信号と、別途指定した第１の信号との一致を判定する一致判定手段を有する。
【００１９】
次に、本発明の信号処理方法は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出し、その候補区間内又はその前後の入力信号から第１の信号らしさを表わす特徴量を抽出し、その特徴量に基づき第１の信号の区間を検出し、検出した第１の信号の区間について、ルール判定を行い第１の信号の区間を決定するステップを含み、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である。
【００２２】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２３】
先ず、本発明実施の形態の具体的構成について述べる前に、本発明に基づき、例えばＴＶ放送信号からＣＭ部分を検出する際の原理について概説する。
【００２４】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【００２５】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【００２６】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが示すパターンである。本発明では、このようにほぼ全てのＣＭが示す信号のパターンを「特徴的パターン」と称し、それを検出するための条件を「必須条件」と称することにする。
【００２７】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【００２８】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【００２９】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【００３０】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【００３１】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【００３２】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【００３３】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【００３４】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【００３５】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【００３６】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【００３７】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【００３８】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【００３９】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【００４０】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【００４１】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【００４２】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【００４３】
本発明では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。
【００４４】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【００４５】
本発明では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【００４６】
より具体的に言うと、本発明では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【００４７】
図１には、上述のようにＴＶ放送信号からＣＭを検出可能とした、本発明の第１の実施の形態としての映像音声記録装置の概略構成を示す。
【００４８】
図１において、アンテナ６により受信されたＴＶ放送信号は、チューナ１により同調され、放送信号１ａとして復調器２に入力する。
【００４９】
復調器２は、入力された放送信号１ａに含まれるパイロット信号の変調周波数から、その入力時点での放送モード（モノラルモード／ステレオモード／音声多重モード）を判別し、また、放送信号１ａに含まれる映像及び音声の変調信号を復調する。このとき、音声変調信号は、上記判別した放送モードに応じて復調される。当該復調器２により復調された映像信号２ａ、音声信号２ｂ、及び放送モード信号２ｃは、ＣＭ検出部４に入力される。また、映像信号２ａ、音声信号２ｂは、映像音声記録部５にも入力される。
【００５０】
映像音声記録部５は、磁気テープ、磁気ディスク、光ディスク若しくは光磁気ディスク等を記録媒体として用い、上記映像信号２ａ及び音声信号２ｂを記録再生可能な装置である。なお、映像音声記録部５は、映像信号及び音声信号に対して符号化や圧縮などを施して記録し、再生時にはその符号化や圧縮された映像信号及び音声信号を復号化、伸張する装置であってもよい。
【００５１】
時計部３は、時刻を表す時間信号３ａを発生し、当該時間信号３ａをＣＭ検出部４に供給する。
【００５２】
ＣＭ検出部４は、本発明の主要部であり、詳細については後述するが、上記復調器２からの映像信号２ａ、音声信号２ｂ、放送モード信号２ｃと、時計部３からの時間情報３ａとを入力とし、放送信号１ａの映像及び音声信号に含まれるＣＭ区間を検出し、その開始時刻と長さをＣＭ検出出力４ａとして出力する。当該ＣＭ検出部４によるＣＭ検出出力４ａは、映像音声記録部５に送られ、上記映像信号２ａ及び音声信号２ｂと共に記録される。
【００５３】
また、このＣＭ検出部４には、チューナ１から、上記同調された放送チャンネルを示すチャンネル情報１ｂも供給される。当該チャンネル情報１ｂは、ＣＭが含まれない放送チャンネルが指定されたか否かを、ＣＭ検出部４において判断する為に用いられる。すなわち、ＣＭ検出部４は、上記チャンネル情報１ｂにより、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされていると判断した場合、上記ＣＭ検出動作を行わないようにする。なお、ここでは、ＣＭ検出部４自身がチャンネル情報１ｂに基づいてＣＭ検出動作を行うか否か判断することとしているが、チューナ１がチャンネル情報１ｂによりＣＭ検出部４でのＣＭ検出動作を制御するようにしても良い。
【００５４】
以上、チューナ１、復調器２、時計部３、映像音声記録部５に示した各構成要素は、現在広く知られているビデオ装置などの磁気記録再生装置のものと同様であるため、以下では、ＣＭ検出部４に限って詳細に説明する。
【００５５】
図２には、上記ＣＭ検出部４の第１の具体例の詳細な構成を示す。なお、この図２中の各信号のうち、図１と共通の信号については、図１と同じ指示符号を付している。また、当該ＣＭ検出部４は、大別して、フロントエンド部とバックエンド部とから構成されている。また、図中の動作制御部２３は、チューナ１から供給された上記チャンネル情報１ｂに基づいて、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされているか否か判断し、その判断結果に応じて、当該図２の各部におけるＣＭ検出動作を行わないように制御するものである。
【００５６】
先ず、図２のフロントエンド部から説明する。
【００５７】
この図２において、図１の復調器２より供給された映像信号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フレームメモリ１１に蓄えられる。なお、フレームメモリ１１は、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１からフレーム毎に読み出された映像信号は、カットチェンジ検出器１２に送られる。
【００５８】
カットチェンジ検出器１２は、フレームメモリ１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【００５９】
すなわち、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【００６０】
以下、当該カットチェンジ検出器１２における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【００６１】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩn（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩn-1（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の自乗和Ｄ[n]は、式（１）により得られ、また、第ｎフレームの輝度分散値Ｖ[n]は、式（２）により得られる。
【００６２】
【数１】
【００６３】
また、このときのカットチェンジ検出器１２の検出出力Ｃ[n]は、式（３）により表わされる。
【００６４】
【数２】
【００６５】
ただし、式中のＤthsdは上記映像変化フレームを検出する際の前記自乗和に対する所定の閾値であり、Ｖthsdは上記一様輝度フレームを検出する際の前記輝度の分散値に対する所定の閾値である。
【００６６】
当該カットチェンジ検出器１２の検出出力Ｃ[n]は、映像信号についての特徴量として特徴量バッファ１８へ送られる。
【００６７】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の各画素毎に輝度差分を求めるのではなく、各フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、各フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにするで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【００６８】
次に、図１の復調器２より供給された音声信号２ｂは、Ａ／Ｄ変換器１３にてディジタル化され、音声信号バッファ１４に蓄えられる。なお、音声信号バッファ１４は、少なくとも所定時間Ｔ1（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１４から読み出された音声信号は、振幅検出器１５、相関検出器１６、スペクトル検出器１７に送られる。
【００６９】
振幅検出器１５は、音声信号バッファ１４に蓄えられた音声信号を用いて、所定の時間Ｔ2（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均自乗振幅を検出する。すなわち、振幅検出器１５は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、所定の時間Ｔ2（１５ｍｓ、１フレーム周期）毎に、短時間平均自乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ1に対応する。
【００７０】
より具体的に説明すると、振幅検出器１５は、第ｎフレームにおける左右２チャンネルの音声信号の平均自乗振幅Ａ[n]を式（４）により計算する。すなわち、平均自乗振幅は１５ms（１／２フレーム）毎に計算され、その１５ms毎の平均自乗振幅の３０ms（１フレーム）の期間における平均値がさらに演算され、最終的な、１フレームの平均自乗振幅とされる。
【００７１】
【数３】
【００７２】
当該振幅検出器１５の検出出力である平均自乗振幅Ａ[n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【００７３】
相関検出器１６は、音声信号バッファ１４に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１６は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【００７４】
より具体的に説明すると、相関検出器１６は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数ＡLR[n]を式（５）により計算し、左チャンネルの音声信号エネルギーＡLL[n]を式（６）により計算し、右チャンネルの音声信号エネルギーＡRR[n]を式（７）により計算する。
【００７５】
【数４】
【００７６】
当該相関検出器１６の検出出力である相関係数ＡLR[n]と音声信号エネルギーＡLL[n]、ＡRR[n]は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【００７７】
スペクトル検出器１７は、音声信号バッファ１４に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１７は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、短時間スペクトルを計算する。
【００７８】
より具体的に説明すると、スペクトル検出器１７は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ[k;n]は式（８）により表わされる。
【００７９】
【数５】
【００８０】
この式（８）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【００８１】
当該スペクトル検出器１７の計算出力である短時間離散スペクトルＦ[k;n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【００８２】
次に、図１の復調器２より供給された放送モード信号２ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【００８３】
より具体的に説明すると、第ｎフレームにおける放送モード信号２ｃは、例えば式（９）のような数値Ｂ[n]となされる。
【００８４】
【数６】
【００８５】
この放送モード信号２ｃを離散化した数値Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１８へ送られる。
【００８６】
同様に、図１の時計部３より供給された時間信号３ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ[n]となされ、特徴量の一つとして特徴量バッファ１８へ送られる。
【００８７】
特徴量バッファ１８は、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均自乗振幅Ａ[n]と、相関検出器１６からの相関係数ＡLR[n]、音声信号エネルギーＡLL[n]，ＡRR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる、式（１０）に示される特徴量Ｇ[n]を、所定の時間Ｔ3に渡って蓄積する。なお、時間Ｔ3はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
Ｇ[n]=｛Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝ (10)
【００８８】
以上のＡ／Ｄ変換器１０から特徴量バッファ１８までが、図２に示したＣＭ検出部４のフロントエンド部の構成であり、以下、図３、図４のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図３のステップＳ３０乃至Ｓ３２までは映像信号２ａについての処理の流れを表しており、図４のステップＳ３３乃至Ｓ４０までは音声信号２ｂ及び放送モード信号２ｃ、時間信号３ａについての処理の流れを表している。
【００８９】
先ず、映像信号２ａについての処理の流れを表す図３において、フロントエンド部は、ステップＳ３０の処理として、Ａ／Ｄ変換器１０によりディジタル化された、少なくとも１フレーム分の映像信号２ａをフレームメモリ１１に蓄える。このフレームメモリ１１は、１フレーム分の映像信号２ａを１サンプルとして扱うようになされており、１フレーム分の映像信号２ａが入力されると、当該フレームメモリ１１内に既に蓄積されている映像信号２ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号２ａが押し出されて出力されるようになっている。
【００９０】
次に、フロントエンド部は、ステップＳ３１の処理として、フレームメモリ１１から映像信号２ａを読み出してカットチェンジ検出器１２に送り、前述のようにして検出出力Ｃ[n]を求める。
【００９１】
その後、フロントエンド部は、ステップＳ３２の処理として、当該検出出力Ｃ[n]を特徴量バッファ１８に蓄える。
【００９２】
一方、音声信号２ｂについての処理の流れを表す図４において、フロントエンド部は、ステップＳ３３及びステップＳ３４の処理として、Ａ／Ｄ変換器１３によりディジタル化された、音声信号２ｂを音声信号バッファ１４に入力すると共に、当該音声信号バッファ１４に少なくとも１フレーム周期Ｔ2分の音声信号２ｂを蓄積する。この音声バッファ１４は、１フレーム周期Ｔ2分の音声信号２ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ2分の音声信号２ｂが入力されると、当該音声バッファ１４内に既に蓄積されている音声信号２ｂが１フレーム周期Ｔ2分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ2分の音声信号２ｂが押し出されて出力されるようになっている。
【００９３】
上記音声信号バッファ１４に少なくとも１フレーム周期Ｔ2分の音声信号２ｂが蓄積されると、フロントエンド部は、ステップＳ３５の処理として、当該音声信号バッファ１４に蓄積された音声信号２ｂを読み出して振幅検出器１５に送り、前述のようにして、平均自乗振幅Ａ[n]を求める。
【００９４】
同時に、フロントエンド部は、ステップＳ３６の処理として、音声信号バッファ１４に蓄積された音声信号２ｂを相関検出器１６に送り、前述のようにして、相関係数ＡLR[n]と音声信号エネルギーＡLL[n]、ＡRR[n]を求める。
【００９５】
また同時に、フロントエンド部は、ステップＳ３７の処理として、音声信号バッファ１４に蓄積された音声信号２ｂをスペクトル検出器１７に送り、前述のようにして、短時間離散スペクトルＦ[k;n]を求める。
【００９６】
さらに、フロントエンド部は、ステップＳ３８の処理として、図１の復調器２より供給された放送モード信号２ｃから、前述のように離散化した数値Ｂ[n]を求めると共に、図１の時計部３より供給された時間信号３ａから、前述のように離散化された数値Ｔ[n]を求める。
【００９７】
フロントエンド部は、以上にようにして求められた、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均自乗振幅Ａ[n]と、相関検出器１６からの相関係数ＡLR[n]、音声信号エネルギーＡLL[n]，ＡRR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる特徴量Ｇ[n]を、特徴量バッファ１８に蓄積する。
【００９８】
図２に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１８内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ[0]とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【００９９】
図２において、特徴量バッファ１８に蓄積された特徴量は、フレーム毎にＣＭ候補検出器１９に送られる。
【０１００】
当該ＣＭ候補検出器１９は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（１１）で且つ式（１２）で且つ式（１３）の条件として書き下すことができる。
【０１０１】
Ａ[0]＜Ａthsd (11)
Ｃ[0]＝１ (12)
Ａ[n1]＜Ａthsd，Ｃ[n1]＝１又はＡ[n2]＜Ａthsd，Ｃ[n2]＝１又は
Ａ[n3]＜Ａthsd，Ｃ[n3]＝１ (13)
ただし、Ａthsdは所定の自乗振幅の閾値であり、ｎ1，ｎ2，ｎ3はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ1，ｎ2，ｎ3にはそれぞれ多少の幅を持たせる。
【０１０２】
ここで、図５を用いて、上記ＣＭ候補検出器１９の動作の流れを説明する。
【０１０３】
図５において、特徴量バッファ１８では、ステップＳ５０のバッファシフト処理とステップＳ５１の特徴量入力処理として、図３のステップＳ３２で説明したフレームメモリと図４のステップＳ４０で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１８は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１８内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１０４】
上記ステップＳ５０及びステップＳ５１の処理により、特徴量バッファ１８から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検出器１９は、ステップＳ５２及びステップＳ５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。すなわち。ＣＭ候補検出器１９は、ステップＳ５２において、先ず最初のフレームの平均自乗振幅Ａ[0]と所定の自乗振幅の閾値Ａthsdを比較し、次に、ステップＳ５３の処理として、前記検出出力Ｃ[0]が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検出器１９では、これらステップＳ５２，Ｓ５３の判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ５７以降（ステップＳ５４乃至Ｓ５６については後述する）の処理に進み、逆に、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ５０の処理に戻る。
【０１０５】
上記ステップＳ５２，Ｓ５３の各判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定された場合、ＣＭ候補検出器１９は、ステップＳ５７の処理としてＣＭ開始フレームｎsを検索し、次に、ステップＳ５８の処理としてＣＭ終了フレームｎeの検索を行い、更に、ステップＳ５９の処理としてＣＭ開始時刻Ｔsを計算し、ステップＳ６０としてＣＭ長さＷを計算する。
【０１０６】
ＣＭ候補検出器１９は、以上のステップＳ５７乃至Ｓ６０の検索及び計算を行った後、ステップＳ６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔs及びＣＭ長さＴwの一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ５４乃至Ｓ５６の処理に戻り、逆に存在しない場合には、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ５４乃至Ｓ５６の処理に戻る。
【０１０７】
ステップＳ５４乃至Ｓ５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０１０８】
なお、上記ＣＭ開始フレームｎsとは、ｎ1，ｎ2，ｎ3で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越える最初のフレーム番号である。また、ＣＭ終了フレームｎeとは、０番目のフレームより過去の方向に向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔsは、ＣＭ開始フレーム番号ｎsを用いてＴs＝Ｔ[ns]として求められる。同様にＣＭ長さＴwは、Ｔw＝Ｔ[ne]−Ｔ[ns]として求められる。
【０１０９】
ここで、図６に、上記必須条件の算出例を示す。この図６に示すＡ[n]の項において、「ｏ」は自乗振幅の閾値Ａthsd未満の平均自乗振幅を持つフレームを示し、「ｘ」は自乗振幅の閾値Ａthsd以上の平均自乗振幅を持つフレームを示している。この例では、Ａ[0]，Ｃ[0]及びＡ[n1]，Ｃ[n1]が条件を満たし、ｎ1より左方で最初にＡ[n]＝ｘとなるフレームがｎs、０より右方に連続する最後のＡ[n]＝ｏとなるフレームがｎeとなる。
【０１１０】
以上の処理により、ＣＭ候補検出器１９では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０１１１】
図７には、ＣＭ候補テーブルの構成例を示す。この図７において、ＣＭ候補テーブルの項目は、開始時刻Ｔs、長さＴw、及び後述する付加条件算出器２０で算出する特徴量Ｑ1乃至Ｑ11、及び後述する付加条件判定器２１で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器１９によるＣＭ候補テーブル１９ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器１９で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器２０で算出される特徴量Ｑ1乃至Ｑ11と、付加条件判定器２１で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器２２からＣＭ検出出力４ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０１１２】
上記ＣＭ候補検出器１９により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル１９ａは、付加条件算出器２０に送られる。
【０１１３】
付加条件算出器２０では、ＣＭ候補テーブル１９ａにエントリーされた候補区間より、特徴量バッファ１８を参照しながら、以下に示すような特徴量Ｑ1乃至Ｑ11を抽出し、それをＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして付加条件判定器２１に出力する。
【０１１４】
図８には、当該付加条件算出器２０における特徴量Ｑ1乃至Ｑ11の算出例を示す。
【０１１５】
この図８において、横軸はフレーム番号（離散時間に相当）を表し、図８（Ａ）はカットチェンジ検出出力Ｃ[n]、図８（Ｂ）は放送モード信号２ｃの離散化数値Ｂ[n]、図８（Ｃ）は音声信号の短時間離散スペクトルＳ[k,n]、図８（Ｄ）は音声信号の平均自乗振幅Ａ[n]を表わし、ｎ1の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図８（Ａ）において、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ[n]が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図８（Ｂ）において、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図８の（Ｃ）において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図８（Ｄ）において、図中ＡＭは自乗振幅の変化を表している。また、図中Ｑ1からＱ11は、上記付加条件算出器２０にて特徴量Ｑ1乃至Ｑ11が計算される場所を示している。
【０１１６】
以下、付加条件算出器２０で算出される各特徴量Ｑ1乃至Ｑ11について個々に説明する。
【０１１７】
特徴量Ｑ1は前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図８中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ1である。
【０１１８】
特徴量Ｑ2は後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図８中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ2である。
【０１１９】
特徴量Ｑ3は前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ3は、前記の前ブレーク区間におけるＡ[n]の最小値である。
【０１２０】
特徴量Ｑ4は後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ4は、前記の後ブレーク区間におけるＡ[n]の最小値である。
【０１２１】
特徴量Ｑ5は左右相関値である。当該左右相関値Ｑ5は、ＣＭ候補区間の音声の左右２チャンネルの音声信号ＳL[m]、ＳR[m]の相関値である。これは、式（５）乃至式（７）のＡLR[n]，ＡLL[n]，ＡRR[n]を利用して、式（１４）に従って算出することができる。
【０１２２】
【数７】
【０１２３】
この式（１４）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０１２４】
特徴量Ｑ6は平均振幅値である。当該平均振幅値Ｑ6は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均自乗振幅）である。これは、式（１５）により計算することができる。
【０１２５】
【数８】
【０１２６】
この式（１５）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０１２７】
特徴量Ｑ7はカット数である。当該カット数Ｑ7は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、[ns,ne）の区間でＣ[n]＝１となる回数を数える演算となる。
【０１２８】
特徴量Ｑ8は放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［ns,ne）の区間のＢ[n］値の中で、最も頻発する放送モードＱ8を選ぶ演算である。
【０１２９】
特徴量Ｑ9は隣接候補数である。当該隣接候補数Ｑ9は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔsと長さＴwと後ブレーク長Ｑ2の和（Ｔs＋Ｔw＋Ｑ2）が、他のＣＭ候補の開始時刻（Ｔ's）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔsと前ブレーク長Ｑ1の差（Ｔs−Ｑ1）が、他のＣＭ候補の開始時刻Ｔ'sと長さＴ'wの和（Ｔ's＋Ｔ'w）と一致するかどうかで、前側候補の判定が行われる。
【０１３０】
特徴量Ｑ10，Ｑ11はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ10，Ｑ11は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（１６）乃至（２１）に従って計算される。
【０１３１】
【数９】
【０１３２】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ'eはＣＭ候補区間の直前の有音区間の終了フレーム番号（図８参照）、ｎ'sはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ1[k]はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ2[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ3[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ4[k]はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓnormは適切な規格化定数である。
【０１３３】
上記付加条件算出器２０は、以上により算出したＱ1からＱ11までの特徴量を、ＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして出力する。当該ＣＭ候補テーブル２０ａは、付加条件判定器２１に送られる。
【０１３４】
付加条件判定器２１は、ＣＭ候補テーブル２０ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器２１は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出力する。
【０１３５】
図９には、付加条件判定器２１の概略構成を示す。
【０１３６】
この図９において、ＣＭ候補テーブル２１ａの各特徴量Ｑ1乃至ＱLは、それぞれ対応する関数演算器５０1乃至５０Lに送られ、それぞれ対応するパラメータ変換関数Ｈ1()乃至ＨL()による変換演算が施された後、さらにそれぞれ対応する重み付け器５１1乃至５１Lにより荷重Ｗ1乃至ＷLとの積がとられる。各重み付け器５１1乃至５１Lにより重み付けがなされた後の特徴量は、総和加算器５２での総和加算によりスコアＲが算出される。この総和加算器５２から出力されたスコアＲは、スコア判定器５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０１３７】
より具体的に説明すると、当該付加条件判定器２１におけるスコア算出演算は、式（２２）に従って行われる。
【０１３８】
【数１０】
【０１３９】
ただし、Ｈl()は各特徴量に対して予め定めるパラメータ変換関数、Ｗlは予め決定しておく荷重、Ｌは特徴量数（＝１１）である。なお、ｌは１乃至１１のうちの任意の数である。
【０１４０】
ここで、各関数演算器５０1乃至５０Lにおけるパラメータ変換関数Ｈl()は、最も簡単には矩形関数でよい。すなわち例えば、図１０（Ｂ）に示すような矩形関数Ｒect（x;t1,t2）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ1l，ｔ2lとし、式（２３）により例えばＱ1が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０１４１】
Ｈl（Ｑl）＝Ｒect（Ｑl;t1,t2） (23)
なお、前記境界付近で滑らかに０から１、１から０へ推移させるようにする場合には、例えば式（２４）のような、シグモイド関数Ｓigm(x;t1,t2)を用いることもできる。
【０１４２】
【数１１】
【０１４３】
図１０（Ｃ）にシグモイド関数の概形を示す。ただし、s1l,s2lは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０１４４】
また、上記各重み付け器５１1乃至５１Lによる加算荷重Ｗlは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（1999）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１乃至１１のうちの任意の数である。
【０１４５】
さらに、上記判定器５３におけるスコア判定は、式（２５）のように、スコアＲの閾値処理により行う。
【０１４６】
Ｚ＝Ｕnit（Ｒ−ｔr） (25)
ただし、Ｕnit（ｘ）は、図１０（Ａ）に示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔrは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０１４７】
次に、ルール判定器２２は、上記付加条件判定器２１でのスコア判定により得られたＣＭ候補テーブル２１ａを入力とし、後述するような所定のルール判定により最終的なＣＭ検出出力４ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器２２では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０１４８】
以下、ルール判定器２２の動作を図１１のフローチャートを用いて説明する。
【０１４９】
先ず、ルール判定器２２は、ステップＳ７０として、ＣＭ候補テーブルより、判定すべきＣＭ候補を選択する。この選択は、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ4が経過したものから順に行われる。Ｔ4は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０１５０】
続いて、ルール判定器２２は、ステップＳ７１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ７１において、他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０１５１】
一方、ステップＳ７１において、他のＣＭ候補が存在すると判定された場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ７２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０１５２】
図１２を用いて、この最小長さ優先ルールの一例を説明する。
【０１５３】
なおこの例には、図１２（Ａ）のように、実際には４つのＣＭ１乃至ＣＭ４が連続して放送されている区間に対し、図１２（Ｂ）中Ａ乃至Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０１５４】
先ず、図１２（Ｃ）に示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図１２（Ｄ）に示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図１２（Ｅ）に示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図１２（Ｆ）に示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０１５５】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０１５６】
図１１に戻り、ステップＳ７２のルール判定の後、ルール判定器２２の処理は、ステップＳ７３に進む。ステップＳ７３に進むと、ルール判定器２２は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７３において、判定中のＣＭが棄却されと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０に戻る。一方、ステップＳ７３において、判定中のＣＭが棄却されていないと判断した場合（Ｎｏ）、ルール判定器２２は、ステップＳ７４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０１５７】
このステップＳ７４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器２２は、ステップＳ８０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７４にて他のＣＭ候補が存在すると判断した場合（Ｙｅｓ）、ルール判定器２２の処理は、ステップＳ７５に進む。
【０１５８】
ステップＳ７５に進むと、ルール判定器２２は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０１５９】
図１３を用いて、当該隣接優先ルールについて説明する。
【０１６０】
なおこの例には、図１３（Ａ）のように、実際には４つのＣＭ１１乃至ＣＭ１４が連続して放送されている区間に対し、図１３（Ｂ）中Ｉ乃至Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０１６１】
このような例において、先ず、図１３（Ｃ）に示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図１３（Ｄ）に示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図１３（Ｅ），（Ｆ）に示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０１６２】
以上により、この図１３に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０１６３】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０１６４】
図１１に戻り、ステップＳ７５の処理後、ルール判定器２２の処理は、ステップＳ７６に進む。ステップＳ７６に進むと、ルール判定器２２は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０の処理に戻る。一方、ステップＳ７６において棄却されていないと判定された場合（Ｎｏ）、ルール判定器２２は、次のステップＳ７７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０１６５】
このステップＳ７７において、他のＣＭ候補が存在しなと判定された場合（Ｎｏ）、ルール判定器２２は、ステップＳ８０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器２２は、ステップＳ７８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器２１により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０１６６】
図１４を用いて、当該スコア優先ルールについて説明する。
【０１６７】
なおこの例には、図１４（Ａ）のように、実際には４つのＣＭ２１乃至ＣＭ２４が連続して放送されている区間に対し、図１４（Ｂ）中Ｐ乃至Ｗで示すような７つの候補が存在する場合が示されている。
【０１６８】
この例において、先ず、図１４（Ｃ）に示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、前記最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０１６９】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、(Ｐ−Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−Ｓ)という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ(2.0)が最も高いスコアであるため、図１４（Ｄ）に示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０１７０】
しかしながら、図１４（Ｅ）に示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、３つの候補が関係する２つの競合関係のみとなる。
【０１７１】
さらに、これらの候補の中で最もスコアの高い候補Ｑ(1.9)を採用し、図１４（Ｆ）に示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０１７２】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０１７３】
なお、仮に、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器２２では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０１７４】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０１７５】
図１１に戻り、ステップＳ７８の処理後、ルール判定器２２の処理は、ステップＳ７９に進む。ステップＳ７９に進むと、ルール判定器２２は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ７９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルより消去し、ステップＳ７０に戻る。一方、ステップＳ７９において、棄却されなかった場合、ルール判定器２２は、ステップＳ８０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ７０に戻る。
【０１７６】
以上説明したように、本実施の形態の第１の具体例のＣＭ検出部４においては、ほぼ全てのＣＭが満足する必須条件に基づき、決定論的に番組中からＣＭの候補を抽出し、ＣＭらしさの指標である付加条件に基づく特徴量の統計論的な評価により候補を選択し、論理条件により候補のオーバーラップ関係を解消することで、精度の高いＣＭ検出を実現している。また、本実施の形態では、例えば現行のアナログＴＶ放送の映像音声記録装置を例にとったが、ディジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部４が適用できることは明らかである。また、例えばラジオ放送に適用される場合には、上記ＣＭ検出部４から映像信号の処理を担当する部分を省略することで同様の機能が実現できる。
【０１７７】
次に、本発明の第２の具体例としてのＣＭ検出部４について以下に説明する。
【０１７８】
図１５には、本発明の第２の具体例としてのＣＭ検出部４の詳細な構成を示す。
【０１７９】
当該第２の具体例のＣＭ検出部４は、前述した付加条件の中でも基本的なもののみを実装するようにしており、前述した１）乃至１４）の付加条件のうち、１１）乃至１４）に関しては導入しないことで、装置構成を簡略化している（複雑になることを防いでいる）。
【０１８０】
この第２の具体例のＣＭ検出部４も、図２の例と同様にフロントエンド部とバックエンド部とから構成されている。なお、この図１５において、図２の各構成要素と同じ動作を行う部分については、同一の指示符号を付して、それらの説明は省略する。
【０１８１】
以下、図１５の構成において、新たに追加された各構成要素（１０１，１０２，１０３）と、付加条件算出器２０において新たに拡張された機能についてのみ説明する。
【０１８２】
フロントエンド部に設けられた音源識別器１０１は、ディジタル化及びフレーム化された音声信号２ｂを入力とし、この音声信号２ｂの該当フレームに関する音源名を出力する。音源名としては、例えば、音声、音楽、音声と音楽、その他を挙げることができる。なお、入力された音声信号の音源識別を実現する技術としては、例えば、河地、他による、「ＶＱ歪みに基づく放送音の自動分類」信学技報、DSP97-95/SP97-50、43/48(1998)に記載された技術や、南、他による、「音情報を用いた映像インデクシングとその応用」信学論、Vo1.J81-D-II、No.3，529/537(1998)に記載された技術、安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などがあり、これらを利用することができる。
【０１８３】
この音源識別器１０１により識別された各音源名は、例えば音声＝１、音楽＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｕ[n]として特徴量バッファ１８に入力される。
【０１８４】
フロントエンド部に設けられた番組ジャンルデータ又は番組ジャンル識別器１０２は、現在処理している番組のジャンル名を出力するものである。番組ジャンルは、例えば、ニュース、ドラマ、野球、サッカーなどである。番組ジャンルデータは、テレビ番組表などから入力してもよく、また近年ではインターネット等を通じて自動的に取得することもできる。または、外部情報に頼らず音声及び映像信号から番組ジャンルを識別する装置を用いることも可能である。なお、音声及び映像信号から番組ジャンルを識別する技術としては、例えば安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などを利用することができる。
【０１８５】
この番組ジャンルデータ又は番組ジャンル識別器１０２により分類された番組ジャンル名は、例えばニュース＝１、ドラマ＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｗ［n]として特徴量バッファ１８に入力される。
【０１８６】
フロントエンド部のその他の各構成要素は、図２の例と同様である。
【０１８７】
この第２の具体例の場合、フロントエンド部に、上記音源識別器１０１と番組ジャンルデータ又は番組ジャンル識別器１０２を設け、これらにより得られた各特徴量Ｕ[n]とＷ［n]を特徴量バッファ１８に蓄積することで、当該特徴量バッファ１８においては、式（１０）に示した特徴量Ｇ[n]が、式（２６）のように拡張されることになる。
【０１８８】
Ｇ[n]=｛Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],
Ｂ[n],Ｔ[n],Ｕ[n],Ｗ[n]｝ (26)
バックエンド部のＣＭ検出器１９は、前述の図２のものと同様のものであるが、当該第２の具体例の場合、ＣＭ候補テーブル１９ａ乃至２１ａは、次のように拡張される。すなわち、この第２の具体例の場合のＣＭ候補テーブル１９ａ乃至２１ａは、前述したＱ1からＱ11までの特徴量に加え、図１６に示すように、後述する特徴量Ｑ12からＱ15が拡張される。なお、図１６は、Ｑ1からＱ11までの特徴量についての図示を省略している。
【０１８９】
また、バックエンド部のＣＭ確率データベース１０３には、予め、時間帯に応じたＣＭの放送確率、及び、番組ジャンルと経過時間に応じたＣＭの放送確率をデータとして蓄積してある。このＣＭ確率データベース１０３からは、現在時刻に応じてそれらの確率が読み出され、付加条件算出器２０に入力するようになされている。なお、これらの確率のデータは、実際の放送を元に統計をとることで作成することができる。
【０１９０】
この第２の具体例の場合の付加条件算出器２０は、前述の特徴量Ｑ1からＱ11に加え、次の特徴量Ｑ12からＱ15の演算を行うよう拡張される。
【０１９１】
ここで、特徴量Ｑ12は、ＣＭ候補区間中に、音声区間があったどうかを検出して求められるものである。音声の有無を表す特徴量Ｑ12は、式（２７）に従って検出される。
【０１９２】
【数１２】
【０１９３】
特徴量Ｑ13は、上記音声の有無と同様に、ＣＭ候補区間中に、音楽区間があったどうかを検出して求められるものである。この音楽の有無を表す特徴量Ｑ13は、式（２８）に従って検出される。
【０１９４】
【数１３】
【０１９５】
特徴量Ｑ14は、現在時刻に応じたＣＭの発生確率（時間帯確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ14に代入する。
【０１９６】
特徴量Ｑ15は、番組ジャンル及びその番組の開始からの経過時間に従うＣＭの放送確率（番組ジャンル確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ15に代入する。
【０１９７】
付加条件判定器２１以降は、変数としての特徴量Ｑ12乃至Ｑ15が拡張されるだけであり、前述の図２のＣＭ検出部４の場合と同様であるため、説明を省略する。
【０１９８】
この場合のＣＭ検出部４においては、以上の拡張により、放送信号の音源に応じたＣＭ検出を行うことができ、また、現在時間に応じたＣＭ検出を行うこと、さらに、番組ジャンルに応じたＣＭ検出を行うことが可能となる。
【０１９９】
ＣＭ検出部４の第３の具体例として、例えば、図１７に示すように、小振幅回数、小振幅区間、および信号分散を、それぞれ特徴量Ｑ16乃至Ｑ18として、付加条件算出器２０により算出させるようにすることができる。
【０２００】
小振幅回数とは、音声信号の振幅が、予め設定されている所定の閾値を下回る回数を意味する。付加条件算出器２０は、例えば、図１８のフローチャートに示すような処理を行うことで、小振幅回数を計算する。
【０２０１】
最初にステップＳ９０において、カウンタＣとフラグＦがリセットされる。カウンタＣには、小振幅回数が保持され、フラグＦは、小振幅区間であることを表す。ステップＳ９０においては、さらに、時刻ｎがＣＭ候補の開始時刻に設定される。
【０２０２】
ステップＳ９１において、音声信号の振幅信号Ａ［ｎ］が取得される。ｎは、離散化された時刻に対応する。
【０２０３】
ステップＳ９２において、いまフラグＦがセットされているか否かが判定され、セットされていない場合、ステップＳ９３に進み、ステップＳ９１で取得された信号振幅Ａ［ｎ］が、予め設定されている所定の閾値Ａ１より小さいか否かが判定される。音声信号の振幅Ａ［ｎ］の値が閾値Ａ１より等しいか、それより大きいと判定された場合、ステップＳ９７に進み、時刻ｎの値がインクリメントされる。そして、ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達したか否かが判定され、終了時刻に達していない場合には、ステップＳ９１に戻り、次の時刻のタイミングにおける振幅Ａ［ｎ］が取得される。
【０２０４】
以上のような処理がステップＳ９３において、振幅Ａ［ｎ］の値が閾値Ａ１より小さいと判定されるまで繰り返し実行される。ステップＳ９３において、振幅Ａ［ｎ］の値が閾値Ａ１より小さいと判定された場合、ステップＳ９４に進み、カウンタＣの値が１だけインクリメントされ、かつ、フラグＦがセットされる。
【０２０５】
その後、ステップＳ９７に進み、時刻ｎがインクリメントされ、ステップＳ９８において、インクリメントされた時刻ｎの値がＣＭ候補の終了時刻に達しているか否かが判定され、まだ達していない場合には、ステップＳ９１に戻り、次のタイミングの振幅Ａ［ｎ］が取得される。
【０２０６】
そして、ステップＳ９２において、フラグＦがセットされているか否かが判定され、いまの場合、フラグＦがセットされているので、ステップＳ９５に進み、ステップＳ９１で取得された振幅Ａ［ｎ］の値が、予め設定されている閾値Ａ２より大きいか否かが判定される。なお、この閾値Ａ２の値は、ステップＳ９３において比較される閾値Ａ１より大きい値（Ａ２＞Ａ１）とされている。
【０２０７】
ステップＳ９５において、振幅Ａ［ｎ］の値が閾値Ａ２より大きくないと判定された場合、ステップＳ９７に進み、時刻ｎの値がインクリメントされる。
【０２０８】
ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達しているか否かが再び判定され、達していない場合には、ステップＳ９１に戻り、次のタイミングの振幅Ａ［ｎ］が取得される。
【０２０９】
ステップＳ９２において、フラグＦがセットされているか否かが再び判定され、いまの場合、まだセットされているので、ステップＳ９５に進み、取得された振幅Ａ［ｎ］が閾値Ａ２より大きくないと判定された場合、ステップＳ９７に進み、上述した場合と同様の処理が繰り返し実行される。
【０２１０】
以上のようにして、振幅Ａ［ｎ］の値が、より小さい閾値Ａ１より小さいと判定された場合、カウンタＣの値が１だけインクリメントされた後、振幅Ａ［ｎ］の値が、閾値Ａ１より若干大きい値の閾値Ａ２より大きくなるまで待機する。
【０２１１】
ステップＳ９５において、振幅Ａ［ｎ］の値が閾値Ａ２より大きいと判定された場合、ステップＳ９６に進み、フラグＦがリセットされる。その後ステップＳ９７に進み、時刻ｎの値がインクメントされる。ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達したか否かが判定され、達していない場合には、ステップＳ９１に戻り、それ以降の処理が繰り返し実行される。
【０２１２】
ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達したと判定された場合、処理は終了される。
【０２１３】
ステップＳ９５において基準とされる閾値Ａ２の値を、ステップＳ９３の処理において設定される閾値Ａ１より大きく設定することで、判定処理に、いわいるヒステリシス特性を持たせることが可能となる。すなわち、振幅Ａ［ｎ］の値が、より小さい閾値Ａ１より小さくなったとき、小振幅区間に入ったと判定されるが、振幅Ａ［ｎ］の値が、閾値Ａ１より若干大きくなっても、閾値Ａ２より小さい場合には、まだ小振幅期間中であると判定され、閾値Ａ１より大きい閾値Ａ２よりさらに大きくなったとき、初めて、小振幅期間が終了したと判定される。これにより、小振幅期間中のわずかな振幅の変化に起因して、小振幅回数が必要以上に大きな値にカウントされることが防止される。
【０２１４】
以上のようにして、ＣＭ候補の期間における小振幅の回数がカウンタＣに設定され、このカウンタＣの値が特徴量Ｑ16として出力される。
【０２１５】
図１９は、小振幅回数の具体的な計測結果の例を表している。図１９における横軸は、小振幅回数を表し、縦軸は、相対度数を表している。図１９（Ａ）のグラフは、実験データから得られた４９０個のＣＭ候補のうち、実際にＣＭであった３５２個の度数分布を表しており、図１９（Ｂ）は、そのうちのＣＭでなかった１３８個の度数分布を表している。すなわち、図１９（Ｂ）は、本編中で偶然、音量条件や映像条件が満たされたためにＣＭ候補として検出されたものである。
【０２１６】
これらの図を比較して明らかのように、ＣＭである場合（図１９（Ａ））、小振幅回数は、０回から２回に集中するのに対して、ＣＭでない場合には（図１９（Ｂ））、小振幅回数は、７回乃至９回と多くなることがわかる。
【０２１７】
次に、図２０のフローチャートを参照して、ＣＭ検出部４の付加条件算出器２０が実行する小振幅区間長計算処理について説明する。最初に、ステップＳ１１０において、小振幅区間長を表すカウンタＤの値がリセットされ、かつ、時刻ｎの値がＣＭ候補の開始時刻にセットされる。
【０２１８】
次にステップＳ１１１において、音声信号の振幅Ａ［ｎ］が取得され、ステップＳ１１２において、ステップＳ１１１で取得された振幅Ａ［ｎ］の値が、予め設定されている所定の閾値Ａ１より小さいか否かが判定される。この閾値Ａ１は、図１８のステップＳ９３における閾値Ａ１と等しい値とされているが、異なる値とすることも可能である。
【０２１９】
ステップＳ１１２において、振幅Ａ［ｎ］の値が閾値Ａ１と等しいか、それより大きいと判定された場合、ステップＳ１１４に進み、時刻ｎの値がインクリメントされる。そして、ステップＳ１１５において、インクメントされた時刻ｎの値が、ＣＭ候補の終了時刻に達したか否かが判定され、終了時刻に達していない場合には、ステップＳ１１１に戻り、次のタイミングの振幅Ａ［ｎ］が取得される。
【０２２０】
そして、その振幅Ａ［ｎ］の値が、ステップＳ１１２において、閾値Ａ１より小さいか否かが再び判定され、振幅Ａ［ｎ］の値が閾値Ａ１より小さくない場合には、ステップＳ１１４に進み、時刻ｎの値がさらにインクメントされる。
【０２２１】
以下、同様の処理が繰り返し実行され、ステップＳ１１２において、振幅Ａ［ｎ］の値が、閾値Ａ１と等しいか、それより大きいと判定された場合、ステップＳ１１３に進み、カウンタＤの値が１度だけインクメントされる。その後、ステップＳ１１４に進み、時刻ｎの値がインクリメントされる。ステップＳ１１５において、時刻ｎの値が、ＣＭ候補の終了時刻に達したか否かが判定され、達していない場合には、ステップＳ１１１に戻り、次のタイミングの振幅Ａ［ｎ］が取得され、ステップＳ１１２において、その振幅Ａ［ｎ］の値が、閾値Ａ１より小さいか否かが再び判定される。振幅Ａ［ｎ］の値が閾値Ａ１より小さい場合には、ステップＳ１１３において、カウンタＤの値が再び１だけインクリメントされる。
【０２２２】
以上のような処理が繰り返し実行されることで、カウンタＤの値は、振幅Ａ「ｎ」の値が閾値Ａ１より小さい期間に対応する値となる。
【０２２３】
ステップＳ１１５において、時刻ｎの値がＣＭ候補の終了時刻に達したと判定された場合、ステップＳ１１６に進み、カウンタＤの値が規格化される。すなわち、カウンタＤの値は、サンプリング周波数ｆSで割算されることで、規格化され、その値が特徴量Ｑ17として出力される。
【０２２４】
図２１は、図１９における場合と同様に、４９０個のＣＭ候補のうちの３５２個の実際のＣＭと、１３８個のＣＭでなかった場合の小振幅区間長の総和を表している。図２１において、横軸は、小振幅区間長の総和（単位は秒）を表し、縦軸は、相対度数を表している。図２１（Ａ）と図２１（Ｂ）を比較して明らかなように、ＣＭの小振幅区間長の総和は、２０ms程度以下に集中している（図２１（Ａ））のに対して、ＣＭでない場合には、１．０ｓ以上の長さに集中している（図２１（Ｂ））。
【０２２５】
さらに、付加条件算出器２０は、音声信号の振幅の分散を式（２９）に基づいて演算する。この式（２９）において、ｓは、ＣＭ候補の離散開始時刻を表し、ｅは、ＣＭ候補の離散終了時刻を表し、vは、信号の分散を表す。付加条件算出器２０は、この値vをそのまま特徴量Ｑ18として出力するか、あるいはその平方根を取って、標準偏差を特徴量Ｑ18として出力する。あるいはまた、付加条件算出器２０は、標準偏差を平均値で割算し、相対標準偏差を特徴量Ｑ18として出力することができる。
【０２２６】
【数１４】
【０２２７】
図２２は、振幅の分散の例を表している。図２２（Ａ）は、４９０個のＣＭ候補のうちの、３５２個の実際にＣＭであった場合の振幅の分散を表しており、図２２（Ｂ）は、１３８個のＣＭでなかった場合の分散を表している。なお、図２２において、横軸は、相対標準偏差を表しており、縦軸は、相対度数を表している。
【０２２８】
これらの図を比較して明らかなように、ＣＭの場合（図２２（Ａ））、振幅の相対標準偏差がほぼ０．６以下に集中しているのに対して、ＣＭでない場合には（図２２（Ｂ））、０．７以上となることが多いことがわかる。
【０２２９】
従って、小振幅回数、小振幅区間長、および振幅分散を特徴量として利用することで、より正確にＣＭを検出することが可能となる。
【０２３０】
次に、本発明の第２の実施の形態としての映像音声記録装置について以下に説明する。
【０２３１】
図２３には、第２の実施の形態の映像音声記録装置の概略構成を示す。
【０２３２】
なお、この図２３において、図１の各構成要素と同じ動作を行う部分については、同一の指示符号を付して、それらの説明は省略する。また、第２の実施の形態の映像音声記録装置の場合のＣＭ検出部４は、前記第１の具体例、第２の具体例、および第３の具体例の何れも適用できる。
【０２３３】
以下、図２３の構成において、新たに追加された各構成要素（１１０，１１１）と、ＣＭ検出部４において新たに拡張された機能についてのみ説明する。
【０２３４】
先ず、この第２の実施の形態の映像音声記録装置におけるＣＭ検出部４は、前述のように、式（１０）に示される各ＣＭ候補の特徴量Ｇ[n]を、内部で算出している。また、当該第２の実施の形態の場合、ＣＭ検出部４は、最終的にＣＭとして検出されたものに関して、その開始時刻及び時間長と共に、ＣＭ開始フレームｎ＝ｎsから終了フレームｎ＝ｎeに渡って、Ｇ[n]をＣＭデータベース１１０に出力するように機能が拡張されている。
【０２３５】
ＣＭデータベース１１０は、上記検出されたＣＭに関して、その開始時刻、時間長、特徴量Ｇ[n]を保存する。
【０２３６】
ＣＭ特徴量比較器１１１は、ユーザが入力する検索指令に基づき、データベース１１０に保存されている全て又は一部のＣＭから、ユーザが指定したＣＭと同じＣＭを抽出し、ＣＭ検索出力１１１ａとして出力する。
【０２３７】
このＣＭ特徴量比較器１１１の動作を、図２４を用いて説明する。
【０２３８】
先ず例えば、ユーザは、映像音声記録部５による映像信号及び音声信号を視聴することにより、検索したいＣＭを選択したとする。このとき、ＣＭ特徴量比較器１１１には、ステップＳ１２０として、上記ユーザによる選択に応じた検索指令が入力されることになる。
【０２３９】
このとき、ＣＭ特徴量比較器１１１は、ステップＳ１２１の処理として、上記入力された検索指令に基づいて、ＣＭデータベース１１０から、その検索指令に該当するＣＭの特徴量Ｇ[n]を取得する。
【０２４０】
続いて、ＣＭ特徴量比較器１１１は、ステップＳ１２２としてＣＭデータベース１１０より、検索される候補ＣＭを一つ選択し、さらにステップＳ１２３として、その候補ＣＭに対応する特徴量Ｇ'[n]を取得する。
【０２４１】
次に、ＣＭ特徴量比較器１１１は、ステップＳ１２４として、上記選択されたＣＭについて、式（３０）の計算を行い、それを予め定める所定の閾値Ｊthsdと比較する。
【０２４２】
【数１５】
【０２４３】
ここで、このステップＳ１２４において、Ｊ（Ｇ，Ｇ'）＜Ｊthsdと判定したならば（Ｙｅｓ）、ＣＭ特徴量比較器１１１は、ステップＳ１２５に進み、特徴量が一致したとして検索結果を出力し、ステップＳ１２２に戻って再び他の候補ＣＭについて同様の処理を行う。一方、ステップＳ１２４において、Ｊ(Ｇ、Ｇ')＜Ｊthsdでないと判定した場合（Ｎｏ）、ＣＭ特徴量比較器１１１は、特徴量が一致しなかったとして、ステップＳ１２２に戻り、再び他の候補ＣＭについて同様の処理を行う。
【０２４４】
以上により、ＣＭ特徴量比較器１１１では、ユーザにより指定されたＣＭと同じＣＭを、映像音声記録部５に記録されているデータの中から検索することができる。
【０２４５】
次に、図２５には、上述した図２や図１５に示したＣＭ検出部４を実装する場合のハードウェア構成の一例を示す。
【０２４６】
この図２５において、Ａ／Ｄ変換器４０は、前記図２や図１５のＡ／Ｄ変換器１０及び１３の機能を備え、メモリ４１は、前記フレームメモリ１１及び音声信号バッファ１４の機能を備えている。
【０２４７】
Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２は、前記カットチェンジ検出器１１２、振幅検出器１５、相関検出器１６、スペクトル検出器１７、音源識別器１０１等の機能を備え、メモリ４３は、前記特徴量バッファ１８の機能を備えている。
【０２４８】
プロセッサ４４は、前記ＣＭ候補検出器１９、付加情報算出器２０、付加条件判定器２１、ルール判定器２２、ＣＭ確率データベース１０３等の機能を備えている。
【０２４９】
前記動作制御部２３の機能については、Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２か、或いは、プロセッサ４４が備えることができる。
【０２５０】
以上説明したようの本発明の各実施の形態によれば、ＴＶ放送信号からＣＭ部分を正確に検出可能とすることにより、例えばＣＭを不要としている視聴者や、ＣＭを必要としている視聴者の双方に対して利便を図ることが可能となる。すなわち例えばＣＭ部分を不要とする場合、テレビ放送信号からＣＭ部分をスキップして視聴可能とする装置を実現でき、これは例えば番組本編のみを連続視聴する要求に対して有用な装置となる。また例えば、ＣＭ部分のみを必要とする場合、ＴＶ放送信号からＣＭ部分のみを視聴できる装置を実現でき、これは例えばＣＭのみを連続視聴する要求に対して有用な装置となる。
【０２５１】
さらに、ＴＶ放送信号からＣＭ部分を正確に検出可能とすることにより、例えば特定のＣＭの放送状況を調査する場合などにも有用となる。
【０２５２】
【発明の効果】
本発明の信号処理装置及び方法によれば、例えば、ＴＶ放送信号に含まれるコマーシャルメッセージ部分を高精度に検出又は検索可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の映像音声記録装置の概略構成図である。
【図２】第１の具体例のＣＭ検出部の詳細な構成図である。
【図３】ＣＭ検出部のフロントエンド部における映像信号処理の流れを示すフローチャートである。
【図４】ＣＭ検出部のフロントエンド部における音声信号処理の流れを示すフローチャートである。
【図５】ＣＭ検出部のＣＭ候補検出器における動作の流れを示すフローチャートである。
【図６】必須条件の算出例の説明に用いる図である。
【図７】第１の具体例のＣＭ検出部におけるＣＭ候補テーブルを示す図である。
【図８】ＣＭ検出部の付加条件算出器における特徴量の算出例の説明に用いる図である。
【図９】付加条件算出器の構成図である。
【図１０】スコア算出演算の際の単位ステップ関数、矩形関数、シグモイド型関数の説明に用いる図である。
【図１１】ルール判定器の動作の流れを示すフローチャートである。
【図１２】最小長さ優先ルールの説明に用いる図である。
【図１３】隣接優先ルールの説明に用いる図である。
【図１４】スコア優先ルールの説明に用いる図である。
【図１５】第２の具体例のＣＭ検出部の詳細な構成図である。
【図１６】第２の具体例のＣＭ検出部におけるＣＭ候補テーブル（拡張部分のみ）を示す図である。
【図１７】第３の具体例のＣＭ検出部におけるＣＭ候補テーブル（拡張部分のみ）を示す図である。
【図１８】ＣＭ検出部の付加条件算出器における小振幅回数計算処理を説明するフローチャートである。
【図１９】小振幅回数の計算の具体例を示す図である。
【図２０】ＣＭ検出部の付加条件算出器における小振幅区間長計算処理を説明するフローチャートである。
【図２１】小振幅区間長の具体例を示す図である。
【図２２】振幅分散の具体例を示す図である。
【図２３】本発明の第２の実施の形態の映像音声記録装置の概略構成図である。
【図２４】ＣＭ特徴量比較器の動作の流れを示すフローチャートである。
【図２５】ＣＭ検出部を実装する場合の一例としてのハードウェア構成図である。
【符号の説明】
１ チューナ、 ２ 復調器、 ３ 時計部、 ４ ＣＭ検出器、 ５ 映像音声記録部、 １０，１３ Ａ／Ｄ変換器、 １１ フレームメモリ、 １４ 音声信号バッファ、 １２ カットチェンジ検出器、 １５ 振幅検出器、 １６ 相関検出器、 １７ スペクトル検出器、 １８ 特徴量バッファ、 １９ＣＭ候補検出器、 ２０ 付加条件算出器、 ２１ 付加条件判定器、 ２２ルール判定器、 ２３ 動作制御部、 １０１ 音源識別器、 １０２ 番組ジャンルデータまたは番組ジャンル識別器、 １０３ ＣＭ確率データベース、１１０ ＣＭデータベース、 １１１ ＣＭ特徴量比較器
【発明の属する技術分野】
本発明は、信号処理装置及び方法に関し、特に、テレビジョン放送に付加されるコマーシャルメッセージを自動的に検出或いは検索可能とする信号処理装置及び方法に関するものである。
【０００２】
【従来の技術】
一般に、放送番組についてスポンサーが付いているテレビジョン（以下、適宜ＴＶとする）放送では、本編（番組そのもの）の合間に、その番組を提供しているスポンサーのコマーシャルメッセージ（以下、単にＣＭとする。）が挿入される。
【０００３】
しかしながら、視聴者の興味は、主として本編にあるため、ＣＭを省略して視聴したいという要望は多い。
【０００４】
その一方で、関心のある製品のＣＭや、ストーリー性のあるＣＭ、有名俳優が登場するＣＭなど、ＣＭ自体を視聴対象とする場合も少なくない。
【０００５】
このようなことから、特に、磁気テープや磁気ディスク等の媒体にＴＶ放送番組等を録画する場合において、放送番組から本編とＣＭとを分離／区別して、必要なときに必要な部分を視聴することが可能となれば、上述したような多様な要望に対する有効な解決手段を与えることになると考えられる。
【０００６】
ところで、ＴＶ放送からＣＭのみを省略して試聴可能とする技術としては、従来より、いわゆるＣＭスキップ機能（広義のＣＭスキップ機能）が存在し、例えば家庭用ビデオ録画再生装置には当該ＣＭスキップ機能が搭載されているものが多い。
【０００７】
このＣＭスキップ機能（広義のＣＭスキップ機能）は、その仕組みに応じて４つに大別され、それぞれ一般には、ＣＭ早送り機能、ＣＭカット機能、放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）と呼ばれている。なお、これら４つに大別されたＣＭスキップ機能のうち、上記ＣＭ早送り機能とは、日本国内においては通例としてＣＭが１５秒の倍数で製作されていることを利用し、家庭用ビデオ録画再生装置でのビデオ再生中に、例えばリモコンボタン操作によって（３０秒）＊（ボタンを押した回数）の時間だけ早送りを行うことにより、ＣＭ部分を飛ばす機能である。このＣＭ早送り機能に関する技術については、例えば特開平１０−２６９６５１号公報などに公開されている。また、特開平９−３０７８４１号公報には、上記ＣＭ早送り機能における早送り終了時刻を時間で決定せず、映像信号のブラックフレームと音声信号の無音部が同時に所定長さ以上にわたり生じる部分を、早送り終了時刻とする技術が公開されている。
【０００８】
ＣＭカット機能とは、日本国内においてはＣＭがステレオ放送されることが多く、また、ＴＶ放送信号には音声がモノラルモード／ステレオモード／音声多重モードの何れであるかを示すパイロット信号が多重されていることを利用し、例えば音声がモノラルモード又は音声多重モードとなされている本編を録画するような場合に、ステレオモード区間（すなわちＣＭ区間）のみ録画を停止することで、ＣＭ部分をカットすることを可能にする機能である。このＣＭカット機能に関する技術については、例えば特開平３−１５８０８６号、特開平３−２６２２８７２号などの公報に公開されている。
【０００９】
放送モードに基づくＣＭスキップ機能（狭義のＣＭスキップ機能）とは、ＣＭカット機能と同様に放送モードの違いを利用する仕組みであるが、上記ＣＭカット機能が録画時にＣＭをカットしているのに対し、当該放送モードに基づくＣＭスキップ機能では、録画時には全ての映像及び音声を記録すると同時にその放送モードも記録しておき、再生時にステレオ放送区間（すなわちＣＭ区間）のみ自動的に早送りする機能である。この放送モードに基づくＣＭスキップ機能に関する技術については、例えば特開平５−２５０７６２号公報などに公開されている。
【００１０】
放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）とは、放送信号中に含まれる音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔、映像信号の黒レベル／白レベルの出現間隔などを利用して、これらが１５秒の倍数間隔に合致する部分をＣＭとして早送りする機能である。当該放送モードによらないＣＭスキップ機能に関する技術については、特開平８−３１７３４２号公報や、文献「ＴＶ放送のＣＭ検出方式についての一検討」（映像情報メディア学会技術報告、VIR97-22、19/23（1997））などに公開されている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記ＣＭ早送り機能自体は、家庭用ビデオ録画再生装置にて録画したＴＶ放送を再生して視聴する視聴者に対して、ＣＭかどうかの判断を任せるものであり、ＴＶ放送から自動的にＣＭ部分を検出するようなＣＭ検出機能は備えていない。
【００１２】
また、上記放送モードに基づくＣＭカット機能やＣＭスキップ機能（狭義のＣＭスキップ機能）では、放送モードの違い、すなわち例えばステレオモードによるＣＭ検出を行うようになされているが、例えば本編自体がステレオモードとなされている場合や、ＣＭがモノラルモードや音声多重モードとなっている場合には、全く効果がない（すなわちＣＭカットやＣＭスキップができない）。
【００１３】
一方、放送モードによらないＣＭスキップ機能（狭義のＣＭスキップ機能）では、視聴者や放送モードに依存することなく、放送内容に基づいたＣＭ検出が可能となっている。ただし、当該機能の場合は、音声信号の無音区間間隔や、映像信号の映像変換点（映像が急激に変化する点）の出現間隔などが、予め想定されている設定値と一致することなど、非常に狭い条件に基づいた決定論的な判定手続きによりＣＭ区間を検出するようになされている。これに対し、実際の放送番組では、放送時間の調整の目的や人為的なスイッチングなどの要因によって無音区間間隔が例えば短縮されていたりする場合が少なからずあり、逆に、番組本編の中にも上記の条件を満たす区間が多く存在している。このため、無音区間間隔が予め想定されている長さより短いようなＣＭの場合は全く検出ができくなる問題が発生し、逆に、上記設定値の条件を満たす本編の場合は当該本編をＣＭ区間として誤って検出してしまう等の問題点が生じてしまう。
【００１４】
さらに、上記４つの機能では、例えば複数のＣＭが連続されて放送されている場合には、ＣＭ全体の区間を検出することはできても、個々のＣＭの検出はできない。このため、ＣＭを個別に抽出して視聴したいような場合（要望）には適さない。
【００１５】
以上のようなことから、ＴＶ放送信号からＣＭ部分を高精度に検出又は検索できることが望まれている。
【００１６】
そこで、本発明は、以上のような状況を鑑みてなされたものであり、例えばＴＶ放送信号に含まれるコマーシャルメッセージ部分を高精度に検出又は検索可能とする、信号処理装置及び方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本発明の信号処理装置は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて第１の信号の候補区間を検出する候補区間検出手段と、その候補区間内又はその前後の入力信号から第１の信号らしさを表わす特徴量を抽出する特徴量抽出手段と、その特徴量に基づき第１の信号の区間を検出する検出手段と、検出手段により検出された第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定手段とを有し、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、上記判定手段で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である。
【００１８】
ここで、検出手段は、特徴量に基づいて候補区間が第１の信号である可能性を評価する特徴量評価手段を有する。或いは、検出手段は、特徴量に基づいて、候補区間の信号と、別途指定した第１の信号との一致を判定する一致判定手段を有する。
【００１９】
次に、本発明の信号処理方法は、少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出し、その候補区間内又はその前後の入力信号から第１の信号らしさを表わす特徴量を抽出し、その特徴量に基づき第１の信号の区間を検出し、検出した第１の信号の区間について、ルール判定を行い第１の信号の区間を決定するステップを含み、上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である。
【００２２】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２３】
先ず、本発明実施の形態の具体的構成について述べる前に、本発明に基づき、例えばＴＶ放送信号からＣＭ部分を検出する際の原理について概説する。
【００２４】
一般に、ＴＶ放送されるＣＭは、放送者の指定する規格に基づいて製作されるため、その「時間長（１つのＣＭの時間）はごく少数の種類に限定」される。例えば日本国内においては、特殊な例を除くほぼ全てのＣＭが、１５秒、３０秒、６０秒の長さで製作されている。
【００２５】
また、ＣＭの放送時には、番組本編や他のＣＭとは独立に製作されたものがＴＶ放送ストリーム中に挿入されるため、各ＣＭの前後では必然的に「音声レベルが下がる（すなわち小音量となる）」こと、及び、「映像信号が切り替わる」こと、という特徴を持つ。ここで、「音声レベルが下がる」とは、必ずしも無音（ここでは極微小なノイズしかない部分という意味）と同義ではない。すなわち、実際には、ＣＭと本編との切り替えのタイミングなどにより、必ずしも完全に無音とはならないまま切り替わることがあるからである。
【００２６】
上述したように、ＣＭについての「規定時間長（少数種類の時間長）」、「小音量」、「映像切り替わり」という３つの特徴は、ほぼ全てのＣＭが示すパターンである。本発明では、このようにほぼ全てのＣＭが示す信号のパターンを「特徴的パターン」と称し、それを検出するための条件を「必須条件」と称することにする。
【００２７】
したがって、ＴＶ放送信号から当該必須条件に対応する信号部分を検出するようにすれば、誤棄却がほとんどなく決定論的にＣＭの候補（すなわちＣＭであろうと思われる信号部分）を検出することが可能となる。但し、番組本編内にも、偶然そのような必須条件を満たしてしまう部分が多く存在するため、上記必須条件を用いただけでは、番組本編の一部をＣＭ候補として誤検出してしまう虞が残る。
【００２８】
一方で、上記必須条件と比べて例外は多く存在するものの、ＣＭの性質上、多くのＣＭが満たすか若しくは一定の傾向を示す特徴としては、以下のようなものがある。
【００２９】
１）ＣＭの前後（ＣＭが開始される直前とＣＭが終了して本編番組が開始又は再開される直前）では、通常の番組本編内よりも音声レベルが低くなることが多い。
【００３０】
２）ＣＭと番組本編との間、及び、あるＣＭと他のＣＭとの間の、ほぼ無音となる区間長は、数百ミリ秒程度であることが多い。
【００３１】
３）ＴＶ放送内に含まれる有音区間は、ＣＭの規定時間長（１５秒、３０秒、６０秒等）より百ミリ秒程度以上短いことが多く、また１秒程度以上短いことは少ない。
【００３２】
４）ステレオ音声信号の左チャンネル（Ｌチャンネル）と右チャンネル（Ｒチャンネル）の相関値は、１より有意に小さいことが多い。
【００３３】
５）ＣＭ期間中は、番組本編より音量が大きめである傾向がある。
【００３４】
６）ＣＭの放送モードは、ステレオモードであることが多い。
【００３５】
７）ＣＭ区間では、複数のＣＭが連続して放送されることが多い。
【００３６】
８）ＣＭ期間中は、映像カットの切り替わり頻度が高いことが多い。
【００３７】
９）逆に、ＣＭ期間中であっても、カットの切り替わり頻度が極端に低いものがある（例えば静止画によるＣＭなど）。
【００３８】
１０）番組本編とＣＭとの境界や、あるＣＭと他のＣＭの境界では、音質が大きく変化することが多い。
【００３９】
１１）ＣＭは、音声と音楽を同時に含むことが多い。
【００４０】
１２）番組編成上、毎時丁度の時刻近辺では、ＣＭが放送される確率が高い。
【００４１】
１３）同様に、毎時３０分付近でもＣＭが放送される確率が高い。
【００４２】
１４）番組のジャンルによってＣＭが放送される確率の高い時間帯がある（例えばサッカー中継のハーフタイムなど）。
【００４３】
本発明では、以下、これらの特徴に基づく条件を「付加条件」と称することにする。すなわち、当該付加条件は、ＣＭが、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び、番組構成上の都合などによる制約の元で製作された結果として、ＴＶ放送信号上に現れてくることによる条件である。したがって、この付加条件は、決定論的な取り扱いができるほど確実な条件ではないものの、ＣＭである可能性（ＣＭらしさ）を評価する際の有効な条件となる。
【００４４】
さらに、ＴＶ放送においては、同時に同じチャンネルで複数の映像及び音声が放送されることは物理的にありえないという特徴がある。すなわち、ＴＶ放送信号からＣＭであろうと思われる信号部分（ＣＭ候補）を検出しようとする場合において、例えば、ＴＶ放送信号中に、上記付加条件を満たす複数の映像及び音声区間がオーバーラップして存在し、何らかの処理の結果、当該オーバーラップ区間でＣＭ候補が検出されたとしても、そのオーバーラップしている複数の映像及び音声内の少なくともどちらかの区間は、正しいＣＭ区間ではあり得ない。本発明では、ＴＶ放送におけるこのような特徴に基づく条件を、「論理条件」と称することにする。
【００４５】
本発明では、以上説明した「必須条件」、「論理条件」、「付加条件」を合理的かつ効果的に利用することにより、ＴＶ放送信号から高精度でＣＭ部分を検出可能としている。
【００４６】
より具体的に言うと、本発明では、「必須条件」に基づき、決定論的にＴＶ放送信号中からＣＭ候補（ＣＭであろうと思われる信号部分）を抽出し、「付加条件」に基づくＣＭらしさ（ＣＭである可能性）の統計論的な評価によってＣＭ候補を選択し、「論理条件」によりＣＭ候補のオーバーラップ関係を解消することにより、精度の高いＣＭ検出を実現するものである。
【００４７】
図１には、上述のようにＴＶ放送信号からＣＭを検出可能とした、本発明の第１の実施の形態としての映像音声記録装置の概略構成を示す。
【００４８】
図１において、アンテナ６により受信されたＴＶ放送信号は、チューナ１により同調され、放送信号１ａとして復調器２に入力する。
【００４９】
復調器２は、入力された放送信号１ａに含まれるパイロット信号の変調周波数から、その入力時点での放送モード（モノラルモード／ステレオモード／音声多重モード）を判別し、また、放送信号１ａに含まれる映像及び音声の変調信号を復調する。このとき、音声変調信号は、上記判別した放送モードに応じて復調される。当該復調器２により復調された映像信号２ａ、音声信号２ｂ、及び放送モード信号２ｃは、ＣＭ検出部４に入力される。また、映像信号２ａ、音声信号２ｂは、映像音声記録部５にも入力される。
【００５０】
映像音声記録部５は、磁気テープ、磁気ディスク、光ディスク若しくは光磁気ディスク等を記録媒体として用い、上記映像信号２ａ及び音声信号２ｂを記録再生可能な装置である。なお、映像音声記録部５は、映像信号及び音声信号に対して符号化や圧縮などを施して記録し、再生時にはその符号化や圧縮された映像信号及び音声信号を復号化、伸張する装置であってもよい。
【００５１】
時計部３は、時刻を表す時間信号３ａを発生し、当該時間信号３ａをＣＭ検出部４に供給する。
【００５２】
ＣＭ検出部４は、本発明の主要部であり、詳細については後述するが、上記復調器２からの映像信号２ａ、音声信号２ｂ、放送モード信号２ｃと、時計部３からの時間情報３ａとを入力とし、放送信号１ａの映像及び音声信号に含まれるＣＭ区間を検出し、その開始時刻と長さをＣＭ検出出力４ａとして出力する。当該ＣＭ検出部４によるＣＭ検出出力４ａは、映像音声記録部５に送られ、上記映像信号２ａ及び音声信号２ｂと共に記録される。
【００５３】
また、このＣＭ検出部４には、チューナ１から、上記同調された放送チャンネルを示すチャンネル情報１ｂも供給される。当該チャンネル情報１ｂは、ＣＭが含まれない放送チャンネルが指定されたか否かを、ＣＭ検出部４において判断する為に用いられる。すなわち、ＣＭ検出部４は、上記チャンネル情報１ｂにより、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされていると判断した場合、上記ＣＭ検出動作を行わないようにする。なお、ここでは、ＣＭ検出部４自身がチャンネル情報１ｂに基づいてＣＭ検出動作を行うか否か判断することとしているが、チューナ１がチャンネル情報１ｂによりＣＭ検出部４でのＣＭ検出動作を制御するようにしても良い。
【００５４】
以上、チューナ１、復調器２、時計部３、映像音声記録部５に示した各構成要素は、現在広く知られているビデオ装置などの磁気記録再生装置のものと同様であるため、以下では、ＣＭ検出部４に限って詳細に説明する。
【００５５】
図２には、上記ＣＭ検出部４の第１の具体例の詳細な構成を示す。なお、この図２中の各信号のうち、図１と共通の信号については、図１と同じ指示符号を付している。また、当該ＣＭ検出部４は、大別して、フロントエンド部とバックエンド部とから構成されている。また、図中の動作制御部２３は、チューナ１から供給された上記チャンネル情報１ｂに基づいて、上記チューナ１において明らかにＣＭが放送されない放送チャンネルの指定がなされているか否か判断し、その判断結果に応じて、当該図２の各部におけるＣＭ検出動作を行わないように制御するものである。
【００５６】
先ず、図２のフロントエンド部から説明する。
【００５７】
この図２において、図１の復調器２より供給された映像信号２ａは、Ａ／Ｄ変換器１０にてディジタル化され、フレームメモリ１１に蓄えられる。なお、フレームメモリ１１は、少なくとも２フレーム分の映像信号を蓄積可能なメモリである。当該フレームメモリ１１からフレーム毎に読み出された映像信号は、カットチェンジ検出器１２に送られる。
【００５８】
カットチェンジ検出器１２は、フレームメモリ１１より供給されたフレーム毎の映像信号に基づいて、映像が急激に変化するフレーム（以下、映像変化フレームと呼ぶ）と、輝度が一様となるフレーム（以下、一様輝度フレームと呼ぶ）を検出する。
【００５９】
すなわち、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた時間的に隣接する２つのフレーム映像間で、各画素毎に輝度の差分の自乗和を求め、当該自乗和が所定の閾値を越えた場合に、上記隣接する２つのフレームのうちの時間的に後のフレームを、上記映像が急激に変化する映像変化フレームとして検出する。また、カットチェンジ検出器１２は、フレームメモリ１１に蓄えられた各フレーム映像の輝度の分散を求め、その輝度の分散値が所定の閾値以下である場合に、そのフレームを一様輝度フレームであるとして検出する。なお、フレームの間隔（ＮＴＳＣ方式では約３０ｍｓ）が、後述する音声信号処理において説明するフレーム周期と一致しない場合には、当該フレーム間隔を再離散化することによって、フレーム周期と一致させておくようにする。
【００６０】
以下、当該カットチェンジ検出器１２における映像変化フレームと一様輝度フレームの検出について、より具体的に説明する。
【００６１】
ここで、離散化された映像信号の横サイズをＸ、縦サイズをＹ、縦横の画素番号をｘ，ｙとし、第ｎフレームの映像をＩn（ｘ，ｙ）、当該第ｎフレームに対して時間的に１フレーム前の第ｎ−１フレームの映像をＩn-1（ｘ，ｙ）として表わすと、第ｎフレームと第ｎ−１フレームの間の各画素毎の輝度差分の自乗和Ｄ[n]は、式（１）により得られ、また、第ｎフレームの輝度分散値Ｖ[n]は、式（２）により得られる。
【００６２】
【数１】
また、このときのカットチェンジ検出器１２の検出出力Ｃ[n]は、式（３）により表わされる。
【００６４】
【数２】
ただし、式中のＤthsdは上記映像変化フレームを検出する際の前記自乗和に対する所定の閾値であり、Ｖthsdは上記一様輝度フレームを検出する際の前記輝度の分散値に対する所定の閾値である。
【００６６】
当該カットチェンジ検出器１２の検出出力Ｃ[n]は、映像信号についての特徴量として特徴量バッファ１８へ送られる。
【００６７】
なお、上記の２つのフレーム映像間で輝度差分を求める際には、２フレーム分の映像信号を蓄積可能なメモリが必要となり、また、２フレーム分の映像信号に対する演算量も必要となる。そこで、例えばフレーム映像全面を同時に処理する代わりに、フレーム映像を適切な小ブロック毎に分け、その小ブロック毎に輝度差分を求めるようにしたり、或いは、フレーム映像間の各画素毎に輝度差分を求めるのではなく、各フレーム映像毎に輝度ヒストグラムを求めて、その輝度ヒストグラムのフレーム間差分を求めるようにしたり、又は、各フレーム映像毎に平均輝度を求めて、その平均輝度のフレーム間差分を求めるようにするで、メモリ容量や演算量を減らすことも可能である。逆に、メモリや演算量に余裕がある場合には、例えば、カラー映像におけるＲ（赤），Ｇ（緑），Ｂ（青）成分のようなカラー成分毎に、上記輝度差分やカラーヒストグラム差分を求めることで、より検出精度を高めることも可能である。
【００６８】
次に、図１の復調器２より供給された音声信号２ｂは、Ａ／Ｄ変換器１３にてディジタル化され、音声信号バッファ１４に蓄えられる。なお、音声信号バッファ１４は、少なくとも所定時間Ｔ1（例えば３０ｍｓ、以下、これを１フレーム長とする）分の左（Ｌ）右（Ｒ）２チャンネルのステレオ音声信号を蓄積可能なメモリである。当該音声信号バッファ１４から読み出された音声信号は、振幅検出器１５、相関検出器１６、スペクトル検出器１７に送られる。
【００６９】
振幅検出器１５は、音声信号バッファ１４に蓄えられた音声信号を用いて、所定の時間Ｔ2（例えば１５ｍｓ、以下、これを１フレーム周期とする）毎の短時間平均自乗振幅を検出する。すなわち、振幅検出器１５は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、所定の時間Ｔ2（１５ｍｓ、１フレーム周期）毎に、短時間平均自乗振幅を検出する。なお、上記ｍ（ｍ＝０，・・・，Ｍ−１）は、離散化された時間を表わすバッファ内のサンプル番号であり、最大番号Ｍが１フレーム長Ｔ1に対応する。
【００７０】
より具体的に説明すると、振幅検出器１５は、第ｎフレームにおける左右２チャンネルの音声信号の平均自乗振幅Ａ[n]を式（４）により計算する。すなわち、平均自乗振幅は１５ms（１／２フレーム）毎に計算され、その１５ms毎の平均自乗振幅の３０ms（１フレーム）の期間における平均値がさらに演算され、最終的な、１フレームの平均自乗振幅とされる。
【００７１】
【数３】
当該振幅検出器１５の検出出力である平均自乗振幅Ａ[n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【００７３】
相関検出器１６は、音声信号バッファ１４に蓄えられた音声信号を用いて、１フレーム毎の音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。すなわち、相関検出器１６は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、１フレーム毎の左右２チャンネルの音声信号について規格化前の相関係数を検出すると共に、後段にて行われる規格化のための短時間エネルギーも同時に検出する。
【００７４】
より具体的に説明すると、相関検出器１６は、第ｎフレームにおける左右２チャンネルの音声信号の相関係数ＡLR[n]を式（５）により計算し、左チャンネルの音声信号エネルギーＡLL[n]を式（６）により計算し、右チャンネルの音声信号エネルギーＡRR[n]を式（７）により計算する。
【００７５】
【数４】
当該相関検出器１６の検出出力である相関係数ＡLR[n]と音声信号エネルギーＡLL[n]、ＡRR[n]は、それぞれが音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【００７７】
スペクトル検出器１７は、音声信号バッファ１４に蓄えられた音声信号を用いて、短時間スペクトルを計算する。すなわち、スペクトル検出器１７は、音声信号バッファ１４に左右２チャンネルのステレオ音声信号が蓄積されている場合、当該音声信号バッファ１４より読み出された左右２チャンネルのステレオ音声信号ＳL[m]，ＳR[m]から、短時間スペクトルを計算する。
【００７８】
より具体的に説明すると、スペクトル検出器１７は、第ｎフレームにおける左右２チャンネルの音声信号の離散スペクトルＦ[k;n]を求める。なお、ｋ＝０，・・・，Ｋ−１を離散化された周波数を表わす番号とすると、離散スペクトルＦ[k;n]は式（８）により表わされる。
【００７９】
【数５】
この式（８）の演算は、例えば、高速フーリエ変換（ＦＦＴ）又は線形予測分析（ＬＰＣ）などを用いて実現される。
【００８１】
当該スペクトル検出器１７の計算出力である短時間離散スペクトルＦ[k;n]は、音声信号についての特徴量の一つとして特徴量バッファ１８へ送られる。
【００８２】
次に、図１の復調器２より供給された放送モード信号２ｃは、上述した音声信号処理のフレームに合わせて離散化された数値となされる。
【００８３】
より具体的に説明すると、第ｎフレームにおける放送モード信号２ｃは、例えば式（９）のような数値Ｂ[n]となされる。
【００８４】
【数６】
この放送モード信号２ｃを離散化した数値Ｂ[n]は、ＴＶ放送信号の特徴量の一つとして特徴量バッファ１８へ送られる。
【００８６】
同様に、図１の時計部３より供給された時間信号３ａも、音声信号処理のフレームに合わせて離散化された数値Ｔ[n]となされ、特徴量の一つとして特徴量バッファ１８へ送られる。
【００８７】
特徴量バッファ１８は、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均自乗振幅Ａ[n]と、相関検出器１６からの相関係数ＡLR[n]、音声信号エネルギーＡLL[n]，ＡRR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる、式（１０）に示される特徴量Ｇ[n]を、所定の時間Ｔ3に渡って蓄積する。なお、時間Ｔ3はＣＭ部分を最低でも１つ以上に渡って記憶できる時間であり、例えば８０秒などとする。
Ｇ[n]=｛Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],Ｂ[n],Ｔ[n]｝ (10)
【００８８】
以上のＡ／Ｄ変換器１０から特徴量バッファ１８までが、図２に示したＣＭ検出部４のフロントエンド部の構成であり、以下、図３、図４のフローチャートを用いて当該フロントエンド部における処理の流れを説明する。なお、図３のステップＳ３０乃至Ｓ３２までは映像信号２ａについての処理の流れを表しており、図４のステップＳ３３乃至Ｓ４０までは音声信号２ｂ及び放送モード信号２ｃ、時間信号３ａについての処理の流れを表している。
【００８９】
先ず、映像信号２ａについての処理の流れを表す図３において、フロントエンド部は、ステップＳ３０の処理として、Ａ／Ｄ変換器１０によりディジタル化された、少なくとも１フレーム分の映像信号２ａをフレームメモリ１１に蓄える。このフレームメモリ１１は、１フレーム分の映像信号２ａを１サンプルとして扱うようになされており、１フレーム分の映像信号２ａが入力されると、当該フレームメモリ１１内に既に蓄積されている映像信号２ａが１フレーム分シフトし、最も時間的に過去に入力された１フレームの映像信号２ａが押し出されて出力されるようになっている。
【００９０】
次に、フロントエンド部は、ステップＳ３１の処理として、フレームメモリ１１から映像信号２ａを読み出してカットチェンジ検出器１２に送り、前述のようにして検出出力Ｃ[n]を求める。
【００９１】
その後、フロントエンド部は、ステップＳ３２の処理として、当該検出出力Ｃ[n]を特徴量バッファ１８に蓄える。
【００９２】
一方、音声信号２ｂについての処理の流れを表す図４において、フロントエンド部は、ステップＳ３３及びステップＳ３４の処理として、Ａ／Ｄ変換器１３によりディジタル化された、音声信号２ｂを音声信号バッファ１４に入力すると共に、当該音声信号バッファ１４に少なくとも１フレーム周期Ｔ2分の音声信号２ｂを蓄積する。この音声バッファ１４は、１フレーム周期Ｔ2分の音声信号２ｂを１サンプルとして扱うようになされており、１フレーム周期Ｔ2分の音声信号２ｂが入力されると、当該音声バッファ１４内に既に蓄積されている音声信号２ｂが１フレーム周期Ｔ2分だけシフトし、最も時間的に過去に入力された１フレーム周期Ｔ2分の音声信号２ｂが押し出されて出力されるようになっている。
【００９３】
上記音声信号バッファ１４に少なくとも１フレーム周期Ｔ2分の音声信号２ｂが蓄積されると、フロントエンド部は、ステップＳ３５の処理として、当該音声信号バッファ１４に蓄積された音声信号２ｂを読み出して振幅検出器１５に送り、前述のようにして、平均自乗振幅Ａ[n]を求める。
【００９４】
同時に、フロントエンド部は、ステップＳ３６の処理として、音声信号バッファ１４に蓄積された音声信号２ｂを相関検出器１６に送り、前述のようにして、相関係数ＡLR[n]と音声信号エネルギーＡLL[n]、ＡRR[n]を求める。
【００９５】
また同時に、フロントエンド部は、ステップＳ３７の処理として、音声信号バッファ１４に蓄積された音声信号２ｂをスペクトル検出器１７に送り、前述のようにして、短時間離散スペクトルＦ[k;n]を求める。
【００９６】
さらに、フロントエンド部は、ステップＳ３８の処理として、図１の復調器２より供給された放送モード信号２ｃから、前述のように離散化した数値Ｂ[n]を求めると共に、図１の時計部３より供給された時間信号３ａから、前述のように離散化された数値Ｔ[n]を求める。
【００９７】
フロントエンド部は、以上にようにして求められた、上記カットチェンジ検出器１２からの検出出力Ｃ[n]と、振幅検出器１５からの平均自乗振幅Ａ[n]と、相関検出器１６からの相関係数ＡLR[n]、音声信号エネルギーＡLL[n]，ＡRR[n]と、スペクトル検出器１７からの短時間離散スペクトルＦ[k;n]と、放送モード信号２ｃの離散化数値Ｂ[n]と、時間信号３ａの離散化数値Ｔ[n]とからなる特徴量Ｇ[n]を、特徴量バッファ１８に蓄積する。
【００９８】
図２に戻り、バックエンド部の説明を行う。なお、以下の説明において、番号ｎは、特徴量バッファ１８内にフレーム毎に蓄積される特徴量の、各フレーム番号を表わすものとする。また、最新のフレームの特徴量をＧ[0]とし、過去のフレームの特徴量となるにしたがってｎの値が増加し、新たなフレームの特徴量が入力された場合には、全てのデータが１ずつシフト（フレーム番号が１ずつシフト）するものとする。
【００９９】
図２において、特徴量バッファ１８に蓄積された特徴量は、フレーム毎にＣＭ候補検出器１９に送られる。
【０１００】
当該ＣＭ候補検出器１９は、ほぼ全てのＣＭが満たす、前述した「必須条件」に基づき、フレーム毎にＣＭ区間の候補を算出する。ここで、必須条件とは、前述したように、ＣＭの音声信号が「小音量」であること、すなわち音声信号の音量が所定の閾値以下となっているフレーム（以下、音量条件と呼ぶ）であり、且つ、ＣＭの「映像切り替わり」があること、すなわち映像信号が急激に変換するフレーム又は一様な輝度となるフレーム（以下、映像条件と呼ぶ）であり、さらに、「規定時間長（少数種類の時間長）」であること、すなわち上記音量条件と映像条件を満たす２つのフレームの間隔が所定のＣＭ長と合致する区間（以下、時間条件と呼ぶ）となるような条件であり、具体的には、前述の特徴量を用いて、以下のような式（１１）で且つ式（１２）で且つ式（１３）の条件として書き下すことができる。
【０１０１】
Ａ[0]＜Ａthsd (11)
Ｃ[0]＝１ (12)
Ａ[n1]＜Ａthsd，Ｃ[n1]＝１又はＡ[n2]＜Ａthsd，Ｃ[n2]＝１又は
Ａ[n3]＜Ａthsd，Ｃ[n3]＝１ (13)
ただし、Ａthsdは所定の自乗振幅の閾値であり、ｎ1，ｎ2，ｎ3はそれぞれＣＭ長として規定されている時間長（本実施の形態では、一例として１５秒、３０秒、６０秒の３種類の時間長がある場合を説明に用いている）を、フレーム周期単位に換算した数である。なお、ＣＭの実際の放送時間には誤差があるため、実用上は、ｎ1，ｎ2，ｎ3にはそれぞれ多少の幅を持たせる。
【０１０２】
ここで、図５を用いて、上記ＣＭ候補検出器１９の動作の流れを説明する。
【０１０３】
図５において、特徴量バッファ１８では、ステップＳ５０のバッファシフト処理とステップＳ５１の特徴量入力処理として、図３のステップＳ３２で説明したフレームメモリと図４のステップＳ４０で説明した音声信号バッファと同様に、１フレーム単位の入力、シフト及び出力の動作を行うようになされている。すなわち、特徴量バッファ１８は、１フレーム分の特徴量を１サンプルとして扱うようになされており、１フレーム分の特徴量が入力されると、当該特徴量バッファ１８内に既に蓄積されている特徴量が１フレーム分だけシフトし、最も時間的に過去に入力された１フレーム分の特徴量が押し出されて出力されるようになっている。
【０１０４】
上記ステップＳ５０及びステップＳ５１の処理により、特徴量バッファ１８から１フレーム（１サンプル）分の特徴量が入力されると、ＣＭ候補検出器１９は、ステップＳ５２及びステップＳ５３の処理として、１フレーム（サンプル）に特徴量が上記必須条件の音量条件、映像条件、時間条件を満たすか否かの評価を行う。すなわち。ＣＭ候補検出器１９は、ステップＳ５２において、先ず最初のフレームの平均自乗振幅Ａ[0]と所定の自乗振幅の閾値Ａthsdを比較し、次に、ステップＳ５３の処理として、前記検出出力Ｃ[0]が１となるか否か調べることにより、当該フレームが上記必須条件である音量条件、映像条件、時間条件を満たすか否かの判定を行う。ＣＭ候補検出器１９では、これらステップＳ５２，Ｓ５３の判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定した場合、当該フレームをＣＭ候補としてステップＳ５７以降（ステップＳ５４乃至Ｓ５６については後述する）の処理に進み、逆に、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えたか、或いは上記必須条件を満たしていないと判定した場合、当該フレームがＣＭ候補にはならないとしてステップＳ５０の処理に戻る。
【０１０５】
上記ステップＳ５２，Ｓ５３の各判定処理の結果、上記平均自乗振幅Ａ[0]が所定の自乗振幅の閾値Ａthsdを超えず、且つ、上記必須条件を満たしていると判定された場合、ＣＭ候補検出器１９は、ステップＳ５７の処理としてＣＭ開始フレームｎsを検索し、次に、ステップＳ５８の処理としてＣＭ終了フレームｎeの検索を行い、更に、ステップＳ５９の処理としてＣＭ開始時刻Ｔsを計算し、ステップＳ６０としてＣＭ長さＷを計算する。
【０１０６】
ＣＭ候補検出器１９は、以上のステップＳ５７乃至Ｓ６０の検索及び計算を行った後、ステップＳ６１において後述するＣＭ候補テーブルを参照し、もし、ＣＭ開始時刻Ｔs及びＣＭ長さＴwの一致する候補がすでに当該ＣＭ候補テーブル中に存在するならば、そのまま再びステップＳ５４乃至Ｓ５６の処理に戻り、逆に存在しない場合には、新たなＣＭ候補としてＣＭ候補テーブルに追加した後、再びステップＳ５４乃至Ｓ５６の処理に戻る。
【０１０７】
ステップＳ５４乃至Ｓ５６では、全ての時間長に対して上述同様の処理を行った後、ステップＳ５０に戻り、次の入力に対して同じ処理を繰り返すことを表している。
【０１０８】
なお、上記ＣＭ開始フレームｎsとは、ｎ1，ｎ2，ｎ3で表される各フレームのうち時間条件に合致したフレームから、最新フレームの方向へ向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越える最初のフレーム番号である。また、ＣＭ終了フレームｎeとは、０番目のフレームより過去の方向に向かって、平均自乗振幅Ａ[n]が自乗振幅の閾値Ａthsdを越えない最後のフレーム番号である。さらにＣＭ開始時刻Ｔsは、ＣＭ開始フレーム番号ｎsを用いてＴs＝Ｔ[ns]として求められる。同様にＣＭ長さＴwは、Ｔw＝Ｔ[ne]−Ｔ[ns]として求められる。
【０１０９】
ここで、図６に、上記必須条件の算出例を示す。この図６に示すＡ[n]の項において、「ｏ」は自乗振幅の閾値Ａthsd未満の平均自乗振幅を持つフレームを示し、「ｘ」は自乗振幅の閾値Ａthsd以上の平均自乗振幅を持つフレームを示している。この例では、Ａ[0]，Ｃ[0]及びＡ[n1]，Ｃ[n1]が条件を満たし、ｎ1より左方で最初にＡ[n]＝ｘとなるフレームがｎs、０より右方に連続する最後のＡ[n]＝ｏとなるフレームがｎeとなる。
【０１１０】
以上の処理により、ＣＭ候補検出器１９では、１フレーム（１サンプル）の特徴量が入力される毎にＣＭ候補の検出を行い、ＣＭ候補が検出された場合にはＣＭ候補テーブルにエントリーする。
【０１１１】
図７には、ＣＭ候補テーブルの構成例を示す。この図７において、ＣＭ候補テーブルの項目は、開始時刻Ｔs、長さＴw、及び後述する付加条件算出器２０で算出する特徴量Ｑ1乃至Ｑ11、及び後述する付加条件判定器２１で算出するスコアＲとスコア判定結果Ｚからなる。ＣＭ候補検出器１９によるＣＭ候補テーブル１９ａの段階では、開始時刻Ｔｓ、長さＴｗのみが記述される。このように、ＣＭ候補テーブルは、ＣＭ候補検出器１９で得られるＣＭ開始時刻Ｔｓ、長さＴｗと、付加条件算出器２０で算出される特徴量Ｑ1乃至Ｑ11と、付加条件判定器２１で算出されるスコアＲ及びスコア判定結果Ｚとを記述し、それら特徴量を管理するための表である。また、ＣＭ候補テーブルは、そのエントリーがＣＭであるかないかの判定を受けるまで保持され、ＣＭであると判断された場合には、後述するルール判定器２２からＣＭ検出出力４ａとして出力され、ＣＭでないと判断された場合には破棄される。
【０１１２】
上記ＣＭ候補検出器１９により開始時刻Ｔｓ、長さＴｗのみが記述されたＣＭ候補テーブル１９ａは、付加条件算出器２０に送られる。
【０１１３】
付加条件算出器２０では、ＣＭ候補テーブル１９ａにエントリーされた候補区間より、特徴量バッファ１８を参照しながら、以下に示すような特徴量Ｑ1乃至Ｑ11を抽出し、それをＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして付加条件判定器２１に出力する。
【０１１４】
図８には、当該付加条件算出器２０における特徴量Ｑ1乃至Ｑ11の算出例を示す。
【０１１５】
この図８において、横軸はフレーム番号（離散時間に相当）を表し、図８（Ａ）はカットチェンジ検出出力Ｃ[n]、図８（Ｂ）は放送モード信号２ｃの離散化数値Ｂ[n]、図８（Ｃ）は音声信号の短時間離散スペクトルＳ[k,n]、図８（Ｄ）は音声信号の平均自乗振幅Ａ[n]を表わし、ｎ1の間隔（図中点線で挟まれた区間）がＣＭ候補である。なお、図８（Ａ）において、図中ＣＴで示す位置はカットチェンジ検出出力Ｃ[n]が１となっている位置（すなわちカットチェンジが検出された位置）を示している。また、図８（Ｂ）において、図中Ｍで示す区間はその区間が何らかの放送モードとなっていることを示している。図８の（Ｃ）において、図中Ｓ１，Ｓ２，Ｓ３，Ｓ４は何らかのスペクトル成分が存在することを示し、図８（Ｄ）において、図中ＡＭは自乗振幅の変化を表している。また、図中Ｑ1からＱ11は、上記付加条件算出器２０にて特徴量Ｑ1乃至Ｑ11が計算される場所を示している。
【０１１６】
以下、付加条件算出器２０で算出される各特徴量Ｑ1乃至Ｑ11について個々に説明する。
【０１１７】
特徴量Ｑ1は前ブレーク長である。当該前ブレーク長とは、ＣＭ候補区間直前の小音量区間（前ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図８中の一点鎖線で挟まれた区間長ＢＢが前ブレーク長Ｑ1である。
【０１１８】
特徴量Ｑ2は後ブレーク長である。当該後ブレーク長とは、ＣＭ候補区間直後の小音量区間（後ブレーク区間と称する）、すなわち連続してＡ[n]が所定の閾値Ａthsd以下である時間長であり、図８中の一点鎖線で挟まれた区間長ＡＢが後ブレーク長Ｑ2である。
【０１１９】
特徴量Ｑ3は前ブレーク最小振幅である。当該前ブレーク最小振幅Ｑ3は、前記の前ブレーク区間におけるＡ[n]の最小値である。
【０１２０】
特徴量Ｑ4は後ブレーク最小振幅である。当該後ブレーク最小振幅Ｑ4は、前記の後ブレーク区間におけるＡ[n]の最小値である。
【０１２１】
特徴量Ｑ5は左右相関値である。当該左右相関値Ｑ5は、ＣＭ候補区間の音声の左右２チャンネルの音声信号ＳL[m]、ＳR[m]の相関値である。これは、式（５）乃至式（７）のＡLR[n]，ＡLL[n]，ＡRR[n]を利用して、式（１４）に従って算出することができる。
【０１２２】
【数７】
この式（１４）の演算では、フレームのオーバーラップにより原波形が部分的に複数回加算されることになるが、そのことはこのシステムに実質的な影響は及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形の相互相関と置き換えることもできる。
【０１２４】
特徴量Ｑ6は平均振幅値である。当該平均振幅値Ｑ6は、ＣＭ候補区間の音声信号の振幅のＲＭＳ値（平均自乗振幅）である。これは、式（１５）により計算することができる。
【０１２５】
【数８】
この式（１５）の演算では、上記左右相関演算の場合と同様に、フレームのオーバーラップ次第では原波形が部分的に複数回加算されることになるが、そのことは実質的な影響を及ぼさない。また、原波形をそのまま保持できるだけのメモリ容量及び処理速度がある場合には、この演算は原波形のＲＭＳ演算と置き換えることもできる。
【０１２７】
特徴量Ｑ7はカット数である。当該カット数Ｑ7は、ＣＭ候補区間中に存在するカットチェンジの回数（上記ＣＴの数）を数える演算となる。すなわちこれは、[ns,ne）の区間でＣ[n]＝１となる回数を数える演算となる。
【０１２８】
特徴量Ｑ8は放送モードである。ここでの放送モードは、ＣＭ候補区間中で最も支配的な放送モードのことである。これは、［ns,ne）の区間のＢ[n］値の中で、最も頻発する放送モードＱ8を選ぶ演算である。
【０１２９】
特徴量Ｑ9は隣接候補数である。当該隣接候補数Ｑ9は、あるＣＭ候補に対して、その前後にある有音区間もＣＭ候補であるかどうかを表わし、両側ともＣＭ候補であれば「２」、片側のみＣＭ候補であれば「１」、どちらもＣＭ候補でなければ「０」の値をとる。この演算は、ＣＭ候補テーブルを検索することで行われ、開始時刻Ｔsと長さＴwと後ブレーク長Ｑ2の和（Ｔs＋Ｔw＋Ｑ2）が、他のＣＭ候補の開始時刻（Ｔ's）と一致するかどうかで後側候補の判定が行われる。同様に、開始時刻Ｔsと前ブレーク長Ｑ1の差（Ｔs−Ｑ1）が、他のＣＭ候補の開始時刻Ｔ'sと長さＴ'wの和（Ｔ's＋Ｔ'w）と一致するかどうかで、前側候補の判定が行われる。
【０１３０】
特徴量Ｑ10，Ｑ11はスペクトル差分エネルギーである。当該スペクトル差分エネルギーＱ10，Ｑ11は、ＣＭと番組本編やＣＭと他のＣＭとの境界での音質変化を定量化するために用いられる。これは、上記境界の両側における平均スペクトルの差の自乗和として定義され、式（１６）乃至（２１）に従って計算される。
【０１３１】
【数９】
但し、式中のＮはスペクトルの平均をとるフレーム数、ｎ'eはＣＭ候補区間の直前の有音区間の終了フレーム番号（図８参照）、ｎ'sはＣＭ候補区間の直後の有音区間の開始フレーム番号、Ｓ1[k]はＣＭ候補区間の直前の有音区間の終了直前の平均スペクトラム、Ｓ2[k]はＣＭ候補区間開始直後の平均ズクトラム、Ｓ3[k]はＣＭ候補区間終了直前の平均スペクトラム、Ｓ4[k]はＣＭ候補区間の直後の有音区間の開始直後の平均スペクトラム、Ｓnormは適切な規格化定数である。
【０１３３】
上記付加条件算出器２０は、以上により算出したＱ1からＱ11までの特徴量を、ＣＭ候補テーブル１９ａに追加記述し、ＣＭ候補テーブル２０ａとして出力する。当該ＣＭ候補テーブル２０ａは、付加条件判定器２１に送られる。
【０１３４】
付加条件判定器２１は、ＣＭ候補テーブル２０ａを入力とし、ＣＭ候補の特徴量を、閾値関数などにより非線型にパラメータ変換した後、荷重加算することでＣＭ候補に対するスコアＲを算出し、Ｒが所定の閾値以上である場合には有力ＣＭ候補と判定する。付加条件判定器２１は、これらスコアＲとスコア判定結果ＺをＣＭ候補テーブル２０ａに追加記述し、ＣＭ候補テーブル２１ａとして出力する。
【０１３５】
図９には、付加条件判定器２１の概略構成を示す。
【０１３６】
この図９において、ＣＭ候補テーブル２１ａの各特徴量Ｑ1乃至ＱLは、それぞれ対応する関数演算器５０1乃至５０Lに送られ、それぞれ対応するパラメータ変換関数Ｈ1()乃至ＨL()による変換演算が施された後、さらにそれぞれ対応する重み付け器５１1乃至５１Lにより荷重Ｗ1乃至ＷLとの積がとられる。各重み付け器５１1乃至５１Lにより重み付けがなされた後の特徴量は、総和加算器５２での総和加算によりスコアＲが算出される。この総和加算器５２から出力されたスコアＲは、スコア判定器５３にて所定の閾値と比較され、スコアＲが所定の閾値以上である場合には有力ＣＭ候補である旨を示す判定結果が出力される。なお、スコア判定器５３によるスコア判定により所定の閾値未満であると判定されたＣＭ候補は、テーブルから消去される。
【０１３７】
より具体的に説明すると、当該付加条件判定器２１におけるスコア算出演算は、式（２２）に従って行われる。
【０１３８】
【数１０】
ただし、Ｈl()は各特徴量に対して予め定めるパラメータ変換関数、Ｗlは予め決定しておく荷重、Ｌは特徴量数（＝１１）である。なお、ｌは１乃至１１のうちの任意の数である。
【０１４０】
ここで、各関数演算器５０1乃至５０Lにおけるパラメータ変換関数Ｈl()は、最も簡単には矩形関数でよい。すなわち例えば、図１０（Ｂ）に示すような矩形関数Ｒect（x;t1,t2）を用い、予め各特徴量について決定しておく標準値の下上限値をｔ1l，ｔ2lとし、式（２３）により例えばＱ1が標準値の範囲内ならば１、範囲外ならば０となるようにする。
【０１４１】
Ｈl（Ｑl）＝Ｒect（Ｑl;t1,t2） (23)
なお、前記境界付近で滑らかに０から１、１から０へ推移させるようにする場合には、例えば式（２４）のような、シグモイド関数Ｓigm(x;t1,t2)を用いることもできる。
【０１４２】
【数１１】
図１０（Ｃ）にシグモイド関数の概形を示す。ただし、s1l,s2lは推移の程度を表わす定数であり、予め特徴量の分布などに基づき決定しておく。
【０１４４】
また、上記各重み付け器５１1乃至５１Lによる加算荷重Ｗlは、予め特徴量の統計的性質に基づき人為的に決定しておくこともできるが、既知の学習サンプルに対して、ニューラルネットワーク（例えば中川著「パターン情報処理」丸善（1999）などに詳説）の要領で学習することで、自動的に荷重を決定することも可能である。なお、ｌは１乃至１１のうちの任意の数である。
【０１４５】
さらに、上記判定器５３におけるスコア判定は、式（２５）のように、スコアＲの閾値処理により行う。
【０１４６】
Ｚ＝Ｕnit（Ｒ−ｔr） (25)
ただし、Ｕnit（ｘ）は、図１０（Ａ）に示すように、ｘ＞０で１、ｘ＜０で０となる単位ステップ関数であり、ｔrは予め定めるか或いは学習により自動的に決まる判定閾値である。
【０１４７】
次に、ルール判定器２２は、上記付加条件判定器２１でのスコア判定により得られたＣＭ候補テーブル２１ａを入力とし、後述するような所定のルール判定により最終的なＣＭ検出出力４ａとしてＣＭ開始時刻と長さを出力する。すなわち、当該ルール判定器２２では、同一時刻に複数のＣＭ候補があった場合（以下、競合関係という）に、どちらがよりＣＭとして確からしいかをルール処理により判定する。
【０１４８】
以下、ルール判定器２２の動作を図１１のフローチャートを用いて説明する。
【０１４９】
先ず、ルール判定器２２は、ステップＳ７０として、ＣＭ候補テーブルより、判定すべきＣＭ候補を選択する。この選択は、ＣＭ候補テーブル中で最古の候補であり、予め設定された時間Ｔ4が経過したものから順に行われる。Ｔ4は、数個のＣＭが十分含まれる程度の時間長であり、例えば１５０秒間とする。
【０１５０】
続いて、ルール判定器２２は、ステップＳ７１として、選択したＣＭ候補の区間中（ＴｓからＴｓ＋Ｔｗまでの間）に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。このステップＳ７１において、他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、このＣＭ候補はＣＭ検出出力として出力され、ＣＭ候補テーブルより消去される。
【０１５１】
一方、ステップＳ７１において、他のＣＭ候補が存在すると判定された場合（Ｙｅｓ）、それらは競合関係にあるとして、ステップＳ７２にて先ず最小長さ優先ルールが適用される。ここで、最小長さ優先ルールは、ある時区間が、複数の長さの異なるＣＭ候補の組み合わせにより構成され得る場合、より短いＣＭ候補で構成されている方を優先するというルールである。すなわち、例えば３０秒という時区間に対して、１つの３０秒ＣＭという可能性と、２つの１５秒ＣＭの組み合わせという可能性の、両方が同時に候補として存在する場合には、１５秒ＣＭを選択し、３０秒ＣＭを棄却するというルールである。
【０１５２】
図１２を用いて、この最小長さ優先ルールの一例を説明する。
【０１５３】
なおこの例には、図１２（Ａ）のように、実際には４つのＣＭ１乃至ＣＭ４が連続して放送されている区間に対し、図１２（Ｂ）中Ａ乃至Ｈで示すような８つの候補がＣＭ候補テーブルに存在する場合が示されている。
【０１５４】
先ず、図１２（Ｃ）に示すように、ＡのＣＭ候補が判定中であるとすると、この候補Ａと競合する候補はＥとＨである。しかしながら、Ｅの区間はＡとＢで記述でき、また、Ｈの区間はＡとＢとＣとＤ等で記述できることから、それぞれ棄却され、Ａが採用される。続いて、図１２（Ｄ）に示すように、Ｂが判定中となったときには、Ｆが競合相手となる（このとき、Ｅ、ＨはＡの判定により棄却済みとなっている）が、Ｆの区間はＢとＣで記述できることから棄却され、Ｂが採用される。同様に、図１２（Ｅ）に示すように、Ｃが判定中の場合には、Ｇが競合相手となるが、Ｇの区間はＣとＤで記述されることから棄却され、Ｃが採用される。最後に、図１２（Ｆ）に示すように、Ｄが判定されるときには、すでに競合相手は存在しないので、そもそもこのルールを適用する必要はなく、当該Ｄがそのまま採用される。
【０１５５】
以上により、この時区間からは、ＣＭ候補としてＡ，Ｂ，Ｃ，Ｄが選択されることとなる。このルールが適用できない競合関係については、そのままＣＭ候補テーブルに残してこの処理を終了する。
【０１５６】
図１１に戻り、ステップＳ７２のルール判定の後、ルール判定器２２の処理は、ステップＳ７３に進む。ステップＳ７３に進むと、ルール判定器２２は、最小長さ優先ルールを適用した結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７３において、判定中のＣＭが棄却されと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０に戻る。一方、ステップＳ７３において、判定中のＣＭが棄却されていないと判断した場合（Ｎｏ）、ルール判定器２２は、ステップＳ７４において、再び判定中のＣＭ候補の区間中に他のＣＭ候補が存在するかどうか、テーブル中を検索する。
【０１５７】
このステップＳ７４において他のＣＭ候補が存在しないと判定した場合（Ｎｏ）、ルール判定器２２は、ステップＳ８０において判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７４にて他のＣＭ候補が存在すると判断した場合（Ｙｅｓ）、ルール判定器２２の処理は、ステップＳ７５に進む。
【０１５８】
ステップＳ７５に進むと、ルール判定器２２は、隣接優先ルールを適用する。ここで、隣接優先ルールとは、複数のＣＭ候補が競合関係にある場合、それぞれ直前又は直後に隣接するＣＭ候補を検索し、それが存在する方を優先するというルールである。
【０１５９】
図１３を用いて、当該隣接優先ルールについて説明する。
【０１６０】
なおこの例には、図１３（Ａ）のように、実際には４つのＣＭ１１乃至ＣＭ１４が連続して放送されている区間に対し、図１３（Ｂ）中Ｉ乃至Ｎで示すような６つの候補が存在する場合が示されている。また、この例の場合、候補Ｍ及びＮは、偶然ＣＭ中にカットチェンジや小音量区間が存在したために候補となっているが、このような候補は、実際には誤った区間であるとはいえ、内容的にはＣＭを含んでいるため、ＣＭらしさを判定する付加条件のスコア判定によっても、棄却されない場合があるものである。
【０１６１】
このような例において、先ず、図１３（Ｃ）に示すように、最古のＩが判定される候補となる。当該Ｉと競合するものとしてＭがあるが、Ｉには隣接する候補Ｊが存在するのに対し、Ｍには隣接する候補がないため、Ｉを採用し、Ｍを棄却する。次に、図１３（Ｄ）に示すように、Ｊが判定される候補となった場合、Ｊと競合する候補としてＮがあるが、Ｊには隣接する候補Ｉ、Ｋが存在するのに対し、Ｎには存在しないため、Ｊが採用されＮが棄却される。次に、図１３（Ｅ），（Ｆ）に示すように、残りの候補Ｋ、Ｌには、既に競合する候補がなくなるため、このルールは適用されず、これらＫ、Ｌがそのまま採用される。
【０１６２】
以上により、この図１３に例示した区間からは、Ｉ，Ｊ，Ｋ，ＬがＣＭ候補として選択されることとなる。
【０１６３】
なお、競合関係の候補のいずれにも隣接候補が無い場合、及び複数の候補にそれぞれ隣接候補がある場合には、それらはどちらも棄却されず、ＣＭ候補テーブルに残される。
【０１６４】
図１１に戻り、ステップＳ７５の処理後、ルール判定器２２の処理は、ステップＳ７６に進む。ステップＳ７６に進むと、ルール判定器２２は、隣接優先ルールを適用の結果、判定中のＣＭが棄却されたか否か判断する。このステップＳ７６において、判定中のＣＭが棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルから消去し、ステップＳ７０の処理に戻る。一方、ステップＳ７６において棄却されていないと判定された場合（Ｎｏ）、ルール判定器２２は、次のステップＳ７７において、再び判定中のＣＭ候補の区間中に、他のＣＭ候補が存在するかどうか、ＣＭ候補テーブル中を検索する。
【０１６５】
このステップＳ７７において、他のＣＭ候補が存在しなと判定された場合（Ｎｏ）、ルール判定器２２は、ステップＳ８０において、判定中のＣＭ候補をＣＭ検出出力から出力し、ＣＭ候補テーブルから消去する。一方、ステップＳ７７において、他のＣＭ候補が存在すると判定した場合（Ｙｅｓ）、ルール判定器２２は、ステップＳ７８において、スコア優先ルールを適用する。ここで、スコア優先ルールとは、上記の各ルールによっても競合関係が解消されない場合、付加条件判定器２１により得られた判定スコアＲの高い候補を優先するというルールである。このスコア優先ルールは、対象となる競合関係が解消するまで繰り返し適用する。
【０１６６】
図１４を用いて、当該スコア優先ルールについて説明する。
【０１６７】
なおこの例には、図１４（Ａ）のように、実際には４つのＣＭ２１乃至ＣＭ２４が連続して放送されている区間に対し、図１４（Ｂ）中Ｐ乃至Ｗで示すような７つの候補が存在する場合が示されている。
【０１６８】
この例において、先ず、図１４（Ｃ）に示すように、最古のＰが判定される候補となるが、この候補ＰはＵと競合関係がある。但し、このときの競合関係は、前記最小長さ優先ルールによっても、また、隣接優先ルールによっても競合が解消されない。
【０１６９】
したがって、この場合には、これら競合関係にある候補と関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。すなわち、この場合は、(Ｐ−Ｕ)、(Ｕ−Ｑ)、(Ｑ−Ｖ)、(Ｖ−Ｒ)、(Ｒ−Ｗ)、(Ｗ−Ｓ)という、７候補に対する６つの競合関係が全て関連しているので、スコア優先ルールでは、これら関連する候補の中で最もスコアの高い候補を採用する。この例の場合、判定スコアＲ(2.0)が最も高いスコアであるため、図１４（Ｄ）に示すように、このスコアが採用され、その結果、Ｒと競合関係にある候補Ｖ、Ｗは棄却される。
【０１７０】
しかしながら、図１４（Ｅ）に示すように、これによっても（Ｐ−Ｕ）の競合関係は解消されていない。したがって、再びこれらと関連する全ての競合関係を、ＣＭ候補テーブル中から検索する。今回は、Ｖが棄却されたことにより、(Ｐ−Ｕ)、(Ｕ−Ｑ)という、３つの候補が関係する２つの競合関係のみとなる。
【０１７１】
さらに、これらの候補の中で最もスコアの高い候補Ｑ(1.9)を採用し、図１４（Ｆ）に示すように、Ｑと競合関係にある候補Ｕを棄却する。
【０１７２】
以上によって、Ｐに関係する競合関係はなくなり、Ｐが採用される。また、Ｕ、Ｖ、Ｗは全て棄却され、Ｑ、Ｒ、Ｓが採用されることとなる。
【０１７３】
なお、仮に、関連する全ての競合関係を検索せず、対象となる競合関係（この例の場合、Ｐ，Ｕ）のみでスコア優先ルールを適用すると、先ずＵが採用され、Ｐは棄却される。後にＵとＱとの競合関係により、一時採用されたＵもまた棄却されてしまう。このように、ルール判定器２２では、偶然の処理順序により候補Ｐが棄却されるようなことのないよう、関連競合関係の検索を行っている。
【０１７４】
以上のスコア優先ルールにより、選択された候補に関する競合関係は必ず解消されることになる。
【０１７５】
図１１に戻り、ステップＳ７８の処理後、ルール判定器２２の処理は、ステップＳ７９に進む。ステップＳ７９に進むと、ルール判定器２２は、スコア優先ルールを適用の結果、判定中の候補が棄却されたか否か判断する。このステップＳ７９において、判定中の候補が棄却されたと判断した場合（Ｙｅｓ）、ルール判定器２２は、その候補をＣＭ候補テーブルより消去し、ステップＳ７０に戻る。一方、ステップＳ７９において、棄却されなかった場合、ルール判定器２２は、ステップＳ８０のＣＭ検出出力として、開始時刻とその長さを出力し、ＣＭ候補テーブルから消去した後、ステップＳ７０に戻る。
【０１７６】
以上説明したように、本実施の形態の第１の具体例のＣＭ検出部４においては、ほぼ全てのＣＭが満足する必須条件に基づき、決定論的に番組中からＣＭの候補を抽出し、ＣＭらしさの指標である付加条件に基づく特徴量の統計論的な評価により候補を選択し、論理条件により候補のオーバーラップ関係を解消することで、精度の高いＣＭ検出を実現している。また、本実施の形態では、例えば現行のアナログＴＶ放送の映像音声記録装置を例にとったが、ディジタルＴＶ放送等に適用される場合にも同様のＣＭ検出部４が適用できることは明らかである。また、例えばラジオ放送に適用される場合には、上記ＣＭ検出部４から映像信号の処理を担当する部分を省略することで同様の機能が実現できる。
【０１７７】
次に、本発明の第２の具体例としてのＣＭ検出部４について以下に説明する。
【０１７８】
図１５には、本発明の第２の具体例としてのＣＭ検出部４の詳細な構成を示す。
【０１７９】
当該第２の具体例のＣＭ検出部４は、前述した付加条件の中でも基本的なもののみを実装するようにしており、前述した１）乃至１４）の付加条件のうち、１１）乃至１４）に関しては導入しないことで、装置構成を簡略化している（複雑になることを防いでいる）。
【０１８０】
この第２の具体例のＣＭ検出部４も、図２の例と同様にフロントエンド部とバックエンド部とから構成されている。なお、この図１５において、図２の各構成要素と同じ動作を行う部分については、同一の指示符号を付して、それらの説明は省略する。
【０１８１】
以下、図１５の構成において、新たに追加された各構成要素（１０１，１０２，１０３）と、付加条件算出器２０において新たに拡張された機能についてのみ説明する。
【０１８２】
フロントエンド部に設けられた音源識別器１０１は、ディジタル化及びフレーム化された音声信号２ｂを入力とし、この音声信号２ｂの該当フレームに関する音源名を出力する。音源名としては、例えば、音声、音楽、音声と音楽、その他を挙げることができる。なお、入力された音声信号の音源識別を実現する技術としては、例えば、河地、他による、「ＶＱ歪みに基づく放送音の自動分類」信学技報、DSP97-95/SP97-50、43/48(1998)に記載された技術や、南、他による、「音情報を用いた映像インデクシングとその応用」信学論、Vo1.J81-D-II、No.3，529/537(1998)に記載された技術、安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などがあり、これらを利用することができる。
【０１８３】
この音源識別器１０１により識別された各音源名は、例えば音声＝１、音楽＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｕ[n]として特徴量バッファ１８に入力される。
【０１８４】
フロントエンド部に設けられた番組ジャンルデータ又は番組ジャンル識別器１０２は、現在処理している番組のジャンル名を出力するものである。番組ジャンルは、例えば、ニュース、ドラマ、野球、サッカーなどである。番組ジャンルデータは、テレビ番組表などから入力してもよく、また近年ではインターネット等を通じて自動的に取得することもできる。または、外部情報に頼らず音声及び映像信号から番組ジャンルを識別する装置を用いることも可能である。なお、音声及び映像信号から番組ジャンルを識別する技術としては、例えば安部による、特願平１１−１９０６９３号の明細書及び図面に記載された技術などを利用することができる。
【０１８５】
この番組ジャンルデータ又は番組ジャンル識別器１０２により分類された番組ジャンル名は、例えばニュース＝１、ドラマ＝２、などのように、各フレーム毎に適切に数値化され、特徴量Ｗ［n]として特徴量バッファ１８に入力される。
【０１８６】
フロントエンド部のその他の各構成要素は、図２の例と同様である。
【０１８７】
この第２の具体例の場合、フロントエンド部に、上記音源識別器１０１と番組ジャンルデータ又は番組ジャンル識別器１０２を設け、これらにより得られた各特徴量Ｕ[n]とＷ［n]を特徴量バッファ１８に蓄積することで、当該特徴量バッファ１８においては、式（１０）に示した特徴量Ｇ[n]が、式（２６）のように拡張されることになる。
【０１８８】
Ｇ[n]=｛Ｃ[n],Ａ[n],ＡLR[n],ＡLL[n],ＡRR[n],Ｆ[k;n],
Ｂ[n],Ｔ[n],Ｕ[n],Ｗ[n]｝ (26)
バックエンド部のＣＭ検出器１９は、前述の図２のものと同様のものであるが、当該第２の具体例の場合、ＣＭ候補テーブル１９ａ乃至２１ａは、次のように拡張される。すなわち、この第２の具体例の場合のＣＭ候補テーブル１９ａ乃至２１ａは、前述したＱ1からＱ11までの特徴量に加え、図１６に示すように、後述する特徴量Ｑ12からＱ15が拡張される。なお、図１６は、Ｑ1からＱ11までの特徴量についての図示を省略している。
【０１８９】
また、バックエンド部のＣＭ確率データベース１０３には、予め、時間帯に応じたＣＭの放送確率、及び、番組ジャンルと経過時間に応じたＣＭの放送確率をデータとして蓄積してある。このＣＭ確率データベース１０３からは、現在時刻に応じてそれらの確率が読み出され、付加条件算出器２０に入力するようになされている。なお、これらの確率のデータは、実際の放送を元に統計をとることで作成することができる。
【０１９０】
この第２の具体例の場合の付加条件算出器２０は、前述の特徴量Ｑ1からＱ11に加え、次の特徴量Ｑ12からＱ15の演算を行うよう拡張される。
【０１９１】
ここで、特徴量Ｑ12は、ＣＭ候補区間中に、音声区間があったどうかを検出して求められるものである。音声の有無を表す特徴量Ｑ12は、式（２７）に従って検出される。
【０１９２】
【数１２】
特徴量Ｑ13は、上記音声の有無と同様に、ＣＭ候補区間中に、音楽区間があったどうかを検出して求められるものである。この音楽の有無を表す特徴量Ｑ13は、式（２８）に従って検出される。
【０１９４】
【数１３】
特徴量Ｑ14は、現在時刻に応じたＣＭの発生確率（時間帯確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ14に代入する。
【０１９６】
特徴量Ｑ15は、番組ジャンル及びその番組の開始からの経過時間に従うＣＭの放送確率（番組ジャンル確率）である。付加条件算出器２０では、ＣＭ確率データベース１０３より提供されるＣＭの放送確率を、そのまま特徴量Ｑ15に代入する。
【０１９７】
付加条件判定器２１以降は、変数としての特徴量Ｑ12乃至Ｑ15が拡張されるだけであり、前述の図２のＣＭ検出部４の場合と同様であるため、説明を省略する。
【０１９８】
この場合のＣＭ検出部４においては、以上の拡張により、放送信号の音源に応じたＣＭ検出を行うことができ、また、現在時間に応じたＣＭ検出を行うこと、さらに、番組ジャンルに応じたＣＭ検出を行うことが可能となる。
【０１９９】
ＣＭ検出部４の第３の具体例として、例えば、図１７に示すように、小振幅回数、小振幅区間、および信号分散を、それぞれ特徴量Ｑ16乃至Ｑ18として、付加条件算出器２０により算出させるようにすることができる。
【０２００】
小振幅回数とは、音声信号の振幅が、予め設定されている所定の閾値を下回る回数を意味する。付加条件算出器２０は、例えば、図１８のフローチャートに示すような処理を行うことで、小振幅回数を計算する。
【０２０１】
最初にステップＳ９０において、カウンタＣとフラグＦがリセットされる。カウンタＣには、小振幅回数が保持され、フラグＦは、小振幅区間であることを表す。ステップＳ９０においては、さらに、時刻ｎがＣＭ候補の開始時刻に設定される。
【０２０２】
ステップＳ９１において、音声信号の振幅信号Ａ［ｎ］が取得される。ｎは、離散化された時刻に対応する。
【０２０３】
ステップＳ９２において、いまフラグＦがセットされているか否かが判定され、セットされていない場合、ステップＳ９３に進み、ステップＳ９１で取得された信号振幅Ａ［ｎ］が、予め設定されている所定の閾値Ａ１より小さいか否かが判定される。音声信号の振幅Ａ［ｎ］の値が閾値Ａ１より等しいか、それより大きいと判定された場合、ステップＳ９７に進み、時刻ｎの値がインクリメントされる。そして、ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達したか否かが判定され、終了時刻に達していない場合には、ステップＳ９１に戻り、次の時刻のタイミングにおける振幅Ａ［ｎ］が取得される。
【０２０４】
以上のような処理がステップＳ９３において、振幅Ａ［ｎ］の値が閾値Ａ１より小さいと判定されるまで繰り返し実行される。ステップＳ９３において、振幅Ａ［ｎ］の値が閾値Ａ１より小さいと判定された場合、ステップＳ９４に進み、カウンタＣの値が１だけインクリメントされ、かつ、フラグＦがセットされる。
【０２０５】
その後、ステップＳ９７に進み、時刻ｎがインクリメントされ、ステップＳ９８において、インクリメントされた時刻ｎの値がＣＭ候補の終了時刻に達しているか否かが判定され、まだ達していない場合には、ステップＳ９１に戻り、次のタイミングの振幅Ａ［ｎ］が取得される。
【０２０６】
そして、ステップＳ９２において、フラグＦがセットされているか否かが判定され、いまの場合、フラグＦがセットされているので、ステップＳ９５に進み、ステップＳ９１で取得された振幅Ａ［ｎ］の値が、予め設定されている閾値Ａ２より大きいか否かが判定される。なお、この閾値Ａ２の値は、ステップＳ９３において比較される閾値Ａ１より大きい値（Ａ２＞Ａ１）とされている。
【０２０７】
ステップＳ９５において、振幅Ａ［ｎ］の値が閾値Ａ２より大きくないと判定された場合、ステップＳ９７に進み、時刻ｎの値がインクリメントされる。
【０２０８】
ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達しているか否かが再び判定され、達していない場合には、ステップＳ９１に戻り、次のタイミングの振幅Ａ［ｎ］が取得される。
【０２０９】
ステップＳ９２において、フラグＦがセットされているか否かが再び判定され、いまの場合、まだセットされているので、ステップＳ９５に進み、取得された振幅Ａ［ｎ］が閾値Ａ２より大きくないと判定された場合、ステップＳ９７に進み、上述した場合と同様の処理が繰り返し実行される。
【０２１０】
以上のようにして、振幅Ａ［ｎ］の値が、より小さい閾値Ａ１より小さいと判定された場合、カウンタＣの値が１だけインクリメントされた後、振幅Ａ［ｎ］の値が、閾値Ａ１より若干大きい値の閾値Ａ２より大きくなるまで待機する。
【０２１１】
ステップＳ９５において、振幅Ａ［ｎ］の値が閾値Ａ２より大きいと判定された場合、ステップＳ９６に進み、フラグＦがリセットされる。その後ステップＳ９７に進み、時刻ｎの値がインクメントされる。ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達したか否かが判定され、達していない場合には、ステップＳ９１に戻り、それ以降の処理が繰り返し実行される。
【０２１２】
ステップＳ９８において、時刻ｎの値がＣＭ候補の終了時刻に達したと判定された場合、処理は終了される。
【０２１３】
ステップＳ９５において基準とされる閾値Ａ２の値を、ステップＳ９３の処理において設定される閾値Ａ１より大きく設定することで、判定処理に、いわいるヒステリシス特性を持たせることが可能となる。すなわち、振幅Ａ［ｎ］の値が、より小さい閾値Ａ１より小さくなったとき、小振幅区間に入ったと判定されるが、振幅Ａ［ｎ］の値が、閾値Ａ１より若干大きくなっても、閾値Ａ２より小さい場合には、まだ小振幅期間中であると判定され、閾値Ａ１より大きい閾値Ａ２よりさらに大きくなったとき、初めて、小振幅期間が終了したと判定される。これにより、小振幅期間中のわずかな振幅の変化に起因して、小振幅回数が必要以上に大きな値にカウントされることが防止される。
【０２１４】
以上のようにして、ＣＭ候補の期間における小振幅の回数がカウンタＣに設定され、このカウンタＣの値が特徴量Ｑ16として出力される。
【０２１５】
図１９は、小振幅回数の具体的な計測結果の例を表している。図１９における横軸は、小振幅回数を表し、縦軸は、相対度数を表している。図１９（Ａ）のグラフは、実験データから得られた４９０個のＣＭ候補のうち、実際にＣＭであった３５２個の度数分布を表しており、図１９（Ｂ）は、そのうちのＣＭでなかった１３８個の度数分布を表している。すなわち、図１９（Ｂ）は、本編中で偶然、音量条件や映像条件が満たされたためにＣＭ候補として検出されたものである。
【０２１６】
これらの図を比較して明らかのように、ＣＭである場合（図１９（Ａ））、小振幅回数は、０回から２回に集中するのに対して、ＣＭでない場合には（図１９（Ｂ））、小振幅回数は、７回乃至９回と多くなることがわかる。
【０２１７】
次に、図２０のフローチャートを参照して、ＣＭ検出部４の付加条件算出器２０が実行する小振幅区間長計算処理について説明する。最初に、ステップＳ１１０において、小振幅区間長を表すカウンタＤの値がリセットされ、かつ、時刻ｎの値がＣＭ候補の開始時刻にセットされる。
【０２１８】
次にステップＳ１１１において、音声信号の振幅Ａ［ｎ］が取得され、ステップＳ１１２において、ステップＳ１１１で取得された振幅Ａ［ｎ］の値が、予め設定されている所定の閾値Ａ１より小さいか否かが判定される。この閾値Ａ１は、図１８のステップＳ９３における閾値Ａ１と等しい値とされているが、異なる値とすることも可能である。
【０２１９】
ステップＳ１１２において、振幅Ａ［ｎ］の値が閾値Ａ１と等しいか、それより大きいと判定された場合、ステップＳ１１４に進み、時刻ｎの値がインクリメントされる。そして、ステップＳ１１５において、インクメントされた時刻ｎの値が、ＣＭ候補の終了時刻に達したか否かが判定され、終了時刻に達していない場合には、ステップＳ１１１に戻り、次のタイミングの振幅Ａ［ｎ］が取得される。
【０２２０】
そして、その振幅Ａ［ｎ］の値が、ステップＳ１１２において、閾値Ａ１より小さいか否かが再び判定され、振幅Ａ［ｎ］の値が閾値Ａ１より小さくない場合には、ステップＳ１１４に進み、時刻ｎの値がさらにインクメントされる。
【０２２１】
以下、同様の処理が繰り返し実行され、ステップＳ１１２において、振幅Ａ［ｎ］の値が、閾値Ａ１と等しいか、それより大きいと判定された場合、ステップＳ１１３に進み、カウンタＤの値が１度だけインクメントされる。その後、ステップＳ１１４に進み、時刻ｎの値がインクリメントされる。ステップＳ１１５において、時刻ｎの値が、ＣＭ候補の終了時刻に達したか否かが判定され、達していない場合には、ステップＳ１１１に戻り、次のタイミングの振幅Ａ［ｎ］が取得され、ステップＳ１１２において、その振幅Ａ［ｎ］の値が、閾値Ａ１より小さいか否かが再び判定される。振幅Ａ［ｎ］の値が閾値Ａ１より小さい場合には、ステップＳ１１３において、カウンタＤの値が再び１だけインクリメントされる。
【０２２２】
以上のような処理が繰り返し実行されることで、カウンタＤの値は、振幅Ａ「ｎ」の値が閾値Ａ１より小さい期間に対応する値となる。
【０２２３】
ステップＳ１１５において、時刻ｎの値がＣＭ候補の終了時刻に達したと判定された場合、ステップＳ１１６に進み、カウンタＤの値が規格化される。すなわち、カウンタＤの値は、サンプリング周波数ｆSで割算されることで、規格化され、その値が特徴量Ｑ17として出力される。
【０２２４】
図２１は、図１９における場合と同様に、４９０個のＣＭ候補のうちの３５２個の実際のＣＭと、１３８個のＣＭでなかった場合の小振幅区間長の総和を表している。図２１において、横軸は、小振幅区間長の総和（単位は秒）を表し、縦軸は、相対度数を表している。図２１（Ａ）と図２１（Ｂ）を比較して明らかなように、ＣＭの小振幅区間長の総和は、２０ms程度以下に集中している（図２１（Ａ））のに対して、ＣＭでない場合には、１．０ｓ以上の長さに集中している（図２１（Ｂ））。
【０２２５】
さらに、付加条件算出器２０は、音声信号の振幅の分散を式（２９）に基づいて演算する。この式（２９）において、ｓは、ＣＭ候補の離散開始時刻を表し、ｅは、ＣＭ候補の離散終了時刻を表し、vは、信号の分散を表す。付加条件算出器２０は、この値vをそのまま特徴量Ｑ18として出力するか、あるいはその平方根を取って、標準偏差を特徴量Ｑ18として出力する。あるいはまた、付加条件算出器２０は、標準偏差を平均値で割算し、相対標準偏差を特徴量Ｑ18として出力することができる。
【０２２６】
【数１４】
図２２は、振幅の分散の例を表している。図２２（Ａ）は、４９０個のＣＭ候補のうちの、３５２個の実際にＣＭであった場合の振幅の分散を表しており、図２２（Ｂ）は、１３８個のＣＭでなかった場合の分散を表している。なお、図２２において、横軸は、相対標準偏差を表しており、縦軸は、相対度数を表している。
【０２２８】
これらの図を比較して明らかなように、ＣＭの場合（図２２（Ａ））、振幅の相対標準偏差がほぼ０．６以下に集中しているのに対して、ＣＭでない場合には（図２２（Ｂ））、０．７以上となることが多いことがわかる。
【０２２９】
従って、小振幅回数、小振幅区間長、および振幅分散を特徴量として利用することで、より正確にＣＭを検出することが可能となる。
【０２３０】
次に、本発明の第２の実施の形態としての映像音声記録装置について以下に説明する。
【０２３１】
図２３には、第２の実施の形態の映像音声記録装置の概略構成を示す。
【０２３２】
なお、この図２３において、図１の各構成要素と同じ動作を行う部分については、同一の指示符号を付して、それらの説明は省略する。また、第２の実施の形態の映像音声記録装置の場合のＣＭ検出部４は、前記第１の具体例、第２の具体例、および第３の具体例の何れも適用できる。
【０２３３】
以下、図２３の構成において、新たに追加された各構成要素（１１０，１１１）と、ＣＭ検出部４において新たに拡張された機能についてのみ説明する。
【０２３４】
先ず、この第２の実施の形態の映像音声記録装置におけるＣＭ検出部４は、前述のように、式（１０）に示される各ＣＭ候補の特徴量Ｇ[n]を、内部で算出している。また、当該第２の実施の形態の場合、ＣＭ検出部４は、最終的にＣＭとして検出されたものに関して、その開始時刻及び時間長と共に、ＣＭ開始フレームｎ＝ｎsから終了フレームｎ＝ｎeに渡って、Ｇ[n]をＣＭデータベース１１０に出力するように機能が拡張されている。
【０２３５】
ＣＭデータベース１１０は、上記検出されたＣＭに関して、その開始時刻、時間長、特徴量Ｇ[n]を保存する。
【０２３６】
ＣＭ特徴量比較器１１１は、ユーザが入力する検索指令に基づき、データベース１１０に保存されている全て又は一部のＣＭから、ユーザが指定したＣＭと同じＣＭを抽出し、ＣＭ検索出力１１１ａとして出力する。
【０２３７】
このＣＭ特徴量比較器１１１の動作を、図２４を用いて説明する。
【０２３８】
先ず例えば、ユーザは、映像音声記録部５による映像信号及び音声信号を視聴することにより、検索したいＣＭを選択したとする。このとき、ＣＭ特徴量比較器１１１には、ステップＳ１２０として、上記ユーザによる選択に応じた検索指令が入力されることになる。
【０２３９】
このとき、ＣＭ特徴量比較器１１１は、ステップＳ１２１の処理として、上記入力された検索指令に基づいて、ＣＭデータベース１１０から、その検索指令に該当するＣＭの特徴量Ｇ[n]を取得する。
【０２４０】
続いて、ＣＭ特徴量比較器１１１は、ステップＳ１２２としてＣＭデータベース１１０より、検索される候補ＣＭを一つ選択し、さらにステップＳ１２３として、その候補ＣＭに対応する特徴量Ｇ'[n]を取得する。
【０２４１】
次に、ＣＭ特徴量比較器１１１は、ステップＳ１２４として、上記選択されたＣＭについて、式（３０）の計算を行い、それを予め定める所定の閾値Ｊthsdと比較する。
【０２４２】
【数１５】
ここで、このステップＳ１２４において、Ｊ（Ｇ，Ｇ'）＜Ｊthsdと判定したならば（Ｙｅｓ）、ＣＭ特徴量比較器１１１は、ステップＳ１２５に進み、特徴量が一致したとして検索結果を出力し、ステップＳ１２２に戻って再び他の候補ＣＭについて同様の処理を行う。一方、ステップＳ１２４において、Ｊ(Ｇ、Ｇ')＜Ｊthsdでないと判定した場合（Ｎｏ）、ＣＭ特徴量比較器１１１は、特徴量が一致しなかったとして、ステップＳ１２２に戻り、再び他の候補ＣＭについて同様の処理を行う。
【０２４４】
以上により、ＣＭ特徴量比較器１１１では、ユーザにより指定されたＣＭと同じＣＭを、映像音声記録部５に記録されているデータの中から検索することができる。
【０２４５】
次に、図２５には、上述した図２や図１５に示したＣＭ検出部４を実装する場合のハードウェア構成の一例を示す。
【０２４６】
この図２５において、Ａ／Ｄ変換器４０は、前記図２や図１５のＡ／Ｄ変換器１０及び１３の機能を備え、メモリ４１は、前記フレームメモリ１１及び音声信号バッファ１４の機能を備えている。
【０２４７】
Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２は、前記カットチェンジ検出器１１２、振幅検出器１５、相関検出器１６、スペクトル検出器１７、音源識別器１０１等の機能を備え、メモリ４３は、前記特徴量バッファ１８の機能を備えている。
【０２４８】
プロセッサ４４は、前記ＣＭ候補検出器１９、付加情報算出器２０、付加条件判定器２１、ルール判定器２２、ＣＭ確率データベース１０３等の機能を備えている。
【０２４９】
前記動作制御部２３の機能については、Ａ／ＶプロセッサまたはＤＳＰ（ディジタルシグナルプロセッサ）４２か、或いは、プロセッサ４４が備えることができる。
【０２５０】
以上説明したようの本発明の各実施の形態によれば、ＴＶ放送信号からＣＭ部分を正確に検出可能とすることにより、例えばＣＭを不要としている視聴者や、ＣＭを必要としている視聴者の双方に対して利便を図ることが可能となる。すなわち例えばＣＭ部分を不要とする場合、テレビ放送信号からＣＭ部分をスキップして視聴可能とする装置を実現でき、これは例えば番組本編のみを連続視聴する要求に対して有用な装置となる。また例えば、ＣＭ部分のみを必要とする場合、ＴＶ放送信号からＣＭ部分のみを視聴できる装置を実現でき、これは例えばＣＭのみを連続視聴する要求に対して有用な装置となる。
【０２５１】
さらに、ＴＶ放送信号からＣＭ部分を正確に検出可能とすることにより、例えば特定のＣＭの放送状況を調査する場合などにも有用となる。
【０２５２】
【発明の効果】
本発明の信号処理装置及び方法によれば、例えば、ＴＶ放送信号に含まれるコマーシャルメッセージ部分を高精度に検出又は検索可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の映像音声記録装置の概略構成図である。
【図２】第１の具体例のＣＭ検出部の詳細な構成図である。
【図３】ＣＭ検出部のフロントエンド部における映像信号処理の流れを示すフローチャートである。
【図４】ＣＭ検出部のフロントエンド部における音声信号処理の流れを示すフローチャートである。
【図５】ＣＭ検出部のＣＭ候補検出器における動作の流れを示すフローチャートである。
【図６】必須条件の算出例の説明に用いる図である。
【図７】第１の具体例のＣＭ検出部におけるＣＭ候補テーブルを示す図である。
【図８】ＣＭ検出部の付加条件算出器における特徴量の算出例の説明に用いる図である。
【図９】付加条件算出器の構成図である。
【図１０】スコア算出演算の際の単位ステップ関数、矩形関数、シグモイド型関数の説明に用いる図である。
【図１１】ルール判定器の動作の流れを示すフローチャートである。
【図１２】最小長さ優先ルールの説明に用いる図である。
【図１３】隣接優先ルールの説明に用いる図である。
【図１４】スコア優先ルールの説明に用いる図である。
【図１５】第２の具体例のＣＭ検出部の詳細な構成図である。
【図１６】第２の具体例のＣＭ検出部におけるＣＭ候補テーブル（拡張部分のみ）を示す図である。
【図１７】第３の具体例のＣＭ検出部におけるＣＭ候補テーブル（拡張部分のみ）を示す図である。
【図１８】ＣＭ検出部の付加条件算出器における小振幅回数計算処理を説明するフローチャートである。
【図１９】小振幅回数の計算の具体例を示す図である。
【図２０】ＣＭ検出部の付加条件算出器における小振幅区間長計算処理を説明するフローチャートである。
【図２１】小振幅区間長の具体例を示す図である。
【図２２】振幅分散の具体例を示す図である。
【図２３】本発明の第２の実施の形態の映像音声記録装置の概略構成図である。
【図２４】ＣＭ特徴量比較器の動作の流れを示すフローチャートである。
【図２５】ＣＭ検出部を実装する場合の一例としてのハードウェア構成図である。
【符号の説明】
１ チューナ、 ２ 復調器、 ３ 時計部、 ４ ＣＭ検出器、 ５ 映像音声記録部、 １０，１３ Ａ／Ｄ変換器、 １１ フレームメモリ、 １４ 音声信号バッファ、 １２ カットチェンジ検出器、 １５ 振幅検出器、 １６ 相関検出器、 １７ スペクトル検出器、 １８ 特徴量バッファ、 １９ＣＭ候補検出器、 ２０ 付加条件算出器、 ２１ 付加条件判定器、 ２２ルール判定器、 ２３ 動作制御部、 １０１ 音源識別器、 １０２ 番組ジャンルデータまたは番組ジャンル識別器、 １０３ ＣＭ確率データベース、１１０ ＣＭデータベース、 １１１ ＣＭ特徴量比較器
Claims (23)
- 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出する候補区間検出手段と、
上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出する特徴量抽出手段と、
上記特徴量に基づき、上記第１の信号の区間を検出する検出手段と、
前記検出手段により検出された上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する判定手段と
を有し、
上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、
上記判定手段で利用するルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である
信号処理装置。 - 上記検出手段は、上記特徴量に基づいて上記候補区間が上記第１の信号である可能性を評価する特徴量評価手段を有する
請求項１記載の信号処理装置。 - 上記検出手段は、上記特徴量に基づいて、上記候補区間の信号と、別途指定した第１の信号との一致を判定する一致判定手段を有する
請求項１記載の信号処理装置。 - 上記入力信号の振幅を検出する振幅検出手段を有し、
上記候補区間を検出する際の特徴的パターンとして、所定の時間間隔に対応して上記入力信号の振幅が所定の値より小さくなるパターンを検出する
請求項１記載の信号処理装置。 - 上記入力信号の変化を検出する変化検出手段を有し、
上記候補区間を検出する際の特徴的パターンとして、所定の時間間隔に対応して上記入力信号が急激に所定の変化量を超えて変化するパターンを検出する
請求項１記載の信号処理装置。 - 上記入力信号の所定の信号成分が、所定の範囲内に収まる単位区間を検出する一様成分検出手段を有し、
上記候補区間を検出する際の特徴的パターンとして、所定の時間間隔に対応して上記入力信号の単位区間についての所定の信号成分が一様になるパターンを検出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号の振幅を検出する振幅検出手段を有し、上記第１の信号らしさを表わす特徴量として、上記第１の信号の候補区間の前及び／又は後の入力信号の振幅の大きさを抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号の振幅を検出する振幅検出手段を有し、上記第１の信号らしさを表わす特徴量として、上記第１の信号の候補区間の前及び／又は後の入力信号の振幅が、所定の閾値より小さい区間の時間長を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号の相関を検出する相関検出手段を有し、上記第１の信号らしさを表わす特徴量として、上記第１の信号の候補区間における入力信号の相互相関を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号の振幅を検出する振幅検出手段を有し、上記第１の信号らしさを表わす特徴量として、上記第１の信号の候補区間における入力信号の平均振幅を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号の変化を検出する変化検出手段を有し、上記第１の信号らしさを表わす特徴量として、上記第１の信号の候補区間において入力信号が急激に変化する回数又は頻度を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、複数のモードを取り得る入力信号の当該モードを検出するモード検出手段を有し、上記第１の信号らしさを表わす特徴量として、上記第１の信号の候補区間における上記モードを抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記第１の信号らしさを表す特徴量として、上記第１の信号の候補区間の前又は後に続く第１の信号の有無を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号のスペクトルを検出するスペクトル検出手段を有し、上記第１の信号らしさを表す特徴量として、上記第１の信号の候補区間の前又は後の境界における上記スペクトルの変化を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記入力信号の信号源を識別する信号源識別手段を有し、上記第１の信号らしさを表す特徴量として、上記第１の信号の候補区間における信号源の種類を抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、複数のジャンルに分け得る上記入力信号のジャンルを識別するジャンル識別手段を有し、上記第１の信号らしさを表す特徴量として、上記第１の信号の候補区間の前後の信号のジャンルを抽出する
請求項１記載の信号処理装置。 - 上記特徴量抽出手段は、上記第１の信号らしさを表す特徴量として、上記入力信号の振幅が基準値より小さいときの回数、その長さ、または上記入力信号の振幅の分散を抽出する
請求項１記載の信号処理装置。 - 上記特徴量評価手段は、上記特徴量を荷重加算し、当該加重加算後の特徴量に基づき、上記候補区間が上記第１の信号である可能性を評価する
請求項２記載の信号処理装置。 - 上記入力信号を記録及び／又は再生する記録及び／又は再生手段を有する
請求項１記載の信号処理装置。 - 上記第１の信号の区間をスキップするスキップ手段を有する
請求項１記載の信号処理装置。 - 上記第１の信号の区間のみを取り出す取り出し手段を有する
請求項１記載の信号処理装置。 - 上記入力信号は映像及び／又は音声信号からなり、上記第１の信号の区間はコマーシャルメッセージ区間である
請求項１記載の信号処理装置。 - 少なくとも第１の信号の区間とそれ以外の信号の区間とが時分割的に存在する入力信号から、所定の時間間隔を持つ信号の特徴的パターンに基づいて、第１の信号の候補区間を検出し、
上記候補区間内又はその前後の入力信号から、上記第１の信号らしさを表わす特徴量を抽出し、
上記特徴量に基づき、上記第１の信号の区間を検出し、
検出した上記第１の信号の区間について、ルール判定を行い第１の信号の区間を決定する
ステップを含み、
上記候補区間は、音量条件と映像条件を満たす所定の長さのフレーム区間であり、
上記ルール判定は、ＣＭ候補区間中に他のＣＭ候補が存在している場合は最小長さ優先ルールを利用し、前記最小長さ優先ルール適用後に他のＣＭ候補が存在している場合には隣接優先ルールを利用し、前記隣接優先ルール適用後に他のＣＭ候補が存在している場合にはスコア優先ルールを利用する判定である
信号処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000307907A JP4300697B2 (ja) | 2000-04-24 | 2000-10-06 | 信号処理装置及び方法 |
| KR1020010021653A KR100903160B1 (ko) | 2000-04-24 | 2001-04-21 | 신호처리장치 및 방법 |
| US09/840,939 US7742680B2 (en) | 2000-04-24 | 2001-04-24 | Apparatus and method for processing signals |
| EP01109928A EP1150446A3 (en) | 2000-04-24 | 2001-04-24 | Apparatus and method for processing signals and for recognising predetermined patterns in a signal, for example for detecting commercial messages in a broadcast signal |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000127658 | 2000-04-24 | ||
| JP2000-127658 | 2000-04-24 | ||
| JP2000307907A JP4300697B2 (ja) | 2000-04-24 | 2000-10-06 | 信号処理装置及び方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002016873A JP2002016873A (ja) | 2002-01-18 |
| JP2002016873A5 JP2002016873A5 (ja) | 2007-04-19 |
| JP4300697B2 true JP4300697B2 (ja) | 2009-07-22 |
Family
ID=26590976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000307907A Expired - Fee Related JP4300697B2 (ja) | 2000-04-24 | 2000-10-06 | 信号処理装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7742680B2 (ja) |
| EP (1) | EP1150446A3 (ja) |
| JP (1) | JP4300697B2 (ja) |
| KR (1) | KR100903160B1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4507351B2 (ja) * | 2000-04-27 | 2010-07-21 | ソニー株式会社 | 信号処理装置及び方法 |
| JP2002010237A (ja) * | 2000-06-22 | 2002-01-11 | Sony Corp | 情報送受信システム及び方法、情報処理装置及び方法 |
| JP3794257B2 (ja) * | 2000-09-27 | 2006-07-05 | 日本ビクター株式会社 | 映像信号再生装置 |
| KR100916959B1 (ko) * | 2001-05-11 | 2009-09-14 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 압축된 오디오에서의 신호 전력 추정 |
| US7376159B1 (en) | 2002-01-03 | 2008-05-20 | The Directv Group, Inc. | Exploitation of null packets in packetized digital television systems |
| US7286473B1 (en) | 2002-07-10 | 2007-10-23 | The Directv Group, Inc. | Null packet replacement with bi-level scheduling |
| US20040167767A1 (en) * | 2003-02-25 | 2004-08-26 | Ziyou Xiong | Method and system for extracting sports highlights from audio signals |
| US7647221B2 (en) | 2003-04-30 | 2010-01-12 | The Directv Group, Inc. | Audio level control for compressed audio |
| US7912226B1 (en) | 2003-09-12 | 2011-03-22 | The Directv Group, Inc. | Automatic measurement of audio presence and level by direct processing of an MPEG data stream |
| JP2007243232A (ja) * | 2004-04-19 | 2007-09-20 | Pioneer Electronic Corp | 動画像情報記録装置、動画像情報記録方法、並びに、動画像情報記録プログラムおよびそれを記録した記録媒体 |
| JPWO2005104124A1 (ja) * | 2004-04-19 | 2008-07-31 | パイオニア株式会社 | 動画像情報記録装置、動画像情報記録方法、並びに、動画像情報記録プログラムおよびそれを記録した記録媒体 |
| JP2006215418A (ja) * | 2005-02-07 | 2006-08-17 | Nissan Motor Co Ltd | 音声入力装置及び音声入力方法 |
| US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
| JP4534791B2 (ja) * | 2005-02-23 | 2010-09-01 | ソニー株式会社 | Ｃｍ検索方法、ｃｍ検索結果受給方法、ｃｍ検索装置、ｃｍ検索結果受給装置及びｃｍ録画予約システム |
| JP4321518B2 (ja) | 2005-12-27 | 2009-08-26 | 三菱電機株式会社 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
| JP4442585B2 (ja) | 2006-05-11 | 2010-03-31 | 三菱電機株式会社 | 楽曲区間検出方法、及びその装置、並びにデータ記録方法、及びその装置 |
| JP4611952B2 (ja) | 2006-09-26 | 2011-01-12 | 株式会社日立製作所 | 番組録画装置及びコマーシャル検出方法 |
| JP2008216618A (ja) * | 2007-03-05 | 2008-09-18 | Fujitsu Ten Ltd | 音声判別装置 |
| JP4840325B2 (ja) | 2007-10-19 | 2011-12-21 | 三菱電機株式会社 | 映像音声記録装置 |
| BRPI0921624A2 (pt) * | 2008-11-03 | 2016-01-05 | Telefonica Sa | método e sistema de classificação da informação audiovisual |
| JP4427600B1 (ja) | 2008-11-28 | 2010-03-10 | 株式会社東芝 | 映像解析装置およびプログラム |
| US9729120B1 (en) | 2011-07-13 | 2017-08-08 | The Directv Group, Inc. | System and method to monitor audio loudness and provide audio automatic gain control |
| CN103426439B (zh) * | 2013-05-08 | 2016-04-27 | 杭州联汇数字科技有限公司 | 一种广播电视音频信号内容一致性检测方法 |
| EP3562401B1 (en) * | 2016-12-28 | 2021-06-16 | Koninklijke Philips N.V. | Method of characterizing sleep disordered breathing |
| JP7000200B2 (ja) * | 2018-02-22 | 2022-01-19 | 株式会社野村総合研究所 | 広告効果予測システム、方法およびプログラム |
| JP7275711B2 (ja) | 2019-03-20 | 2023-05-18 | ヤマハ株式会社 | オーディオ信号の処理方法 |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0721823B2 (ja) | 1985-10-25 | 1995-03-08 | ソニー株式会社 | 画像入力装置 |
| JP3158291B2 (ja) | 1991-07-22 | 2001-04-23 | ソニー株式会社 | 表示装置 |
| JPH05137041A (ja) * | 1991-08-30 | 1993-06-01 | Fuji Photo Film Co Ltd | デジタル電子スチルカメラ |
| US6208271B1 (en) * | 1998-09-04 | 2001-03-27 | Brad A. Armstrong | Remote controller with analog button(s) |
| US5436653A (en) | 1992-04-30 | 1995-07-25 | The Arbitron Company | Method and system for recognition of broadcast segments |
| US5692093A (en) | 1993-01-08 | 1997-11-25 | Srt, Inc. | Method and apparatus for eliminating television commercial messages |
| JP3006338B2 (ja) * | 1993-03-26 | 2000-02-07 | 松下電器産業株式会社 | 運動領域輪郭検出装置 |
| JP2785641B2 (ja) | 1993-04-14 | 1998-08-13 | 日本電気株式会社 | 画像符号化装置 |
| US5343251A (en) * | 1993-05-13 | 1994-08-30 | Pareto Partners, Inc. | Method and apparatus for classifying patterns of television programs and commercials based on discerning of broadcast audio and video signals |
| US6002393A (en) * | 1995-08-22 | 1999-12-14 | Hite; Kenneth C. | System and method for delivering targeted advertisements to consumers using direct commands |
| JP3332756B2 (ja) | 1996-03-14 | 2002-10-07 | 三洋電機株式会社 | テレビジョン放送信号の記録再生装置 |
| JPH09312827A (ja) | 1996-05-22 | 1997-12-02 | Sony Corp | 記録再生装置 |
| JP3315879B2 (ja) * | 1996-10-25 | 2002-08-19 | 松下電器産業株式会社 | 画像記録装置及び画像再生装置 |
| US6278836B1 (en) * | 1996-08-27 | 2001-08-21 | Matsushita Electric Industrial Co., Ltd. | Information reproducing apparatus for reproducing video signals and program information which are recorded in information recording media |
| JPH10215436A (ja) | 1997-01-30 | 1998-08-11 | Sony Corp | 記録再生装置および方法、並びに記録媒体 |
| US6128712A (en) * | 1997-01-31 | 2000-10-03 | Macromedia, Inc. | Method and apparatus for improving playback of interactive multimedia works |
| JPH10222933A (ja) | 1997-02-05 | 1998-08-21 | Sony Corp | 情報記録装置および情報記録方法、並びに情報伝送装置および情報伝送方法 |
| JPH10224722A (ja) * | 1997-02-07 | 1998-08-21 | Sony Corp | コマーシャル検出装置及び検出方法 |
| JP3138235B2 (ja) * | 1997-06-17 | 2001-02-26 | 三洋電機株式会社 | テレビジョン放送の記録再生装置 |
| JPH1153783A (ja) | 1997-07-31 | 1999-02-26 | Hitachi Ltd | テレビジョン信号記録再生装置 |
| JPH1169322A (ja) | 1997-08-20 | 1999-03-09 | Victor Co Of Japan Ltd | Ｔｖコマーシャル放送チェック用信号挿入方法及びシステム並びにｔｖコマーシャル放送チェック方法及びシステム |
| US6226444B1 (en) * | 1997-09-30 | 2001-05-01 | Intel Corporation | Method and apparatus for recording program data without commercials |
| JPH11136634A (ja) * | 1997-10-31 | 1999-05-21 | Victor Co Of Japan Ltd | コマーシャル検出装置及びコマーシャル検出方法並びにコマーシャル検出プログラムの記録された記録媒体及びコマーシャルスキップ記録装置 |
| US6029045A (en) * | 1997-12-09 | 2000-02-22 | Cogent Technology, Inc. | System and method for inserting local content into programming content |
| US6100941A (en) * | 1998-07-28 | 2000-08-08 | U.S. Philips Corporation | Apparatus and method for locating a commercial disposed within a video data stream |
| JP2000115726A (ja) * | 1998-10-06 | 2000-04-21 | Toshiba Corp | ディジタル放送送信装置及びディジタル放送受信装置 |
| US6671880B2 (en) * | 1998-10-30 | 2003-12-30 | Intel Corporation | Method and apparatus for customized rendering of commercials |
| JP2000209553A (ja) * | 1998-11-13 | 2000-07-28 | Victor Co Of Japan Ltd | 情報信号記録装置及び再生装置 |
| US7653925B2 (en) * | 1999-11-17 | 2010-01-26 | Ricoh Company, Ltd. | Techniques for receiving information during multimedia presentations and communicating the information |
| US6882269B2 (en) * | 2000-07-14 | 2005-04-19 | Darren Murrey | System and method for remotely coordinating the secure delivery of goods |
-
2000
- 2000-10-06 JP JP2000307907A patent/JP4300697B2/ja not_active Expired - Fee Related
-
2001
- 2001-04-21 KR KR1020010021653A patent/KR100903160B1/ko not_active Expired - Fee Related
- 2001-04-24 US US09/840,939 patent/US7742680B2/en not_active Expired - Fee Related
- 2001-04-24 EP EP01109928A patent/EP1150446A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| KR100903160B1 (ko) | 2009-06-17 |
| EP1150446A3 (en) | 2006-02-01 |
| EP1150446A2 (en) | 2001-10-31 |
| US20020021759A1 (en) | 2002-02-21 |
| JP2002016873A (ja) | 2002-01-18 |
| US7742680B2 (en) | 2010-06-22 |
| KR20010099712A (ko) | 2001-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4300697B2 (ja) | 信号処理装置及び方法 | |
| JP4332988B2 (ja) | 信号処理装置及び方法 | |
| EP1067800A1 (en) | Signal processing method and video/voice processing device | |
| US7214868B2 (en) | Acoustic signal processing apparatus and method, signal recording apparatus and method and program | |
| US7170566B2 (en) | Family histogram based techniques for detection of commercials and other video content | |
| EP1531626B1 (en) | Automatic summarisation for a television programme suggestion engine based on consumer preferences | |
| US20030016945A1 (en) | Apparatus and method for summarizing video information, and processing program for summarizing video information | |
| EP1081960A1 (en) | Signal processing method and video/voice processing device | |
| JP2005173569A (ja) | オーディオ信号の分類装置及び方法 | |
| US20060114992A1 (en) | AV signal processing apparatus for detecting a boundary between scenes, method, recording medium and computer program therefor | |
| US20040201784A9 (en) | System and method for locating program boundaries and commercial boundaries using audio categories | |
| KR20060027826A (ko) | 비디오 처리장치, 비디오 처리장치용 집적회로, 비디오처리방법, 및 비디오 처리 프로그램 | |
| US20090279840A1 (en) | Image Digesting Apparatus | |
| KR101385087B1 (ko) | 정보 신호 처리 방법, 정보 신호 처리 장치 및 컴퓨터프로그램 기록 매체 | |
| US7962330B2 (en) | Apparatus and method for automatic dissection of segmented audio signals | |
| JP4512969B2 (ja) | 信号処理装置及び方法、記録媒体、並びにプログラム | |
| JP2001024980A (ja) | 信号処理装置及び方法 | |
| US8234278B2 (en) | Information processing device, information processing method, and program therefor | |
| US20060224616A1 (en) | Information processing device and method thereof | |
| US20100079673A1 (en) | Video processing apparatus and method thereof | |
| JP2005167456A (ja) | Ａｖコンテンツ興趣特徴抽出方法及びａｖコンテンツ興趣特徴抽出装置 | |
| US20080095512A1 (en) | Information Signal Processing Method And Apparatus, And Computer Program Product | |
| JP4507351B2 (ja) | 信号処理装置及び方法 | |
| WO2009119272A1 (en) | Video processing apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070302 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090225 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |