JP4253934B2

JP4253934B2 - 信号処理装置及び方法

Info

Publication number: JP4253934B2
Application number: JP19069399A
Authority: JP
Inventors: 素嗣安部; 淳松本; 正之西口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-07-05
Filing date: 1999-07-05
Publication date: 2009-04-15
Anticipated expiration: 2019-07-05
Also published as: JP2001024980A; EP1067788A2

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置及び方法に関し、例えば放送或いは記録された放送番組等の信号のカテゴリを自動的に判定可能とした信号処理装置及び方法に関する。
【０００２】
【従来の技術】
従来より、例えば一般的なテレビジョン放送やケーブルテレビジョン放送、衛星放送、通信衛星放送、ラジオ放送などによる各種の放送番組を、記録装置（録画装置や録音装置）にて予約記録（予約録画や予約録音）する場合には、当該記録機器に対して予め記録チャンネル（放送チャネル、周波数）と記録開始時刻および記録終了時刻を指定する記録予約がなされる。しかし、実際の放送は、例えば生中継番組の延長などによって放送時間の変更が頻繁に起こり、そのため記録機器による予約記録の失敗が多発している。
【０００３】
このような放送時間の変更に起因する予約記録の失敗を無くすために、例えば特開平９−３２２１０５号公報には、放送番組の映像信号や音声信号以外に、番組放送時間情報を別途送信するようにし、受信側ではその番組放送時間情報を利用して予約記録時間の変更を行う技術が開示されている。しかし、この技術の場合、送信側は、実際の放送番組の他に上記番組放送時間情報のような特殊なコードを送出する必要があり、また、受信側では、その特殊なコードを解読する必要があるため、一般の放送には適用されていない。
【０００４】
【発明が解決しようとする課題】
したがって、上述のような特殊なコードを送受信するようなことを行わずに、予約記録の失敗を無くすためには、例えば、放送されている映像信号や音声信号から自動的に放送内容や放送番組のカテゴリを識別し、当該識別した放送内容や放送番組のカテゴリに基づいて記録を制御するような機能を、受信側の装置に備えさせることが望ましい。
【０００５】
例えば放送内容を自動的に識別する技術としては、従来より、放送番組中のＣＭ（コマーシャル）を検出して自動的にスキップする技術が存在している。すなわち、例えば特開平３−１５８０８６号公報や特開平３−２６２２８７号公報には、テレビジョン放送におけるＣＭと放送番組の放送モード（例えばステレオ／二か国語／モノラルなど）が異なることを利用し、その放送モードの変化を検出することにより現在の放送内容がＣＭであるのか放送番組であるのかを判定し、その判定結果に基づいてＣＭのみを自動的スキップさせる技術が開示されている。また、例えば特開平８−３１７３４２号公報には、テレビジョン放送におけるＣＭと放送番組との間には映像信号の黒レベル（ブラックレベル）と音声信号の無音区間が存在することを利用し、映像信号の黒レベルと白レベルの変化や音声信号の無音区間を検出することにより現在の放送内容がＣＭであるのか放送番組であるのかを判定し、その判定結果に基づいてＣＭのみを自動的スキップさせる技術が開示されている。しかしながら、これら技術は、何れもＣＭをスキップすることに特化しており、放送番組のカテゴリを判別することまではできない。
【０００６】
また、放送番組のカテゴリを自動的に識別する技術として、従来より、特開平１０−１８７１８２号公報には、音声信号を音声と音楽及び音響区間に分類し、全ての音声信号が入力された後に、それら音声と音楽及び音響区間の発生パターンを求め、当該発生パターンに基づいて放送番組の映像情報をカテゴリ分類するような技術が開示されている。しかしながら、この技術では、全ての音声信号が入力された後に上記発生パターンを求めるようにしているため、時系列として到来する信号を実時間で因果的にカテゴリ分類することはできず、したがって、この技術を放送番組についての録画や録音の制御に用いることはできない。また、この技術では、音声信号を音楽、音声、音響の３種に確定的に分類するため、例えば音響音である自動車のエンジン音などを音楽であると誤検出した場合、後段の処理ではもはやその誤りを訂正することができず、放送番組のように多くのカテゴリ含むものをそれぞれのカテゴリ毎に分類することは極めて難しい。さらに、この技術では、音声信号のみを用いており、例えばテレビジョン放送における映像信号のもつ有用な情報が利用されていない。
【０００７】
そこで、本発明はこのような状況に鑑みてなされたものであり、各種の放送番組の内容やカテゴリを、正確且つ確実に分類して識別することにより、例えば、記録装置における予約記録を制御可能とし、予約記録の失敗を無くすことを可能にするだけでなく、さらに、記録する番組の自動フィルタリングや、ＣＭの自動スキップ、番組の自動編集をも可能とする、信号処理装置及び方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の信号処理装置は、入力信号中の映像信号及び／又は音声信号から短時間フレーム毎に複数の少なくとも上記音声信号の調波構造度を含む特徴ベクトルを生成する特徴ベクトル生成部と、上記複数の特徴ベクトルから中時間フレーム毎に複数の少なくとも音源カテゴリ確率を含む分類ベクトルを生成する分類ベクトル生成部と、上記複数の分類ベクトルから長時間フレーム毎に、一つまたは複数のカテゴリ分類ベクトルを生成するカテゴリ分類生成部と、カテゴリ分類ベクトルに基づいて、カテゴリを判別するカテゴリ判別部とを有する。
【０００９】
本発明の信号処理方法は、入力信号中の映像信号及び／又は音声信号から短時間フレーム毎に複数の少なくとも上記音声信号の調波構造度を含む特徴ベクトルを生成する特徴ベクトル生成工程と、上記複数の特徴ベクトルから中時間フレーム毎に複数の少なくとも音源カテゴリ確率を含む分類ベクトルを生成する分類ベクトル生成工程と、上記複数の分類ベクトルから長時間フレーム毎に一つまたは複数のカテゴリ分類ベクトルを生成するカテゴリ分類生成工程と、カテゴリ分類ベクトルに基づいて、カテゴリを判別するカテゴリ判別工程とを有する。
【００１０】
【発明の実施の形態】
本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００１１】
図１には、本発明の信号処理装置及び方法が適用される一実施の形態としての番組カテゴリ自動分類装置の概略構成例を示す。
【００１２】
この図１に示す本発明実施の形態の番組カテゴリ自動分類装置は、大きく４つの処理部３〜６に分かれており、各処理部３〜６はそれぞれ異なる時間スケールに対して階層的に処理を行う。また、図２には、図１の各処理部３〜６での時間関係を示す。
【００１３】
すなわち、本実施の形態の番組カテゴリ自動分類装置の各処理部３〜６での処理の概要は次の通りである。
【００１４】
先ず、短時間信号処理部３では、音声入力端子１から供給された音声信号と映像入力端子２から供給された映像信号を、例えば数十ミリ秒の短時間の信号素片（以下、短時間フレームと呼ぶ）に分割し、それら短時間フレーム毎の信号から特徴量抽出を行う。当該短時間信号処理部３にて短時間フレーム毎に抽出された特徴量についての情報は、中時間信号処理部４に送られる。
【００１５】
中時間信号処理部４では、上記短時間フレーム毎に抽出された特徴量についての情報を例えば数秒単位の中時間（以下、中時間フレームと呼ぶ）毎にまとめ、この中時間フレーム毎の特徴量から音源（音声、音楽等）の識別やシーンチェンジ（映像がある場合）の判別などを行う。当該中時間信号処理部４での処理により得られた中時間フレーム毎の音源識別情報やシーンチェンジ判別情報は、長時間信号処理部５に送られる。
【００１６】
長時間信号処理部５では、上記中時間信号処理部４で得られた音源識別情報やシーンチェンジ判別情報を、例えば数十秒単位の長時間（以下、長時間フレームと呼ぶ）毎にまとめ、この長時間フレーム毎の情報から番組カテゴリの識別を行う。当該長時間信号処理部５により得られた番組カテゴリ識別情報は、ストリーム処理部６に送られる。
【００１７】
ここで、上記長時間信号処理部５における当該数十秒単位の長時間フレームの信号処理では、例えばニュース中のスポーツシーンなど、番組全体に対して必ずしも整合しない結果を出力することが起こる可能性がある。そのため、ストリーム処理部６では、長時間信号処理部５により得られた長時間フレーム毎の番組カテゴリ情報を逐次的に過去の履歴と統合し、挿入部分や誤識別に対する全体の番組の整合性を確保する。
【００１８】
以下、テレビジョン放送による映像信号と音声信号が映像入力端子２と音声入力端子１に供給されている場合を一例に挙げて、図１に示した本実施の形態の番組カテゴリ自動分類装置の各処理部３〜６における信号処理の詳細について説明する。なお、ここではテレビジョン放送を例に挙げたが、ラジオ放送の場合は音声信号のみを用いて番組カテゴリの分類を行うことになる。
【００１９】
短時間信号処理部３では、音声信号と映像信号を例えば数十ミリ秒程度の短時間フレーム毎に区分し、当該短時間フレーム毎の音声信号と映像信号からそれぞれ特徴抽出を行う。この短時間フレームの時間長は、一般的な音声認識や圧縮などに用いられるフレーム時間と同等であり、本実施の形態では、当該短時間フレーム長Ｗ_sを例えば３３ｍｓ程度とし、また、短時間フレーム化を行う短時間フレーム周期Ｔ_sをＷ_s／２（≒１７ｍｓ）とする。なお、一般的な音声認識や圧縮などに用いられるフレーム時間については、例えば、文献「L.R.Rabiner and R.W.Schafer : "Digital Signal Processing of Speech Signals,"Prentice-Hall,NJ,(1978)（鈴木訳：音声のディジタル信号処理、コロナ社）」に記載されている。
【００２０】
先ず、短時間信号処理部３では、音声信号と映像信号が例えばアナログ信号として入力された場合、それらアナログ信号を図示しないＡ／Ｄ（アナログ／ディジタル）変換部によりディジタル信号化する。
【００２１】
次に、短時間信号処理部３では、そのディジタル音声信号及びディジタル映像信号を、上記短時間フレーム長Ｗ_sの時間毎に区切り、その短時間フレーム毎に後述するようにして特徴量を求め、さらにその特徴量からＮ_s次元の特徴ベクトルｕ_pを生成して出力する。なお、ｐ（ｐ＝１，２，３，・・・，Ｐ）は、短時間フレームを表すインデックスであり、短時間フレーム周期Ｔ_sを単位とした時間に対応する。
【００２２】
より具体的に説明すると、短時間信号処理部３は、音声信号から音源の性質を表すのに有効な特徴量を求めるための構成として、波形統計分析部１１とスペクトル分析部１２とＬＰＣ分析（線形予測分析）部１３を備えており、波形統計分析部１１による波形統計分析と、スペクトル分析部１２によるスペクトル分析と、ＬＰＣ分析部１３によるＬＰＣ分析とを用いて、音源の性質を表す特徴量を求める。
【００２３】
上記波形統計分析部１１では、短時間フレーム内の音声信号の平均パワーを、上記音源の性質を表す特徴量の一つとして求める。すなわち、音楽や一部の環境音（例えば自動車音や機械音など）では平均パワーが比較的一定であり、また、一部の楽音（例えば打楽器音など）は減衰性があり、また、音声や一部の環境音（例えば拍手や歓声など）ではばらつきが大きくなるなどの性質を有するため、当該短時間フレーム内の音声信号の平均パワーは音源識別に有効な特徴量となる。
【００２４】
上記スペクトル分析部１２では、短時間フレーム内の音声信号をスペクトル分析し、当該短時間フレーム毎のスペクトル包絡の重心と２次モーメント及び調波構造度を、上記音源の性質を表す特徴量の一つとして求める。すなわち、当該短時間フレーム内のスペクトル包絡の重心と２次モーメントは、スペクトルの概形を表す統計量であり、例えば音声と音楽では一般に音楽の方が帯城幅が広いことが多いなど、音源によってスペクトルの形状と広がりに特徴がある場合が多く、したがって当該重心と２次モーメントは音源識別に有効な特徴量となる。また、調波構造度はスペクトルの極大位置の整数倍関係を評価する量であり、スペクトル分析部１２では、例えばヒストグラム法を用いて以下の処理手順により調波構造度を求める。
【００２５】
先ず、第１の処理として、短時間フレーム内のスペクトルの有意な成分の極大周波数を微分法などで求める。次に、第２の処理として、極大周波数およびその整数分の１の周波数に関するヒストグラムを作成する。次に、第３の処理として、ヒストグラムの最大値を極大値の数で除算規格化し、第一調波構造度とする。また、第４の処理として、ヒストグラムの最大周波数を、第一ピッチ周波数とする。次に、第５の処理として、第一ピッチ周波数の整数倍の成分をすべて取り除き、再び第２の処理によりヒストグラムを作成する。その後、第６の処理として、ヒストグラムの最大値を第３の処理による極大値の数で規格化し、第二調波構造度とする。また、第７の処理として、ヒストグラム最大の周波数を、第二ピッチ周波数とする。以上の処理により、単独音声や単一楽音のように構成成分の多くが調波構造を成すものは、第一調波構造度のみが有意となる。一方で、複数音声や和音のように、調波構造を持つ音が複数重なっている場合には、第一、第二調波構造度が共に有意な値を持つ。また、雑音など調波構造を持たないものの場合、調波構造度は何れも小さくなる。このことから、この特徴量は、音源の識別および混合音の識別に有効な特徴量となる。なお、ヒストグラム法については、文献「T.W.Parson:"Separation of Speech from Interfering Speech by means of Harmonic Selection," J.Acoust.Soc.Am.,60,4,911/918(1976)」に記載されている。
【００２６】
上記ＬＰＣ分析部１３では、ＬＰＣ係数、ＬＰＣ残差エネルギ、及びＬＰＣ残差に対する短時間相関を用いて得たピッチ周波数を、上記音源の性質を表す特徴量の一つとして求める。なお、これについては、上記文献「L.R.Rabiner and R.W.Schafer : "Digital Signal Processing of Speech Signals,"Prentice-Hall,NJ,(1978)（鈴木訳：音声のディジタル信号処理、コロナ社）」に記載されている。これらＬＰＣ分析によるＬＰＣ係数、ＬＰＣ残差エネルギ、及びＬＰＣ残差に対する短時間相関は、音声や楽音をよく記述する特徴量であり、音源の識別に有効である。このことについては、文献「河地、梶田、武田、板倉：”ＶＱ歪みに基づく放送音の自動分類”，信学技法、DSP97-95/SP97-50,43/48(1997)」や「前田祐児：”音声と楽音の自動識別方法”，信学技法、CQ98-61,9/13(1998)」に記載されている。
【００２７】
なお、この図１の例では、波形統計分析部１１とスペクトル分析部１２とＬＰＣ分析部１３のそれぞれにおいて音声信号を短時間フレーム化してそれぞれ上記分析を行う例を挙げているが、これら各分析部１１〜１３の前段に音声信号を短時間フレーム化するフレーム化手段を設け、当該フレーム化手段にて短時間フレーム化された音声信号を各分析部１１〜１３に送るようにしてもよい。
【００２８】
また、短時間信号処理部３は、短時間フレーム毎の映像信号の特徴量を求めるための構成として、画像統計分析部１４と動画像処理部１５を備えており、画像統計分析部１４による画像統計分析と、動画像処理部１５によおる動画像処理とを用いて、映像の性質を表す特徴量を求める。
【００２９】
上記画像統計分析部１４では、１フレーム画像の輝度の平均と分散を、上記映像の特徴量の一つとして求める。これら輝度の平均と分散は、番組切り替わりに現れることの多いブラックレベル（黒レベル）画像の検出や、アニメーションのように同一色部分（べた部分）の多い画像を特徴付けるのに有効である。なお、ここでの１フレーム画像とは、１／３０秒の１フレーム時間の画像のことである。言い換えると、短時間信号処理部３における前記短時間フレーム長Ｗ_sは、当該映像信号の１フレームの時間（１／３０ｓ≒３３ｍｓ）に合わせて設定されている。
【００３０】
上記動画像処理部１５では、フレーム間の画像差分エネルギを、上記映像の特徴量の一つとして求める。当該フレーム間の画像差分エネルギは、シーン切り替えなどを特徴付けるのに有効な特徴量となる。
【００３１】
上述した波形統計分析部１１、スペクトル分析部１２、ＬＰＣ分析部１３から得られた音声信号についての各特徴量と、上記画像統計分析部１４、動画像処理部１４から得られた映像信号についての各特徴量とは、特徴ベクトル生成部１６に送られる。当該特徴ベクトル生成部１６では、短時間フレーム毎の各特徴量から、その短時間フレーム毎にＮ_s次元の特徴ベクトルｕ_pを求めて出力する。当該特徴ベクトルｕ_pは中時間信号処理部４に送られる。
【００３２】
図３には、上記短時間信号処理部３における各分析部１１〜１４及び処理部１５での処理と、それら分析及び処理により得られる各特徴量（特徴ベクトルｕ_pのそれぞれの成分）と、次元との対応表を示す。すなわち、この図３に示す対応表によれば、波形統計分析処理では、特徴量として短時間フレームの平均パワー（１次）が得られ、スペクトル分析処理では、特徴量としてスペクトル包絡の重心（１次）と分散（１次）、調波構造度（２次）が得られ、線形予測分析（ＬＰＣ分析）では、特徴量としてＬＰＣ係数（１２次）、ＬＰＣ残差エネルギ（１次）、ピッチ周波数（１次）が得られ、画像統計分析では、特徴量として輝度平均（１次）と輝度分散（１次）が得られ、動画像処理では、特徴量としてフレーム間差分エネルギ（１次）が得られることが表されている。
【００３３】
次に、中時間信号処理部４では、上記短時間信号処理部３から供給された短時間フレーム毎の特徴ベクトルｕ_pを前記数秒単位の中時間フレーム毎にまとめ、この中時間フレーム毎の特徴ベクトルｕ_pから音源の識別やシーンチェンジの判別などを行う。ここで、当該中時間フレームの長さは、フレーム化された音声信号の音声／音楽／複数音声など、特に音源に対応するカテゴリに分類するために必要かつ十分な時間長となされる。本実施の形態では、当該中時間フレーム長Ｗ_mを例えば１ｓ（秒）程度とし、中時間フレーム化を行うための中時間フレーム周期Ｔ_mをＷ_m／２としている。なお、音源分類のために同等の時間長が有効であることについては、前記文献「河地、梶田、武田、板倉：”ＶＱ歪みに基づく放送音の自動分類”，信学技法、DSP97-95/SP97-50,43/48(1997)」や文献「前田祐児：”音声と楽音の自動識別方法”，信学技法、CQ98-61,9/13(1998)」、文献「河地、梶田、武田、板倉：”ＶＱによる放送音の分類”，音講論集、平成９年秋期、173/174(1997)」などに記載されている。また、上記音源を分類するカテゴリとしては、無音、音声、音楽、音楽と音声、複数話者音声、環境音（例えば自動車音、機械動作音、歓声など）や合成音（時報など）、その他（明示的にカテゴリ名を与えることのできない音）などのカテゴリが考えられる。
【００３４】
当該中時間信号処理部４への入力は、前記短時間信号処理部３から前記短時間フレーム周期Ｔ_s（≒１７ｍｓ）毎に供給される特徴ベクトルｕ_p（ｐ＝１，２，・・・，Ｐ）であり、この特徴ベクトルｕ_pは中時間フレーム長Ｗ_m（≒１ｓ）の範囲にわたってＰ（＝Ｗ_m／Ｔ_s）個与えられる。また、当該中時間信号処理部４からの出力は、後述するように、音声信号の音源カテゴリを確率で表したベクトルｘ_q（ｑ＝１，２，・・・，Ｑ）と、短時間フレームのパワーの平均と分散、ピッチ周波数の平均と分散、スペクトル包絡の平均と分散、ブラックフレームの有無とブラックフレームの時刻、シーンチェンジの有無とシーンチェンジの時刻となる。
【００３５】
前記短時間信号処理部３からの上記Ｐ個の特徴ベクトルｕ_pは、中時間信号処理部４の特徴抽出部１７に入力される。当該特徴抽出部１７では、上記Ｐ個の特徴ベクトルｕ_pのうち、特に音声信号についての平均的な性質と変化の性質を得るため、ベクトル要素毎の平均と分散を求め、それを新たにベクトルｕ_aとする。このベクトルｕ_aの要素は、それぞれ音源の性質をよく反映する特徴量である。本実施の形態では、例えばベクトル量子化法（ＶＱ）を用いて上記パターン分類を行う。なお、ベクトル量子化法については、前記文献「河地、梶田、武田、板倉：”ＶＱ歪みに基づく放送音の自動分類”，信学技法、DSP97-95/SP97-50,43/48(1997)」や、文献「A.Gersho and V.Cuperman:"Vector Quantization:A pattern-matching technique for speech coding,"IEEE Communication Magazine, December, 15/21(1983).」に記載されている。また、当該ベクトル量子化法と同等なことは、例えばニューラルネットワークや他の統計判別法でも実現可能である。当該抽出時間信号処理部４では、上記ベクトル量子化を行うための構成として、ＶＱ演算部１８とＶＱ符号帳１９を備えている。
【００３６】
上記ＶＱ符号帳１９は、予め既知のサンプルを多数用意して作成されたものであり、例えばいわゆる学習法によって各カテゴリｉ（ｉ＝１，２，・・・，Ｉ）を代表するＪ個づつのベクトルｒ_ijが決定されている。このとき、明示的に音源名を与えられる音（例えば音声や自動車など）にはいわゆる教師つき学習を用いるが、明示的にカテゴリを与えることの難しい雑音や環境音などには、教師なし学習を用いてカテゴリ分けしてから、結果としてできあがるカテゴリに、例えばその他１、その他２、・・・などの名称を与えておく。ベクトル量子化は、ＶＱ演算部１８にて前記特徴ベクトルｕ_aと上述のＶＱ符号帳１９の代表ベクトルとを比較し、全てのカテゴリについてＪ個の代表ベクトルから最小距離となるベクトルを選択することにより行われる。その距離の逆数ρ_iを各カテゴリに対する適合度とすると、当該適合度ρ_iは、以下の式（１）にて表すことができる。
【００３７】
ρ_i＝１／ｍｉｎ_j（｜ｒ_ij−ｕ_a｜²） (1)
ＶＱ演算部１８では、次式（２）の演算により、これをρ_iの総和で規格化し、出力ベクトルｖ_iを得る。当該ベクトルｖ_iは、与えられた音が各音源カテゴリに対して、どの程度適合しているかを表す確率ベクトルとなる。
【００３８】
【数１】

【００３９】
当該ＶＱ演算部１８により得られた音源カテゴリ確率ベクトルｖ_iは、分類ベクトル生成部２０に送られる。
【００４０】
また、上記ベクトル量子化で得られる音源カテゴリの確率ベクトルとは別に、特徴抽出部１７では、後段で必要となる特徴量として、短時間フレームのパワーの平均と分散、ピッチ周波数の平均と分散、スペクトル包絡の平均と分散、ブラックフレームの有無とブラックフレームが有る場合の当該ブラックフレームの時刻、シーンチェンジの有無とシーンチェンジが有る場合の当該シーンチェンジの時刻を求める。なお、上記ブラックフレームの有無は、例えば画像輝度平均と所定の閾値とを比較することにより求めることができ、また、上記シーンチェンジの有無は、例えば画像差分エネルギと所定の閾値とを比較することにより求めることができる。これら後段で必要となる特徴量は、分類ベクトル生成部２０に送られる。
【００４１】
分類ベクトル生成部２０では、上記ＶＱ演算部１８からの確率ベクトルと、上記特徴抽出部１７からの上記後段で必要となる特徴量とを合わせて、ベクトルｘ_q（分類ベクトル）を生成して出力する。この分類ベクトルｘ_qは、中間信号処理部４から長時間信号処理部５に送られる。
【００４２】
図４には、上記中時間信号処理部５から出力される分類ベクトルｘ_qの要素の種類とベクトル要素との対応表を示す。すなわち、この図４に示す対応表によれば、音源カテゴリ確率に対するベクトル要素には、無音、音声、音楽、音楽と音声、複数話者音声、歓声、自動車音、機械動作音、時報、その他があり、音響特徴量に対するベクトル要素には、短時間パワーの平均と分散、ピッチ周波数の平均と分散があり、画像特徴量に対するベクトル要素には、ブラックフレーム時刻、シーンチェンジ時刻がある。
【００４３】
次に、長時間信号処理部５では、上記中時間信号処理部４から供給された中時間毎の分類ベクトルｘ_qを前記数十秒単位の長時間フレーム毎にまとめ、この長時間フレーム毎の分類ベクトルｘ_qから番組カテゴリの分類を行う。本実施の形態では、長時間フレームの時間長Ｗ_lを例えば３０ｓ程度とし、また、長時間フレーム化を行う短時間フレーム周期Ｔ_mをＷ_l／２（≒１５ｓ）とする。
【００４４】
当該長時間信号処理部５への入力は、前記中時間信号処理部４から前記中時間フレーム毎に供給される分類ベクトルｘ_q（ｑ＝１，２，・・・，Ｑ）であり、この分類ベクトルｘ_qは長時間フレーム長Ｗ_l（≒３０ｓ）の範囲にわたってＱ（＝Ｗ_l／Ｔ_m）個与えられる。また、当該長時間信号処理部５からの出力は、後述するように、現在のフレームｒに関する番組カテゴリを確率で表した確率ベクトル（カテゴリ分類ベクトル）ｙ_rである。なお、番組のカテゴリは、例えば、ニュース番組、音楽番組、スポーツ番組、バラエティ番組、ドラマ番組、その他の番組、ＣＭ、番組の変化点（境目）などが考えられる。
【００４５】
当該長時間信号処理部５での番組カテゴリの分類処理では、統計的なカテゴリ判別法とルールテーブル参照法を併用する。これは、人間が通常意識しない信号の統計的な傾向は統計判別法で分類するのが適しているのに対して、番組の性質上明らかな傾向（例えばニュース番組には単独話者の音声が多い、例えば番組の境界には必ず大きく映像信号レベルが変化する、例えばＣＭは１５秒の整数倍に境界が有り大きく音声信号レベルや映像信号レベルが変化する等の傾向）は、規則として記述する方が適していることによる。両者の統合は、番組カテゴリを確率で表現することで実現できる。
【００４６】
上記中時間信号処理部４からの分類ベクトルｘ_qは、上記長時間信号処理部５の特徴抽出部２１に送られる。当該特徴抽出部２１では、上記分類ベクトルｘ_qから、音源カテゴリを表す確率ベクトルの部分（前記図４の対応表に示した音源カテゴリ確率の部分）のみを取り出して新たなベクトルｘ_aとし、当該ベクトルｘ_aをＶＱ演算部２２に入力する。すなわち、長時間信号処理部５では、上記統計的な判別法に再びベクトル量子化を利用し、したがって、当該抽出時間信号処理部４には、ベクトル量子化を行うための構成として、ＶＱ演算部２２とＶＱ符号帳２３を備えている。
【００４７】
上記ＶＱ符号帳２３は、予め既知のサンプルを多数用意して作成されたものであり、例えばいわゆる学習法によって各番組カテゴリｚ_iを代表するベクトルｃ_ijが決定されている。ここで、ｉ（ｉ＝１，２，・・・，Ｉ、Ｉはカテゴリ数）は分類カテゴリを表すインデックスであり、ｊ（ｊ＝１，２，・・・，Ｊ）は同一カテゴリを表す複数の代表ベクトルを区別するためのインデックスである。
【００４８】
また、上記ＶＱ演算部２２では、ベクトルｘ_aと代表ベクトルｃ_ijとの距離を計算し、各カテゴリを表す複数のベクトルから最小距離のものを選ぶ。さらに、当該ＶＱ演算部２２では、式（３）を用いてその距離の逆数η_qiを求め、当該逆数η_qiを中時間フレームｑにおける各カテゴリに対する適合度とする。
【００４９】
η_qi＝１／ｍｉｎ_j（｜ｃ_ij−ｘ_a｜²） (3)
また、ＶＱ演算部２２では、次式（４）の演算により、これを１フレーム内の全てのベクトルｘ_a（ａ＝１，２，・・・，Ｑ）について計算し、それぞれのカテゴリ別に加算する。
【００５０】
【数２】

【００５１】
さらに、ＶＱ演算部２２では、次式（５）の演算により、これをＤ_iの総和で規格化し、出力ベクトルｙ_iを得る。当該ベクトルｙ_iは、長時間フレーム内で信号が各番組カテゴリにどの程度適合しているかを表す確率ベクトルとなる。
【００５２】
【数３】

【００５３】
当該ＶＱ演算部２２により得られた番組カテゴリ確率ベクトルｙ_iは、ルール処理部２４に送られる。
【００５４】
また、当該長時間信号処理部５の特徴抽出部２１は、上記分類ベクトルｘ_qの特徴量から、図５に示すような特徴量と処理法の対応表のように、性質の有無を閾値処理で判別し、ルール処理部２４に入力する。すなわち、この図５に示す対応表によれば、音楽性の特徴量に対する処理法としては、音楽の確率が高い区間が継続するか否かを判別し、単独話者性の特徴量に対する処理法としては、音声の確率が高い区間が継続してピッチ周波数平均が一定の範囲に収まるか否かを判別し、会話性の特徴量に対する処理法としては、音声の確率が高い区間が継続してピッチ周波数平均に跳躍があるか否かを判別し、時報性の特徴量に対する処理法としては、時報の確率が高い区間があるか否かを判別し、無音規則性の特徴量に対する処理法としては、無音区間が規則的（例えば１５秒毎）にあるか否かを判別し、ブラックレベル規則性の特徴量に対する処理法としては、ブラックレベル区間が規則的（例えば１５秒毎）にあるか否かを判別し、ＣＭ有無の特徴量に対する処理法としては、ＣＭ放送のあり得ないチャンネルであるか否か（チャンネル番号、チャンネル地域コードを利用）を判別する。
【００５５】
長時間信号処理部５のルール処理部２４では、上記特徴抽出部２１にて図５の対応表に示す判別処理により得られた性質の有無の情報を得て、ルールテーブル部２５に格納されているルールテーブルの規則に従い、上記ＶＱ演算部２２から供給された番組カテゴリ確率ベクトルｙ_iを操作する。
【００５６】
すなわち、上記ルールテーブル部２５には、予め図６に示すような性質の有無と確率の操作規則との対応を示すルールテーブルが用意されており、ルール処理部２４では、当該図６のルールテーブルを用いて上記番組カテゴリ確率ベクトルｙ_iを増加或いは減少させるように操作する。具体的に説明すると、ルール処理部２４は、図６に示すルールテーブルに基づいて、単独話者性があるときにはニュース番組の確率を増加させ、会話性があるときにはドラマやバラエティ番組の確率を増加させ、無音規則性があるときにはＣＭの確率を増加させ、ブラックレベル規則性があるときはＣＭの確率を増加させ、音楽性があるときには音楽番組の確率を増加させ、ＣＭ無しチャンネルであるときにはＣＭの確率を０にし、時報性があるときには番組の境目の確率を増加、音楽番組の確率を減少（通常、音楽番組中には時報が鳴ることはないため）させ、また、時報性があるときには後述する履歴更新係数ξを０．９程度に、シーンチェンジがないときには履歴更新係数ξを０．１程度にする。このように、ルール処理部２４における番組カテゴリ確率ベクトルｙ_iの操作は、確率の増加或いは減少により行うため、その大きさをパラメータとして恣意的に決めることで、確定的なルールだけでなく漠然とした傾向も記述することができる。
【００５７】
上述のようにしてルール処理部２３にて全ての規則を参照した後、カテゴリ分類ベクトル生成部２６では、カテゴリ数の次元を持つ確率ベクトル（番組カテゴリ分類ベクトル）y_r＝（y₁，y₂，・・・，y_I）（ｒ＝１，２，・・・）と、後述する履歴更新係数ξを出力する。なお、ｒは長時間フレームを表すインデックスであり、長時間フレーム周期Ｔ_l（〜１５ｓ）を単位とした時間に対応する。
【００５８】
以下、図７及び図８を用いて、上記長時間信号処理部５での具体的な動作例を説明する。なお、これら図７及び図８の例では、ＣＭの無いチャンネルのニュース番組のエンディングから、次の番組の開始までの間の長時間信号処理部５の動作例を示している。図７と図８は紙面の都合上、２つの図に分けられているが、これら図７と図８は連続する２フレーム（一部オーバーラップしている）分を表している。図７と図８の各（ａ）には実際の放送内容を、（ｂ）には中時間信号処理部４での処理結果（音源の確率）を、（ｃ）には長時間信号処理部５での処理動作（番組カテゴリの分類）を示している。また、各図の中時間信号処理部４での処理結果を表している（ｂ）中のＳにて示されるグラフの高さは音声である確率の高さを、Ｍにて示されるグラフの高さは音楽である確率の高さを、Ｔにて示されるグラフの高さは時報である確率の高さを、Ｏにて示されるグラフの高さはその他である確率の高さを示している。さらに、各図の長時間信号処理部５での処理結果を表している（ｃ）中のＮにて示されるグラフの高さはニュース番組である確率の高さを、Ｍにて示されるグラフの高さは音楽番組である確率の高さを、Ｃにて示されるグラフの高さはＣＭである確率の高さを、Ｐにて示されるグラフの高さは境目である確率の高さを、Ｏにて示されるグラフの高さはその他である確率の高さを表している。
【００５９】
先ず、図７から説明する。この図７において、図中（ａ）の実際の放送内容は、アナウンサが喋っている状態から、徐々にエンディング音楽がフェードインしてくるような内容を有している。このような放送内容の場合、図中（ｂ）の中時間信号処理部４での音源の確率は、アナウンサが喋っている間は音声（Ｓ）の確率が最も高く、エンディング音楽がフェードインしてくるにつれて、音楽（Ｍ）の確率が高くなってくる。また、上記放送内容の場合、長時間信号処理部５では、上述のような中時間信号処理部４による音源の確率を入力とし、ベクトル量子化を行うことによって、番組カテゴリを分類することになる。このときの長時間信号処理部５による番組カテゴリの確率は、図中（ｃ）の左側に示す確率グラフのようにニュース番組（Ｎ）である確率が最も高くなる。さらに、このときの長時間信号処理部５の特徴抽出部２１の出力は、ルール処理部２４により、図中（ｃ）の中央部の表のように、ニュース番組（Ｎ）及び音楽番組（Ｍ）（エンディング音楽のため）の確率を上げ、ＣＭ（Ｃ）の確率を下げるように操作される。ここで、確率の総和は１であるから、上記操作後に規格化することで、操作を受けなかったものの確率も変化する。その結果、この長時間フレームの番組カテゴリ分類結果は、図中（ｃ）の右側に示す確率グラフのようになり、ニュース番組の確率が先鋭化されることになる。
【００６０】
次に、図８を説明する。この図８において、図中（ａ）の実際の放送内容は、アナウンサが喋っている状態から、徐々にエンディング音楽がフェードインし、その後、時報が入り、次の番組のオープニング音楽か開始するような内容を有している。このような放送内容の場合、図中（ｂ）の中時間信号処理部４での音源の確率は、アナウンサが喋っている間は音声（Ｓ）の確率が最も高く、エンディング音楽がフェードインしてくるにつれて音楽（Ｍ）の確率が高くなり、その後、時報が鳴っている間は時報（Ｔ）の確率が最も高くなり、次にオープニング音楽が開始されると音楽（Ｍ）の確率が高くなる。上記放送内容の場合、長時間信号処理部５でのベクトル量子化による番組カテゴリの確率は、図中（ｃ）の左側に示す確率グラフのように、音楽番組（Ｍ）である確率が最も高くなると思われるが、このフレーム中には時報が存在するため、図中（ｃ）の中央部の表のように、前記ルール処理部２４でのルール処理により、音楽性は有るにもかかわらず音楽番組（Ｍ）の確率は下げられ、番組境界（Ｐ）に確率が上げられることになる。その結果、音楽番組（Ｍ）の確率と、番組境目（Ｐ）の確率は逆転し、図中（ｃ）の右側に示す確率グラフのように、番組境目（Ｐ）の確率が最大となる。
【００６１】
以上のように、長時間信号処理部５では、統計分類処理とルール処理を併用することで、事前知識を導入でき、番組カテゴリの分類結果をより正しくすることができる。
【００６２】
上述したように動作する長時間信号処理部５から出力された番組カテゴリ分類ベクトルy_rと後述する履歴更新係数ξは、ストリーム処理部６に送られる。
【００６３】
ストリーム処理部６では、前記長時間信号処理部５から供給された番組カテゴリ分類ベクトルに対して、過去の履歴と統合することにより、最終的なカテゴリ識別を行う。ここでの処理は、連続的なストリーム処理であり、したがって当該ストリーム処理部６は逐次的に現在時刻前後の番組カテゴリを出力する。
【００６４】
具体的には、履歴記憶部２８に番組カテゴリ分類ベクトルy_rと同次元の内部状態ベクトルを用意し、初期状態としてｚ₀＝[一定値]を与える。
【００６５】
履歴統合部２７では、長時間信号処理部５が第ｒフレームで求めた番組カテゴリ分類ベクトルy_rと、履歴記憶部２８に保存されている一つ前の第ｒ−１フレームにおける内部状態ベクトルｚ_r-1とを用いて、次式（６）に従って内部状態を更新する。
【００６６】
ｚ_r＝（１−ξ）ｚ_r-1＋ξｙ_r (6)
ここで、式中のξ（０≦ξ≦１）は履歴更新係数であり、ξ＝１のときは現在の情報（長時間信号処理の結果）を重視して過去の履歴を殆ど参照しない重みとなり、一方、ξ＝０のときは過去の履歴を重視するような重みとなる。なお、重みの決定には、時報情報やシーンチェンジなどを利用することができる。例えば、毎時丁度の時刻には番組カテゴリが変わることが多いため、過去の履歴を殆ど参照しないよう設定（ξ≒１）し、また例えば、番組カテゴリの変化は必ずシーンチェンジを伴うため、シーンチェンジが無い区間では、過去の履歴を重視（ξ≒０）する。これらの情報は、時報やシーンチェンジといった長時間信号処理の特徴量から得る。なお、更新後は、第ｒフレームで求めたベクトルを内部状態ベクトルｚ_rとして履歴記憶部２８に格納する。
【００６７】
ストリーム処理では、以上のような操作により、数十秒程度の長時間信号処理ではカバーしきれない、異なるカテゴリの挿入やカテゴリ誤検出が頻発する問題にロバスト性をもたせることができる。
【００６８】
最後に、ストリーム処理部６では、番組カテゴリ判別部２９にて、いわゆる最大事後確率法（ＭＡＰ法）に準じて、ベクトルｚ_rの各要素の中で最大値を与えるものを選択し、現在時刻におけるカテゴリ分類結果として出力する。このストリーム処理部６からの出力が、本実施の形態の番組カテゴリ自動分類装置の出力端子７から出力されることになる。
【００６９】
次に、上述した本発明実施の形態の番組カテゴリ自動分類装置は、例えば一般的なテレビジョン放送やケーブルテレビジョン放送、衛星放送、通信衛星放送、ラジオ放送などによる各種の放送番組の予約記録機能を備えた記録装置に適用可能である。
【００７０】
図９には、例えばテレビジョン放送やラジオ放送の放送番組の予約記録機能を備えた記録装置の概略的な構成を示す。
【００７１】
すなわち、この図９に示す記録装置は、上述した本発明実施の形態の番組カテゴリ自動分類装置の機能を追加することにより、実際に放送されている放送番組のカテゴリを自動的に分類し、その分類結果に基づいて、予約記録の予約記録開始時刻や予約記録終了時刻を自動的に延長等することにより、記録予約がなされている番組の放送開始時刻が予約した時刻よりも遅れたような場合に予約記録開始時刻を遅らせたり、記録予約がなされている番組の放送終了時刻が予約した時刻よりも遅れたような場合に予約記録終了時刻を延長させたりすることを可能とするものである。
【００７２】
この図９において、チューナ部３２は、アンテナ部３１を介して受信したテレビ放送やラジオ放送から映像信号や音声信号を取り出し、それら映像信号や音声信号を録画・記録部３４に送る。
【００７３】
予約情報記憶部３６には、予め使用者が設定した予約記録開始時刻、予約記録終了時刻、予約記録したい番組のチャンネルや周波数、例えば長時間記録モードや標準記録モードなどの記録モードなどの予約情報を記憶している。当該予約情報記憶部３６に記憶されている予約情報は、例えば予約記録開始時刻になった時に録画・録音コントローラ３５に送られる。
【００７４】
録画・録音コントローラ３５は、上記予約情報記憶部３６から供給された予約情報に基づいて、チューナ部３２による受信チャンネルや周波数を制御すると共に、録画・録音部３４での録画・録音のオン／オフを制御する。これにより、当該記録装置による予約記録が成される。
【００７５】
ここまでの構成及び動作は一般的な記録装置における予約記録のための構成及び動作と同じである。すなわち、一般的な記録装置での予約記録は、予約情報記憶部３６に格納されている予約時間にのみ従って、録画・録音部３４での録画・録音のオン／オフが制御される。
【００７６】
これに対して、図９に示す本発明実施の形態の記録装置は、上述した番組カテゴリ自動分類装置としての機能を有する番組カテゴリ分類部３３を備えている。当該番組カテゴリ分類部３３には、上記チューナ部３２から映像信号や音声信号が供給され、これら信号を用いて前述したように番組カテゴリの自動分類を行う。この番組カテゴリ分類部３３にて例えば数十秒毎に識別された番組カテゴリの情報は録画・録音コントローラ３５に送られる。
【００７７】
このときの録画・録音コントローラ３５は、番組カテゴリ分類部３３からの番組カテゴリの情報と予約情報記憶部３６からの予約情報とを比較し、予約情報として設定されている予約記録開始時刻や予約記録終了時刻を延長する必要があると判定した場合、録画・録音部３４を制御して、予約記録開始時刻や予約記録終了時刻を延長させて録画・録音を行わせる。
【００７８】
図１０及び図１１には、上記録画・録音コントローラ３５が上記番組カテゴリ分類部３３からの情報に応じて録画・録音部３４を制御する動作のフローチャートを示す。
【００７９】
図１０には、現時点で未記録動作状態となっている時の録画・録音コントローラ３５の動作フローチャートを示す。
【００８０】
この図１０において、未記録動作状態となっている時の録画・録音コントローラ３５は、ステップＳ１の処理として、予約情報記憶部３６に記憶されている予約情報と図示しない内蔵時計の時刻情報とに基づいて、予約記録の開始時刻になったか否かの判定を行っている。
【００８１】
当該ステップＳ１において予約記録の開始時刻になっていないと判定した場合（Ｎｏ）は、このステップＳ１の判定処理を繰り返す。一方、ステップＳ１において予約記録の開始時刻になったと判定した場合（Ｙｅｓ）、録画・録音コントローラ３５は、ステップＳ２の処理として、チューナ部３２及び録画・録音部３４を制御し、記録を開始させる。
【００８２】
ステップＳ２での記録スタート後、録画・録音コントローラ３５は、ステップＳ３の処理として、上記番組カテゴリ分類部３３からの番組カテゴリの情報を用いて、例えば記録スタート前の数分以内に番組カテゴリの変化があったか否かの判定を行う。
【００８３】
このステップＳ３での判定にて番組カテゴリに変化がないと判定した場合（Ｎｏ）、録画・録音コントローラ３５は、ステップＳ５の処理に進み、記録予約されている番組の前の番組の放送時間が変更された可能性が有るとして、異常フラグを立てる。すなわちこの場合、記録予約されている前の番組の放送時間が延長されたことにより、予約記録開始時刻になっても前の番組が続いている可能性が高いため、録画・録音コントローラ３５では、放送時間が変更された可能性が高いことを示す異常フラグを立てる。
【００８４】
一方、ステップＳ３の判断にて番組カテゴリに変化があったと判定した場合（Ｙｅｓ）、録画・録音コントローラ３５は、ステップＳ４の処理に進み、その予約記録は正常にスタートしたと判断する。すなわちこの場合、記録予約されている前の番組の放送時間が定時に終了したことによって番組カテゴリが変化し、記録予約されている番組が予約記録開始時刻に正常にスタートしたと考えられるため、録画・録音コントローラ３５は、特に上記異常フラグを立てることはしない。
【００８５】
これらステップＳ４とステップＳ５の処理後、録画・録音コントローラ３５の処理は、図１１に示す記録動作状態となっている時の動作フローチャートに移行する。
【００８６】
この図１１において、記録動作状態となっている時の録画・録音コントローラ３５は、ステップＳ１０の処理として、予約情報記憶部３６に記憶されている予約情報と図示しない内蔵時計の時刻情報とに基づいて、予約記録の終了時刻になったか否かの判定を行っている。
【００８７】
当該ステップＳ１０の判定で予約記録の終了時刻になっていないと判定した場合（Ｎｏ）は、このステップＳ１０の判定処理を繰り返す。一方、当該ステップＳ１０の判定で予約記録の終了時刻になったと判定した場合（Ｙｅｓ）、録画・録音コントローラ３５は、ステップＳ１１の処理として、異常フラグが立っているか否かの判定を行う。
【００８８】
このステップＳ１１の判定で異常フラグが立っていないと判定した場合（Ｎｏ）、録画・録音コントローラ３５は、ステップＳ１２の処理として、上記番組カテゴリ分類部３３からの番組カテゴリの情報を用いて、例えば予約記録終了前の数分以内に番組カテゴリの変化があったか否かの判定を行う。
【００８９】
このステップＳ１２の判断にて番組カテゴリに変化があったと判断した場合（Ｙｅｓ）、録画・録音コントローラ３５は、ステップＳ１３の処理に進み、その記録予約されている番組は正常に終了したと判断し、録画・録音部３４を制御して記録を停止させる。すなわちこの場合、記録予約されている番組の放送時間が定時に終了したことによって番組カテゴリが変化し、当該記録予約されている番組を記録できたと考えられるため、録画・録音コントローラ３５は、録画・録音部３４を制御して記録を停止させた後、図１０の未記録動作状態に戻る。
【００９０】
一方、ステップＳ１１の判定にて異常フラグが立っていると判定した場合（Ｙｅｓ）、録画・録音コントローラ３５は、ステップＳ１４の処理に進み、録画・録音部３４を制御して、記録を継続させる（延長記録モードに移行させる）。すなわち、異常フラグが立っているということは、予約記録の開始時に前の番組の放送時間が延長されたことによって、予約している番組の放送開始時刻が遅れた可能性が高く、それに伴って予約記録している番組の放送終了時刻も遅れている可能性が高いため、録画・録音コントローラ３５は、当該ステップＳ１４にて記録を継続させるように録画・録音部３４を制御する。
【００９１】
また、ステップＳ１２の判定にて予約記録終了前の数分以内に番組カテゴリの変化がないと判定した場合（Ｎｏ）にも、録画・録音コントローラ３５は、ステップＳ１４の処理に進み、録画・録音部３４を制御して、記録を継続させる（延長記録モードに移行させる）。すなわち、予約記録終了前の数分以内に番組カテゴリの変化がないということは、予約記録している番組の放送終了時刻が遅れている可能性が高いため、録画・録音コントローラ３５は、当該ステップＳ１４にて記録を継続させるように録画・録音部３４を制御する。
【００９２】
上記ステップＳ１４にて記録を継続することにした後、録画・録音コントローラ３５は、ステップＳ１５の処理として、上記番組カテゴリ分類部３３からの番組カテゴリの情報を用いて、番組カテゴリに変化があったか否かの判定を行う。すなわち、例えば記録継続中の番組の放送が終了すると、番組カテゴリが変化することになるため、録画・録音コントローラ３５は、当該ステップＳ１５にて番組カテゴリの変化の有無を判定する。
【００９３】
上記ステップＳ１５にて番組カテゴリの変化がないと判定した場合（Ｎｏ）には当該ステップＳ１５の判定処理を繰り返す。一方、上記ステップＳ１５にて番組カテゴリの変化があったと判定した場合（Ｙｅｓ）、録画・録音コントローラ３５は、ステップＳ１６として、上記番組カテゴリ分類部３３からの番組カテゴリの情報を用いて、その変化した後の番組カテゴリはＣＭを示しているか否かの判定を行う。すなわち、上記ステップＳ１５にて記録継続中の番組のカテゴリが変化したと判定された場合であっても、そのカテゴリ変化はＣＭによるものである可能性があるため、録画・録音コントローラ３５は、上記番組カテゴリの変化がＣＭによるものであるか否かを判定する。当該ステップＳ１６にて番組カテゴリの変化がＣＭによるものであると判定された場合、すなわち番組カテゴリがＣＭであると判定した場合（Ｙｅｓ）、記録継続中の番組はさらに続く可能性があるため、録画・録音コントローラ３５は、ステップＳ１５の処理の戻る。
【００９４】
一方、ステップＳ１６にて番組カテゴリがＣＭでないと判定された場合（Ｎｏ）、録画・録音コントローラ３５は、ステップＳ１７の処理として、変化後の番組カテゴリと変化前の番組カテゴリとを比較し、番組カテゴリが異なっていれば、上記録画・録音部３４を制御して上記記録継続中の番組の記録を停止する。すなわち、ステップＳ１５にて番組カテゴリの変化があったと判定され、さらにステップＳ１６にて当該変化後の番組カテゴリがＣＭでないと判定されたということは、上記記録継続中の番組の放送が終了したと考えられるため、録画・録音コントローラ３５は、録画・録音部３４の記録動作を停止させる。
【００９５】
これにより、放送時間が延長されていた番組を最後まで記録できたことになる。録画・録音コントローラ３５は、当該ステップＳ１７にて録画・録音部３４を制御して記録を停止させた後、図１０の未記録動作状態に戻る。
【００９６】
図１２を用いて、実際の放送に対して図９の記録装置がどのように動作するかを説明する。
【００９７】
この図１２中の（ａ）は、放送予定の番組内容を時系列で示しており、この例では、２１時００分以前には野球放送がなされ、野球放送が終了した後、ＣＭを挟んで２１時００分からドラマが始まり、さらにＣＭを挟んで２２時００分からバラエティ番組が放送される。また、図１２中の（ｂ）は、記録予約する番組（予約記録開始から終了まで）を示しており、この例は、２１時００分から予約記録を開始し、２２時００分に予約記録を終了する例、すなわち、放送予定の番組のうち、ドラマを予約記録する例を挙げている。図１２中の（ｃ）は、実際の実際に放送された番組内容を示しており、この例では、放送予定の番組のうち、野球放送が例えば３０分延長され、その延長に伴って後の各放送予定の番組の放送時刻が順次繰り下がった例を挙げている。
【００９８】
図１２中の（ｄ）は、図９の記録装置の動作の内容を示している。この例の場合、記録装置は、図１２中（ｂ）の予約記録開始時刻から記録を始めるが、このとき、前の番組（野球）から番組カテゴリが変化していないため、異常フラグを立てる。また、このときの記録装置は、図１２中（ｂ）の予約記録終了時刻（終了予定時刻）になっても、異常フラグが立っているため、記録の継続を行う（延長記録モードとする）。次に、記録装置は、図１２中（ｃ）の実際の放送内容のうちドラマ放送後のＣＭの放送開始時点で番組カテゴリの変化を検出することになるが、この時点では記録を継続しており、その後上記ドラマ放送後のＣＭの放送終了時点（次のバラエティ放送開始時点）で番組カテゴリの変化を検出すると、記録を終了する。したがって、記録装置における実際の記録は、２１時００分に開始し、野球放送の延長によってシフトしたドラマのＣＭ後（バラエティ番組の開始時）に終了することになる。
【００９９】
次に、上述した本発明実施の形態の番組カテゴリ自動分類装置は、図９に示した記録装置だけでなく、例えば各種の放送番組の各番組カテゴリ毎にその視聴の許可及び／又は不許可を登録し、その登録内容に応じて番組の視聴を自動的にフィルタリングする自動フィルタリング機能を持った装置（番組自動フィルタリング装置）にも適用可能である。
【０１００】
図１３には、本実施の形態の番組カテゴリ自動分類装置が適用された番組自動フィルタリング装置の概略的な構成を示す。
【０１０１】
すなわち、この図１３に示す番組自動フィルタリング装置は、上述した本発明実施の形態の番組カテゴリ自動分類装置の機能を備えることにより、実際に放送されている放送番組のカテゴリを自動的に分類し、その分類結果に基づいて、予め登録しておいた番組カテゴリに対応する番組を検出し、その検出結果に基づいて、実際に放送されている番組の視聴の許可及び／又は不許可を判定し、その判定結果に応じて、テレビジョンモニタやスピーカ等の表示・放音装置に対する映像信号や音声信号の供給又は停止を制御する装置である。なお、この図１３において、図９の構成と同一の構成要素にはそれぞれ図９と同じ指示符号を付して、それらの説明は省略する。
【０１０２】
この図９において、チューナ部３２から出力された映像信号や音声信号は番組フィルタ部３８に送られる。また、例えばテレビジョンモニタやスピーカ等からなる表示・放音装置４１は、番組フィルタ部３８から出力された映像信号に基づく映像を表示し、音声信号に基づく音声を放音する。
【０１０３】
登録情報記憶部４０は、予め使用者が設定した番組カテゴリ毎の登録情報を記憶している。なお、当該登録情報記録部４０に記憶させる登録情報としては、視聴したくない番組や視聴させたくない番組の番組カテゴリ（以下、視聴不許可番組カテゴリと呼ぶ）と、視聴したい番組や視聴させたい番組の番組カテゴリ（以下、視聴許可番組カテゴリと呼ぶ）が考えられる。また、登録情報記憶部４０には、これら視聴不許可番組カテゴリと視聴許可番組カテゴリのそれぞれ一方のみ或いは両方を登録情報として記憶することができる。もちろん、登録情報記憶部４０には何も登録情報を記憶させないことも可能である。当該登録情報記憶部４０に記憶されている登録情報は、番組比較部３９に送られる。
【０１０４】
番組比較部３９は、現在受信中の番組の映像信号や音声信号から番組カテゴリ分類部３３が分類した番組カテゴリの情報と、上記登録情報記憶部４０から供給された登録情報とを比較し、その比較の結果から現在受信中の番組の視聴の許可及び／又は不許可を判定する。
【０１０５】
ここで、当該番組比較部３９における番組視聴の許可／不許可の判定の方法には、以下の３つの方法例が考えられる。
【０１０６】
第１の判定方法例としては、登録情報記憶部４０に視聴許可番組カテゴリのみの登録情報が記憶されている場合において、視聴許可番組カテゴリに合致した番組のみの視聴を許可する（視聴許可番組カテゴリに合致しない番組の視聴を許可しない）ような方法が考えられる。
【０１０７】
第２の判定方法例としては、登録情報記憶部４０に視聴不許可番組カテゴリのみの登録情報が記憶されている場合において、視聴不許可番組カテゴリに合致した番組のみの視聴を許可しない（視聴不許可番組カテゴリに合致しない番組の視聴は許可する）ような方法が考えられる。
【０１０８】
第３の判定方法例としては、登録情報記憶部４０に視聴許可番組カテゴリと視聴不許可番組カテゴリの両方の登録情報が記憶されている場合において、視聴不許可番組カテゴリに合致した番組の視聴を許可せず、視聴許可番組カテゴリに合致した番組の視聴を許可するような方法が考えられる。
【０１０９】
また、第３の判定方法例の場合、視聴不許可番組カテゴリにも視聴許可番組カテゴリにも属さないその他の番組について、視聴の許可／不許可を何れにするかによって、さらに以下の３つの対処例が考えられる。
【０１１０】
第１の対処例として上記その他の番組についてはそれ以前の判定結果をそのまま維持するような対処を行う場合と、第２の対処例として上記その他の番組については全て視聴を許可するような対処を行う場合と、第３の対処例として上記その他の番組については全て視聴を許可しないような対処を行う場合とが考えられる。
【０１１１】
上記番組比較部３９は、上述したような各判定方法や対処例により、現在受信中の番組の視聴を許可すると判定した場合、番組フィルタ部３８を制御して、後段の表示・放音装置４１に対する当該番組の映像信号や音声信号の出力を開始させ、逆に、現在受信している番組の視聴を不許可にすると判定した場合、番組フィルタ部３８を制御して、後段の表示・放音装置４１に対する当該番組の映像信号や音声信号の出力を停止させる。
【０１１２】
これにより、この図１３に示した番組自動フィルタリング装置によれば、予め登録した番組カテゴリに応じて、現在受信中の番組の視聴の許可／不許可を自動的に行うことが可能となる。
【０１１３】
図１４〜図１６には、上記番組比較部３９が上記番組カテゴリ分類部３３からの情報に応じて視聴の許可／不許可を判断し、番組フィルタ部３８でのフィルタリングを制御する動作のフローチャートを示す。
【０１１４】
図１４には、上記第１の判定方法例のように、登録情報記憶部４０に視聴許可番組カテゴリのみの登録情報が記憶されている場合において、視聴許可番組カテゴリに合致した番組のみの視聴を許可する（視聴許可番組カテゴリに合致しない番組の視聴を許可しない）ような判定を、上記番組比較部３９にて行うようにした場合のフローチャートを示す。
【０１１５】
この図１４において、番組比較部３９は、ステップＳ２０の処理として、登録情報記憶部４０に記憶されている登録情報と、番組カテゴリ分類部３３からの番組カテゴリ情報とを比較し、次に、ステップＳ２０の比較の結果に基づき、ステップＳ２１において現在受信している番組のカテゴリが視聴許可番組カテゴリに合致しているか否かの判定を行う。
【０１１６】
当該ステップＳ２１の判定において、現在受信中の番組のカテゴリが視聴許可番組カテゴリに合致していると判定した場合（Ｙｅｓ）、番組比較部３９は、ステップＳ２２の処理として、番組フィルタ部３８を制御してチューナ部３２が現在受信して出力している映像信号や音声信号が表示・放音装置４１に供給されるように（視聴できるように）する。
【０１１７】
一方、ステップＳ２１の判定において、現在受信中の番組のカテゴリが視聴許可番組カテゴリに合致していないと判定した場合（Ｎｏ）、番組比較部３９は、ステップＳ２３の処理として、番組フィルタ部３８を制御してチューナ部３２が現在受信して出力している映像信号や音声信号が表示・放音装置４１に供給されないように（視聴できないように）する。
【０１１８】
これらステップＳ２２、ステップＳ２３の後、番組比較部３９は、ステップＳ２０の処理に戻り、番組カテゴリの比較を続ける。すなわち、番組比較部３９は、表示・放音装置４１に映像信号や音声信号が供給されているか否かにかかわらず、常にステップＳ２０の処理として番組カテゴリの比較を行っている。
【０１１９】
図１５には、上記第２の判定方法例のように、登録情報記憶部４０に視聴不許可番組カテゴリのみの登録情報が記憶されている場合において、視聴不許可番組カテゴリに合致した番組のみの視聴を許可しない（視聴不許可番組カテゴリに合致しない番組の視聴は許可する）ような判定を、上記番組比較部３９にて行うようにした場合のフローチャートを示す。
【０１２０】
この図１５において、番組比較部３９は、ステップＳ３０の処理として、登録情報記憶部４０に記憶されている登録情報と、番組カテゴリ分類部３３からの番組カテゴリ情報とを比較し、次に、ステップＳ３０の比較の結果に基づき、ステップＳ３１において現在受信している番組のカテゴリが視聴不許可番組カテゴリに合致しているか否かの判定を行う。
【０１２１】
当該ステップＳ３１の判定において、現在受信中の番組のカテゴリが視聴不許可番組カテゴリに合致していないと判定した場合（Ｎｏ）、番組比較部３９は、ステップＳ３２の処理として、番組フィルタ部３８を制御してチューナ部３２が現在受信して出力している映像信号や音声信号が表示・放音装置４１に供給されるように（視聴できるように）する。
【０１２２】
一方、ステップＳ３１の判定において、現在受信中の番組のカテゴリが視聴不許可番組カテゴリに合致していると判定した場合（Ｙｅｓ）、番組比較部３９は、ステップＳ３３の処理として、番組フィルタ部３８を制御してチューナ部３２が現在受信して出力している映像信号や音声信号が表示・放音装置４１に供給されないように（視聴できないように）する。
【０１２３】
これらステップＳ３２、ステップＳ３３の後、番組比較部３９は、ステップＳ３０の処理に戻り、番組カテゴリの比較を続ける。すなわち、番組比較部３９は、表示・放音装置４１に映像信号や音声信号が供給されているか否かにかかわらず、常にステップＳ３０の処理として番組カテゴリの比較を行っている。
【０１２４】
図１６には、上記第３の判定方法例のように、登録情報記憶部４０に視聴許可番組カテゴリと視聴不許可番組カテゴリの両方の登録情報が記憶されている場合において、視聴不許可番組カテゴリに合致した番組の視聴を許可せず、視聴許可番組カテゴリに合致した番組の視聴を許可するような判定を、上記番組比較部３９にて行うようにした場合のフローチャートを示す。
【０１２５】
この図１６において、番組比較部３９は、ステップＳ４０の処理として、登録情報記憶部４０に記憶されている登録情報と、番組カテゴリ分類部３３からの番組カテゴリ情報とを比較し、次に、ステップＳ４０の比較の結果に基づき、ステップＳ４１において現在受信している番組のカテゴリが視聴許可番組カテゴリであるのか、又は視聴不許可番組カテゴリであるのか、又はそれらの何れでもないその他の番組カテゴリであるのかの判定を行う。
【０１２６】
当該ステップＳ４１の判定において、現在受信中の番組のカテゴリが視聴許可番組カテゴリであると判定した場合（許可）、番組比較部３９は、ステップＳ４２の処理として、番組フィルタ部３８を制御してチューナ部３２が現在受信して出力している映像信号や音声信号が表示・放音装置４１に供給されるように（視聴できるように）する。
【０１２７】
一方、ステップＳ４１の判定において、現在受信中の番組のカテゴリが視聴不許可番組カテゴリであると判定した場合（不許可）、番組比較部３９は、ステップＳ４３の処理として、番組フィルタ部３８を制御してチューナ部３２が現在受信して出力している映像信号や音声信号が表示・放音装置４１に供給されないように（視聴できないように）する。
【０１２８】
さらに、ステップＳ４１の判定において、現在受信中の番組のカテゴリが視聴許可番組カテゴリでも視聴不許可番組カテゴリでもないその他の番組カテゴリであると判定した場合（登録なし）、番組比較部３９は、ステップＳ４４の処理として、前述の第１の対処例のように当該その他の番組についてそれ以前の判定結果をそのまま維持するような対処、又は、第２の対処例のように当該その他の番組については全て視聴を許可する（現在受信している映像信号や音声信号を表示・放音装置４１に供給する）ような対処、又は、第３の対処例のように当該その他の番組については全て視聴を許可しない（現在受信している映像信号や音声信号を表示・放音装置４１に供給しない）ような対処の、何れかの対処例を実施する。
【０１２９】
これらステップＳ４２、ステップＳ４３、ステップＳ４４の後、番組比較部３９は、ステップＳ４０の処理に戻り、番組カテゴリの比較を続ける。すなわち、番組比較部３９は、表示・放音装置４１に映像信号や音声信号が供給されているか否かにかかわらず、常にステップＳ４０の処理として番組カテゴリの比較を行っている。
【０１３０】
次に、上述した本発明実施の形態の番組カテゴリ自動分類装置は、図９や図１３に示した装置だけでなく、例えば各種の放送番組の各番組カテゴリ毎に各放送番組を編集しながら記録する機能を持った装置（自動番組編集装置）にも適用可能である。
【０１３１】
図１７には、本実施の形態の番組カテゴリ自動分類装置が適用された自動番組編集装置の概略的な構成を示す。
【０１３２】
すなわち、この図１７に示す自動番組編集装置は、上述した本発明実施の形態の番組カテゴリ自動分類装置の機能を備えることにより、実際に放送されている放送番組のカテゴリを自動的に分類し、その分類結果に基づいて、予め登録しておいた番組カテゴリに対応する番組を検出し、その検出結果に基づいて、実際に放送されている番組を自動的に編集して記録する装置である。なお、この図１７において、図９の構成と同一の構成要素にはそれぞれ図９と同じ指示符号を付して、それらの説明は省略する。
【０１３３】
この図１７において、編集情報記憶部４５は、予め使用者が設定した編集に必要な番組カテゴリや不要な番組カテゴリ、編集順序（例えば優先度や重要度）が編集情報として記憶されている。すなわち、編集情報記憶部４５には、編集情報として例えば図１８に示すような、ニュース、ＣＭ、ドラマのような番組カテゴリと、それら番組カテゴリ毎の優先度が記憶されている。なお、図１８の例では、ニュースの優先度が最も高く（優先度１）、ドラマの優先度が次に高く（優先度２）設定されている。ＣＭについては優先度は不要であるため設定されていない。当該編集情報記憶部４５に記憶されている編集情報は、編集情報判断部４４に送られる。
【０１３４】
ここで、当該自動番組編集装置が受信モードになっているとき、チューナ部３２が現在受信して出力している映像信号や音声信号は、例えばハードデイスク、又は磁気テープ、光磁気ディスク、ディジタルビデオディスク等で構成された一時記憶部４２に一時的に記録される。
【０１３５】
また同時に、当該一時記憶部４２には、現在受信中の番組の映像信号や音声信号から番組カテゴリ分類部３３が分類した番組カテゴリの情報が一時的に記憶される。さらに、上記番組カテゴリ分類部３３からの番組カテゴリの情報は、編集情報判断部４４にも送られる。
【０１３６】
また同時に、編集情報判断部４４は、上記番組カテゴリ分類部３３から供給された番組カテゴリの情報と、上記編集情報記憶部４５に記憶されている編集情報とを比較し、上記番組カテゴリ毎に上記編集情報の優先度に応じた編集ラベルを付与する。当該番組カテゴリ毎の編集ラベルは、上記一時記憶部４２に一時的に記憶される。
【０１３７】
このように、一時記憶部４２には、現在受信中の映像信号や音声信号と、それら映像信号や音声信号からなる放送番組の番組カテゴリの情報と、各番組カテゴリ毎の編集ラベルとが、時間同期して一時的に保存されることになる。
【０１３８】
次に、上記放送番組の受信し、一時記憶部４２に上記映像信号や音声信号と番組カテゴリと編集ラベルを時間同期させた一時記録を終了した後、当該自動番組編集装置を編集モードに移行させる。
【０１３９】
編集モードに移行すると、再生制御部４３は、一時記憶部４２に一時記録された編集ラベルの優先度に従って、当該優先度の高い編集ラベルが付加された番組の映像信号や音声信号から順に再生するように、上記一時記憶部４２を制御する。なお、優先度が同一順序（同じ値）のものについては、放送時間順に再生する。
【０１４０】
上記再生制御部４３による編集再生制御に応じて上記一時記憶部４２から再生された番組の映像信号や音声信号は、録画・録音部４６に記録されることになる。すなわち、図１７の自動番組編集装置によれば、上述したように予め設定しておいた編集情報に応じて自動的に編集された番組が、録画・録音部４６に記録されることになる。
【０１４１】
以下、図１９を用いて、上記自動番組編集装置での具体的な動作例を説明する。
【０１４２】
図７の（ａ）は一時記憶部４２に一時記録された各番組を示しており、それら各番組の順番は実際に放送された放送順序となっている。この例では、図の左から順に、ＣＭ、ニュースＮ１、ＣＭ、ドラマＤ１、ＣＭ、ドラマＤ２、ＣＭ、ニュースＮ２、ＣＭ、ドラマＤ３、ＣＭ、ドラマＤ４、ＣＭ、ニュースＮ３、・・・の放送順序の各番組が、一時記憶部４２に記録されている。
【０１４３】
図７の（ｂ）はＣＭを除く上記各番組に付加された編集ラベルを示しており、この例では、図の左から順にニュースＮ１には優先度が１番であることを示す編集ラベルＬ１、ドラマＤ１には優先度が２番であることを示す編集ラベルＬ２、以下同様に、ドラマＤ２には編集レベルＬ２、ニュースＮ２には編集ラベルＬ１、ドラマＤ３には編集ラベルＬ２、ドラマＤ４には編集ラベルＬ２、ニュースＮ３には編集ラベルＬ１、・・・がそれぞれ付加されている。
【０１４４】
図７の（ｃ）には、上記再生制御部４３が、各番組に付加されている編集ラベルに応じた編集順序で、上記一時記憶部４２に記録されている各番組を再生させて録画・録音部４６に記録させた、編集後の各番組の順序を示している。ここで図７の（ｃ）から判るように、ニュースＮ１，Ｎ２，Ｎ３にはそれぞれ優先度が１番であることを示す編集ラベルＬ１が付加され、ドラマＤ１，Ｄ２，Ｄ３，Ｄ４にはそれぞれ優先度が２番であることを示す編集ラベルＬ２が付加されているため、各ニュースＮ１，Ｎ２，Ｎ３が各ドラマＤ１，Ｄ２，Ｄ３，Ｄ４よりも前に配置され、また、それぞれ同じ値の編集ラベルが付加されている各ニュースと各ドラマについては放送時間順に配置される。したがって、この図７の（ｃ）の例の場合、編集後に得られる各番組の順序は、ニュースＮ１、ニュースＮ２、ニュースＮ２、ドラマＤ１、ドラマＤ２、ドラマＤ３、ドラマＤ４、・・・の順序となる。
【０１４５】
図２０には、上記再生制御部４３による編集ラベルに応じた編集処理動作のフローチャートを示す。
【０１４６】
この図２０において、編集開始時、再生制御部４３は、先ずステップＳ５０の初期化処理として、編集の優先順位の値ｎを１とする。
【０１４７】
次に、再生制御部４３は、ステップＳ５１の処理として、一時記憶部４２より編集ラベルを取得した後、ステップＳ５２の処理として上記優先順位の値ｎと比較する。
【０１４８】
ステップＳ５２において、編集ラベルの値が優先順位の値ｎと一致していないと判定した場合（Ｎｏ）、再生制御部４３は、ステップＳ５８の処理として、同一の編集ラベルが振られている区間（番組）を早送り（スキップ）した後、ステップＳ５１の処理の戻り、再び一時記憶部４２より編集ラベルを取得する。
【０１４９】
一方、ステップＳ５２において、編集ラベルの値が優先順位の値ｎと一致している場合（Ｙｅｓ）、再生制御部４３は、ステップＳ５３の処理として再生を開始する（一時記憶部４２からの映像信号や音声信号の読み出しを開始する）。
【０１５０】
再生制御部４３は、当該再生中はステップＳ５４の処理として、常時、番組の編集ラベルの値を確認し、編集レベルの値が優先順位の値ｎと一致している間（Ｙｅｓ）は再生を継続する。
【０１５１】
これに対し、ステップＳ５４にて編集レベルの値と優先順位の値ｎとが異なった場合（Ｎｏ）、再生制御部４３は、一時記憶部４２に記録されている番組の映像信号や音声信号の再生が全て終了したかどうかを確認する。このステップＳ５４の確認処理において終了していないと判定された場合（Ｎｏ）、再生制御部４３は、ステップＳ５８の処理として上記早送り（スキップ）する。
【０１５２】
ステップＳ５４の確認処理において終了したと判定した場合（Ｙｅｓ）、再生制御部４３は、ステップＳ５６の処理として、優先順位の値ｎを１増やし（１インクリメント）、次の優先順位のものの処理を行う。
【０１５３】
ここで、再生制御部４３は、ステップＳ５７の処理として、優先順位の値ｎが、指定されている優先度のうち最も低いもの（Ｎl）を越えているか否かの判定を行い、越えていないと判定した場合（Ｎｏ）、すなわち次の優先度の編集ラベルが付加されたものの編集が指定されている場合、ステップＳ５９の処理として、一時記憶部４２の再生位置を記録部分の最初に戻し、ステップＳ５１に戻って上述同様の操作を繰り返す。また、再生制御部４３は、ステップＳ５７の判定処理において、優先順位の値ｎが、上記最も優先度の低い値（Ｎl）を越えていると判定された場合（Ｙｅｓ）、編集処理を終了する。
【０１５４】
以上説明したように、本発明実施の形態の番組カテゴリ自動分類装置によれば、異なる時間スケールに対する階層的な処理構造を持ち、僅かな（１分以内程度）の時間内に、例えばテレビジョン放送やラジオ放送の番組カテゴリ、またはその変化を自動的に識別することができ、また、中間レベルでの音源カテゴリや番組カテゴリの表現に確率的な表現を導入することで、多くのカテゴリを取り扱うことが可能となっている。
【０１５５】
したがって、本実施の形態の番組カテゴリ自動分類装置を、例えば予約記録機能を備えた記録装置に適用すれは、予約記録時間を自動的に修正したり自動的に延長する予約記録時間自動修正・延長装置を実現することが可能となる。
【０１５６】
また、本実施の形態の番組カテゴリ自動分類装置を、例えば放送番組のフィルタリングを行うフィルタリング装置に適用すれば、番組の視聴を自動的に許可及び／又は不許可にする番組自動フィルタリング装置を実現することが可能となり、例えばＣＭを自動的にスキップすることも可能となる。
【０１５７】
さらに、本実施の形態の番組カテゴリ自動分類装置を、例えば番組編集装置に適用すれば、放送番組の重要度に応じた自動編集が可能な自動番組編集装置を実現することが可能となる。
【０１５８】
なお、本発明実施の形態では、一般的なテレビジョン放送やケーブルテレビジョン放送、衛星放送、通信放送、ラジオ放送などにより放送される各種の放送番組の番組カテゴリを分類する例を挙げたが、本発明は放送番組に限らず、例えば記録メディアに記録されている番組のカテゴリを自動分類するような用途にも適用可能である。
【０１５９】
【発明の効果】
以上の説明で明らかなように、本発明の信号処理装置及び方法においては、信号を階層的な複数の異なる時間区間にてフレーム化し、各階層のフレーム内の信号をそれぞれ各階層毎に処理し、処理の結果に基づいて信号のカテゴリを判定することにより、例えば、各種の放送番組の内容やカテゴリを正確且つ確実に分類して識別でき、これによって、例えば、記録装置における予約記録を制御可能であり、予約記録の失敗を無くすことを可能にするだけでなく、さらに、記録する番組の自動フィルタリングや、ＣＭの自動スキップ、番組の自動編集等も可能となる。
【図面の簡単な説明】
【図１】本発明の信号処理装置及び方法が適用される一実施の形態としての番組カテゴリ自動分類装置の概略構成例を示すブロック回路図である。
【図２】本実施の形態の番組カテゴリ自動分類装置の各処理部における処理の時間関係の説明に用いる図である。
【図３】本実施の形態の番組カテゴリ自動分類装置の短時間信号処理部における処理と各特徴量と次元との対応表を示す図である。
【図４】本実施の形態の番組カテゴリ自動分類装置の中時間信号処理部から出力される分類ベクトルの要素の種類とベクトル要素との対応表を示す図である。
【図５】本実施の形態の番組カテゴリ自動分類装置の長時間信号処理部の特徴抽出部における特徴量と処理法の対応表を示す図である。
【図６】本実施の形態の番組カテゴリ自動分類装置の長時間信号処理部のルールテーブル部に用意されているルールテーブルの例を示す図である。
【図７】本実施の形態の番組カテゴリ自動分類装置の長時間信号処理部での具体的な動作例（２フレームのうち前のフレーム部分）の説明に用いる図である。
【図８】本実施の形態の番組カテゴリ自動分類装置の長時間信号処理部での具体的な動作例（２フレームのうち後のフレーム部分）の説明に用いる図である。
【図９】本実施の形態の番組カテゴリ自動分類装置が適用された、放送番組の予約記録機能を備えた記録装置の概略的な構成を示すブロック回路図である。
【図１０】本実施の形態の番組カテゴリ自動分類装置が適用された記録装置の録画・録音コントローラにおける未記録動作状態時の動作フローチャートである。
【図１１】本実施の形態の番組カテゴリ自動分類装置が適用された記録装置の録画・録音コントローラにおける記録動作状態時の動作フローチャートである。
【図１２】本実施の形態の番組カテゴリ自動分類装置が適用された記録装置の実際の動作説明に用いる図である。
【図１３】本実施の形態の番組カテゴリ自動分類装置が適用された番組自動フィルタリング装置の概略的な構成を示すブロック回路図である。
【図１４】本実施の形態の番組カテゴリ自動分類装置が適用された番組自動フィルタリング装置において、視聴許可番組カテゴリの番組の視聴を許可する制御を行う際の動作フローチャートである。
【図１５】本実施の形態の番組カテゴリ自動分類装置が適用された番組自動フィルタリング装置において、視聴不許可番組カテゴリの番組の視聴を不許可とする制御を行う際の動作フローチャートである。
【図１６】本実施の形態の番組カテゴリ自動分類装置が適用された番組自動フィルタリング装置において、視聴不許可番組カテゴリの番組の視聴を許可せず、視聴許可番組カテゴリの番組の視聴を許可する制御を行う際の動作フローチャートである。
【図１７】本実施の形態の番組カテゴリ自動分類装置が適用された自動番組編集装置の概略的な構成を示すブロック回路図である。
【図１８】本実施の形態の番組カテゴリ自動分類装置が適用された自動番組編集装置の編集情報記憶部に記憶された編集情報の一例を示す図である。
【図１９】本実施の形態の番組カテゴリ自動分類装置が適用された自動番組編集装置の具体的な動作例の説明に用いる図である。
【図２０】本実施の形態の番組カテゴリ自動分類装置が適用された自動番組編集装置の再生制御部による再生編集制御の動作フローチャートである。

Claims

入力信号中の映像信号及び／又は音声信号から短時間フレーム毎に複数の少なくとも上記音声信号の調波構造度を含む特徴ベクトルを生成する特徴ベクトル生成部と、
上記複数の特徴ベクトルから中時間フレーム毎に複数の少なくとも音源カテゴリ確率を含む分類ベクトルを生成する分類ベクトル生成部と、
上記複数の分類ベクトルから長時間フレーム毎に、一つまたは複数のカテゴリ分類ベクトルを生成するカテゴリ分類生成部と、
カテゴリ分類ベクトルに基づいて、カテゴリを判別するカテゴリ判別部とを有する
信号処理装置。
上記カテゴリ判別手段は、上記カテゴリ分類ベクトルの処理の結果に応じた確率を用いて上記カテゴリの判別を行う
請求項１記載の信号処理装置。
上記カテゴリの判別結果に基づいて、所望の機器を制御する制御手段を備える
請求項１記載の信号処理装置。
上記制御手段は、予約記録機能を備えた機器の予約記録時間を制御する
請求項３記載の信号処理装置。
上記制御手段は、上記映像信号及び／又は音声信号をフィルタリングする機能を備えた機器での上記フィルタリング動作を制御する
請求項３記載の信号処理装置。
上記制御手段は、上記映像信号及び／又は音声信号の編集機能を備えた機器での上記編集動作を制御する
請求項３記載の信号処理装置。
上記映像信号及び／又は音声信号の編集機能を備えた機器は上記上記映像信号及び／又は音声信号を一時記憶する一時記憶手段を有し、
上記制御手段は、上記一時記憶手段に一時記憶された上記映像信号及び／又は音声信号を、編集の重要度に応じて読み出させて上記編集動作を制御する
請求項６記載の信号処理装置。
入力信号中の映像信号及び／又は音声信号から短時間フレーム毎に複数の少なくとも上記音声信号の調波構造度を含む特徴ベクトルを生成する特徴ベクトル生成工程と、
上記複数の特徴ベクトルから中時間フレーム毎に複数の少なくとも音源カテゴリ確率を含む分類ベクトルを生成する分類ベクトル生成工程と、
上記複数の分類ベクトルから長時間フレーム毎に一つまたは複数のカテゴリ分類ベクトルを生成するカテゴリ分類生成工程と、
カテゴリ分類ベクトルに基づいて、カテゴリを判別するカテゴリ判別工程とを有する
信号処理方法。