JP4381345B2 - 音声モードを利用した映像信号の区切り情報設定方法及び装置 - Google Patents

Description

本発明は、映像構造化を得るために、音声モードを利用して映像信号の区切り情報設定を行う方法及び装置に関するものである。つまり映像データ及び又は音声信号の特徴を捕らえて、例えばチャプター分割して映像を構造化する場合に利用される方法及び装置である。

テレビジョン放送信号では、通常は、プログラムの境界、あるいはプログラムの途中においてコマーシャル（ＣＭ）タイムが設けられている。このＣＭ部の候補区間を、音声モードから検出する装置がある（例えば特許文献１）。また、音声モードとは関係なく、無音期間を検出し、この無音期間中の所定位置に区切り情報を設定する装置がある（例えば特許文献２）。無音期間が例えば１５秒の倍数であれば、ＣＭ期間と判定するのである。
特開２０００−１６５７９６公報（対応ＵＳ６，４４９，０２１Ｂ１） 特開２００４−３２６９２６公報

上記従来の技術において、音声モード（ステレオモード）のときをＣＭ期間であると判定した場合、ＣＭ期間以外の本編までもステレオモードの音声がある場合、またステレオとモノラルが混在したような場合、正確にＣＭ期間のみを識別できなくなる。また、上記の無音期間を検出して、区切り情報を生成する装置では、無音の検出精度に左右される。

そこでこの発明は、番組の中に複数の音声モードが混在したとしても、本編に対する適切な区切り情報を得ることができる音声モードを利用した映像信号の区切り情報設定方法及び装置を提供することを目的とする。

この発明では、映像信号処理部と音声信号処理部からの信号を処理する装置において、前記音声信号処理部からの音声信号を取り込み、信号状態を解析処理する方法であって、録画した番組映像信号の全長さのうち、前記音声信号が第1のモードであるときの合計の長さまたは割合が、所定の長さ又は所定の割合以下であるかどうかを判定し、前記所定の長さ又は割合以下であるときは、前記録画した映像信号の本編の音声モードは、第２のモードであると判定し、前記第２のモードでないときは、本編の音声モードは第1のモードであると判定し、前記判定結果に応じて、前記映像信号の任意区間の区切り情報を生成するための適応処理部を選択して設定し、設定された適応処理部で生成した区切り情報を保存するようにし、前記本編が前記第２のモードのときは、前記音声信号を用いて音声レベルが、所定時間、閾値以下の部分を無音部として判定し、前記無音部と次の無音部との時間間隔が一定時間の倍数であるかどうかを判定し、前記時間間隔が一定時間の倍数であれば、無音部の検出をカウントし、前記無音部のカウント数が閾値３個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定するようにした。

上記のように、まず本編の音声モードを例えばモノラル或いはステレオのように特定して、この特定した音声モードに応じて、前記映像信号の任意区間の区切り情報を生成する適応処理（アルゴリズム）を設定する。このために、本編の任意区間の区切り情報として、適切なものを得ることができる。

以下、図面を参照してこの発明に係る実施の形態を説明する。図１はこの発明が適用された信号処理装置の構成例である。この信号処理装置は、例えばデジタルテレビジョン受信装置、あるいは情報記録再生装置などに適用可能である。

チューナ１は、例えばデジタル放送信号を受信し、受信信号を復調し、復調出力をトランスポートデコーダ２に供給する。トランスポートデコーダ２で選択された番組の映像信号・音声信号はパケット毎オーディオビデオ（ＡＶ）デコーダ３に入力されて復調される。ＡＶデコーダ３で復調された音声出力は、出力端子４Ａに出力され、映像出力は、出力端子４Ｐに出力される。出力端子４Ｐの映像信号には、合成回路５にて、オンスクリーンディスプレイ（ＯＳＤ）コントローラ６からの映像信号が合成される場合もある。

ダイレクトＲＤＲＡＭ７は、ＡＶデコーダ３、或いはＯＳＤコントローラ６からのデータを一時的に格納するために利用される。ＳＤＲＡＭ８は、例えば受信信号のエラー訂正処理などを行うときに、一時的にデータを格納する場合に利用される。例えば、ＥＥＰＲＯＭ９は、装置の機能を実行するプログラムあるいはパラメータなどを保存しておくために利用される。

１０は、メインバスであり、上記のトランスポートデコーダ２、ＡＶデコーダ３、ＯＳＤコントローラ６、ＳＤＲＡＭ８、ＥＥＰＲＯＭ９などに接続されている。そしてメインバス１０には、装置を統括する制御部であるＣＰＵ１１が接続されている。さらにこの装置は、バス１０を介して外部機器と接続することが可能である。このためにメインバス１０には、モデムインターフェース１２ａ，ＬＡＮ端子１２ｂ、ブルーツースインターフェース１２ｃ、リモコンインターフェース１２ｄ、ＡＴＡＰＩインターフェース１２ｅが接続されている。インターフェース１２ｅを介してハードディスクドライブ１３を接続することも可能である。またメインバス１０には、ＡＶエンコーダ１４が接続されており、映像信号を記録媒体に記録する所定のフォーマット（例えばＤＶＤ規格）に変換することができる
ここでＣＰＵ１１内部には、大きく分類して、例えば、本編自動チャプター分割機能と、構造解析チャプター分割機能（マジックチャプター分割機能と称してもよい）が設けられている。

本編自動チャプター分割機能は、音声モードを利用して映像信号の任意区間を設定するための区切り情報を生成する区切り情報処理部１１ａを含む。

区切り情報処理部１１ａは、録画した番組映像信号の全長さのうち、音声信号が第１のモード（モノラルモードまたは音声多重モード）であるときの合計の長さまたは割合が、所定の長さ又は所定の割合以下であるかどうかを判定する音声モード状況判定部１１ａ１を有する。また音声モード状況判定部１１ａ１の判定結果を受けて、モノラルモードが所定の長さ又は割合以下であるときは、録画した映像信号の本編の音声モードは、第２のモード（ステレオモード）であると判定し、第２のモード（ステレオモード）でないときは、本編の音声モードは第１のモード（モノラルモードまたは音声多重モード）であると判定する本編音声モード決定部１１ａ２を有する。

そして、処理内容切換え部１１ａ３が、本編音声モード決定部１１ａ２の判定結果に応じて、前記映像信号の任意区間の区切り情報を生成するための適応処理部１１ａ４，１１ａ５を切換え選択する。また、設定された適応処理部で生成した区切り情報を保存する保存処理部１１ａ６を有する。適応処理部１１ａ４は、例えば音声モードが切換わったときに区切り情報を発生する。また適応処理部１１ａ５は音声信号の無音部において区切り情報を発生する。これらの区切り情報は、両方又は片方が利用されるもので、処理内容切換え部１１ａ３からの制御情報に応じて利用が決定される。

図２には、放送された複合信号に含まれる音声信号には、モノラルモード、ステレオモード、音声多重モード、ステレオモード、の各種音声モードがあり、混在している場合の例を示している。ここでは、複合信号は、映像信号と音声信号の両方が含まれる信号を意味する。図２では、番組Ａ（モノラル音声モード），番組Ｂ（ステレオ音声モード）、番組Ｃ（音声多重とステレオモードの混在）が順次記録処理される様子を示している。

図３には、上記のような音声信号を解析して本発明の一実施の形態により、区切り情報を生成した様子を示している。図３では、番組Ａ，番組Ｂ、番組Ｃが順次記録処理される様子を示している。

ここで、マークｍ１、ｍ１２、ｍ１３、ｍ１５が付されている位置は音声モードが切換わった位置である。マークｍ２−ｍ１１、マークｍ１３、ｍ１４、ｍ１５が付されている位置は無音部を検出した位置である。本発明の装置には、ステレオモードにおいては、無音部を検出する機能が含まれている。そして、この機能は、例えば３個以上連続する無音部の隣り合う間隔が全て一定時間（例えば１５秒）の倍数であるという条件を満足したときは、連続している無音部の最初と最後の無音部にチャプター分割点を設定するようにしている。この機能の具体的構成と処理については、さらに後で詳しく説明することにする。

図３では、連続するマークｍ３、ｍ４、ｍ５が上記の条件を満足しているので、チャプター分割点（区切り情報）ｘ１、ｘ２が設定されている。また、マークｍ６−ｍ９も上記の条件を満足しているので、チャプター分割点（区切り情報）ｘ３、ｘ４が設定されている。またマークｍ１３、ｍ１４、ｍ１５も上記の条件を満足しているので、チャプター分割点（区切り情報）ｘ５、ｘ６が設定されている。

この例は、本編がステレオモードのときは、音声レベルが、所定時間、閾値以下の部分を無音部として判定している。また、無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定している。そして、時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントし、カウント数が閾値（Ｂ）個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定している。

図４は、さらに別の実施形態を説明するために示している。図３と同じ部分には図３と同一符号を付している。この例では、図３の例に加えて、さらに音声モードが切換わった部分にもチャプター分割点（区切り情報）ｘ７、ｘ８をつけるようにした例である。この実施の形態であると、番組の境界にも区切り情報をつけることができる。

図５の例は、本編がステレオモードでない場合に、音声モードが切換わる毎に区切り情報をつけた例を示している。勿論、先の図４におけるステレオモードのときの判定方法も併用している。つまり本編がステレオモードでなくても、コマーシャル部分がステレオモードとなり、複数のコマーシャルが無音部をはさんで放送されることがある。このような場合に、無音部の全てにマークを設定するが、区切り情報は、コマーシャル部分の先頭と終わりに設定される。この例の場合、音声モードが切換わったところだけに区切り情報を設定する。

図６は、音声信号のステレオモード、モノラルモードの割合を測定したときの例を示している。この発明では、音声信号が例えばモノラルモード（第１のモード）であるときの合計の長さまたは割合が、所定の長さ又は所定の割合以下であるかどうかを判定している。そして所定の割合は、（３／１２０）以上で（１／２）以下としている。２時間（１２０分）番組であって、モノラルモードが３分以上で１時間以下であれば、本編をステレオモードであると判断している。３分間のモノラルの番組は、例えばニュース番組などのように少しだけ含まれることがあるからである。またステレオモードない区間の割合が１／２以上になると、判定結果に対する矛盾が生じるからである。

図７は、モノラルモードである区間の長さ（例えば３分）が２時間番組（映像全体の長さ）に対してどのような割合であるかどうかを計算するときに、計算の容易さを得るための説明図である。計算のためには、１２０分×（２のｎ乗分の１）を計算して、３分と比較する。（２のｎ乗分の１）は、計算機では計算しやすい。１２０×（２のｎ乗分の１）を計算するには、１２０を２進数で表し、ｎビットシフトすればよい。

図８は、上記した実施形態のうち代表的なものの動作をフローチャートで示している。番組の所定モード（ステレオモード）でない区間の時間長を合計する（ステップＳＸ１）。次に、合計した時間長は、録画した映像全体の長さに所定の割合を積算した数以下であるかどうかを判定する（ステップＳＸ２）。所定の割合を積算した数以下であれば、番組の本編は所定のモード（ステレオモード）であると判定する（ステップＳＸ３）。次に、無音部検出により、先の図３、図４で説明した条件判定により、チャプター分割点を設定する処理を行う（ステップＳＸ４）。

しかし、ステップＳＸ２において、所定の割合を積算した数より大きい場合、番組の本編は所定のモード（ステレオモード）でない（モノラルモードあるいは音声多重モード）であると判定する（ステップＳＸ５）。

ステップＳＸ４および上記ステップＳＸ５の次は、ステップＳＸ６において、音声モードが切換わった点にもチャプター分割点（区切り情報）を設定する。

この後は、チャプター分割点の情報（区切り情報）は、例えば記録媒体に管理情報の一部として記録される。例えば、管理情報内にエントリーポイントとして記述される。

さらにこのエントリーポイント（区切り情報）には、属性情報が付加されていてもよい。この属性情報は、図３と図４で説明したように、無音部を検出して設定した区切り情報ｘ１、ｘ２、ｘ３．ｘ４、ｘ５、ｘ６と、音声モードを参照して設定した区切り情報ｘ７、ｘ８との区別をつけるためである。

図９には、録画した番組全体の音声モードを検査するのではなく、例えば、番組の一部の区間（たとえば開始から２０分間分）の複合信号の音声信号を検査する例である。２０分の区間に所定の音声モードでない区間がどの程度存在するかにより、本編がステレオモードであるか否かを判定するのである。

図１０の例は、図９の例の変形例である。図９の例は、番組の先頭から所定の長さの区間を検査した。しかし図１０の例は、番組の先頭から所定の割合の区間である。例えば録画した番組の全体が１２０分であれば、その１／４の区間を検査している。そしてこの区間に所定の音声モードでない区間がどの程度存在するかにより、本編がステレオモードであるか否かを判定するのである。

次に、ＣＭ区間の開始位置と終わり位置に区切り情報を設定する方法についてさらに詳しく説明する。この方法では、ステレオモードの音声信号中で無音部を検出し、この無音部の間隔が所定時間（１５秒）の倍数である場合、この無音部が複数連続する区間をＣＭ区間と判定している。そして、ＣＭ区間の開始位置と終了位置にある無音部に区切り情報を設定している。

図１１はこの無音部を利用した装置の基本的な構成例を示している。この構成は、図１に示した適応処理部１１ａ５に対応する。図１１において、放送信号は、チューナ２１にて受信される。チューナ２１からは、選局されたチャンネルの番組の映像・音声信号が出力される。音声信号は、音声信号処理部２２にて復調・復号処理される。音声信号処理部２２の出力は、エンコーダ部２３及び後述する無音検出装置２５に供給される。

エンコーダ部２３は、ＤＶＤ規格に基づき映像信号、音声信号を所定のフォーマットにエンコードし、その出力をデータ処理部２４に供給する。データ処理部２４は、ハードディスク或いはＤＶＤ−Ｒ，あるいはＤＶＤ−ＲＷ，あるいはＤＶＤ−ＲＡＭに対して、情報を変調して記録することができる。また上記のディスクから読み出した情報を復調処理することができる。またエラー訂正コード（ＥＣＣ）に関する処理機能も含む。

音声信号処理部２２の出力は、さらに無音検出装置２５にも供給される。無音検出装置２５は、所定時間音声レベルが閾値以下の部分を無音部として検出する。このとき無音検出装置２５は、無音情報を出力し、無音時刻記録装置２６に供給する。つまり無音部時刻記録装置２６は、番組における無音部情報（無音部が判定された時刻の情報）を蓄積している。

無音時刻記録装置２６に記録された無音時刻情報は、無音部間隔計算装置２７にて利用される。ここでは無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定している。そして、時間間隔が一定時間（Ａ）の倍数であれば、無音部をカウントし、無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後に現れた無音部に対して、チャプター区切り情報を設定するために、最初をＣＭ開始情報、最後をＣＭ終了情報として、チャプター境界設定装置２８に供給する。

これにより、チャプター境界設定装置２８は、チャプター情報を生成して、データ処理部２４に供給する。データ処理部２４は、チャプター情報をＤＶＤ規格のマネジメント情報内のエントリーポイントに変換して管理する。

なお、映像情報に関しては、映像信号処理部２９にて処理され、エンコーダ部２３に入力され、所定のＤＶＤ規格のデータに変換されている。そして、エンコーダ部２３の出力が、データ処理部２４を介して、光ディスク１０１に記録される。

ここで、上記の無音部間隔計算装置２７は、さらにブロック化すると無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定する無音部時間間隔計測部２７ａと、時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントする無音部かうんと処理部２７ｂと、無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定する無音部の条件判定部２７ｃとを含む。

図１２には、上記の無音検出装置２５、無音時刻記憶装置２６、無音部間隔計算装置２７、チャプター境界設定装置２８により、無音部が検出された時間、チャプター境界設定のためにチャプター情報が得られた時刻を時間軸上で示している。説明を分かりやすくするために、単純化して説明する。この図は、例えば１つの番組中（例えば録画予約した番組）の中で、２回のコマーシャル期間があった例である。

そして、第１回目のコマーシャル期間にＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４つのコマーシャルが放送され、第２回目のコマーシャル期間にＣＭ５、ＣＭ1，ＣＭ2の３つのコマーシャルが放送された例を示している。

例えば第１回目のコマーシャル期間を見ると、各コマーシャルの区切り部では、無音期間があるために、無音部検出フラグが得られる。しかしＣＭ４の後は、後述する条件を満足していないために、ＣＭ４の終了がチャプター境界位置として判定されている。また最初のＣＭ１のスタート直前の無音部検出フラグの位置がチャプター境界として設定されている。つまり、コマーシャル期間の前後にチャプター境界を示すフラグが得られることになる。同様に、第２回目のコマーシャル期間においても無音部の全てにチャプター境界が設定されるのではなく、所定条件を満足する（連続して放送される）複数のＣＭをグループ化し、グループを１つの単位として、チャプター境界を設定している。

図１３には、上述した処理を行うステップを大きなブロックで示している。１つの番組に対するチャプター設定処理が終了しているかどうかを判定し（ステップＳＡ１）、終了していなければ、無音部を検出するために無音検出処理を行う（ステップＳＡ２）。無音部が検出されると、先の説明のように無音部を検出した時間が記憶される（ステップＳＡ３）。番組の終わりに管理情報を処理するとき、図２で説明したように、チャプター境界が管理情報内のエントリーポイントとして設定される。

図１４は、コマーシャル期間にて、無音部が次々と検出されたときに、ＣＭ開始点のチャプター境界と、ＣＭ終了点のチャプター境界を決定するときの様子を示すフローチャートである。処理がスタートすると、まず、無音部を検出したときに、無音部の順番を示す情報としてｉを用いる。最初の無音部が検出されると、ｉ←１とし、ＣＭカウント値（ｃｍ＿ｃｏｕｎｔ）は、ｃｍ＿ｃｏｕｎｔ←０とし、最後の無音部の時刻（ｌａｓｔ＿ｓｉｌｅｎｔ）をｌａｓｔ＿ｓｉｌｅｎｔ←０とし、次に検出した無音部の時刻（ｓｉｌｅｎｔ）もｓｉｌｅｎｔ←０とする（ステップＳＢ１）。

無音部を検出したとき、無音部の個数がｉよりも小さい場合には、前回の時刻（ｓｉｌｅｎｔ）を、ｌａｓｔ＿ｓｉｌｅｎｔ←ｓｉｌｅｎｔとし、今回の時刻（ｓｉｌｅｎｔ）を、ｉ番目の無音部の時刻とする（ステップＳＢ２、ＳＢ３）。次に（ｓｉｌｅｎｔ）−（ｌａｓｔ＿ｓｉｌｅｎｔ）の計算を行い、この値が１５秒の倍数であるかどうかを判定する。コマーシャルは１５秒単位あるいはその倍数の単位で放送されることが多いからである。

１５秒（値Ａ）もしくはその倍数であれば、ｃｍ＿ｃｏｕｎｔ＝０かどうかを判定する（ステップＳＢ５）。０のときは、コマーシャルカウントが開始された直後である。ｉ−１がコマーシャルの開始時刻に相当するため、ステップＳＢ６にて、start←i-1とする。

ステップＳＢ５でｃｍ＿ｃｏｕｎｔ≠０の場合は、すでにコマーシャル期間がスタートしていることであり、ステップＳＢ７に進みｃｍ＿ｃｏｕｎｔに＋１を行う。ステップＳＢ７の後は、（ｉ＋１）の処理を行い（ステップＳＢ８）、ステップＳＢ２に戻る。

先のステップＳＢ４において、（ｓｉｌｅｎｔ）−（ｌａｓｔ＿ｓｉｌｅｎｔ）の計算結果が、１５秒（値Ａ）の倍数でない場合には、コマーシャル期間でないものと見なす。このときはステップＳＢ９に進み、これまで蓄積しているｃｍ＿ｃｏｕｎｔがｃｍ＿ｃｏｕｎｔ＞閾値（Ｂ）を満足するかどうかを判断する。満足する場合には、複数のコマーシャルグループが放送されたものと判断し、このときのスタート（start）と累積加算された現在のｉが得られた時点をＣＭ開始点、ＣＭ終了点として、チャプター境界設定装置に報告される（ステップＳＢ１０）。この後は、ｃｍ＿ｃｏｕｎｔ＝０、ｉ＝０にセットする。

なお、一定時間（値Ａ）は、可変可能としてもよい。値Ａを可変するには、特殊設定用のユーザ案内メニューを用意して可変できるようにする。また閾値（Ｂ）は、一定のマージンを持たせてもよい。

図１５は、チャプター境界設定装置２８における動作である。ＣＭの開始点の情報、及び終了点の情報を取得して（ステップＳＣ１）、チャプター境界を設定（ステップＳＣ２）する手順を示している。

上記したようにこの発明の方法及び装置によると、コマーシャル放送期間において、無音部を検出し、全ての位置をチャプター境界とするのではなく、連続した複数のコマーシャル（連続コマーシャルグループ）の開始位置と終了位置を検出している。

ユーザは、選択により上記の機能の動作オン、動作オフを設定することができる。この場合、ユーザは、番組予約時の画面で詳細設定ボタンを選択し、詳細設定画面を見ながら、動作オン、オフを選択することができる。

図１６は、１つの番組を録画予約するときに、予約画面の「詳細設定」ボタンを選択し、クリックしたときに現れる詳細設定画面６０の例である。図に示すように、「本編自動チャプター分割」の項目６０ａが「入」になっている。この状態であると、先に説明したチャプター分割動作が得られることを意味する。リモコン操作によりカーソルを項目６０ａに合わせて、決定キーを押すことで、「入」、「切」をサイクリックに切り替えることができる。

さらにこの画面６０には、「構造解析チャプター分割」という項目６０ｂが設けられている。この「構造解析チャプター分割」による機能と、上述した「本編自動チャプター分割」による機能（ＣＭ期間検出が正確）とは、チャプター分割処理が異なる。

図１７、図１８に示すように、「構造解析チャプター分割」による機能は、主として映像データを分析し、フィールド或いはフレーム画像の類似度を判定する。そして、カット検出、類似ショットの判定、対話度数の算出などを行い、チャプター境界を決定する方法である。ここではカット点とカット点との間をショットと称している。

上記の「カット検出」とは、ＩピクチャフレームとＩピクチャフレーム（もしくは０．５秒ごとのフレーム）を比較し、画面全体の色相が大きく異なるか、輝度変化が大きい領域が予め設定しているパラメータより多い場合は、フレームは非類似と判定する。そして、０．５秒離れたフレーム同士を順次比較しで、非類似のフレームの組の数が、閾値以上の区間があった場合には、この区間の任意の点にカット点を設定する方法である。図１７には、矢印で示すフレーム相互間の類似性を判定している様子を示している。そして、非類似のフレームの組が多数存在している部分で、カット点を設定した様子を示している。ｆｎ、ｆｎ−１，ｆｎ−２，…、ｆｅ、ｆｅ−１，ｆｅ−２，…、は、フレームである。

上記の「類似ショット検出」とは、過去のカット点からさかもどった数フレームと、直近のカット点から後の数フレームとの総当りでフレーム間の類似判定を行う。図１８は、総当りの様子を示している。そして、「類似」と判断したフレームの組の数が閾値以上の場合、双方のショットは、類似であると判定するものである。つまり、図１８に示すように、カット点の前のショットＡとカット点の後のショットＤ間のフレームが類似しているかどうかを判定する。図のフレームの組み合わせ例であると、類似判定は、例えば丸印を付している数が得られることになる。

「対話検出」と「対話度数」は、次のように定義されている。（ａ）類似ショットが集中的に登場する区間（部分）は、意味のある区間である。（ｂ）類似ショットがどれくらいの密度で出現するかを数値化するために「対話度数」という指標を導入している。「対話度数」は、以下の条件を満たすほど大きくなる。（ｂ１）ショットが多くふくまれている（＝カット点が頻繁に現れる）。（ｂ２）対話に貢献している（＝類似している）ショットの個数が多い。（ｂ３）対話に貢献している（＝類似している）ショットの合計時間が長い。

上記の（ｃ）対話度数をもとに、対話区間を算出する。そして（ｄ）近接した対話区間は接続する。

「構造解析チャプター分割」機能は、基本的に上記の処理により実行される。カット点を設定し、類似ショットを検出する場合は、上記の処理で足りる場合がある。しかし、複数の番組構造を再構築する機能を追加するには、さらに以下のような機能を含んでもよい。

即ち、「ニュース番組固有処理」機能、「その他の番組処理」機能である。「ニュース番組固有処理」機能、話題先頭ショット検出を行うもので、番組内にある程度分布し、ある程度長く、ある回数以上出現する類似ショットを「話題の先頭ショット」と仮定する。そして「話題の先頭ショット」が連続している場合、連続の最後のショットを真の「話題の先頭ショット」、それ以外を「前の話題のフォローアップ」と判定するのである。「その他の番組処理」機能は、「コーナータイトル検出」機能を設定している。この機能は番組内に広く分布し、対話区間に属さず、ある回数以上出現する類似ショットを「コーナータイトル」であると判定する。また、番組開始後しばらくたってもコーナータイトルが現れない場合は、「コーナータイトルを持たない番組」とみなすのである。

上記のように、番組のカット点の情報、類似ショットの情報、ニュース番組の話題先頭の情報、その他の番組のコーナータイトルの情報が得られると、番組を編集する場合、あるいは、番組のチャプターを構築する場合に、有効な情報として利用可能となる。

上記の例では、録画予約画面から詳細設定ボタンをクリックしたときに現れる画面６０−１上で、「構造解析チャプター分割」という項目６０ｂが現れた例を示した。しかし、「構造解析チャプター分割」を設定するための項目６０ｂは、メニュー画面から録画機器を選択し、次に、録画機能を設定する画面上でも現れる。

図１９には、「構造解析チャプター分割」という項目６０ｂが録画機能を設定する画面６０−２上で現れた例を示している。この画面でも「構造解析チャプター分割」を行うのか否かを設定するための項目６０ｂが現れている。

上述した画面６０−１，６０−２において、リモートコントローラの操作部のマークが表示されている。つまり上下方向、左右方向へカーソル移動するためのカーソルキーのマークと、決定キーのマークとが表示されている。これは、ユーザの操作を案内するのに有効なマークである。

図２０はこの発明が適用された記録再生装置の全体構成を示す図である。この記録再生装置は、２種類のディスクドライブ部を有する。光ディスク１０１は、ビデオファイルを構築できる情報記録媒体である。ディスクドライブ部１０２は、光ディスク１０１を回転駆動し、情報の読み書きを実行する。１０４はハードディスクを駆動するハードディスクドライブ（ＨＤＤ）部である。

データプロセッサ部１０３は、ディスクドライブ部１０２及びハードディスクドライブ部１０４に記録データを供給することができ、また、再生された信号を受け取ることができる。ディスクドライブ部１０２は、光ディスク１０１に対する回転制御系、レーザ駆動系、光学系などを有する。

データプロセッサ部１０３は、記録または再生単位のデータを取り扱うもので、バッファ回路、変調・復調回路、エラー訂正部などを含む。

この記録再生装置は、録画側を構成するエンコーダ部２００と、再生側を構成するデコーダ部３００と、装置本体の動作を統括して制御するマイクロコンピュータブロック４００とを主たる構成要素としている。エンコーダ部２００は、入力されたアナログビデオ信号やアナログオーディオ信号をデジタル化するビデオ用及びオーディオ用のアナログデジタルコンバータと、ビデオエンコーダと、オーディオエンコーダとを有する。さらに、映画の字幕などを圧縮する副映像エンコーダも含む。

エンコーダ部２００の出力は、バッファメモリ２０３を含むフォーマッタ２０４にて所定のＤＶＤ（ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ−ＲＡＭ、など）フォーマットに変換され、先のデータプロセッサ部１０３に供給される。エンコーダ部２００には、ＡＶ入力部２１１から外部アナログビデオ信号と外部アナログオーディオ信号、あるいはＴＶチューナ２１２からアナログビデオ信号とアナログオーディオ信号が入力される。なお、エンコーダ部２００は、圧縮されたデジタルビデオ信号やデジタルオーディオ信号が直接入力されるときは、圧縮デジタルビデオ信号やデジタルオーディオ信号を直接フォーマッタ２０４に供給することもできる。またエンコーダ部２００は、アナログデジタル変換されたデジタルビデオ信号及びオーディオ信号を、ビデオミキシング部３０５及びオーディオセレクタ３０１にそれぞれ直接供給することもできる。

エンコーダ部２００に含まれるビデオエンコーダでは、デジタルビデオ信号はＭＰＥＧ２またはＭＰＥＧ１規格に基づいた可変ビットレートで圧縮されたデジタルビデオ信号に変換される。オーディオ信号は、ＭＰＥＧまたはＡＣ−３規格に基づいて固定ビットレートで圧縮されたデジタルオーディオ信号、あるいはリニアＰＣＭのデジタルオーディオ信号に変換される。

副映像信号がＡＶ入力部２１１から入力された場合（例えば副映像信号の独立出力端子付ＤＶＤビデオプレーヤからの信号など）、あるいはこのようなデータ構成のＤＶＤビデオ信号が放送されてそれがＴＶチューナ２１２で受信された場合は、ＤＶＤビデオ信号中の副映像信号が副映像エンコーダでエンコード（ランレングス符号化）されて副映像のビットマップとなる。

エンコードされたデジタルビデオ信号、デジタルオーディオ信号、副映像データは、フォーマッタ２０４にてパック化され、ビデオパック、オーディオパック、副映像パックとなり、さらにこれらが集合されてＤＶＤ−レコーディング規格（例えばＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷなどに記録する規格）で規定されたフォーマットに変換される。

ここでこの装置は、フォーマッタ２０４でフォーマット化された情報（ビデオ、オーディオ、副映像データなどのパック）及び作成された管理情報を、データプロセッサ部１０３を介してハードディスクドライブ部１０４あるいはデータディスクドライブ部１０２に供給し、ハードディスクあるいは光ディスク１０１に記録することができる。またハードディスクあるいは光ディスクに記録された情報を、データプロセッサ部１０３、ディスクドライブ部１０２を介して光ディスク１０１あるいはハードディスクに記録することもできる。

またハードディスクあるいは光ディスク１０１に記録されている複数番組のビデオオブジェクトを、一部削除したり、異なる番組のオブジェクトをつなげたり、といった編集処理を行うこともできる。これは、ＤＶＤフォーマットが取り扱うデータ単位を定義し、このデータ単位で信号処理することで編集を容易にしているからである。

マイクロコンピュータブロック４００は、ＭＰＵ（マイクロプロセッシングユニット）、またはＣＰＵ（セントラルプロセッシングユニット）と、制御プログラム等が書きこまれたＲＯＭと、プログラム実行に必要なワークエリアを提供するためのＲＡＭとを含んでいる。

マイクロコンピュータブロック４００のＭＰＵは、そのＲＯＭに格納された制御プログラムに従い、ＲＡＭをワークエリアとして用いて、欠陥場所検出、未記録領域検出、録画情報記録位置設定、ＵＤＦ記録、ＡＶアドレス設定などを実行する。

またマイクロコンピュータブロック４００は、システム全体を制御するために必要な情報処理部を有するもので、ワークＲＡＭ、ディレクトリ検出部、ＶＭＧ（全体のビデオ管理情報）情報作成部、コピー関連情報検知部、コピー及びスクランブリング情報処理部（ＲＤＩ処理部）、パケットヘッダ処理部、シーケンスヘッダ処理部、アスペクト比情報処理部などを備える。

ＭＰＵの実行結果のうち、ユーザに通知すべき内容は、映像データ記録再生装置の表示部４０２に表示されるか、またはモニターディスプレイにＯＳＤ（オンスクリーンディスプレイ）表示される。またマイクロコンピュータブロック４００は、この装置を操作するための操作信号を与えるキー入力部４０１を有する。マイクロコンピュータブロック４００が、ディスクドライブ部１０２、ハードディスクドライブ部１０４、データプロセッサ部１０３、エンコーダ部２００及び／またはデコーダ部３００などを制御するタイミングは、ＳＴＣ（システムタイムクロック）４０３からの時間データに基づいて実行することができる。

録画や再生の動作は、通常はＳＴＣ４０３からのタイムクロックに同期して実行されるが、それ以外の処理はＳＴＣ４０３とは独立したタイミングで実行されてもよい。

デコーダ部３００は、パック構造を持つＤＶＤフォーマットの信号から各パックを分離して取り出すセパレータと、パック分離やその他の信号処理実行時に使用するメモリと、セパレータで分離された主映像データ（ビデオパックの内容）をデコードするＶデコーダと、セパレータで分離された副映像データ（副映像パックの内容）をデコードするＳＰデコーダと、セパレータで分離されたオーディオデータ（オーディオパックの内容）をデコードするＡデコーダとを有する。またデコードされた主映像にデコードされた副映像を適宜合成し、主映像にメニュー、ハイライトボタン、字幕やその他の副映像を重ねて出力するビデオプロセッサを備えている。

デコーダ部３００の出力ビデオ信号は、ビデオミキシング部３０５に入力される。ビデオミキシング部３０５では、テキストデータの合成が行われる。またビデオミキシング部３０５には、ＴＶチューナ２１２やＡ／Ｖ入力部２１１からの信号を直接取り込むラインもまた接続されている。ビデオミキシング部３０５には、バッファとして用いるフレームメモリ３０６が接続されている。ビデオミキシング部３０５の出力がアナログ出力の場合はＩ／Ｆ（インターフェース）３０７を介して外部出力され、デジタル出力の場合はデジタルアナログ変換器３０８を介して外部へ出力される。

また、ビデオミキシング部３０５は、ＧＵＩとしての案内画面（図１６、図１９にて説明した画面）を作るための画像信号を出力することができる。この画像信号は、マイクロコンピュータブロック４００内の案内画面処理制御部により制御されている。さらに、操作入力判定部４０ａ，録画予約制御部４０ｂ、編集処理制御部４０ｃ、案内画面処理制御部４０ｄなども設けられており、マイクロコンピュータブロック４００は、装置の全体を統括することができる。

またマイクロコンピュータブロック４００では、上記した「本編自動チャプター分割」を行うための制御ブロック４０ｅ、「構造解析チャプター分割」行うための制御ブロック４０ｆが設けられている。図１１で説明した無音検出装置２５、無音時刻記憶装置２６、無音部間隔計算装置２７、チャプター境界設定装置２８およびデータ処理部２４の一部は、上記した「本編自動チャプター分割」を行うための制御ブロック４０ｅに対応する。上記の制御ブロック４０ｅには、図１で示した区切り情報処理部１１ａが含まれる。

また、図１と図１１と図２０の対応関係において、
チューナ１、チューナ２１、チューナ２１２は対応関係にある。また図１、図２０では、チューナ１、チューナ２１２は、図１０の音声信号処理部２２を含む。また、図１のＣＰＵ１１と、図１１の無音検出装置２５、無音時刻記録装置２６、無音部間隔計算装置２７、チャプター境界設定装置２８と、図２０の制御部４００とが対応関係にある。

図２０において、デコーダ部３００の出力オーディオ信号は、セレクタ３０１を介してデジタルアナログ変換器３０２でアナログ変換され外部に出力される。セレクタ３０１は、マイクロコンピュータブロック４００からのセレクト信号により制御される。これによりセレクタ３０１は、ＴＶチューナ２１２やＡ／Ｖ入力部２１１からのデジタル信号を直接モニタする時、エンコーダ部２００をスルーした信号を直接選択することも可能である。

なお、エンコーダ部２００のフォーマッタでは、録画中、各切り分け情報を作成し、定期的にマイクロコンピュータブロック４００のＭＰＵへ送る（ＧＯＰ先頭割り込み時などの情報）。切り分け情報としては、ＶＯＢＵ（ビデオオブジェクトユニット）のパック数、ＶＯＢＵ先頭からのＩピクチャのエンドアドレス、ＶＯＢＵの再生時間などである。

同時に、アスペクト情報処理部からの情報を録画開始時にＭＰＵへ送り、ＭＰＵはＶＯＢストリーム情報（ＳＴＩ）を作成する。ここでＳＴＩは、解像度データ、アスペクトデータなどを保存し、再生時、各デコーダ部ではこの情報を元に初期設定が行われる。

また本装置では、ビデオファイルは１ディスクに１ファイルとしている。またデータをアクセス（シーク）している間に、途切れないで再生を続けるために、最低限連続する情報単位（サイズ）を決めている。この単位をＣＤＡ（コンティギュアス・データ・エリア）という。ＣＤＡサイズは、ＥＣＣ（エラー訂正コード）ブロック（１６セクタ）の倍数であり、ファイルシステムではこのＣＤＡ単位で記録を行っている。

データプロセッサ部１０３は、エンコーダ部２００のフォーマッタからＶＯＢＵ単位のデータを受け取り、ＣＤＡ単位のデータをディスクドライブ部１０２あるいはハードディスクドライブ部１０４に供給している。またマイクロコンピュータブロック４００のＭＰＵは、記録したデータを再生するのに必要な管理情報を作成し、データ記録終了のコマンドを認識すると、作成した管理情報をデータプロセッサ部１０３に送る。これにより、管理情報がディスクに記録される。従って、エンコードが行われているとき、エンコーダ部２００からマイクロコンピュータブロック４００のＭＰＵは、データ単位の情報（切り分け情報など）を受け取る。また、マイクロコンピュータブロック４００のＭＰＵは、記録開始時には光ディスク及びハードディスクから読み取った管理情報（ファイルシステム）を認識し、各ディスクの未記録エリアを認識し、データ上の記録エリアをデータプロセッサ部１０３を介してディスクに設定している。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の一実施の形態を説明するために示した信号処理装置の基本的構成を示す図である。 この発明の装置の動作を説明するために複合信号に含まれる音声信号の音声モードの例を示す説明図である。 この発明の装置の一動作例を説明するために示した図であり、複合信号に含まれる音声信号の音声モードの切り換り点、音声モードの切り換り点にマークを付した例を示す説明図である。 この発明の装置の他の動作例を説明するために示した図であり、複合信号に含まれる音声信号の音声モードの切り換り点、音声モードの切り換り点にマークを付した例を示す説明図である。 この発明の装置のさらに他の動作例を説明するために示した図であり、複合信号に含まれる音声信号の音声モードの切り換り点、音声モードの切り換り点にマークを付した例を示す説明図である。 複合信号に含まれる音声信号の複数の音声モードの中で、特定の音声モードの所定の割合の計算例を説明するために示した説明図である。 複合信号に含まれる音声信号の複数の音声モードの中で、特定の音声モードの所定の割合の他の計算例を説明するために示した説明図である。 この発明に係る装置の代表的な動作を説明するために示したフローチャートである。 この発明の他の実施の形態を説明するためにその考え方を示した説明図である。 この発明のさらに他の実施の形態を説明するためにその考え方を示した説明図である。 この発明の係る無音部検出を行う実施の形態における基本的な構成を示す図である。 この発明に係る本編自動チャプター分割の分割原理を説明するために示した説明図である。 この発明に係る本編自動チャプター分割に用いられる無音部検出ブロックを説明するために示したフローチャートである。 この発明に係る本編自動チャプター分割に用いられるＣＭ検出動作の処理を説明するために示したフローチャートである。 この発明に係る本編自動チャプター分割の分割動作の大きなブロックを説明するために示したフローチャートである。 この発明に係る本編自動チャプター分割動作を設定するための画面の例を示す図である。 この発明に係る本編自動チャプター分割動作に類似した、他のチャプター分割処理の１つの例を説明する図である。 この発明に係る本編自動チャプター分割動作に類似した、他のチャプター分割処理のさらに別の例を説明する図である。 図１７、図１８で説明したチャプター分割処理を設定するための画面の例を示す図である。 この発明が適用された記録再生装置の構成ブロックを示す説明図である。

符号の説明

１…チューナ、２…トランスポートデコーダ、３…ＡＶデコーダ、６…ＯＳＤコントローラ、７…ダイレクトＲＤＲＡＭ、８…ＳＣＲＡＭ、９…ＥＥＰＲＯＭ、１１…制御部、２１…チューナ、２２…音声信号処理部、２３…エンコーダ部、２４…データ処理部、２５…無音検出装置、２６…無音時刻記録装置、２７…無音部間隔計算装置、２８…チャプター境界設定装置。

Claims (11)

1. 映像信号処理部と音声信号処理部からの信号を処理する装置において、前記音声信号処理部からの音声信号を取り込み、信号状態を解析処理する方法であって、
   録画した番組映像信号の全長さのうち、前記音声信号が第1のモードであるときの合計の長さまたは割合が、所定の長さ又は所定の割合以下であるかどうかを判定し、
   前記所定の長さ又は割合以下であるときは、前記録画した映像信号の本編の音声モードは、第２のモードであると判定し、
   前記第２のモードでないときは、本編の音声モードは前記第1のモードであると判定し、
   前記判定結果に応じて、前記映像信号の任意区間の区切り情報を生成するための適応処理部を選択して設定し、
   設定された適応処理部で生成した区切り情報を保存するようにし、
   前記本編が前記第２のモードのときは、
   前記音声信号を用いて音声レベルが、所定時間、閾値以下の部分を無音部として判定し、前記無音部と次の無音部との時間間隔が一定時間の倍数であるかどうかを判定し、前記時間間隔が一定時間の倍数であれば、無音部の検出をカウントし、前記無音部のカウント数が閾値３個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定するようにした
   音声モードを利用した映像信号の区切り情報設定方法。
2. 前記一定時間は、１５秒であることを特徴とする請求項１記載の音声モードを利用した映像信号の区切り情報設定方法。
3. 前記映像信号の任意区間の区切り情報は、前記第1のモードと第２のモードが切換わった位置でも生成することを特徴とする請求項２記載の音声モードを利用した映像信号の区切り情報設定方法。
4. 前記本編が第1のモードであると判定されたときは、前記第1のモードと第２のモードが切換わった位置で前記区切り情報を生成することを特徴とする請求項２記載の音声モードを利用した映像信号の区切り情報設定方法。
5. 前記所定の割合は、（３／１２０）以上で（１／２）以下であることを特徴とする請求項１記載の音声モードを利用した映像信号の区切り情報設定方法。
6. 前記所定の割合は、略２のｎ乗分の１であることを特徴とする請求項１記載の音声モードを利用した映像信号の区切り情報設定方法。
7. 前記所定の割合は、略（１／８）であることを特徴とする請求項１記載の音声モードを利用した映像信号の区切り情報設定方法。
8. 音声モードを利用して区切り情報を生成する第1の分割機能と、映像データを分析して区切り情報を生成する第２の分割機能と、前記第1又は第２の分割機能の選択を行うための画像信号を案内画面に出力する機能が設けられており、
   前記適応処理部による前記区切り情報の生成は、前記第1の分割機能が選択されていることを特徴とする請求項１記載の音声モードを利用した映像信号の区切り情報設定方法。
9. 映像信号処理部と音声信号処理部からの信号を処理する装置において、前記音声信号処理部からの音声信号を取り込み、信号状態を解析処理する方法であって、
   録画した番組映像信号の任意の長さのうち、前記音声信号が第1のモードであるときの合計の長さまたは割合が、所定の長さ又は所定の割合以下であるかどうかを判定し、
   前記所定の長さ又は割合以下であるときは、前記録画した映像信号の本編の音声モードは、第２のモードであると判定し、
   前記第２のモードでないときは、本編の音声モードは前記第1のモードであると判定し、
   前記判定結果に応じて、前記映像信号の任意区間の区切り情報を生成するための適応処理部を選択して設定し、
   設定された適応処理部で生成した区切り情報を保存するようにし、
   前記本編が前記第２のモードのときは、
   前記音声信号を用いて音声レベルが、所定時間、閾値以下の部分を無音部として判定し、前記無音部と次の無音部との時間間隔が一定時間の倍数であるかどうかを判定し、前記時間間隔が一定時間の倍数であれば、無音部の検出をカウントし、前記無音部のカウント数が閾値３個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定するようにした
   音声モードを利用した映像信号の区切り情報設定方法。
10. 映像信号処理部と音声信号処理部からの信号を処理し、前記音声信号処理部からの音声信号を取り込み、信号状態を解析処理する装置であって、
    録画した番組映像信号の全長さのうち、前記音声信号が第1のモードであるときの合計の長さまたは割合が、所定の長さ又は所定の割合以下であるかどうかを判定する音声モード状態判定部と、
    前記所定の長さ又は割合以下であるときは、前記録画した映像信号の本編の音声モードは、第２のモードであると判定し、前記第２のモードでないときは、本編の音声モードは前記第1のモードであると判定する本編音声モード決定部と、
    前記判定結果に応じて、前記映像信号の任意区間の区切り情報を生成するための適応処理部を選択して設定する処理内容切換え部と、
    設定された適応処理部で生成した区切り情報を保存する保存処理部を具備し、
    前記適応処理部は
    前記音声信号を用いて音声レベルが、所定時間、閾値以下の部分を無音部として判定し、前記無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定し、前記時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントし、前記無音部のカウント数が閾値３個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定する無音部間隔計算部を有することを特徴とする音声モードを利用した映像信号の区切り情報設定装置。
11. 音声モードを利用して区切り情報を生成する第1の分割機能と、映像データを分析して区切り情報を生成する第２の分割機能と、前記第1又は第２の分割機能の選択を行うための画像信号を案内画面に出力する機能が設けられており、
    前記適応処理部による前記区切り情報の生成は、前記第1の分割機能が選択されていることを特徴とする請求項１０記載の音声モードを利用した映像信号の区切り情報設定装置。

Images