JP4373962B2 - 音声と映像信号から判定した映像信号の区切り情報設定方法及び装置 - Google Patents

Description

本発明は、映像構造化を得るために、音声と映像信号から判定した映像信号の区切り情報設定を行う方法及び装置に関するものである。つまり音声信号及び映像信号のそれぞれの特徴を捕らえて、例えばチャプター分割して映像を構造化する場合に利用される方法及び装置である。

テレビジョン放送信号では、通常は、プログラムの境界、あるいはプログラムの途中においてコマーシャル（ＣＭ）タイムが設けられている。このＣＭ部の候補区間を、音声モードから検出する装置がある（例えば特許文献１）。また、音声モードとは関係なく、無音期間を検出し、この無音期間中の所定位置に区切り情報を設定する装置がある（例えば特許文献２）。無音期間が例えば１５秒離れて存在したときは、ＣＭ期間と判定するのである。また映像情報の変化点を検出してチャプター分割点を設定する技術もある。
特開２０００−３５４２２５公報 特開２００３−０４７０３１公報

上記従来の技術おいて、映像信号のみの解析情報からチャプター分割点を設定すると、ＣＭ区間、とくに複数のスポンサーのＣＭが連続して放送されるような区間では、ＣＭ区間の中にチャプター分割点を生じてしまうことがある。

また、音声モード（ステレオモード）のときをＣＭ期間であると判定した場合、ＣＭ期間以外の本編にもステレオモードの音声がある場合、またステレオとモノラルが混在したような場合、正確にＣＭ期間のみを識別できなくなる。また、上記の無音期間を検出して、区切り情報を生成する装置では、無音の検出精度に左右される。

そこでこの発明は、任意（ＣＭ）区間の中に複数のシーン変化があった場合、および番組の中に複数の音声モードが混在したとしても、任意（ＣＭ）区間にチャプター分割をつけることがなく、また本編に対する適切な区切り情報を得ることができる、音声と映像信号から判定した映像信号の区切り情報設定方法及び装置を提供することを目的とする。

この発明では、 映像信号の連続するフレーム間の類似度を解析して映像信号の意味内容に応じて区切った第１の区切り情報を得る装置において、音声信号を解析する制御部を有し、この制御部が、音声信号の無音部を検出するとともに、無音部と次の無音部との時間間隔と検出した無音部のカウント数とが所定条件を満足する区間を検出し、最初と最後の無音部に対して第２の区切り情報を生成し、前記第１と第２の区切り情報を合わせた和集合の第３の区切り情報を得るとともに、前記最初と最後の無音部に対して与えた第２の区切り情報の間に、前記第１の区切り情報が存在する場合には、この第１の区切り情報は非採用とするようにしている。

上記のように、区切り情報（チャプター分割点）を映像信号に設定するに際して、複数の解析情報（音声信号と映像信号の解析情報）から最終的な区切り情報を得ることにより、番組の中に複数の類似シーンが混在したとしても、本編に対する適切な区切り情報を設定することができる。

以下、図面を参照してこの発明に係る実施の形態を説明する。図１はこの発明が適用された信号処理装置の構成例である。この信号処理装置は、例えばデジタルテレビジョン受信装置、あるいは情報記録再生装置などに適用可能である。

チューナ１は、例えばデジタル放送信号を受信し、受信信号を復調し、復調出力をトランスポートデコーダ２に供給する。トランスポートデコーダ２で選択された番組の映像信号・音声信号はパケット毎オーディオビデオ（ＡＶ）デコーダ３に入力されて復調される。ＡＶデコーダ３で復調された音声出力は、出力端子４Ａに出力され、映像出力は、出力端子４Ｐに出力される。出力端子４Ｐの映像信号には、合成回路５にて、オンスクリーンディスプレイ（ＯＳＤ）コントローラ６からの映像信号が合成される場合もある。

ダイレクトＲＤＲＡＭ７は、ＡＶデコーダ３、或いはＯＳＤコントローラ６からのデータを一時的に格納するために利用される。ＳＤＲＡＭ８は、例えば受信信号のエラー訂正処理などを行うときに、一時的にデータを格納する場合に利用される。例えば、ＥＥＰＲＯＭ９は、装置の機能を実行するプログラムあるいはパラメータなどを保存しておくために利用される。

１０は、メインバスであり、上記のトランスポートデコーダ２、ＡＶデコーダ３、ＯＳＤコントローラ６、ＳＤＲＡＭ８、ＥＥＰＲＯＭ９などに接続されている。そしてメインバス１０には、装置を統括する制御部であるＣＰＵ１１が接続されている。さらにこの装置は、バス１０を介して外部機器と接続することが可能である。このためにメインバス１０には、モデムインターフェース１２ａ，ＬＡＮ端子１２ｂ、ブルーツースインターフェース１２ｃ、リモコンインターフェース１２ｄ、ＡＴＡＰＩインターフェース１２ｅが接続されている。インターフェース１２ｅを介してハードディスクドライブ１３を接続することも可能である。またメインバス１０には、ＡＶエンコーダ１４が接続されており、映像信号を記録媒体に記録する所定のフォーマット（例えばＤＶＤ規格）に変換することができる。

ここでＣＰＵ１１内部には、映像構造化処理部１１ｐ（マジックチャプター分割機能と称してもよい）と、任意区間検出処理部１１ｑ（本編自動チャプター分割機能と称してもよい）およびチャプター境界設定処理部１１ｒが設けられている。

映像構造化処理部１１ｐは、後述するように、映像信号の連続するフレーム間の類似度を解析して映像信号の意味内容に応じて区切った第１の区切り情報を得ることができる。この第１の区切り情報（チャプター分割点）は、チャプター境界設定処理部１１ｒに入力される。また任意区間検出処理部１１ｑは、音声信号の無音部を検出し、無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定する。そして、時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントし、前記無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後の無音部に対して第２の区切り情報（任意区間情報又は音声区間情報又はＣＭ区間情報）を取得することができる。この第２の区切り情報も、チャプター境界設定処理部１１ｒに入力される。チャプター境界設定処理部１１ｒは、第２の区切り情報で設定された任意区間内に、第１の区切り情報が存在する場合には、この第１の区切り情報を非採用とする。

任意区間検出処理部１１ｑは、無音検出装置２５を含む。無音検出装置２５は、所定時間音声レベルが閾値以下の部分を無音部として検出する。このとき無音検出装置２５は、無音情報を出力し、無音時刻記録装置２６に供給する。つまり無音部時刻記録装置２６は、番組における無音部情報（無音部が判定された時刻の情報）を蓄積している。無音時刻記録装置２６に記録された無音時刻情報は、無音部間隔計算装置２７にて処理される。無音部間隔計算装置２７は、さらにブロック化すると無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定する無音部時間間隔計測部２７ａと、時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントする無音部カウント処理部２７ｂと、無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定する無音部の条件判定部２７ｃとを含む。

図２には、説明を分かりやすくするために、上記の装置の特徴部の代表的な構成要素を取り出して示している。したがって、図１の構成要素に対応する部分には、同一符号を付して示している。チューナ１１で受信され復調された映像信号（ここでは音声信号も含む）は、映像構造化処理部１１ｐ、任意区間検出処理部１１ｑに入力される。そしてそれぞれの処理部で得られた第１の区切り情報（構造化情報と称してよい）と、第２の区切り情報（任意区間情報と称してもよい）は、チャプター境界設定処理部１１ｒに入力される。ここでチャプター境界設定部１１ｒは、第１と第２の区切り情報を重ねた第３の区切り情報を得る。但し、所定の条件に当てはまるチャプター分割点は、不採用とし、採用されたチャプター分割点を記録装置１３の管理情報に挿入する。

図３は上記の装置の要部の動作例を説明するために示している。今番組の時間方向に対して、映像構造化処理部１１ｐにより、ｃ１、ｃ２、…、ｃ５のようにチャプター分割点（第１の区切り情報）が検出されたとする。一方、同じ番組の時間方向に対して、任意区間検出処理部１１ｑは、第２の区切り情報ｍ１、ｍ２、ｍ３、ｍ４を検出し、任意区間をｍ１とｍ２の間、とｍ３とｍ４の間に設定しているものとする。

すると任意区間（ｍ１−ｍ２）に、映像構造化処理部１１ｐにより検出された区切り情報ｃ３が存在する。このような場合、本装置では、この区切り情報ｃ３を否採用とするのである。これにより、チャプター分割点が、任意区間内（例えばステレオを音声が連続するような区間）に付加されることがない。任意の区間とは、例えば音声モードが変化せず連続している区間、あるいは、ステレオモードが連続している区間などである。さらには、所定帯域内の音声周波数が連続しているような区間である。

図４は、さらにこの発明の別の実施の形態である。図３の例と異なる部分は、任意区間検出処理部１１ｑがＣＭ区間検出用として用いられたときの例である。この場合も例えばｍ１−ｍ２の区間と、ｍ３−ｍ４の区間がＣＭ区間として検出されたものとする。そして、ＣＭ区間（ｍ１−ｍ２）に、映像構造化処理部１１ｐにより検出された区切り情報ｃ３が存在するものとする。このような場合、本装置では、この区切り情報ｃ３を否採用とするのである。これにより、ＣＭ区間内にチャプター分割点が設定されることがない。

図５は、さらにこの発明の別の実施の形態である。図３、図４の例と異なる部分は、第１の区切り情報を一旦保存する保存装置１１ｒ１と、第２の区切り情報を一旦保存する保存装置１１ｒ２が設けられている。そして、チャプター境界設定処理部１１ｒは、保存装置１１ｒ１と、１１ｒ２からの第１の区切り情報（例えばチャプター分割点となる転換点情報）と、第２の区切り情報（例えばＣＭ区間情報）を用いて、チャプター分割点を生成している。この場合もＣＭ区間（ｍ１−ｍ２）に存在する区切り情報ｃ３は、否採用とする。

このように保存装置１１ｒ１、１１ｒ２を有した場合、映像情報が記録媒体から再生されたときにチャプター分割点を設定できる。図３、図４の例であると、リアルタイムで区切り情報を検出して、番組ごとにチャプター分割点を設定する必要があった。しかし、図５の例であると、番組を一旦記録媒体に記録したのち、その後、所望の番組に対してチャプター分割点を設定できるという操作も可能となる。

図６には、この発明の装置のさらに他の実施の形態を示している。図３、図４の例と異なる部分は、任意区間検出処理部１１ｑが音楽区間検出用として用いられたときの例である。この場合も例えばｍ１−ｍ２の区間と、ｍ３−ｍ４の区間が音楽区間として検出されたものとする。そして、音楽区間（ｍ１−ｍ２）に、映像構造化処理部１１ｐにより検出された区切り情報ｃ３が存在するものとする。このような場合、本装置では、この区切り情報ｃ３を否採用とするのである。これにより、音楽区間内にチャプター分割点が設定されることがない。

図７には、この発明の装置の要部の動作を説明するためのフローチャートを示している。処理がスタートすると、映像構造化処理部１１ｐにより、映像信号の解析を行い、例えば場面の変換点を検出し、チャプター分割点として一旦メモリに登録する（ステップＳＥ１）。次に、任意区間検出処理部１１１１ｑにより、音声信号を解析して任意区間を検出し、任意区間情報を一旦メモリに登録する（ステップＳＥ２）。次に、チャプター分割点（例えば場面の転換点）が検出されているかどうかを判定する（ステップＳＥ３）。チャプター分割点（例えば場面の転換点）が検出されていない場合には、終了するが、チャプター分割点が検出されているときは、次のステップに移行する。次に、図３−図６で各種例を説明したように、任意区間内に、分割点が存在した場合は、この分割点を無視して、他の分割点をチャプター境界として設定する（ステップＳＥ４、ＳＥ５）。

図８、図９は、上記した映像構造化処理部１１ｐの代表的な動作例を説明するために示している。ここでの処理は、例えば「マジックチャプター分割」による処理と称される。この機能は、主として映像データを分析し、フィールド或いはフレーム画像の類似度を判定する。そして、カット検出、類似ショットの判定、対話度数の算出などを行い、チャプター境界を決定する方法である。ここではカット点とカット点との間をショットと称している。

上記の「カット検出」とは、ＩピクチャフレームとＩピクチャフレーム（もしくは０．５秒ごとのフレーム）を比較し、画面全体の色相が大きく異なるか、輝度変化が大きい領域が予め設定しているパラメータより多い場合は、フレームは非類似と判定する。この非類似と定めた点を転換点と称してもよい。

そして、０．５秒離れたフレーム同士を順次比較しで、非類似のフレームの組の数が、閾値以上の区間があった場合には、この区間の任意の点にカット点を設定する方法である。図８には、矢印で示すフレーム相互間の類似性を判定している様子を示している。そして、非類似のフレームの組が多数存在している部分で、カット点を設定した様子を示している。ｆｎ、ｆｎ−１，ｆｎ−２，…、ｆｅ、ｆｅ−１，ｆｅ−２，…、は、フレームである。

上記の「類似ショット検出」とは、過去のカット点からさかもどった数フレームと、直近のカット点から後の数フレームとの総当りでフレーム間の類似判定を行う。図９は、総当りの様子を示している。そして、「類似」と判断したフレームの組の数が閾値以上の場合、双方のショットは、類似であると判定するものである。つまり、図９に示すように、カット点の前のショットＡとカット点の後のショットＤ間のフレームが類似しているかどうかを判定する。図の例であると、類似判定は、例えば丸印の数分得られることになる。

「対話検出」と「対話度数」は、次のように定義されている。（ａ）類似ショットが集中的に登場する区間（部分）は、意味のある区間である。（ｂ）類似ショットがどれくらいの密度で出現するかを数値化するために「対話度数」という指標を導入している。「対話度数」は、以下の条件を満たすほど大きくなる。（ｂ１）ショットが多くふくまれている（＝カット点が頻繁に現れる）。（ｂ２）対話に貢献している（＝類似している）ショットの個数が多い。（ｂ３）対話に貢献している（＝類似している）ショットの合計時間が長い。

上記の（ｃ）対話度数をもとに、対話区間を算出する。そして（ｄ）近接した対話区間は接続する。

「マジックチャプター分割」機能は、基本的に上記の処理により実行される。カット点を設定し、類似ショットを検出する場合は、上記の処理で足りる場合がある。しかし、複数の番組構造を再構築する機能を追加するには、さらに以下のような機能を含んでもよい。

即ち、「ニュース番組固有処理」機能、「その他の番組処理」機能である。「ニュース番組固有処理」機能、話題先頭ショット検出を行うもので、番組内にある程度分布し、ある程度長く、ある回数以上出現する類似ショットを「話題の先頭ショット」と仮定する。そして「話題の先頭ショット」が連続している場合、連続の最後のショットを真の「話題の先頭ショット」、それ以外を「前の話題のフォローアップ」と判定するのである。「その他の番組処理」機能は、「コーナータイトル検出」機能を設定している。この機能は番組内に広く分布し、対話区間に属さず、ある回数以上出現する類似ショットを「コーナータイトル」であると判定する。また、番組開始後しばらくたってもコーナータイトルが現れない場合は、「コーナータイトルを持たない番組」とみなすのである。

上記のように、番組のカット点の情報、類似ショットの情報、ニュース番組の話題先頭の情報、その他の番組のコーナータイトルの情報が得られると、番組を編集する場合、あるいは、番組のチャプターを構築する場合に、有効な情報として利用可能となる。

図１０−図１４は、上述した任意区間検出処理部１１ｑの具体例を説明するために示した図である。

図１０において、放送信号は、チューナ２１にて受信される。チューナ２１からは、選局されたチャンネルの番組の映像・音声信号が出力される。音声信号は、音声信号処理部２２にて復調・復号処理される。音声信号処理部２２の出力は、エンコーダ部２３及び後述する無音検出装置２５に供給される。

エンコーダ部２３は、ＤＶＤ規格に基づき映像信号、音声信号を所定のフォーマットにエンコードし、その出力をデータ処理部２４に供給する。データ処理部２４は、ハードディスク或いはＤＶＤ−Ｒ，あるいはＤＶＤ−ＲＷ，あるいはＤＶＤ−ＲＡＭに対して、情報を変調して記録することができる。また上記のディスクから読み出した情報を復調処理することができる。またエラー訂正コード（ＥＣＣ）に関する処理機能も含む。

音声信号処理部２２の出力は、さらに無音検出装置２５にも供給される。無音検出装置２５は、所定時間音声レベルが閾値以下の部分を無音部として検出する。このとき無音検出装置２５は、無音情報を出力し、無音時刻記録装置２６に供給する。つまり無音部時刻記録装置２６は、番組における無音部情報（無音部が判定された時刻の情報）を蓄積している。

無音時刻記録装置２６に記録された無音時刻情報は、無音部間隔計算装置２７にて利用される。ここでは無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定している。そして、時間間隔が一定時間（Ａ）の倍数であれば、無音部をカウントし、無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後に現れた無音部に対して、チャプター区切り情報を設定するために、最初をＣＭ開始情報、最後をＣＭ終了情報として、チャプター境界設定装置２８に供給する。

これにより、チャプター境界設定装置２８は、チャプター情報を生成して、データ処理部２４に供給する。データ処理部２４は、チャプター情報をＤＶＤ規格のマネジメント情報内のエントリーポイントに変換して管理する。

なお、映像情報に関しては、映像信号処理部２９にて処理され、エンコーダ部２３に入力され、所定のＤＶＤ規格のデータに変換されている。そして、エンコーダ部２３の出力が、データ処理部２４を介して、光ディスク１０１に記録される。

ここで、上記の無音部間隔計算装置２７は、さらにブロック化すると無音部と次の無音部との時間間隔が一定時間（Ａ）の倍数であるかどうかを判定する無音部時間間隔計測部２７ａと、時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントする無音部カウント処理部２７ｂと、無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後に現れた無音部に対して、区切り情報を設定する無音部の条件判定部２７ｃとを含む。

図１１には、上記の無音検出装置２５、無音時刻記憶装置２６、無音部間隔計算装置２７、チャプター境界設定装置２８により、無音部が検出された時間、チャプター境界設定のためにチャプター情報が得られた時刻を時間軸上で示している。説明を分かりやすくするために、単純化して説明する。この図は、例えば１つの番組中（例えば録画予約した番組）の中で、２回のコマーシャル期間があった例である。

そして、第１回目のコマーシャル期間にＣＭ１，ＣＭ２，ＣＭ３，ＣＭ４の４つのコマーシャルが放送され、第２回目のコマーシャル期間にＣＭ５、ＣＭ２，ＣＭ３の３つのコマーシャルが放送された例を示している。

例えば第１回目のコマーシャル期間を見ると、各コマーシャルの区切り部では、無音期間があるために、無音部検出フラグが得られる。しかしＣＭ４の後は、後述する条件を満足していないために、ＣＭ４の終了がチャプター境界位置として判定されている。また最初のＣＭ１のスタート直前の無音部検出フラグの位置がチャプター境界として設定されている。つまり、コマーシャル期間の前後にチャプター境界を示すフラグが得られることになる。同様に、第２回目のコマーシャル期間においても無音部の全てにチャプター境界が設定されるのではなく、所定条件を満足する（連続して放送される）複数のＣＭをグループ化し、グループを１つの単位として、チャプター境界を設定している。

図１２には、上述した処理を行うステップを大きなブロックで示している。１つの番組に対するチャプター設定処理が終了しているかどうかを判定し（ステップＳＡ１）、終了していなければ、無音部を検出するために無音検出処理を行う（ステップＳＡ２）。無音部が検出されると、先の説明のように無音部を検出した時間が記憶される（ステップＳＡ３）。番組の終わりに管理情報を処理するとき、図２で説明したように、チャプター境界が管理情報内のエントリーポイントとして設定される。

図１３は、コマーシャル期間にて、無音部が次々と検出されたときに、ＣＭ開始点のチャプター境界と、ＣＭ終了点のチャプター境界を決定するときの様子を示すフローチャートである。処理がスタートすると、まず、無音部を検出したときに、無音部の順番を示す情報としてｉを用いる。最初の無音部が検出されると、ｉ←１とし、ＣＭカウント値（ｃｍ＿ｃｏｕｎｔ）は、ｃｍ＿ｃｏｕｎｔ←０とし、最後の無音部の時刻（ｌａｓｔ＿ｓｉｌｅｎｔ）をｌａｓｔ＿ｓｉｌｅｎｔ←０とし、検出した無音部の時刻（ｓｉｌｅｎｔ）もｓｉｌｅｎｔ←０とする（ステップＳＢ１）。

無音部を検出したとき、無音部の個数がｉよりも小さい場合には、前回の時刻（ｓｉｌｅｎｔ）を、ｌａｓｔ＿ｓｉｌｅｎｔ←ｓｉｌｅｎｔとし、今回の時刻（ｓｉｌｅｎｔ）を、ｉ番目の無音部の時刻とする（ステップＳＢ２、ＳＢ３）。次に（ｓｉｌｅｎｔ）−（ｌａｓｔ＿ｓｉｌｅｎｔ）の計算を行い、この値が１５秒の倍数であるかどうかを判定する。コマーシャルは１５秒単位あるいはその倍数の単位で放送されることが多いからである。

１５秒（値Ａ）もしくはその倍数であれば、ｃｍ＿ｃｏｕｎｔ＝０かどうかを判定する（ステップＳＢ５）。０のときは、コマーシャルカウントが開始された直後である。ｉ−１がコマーシャルの開始時刻に相当するため、ステップＳＢ６にて、start←ｉ−１とする。

ステップＳＢ５でｃｍ＿ｃｏｕｎｔ≠０の場合は、すでにコマーシャル期間がスタートしていることであり、ステップＳＢ７に進みｃｍ＿ｃｏｕｎｔに＋１を行う。ステップＳＢ７の後は、（ｉ＋１）の処理を行い（ステップＳＢ８）、ステップＳＢ２に戻る。

先のステップＳＢ４において、（ｓｉｌｅｎｔ）−（ｌａｓｔ＿ｓｉｌｅｎｔ）の計算結果が、１５秒（値Ａ）の倍数でない場合には、コマーシャル期間でないものと見なす。このときはステップＳＢ９に進み、これまで蓄積しているｃｍ＿ｃｏｕｎｔがｃｍ＿ｃｏｕｎｔ＞閾値（Ｂ）を満足するかどうかを判断する。満足する場合には、複数のコマーシャルグループが放送されたものと判断し、このときのスタート（ｓｔｒａｔ）と累積加算された現在のｉが得られた時点をＣＭ開始点、ＣＭ終了点として、チャプター境界設定装置に報告される（ステップＳＢ１０）。この後は、ｃｍ＿ｃｏｕｎｔ＝０、ｉ＝０にセットする。

なお、一定時間（値Ａ）は、可変可能としてもよい。値Ａを可変するには、特殊設定用のユーザ案内メニューを用意して可変できるようにする。また閾値（Ｂ）は、一定のマージンを持たせてもよい。

図１４は、チャプター境界設定装置２８における動作である。ＣＭの開始点の情報、及び終了点の情報を取得して（ステップＳＣ１）、チャプター境界を設定（ステップＳＣ２）する手順を示している。

上記したようにこの発明の方法及び装置によると、コマーシャル放送期間において、無音部を検出し、全ての位置をチャプター境界とするのではなく、連続した複数のコマーシャル（連続コマーシャルグループ）の開始位置と終了位置を検出している。

ユーザは、選択により上記の機能の動作オン、動作オフを設定することができる。この場合、ユーザは、番組予約時の画面で詳細設定ボタンを選択し、詳細設定画面を見ながら、動作オン、オフを選択することができる。

図１５は、１つの番組を録画予約するときに、予約画面の「詳細設定」ボタンを選択し、クリックしたときに現れる詳細設定画面６０の例である。図に示すように、「本編自動チャプター分割」の項目６０ａが「入」になっている。この状態であると、先に説明したチャプター分割動作が得られることを意味する。リモコン操作によりカーソルを項目６０ａに合わせて、決定キーを押すことで、「入」、「切」をサイクリックに切り替えることができる。

さらにこの画面６０には、映像信号の構造解析チャプター分割である「マジックチャプター分割」という項目６０ｂが設けられている。この「構造解析チャプター分割」による機能と、上述した「本編自動チャプター分割」による機能（ＣＭ期間検出が正確）とは、チャプター分割処理が異なる。

先に説明した（図８、図９）ように「構造解析チャプター分割」による機能は、主として映像データを分析し、フィールド或いはフレーム画像の類似度を判定する。方法である。本編自動チャプター分割機能では、録画予約画面から詳細設定ボタンをクリックしたときに現れる画面６０−１上で、「構造解析チャプター分割」という項目６０ｂが現れた例を示した。しかし、「構造解析チャプター分割」を設定するための項目６０ｂは、メニュー画面から録画機器を選択し、次に、録画機能を設定する画面上でも現れる。

図１６には、「構造解析チャプター分割」という項目６０ｂが録画機能を設定する画面６０−２上で現れた例を示している。この画面でも「構造解析チャプター分割」を行うのか否かを設定するための項目６０ｂが現れている。

上述した画面６０−１，６０−２において、リモートコントローラの操作部のマークが表示されている。つまり上下方向、左右方向へカーソル移動するためのカーソルキーのマークと、決定キーのマークとが表示されている。これは、ユーザの操作を案内するのに有効なマークである。

上記した任意区間検出処理部１１ｑの処理方法は、上記の実施形態に限定されるものではない。さらに音声モードを検出し、音声モード情報を追加して利用するようにしてもよい。例えば音声モードの変化点を検出して、この変化点の検出情報も利用するのである。

例えば本編の大半がステレオモードであると判定した場合には、図１０から図１４で説明した方式を採用し、本編には、ステレオモードとモノラルモードが混在していることが判定された場合には、音声モード変化点の情報も利用し、モード変化点をチャプター分割点に加えるようにしてもよい。但し、上記した任意区間内のチャプター分割点は無視される。

図１７はこの発明が適用された記録再生装置の全体構成を示す図である。この記録再生装置は、２種類のディスクドライブ部を有する。光ディスク１０１は、ビデオファイルを構築できる情報記録媒体である。ディスクドライブ部１０２は、光ディスク１０１を回転駆動し、情報の読み書きを実行する。１０４はハードディスクを駆動するハードディスクドライブ（ＨＤＤ）部である。

データプロセッサ部１０３は、ディスクドライブ部１０２及びハードディスクドライブ部１０４に記録データを供給することができ、また、再生された信号を受け取ることができる。ディスクドライブ部１０２は、光ディスク１０１に対する回転制御系、レーザ駆動系、光学系などを有する。

データプロセッサ部１０３は、記録または再生単位のデータを取り扱うもので、バッファ回路、変調・復調回路、エラー訂正部などを含む。

この記録再生装置は、録画側を構成するエンコーダ部２００と、再生側を構成するデコーダ部３００と、装置本体の動作を統括して制御するマイクロコンピュータブロック４００とを主たる構成要素としている。エンコーダ部２００は、入力されたアナログビデオ信号やアナログオーディオ信号をデジタル化するビデオ用及びオーディオ用のアナログデジタルコンバータと、ビデオエンコーダと、オーディオエンコーダとを有する。さらに、映画の字幕などを圧縮する副映像エンコーダも含む。

エンコーダ部２００の出力は、バッファメモリ２０３を含むフォーマッタ２０４にて所定のＤＶＤ（ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ−ＲＡＭ、など）フォーマットに変換され、先のデータプロセッサ部１０３に供給される。エンコーダ部２００には、ＡＶ入力部２１１から外部アナログビデオ信号と外部アナログオーディオ信号、あるいはＴＶチューナ２１２からアナログビデオ信号とアナログオーディオ信号が入力される。なお、エンコーダ部２００は、圧縮されたデジタルビデオ信号やデジタルオーディオ信号が直接入力されるときは、圧縮デジタルビデオ信号やデジタルオーディオ信号を直接フォーマッタ２０４に供給することもできる。またエンコーダ部２００は、アナログデジタル変換されたデジタルビデオ信号及びオーディオ信号を、ビデオミキシング部３０５及びオーディオセレクタ３０１にそれぞれ直接供給することもできる。

エンコーダ部２００に含まれるビデオエンコーダでは、デジタルビデオ信号はＭＰＥＧ２またはＭＰＥＧ１規格に基づいた可変ビットレートで圧縮されたデジタルビデオ信号に変換される。オーディオ信号は、ＭＰＥＧまたはＡＣ−３規格に基づいて固定ビットレートで圧縮されたデジタルオーディオ信号、あるいはリニアＰＣＭのデジタルオーディオ信号に変換される。

副映像信号がＡＶ入力部２１１から入力された場合（例えば副映像信号の独立出力端子付ＤＶＤビデオプレーヤからの信号など）、あるいはこのようなデータ構成のＤＶＤビデオ信号が放送されてそれがＴＶチューナ２１２で受信された場合は、ＤＶＤビデオ信号中の副映像信号が副映像エンコーダでエンコード（ランレングス符号化）されて副映像のビットマップとなる。

エンコードされたデジタルビデオ信号、デジタルオーディオ信号、副映像データは、フォーマッタ２０４にてパック化され、ビデオパック、オーディオパック、副映像パックとなり、さらにこれらが集合されてＤＶＤ−レコーディング規格（例えばＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷなどに記録する規格）で規定されたフォーマットに変換される。

ここでこの装置は、フォーマッタ２０４でフォーマット化された情報（ビデオ、オーディオ、副映像データなどのパック）及び作成された管理情報を、データプロセッサ部１０３を介してハードディスクドライブ部１０４あるいはデータディスクドライブ部１０２に供給し、ハードディスクあるいは光ディスク１０１に記録することができる。またハードディスクあるいは光ディスクに記録された情報を、データプロセッサ部１０３、ディスクドライブ部１０２を介して光ディスク１０１あるいはハードディスクに記録することもできる。

またハードディスクあるいは光ディスク１０１に記録されている複数番組のビデオオブジェクトを、一部削除したり、異なる番組のオブジェクトをつなげたり、といった編集処理を行うこともできる。これは、ＤＶＤフォーマットが取り扱うデータ単位を定義し、このデータ単位で信号処理することで編集を容易にしているからである。

マイクロコンピュータブロック４００は、ＭＰＵ（マイクロプロセッシングユニット）、またはＣＰＵ（セントラルプロセッシングユニット）と、制御プログラム等が書きこまれたＲＯＭと、プログラム実行に必要なワークエリアを提供するためのＲＡＭとを含んでいる。

マイクロコンピュータブロック４００のＭＰＵは、そのＲＯＭに格納された制御プログラムに従い、ＲＡＭをワークエリアとして用いて、欠陥場所検出、未記録領域検出、録画情報記録位置設定、ＵＤＦ記録、ＡＶアドレス設定などを実行する。

またマイクロコンピュータブロック４００は、システム全体を制御するために必要な情報処理部を有するもので、ワークＲＡＭ、ディレクトリ検出部、ＶＭＧ（全体のビデオ管理情報）情報作成部、コピー関連情報検知部、コピー及びスクランブリング情報処理部（ＲＤＩ処理部）、パケットヘッダ処理部、シーケンスヘッダ処理部、アスペクト比情報処理部などを備える。

ＭＰＵの実行結果のうち、ユーザに通知すべき内容は、映像データ記録再生装置の表示部４０２に表示されるか、またはモニターディスプレイにＯＳＤ（オンスクリーンディスプレイ）表示される。またマイクロコンピュータブロック４００は、この装置を操作するための操作信号を与えるキー入力部４０１を有する。マイクロコンピュータブロック４００が、ディスクドライブ部１０２、ハードディスクドライブ部１０４、データプロセッサ部１０３、エンコーダ部２００及び／またはデコーダ部３００などを制御するタイミングは、ＳＴＣ（システムタイムクロック）４０３からの時間データに基づいて実行することができる。

録画や再生の動作は、通常はＳＴＣ４０３からのタイムクロックに同期して実行されるが、それ以外の処理はＳＴＣ４０３とは独立したタイミングで実行されてもよい。

デコーダ部３００は、パック構造を持つＤＶＤフォーマットの信号から各パックを分離して取り出すセパレータと、パック分離やその他の信号処理実行時に使用するメモリと、セパレータで分離された主映像データ（ビデオパックの内容）をデコードするＶデコーダと、セパレータで分離された副映像データ（副映像パックの内容）をデコードするＳＰデコーダと、セパレータで分離されたオーディオデータ（オーディオパックの内容）をデコードするＡデコーダとを有する。またデコードされた主映像にデコードされた副映像を適宜合成し、主映像にメニュー、ハイライトボタン、字幕やその他の副映像を重ねて出力するビデオプロセッサを備えている。

デコーダ部３００の出力ビデオ信号は、ビデオミキシング部３０５に入力される。ビデオミキシング部３０５では、テキストデータの合成が行われる。またビデオミキシング部３０５には、ＴＶチューナ２１２やＡ／Ｖ入力部２１１からの信号を直接取り込むラインもまた接続されている。ビデオミキシング部３０５には、バッファとして用いるフレームメモリ３０６が接続されている。ビデオミキシング部３０５の出力がアナログ出力の場合はＩ／Ｆ（インターフェース）３０７を介して外部出力され、デジタル出力の場合はデジタルアナログ変換器３０８を介して外部へ出力される。

また、ビデオミキシング部３０５は、ＧＵＩとしての案内画面（図６、図９にて説明した画面）を作るための画像信号を出力することができる。この画像信号は、マイクロコンピュータブロック４００内の案内画面処理制御部により制御されている。さらに、操作入力判定部４０ａ，録画予約制御部４０ｂ、編集処理制御部４０ｃ、案内画面処理制御部４０ｄなども設けられており、制御部４００は、装置の全体を統括することができる。

またマイクロコンピュータブロック４００では、上記した「本編自動チャプター分割」を行うための制御ブロック４０ｅ、「マジックチャプター分割」行うための制御ブロック４０ｆが設けられている。

また、図１、図１０および図１７の対応関係において、チューナ１、チューナ２１、チューナ２１２は対応関係にある。また図１、図１７のチューナ１、チューナ２１２は、図１０の音声信号処理部２２を含む。また、図１のＣＰＵ１１と、図１０の無音検出装置２５、無音時刻記録装置２６、無音部間隔計算装置２７、チャプター境界設定装置２８と、図１７の制御部４００とが対応関係にある。

図１７において、デコーダ部３００の出力オーディオ信号は、セレクタ３０１を介してデジタルアナログ変換器３０２でアナログ変換され外部に出力される。セレクタ３０１は、マイクロコンピュータブロック４００からのセレクト信号により制御される。これによりセレクタ３０１は、ＴＶチューナ２１２やＡ／Ｖ入力部２１１からのデジタル信号を直接モニタする時、エンコーダ部２００をスルーした信号を直接選択することも可能である。

なお、エンコーダ部２００のフォーマッタでは、録画中、各切り分け情報を作成し、定期的にマイクロコンピュータブロック４００のＭＰＵへ送る（ＧＯＰ先頭割り込み時などの情報）。切り分け情報としては、ＶＯＢＵ（ビデオオブジェクトユニット）のパック数、ＶＯＢＵ先頭からのＩピクチャのエンドアドレス、ＶＯＢＵの再生時間などである。

同時に、アスペクト情報処理部からの情報を録画開始時にＭＰＵへ送り、ＭＰＵはＶＯＢストリーム情報（ＳＴＩ）を作成する。ここでＳＴＩは、解像度データ、アスペクトデータなどを保存し、再生時、各デコーダ部ではこの情報を元に初期設定が行われる。

また本装置では、ビデオファイルは１ディスクに１ファイルとしている。またデータをアクセス（シーク）している間に、途切れないで再生を続けるために、最低限連続する情報単位（サイズ）を決めている。この単位をＣＤＡ（コンティギュアス・データ・エリア）という。ＣＤＡサイズは、ＥＣＣ（エラー訂正コード）ブロック（１６セクタ）の倍数であり、ファイルシステムではこのＣＤＡ単位で記録を行っている。

データプロセッサ部１０３は、エンコーダ部２００のフォーマッタからＶＯＢＵ単位のデータを受け取り、ＣＤＡ単位のデータをディスクドライブ部１０２あるいはハードディスクドライブ部１０４に供給している。またマイクロコンピュータブロック４００のＭＰＵは、記録したデータを再生するのに必要な管理情報を作成し、データ記録終了のコマンドを認識すると、作成した管理情報をデータプロセッサ部１０３に送る。これにより、管理情報がディスクに記録される。従って、エンコードが行われているとき、エンコーダ部２００からマイクロコンピュータブロック４００のＭＰＵは、データ単位の情報（切り分け情報など）を受け取る。また、マイクロコンピュータブロック４００のＭＰＵは、記録開始時には光ディスク及びハードディスクから読み取った管理情報（ファイルシステム）を認識し、各ディスクの未記録エリアを認識し、データ上の記録エリアをデータプロセッサ部１０３を介してディスクに設定している。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の一実施の形態を説明するために示した信号処理装置の全体的構成例を示す図である。 この発明の一実施の形態の基本的構成例を示す図である。 この発明の装置の一実施の形態における基本動作例を示す図である。 この発明の装置の他の実施の形態における基本動作例を示す図である。 この発明の装置のさらに他の実施の形態における基本動作例を示す図である。 この発明の装置のまた他の実施の形態における基本動作例を示す図である。 この発明の装置の一実施の形態における基本動作例を説明するために示したフローチャートである。 この発明の装置の一実施の形態に係わる映像構造化処理の基本的な処理構造を説明するために示した説明図である。 この発明の装置の一実施の形態に係わる映像構造化処理の基本的な処理を説明するために示し、図８の続きを示す説明図である。 この発明の装置の一実施の形態に係わる任意区間検出処理の基本的な処理構造を説明するために示した説明図である。 図１０の装置で実行される動作の一例を説明するために示したタイミングチャートである。 図１０の装置で実行される動作の基本的な動作例を説明するために示したフローチャートである。 図１０の装置で実行される動作の基本的な動作例をさらに詳しく説明するために示したフローチャートである。 図１０の装置で実行される動作の基本的な動作例を説明するために示したフローチャートである。 この発明に係る本編自動チャプター分割動作を設定するための画面の例を示す図である。 図８、図９で説明したチャプター分割処理を設定するための画面の例を示す図である。 この発明が適用された記録再生装置の構成ブロックを示す説明図である。

符号の説明

１…チューナ、２…トランスポートデコーダ、３…ＡＶデコーダ、６…ＯＳＤコントローラ、７…ダイレクトＲＤＲＡＭ、８…ＳＣＲＡＭ、９…ＥＥＰＲＯＭ、１１…制御部、２１…チューナ、２２…音声信号処理部、２３…エンコーダぶ、２４…データ処理部、２５…無音検出装置、２６…無音時刻記録装置、２７…無音部間隔計算装置、２８…チャプター境界設定装置。

Claims (6)

1. 映像信号の連続するフレーム間の類似度を解析して映像信号の意味内容に応じて区切った第１の区切り情報を得る装置において、
   音声信号を解析する制御部を有し、この制御部が、
   音声信号の無音部を検出するとともに、無音部と次の無音部との時間間隔と検出した無音部のカウント数とが所定条件を満足する区間を検出し、最初と最後の無音部に対して第２の区切り情報を生成し、
   前記第１と第２の区切り情報を合わせた和集合の第３の区切り情報を得るとともに、
   前記最初と最後の無音部に対して与えた第２の区切り情報の間に、前記第１の区切り情報が存在する場合には、この第１の区切り情報は非採用とする
   ことを特徴とする音声と映像信号から判定した映像信号の区切り情報設定方法。
2. 前記所定条件は、
   音声信号の無音部を検出し、無音部と次の無音部との時間間隔と、が一定時間（Ａ）の倍数であるかどうかを判定すること、
   前記時間間隔が一定時間（Ａ）の倍数であれば、無音部の検出をカウントし、前記無音部のカウント数が閾値（Ｂ）個以上あれば、最初と最後の無音部に対して第２の区切り情報を取得すること、である請求項１記載の音声と映像信号から判定した映像信号の区切り情報設定方法。
3. 前記第２の区切り情報により設定された区間は、前記制御部がコマーシャル区間として判定した区間であることを特徴とする請求項２記載の音声と映像信号から判定した映像信号の区切り情報設定方法。
4. 前記最初と最後の無音部に対して与えた第２の区切り情報の間は、前記制御部が音楽の部分として判定した区間であることを特徴とする請求項１記載の音声と映像信号から判定した映像信号の区切り情報設定方法。
5. 映像信号の連続するフレーム間の類似度を解析して映像信号の意味内容に応じて区切った第１の区切り情報を得る映像構造化処理部を有する装置において、
   音声信号を解析する任意区間検出処理部を有し、前記任意区間検出処理部は、
   無音検出部と、
   無音部を検出したときの無音検出時刻を記憶する記憶部と、
   無音部と次の無音部との時間間隔を計測する無音部時間間隔計測部と、
   無音部の時間間隔が所定の時間（Ａ）の倍数であって、かつ所定個数（Ｂ）連続した無音部を特定し、その最初と最後の無音部に第２の区切り情報を設定する無音部のカウントおよび条件判定部と、
   前記第１の区切り情報および前記条件判定部からの第２の区切り情報が入力され、前記第１と第２の区切り情報を合わせた和集合の第３の区切り情報を生成し、前記最初と最後の無音部に対して与えた第２の区切り情報の間に、前記第１の区切り情報が存在する場合には、この第１の区切り情報は非採用とする境界設定処理部と
   を有することを特徴とする音声と映像信号から判定した映像信号の区切り情報設定装置。
6. 前記第１の区切り情報を保存する第１の保存部と、前記第２の区切り情報を保存する第２の保存部を有し、
   前記境界設定処理部は、前記第１と第２の保存部からの第１、第２の区切り情報を用いて前記第３の区切り情報を生成していることを特徴とする請求項５記載の音声と映像信号から判定した映像信号の区切り情報設定装置。

Images