JP4683277B2 - 再生装置および方法、並びにプログラム - Google Patents

Description

本発明は、再生装置および方法、並びにプログラムに関し、特に、ユーザが、どの記録媒体に、どの記録方式で取り込まれたストリームを再生するのかを選択する手間を省くことができるようにする再生装置および方法、並びにプログラムに関する。

従来より、パーソナルコンピュータなどにおいては、データの記録媒体としてハードディスク（HDD(Hard Disk Drive)）が用いられている。HDDは、その大容量化、低価格化、小型化が進んでいることなどから、近年、パーソナルコンピュータ以外にも、録画機器や携帯型の音楽再生機器などの各種の機器にも用いられている。

また、データの記録媒体として、HDDの他に、CD(Compact Disk)やDVD(Digital Versatile Disk)などの光ディスクも用いられており、近年は、従来よりあるDVDより、データの高速読み書き、大容量を実現した次世代光ディスクが提案されている。例えば、民生用機器を対象とした次世代光ディスクのフォーマットとして、Blu-ray Disc（商標）方式（以下、BDという）と、HD-DVD(High Definition DVD)（商標）方式（以下、HD-DVDという）が提案されている。

従来よりあるDVD（以下、通常DVDという）は両面記録、２層記録などが可能であり、DVD-ROMの場合、その記録容量は片面１層記録で４．７GB、片面２層記録で８．５GB、両面各１層記録で９．４GBである。これに対し、BDの記録容量は、片面記録で２７GBとなっている。転送レートも３６Mbpsと、通常DVDと較べて高速でのデータの読み出しが可能となっている。また、HD-DVDの記録容量は、片面単層１５〜２０GB、２層３０〜４０GBであり、これもまた通常DVDと較べて記録容量が大きい。

広く普及している通常DVDに対応した記録再生機器を、全て、BDやHD-DVDに対応した記録再生機器に短期間で置き換えることは困難であることから、近年、BDまたはHD-DVDでのデータの記録再生と、通常DVDでのデータの記録再生が可能な光ディスクも開発されている。

複数の記録方式に対応した光ディスクのうちのBDやHD-DVDに対応した記録層を用いることにより、通常DVDと較べて、高画質記録、長時間記録などが可能となる。

ここで、映像（画像）の記録方法として、例えば、複数の記録方式に対応した光ディスクのうちのBDやHD-DVDに対応した記録層と、通常DVDに対応した記録層のそれぞれに、同一の画像を記録する方法が考えられる。具体的には、高伝送レート、大容量といった特性を生かして、BDやHD-DVDに対応した記録層には伝送レートの高い、高画質モードで画像データを記録し、一方、通常DVDに対応した記録層には伝送レートの低い、通常画質モードで同じ画像データを記録することが考えられる。

このように、１枚の光ディスクに高画質モードと通常画質モードの放送番組や映画などを記録することによって、ユーザは、例えば、画質の悪さが比較的気にならない携帯型の再生機器では通常DVDのデータを再生し、家庭内の据え置き型の再生機器ではBDまたはHD-DVDのデータを再生したりすることができる。

再生方法としては、単に、記録された順に、時系列的に再生させるのではなく、ユーザが見たいと思うシーンを再生する方法や、重要と思われるシーン（キーフレーム）だけを再生（ダイジェスト再生）する方法の２つの方法が考えられる。これにより、ユーザは、例えば、続けて記録された連続ドラマやシリーズ番組をその記録順に全て視聴することなく、記録されたものの全体を知ることができる。

前者の特殊再生を実現するため、下記特許文献１および２には、記録されている画像の特徴データを用いて、類似するシーン毎に画像データを自動的に分類し、代表画をサムネイル表示することによって、ユーザに、再生位置を選択させる技術が開示されている。

一方、後者の特殊再生を実現するため、下記特許文献３には、記録されている画像の特徴データに基づいて重要区間を判定し、判定した重要区間だけを再生する技術が開示されている。

画像の特徴データを用いる処理としては、いわゆるチャプター点を特徴データに基づいて画像に設定することも考えられる。このようなチャプター点が設定された画像データを用いることによって、ユーザは、例えば、指定したチャプター点の範囲にある画像の切り出しやコピーなどの編集処理を行うことができる。

特開２００２−４４５７３号公報 特開２００２−３４４８５２号公報 特開２００３−２１９３４８号公報

ところで、複数の記録方式に対応した光ディスクを用いて、BDやHD-DVDに対応した記録層と通常DVDに対応した記録層にそれぞれ同一の画像を記録する場合、上述したような代表画のサムネイル表示、ダイジェスト再生、編集処理などを行うときに用いられる特徴データは、BDやHD-DVDに対応した記録層に記録された画像から得られる特徴データと、通常DVDに対応した記録層に記録された画像から得られる特徴データとで整合性を確保しておく必要がある。

特徴データは、例えば、画像に現れる特徴（例えば、画素値）などに基づいて抽出することによって、あるいは、画像を記録する際に、エンコードの対象となっているデータ全体から抽出された一部のデータを特徴データとすることによって得られる。このことから、同じ画像を対象とした場合であっても、記録方式が異なると、異なるデータが、記録方式が異なるそれぞれの画像の特徴データとして取得されることがある。

この場合、記録方式によって、チャプター点、キーフレームの位置などが異なり、BDやHD-DVDのデータの再生中に、チャプター点を指定してある区間の再生を指示した場合と、通常DVDのデータの再生中に、同じチャプター点を指定して同じ区間の再生を指示した場合とで、記録されている画像は同じであるにもかかわらず、再生位置が異なるものとなる。

異なるデータが特徴データとして取得される原因としては、例えば、BDやHD-DVDでは１６：９の画面サイズで記録して、通常DVDでは４：３の画面サイズで記録するなどのように、画面サイズの違いがある。画面サイズが違うことにより同じ画像の信号であってもＹ，Ｃｂ，Ｃｒの信号特性が異なるものとなり、そのため、これらの信号に基づいて取得される特徴データが異なるものになることがある。

また、音声の特徴データについても、量子化ビット数、サンプリング周波数などの違い、５．１チャンネルサラウンド記録と２チャンネルステレオ記録などの違い、その他の要因から、同じ音声を対象とする場合でも、それから得られる特徴データが異なるものになることがある。

図１ＡおよびＢ、図２ＡおよびＢは、それぞれ、特徴データの整合性について説明する図である。

図１Ａに示されるストリームは通常DVD方式で記録された画像のストリームであり、図２Ａに示されるストリームはBD方式（またはHD-DVD方式）で記録された画像のストリームである。画像の内容はいずれも同じものである。なお、図１ＡおよびＢ、並びに図２ＡおよびＢにおいて、数字が付されている四角形はその１つが１シーン（所定の数のフレーム）を示す。

このようなストリームが記録されている状態で、通常DVD方式で記録された画像のストリームと、BD方式で記録された画像のストリームに基づいて特徴データの抽出処理が行われ、抽出処理の結果から、例えば、図１Ｂに示されるようにシーン３，７，１３と、図２Ｂに示されるようにシーン５，８，１５が、それぞれ特徴シーン（キーフレーム）として抽出されたものとする。

すなわち、記録されている画像の内容は同じであるにもかかわらず、特徴データに整合性がなく、異なるシーンが特徴シーンとして抽出されている。

ユーザは、特徴データに基づいて抽出された特徴シーンの代表画を見るなどして編集処理などを行うから、このように特徴データに整合性が確保されていない場合、編集処理の際に混乱してしまうおそれがある。

例えば、通常DVD方式で記録された画像のストリームと、BD方式で記録された画像のストリームから、同じ範囲のストリームをそれぞれ選択して他の記録媒体にコピーさせようとした場合、その編集処理の際に表示される代表画が異なるから、ユーザは、代表画の表示を見て、コピーさせようとする同じ範囲をそれぞれのストリームから正確に選択することができない。

また、ユーザによりダイジェスト再生が指示された場合、その再生位置は、特徴データに基づいて設定された特徴点の位置に従って行われるから、このように特徴データに整合性が確保されていない場合、通常DVD方式で記録された画像のストリームのダイジェスト再生を行う場合と、BD方式で記録された画像のストリームのダイジェスト再生を行う場合とで再生位置が異なり、違和感を感じることがある。

このように、記録方式が異なる複数のストリームを扱う装置においては、以上のような問題の他、次のような問題もある。

すなわち、以上のようにして記録されたストリームを再生させる場合、一般的に、画質の劣るものよりも画質のよいものを視聴したいものであるから、ユーザは、記録されているストリームの内容とともに、ストリームの記録方式を確認する必要がある。

このような確認は、１つの記録装置に設けられるトレイ（ディスクを設置するトレイ）が、複数のディスクを設置可能なものである場合、さらに煩雑になる。

本発明はこのような状況に鑑みてなされたものであり、ユーザが、どの記録媒体に、どの記録方式で取り込まれたストリームを再生するのかを選択する手間を省くことができるようにするものである。

本発明の再生装置は、記録媒体に記録されているストリームの記録方式を属性情報に基づいて判定する判定手段と、再生するストリームをユーザ自身が選択しないモードが設定されている場合、トレイに設置されている全ての記録媒体を順次対象として、判定手段による判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームを、第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生させる再生制御手段と、代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とを分類して、ストリームの記録元の記録媒体を表す情報とともに表示させる表示制御手段とを備え、前記再生制御手段は、同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生を開始させる。
本発明の再生方法は、複数の記録媒体を設置可能なトレイが設けられている再生装置の再生方法において、前記記録媒体に記録されているストリームの記録方式を属性情報に基づいて判定し、再生するストリームをユーザ自身が選択しないモードが設定されている場合、前記トレイに設置されている全ての記録媒体を順次対象として、判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームを、前記第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生させ、同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生を開始させ、代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とを分類して、ストリームの記録元の記録媒体を表す情報とともに表示させるステップを含む。
本発明のプログラムは、複数の記録媒体を設置可能なトレイが設けられている再生装置の再生処理をコンピュータに実行させるプログラムにおいて、前記記録媒体に記録されているストリームの記録方式を属性情報に基づいて判定し、再生するストリームをユーザ自身が選択しないモードが設定されている場合、前記トレイに設置されている全ての記録媒体を順次対象として、判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームを、前記第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生させ、同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生を開始させ、代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とを分類して、ストリームの記録元の記録媒体を表す情報とともに表示させるステップを含む処理をコンピュータに実行させる。

本発明においては、記録媒体に記録されているストリームの記録方式が属性情報に基づいて判定され、再生するストリームをユーザ自身が選択しないモードが設定されている場合、トレイに設置されている全ての記録媒体を順次対象として、判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームが、第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生される。また、同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生が開始される。さらに、代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とが分類して、ストリームの記録元の記録媒体を表す情報とともに表示される。

本発明によれば、ユーザが、どの記録媒体に、どの記録方式で取り込まれたストリームを再生するのかを選択する手間を省くことができる。

以下、本発明の実施の形態について図を参照して説明する。

ここでは、画像音声データ（画像音声ストリーム）の特徴の抽出処理を行い、抽出処理の結果から特徴データを検出し、検出した特徴データに基づいて所定のキーフレーム（重要点、重要位置）、特徴点を検出し、ダイジェスト再生（要約再生）動作、チャプター設定動作などの、特徴データを用いた動作を実現する場合について考える。

「発明が解決しようとする課題」の欄に記載した、同じ内容の画像音声データを異なる記録方式で取り込んだ場合に、特徴データに基づいて定まる特徴点の整合性を確保することができないという問題を解決する方法としては、例えば、
（１）１つの画像音声データのあるベースバンド帯域を対象として特徴抽出処理を行うことにより特徴データを検出し、その特徴データを、記録方式の異なる画像音声データ（異なる記録方式で取り込んだときに得られる複数の画像音声データ）間で共通に用いる方法
（２）記録方式の異なる複数の画像音声データのうちのいずれか１つの画像音声データを対象として特徴抽出処理を行うことにより特徴データを検出し、その特徴データを、記録方式の異なる画像音声データの間で共通に用いる方法
などが考えられる。

なお、本発明の実施の形態については、以下の順序で説明する。
（１）情報の記録態様について
（１．１）２記録方式の場合
（１．２）３以上の記録方式の場合
（２）情報の再生態様について
（３）特徴データ、特殊再生用データの記録態様について
（３．１）特徴データ
（３．２）特殊再生用データ
（３．３）記録態様
（３．３．１）画像音声データの内容が同じものである場合
（３．３．２）画像音声データの内容が違うものである場合
（３．４）他の記録態様（ICメモリ、ICタグに記録する場合）
（４）予約記録（予約録画、タイマー記録）モード時の動作
（５）記録側構成例
（６）特徴データを用いたダイジェスト再生およびチャプター処理
（６．１）特徴データを用いたダイジェスト再生
（６．２）特徴データを用いた自動チャプター処理
（７）全体構成
（７．１）記録側構成
（７．２）再生側構成
（７．２．１）通常再生モード動作
（７．２．２）ダイジェスト再生モード、チャプターモード
（７．２．２．１）プレイリストデータ、チャプターデータが記録されている場合
（７．２．２．２）プレイリストデータ、チャプターデータが記録されていない場合
（７．２．２．２．１）特徴データが記録されている場合
（７．２．２．２．２）特徴データが記録されていない場合
（８）他の全体構成
（８．１）記録側構成
（８．２）再生側構成
（９）特徴抽出処理
（９．１）音声系特徴抽出処理
（９．１．１）無音特徴抽出処理
（９．１．２）その他の音声特徴抽出処理
（９．２）画像系特徴処理
（９．２．１）シーンチェンジ特徴
（９．２．２）色特徴
（９．２．３）類似シーン特徴
（９．２．４）テロップ特徴
（１０）大容量記録媒体と他の記録媒体を併用可能な場合の実施例
（１０．１）記録可能な記録方式の判定方法
（１０．２）記録方法
（１０．２．１）記録媒体Ａに記録方式１と記録方式２の双方のデータが記録されている場合
（１０．２．２）記録媒体Ａに記録方式１のデータのみが記録されている場合
（１０．２．３）記録媒体Ａに記録方式２のデータのみが記録されている場合
（１１）記録方式１の複数の画像音声データを、記録方式２で記録する場合の実施例
（１１．１）動作モード設定順序、動作順序
（１２）記録容量が不足する場合の実施例
（１２．１）２記録方式対応ディスクの場合
（１２．２）記録レートの切り換え
（１３）動作フローチャート
（１４）実施例その他
（１５）特徴データ、特殊再生用データを生成する必要性
（１６）記録レートに応じた動作
（１６．１）動作フローチャート
（１６．２）特徴データの整合性を取る処理
（１７）記録方式を変換する場合
（１８）記録レートによる記録媒体の選択
（１９）複数個のディスクを扱うことができる場合の実施例

（１）情報の記録態様について
はじめに、本発明の一実施形態に係る記録再生装置に着脱される記録媒体（光ディスク）におけるデータの記録態様について説明する。

（１．１）２記録方式の場合
ここで、２記録方式とは、例えば、通常DVD方式とBD方式といったように、異なる２つの記録方式で、データを１つの光ディスク（記録媒体）に記録する方式をいう。すなわち、本発明の一実施形態に係る記録再生装置において用いられる記録媒体には複数の層が設けられており、それぞれの層に異なる記録方式でデータを記録することができるようになされている。また、その複数の層から、異なる記録方式で記録されたデータを読み出し、再生することができるようになされている。

図３および図４は、２記録方式でのデータの記録の例を示す図である。

図３は、外部から供給されてきた１つのストリームが異なる２つの記録方式で記録される場合の例を示し、本発明を適用した記録再生装置におけるデータの記録方法を示すものである。

図４は、２つのストリームがそれぞれ異なる記録方式で記録される場合の例を示し、本発明を適用した記録再生装置におけるデータの記録方法と比較するものとして示すものである。

記録媒体１には、記録方式１のデータが記録される層である記録方式１層、記録方式２のデータが記録される層である記録方式２層が設けられている。例えば、記録方式１としては通常DVD方式が採用され、記録方式２としてはBD方式（またはHD-DVD方式）が採用される。この場合、記録方式１の転送レート（伝送レート、または記録レート）と記録方式２の転送レートを比較した場合、記録方式２の転送レートの方が高い。

図３に示すように、外部から供給されてきたストリーム１には、信号処理系２−１において信号処理方式１の信号処理が施され、処理結果のデータに対応するレーザがピックアップ３−１を介して照射されることによってストリーム１が記録媒体１の記録方式１層に記録される。また、ストリーム１には、信号処理系２−２において信号処理方式２の信号処理が施され、処理結果のデータに対応するレーザがピックアップ３−２を介して照射されることによってストリーム１が記録媒体１の記録方式２層に記録される。

一方、図４の例においては、外部から供給されてきたストリーム１は信号処理系２−１において信号処理方式１の信号処理が施された後、記録媒体１の記録方式１層に記録される。また、信号処理系２−１に供給されたものと異なるストリームであるストリーム２に対しては、信号処理系２−２において信号処理方式２の信号処理が施された後、記録媒体１の記録方式２層に記録される。

（１．２）３以上の記録方式の場合
この場合も、上述したように、記録方式１は通常DVD方式、記録方式２はBD方式（またはHD-DVD方式）とすることができる。また、記録方式３は通常CD方式とすることができる。この通常CD方式では、音声データの他に、静止画や画像なども記録される。

この場合、記録媒体１には、図３、図４に示される記録方式１層、記録方式２層の他、通常CD方式のデータが記録される層が設けられる。

なお、記録方式１として通常DVD方式、記録方式２としてHD-DVD方式、記録方式３としてBD方式を採用することもできる。また、さらに多くの層が記録媒体１に設けられる場合、記録方式１として通常DVD方式、記録方式２としてHD-DVD方式、記録方式３としてBD方式、記録方式４としてCD方式を採用し、４つの異なる記録方式でそれぞれの層にデータを記録するようにすることもできる。このように、記録媒体１においては、２以上の複数の記録方式でデータを記録させることができる。

（２）情報の再生態様について
図５は、記録媒体１に２記録方式で記録されたデータを再生する場合の例を示す図である。

記録方式１層に通常DVD方式で記録されたデータはピックアップ３−１を介して読み出され、信号処理系１０−１において再生処理が行われる。得られた再生信号（画像信号、音声信号）は後段の構成に出力される。

また、記録方式２層にBD方式で記録されたデータはピックアップ３−２を介して読み出され、信号処理系１０−２において再生処理が行われる。得られた再生信号（画像信号、音声信号）も後段の構成に出力される。

このように、記録媒体１からは、記録方式１で記録されたデータと、記録方式２で記録されたデータのうちの少なくともいずれかを選択的に再生することができるようになされている。

（３）特徴データ、特殊再生用データの記録態様について
はじめに、特徴データと特殊再生用データについて説明する。

（３．１）特徴データ
特徴データは、画像特徴データと音声特徴データに分類され、そのうちの画像特徴データには、テロップ特徴データ、カラー特徴データ、その他の特徴データが含まれる。また、音声特徴データには無音特徴データが含まれる。

例えば、画像特徴データのうちのテロップ特徴データは、テロップが表示されるフィールド（またはフレームなど）の位置情報と、テロップの特徴を表すDCT(Discrete Cosine Transform)のAC(Alternating current)係数データとの一対のデータなどとされる。これは、ストリームのある位置における特徴、特性を表すデータと考えられる。

なお、記録開始時刻、記録開始位置などが分かっている場合や、特徴データの順番などから、その特徴データがストリーム全体のどの位置の特徴データであるのかが分かる場合には、フィールドの位置情報は除かれ、DCTのAC係数などのデータのみが、特徴データとして記録媒体１に記録されるようにしてもよい。すなわち、この場合、特徴データは、記録開始位置を基準とした位置順に並べられたDCT係数データや、時系列順に並べられたDCT係数データとなる。

特徴データは、ストリーム中の重要位置を表すフレームであるキーフレームを検出する際などに用いられる。キーフレームの位置は、フィールド番号、フレーム番号、記録開始点からの時間、その他の位置情報で表され、これらの位置情報は、プレイリストデータとして後述する処理により生成される。すなわち、特徴データがあれば、プレイリストデータの生成が可能となる。特徴データに基づいて生成されたプレイリストデータは、ダイジェスト再生、チャプター処理の際に適宜用いられる。

このように、特徴データは、プレイリストデータを生成するためにも用いられるものであり、プレイリストデータがあれば、ダイジェスト再生、後述するチャプター処理が可能となるが、ユーザ自身でプレイリストデータを修正することも考えられることから、プレイリストデータの生成後には消去するのではなく、特徴データを、プレイリストデータとともに、記録媒体１や内蔵HDDなどの所定の記録媒体に残しておくようにしてもよい。

また、再生対象とするストリームが記録されている記録媒体に、そのストリームのプレイリストデータが記録されていないこともあることから、特徴データは、内蔵HDDなどの所定の記録媒体に残しておくようにしてもよい。例えば、過去に再生したことのあるストリームが記録されている記録媒体に、そのストリームのプレイリストデータが記録されていない場合、その、過去の再生ときに特徴データの検出やプレイリストデータの生成などが行われ、保持されていることにより、再度、同じストリームを再生するときに、保持されているプレイリストデータを用いてダイジェスト再生、チャプター処理などを行うことが可能となる。

特徴データの検出方法については後述する。

（３．２）特殊再生用データ
特殊再生用データは、プレイリストデータとチャプターデータからなり、例えば、特殊再生の際に用いられる特徴点（特徴位置）の位置情報である。プレイリストデータは、特徴データに基づく特徴点の検出処理により生成される。

ここで、特殊再生には、ストリーム全体のうちの特徴的なシーンだけを再生するダイジェスト再生、所定時間のシーンを所定間隔で再生するスキップ再生、ストリーム中の所定の位置に含まれる画面を静止画として表示（サムネイル表示を含む）すること、チャプターが設定された位置の画面を静止画として表示（サムネイル表示を含む）することなどの、ストリーム全体（または所定の範囲）を時系列順に再生する通常再生以外の再生方法が含まれる。

ダイジェスト再生モードで、キーフレーム区間だけを再生する場合には、キーフレーム区間の開始位置、終了位置をそれぞれ特徴点と考えることができ、それらの位置情報をプレイリストデータと考えることができる。また、キーフレーム区間の開始位置だけを特徴点と考えることもできる。

これらの特徴点のデータを用いた処理としては、例えば、放送番組の場面変化を見たい場合や、編集、記録した内容の概要を知りたい場合に、それらの特徴点が設定されたフレームをサムネイル表示するなどの処理に用いられる。

特徴点、キーフレーム位置としては、例えば、テロップの表示が開始された位置、あるシーンと類似するシーンの開始位置、CM区間の終了位置などとすることができる。

CM終了後の本編の開始位置やCM開始前の本編終了位置などは、CMの開始位置や終了位置から求めることができるから、別の観点から見れば、CM開始前の本編の終了位置（終了点）やCM終了後の本編の開始位置（開始点）、すなわち、番組本編の開始位置、終了位置をそれぞれ特徴点とすることもできる。

図６は、プレイリストデータをテキストデータとして表示した場合の例を示す図である。

図６に示されるような特徴点開始位置、特徴点終了位置を表すフィールド番号などのデータが、所定のファイル、またはデータそのものとして、HDDやディスクなどの所定の記録媒体に記録される。

当然、フィールド番号ではなく、例えば、フレーム番号や、プログラムの記録開始からの時間情報などの位置情報がプレイリストデータとして記録されるようにしてもよい。また、プレイリストデータとして、図６（ａ）列に示す特徴区間の最初の位置情報だけが記録されるようにしてもよい。

このようなプレイリストデータが、スキップ再生などの特殊再生モード時や、特徴点のサムネイル表示モード時などに用いられる。

図６において、（ａ）列のデータは特徴区間の開始位置を表す情報であり、（ｂ）列のデータは特徴区間の終了位置を表す情報である。図６の例では、プレイリストデータに登録されている最初のデータにより特定される区間は１００〜７００フィールドの区間であり、この区間が特徴区間とされている。

例えば、ダイジェスト再生モードでは、図６（ａ）列と（ｂ）列のデータから、それにより特定される区間だけの再生が行われ、ストリーム全体を時系列順に再生する場合に較べて、短時間で、ストリームの再生が行われることになる。図６の例の場合、１００〜７００フィールド、９００〜１５００フィールド、２０００〜２６００フィールド、・・・、５０００〜５６００フィールドの区間だけがスキップ再生され、それ以外の区間は再生されない。

また、サムネイル表示モードでは、図６（ａ）列のデータにより特定される位置の画像がサムネイル表示される。

（３．３）記録態様
図７は、２つの記録方式（記録方式１、記録方式２）のストリームが記録されている記録媒体１における特徴データ、特殊再生用データの記録態様を示す図である。

後述するように、特徴データ、特殊再生用データは必要に応じて記録媒体１に記録しないようにすることもできる。ここでも、記録方式１は通常DVD方式、記録方式２はBD方式である。

図７の（１）乃至（３）には、記録方式１層と記録方式２層に記録されているストリームの内容が同一内容である場合の組合せが示され、（４）には、違う内容である場合の組合せが示されている。

（３．３．１）画像音声データの内容が同じものである場合
図７（１）に示されるように、記録方式１層には特徴データ、特殊再生用データが記録され、一方、記録方式２層には記録されないようにすることができる。

BD方式、またはHD-DVD方式のデータの再生機能を有する装置は、一般的に、通常DVD方式の再生機能だけを有する装置に較べて、大容量データの再生を行うことができ、性能が高く、価格も高いものと考えられる。そのため、BD方式、またはHD-DVD方式の記録再生機能を有する装置は、通常DVD方式のデータの記録再生機能も付加的に搭載されている場合が多いと考えられ、このような装置の場合、図７（１）の組合せは有効な記録方法の１つと考えられる。

また、図７（２）に示されるように、記録方式１層には特徴データ、特殊再生用データが記録されずに、記録方式２層にだけ特徴データ、特殊再生用データが記録されるようにすることができる。

さらに、図７（３）に示されるように、記録方式１層と記録方式２層のいずれにも特徴データ、特殊再生用データが記録されるようにすることができる。この組合せの場合、どちらか一方の記録方式の再生機能しか有していない装置でも対応できる。

なお、同じストリームが２つの記録方式でそれぞれ記録されている、すなわち、記録されている映画の内容や番組内容が同じであり、かつ、図７（３）に示されるように、記録方式１層と記録方式２層の双方に特徴データ、特殊再生用データが記録される場合、それぞれのストリーム中の対応する位置（同じシーンの位置）に特徴点が設定され、それに基づいて行われるダイジェスト再生の再生区間が、一方の記録方式のストリームを再生したときと、他方の記録方式のストリームを再生したときとで整合性が確保されていることが好ましい。

例えば、内容が同じであるにもかかわらず、一方の記録方式のストリームをダイジェスト再生したときと、他方の記録方式のストリームをダイジェスト再生したときとで、再生される内容が異なる場合、ユーザは違和感を感じることになる。

図８は、特徴データとプレイリストデータの記録状態の例を示す図である。

図８（ａ）に示されるように、特徴データとプレイリストデータ（および後述するチャプターデータ）が記録媒体１に記録されるようにしたり、図８（ｂ）に示されるように、特徴データは記録されずに、プレイリストデータだけが記録媒体１に記録されるようにすることができる。また、図８（ｃ）に示されるように、特徴データだけが記録媒体１に記録され、プレイリストデータは記録されないようにすることができる。

さらに、図８（ｄ）に示されるように、特徴データとプレイリストデータが記録媒体１に記録されないようにすることができる。図８（ｄ）の組合せの場合、いまの状態では記録媒体１に記録されているストリームの特殊再生を行うことができないから、必要に応じて、後述するような特徴の抽出処理、プレイリストデータの作成処理が行われ、それに基づいて、特殊再生が行われる。

（３．３．２）画像音声データの内容が違うものである場合
この場合、図７（４）に示されるように、ストリームが違う内容である場合の図７（３）の組合せと同様に、記録方式１層と記録方式２層のいずれにも特徴データ、特殊再生用データが記録されるようにすることができる。

（３．４）他の記録態様（ICメモリ、ICタグに記録する場合）
以上のように、記録媒体１の記録方式１層や記録方式２層の所定の領域に記録されるのではなく、特徴データとプレイリストデータの記録態様としては次のようなものも考えられる。

図９ＡおよびＢは、記録媒体１を上方（記録媒体１の表面に対して垂直方向）から見た図である。

図９Ａは、記録媒体１の通常記録領域（例えば、フォーマットで推奨される記録領域）とは異なる領域である内周側の領域１Ａに、特徴データとプレイリストデータが記録される場合の例を示している。当然、外周側に記録されるようにしてもよい。

図９Ｂは、記録媒体１の内周側のある位置にICメモリ１Ｂが埋め込まれており、それに、特徴データとプレイリストデータが記録される場合の例を示している。記録媒体１の外周側にICメモリ１Ｂが埋め込まれるようにすることもできる。例えば、このICメモリ１Ｂは、記録媒体１の製造の過程でICのパターンを所定の層に入れ込むことで記録媒体１に用意される。

なお、ICメモリ１Ｂに替えてICタグが用いられるようにしてもよい。この場合、記録媒体１の記録再生装置には、記録媒体１に設けられるICタグに対してデータを無線で書き込んだり、ICタグに記録されているデータを無線で読み出したりすることができるリーダライタが用意される。

図１０は、記録方式１層、記録方式２層以外に、図９ＡおよびＢに示すような特徴データ、特殊再生用データの他の記録領域（内側の領域１Ａ、ICメモリ１Ｂ）が設けられている場合における特徴データ、特殊再生用データの記録態様を示す図である。

図１０（１）乃至（６）は、記録方式１層と記録方式２層に記録されているストリームの内容が同一内容である場合の組合せを示し、図１０（７）乃至（１１）は、それらのストリームの内容が違う内容である場合の組合せを示す。

（４）予約記録（予約録画、タイマー記録）モード時の動作
ここで、ユーザによる設定に応じて、長時間番組を予約記録する場合の記録再生装置の動作について説明する。通常、ユーザはできるだけ高画質で記録したストリームを鑑賞したいと思うものと想定し、デフォルト設定（初期設定）では、できるだけ高画質で記録する、記録方式２の記録モードでストリームの記録が行われる。

高画質なハイビジョン番組を、高画質記録モードである記録方式２で記録方式２層の記録領域に記録している最中に、番組全体を記録するには、いま使用している記録方式２層の記録容量が不足することが自動的に検出されたとき、または、間もなく不足することが自動的に検出されたとき、装置により、他の記録方式である、例えば記録方式１に記録方式が切り換えられて、それ以降のデータの記録が行われる。

このとき、記録方式を切り換えて、他の記録層に継続して同じ番組（プログラム）を記録したことを示す所定の情報が、切り換え先の記録層である記録方式１層、または切り換え元の記録層である記録方式２層の所定の記録領域に記録される。

なお、ユーザが、記録モードの設定を変更することができるようにしてもよい。例えば、ユーザは、記録方式２（BD方式またはHD-DVD方式）で記録が行われるデフォルトの設定を、記録方式１（通常DVD方式）で記録が行われるように変更することができる。

（５）記録側構成例
図１１および図１２は、同じコンテンツを複数の記録方式で記録媒体１に記録する記録側の構成例を示すブロック図である。

図１１は、入力されたストリーム（画像音声データ）から、直接、特徴の抽出を行い、抽出された特徴を表す特徴データを記録媒体１に記録させる構成を示す。

記録再生装置に入力されたストリームは記録方式１エンコード処理系２１、記録方式２エンコード処理系２２に供給され、そのそれぞれにおいて、記録方式に応じたエンコード処理が行われる。記録方式１エンコード処理系２１によるエンコード結果は記録方式１記録信号処理系２４に出力され、記録方式２エンコード処理系２２によるエンコード結果は記録方式２記録信号処理系２５に出力される。

また、記録再生装置に入力されたストリームは特徴データ信号処理系２３にも供給され、特徴データ信号処理系２３において、所定の画像特徴抽出処理により画像特徴データが、また、所定の音声特徴抽出処理により音声特徴データが、それぞれ検出される。検出された特徴データは、特徴データの他にプレイリストデータやチャプターデータも記録媒体１に記録させる場合（例えば、図８（ａ）の組合せでデータが記録される記録媒体１を得る場合）にはプレイリストデータ（チャプターデータ）信号処理系２６に出力され、記録媒体１には特徴データだけを記録し、プレイリストデータやチャプターデータを記録しない場合（例えば、図８（ｃ）の組合せでデータが記録される記録媒体１を得る場合）には記録方式１記録信号処理系２４、記録方式２記録信号処理系２５に出力される。

記録方式１記録信号処理系２４においては、記録方式１層（図の層ａ、層ｂ）に対して記録方式１エンコード処理系２１から供給されてきた通常DVD方式のデータを記録させる通常DVD記録処理と、特徴データ信号処理系２３やプレイリストデータ（チャプターデータ）信号処理系２６から供給されてきたデータを、図７、図１０の組合せで所定の記録層（位置）に記録させる処理とが行われる。

なお、図１１において、層ａは、記録媒体１の記録方式１層がDVD DL(Dual Layer)に対応したものである場合に設けられる層である。後述する図１２等においても同様である。

記録方式２記録信号処理系２５においては、記録方式２層に対して記録方式２エンコード処理系２２から供給されてきたBD方式、またはHD-DVD方式のデータを記録させる記録処理と、特徴データ信号処理系２３やプレイリストデータ（チャプターデータ）信号処理系２６から供給されてきたデータを、図７、図１０の組合せで所定の記録層（位置）に記録させる処理とが行われる。

図１１において点線で示すメモリ系２７は、例えば、記録方式１記録信号処理系２４が、記録方式１エンコード処理系２１から供給されてきたデータと、特徴データ信号処理系２３により得られた特徴データ（あるいはプレイリストデータ（チャプターデータ）信号処理系２６により得られたプレイリストデータ、チャプターデータ）を記録媒体１に同時に記録することができない場合に、特徴データ信号処理系２３により得られたデータを一時的に保存しておくときに用いられる。

例えば、同時記録を行うことができないにもかかわらず、図７（３）に示すように、特徴データとプレイリストデータなどを各記録層にそれぞれ記録するとき、特徴データ信号処理系２３やプレイリストデータ（チャプターデータ）信号処理系２６により得られたデータはメモリ系２７に一時的に記憶され、記録可能なタイミングで読み出される。

記録方式１エンコード処理系２１によるエンコード結果から得られた特徴データを記録方式１のデータの特徴データとし、また、記録方式２エンコード処理系２２によるエンコード結果から得られた特徴データを記録方式２のデータの特徴データとするのではなく、以上のように、１つのストリームから得られた特徴データやそれから得られたプレイリストデータなどを、記録方式１および２のデータの共通の特徴データ、プレイリストデータとして記録媒体１に記録することにより、記録方式１のデータの特徴データと、記録方式２のデータの特徴データの間で整合性が失われるといったことを防止することができる。

すなわち、共通の特徴データやそれから得られたプレイリストデータなどに基づいて、サムネイル表示や特殊再生が行われることにより、ストリーム中の、サムネイル画像の選択位置、特殊再生時の再生位置が、記録方式１のデータを対象とする場合と記録方式２のデータを対象とする場合とで異なるものとなることを防止することができ、それを見ているユーザに違和感を与えてしまうことを防止することができる。

図１２は、記録方式１エンコード処理系２１と記録方式２エンコード処理系２２のうちの少なくともいずれかにおいて行われる処理の過程で得られたデータから特徴を抽出し、抽出された特徴を表す特徴データを、記録方式１のデータと記録方式２のデータの共通の特徴データとして記録媒体１に記録させる構成を示す。図１１と対応する部分には同じ符号を付してある。

例えば、特徴抽出に用いるデータ（処理の過程で得られたデータ）は、エンコード方式をMPEG方式とした場合、DCT処理で得られるAC係数、DC係数などとされる。

記録方式１エンコード処理系２１によるエンコード結果を、特徴抽出に用いるデータとし、抽出した特徴を表す特徴データ、あるいは、それから得られたプレイリストデータなどの特殊再生用データを、記録方式１、記録方式２のストリームの共通の特徴データ、特殊再生用データとする場合、記録方式１エンコード処理系２１によるエンコード結果は特徴データ信号処理系２３にも供給される。

特徴データ信号処理系２３においては特徴抽出処理が行われ、得られた特徴データが記録方式１記録信号処理系２４、記録方式２記録信号処理系２５に供給され、記録媒体１の所定の記録位置に記録されるとともに、必要に応じてプレイリストデータ（チャプターデータ）信号処理系２６にも供給される。プレイリストデータ（チャプターデータ）信号処理系２６においては、特徴データ信号処理系２３により得られた特徴データに基づくプレイリストデータなどの生成処理が行われ、得られたプレイリストデータが記録方式１記録信号処理系２４、記録方式２記録信号処理系２５に供給され、所定の記録位置に記録される。

上述したように、複数の記録層に同時記録を行うことができない場合、必要に応じて、特徴データ信号処理系２３により得られた特徴データ（あるいはプレイリストデータ（チャプターデータ）信号処理系２６により得られたプレイリストデータ、チャプターデータ）は、メモリ系２７に一時的に記録され、所定のタイミングで読み出されて、記録媒体１の所定の記録位置に記録される。

なお、記録方式１エンコード処理系２１によるエンコード結果に替えて、記録方式２エンコード処理系２２によるエンコード結果を特徴抽出に用いるデータとし、抽出した特徴を表す特徴データ、あるいは、それから得られたプレイリストデータなどの特殊再生用データを、記録方式１、記録方式２のストリームの共通の特徴データ、特殊再生用データとする場合、図１２に点線で示すように、記録方式２エンコード処理系２２によるエンコード結果は特徴データ信号処理系２３にも供給され、それ以降、上述したような、記録方式１エンコード処理系２１によるエンコード結果を用いる場合と同様の処理が各系において行われる。

このように、記録方式１または２のうちのいずれか一方のエンコード結果（あるいは、エンコード処理の過程で得られたデータ）から得られた特徴データやそれから得られたプレイリストデータなどを、記録方式１および２のデータの共通の特徴データとすることによっても、記録方式１のデータの特徴データと、記録方式２のデータの特徴データの間で整合性が失われるといったことを防止することができる。

ここで、図１１または図１２に示す構成において、データを記録する順序を図１３に示す。

図１３（１）乃至（６）にそれぞれ示すように、記録層ａ→記録層ｂ→記録層ｃ、記録層ａ→記録層ｃ→記録層ｂ、記録層ｂ→記録層ｃ→記録層ａ、記録層ｂ→記録層ａ→記録層ｃ、記録層ｃ→記録層ｂ→記録層ａ、記録層ｃ→記録層ａ→記録層ｂの順序でストリームや特徴データなどを記録することができる。

なお、記録層ａ，ｂ，ｃに対する３層同時記録、またはいずれか２つの層に対する２層同時記録によってそれぞれのデータが記録されるようにしてもよい。

（６）特徴データを用いたダイジェスト再生およびチャプター処理
下記の動作概要に関係する信号処理については、適宜、ここでの項目の他に後の項目で詳細に説明する。

図１４Ａ乃至Ｇは、特徴データを用いたダイジェスト再生およびチャプター処理について説明する図である。はじめに、特徴データを用いたダイジェスト再生について説明する。

（６．１）特徴データを用いたダイジェスト再生
ここでは、図１４Ａに示すような画像音声データ系列があると想定する。この画像音声データ系列は、放送番組や映画ソフトその他のコンテンツであり、ハードディスク（HDD）や光磁気ディスク、大容量半導体メモリなどの所定の記録媒体から読み出され、再生処理に用いられるものとする。

特徴データを用いたダイジェスト再生には、
（ａ）特徴点の間（特徴位置）をスキップ再生する方法
（ｂ）特徴点区間を再生する方法
（ｃ）特徴データに基づいて所定の意味的構造区間を想定し、その意味的構造区間に基づいて再生する方法
などが含まれる。

上記方法（ａ）は、例えば、テレビCMの開始点、終了点を検出し、検出したテレビCMの開始点、終了点から求められる番組本編の開始点、終了点を特徴点とし、番組本編区間のみを再生する方法である。日本で放送されるテレビCMを考えた場合、１５秒の整数倍の時間毎に無音区間を検出できるという特徴があることから、例えば、テレビCMの開始点、終了点の検出は、その特徴に基づいて行われる。

方法（ｂ）は、例えば、テロップが表示されている区間を再生する方法である。ニュース番組などでは、重要な部分はテロップが表示されることが多いことから、これにより、重要と考えられる部分だけを再生することができる。

方法（ｃ）は、例えば、ニュース番組の意味的構造として、「アナウンサーがニュースを読み上げている区間」を検出し、その区間を再生する方法である。ニュース番組の全体を見た場合、アナウンサーが出ているシーンが多いと想定でき、それぞれの画像を類似するシーン毎に分類した場合に出現頻度の多いシーン（条件１）で、話者音声区間（条件２）で、ニュース番組なのでテロップ表示（条件３）があると想定し、その３つの条件を満たす区間を検出することで、「アナウンサーがニュースを読み上げている区間」という意味的構造区間を検出することができる。

なお、このような意味的区間の検出処理を考えた場合に、３条件の全部を満たさない場合も考えられる。

そこで、検出処理において評価値（スコア）という概念を用いるようにしてもよい。例えば、評価値（条件を満たす程度を表す値）の最大を１００とし、上記３条件をすべて満たす場合は満点（１００）、２条件だけ満たす場合は評価値７０、１条件だけ満たす場合は評価値３０、というように所定の評価値設定処理を行い、設定された評価値が閾値を超える区間が意味的区間として選択され、その区間だけ再生させるようにすることもできる。

なお、評価値の設定の方法はこれに限らず、それぞれの条件に、特徴データに応じた重み付けがされ、その条件を満たすか否かで設定されるようにしてもよい。例えば、上記条件１（出現頻度の一番多いシーン）を満たす場合には評価値５０、条件２（話者音声区間）を満たす場合には評価値２０、条件３（テロップ表示区間）を満たす場合には評価値３０、といったように、満たす条件に応じて異なる評価値が設定され、設定された評価値が閾値を超えるか否かに応じて、意味的区間として選択されるようにしてもよい。閾値が８０として設定されている場合、少なくとも、条件１と条件３の２条件を満たす区間が、意味的区間として選択されることになる。

図１４Ｂは、図１４Ａの画像音声データ系列において、所定の意味を設定し、シーンチェンジ、音声セグメントなどに応じて所定のビデオ構造（意味的ビデオ構造）に区切った区間の例を示すものである。

ここで、図１４Ｃに示すように、図１４Ｂの区間毎（所定の時間内に記録された区間、所定のプログラム区間などの区間毎）の所定評価値を設定する。この評価値は、キーフレーム区間を含む区間のように、全区間をみて重要と考えられる区間ほど、高い評価値（評価データ）が設定される。

すなわち、高い評価データが設定された区間だけが再生されることにより、その区間にはキーフレーム区間が含まれることから、全区間を再生しなくても、ユーザは番組の概要を把握したりすることができる。

図１４Ｄは、評価値に基づく再生区間の例を示す図である。

この例においては、図１４Ａに示す画像音声データ系列のフレームｆ１〜ｆ２，ｆ４〜ｆ５，ｆ７〜ｆ８の各区間が、その区間に設定された評価値がしきい値Th以上の区間とされており、この場合、図１４Ｄに示すように、Ａ１，Ａ２，Ａ３の各区間がスキップ再生されることでダイジェスト再生が実現される。

（６．２）特徴データを用いた自動チャプター処理
図１４Ｅは、チャプター点の設定位置の例を示す図である。

例えば、上述したような、所定のキーフレームの先頭またはその近傍、および、そのキーフレームの区間の最後に続く（最後に接続する）、キーフレーム区間ではない区間の先頭またはその近傍にチャプター点が設定される。

図１４Ｆは、チャプター点が自動設定されたフレームの例を示す図である。

図１４Ｆの例においては、チャプターフレームｆ１，ｆ４，ｆ７は、それぞれキーフレーム区間Ａ１，Ａ２，Ａ３の先頭（またはその近傍）にあるフレームであり、ｆ３，ｆ６，ｆ９は、それぞれキーフレーム区間Ａ１，Ａ２，Ａ３の後に続く、キーフレーム区間ではない区間Ｂ１，Ｂ２，Ｂ３の先頭（またはその近傍）にあるフレームである。

従来のDVD記録再生装置のいわゆる自動チャプター設定機能により設定される区切り点は、その点を編集操作の目安にする場合や、早送りフォワード再生（FF再生）、早送り逆再生（リワインド再生、REW再生）する場合に利用される。例えば、従来の自動チャプター設定機能では、５分間隔、１０分間隔、１５分間隔などのように、所定の時間間隔でチャプターが設定されるようになされており、このようなチャプターの設定処理によれば、図１４Ｇに示すように、キーフレームと思われる位置の開始点にチャプター点を設定することができない場合がある。

また、従来のDVD記録再生装置においては、手動チャプター（マニュアルチャプター）処理という、ユーザ自身が所望する任意の位置にチャプター点を設定することができる機能もあるが、記録した、あるいは記録する番組（プログラム）を実際に見てチャプター点を設定することになるので、ユーザにとっては面倒な操作であり、効率的ではない。

しかし、本発明を適用した記録再生装置のように、特徴データを用いたチャプター点設定処理では、図１４Ｅに示すように、キーフレーム区間の先頭、またはその近傍と、そのキーフレーム区間の最後に接続される（または最後に続く）、キーフレーム区間ではない区間の先頭またはその近傍に、チャプター点を適切に、かつ自動的に設定することができ、従来のチャプター処理と較べて、より効果的な（編集やダイジェスト再生にとって有効な）チャプター点の設定を行うことが可能になる。

図１５は、チャプター点が自動設定されたフレーム（チャプターフレーム）の表示例を示す図である。

図１５の例においては、図１４Ｅに示すような位置に設定されたチャプター点に基づいて選択されたチャプター画像ｆ１，ｆ３，ｆ４，ｆ６，ｆ７，ｆ９が、画面の下方にサムネイル表示されている。

ユーザは、図１５に示すような画面を見て、例えば、記録再生装置の内蔵記録媒体であるハードディスクに記録された放送番組を対象として、図１４Ｄのキーフレーム区間Ａ１，Ａ２，Ａ３を切り出し、その区間のデータを、記録媒体１などのディスク記録媒体に記録させたり、チャプター画像ｆ１，ｆ４，ｆ７から、それに続く所定の区間だけをスキップ再生させたりすることができる。

（７）全体構成
図１６は、図１１または図１２の記録側の構成を含む、記録再生装置全体の構成例を示すブロック図である。

ここでは、記録対象の画像音声データは放送番組のデータとし、その放送番組のデータに対してはMPEG(Moving Picture Exports Group)に準拠した圧縮処理が施されるものとする。なお、その他の圧縮処理としてウェーブレット変換、フラクタル解析処理などを用いることも可能である。例えば、下記の説明において、画像データのDCT係数は、ウェーブレット変換の場合には多重解像度解析における解析係数などに相当し、同様の信号処理を行うことも考えられる。

なお、図１６において、音声エンコード処理系４４と画像エンコード処理系４９を併せた１つの構成は図１１の記録方式１エンコード処理系２１、記録方式２エンコード処理系２２のそれぞれに対応し、記録処理系４６は図１１の記録方式１記録信号処理系２４、記録方式２記録信号処理系２５にそれぞれ対応する。また、特徴抽出処理系５０は図１１の特徴データ信号処理系２３に対応し、メモリ系５１は図１１のメモリ系２７に対応し、プレイリストデータ（チャプターデータ）生成処理系５９は図１１のプレイリストデータ（チャプターデータ）信号処理系２６に対応する。さらに、記録媒体６３（記録媒体Ｂ）は上述した記録媒体１に対応する。記録媒体４７（記録媒体Ａ）は例えば内蔵のHDDである。

（７．１）記録側構成
受信アンテナ系４１と受信系４２により所定の放送番組が受信され、音声信号は音声A/D変換処理系４３で所定のサンプリング周波数、所定の量子化ビット数でA/D変換処理が行われ、得られた音声データが音声エンコード処理系４４に入力される。

音声エンコード処理系４４では、例えばMPEGオーディオやAC３オーディオ（ドルビーAC３、またはAudio Code number ３）などの所定の帯域圧縮方式で信号処理が行われる。

同様に、受信された放送番組の画像信号は画像A/D変換処理系４８で所定のサンプリング周波数、所定の量子化ビット数でA/D変換処理が行われ、得られた画像データは画像エンコード処理系４９に入力される。

画像エンコード処理系４９では、MPEGビデオやウェーブレット変換などの所定の帯域圧縮方式で信号処理が行われる。

音声信号の特徴抽出を行うため、音声A/D変換処理系４３から音声エンコード処理系４４に入力される信号の一部、または、音声エンコード処理系４４によるエンコード処理の過程で得られる信号の一部は特徴抽出処理系５０に適宜入力される。

同様に、画像信号の特徴抽出を行うため、画像A/D変換処理系４８から画像エンコード処理系４９に入力される信号の一部、または、画像エンコード処理系４９によるエンコード処理の過程で得られる信号の一部も特徴抽出処理系５０に適宜入力される。

特徴抽出処理系５０においては、例えば、放送番組の記録時に、所定区間毎に特徴データの抽出が順次行われる。抽出された特徴データは、所定のエンコード処理が施された画像音声データとともに記録媒体Ａの所定の記録領域に記録される。また、特徴抽出処理系５０により生成された特徴データは、適宜、システムコントローラ系６０を介してプレイリストデータ（チャプターデータ）生成処理系５９に供給される。

プレイリストデータ（チャプターデータ）生成処理系５９においては、特徴データから、ダイジェスト再生を行うためのプレイリストデータ、またはチャプターデータの生成が行われる。

ここで、プレイリストデータ（チャプターデータ）生成処理系５９により行われるプレイリストデータ、チャプターデータ生成の信号処理プロセス（信号処理過程）について説明する。信号処理プロセスには以下のようなものが考えられる。

（ａ）特徴データをメモリ系５１、またはシステムコントローラ系６０のメモリ領域に所定の量だけ蓄積した後、蓄積した特徴データに基づいてプレイリストデータ、チャプターデータ生成処理を行う。

（ｂ）特徴抽出処理を行う毎に、それにより得られた特徴データを画像音声データとともに記録媒体Ａに逐次記録し、所定の量だけ記録させた後、その記録媒体Ａに記録させた特徴データを読み出して（再生して）、読み出した特徴データに基づいてプレイリストデータ、チャプターデータ生成処理を行う。

上記（ａ）の場合、例えば、所定時間ｔの放送番組を記録することを考えると、放送番組の記録開始から時間ｔだけ経過した時点で、その放送番組のすべての特徴データが集積されるので、このとき、時間ｔのなかで、ダイジェスト再生時間tdに対応するキーフレームがどこになるかを決める、プレイリストデータ生成処理を行うことができる。すなわち、この、時間ｔに得られる特徴データが、メモリ系５１、またはシステムコントローラ系６０のメモリ領域に蓄積されることになる。

一方、上記（ｂ）の場合、上記（ａ）の場合と同様に、放送番組の記録開始から時間ｔが経過するまでの間、記録媒体Ａに対する特徴データの記録が行われ、時間ｔが経過したことが検出されたとき、それまでに記録媒体Ａに記録された特徴データが読み出されて、ダイジェスト再生時間tdに応じたプレイリストデータ生成処理が開始される。

プレイリストデータ生成処理が終了したとき、ダイジェスト再生を行う準備ができたことになる。

以上のようにして生成されたプレイリストデータは記録処理系４６に供給され、所定の処理が施された後、記録媒体Ａの所定の記録領域に記録される。

ここで、プレイリストデータは、図６を参照して説明したように、例えば、区間毎の再生開始フレーム番号と再生終了フレーム番号の対のデータである。プレイリストデータは、記録された画像音声データ（プログラム）全体のうちの所定の区間だけをスキップ再生することによってダイジェスト再生を実現するために使用するものであるから、このようなフレーム番号のデータの他に、タイムコードや、MPEGにおけるPTS(Presentation Time Stamp)、DTS(Decode Time Stamp)などのタイムスタンプにより表されるようにしてもよい。

（７．２）再生側構成
（７．２．１）通常再生モード動作
はじめに、通常再生モードが設定されているときの動作について説明する。ユーザ入力I/F系６１からの出力により、記録再生装置のモードが通常再生モードとして設定されたとき、例えば記録媒体Ａから、所定の画像音声データ、特徴データなどが読み出され、再生処理系５２に供給されて所定の再生処理が行われる。再生処理により得られたデータは再生データ分離処理系５３に出力される。

再生データ分離処理系５３においては、画像音声データを画像データと音声データに分離する処理が行われ、その処理により得られた音声データは音声デコード処理系５４に、画像データは画像デコード処理系５６にそれぞれ出力される。

音声デコード処理系５４においては、再生データ分離処理系５３から供給されてきた音声データに対して、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理が行われ、デコード結果に対して音声D/A変換処理系５５においてD/A変換処理が施されることによって得られた音声信号が外部に出力される。

同様に、画像デコード処理系５６においては、再生データ分離処理系５３から供給されてきた画像データに対して、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理が行われ、デコード結果に対して画像D/A変換処理系５７においてD/A変換処理が施されることによって得られた画像信号が外部に出力される。

（７．２．２）ダイジェスト再生モード、チャプターモード
ダイジェスト再生モード時やチャプターモード時、画像音声データと共に、特徴データ、プレイリストデータ、チャプターデータが記録媒体に記録されているかどうかで信号処理方法が異なる。特徴データとプレイリストデータが記録媒体に記録されているかどうかは、図８のように整理することができる。

（７．２．２．１）プレイリストデータ、チャプターデータが記録されている場合
図８（ａ）、（ｂ）の場合に相当し、プレイリストデータ、チャプターデータが記録媒体Ａや記録媒体Ｂに記録されており、それらのデータを用いて、ダイジェスト再生モード時にはダイジェスト再生を、チャプター表示モード時にはチャプター画像のサムネイル表示を、それぞれ行うことができる。

例えば、ユーザ操作に応じて、ユーザ入力I/F系６１からシステムコントローラ系６０にダイジェスト再生モードでの動作を行うことを指示するコマンドが供給された場合、特徴データ、プレイリストデータ、チャプターデータなどが、再生対象の画像音声データとともに記録媒体Ａに記録されているときには、それらのデータが再生データ分離処理系５３により分離され、分離された特徴データ、プレイリストデータ、チャプターデータがシステムコントローラ系６０に入力される。

システムコントローラ系６０においては、再生処理系５２等に対する制御が行われ、プレイリストデータに基づくスキップ再生が行われることでダイジェスト再生が実現される。また、チャプターデータに基づいて、チャプター点、またはその近傍における画像をサムネイル画像として表示処理系６５により表示させる処理が行われ、これにより、サムネイル画像の表示が実現される。

なお、再生データ分離処理系５３で、特徴データ、プレイリストデータ、チャプターデータを分離することができない場合には、それぞれのデータはシステムコントローラ系６０に入力されないので、再生データ分離処理系５３とシステムコントローラ系６０は、特徴データ、プレイリストデータ、チャプターデータなどが、記録媒体Ａに記録されているかどうかの判定機能を有することになる。

（７．２．２．２）プレイリストデータ、チャプターデータが記録されていない場合
図８（ｃ）、（ｄ）の場合に相当し、プレイリストデータ、チャプターデータが記録媒体Ａ、または記録媒体Ｂに記録されておらず、いまの状態では、ダイジェスト再生モード時に記録媒体Ａ，Ｂに記録されている画像音声データのダイジェスト再生処理を行うことができず、また、チャプターモード時に、サムネイル画像の表示やチャプター再生（チャプター画像の位置を基準として所定の時間だけ再生すること）などの一連のチャプター関連処理を行うことができない。

この状態は、放送番組などを受信することによって得られた画像音声データを再生対象とするのではなく、例えば、記録媒体Ｂがパッケージ販売される映画などのDVDソフトであり、それを再生する場合や、その他の、特徴を抽出していない画像音声データを再生する場合などに起こりうる。

プレイリストデータ、またはチャプターデータが生成されておらず、再生することができない場合、プレイリストデータやチャプターデータの生成が行われ、生成されたプレイリストデータやチャプターデータを用いて、上述した、ダイジェスト再生処理やチャプター関連処理が行われる。生成されたプレイリストデータやチャプターデータは、適宜、画像音声データと同じ記録媒体に記録される。

また、再生されたプレイリストデータ、チャプターデータを生成し直したい場合も同様に、再生された特徴データからダイジェスト再生用のプレイリストデータ、およびチャプター関連処理用のチャプターデータが生成される。

（７．２．２．２．１）特徴データが記録されている場合
図８（ｃ）の場合に相当し、画像音声データの記録時に特徴抽出処理だけが行われており（プレイリストデータ、チャプターデータの生成処理は行われておらず）、特徴データを再生することができる場合、再生処理系５２から、または再生データ分離処理系５３から、特徴データがプレイリストデータ（チャプター）生成処理系５９に入力され、プレイリストデータ（チャプターデータ）生成処理系５９において、プレイリストデータ、またはチャプターデータの生成が行われる。

このように、特徴データだけが再生できる場合において、ユーザがダイジェスト再生モードを指示したとき、図１７Ａに示されるような、プレイリストデータやチャプターデータがないことを示すメッセージが表示処理系６５により表示されるようにしてもよい。また、プレイリストデータやチャプターデータが生成されたとき、図１７Ｂに示すようなメッセージが表示処理系６５により表示されるようにしてもよい。

生成されたプレイリストデータはシステムコントローラ系６０に入力され、ユーザ操作による所定のダイジェスト再生時間に応じたプレイリストデータに基づいて、所定の区間をスキップ再生するように再生制御系５８に対する制御がシステムコントローラ系６０により行われ、再生制御系５８により記録媒体Ａからデータが再生される。

また、生成されたチャプターデータはシステムコントローラ系６０に入力され、ユーザ操作による所定のチャプター関連動作モードに応じて、チャプターデータに基づく所定のチャプター点が設定された画像のサムネイル表示、チャプター点のカットや接続などの編集処理、ユーザにより選択されたチャプター点のスキップ再生など、所定のチャプター関連動作を行うように再生制御系５８に対する制御がシステムコントローラ系６０により行われたり、表示処理系６５に対する制御が行われたりする。

例えば、記録媒体Ｂに記録されている画像音声データをダイジェスト再生する場合にも上述したものと同様の処理が行われ、再生制御系５８により記録媒体Ｂからのデータの再生が制御されることによりダイジェスト再生処理が実現される。また、チャプターデータを用いた編集処理（編集操作）、チャプター点間（またはその近傍）のスキップ再生、チャプター点（またはその近傍）のサムネイル画像の表示などのチャプター関連動作を行う場合にも、上述したものと同様の処理が行われ、再生制御系５８により記録媒体Ｂからのデータの再生が制御されることによりそれらのチャプター関連動作が実現される。

（７．２．２．２．２）特徴データが記録されていない場合
図８（ｄ）の場合に相当する。上述した例では特徴データからプレイリストデータ、チャプターデータを生成する場合について説明したが、例えば、他のユーザが記録媒体Ｂに記録させた画像音声データを、記録媒体Ａにコピーしたような場合を考えると、記録媒体Ａからは、その画像音声データの再生はできるが、特徴データを再生することができない場合も想定できる。

このように、記録媒体Ａに放送番組などの画像音声データは記録されているが、特徴データが記録されておらず、再生することができない場合において、ユーザがダイジェスト再生モードまたはチャプター関連動作モードを指示したとき、図１８Ａに示されるような、特徴データがないことを示すメッセージが表示処理系６５により表示されるようにしてもよい。

この状態において、記録媒体Ａに記録されている画像音声データをダイジェスト再生モードで再生する場合、再生処理系５２により再生されたデータは再生データ分離処理系５３に入力され、再生データ分離処理系５３により分離された画像データと音声データは特徴抽出処理系５０に入力される。特徴抽出処理系５０においては、画像の特徴データであるDCTのDC係数、AC係数、動きベクトル（モーションベクトル）などを検出する処理、音声の特徴データである音声パワーを検出する処理などが行われる。

特徴抽出処理系５０においてはさらに、上述したような各種の画像音声特徴データに基づいて、テロップ特徴データ（テロップ区間判定データ）、人物特徴データ、その他の画像特徴データ（画像特徴区間判定データ）、および、話者音声特徴データ（話者音声判定データ）、拍手歓声特徴データ（拍手歓声判定データ）、その他の音声特徴データ（音声特徴区間判定データ）の抽出処理が必要に応じて行われる。

特徴抽出処理系５０により取得された各種の画像特徴データ、および音声特徴データはシステムコントローラ系６０に順次入力される。所定番組、あるいは所定の画像音声区間のすべてを対象として特徴抽出処理系５０により特徴抽出処理が行われたとき、特徴抽出処理が終了したと判定される。

ここで、特徴抽出処理中である場合、システムコントローラ系６０から、そのことを表す信号が表示処理系６５に入力され、表示処理系６５により、例えば、図１８Ｂに示すようなメッセージが表示されるようにしてもよい。同様に、特徴抽出処理が終了した場合、表示処理系６５により、例えば、図１８Ｃに示すようなメッセージが表示されるようにしてもよい。

次に、以上のようにして取得された特徴データから、プレイリストデータ、チャプターデータを生成する処理について説明する。

特徴抽出処理系５０により抽出された特徴データは、例えば、対象とする所定の区間から抽出されたデータ毎にメモリ系５１に一時的に蓄積され、すべての区間を対象とした特徴データの抽出が終了したとき、プレイリストデータ（チャプターデータ）生成処理系５９に入力され、それに基づいて、プレイリストデータまたはチャプターデータの生成が行われる。

ここで、特徴抽出処理系５０から、直接、プレイリストデータ（チャプターデータ）生成処理系５９に、所定の区間から抽出された特徴データが逐次入力されるようにしても良く、上述したように、全ての区間を対象とした特徴データの抽出が終了したときに出力されるシステムコントローラ系６０からの信号により、プレイリストデータ（チャプターデータ）生成処理系５９において、プレイリストデータ、またはチャプターデータの生成が開始されるようにしてもよい。また、特徴抽出処理系５０により抽出された特徴データは、システムコントローラ系６０を介してプレイリストデータ（チャプターデータ）生成処理系５９に入力されるようにしてもよい。

プレイリストデータ（チャプターデータ）生成処理系５９で、プレイリストデータ、またはチャプターデータの生成が終了すると、そのことを示す信号がプレイリストデータ（チャプターデータ）生成処理系５９からシステムコントローラ系６０に入力され、その後、ユーザが要求する時間に応じたダイジェスト再生や、ユーザが要求するチャプター関連動作が行われる。

プレイリストデータ、またはチャプターデータの生成が終了した場合、図１７Ｂに示したような表示が行われたり、生成されたプレイリストデータ、またはチャプターデータに基づいて処理が行われている場合、いまのモードが、ダイジェスト再生モード、チャプター関連動作モードであることを表すメッセージが表示処理系６５により表示されるようにしてもよい。

ユーザがダイジェスト再生を行う場合に、例えば、記録した放送番組が１時間であったとし、それを３０分で要約して再生したいのか、２０分で要約して再生したいのかなど、ユーザの所望するダイジェスト再生時間は分からないので、記録した放送番組などの画像音声データの特徴抽出した全区間の全時間長に応じて、あらかじめ、何種類かの要約時間に対応するプレイリストデータを生成しておくようにすることもできる。

具体的には、放送番組の記録時間が１時間であったら、４０分、３０分、２０分のダイジェスト再生を行うときに用いられる、それぞれのプレイリストデータが生成される。このように、複数種類のプレイリストデータが生成されるようにすることにより、リモコン６２（リモートコントローラ６２）などに対するユーザ入力により時間が選択された場合に、すぐに、その選択された時間に対応したダイジェスト再生動作を行うことが可能になる。

記録媒体Ｂに記録されている画像音声データを再生する場合、記録媒体処理系６４により記録媒体Ｂが検出され、検出された記録媒体Ｂに記録されている画像音声データの再生が再生処理系５２により行われる。再生データ分離処理系５３においては、再生処理系５２により再生されたデータから、画像データと音声データを分離する処理が行われる。その後の処理は、上述したような、記録媒体Ａに記録されている画像音声データを再生する場合と同様であり、その詳細な説明は省略する。

（８）他の全体構成例
図１９は、記録再生装置の他の構成例を示すブロック図である。図１６と同じ部分には同じ符号を付してある。重複する説明については適宜省略する。

（８．１）記録側構成
図１９の記録再生装置は、データ記録時の特徴データの抽出処理、およびプレイリストデータ、チャプターデータの生成処理が、システムコントローラ系６０によりソフトウェア的に行われる点が図１６の記録再生装置と異なる。

また、この図１９の記録再生装置では、インターネットなどよりなるネットワーク系７２を介してダウンロードされたソフトウェアがシステムコントローラ系６０により実行され、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理が適宜行われる。

ソフトウェアをダウンロードすることができるようにすることにより、例えば、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理を実現する機能が搭載されていない装置がはじめにあった場合に、時間をおいて、後から、そのような機能を追加することができるという利点がある。これにより、設計、製造の側では、製造販売などの時間的な問題から、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理を実現する機能を搭載させることが間に合わない場合などには、そのような機能を搭載しない簡単な構成のシステム（記録再生装置）を提供した後で、それらの機能を追加してユーザに提供することができる。

一方、ユーザ側では、そのような機能を搭載しない簡単な構成のシステムを購入した後で、ソフトウェア的な処理で機能を追加することができる。また、各処理系を修正、改良する場合などにも、ソフトウェアをダウンロードすることによって（アップグレードすることによって）、それに対応することができる。

このようなソフトウェアのダウンロードを行う場合、ユーザは、リモコン６２などを操作してインターネット上のサイトにネットワーク系７２を介して接続し、それを行う。ダウンロードされたソフトウェアは、システムコントローラ系６０により解凍処理されることによって取得され、それがインストールされることにより機能の追加が実現される。

システムコントローラ系６０を構成する所定の性能を備えたマイクロプロセッサ（MPU、またはCPU）を用い、それにソフトウェアを実行させることで、上述したような所定の特徴抽出処理などを、画像音声データの記録処理と同時に行わせるようにすることができる。また、メモリ系５１として、このシステムコントローラ系６０を構成する、内蔵のデータ記憶メモリが用いられるようにしてもよい。

なお、記録処理として所定の方式の帯域圧縮を行う場合、所定の性能を備えたMPU、CPU、またはDSP(Digital Signal Processor)によりそれを行わせることも考えられ、この帯域圧縮処理を行うものと同じMPU、CPU、またはDSPにより、特徴抽出処理、プレイリストデータ、チャプターデータの生成処理なども行わせるようにしてもよい。

（８．２）再生側構成
上述した、図１６の場合と同様であるため、再生側の構成により行われる処理の詳細については省略する。図１６の構成例と異なるのは、再生モード時に特徴データを検出することができず、特徴抽出処理を行う必要がある場合に、その一連の特徴抽出処理を、システムコントローラ系６０においてソフトウェア的に行うことである。

例えば、記録時の処理と同様に、再生時の処理をも、システムコントローラ系６０を構成するMPU、CPUなどにソフトウェア的に行わせることにより、再生時の特徴抽出処理や、プレイリストデータ、チャプターデータの生成処理を、再生処理と同時に行わせることができる。

（９）特徴抽出処理
次に、音声系特徴抽出処理、および画像系特徴抽出処理の詳細について説明する。
（９．１）音声系特徴抽出処理
（９．１．１）無音特徴抽出処理
図２０は、音声系の特徴抽出を行う構成の例を示すブロック図である。

図２０において、MPEG方式で圧縮された画像音声データ（ストリームデータ）がストリーム分離系１００に入力され、ストリーム分離系１００により分離された音声データは音声データデコード系１０１に入力されて、所定のデコード処理が行われる。

デコードされた音声データ（音声信号）はレベル処理系１０２、データカウンタ系１０３、データバッファ系１０４に各々入力される。レベル処理系１０２では、音声データの所定区間の平均パワー（または平均レベル）Ｐ_avを演算するため、データの絶対値化処理が行われ、データカウンタ系１０３で、所定のサンプル数のデータが計測されるまで、音声データ積算処理系１０５で積算処理が行われる。

ここで、Ｐ_avは、音声データの値（レベル）をＡｄ（ｎ）（ｎは平均を求める区間の位置を表す）として下式（１）により求められる。

平均レベルを演算する所定区間として、例えば、約０．０１sec（１０ｍsec）〜１secが考えられ、サンプリング周波数Ｆ_sをＦ_s＝４８ＫＨｚとすると、４８０〜４８０００サンプルの積算演算が行われ、サンプル数Ｓ_mで平均処理が行われて平均レベル（平均パワー）Ｐ_avが求められる。

音声データ積算処理系１０５から出力された平均レベルＰ_avは、判定処理系１０６に入力され、しきい値設定系１０７により設定されたしきい値Ａｔｈと比較処理されて、その平均レベルＰ_avが求められた区間が、無音区間であるか否かの判定処理が行われる。

ここで、しきい値設定系１０７によるしきい値Ａｔｈの設定において、Ａｔｈは固定値Ａｔｈ０として設定することが考えられるが、固定値Ａｔｈ０の他に、音声区間の平均レベルに応じた、変動しきい値Ａｔｈｍを設定することも考えられる。

変動しきい値Ａｔｈｍとしては、例えば、処理を考えている区間をｎとし、それより前の区間(n-ｋ)の平均レベルＰ_av(n-ｋ)を考え、下式（２）により表される値を用いることが考えられる。

例えば、ｔ＝２とすると、変動しきい値Ａｔｈｍは下式（３）で表され、

ｍは、おおよそ、２０〜２くらいの範囲から設定することが考えられる。

（９．１．２）その他の音声特徴抽出処理
データバッファ系１０４に蓄積された音声データは周波数解析処理系１０８に入力され、周波数解析処理系１０８により所定の周波数解析処理が行われる。

ここで、周波数解析処理としてFFT（高速フーリエ変換）などが考えられ、データバッファ系１０４からのデータの解析サンプルデータ数は、例えば、５１２，１０２４，２０４８、その他、など２のべき乗の所定のサンプル数とされる。

周波数解析処理系１０８による解析結果を表すデータは判定処理系１０９に入力され、判定処理系１０９により所定の判定処理が行われる。

判別対象としている区間が音楽（楽音）の区間であるか否かは、例えば、所定の周波数帯域のスペクトルピークの継続性に基づいて判別することができる。この判別については、例えば、特開２００２−１１６７８４号公報に開示されている。

判別対象としている区間が話者音声の区間であるか否かは、人の会話音声波形には息継ぎの区間があるので、波形に急峻な対上がり、または立下り区間が見られ、その立ち上がり、または立下り区間を検出することで判別することができる。この場合、音楽信号波形には、話者音声の信号波形に比べて、一般的に、波形の立ち上がり、または立下り区間が現れる確率は小さいと考えられるので、この楽音波形の特性（特徴）も考慮して、総合的に、音声信号の属性判定が行われるようにしてもよい。

また、話者音声信号の波形特徴（波形特性）、音楽信号の波形特徴の相違から音声信号の属性判定を行う場合、波形における時間的な物理特性を検出することになるので、上述したような周波数解析を行ってから、判定処理を行う方法（周波数領域での信号解析、判定処理）の他に、ベースバンド領域で判定処理を行う方法（時間領域での信号解析、判定処理）も考えられる。

図２１は、音声信号（音声データ）にデコード処理を施すことなく、圧縮されたままで、信号の属性解析を行う場合の構成例を示す図である。図２０と同じ部分には同じ符号を付してある。

MPEG方式で圧縮された画像音声データがストリーム分離系１００に入力され、画像音声データが、ストリーム分離系１００により画像データと音声データに分離される。分離された音声データはストリームデータ解析系１１０に入力され、所定のサンプリング周波数、量子化ビット数での信号解析処理が行われ、得られた音声データがサブバンド解析処理系１１１に入力される。

サブバンド解析処理系１１１においてはサブバンド解析処理が行われ、所定のサブバンド帯域のデータに対して上式（１）乃至（３）で表されるものと同様の所定信号処理が行われる。

すなわち、サブバンド解析処理系１１１によるサブバンド解析処理の結果は、音声データ積算処理系１０５に入力され、データカウンタ系１０３で所定のサンプリング数のデータが検出されるまで、所定の積算処理が音声データ積算処理系１０５により行われる。また、その後、しきい値設定系１０７により設定される所定のしきい値に基づいて、いまの判別対象としている区間が無音区間であるか否かを判定する処理が判定処理系１０６により行われる。

ここでの無音判定処理では、音声データのスペクトルを考慮してエネルギーが多く集まっている帯域である、おおよそ３ＫＨｚ以下のサブバンド帯域のデータを用いることが考えられる。

また、周波数解析により楽音、話者音声の判定処理を行うことについて述べたが、図２１の構成によれば、サブバンド解析系１１１により周波数解析が行われたものと考えられるので、上述したような所定スペクトルピークの継続性判定処理により属性判定が行われるようにしてもよい。この場合、スペクトルピークは、各サブバンド帯域の中の最大データ帯域と考えることができ、FFT解析処理の場合と同様の信号処理を行うことができるものと考えられる。

（９．２）画像系特徴処理
次に、画像系特徴抽出処理について説明する。図２２は、画像系の特徴抽出を行う構成の例を示すブロック図である。

図２２において、例えば、ストリーム分離系（図示せず）で所定の分離処理が行われることによって得られた画像データは、ストリームデータ解析系２００に入力され、レート検出、画素数検出などの所定のデータ解析が行われ、その解析結果がDCT係数処理系２０１に出力される。

DCT係数処理系２０１においては、DCTのDC係数検出、AC係数検出などの所定のDCT演算処理（逆DCT演算処理）が行われ、その処理結果に基づいて、後段の各処理系により画像特徴抽出処理が行われる。

（９．２．１）シーンチェンジ特徴
シーンチェンジ検出処理系２０２では、例えば、１フレームの画像が所定の数の領域に分割され、その領域毎に、DCTのDC係数データのＹ（輝度データ），Ｃｂ，Ｃｒ（色差データ）の平均値が演算される。また、その演算された平均値に基づいて、フレーム間差分演算、またはフィールド間差分演算が行われ、所定しきい値と比較されることによってシーンチェンジの検出が行われる。

シーンチェンジがない場合は各領域のフレーム間（またはフィールド）差分データは所定のしきい値より小さく、シーンチェンジがある場合はそのしきい値より差分データが大きくなることから、それに基づいてシーンチェンジを検出することができる。

ここで、１フレームの分割数は、例えば、図２３に示すように３６分割とすることができる。フレームの領域分割の方法は、図２３に示すものに限らず、分割数を多くすることも少なくすることも考えられるが、少なすぎるとシーンチェンジの検出精度が鈍感になり、多すぎると精度が鋭くなりすぎることが考えられるので、およそ４〜４００くらいの範囲で、適当な分割数を設定することが考えられる。

（９．２．２）色特徴
DCTのDC係数の所定領域におけるＹ，Ｃｂ，Ｃｒデータの平均値から、色特徴検出処理系２０３において色特徴を検出することができる。所定領域としては、例えば、図２４に示すような領域を考えることができる。

例えば、放送番組のジャンルが「相撲」である場合、図２４の領域から茶色が含まれる領域を検出することができた場合、そのシーンは「土俵のシーン」の確率が高いと想定できる。

このような色特徴と、例えば、音声の歓声特徴とを組み合わせると、「土俵のシーン」＋「歓声のシーン」から、いま注目しているシーンが、「取組みが開始するシーン」の確率が高いと想定できるので、このようなシーン区間が、キーフレーム区間と設定される。

（９．２．３）類似シーン特徴
これは、類似している画像（シーン）を検出し、類似するシーンに同じIDを割り振る（付与する、または付加する）類似画像検出処理系２０４による処理であり、その詳細は、例えば、特開２００２−３４４８７２号公報に開示されている。

この処理においては、例えば、１フレームが複数の領域（例えば、２５の領域）に分割され、その分割された各領域のDCTの平均DC係数が求められる。また、その求められた平均DC係数をベクトル成分として、各シーン間のベクトル距離が、所定のしきい値より小さい場合、それらのシーンは類似するシーンとして判定され、類似シーンとして判定されたシーンに同じIDが割り当てられる。

割り当てられるIDの初期値は例えば１とされ、上述した所定のしきい値よりベクトル距離が小さいシーンが検出されない場合は、IDの最大値に１を加算したものが新たなIDとされ、そのシーンに割り当てられる。

（９．２．４）テロップ特徴
テロップ検出判定処理系２０６においては、例えば、図２４に示すような各領域におけるDCTのAC係数の平均値が求められる。所定の大きさ以上の文字情報を含むテロップは、比較的、輪郭がはっきりしており、図２４に示す何れかの領域にテロップが現れた場合には、所定のしきい値以上のAC係数を検出することができ、これにより、テロップの検出が行われる。

このように、DCTのAC係数を検出する方法の他に、ベースバンド領域（時間領域の信号）でエッジを検出する方法も考えられ、例えば、画像の輝度データのフレーム間差分によりエッジを検出することも考えられる。また、ウェーブレット変換により、多重解像度解析を行い、所定の高周波成分データを含む所定の多重解析度領域におけるデータを用いて、領域の平均値を演算するようにして、上記AC係数を用いる場合と同様の処理を行うことも考えられる。

その他、図２２において、特定色判定処理系２０５により特定色（例えば肌色）の検出が行われ、顔が検出されることにより、人物の検出を行うことも考えられる。

以上のようにして図２０乃至図２２の各系により得られた特徴データは外部（例えば、図１６のプレイリストデータ（チャプターデータ）生成処理系５９）に供給され、プレイリストデータ、チャプターデータの生成に用いられる。

（１０）大容量記録媒体と他の記録媒体を併用可能な場合の実施例
この実施例は、図１６または図１９に示す記録再生装置において、「大容量記録媒体」に相当する記録媒体Ａから、「他の記録媒体」に相当する記録媒体Ｂへのデータのコピー記録処理、編集記録処理などの動作モードに相当する。

ここで、記録媒体Ｂは、例えば、上述したように、複数の記録方式に対応し、それぞれの記録方式のデータの記録先となる複数の記録層を備えるものであり、記録再生装置に対して着脱可能な光ディスクである。このように、HDD（記録媒体Ａ）などの、記録容量の大きい記録媒体に記録されている画像音声データなどを記録再生装置に対して着脱可能な、HDDよりも記録容量の小さい光ディスク（記録媒体Ｂ）の記録方式または記録レートに応じた所定の記録層にそのままコピーさせたり（コピー記録処理）、編集したものを記録させたりする（編集記録処理）ことがユーザの使用方法として考えられる。

このようなコピー記録処理、編集記録処理などは、例えば、記録再生装置の動作モードに基づいて自動的に、または、ユーザの手動操作に応じて行われる。

ここで、図１６または図１９の記録媒体Ａには、記録方式１（通常DVD方式）、記録方式２（BDまたはHD-DVD方式）の２方式の画像音声データ、および、その画像音声データから得られた特徴データ、特殊再生用データ（プレイリストデータ、チャプターデータ）が記録されているものとする。

以下、コピー記録処理（コピー動作モード）について説明する。例えば、ユーザの操作に従って記録再生装置のモードがコピー動作モードになったとき、はじめに、記録再生装置に装着されている、データのコピー先となる記録媒体Ｂに記録可能な記録方式の判定が行われる。

（１０．１）記録可能な記録方式の判定方法
記録再生装置においては、記録方式１、記録方式２での記録媒体Ｂに対するデータの記録は図３に示すような信号処理系によって行われる。また、記録方式１、記録方式２で記録媒体Ｂに記録されているデータの再生は図５に示すような信号処理系によって行われる。すなわち、図３の信号処理系は、図１６または図１９の記録再生装置における記録側の信号処理系に対応し、図５の信号処理系は、図１６または図１９の記録再生装置における再生側の信号処理系に対応する。

記録媒体Ｂがどの記録方式に対応したものであるかの確認は、例えば、記録方式１、記録方式２のテスト用データを記録媒体Ｂの対応する層にそれぞれ記録し、その後、再生モードで、直前に記録させたテスト用データを正常に再生することができるか否かを判定することにより行われる。

また、このとき行われる、テスト用データを正常に再生することができるか否かの判定は、エラーレートが検出されることによって、または、再生信号処理系として設けられる、図示せぬ誤り訂正信号処理系によりECCフラグ（(Error-Correcting Code)フラグ）などが検出されることによって自動的に行われる。具体的には、図１６または図１９の再生処理系５２からシステムコントローラ系６０にECCフラグ信号が入力され、システムコントローラ系６０において所定時間内に計測されたフラグ数が、所定のしきい値と比較されることによって自動的に判定される。

記録媒体Ｂに物理的な識別IDが設定されている場合、その識別IDが検出され、識別IDに基づいて、記録媒体Ｂが、どの記録方式に対応した記録媒体であるのかが確認されるようにしてもよい。この場合、記録再生装置には、例えば、識別IDと、記録方式の対応テーブルが用意される。

（１０．２）記録方法
図２５は、記録媒体Ａのデータの記録状況と、記録媒体Ｂに記録することが可能な記録方式の組合せの例を示す図である。データのコピー記録処理、編集記録処理などの記録動作は、この図の組合せに従って行われる。

図２５（１）は、記録媒体Ａには記録方式１と記録方式２のデータが記録されており、記録媒体Ｂは、記録方式１と記録方式２の双方の記録方式に対応したものである場合の組合せを示す。また、図２５（２）は、記録媒体Ａには記録方式１と記録方式２のデータが記録されており、記録媒体Ｂは、記録方式１だけに対応したものである場合の組合せを示す。さらに、図２５（３）は、記録媒体Ａには記録方式１と記録方式２のデータが記録されており、記録媒体Ｂは、記録方式２だけに対応したものである場合の組合せを示す。

同様に、図２５（４）は、記録媒体Ａには記録方式１のデータのみが記録されており、記録媒体Ｂは、記録方式１と記録方式２の双方の記録方式に対応したものである場合の組合せを示す。また、図２５（５）は、記録媒体Ａには記録方式１のデータのみが記録されており、記録媒体Ｂは、記録方式１だけに対応したものである場合の組合せを示す。さらに、図２５（６）は、記録媒体Ａには記録方式１のデータのみが記録されており、記録媒体Ｂは、記録方式２に対応したものである場合の組合せを示す。

図２５（７）は、記録媒体Ａには記録方式２のデータのみが記録されており、記録媒体Ｂは、記録方式１と記録方式２の双方の記録方式に対応したものである場合の組合せを示す。また、図２５（８）は、記録媒体Ａには記録方式２のデータのみが記録されており、記録媒体Ｂは、記録方式１だけに対応したものである場合の組合せを示す。さらに、図２５（９）は、記録媒体Ａには記録方式２のデータのみが記録されており、記録媒体Ｂは、記録方式２だけに対応したものである場合の組合せを示す。

なお、以上においては、記録媒体Ａから記録媒体Ｂにデータをコピーさせる処理について説明したが、逆の処理、すなわち、記録媒体Ｂから記録媒体Ａにデータをコピーさせる処理も、記録再生装置においては同様にして行われる。また、記録媒体Ｂは、記録再生装置に設けられるトレイに着脱可能なディスク状の記録媒体であるものとして説明したが、それに限らず、記録媒体Ａに記録されているデータを、所定のケーブルなどを介して記録再生装置に接続された、USB(Universal Serial Bus)接続の記録媒体、IEEE(Institute of Electrical and Electronics Engineers)1394接続の記録媒体などの外部記録媒体に記録させる場合や、反対に、その外部記録媒体から記録媒体Ａにデータを記録させる場合も同様である。

次に、図２５に示す各組合せの状態のときの動作について詳細に説明する。

（１０．２．１）記録媒体Ａに記録方式１と記録方式２の双方のデータが記録されている場合
図２５（１）の場合：
これは、記録媒体Ｂが記録方式１、記録方式２の双方の記録方式に対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１、記録方式２の双方の記録方式で記録媒体Ｂに記録させる場合の組合せである。

例えば、上述したようにして、記録媒体Ｂに記録可能な記録方式が自動的に判定された後、記録媒体Ａから、記録方式１のデータと較べて伝送レートが高い記録方式２の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

同様に、記録方式１の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

なお、このような記録の際、特徴データ、特殊再生用データなども記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録される。

図２５（２）の場合：
これは、記録媒体Ｂが記録方式１（通常DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１で記録媒体Ｂに記録させる場合の組合せである。

記録方式１の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

なお、この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（２）の場合は、記録方式１層のみに、または、他の所定記録領域に、それらのデータは記録される。

図２５（３）の場合：
これは、記録媒体Ｂが記録方式２（BD方式またはHD-DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式２で記録媒体Ｂに記録させる場合の組合せである。

記録媒体Ａから、記録方式１のデータと較べて伝送レートが高い記録方式２の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

なお、この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（３）の場合は、記録方式２層のみに、または、他の所定記録領域に、それらのデータは記録される。

（１０．２．２）記録媒体Ａに記録方式１のデータのみが記録されている場合
図２５（４）の場合：
これは、記録媒体Ｂが記録方式１、記録方式２の双方の記録方式に対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１、記録方式２の双方の記録方式で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式１（通常DVD方式）の画像音声データのみが記録されていて、伝送レートの高い記録方式２の画像音声データがないことから、記録方式１の画像音声データにアップコンバート処理を施すことによって、記録方式２の画像音声データを生成する処理が行われる。これは、図２６に示すようなMPEG方式における、MP＠MLからMP＠HLへの変換処理と考えられる。

図２６に示すプロファイル、レベル、画サイズ比（アスペクト比）などのMPEGの属性は、画像音声データ中に配置される所定のビットデータを検出することで確認することができる。図１６または図１９の記録再生装置においては、再生処理系５２、音声デコード処理系５４、または画像デコード処理系５６からの信号により、システムコントローラ系６０によって確認される。

記録方式１の画像音声データが再生処理系５２により再生され、再生された画像音声データが記録処理系４６に入力される。記録処理系４６においては、アップコンバート処理が行われ、そのアップコンバート処理によって得られた記録方式２の画像音声データの記録が、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層を記録先として行われる。

アップコンバート処理は、再生信号である記録方式１の画像音声データをデコードし、記録方式２で再エンコードする方法が考えられるが、帯域圧縮されている記録方式１の画像音声データをベースバンド帯域まですべてデコードしないで、所定の伝送レート変換、必要に応じて、画サイズ変換（４対３から１６対９への変換）、その他の変換処理など、他の方法で行うようにすることも考えられる。

なお、記録方式１の画像音声データを単なるデータと考え、例えばMP＠MLのままで記録媒体Ｂの記録方式２層に記録する場合、以上のようなアップコンバート処理、画サイズ変換処理などは行わず、読み出されたデータが、そのまま記録されるようにしてもよい。

一方、記録方式１の画像音声データの記録については、その画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録される。

図２５（５）の場合：
これは、記録媒体Ｂが記録方式１（通常DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１で記録媒体Ｂに記録させる場合の組合せである。

記録方式１の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層に記録される。

なお、この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（５）の場合は、記録方式１層のみに、または、他の所定記録領域に、それらのデータは記録される。

図２５（６）の場合：
これは、記録媒体Ｂが記録方式２（BD方式またはHD-DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式２で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式１（通常DVD方式）の画像音声データのみが記録されていて、伝送レートの高い記録方式２の画像音声データがないことから、記録方式１の画像音声データにアップコンバート処理を施すことによって、記録方式２の画像音声データを生成する処理が行われる。すなわち、上述した、「図２５（４）の場合」と同様の処理が行われる。

なお、この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（６）の場合は、記録方式２層のみに、または、他の所定記録領域に、それらのデータは記録される。

（１０．２．３）記録媒体Ａに記録方式２のデータのみが記録されている場合
図２５（７）の場合：
これは、記録媒体Ｂが記録方式１、記録方式２の双方の記録方式に対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１、記録方式２の双方の記録方式で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式２（BD方式またはHD-DVD方式）の画像音声データのみが記録されていて、伝送レートの低い記録方式１の画像音声データがないことから、記録方式２の画像音声データにダウンコンバート処理を施すことによって、記録方式１の画像音声データを生成する処理が行われる。

記録方式２の画像音声データが再生処理系５２により再生され、再生された画像音声データが記録処理系４６に入力される。記録処理系４６においては、ダウンコンバート処理が行われ、そのダウンコンバート処理によって得られた記録方式１の画像音声データの記録が、記録媒体処理系６４を介して、記録媒体Ｂの記録方式１層を記録先として行われる。

ダウンコンバート処理は、再生信号である記録方式２の画像音声データをデコードし、記録方式１で再エンコードする方法が考えられるが、帯域圧縮されている記録方式２の画像音声データをベースバンド帯域まですべてデコードしないで、所定の伝送レート変換、必要に応じて、画サイズ変換（１６対９から４対３への変換）、その他の変換処理など、他の方法で行うようにすることも考えられる。

なお、記録媒体Ａに記録されている記録方式２の画像音声データが、図２６に示すMPEGのMP＠MLのデータである場合には、以上のようなダウンコンバート処理、画サイズ変換処理などは行わず、読み出されたデータが、そのまま記録されるようにしてもよい。

一方、記録方式２の画像音声データの記録については、その画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

この記録モードの際も、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録される。

図２５（８）の場合：
これは、記録媒体Ｂが記録方式１（通常DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式１で記録媒体Ｂに記録させる場合の組合せである。

この場合、記録媒体Ａには記録方式２（BD方式またはHD-DVD方式）の画像音声データのみが記録されていて、伝送レートの低い記録方式１の画像音声データがないことから、記録方式２の画像音声データにダウンコンバート処理を施すことによって、記録方式１の画像音声データを生成する処理が行われる。すなわち、上述した、「図２５（７）の場合」と同様の処理が行われる。

この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（８）の場合は、記録方式１層のみに、または、他の所定記録領域に、それらのデータは記録される。

図２５（９）の場合：
これは、記録媒体Ｂが記録方式２（BD方式またはHD-DVD方式）のみに対応したものであることがシステムコントローラ系６０により判定され、記録媒体Ａに記録されている画像音声データを、記録方式２で記録媒体Ｂに記録させる場合の組合せである。

記録媒体Ａから、記録方式１のデータと較べて伝送レートが高い記録方式２の画像音声データが再生処理系５２により再生され、記録処理系４６において所定の記録処理が施された後、記録媒体処理系６４を介して、記録媒体Ｂの記録方式２層に記録される。

なお、この記録モードの際、特徴データ、特殊再生用データなどが記録媒体Ａから読み出され、図７、図１０を参照して説明したような所定の記録層、記録領域に記録されるが、例えば、この図２５（９）の場合は、記録方式２層のみに、または、他の所定記録領域に、それらのデータは記録される。

（１１）記録方式１の複数の画像音声データを、記録方式２で記録する場合の実施例
記録レート（伝送レート）が低い記録方式の複数の画像音声データを、それよりも記録レートの高い記録方式の画像音声データとして記録し直すことがある。

記録媒体Ｂの記録層のうち、BD方式またはHD-DVD方式に対応する記録方式２層の記録容量は、通常DVD方式に対応する記録方式１層の記録容量に比べて大きいことから、例えば、記録方式１の複数の画像音声データを、記録方式２で記録することは、複数枚に分かれて記録されている通常DVD方式の画像音声データをBD方式またはHD-DVD方式の画像音声データとして１枚の記録媒体Ｂの記録方式２層に記録させる場合などに行われる。

ここで、BD方式の記録媒体の記録容量と、通常DVD方式の記録媒体の記録容量について考える。

BD方式のディスクは片面２７GB、通常DVD方式のディスクは４．７GBなので、
２７／４．７＝５．７
から、少なくとも５枚の通常DVD方式のディスクに記録されているデータを、１枚のBD方式のディスクに記録させることができることになる。

図２７Ａ，Ｂは、通常DVD方式の記録媒体とBD方式の記録媒体の記録容量について示す図である。図２７Ａの例においては、通常DVD方式のディスクの記録容量は記録容量１で表されている。

図２７Ｂ（１）に示すように、通常DVD方式のディスク１乃至５の合計の記録容量は、BD方式のディスク１枚の記録容量２より少ない。

このような、複数の記録媒体に記録されている複数の画像音声データを、１つの記録媒体にコピー記録させるような動作は、ユーザによる所定の操作に応じて記録再生装置により行われる。

（１１．１）動作モード設定順序、動作順序
このような動作を行わせる場合、はじめに、ユーザによりリモコン６２などが操作され、動作モードの選択、設定が行われる。

次に、通常DVD方式のディスク何枚分のデータを、BD方式のディスク１枚にコピー記録するかの選択がリモコン６２などから入力される。入力された情報は、ユーザ入力I/F系６１を介してシステムコントローラ系６０に入力される。

このような操作がユーザにより行われた場合において、ユーザにより入力された所定の枚数分の通常DVD方式のディスクに記録されているデータが、１枚のBD方式のディスクに収まらないとき、例えば、システムコントローラ系６０による制御に従って、表示処理系６５により所定の警告表示が行われたり、音声出力系６６により所定の警告音声が出力されるようにしてもよい。警告音声としては、例えば、ピー音、または、システムコントローラ系６０内のROMなどに記憶されている音声データに基づく「１枚では記録できません」などの合成音声が出力される。

図２７Ｂ（２）は、このように、ユーザにより入力された枚数分の通常DVD方式のディスクに記録されているデータを、１枚のBD方式のディスクに記録させることができない場合の概念図である。

図２７Ｂ（２）の例においては、データの記録元となるBD方式のディスクには、容量ａのデータが既に記録されているため、通常DVD方式のディスク１〜３までのデータしか、BD方式のディスクに追加的に記録することができない。

このように、記録しようとするデータの全てを１枚のBD方式のディスクに記録させることができない場合、例えば、２枚のBD方式のディスクがあれば全てのデータを記録することができるときには、システムコントローラ系６０内のメモリから音声データが読み出され、音声出力系６６により「２枚で記録できます」などのような音声情報が出力されるようにしてもよいし、表示処理系６５により所定のメッセージが表示されるようにしてもよい。

以上のような通常DVD方式のディスクに記録されているデータをBD方式のディスクに記録させる処理の過程で、例えば、４対３から１６対９への画サイズの変換、再エンコード処理などの所定の信号処理を行う場合、その処理には、図２５（４），（６）の組合せのときのような信号処理を適用することもできる。また、通常DVD方式のディスクに記録されている特徴データ、特殊再生用データを記録させる処理には、図７、図１０を参照して説明した処理を適用することができる。

（１２）記録容量が不足する場合の実施例
（１２．１）２記録方式対応ディスクの場合
例えば、記録方式２で、MP＠HLなどの伝送レートが比較的高いデータを記録媒体Ｂに記録させている最中に、その記録媒体Ｂの記録方式２に対応した記録方式２層の記録容量が不足し、記録対象としている画像音声データの全てを記録することができない場合がある。このことは、例えば、EPG(Electronic Program Guide)などを用いてタイマー記録が設定されており、それに従って記録している番組（例えば、スポーツ番組）の放送が予定の時刻に終了せず、放送時間の延長に伴って記録時間を延長させる場合などに起こりうる。

上述したように、図１６または図１９の記録媒体Ｂが記録方式１（通常DVD方式）と記録方式２（BD方式またはHD-DVD方式）に対応していると仮定し、伝送レートが高い記録方式２でのデータの記録中に記録方式２層の記録容量が不足することが検出された場合、図２８Ａの記録途中のｐ点（時刻１）で、記録方式が記録方式２から記録方式１に切り換えられ、それ以降、対象としていた番組の記録が終了する時刻２までの間、記録方式１でのデータの記録が行われる。

なお、図２８Ｂは、記録方式を記録方式１から記録方式２に切り換える場合の例を示しており、記録途中のｐ点（時刻１）で、記録方式が記録方式１から記録方式２に切り換えられ、それ以降、対象としていた番組の記録が終了する時刻２までの間、記録方式２でのデータの記録が行われる。

このようにして記録方式を切り換える場合、データの記録先は、図３を参照して説明したように、切り換えた記録方式に対応した記録層とされる。また、特徴データ、特殊再生用データも記録先も、記録方式の切り換えに伴って必要に応じて変更される。

また、例えば、特殊再生用データを生成する元になる特徴データを抽出する処理が、記録方式２の画像音声データを用いて行われている場合、その特徴抽出処理も、記録方式１の画像音声データを用いた処理に切り換えられる。

さらに、特徴抽出処理が、所定の帯域圧縮処理を行う前の、画像音声データのベースバンド領域で行われている場合、記録方式の切り換えが行われたとしても特徴抽出処理の出力はそのまま用いられ、図７または図１０を参照して説明したような領域（位置）への特徴データの記録先の切り換えが行われる。図１０を参照して説明した、記録方式１に対応した記録方式１層、記録方式２に対応した記録方式２層の記録領域以外のその他の領域が、特徴データや特殊再生用データの記録先である場合、記録方式の切り換えが行われたとしても、特徴データ、特殊再生用データの記録は、そのまま、その他の領域を記録先として行われる。

（１２．２）記録レートの切り換え
ここでは、記録容量の不足が検出された場合の処理として、記録レートの切り換えを行う場合について説明する。

このような記録レートの切り換えは、例えば、図２９に示すように、記録媒体Ｂの残りの記録容量に応じて行われる。ここで、記録方式１は通常画質の記録モードであり、記録方式２は高画質の記録モードである。通常画質の記録モードでは通常の記録レートで記録が行われ、高画質の記録モードでは通常の記録レートよりも高い記録レートで記録が行われる。

図２９（ａ）に示すように、記録方式２で記録を続けたとしても記録媒体Ｂの記録容量が足りる場合、記録終了まで記録方式２での記録が続けられ、一方、図２９（ｂ）に示すように、記録方式２で記録を続けたときには記録媒体Ｂの記録容量が足りなくなる場合、所定の位置である点ｐで、記録方式が記録方式２から記録方式１に切り換えられ、それ以降、記録終了まで記録方式１での記録が行われる。

図３０は、記録時間と記録容量の特性の例を記録方式（記録レート）毎に示す図である。

点ａから点ｃまでの特性は、記録方式２（高記録レート）で記録を行った場合の特性を示し、この記録方式２での記録を続けた場合、記録するデータの量は、時刻ｔ２で記録媒体Ｂの最大記録容量Ｄ（記録容量制限値）に到達する。

点ａから点ｅまでの特性は、記録方式１（通常記録レート）で記録を行った場合の特性を示し、この記録方式１で記録を続けた場合、記録するデータの量は、時刻ｔ４で記録媒体Ｂの最大記録容量Ｄに到達する。

図３０に示されるように、記録容量に制限がある場合には、高画質記録モード（記録方式２）で記録を行ったときの記録許容時間は、通常画質記録モード（記録方式１）で記録を行ったときの記録許容時間よりも短い。

そこで、記録方式２の記録モードで記録を行っていて、図３０に示すように、データ量が最大記録容量Ｄに到達する時刻ｔ２よりも前の時刻である時刻ｔ１の時点で記録モードを記録方式１に切り換えることにより、記録モードを変えない場合には時刻ｔ２までしか記録することができないところを、時刻ｔ３まで記録することが可能になる。すなわち、記録時間を伸ばすことができる。

この場合、特徴抽出処理をMPEGなどの帯域圧縮処理が施されたデータを用いて行うときには、時刻ｔ１までは、記録方式２で記録する過程で得られたデータを用いてそれが行われ、記録方式が切り換えられた時刻ｔ１以降は、記録方式１で記録する過程で得られたデータを用いて行われる。

このように、特徴抽出処理に用いるデータを、記録モード、記録方式に応じて切り換えることにより、整合性が確保された特徴データの検出、特殊再生用データの生成が可能になる。

（１３）動作フローチャート
次に、図３１および図３２のフローチャートを参照して、記録再生装置による記録処理について説明する。

ここでは、記録媒体Ｂが複数方式のデータの記録に対応し、かつ、記録対象の画像音声データが図３に示すように１つであるものとする。

ステップＳ１において、対象の画像音声データを、単一の記録方式で記録するか否かが判定され、単一の記録方式で記録すると判定された場合、ステップＳ２に進む。

すなわち、記録媒体Ｂが、記録方式１、記録方式２の２つの方式での記録に対応しているか否かが判定され、２つの方式に対応していると判定された場合、さらに、それぞれの記録方式に対応する記録層に記録するか、どちらか１つの記録方式に対応する記録層に記録するのかが判定される。記録媒体Ｂがどの方式のデータの記録に対応しているか否かは、上述したように、例えば、記録方式１、記録方式２のテスト用データを記録し、エラーレートの検出結果に基づいて判定される。

ステップＳ２において、対象の画像音声データを、記録方式１で記録するのか、記録方式２で記録するのかが判定される。この判定は、例えば、ユーザによる選択操作に基づいて行われたり、入力された画像音声データの種類などに基づいて自動的に行われる。

例えば、図１６または図１９において、受信系４２でハイビジョン放送が受信され、その番組を記録する場合には、できるだけ高画質で記録しておくように、ここでは、記録方式２が、画像音声データの記録方式として自動的に選択される。このような自動判定は、番組のメタデータや識別情報などが受信系４２からシステムコントローラ系６０に入力され、システムコントローラ系６０により行われる。

ステップＳ２において、対象の画像音声データを記録方式１で記録すると判定された場合、ステップＳ３に進み、データの取り込みが行われる。取り込まれたデータは特徴抽出処理系５０に入力される。

ステップＳ４において、特徴抽出処理系５０により特徴抽出処理が行われ、特徴データが検出される。検出された特徴データはプレイリストデータ（チャプターデータ）生成処理系５９に適宜入力され、プレイリストデータ（チャプターデータ）生成処理系５９において特殊再生用データの生成が行われる。ここで得られた特徴データ、特殊再生用データは記録処理系４６に入力される。

特徴データの抽出、特殊再生用データの生成、およびそれらの記録は、例えば、次の方法により行われる。

所定の区間毎、または所定のデータ量毎にデータを取り込んで、それを対象として特徴データの検出、プレイリストデータの生成を行い、逐次、記録媒体Ｂに記録する方法（処理方法１）。

全ての画像音声データの記録が終了してから、その画像音声データを読み出し、それを対象として特徴データの検出、プレイリストデータの生成を行い、記録媒体の所定の領域、位置に記録しなおす方法（処理方法２）。

画像音声データを記録するのと同時に、特徴データの検出を行い、検出した特徴データを画像音声データとともに記録媒体Ｂに記録し、記録終了後、特徴データだけを読み出して、読み出した特徴データに基づいて生成したプレイリストデータを記録媒体Ｂに再度記録する方法（処理方法３）。このとき生成されたプレイリストデータは、記録媒体Ｂに記録されている画像音声データの特殊再生に利用することもできる。

ステップＳ５において、画像音声データなどに対して所定の記録処理が施され、記録媒体Ｂの記録方式１層に画像音声データが記録される。

ステップＳ６において、記録を終了するか否かが判定され、終了すると判定された場合、処理は終了され、一方、終了すると判定されていない場合、処理はステップＳ７に進む。

ステップＳ７において、記録方式を変更（切り換え）するか否かが判定され、変更しないと判定された場合、ステップＳ３に戻り、それ以降の処理が繰り返される。

ステップＳ７において、記録方式を変更すると判定された場合、ステップＳ８に進み、それ以降の処理が行われる。また、ステップＳ２において、対象の画像音声データを記録方式２で記録すると判定された場合も、ステップＳ８に進み、それ以降の処理が行われる。

ステップＳ８において、データの取り込みが行われる。取り込まれたデータは特徴抽出処理系５０に入力される。

ステップＳ９において、特徴抽出処理系５０により特徴抽出処理が行われ、特徴データが検出される。検出された特徴データはプレイリストデータ（チャプターデータ）生成処理系５９に適宜入力され、プレイリストデータ（チャプターデータ）生成処理系５９において特殊再生用データの生成が行われる。ここで得られた特徴データ、特殊再生用データは記録処理系４６に入力される。

ステップＳ１０において、画像音声データなどに対して所定の記録処理が施され、記録媒体Ｂの記録方式２層に画像音声データが記録される。

ステップＳ１１において、記録を終了するか否かが判定され、終了すると判定された場合、処理は終了され、一方、終了すると判定されていない場合、処理はステップＳ１２に進む。

ステップＳ１２において、記録方式を変更（切り換え）するか否かが判定され、変更しないと判定された場合、ステップＳ８に戻り、それ以降の処理が繰り返される。

ステップＳ１２において、記録方式を変更すると判定された場合、ステップＳ３に進み、それ以降の処理が行われる。例えば、対象としている画像音声データの全てを記録するためには記録媒体Ｂの記録方式２層の記録容量が不足する場合、ここで、記録方式を変更すると判定され、記録方式１での記録が開始される。

一方、ステップＳ１において、対象の画像音声データを、単一の記録方式で記録しない、すなわち、複数の記録方式で記録すると判定された場合、ステップＳ１３（図３２）に進む。

ステップＳ１３において、データの取り込みが行われる。取り込まれたデータは特徴抽出処理系５０に入力される。

ステップＳ１４において、特徴抽出処理系５０により特徴抽出処理が行われ、特徴データが検出される。検出された特徴データはプレイリストデータ（チャプターデータ）生成処理系５９に適宜入力され、プレイリストデータ（チャプターデータ）生成処理系５９において特殊再生用データの生成が行われる。ここで得られた特徴データ、特殊再生用データは記録処理系４６に入力される。

なお、ここでの特徴データの抽出処理、特殊再生用データの生成処理は、上述したように、得られる特徴データ、特殊再生用データが、記録方式１の画像音声データを再生した場合と記録方式２の画像音声データを再生した場合とで整合性が確保されるように行われる。

ステップＳ１５において、画像音声データなどに対して所定の記録処理が施され、記録媒体Ｂの記録方式１層と記録方式２層に画像音声データが記録される。整合性を確保するようにして得られた特徴データ、特殊再生用データも、記録媒体Ｂの所定の領域に記録される。

ステップＳ１６において、記録を終了するか否かが判定され、終了すると判定された場合、処理は終了され、一方、終了すると判定されていない場合、処理はステップＳ１７に進む。

ステップＳ１７において、記録方式を単一の記録方式に変更するか否かが判定され、変更しない場合、ステップＳ１３に戻り、それ以降の処理が繰り返される。

ステップＳ１７において、記録方式を単一の記録方式に変更すると判定された場合、ステップＳ２に進み、それ以降の処理が行われる。

（１４）実施例その他
上記ブロック構成例、動作フローチャート例などの説明においては、記録媒体としてディスク状の記録媒体が用いられる場合について説明したが、これ以外にも、記録方式１、記録方式２などの複数の記録方式に対応するテープ状の記録媒体、半導体記録媒体、ホログラム記録媒体、その他の記録媒体にも同様に本発明は適用することができる。

（１５）特徴データ、特殊再生用データを生成する必要性
コピー記録などの動作モードを考えた場合に、コピー元のデータが画像音声データであって、その特徴データ、特殊再生用データが無い場合に、コピー記録処理に伴い、自動的に、それらのデータを生成して、画像音声データとともにコピー記録を行うことが考えられる。特徴データ、特殊再生用データの生成は図１６等を参照して説明したのでここでは省略する。

例えば、コピーの対象となる画像音声データのソースが、パッケージ販売されているDVD（DVDソフト）である場合や、画像音声データだけをまとめて記録しておくデータサーバなどである場合、それらのDVDやデータサーバから取得された画像音声データに対応する特徴データなどが用意されていないことが多いと考えられ、このような場合、上述したような特殊再生などを実現するためには、DVDやデータサーバから画像音声データを取得した装置側において特徴データ、特殊再生用データを生成する必要がある。

コピー元のデータが画像音声データであるかどうかの判定は、例えば、それがMPEGフォーマットのデータであるかどうかの判定結果に基づいて行うことが考えられる。

例えば、図１６において、記録媒体Ａから記録媒体Ｂにコピー記録を行う場合に、記録媒体Ａからコピー対象のデータを再生処理系５２で再生し、再生したデータのヘッダなどの所定のデータ部の構造がMPEGフォーマットのデータ構造と同じであるかをシステムコントローラ系６０が判定する。

システムコントローラ系６０は、再生したデータのヘッダなどの所定のデータ部の構造がMPEGフォーマットのデータ構造と同じであることを確認した場合、その記録対象のデータが画像音声データであると判定し、特徴データ等が無い場合には、上述したように、コピー記録処理に伴ってそのデータを自動的に生成し、生成したデータを、画像音声データとともに、コピー記録先の記録媒体Ｂの所定の記録領域に記録させる。

また、システムコントローラ系６０は、再生したデータのヘッダなどの所定のデータ部の構造がMPEGフォーマットのデータ構造と同じではないことを確認した場合、その再生したデータを用いたダイジェスト再生は行われないため、コピー対象のデータは単なるデータであると判定し、そのまま（特徴データ等の生成を行うことなく）、コピー処理を行う。

（１６）記録レートに応じた動作
所定の記録媒体から他の記録媒体に所定のデータの記録を行う場合が考えられる。

（１６．１）動作フローチャート
図３３は、記録レートに応じて方式を適宜切り換えて記録する処理について説明するフローチャートである。

ステップＳ５１において、記録対象のコンテンツが選択され、ステップＳ５２に進み、ステップＳ５１で選択されたコンテンツの記録レート（データレート）の検出が行われる。

ステップＳ５３において、記録対象のデータの記録レートが、高画質レート（例えば、HD画質のデータ）であるか、通常画質レート（例えば、SD画質のデータ）であるかが判定され、高画質レートであると判定された場合、ステップＳ５４に進み、記録先とすることができるような、記録対象のデータの記録レートに対応する記録媒体が用意されているか否かが判定される。

ここで、記録対象のデータの記録レートに対応する記録媒体とは、例えば、記録対象のデータがHD画質のデータである場合にはBD方式またはHD-DVD方式（記録方式２）に対応した記録媒体のことであり、記録対象のデータがSD画質のデータである場合には通常DVD方式（記録方式１）に対応した記録媒体のことである。

例えば、複数の記録媒体を扱うことが可能な、図３７に示すような記録再生装置では記録方式２に対応する記録媒体の検出が行われる。後述するように、図３７の記録媒体制御系３０６では複数の記録媒体を扱うことが可能とされており、システムコントローラ系６０により、何れの場所に設置されている記録媒体が、何れの記録方式に対応しているものであるかが判定される。

ステップＳ５４において、記録対象のデータの記録レートに対応する記録媒体が用意されていると判定された場合、ステップＳ５５に進み、記録方式２による記録処理が行われる。

ステップＳ５６において、記録終了であるか否かが判定され、記録終了であると判定されるまで、処理はステップＳ５５に戻り、記録処理が繰り返される。

なお、図３７に示す記録再生装置のように、複数の記録媒体を扱うことができる場合、１つの記録媒体の記録残容量が少なくなったとき、そのことがシステムコントローラ系６０により検出され、記録先とする記録媒体が切り換えられて、最初に記録先とされていたものとは別の記録媒体を記録先としてデータの記録が行われるようにしてもよい。

ステップＳ５６において、記録終了であると判定された場合、処理は終了される。

一方、ステップＳ５４において、記録対象のデータの記録レートに対応する記録媒体が用意されていないと判定された場合、ステップＳ５７に進み、所定のワーニング処理が行われる。ワーニング処理としては、例えば、所定の音声出力や画面表示により、記録媒体が対応していないことをユーザに知らせる処理などが考えられる。

ステップＳ５８において、処理を終了するか否かが判定される。ステップＳ５８において、処理を終了すると判定された場合、処理は終了され、終了しないと判定された場合、ステップＳ５９に進み、別のコンテンツ（データ）を記録対象のデータとして選択するか否かが判定される。

ステップＳ５９において、別のコンテンツを選択すると判定された場合、ステップＳ５１に戻り、上述したような処理が行われ、一方、別のコンテンツを選択しないと判定された場合、ステップＳ６０に進み、記録レートの変換などのダウンコンバート処理が行われる。ダウンコンバート処理により、例えば、記録対象とされているHD画質の高レートのデータが、SD画質の通常レートのデータに変換され、これ以降、変換して得られたSD画質の通常レートのデータの記録が行われる。

ステップＳ６１において、記録方式１での記録処理が行われ、ステップＳ６２に進み、記録終了であるか否かが判定される。ステップＳ６２において、記録終了であると判定されるまで処理はステップＳ６０に戻り、記録処理が繰り返され、記録終了であると判定された場合、処理は終了される。

一方、ステップＳ５３において、記録対象のデータの記録レートが通常画質レートであると判定された場合、処理はステップＳ６３に進む。

ステップＳ６３において、記録方式１での記録処理が行われ、ステップＳ６４に進み、記録終了であるか否かが判定される。ステップＳ６４において、記録終了であると判定されるまで処理はステップＳ６３に戻り、記録処理が繰り返され、記録終了であると判定された場合、処理は終了される。

（１６．２）特徴データの整合性を取る処理
ここで、例えば、放送回だけが違う同じ番組がそれぞれ異なる記録媒体上にある場合などにおいて、それらの記録媒体に記録されている同じ番組（コンテンツ）間で特徴点の整合性を取る場合を考える。

ある記録媒体（第１の記録媒体）に記録されている番組と同じ番組だが放送回の違うものが、別の記録媒体（第２の記録媒体）にすでに記録されていて、その第２の記録媒体に、第１の記録媒体に記録されている番組の画像音声データを記録することが考えられる。

このような場合、記録対象の番組が、第２の記録媒体に既に記録されている番組と同じ番組であるかどうかが、例えば、ストリームデータに含まれる所定のデータの検出結果に基づいてシステムコントローラ系６０により判定される。記録対象の番組が、第２の記録媒体に記録されている番組と同じ番組で放送回が相違するものなどとして判定された場合、記録対象の番組の画像音声データが第１の記録媒体から第２の記録媒体にコピーされるとともに、特徴データ、特殊再生用データが第１の記録媒体にあるときには、それが、そのまま、記録先の第２の記録媒体に記録される。これにより、記録対象の番組のものについては、特徴データなどの整合性が第１と第２の記録媒体間で確保される。

また、特徴データ、特殊再生用データが第１の記録媒体にない場合は、ステップＳ５９からＳ６２の処理のときに生成して、第２の記録媒体に記録することが考えられる。この場合、特徴データ、特殊再生用データの生成は、例えば、ダウンコンバートして得られたデータに基づいて行われる。

さらに、ステップＳ５５からＳ５６、またはステップＳ６３からＳ６４の処理において、特徴データ、特殊再生用データが無い場合は、そのとき記録対象となっている所定の記録方式のストリームデータに基づいて特徴データ、特殊再生用データが生成され、ストリームデータとともに記録されるようにしてもよい。

（１７）記録方式を変換する場合
図３４は、記録対象のデータの記録方式を適宜変換し、変換して得られたデータを記録させる処理について説明するフローチャートである。

ステップＳ１０１において、設定されている動作モードが、記録方式を変換する動作モードであるか否かが判定され、記録方式を変換する動作モードではないと判定された場合、所定の動作モードに移行し、その動作モードでの処理が行われる。

一方、設定されている動作モードが、記録方式を変換する動作モードであると判定された場合、ステップＳ１０２に進み、処理対象のコンテンツが選択される。この処理対象のコンテンツは、例えば、後述する、図３６に示すような代表画がサムネイル表示された画面（マルチ画面）から選択される。

ステップＳ１０３において、どのように記録方式の変換を行うかが選択され、記録方式１から記録方式２に変換することが選択された場合、ステップＳ１０４に進む。

ステップＳ１０４において、記録先とされている記録媒体が記録方式２に対応するものであるか否かが判定され、対応するものであると判定された場合、ステップＳ１０５に進み、処理対象のコンテンツを、記録方式１から記録方式２に変換するアップコンバート処理が行われる。

ステップＳ１０６において、アップコンバート処理により得られた記録方式２のコンテンツの記録処理が行われ、ステップＳ１０７に進み、記録終了か否かが判定される。

ステップＳ１０７において、記録終了ではないと判定された場合、処理はステップＳ１０５に戻り、それ以降の処理が繰り返される。ステップＳ１０７において、記録終了であると判定された場合、処理は終了される。

一方、ステップＳ１０４において、記録先とされている記録媒体が記録方式２に対応するものではないと判定された場合、ステップＳ１０８に進み、所定のワーニング処理が行われる。

ステップＳ１０９において、処理を終了するか否かが判定される。ステップＳ１０９において、処理を終了すると判定された場合、処理は終了され、終了しないと判定された場合、ステップＳ１１０に進み、別のコンテンツ（データ）を記録対象のデータとして選択するか否かが判定される。

ステップＳ１１０において、別のコンテンツを選択すると判定された場合、ステップＳ１０２に戻り、以上のような処理が行われ、一方、別のコンテンツを選択しないと判定された場合、ステップＳ１１１に進む。

また、ステップＳ１０３において、記録方式２から記録方式１に変換することが選択された場合も処理はステップＳ１１１に進む。

ステップＳ１１１において、処理対象のデータのダウンコンバート処理が行われ、ステップＳ１１２に進み、ダウンコンバート処理により得られたデータの、記録方式１での記録処理が行われる。

ステップＳ１１３において、記録処理を終了するか否かが判定され、終了しないと判定された場合、処理はステップＳ１１１に戻り、それ以降の処理が繰り返される。また、終了すると判定された場合、処理は終了される。

（１８）記録レートによる記録媒体の選択
図３５は、記録レートに応じて記録媒体を選択し、選択した記録媒体に記録されているコンテンツを再生させる処理について説明するフローチャートである。

ステップＳ１５１において、所定の記録媒体（例えば、記録再生装置のトレイに置かれている全ての記録媒体）に記録されているコンテンツの内容を表す情報の検索が行われる。この情報は、例えば、コンテンツに付加されるヘッダ部などの所定の部分に記録されている。

ステップＳ１５２において、それぞれの記録媒体に記録されているコンテンツの特殊再生用データに基づいて、特徴点が設定されているフレームなどの代表画のサムネイル表示処理が行われる。

この処理により表示される代表画を見ることで、ユーザは、それぞれの記録媒体に記録されているコンテンツがどのようなものかを知ることができる。

図３６は、代表画のサムネイル表示の例を示す図である。

図３６の代表画Ａ１乃至Ａ９は高画質記録のコンテンツの代表画であり、代表画Ｂ１乃至Ｂ７は通常画質記録のコンテンツの代表画である。

図３６に太線で囲んで示すように、通常画質記録のコンテンツの代表画よりも、高画質記録のコンテンツの代表画の方が目立つように、代表画Ａ１乃至Ａ９は、代表画Ｂ１乃至Ｂ７とは異なる方法で表示される。例えば、代表画Ａ１乃至Ａ９の画枠が緑色で表示され、一方、代表画Ｂ１乃至Ｂ７の画枠が灰色で表示されるように、それぞれの画枠が異なる色で表示されたり、また、代表画Ａ１乃至Ａ９が点滅して表示されたりする。

また、代表画Ａ１乃至Ａ９は、そのようなユーザに目立たせるための表示が開始されてから所定時間が経過したら代表画Ｂ１乃至Ｂ７のものと同じ方法で表示されるようにしてもよい。例えば、再生動作モードが終了して、ユーザが図３６の画面表示モードにした直後の３秒間などの所定時間だけ、代表画Ｂ１乃至Ｂ７のものと違う方法により代表画Ａ１乃至Ａ９が表示されるようにすることが考えられる。

図３５の説明に戻り、ステップＳ１５３において、再生順序（複数あるコンテンツの再生順序）をユーザ自身が設定する動作モードであるユーザ設定モードであるか否かが判定され、ユーザ設定モードであると判定された場合、ステップＳ１５４に進み、サムネイル表示を見ているユーザによりリモコン６２などを用いて選択される再生順序を受け付け、設定する。

ステップＳ１５５において、ステップＳ１５４で設定した順序での再生動作が行われ、ステップＳ１５６に進み、再生終了か否かが判定される。

ステップＳ１５６において、再生終了ではないと判定された場合、処理はステップＳ１５５に戻り、再生処理が繰り返される。ステップＳ１５６において、再生終了であると判定された場合、処理は終了される。

一方、ステップＳ１５３において、再生順序をユーザ自身が設定する動作モード（ユーザ設定モード）ではない、すなわち、自動再生モードであると判定された場合、ステップＳ１５７に進み、再生可能なコンテンツの中に、高画質記録の記録方式２で記録されたコンテンツがあるか否かが判定される。

ステップＳ１５７において、再生可能なコンテンツの中に記録方式２で記録されたコンテンツがあると判定された場合、ステップＳ１５８に進み、記録方式２で記録されたコンテンツの再生が行われる。すなわち、高画質記録のコンテンツが、通常画質のコンテンツよりも優先して再生されることになる。

ステップＳ１５９において、再生終了か否かが判定され、再生終了ではないと判定された場合、処理はステップＳ１５８に戻り、再生処理が繰り返される。ステップＳ１５９において、再生終了であると判定された場合、処理は終了される。

一方、ステップＳ１５７において、再生可能なコンテンツの中に高画質記録の記録方式２で記録されたコンテンツがない（記録方式１で記録されたコンテンツしかない）と判定された場合、ステップＳ１６０に進み、記録方式１で記録されたコンテンツの再生動作が行われる。

ステップＳ１６１において、再生終了か否かが判定され、再生終了ではないと判定された場合、処理はステップＳ１６０に戻り、再生処理が繰り返される。ステップＳ１６１において、再生終了であると判定された場合、処理は終了される。

（１９）複数個のディスクを扱うことができる場合の実施例
ここで、記録方式１と記録方式２の複数の記録方式に対応する記録媒体を、複数個扱うことのできる記録再生装置を考える。

図３７は、このように、複数個の記録媒体を扱うことのできる記録再生装置の構成例を示すブロック図である。

この記録再生装置により行われる動作は、基本的には、上述した図１６、図１９を参照して説明した記録再生装置の動作と同様である。ここで、図３７の記録処理系３０３による記録動作、再生処理系３０４による再生動作は、それぞれ、図１６、図１９を参照して説明した記録側の構成による動作、再生側の構成による動作と同様であるため、重複する説明については省略する。

図３７の記録再生装置には、トレイに置かれた複数のディスクのうち、選択された所定のディスクの動作を制御する記録媒体制御系３０６が設けられている。この記録媒体制御系３０６はディスク状記録媒体のチェンジャーと考えることもできる。図３７の例においては６枚のディスク状記録媒体がトレイに置かれている。

以下、複数のディスク状記録媒体を扱う場合について説明するが、他の記録媒体についても同様に適用することができる。

（１９．１）通常再生モード
図３７において、記録媒体制御系３０６に複数設置されている記録媒体（記録媒体制御系３０６が制御可能なトレイに置かれている記録媒体）には、記録方式１（通常DVD）、または記録方式２（BD方式、またはHD-DVD方式）の画像音声データが混在して記録されていることが考えられる。

リモコン６２などを操作して通常再生モードを選択し、画像音声データの再生を行う場合に複数記録方式の色々なコンテンツが混在していると、ユーザが、どのコンテンツを再生してよいか選択するのに混乱や煩わしさを感じる場合があると考えられる。

そこで、通常は、高画質のコンテンツを優先的に選択して再生するようにすることが考えられる。

例えば、通常再生モードにおいて、さらに、選択可能なモードとして自動再生モードが設けられている場合、その自動再生モードが設定されているときには、複数の記録媒体に記録されている複数のコンテンツの中から、高画質記録された記録方式２のコンテンツだけがデフォルトで順次再生され、記録方式２の全てのコンテンツの再生が終了したとき、それに続けて、通常DVDの記録方式１で記録されているコンテンツの再生が行われる。

このとき、同じコンテンツが記録方式１、記録方式２の２つの記録方式で記録されている場合には、はじめに記録方式２のコンテンツを全て再生し、続けて、記録方式１のコンテンツを再生するものとすると同じコンテンツが２回再生されてしまうことになることから、このような場合、同じコンテンツは２回再生されることのないようにされる（記録方式１で記録された方のコンテンツの再生は行われない）。

どのような内容のコンテンツが、何れの記録方式で、どの記録媒体に記録されているかは、装置の電源投入時などの装置の起動時、または再生モード設定時などの所定のモード動作時に、記録媒体の記録内容を表す情報が、記録媒体制御系３０６に設置されたそれぞれの記録媒体から順次再生され、その情報に基づいてシステムコントローラ系６０により判定される。システムコントローラ系６０においては、記録媒体の記録内容を表す情報に基づいて、上述したように、再生の優先順位が記録方式に応じて設定され、コンテンツを順次自動的に再生するように各系が制御される。

（１９．２）代表画表示モード
例えば、記録されている内容を表す代表画を表示する動作モードが設定されているときに代表画を一覧表示すること、または、所定再生モード設定時に、再生するコンテンツの選択をユーザに促すために代表画を一覧表示することなどの動作が図３７の記録再生装置において行われる。

図３７の記録再生装置において、このような代表画表示モードでは、記録媒体制御系３０６に設置された記録媒体を対象として、順次、記録されているデータの再生が行われる。再生されたデータはバッファ処理系３０１に出力され、データバスDBを介して再生処理系３０４に供給される。再生処理系３０４においては、所定の再生処理が行われ、特徴データに基づいて得られた特殊再生用データがシステムコントローラ系６０に供給され、システムコントローラ系６０により、特殊再生用データに基づく代表画の表示が行われる。

代表画として、例えば、記録された番組などの所定のプログラム毎に、特殊再生用データにより指定される最初の位置における画像情報を考え、その画像情報に基づいて画像が表示されるようにしてもよい。

また、代表画の表示を行う場合、それぞれの代表画がコンテンツの画質毎に分類して表示されるようにしてもよい。

例えば、図３６を参照して説明したように、記録方式２で記録された高画質なコンテンツの代表画である代表画Ａ１乃至Ａ９をひとまとまりのものとして表示し、それとは別に、記録方式１で記録された通常画質のコンテンツの代表画である代表画Ｂ１乃至Ｂ７をひとまとまりのものとして表示するようにしてもよい。

このような代表画表示では、それぞれの代表画により内容が表されるコンテンツの情報をユーザが確認することができるように、図３７の記録媒体制御系３０６（トレイ）のどの場所に置かれた記録媒体に記録されているコンテンツであるのかを表す情報や、コンテンツのタイトルを表す情報などの所定の情報が、例えば、図３６の点線矢印（１）の先に示すように、代表画の下方などの所定の位置に表示されるようにしてもよい。

このような代表画は、検出された特殊再生用データに基づくシステムコントローラ系６０による制御に従って所定特徴点（特徴位置）の画像データが記録媒体から再生され、その画像データに対して、再生処理系３０４による処理、またはシステムコントローラ系６０による処理（サムネイル処理）が施されることによって生成される。

各記録媒体に記録されているデータにサムネイル処理が施されることによって得られた代表画サムネイル処理データは、システムコントローラ系６０内の所定のメモリ系に記憶され、記録媒体制御系３０６に置かれている全ての記録媒体に記録されているデータを対象としてサムネイル処理が行われたとき、メモリ系に記録されていたデータはデータバスDBを介して画像信号出力系３１０に供給される。画像信号出力系３１０においては、図３６に示すような画面表示を行うための信号処理が行われ、代表画がサムネイル表示される。

（１９．３）記録モード
ここで、図３７の記録媒体Ａに記録された画像音声データを、記録媒体制御系３０６に設置されている所定の記録媒体に編集記録、コピー記録させることが考えられる。

記録媒体制御系３０６に設置されている記録媒体が何れの記録方式に対応できるかは、上述したように、記録媒体から、順次再生されたデータに基づいてシステムコントローラ系６０により判定される。

所定の動作モードで、上記のような編集記録、コピー記録を行う場合、記録対象のデータの記録レートは、再生処理系３０４によって検出された所定の属性データに基づいてシステムコントローラ系６０により判定される。また、その判定結果に基づいて、記録媒体制御系３０６に置かれているもののうちの何れの記録媒体に記録媒体Ａからのデータを記録するかが決定される。

例えば、記録レートが高い高画質コンテンツが記録対象のデータとされている場合、記録媒体Ａからのデータは、記録媒体制御系３０６に置かれている記録方式２に対応する記録媒体の所定の記録領域に自動的に記録される。また、通常画質コンテンツが記録対象のデータとされている場合、記録媒体Ａからのデータは、記録媒体制御系３０６に設置されている記録方式１に対応する記録媒体の所定の記録領域に自動的に記録される。

（２０）２層ディスクにおいての同時記録再生モード
記録方式１と記録方式２に対応する２層ディスクを用いた場合に、所定の記録層に記録されている記録方式１のデータを再生し、再生したデータを、それと異なる層の記録領域に記録方式２で記録する、同時再生記録モードを考えることができる。

この同時再生記録を実現するブロック構成例を図３８に示す。

記録媒体１の記録方式１層から信号処理系３５１−１により所定の単位毎に再生された記録方式１のデータは、バッファメモリ系３５２に一時的に記録される。記録方式１のデータは、所定の量が蓄積された段階でバッファメモリ系３５２から読み出され、その後、信号処理系３５１−２により所定の処理が施され、記録方式２で記録方式２層の所定の領域に記録される。

また、記録方式１と記録方式２に対応する２層ディスクを用いた場合に、所定の記録層に記録されている記録方式２のデータを再生し、再生したデータを、それと異なる層の記録領域に記録方式１で記録する、同時再生記録モードを考えることもできる。

この同時再生記録を実現するブロック構成例を図３９に示す。

記録媒体１の記録方式２層から信号処理系３６１−２により所定の単位毎に再生された記録方式２のデータは、バッファメモリ系３６２に一時的に記録される。記録方式２のデータは、所定の量が蓄積された段階でバッファメモリ系３６２から読み出され、その後、信号処理系３６１−１により所定の処理が施され、記録方式１で記録方式１層の所定の領域に記録される。

以上においては、通常DVDより高画質での記録が可能なフォーマットとして、BDフォーマット、またはHD-DVDフォーマットが用いられるものとしたが、フォーマットはこれに限定されるものではなく、例えば、BDフォーマットとHD-DVDフォーマットの双方に汎用性を持たせた１つのフォーマットであってもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、そのソフトウェアを実行させる装置は、例えば、図４０に示されるようなパーソナルコンピュータにより構成される。

図４０において、CPU(Central Processing Unit)４０１は、ROM(Read Only Memory)４０２に記憶されているプログラム、または、記憶部４０８からRAM(Random Access Memory)４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４０５も接続されている。

入出力インタフェース４０５には、キーボード、マウスなどよりなる入力部４０６、LCD(Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部４０７、ハードディスクなどより構成される記憶部４０８、ネットワークを介しての通信処理を行う通信部４０９が接続されている。

入出力インタフェース４０５にはまた、必要に応じてドライブ４１０が接続される。ドライブ４１０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア４１１が適宜装着され、それから読み出されたコンピュータプログラムが必要に応じて記憶部４０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図４０に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory)，DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（登録商標）(Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４０８に含まれるハードディスクなどで構成される。

なお、本明細書において、各ステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

特徴データの整合性について説明する図である。 特徴データの整合性について説明する他の図である。 ２記録方式での記録の例を示す図である。 ２記録方式での記録の他の例を示す図である。 再生の例を示す図である。 プレイリストをテキストデータとして表示した場合の例を示す図である。 特徴データ、特殊再生用データの記録先の組合せの例を示す図である。 特徴データとプレイリストデータの記録状態の例を示す図である。 ディスク状の記録媒体を上方から見た図である。 特徴データ、特殊再生用データの記録先の組合せの他の例を示す図である。 同じコンテンツを複数の記録方式で記録する記録側の構成例を示すブロック図である。 同じコンテンツを複数の記録方式で記録する記録側の他の構成例を示すブロック図である。 記録順序の例を示す図である。 ダイジェスト再生およびチャプター処理について説明する図である。 チャプター画像の表示例を示す図である。 記録再生装置全体の構成例を示すブロック図である。 メッセージの表示例を示す図である。 他のメッセージの表示例を示す図である。 記録再生装置全体の他の構成例を示すブロック図である。 音声系の特徴抽出を行う構成の例を示すブロック図である。 音声系の特徴抽出を行う構成の他の例を示すブロック図である。 画像系の特徴抽出を行う構成の例を示すブロック図である。 シーンチェンジの検出に用いられる領域の例を示す図である。 テロップ領域、カラー特徴の検出に用いられる領域の例を示す図である。 記録媒体Ａのデータの記録状況と、記録媒体Ｂに記録することが可能な記録方式の組合せの例を示す図である。 MPEG方式におけるデータ属性を示す図である。 データの記録容量の例を示す図である。 各時間帯に採用される記録方式の例を示す図である。 各時間帯に採用される記録方式の他の例を示す図である。 記録時間と記録容量の特性の例を示す図である。 記録処理について説明するフローチャートである。 記録処理について説明する、図３１に続くフローチャートである。 記録レートに応じて方式を切り換えて記録する処理について説明するフローチャートである。 記録対象のデータの記録方式を変換し、変換して得られたデータを記録させる処理について説明するフローチャートである。 記録レートに応じて記録媒体を選択し、選択した記録媒体に記録されているコンテンツを再生させる処理について説明するフローチャートである。 代表画のサムネイル表示の例を示す図である。 複数個の記録媒体を扱うことのできる記録再生装置の構成例を示すブロック図である。 同時再生記録を実現する構成例を示すブロック図である。 同時再生記録を実現する他の構成例を示すブロック図である。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 記録媒体， ２−１ 信号処理系（信号処理方式１）， ２−２ 信号処理系（信号処理方式２）， １０−１ 信号処理系（信号処理方式１）， １０−２ 信号処理系（信号処理方式２）， ２１ 記録方式１エンコード処理系， ２２ 記録方式２エンコード処理系， ２３ 特徴データ信号処理系， ２４ 記録方式１記録信号処理系， ２５ 記録方式２記録信号処理系， ２６ プレイリストデータ（チャプターデータ）信号処理系， ２７ メモリ系， ３０３ 記録処理系， ３０４ 再生処理系， ３０５ 特徴抽出処理系， ３０６ 記録媒体制御系

Claims (3)

1. 複数の記録媒体を設置可能なトレイが設けられている再生装置において、
   前記記録媒体に記録されているストリームの記録方式を属性情報に基づいて判定する判定手段と、
   再生するストリームをユーザ自身が選択しないモードが設定されている場合、前記トレイに設置されている全ての記録媒体を順次対象として、前記判定手段による判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームを、前記第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生させる再生制御手段と、
   代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とを分類して、ストリームの記録元の記録媒体を表す情報とともに表示させる表示制御手段と
   を備え、
   前記再生制御手段は、同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生を開始させる
   再生装置。
2. 複数の記録媒体を設置可能なトレイが設けられている再生装置の再生方法において、
   前記記録媒体に記録されているストリームの記録方式を属性情報に基づいて判定し、
   再生するストリームをユーザ自身が選択しないモードが設定されている場合、前記トレイに設置されている全ての記録媒体を順次対象として、判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームを、前記第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生させ、
   同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生を開始させ、
   代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とを分類して、ストリームの記録元の記録媒体を表す情報とともに表示させる
   ステップを含む再生方法。
3. 複数の記録媒体を設置可能なトレイが設けられている再生装置の再生処理をコンピュータに実行させるプログラムにおいて、
   前記記録媒体に記録されているストリームの記録方式を属性情報に基づいて判定し、
   再生するストリームをユーザ自身が選択しないモードが設定されている場合、前記トレイに設置されている全ての記録媒体を順次対象として、判定結果に基づいて、品質の高い第１の記録方式で記録されているストリームを、前記第１の記録方式より品質の劣る第２の記録方式で記録されているストリームよりも優先して再生させ、
   同じコンテンツのストリームとして前記第１の記録方式のストリームと前記第２の記録方式のストリームとが記録されている記録媒体については前記第２の記録方式のストリームを再生しないようにして、前記トレイに設置されている全ての記録媒体に前記第１の記録方式で記録されているストリームの再生を終えたとき、前記トレイに設置されている全ての記録媒体を順次対象として、前記第２の記録方式で記録されているストリームの再生を開始させ、
   代表画を表示する他のモードが設定された場合、前記トレイに設置されている全ての記録媒体を順次対象としてストリームの再生が行われることによって得られたデータに基づいて、前記第１の記録方式で記録されているストリームの代表画と、前記第２の記録方式で記録されているストリームの代表画とを分類して、ストリームの記録元の記録媒体を表す情報とともに表示させる
   ステップを含む処理をコンピュータに実行させるプログラム。

Images