本発明は、ファイル記録装置、ファイル再生装置、ファイル編集装置、ファイル記録方法、ファイル再生方法、ファイル編集方法、ファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体に関し、例えばビデオディスク装置に適用することができる。本発明は、多重化されたストリームの再生に必要な情報と、この多重化されたストリームを構成するストリームの再生に必要な情報とを管理情報によるブロックの1つに設定し、この管理情報によるブロックに対応するトラックにこの多重化されたストリームを割り当てることにより、プログラムストリーム等をQTファイル等により記録し、さらには処理することができるようにする。
従来、マルチメディア対応のファイルフォーマットとしてQuick Time(以下、QTと呼ぶ)ファイルフォーマットが広く知られている。ここでQTフォーマットは、特殊なハードウェアを用いずに動画等を再生するためのOS(Operating System)の拡張機能として生まれたファイルフォーマットであり、動画、音声、静止画、文字、MIDI等の種々の形式による実データを1つの時間軸で同期させて再生することができるタイムベースのマルチメディアファイルフォーマットである。
QTファイルは、これら動画、静止画、音声等による実データがまとめられてブロック化され、またこの実データのブロックとは別に、この実データを管理する管理情報がまとめられてブロック化される。以下、このようなブロックをアトムと呼ぶ。またこれら実データ及び管理情報による各アトムにおいては、それぞれ階層構造によりさらにブロック化され、実データにあっては、各実データがメディアデータとしてそれぞれ個別のトラックとして格納され、QTファイルでは、それぞれ動画、音声、文字による実データのトラックがビデオトラック、サウンドトラック(オーディオトラック)、テキストトラックと称されるようになされている。
これに対して管理情報によるアトムにあっては、各実データによるトラックに対応して管理情報によるトラックアトムが階層構造によりそれぞれ実データ毎に形成され、QTファイルでは、この階層構造による中間階層の管理情報によるトラックアトムにサンプルディスクリプションアトム(Sample Description Atom )が割り当てられ、このサンプルディスクリプションアトムにより、対応する実データの種類、内容を認識できるようになされている。従来のQTファイルでは、この管理情報によるトラックが、単一の種類による実データを前提にして作成されるようになされており、これによりサンプルディスクリプションアトムにおいては、単一のサウンド、ビデオに係るエレメンタリーストリームについての情報だけが記述されるようになされていた。
このように複数トラックによるQTファイルに対して、全てのトラックを管理できない機器にあっては、このファイルを再生対象から除外し、又は各トラックに設定された識別子であるトラックIDに基づいて、再生可能な範囲で各トラックに割り当てられた実データを再生するようになされている。これによりこの場合、ファイルを全く視聴できないか、又はファイルの内容とは無関係にトラックIDにより選択されたトラックの再生状態を視聴するようになされていた。このため例えば特開2003−179859号公報には、これら実データによるトラックに優先順位を設定し、さらにこの優先順位に従って再生可能な範囲で実データを再生する方法が提案されるようになされており、この方法によれば、再生の機能が制限されている機器においても、ファイルの内容に応じて適切にファイルを再生することができるようになされている。
ところで近年、衛星放送等においては、MPEG−2システムによるプログラムストリームにより、種々の番組等が提供されるようになされている。これによりこのようなMPEG−2システムによるプログラムストリームのように、ビデオ、サウンドのエレメンタリーストリームを多重化したストリームについても、QTフォーマットにより記録することができれば、便利であると考えられ、これによりプログラムストリーム等にあってもQTファイルにより記録することが望まれる。
しかしながら上述したように、QTフォーマットにおいては、管理情報によるトラックが単一の種類による実データを前提としていることにより、MPEG−2システムによるプログラムストリームのようにビデオデータ、サウンドデータが混在した形式による実データにあっては管理し得ず、これによりこの種の多重化されたストリームにあってはQTフォーマットにより記録できない問題があった。
またこのように管理情報によるトラックが単一の実データを前提としていることにより、当然のことながら、仮にMPEG−2システムによるプログラムストリームをQTフォーマットにより記録した場合にあっても、このプログラムストリームを構成する複数のエレメンタリーストリームについては、再生の際の優先順位を設定できない。これに対してMPEG−2システムによるプログラムストリームにあっても、QTファイルにおいて複数のサウンドトラックを設ける場合と同様の、複数チャンネルによるサウンドデータ等が割り当てられる場合がある。
これにより仮にQTフォーマットによりビデオデータ、サウンドデータが混在した形式による実データを記録するようにできても、特開2003−179859号公報の手法により解決した課題が再び問題となる。すなわち複数チャンネルによるサウンドデータ等が割り当てられている場合には、これらをファイルの内容に応じて適切に再生することが困難になる。
これによりビデオデータとサウンドデータとのストリームが多重化されてなるストリームをQTファイルにより記録することができるようにして、機能が限られた機器においても、ファイルの内容に応じてこの多重化されたストリームを構成するエレメンタリーストリームを適切に再生することが望まれる。
またMPEG−2システムによるプログラムストリームにおいては、いわゆるクローズドGOP(Group Of Pictures )のみならずオープンGOPが適用される場合がある。ここでクローズドGOPは、Pピクチャー、Bピクチャーの参照フレーム、フィールドの全てが同一GOP内に設定された形式であり、オープンGOPは、Pピクチャー、Bピクチャーの参照フレーム、フィールドの何れかが直前の他のGOP内に設定された形式である。これによりクローズドGOPとオープンGOPとでは、再生時、処理を異ならせることが必要になる。なおここでGOPは、フレームを単位にした符号化処理の処理単位であり、例えばMPEGでは、15フレームに設定される。
これに対して仮にQTフォーマットによりビデオデータ、サウンドデータが多重化された形式による実データを記録するようにできても、再生時、これらクローズドGOP、オープンGOPの判定にあっては、結局、実データを再生して、この実データに設定されているシーケンスヘッダの記述によらなければ検出し得ず、これにより再生時における処理量が著しく増大する問題がある。
これによりビデオデータとサウンドデータとが混在した形式によるストリームをQTファイルにより記録することができるようにして、クローズドGOP、オープンGOPが混在する場合でも、処理量の増大を有効に回避することが望まれる。
特開2003−179859号公報
特開2003−22653号公報
特開2001−359072号公報
特開平10−234014号公報
特開2003−187560号公報
本発明は以上の点を考慮してなされたもので、ビデオデータとサウンドデータとが多重化されたストリームをQTファイル等により記録し、さらには処理することができるファイル記録装置、ファイル再生装置、ファイル編集装置、ファイル記録方法、ファイル再生方法、ファイル編集方法、ファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体を提案しようとするものである。
かかる課題を解決するため請求項1の発明は、実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録装置に適用して、前記ファイルは、複数の前記実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、前記ファイル記録装置は、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームを、1つのトラックに割り当てて前記実データのブロックを形成し、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とを設定し、前記プログラムストリームを前記フォーマットによるファイルにより前記記録媒体に記録する。
また請求項9の発明は、所定の記録媒体に記録されたファイルを再生して出力するファイル再生装置に適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル再生装置は、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記記録媒体より再生される前記ファイルのデータを処理して前記ビデオデータによるストリームとサウンドデータによるストリームとを再生する。
また請求項17の発明は、所定フォーマットによるファイルを編集するファイル編集装置に適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル編集装置は、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記ファイルを処理する。
また請求項23の発明は、実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録方法に適用して、前記ファイルは、複数の前記実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、前記ファイル記録方法は、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームを、1つのトラックに割り当てて前記実データのブロックを形成し、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とを設定し、前記プログラムストリームを前記フォーマットによるファイルにより前記記録媒体に記録する。
また請求項24の発明は、所定の記録媒体に記録されたファイルを再生して出力するファイル再生方法に適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル再生方法は、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記記録媒体より再生される前記ファイルのデータを処理して前記ビデオデータによるストリームとサウンドデータによるストリームとを再生する。
また請求項25の発明は、所定フォーマットによるファイルを編集するファイル編集方法に適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル編集方法は、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記ファイルを処理する。
また請求項26の発明は、実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録方法のプログラムに適用して、前記ファイルは、複数の前記実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、前記ファイル記録方法のプログラムは、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームを、1つのトラックに割り当てて前記実データのブロックを形成するステップと、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とを設定するステップとを有するようにする。
また請求項27の発明は、所定の記録媒体に記録されたファイルを再生して出力するファイル再生方法のプログラムに適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル再生方法のプログラムは、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記記録媒体より再生される前記ファイルのデータを処理して前記ビデオデータによるストリームとサウンドデータによるストリームとを再生するステップを有するようにする。
また請求項28の発明は、所定フォーマットによるファイルを編集するファイル編集方法のプログラムに適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル編集方法のプログラムは、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記ファイルを処理するステップを有するようにする。
また請求項29の発明は、実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録方法のプログラムを記録した記録媒体に適用して、前記ファイルは、複数の前記実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、前記ファイル記録方法のプログラムは、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームを、1つのトラックに割り当てて前記実データのブロックを形成するステップと、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とを設定するステップとを有するようにする。
また請求項30の発明は、所定の記録媒体に記録されたファイルを再生して出力するファイル再生方法のプログラムを記録した記録媒体に適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル再生方法のプログラムは、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記記録媒体より再生される前記ファイルのデータを処理して前記ビデオデータによるストリームとサウンドデータによるストリームとを再生するステップを有するようにする。
また請求項31の発明は、所定フォーマットによるファイルを編集するファイル編集方法のプログラムを記録した記録媒体に適用して、前記ファイルは、複数の実データをそれぞれトラックに割り当てることが可能であって、前記実データを管理する管理情報をまとめた管理情報のブロックと、前記実データのブロックとにより形成され、前記管理情報のブロックは、さらに階層構造によりブロック化されて、前記実データに対応する中間階層による管理情報のブロックが前記実データのトラック毎に形成され、前記中間階層による管理情報のブロックの下位階層の、前記実データのチャンクに対応するブロックに、対応する前記実データの再生に必要な情報が設定され、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されて再生制御情報が設定されたプログラムストリームが、1つのトラックに割り当られて前記実データのブロックが形成され、前記プログラムストリームを割り当てた1つのトラックに対応する前記中間階層による管理情報のブロックの前記下位階層のブロックに、前記プログラムストリームの再生に必要な情報と、前記プログラムストリームを構成する前記ビデオデータによるストリームの再生に必要な情報と、前記プログラムストリームを構成する前記サウンドデータによるストリームの再生に必要な情報とが設定され、前記ファイル編集方法のプログラムは、前記下位階層のブロックに設定された前記再生に必要な情報に基づいて、前記ファイルを処理するステップを有するようにする。
請求項1の構成により、実データを所定フォーマットのファイルにより記録媒体に記録するファイル記録装置に適用して、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されたプログラムストリームを、実データの1つに割り当てて実データのブロックを形成し、プログラムストリームに対応して中間階層による管理情報のブロックを形成し、該中間階層による管理情報のブロックの下位階層のブロックに、プログラムストリームの再生に必要な情報と、ビデオデータによるストリームの再生に必要な情報と、サウンドデータによるストリームの再生に必要な情報とを設定して、記録媒体に記録すれば、管理情報によるトラックが単一の実データを前提としたQTフォーマット等のファイルにおいて、ビデオデータによるストリームとサウンドデータによるストリームとが多重化されたストリームを記録して、このストリームを判別可能に設定することができる。これによりビデオデータとサウンドデータとが混在した形式によるプログラムストリーム等をQTファイルにより記録することができる。
またこれにより請求項9、請求項17の構成によれば、このようにしてビデオデータとサウンドデータとが混在した形式によるストリームをQTファイル等により記録して、このファイルを再生し、編集処理することができる。
これらにより請求項23、請求項24、請求項25の構成によれば、プログラムストリーム等をQTファイル等により記録し、さらには処理することができるファイル記録方法、ファイル再生方法、ファイル編集方法を提供することができる。
また請求項26、請求項27、請求項28の構成によれば、プログラムストリーム等をQTファイル等により記録し、さらには処理することができるファイル記録方法のプログラム、ファイル再生方法のプログラム、ファイル編集方法のプログラムを提供することができる。
また請求項29、請求項30、請求項31の構成によれば、プログラムストリーム等をQTファイル等により記録し、さらには処理することができるファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法のプログラムを記録した記録媒体、ファイル編集方法のプログラムを記録した記録媒体を提供することができる。
本発明によれば、ビデオデータとサウンドデータとが多重化されたストリームをQTファイル等により記録し、さらには処理することができる。
以下、適宜図面を参照しながら本発明の実施例を詳述する。
(1)実施例1の構成
(1−1)ビデオディスク装置の全体構成
図1は、本発明の実施例に係るビデオディスク装置を示すブロック図である。このビデオディスク装置1においては、図示しない撮像手段、音声取得手段により被写体のビデオ信号、サウンド信号を取得し、このビデオ信号及びサウンド信号による撮像結果を光ディスク2に記録する。またこの光ディスク2に記録した撮像結果を再生して液晶表示パネルによる表示手段、スピーカによる音声出力手段より出力し、また外部機器に出力する。さらにこのようにして撮像結果をユーザーに提供して、ユーザーによる操作に応動して撮像結果を編集処理する。
このビデオディスク装置1では、このような撮像結果によるビデオ信号及びサウンド信号をMPEG−2システムによるプログラムストリームにより多重化した後、所定のファイルフォーマットにより光ディスク2に記録するようになされ、この実施例では、このファイルフォーマットにQTフォーマットが適用されるようになされている。
これによりビデオディスク装置1において、ビデオ符号器11は、撮像結果によるビデオ信号DV1をアナログディジタル変換処理してビデオデータを生成し、このビデオデータをMPEGのフォーマットに従って符号化処理し、これによりビデオデータによるエレメンタリーストリームDVを出力する。
またオーディオ符号器12は、撮像結果によるサウンド信号DA1をアナログディジタル変換処理してサウンドデータを生成し、このサウンドデータをMPEGのフォーマットに従って符号化処理し、これによりサウンドデータによるエレメンタリーストリームDAを出力する。
ファイル生成器15は、記録時、ビデオ符号器11及びオーディオ符号器12から出力されるエレメンタリーストリームDA及びDVを同期化して多重化処理し、これによりMPEG−2システムによるプログラムストリームを作成する。またさらにシステム制御マイコン19の制御によりこのプログラムストリームによりQTファイルを作成する。このためファイル生成器15は、順次入力されるエレメンタリーストリームDA及びDVを多重化してシーケンスヘッダ等を順次設定することによりプログラムストリームのデータを順次生成する。またこのプログラムストリームのデータによりQTファイルにおける実データのアトムであるメディアデータアトムのデータを生成して出力する。またこの一連の処理において、このメディアデータアトムのデータに対応して内蔵のメモリ15Aにムービーアトムの生成に必要なデータを追記して保持し、メディアデータアトムの記録の完了によりメモリ15Aに保持したデータからムービーアトムのデータ列を生成して出力する。
メモリコントローラ18は、システム制御マイコン19の制御により動作を切り換え、記録時、このファイル生成器15から出力されるQTファイルによるデータ列をメモリ17に順次記録して一時保持し、続くエラー訂正符号/復号器21の処理に対応して保持したデータを出力する。また再生時、これとは逆に、エラー訂正符号/復号器21の出力データを一時保持し、ファイル復号器16、システム制御マイコン19に出力する。
エラー訂正符号/復号器21は、システム制御マイコン19の制御により動作を切り換え、記録時、メモリコントローラ18の出力データをメモリ20に一時記録して誤り訂正符号を付加する。またこのようにしてメモリ20に保持したデータを所定順序により読み出して出力することにより、これらのデータをインターリーブ処理してデータ変復調器23に出力する。またエラー訂正符号/復号器21は、再生時、記録時とは逆に、データ変復調器23から出力されるデータを所定順序によりメモリ20に一時記録してメモリコントローラ18に出力することにより、このデータ変復調器23から出力されるデータをデインターリーブ処理して出力する。またこのとき、記録時に付加した誤り訂正符号により誤り訂正処理する。
データ変復調器23は、システム制御マイコン19の制御により動作を切り換え、記録時、エラー訂正符号/復号器21の出力データをシリアルデータ列に変換した後、変調処理して磁界変調ドライバ24又は光ピックアップ33に出力する。また再生時、光ピックアップ33から出力される再生信号からクロックを再生し、このクロックを基準にして再生信号を2値識別、復調処理することにより、記録時に生成したシリアルデータ列に対応する再生データを得、この再生データをエラー訂正符号/復号器21に出力する。
磁界変調ドライバ24は、光ディスク2が光磁気ディスクの場合に、記録時、システム制御マイコン19の制御により、データ変復調器23の出力信号により磁界ヘッド32を駆動する。ここで磁界ヘッド32は、光ディスク2を間に挟んで光ピックアップ33に対向するように保持され、光ピックアップ33によるレーザービーム照射位置にデータ変復調器23の出力データに応じた変調磁界を印加する。これによりこのビデオディスク装置1では、光ディスク2が光磁気ディスクの場合、熱磁気記録の手法を適用してQTフォーマットによるファイルにより撮像結果を光ディスク2に記録するようになされている。
かくするにつき光ディスク2は、ディスク状記録媒体であり、この実施例では、光磁気ディスク(MO:Magneto-Optical Disk)、相変化型ディスク等の書き換え可能な光ディスクである。スピンドルモータ31は、この光ディスク2をサーボ回路30の制御により、光ディスク2に応じて線速度一定(CLV:Constant Linear Velocity)、角速度一定(CAV:Constant Angular Velocity)、ゾーンCLV(ZCLV:Zone Constant Linear Velocity )等の条件により光ディスク2を回転駆動する。
サーボ回路30は、光ピックアップ33から出力される各種信号に基づいて、スピンドルモータ31の動作を制御し、これによりスピンドル制御の処理を実行する。またサーボ回路30は、同様にして光ピックアップ33をトラッキング制御、フォーカス制御し、また光ピックアップ33、磁界ヘッド32をシークさせ、さらにはフォーカスサーチ等の処理を実行する。
ドライブ制御マイコン22は、システム制御マイコン19の指示により、これらサーボ回路30におけるシーク等の動作を制御する。
光ピックアップ33は、光ディスク2にレーザービームを照射してその戻り光を所定の受光素子により受光し、受光結果を演算処理することにより、各種制御用の信号を生成して出力し、また光ディスク2に形成されたピット列、マーク列に応じて信号レベルが変化する再生信号を出力する。また光ピックアップ33は、システム制御マイコン19の制御により動作を切り換え、光ディスク2が光磁気ディスクの場合、記録時、光ディスク2に照射するレーザービームの光量を間欠的に立ち上げる。これによりこのビデオディスク装置1では、いわゆるパルストレイン方式により光ディスク2に撮像結果を記録するようになされている。また光ピックアップ33は、光ディスク2が相変化型ディスク等の場合、データ変復調器23の出力データに応じて光ディスク2に照射するレーザービームの光量を再生時の光量から書き込み時の光量に立ち上げ、これにより熱記録の手法を適用して光ディスク2に撮像結果を記録するようになされている。
これらによりこのビデオディスク装置1では、撮像結果によるビデオ信号及びサウンド信号をビデオ符号器11、オーディオ符号器12によりデータ圧縮してエレメンタリーストリームに変換した後、ファイル生成器15によりMPEG−2システムによるプログラムストリームを生成し、さらにこのプログラムストリームをQTフォーマットのファイルに変換し、メモリコントローラ18、エラー訂正符号/復号器21、データ変復調器23を順次介して、光ピックアップ33により、又は光ピックアップ33及び磁界ヘッド32によりこの光ディスク2に記録するようになされている。
またビデオディスク装置1では、光ピックアップ33より得られる再生信号をデータ変復調器23により処理して再生データを得、この再生データをエラー訂正符号/復号器21で処理して、光ディスク2に記録したQTフォーマットによるファイルを再生できるようになされ、これらQTフォーマットによるファイルのデータをメモリコントローラ18から出力するようになされている。
ファイル復号器16は、メモリコントローラ18から出力されるQTファイルのデータを入力し、このデータをビデオデータ及びサウンドデータのエレメンタリーストリームに分解して出力する。この処理において、ファイル復号器16は、システム制御マイコン19によるシーク等の制御により事前にムービーアトムのデータを取得して保持し、このムービーアトムに設定された管理情報に基づいてビデオデータ及びサウンドデータのエレメンタリーストリームを出力する。
ビデオ復号器13は、このビデオデータのエレメンタリーストリームをデータ伸長して図示しない表示手段、外部機器に出力する。オーディオ復号器14は、ファイル復号器16から出力されるサウンドデータのエレメンタリーストリームをデータ伸長して、図示しない音声出力手段、外部機器に出力する。これによりこのビデオディスク装置1では、光ディスク2から再生した撮像結果をモニタし得るようになされている。
システム制御マイコン19は、このビデオディスク装置1全体の動作を制御するマイコンであり、図示しないメモリに記録された所定の処理プログラムの実行により、ユーザーによる操作に応動して各部の動作を制御する。これによりシステム制御マイコン19は、撮像結果を光ディスク2に記録し、またこの光ディスク2に記録した撮像結果を再生してユーザーに提供し、さらには編集処理を実行するようになされている。
なおこのビデオディスク装置1において、このシステム制御マイコン19に係る処理プログラムにおいては、事前にインストールされて提供されるようになされている。しかしながらこのような事前のインストールによる提供に代えて、記録媒体に記録して提供してインストールするようにしてもよい。因みに、このような記録媒体においては、光ディスク、磁気ディスク、メモリカード、磁気テープ等、種々の記録媒体を広く適用することができる。
(1−2)QTファイル
ここで図2は、QTファイルの基本構成を示す略線図である。QTファイルF1は、実データによるトラックの集合によりメディアデータアトム(Media Data Atom )が形成され、このメディアデータアトム(Media Data Atom )の管理情報等がまとめられてムービーアトム(Movie Atom)が形成される。なおここでアトムは、ボックス(Box )とも呼ばれる。またメディアデータアトムは、アトムのタイプ名がmdatに設定され、ムービーデータアトム(Movie Data Atom )とも呼ばれる。これに対してムービーアトムは、アトムのタイプ名がmoovに設定され、ムービーリソース(Movie Resource)とも呼ばれる。
QTファイルF1、F2は、これらメディアデータアトム、ムービーアトムが一体となった形式の自己内包形ファイルF1と、ムービーアトムのみからなる形式の外部参照形ファイルF2とがあり、この外部参照形ファイルF2においては、他のファイルF1に存在するメディアデータアトムを管理対象に設定できるようになされ、これにより非破壊編集等に利用できるようになされている。なおこのように他のファイルF1に存在するメディアデータアトムを管理対象とする場合には、ムービーアトムに、この他のファイルに係る記録媒体上の相対パス、絶対パス等の管理情報が併せて割り当てられるようになされている。
図3は、自己内包形ファイルF1に関して、これらメディアデータアトム、ムービーアトムを詳細に示す図表である。なおムービーアトムにおいて、トラックアトム(タイプ名trak)は、実データによるトラックに対応して設けられ、各トラックアトムにあっては、実データの種類により内容が若干異なるものの、概ね同一に構成されることにより、図3においては、プログラムストリームに対応するトラックアトムについて説明し、ビデオ、サウンドに係るトラックアトムについては、説明を省略する。
ここでメディアデータアトムは、QTファイルの実データによるストリームが、それぞれサンプルの集合としてチャンク(chunk )に割り当てられ、各実データによるチャンクが順次循環的に設けられるようになされている。なおこの図3の例では、プログラムストリーム、ビデオストリーム、2つのサウンドストリームが実データに割り当てられている例である。また図3ではチャンク中の矩形形状によりサンプルを示す。
ムービーアトムは、管理情報を属性毎にアトム化した階層構造により作成される。すなわちムービーアトムは、ムービーヘッダアトム(movie header)、トラックアトム(track )等により構成される。ムービーヘッダアトムは、ヘッダ情報が収容され、タイプ名がmvhdに設定される。これに対してトラックアトム(track )は、メディアデータアトムに設けられたトラックに対応してそれぞれ実データ毎に設けられる。トラックアトム(track )は、トラックヘッダアトム(track header)、エディットアトム(edit)、メディアアトム(media )、ユーザーデータアトム(user data )等により構成され、それぞれメディアデータアトムの個々の実データに関する情報が記述される。
トラックヘッダアトム(track header)は、ヘッダ情報が収容される。エディットアトム(edit)は、必要に応じてエディットリストアトム(edit list )を含み、このエディットリストアトム(edit list )にイン点、アウト点までの時間情報、再生速度等の情報を設定することにより、非破壊編集に利用できるようになされている。ユーザーデータアトム(user data )は、ユーザーにより定義可能な各種のデータが割り当てられ、この実施例では、プログラムストリーム以外のトラックにおいて、このユーザーデータアトム(user data )により後述する再生時の優先順位が定義されるようになされている。
メディアアトム(media )は、それぞれ対応する実データの圧縮方式、格納場所、表示時間等を管理するための情報が割り当てられ、タイプ名がmdiaに設定される。メディアアトム(media )は、メディアヘッダアトム(media header)、メディアハンドラリファレンスアトム(media handler reference )、メディア情報アトム(media information )により構成される。ここでメディアヘッダアトム(media header)は、ヘッダ情報が割り当てられ、対応する実データの種類に応じてタイプ名が設定され、このタイプ名としてビデオ、サウンド、プログラムストリームに対応するタイプ名が用意されるようになされている。メディアハンドラリファレンスアトム(media handler reference (図3においてはmedia handler により示す))は、対応する実データの種類が記録され、これによりビデオデータ、サウンドデータ等を識別できるようになされている。
メディア情報アトム(media information )は、最小の管理単位であるサンプルに係る各種の情報が割り当てられ、タイプ名がminfに設定される。メディア情報アトム(media information )は、実データに対応するメディアヘッダ(madia information header(図3においてはmadia headerにより示す))、データハンドラリファレンスアトム(data handler reference(図3においてはdata handlerにより示す))、データ情報アトム(data information)、サンプルテーブルアトム(sample table)により構成される。
ここでメディアヘッダは、上位のメディアハンドラリファレンスアトム(media handler reference )に対応してタイプ名が収納されてヘッダ情報が収容される。データハンドラリファレンスアトム(data handler reference)は、対応する実データの取り扱いに関する情報が設定され、データ情報アトム(data information)は、下位階層のデータリファレンスアトム(data reference)により実際に参照するデータの格納場所、格納方法の情報が割り当てられるようになされている。
サンプルテーブルアトム(sample table)は、各サンプルに関する情報が割り当てられ、タイプ名がstblに設定される。サンプルテーブルアトム(sample table)は、サンプルディスクリプションアトム(sample description)、時間サンプルアトム(time-to-sample)、サンプルサイズアトム(sample size )、サンプルチャンクアトム(sample-to-chunk )、チャンクオフセットアトム(chunk offset)、同期サンプルアトム(sync sample )、コンポジション時間サンプルアトム(composition time-to-sample)等により構成される。
ここで時間サンプルアトム(time-to-sample)は、各サンプルとデコードに係る時間軸との関係がフレームレートにより記述される。サンプルサイズアトム(sample size )は、各サンプルのデータ量が記述される。サンプルチャンクアトム(sample-to-chunk )は、チャンク(chunk )とそのチャンク(chunk )を構成するサンプルとの関係が記述される。なおここでチャンク(chunk )は、メディアデータアトムに各トラックデータをブロック化して割り当てる際の各ブロックであり、複数サンプルの集合により1つのチャンクが作成される。チャンクオフセットアトム(chunk offset)は、ファイル先頭を基準にした各チャンク先頭の位置情報がエントリにより記録される。
これに対してサンプルディスクリプションアトム(sample description)は、デコードに関する情報が保存され、具体的にデータ圧縮方式、関連する情報が割り当てられる。すなわち図4に示すように、サンプルディスクリプションアトム(sample description)は、サンプルディスクリプションアトム(sample description)のサイズ(Size)、タイプ名(stsd)、バージョン、フラグが順次割り当てられる。またこのサンプルディスクリプションアトム(sample description)のエントリ数(number of Entries )が割り当てられ、このエントリ数の分だけ、データ圧縮方式、関連する情報によるエントリ(sample description entry)が割り当てられる。
サンプルディスクリプションアトム(sample description)は、このエントリ(sample description entry)に係る実データの処理の変更に対応して、これらエントリ(sample description entry)が登録され、エントリ数(number of Entries )がアップカウントされる。サンプルディスクリプションアトム(sample description)は、ビデオデータに対応するトラックにおいては、このエントリ(sample description entry)の1つに1サンプルに割り当てるフレーム数を記述するフィールド(Frame Count )等が設けられる。
これに対してプログラムストリームの場合、サンプルディスクリプションアトム(sample description)に係るエントリ(sample description entry)は、図5及び図6に示すように拡張されて形成される。なお図6は、2つのサウンドストリームと1つのビデオストリームとによるプログラムストリームに対応するエントリの例である。
このエントリにおいては、このエントリのサイズ(Size)、対応する実データのデータフォーマット(Data Format )、参照インデックス番号(Data Reference Index)が設けられた後、フォーマットアトム(Format Atom )、ストリームディスクリプションアトム(Stream Descriptor Atom)が順次設けられる。ここでデータフォーマット(Data Format )は、対応する実データの種類を示す識別データが設けられ、この実施例では、P2STが割り当てられて、対応する実データがMPEG−2システムによるプログラムストリームであることが示されるようになされている。
これに対してフォーマットアトム(Format Atom )及びストリームディスクリプションアトム(Stream Descriptor Atom)は、図7に示すように、プログラムストリーム、このプログラムストリームを構成するエレメンタリーストリームに対応して設けられ、プログラムストリームに限っては、2組のフォーマットアトム(Format Atom )及びストリームディスクリプションアトム(Stream Descriptor Atom)が設けられる。フォーマットアトム(Format Atom )は、この対応関係に係る実データを特定する識別子が割り当てられ、それぞれプログラムストリーム、ビデオストリーム、サウンドストリームでは、P2ST、vide、sounが設定されるようになされている。
ストリームディスクリプションアトム(Stream Descriptor Atom)は、対応するストリーミングに関する情報が割り当てられ、プログラムストリームに係るストリームディスクリプションアトム(Stream Descriptor Atom)にあっては、先頭側にシステム情報が割り当てられ、後続側にシステム補助情報が割り当てられるようになされている。なおビデオストリーム及びサウンドのストリームディスクリプションアトム(Stream Descriptor Atom)にあっては、ビデオトラック及びサウンドトラックに係るサンプルディスクリプションアトム(sample description)のエントリ(sample description entry)に係る情報が、それぞれ割り当てられ、これによりビデオストリーム、サウンドストリームの再生に必要な情報がそれぞれ格納されるようになされている。
ここでシステム情報は、プログラムストリームのヘッダに含まれている情報、サウンドストリームのシームレス再生に必要な情報等の再生に必要な情報のうちの基本的な情報が割り当てられる。システム補助情報は、ストリームの編集時に有効な情報、再生に係る機能が限られた機器において、再生対象のストリームを選択するための情報等による、補助的な情報が割り当てられる。しかしてこの実施例では、これらの情報を2つのストリームディスクリプションアトム(Stream Descriptor Atom)に分けて割り当てたことにより、これらの情報に係る管理を簡略化して再生時等の処理を簡略化できるようになされている。
具体的に、システム情報を割り当てるストリームディスクリプションアトム(Stream Descriptor Atom)にあっては、図7に示すように構成され、プログラムストリームの属性情報を格納する。すなわちこの場合、ストリームディスクリプションアトム(Stream Descriptor Atom)は、サイズ(Size)、タイプ名strdによるタイプ(Type)が設けられ、バージョン(Version )、各種フラグ(Flags )、データフォーマット(Data Format (この場合P2SI))、ビデオストリームフラグ(Video Stream Status Flags )、ストリーム数(Number of Streams)が順次割り当てられ、ストリーム数(Number of Streams )に対応してストリーム情報(Stream Information)が設けられる。
これらの情報のうち、ビデオストリームフラグ(Video Stream Status Flags )は、ビデオストリームの状態を示す情報が格納され、図8に示すように、先頭の1ビットによりビデオストリームがクローズドGOPによるものか否かが示されるようになされている。これに対してストリーム情報(Stream Information)は、図9に示すように、ストリーム識別子(Stream Identifier )に、プログラムストリーム中の各ストリームの識別子を格納し、続くストリームプロパティ(Stream Property )により、対応するストリームの再生時における優先順位が示されるようになされている。
これらによりこの実施例においては、QTフォーマットによりMPEG−2システムによるプログラムストリームを記録できるようになされている。またこのようにして記録しても、各プログラムストリームを構成するエレメンタリーストリーム間で再生時の優先順位を設定して、機能が限られた機器によってもファイルの内容に応じて各ストリームを再生できるようになされている。
なおこのサンプルディスクリプションアトムにおける優先順位の設定に対応して、QTファイルにおいては、プログラムストリーム以外のトラックに係るユーザーデータアトムに、図10に示すトラックプロパティアトム(track property Atom )が設けられる。ここでトラックプロパティアトム(track property Atom )は、サイズ(Size)、タイプ名(tkpt)によるタイプ(Type)、バージョン(Version )、各種フラグ(Flags )等が設けられ、これらの情報の1つのプラリイオリティ(Priority)の設定により、各トラック間で、再生時の優先順位を示すことができるようになされている。
しかして図11は、これらプログラムストリームに係るサンプルディスクリプションアトムと、ユーザーデータアトムとによる優先順位の例を示す図表である。この例では、プログラムストリームが1つのビデオストリームと2つのサウンドストリームとにより構成され、プログラムストリームに係るサンプルディスクリプションアトムのストリームプロパティ(Stream Property )によりビデオストリーム、音声に係るサウンドストリーム、効果音に係るサウンドストリームにそれぞれ値1、値2、値20の優先順位が設定されるようになされている。またこのプログラムストリームとは別に、2つのサウンドトラックが形成され、この2つのサウンドトラックに係るトラックアトムのユーザーデータアトムにおいて、第1及び第2のバックグラウンドミュージック(BGM)にそれぞれ優先順位10、3が設定されるようになされている。
さらにこの実施例において、ムービーアトムには図12に示すように、メディアデータアトムにストリームコントロールトラック(Stream Control Track)を設けることができるようになされている。ここでストリームコントロールトラック(Stream Control Track)は、プログラムストリーム内の各ストリームについて、再生に係る制御情報が割り当てられ、この実施例ではこの制御情報に再生の有効、無効を示す情報が設けられる。これによりストリームコントロールトラックは、一般にオリジナルの状態では設けられず、編集により設けられる。なおムービーアトムには、このストリームコントロールトラック(Stream Control Track)に対応してトラックアトムが設けられ、他のトラックアトムと同様に、このトラックアトムに設られるサンプルテーブルアトムに係るdurationにより各サンプルとプログラムストリームとの対応が図られることは言うまでも無い。
ここで図13は、ストリームコントロールトラック(Stream Control Track)のサンプルデータを示す図表である。ストリームコントロールトラック(Stream Control Track)のサンプルデータは、1つ又は複数のストリームコントロールエレメント(Stream Control Element)により構成され、各ストリームコントロールエレメント(Stream Control Element)は、図14に示すように、サイズ(Size)、コントロールコマンド(Control Command )、ストリーム識別子(Stream Identifier )、コントロールデータ(Control Data)により構成される。
ここでサイズ(Size)は、このストリームコントロールエレメント(Stream Control Element)のデータサイズがバイト数により示される。
コントロールコマンド(Control Command )は、ストリーミングの具体的な制御を指示する情報が割り当てられ、この実施例では図15に示すように、コントロールコマンド(Control Command )が値1の場合には、対応するストリームの再生可否を示すように設定されるようになされている。
またストリーム識別子(Stream Identifier )は、このコントロールコマンド(Control Command )による制御対象のストリーミングを特定するようになされている。コントロールデータ(Control Data)は、コントロールコマンド(Control Command )が値1の場合に、図16に示すように、それぞれ値0及び値1により、対応するストリーミングのディスイネーブル、イネーブルを指示するようになされている。
これにより図12に示す例においては、プログラムストリームにおけるビデオ、2つのサウンドに対してそれぞれストリーム識別子(Stream Identifier )がID1、ID2、ID3に設定されて、ストリームコントロールトラックの先頭サンプル(Sample1 )のストリームコントロールエレメント(Stream Control Element)によりそれぞれサウンド−1、−2のストリームを指定してイネーブル、ディスイネーブルを指示することにより、この先頭サンプル(Sample1 )に対応する時点t1〜t2の間、サウンド−1のみ出力するように指示されるようになされている。また続くサンプル(Sample2 )のストリームコントロールエレメント(Stream Control Element)によりそれぞれサウンド−1、−2のストリームを指定して双方でディスイネーブルを指示することにより、このサンプル(Sample2 )に対応する時点t2〜t3の間、サウンド−1、サウンド−2の双方の出力を中止し、別トラックによるサウンドトラックの出力が指示されるようになされている。
なお図17及び図18は、それぞれ先頭サンプル(Sample1 )、続くサンプル(Sample2 )に対応するストリームコントロールトラック(Stream Control Track)の記述である。
これによりこの実施例では、いちいちトラックアトムにより定義しなくても、簡易にプログラムストリームを構成する各エレメンタリーストリームを細かく制御できるようになされている。
(1−3)QTファイルの処理
これらQTファイルに係る各アトムの設定に対して、このビデオディスク装置1においては、撮像結果による1つのビデオストリームと、ステレオによる1つのサウンドストリームによりMPEG−2のプログラムストリームを作成し、QTファイルにより光ディスク2に記録するようになされている。
これによりシステム制御マイコン19においては、MPEG−2のプログラムストリームによりメディアデータアトムを光ディスク2に記録するように全体の動作を制御し、またこのメディアデータアトムの記録の際にファイル生成器15で取得したプログラムストリームに係るデータによりサンプルディスクリプションアトムにシステム情報等を設定してプログラムストリームによるトラックアトムを形成し、このトラックアトムによるムービーアトムを光ディスク2に記録するように全体の動作を制御する。
より具体的には、メディアデータアトムの1つのトラックにプログラムストリームを割り当て、このトラックに対応する管理情報によるブロックであるトラックアトムのサンプルディスクリプションアトムにおいて、このプログラムストリームの再生に必要な情報、このプログラムストリームを構成する各エレメンタリーストリームの再生に必要な情報を設定し、これにより他の実データによるトラックと同様に処理可能に設定してプログラムストリームによりQTファイルを形成し、このQTファイルを光ディスク2に記録する。これによりこのビデオディスク装置1では、MPEG−2システムのプログラムストリームをQTファイルにより光ディスク2に記録するようになされている。
このようにしてムービーアトムのサンプルディスクリプションアトムを作成する処理において、システム制御マイコン19は、ビデオストリーム及びサウンドストリームの優先順位については、ビデオストリーム及びサウンドストリームにそれぞれ値1、値2を設定し、これによりビデオストリーム、サウンドストリームの順序により再生時の優先順位を設定する。
またクローズドGOPによりヒデオデータを順次符号化処理して、システム補助情報のビデオストリームステータスフラグをクローズドGOPに対応するフラグを設定する。
またストリームコントロールトラックについては、作成しないようにしてQTファイルを作成する。
これに対してこの光ディスク2に記録されたQTファイルの再生がユーザーにより指示された場合、システム制御マイコン19は、対応するQTファイルに係るムービーアトムの再生を各部に指示し、このムービーアトムの再生によりトラックアトム等のデータを取得する。システム制御マイコン19は、このムービーアトムの設定により、この再生に係るQTファイルがMPEG−2システムのプログラムストリーム以外の他のエレメンタリーストリームを含んでいるか否か判断し、ここで他のエレメンタリーストリームを含んでいる場合、再生困難な旨、ユーザーに通知する。なおこの場合、このように再生困難なファイルにあっては、ユーザーに見せないようにしてもよく、またユーザーにより選択できないようにするようにしてもよい。
また他のエレメンタリーストリームを含んでいない場合には、サンプルディスクリプションアトムによりプログラムストリームが1つのビデオストリーム、1つのサウンドストリームより多くのストリームを含んでいるか否か判断し、ここでより多くのストリームを含んでいる場合には、このファイルについても、再生困難な旨、ユーザーに通知する。なおこの場合にあっても、このように再生困難なファイルにあっては、ユーザーに見せないようにしてもよく、またユーザーにより選択できないようにするようにしてもよい。
またこのユーザーにより選択されたファイルが1つのビデオストリーム、1つのサウンドストリームによるプログラムストリームのファイルである場合、システム補助情報のビデオストリームステータスフラグによりビデオストリームがクローズドGOPで構成されているか否か判断し、クローズドGOPだけで構成されていることが示されていない場合には、再生困難な旨、ユーザーに通知する。なおこの場合にあっても、このように再生困難なファイルにあっては、ユーザーに見せないようにしてもよく、またユーザーにより選択できないようにするようにしてもよい。
しかしてこの場合、システム制御マイコン19においては、プログラムストリームに係る実データに設定されたシーケンスヘッダ等をいちいち再生しなくても、リソース側の再生により再生可能か否か判断することができ、その分、ユーザーインターフェースを向上することができる。
これらの判断によりユーザーにより再生が指示されたファイルが、記録時に係るオリジナルのQTファイルと同様に、1つのビデオストリーム、1つのサウンドストリームにより作成されて、かつクローズドGOPによる場合、システム制御マイコン19は、このムービーアトムの記録に基づいたメディアデータアトムの再生を指示し、これにより順次、MPEG−2システムのプログラムストリームを再生してユーザーに提供する。
(2)実施例の動作
以上の構成において、このビデオディスク装置1では、撮像手段で取得されるビデオ信号DV1がビデオ符号器11により符号化処理されてビデオストリームによりファイル生成器15に入力され、またマイク等で取得されるサウンド信号DA1がオーディオ符号器12により符号化処理されてサウンドストリームがファイル生成器15に入力され、ここでMPEG−2システムのプログラムストリームが生成される。またこのプログラムストリームがQTファイルのメディアデータアトムに変換されて続く一連の構成により光ディスク2に記録される。
このファイル生成器15における処理において、プログラムストリームは、再生に必要な各種の情報が取得されてメモリ15Aに保持され、ユーザーによる撮影終了の指示によりプログラムストリームの記録が終了し、メモリ15Aに保持してなる情報によりムービーアトムのデータ列がファイル生成器15により順次作成され、このムービーアトムのデータ列が光ディスク2に記録される。これによりこのビデオディスク装置1では、ビデオストリームとサウンドストリームとの混在によるプログラムストリームがQTファイルにより光ディスク2に記録される。
このQTファイルにおいては、このプログラムストリームの対応するトラックアトムにおいて、MPEG−2システムのプログラムストリームが実データであることを示すように、トラックヘッダ等が設定され、またサンプルテーブルアトムの各アトムがこのプログラムストリームに係るメディアデータアトムのサンプル等に対応するように設定される。
このときこれらのサンプルテーブルアトムの各アトムの設定において、このQTファイルは、サンプルディスクリプションアトムの拡張により、プログラムストリームの再生に必要な情報、プログラムストリームを構成する各エレメンタリーストリームの再生に必要な情報が設定され、これによりこのQTファイルによるリソースにより他の機器でも識別可能に設定されて、さらには他のトラックに係る実データと識別可能に設定されて、MPEG−2システムのプログラムストリームによるQTファイルが記録され、これにより従来フォーマットとの間で互換性を維持しつつ、MPEG−2システムのプログラムストリームによるQTファイルを記録することが可能となる。
しかしてこのようにしてプログラムストリームの再生に必要な情報、プログラムストリームを構成する各エレメンタリーストリームの再生に必要な情報をリソース側に設定することにより、このQTファイルにおいては、いちいちプログラムストリームを再生して見なくてもムービーアトムの再生だけで再生可能か否か判断し得、これによりユーザーインターフェースを格段的に向上することができる。
これによりこのトラックアトムに係る設定に対応困難な従来機器においては、このプログラムストリームによるQTファイルを再生困難と判断することができ、またプログラムストリームによるQTファイルを再生可能な機器においては、さらに詳細に再生可能か否か判断することができ、これにより種々の機器との間で互換性を維持しつつQTファイルによりMPEG−2システムのプログラムストリームを光ディスク2に記録することができる。
またこのような再生可能な情報のうち、プログラムストリームに係る情報にあっては、基本的な情報と補助的な情報とに分離されてサンプルディスクリプションアトムに割り当てられ、これにより必要に応じてこれら何れかの情報だけを確認して処理可能か否か判定し得、これによってもユーザーインターフェースを格段的に向上することができる。すなわち単にプログラムストリームを再生するだけの場合にあっては、基本的な情報によるシステム情報により再生することができ、さらに編集処理等の場合にあっては補助的な情報を参照して処理し得、これにより再生時の処理を簡略化することができる。
またこのサンプルディスクリプションアトムに、クローズドGOPに係るものか否かの情報が設定されることによっても、いちいちプログラムストリームを再生して見なくてもムービーアトムの再生だけで再生可能か否か判断し得、これによりユーザーインターフェースを格段的に向上することができる。
しかしてこのようにして記録されたQTファイルについて、ユーザーにより再生が指示された場合、ビデオディスク装置1では、このファイルのムービーアトムが光ディスク2より再生されて、このムービーアトムの設定により再生可能か否か判断され、再生可能な場合、メディアデータアトムが順次再生され、ムービーアトムの設定に従ったファイル復号器16の処理によりビデオストリーム、サウンドストリームがデコードされ、ユーザーに提供される。
(3)実施例の効果
以上の構成によれば、プログラムストリームの再生に必要な情報と、このプログラムストリームを構成するストリームの再生に必要な情報とを1つのトラックアトムに設定し、このトラックアトムに対応するトラックにこのプログラムストリームを割り当てることによりより、MPEG−2システムのプログラムストリームをQTファイルにより光ディスク2に記録することができる。
またこのときトラックの再生に必要な情報を定義する管理情報のブロックであるサンプルディスクリプションアトムの拡張データとして、プログラムストリーム、プログラムストリームを構成する各エレメンタリーストリームの再生に必要な情報を設定したことにより、従来フォーマットとの間で互換性を維持しつつ、MPEG−2システムのプログラムストリームによるQTファイルを記録することができる。
またこの再生に必要な情報を、基本的な情報と補助的な情報とに分離して設定したことにより、再生時等の処理を簡略化することができる。
またこのサンプルディスクリプションアトムに、クローズドGOPに係るものか否かの情報を設定することによっても、またMPEG−2システムのプログラムストリームをQTファイルにより光ディスク2に記録するようにして、いちいちプログラムストリームを再生して見なくてもムービーアトムの再生だけで再生可能か否か判断し得、これによりユーザーインターフェースを格段的に向上することができる。
この実施例においては、図9について上述したプログラムストリームの各エレメンタリーストリームの優先順位、図10について上述した各トラックに係る優先順位を有効に利用して、ファイル内容に応じて適切にこれらのトラックを再生する。なおこの実施例に係るQTファイルにおいては、実施例1について上述した設定により作成される。
このためこの実施例においては、実施例1に係るビデオディスク装置1により記録されたQTファイルが編集装置により編集処理され、これにより図11に示すように、撮像結果によるビデオ及びサウンドのストリームに対して効果音によるサウンドストリームが付加されてプログラムストリームが形成され、このプログラムストリームと、バックグラウンドミュージックによる2つのサウンドトラックとによりQTファイルが作成される。
しかしてこの場合、編集装置においては、例えば図1について上述したビデオディスク装置1の記録再生系とほぼ同一の記録再生系により光ディスク2に記録された撮像結果に係るQTファイルを再生しながら、他のソースから入力される効果音によるサウンドストリームとQTファイルより再生されるビデオストリーム、サウンドストリームとによりプログラムストリームを作成して光ディスク2又は他の記録媒体に一旦記録して保持する。またこのプログラムストリームとバックグラウンドミュージックによる2つのサウンドストリームとによりQTファイルを作成する。
編集装置においては、このようにしてプログラムストリームとバックグラウンドミュージックによる2つのサウンドストリームとによりQTファイルを作成する際に、ユーザーによる設定に応じて、図11に示すように優先順位を設定する。
これに対してこの実施例に係る再生装置においては、このようなプログラムストリームに係る2つのサウンドストリームと、別トラックによる2つのサウンドストリームとによる4つのサウンドストリームの全てを再生することが困難な、リソースが限られた機器であり、これにより図19、図20の処理手順によりQTファイルに設定された優先順位に従って、再生可能な範囲でサウンドトラックを選択して再生する。
なおこの再生装置においては、ファイル復号器16、オーディオ復号器14等がこの実施例に係る再生装置に対応して複数のサウンドストリームを処理可能に構成されている点を除いて、図1について上述したビデオディスク装置とほぼ同一の記録再生系であることにより、以下においては、この図1の構成を流用して説明する。
すなわちこの再生装置において、システム制御マイコン19は、ユーザーによりQTファイルの再生が指示されると、ステップSP1からステップSP2に移り、再生対象のストリームを登録する再生ストリームリストを初期化する。なおここで再生ストリームリストにおいては、この再生装置のリソースで再生可能な数だけ再生対象のストリームを登録できるようになされている。続いてシステム制御マイコン19は、ステップSP3に移り、この再生が指示されてなるQTファイルのムービーアトムの再生を指示し、このムービーアトムに設定された先頭トラックアトムの情報を取得する。続いてシステム制御マイコン19は、ステップSP4において、このステップSP3で取得した先頭トラックアトムの情報により、トラックの種別を判定し、続くステップSP5において、このトラックがMPEG−2システムによるプログラムストリームのトラックアトムか否か判断する。
ここで否定結果が得られると、この場合、このトラックアトムにあっては、別トラックによるサウンドストリームのトラックアトムであることにより、ステップSP5からステップSP6に移り、このトラックアトムのユーザーデータアトムに設定された優先順位の情報を取得する。また続くステップSP7において、再生ストリームリストに既に再生可能な数のストリームが登録されており、かつこの取得した情報による優先順位が再生ストリームリストに既に登録済のストリームのうちで最も優先順位が低いものより更に低いか否か判断する。
ここで再生ストリームリストに未だ再生可能な数のストリームが登録されていない場合、又は再生ストリームリストに既に再生可能な数のストリームが登録されており、かつこの取得した情報による優先順位が再生ストリームリストに既に登録済のストリームのうちで最も優先順位が低いものより高い場合、システム制御マイコン19は、ステップSP7からステップSP8に移り、この情報取得に係るトラックアトムに対応するトラックを再生対象として再生ストリームリストに登録する。またこの場合に、再生ストリームリストに既に再生可能な数のストリームが登録されている場合には、登録されているストリームのうちで、最も優先順位の低いストリームを再生対象から除外して、この情報取得に係るトラックアトムに対応するトラックを再生ストリームリストに登録する。システム制御マイコン19は、このようにして再生リストに登録すると、ステップSP9に移る。
これに対して再生ストリームリストに既に再生可能な数のストリームが登録されており、かつこの取得した情報による優先順位が再生ストリームリストに既に登録済のストリームのうちで最も優先順位が低いものより更に低い場合、システム制御マイコン19は、再生トラックリストに登録することなく、直接、ステップSP7からステップSP9に移る。
このステップSP9において、システム制御マイコン19は、メディアデータアトムに設定された全てのトラックアトムについて処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP9からステップSP10に移り、次のトラックアトムに処理対象を切り換えてステップSP4に戻る。
これによりシステム制御マイコン19は、別トラックとしてQTファイルに割り当てられたサウンドトラックについては、このサウンドトラックに対応するトラックアトムに設けられたユーザーデータアトムの優先順位により再生対象を選択するようになされている。
これに対してトラックアトムがMPEG−2システムによるプログラムストリームのトラックアトムの場合、システム制御マイコン19は、ステップSP5で肯定結果が得られることにより、ステップSP5からステップSP11に移る。ここでシステム制御マイコン19は、このトラックアトムのサンプルディスクリプションアトムに設けられているシステム補助情報を取得する。また続くステップSP12において、優先順位の処理に供する変数iを値1に初期化し、続くステップSP13において、このプログラムストリームを構成するエレメンタリーストリームであって、この変数iにより特定されるエレメンタリーストリームについて、ステップSP11で取得したシステム補助情報により優先順位の情報を検出する。
また続くステップSP14において、再生ストリームリストに既に再生可能な数のストリームが登録されており、かつこの取得した情報による優先順位が再生ストリームリストに既に登録済のストリームのうちで最も優先順位が低いものより更に低いか否か判断する。
ここで再生ストリームリストに未だ再生可能な数のストリームが登録されていない場合、又は再生ストリームリストに既に再生可能な数のストリームが登録されており、かつこの取得した情報による優先順位が再生ストリームリストに既に登録済のストリームのうちで最も優先順位が低いものより高い場合、システム制御マイコン19は、ステップSP14からステップSP15に移り、この情報取得に係るエレメンタリーストリームを再生対象として再生ストリームリストに登録する。またこの場合に、再生ストリームリストに既に再生可能な数のストリームが登録されている場合には、登録されているストリームのうちで、最も優先順位の低いストリームを再生対象から除外して、この情報取得に係るエレメンタリーストリームを再生ストリームリストに登録する。システム制御マイコン19は、このようにして再生ストリームリストに登録すると、ステップSP16に移る。
これに対して再生ストリームリストに既に再生可能な数のストリームが登録されており、かつこの取得した情報による優先順位が再生ストリームリストに既に登録済のストリームのうちで最も優先順位が低いものより更に低い場合、システム制御マイコン19は、再生トラックリストに登録することなく、直接、ステップSP14からステップSP16に移る。
システム制御マイコン19は、このステップSP16において、プログラムストリームの全てのエレメンタリーストリームについて、処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP16からステップSP17に移り、変数iを歩進した後、ステップSP13に戻る。これによりシステム制御マイコン19は、プログラムストリームを構成する各エレメンタリーストリームについては、サンプルディスクリプションアトムに設定された各優先順位を順次検出して再生対象に設定し、プログラムストリームを構成する各エレメンタリーストリームの全てについて処理を完了すると、ステップSP16で肯定結果が得られることにより、ステップSP16からステップSP9に移る。
またこのQTファイルの全てのトラックについて処理を完了すると、ステップSP9で肯定結果が得られることにより、ステップSP9からステップSP18に移り、この処理手順を終了する。
これらの処理により、システム制御マイコン19は、ムービーアトムに設定された優先順位に従って再生可能な範囲で再生対象を再生ストリームリストに登録する。またこの再生ストリームリストの登録に従って、対応するトラックのみ再生してユーザーに提供する。
この実施例によれば、QTファイルによりプログラムストリームを記録するようにして、このプログラムストリームを構成する各エレメンタリーストリームに再生時の優先順位を設定することにより、ファイルの内容に応じてプログラムストリームを適切に再生することができる。
また他のトラックについても、優先順位を設定することにより、プログラムストリームによるトラックと、他のトラックとを混在させてQTファイルを作成する場合にあっても、ファイルの内容に応じて各ストリームを適切に再生することができる。
また再生側においては、このように設定されてなる優先順位の設定に応じて再生対象を選択することにより、ファイルの内容に応じて各ストリームを適切に再生することができる。
この実施例においては、実施例2について上述した優先順位に従って、サウンドトラックをミキシングして出力し、これによりQTファイルに設定された優先順位を有効に利用して、ファイル内容に応じて適切にこれらのトラックを再生する。なおこの実施例に係るQTファイルにおいては、実施例2に係るQTファイルと同一に形成されることにより、重複した説明については省略する。
しかしてこの実施例に係る再生装置においては、再生が指示されたQTファイルに対して十分なリソースを有している点を除いて、具体的には、ファイル復号器16、オーディオ復号器14等がこの実施例に係る再生装置に対応して複数のサウンドストリームを処理可能に構成されている点を除いて、図1について上述したビデオディスク装置1とほぼ同一の記録再生系であることにより、以下においては、この図1の構成を流用して説明する。
この再生装置のシステム制御マイコン19は、図21、図22の処理手順の実行によりQTファイルの各ストリームについて、優先順位の情報を検出してミキシングの比率を設定する。すなわちシステム制御マイコン19は、ユーザーによりQTファイルの再生が指示されると、ステップSP21からステップSP22に移り、サウンドリストを初期化する。ここでサウンドリストは、サウンドトラックの識別子を優先順位と共に記録するリストである。続いてシステム制御マイコン19は、ステップSP23に移り、この再生が指示されてなるQTファイルのムービーアトムの再生を指示し、このムービーアトムに設定された先頭トラックアトムの情報を取得する。続いてシステム制御マイコン19は、ステップSP24において、このステップSP23で取得した先頭トラックアトムの情報により、トラックの種別を判定し、続くステップSP25において、このトラックがMPEG−2システムによるプログラムストリームのトラックアトムか否か判断する。
ここで否定結果が得られると、この場合、このトラックアトムにあっては、別トラックによるサウンドストリーム等のトラックアトムであることにより、ステップSP25からステップSP26に移り、このトラックがサウンドトラックか否か判断する。ここでこのトラックがビデオトラックの場合等にあっては否定結果が得られ、システム制御マイコン19は、ステップSP26からステップSP27に移り、全てのトラックアトムについて処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP27からステップSP28に移り、次のトラックアトムに処理対象を切り換えてステップSP24に戻る。
これに対してステップSP26で肯定結果が得られると、システム制御マイコン19は、ステップSP26からステップSP29に移り、このトラックアトムのユーザーデータアトムに設定された優先順位の情報を取得する。また続くステップSP30において、この取得した優先順位の情報を、対応するトラックの識別子と共にサウンドリストに登録し、ステップSP27に移る。
これによりシステム制御マイコン19は、この場合も、別トラックによるサウンドトラックについてはユーザーデータアトムに設定された優先順位の情報を順次取得し、この取得した優先順位の情報をサウンドリストに登録するようになされている。
これに対してステップSP25で肯定結果が得られると、システム制御マイコン19は、ステップSP25からステップSP31に移る。ここでシステム制御マイコン19は、優先順位の処理に供する変数iを値1に初期化し、続くステップSP32において、このプログラムストリームを構成するエレメンタリーストリームであって、この変数iにより特定されるエレメンタリーストリームについて、サンプルディスクリプションアトムのシステム情報(フォーマットアトム)よりストリームの種別を示す情報を取得する。また続くステップSP33において、この取得した情報によりサウンドストリームか否か判断し、ここで否定結果が得られると、ステップSP33からステップSP34に移り、プログラムストリームの全てのエレメンタリーストリームについて、処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP34からステップSP35に移り、変数iを歩進した後、ステップSP32に戻る。
これに対してステップSP33で肯定結果が得られると、システム制御マイコン19は、ステップSP33からステップSP36に移り、このストリームについての優先順位の情報を取得した後、ステップSP37おいて、この取得した優先順位をサウンドストリームを特定する識別子を共にサウンドリストに登録し、ステップSP34に移る。これによりこの場合も、システム制御マイコン19は、プログラムストリームについては、プログラムストリームを構成する各サウンドストリームの優先順位を順次、対応するサンプルディスクリプションアトムにより取得し、プログラムストリームを構成する全てのストリームについて処理を完了すると、ステップSP34で肯定結果が得られることにより、ステップSP34からステップSP27に移る。
またこのQTファイルを構成する全てのトラックについて処理を完了すると、ステップSP27で肯定結果が得られることにより、ステップSP27からステップSP38に移る。ここでシステム制御マイコン19は、サウンドリストに登録された優先順位に応じて各サウンドトラックにミキシングの比率を設定し、続くステップSP39において、この比率によるミキシングをオーディオ復号器14に指示した後、ステップSP40に移ってこの処理手順を終了する。
図23は、このステップSP38に係る比率設定の処理手順を示すフローチャートである。システム制御マイコン19は、この処理手順において、ステップSP42からステップSP43に移り、ここでサウンドリストに登録された優先順位のうち値の最も小さいものが値1になるように、各優先順位の値を所定値により割り算し、これにより優先順位の情報を正規化する。
続いてシステム制御マイコン19は、ステップSP44に移り、ここでサウンドリストの先頭に登録された優先順位に係る情報を取得し、続くステップSP45において、この取得した正規化してなる優先順位の値が値1以上、値10未満か否か判断する。ここで肯定結果が得られると、システム制御マイコン19は、ステップSP45からステップSP46に移り、このトラックについての比率を値1.0に設定した後、ステップSP47に移り、サウンドリストに登録された全てのストリームについて処理を完了したか否か判断する。ここで否定結果が得られると、ステップSP48に移り、処理対象を次のサウンドリストの内容に設定した後、ステップSP45に戻る。
これに対してステップSP45で否定結果が得られると、システム制御マイコン19は、ステップSP45からステップSP49に移る。ここでシステム制御マイコン19は、正規化してなる優先順位の値が値10以上、値50未満か否か判断する。ここで肯定結果が得られると、システム制御マイコン19は、ステップSP49からステップSP50に移り、このストリームについては比率を値0.5に設定した後、ステップSP47に移る。
これに対してステップSP49で否定結果が得られると、システム制御マイコン19は、ステップSP49からステップSP51に移り、このストリームについては比率を値0に設定した後、ステップSP47に移る。
これによりシステム制御マイコン19は、各ストリームに設定された優先順位に応じて各ストリームに比率を設定するようになされている。しかして図11の設定に係る優先順位をこの処理手順により処理した場合、図11との対比により図24に示すように、各ストリームに比率が設定されることになる。
システム制御マイコン19は、この比率により各ストリーミングの再生出力を重み付け加算して出力するように、オーディオ復号器14に復号結果の処理を指示し、これにより優先順位に従って各ストリーミングをミキシングして出力し、これによりファイルの内容に応じて各ストリームを適切に再生するようになされている。
しかして従来のQTファイルにおいては、複数のサウンドストリームをミキシングして再生する場合に、各ストリームが対等に扱われる。これによりトラック毎に強弱をつける場合には、予めトラックに収納する実データ自体、音量を可変して収納し、又は音量制御用のトラックを別途設けることが必要であった。
しかしながらこの実施例のように優先順位によりミキシングの比率を設定するようにすれば、このようなQTファイルに係る事前の処理を省略することもできる。
この実施例によれば、QTファイルによるプログラムストリーム、各エレメンタリーストリームに設定された優先順位に従った比率により各ストリームをミキシングして出力することにより、ファイルの内容に応じてプログラムストリームを適切に再生することができる。
この実施例においては、QTファイルの再生装置において、上述の実施例2、実施例3の処理を組み合わせて各ストリーミングを処理する。すなわち優先順位に従って再生ストリーミングリストにストリームを登録することにより、再生可能な範囲で、優先順位の高いストリーミングを選択的に取得し、この優先順位の高いストリーミングについて、優先順位により比率を設定し、この比率によりストリーミングをミキシングして出力する。
またこの実施例では、ビデオストリームについても、同様にして処理する。なおこのビデオストリームにおける処理においては、単にミキシングにより出力するだけでなく、比率が少ないストリームについては、フレームレートを落とす場合、解像度を低下させる場合、色彩に係る階調を低下させる場合等が考えられる。
この実施例のように、再生可能な範囲で優先順位によりストリームを選択し、この選択したストリームで優先順位に従った比率によりミキシングするようにしても、ファイルの内容に応じてプログラムストリームを適切に再生することができる。
またビデオストリームに適用することにより、ビデオストリームに関して、ファイルの内容に応じてプログラムストリームを適切に再生することができる。
この実施例においては、オープンGOPにより符号化処理されたビデオストリームにあっては処理困難な編集装置に適用して、図8について上述したGOPを示す識別情報により、編集可能なファイルか否かの判断を実行し、編集困難なファイルにあってはユーザーによる編集の指示を無視し、ユーザーに編集困難な旨、通知する。
なおこの実施例に係る編集装置においては、このようなファイルの処理に係る点を除いて、図1について上述したビデオディスク装置1と記録再生系がほぼ同一に構成されることにより、以下においては、この図1の構成を流用して説明する。
図25は、このファイルに係るシステム制御マイコン19の処理手順を示すフローチャートである。システム制御マイコン19は、ユーザーにより編集対象のファイルが指示されると、この処理手順を開始し、ステップSP51からステップSP52に移る。ここでシステム制御マイコン19は、ユーザーにより指示されてなるQTファイルのムービーアトムの再生を指示し、このムービーアトムに設定された先頭トラックアトムの情報を取得する。続いてシステム制御マイコン19は、ステップSP53において、このステップSP52で取得した先頭トラックアトムの情報により、トラックの種別を判定し、続くステップSP54において、このトラックがMPEG−2システムによるプログラムストリームのトラックアトムか否か判断する。
ここで否定結果が得られると、システム制御マイコン19は、ステップSP54からステップSP55に移り、全てのトラックアトムについて処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP55からステップSP56に移り、次のトラックアトムに処理対象を切り換えてステップSP53に戻る。
これに対してステップSP54で肯定結果が得られると、ステップSP54からステップSP57に移り、ここでこのトラックアトムのサンプルディスクリプションアトムに設定されたシステム補助情報を取得する。また続くステップSP58において、このシステム補助情報に設定されているフラグがクローズドGOPを示すように設定されているか否か判断し、ここで肯定結果が得えられると、ステップSP58からステップSP55に移る。これによりシステム制御マイコン19は、順次トラックアトムを取得してMPEG−2のプログラムストリームを検出し、MPEG−2のプログラムストリームの場合にはクローズドGOPによるものか否か判断する。
しかしてこのようにして検出されるMPEG−2のプログラムストリームのビデオストリームがオープンGOPの場合、システム制御マイコン19は、ステップSP58で否定結果が得られることにより、ステップSP59に移り、このユーザーにより指定されたQTファイルを編集不可能に設定した後、ステップSP60に移ってこの処理手順を終了する。
これに対して全てのトラックアトムを検出して、MPEG−2のプログラムストリームが検出されない場合、さらにはMPEG−2のプログラムストリームにおいて、ビデオストリームがクローズドGOPにより形成されている場合、システム制御マイコン19は、ステップSP55で肯定結果が得られることにより、ステップSP55からステップSP61に移り、このユーザーにより指定されたQTファイルを編集可能に設定した後、ステップSP60に移ってこの処理手順を終了する。
この実施例のようにサンプルディスクリプションアトムに設定されたクローズドGOPか否かを示す識別情報により処理可能なファイルか否か判断することにより、QTファイルによりプログラムストリームを記録するようにして、いちいちプログラムストリームを再生して解析しなくても処理可能か否か判断することができ、その分、ユーザーインターフェースを向上することができる。
この実施例においては、エディットアトムの設定により非破壊編集処理されたQTファイルの再生装置に本発明を適用する。すなわちQTファイルにおいては、エディットアトムの設定により、例えば図26に示すように、オリジナルによるMPEG−2のプログラムストリーム(図26(A))が、符号A、B、Cによるシーンの連続により形成されている場合に、エディットアトムを設定し直したリソースファイルを作成してこのオリジナルのメディアデータアトムを外部参照に設定することにより、オリジナルのQTファイルF1には何ら変更を加えることなく、図26(B)に示すように、シーンBを飛ばして再生するように設定されたQTファイルF2を作成することができる。
また図27に示すように、それぞれMPEG−2のプログラムストリームによるQTファイルF1、F2に対して、これらQTファイルのメディアデータアトムを参照して、エディットアトムの設定により、ファイルF1、F2を順次再生するように設定されたQTファイルを作成することができる。
この実施例においては、このような編集処理によるQTファイルを再生する再生装置に適用して、これらの繋ぎにおいて、図8について上述したGOPを示す識別情報に基づいて、処理量を低減し、さらにはQTトラック上における再生時間と実際の再生時間とのずれを補正する。なおこの実施例においても、図1について上述した記録再生系を流用して説明する。
すなわちこの実施例において、システム制御マイコン19は、ユーザーによりこの種のファイルの再生が指示されると、エディットリストの記述に従って再生対象であるプログラムストリームについて、対応するトラックアトムの情報を取得する。システム制御マイコン19は、この情報によりサンプルディスクリプションアトムに設定されたクローズドGOPを示す識別情報を取得する。
この識別情報の取得により、例えば図27に示すシーンAとシーンBとの繋ぎの部分において、後続する側のシーンBの全てがクローズドGOPにより符号化処理されていることが確認された場合、システム制御マイコン19は、エディットアトムの記述に従ってシーンAとシーンBとを順次再生してユーザーに提供する。これにより後続する側がクローズドGOPのみにより符号化処理されていることが確認された場合にあっては、格段的に処理量を低減することができる。
これに対して後続する側のシーンBの全てがクローズドGOPにより符号化処理されているものでは無いものの、このシーンBの先頭GOPについては、少なくともクローズドGOPにより符号化処理されている場合、システム制御マイコン19は、シーンBについては、再生可能な位置より再生を開始する。すなわちこの場合、シーンBの先頭GOPのIピクチャーがシーンBに含まれている場合には、このIピクチャーからシーンBの再生を開始し、シーンBの先頭GOPのIピクチャーがシーンBに含まれていない場合には、続くGOPのIピクチャーからシーンBの再生を開始する。またこのようにしてシーンBの再生開始位置を変更した分、シーンAの再生終了時点をエディットアトムにより指示される時点より後方側に延長する。これにより処理が容易なようにストリームを切り換えるタイミングを変更し、またこの変更による実際の再生時間と、QTトラック上における再生時間とのずれを補正する。
なおこのような処理に代えて、後続する側のシーンBの全てがクローズドGOPにより符号化処理されているものでは無く、かつこのシーンBの先頭GOPがオープンGOPによるものの場合、シーンBについては、再生可能な位置より再生を開始し、その分、シーンAの再生終了時点をエディットアトムにより指示される時点より後方側に延長するようにしてもよい。これにより処理が容易なように、ストリームを切り換えるタイミングを変更し、またこの変更による実際の再生時間と、QTトラック上における再生時間とのずれを補正することができる。
またこれに代えて後続する側のシーンBの全てがクローズドGOPにより符号化処理されているものの場合についてのみ、編集されたファイルを再生するようにしてもよい。また後続するシーンBの先頭がオープンGOPの場合に処理を途中で中止するようにしてもよい。なおこれらの場合、ユーザーインターフェースによりユーザーへの通知が必要になる。
この実施例のように、QTファイルによりプログラムストリームを記録するようにして、編集処理されてなるファイルの再生時、サンプルディスクリプションアトムに設定されたクローズドGOPか否かを示す識別情報により処理を切り換えることにより、この種のファイルの再生に係る処理を簡略化することができる。またこのようにすれば、再生途中でエラーの発生、処理停止を防止し得、このようなエラーの発生、処理の停止によるユーザーの不快感を軽減することができる。
この実施例においては、編集装置に適用して、エディットアトムによる非破壊編集の際に、サンプルディスクリプションアトムに設定されたクローズドGOPか否かを示す識別情報により処理を切り換える。なおこの実施例においても、図1の構成を流用して説明する。
すなわちシステム制御マイコン19は、ユーザーによる再生の指示に応動して編集対象の選択、編集点の設定を受け付けてエディットアトムを設定し、このエディットアトムによりムービーアトムを設定し、オリジナルのQTファイルに設定されたトラックを参照する外部参照形式により編集結果のファイルを作成する。
この処理において、編集対象のファイルのサンプルディスクリプションアトムに設定されたクローズドGOPか否かを示す識別情報により、クローズドGOPのみにより符号化処理されたQTファイルについてのみ、編集の処理を受け付ける。これによりこの実施例においては、システムにおける処理を軽減し、簡易な構成により編集処理できるようになされている。
このようにして編集処理を受け付けないファイルにあっては、編集開始前に、編集できないことをユーザーインターフェースにより通知することにより、処理を開始した後におけるエラー、処理の停止等を有効に回避し得、その分、これらエラー、処理の停止等によるユーザーの不快感を軽減することができる。
なおこのような処理に代えて、オープンGOPによる部分についてクローズドGOPにより再エンコードして編集処理することでもでき、この場合にあっては、いちいちプログラムストリームを再生してクローズドGOPか否か判断しなくても良いことにより、処理を軽減することができる。
この実施例のように、QTファイルによりプログラムストリームを記録するようにして、編集処理時、サンプルディスクリプションアトムに設定されたクローズドGOPか否かを示す識別情報により処理を切り換えることにより、この編集処理を簡略化することができる。またこのようにすれば、再生途中でエラーの発生、処理停止を防止し得、このようなエラーの発生、処理の停止によるユーザーの不快感を軽減することができる。
この実施例においては、編集装置、この編集装置により編集されたファイルの再生装置に適用して、ストリームコントロールトラックによりプログラムストリームの各ストリームを詳細に制御する。
すなわちこの実施例において、編集装置においては、ユーザーにより指示されたファイルを再生しながらユーザーによる指示により、このファイルに設けられているサウンドストリームについて、図12に示すように、再生出力、再生出力の停止の設定を受け付ける。編集装置は、この設定による編集リストを作成し、この編集リストより、編集対象のプログラムストリームに割り当てられているサウンドストリームについての情報を取得し、これによりストリームコントロールトラックを作成する。また残るサウンドストリームにあっては、対応するトラックアトムのエディットアトム、サンプルテーブルアトムにより再生出力の期間、再生出力を停止する期間を設定する。
編集装置は、このように作成したストリームコントロールトラックを実データによるトラックに設定し、他のサウンドトラックによる実データ、プログラムストリームによる実データについては、オリジナルのファイルを参照する形式によりリソースを作成することにより、編集結果のファイルを作成する。
これによりこの実施例では、細かく複数のサウンドストリームを制御できるようになされ、その分、この種のファイルに係る使い勝手を向上するようになされている。
またこのストリームコントロールトラックにあっては、メディアデータアトムに割り当てられてトラックにより提供されることにより、このようにして作成した編集結果に係るストリームコントロールトラックを参照して更なる編集処理を実行することができる。しかしてこの場合、いわゆるオリジナルであるストリームコントロールトラックを変更すれば、このようにして参照してなる他の編集結果にも変更を反映させることができ、その分、処理の効率化、メンテナンスの簡略化を図ることができる。
図28〜図31は、このようにしてストリームコントロールトラックが設けられてなるQTファイルを再生する再生装置に係る処理手順を示すフローチャートである。この再生装置においては、このストリームコントロールトラックに関連する構成が異なる点を除いて、図1について上述したビデオディスク装置1と記録再生系がほぼ同一に構成されることにより、図1の構成を流用して説明する。
この再生装置1においては、ユーザーによりファイルの再生が指示されると、この処理手順を開始してステップSP71からステップSP72に移り、ここで制御リストを初期化する。ここで制御リストは、このファイルに割り当てられたプログラムストリームによるサウンドストリームを制御するリストである。またシステム制御マイコン19は、続くステップSP73において、再生対象リストを初期化する。ここで再生対象リストは、このファイルに割り当てられたトラックについて再生対象を特定するリストである。
続いてシステム制御マイコン19は、ステップSP74に移り、ここでムービーアトムの再生によりストリームコントロールトラックが存在するか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP74からステップSP75に移り、ムービーアトムの情報より先頭トラックアトムの情報を取得する。
システム制御マイコン19は、続くステップSP76において、この取得したトラックアトムの情報により対応するトラックの種類を検出し、続くステップSP77において、このトラックがMPEG−2のプログラムストリームか否か判断する。ここで肯定結果が得られると、システム制御マイコン19は、ステップSP77からステップSP78に移り、このトラックアトムのエディットアトム、サンプルテーブルアトムを解析し、続くステップSP79において、この解析結果によりサンプルテーブルアトムにより設定された各サンプルについて、再生開始時間、再生終了時間、サウンドストリームの識別子を再生対象リストに登録する。
続いてシステム制御マイコン19は、ステップSP80に移り、全てのトラックアトムについて処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP80からステップSP81に移り、処理対象を次のトラックアトムに切り換えた後、ステップSP76に戻る。
これに対してステップSP77で否定結果が得られると、システム制御マイコン19は、ステップSP77からステップSP82に移り、対応するトラックがサウンドトラックか否か判断し、ここで否定結果が得られると、ステップSP80に移る。これに対してステップSP82で肯定結果が得られると、システム制御マイコン19は、ステップSP82からステップSP83に移り、このトラックアトムのエディットアトム、サンプルテーブルアトムを解析し、続くステップSP84において、この解析結果によりサンプルテーブルアトムにより設定された各サンプルについて、再生開始時間、再生終了時間、対応するトラックの識別子を再生対象リストに登録した後、ステップSP80に移る。
またこのようにして全てのトラックアトムについて処理を完了すると、ステップSP80で肯定結果が得られることにより、ステップSP80からステップSP86に移ってこの処理手順を終了する。
これによりシステム制御マイコン19は、ストリームコントロールトラックが設けられていない場合には、各トラックに設定されたエディットアトムにより、各サウンドトラック、サウンドストリームについて、再生開始、再生終了を指示する再生対象リストを生成するようになされている。
これに対してステップSP74で肯定結果が得られると、ステップSP74からステップSP88に移り、このストリームコントロールトラックに係るトラックアトムの情報を取得する。また続くステップSP89において、このトラックアトムのサンプルテーブルアトム、エディットアトムの情報を取得して解析し、この解析結果により続くステップSP90において、検出されたストリームコントロールトラックより先頭サンプルを再生する。システム制御マイコン19は、この先頭サンプルの情報により、続くステップSP91において、このサンプルの再生開始時間、再生終了時間、イネーブルに設定されているサウンドストリームの識別子を制御リストに登録し、続くステップSP92において、ストリームコントロールトラックの末尾のサンプルまで処理を完了したか否か判断する。
ここで否定結果が得られると、システム制御マイコン19は、ステップSP92からステップSP93に移り、処理対象を次のサンプルに設定した後、ステップSP89に戻る。これによりシステム制御マイコン19は、ストリームコントロールトラックにサンプルにより登録されている情報を順次取得して制御リストに登録するようになされている。
しかして全てのサンプルについて処理を完了すると、システム制御マイコン19は、ステップSP92で肯定結果が得られることにより、ステップSP92からステップSP95に移る。ここでシステム制御マイコン19は、ムービーアトムの情報より先頭トラックアトムの情報を取得する。
システム制御マイコン19は、続くステップSP96において、この取得したトラックアトムの情報により対応するトラックの種類を検出し、続くステップSP97において、このトラックがMPEG−2のプログラムストリームか否か判断する。ここで肯定結果が得られると、システム制御マイコン19は、ステップSP97からステップSP98に移り、このトラックアトムのエディットアトム、サンプルテーブルアトムを解析し、続くステップSP99において、この解析結果によりサウンドストリームの識別子を取得する。
システム制御マイコン19は、続くステップSP100において、この識別子により制御リストに記録した対応するストリームに係る情報を取得し、この情報を再生対象リストに対応する形式による仮リスト(DList)に登録する。また続くステップSP101において、エディットアトムによりプログラムストリームの再生が停止されている期間について、仮リストにおいて何れのサウンドストリームも再生しないように補正することによりストリームコントロールトラックの記述をエディットアトムの記述により補正し、続くステップSP102において、このようにして補正してなる仮リストの記録を制御対象リストに登録する。
また続くステップSP103において、全てのサウンドストリームについて処理を完了したか否か判断し、ここで否定結果が得られると、ステップSP103からステップSP104に移り、次のサウンドストリームに処理対象を切り換えた後、ステップSP100に戻る。
これに対して全てのサウンドストリームについて処理を完了すると、システム制御マイコン19は、ステップSP103で肯定結果が得られることにより、ステップSP103からステップSP105に移り、ここで全てのトラックを処理したか否か判断する。ここで否定結果が得られると、システム制御マイコン19は、ステップSP105からステップSP106に移り、続くトラックに処理対象を切り換えた後、ステップSP96に戻る。
これに対してステップSP97で否定結果が得られると、システム制御マイコン19は、ステップSP97からステップSP110に移り、ここでこのトラックアトムに係るトラックがサウンドトラックか否か判断し、ここで肯定結果が得られると、サンプルテーブルアトム、エディットアトムを解析し、続くステップSP112において、この解析結果により再生対象リストに再生開始時間等を記録した後、ステップSP105に移る。これに対してステップSP110で否定結果が得られると、直接、ステップSP110からステップSP105に移る。
これによりシステム制御マイコン19は、再生対象リストを順次設定した後、全てのトラックについて処理を完了すると、ステップSP105で肯定結果が得られることにより、ステップSP105からステップSP114に移ってこの処理手順を終了する。
システム制御マイコン19は、このようにして編集対象リストを作成すると、この編集対象リストに設定されたサウンドトラック、サウンドストリームを再生するように全体の動作を制御し、また編集対象リストの記録に従ってオーディオ復号器14の動作を制御することにより、この再生結果によるサウンドの出力、非出力を制御し、これによりストリームコントロールトラックの設定に従ってサウンドストリームに係る再生を制御するようになされている。
この実施例によれば、QTファイルによりプログラムストリームを記録するようにして、このプログラムストリームに係る実データと同様のトラックによりプログラムストリームの再生を制御するトラックを形成することにより、プログラムストリームを構成する複数のトラックを詳細に制御することができ、その分、使い勝手を向上することができる。
この実施例においては、実施例8について上述したストリームコントロールトラックと、実施例3について上述した優先順位によるミキシングとの組み合わせにより、QTファイルを再生する。
この実施例のように、上述したストリームコントロールトラックと、優先順位によるミキシングとの組み合わせにより、QTファイルを再生するようにすれば、さらに一段と詳細に制御してQTファイルを再生することができる。
なお上述の実施例においては、ストリームコントロールトラックにより単に再生結果の出力、非出力を制御する場合について述べたが、本発明はこれに限らず、例えばミキシングに係る比率を定義して制御する場合等、種々の制御に広く適用することができる。
また上述の実施例においては、MPEG−2のプログラムストリームを処理する場合について述べたが、本発明はこれに限らず、例えばMPEG−2によるトランスポートストリーム、各種フォーマットによるプログラムストリーム等、ビデオ、サウンドによるエレメンタリーストリームを多重化してなるストリームの処理に広く適用することができる。
また上述の実施例においては、QTファイルによるビデオディスク装置等に本発明を適用する場合について述べたが、本発明はこれに限らず、例えばQTフォーマットを基準にしたISO Base Mediaファイルフォーマット(MPEG4−part12)、 Motion JPEG2000(MJ2)ファイルフォーマット、AVC(Advanced Video Coding :MPEG4−part10)ファイルフォーマット等、QTファイルと同様の構造によるファイルの記録装置、再生装置等に広く適用することができる。
また上述の実施例においては、光ディスクにQTファイルを記録する場合等について述べたが、本発明はこれに限らず、磁気ディスク、メモリカード等、種々の記録媒体に記録する場合にも広く適用することができる。
本発明は、例えばビデオディスク装置に適用することができる。
本発明の実施例1に係るビデオディスク装置を示すブロック図である。
QTファイルのアトムの説明に供する略線図である。
QTファイルのフォーマットの説明に供する図表である。
サンプルディスクリプションアトムの説明に供する図表である。
サンプルディスクリプションエントリの説明に供する図表である。
図5のサンプルディスクリプションエントリの具体例を示す図表である。
ストリームディスクリプションアトムを示す図表である。
図7のストリームディスクリプションアトムのビデオストリームフラグを示す図表である。
図7のストリームディスクリプションアトムのストリーム情報を示す図表である。
トラックプロパティアトムを示す図表である。
プログラムストリームの説明に供する図表である。
ストリームコントロールトラックを示す図表である。
ストリームコントロールトラックのサンプルデータを示す図表である。
図13のサンプルデータに係るストリームコントロールエレメントを示す図表である。
コントロールコマンドを示す図表である。
コントロールデータを示す図表である。
ストリームコントロールトラックの具体例を示す図表である。
ストリームコントロールトラックの他の具体例を示す図表である。
QTファイルに設定された優先順位に従ったサウンドトラックの再生処理手順を示すフローチャートである。
図19の続きを示すフローチャートである。
QTファイルに設定された優先順位に従ったミキシングの処理手順を示すフローチャートである。
図21の続きを示すフローチャートである。
図21の処理手順における比率設定処理手順を示すフローチャートである。
図23の処理により設定された比率を示す図表である。
クローズドGOPの識別子に係る処理手順を示すフローチャートである。
エディットアトムによる編集処理の説明に供する略線図である。
図26とは異なる例による編集処理の説明に供する略線図である。
ストリームコントロールトラックによるQTファイルの再生処理手順を示すフローチャートである。
図28の続きを示すフローチャートである。
ストリームコントロールトラックに係る図28の続きを示すフローチャートである。
図30の続きを示すフローチャートである。
符号の説明
1……ビデオディスク装置、2……光ディスク、11……ビデオ符号器、12……オーディオ符号器、15……ファイル生成器、15A、17、20……メモリ、19……システム制御マイコン