JP2931121B2 - マルチメディアデータの編集方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ゲーム用や教育用など
のマルチメディア情報の編集に利用されるマルチメディ
アデータの編集方法に関するものである。

【０００２】

【従来の技術】現在、ゲーム用や教育用などのフレーム
構成のビデオデータにデータ量を圧縮するための符号化
を施すと共にオーディオデータと組合せるための編集を
行いながらＣＤ−ＲＯＭに記録し、再生するマルチメデ
ィアデータの記録・再生システムが開発中である。

【０００３】従来、ＣＤ−ＲＯＭにビデオデータとオー
ディオデータを同期させながら記録する方法として、セ
クタインタリーブ方式が知られている。このセクタイン
タリーブ方式は、オーディオデータを１／ｎに圧縮して
ｎセクタ跳びに記録してゆくと共に、残る（ｎ−１）個
のセクタには圧縮画像データを記録してゆく方法であ
る。

【０００４】

【発明が解決しようとする課題】上記セクタインタリー
ブ方式によるビデオデータとオーディオデータの同期化
記録方法では、セクタの利用効率を高めようとすれば、
オーディオデータのチャンネル数や、ビデオデータの圧
縮率とオーディオデータの圧縮率との関係など種々の制
約が生じるという問題がある。また、特開平２−１４９
９９１号「画像信号および音声信号のディジタルオーデ
ィオテープファイル編集方法」には、画像データと対応
する音声データをパケットとしてＤＡＴに記録するのに
用いる編集方法が開示されている。しかしながら、この
方法は、テープ上に予め画像と音声のそれぞれの記録領
域を確保しておき、それぞれの領域に圧縮画像と圧縮音
声の各データをはめ込んで記録するようにしているた
め、画像データも音声データもそれぞれの記録領域の記
録容量に合わせたデータ圧縮方式を採用することが大前
提であり、従って採用できる圧縮方式或いは圧縮モード
が制約を受けることは避けられず、一方また極端に圧縮
率の高いデータ圧縮方式を採用した場合には、記録容量
を十分に活用できないために、無駄な空き領域を残すこ
とになる等の課題を抱えるものであった。

【０００５】

【課題を解決するための手段】本発明に係わるマルチメ
ディアデータの編集方法は、フレーム構成のビデオデー
タを、先頭フレームにフレームレートを付加しかつフレ
ームごとにタイムコードを付加した上で圧縮符号化し、
メモリに格納する段階と、オーディオデータを、先頭に
のみ記録開始時点を示す記録開始タイムコードと圧縮モ
ードを示すデータを付加した上で圧縮符号化し、メモリ
に格納する段階と、前記圧縮モードに応 じて決まる前記
オーディオデータのビットレート及び前記ビデオデータ
のフレームレートから１フレーム分のビデオデータに付
加すべきオーディオデータのビット量を算定し、前記メ
モリに格納したオーディオデータを、前記記録開始タイ
ムコードを始点として前記算定したビット量を単位に先
頭から区切り、前記ビデオデータの各フレームに付加さ
れたタイムコードを参照して前記メモリに格納したビデ
オデータにフレーム単位で結合してゆく段階とを含むこ
とを特徴とするものである。 また、前記フレーム単位で
結合されたビデオデータとオーディオデータは、記録装
置の最小アクセス単位の記憶容量の整数倍を最小の記録
単位とする階層構造を呈することを特徴とするものであ
る。

【０００６】

【実施例】図１は、本発明の一実施例に係わるマルチメ
ディア編集装置の構成を示すブロック図であり、１，４
はＡ／Ｄ変換器、２，５はタイムコード（ＴＣ）書込み
回路、３はビデオエンコーダ、６はオーディオエンコー
ダ、７はタイムコード読取回路、８はホストコンピュー
タ、９はバス、１０はメモリである。更に、１１はバッ
ファメモリ、１２はビデオデコーダ、１３，１５はＤ／
Ａ変換器、１４はオーディオデコーダ、１６はモニタで
ある。

【０００７】Ａ／Ｄ変換器１，４とタイムコード読取回
路７には、業務用のビデオテープレコーダ（ＶＴＲ）か
らフレーム構成のアナログ・ビデオデータと、アナログ
・オーディオデータと、タイムコード（ＴＣ）とが供給
される。テープレコーダから供給されるアナログ・ビデ
オデータはＡ／Ｄ変換器１でディジタル・ビデオデータ
に変換され、タイムコード書込回路２によるタイムコー
ドの書込みを受け、ビデオエンコーダ３でデータ圧縮の
ための符号化、すなわち離散コサイン変換、量子化及び
可変長符号化を組合せたハイブリッド符号化を受ける。
圧縮済みのビデオデータは、バス９を介してホストコン
ピュータ８に転送され、ここで各種の編集を受けたのち
ビデオ・キャプチャーファイルとしてバス９を介して一
旦メモリ１０に書込まれる。

【０００８】テープレコーダから供給されるアナログ・
オーディオデータはＡ／Ｄ変換器４でディジタル・オー
ディオデータに変換され、タイムコード書込回路５でタ
イムコードが書込まれ、オーディオエンコーダ３でデー
タ圧縮のためのＡＤＰＣＭによる符号化が行われる。圧
縮済みのオーディオデータは、バス９を介してホストコ
ンピュータ８に転送され、ここで各種の編集を受けたの
ちバス９を介してオーディオ・キャプチャーファイルと
して一旦メモリ１０に書込まれる。

【０００９】上記ビデオ・キャプチャーファイルとオー
ディオ・キャプチャーファイルの作成とメモリ１０への
書込みは、まず、ビデオ・キャプチャーファイルの作成
とメモリ１０への書込みが行われ、続いてオーディオ・
キャプチャーファイルの作成とメモリ１０への書込みが
行われるという具合に、２回に分けて行われる。ビデオ
・キャプチャーファイルは、図２に示すように、ビデオ
・データファイルと、ビデオ・アトリビュートファイル
から構成される。オーディオ・キャプチャーファイル
は、図３に示すように、オーディオ・データファイルと
オーディオ・アトリビュートファイルから構成される。

【００１０】図２に示したビデオ・キャプチャーファイ
ルを構成するビデオ・データファイルは、図４に示すよ
うに、フレーム＃１，フレーム＃２・・・・のようにフ
レーム単位で編成される可変長のブロックデータを含
み、それぞれの先頭には固定長のヘッダが付加される。
ここでブロックは、離散コサイン変換に先立って等分割
されるフレーム内の単位領域である。固定長のヘッダ
は、タイムコード（ＴＣ）と、ビデオデータが動画であ
るか静止画であるかを示すビデオタイプ（Ｔ）と、フレ
ーム（Ｙ信号）の水平・垂直の画素数を示すフレームサ
イズ（ＤＸ，ＤＹ）と、Ｙ信号とＣ信号のそれぞれに適
用された量子化テーブルをブロックスキャン順に記録す
る量子化テーブル（ＱＹ，ＱＣ）から構成されている。
ハイブリッド符号化における量子化に際しては、フレー
ム単位に変更可能な量子化テーブルが適用される。復号
時には、上記量子化テーブルからフレーム単位に逆量子
化テーブルが生成され、符号化時に適用された量子化に
対応する逆量子化が行われる。

【００１１】図２に示したビデオ・キャプチャーファイ
ルを構成するビデオ・アトリビュートファイルは、図５
に示すように、先頭フレームだけに付加される部分と、
各フレームごとに作成される部分から構成される。先頭
フレームだけに付加される部分は、圧縮に際しユーザが
指定する指定フレームレート（ＦＲ）と、指定ビットレ
ート（ＢＲ）と、予備領域とから構成される。また、各
フレームごとに作成される部分は、基準時刻からの経過
時間を時・分・秒で示す時間情報とフレームの連番を含
むタイムコード（ＴＣ）、動画であるか静止画であるか
を示すビデオタイプ（Ｔ）、フレーム保持時間（Ｆ）、
前述したフレームサイズ（ＤＸ，ＤＹ）、圧縮に際しユ
ーザが指定した圧縮領域の開始位置を示す取込み位置
（Ｘ，Ｙ）、１フレーム分の圧縮済みデータの総量をバ
イト数で示すデータ長（ＤＬ）から構成されている。フ
レーム保持時間（Ｆ）は、再生表示の際に該当のフレー
ムを毎秒３０フレームを基準に何フレーム分保持するか
を示す。例えば、毎秒３０フレームのフレームレートの
原動画を毎秒１５フレームとなるように間引きを行いな
がら圧縮する場合には、再生時のフレーム保持時間
（Ｆ）として「２」が指定される。

【００１２】図３に示したオーディオ・キャプチャーフ
ァイルを構成するオーディオ・データファイルは、圧縮
されたオーディオ・データのみから成り、ヘッダは付加
されない。また、オーディオ・アトリビュートファイル
は、図６に示すように、圧縮モード（Ｍ）、時・分・秒
で示される記録時間（ＲＴ）、記録開始時点のタイムコ
ード（ＳＴＣ）、データ長（ＤＬ）から構成されてい
る。本実施例によれば、オーディオ・データの圧縮モー
ド（Ｍ）としては、サブバンドＡＤＰＣＭ、１６ＫＨｚ
のＡＤＰＣＭ、８ＫＨｚのＡＤＰＣＭ、４ＫＨｚのＡＤ
ＰＣＭの４種類がある。

【００１３】ホストコンピュータ８は、上述したビデオ
・キャプチャーファイルとオーディオ・キャプチャーフ
ァイルとに加えて、これらを結合してマルチメディア情
報であるコンビネーションファイルを作成するのに必要
な種々のパラメータを含む図７に示すようなパラメータ
ファイルをユーザからの指定に従って作成し、メモリ１
０に記録する。上記ビデオ・キャプチャーファイルと、
オーディオ・キャプチャーファイルと、パラメータファ
イルと、コンビネーションファイルとの関係を図示する
と、図８に示すようなものとなる。

【００１４】図７のパラメータファイルにおいて、「Ｃ
Ｈ」は記録先のチャンネルを指定する情報であり、ビデ
オデータについては１チャンネルの「Ｖ０」だけが指定
でき、オーディオデータについては「Ａ０」から「Ａ１
５」までの１６チャンネルが指定できる。「ＶＦＩＬ
Ｅ」はビデオ・キャプチャーファイルのファイル名、
「ＡＦＩＬＥ」はオーディオ・キャプチャーファイルの
ファイル名である。「ＳＴＩＭＥ」はオーディオ・キャ
プチャーファイルの記録開始時刻を指定する情報であ
り、コンビネーションファイルの先頭を基準にして時・
分・秒・フレーム番号で指定される。「ＳＢＹＴＥ」
は、オーディオ・キャプチャーファイルの先頭を基準
（第０バイト）として、コンビネーションファイルヘの
オーディオデータの記録を何バイト目から開始するかを
指定するスタートバイトである。「ＲＢＹＴＥ」はオー
ディオデータの総記録バイト数を指す情報である。「Ｆ
ＩＮ」と「ＦＯＵＴ」は、それぞれオーディオのフェー
ドイン速度とフェードアウト速度を指定する情報であ
る。

【００１５】ホストコンピュータ８が図８の関係に従っ
て作成しメモリ１０に記録するコンビネーションファイ
ルは、図９に示すように、ビデオデータのファイルを単
位として構成されており、「ＳＣ」は各フレームの先頭
に付加される２バイトのスタートコードである。「Ｄ
Ｔ」はデータタイプを指定する１バイトの情報であり、
図１０に示すように、データの種類（動画／静止画／音
声）、チャンネル番号及びフレーム内に後続データが存
在するか否かを示すリンクビットを含んでいる。図９の
「ＤＬ」はデータ長でありデータの総バイト数を示す、
「ＤＡＴＡ」は圧縮された可変長のビデオデータ又はオ
ーディオデータである。「ＢＬ」は可変長のブランクエ
リアであり、コンビネーションファイルのサイズがＣＤ
−ＲＯＭの１セクタのバイト数の整数倍になるように、
コンビネーション・ファイルの末尾にオールゼロのダミ
ーデータが記録される。

【００１６】ホストコンピュータ８は、上記コンビネー
ションファイルの作成に際し、ビデオデータとオーディ
オデータとのフレーム単位の同期化を図る。すなわち、
ホストコンピュータ８は、オーディオ・アトリビュート
ファイルに含まれる圧縮モード（Ｍ）で定まるオーディ
オデータのビットレートと、ビデオ・アトリビュートフ
ァイルの先頭に含まれるフレームレート（ＦＲ）とから
１フレーム分のビデオデータに付加すべきオーディオデ
ータのビット量を算定し、記録開始タイムコード（ＳＴ
Ｃ）を始点として上記算定したビット量でオーディオデ
ータを区切りながら、各フレームのビデオデータのヘッ
ダに含まれるタイムコード（ＴＣ）を参照してビデオデ
ータとオーディオデータをフレーム単位で結合してゆく
ことにより、ビデオデータとオーディオデータの同期を
実現する。

【００１７】上述のようにして作成されたコンビネーシ
ョンファイルは、図１１に示すように、クリップ、シー
ン、チャプタから成る階層化が行われると共に、先頭に
インデックスが付加される。クリップは、記録媒体とな
るＣＤ−ＲＯＭの最小アクセス単位（セクタ）の整数倍
（例えば２２５倍）分の記録容量に相当する可変長デー
タを含む最小記録単位であり、このクリップが複数個集
合してシーンが形成され、このシーンが複数個集合して
チャプタが形成される。

【００１８】上記データの階層化に伴い、その先頭に付
加されるインデックスも図１２乃至１５に示すように階
層化されている。インデックスの先頭に配置されるルー
トインデックスは、各チャプタのチャプタインデックス
の記録アドレスと専有セクタ数を示している。このルー
トインデックスに続いて配列されるチャプタインデック
スは、図１３に示すように、先頭チャプタ＃１から最終
チャプタ＃Ｎまで順に配列され、任意のチャプタ（例え
ばチャプタ＃ｉ）のチャプタインデックスは、第１４図
に示すように、シーン数（Ｍ）、各シーンに含まれるク
リップ数（Ｃ１，Ｃ２・・・ＣＭ）、各シーンのクリッ
プインデックスから構成されている。任意のシーン（例
えばシーン＃Ｉ）のクリップインデックスは、図１５に
示すように、このシーンに含まれる全てのクリップにつ
いて記録アドレス、専有セクタ数、属性（動画／音声チ
ャンネル）を含んでいる。

【００１９】

【発明の効果】以上詳細に説明したように、本発明に係
わるマルチメディアデータの編集方法は、フレーム構成
のビデオデータを、先頭フレームにフレームレートを付
加しかつフレームごとにタイムコードを付加した上で圧
縮符号化し、メモリに格納するとともに、オーディオデ
ータを、先頭にのみ記録開始時点を示す記録開始タイム
コードと圧縮モードを示すデータを付加した上で圧縮符
号化し、メモリに格納し、前記圧縮モードに応じて決ま
る前記オーディオデータのビットレート及び前記ビデオ
データのフレームレートから１フレーム分のビデオデー
タに付加すべきオーディオデータのビット量を算定し、
前記メモリに格納したオーディオデータを、記録開始タ
イムコードを始点として前記算定したビット量を単位に
先頭から区切り、ビデオデータの各フレームに付加され
たタイムコードを参照してメモリに格納したビデオデー
タにフレーム単位で結合するようにしたから、オーディ
オデータは圧縮モードによってビットレートが異なる
が、１フレーム分のビデオデータに付加すべきオーディ
オデータのビット量がビットレートに応じて変化するの
で、開始タイムコードを始点として算定ビット量を単位
に先頭から区切ったオーディオデータとビデオデータと
のフレーム対応関係にずれが生ずることはなく、オーデ
ィオデータに対する各種圧縮方式の採用を保証した上
で、ビデオデータとオーディオデータを互いに同期させ
て確実にフレーム単位で結合させることができ、従来の
セクタインタリーブ方式に比べて記憶領域の利用効率を
高めることができる等の優れた効果を奏する。

【００２０】更に、本発明によれば、フレーム単位で結
合されたビデオデータとオーディオデータは、記録装置
の最小アクセス単位の記憶容量の整数倍を最小の記録単
位とする階層構造を呈するため、記録領域の利用効率が
一層向上するという効果が奏される。

【図面の簡単な説明】

【図１】本発明の一実施例に係わるマルチメディアデー
タの編集方法を適用する編集装置の構成の一例を示すブ
ロック図である。

【図２】ビデオ・キャプチャーファイルの構成を示す概
念図である。

【図３】オーディオ・キャプチャーファイルの構成を示
す概念図である。

【図４】ビデオ・データファイルの構成を示す概念図で
ある。

【図５】ビデオ・アトリビュートファイルの構成を示す
概念図である。

【図６】オーディオ・アトリビュートファイルの構成を
示す概念図である。

【図７】パラメータファイルの構成を示す概念図であ
る。

【図８】ビデオ・キャプチャーファイル、オーディオ・
キャプチャーファイル、パラメータファイル、オーディ
オコンビネーション・ファイル相互の関係を説明するた
めの概念図である。

【図９】コンビネーション・ファイルの構成を示す概念
図である。

【図１０】データタイプの構成を示す概念図である。

【図１１】圧縮データとインデックスとの関係を示す概
念図である。

【図１２】図１１のインデックスの構成を示す概念図で
ある。

【図１３】図１２のチャプタインデックスの構成を示す
概念図である。

【図１４】図１３のチャプタインデックスの構成を示す
概念図である。

【図１５】図１４の任意のチャプタのクリップインデッ
クスを示す概念図である。

【符号の説明】

２，５ タイムコード書込み回路 ３ ビデオエンコーダ ６ オーディオエンコーダ ７ タイムコード読取回路 ８ ホストコンピュータ １０ メモリ １２ ビデオデコーダ １４ オーディオデコーダ １６ モニタ

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 フレーム構成のビデオデータを、先頭フ
   レームにフレームレートを付加しかつフレームごとにタ
   イムコードを付加した上で圧縮符号化し、メモリに格納
   する段階と、オーディオデータを、先頭にのみ記録開始
   時点を示す記録開始タイムコードと圧縮モードを示すデ
   ータを付加した上で圧縮符号化し、メモリに格納する段
   階と、前記圧縮モードに応じて決まる前記オーディオデ
   ータのビットレート及び前記ビデオデータのフレームレ
   ートから１フレーム分のビデオデータに付加すべきオー
   ディオデータのビット量を算定し、前記メモリに格納し
   たオーディオデータを、前記記録開始タイムコードを始
   点として前記算定したビット量を単位に先頭から区切
   り、前記ビデオデータの各フレームに付加されたタイム
   コードを参照して前記メモリに格納したビデオデータに
   フレーム単位で結合してゆく段階とを含むことを特徴と
   するマルチメディアデータの編集方法。
2. 【請求項２】 前記フレーム単位で結合されたビデオデ
   ータとオーディオデータは、記録装置の最小アクセス単
   位の記憶容量の整数倍を最小の記録単位とする階層構造
   を呈することを特徴とする請求項１記載のマルチメディ
   アデータの編集方法。