JP2877561B2 - マルチメディアデータの編集方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ゲーム用ソフトや教育
用ソフトなどの動画データと音声データとを含むマルチ
メディアの編集方法に関するものである。

【０００２】

【従来の技術】ゲーム用ソフトや教育用ソフトなどのフ
レーム構成の動画データとこれに同期した音声データと
を含むマルチメディアデータにデータ圧縮のための符号
化を施し、両者の同期を保ちながら編集し、ＣＤ−ＲＯ
Ｍなどの大容量記録媒体に記録するマルチメディアの記
録システムが開発中である。

【０００３】

【発明が解決しようとする課題】圧縮・編集対象のフレ
ーム構成の動画データと音声データの供給源が業務用の
ビデオ・テープレコーダ（ＶＴＲ）などであれば各フレ
ームに付加されたタイムコードによって両者の同期がと
られているため、符号化と編集の際にもタイムコードを
利用して両者の同期を保つことが容易である。これに対
して、そのようなタイムコードが付加されない家庭用の
ＶＴＲなどがデータの供給源となる場合には、動画デー
タと音声データを対応づける基準信号がないため、符号
化と編集に際し両者の同期を図ることは困難になる。こ
れは、動画データの場合には、表示画面の状況に応じて
圧縮効率が変化することで、圧縮（符号化）のための処
理時間が変動するためである。

【０００４】

【課題を解決するための手段】本発明に係わるマルチメ
ディアデータの編集方法は、相互に同期して再生される
フレーム構成の画像データと音声データに対し、個別に
データ圧縮のための符号化を施し、相互の同期を保ちな
がら編集し、記録するマルチメディアデータの編集方法
であって、編集対象となる前記画像データと音声データ
のいずれかに、符号化開始位置を指定する特殊信号を該
符号化開始位置の直前の位置に挿入記録しておき、前記
画像データと音声データを同期再生し、一方のデータに
ついて前記特殊信号の検出に応答して所要フレーム数分
の前記符号化を行い、しかる後に前記所要フレーム数分
の前記画像データと音声データを再度同期再生し、他方
のデータについても前記一方のデータと同じく前記特殊
信号の検出に応答して所要フレーム数分の前記符号化を
行うことを特徴とするものである。

【０００５】また、本発明は、前記特殊信号が、前記画
像データの符号化開始位置の直前の位置にそれぞれ所定
フレーム数分挿入されるカラーバー信号と黒レベル信号
であり、前記特殊信号の検出は、前記カラーバー信号の
フレームと黒レベル信号のフレームとの境界をフレーム
間差分のしきい値判別結果に従って行うことを特徴とす
るものである。

【０００６】

【実施例】図１は、本発明の一実施例に係わるマルチメ
ディアデータの編集方法を適用する編集装置の構成を示
すブロック図であり、１はホストコンピュータ、２はビ
デオエンコーダ、３はオーディオエンコーダ、４はデー
タメモリ、５はシステムバス、６，７はＡ／Ｄ変換回
路、８はフレーム間差分検出回路、９はタイミングコン
トローラ、１０は圧縮対象の動画データの入力端子、１
１は圧縮対象の音声データの入力端子である。

【０００７】動画データの入力端子１０と音声データ入
力端子１１のそれぞれには、図２に示すように、相互に
同期したフレーム構成のアナログ動画データとアナログ
音声データとが家庭用ＶＴＲの再生出力端子などから供
給される。このアナログ動画データの各フレームにはタ
イムコードが付加されていないが、その先頭フレームの
直前の２フレームにわたって黒レベル信号が記録される
と共にさらにその直前の３フレームにわたってカラーバ
ー信号が記録されている。

【０００８】本実施例によれば、まず、動画データにつ
いてデータ圧縮のための符号化が行われる。すなわち、
ホストコンピュータ１は図示しないＶＴＲなどに再生動
作の開始を指令すると共に、符号化の対象が動画データ
である旨をタイミングコントローラ９に通知する。再生
を開始したＶＴＲなどから図２に示すフレーム構成のア
ナログ動画データが入力端子１０に供給されると共に、
この動画データに同期したアナログ音声データが入力端
子１１に供給される。入力端子１０に供給されるアナロ
グ動画データは、Ａ／Ｄ変換回路６においてディジタル
動画データに変換され、ビデオエンコーダ２とフレーム
間差分検出回路８とに供給される。

【０００９】フレーム間差分検出回路８は、Ａ／Ｄ変換
回路６から出力されるフレーム構成のディジタル動画デ
ータについて各フレーム内の平均レベルを算定すると共
にこれと直前のフレームについて算定済みのフレーム内
平均レベルとの差分を算定し、この平均レベルのフレー
ム間差分を内蔵のレジスタに設定されている所定の閾値
と比較する。フレーム間差分検出回路８は、上記平均レ
ベルのフレーム間差分が所定の閾値を越えた場合には、
タイミングコントローラ９にその旨を通知する信号を出
力する。図２の例では、黒レベルが記録された最初のフ
レームが終了した時点で上記平均レベルのフレーム間差
分が閾値を越えることになり、タイミングコントローラ
９にその旨の通知が発せられる。

【００１０】この通知を受けたタイミングコントローラ
９は、この通知を受けた時点から１フレーム分のデータ
転送時間よりも多少短い所定の時間が経過すると、ビデ
オエンコーダ２に符号化の開始を指令する。この結果、
図２で実際の動画と表示したエリアの先頭のフレームか
らデータ圧縮のための符号化が開始される。このデータ
圧縮のための符号化の典型的なものは、離散コサイン変
換（ＤＣＴ）と、量子化と、可変長符号化（ＶＬＣ）と
を順次組合せたハイブリッド符号化である。ビデオエン
コーダ２から出力される符号化済みの動画データはシス
テムバス５を介してホストコンピュータ１に転送され、
ここでフレーム単位に識別子が付された動画データファ
イルとなり、磁気ディスク装置などから成るデータメモ
リ５に保存される。この動画データの符号化期間中は、
これに同期した音声データが入力端子１１とＡ／Ｄ変換
回路７を通してオーディオエンコーダ３に供給される
が、オーディオエンコーダ３が動作しないためここで廃
棄される。

【００１１】ホストコンピュータ１は、動作の開始時に
設定された再生時間が経過したことなどから動画データ
の符号化の終了を検出すると、図示しない前段のＶＴＲ
に再生動作の停止と再生開始前の位置へのテープの巻き
戻しを指令する。ホストコンピュータはＶＴＲから巻き
戻しの終了の通知を受けると、データ供給源のＶＴＲな
どに再生動作の開始を再度指令すると共に、符号化の対
象が音声データである旨をタイミングコントローラ９に
通知する。再生を開始したＶＴＲなどから再び図２に示
すフレーム構成のアナログ動画データと音声データが入
力端子１０と１１に供給される。

【００１２】フレーム間差分検出回路８は、前回の動画
データの符号化の場合は同様に、Ａ／Ｄ変換回路６から
出力されるフレーム構成のディジタル動画データについ
て各フレーム内の平均レベルと直前のフレームについて
算定済みのフレーム内平均レベルとの差分とを算定し、
この平均レベルのフレーム間差分が所定の閾値を越えた
場合には、タイミングコントローラ９にその旨を通知す
る信号を出力する。この通知を受けたタイミングコント
ローラ９は、この通知を受けた時点から１フレーム分の
データ転送時間よりも多少短い所定の時間が経過する
と、オーディオエンコーダ２に符号化の開始を指令す
る。この結果、図２で実際の動画と表示したエリアの先
頭のフレームに同期した時点から音声データの符号化が
開始される。

【００１３】オーディオエンコーダ２から出力される符
号化済みの音声データは、システムバス５を介してホス
トコンピュータ１に転送される。ホストコンピュータ１
は、オーディオエンコーダ３から転送されてきた符号化
済みの音声データを１フレーム分のデータ量（一定値）
に等分割し、識別子を付加してファイル化し、音声デー
タファイルとしてデータメモリ４に保存する。この音声
データの符号化とファイル化の期間中は、これに同期し
た動画データが入力端子１０とＡ／Ｄ変換回路６を通し
てビデオエンコーダ２に供給されるが、ビデオエンコー
ダ２が動作しないためここで廃棄される。

【００１４】ホストコンピュータ１は、動作の開始時に
設定された再生時間が経過したことなどから音声データ
の符号化とマルチメディアデータ・ファイルの作成の終
了を検出すると、図示しない前段のＶＴＲに再生動作の
停止を指令する。この後、ホストコンピュータ１は、デ
ータメモリ１に保存中の動画データファイルと音声デー
タファイルとをフレーム単位で結合することによりフレ
ーム構成のマルチメディアデータファイルを作成し、デ
ータメモリ４に保存する。

【００１５】以上、データの先頭位置を指定する特殊信
号として動画データの先頭フレームの直前に挿入した黒
レベルとカラーバー信号とを利用し、フレーム間差分に
よって先頭フレームの位置を検出する構成を例示した。
しかしながら、この特殊信号としては黒レベルとカラー
バーの順序を入替えたものや、黒レベルやカラーバーの
代わりに白レベルとしたものや、あるいは他の適宜なも
のであってもよい。

【００１６】また、動画データ側に特殊信号を挿入する
構成を例示したが、この特殊信号を音声データの側に挿
入する構成とすることもできる。

【００１７】更に、音声データの全体を一旦符号化した
のち符号化済みの動画データとの混合ファイルを作成す
る構成を例示したが、音声データの符号化を行いながら
動画データとの混合ファイルを作成してゆく構成として
もよい。

【００１８】また、まず動画データを符号化し、続いて
音声データを符号化する構成を例示したが、この符号化
の順序を逆にしてもよい。

【００１９】

【発明の効果】以上説明したように、本発明によれば、
編集対象となる前記画像データと音声データのいずれか
に、符号化開始位置を指定する特殊信号を該符号化開始
位置の直前の位置に挿入記録しておき、前記画像データ
と音声データを同期再生し、一方のデータについて前記
特殊信号の検出に応答して所要フレーム数分の前記符号
化を行い、しかる後に前記所要フレーム数分の前記画像
データと音声データを再度同期再生し、他方のデータに
ついても前記一方のデータと同じく前記特殊信号の検出
に応答して所要フレーム数分の前記符号化を行うように
したから、編集対象である画像データと音声データが、
例えばタイムコードを含まないような家庭用ＶＴＲの再
生信号であったとしても、データ間の確実な同期を保ち
ながらデータ量圧縮のための符号化とマルチメディアデ
ータとしての編集を行うことが可能であり、特に表示画
面の状況に応じて圧縮効率が変化することで圧縮（符号
化）所要時間が変動する動画データを音声データとの同
期を確保しながら符号化できるため、マルチメディアデ
ータとしての編集が容易である等の優れた効果を奏す
る。 また、本発明は、前記特殊信号が、前記画像データ
の符号化開始位置の直前の 位置にそれぞれ所定フレーム
数分挿入されるカラーバー信号と黒レベル信号であり、
前記特殊信号の検出は、前記カラーバー信号のフレーム
と黒レベル信号のフレームとの境界をフレーム間差分の
しきい値判別結果に従って行うようにしたから、カラー
バー信号と黒レベル信号との境界を、両信号のフレーム
間差分のしきい値判別に従って確実に検出することがで
き、従ってタイムコードのような特殊な信号の打ち込ま
れていない例えば家庭用ＶＴＲの再生信号であっても、
符号化開始位置の直前の位置にそれぞれ所定フレーム数
分のカラーバー信号と黒レベル信号を挿入することで、
データ間の確実な同期を保ちながらデータ量圧縮のため
の符号化とマルチメディアデータとしての編集を行うこ
とができる等の効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例に係わるマルチメディアデー
タの編集方法を適用するマルチメディアデータの編集装
置の構成を示すブロック図である。

【図２】符号化対象のフレーム構成の動画と音声データ
の構成を例示するデータフォーマット図である。

【符号の説明】 １ ホストコンピュータ ２ ビデオエンコーダ ３ オーディオエンコーダ ４ データメモリ ５ システムバス ６，７ Ａ／Ｄ変換回路 ８ フレーム間差分検出回路 ９ タイミングコントローラ

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 相互に同期して再生されるフレーム構成
   の画像データと音声データに対し、個別にデータ圧縮の
   ための符号化を施し、相互の同期を保ちながら編集し、
   記録するマルチメディアデータの編集方法であって、編
   集対象となる前記画像データと音声データのいずれか
   に、符号化開始位置を指定する特殊信号を該符号化開始
   位置の直前の位置に挿入記録しておき、前記画像データ
   と音声データを同期再生し、一方のデータについて前記
   特殊信号の検出に応答して所要フレーム数分の前記符号
   化を行い、しかる後に前記所要フレーム数分の前記画像
   データと音声データを再度同期再生し、他方のデータに
   ついても前記一方のデータと同じく前記特殊信号の検出
   に応答して所要フレーム数分の前記符号化を行うことを
   特徴とするマルチメディアデータの編集方法。
2. 【請求項２】 前記特殊信号は、前記画像データの符号
   化開始位置の直前の位置にそれぞれ所定フレーム数分挿
   入されるカラーバー信号と黒レベル信号であり、前記特
   殊信号の検出は、前記カラーバー信号のフレームと黒レ
   ベル信号のフレームとの境界をフレーム間差分のしきい
   値判別結果に従って行うことを特徴とする請求項１記載
   のマルチメディアの編集方法。