JPH09238301A - デジタルビデオ編集方法 - Google Patents

Abstract

(57)【要約】 【課題】デジタルビデオデータで提供される映像上に登
場するキャストを自由に入れ替える。 【解決手段】外部記憶装置１−２から読み込まれるデジ
タルビデオデータには、入れ替え元キャスト入力機能部
１−４で選択された入れ替え元キャスト画像を修正する
ための補助情報としてキャスト特徴情報が含まれてお
り、このキャスト特徴情報を用いて入れ替え元キャスト
画像の修正がキャスト画像編集機能部１−６によって行
われる。そして、その修正が施されたキャスト画像はそ
れに対応する元のフレーム画像の中にキャスト入れ替え
機能部１−７によってはめ込まれ、これによってキャス
トの入れ替えがスムーズに行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、映像データとそ
れに同期した音声データとを含むデジタルビデオデータ
を編集するデジタルビデオ編集方法に関する。

【０００２】

【従来の技術】近年、コンピュータおよびマルチメディ
ア技術の発達に伴い、いわゆるマルチメディア対応のコ
ンピュータシステムが種々開発されている。この種のコ
ンピュータシステムでは、テキストデータやグラフィッ
クスデータの他に、動画や音声データを再生することが
できる。

【０００３】通常、動画データはＭＰＥＧ１によって圧
縮符号化されてＣＤ−ＲＯＭなどに記憶されており、そ
の動画データのデコードおよび表示再生には、専用の拡
張ボードが使用されている。動画データのデコードおよ
び表示再生を行う拡張ボードとしては、例えば、米シグ
マデザイン社の“ＲＥＡＬ Ｍａｇｉｃ”が良く知られ
ている。この“ＲＥＡＬ Ｍａｇｉｃ”は、ＭＰＥＧ１
の規格に準拠したビデオデコード機能を有しており、デ
コードされた動画データは、フィーチャコネクタを介し
てビデオカードから取り込まれたＶＧＡグラフィクスと
合成されて表示される。

【０００４】しかし、ＭＰＥＧ１の規格は、１．５Ｍｂ
ｐｓ程度のデータ転送速度を持つＣＤ−ＲＯＭを使用す
ることを前提とした規格であり、映画などの大量の画像
情報を含む動画データを扱うと、画質の劣化などの問題
が生じる。

【０００５】そこで、最近では、ＣＤ−ＲＯＭの数倍乃
至十数倍程度のデータ転送速度を持つ新世代の蓄積メデ
ィアが開発され始めている。このような新世代蓄積メデ
ィアとしては、１０ＧＢ程度の情報量を１枚のディスク
にディジタル記録でき、且つ最大で１０Ｍｂｐｓ程度の
データ転送速度を実現できるシステムなどがデジタルビ
デオディスクとして知られている。

【０００６】このデジタルビデオディスクは、ＭＰＥＧ
２の規格でデジタル圧縮符号化された動画データや音声
データなどを光ディスクなどのディスクメディアに記録
しておき、その音声付き動画データをデコードしてテレ
ビジョン受像機に出力するものである。

【０００７】このデジタルビデオディスクには、ディス
クドライブ装置、データバッファ、ビデオデコーダ、オ
ーディオデコーダ、およびＮＴＳＣエンコーダなどが設
けられている。このデジタルビデオディスクにおいて
は、光ディスクがディスクドライブ装置によって駆動さ
れることにより動画データや音声データが光ディスクか
ら読み出され、データバッファに蓄積される。

【０００８】データバッファに蓄積された動画データお
よび音声データは、それぞれビデオデコーダおよびオー
ディオデコーダによってデコードされる。ビデオデコー
ダによってデコードされた動画データは、ＮＴＳＣエン
コーダによってＮＴＳＣ信号に変換されてテレビジョン
受像機のビデオ入力に送られる。一方、オーディオデコ
ーダによってデコードされた音声データは、Ｄ／Ａ変換
された後、テレビジョン受像機の音声入力に送られる。

【０００９】このデジタルビデオディスクのデータ転送
レートは前述したように１０Ｍｂｐｓ程度と非常に高速
であるため、このデジタルビデオディスクを使用する
と、主映像の他、字幕などの副映像および複数の音声チ
ャネルを含む映画情報を、ＣＤと同程度のサイズを持つ
１枚のディスクに記録でき、且つそれら主映像、副映像
および音声を同期させてテレビジョン受像機上で再生す
ることが可能となる。

【００１０】

【発明が解決しようとする課題】しかしながら、このよ
うに映像情報がデジタル化されても、従来では、そのデ
ジタルビデオデータ本来の特徴であるデータ処理の容易
性が十分に活用されていなかった。

【００１１】すなわち、ＴＶや映画に代表される様な従
来のアナログ映像の分野では、視聴者側は映像の提供者
側が編集した映像をそのまま見る事が普通であるが、映
像情報がデジタル化された場合には、提供者から視聴者
への一方通行なものだけではなくインタラクティブ性が
要求されており、アナログ時代と異なる映像情報の持ち
方、使い方が求められている。

【００１２】この発明はこの様な点に鑑みてなされたも
のであり、デジタルビデオデータには膨大な補助的情報
を埋め込むことができるという点に着眼し、そのデジタ
ルビデオデータに埋め込んだ補助情報を使ってビデオ編
集することにより映像上に登場するキャストを自由に入
れ替えることができるデジタルビデオ編集方法を提供す
ることを目的とする。

【００１３】

【課題を解決するための手段】この発明は、映像データ
とそれに同期した音声データとを含むデジタルビデオデ
ータを編集するデジタルビデオ編集方法において、前記
デジタルビデオデータに、その映像データによって提供
される各フレーム画像上に登場する人物および物体など
のキャストについてその位置、形状および照明に関する
特徴を示すキャスト特徴情報を含ませておき、前記映像
データに登場するキャストの中から入れ替え対象のキャ
ストを選択し、その選択された入れ替え対象キャストに
対応するキャスト特徴情報を前記デジタルビデオデータ
から入力し、前記入れ替え対象キャストに代わって前記
各フレーム画像上に登場させるべきキャスト画像を、前
記入れ替え対象キャストに対応するキャスト特徴情報に
基づいて修正し、その修正されたキャスト画像をそれに
対応する元のフレーム画像の中にはめ込み、キャストの
入れ替えを行うことを特徴とする。

【００１４】このデジタルビデオ編集方法によれば、キ
ャスト入れ替えで新たに採用するキャスト画像を修正す
るための補助情報として使用されるキャスト特徴情報を
デジタルビデオデータに含ませておくことで、そのキャ
スト特徴情報によって、各フレーム画像上に登場する人
物および物体などのキャストについてその位置、形状お
よび照明などの特徴を考慮した状態で、新たに採用する
キャスト画像を修正できる。よって、新たなキャスト画
像を元の画像の各場面の状況に適した形態に変換するこ
とが可能となる。この様にして修正が施されたキャスト
画像はそれに対応する元のフレーム画像の中にはめ込ま
れ、これによってキャストの入れ替えがスムーズに行わ
れる。よって、ユーザが参加できる映像の提供が可能と
なり、新たな映像ジャンルの開拓普及により、より高度
なサービスが可能となる。

【００１５】また、前記キャスト特徴情報には、各フレ
ーム画像上における変更禁止エリアを規定する変更禁止
情報を含ませておき、前記修正されたキャスト画像の中
から前記変更禁止情報で規定される変更禁止エリアに掛
かる部分を切り取り、その残りの部分を前記元のフレー
ム画像の中にはめ込むことが好ましい。これにより、例
えば帽子をかぶっている人物を他の入れ替える場合で
も、その帽子の部分を変更禁止エリアとして規定してお
くことにより、顔の入れ替えをスムーズに行うことがで
きる。

【００１６】

【発明の実施の形態】以下、図面を参照してこの発明の
実施形態を説明する。図１には、この発明の一実施形態
に係るデジタルビデオ編集方法を実現するためのソフト
ウェアの機能構成が示されている。この実施形態のデジ
タルビデオ編集方法は、映像データとそれに同期した音
声データとを含むデジタルビデオデータに登場する人物
や物体などのキャストを編集して再生するためのもので
あり、ビデオ再生統括機能部１−１、外部記憶装置１−
２からのビデオデータ入力機能部１−３、入れ替え元キ
ャスト入力機能部１−４、キャスト選択機能部１−５、
キャスト画像編集機能部１−６、キャスト入れ替え機能
部１−７、およびビデオ出力機能部１−８を備えた編集
／再生プログラムによって実現されている。

【００１７】ビデオ再生統括機能部１−１は、本実施形
態のデジタルビデオ編集方法を実現するための各機能を
統括制御するプログラムである。外部記憶装置１−２は
デジタルビデオデータを記憶するためのものであり、こ
のデジタルビデオデータには、映像データおよび音声デ
ータに加え、各キャストのキャスト特徴情報が含まれて
いる。キャスト特徴情報は、キャスト入れ替え編集で新
たに採用するキャスト画像を修正するための補助情報と
して使用されるものであり、各フレーム画像上に登場す
る人物および物体などのキャストについてその形状およ
び照明アングルなどの特徴を示している。ビデオデータ
入力機能部１−３はビデオデータ入力プログラムであ
り、外部記憶装置１−２からビデオデータに含まれる各
種情報を入力する。

【００１８】入れ替え元キャスト入力機能部１−４は、
入れ替え元キャスト入力用プログラムであり、外部記憶
装置１−２やその他の記録媒体、ビデオ入力装置などか
ら元のキャスト画像に代わって使用される入れ替え元キ
ャスト画像、およびそのキャスト画像についてのキャス
ト特徴情報を入力する。キャスト選択機能部１−５は、
入れ替え元と入れ替え先のキャストをペアで選択するた
めのプログラムである。キャスト画像編集機能部１−６
は、入れ替え先のキャストに対応するキャスト情報から
入れ替え元のキャスト画像を修正する編集プログラムで
ある。

【００１９】キャスト入れ替え機能部１−７は、キャス
ト画像編集機能部１−６で作成したキャスト画像を、そ
れに対応する元のフレーム画像の中にはめ込むプログラ
ムである。ビデオ出力機能部１−８は、キャストを入れ
替えたビデオ映像を再生／記憶するプログラムである。

【００２０】この図１の構成においては、外部記憶装置
１−２から読み込まれるデジタルビデオデータには、入
れ替え元キャスト入力機能部１−４で選択された入れ替
え元キャスト画像を修正するための補助情報としてキャ
スト特徴情報が含まれており、このキャスト特徴情報を
用いて入れ替え元キャスト画像の修正がキャスト画像編
集機能部１−６によって行われる。そして、その修正が
施されたキャスト画像はそれに対応する元のフレーム画
像の中にキャスト入れ替え機能部１−７によってはめ込
まれ、これによってキャストの入れ替えが行われる。

【００２１】図２には、以上の映像編集機能を搭載した
パーソナルコンピュータのシステム構成が示されてい
る。このシステムは、図示のように、システムバス１
０、ＣＰＵ１１、システムメモリ（ＭＥＭ）１２、ＨＤ
Ｄ１３、ＦＤＤ１４、キーボード（ＫＢ）１５、ＳＣＳ
Ｉインタフェース１６、オーディオコントローラ１７、
ＭＰＥＧ２ デコーダ１８、マルチメディアディスプレ
イコントローラ１９、およびビデオメモリ（ＶＲＡＭ）
２０を備えており、デジタルビデオデータはＭＰＥＧ２
によって符号化されてＳＤ−ＲＯＭドライブ２１の記憶
媒体内に格納されている。

【００２２】ＳＤ−ＲＯＭ（Ｓｕｐｅｒ Ｄｅｎｓｉｔ
ｙ ＲＯＭ）ドライブ２１は、前述したデジタルビデオ
ドライブのドライブユニットに相当するものであり、デ
ィスク両面で１０ＧＢ程度の記憶容量を持ち、最大で１
０Ｍｂｐｓ程度のデータ転送レートを持つ。このＳＤ−
ＲＯＭドライブ２１は、図３に示されているように、光
ディスク２１１と、モータ２１２と、ピックアップ２１
３と、ピックアップドライブ２１４と、サーボコントロ
ーラ２１５と、エラー検出および訂正のためのＥＣＣ回
路を含むドライブコントローラ２１６とから構成されて
いる。モータ２１２、ピックアップ２１３、ピックアッ
プドライブ２１４、サーボコントローラ２１５、および
ドライブコントローラ２１６は、光ディスク２１１を駆
動し、その光ディスク２１１に記録されたデータを読み
出すためのドライブ装置として機能する。

【００２３】光ディスク２１１には、例えば、片面で１
３５分程度またはそれ以上の映画を記録させることがで
きる。この映画の情報には、主映像（ビデオ）、１６チ
ャネル程度までの副映像（サブピクチャ）、および８チ
ャネルまでの音声（オーディオ）の他、前述のキャスト
特徴情報などの補助情報を含ませることができる。これ
ら情報はＭＰＥＧ２規格でデジタル符号化されて記録さ
れている。ＭＰＥＧ２規格では、ＭＰＥＧ２で符号化さ
れたデータに、他の符号化データを含ませることがこと
ができ、それら符号化データは１本のＭＰＥＧビットス
トリーム（デジタルデータ列）として扱われる。

【００２４】したがって、この実施形態では、ビデオの
符号化にＭＰＥＧ２を使用し、サブピクチャおよびオー
ディオの符号化にはそれぞれランレングス符号化および
ＤＯＬＢＹ ＡＣ３などを使用するものとする。この場
合でも、それら符号化されたビデオ、サブピクチャ、お
よびオーディオは、１本のＭＰＥＧビットストリームと
して扱われる。

【００２５】ＭＰＥＧ２規格の符号化処理は可変速符号
化であり、データ転送レートを可変することができる。
このため、ビデオデータについては単位時間当りに記録
／再生する情報量を異ならせることができる。よって、
動きの激しいシーンほど、それに対応するフレーム群を
構成するＭＰＥＧビットストリームの転送レートを高く
することによって、高品質の動画再生が可能となる。

【００２６】このようなＭＰＥＧ２の特徴を利用するた
めに、この実施形態では、図４に示すようなデータフォ
ーマットを用いて、映画情報をディスク２１１に記録し
ている。

【００２７】図４に示されているように、１本の映画情
報は、ファイル管理情報部とデータ部とから構成されて
おり、データ部は多数のデータブロック（ブロック＃０
〜＃ｎ）を含んでいる。各データブロックの先頭にはＤ
ＳＩ（Ｄｉｓｋ ＳｅｒｈＩｎｆｏｒｍａｔｉｏｎ）パ
ックがあり、ＤＳＩパックから次のＤＳＩパックまでが
１つのデータブロックとなる。各ＤＳＩパックの記憶位
置は、ファイル管理情報部のディスクサーチマップ情報
によって管理されている。

【００２８】１つのデータブロックは、ある一定時間例
えば、０．５秒程度の動画再生に必要な複数フレーム分
の情報を構成するものであり、ＧＯＰ（Ｇｒｏｕｐ ｏ
ｆｐｉｃｔｕｒｅ）に相当する。各データブロックに
は、ビデオパック（ＶＩＤＥＯパック）、サブピクチャ
パック（Ｓ．Ｐパック）、オーディオパック（ＡＵＤＩ
Ｏパック）、キャスト情報パックが多重化されて記録さ
れている。ビデオパック（ＶＩＤＥＯパック）、サブピ
クチャパック（Ｓ．Ｐパック）、およびオーディオパッ
ク（ＡＵＤＩＯパック）は、それぞれ符号化されたビデ
オ、サブピクチャ、オーディオのデータ単位である。キ
ャスト情報パックは、それに対応するデータブロックの
ビデオデータにて提供される各フレーム画像上に登場す
るキャストそれぞれについてのキャスト特徴情報を持
つ。

【００２９】これらパックのデータサイズは固定である
が、１つのデータブロックに含ませることができるパッ
ク数は可変である。したがって、動きの激しいシーンに
対応するデータブロックほど、多数のビデオパックが含
まれることになる。

【００３０】ビデオパック、サブピクチャパック、オー
ディオパック、およびキャスト情報パックは、それぞれ
ヘッダ部とパケット部（ビデオパケット、サブピクチャ
パケット、オーディオパケット、キャスト情報パケッ
ト）から構成されている。パケット部は、符号化された
データそのものである。ヘッダ部は、パックヘッダ、シ
ステムヘッダ、パケットヘッダから構成されており、パ
ケットヘッダには、対応するパケットがビデオパケッ
ト、サブピクチャパケット、オーディオパケット、また
はキャスト情報パケットのいずれであるかを示すストリ
ームＩＤが登録されている。

【００３１】また、データブロックの中には、登場する
キャストの一覧を表示するためのキャスト一覧情報を含
むブロックも含まれている。キャスト情報パケットは、
図５に示されているように、対応するデータブロックの
ビデオデータにて提供されるフレーム１〜ｎそれぞれに
ついてのキャスト特徴情報を含んでいる。

【００３２】１フレーム分のキャスト情報は、対応する
フレーム番号を示すフレームヘッダと、そのフレームで
登場するキャストそれぞれについてのキャスト特徴情報
を含む。各キャスト特徴情報は、そのキャストについて
のフレーム画像上の位置情報、キャストの形状の特徴を
示す輪郭情報、キャストに加えられている照明の角度や
色温度などの明るさを示す照明アングル情報などのほ
か、そのフレーム画像上の変更禁止エリアを指定する変
更禁止情報を含んでいる。

【００３３】次に、図２のシステムの各ユニットについ
て説明する。ＣＰＵ１１は、このシステム全体の動作を
制御するものであり、システムメモリ（ＭＥＭ）１２に
格納されたオペレーティングシステム、および図１で説
明した編集／再生プログラムなどのアプリケーションプ
ログラムを実行する。

【００３４】ＳＣＳＩインタフェース１６は、ＨＤＤや
ＣＤ−ＲＯＭなどの周辺装置をシステムバス１０に接続
するための周辺インタフェースであり、この実施形態で
は、ＳＤ−ＲＯＭドライブ２１とＭＰＥＧ２ デコーダ
１８との間のデータ転送を行う。ＳＣＳＩインタフェー
ス１６には、図示のように、ＳＣＳＩコントローラ（Ｓ
ＣＳＩ ＣＯＮＴ）１６１、およびデータバッファ（Ｂ
ＵＦＦ）１６２が設けられている。ＳＣＳＩコントロー
ラ１６１は、ＣＰＵ１１からのコマンドに応じて、ＳＤ
−ＲＯＭドライブ２１との間のデータ転送を制御する。
データバッファ（ＢＵＦＦ）１６２は、ホストシステム
との間のデータ転送速度を可変にするために使用される
ものであり、ＳＤ−ＲＯＭドライブ２１から読み出され
るビデオ、サブピクチャ、オーディオなどを含むＭＰＥ
Ｇストリームは、データバッファ（ＢＵＦＦ）１６２を
介してＭＰＥＧ２ デコーダ１８に転送される。

【００３５】この場合、ＳＤ−ＲＯＭドライブ２１から
データバッファ１６へのデータ転送速度は、ＳＤ−ＲＯ
Ｍドライブ２１の最高データ転送レート、例えば９．５
Ｍｂｐｓで実行される。

【００３６】一方、データバッファ１６からＭＰＥＧ２
デコーダ１８へのデータ転送速度は可変であり、情報
量の多いデータブロックを転送する時ほど、その時の平
均転送速度は速くなる。これは、データバッファ１６か
らＭＰＥＧ２ デコーダ１８へのデータ転送は、ＣＰＵ
１１の制御の下に、ＭＰＥＧ２ デコーダ１８のデコー
ド処理動作と同期して行われており、情報量の多いデー
タブロックほど、一定時間当たりに実行されるデータ転
送回数が増えるからである。

【００３７】オーディオコントローラ１７は、ＣＰＵ１
１の制御の下にサウンドデータの入出力制御を行うもの
であり、サウンド出力のために、ＰＣＭ音源１７１、Ｆ
Ｍ音源１７２、マルチプレクサ１７３、およびＤ／Ａコ
ンバータ１７４を備えている。マルチプレクサ１７３に
は、ＰＣＭ音源１７１およびＦＭ音源１７２からの出力
と、ＭＰＥＧ２ デコーダ１８から転送されるデジタル
オーディオデータが入力され、それらの１つが選択され
る。

【００３８】デジタルオーディオデータは、ＳＤ−ＲＯ
Ｍドライブ２１から読み出されたオーディオデータをデ
コードしたものである。ＭＰＥＧ２ デコーダ１８から
オーディオコントローラ１７へのデジタルオーディオデ
ータの転送には、オーディオバス１８ａが用いられ、シ
ステムバス１０は使用されない。従って、デジタルオー
ディオデータの高速転送が可能となる。

【００３９】ＭＰＥＧ２ デコーダ１８は、ＣＰＵ１１
の制御の下に、ＳＣＳＩインタフェース１６のデータバ
ッファ１６２を介して転送されるＳＤ−ＲＯＭドライブ
２１からのＭＰＥＧビットストリームを受信し、それを
ビデオ、サブピクチャ、およびオーディオパケットに分
離した後、それらをそれぞれデコード処理し同期化して
出力する。

【００４０】デコードされたオーディオデータは、前述
したようにデジタルオーディオデータとしてオーディオ
バス１８ａを介してオーディオコントローラ１８ａに転
送される。デコードされたビデオおよびサブピクチャは
合成されて、デジタルＹＵＶデータとしてマルチメディ
アディスプレイコントローラ１９に送られる。この場
合、ＭＰＥＧ２ デコーダ１８からマルチメディアディ
スプレイコントローラ１９へのデジタルＹＵＶデータの
転送には、ビデオバス１８ｂが用いられ、システムバス
１０は使用されない。従って、デジタルＹＵＶデータの
転送についても、デジタルオーディオデータと同様に、
高速に行うことができる。

【００４１】ビデオバス１８ｂとしては、ＶＥＳＡ規格
のＶＡＦＣ（ＶＥＳＡ Ａｄｖａｎｃｅｄ Ｆｅａｔｕ
ｒｅ Ｃｏｎｎｅｃｔｏｒ）、またはＶＭ−Ｃｈａｎｎ
ｅｌ（ＶＥＳＡ Ｍｅｄｉａ Ｃｈａｎｎｅｌ）を利用
することができる。

【００４２】マルチメディアディスプレイコントローラ
１９は、ＣＰＵ１１の制御の下に、このシステムのディ
スプレイモニタとして使用されるＣＲＴディスプレイを
制御するものであり、ＶＧＡ仕様のテキストおよびグラ
フィクス表示の他、動画表示をサポートする。

【００４３】このマルチメディアディスプレイコントロ
ーラ１９には、図示のように、グラフィックス表示制御
回路（Graphics）１９１、ビデオ表示制御回路１９２、
マルチプレクサ１９３、およびＤ／Ａコンバータ１９４
等が設けられている。

【００４４】グラフィックス表示制御回路１９１は、Ｖ
ＧＡ互換のグラフィックスコントローラであり、ビデオ
メモリ（ＶＲＡＭ）２０に描画されたＶＧＡのグラフィ
クスデータをＲＧＢビデオデータに変換して出力する。
ビデオ表示制御回路１９２は、デジタルＹＵＶデータを
貯えるビデオバッファ、及び同バッファに貯えられたＹ
ＵＢデータをＲＧＢビデオデータに変換するＹＵＢ−Ｒ
ＧＢ変換回路等をもつ。

【００４５】マルチプレクサ１９３は、グラフィックス
表示制御回路１９１とビデオ表示制御回路１９２の出力
データの一方を選択、またはグラフィックス表示制御回
路１９１からのＶＧＡグラフィクス上にビデオ表示制御
回路１９２からのビデオ出力を合成してＤ／Ａコンバー
タ１９４に送る。Ｄ／Ａコンバータ１９４は、マルチプ
レクサ１９４からのビデオデータをアナログＲＧＢ信号
に変換して、ＣＲＴディスプレイに出力する。

【００４６】図６には、ＭＰＥＧ２ デコーダ１８の具
体的な構成が示されている。このＭＰＥＧ２ デコーダ
１８は、多重化されたビデオ、サブピクチャ、およびオ
ーディオなどのビットストリームを同期させてデコード
再生するために、ビデオ、サブピクチャ、およびオーデ
ィオに対応する３つのデコーダ、すなわち、ＭＰＥＧ２
ビデオデコーダ１８１、サブピクチャデコーダ１８
２、およびオーディオデコーダ１８３を備えている。

【００４７】これらＭＰＥＧ２ ビデオデコーダ１８
１、サブピクチャデコーダ１８２、およびオーディオデ
コーダ１８３は、それぞれ内部バスを介してシステムバ
ス１０に結合されている。ＭＰＥＧ２ ビデオデコーダ
１８１およびサブピクチャデコーダ１８２には、それぞ
れデコード処理などに使用されるＲＡＭ１８４，１８５
が設けられている。

【００４８】ＭＰＥＧ２ ビデオデコーダ１８１は、多
重化されたＭＰＥＧストリームに含まれるビデオデータ
をデコードするためのものであり、ＳＣＳＩインタフェ
ース１６から例えば１データブロック分のＭＰＥＧスト
リームを受信するまで、繰り返し転送要求を発行する。
ＭＰＥＧ２ ビデオデコーダ１８１は、図４で説明した
ストリームＩＤを利用して、受信したＭＰＥＧストリー
ムをパック毎にビデオ、サブピクチャ、およびオーディ
オに分離し、そしてビデオパックのデコードを行う。Ｍ
ＰＥＧ２ ビデオデコーダ１８１によって分離されたサ
ブピクチャ、およびオーディオパックについては、それ
ぞれサブピクチャデコーダ１８２およびオーディオデコ
ーダ１８３に送られる。

【００４９】前述したように、１データブロックに対応
するデコード再生時間は固定であり、且つ１データブロ
ックに含まれる情報量は可変である。したがって、ＭＰ
ＥＧ２ ビデオデコーダ１８１が１データブロック分の
ＭＰＥＧストリームを受信するまでの期間に発生される
転送要求回数は、情報量の多いデータブロックほど多く
なり、ＭＰＥＧストリームの平均転送レートが上昇する
ことになる。

【００５０】サブピクチャデコーダ１８２は、ＭＰＥＧ
２ ビデオデコーダ１８１によって分離されたサブピク
チャパックをデコードする。ここで実行されるデコード
処理の種類は、サブピクチャに施されている符号化処
理、つまりランレングス符号化に対応するものである。
さらに、サブピクチャデコーダ１８２は、ＭＰＥＧ２ビ
デオデコーダ１８１でデコードされたビデオを受信し、
そのビデオにサブピクチャデコーダ１８２がデコードし
たサブピクチャを合成する。サブピクチャの合成位置
は、サブピクチャパケットに付与されているヘッダ部に
含まれる位置情報によって決定される。合成されたデー
タは、デジタルＹＵＶデータとして出力される。

【００５１】オーディオデコーダ１８３は、ＭＰＥＧ２
ビデオデコーダ１８１によって分離されたオーディオ
パックをデコードする。ここで実行されるデコード処理
の種類は、オーディオデータに施されている符号化処
理、つまりＤＯＬＢＹ ＡＣ３に対応するものである。
デコードされたオーディオパケットは、デジタルオーデ
ィオデータとして出力される。

【００５２】キャスト入れ替えのための編集作業は、Ｍ
ＰＥＧ２ ビデオデコーダ１８１によってデコードされ
た映像に対して行われる。以下、その編集のための手順
を図７乃至図９のフローチャートを参照して具体的に説
明する。

【００５３】図７のフローチャートは、デジタルビデオ
データを編集／再生するための一連の流れを示してい
る。まず、最初に、記録媒体から読み取ったキャスト一
覧情報を元にキャスト一覧の画面表示が行われる（ステ
ップＳ２−１）。これは映像で登場するキャスト画像の
一覧と、入れ替え元となるキャスト画像の一覧である。
次に、そのキャスト一覧画面上でのユーザ操作に従って
キャスト選択が行われる（ステップＳ２−２）。ここで
は、キャスト先（既に登場しているキャストで入れ替え
の対象となるもの）とキャスト元（キャスト入れ替えで
登場するもの）が対で選択される。

【００５４】この後、映像と、その映像に同期した音
声、およびキャスト情報を含む前述のビットストリーム
の入力およびデコード処理が開始される。そして、この
時の再生データがフレーム単位で入力され、再生終了か
否かがチェックされる（ステップＳ２−３）。入力情報
が無い場合は再生終了し、ある場合はステップＳ２−４
〜Ｓ２−６の処理が行われる。

【００５５】ステップＳ２−４はキャスト画像を編集す
るステップであり、ここでは、元の映像で使用されてい
るキャスト情報から、入れ替え元となるキャスト画像に
修正が加えられる。次のステップＳ２−５はキャストを
入れ替えするステップであり、ここでは、ステップＳ２
−４で修正されたキャスト画像が、それに対応する元の
映像フレームの中のキャスト位置情報で指定される位置
にはめ込まれる。次のステップＳ２−６はフレームを再
生するステップであり、ステップＳ２−５でキャスト画
像の入れ替えが行われた画像フレームが出力され、表示
画面上に再生、または記録装置に記憶される。これらス
テップＳ２−４〜Ｓ２−６の処理は、全てのフレームに
ついて終了するまで繰り返し実行される。

【００５６】図８のフローチャートは、ステップＳ２−
４のキャスト画像編集ステップで行われる具体的な手順
を示している。すなわち、ステップＳ２−４のキャスト
画像編集では、まず、現在のフレームがキャストの入れ
替えがあるフレームであるか否かが調べられ（ステップ
Ｓ３−１）、入れ替えがある場合は、キャスト特徴情報
に含まれる輪郭情報からその形状の変位や傾きおよび回
転などの特徴点に関する形状情報を得て、キャスト元画
像の対応する特徴点に対して同じ変換が行われる（ステ
ップＳ３−３）。これにより、キャスト元画像の特徴点
が修正される。そして、その修正により変位した特徴点
の変化に合わせて、キャスト元画像全体の変換が行われ
る（ステップＳ３−３）。この後、光源の場所や色温
度、明るさなどを示す照明アングル情報に従って、キャ
スト元画像に対して明るさなどの修正が行われる（ステ
ップＳ３−５）。この様にして作成したキャスト元画像
は、キャスト先の場所にはめ込まれる（合成）。ステッ
プＳ３−１乃至ステップＳ３−４の作業は毎フレーム行
われ、これによって再生画像が得られる。

【００５７】図９のフローチャートは、変更禁止エリア
を含むフレームに対するキャスト画像編集ステップの手
順を示している。すなわち、図７のステップＳ２−４の
キャスト画像編集では、まず、現在のフレームがキャス
トの入れ替えがあるフレームであるか否かが調べられ
（ステップＳ４−１）、入れ替えがある場合は、変更禁
止情報によって変更禁止エリアが指定されているフレー
ムであるか否かが調べられる（ステップＳ４−２）。変
更禁止エリアを含むフレームである場合には、図８のス
テップＳ３−２乃至ステップＳ３−４の作業で得られた
キャスト元画像をそのままフレームに合成するのでは無
く、その合成するキャスト元画像の内で変更禁止エリア
に掛かる部分がクリッピング処理で切り取られ（ステッ
プＳ４−３）、その残りの部分だけがもとのフレーム画
像上にはめ込まれる（ステップＳ４−４）。

【００５８】このクリッピング処理により、例えば帽子
を被っているキャストの場合、帽子や服の部分を変更禁
止エリアとすることで、人物などの顔の入れ替えをスム
ーズに行うことができる。

【００５９】以上説明したように、この実施形態におい
ては、キャスト入れ替えで新たに採用するキャスト画像
を修正するための補助情報としてのキャスト特徴情報を
デジタルビデオデータに含ませておくことで、そのキャ
スト特徴情報によって、各フレーム画像上に登場する人
物および物体などのキャストについてその形状および照
明などの特徴を考慮した状態で、新たに採用するキャス
ト画像を修正できる。よって、新たなキャスト画像を元
の画像の各場面の状況に適した形態に変換することがで
きる。この様にして修正が施されたキャスト画像はそれ
に対応する元のフレーム画像の中にはめ込まれ、これに
よってキャストの入れ替えがスムーズに行われる。よっ
て、ユーザが参加できる映像の提供が可能となり、新た
な映像ジャンルの開拓普及により、より高度なサービス
が可能となる。

【００６０】

【発明の効果】以上説明したように、この発明によれ
ば、デジタルビデオデータに埋め込んだ補助情報を使っ
てビデオ編集することにより映像上に登場するキャスト
を自由、且つスムーズに入れ替えることが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施形態に係るデジタルビデオ編
集方法を実現するためのソフトウェアの機能構成を示す
図。

【図２】同実施形態のデジタルビデオ編集方法が適用さ
れるコンピュータシステムの構成を示すブロック図。

【図３】図２のシステムでデジタルビデオデータの記録
に使用されている記録装置の一例を示す図。

【図４】同実施形態のデジタルビデオ編集方法で扱われ
るビデオデータの記録形式の一例を示す図。

【図５】同実施形態のデジタルビデオ編集方法で扱われ
るビデオデータに含まれているキャスト特徴情報のデー
タ形式の一例を示す図。

【図６】図２のシステムに設けられたＭＰＥＧ２ デコ
ーダの具体的な構成の一例を示すブロック図。

【図７】同実施形態で実行されるデジタルビデオデータ
編集／再生処理全体の手順を示すフローチャート。

【図８】図７のデジタルビデオデータ編集／再生処理で
行われるキャスト画像編集処理の手順を示すフローチャ
ート。

【図９】図７のデジタルビデオデータ編集／再生処理で
行われるキャスト画像編集処理の手順の他の例を示すフ
ローチャート。

【符号の説明】

１−１…ビデオ再生統括機能部、１−２…外部記憶装
置、１−３…ビデオデータ入力機能部、１−４…入れ替
え元キャスト入力機能部、１−５…キャスト選択機能
部、１−６…キャスト画像編集機能部、１−７…キャス
ト入れ替え機能部、１−８…ビデオ出力機能部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 映像データとそれに同期した音声データ
   とを含むデジタルビデオデータを編集するデジタルビデ
   オ編集方法において、 前記デジタルビデオデータには、その映像データによっ
   て提供される各フレーム画像上に登場する人物および物
   体などのキャストについてその位置、形状および照明に
   関する特徴を示すキャスト特徴情報が含まれており、 前記映像データに登場するキャストの中から入れ替え対
   象のキャストを選択し、 その選択された入れ替え対象キャストに対応するキャス
   ト特徴情報を前記デジタルビデオデータから入力し、 前記入れ替え対象キャストに代わって前記各フレーム画
   像上に登場させるべきキャスト画像を、前記入れ替え対
   象キャストに対応するキャスト特徴情報に基づいて修正
   し、 その修正されたキャスト画像をそれに対応する元のフレ
   ーム画像の中にはめ込み、キャストの入れ替えを行うこ
   とを特徴とするデジタルビデオ編集方法。
2. 【請求項２】 前記キャスト特徴情報には、各フレーム
   画像上における変更禁止エリアを規定する変更禁止情報
   が含まれており、 前記修正されたキャスト画像の中から前記変更禁止情報
   で規定される変更禁止エリアに掛かる部分を切り取り、
   その残りの部分を前記元のフレーム画像の中にはめ込む
   ことを特徴とする請求項１記載のデジタルビデオ編集方
   法。
3. 【請求項３】 映像データとそれに同期した音声データ
   とを含むデジタルビデオデータを編集するデジタルビデ
   オ編集方法において、 前記デジタルビデオデータには、その映像データによっ
   て提供される映像に含まれる人物および物体などのキャ
   ストの一覧情報と、前記各キャストについてその位置、
   形状、照明、および変更禁止エリアに関する情報を各フ
   レーム画像毎に規定するキャスト特徴情報が含まれてお
   り、 前記キャスト一覧情報を用いてキャスト一覧を表示し、 そのキャスト一覧表示画面上で選択された入れ替え対象
   のキャストに対応するキャスト特徴情報を前記デジタル
   ビデオデータから入力し、 前記入れ替え対象キャストに代わって前記各フレーム画
   像上に登場させるべきキャスト画像を、前記入れ替え対
   象キャストに対応するキャスト特徴情報に基づいて修正
   し、 その修正されたキャスト画像の中から前記変更禁止エリ
   アに掛かる部分を切り取り、その残りの部分を前記修正
   されたキャスト画像に対応する元のフレーム画像の中に
   はめ込んでキャストの入れ替えを行うことを特徴とする
   デジタルビデオ編集方法。