JP4154799B2 - 圧縮動画像編集装置および記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、圧縮動画の編集分野に関し、特に、圧縮動画データについてユーザにより指定された編集開始点および編集終了点にできるだけ近い範囲の圧縮動画データ部分を自動的に切り出すことのできる編集方法および編集装置に関するものである。
【０００２】
【従来の技術】
情報を伝達する手段として有効である動画は、静止画に比べ非常に情報量が多くそのままではコンピュータ上での取扱いが困難であった。しかし、近年、動画圧縮の技術として国際標準規格ＩＳＯ１１１７２で定められているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）による圧縮率向上と二次記憶装置の低価格化により、動画を家庭用コンピュータで扱うことも可能になった。
【０００３】
最初の規格であるＭＰＥＧ１が公表された後、ＭＰＥＧ２と呼ばれる放送用圧縮規格が制定された。ＭＰＥＧ１は、１．５Ｍｂｐｓ程度の転送レート転送した画像を、３５２×２４０画像程度の解像度で毎秒約３０フレーム(ＮＴＳＣ)または２５フレーム(ＰＡＬ)程度で再生する。これに対し、ＭＰＥＧ２は４．０〜８．０Ｍｂｐｓ程度の転送レートで、７２０×４８０程度の画像を再生する。
【０００４】
通常、ＭＰＥＧデータはカメラやキャプチャボードなどから入力したアナログ映像をＭＰＥＧ形式に圧縮（エンコード）して生成される。また、キャプチャされたＭＰＥＧデータは、ＭＰＥＧデコーダ（ソフトウェアまたはハードウェア）がインストールされているＰＣで再生可能である。
【０００５】
ＭＰＥＧデータをキャプチャした場合、通常のＡＶＩデータと同様にキャプチャしたデータをそのまま使用するのではなく、一部を削除したり、効果的に画像を貼りあわせたいという要求がある。しかし、下記の説明するようにＭＰＥＧは差分圧縮を行っているため、通常のデジタルビデオと異なり編集が非常に困難である。
【０００６】
ＭＰＥＧデータは、ビデオを圧縮したデータであるＭＰＥＧビデオストリームとオーディオを圧縮したデータであるＭＰＥＧオーディオストリームをマルチプレクスしてＭＰＥＧシステムストリームを形成する。通常ＭＰＥＧデータと呼ばれているのは、ＭＰＥＧシステムストリームであるが、ＭＰＥＧビデオストリーム、ＭＰＥＧオーディオストリームだけでもＭＰＥＧデータとしてソフトデコーダ等で再生可能である。
【０００７】
ＭＰＥＧデータを編集する際、特に問題となるのはビデオストリームである。ビデオストリームはデータ階層構造を持つ。この階層の最も高いレベルはビデオシーケンスである。これは、シーケンスヘッダと１つ以上のＧＯＰ（ＧｒｏｕｐＯｆ Ｐｉｃｔｕｒｅ）とシーケンスエンドから成っている。各ＧＯＰには、一つ以上のピクチャ（フレームに相当する）が含まれる。
【０００８】
ピクチャには、次の３種類がある。ピクチャ内圧縮ピクチャ（以下Ｉピクチャ）、前方向予測圧縮ピクチャ（以下Ｐピクチャ）、前後方向予測圧縮ピクチャ（以下Ｂピクチャ）である。Ｉピクチャは、画像を１６×１６画素のブロックに分割し、各ブロック内で離散コサイン変換（以下ＤＣＴ)を行う。これにより、画像情報を低周波数成分の係数に集中させる。更に、その値を人間の視覚が高周波成分に鈍いことを用いて量子化する。この２つの処理により圧縮された情報を、ハフマンテーブルを用いて符号化する。
【０００９】
Ｐピクチャは、時間的に前のＩピクチャまたはＰピクチャを参照し差分圧縮を行う。まず、圧縮対象ピクチャを１６×１６画素のマクロブロックに分割する。該ブロック単位において、ブロック内圧縮、差分圧縮、圧縮データなし（スキップ）を選択する。圧縮対象ブロックの前のブロックと動き補償ベクトルが同一の場合、そのブロックは圧縮データをスキップできる。差分圧縮とは、圧縮対象ブロックの画像を、該参照ピクチャの画素に対し動き補償を行い動き補償ベクトルを決定する。ブロック内圧縮とは、ブロック内で前述のＤＣＴを行い圧縮する。
【００１０】
Ｂピクチャは時間的に前にあるＩピクチャと、時間的に後にあるＰピクチャを参照し、差分圧縮を行う。Ｐピクチャと同様に圧縮対象ピクチャを１６×１６画素のブロックに分割する。該ブロック単位において、ブロック内圧縮、差分圧縮、圧縮データを持たないか（スキップ）を選択する。選択方法は、Ｐピクチャの場合と同様である。このようにピクチャ間差分圧縮を用いて高能率な圧縮を可能とする。
【００１１】
上記の方式で圧縮した動画データと圧縮音声データを、パケットと呼ぶ単位でマルチプレクスしたものがＭＰＥＧデータである。
【００１２】
このように、ＭＰＥＧ内のビデオデータは、それらが相互に参照し差分圧縮を行っているため、各ピクチャを圧縮したまま一枚ずつ切り離すことはできないため、編集は容易ではない。
【００１３】
この問題を解決する手段が、ＪＰ−Ａ−９−２４７６２０において提案されている。これによるとＭＰＥＧはＧＯＰ単位で差分圧縮が行われるため、ユーザ（編集者）によってマークイン（編集開始点）、マークアウト（編集終了点）をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位に指定することで簡単な切り取り（編集）が可能となる。
【００１４】
【発明が解決しようとする課題】
ＭＥＰＧによると、ＧＯＰには一つ以上のＩピクチャが含まれれば良く、特にピクチャ枚数の上限は規定されていない。ＧＯＰ内のピクチャ数は、ＮＴＳＣ信号の場合１５枚（０．５秒）が一般に多くみられるが、全ピクチャで１ＧＯＰとなっていることもある。この場合、全てのピクチャが同一ＧＯＰに含まれているため、切り取り（編集）は不可能である。また、１ＧＯＰ内の数が多くなるに従って、マークイン、マークアウトとしてユーザの指定した位置から離れた位置でＭＥＰＧデータの切り取りが行われる。
【００１５】
この問題を解決するために、ピクチャ単位の編集を行うことも考えられる。この方式では、ピクチャ単位で編集を行うため、必要最小限の範囲で編集用動画データを抽出することができる。しかし、Ｂピクチャがマークイン、マークアウトに指定された場合、必ずデコード、再エンコードを行い、前または後のピクチャがなくても再生可能な状態にして切り取りを行う。このため、ＧＯＰ単位で編集よりも処理時間がかかるという問題がある。
【００１６】
本発明の目的は、圧縮動画データについてユーザにより指定された編集開始点および編集終了点にできるだけ近い範囲の圧縮動画データ部分を自動的に抽出できる編集方法および編集装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明では上記目的を達成するために、編集エンジンを用いて動画データを編集する方法、および装置において、編集開始候補位置に指定されたピクチャが編集範囲外の他のピクチャを参照している場合、開始位置をその参照ピクチャとする変更を行う。また、編集終了候補位置に指定されたピクチャが編集範囲外の他ピクチャを参照している場合、その参照ピクチャも含めた終了位置に変更する。この方法を用いることで、編集を行う際にデコード、再エンコードの処理を行う必要がなくなるので、編集の処理時間を短縮することができる。
【００１８】
また、編集対象であるＭＰＥＧデータがＭＰＥＧシステムストリームである場合は、ビデオストリームの編集の開始位置、または編集の終了位置の変更に伴ってオーディオストリームのデータの編集の開始位置と終了位置を変更する。このようにすることで、ビデオストリームの編集位置の変更によってオーディオストリームとの周期がずれることを防ぎ、適切な編集処理を行うことが可能となる。
【００１９】
さらに、編集の開始位置と終了位置の指定を、表示装置に表示される編集位置指定ガイド情報をもとにおこなう。この編集位置指定ガイド情報を参考にすることで、編集の指定をより適切に行うことが可能となる。
【００２０】
【発明の実施の形態】
図１は、本発明の一実施例に係る動画圧縮システムのハードウェア構成を示すブロック図である。
【００２１】
図１において、本実施例の動画圧縮編集システム１００は、各装置を制御するための処理装置１０、画像データ、動画に各種編集処理を加えるための編集プログラム、編集プログラムが実行されるために用いる編集データテーブルを格納するためのメインメモリ１１、表示するための画像データを一時格納するためのフレームメモリ１２、デコードした画像データを表示するディスプレイ装置１３、圧縮したデータを伸長するデコーダ１４、画像データ、オーディオデータを圧縮するエンコーダ１５、アナログの画像データ、オーディオデータをディジタル変換するＡ／Ｄコンバータ１６、アナログビデオデータを入力する画像入力装置１７、アナログオーディオデータを入力するオーディオ入力装置１８、デコードしたデータや編集プログラムを格納する二次記憶装置１９、音声出力装置であるスピーカ１０１、各種コマンド、指示を入力するためのコマンド入力装置１０２から構成されている。
【００２２】
処理装置１０は、メインメモリ１１に格納された編集プログラムを読み込み、編集プログラムのコマンドを実行し、編集装置として機能する。
【００２３】
画像入力装置１７、およびオーディオ入力装置１８によってキャプチャされたアナログ信号は、Ａ／Ｄコンバータ１６により、ビデオ信号、オーディオ信号別々にデジタル信号に変換され、エンコーダ１５に入力される。エンコーダ１５では、それらのデジタル信号を圧縮しＭＰＥＧシステムストリームの形式で出力する。
【００２４】
エンコーダ１５により生成されたＭＰＥＧデータは、二次記憶装置１９またはメインメモリ１１に蓄積される。なお、圧縮動画編集システムに本発明を適用する場合は、図１に示すシステム１００において破線で囲んだブロック１０２は省略できる。
【００２５】
二次記憶装置１９またはメインメモリ１１に蓄積された圧縮動画データは、ユーザからデータ再生要求があった場合、デコーダ１４により伸長される。伸長されたビデオデータはフレームメモリ１２に書き込まれディスプレイ１３に表示され、デコーダ１４により伸長されたオーディオデータはスピーカ１０１を適して再生される。
【００２６】
コマンド入力装置１０２は、データの切り取りや貼り付けなどの各種編集処理を選択したり、切り取りの開始位置や終了位置などの編集位置を指定するために用いられるものであり、マウスやキーボードなどの入力装置が考えられる。指定された編集位置についての情報は、メインメモリ１１の編集データテーブルに格納される。編集データテーブルは、メインメモリ１１上にあってもいいが、図示されていないが、キャッシュメモリなど、そのほかの記憶媒体上に格納することも考えられる。
【００２７】
ビデオデータを編集する場合、例えば二次記憶装置１９に記憶された編集する入力ファイルが指定されると、入力ファイルのデータはメインメモリ１１に格納され、処理装置１０によって各種編集処理が行われる。
【００２８】
本実施例の編集プログラムは、いくつかの編集作業を行うことのできる編集装置によって実行される。この種の編集作業として、入力ファイルや入力ストリームから、他のファイルで使用するために切り取るカット操作、またはペースト操作、フェード操作、ブレンド操作、モーフィング（形付け）操作、ティルティング（傾け）操作、音声データと動画像データの貼り合わせ操作などをあげることができる。
【００２９】
図８は、編集位置を指定するための編集位置ガイド指定情報を表示する画面の表示例である。図８において、８１は１画面分の画像の表示エリアである。また８２は、編集位置を指定したり、表示位置を変更したりするための入力エリアである。
【００３０】
８３は、全ビデオデータを示している。８４は、切り出し対象データを示している。８５は、切り出し開始候補位置として指定されたマークインの位置を示すエリアで、ビデオデータが始まってからマークインとした場所までの時間を示している。８６は、切り出し候補終了位置として指定されたマークアウトの位置を示すエリアもので、ビデオデータが始まってからマークアウトまでの時間を示している。８７は、切り出されるデータの長さを表示するエリアである。８８は、表示エリア８１に表示されている画像を指定するエリアである。
【００３１】
８５〜８８の矢印をマウスカーソルでクリックすることで、位置を移動することができる。表示エリア８１に指定したい画面を表示し、ＯＫをマウスによってクリックすることで、マークインまたはマークアウトの位置を指定する。または、切り出し対象エリア８４をマウスでドラッグしたり、フレーム番号入力エリア８９に直接マークイン、マークアウトとしたいフレーム番号を入力することで、指定することも可能である。
【００３２】
次に図２により、ＭＰＥＧデータの構造と編集例を説明する。
【００３３】
格納順データ列２０は、ＭＰＥＧデータが二次記憶装置１９やメインメモリ１１内に格納されるピクチャの順序を示す。また、表示順データ列２１はデコーダ１４によりデコーダされたデータが、フレームメモリに表示されるピクチャの順序を示す。ＭＰＥＧでは双方向予測符号化により圧縮されるＢピクチャがあるため、データ列２０に示すように、Ｂピクチャをデコードするために必要である２つの参照ピクチャ（ＩまたはＰピクチャ）を、Ｂピクチャより前に格納する。この方が、Ｂピクチャのエンコード／デコード時に余分なバッファを用いてピクチャデータを保持する必要がなく、好ましい。このため、本発明の原理は、格納順データ２０のようにメディア上に格納されているデータを表示順に並び替えると、理解しやすい。表示順データ２１はそのような並びを示している。
【００３４】
以下、本実施例の説明では、表示順データ２１を用いて編集方式の説明を行う。
【００３５】
ユーザ（編集者）が図８に示す編集装置を用いることにより、表示順データ２１において、マークイン２２、マークアウト２５を指定する。ここで、マークインとは、切り出し開始位置のピクチャを示す。マークアウトとは切り出し終了位置のピクチャを示す。マークイン２２、マークアウト２５のように切り出し範囲を指定された場合、切り出されるピクチャはＭＰＥＧデータ２３のピクチャ列となる。しかし、この位置で切り出しを行うと、Ｂ４、、Ｂ５ピクチャは、１３ピクチャを参照しているため、正しくデコードできない。また、Ｐ６ピクチャも１３ピクチャを参照してエンコードされているため、正しくデコードできない。
【００３６】
一方、ＧＯＰ２から切り出されるＢ１６〜Ｂ２６のピクチャの場合、Ｂ２５、Ｂ２６ピクチャがその後に続くＰ２６ピクチャを参照している。このため、正しくデコードされない。
【００３７】
そのため、指定されたマークイン２２およびマークアウト２５の範囲内で正しくデコードするためには、ＭＰＥＧデータ２８に示されるようにＰ６を前方のＩ３ピクチャを参照にしないＩ６ピクチャとし、Ｂ４、Ｂ５をＩ６を参照するＢ４、Ｂ５ピクチャとし、Ｂ２５、Ｂ２６ピクチャをＰ２７に依存しないようなＩ２５、Ｉ２６ピクチャにする必要がある。このように、指定された通りに途中のピクチャで切り出す場合は、正しくデコードできるように、再度いくつかのピクチャをエンコードし直さなければならない。
【００３８】
本発明では、図３以降の図で示すような処理を行うことによって、再エンコードが発生されないようにマークイン２２、マークアウト２５の位置を自動的に修正し切り出しを行うので、切り出されるＭＰＥＧデータは２７になる。実際には、格納されているデータ列２０から切り出されるべきピクチャが選択されて読み出される。読み出されたピクチャは、ファイルとして用いられる場合は、データ列２００として格納順に並べられ格納される。
【００３９】
図３は、本実施例の全体の処理を説明するためのフローチャートを示す。
【００４０】
まず、処理が始まると、ステップ３１で、ユーザからマークイン２２、マークアウト２５が指定され、その情報が図９に示す編集データテーブルのマークイン位置エリア９４、マークアウト位置９５エリアに格納される。次に、ステップ３２で、指定されたマークイン２２、マークアウト２５が正しいか、入力情報のチェックを行う。次に実際の切り出す指定イン２４、指定アウト２６の位置の決定ステップ３３、３４を実行する。さらにステップ３５により圧縮動画データの切り出しを行い、処理を終了する。
【００４１】
次に、ステップ３２、３３の詳細な説明を図４、５および図１０を用いて行う。
【００４２】
図４は、入力ファイル情報の獲得から、マークイン２２、マークアウト２５を指定する入力情報のチェック処理までを説明するためのフローチャートである。
【００４３】
まず、ステップ４１で、二次記憶装置１９に格納されている編集対象ファイルとして指定された入力ファイルがオープンできるかをチェックする。ここで、オープンできない場合はエラー処理４７を行う。
【００４４】
入力ファイルがオープンできた場合、ステップ４２において入力ファイルがＭＰＥＧシステムストリームまたは、ＭＰＥＧビデオストリームのいずれかであることを確認し、該当するファイルの形式を図９に示す編集データメモリのストリーム名エリア９１に格納する。入力ファイルの先頭がバックヘッダであればシステムストリームであり、シーケンスヘッダであればビデオストリームである。ステップ４３では、ストリームにあるすべてのビデオシーケンスに含まれる各ＧＯＰのヘッダの情報をＧＯＰヘッダ情報格納エリア９２に順次格納し、そのなかのＴｉｍｅ Ｃｏｄｅ（ＴＣ）を用いて入力ファイル中の全ピクチャ数をカウントし、図９に示す編集データテーブルの全ピクチャ数エリア９３に総数を格納する。本実施例では全ピクチャ数は１５００であるとする。
【００４５】
次に、ステップ４４においてマークイン２２の値が０より大きいかをチェックする。これは、マークインが指定されたときに、ピクチャが属するＧＯＰヘッダ情報に格納されているＴＣを用いてビデオシーケンスの先頭からの時間を割り出し、次にＧＯＰの何番目のピクチャであるかをピクチャヘッダのＴＲ（Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ）から割り出す。そのピクチャヘッダの情報からその値を割り出す。本実施例では、マークイン２２は４番目のＢ４ピクチャであるので、Ｙｅｓである。その情報はマークイン位置エリア９４（図９）に格納される。
【００４６】
Ｙｅｓの場合、マークアウト２５の値が全ピクチャ数以下かをマークイン２２の場合と同様にして判別する。本実施例では、マークアウトは２６であり、１５００より少ないのでＹｅｓである。マークアウト２５の値はマークアウト位置エリア９５（図９）に格納される。
【００４７】
ステップ４５がＹｅｓの場合、ステップ４６に進み、図９のマークイン位置エリア９４とマークアウト位置エリア９５に格納された値を用いて、マークアウト２５よりマークイン２２の値が小さいかを確認する。ここで、マークイン２２はマークアウト２５より小さいので、次のステップ３３および３４に進む。
【００４８】
エラーとなった場合は、ステップ４７により正しい入力ファイル、マークイン２２、マークアウト２５が入力されるのをまち、再度ステップ４０からチェックを行う。以上の処理により、マークイン２２、マークアウト２５が正しく指定されたかを確認することができる。
【００４９】
図５および図１０は、それぞれステップ３２、ステップ３３を詳細に示したフローチャートである。ここでは、再エンコードをせずに編集可能なようにマークイン２２、マークアウト２５の位置を変更し指定イン２４、指定アウト２６を決定する処理を説明する。
【００５０】
図５において、ステップ５１で、マークインしたピクチャがＩピクチャかを判定する。ピクチャの種類は、マークインピクチャ情報に格納されているピクチャヘッダのＰｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｔｙｐｅ（ＰＣＴ）によって判断する。Ｉピクチャの場合、マークインピクチャは前のピクチャを参照していないため、指定されたマークイン位置を変更する必要はない。このため、ステップ５５に進みマークイン２２を指定イン２４とする。確定した指定イン２４の情報は、図９に示す編集データテーブルの指定イン位置エリア９６に格納される。
【００５１】
マークインしたピクチャがＰピクチャ、またはＢピクチャの場合はステップ５２に進む。ステップ５２では、編集データテーブルのＧＯＰヘッダ情報を検索し、マークインに指定されたピクチャが属するＧＯＰについての情報より、マークインに指定されたピクチャが、そのピクチャが属するＧＯＰ内の最初のＩピクチャより先に表示されるかどうかを判断する。これは、ＧＯＰヘッダ情報９２および、ピクチャヘッダ情報９８のＴＲを参照して判定する。または、予め作成した前後ＧＯＰ情報を参照して判定する。
【００５２】
ここで、マークインでの前後ＧＯＰ情報の例を図６に示す。
【００５３】
フィールド６０では、マークインの前のＧＯＰ、現在のＧＯＰ、後にあるＧＯＰ内の表示順ピクチャ情報６１，６２および６３を保持している。本実施例の場合、ＧＯＰ１の前ＧＯＰはないためフィールド６１に示すように情報はない。現在のＧＯＰであるフィールド６２は、ＧＯＰヘッダにあるフラグの一つ（ＣＧ）で、マークインのあるＧＯＰがＣｌｏｓｅｄ ＧＯＰであることを示す。ここで、Ｃｌｏｓｅｄ ＧＯＰとはＧＯＰ内のピクチャが前のＧＯＰのピクチャを参照してエンコードされていないことを示すフラグである。
【００５４】
また、マークインに指定されているＢ４ピクチャ６３が表示順で４番目であり、その前にＩ３ピクチャがあることを示す。このような前後ＧＯＰ情報を用いて、マークインに指定されたピクチャがマークインピクチャを含むＧＯＰの中にあるＩピクチャよりも表示順で前にあるかを判定する。
【００５５】
図５にもどって、ステップ５２でマークインに指定されたピクチャが表示順で自分が属するＧＯＰの最初のＩピクチャよりも前にある場合は、そのＧＯＰがＣｌｏｓｅｄ ＧＯＰかフィールド６２で判定し、Ｃｌｏｓｅｄ ＧＯＰの場合はステップ５５に進み、マークインピクチャを指定イン２４にする。
【００５６】
マークインピクチャのあるＧＯＰがＣｌｏｓｅｄ ＧＯＰでない場合は、ステップ５４に進み、ＧＯＰヘッダ情報エリアにある前のＧＯＰのヘッダ情報を参照して、前のＧＯＰのなかにある最後のＩピクチャを指定インとする。又は、現在ＧＯＰのなかにある最初のＩピクチャを指定インとしてもよい。
【００５７】
さらに、ステップ５２でマークインに指定されたピクチャが表示順で自分が属するＧＯＰの最初のＩピクチャよりも後ろにある場合は、ステップ５６に進み、ＧＯＰヘッダ情報を参照してそのピクチャが属するＧＯＰ内でマークインの直前のＩピクチャを指定インとする。本実施例の場合は、前後ＧＯＰ情報を用いてマークインピクチャ（Ｂ４）がマークインのあるＧＯＰ１内のＩ３ピクチャより後にあるため、ステップ５４からステップ５６に進み、Ｉ３ピクチャを指定イン２４とする。
【００５８】
以上の処理で指定インとするピクチャが決定したら、指定アウト決定処理に進む。
【００５９】
図１０に指定アウト決定処理のフローチャートを示す。
【００６０】
まず、ステップ１００１でマークアウトに指定されたピクチャがＢピクチャであるかどうかを判断する。これも、マークインピクチャの場合と同様にＰＣＴを参照する。マークアウトに指定されたピクチャがＩまたはＰピクチャである場合はステップ１００４に進み、マークアウトピクチャを指定アウト２６にする。確定した指定アウト２６の情報は、図９に示す編集データテーブル９０の指定アウト位置エリア９７に格納される。
【００６１】
マークアウトがＢピクチャである場合、ステップ１００２においてマークアウト２５が最終ピクチャであるかどうかをＧＯＰヘッダ情報９２（図９）を参照して判断する。または、予め作成した前後ＧＯＰ情報を用いてもよい。
【００６２】
本実施例のマークアウトの場合の前後ＧＯＰ情報の例を図７に示す。フィールド７０では、マークアウトの前のＧＯＰ、現在ＧＯＰ、後にあるＧＯＰ内の表示順ピクチャ情報７１、７２、７４を保持する。また、マークアウトに指定されているＢ２６ピクチャ７３が表示順で１１番目であり、その前にＩ１８ピクチャがあり、後にＰ２７ピクチャがあることが分かる。このような前後ＧＯＰ情報を用いて、マークアウト位置を変更するかを判定する。
【００６３】
図１０に戻って、ステップ１００２においてマークアウトがＧＯＰ内又は全ピクチャのうちで最終のピクチャであると判定されると、ステップ１００４に進む。マークアウトピクチャがＧＯＰ内又は全ピクチャのうちで最終ピクチャの場合、ステップ１００４に進み、そのピクチャを指定アウト２６とする。マークアウトピクチャが最終ピクチャでない場合はステップ１００３に進み、マークアウト２５の後にある一番近いＩまたはＰピクチャを指定アウト２６とする。
【００６４】
本実施例の場合は、マークアウト２５に指定されたのがＢ２６ピクチャであるので、ステップ１００２に進み、さらに最終ピクチャではないので、ステップ１００３に進んで、すぐ後ろにあるＰ２７ピクチャを指定アウト２６に決定して処理を終了する。
【００６５】
これらの処理により、マークイン２２、マークアウト２５で指定されたＭＰＥＧデータ列２３は、再エンコードしなくても切取ることが可能なデータ２７となる。データ２７は切り取り処理が行われた後、他の圧縮ビデオデータへの貼り付けなどの編集や、データ２７のみでの再生が可能となる。なお、ファイルとして格納されるときは格納順に並んだデータ列２００として格納される。
【００６６】
以上では、ビデオストリームに注目して、ビデオストリームの編集処理について説明したが、次の実施例では、編集データがシステムストリームで場合についての処理を説明する。
【００６７】
システムストリームであるかどうかの判定は、図４のステップ４２で入力ファイル形式についての情報が取得されており、ここで、システムストリームである場合は、図３に示される全体の処理フローにおいて、ステップ３５でビデオデータの切り取られた後に、切り取られるビデオデータに対応しているオーディオデータをオーディオストリームから切り取る処理が追加される。
【００６８】
オーディオデータの切り取り処理については、本発明の主要な特徴ではないので説明を省略する。
【００６９】
上記の実施例においては、ＧＯＰ内ピクチャ数が１５枚であり、ＩＢＢＰというピクチャの並びかたでエンコードされており、各ピクチャがＣｌｏｓｅｄ ＧＯＰである場合の編集方法について説明した。しかし、ＧＯＰ内ピクチャ数、ピクチャの並びおよびＣｌｏｓｅｄ ＧＯＰに係わらず、本発明の原理を利用することにより再エンコードすることを省略して編集を行うことが可能であることはいうまでもない。
【００７０】
以上、本発明の好適な実施の形態を詳細に説明したが、本発明は、範囲を逸脱することなく他の形態で実施できるものであることはいうまでもない。説明した実施の形態では、ローカル型のアーキテクチャであって、処理装置が符号化画像情報の切り取り処理をおこなっているが、編集をおこなうのは画像編集機能をもつＬＳＩや、ネットワークでつながれた他の情報処理装置も考えられる。
【００７１】
上に述べたようなアーキテクチャは、特によく機能すると考えられるが、他のアーキテクチャを用いても同様な機能を得ることが可能である。したがって上に述べた例および実施の形態は、単に例示であって本発明を制限するものではなく、本発明は、本明細書に記載されている詳細に限定されず、特許請求の範囲内での変形が可能である。
【００７２】
【発明の効果】
以上説明したように本発明によれば、編集対象として指定された位置に対応する符号化画像情報が編集対象に含まれない符号化画像情報を参照している場合に、参照されている符号化画像情報を編集の指定位置に変更するので、デコード、再エンコードを必要としない切り取り処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例を実現するためのシステム構成の図である。
【図２】本発明の一実施例を説明するための編集ピクチャ列の例である。
【図３】本発明の編集概要を示すフローチャートである。
【図４】図３のマークイン、マークアウトのチェック処理を示すフローチャートである。
【図５】図３の指定インを決定する処理を示すフローチャートである。
【図６】図５の指定インを決定する処理に用いる情報を示す図である。
【図７】図１０の指定アウトを決定する処理に用いる情報を示す図である。
【図８】マークイン、マークアウトの指定を行うための画面例を示す図である。
【図９】編集に必要な各種情報を格納するための編集データテーブルである。
【図１０】指定アウトを決定する処理を示すフローチャートである。
【符号の説明】
１０…処理装置、１１…メインメモリ、１２…フレームメモリ、１３…ディスプレイ装置、１４…デコーダ、１５…エンコーダ、１６…Ａ／Ｄコンバータ、１７…画像入力装置、１８…音声入力装置、１９…二次記憶装置、１０１…スピーカー、１０２…コマンド入力装置、２０…格納順ＭＰＥＧデータ、２１…表示順ＭＰＥＧデータ、２２…切り出し開始位置（マークイン）、２３…切り出しピクチャ列、２４…マークインを再エンコードが発生しないように修理した切り出し開始位置（指定イン）、２５…切り出し終了位置（マークアウト）、２６…マークアウトをエンコードが発生しないように修正した切り出し終了位置（指定アウト）、２７…マークイン、マークアウトを指定イン、指定アウトに修正し切り出したピクチャ列、２８…切り出しピクチャを再生可能なようにエンコードしたピクチャ列。

Claims (2)

1. 格納順序と表示順序が異なる画像符号化情報の編集範囲を指示する入力装置と、
   前記画像符号化情報の編集情報を格納するメモリと、
   前記画像符号化情報を編集処理する処理装置を備える画像符号化情報編集システムにおいて、
   前記処理装置は前記入力装置により操作指示された編集範囲の開始位置に対応する画像符号化情報の表示順序が前記開始位置に対応する画像符号化情報の最前に格納されるフレーム内画像符号化情報の表示順序よりも早い場合は前記開始位置に対応する画像符号化情報を表示順における編集範囲の指定開始位置とし、
   前記フレーム内画像符号化情報の表示順序の方が前記開始位置に対応する画像符号化情報の表示順序よりも早い場合は前記フレーム内画像符号化情報を表示順における編集範囲の指定開始位置とし、表示順序において前記編集範囲の指定開始位置と編集範囲の終了位置に対応する画像符号化情報の間にある画像符号化情報を編集対象の画像符号化情報とし、
   さらに編集範囲の終了位置に対応する画像符号化情報が表示順で後方となる他の画像符号化情報を参照する場合は前記他の画像符号化情報を表示順における編集範囲の指定終了位置とすることを特徴とする画像符号化情報編集システム。
2. 格納順序と表示順序が異なる画像符号化情報の編集範囲を入力装置により操作指示するステップと、
   前記指示された編集範囲の開始位置に対応する画像符号化情報の表示順序が前記開始位置に対応する画像符号化情報の最前に格納されるフレーム内画像符号化情報の表示順序よりも早い場合は前記開始位置に対応する画像符号化情報を表示順における編集範囲の指定開始位置とするステップと、
   前記フレーム内画像符号化情報の表示順序の方が前記開始位置に対応する画像符号化情報の表示順序よりも早い場合は前記フレーム内画像符号化情報を表示順における編集範囲の指定開始位置とし、表示順序において前記編集範囲の指定開始位置と編集範囲の終了位置に対応する画像符号化情報の間にある画像符号化情報を編集対象の画像符号化情報とし、
   編集範囲の終了位置に対応する画像符号化情報が表示順で後方となる他の画像符号化情報を参照する場合は前記他の画像符号化情報を表示順における編集範囲の指定終了位置とするステップを備えるプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images