JPH11341436A

JPH11341436A - 編集方法および編集装置

Info

Publication number: JPH11341436A
Application number: JP14115198A
Authority: JP
Inventors: Shinya Iki; 信弥伊木; Koji Obata; 功史小幡; Motoki Kato; 元樹加藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-05-22
Filing date: 1998-05-22
Publication date: 1999-12-10
Anticipated expiration: 2018-05-22
Also published as: JP3879252B2

Abstract

(57)【要約】【課題】動きベクトルを求めるための計算量を不要と
し、また、再符号化による画質劣化を抑える。【解決手段】前のストリーム中のＧＯＰ１と、後のス
トリーム中のＧＯＰ２とを編集点でスイッチングする。
ＧＯＰ１では、編集点がＩピクチャ（Ｉ２２）またはＰ
ピクチャ（Ｐ２５、Ｐ２８、Ｐ３１、Ｐ３４）の直後に
ないので、編集点の直後のＰ２８以外の編集点以降のピ
クチャを破棄し、編集点以前のピクチャと編集点直後の
Ｐ２８を出力する。Ｐ２８を保存するので、編集後にお
いて、Ｂ２６およびＢ２７をＰ２８を予測参照画像とし
て復号できる。ＧＯＰ２の編集点以前のＢ０、Ｂ１、Ｂ
３およびＢ４を全て破棄し、編集点以前のＩ２およびＰ
５と編集点以降のピクチャを出力する。Ｉ２およびＰ５
を保存するので、Ｐ５をＩ２を予測参照画像として復号
し、復号されたＰ５を予測参照画像としてＢ６およびＢ
７を復号できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、圧縮符号化例え
ばＭＰＥＧで符号化された画像信号を編集するのに適用
される編集方法および編集装置に関する。

【０００２】

【従来の技術】近年、画像間圧縮符号化方式の一つであ
るＭＰＥＧ(Moving Picture ExpertsGroup)が広く実用
化されつつある。ＭＰＥＧのような圧縮符号化を利用す
ることによって、記録媒体を有効活用することができ
る。ＭＰＥＧにより符号化された画像信号を編集する場
合、復号された画像信号と、外部からの画像信号をつな
げて、再びＭＰＥＧで符号化し、ストリームを記録媒体
に記録するような編集システムが構成できる。さらに、
他の記録媒体に記録されているビデオ信号をレコーダに
より記録するダビングの場合でも、他の記録媒体の再生
信号が復号され、再符号化される。

【０００３】ＭＰＥＧの場合では、ピクチャタイプとし
て、Ｉ、Ｐ、Ｂの３種類が存在する。Ｉピクチャ(Intra
-coded picture：イントラ符号化画像) は、符号化され
るときその画像１枚の中だけで閉じた情報を使用するも
のである。従って、復号時には、Ｉピクチャ自身の情報
のみで復号できる。Ｐピクチャ(Predictive-coded pict
ure ：順方向予測符号化画像）は、予測画像（差分をと
る基準となる画像）として、時間的に前の既に復号され
たＩピクチャまたはＰピクチャを使用するものである。
動き補償された予測画像との差を符号化するか、差分を
取らずに符号化するか、効率の良い方をマクロブロック
単位で選択する。Ｂピクチャ(Bidirectionally predict
ive-coded picture ：両方向予測符号化画像）は、予測
画像（差分をとる基準となる画像）として、時間的に前
の既に復号されたＩピクチャまたはＰピクチャ、時間的
に後ろの既に復号されたＩピクチャまたはＰピクチャ、
並びにこの両方から作られた補間画像の３種類を使用す
る。この３種類のそれぞれの動き補償後の差分の符号化
と、イントラ符号化の中で、最も効率の良いものをマク
ロブロック単位で選択する。

【０００４】従って、マクロブロックタイプとしては、
フレーム内符号化(Intra) マクロブロックと、過去から
未来を予測する順方向(Foward)フレーム間予測マクロブ
ロックと、未来から過去を予測する逆方向(Backward)フ
レーム間予測マクロブロックと、前後両方向から予測す
る両方向マクロブロックとがある。Ｉピクチャ内の全て
のマクロブロックは、フレーム内符号化マクロブロック
である。また、Ｐピクチャ内には、フレーム内符号化マ
クロブロックと順方向フレーム間予測マクロブロックと
が含まれる。Ｂピクチャ内には、上述した４種類の全て
のタイプのマクロブロックが含まれる。

【０００５】そして、ＭＰＥＧでは、ランダムアクセス
を可能とするために、複数枚のピクチャのまとまりであ
るＧＯＰ(Group Of Picture)構造が規定されている。Ｇ
ＯＰに関するＭＰＥＧの規則では、第１にビットストリ
ーム上で、ＧＯＰの最初がＩピクチャであること、第２
に、原画像の順で、ＧＯＰの最後がＩまたはＰピクチャ
であることが規定されている。また、ＧＯＰとしては、
以前のＧＯＰの最後のＩまたはＰピクチャからの予測を
必要とする構造も許容されている。以前のＧＯＰの画像
を使用しないで復号できるＧＯＰは、クローズドＧＯＰ
と称される。編集を重視する場合には、クローズドＧＯ
Ｐの構造とされることが多い。

【０００６】ＭＰＥＧでは、ＧＯＰ単位のフレーム相関
を用いてコーディングを行なっているので、ＭＰＥＧビ
ットストリームを編集する時には、制約が発生する。す
なわち、ＧＯＰの切れ目と編集点を一致させれば、クロ
ーズドＧＯＰであれば、特に問題が生じない。しかしな
がら、通常、一つのＧＯＰの長さは、０．５秒程度のこ
とが多く、編集点としては、期間が長くなりすぎる。そ
こで、一般的には、フレーム（ピクチャ）単位の精度で
編集を行うことが好ましい。

【０００７】二つのＭＰＥＧのビデオストリームが編集
点で切り換えられたストリームを考えると、フレーム単
位の場合では、どのような位相で二つのストリームが接
続されるかが分からない。編集点が含まれず、ＧＯＰ構
造が完全に保存されているＧＯＰの場合では、編集点処
理を行わないで、そのまま出力しても復号することがで
きる。

【０００８】編集点が含まれるために、ＧＯＰ構造が保
存されない場合に問題が生じる。編集点より時間的に前
のストリームでは、ＧＯＰの編集点から後のデータが破
棄される。また、時間的に後のストリームでは、編集点
から前のデータが破棄される。編集点をはさんで残った
二つのストリームを復号する場合には、これらの二つの
ストリームを新たなＧＯＰとして扱う。従って、新たな
ＧＯＰに予測参照画像としてのＩピクチャが含まれてい
ないと、そのＧＯＰが復号不可能となってしまう。この
場合には、編集後のビットストリームの復号を可能とす
るために、ビットストリームをＭＰＥＧ復号で一度ベー
スバンドに戻し、再度符号化を行なってビットストリー
ムを得る必要がある。

【０００９】従来では、新たなＧＯＰの先頭のピクチャ
のピクチャタイプをＩピクチャに変更し、このＩピクチ
ャを基準としてピクチャタイプを規定するようにしてい
た。すなわち、編集前のＧＯＰを復号し、先頭のピクチ
ャタイプをＩピクチャとしてピクチャタイプを再度規定
して再符号化することによって、新たなＧＯＰを形成し
ていた。

【００１０】

【発明が解決しようとする課題】しかしながら、かかる
編集点の処理方法では、スイッチングを含め編集作業の
たびに、復号、符号化を繰り返すことになる。通常、ベ
ースバンド−ビットストリーム間の復号、符号化処理
は、大きな画質劣化を伴う。また、再符号化のために、
動きベクトルを求めるための演算が必要とされる問題が
あった。

【００１１】従って、この発明の目的は、編集点の処理
のために、復号処理および再符号化処理を不要とし、そ
れによって、画質の劣化を防止でき、また、再符号化の
ために動きベクトルを求める演算を不要とできる編集方
法および編集装置を提供することにある。

【００１２】

【課題を解決するための手段】請求項１の発明は、上述
した課題を達成するために、画像間予測符号化により符
号化された符号化データを編集する編集方法において、
第１および第２の符号化データを編集点で接続するよう
な編集を行う際に、編集点の前または後の不要な符号化
データを破棄すると共に、編集後の符号化データを復号
するのに必要とされる予測参照画像を保存し、編集のた
めに復号および再符号化を行わないことを特徴とする編
集方法である。

【００１３】請求項２の発明は、画像間予測符号化によ
り符号化された符号化データを編集する編集方法におい
て、第１および第２の符号化データを編集点で接続する
ような編集を行う際に、編集点の前または後の不要な符
号化データを破棄すると共に、編集後の符号化データを
復号するのに必要とされる予測参照画像を保存し、編集
のために復号および再符号化を行わないようにした第１
の編集方法と、編集点付近の第１および第２の符号化デ
ータを復号し、再符号化するようにした第２の編集方法
とを組み合わせ、第１および第２の符号化データの一方
に第１の編集方法を適用し、その他方に第２の編集方法
を適用することを特徴とする編集方法である。

【００１４】請求項８の発明は、画像間予測符号化によ
り符号化された符号化データを編集する編集装置におい
て、第１および第２の符号化データを編集点で接続する
ような編集を行う際に、編集点の前または後の不要な符
号化データを破棄すると共に、編集後の符号化データを
復号するのに必要とされる予測参照画像を出力し、予測
参照画像を保存し、編集のために復号および再符号化を
行わないことを特徴とする編集装置である。

【００１５】符号化データ例えばＭＰＥＧビットストリ
ームでもって編集し、編集後のストリームを復号するの
に必要な予測参照画像を保存する。編集後のストリーム
を復号する時に、保存されている予測参照画像を使用す
る。保存した予測参照画像は、表示されない。

【００１６】

【発明の実施の形態】以下、この発明の一実施形態につ
いて図面を参照して説明する。図１は、この発明の一実
施形態における編集点処理方法を示すフローチャートで
ある。最初のステップＳＴ１から編集点処理を開始す
る。次のステップＳＴ２では、編集により接続する２個
のビットストリームで、時間的に先になるストリームの
編集点（ＯＵＴ点）を含むＧＯＰ（ＧＯＰ１）の処理を
開始する。

【００１７】ステップＳＴ３では、ＧＯＰ１において、
編集点がＩまたはＰピクチャの直後にあるかどうかが決
定される。編集点がＩまたはＰピクチャの直後にある場
合には、ステップＳＴ４において、編集点以降のビット
ストリームを破棄し、ステップＳＴ５において、ＧＯＰ
１以前の部分をそのまま出力する。すなわち、編集点よ
り前のストリームには、予測参照画像であるＩまたはＰ
ピクチャが残るので、特別な処理をしないでも、編集処
理後のストリーム中のこの部分を復号することができ
る。

【００１８】ステップＳＴ３において、編集点がＩまた
はＰピクチャの直後にない場合には、ステップＳＴ６に
おいて、編集点の直後のＩまたはＰピクチャ以外の編集
点以降のピクチャを破棄する。次のステップＳＴ７にお
いて、編集点より前のピクチャと編集点直後のＩまたは
Ｐピクチャを出力する。

【００１９】次に、ステップＳＴ８において、編集によ
り接続する二つのストリームの内で、時間的に後になる
ストリームの編集点（ＩＮ点）を含むＧＯＰ（ＧＯＰ
２）の処理を開始する。ステップＳＴ９では、編集点以
前のＢピクチャを全て破棄する。そして、ステップＳＴ
１０では、編集点以前のＩピクチャおよびＰピクチャ
と、編集点以降のピクチャを出力し、編集点処理を終了
する（ステップＳＴ１１）。編集点以前のＩピクチャお
よびＰピクチャは、表示しないが保存する必要のあるピ
クチャである。

【００２０】上述した編集点処理について、図２を参照
してより具体的に説明する。図２は、時間的に前のスト
リームに含まれると共に、編集点が含まれるＧＯＰ１
と、時間的に後のストリームに含まれると共に、編集点
が含まれるＧＯＰ２とを編集点でスイッチングする例を
示している。何れのストリームのＧＯＰも、ピクチャ数
Ｎ＝１５で、予測参照画像（ＩまたはＰピクチャ）の現
れる周期Ｍ＝３である。また、図２に示すピクチャの順
序は、再生画像の順序である。再生画像の順序は、原画
像および復号画像の順序と一致している。

【００２１】最初にＧＯＰ１の編集点処理がなされる。
編集点がＩピクチャ（Ｉ２２）またはＰピクチャ（Ｐ２
５、Ｐ２８、Ｐ３１、Ｐ３４）の直後にはないので、ス
テップＳＴ３を通って、ステップＳＴ６において、編集
点の直後のＰピクチャＰ２８以外の編集点以降のピクチ
ャを破棄する。そして、編集点以前のピクチャと編集点
直後のＰピクチャＰ２８を出力する（ステップＳＴ
７）。ＰピクチャＰ２８を保存するのは、編集後のスト
リームに含まれるＢピクチャＢ２６およびＢ２７をＰ２
８を予測参照画像として復号するためである。

【００２２】次に、時間的に後のＧＯＰ２（Ｂ０〜Ｐ１
４）の処理を開始する（ステップＳＴ８）。編集点以前
のＢピクチャＢ０、Ｂ１、Ｂ３およびＢ４を全て破棄す
る（ステップＳＴ９）。そして、編集点以前のＩピクチ
ャＩ２およびＰピクチャＰ５と編集点以降のピクチャを
出力し（ステップＳＴ１０）、編集点の処理を終了する
（ステップＳＴ１１）。ＩピクチャＩ２およびＰピクチ
ャＰ５を保存するのは、ＰピクチャＰ５をＩ２を予測参
照画像として復号し、復号されたＰ５を予測参照画像と
して編集後のストリームに含まれるＢピクチャＢ６およ
びＢ７を復号するためである。

【００２３】上述した編集点処理において、保存される
ＩまたはＰピクチャは、編集後のストリームに含まれる
Ｂピクチャを復号するために必要なものであり、編集後
のストリームに対応する映像信号として表示されない。
保存するためには、記録媒体上の所定の領域に保存する
ピクチャをまとめて記録すれば良い。

【００２４】ＧＯＰ１の場合では、編集点がＩまたはＰ
ピクチャの直後に存在する時では、何らピクチャを保存
する必要がない。一方、編集点がＩまたはＰピクチャの
直後に存在しない時では、一つのＩまたはＰピクチャを
保存する必要がある。ＧＯＰ２の場合では、編集点の位
置によって保存する必要があるピクチャの量が異なる。
編集点の位置がＧＯＰ２の後の方になると、保存するピ
クチャ数が徐々に増加し、最大で、Ｐ１４以外の４枚の
ピクチャ（Ｉ２、Ｐ５、Ｐ８、Ｐ１１）を保存する必要
が生じる。このように、一つの編集点について最大で５
個のピクチャを保存するために、例えば記録媒体上で冗
長度が増加する問題が生じる。さらに、ＧＯＰ当たりの
データ発生量を一定に制御することができない。

【００２５】以上の説明では、ＧＯＰ１の編集点処理を
行ってからＧＯＰ２の編集点処理を行うようにしている
が、その順序を逆としても良い。また、ＧＯＰ１の編集
点処理とＧＯＰ２の編集信号処理とを並列に行うように
しても良い。

【００２６】上述したように、この発明の一実施形態で
は、編集後のビットストリームを復号するのに必要な予
測参照画像（ＩまたはＰピクチャ）を保存することによ
って、編集処理後の新たなＧＯＰを形成するための復号
処理と、復号データの再符号化処理とを不要とできる。
従って、復号および再符号化によって生じる画質劣化を
防止することができ、また、再符号化のために動きベク
トルを演算する必要がない。

【００２７】この発明の一実施形態をより良く理解する
ために、若し、図２に示すような編集後のビットストリ
ームを復号し、再符号化すると仮定した場合の処理につ
いて図３を参照して説明する。ＭＰＥＧエンコーダ内の
順序並び替え処理によって、編集後のビットストリーム
は、図３に示すように、ＩおよびＰピクチャを先に符号
化し、次に、Ｂピクチャを符号化するような順序に並び
替えられる。

【００２８】編集点より前側のＧＯＰでは、Ｉピクチャ
Ｉ２２を予測参照画像として用い、順方向予測によって
ＰピクチャＰ２５を符号化し、Ｐ２５を予測参照画像と
して用い、順方向予測によってＰ２８を符号化する。次
に、Ｉ２２、Ｐ２５、Ｐ２８を予測参照画像として用い
て、ＢピクチャＢ２０、Ｂ２１、Ｂ２３、Ｂ２４、Ｂ２
６、Ｂ２７をそれぞれ符号化する。ＢピクチャＢ２３、
Ｂ２４、Ｂ２６、Ｂ２７の各ピクチャの符号化は、順方
向動きベクトルＦｗおよび逆方向動きベクトルＢｋの両
者使用した両方向予測符号化である。Ｂ２０およびＢ２
１の各ピクチャの符号化は、逆方向動きベクトルのみを
使用する。

【００２９】編集点より後側のＧＯＰでは、保存されて
いるＩ２を予測参照画像として用い、順方向予測によっ
て、Ｐ５を符号化し、Ｐ５を予測参照画像として用い、
順方向予測によって、Ｐ８を符号化する。そして、これ
らのＩ２、Ｐ５、Ｐ８を予測参照画像として用い、Ｂピ
クチャＢ６、Ｂ７、Ｂ９、Ｂ１０、Ｂ１２、Ｂ１３を符
号化する。例えばＢピクチャＢ６は、Ｐ５を予測参照画
像として用いる順方向予測と、Ｐ８を予測参照画像とし
て用いる逆方向予測とを組み合わせた両方向予測によっ
て符号化される。

【００３０】なお、図２および図３の例では、編集点の
前後のＧＯＰは、クローズドＧＯＰではないが、Ｉ２を
予測参照画像とするＢ２６、Ｂ２７への逆方向ベクトル
を使用しない。通常、編集点の前後では、画像の相関が
ないからである。また、クローズドＧＯＰであるか否か
は、この発明による編集処理に対して影響を与えるもの
ではない。

【００３１】次に、編集処理のいくつかの形態について
説明する。第１の形態は、ランダムアクセス可能な記録
媒体例えば書き換え可能な光ディスク上に、既に記録さ
れている二つのストリームを接続して再生し、恰も記録
済のストリームを編集したかのようにする編集処理であ
る。保存すべきピクチャ以外には、二つのストリームを
接続したものを記録する必要はない。第２の形態は、記
録媒体に記録済のストリームを再生し、この再生ストリ
ームと外部からのストリームを接続する信号処理を行
い、二つのストリームを接続したストリームを記録媒体
に記録する編集処理である。第３の形態は、外部からの
二つのストリームを受け取り、二つのストリームを接続
したストリームを記録媒体に記録する編集処理である。
これらの編集処理において、編集点付近の処理に対して
上述したこの発明の一実施形態を適用することができ
る。

【００３２】図４は、光ディスク２０に対してＭＰＥＧ
ビットストリームを記録すると共に、光ディスク２０か
らＭＰＥＧビットストリームを再生するディスクレコー
ダの一例を示す。図４において、２１で示す入力端子に
は、ディジタル映像信号が直接供給される。２２で示す
入力端子には、アナログ映像信号が供給される。アナロ
グ映像信号は、撮像信号、アンテナで受信した放送映像
信号等である。アナログ映像信号は、Ａ／Ｄ変換部２３
によりディジタル映像信号へ変換される。入力端子２１
からのディジタル映像信号およびＡ／Ｄ変換部２３から
のディジタル映像信号の一方が入力選択スイッチ２４に
よって選択される。選択されたディジタル映像信号がＭ
ＰＥＧエンコーダ２５に供給される。

【００３３】ＭＰＥＧエンコーダ２５は、ディジタル映
像信号に対してＭＰＥＧによる圧縮符号化を施す。ＭＰ
ＥＧエンコーダ２５の出力がスイッチ回路２６の一方の
入力端子に供給される。スイッチ回路２６の他方の入力
端子には、端子２７からＭＰＥＧビットストリームが供
給される。ＭＰＥＧエンコーダ２５または外部からのビ
ットストリームは、バスを介して統合バッファメモリ２
８の記録系用バッファメモリ部２８ａに格納される。統
合バッファメモリ２８は、システムコントロ−ラ３７に
よって制御されるメモリ制御部２９によりアドレスが指
定され、ＭＰＥＧエンコーダ２５は、動きベクトルを検
出する動き予測部、ピクチャ順序並び替え部、入力映像
信号とローカル復号映像信号間の予測誤差を形成する減
算部、減算出力をＤＣＴ変換するＤＣＴ部、ＤＣＴ部の
出力を量子化する量子化部、量子化出力を可変長符号化
する可変長符号化部、一定レートで符号化データを出力
するバッファメモリとから構成される。ピクチャ順序並
び替え部は、ピクチャの順序を符号化処理に適したもの
に並び替える。つまり、ＩおよびＰピクチャを先に符号
化し、その後、Ｂピクチャを符号化するのに適した順序
にピクチャを並び替える。ローカル復号部は、逆量子化
部、逆ＤＣＴ部、加算部、フレームメモリおよび動き補
償部で構成される。動き補償部では、順方向予測、逆方
向予測、両方向予測が可能とされている。イントラ符号
化の場合では、減算部は、減算処理を行わず、単にデー
タが通過する。

【００３４】記録系用バッファメモリ部２８ａに格納さ
れたビットストリームは、バス、デ−タ処理部３０およ
び記録再生切り替えスイッチ３１を介して光ディスクド
ライブに供給される。デ−タ処理部３０は、記録信号処
理部３０ａと再生信号処理部３０ｂからなる。記録信号
処理部３０ａは、エラー訂正符号化、ディジタル変調等
の処理を行い、再生信号処理部３０ｂは、エラー訂正、
ディジタル変調の復調等の処理を行う。

【００３５】光ディスクドライブは、光ディスク２０に
記録用のレ−ザ光を照射して信号を記録すると共に、再
生用のレ−ザ光を照射して信号を再生するための光ヘッ
ド３２と、光ディスク２０を回転駆動するスピンドルモ
−タ３３とを備えている。ヘッド３２とスピンドルモ−
タ３３は、ディスク／ヘッド制御部３４により制御され
る。光ヘッド３２によって、記録信号処理部３０ａの出
力信号が光ディスク２０に記録される。光ディスク２０
は、書き換え可能なもので、ＭＯ（光磁気）ディスク、
相変化型ディスク等を使用できる。

【００３６】システムコントロ−ラ３７は、光ディスク
ドライブの制御をディスク／ヘッド制御部３４を介して
行うと共に、光ディスクドライブの状態も管理してお
り、その情報をメモリ制御部２９に伝え、統合バッファ
メモリ２８からのデ−タの供給の制御を行う。

【００３７】次に、再生処理系について説明する。バス
を介して統合バッファメモリ２８の再生系用バッファメ
モリ部２８ｂから供給される再生ビットストリームは、
スイッチ回路３８に供給される。スイッチ回路３８は、
再生ビットストリームをＭＰＥＧデコーダ３９または端
子４０に選択的に出力する。ＭＰＥＧデコーダ３９は、
再生ビットストリームを復号し、ＭＰＥＧデコーダ３９
からの復号映像信号は、Ｄ／Ａ変換部４１によりアナロ
グ映像信号に変換され、アナログ出力端子４２に取り出
される。また、ディジタル復号映像信号が出力されるデ
ィジタル出力端子４３が設けられている。

【００３８】ＭＰＥＧデコーダ３９は、バッファメモ
リ、可変長符号復号部、逆ＤＣＴ部、逆量子化部、逆量
子化部の出力とローカル復号出力を加算する加算部、ピ
クチャ順序並び替え部並びにフレームメモリおよび動き
補償部からなるローカル復号部によって構成されてい
る。イントラ符号化の場合では、加算部での加算処理が
なされず、データが加算部を通過する。加算部からの復
号データがピクチャ順序並び替え部によって元の画像の
順序とされる。

【００３９】再生モ−ド時、光ディスクドライブは、デ
ィスク／ヘッド制御部３４によりサ−ボ、ヘッド移動等
が制御され、再生信号をデ−タ処理部３０の再生信号処
理部３０ｂ、バスを介して再生系用バッファメモリ部２
８ｂに出力する。再生系用バッファメモリ部２８ｂは、
再生信号の書き込みと読み出しのバランスを取りなが
ら、再生ビットストリームをスイッチ回路３８に供給す
る。スイッチ回路３８で選択されたビットストリーム
は、出力端子に４０に取り出されるか、または、ＭＰＥ
Ｇデコーダ３９によって復号される。ＭＰＥＧデコーダ
３９からの復号映像信号は、Ｄ／Ａ変換部４１または出
力端子４３に出力される。Ｄ／Ａ変換部４１は、ディジ
タル映像信号をアナログ映像信号に変換し、出力端子４
２に出力する。

【００４０】なお、上述したディスクレコーダは、記録
系用と再生系用の記憶領域の割り当てを可変する統合バ
ッファメモリ２８と、記録モードまたは再生モ−ドに応
じて統合バッファメモリ２８の記憶領域割り当て処理が
システムコントロ−ラ３７により制御される。すなわ
ち、記録系用バッファメモリ部２８ａと再生系用バッフ
ァメモリ部２８ｂは、メモリ制御部２９を介したシステ
ムコントロ−ラ３７の制御により、そのエリアを可変と
する。例えば、記録時には、記録系用バッファメモリ部
２８ａは、統合バッファメモリ２８の全てを占める。ま
た、再生時には、再生系用バッファメモリ部２８ｂが全
てを占める。また、同時記録再生時には、半分ずつメモ
リ容量を確保するようにしてもよい。

【００４１】上述したディスクレコーダと接続され、こ
の発明による編集点処理を行うことができる編集点処理
装置の一実施形態について、図５を参照して説明する。
５１で示す入力端子には、ディスクレコーダから再生さ
れ、出力端子４０に取り出されるＭＰＥＧビットストリ
ームが供給される。入力ストリームには、何らかの手段
により予め編集点（ＯＵＴ点、ＩＮ点）が設定されてい
る。例えばビットストリーム中に編集点の位置を示す情
報が挿入されている。編集点の位置情報は、ビットスト
リームと同期するようにされたビットストリーム以外の
信号経路で伝送することも可能である。

【００４２】入力ビットストリームが編集点判定回路５
２に供給される。編集点判定回路５２は、編集点情報と
ＭＰＥＧビットストリームに付随する符号化情報（ピク
チャタイプ）とからＧＯＰ１中で破棄するピクチャと保
存するピクチャとを決定し、ビットストリーム編集回路
５３に対してピクチャの破棄／保存を制御するための制
御信号Ｓ１０を出力する。

【００４３】編集点判定回路５２に対してビットストリ
ーム編集回路５３が接続される。ビットストリーム編集
回路５３は、制御信号Ｓ１０に応答して、保存すべきピ
クチャを除いて、ピクチャを破棄する。ビットストリー
ム編集回路５３から出力端子５４に対して保存すべきピ
クチャが取り出される。この出力ピクチャは、上述した
ディスクレコーダの入力端子２７に供給され、記録処理
を受けて光ディスク２０上の所定の領域に記録される。
編集形態によっては、このように保存すべきピクチャの
みを記録する場合に限らず、編集後のストリームの全体
を記録する場合がある。

【００４４】図５の構成は、上述した編集処理の形態の
内で、例えば第１の形態、すなわち、光ディスク上に、
既に記録されている二つのストリームを接続して再生
し、恰も記録済のストリームを編集したかのようにする
編集処理に適用される。この編集点処理の場合では、デ
ィスクレコーダが最初に光ディスク２０から時間的に先
のストリーム（ＳＴ１と表記する）を再生し、ストリー
ムＳＴ１の編集点（ＯＵＴ点）の近傍のストリームを編
集点処理装置の入力端子５１に供給する。図１のフロー
チャートに示される編集点が含まれるＧＯＰ１の処理を
編集点判定回路５２およびビットストリーム編集回路５
３が行う。それによって、保存すべきピクチャ（図２の
例では、Ｐ２８）をビットストリーム編集回路５３が出
力し、保存すべきピクチャを光ディスク２０上の所定領
域に記録する。

【００４５】次に、ディスクレコーダが時間的に後のス
トリーム（ＳＴ２と表記する）を光ディスク２０から再
生し、ストリームＳＴ２の編集点（ＩＮ点）の近傍のス
トリームを編集点処理装置の入力端子５１に供給する。
図１のフローチャートに示される編集点が含まれるＧＯ
Ｐ２の処理を編集点処理装置が行う。それによって、保
存すべきピクチャ（図２の例では、Ｉ２およびＰ５）を
ビットストリーム編集回路５３が出力し、保存すべきピ
クチャを光ディスク２０上の所定領域に記録する。

【００４６】そして、光ディスク２０に記録されている
リンク情報に基づいてストリームＳＴ１のＯＵＴ点ま
で、ピクチャＰ２８、ピクチャＩ２、ピクチャＰ５、ス
トリームＳＴ２のＩＮ点より後のストリームを順に再生
する。再生されたストリームがＭＰＥＧデコーダ３９
（図４参照）に供給され、ＭＰＥＧデコーダ３９によっ
て復号される。保存すべきピクチャＰ２８、Ｉ２、Ｐ５
をそれぞれ予測参照画像として、ストリーム中のＢピク
チャを復号することができる。そして、復号された映像
信号中で、これらの保存すべきピクチャに対応するフレ
ームは、表示されない。一例として、ＭＰＥＧデコーダ
３９が出力する映像信号中から、保存すべきピクチャに
対応するフレームが出力されないように、システムコン
トローラ３７によって制御される。

【００４７】以上説明したように、この発明の一実施形
態は、編集点処理が復号処理および再符号化処理を含ま
ない。しかしながら、復号処理および再符号化処理を行
う編集点処理と組み合わせる複合編集点処理も可能であ
る。

【００４８】復号処理および再符号化処理を行う編集点
処理の一例について、図６、図７および図８を参照して
説明する。図６および図７は、一連の処理を作図スペー
ス上の制約から二つのフローチャートに分割したもので
ある。最初のステップＳＴ３１から編集点処理を開始す
る。次のステップＳＴ３２では、編集により接続する２
個のビットストリームで、時間的に先になるストリーム
の編集点（ＯＵＴ点）を含むＧＯＰ（ＧＯＰ１）の処理
を開始する。ＧＯＰ１より前のＧＯＰに関しては、編集
点処理が不要である。

【００４９】ステップＳＴ３３では、ＧＯＰ１におい
て、編集点がＩピクチャよりも前にあるかどうかが決定
される。編集点がＩピクチャよりも前でない、すなわ
ち、後ろであると決定されると、ステップＳＴ３４にお
いて、編集点がＩまたはＰピクチャの直後にあるかどう
かが決定される。編集点がＩまたはＰピクチャの直後に
ある場合には、ステップＳＴ３５において、編集点以降
のビットストリームを破棄し、ステップＳＴ３６におい
て、ＧＯＰ１の残りの部分をそのまま出力する。すなわ
ち、編集点より前のストリームには、予測参照画像であ
るＩまたはＰピクチャが残るので、特別な処理をしない
でも、編集処理後のストリーム中のこの部分を復号する
ことができる。

【００５０】ステップＳＴ３４において、編集点がＩま
たはＰピクチャの直後にない場合には、ステップＳＴ３
７において、ＧＯＰ１を一旦復号して、ステップＳＴ３
８において編集点以降のピクチャを破棄し、ステップＳ
Ｔ３９において、第１の再符号化処理を行う。第１の再
符号化処理は、ＩまたはＰピクチャと編集点の間にある
ＢピクチャをＩまたはＰピクチャを予測参照画像として
順方向動きベクトルＦｗのみで再符号化する処理であ
る。

【００５１】上述したように、Ｂピクチャ内には、フレ
ーム内符号化マクロブロックと、過去から未来を予測す
る順方向フレーム間予測マクロブロックと、未来から過
去を予測する逆方向フレーム間予測マクロブロックと、
前後両方向から予測する両方向マクロブロックとが含ま
れる。従って、順方向動きベクトルＦｗのみで再符号化
する場合、順方向フレーム間予測マクロブロックおよび
両方向マクロブロックの場合では、復号時に使用した動
きベクトルＦｗを再利用できる。一方、逆方向フレーム
間予測マクロブロックについては、順方向動きベクトル
Ｆｗを再計算する必要がある。

【００５２】マクロブロックタイプは、マクロブロック
単位の動きベクトルに基づいて検出できる。動きベクト
ルがないものは、フレーム内符号化マクロブロックであ
り、順方向動きベクトルのみがあるマクロブロックは、
順方向フレーム間予測マクロブロックであり、逆方向動
きベクトルのみがあるマクロブロックは、逆方向フレー
ム間予測マクロブロックであり、両方向の動きベクトル
があるマクロブロックは、両方向マクロブロックであ
る。動きベクトル以外に、ストリーム中に挿入される情
報から直接的にマクロブロックタイプを検出することも
できる。

【００５３】ステップＳＴ３３において、編集点がＩピ
クチャより前にあると決定されると、編集点以降を破棄
した時に、Ｉピクチャが残らない。従って、ＧＯＰ１を
一旦復号して、次に、編集点以降のピクチャを破棄し、
そして、再符号化する。この再符号化の処理は、ＧＯＰ
１（ＧＯＰ１が含まれるビットストリーム）がクローズ
ドＧＯＰか否かによって影響を受ける。この点を考慮し
て、ステップＳＴ４０においてＧＯＰ１がクローズドＧ
ＯＰかどうかが決定される。ストリーム中のＧＯＰヘッ
ダには、符号化時に設定されたクローズドＧＯＰフラグ
が挿入されているので、このフラグからクローズドＧＯ
Ｐかどうかを決定できる。フラグがクローズドＧＯＰで
あることを示している時には、そのＧＯＰの最初の複数
のＢピクチャが以前のＧＯＰに依存しない。

【００５４】ＧＯＰ１がクローズドＧＯＰであると決定
されると、ステップＳＴ４１において、ＧＯＰ１を一旦
復号して、ステップＳＴ４２において編集点以降のピク
チャを破棄する。そして、ステップＳＴ４３において、
第２の再符号化処理がなされる。第２の再符号化処理で
は、最初に現れるＢピクチャをＩピクチャとして再符号
化し、そのＢピクチャ以外の他のＢピクチャがある場合
には、そのＢピクチャを予測参照画像（Ｉピクチャ）と
して、順方向動きベクトルＦｗのみを用いて他のＢピク
チャを再符号化する。順方向動きベクトルＦｗは、復号
画像から求める。

【００５５】ＧＯＰ１がクローズドＧＯＰでない場合で
は、ステップＳＴ４０からステップＳＴ４４に処理が移
る。ステップＳＴ４４で、ＧＯＰ１が復号され、編集点
以降が破棄される（ステップＳＴ４５）。そして、ステ
ップＳＴ４６において、第３の再符号化処理がなされ
る。つまり、クローズドＧＯＰではないので、直前のＧ
ＯＰの最後のＰピクチャを予測参照画像として用い、順
方向動きベクトルＦｗのみでＢピクチャを符号化する。
順方向動きベクトルＦｗとしては、復号に使用された順
方向動きベクトルを再利用できる。

【００５６】次に、ステップＳＴ４７（図７）におい
て、編集により接続する二つのストリームの内で、時間
的に後になるストリームの編集点（ＩＮ点）を含むＧＯ
Ｐ（ＧＯＰ２）の処理を開始する。それ以外の後のＧＯ
Ｐに関しては、特別な処理をしないでビットストリーム
のまま出力する。

【００５７】ステップＳＴ４８では、ＧＯＰ２におい
て、編集点がＩピクチャより前にあるかどうかが決定さ
れる。編集点がＩピクチャよりも前でなく、すなわち、
後ろにあるならば、編集点より前のストリームを破棄し
た時に、Ｉピクチャが失われる。この点を考慮して、Ｇ
ＯＰ２を一旦復号し、次に、編集点以前を破棄し、そし
て、再符号化を行う。また、ステップＳＴ４９では、Ｇ
ＯＰ１の場合と同様に、ＧＯＰ２に関して、クローズド
ＧＯＰか否かが決定される。クローズドＧＯＰか否か
は、再符号化の処理に影響を与える。

【００５８】クローズドＧＯＰであると決定されると、
ステップＳＴ５０においてＧＯＰ２が復号され、次に、
編集点以前が破棄され（ステップＳＴ５１）、そして、
ステップＳＴ５２において、第４の再符号化処理がなさ
れる。ステップＳＴ５２の第４の再符号化処理では、最
初に現れるＰピクチャをＩピクチャとして再符号化す
る。そのＰピクチャと編集点の間にＢピクチャがある場
合は、そのＰピクチャを予測参照画像として、逆方向予
測のみによって、すなわち、逆方向動きベクトルＢｋの
みで再符号化する。そのＰピクチャより後は、編集作業
前と同じピクチャタイプの関係でもって再符号化を行
う。その結果、ＰピクチャをＩピクチャに変更し、ステ
ップＳＴ５０の復号時に使用した符号化情報、例えば動
きベクトルを用いて再符号化を行う。再符号化出力を出
力して編集点処理を終了する（ステップＳＴ５９）。

【００５９】ステップＳＴ４９において、クローズドＧ
ＯＰでないと決定されると、ステップＳＴ５３において
ＧＯＰ２が復号され、次に、編集点以前が破棄され（ス
テップＳＴ５４）、その次のステップＳＴ５５におい
て、直後のＧＯＰのＩピクチャ以前を復号し、そして、
ステップＳＴ５６において、第５の再符号化処理がなさ
れる。

【００６０】ステップＳＴ５６の第５の再符号化処理で
は、第４の再符号化処理と同様に、最初のＰピクチャを
Ｉピクチャとして再符号化し、以降のピクチャは編集前
と同じピクチャタイプで再符号化する。Ｂピクチャの再
符号化は、第４の再符号化処理と異なる。つまり、ＧＯ
Ｐ２の最後のＰピクチャを直後のＧＯＰのＩピクチャか
ら、直後のＩピクチャより前にあるＢピクチャを再符号
化して出力する。このＢピクチャの再符号化のために、
ステップＳＴ２３、ＳＴ２５の復号時に使用した順方向
動きベクトルおよび逆方向動きベクトルを使用できる。
再符号化出力を出力して編集点処理を終了する（ステッ
プＳＴ５９）。

【００６１】ステップＳＴ４８において、編集点がＩピ
クチャより前にある場合には、ステップＳＴ５７におい
て、編集点より前のビットストリームを破棄する。残り
のビットストリームにＩピクチャが残る。そして、ステ
ップＳＴ５８において、ＧＯＰ２の残りのビットストリ
ームを出力し、編集点処理を終了する（ステップＳＴ５
９）。

【００６２】図６および図７に示す編集点処理につい
て、図８を参照してより具体的に説明する。図８は、時
間的に前のストリームに含まれると共に、編集点が含ま
れるＧＯＰ１と、時間的に後のストリームに含まれると
共に、編集点が含まれるＧＯＰ２とを編集点でスイッチ
ングする例を示している。何れのストリームのＧＯＰ
も、ピクチャ数Ｎ＝１５で、予測参照画像（ＩまたはＰ
ピクチャ）の現れる周期Ｍ＝３である。一例として、ク
ローズドＧＯＰの場合について説明するが、クローズド
ＧＯＰでない場合でも、再符号化処理を除いてほぼ同様
の処理がなされる。また、図８に示すピクチャの順序
は、再生画像の順序である。再生画像の順序は、原画像
および復号画像の順序と一致する。

【００６３】最初にＧＯＰ１の編集点処理がなされる。
編集点がＩピクチャ（Ｉ２２）より後ろにあり、編集点
がＩまたはＰピクチャの直後にはないので、ステップＳ
Ｔ３３、ステップＳＴ３４を通って、ステップＳＴ３７
において、ＧＯＰ１が復号される。この復号に使用した
符号化情報を保存する。保存する必要がある符号化情報
は、ピクチャタイプ（この情報は、必ず必要）、動きベ
クトル、ピクチャ毎の量子化スケールである。

【００６４】そして、ステップＳＴ８において、編集点
以降（ＰピクチャＰ２８以降）が破棄されてから、ステ
ップＳＴ９の第１の再符号化処理がなされる。すなわ
ち、ＰピクチャＰ２５の後のＢピクチャＢ２６およびＢ
２７を順方向動きベクトルＦｗのみを使用して再符号化
する。順方向動きベクトルＦｗは、マクロブロックタイ
プによって、復号時に保存しているもの、または再計算
して求めたものが使用される。Ｂ２６およびＢ２７以外
のＧＯＰ１の残りの画像の再符号化は、ステップＳＴ７
における復号時に使用した符号化情報をそのまま使用し
て行う。

【００６５】ＢピクチャＢ２６内およびＢ２７内には、
フレーム内符号化マクロブロックと、過去から未来を予
測する順方向フレーム間予測マクロブロックと、未来か
ら過去を予測する逆方向フレーム間予測マクロブロック
と、前後両方向から予測する両方向マクロブロックとが
含まれる。従って、順方向動きベクトルＦｗのみで再符
号化する場合、順方向フレーム間予測マクロブロックお
よび両方向マクロブロックの場合では、復号時に使用し
た動きベクトルＦｗを再利用できる。一方、逆方向フレ
ーム間予測マクロブロックについては、順方向動きベク
トルＦｗを再計算する必要がある。

【００６６】次に、時間的に後のＧＯＰ２（Ｂ０〜Ｐ１
４）の処理を開始する。編集点がＩピクチャＩ２以前で
はないので、編集点以前を破棄した時には、Ｉ２が失わ
れてしまう。そこで、ＧＯＰ２を復号して、編集点以前
（Ｂ０〜Ｐ５）を破棄する（ステップＳＴ４８、ＳＴ４
９、ＳＴ５０、ＳＴ５１）。そして、ステップＳＴ５２
の第４の再符号化処理がなされる。すなわち、最初のＰ
ピクチャＰ８をＩピクチャとして、再符号化する。それ
以外のピクチャは、編集前と同じピクチャタイプで再符
号化する。Ｐ８の前にあるＢピクチャＢ６およびＢ７
は、Ｉピクチャに変更されるＰ８を予測参照画像として
逆方向動きベクトルＢｋを求め、この逆方向動きベクト
ルＢｋのみによって再符号化する。

【００６７】ＢピクチャＢ２６およびＢ２７について説
明したのと同様に、Ｂ６およびＢ７にそれぞれ含まれる
マクロブロックの内で、逆方向フレーム間予測マクロブ
ロックと、両方向マクロブロックとに関しては、復号時
に使用した動きベクトルＢｋを再利用できる。一方、順
方向フレーム間予測マクロブロックについては、逆方向
動きベクトルＢｋを再計算する必要がある。

【００６８】上述した図６、図７、図８に示すような編
集点処理は、編集点以降に最初に現れる参照画像の予測
方式をフレーム内符号化方式に変更する以外は、編集点
より時間的に前の第１のストリームと、編集点より時間
的に後の第２のストリームとに関して、編集後におい
て、予測参照画像の現れる周期を編集前のものと同一の
周期とするものである。そして、このような復号処理お
よび再符号化処理を行う編集点処理と、これらの処理を
行わないこの発明の一実施形態を組み合わせる方法とし
ては、例えば時間的に先に現れるストリーム（ＧＯＰ
１）は、復号処理および再符号化処理を行わない方式で
処理し、時間的に後に現れるストリーム（ＧＯＰ２）
は、復号処理および再符号化処理を行う方式で処理する
ものが可能である。

【００６９】また、時間的に後に現れるＧＯＰ２内の編
集点より後のピクチャ数が多い場合には、表示しないが
保存するピクチャ数が少なくて済むので、復号および再
符号化処理を行なわない方式で処理し、ＧＯＰ２内の編
集点より後のピクチャ数が少ない合には、表示しないが
保存するピクチャ数が多くなるので、復号および再符号
化処理を行なう方式で処理する。このように、表示しな
いが、保存する必要のあるピクチャ数に適応して、編集
点処理方式を選択するようになされる。また、復号画像
の画質を考慮して編集点処理方式を選択するようにして
も良い。

【００７０】

【発明の効果】この発明に依れば、符号化データ例えば
ＭＰＥＧストリームを編集し、編集点処理のために、符
号化データの復号、および再符号化を不要とできる。従
って、復号−再符号化による画質の劣化を防止すること
ができ、また、再符号化のために動きベクトルを求める
計算を不要とできる。

【図面の簡単な説明】

【図１】この発明による編集点処理方法の一実施形態を
説明するためのフローチャートである。

【図２】この発明による編集点処理方法の一実施形態を
説明するためのタイミングチャートである。

【図３】この発明による編集点処理方法の理解の参考と
した再符号化処理を説明するためのタイミングチャート
である。

【図４】この発明を適用できるディスクレコーダの一例
のブロック図である。

【図５】この発明による編集点処理装置の一実施形態の
ブロック図である。

【図６】この発明と組み合わせることが可能な編集点処
理方法を説明するためのフローチャートである。

【図７】この発明と組み合わせることが可能な編集点処
理方法を説明するためのフローチャートである。

【図８】この発明と組み合わせることが可能な編集点処
理方法を説明するためのタイミングチャートである。

【符号の説明】

５２・・・編集点判定回路、５３・・・ビットストリー
ム編集回路

Claims

【特許請求の範囲】

【請求項１】画像間予測符号化により符号化された符
号化データを編集する編集方法において、第１および第２の符号化データを編集点で接続するよう
な編集を行う際に、上記編集点の前または後の不要な符
号化データを破棄すると共に、編集後の符号化データを
復号するのに必要とされる予測参照画像を保存し、編集
のために復号および再符号化を行わないことを特徴とす
る編集方法。
【請求項２】画像間予測符号化により符号化された符
号化データを編集する編集方法において、第１および第２の符号化データを編集点で接続するよう
な編集を行う際に、上記編集点の前または後の不要な符
号化データを破棄すると共に、編集後の符号化データを
復号するのに必要とされる予測参照画像を保存し、編集
のために復号および再符号化を行わないようにした第１
の編集方法と、上記編集点付近の上記第１および第２の符号化データを
復号し、再符号化するようにした第２の編集方法とを組
み合わせ、上記第１および第２の符号化データの一方に上記第１の
編集方法を適用し、その他方に上記第２の編集方法を適
用することを特徴とする編集方法。
【請求項３】請求項１または２において、画像間予測符号化がＭＰＥＧ方式であり、第１および第２の符号化データが第１および第２のＧＯ
Ｐであり、上記予測参照画像がＩまたはＰピクチャであることを特
徴とする編集方法。
【請求項４】請求項１または２において、記録媒体に記録されている第１および第２の符号化デー
タを接続するように、再生する形態でもって編集を行う
ことを特徴とする編集方法。
【請求項５】請求項１または２において、記録媒体に記録されている第１の符号化データと外部か
らの第２の符号化データとを接続する形態でもって、編
集を行うことを特徴とする編集方法。
【請求項６】請求項１または２において、外部から到来する第１および第２の符号化データを接続
する形態でもって、編集を行うことを特徴とする編集方
法。
【請求項７】請求項２において、上記第２の編集方法は、上記編集点以降に最初に現れる参照画像の予測方式を画
像内符号化方式に変更する以外は、編集点より時間的に
前の第１の符号化データと、上記編集点より時間的に後
の第２の符号化データとに関して、編集後において、予
測参照画像の現れる周期を編集前のものと同一の周期と
するようにした編集方法であることを特徴とする編集方
法。
【請求項８】画像間予測符号化により符号化された符
号化データを編集する編集装置において、第１および第２の符号化データを編集点で接続するよう
な編集を行う際に、上記編集点の前または後の不要な符
号化データを破棄すると共に、編集後の符号化データを
復号するのに必要とされる予測参照画像を出力し、上記
予測参照画像を保存し、編集のために復号および再符号
化を行わないことを特徴とする編集装置。