JPH10108200A - 画像符号化方法およびその装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 符号化した画像データの画質低下を検出して
も、ＧＯＰに起因するピクチャの非独立性により、任意
の部位から修正することができない。 【解決手段】 編集リストを用いて編集点の対象となる
カットの場所を指定しておき（Ｓ０１）、仮符号化処理
によりピクチャの複雑の度合いを示す「DIFFICALTY」を
求め（Ｓ０２）、「DIFFICALTY」から最終的に発生すべ
き総情報量をシーンごとの「DIFFICALTY」に比例するよ
うにＧＯＰ単位でビット量を割り当て（Ｓ０３）、正式
の符号化処理を行う（Ｓ０４）。正式の符号化処理は仮
符号化処理と同じ符号化処理方法で行う。正式の符号化
処理中は、割り振られたビット量により予め定められた
量子化レベルの重み付け制御を行い、画像の各周波数帯
域の情報量の制御を行う。正式の符号化処理結果を復号
して、その結果を観察して画質を評価する（Ｓ０５）。
画質に問題があるとき、カット場所を基準にして再符号
化処理する（Ｓ０６）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像符号化方法とそ
の装置に関する。より特定的には、本発明は、画質を低
下させずかつ圧縮画像データ全体として規定された範囲
以内で収まるように「可変ビットレート方式」で画像圧
縮を行う際、「カット」編集方式を用いてカットごとに
オペレーターが任意にビットレートを指定できるように
して自動管理されたビットレートを部分的に修正し、か
つその部分だけを再符号処理を行う画像符号化方法とそ
の装置に関する。

【０００２】

【従来の技術】画像信号帯域圧縮技術のうち動画像信号
帯域圧縮方式として、Ｈ．２６１、ＭＰＥＧ（Motion P
icture Eepert Group)などの国際標準化実用技術が知ら
れている。高能率画像圧縮技術（または高能率画像符号
化技術）の１つであるＭＰＥＧはマルチメディアにおけ
る動画像信号帯域圧縮方式としてとして、ＤＶＤ（デジ
タル・ビデオ・ディスク）、ＶＯＤ（ビデオ・オン・デ
マンド）、コンピュータ、通信、放送、情報家電、エン
ターテイメントなど多くの分野での適用が試みられてい
る。ＭＰＥＧについては、下記の分類による提案がされ
ている。 ＭＰＥＧ１：1.5 Ｍｂ／ｓ前後で許容限度を上回る品質
の動画像符号化 ＭＰＥＧ２：１６Ｍｂ／ｓ前後で高品質動画像符号化 ＭＰＥＧ３：５０〜８０Ｍｂ／ｓでハイビジョンテレビ
（ＨＤＴＶ）信号符号化 本発明において主としてＭＰＥＧ２について言及する。
本明細書においてＭＰＥＧによる符号化・復号化方式を
ＭＰＥＧ処理と略称する。

【０００３】ＭＰＥＧ処理においては、ピクチャ（画
像）を複数まとめた「ＧＯＰ（GROUPOF PICTURE）」と
呼ぶ複数のピクチャごとに符号化処理または復号化処理
を行う。ＧＯＰは画像伝送の単位であり、符号化処理・
復号化処理の単位でもある。フレームごと（またはフィ
ールドごと）の画像データ（ビデオデータまたはピクチ
ャ）が連続するＴＶ画像を例示すると、ＧＯＰにおける
ピクチャは単純なフレームごとのピクチャ、つまり、Ｉ
(Intra) ピクチャ（画面内符号化ピクチャ）の連続では
なく、符号化効率を高めてデータの伝送量を減少させる
ために動き補償などの技法を用いて予測したピクチャを
用いる。予測ピクチャとしては、Ｐ(Prediction)ピクチ
ャ（前方予測符号化ピクチャ）、Ｂ(Bidirection)-ピク
チャ（双方向予測（外挿・内挿）符号化ピクチャ）が知
られている。したがって、ＧＯＰには、複数のＩピクチ
ャ、Ｐピクチャ、Ｂピクチャが混在したピクチャの集合
が収容されている。ＧＯＰ、Ｉピクチャ、Ｐピクチャ、
Ｂピクチャの詳細およびこれらの関連については後述す
る。

【０００４】高能率画像圧縮方式としては、図１に図解
したように、「固定ビットレート符号化方式」と「可変
ビットレート符号化方式」とが知られている。「固定ビ
ットレート符号化方式」は画像（ピクチャ）ごとのビッ
ト発生量は変化するがＧＯＰ単位で見ればほぼ一定のビ
ット量にする方式である。「可変ビットレート符号化方
式」は、画像（ピクチャ）ごとのビット発生量も変化す
るが、ＧＯＰ単位でもビット発生量が変化する方式であ
る。図１における変数ｉはシーン数を示す。本発明は
「可変ビットレート符号化方式」に関係する。

【０００５】可変ビットレート符号化処理 映画やドラマなどの画像のＭＰＥＧ２による帯域圧縮・
符号化処理を行う場合、複雑な絵柄のシーンのため量子
化レベルを上げて圧縮して情報量を増やさなければ画質
が保てない部分と、単純な絵柄のシーンのために量子化
レベルを下げて情報量を減らしても圧縮しても画質を保
つことが可能な部分がある。可変ビットレート符号化方
式は、トータルとしてはビット発生量をある値に収める
ことを前提としつつ、全体として高い画像符号化を実現
させるため、画像の内容に応じて符号化情報量を変化さ
せる符号化方法である。すなわち、可変ビットレート符
号化方法においては、複雑な絵柄にはその画質を保つの
に十分な情報量を割り当て、単純な絵柄にはその情報量
を抑制して、全体のビット発生量（またはビットレー
ト）を制約された範囲に収める。

【０００６】より具体的に述べると、ＤＶＤにおける画
像データはＭＰＥＧ２のＭＰ＠ＭＬ標準に従って圧縮さ
れる。しかしながら、ＤＶＤのメモリ容量に限度がある
から、その容量内に圧縮画像データが収容できるよう
に、画像ごとに圧縮比を変化させて高画質を保ちながら
限られたメモリ容量を効率的に使用する可変ビットレー
ト・フォーマットで圧縮画像データを符号化処理する。

【０００７】２パス符号化処理について 可変ビットレート符号化方式において、図２に図解した
ように、第１回目の工程として仮符号化処理（仮エンコ
ーディングまたは前処理符号化処理）を行って画像デー
タ全体の複雑の度合い（「DIFFICALTY」）を調査し、そ
の後、第２回目の工程として「DIFFICALTY」を参照して
正式な画像圧縮符号化処理を行う２パス符号化処理を行
う。仮符号化処理は、一枚の画像を複数のブロックに切
り分け、その一つのブロックを、直交変換処理、たとえ
ば、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎ
ｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）処理またはウエーブ
レット変換処理などのサブバンドコーディング方式（与
えられた信号源をいくつかの周波数帯域に分解し、それ
ぞれの周波数帯域の電力値を求める変換方式）による信
号処理を行う。サブバンドコーディングのような、画像
信号を二次元の時間領域の画素情報から周波数領域の情
報に直交変換する方式において、画像を分割した各ブロ
ックごとの、周波数領域の電力値または、情報量、ある
いはビットのマグニチュード、もしくはビット発生量の
分布に着目してみると、符号化処理後の各周波数帯域の
電力値が直流成分や低域成分のみならず高域成分に至る
まで広く分布していれば、複雑な絵柄を示しており、逆
に、直流成分や低域成分に発生ビット量が集中しており
全体の電力値が少ない時には単純な絵柄を示しているこ
とが判る。従って、仮符号化処理の結果の各画像ごとの
周波数成分の電力値を合計したビット発生量の時間変化
は、そのまま絵柄の複雑なシーンや単純なシーンの時間
的な経過の様子を示している。この仮符号化処理後の発
生ビット量は絵柄（または画像（ピクチャ) ）の「複雑
の度合い」を意味しており、この絵柄の複雑の度合いを
「DIFFICALTY」と呼ぶ。「DIFFICALTY」は符号化の際の
おおよそのビット発生量を示すパラメータである。

【０００８】

【発明が解決しようとする課題】しかしながら、上述し
た方法には下記に述べる不具合がある。 第１の不具合：２パス符号化処理における第２工程であ
る正式の符号化処理において、仮符号化処理において求
めた「DIFFICALTY」に基づき定められた総情報量に合わ
せ込む形で画像の帯域別の情報量の重み付けを行うが、
この重み付けは、あくまでも「最も確からしい予測」で
あり、符号化後の最終的な総ビット発生量はある程度約
束されてはいても、符号化処理した画像全てにわたって
画質が約束されているわけではない。したがって、全て
の画質を良好なものとするにはさらに精密な符号化処理
を行う必要がある。しかしながら、従来の方法では、部
分的なピクチャの画質改善が効率よく行えない。

【０００９】第２の不具合：可変ビットレート符号化方
式によって画像ごとにビット発生量を変化できるが、単
純にピクチャーごとのデータビットを送りだせばよいわ
けではない。ＭＰＥＧ２においては標準再生機が厳密に
定義されており、再生バッファの容量は1.75Ｍbit と定
められている。画像圧縮符号処理を行う符号化装置側で
は再生バッファがオーバーフローしたりアンダーフロー
したりしないように制御（管理）しなければならない。
画像の絵柄によりある部分はビット量を多くし、ある部
分は少なくするという「可変ビットレート符号化処理」
の条件下では、毎フレームごとに発生したビットを単純
に等間隔で送り出すと、ＭＰＥＧ２で定められたバッフ
ァサイズではオーバーフローすることがある。そこで、
符号化装置において、再生機のバッファに実際どのくら
いのデータ量が入っているのか計算しつつ、例えば、ビ
ット量が多いピクチャについては少し手前から送り出す
などして、絶えずバッファ容量を監視制御する必要があ
る。この制御は、映画やドラマなどのプログラムの始ま
りから終了まで継続的に行われなければならない。例え
ば、仮にある部分の符号化処理後の画質に問題あるから
と言って、その部分の量子化レベルを変更することは、
そこから後ろの部分のバッファ容量に影響を与えてしま
い、問題となる箇所のみを変更するわけには行かない。
このため、通常では途中だけビットレートを変更するこ
とは極めて困難となる。

【００１０】第３の不具合：ＧＯＰは完全に独立はして
いない。そのため、ある部分だけを再符号化するわけに
はいかない。この詳細については具体的に詳述するが、
ここでは簡単に述べる。ＭＰＥＧにおいては基本的に、
ＧＯＰ単位で符号化処理・復号化処理を行うから、それ
ぞれのＧＯＰが完全に独立していることが望ましい。し
かしながら、あるＧＯＰ内のＢピクチャの処理には前の
ＧＯＰに含まれるＩピクチャまたはピクチャを参照しな
いと処理できないから、それぞれのＧＯＰは完全には独
立していない。その結果、自活の低下が検出された任意
のピクチャから自由に画質を改善することはできない。

【００１１】以上の記述から明らかなように、もし符号
化処理される画像（たとえば、映画などのプログラム）
の途中に画質的に問題点があったとしてもそこだけを再
符号化処理して差し替え編集をすることは困難であり、
かりに画質が問題となる箇所が１秒間であったとして
も、映画なら約２時間分を問題となる箇所のビット発生
量を訂正しつつもう一度最初から繰り返して符号化する
必要があるが、これまでの方法では、画質的に問題が生
じた場合そこだけを修正しようと考えることは事実上で
きないという問題に遭遇している。

【００１２】

【課題を解決するための手段】本願発明者は、ＧＯＰ単
位での編集は可能であるＭＰＥＧの持っているオリジナ
ルの特質は保ちながら、編集などにおける「カット」単
位では原理的に画質に影響を与えない編集方法を提案し
た（たとえば、平成８年２月２９日に出願した「画像デ
ータ処理方法と装置」、特願平８−４２９８０号）。こ
の方法は、「カットのあるピクチャシーケンス」を応用
し、画質的に問題となる部分だけを再符号化して差し替
え編集する方法である。カットとしては、編集段階にお
いて作成された編集決定リスト（ＥＤＬ）に基づいて行
う、定期的に行う、映像シーンの状況に応じて行うなど
任意に設定できる。このカット編集方式の詳細は後述す
る。

【００１３】本発明の目的は、上記「カット」編集方式
を応用し、カットごとに編集のディレクタなど、画像処
理を行うオペレーターが任意にビットレートを指定でき
るようにして自動管理されたビットレートを部分的に修
正し、かつその部分だけを再符号化処理し、改善された
画質に編集する方法および装置を提供することにある。

【００１４】したがって、本発明によれば、２パス符号
化処理を行う画像符号化方法であって、（ａ）後に編集
点の候補となりうる「カット」の場所を指定し、（ｂ）
指定した「カット」位置に基づいて仮符号化処理（第１
の符号化処理工程）をして画像の複雑の度合いを示す
「DIFFICALTY」データを求め、（ｃ）該「DIFFICALTY」
データにより、最終的に発生すべき総情報量をシーンご
との「DIFFICALTY」に比例するように、ビット量を割り
振り、（ｄ）割り振られたビット容量によりあらかじめ
定められた量子化レベルの重み付け制御を行ない画像の
各帯域の情報用の制御を行いながら、仮符号化処理の時
と同じ符号化方法で画像データを正式に符号化処理し、
（ｅ）符号化処理結果を観察して低い画質の部分が存在
するときその部分の量子化レベルの重み付けの制御を変
更し、（ｆ）その部分を含む「カット」位置を再符号化
処理する、画像符号化方法が提供される。すなわち、本
発明においては、編集可能な単位「カット」を設定し、
「カット」単位で発生ビット量を指定し、「カット」ご
とに再生機のバッファをシミュレートし、バッファがオ
ーバーフローしないように制御し、（実際には多重化レ
ートを制御し）、一度符号化処理をした後であっても、
部分的にビット量を上下に再調整し再符号化処理した画
像をもって、差し替え編集することにより、符号化処理
後に画質を部分的に改善するか、または、さらに全体の
圧縮比を上げる。

【００１５】再符号化処理としては下記がある。 １．低い画質の部分で一旦、符号化処理を停止し、再符
号化処理によるビット増加量に相当する情報量をそれ以
前のシーンの部分で情報量を減少させても画質に問題が
生じない場所を選択し、画質が問題となるシーンのビッ
トの増加量に見合うようにその部分の量子化レベルを下
げて、前記両者を再符号化処理する。 ２．低い画質のシーンの量子化レベルを上げて再符号化
処理し、増加したビット量を一時的に保留し、後に符号
化処理されるシーン全体から均等にビット量を差し引
き、その結果、その後のビット量を減少させて、総ビッ
ト量を定められた範囲に収める。 ３．低い画質のシーンの量子化レベルを上げて再符号化
処理し、増加したビット量を一時的に保留し、画質が問
題になりにくそうなシーンを特定し、その部分の量子化
レベルを下げて符号化処理を行い、その結果、その後の
ビット量を減少させて総ビット量を定められた範囲に収
める。 ４．画質が問題となるシーンまたは「カット」は、その
場では再符号化処理せずに、その場所を特定するマーキ
ング（例えば、タイムコードや「カット」の番号を控え
ておくなど）だけして符号化処理を続け、最後まで符号
化処理が終わった時点で、問題となるシーンのすべての
量子化レベルの重み付けを変更して再符号化処理し、そ
の時に増加したビット量に見合う分を減少させるべく量
子化レベルを下げても問題のないようなシーンを選び出
し、その部分のビット量を減少させて再符号化処理し、
その結果、総ビット量を定められた範囲に収める。

【００１６】また本発明によれば、上記画像符号化方法
を実施する画像符号化装置が提供される。すなわち、本
発明の画像符号化装置は、後に編集点の候補となりうる
「カット」の場所を指定する手段と、「カット」位置に
応じて仮符号化処理をして符号化する画像の複雑の度合
いを示す「DIFFICALTY」データを求める手段と、該「DI
FFICALTY」データにより、最終的に発生すべき総情報量
をシーンごとの「DIFFICALTY」に比例するように、ビッ
ト量を割り振る手段と、割り振られたビット容量により
あらかじめ定められた量子化レベルの重み付け制御を行
ない画像の各帯域の情報用の制御を行いながら、仮符号
化処理の時と同じ符号化方法で画像データを正式に符号
化処理する手段と、低い画質の部分が存在するときその
部分の量子化レベルの重み付けの制御を変更し、その部
分を含む「カット」を再符号化処理する手段とを有する
画像符号化装置が提供される。

【００１７】

【発明の実施の形態】本発明の好適実施例を述べる前
に、ＭＰＥＧが適用されるシステムの例、および、ＭＰ
ＥＧの処理の対象とするピクチャ（画像）の構造につい
て述べる。

【００１８】画像伝送系統における符号化・復号化シス
テム 図３はＭＰＥＧが適用されるシステム構成の１例として
画像伝送系統における画像符号化装置と画像復号化装置
とのシステム構成を示した図である。このシステムは、
たとえば、ＶＯＤ(Video On Demand: ビデオ・オン・デ
マンド）に代表されるような通信サービス、または、Ｄ
ＶＤに記録された映像信号を、ＤＶＤを蓄積メディア３
００として復号するシステムにも適用できる。この画像
符号化・復号化システムにおいては、ビデオテープ記録
再生装置（ＶＴＲ）１００において再生されたフレーム
ごとのオリジナルのディジタルビデオ信号（フレーム画
像データまたはフレーム・ピクチャ）を画像符号化装置
２００においてフレームのピクチャごとに帯域圧縮・符
号化して蓄積メディア３００（または伝送経路）に送出
する。蓄積メディア３００としては、たとえば、ＤＶ
Ｄ、ＨＤＤ（ハードディスク装置）などが例示され、こ
れらの記録媒体を用いた場合は、帯域圧縮・符号化処理
された画像データが記録され、読み出される。伝送経路
３００の場合は伝送経路の上をビットストリームとして
帯域圧縮・符号化された画像データが伝送されていく。
画像復号化装置４００は蓄積メディア３００（または伝
送経路）を経由して入力された帯域圧縮・符号化処理さ
れた画像データを、画像符号化装置２００における符号
化処理と逆の復号処理を行ってＶＴＲ１００から出力さ
れたと同等の画像データを再生し、ＴＶモニタ５００に
その再生画像を表示する。画像符号化装置２００におい
てＭＰＥＧに基づく画像データの圧縮・符号化処理が行
われ、画像復号化装置４００において帯域伸長・復号処
理が行われる。

【００１９】本発明の好適な実施例を述べる前に、上記
本願発明者で提案した、特願平８−４２９８０号のカッ
ト編集方式の概要を述べる。まず、ピクチャとの関連に
おいてその処理を述べる。ピクチャの構成 図４はＭＰＥＧにおける符号化順序を示したグラフであ
る。図５は図４に示したピクチャの意味とのその関連を
示したグラフである。符号「Ｉ」はＩ(Intra) ピクチャ
（画面内符号化ピクチャ）を示し、符号「Ｐ」はＰ(Pre
diction)ピクチャ（前方予測符号化ピクチャ）を示し、
符号「Ｂ」はＢ(Bidirection)-ピクチャ（双方向予測
（外挿・内挿）符号化ピクチャ）を示す。Ｉピクチャと
はある画面、たとえば、フレームでそれ自身独立して再
生が可能な画像のことである。Ｐピクチャとはそれより
も前方（過去）にあるＩピクチャまたはＰピクチャから
の予測を使った符号化画像である。Ｂピクチャとは、そ
れ自身よりも前方（過去）にあるＩピクチャまたはＰピ
クチャからの予測と後方（未来）にあるＩピクチャまた
はＰピクチャからの予測の両方を使用した画像のことで
ある。

【００２０】図６（Ａ）はＧＯＰの構成を示したＭＰＥ
Ｇのビットストリームの構成を示すグラフであり、図６
（Ｂ）はＧＯＰヘッダの内容を示す図であり、図６
（Ｃ）はピクチャヘッダの内容を示す図である。ＭＰＥ
Ｇのビットストリームは、最上層にシーケンス層があ
り、複数のＧＯＰが連続している。それぞれのＧＯＰ
は、図６（Ａ）に示した内容を格納するＧＯＰヘッダ、
複数のピクチャ層が連続して構成されている。それぞれ
のピクチャ層は、図６（Ｃ）に示した内容を格納するピ
クチャヘッダと、複数のスライス層が連続している。そ
れぞれのスライス層は、スライス情報を記憶する部分
と、複数のマクロブロックが連続している。それぞれの
マクロブロック層は、マクロブロック情報を格納する部
分と、複数のブロックが連続している。それぞれのブロ
ック層は、上述した。ＤＣＴ符号化された画像データが
格納されている。

【００２１】図７を参照してビデオ信号の編集に関連し
てＧＯＰおよびピクチャの詳細について述べる。図７は
一般的なＭＰＥＧの画像列の様子を示すグラフである。
この図面に図解したものは、連続した長い画像（ピクチ
ャ列）のうちの途中を切り出して示したもので、原画像
（符号化前のオリジナル・ピクチャ）がどのような種類
の画像に圧縮符号化（エンコード）されて、どのような
順番に並べられるのかを代表的な例を用いて表したもの
である。Ｉピクチャ、Ｂピクチャ、Ｐピクチャに添えら
れた数字、たとえば、B3は原画像（符号化前のオリジナ
ル・ピクチャ）の３番目のピクチャに関連するＢピクチ
ャを示している。なお、値の小さい数字が過去を示し、
大きい数字が未来を表している。実線の矢印はどのピク
チャからどのピクチャが予測されているかの関係を示
す。

【００２２】ＧＯＰが完全に独立していないことの説明 図７に示した原画像Ａは、下記の順番で順次圧縮符号化
されている。 『B3−B2−P1−B0−B1−I2−B3−B4−P5−B6−B7−P8−
B9−B10−I11 −B12 −B13 −P14 』

【００２３】このピクチャ列について述べる。実線の矢
印で示されるように、例えば、位置５（かっこ内に示し
た数字は、ピクチャ（画像）などの位置を示す）のI2−
ピクチャは、位置６のB3−ピクチャ、位置７のB4−ピク
チャ、位置８のP5- ピクチャの３画像の前方予測に使用
される。位置６のB3- ピクチャおよび位置７のB4- ピク
チャは、位置８のP5- ピクチャからの後方予測に使用さ
れる。

【００２４】図３に示す画像符号化装置（エンコーダ）
２００で圧縮・符号化処理（エンコード）されたピクチ
ャは、図３に示す画像復号化装置（デコーダ）４００に
おける復号処理（デコード）時に便利なように、エンコ
ーダ出力Ｂとして示したように、並べ変えが行なわれ
る。例えば、原画像Ａの位置５のI2- ピクチャは、エン
コード出力時には位置９に置かれるが、位置６のB3- ピ
クチャおよび位置７のB4- ピクチャは、後ろにずれた位
置１０のP5- ピクチャの後ろの位置１１と位置１２に置
かれる。こうすることによりデコーダ入力Ｃとして示し
たように、たとえば、位置１６のB3- ピクチャと位置１
７のB4- ピクチャを再生するのに必要な位置１４のI2-
ピクチャと位置１５のP5- ピクチャを先にデコードする
ことができる。エンコーダ出力Ｂにおいて、Ｉピクチャ
（たとえば、I2- ピクチャ）から次のＩピクチャ（たと
えば、I11 ピクチャ）の手前まで、つまり、B7- ピクチ
ャまで、１つのＧＯＰと呼ぶ。ＧＯＰは図６（Ａ）に図
解した構成になっているが、以下の記述においては、ピ
クチャのみを簡略化して示す。

【００２５】ＧＯＰが完全に独立していないため、編集
作業などでピクチャの差し替えを行うと正確な画像の再
生が行えない。図７においてデコーダによって再生され
た再生画像Ｄとして示した位置１８のB0- ピクチャと位
置１９のB1- ピクチャの再生に留意されたい。ＧＯＰの
構成の観点から見れば、B0- ピクチャとB1- ピクチャ
は、I2- ピクチャと同一のＧＯＰ、すなわち、「ＧＯＰ
Ｎ（位置１３）」に含まれるが、その再生のために
は、一つ手前のＧＯＰ、すなわち、「ＧＯＰ N-1 」に
含まれるＰピクチャ（P1- ピクチャ）とＩピクチャ（I2
- ピクチャ）からの予測（位置２０）が必要となる。つ
まり、「ＧＯＰ Ｎ（位置１３）」は、1 つ前の「ＧＯ
Ｐ N-1 」内のP1- ピクチャを用いるから、「ＧＯＰ
N-1 」と関連を持っており、『ＧＯＰは完全には独立し
ていない』。

【００２６】ＧＯＰが完全に独立していないことに起因
する編集処理または符号化処理時の問題 画像データ列のあるシーンでカットして編集するとか、
ＧＯＰの伝送が中断したあとのピクチャの復号などの場
合にはこのＧＯＰの非独立性が問題になる。図８は、た
とえば、ＧＯＰ単位での画像編集を行なったときに起こ
る問題を説明するための図である。原画像Ａは図７に図
解したものと同じ構成である。エンコーダで連続的に圧
縮エンコードされたＧＯＰの列を「編集前のＧＯＰ列
Ｂ」とする。この編集前のＧＯＰ例Ｂは図７に示したエ
ンコーダ出力ＢのＧＯＰ例と同じ構成である。この例で
は、 「ＧＯＰ Ｎ（位置２３）」のピクチャ列：I2,B0,B1,P
5,B3,B4,P8,B6,B7を 「ＧＯＰ N'（位置２４）」に示した、ピクチャ列：I
2',B0',B1',P5',B3',B4',P8',B6',B7' に差し替える( 並べ換える) 編集を行なって、「編集後
のＧＯＰ列Ｅ」にしたとする。この編集後のＧＯＰ列Ｅ
は、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの順序は同じ
であるが、「’」をつけない編集前のピクチャが「’」
をつけたピクチャに差し替えられたことを示している。

【００２７】「ＧＯＰ N'」のピクチャは、Ｉピクチ
ャ、Ｂピクチャ、Ｐピクチャの順序は同じであるから、
フォーマット的には問題がない。しかし、これをデコー
ダ入力Ｆとして見てみると、差し替えたB0'-ピクチャ
（位置２７）とB1'-ピクチャ（位置２８）を再生するた
めには、差し替えていないP1- ピクチャ（位置２６）か
らの前方予測が必要になる。ところが、すでに編集をし
てピクチャを差し替えてしまったので、「ＧＯＰ N-1
」の差し替えていないP1- ピクチャ（位置２６）と、
「ＧＯＰ Ｎ」の差し替えたB0'-ピクチャ（位置２７）
とB1'-ピクチャ( 位置２８）とのあいだの相関関係はな
い。その結果、B0'-ピクチャ（位置２７）とB1'-ピクチ
ャ( 位置２８）の復号には、P1- ピクチャ( 位置２６）
からの予測（位置２９）は使えなくなる。同様の問題
が、「ＧＯＰ N'」の最後のピクチャと、「ＧＯＰ N+
1」のピクチャとの関係においても発生し、「ＧＯＰ N+
1」の最初の２枚のＢピクチャ（B9,B10) への予測（位
置３０）も意味のないものとなる。以上のごとく、画像
編集すると、一つ前のＧＯＰの最後のＰピクチャから次
のＧＯＰの始めのＢピクチャの予測ができなくなるた
め、編集処理後の再生画像Ｇは、ＧＯＰ内の最初にある
いくつかのＢピクチャ（位置３２、３３）は正しくない
ピクチャを含むことになる。

【００２８】ＭＰＥＧ２においては、このように圧縮エ
ンコード後にＧＯＰ単位で編集した場合発生する問題点
については、編集点前後のＧＯＰには使用不可能なＢピ
クチャが含まれていることを表すために、図６（Ｂ）に
示したように、ＧＯＰヘッダの中に「Broken link 」フ
ラグを設けて、Ｂピクチャの正当性を示してはいるが、
ピクチャそのもののその修復は講じていない。しかし、
ＭＰＥＧにおいては、図６（Ｂ）に示すように、ＧＯＰ
の独立性を示す「CLOSED GOP」が設けられている。

【００２９】図９を参照して編集を可能にする「CLOSED
GOP」について述べる。原画像Ａ、編集前のＧＯＰ列
Ｂ、編集後のＧＯＰ列Ｅ、デコーダ入力Ｆは、図８に示
したものと同じである。「CLOSED GOP」は、ＧＯＰ内の
最初にあるいくつかのＢピクチャ（位置４５，４６，４
７，４８）などをエンコードする際に、「その一つ前の
ＧＯＰの最後のＩピクチャ、Ｐピクチャからの予測（位
置３４）」を使用せずに、原画面の順で直後のＩピクチ
ャのみから予測するようにコーディングする（Only Bac
kward Prediction）ことによりＧＯＰの独立性を確保す
るためのものである。「CLOSED GOP」においては、エン
コーダ出力Ｂの「ＧＯＰ Ｎ（位置３６）」をピクチャ
のフォーマットは換えずにピクチャの内容を差し替えた
別の「ＧＯＰ N'（位置３８）」と置き換えて、編集後
のＧＯＰ列Ｅとしても、デコーダにおいては、元々前の
ＧＯＰからの前方予測（位置３９，位置４０）を必要と
していないので、再生画像ＨにおいてもＩピクチャの直
後にある何枚かのＢピクチャ（位置４３のB0',B1' 、位
置４４のB9,B10）は、Ｉピクチャからの後方予測のみを
使用して再生が可能となる。しかしながら、この方法に
は不都合がある。それを以下に述べる。Ｂピクチャは、
前方と後方の両側からの予測を使うため、前方予測のみ
のＰピクチャに比べて予測精度が良く、Ｐピクチャより
量子化ビット数を落としても画質が低下しないという利
点がある。すなわち、両方向からの予測というのはビッ
ト効率を上げつつ画質も向上させるという特質を持つ。
しかしながら、上述したように、Ｂピクチャのエンコー
ドを片側のみしか使用しないということは、通常の場
合、ＢピクチャはＰピクチャよりも量子化レベルが粗い
ため、Ｐピクチャのみでエンコードしたときよりも品質
が低下した画像しか得られない。したがって、編集性を
持たせようとして「CLOSED GOP」を多用することは、Ｂ
ピクチャの利点を殺すことにつながり、Ｂピクチャを用
いる目的に反し、Ｂピクチャを用いる効果が得られな
い。

【００３０】ＭＰＥＧ２においては、上述した編集によ
るピクチャの差し替えを行うと、画質が低下するという
問題が遭遇する。この種の問題は、特に、正確な符号化
処理・復号化処理を行う画像処理において問題となる。

【００３１】上述した問題を解決する、特願平８−４２
９８０号で提案した「カット編集方式」について述べ
る。まず、基本となるとなる圧縮符号化の方法について
述べる。ＭＰＥＧの圧縮符号化のシーケンスには、上述
した方法のほかにプログラムの先頭において使用される
特別なシーケンスを作ることも可能である。このシーケ
ンスを画像列の途中に使った場合の効果を図１０を参照
して述べる。図１０は「カット編集方式」による圧縮・
符号化処理を示すグラフである。通常のシーケンスＡＡ
においては、例えば、P1- ピクチャ（位置５０）の後ろ
にはB0- ピクチャ（位置５１）、B1- ピクチャ（位置５
２）、I2- ピクチャ（位置５３）と続けるが、それとは
別に特別なシーケンスを考える。これをカットシーケン
スＢＢという。カットシーケンスＢＢでは、編集によっ
て差し替えが行われるピクチャの直前のP1- ピクチャ
（位置５５）の後ろを一旦、カットし（位置５９）、そ
の後をI0- ピクチャ（位置５６）とし、そこからB1- ピ
クチャ（位置５７）、B2- ピクチャ（位置５８）という
ふうに、通常のシーケンスと同じように続けていく。

【００３２】通常シーケンスＡＡのピクチャ列は下記に
なる。 具体的には、「B3,B2,P1,B0,B1,I2,B3,B4,P5」 一般的には、「Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ」 カットシーケンスＢＢでは、下記になる。 具体的には、「B3,B2,P1,IO,B1,B2,P3,B4,B5,P6 」 一般的には、「Ｂ，Ｂ，Ｐ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，
Ｐ」 つまり、カット位置５９の所のＢピクチャ（B0- ピクチ
ャ) が抜け、Ｉピクチャ(I0-ピクチャ) が挿入されたよ
うになる。これにより、次のＧＯＰはＩピクチャから始
まり、次にＰピクチャが続き、その後にＢピクチャが続
く。このカットを置くことにより、カットの前後の「Ｇ
ＯＰ N-1（位置６０）」と「ＧＯＰ N（位置６１）」の
間は、ピクチャの予測が不要であり、「ＧＯＰ N-1（位
置６０）」と「ＧＯＰ N（位置６１）」は完全に独立し
ている。したがって、デコーダ入力ＤＤを見ると、位置
６３のカット以降を同様のルールのシーケンスでエンコ
ードされた別のＧＯＰ列（位置６４）と入れ替えたとし
ても、何の問題もなく再生できる（位置６５）。しか
も、上述した「CLOSED GOP」の手法も使っていないので
後方予測のみのＢピクチャは存在しておらず、画質の劣
化に対しても影響がない。

【００３３】この「カットのあるシーケンス」をエンコ
ーダ出力で見た場合の下記シーケンスは、 IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB （カンマはＧＯＰの区切りを示す） 下記に示す通常のシーケンス IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,IBBPBBPBB, と比べて、構成するピクチャの種別を見ると、平均的に
見てＩピクチャの枚数は0.9 倍に減るが、Ｐピクチャの
枚数は、1.35倍に増え、逆にＢピクチャの枚数は0.9 倍
に減り、相対的にＰピクチャの割合が増えるので、符号
化によって発生するビット量も増える。また、画質的に
見て有利であるといわれるＢピクチャの使用率が減るこ
ともあり、「カットシーケンス」のみを用いてＧＯＰ列
を構成することは、ＭＰＥＧの標準的方法である「CLOS
ED GOP」を用いる方法より好ましいが、最良の方法とは
言い難い。よって、さらなる改善策を述べる。

【００３４】ＥＤＬ：EDIT DICISION LISTの活用 ＭＰＥＧにより圧縮される画像の応用用途を考えてみる
と、ＤＶＤに代表される様なパッケージメディアに記録
するか、ＶＯＤ(Video On Demand: ビデオ・オン・デマ
ンド）に代表されるような通信サービスに用いられる場
合のように、完成された映画やドラマなどのプログラム
を一般利用者に提供する目的がほとんどである。このよ
うな場合は、必ずと言ってよいほど、完成されたプログ
ラムが記録された通称「マスター」と呼ばれるビデオー
テープかそれに準ずるものを再生しこれを圧縮エンコー
ドする。この「マスター」は、スタジオなどにおいて、
最終の利用目的にあわせて編集ディレクタ（オペレー
タ）の指示の元に入念に編集処理がされている。

【００３５】編集過程おいて、編集点は無目的にランダ
ムに選択されているわけではなく、プログラムの内容と
最終利用目的にあわせて、編集ディレクタの意志決定の
元に例えばシーンごとに決められる。決定された編集点
は、編集決定リスト（通称、ＥＤＬ:Edit Dicision Lis
t ）と呼ばれるリストとしてまとめられ、実際に編集動
作を行なう編集機などに供給され、編集機はＥＤＬを元
に素材を編集していき「マスター」が作り上げられる。
ＥＤＬは、もし「マスター」を再編集する事があったな
らば、最も編集の可能性の高い場所を記したリストとい
える。ＧＯＰ単位で任意に編集できるのが望ましいが、
現実的に見て最も編集の可能性の高いところのみを編集
の対象と考えたほうが効率的である。このことに着目し
て、「ＧＯＰ単位でしか編集できないのであれば、ＧＯ
Ｐという中途半端な単位ではなく、もっと人間的な映像
シーンの単位まで編集単位を粗くする」という発想で、
ＥＤＬに基づき、あるいはＥＤＬを修正した、あらかじ
め登録された映像のシーンの区切りのみを編集点の対象
とする。つまり、あらかじめビデオ信号を圧縮符号化す
る前に、「マスター」に付随するＥＤＬに示された編集
点および編集の可能性が考慮される場所を「カットのあ
るシーケンス」の区切り点（カット）として登録してお
き、カット（ＥＤＬの編集点）においては画質に影響を
与えないようにして圧縮された画像の編集を可能にしつ
つ、ＧＯＰ毎の編集を否定する代わりにＢピクチャの利
用率を通常のエンコードシーケンスと同等に確保するこ
とにより、圧縮率を低下させないという効果がある。

【００３６】図１１は「カット編集方式」におけるビデ
オ信号処理装置の構成図である。ビデオ信号処理装置７
００において、圧縮エンコードされる対象のビデオ信号
が記録されているビデオマスター７５１はディジタルＶ
ＴＲ７７２で再生される。ビデオマスター６５１に付随
しているＥＤＬが書き込まれたフロッピーディスク６５
４は、ＥＤＬ読み取り部７６７に入力される。読み取ら
れた編集点の情報はさらに手動編集点修正装置７６８に
よって、編集点の追加または削除を行なう。以上の手段
で決定されたビデオマスター６５１に対する編集点の情
報は、カット判定回路７６９に送られる。ディジタルＶ
ＴＲ７７２で再生されるビデオマスター６５１にはあら
かじめタイムコード（ＴＣ）を記録しておき、そのディ
ジタルＶＴＲ７７２からのタイムコード出力７７０は、
カット判定回路７６９とビデオエンコーダ７７６に送ら
れている。カット判定回路７６９では、入力された編集
点情報を考慮しつつ、どのような圧縮シーケンス（Ｉピ
クチャ、Ｐピクチャ、Ｂピクチャの並び方）を組めばよ
いか判定を行ない、入力されるタイムコード７７０の一
つ一つのフレームナンバーとピクチャのシーケンスの対
応を準備しておく。例えば、編集点のない付近でのシー
ケンスでは、図１０を参照して述べた、通常のシーケン
ス：「Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ」とし、編
集点の付近では図１０を参照して述べた「カットのある
シーケンス」：「Ｂ，Ｂ，Ｐ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，
Ｂ，Ｐ」のごとく、ピクチャの種類のエンコードされる
順番を決定する。

【００３７】以下、動作を述べる。ディジタルＶＴＲ７
７２においてビデオマスター６５１の再生を開始する。
カット判定回路７６９は、入力されてくるタイムコード
７７０と、あらかじめ求めておいたシーケンスとの対応
をとりながら、そのタイムコードに相当する画像をどの
ピクチャのタイプで圧縮すればよいかを符号化処理シー
ケンス指示情報７７１としてビデオエンコーダ７７６に
送る。ディジタルＶＴＲ７７２で再生されたビデオ信号
７７３は、画像遅延装置７７４に送られる。遅延量７７
８は外部より設定され、それと同じ遅延量７７８がビデ
オエンコーダ７７６にも送られている（遅延量７７８に
ついては後述する）。遅延したビデオ信号７７５はビデ
オエンコーダ７７６に入力される。ビデオエンコーダ７
７６には、遅延していないタイムコード７７０と、それ
に伴った符号化処理シーケンス指示情報７７１が入力さ
れているので、ビデオエンコーダ７７６は、ビデオ信号
の遅延分だけ、前もってどのタイミングでどのような圧
縮エンコードをすればよいかが分かる。

【００３８】図１２を参照して符号化シーケンスについ
て述べる。図１２は、「カット編集方式」における符号
化処理シーケンスを図解したグラフである。ＭＰＥＧに
おいては、ＧＯＰ内のピクチャの枚数をＮで表し、Ｉピ
クチャまたはＰピクチャの周期（Ｉピクチャから次のＰ
ピクチャまでのピクチャの枚数）をＭで表す。ＭＰＥＧ
においては、このＮとＭに制約はないが、説明のため、
通常シーケンスＡＡをピクチャ枚数Ｎ＝９，ピクチャ周
期Ｍ＝３とする。図１２の四角囲みされたＩピクチャ
は、そこがカットのあるシーケンスの先頭であることを
示し、丸囲みされたＩピクチャでその他の一般のＧＯＰ
の先頭を示している。図１２は、原画像におけるピクチ
ャのエンコード・シーケンスの順番を示しており、図
中、Ｉ，Ｐ，Ｂの添え数字が原画上で「何番」目のピク
チャであるか表している。これらの数字はＧＯＰの概念
をもつエンコーダ出力でのピクチャの順番ではないこと
に注意されたい（ピクチャの順序については、例えば、
図６を参照）。エンコーダ出力においては、Ｂピクチャ
の順番が入れ替わり、ＧＯＰ単位で見た場合はあくまで
もＩピクチャが先頭である。ピクチャ枚数Ｎ＝９の場
合、カットシーケンスは、そのカットの位置により、カ
ットシーケンス０（Ｃ０）からカットシーケンス８（Ｃ
８）までの９種類の場合が発生する。しかし、いずれ場
合であっても、ここでは、図１４を参照して上述したよ
うに、カットのあるシーケンスの先頭の（四角囲みで示
した）Ｉピクチャの直前のピクチャタイプは必ずＰピク
チャであることが特徴である。

【００３９】各シーケンスについて述べる。カットシーケンス０（Ｃ０） Ｉピクチャの位置が通常シーケンスに比べて前に２枚ず
れてそのＧＯＰの「０番」のピクチャがＩピクチャとな
る(I0)。しかし、直前のＧＯＰのピクチャはＰピクチャ
(P1)であるので、ＧＯＰはI0- ピクチャから始まり、シ
ーケンスの都合上そのＧＯＰのP9- ピクチャまでのピク
チャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシー
ケンスが続く。

【００４０】カットシーケンス１（Ｃ１） Ｉピクチャの位置が通常シーケンスに比べて前に１枚ず
れてカットのあるそのＧＯＰの「１番」のピクチャがＩ
ピクチャ(I1)となり、かつ、直前の「０番」のピクチャ
は、通常ではＢピクチャであるがＰピクチャ(P0)とす
る。このＧＯＰはI1- ピクチャから始まり、シーケンス
の都合上、P10-ピクチャまでのピクチャ枚数Ｎ＝１０と
なる。その後のＧＯＰは通常のシーケンスが続く。直前
のＧＯＰは、P0- ピクチャまでを含むので、それに限り
ピクチャ枚数Ｎ＝１０となる。

【００４１】カットシーケンス２（Ｃ２） Ｉピクチャの位置は通常シーケンスと同じ位置で「２
番」のピクチャがＩピクチャ(I2)となるが、直前の「０
番」と「１番」の２枚ピクチャは、通常ではＢピクチャ
であるが、２枚ともＰピクチャ（PO,P1)とする。カット
のあるこのＧＯＰはI2- ピクチャから始まり、シーケン
スの都合上、P11-ピクチャまでのピクチャ枚数Ｎ＝１０
となる。その後のＧＯＰは通常のシーケンスが続く。直
前のＧＯＰは、P0- ピクチャとP1- ピクチャまでを含む
ので、それに限りピクチャ枚数Ｎ＝１１となる。

【００４２】カットシーケンス３（Ｃ３） Ｉピクチャの位置が通常シーケンスに比べて後ろに１枚
ずれて「３番」のピクチャがＩピクチャ(I3)となる。た
だし、「２番」のピクチャまでは通常のシーケンスを延
ばす。カットのあるこのＧＯＰはI3- ピクチャから始ま
り、シーケンスの都合上、P12-ピクチャまでのピクチャ
枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケン
スが続く。直前のＧＯＰは、B0- ピクチャとB1- ピクチ
ャとP2-ピクチャまでを含むので、それに限りピクチャ
枚数Ｎ＝１２となる。

【００４３】カットシーケンス４（Ｃ４） Ｉピクチャの位置が通常シーケンスに比べて後ろに２枚
ずれて「４番」のピクチャがＩピクチャ(I4)となる。た
だし、「２番」のピクチャまでは通常のシーケンスを延
ばし、かつ、I4- ピクチャの直前の「３番」のピクチャ
はＰピクチャ，３）。カットのあるこのＧＯＰはI4- ピ
クチャから始まり、シーケンスの都合上、P13-ピクチャ
までのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは
通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチ
ャ,B1-ピクチャ,P2-ピクチャ,P3-ピクチャまでを含むの
で、それに限りピクチャ枚数Ｎ＝１３となる。

【００４４】カットシーケンス５（Ｃ５） Ｉピクチャの位置が通常シーケンスに比べて後ろに３枚
ずれて「５番」のピクチャがＩピクチャ(I5)となる。た
だし、「２番」のピクチャまでは通常のシーケンスを延
ばし、かつ、I5- ピクチャの直前の２枚のうち「３番」
はＢピクチャ(B3)、「４番」のピクチャはＰピクチャ(P
4)とする。カットのあるこのＧＯＰはI5- ピクチャから
始まり、シーケンスの都合上、P14-ピクチャまでのピク
チャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシー
ケンスが続く。直前のＧＯＰは、B0- ピクチャ,B1-ピク
チャ,P2-ピクチャ,B3-ピクチャ,P4-ピクチャまでを含む
ので、それに限りピクチャ枚数Ｎ＝１４となる。

【００４５】カットシーケンス６（Ｃ６） カットシーケンス０〜５のようにＩピクチャの位置を後
ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が
長くなり過ぎるので、このカットシーケンスでは、上記
とは別のルールとし、短めの通常シーケンスを置きその
後に改めてカットのあるシーケンスを置く。B0- ピクチ
ャから始まる通常のシーケンスはP5- ピクチャまでのピ
クチャ枚数Ｎ＝６で打ち切り、その後の「６番」のピク
チャをカットのあるシーケンスのＩピクチャ（I6) とす
る。カットのあるこのＧＯＰはI6- ピクチャから始ま
り、シーケンスの都合上、P15-ピクチャまでのピクチャ
枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケン
スが続く。

【００４６】カットシーケンス７（Ｃ７） カットシーケンス６（Ｃ６）と同様に、単純にＩピクチ
ャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチ
ャ枚数Ｎ）が長くなり過ぎるので、別のルールとし、短
めの通常シーケンスを置きその後に改めてカットのある
シーケンスを置く。B0- ピクチャから始まる通常のシー
ケンスをP5- ピクチャまで続け、かつ、その後の「６
番」にＰピクチャ(P6)を続け、ここでピクチャ枚数Ｎ＝
７でＧＯＰのシーケンスを打ち切る。その直後のＧＯＰ
の「７番」のピクチャをカットのあるシーケンスのＩピ
クチャ(I7)とする。カットのあるこのＧＯＰはI7- ピク
チャから始まり、シーケンスの都合上P16-ピクチャまで
のピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常
のシーケンスが続く。

【００４７】カットシーケンス８（Ｃ８） カットシーケンス７（Ｃ７）と同様に、単純にＩピクチ
ャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチ
ャ枚数Ｎ）が長くなり過ぎるので、別のルールとし、短
めの通常シーケンスを置きその後に改めてカットのある
シーケンスを置く。B0- ピクチャから始まる通常のシー
ケンスをP5- ピクチャまで続け、かつ、その後の「６
番」をＢピクチャ(B6)とし「７番」にＰピクチャ(P7)を
続け、ピクチャ枚数Ｎ＝８でこのＧＯＰのシーケンスを
打ち切る。その直後のＧＯＰの「８番」のピクチャをカ
ットのあるシーケンスのＩピクチャ(I8)とする。このＧ
ＯＰはI8- ピクチャから始まり、シーケンスの都合上、
P17-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その
後のＧＯＰは通常のシーケンスが続く。

【００４８】再び図１１を参照して述べる。カット判定
回路７６９においては、ＥＤＬ読み取り部７６７に入力
される情報と手動編集点修正装置７６８によって追加変
更された情報をもとに、どのタイムコードフレームでカ
ットを置けばよいかは判明しているので、カットの近傍
では、上で説明したカットシーケンスのどれを選べばよ
いかは簡単に求めることが出来る。カット判定回路７６
９は、通常のカットのない部分では、通常シーケンスＡ
Ａの順番にビデオエンコーダ７７６に符号化処理シーケ
ンス指示情報７７１を単純に繰り返し与えておき、カッ
トの近傍では、カットシーケンス０（Ｃ０）からカット
シーケンス８（Ｃ８）のどれかのうち適合するパターン
をビデオエンコーダ７７６に与える。

【００４９】遅延量 ビデオエンコーダ７７６を単純に構成するため、ビデオ
エンコーダ７７６では、特別な指示をしない限り、Ｉピ
クチャまたはＰピクチャが指示されたら必ずＢピクチャ
が２枚続き、また、Ｂピクチャが２枚続いたらその次は
必ずＩピクチャまたはＰピクチャを置くと言うルール
（すなわち、ＩピクチャまたはＰピクチャの周期Ｍが３
ということ）でしか符号化処理しないものとする。すな
わち、ビデオエンコーダ７７６はこの単純なルールを適
用している。ただし、ビデオエンコーダ７７６はあらか
じめシーケンスを指定すればそのとおりにエンコードで
きるものとする。この基本的な通常シーケンス以外の符
号化処理を行いたいときには、あらかじめ、通常とは違
うことは分かっていればよいわけであるので、ビデオエ
ンコーダ７７６は遅延のないタイムコード７７０と符号
化処理指示情報７７１を必要としている。遅延量７７８
は、ここで、図１２の波線部分に注目してみる。波線は
通常シーケンスの単純ルール、すなわち、「Ｉピクチャ
またはＰピクチャが指示されたら必ずＢピクチャが２枚
続き、また、Ｂピクチャが２枚続いたらその次は必ずＩ
ピクチャまたはＰピクチャを置く」というルールが適用
されない部分を示している。図１２から明らかなよう
に、カットを置くことによるこの不規則ルールの影響
は、ＩピクチャまたはＰピクチャの周期Ｍが３の場合
は、最大でもピクチャは３フレーム分であるので、画像
遅延装置７７４の遅延量７７８の設定値は３フレームと
すればよい。遅延量７７８は同時にビデオエンコーダ７
７６にも入力されているので、結果的に、ビデオエンコ
ーダ７７６は、遅延量７７８が既知の遅延ビデオ信号７
７５と、遅延のないタイムコード７７０と符号化処理指
示情報７７１から、通常とは異なるシーケンス（周期Ｍ
＝３ではないケース）でエンコードしなくてはならない
ときには、具体的にどの画面から特別なエンコードをす
ればよいのかをそのひとつ前のフレームで知ることが出
来る。

【００５０】図１２を参照して述べた例は説明を容易す
るするため、通常シーケンスのピクチャ枚数Ｎ＝９，ピ
クチャ周期Ｍ＝３の場合について述べたが、ピクチャ枚
数Ｎと周期Ｍが変化されば、たとえば、ピクチャ枚数Ｎ
と周期Ｍが大きくなれば、図１１を参照して述べたカッ
トシーケンスの数も増大する。これに伴い図１２に波線
で示した遅延量の数も大きくなる。

【００５１】以上述べたように、「カット編集方式」に
よれば、ピクチャの編集に伴うピクチャの差し替えがあ
っても、ＧＯＰヘッダに設けられる、「CLOSED GOP」、
(brocken link 」を用いず、ＥＤＬに基づくカットの考
えを適用して、カットがある部分のＧＯＰの最初にＩピ
クチャをおいて、その前のＧＯＰとカットのあるＧＯＰ
とを独立させることにより、ピクチャの編集によっても
ＭＰＥＧの特質を維持して画質を低下させない符号化結
果が得られる。「カット編集方式」においては、通常シ
ーケンスにおけるピクチャ枚数Ｎと周期Ｍに基づいた種
類のカットシーケンスを準備しておき、ピクチャ枚数Ｎ
が非常に長くなる場合はカットのあるＧＯＰのピクチャ
枚数を制限し、信号処理の遅延量をカットシーケンスに
応じて設定しておき、カットのあるＧＯＰの最初にはＩ
ピクチャが位置するようにピクチャを並べることによ
り、カットがあってもＧＯＰの独立性を維持して、ＭＰ
ＥＧの特質を生かした符号化処理を可能にする。

【００５２】以下、特願平８−４２９８０号において提
案した「カット編集方式」の特徴を要約する。「カット
編集方式」によれば、ＭＰＥＧで符号化処理してしまっ
たビデオを符号化処理の後で編集しても画質に影響がで
ない。換言すれば、「カット編集方式」によれば、ＭＰ
ＥＧで符号化した帯域圧縮・符号化したピクチャについ
ても、画質を低下させずに自由に編集作業ができる。こ
の場合、通常のＭＰＥＧによる符号化と比べて、同様の
画質を得るためのビット発生量に違いがでない。「カッ
ト編集方式」においては、ＭＰＥＧビデオの編集に必要
な「Broken Linkフラグ」や「Closed GOPフラグ」を用
いないので、ＭＰＥＧでオプション扱いとなっているＧ
ＯＰを用いる必要がない。「カット編集方式」において
は、ＥＤＬによって決まっているあらかじめ決められた
場所で編集するという制限はあるものの、上で述べた利
点が存在することにより、例えば、プログラムの全部の
符号化処理が終了した時点で、ある「カットシーケン
ス」の画質に問題があったことに気がついた場合でも、
その「カットシーケンス」のみをビットレートなどを再
調整し再符号化処理し、ピクチャを差し替え編集をする
ことが許される。もし上記カット編集方式を用いなかっ
た場合は、たったその部分を差し替えたいだけなのに、
もう一度プログラムの頭から全部やり直すか、あるい
は、画質の劣化を承知で「Broken Link フラグ」や「Cl
osed GOP」を用いなければならない。しかし、そうして
しまうと、画質を良くしたいと思って行なった編集によ
り、その前後の画質が劣化するという矛盾した結果にな
る。

【００５３】「カット編集方式」におけるカットとして
は、上述した編集段階において作成された編集決定リス
ト（ＥＤＬ）に基づいて行う他、定期的に行う、映像シ
ーンの状況に応じて任意に設定できる。すなわち、「カ
ット編集方式」によれば、ＧＯＰ内のピクチャの差し替
えなどがあっても、先行するＧＯＰのピクチャを参照せ
ずに、そして、画質を低下させずに符号化が行える。特
に、符号化された画像データの編集、差し替えが画質を
低下させずに行える。また、「カット編集方式」によれ
ば、これまでのＧＯＰにおけるＧＯＰの不完全独立性が
克服され、Closed GOP、brocken linkなどを使用せずに
信号処理を行うことができる。したがって、「カット編
集方式」によれば、ＧＯＰヘッダを使用しないでよく、
ＧＯＰヘッダ部分にピクチャを置くことが可能になる。

【００５４】本発明の実施例 上述したカット編集方式を適用した本発明の画像符号化
方法とその方法について述べる。図１３に本発明の画像
符号化方法の処理を示すフローチャートを示す。本発明
の画像符号化方法は、基本的に上述した２パス符号化処
理をとる。しかしながら、その詳細は図１３に図解した
ように、画像処理する。 ステップＳ０１：後に編集点の候補となりうる「カッ
ト」の場所を指定する。 ステップＳ０２：「カット」位置に基づいた符号化処理
シーケンスにより、仮符号化処理をし「DIFFICALTY」デ
ータを求める。 ステップＳ０３：得られた「DIFFICALTY」データによ
り、最終的に発生すべき総情報量をシーンごとの「DIFF
ICALTY」に比例するように、例えば、ＧＯＰ単位でビッ
ト量を割り振る。 ステップＳ０４：正式に符号化処理をするときの符号化
処理シーケンスは、仮符号化処理の時と同じものを使用
して正式な符号化処理を行う。このとき、正式の符号化
処理中は、割り振られたビット容量により、あらかじめ
定められた量子化レベルの重み付け制御を行ない、画像
の各帯域の情報用の制御を行う。 ステップＳ０５：正式に符号化処理された結果を、編集
ディレクタ（またはオペレータ）が、モニター用デコー
ド装置で監視して画質のチェックを行う。 ステップＳ０６：編集ディレクタの監視によってもし画
質に問題がある部分があるは判断されたら、編集ディレ
クタの指示により、その部分の量子化レベルの重み付け
の制御を変更し問題となる部分を含む「カット」位置を
再符号化処理する。

【００５５】再符号化処理について 再符号化処理を行う場合には、ほとんどの場合が発生ビ
ット量が増加する方向に行われることが予想される。従
って、もし定められた総容量以内に収めるならば、増加
した分に見合ったビット量を他の部分で減少させる必要
がある。そのために再符号化処理を行う際には次に示す
ようにいくつかの方法をとることができる。 第１の方法：画質が問題となる部分で、一旦、符号化処
理を止めて、再符号化処理によるビット増加量に相当す
る情報量をそれ以前のシーンのどこかで情報量を減少さ
せても問題になりにくい場所を選び、問題となるシーン
のビットの増加量に見合うようにその部分の量子化レベ
ルも下げて、両者とも再符号化処理する。

【００５６】第２の方法（その１）：問題となるシーン
の量子化レベルを上げて再符号化処理し、増加したビッ
ト量は前借りの形で保留しておき、後に符号化処理され
るシーン全体から均等にビット量を差し引き、結果、そ
の後のビット量を減少させることにより、総ビット量を
定められた範囲に収める。

【００５７】第２の方法（その２）：問題となるシーン
の量子化レベルを上げて再符号化処理し、増加したビッ
ト量は前借りの形で保留しておくが、後に符号化処理さ
れるシーン全体からではなく、問題になりにくそうなシ
ーンを特定し、その部分の量子化レベルを下げておき符
号化処理を続け、結果、その後のビット量を減少させる
ことにより、総ビット量を定められた範囲に収める。

【００５８】第３の方法：問題となるシーンまたは「カ
ット」は、その場では再符号化処理せずに、その場所を
特定するマーキング（例えば、タイムコードや「カッ
ト」の番号を控えておくなど）だけして符号化処理を続
ける。最後まで符号化処理が終わった時点で、問題とな
るシーンのすべての量子化レベルの重み付けを変更して
再符号化処理し、その時に増加したビット量に見合う分
を減少させるべく量子化レベルを下げても問題のないよ
うなシーンを選び出し、その部分のビット量を減少させ
て再符号化処理し、結果、総ビット量を定められた範囲
に収める。

【００５９】「カット編集方式」を適用する本発明にお
いては、上記のいずれの場合にも対応できるので、本発
明においてはどの方法で再符号化処理を行うかは問わな
い。ここでは、第３の方法を適用した場合を例示する。

【００６０】以下、上述した画像符号化方法の詳細につ
いて述べる。ステップＳ０１：カット位置の事前設定 ステップＳ０２における仮符号化処理、および、ステッ
プＳ０６における再符号化処理を行う、カット位置につ
いては、上述した「カット編集方式」として記述したよ
うに、事前にＥＤＬなどに規定しておく。

【００６１】ステップＳ０２：仮符号化処理（「DIFFIC
ALTY」データの算出） 図１４は、仮符号化処理を行い、「DIFFICALTY」データ
を求める本発明の実施例としての画像処理装置の構成図
である。図１４における装置の一部は図１１に図解した
装置の一部と同様の処理を行う。マスターテープ１に記
録されている圧縮符号化処理される対象の画像データは
デジタルＶＴＲ２で再生される。マスターテープ１に対
して、図１１を参照して上述した「カット編集方式」に
基づき、編集データリスト（ＥＤＬ）情報、あるいはそ
れに修正を加えたもの、または自動的に等間隔にカット
設定装置６により、編集の候補となるカット点を定め
る。マスターテープ１に対する編集点の情報は、カット
判定／指定回路７に送られる。デジタルＶＴＲ２で再生
されるマスターテープ１にはあらかじめタイムコードＴ
Ｃを記録しておき、そのデジタルＶＴＲ２からのタイム
コード出力３は、カット判定／指定回路７と画像タイプ
制御部８に送られている。カット判定／指定回路７で
は、図１１と同様の方法でカット設定装置６から入力さ
れた編集点情報を考慮しつつ、どのような圧縮シーケン
ス、すなわち、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの
並び方を組めばよいか判定を行い、入力されるタイムコ
ード出力３の一つ一つのフレームナンバーとピクチャの
シーケンスの対応を準備しておく。例えば、編集点のな
い付近でのシーケンスでは、通常の・・・ＢＢＰＢＢＩ
ＢＢＰ・・・とし、編集点の付近では「カットのあるシ
ーケンス」・・・ＢＢＰＩＢＢＰＢＢ・・・と言う具合
にあらかじめピクチャのタイプの符号化処理される順番
を決定する。

【００６２】デジタルＶＴＲ２においてマスターテープ
１の再生を開始する。カット判定／指定回路７は、入力
されてくるタイムコード出力３と、あらかじめ求めてお
いたシーケンスとの対応をとりながら、そのタイムコー
ドに相当する画像をどのピクチャのタイプで圧縮すれば
よいかを符号化処理シーケンス指示９として画像タイプ
制御部８に送る。一方、デジタルＶＴＲ２で再生された
ビデオ信号４は、画像遅延装置５に送られる。上述した
「カット編集方式」で述べたルールに従って遅延量１１
は外部より設定され、それと同じ情報が画像タイプ制御
部８にも送られている。遅延したビデオ信号１０は画像
タイプ制御部８に入力される。画像タイプ制御部８に
は、遅延していないタイムコード出力３と、それに伴っ
た符号化処理シーケンス指示９が入力されているので、
画像タイプ制御部８は、ビデオ信号の遅延分だけ、前も
ってどのタイミングでどのような画像タイプ（Ｉ，Ｂ，
Ｐピクチャ）を生成すればよいかが判る。

【００６３】画像タイプ制御部８は、それぞれのピクチ
ャータイプに応じて生成された画像の二次元画素情報１
３とその処理時間に対応して遅延させたタイムコード
（ＴＣ）１２を直交変換装置の１例としてのＤＣＴ演算
装置１４に送り出す。ＤＣＴ演算装置１４では、画像情
報を二次元の画素データから、たとえば、８×８画素ご
とのブロックごとに、周波数成分の情報に変換し、各帯
域に分かれた周波数成分画像情報１６を出力する。ま
た、どの時間の画像がどの程度の情報量を持っていたの
かを保存する目的のため、ＤＣＴ演算装置１４からは同
時に、その処理遅延時間に対応して遅延させたタイムコ
ード（ＴＣ）１５も出力され、次の量子化器１７に送ら
れる。量子化器１７の出力は、逆量子化器２０と逆ＤＣ
Ｔ演算装置２１を通じて量子化の誤差を含んだ二次元画
素情報に逆変換され、画像タイプ制御部８にフィードバ
ックされる。これにより、画像タイプ制御部８は、Ｂピ
クチャまたはＰピクチャのための差分信号を生成するこ
とができる。画像タイプ制御部８では、動き予測やその
補償も行っているが、量子化誤差を含めたフィードバッ
ク情報は、これらの処理を適応化するのに重要な情報と
なる。

【００６４】量子化器１７では、特に重み付けなどは行
われず各帯域ごとに均等に量子化するような仮量子化レ
ベル２２で画像の周波数帯域情報を量子化する。量子化
されたビット１９は、量子化に要した時間に対応するだ
け遅延されたタイムコード（ＴＣ）１８と共に出力され
る。この結果、時間ごとの画像情報量の変化が得られこ
れが「DIFFICALTY」データ２３となる。

【００６５】ステップＳ０３〜Ｓ０４：「DIFFICALTY」
によるビット量の割りあて、および、正式の符号化処理 図１５は正式に符号化処理を行う装置の構成図である。
量子化器１７までの接続と構成は、「DIFFICALTY」デー
タを求めたときの図１４の装置構成と同じであり、図１
５の装置は、図１４の装置構成に、「DIFFICALTY」デー
タ２４、量子化レベル制御回路２６、手動量子化レベル
修正装置２７、エントロピー符号化器２９、出力レート
決定装置３２、ストリーム出力装置３４、モニター用デ
コーダ３５、ストレージ装置３７、符号化制御部３８が
加わった構成である。したがって、図１４と図１５に示
した装置構成で共通するものは、第１回の符号化処理工
程と、第２回の符号化処理工程の処理において、共用す
ることができる。

【００６６】圧縮エンコーダされる対象の画像データが
記録されているマスターテープ１はデジタルＶＴＲ２で
再生される。ここで重要なことは、画像シーケンスを
「DIFFICALTY」データを求めたときと全く同一のものと
するために、同一のカットの設定を保つことである。従
って、カット設定装置６は接続はされているが、動作は
しない。つまり、マスターテープ１に対する編集点の情
報は、「DIFFICALTY」データを求めたときと同じものが
カット判定／指定回路７に保存されている。また、デジ
タルＶＴＲ２で再生されるマスターテープ１の内容には
あらかじめタイムコードを記録しておき、デジタルＶＴ
Ｒ２からのタイムコード出力３は、カット判定／指定回
路７と画像タイプ制御部８に送られている。カット判定
／指定回路７では、入力された編集点情報を考慮しつ
つ、どのような圧縮シーケンス（Ｉピクチャ、Ｐピクチ
ャ、Ｂピクチャの並び方）を組めばよいか判定を行い、
入力されるタイムコード出力３の一つ一つのフレームナ
ンバーとピクチャのシーケンスの対応を準備しておく。
例えば、編集点のない付近でのシーケンスでは、通常の
・・・ＢＢＰＢＢＩＢＢＰ・・・とし、編集点の付近で
は「カットのあるシーケンス」・・・ＢＢＰＩＢＢＰＢ
Ｂ・・・と言う具合にあらかじめピクチャのタイプのエ
ンコードされる順番を決定する。

【００６７】ピクチャ列、たとえば、映画番組のピクチ
ャ列の最初から再生を開始するために、符号化制御部３
８からテープ走行指示４０がデジタルＶＴＲ２に出力さ
れ、マスターテープ１に記録された画像データの再生が
開始される。出力レート決定装置３２とストレージ装置
３７には通常の符号化方式３９を指示しておく。カット
判定／指定回路７は、入力されてくるタイムコード出力
３と、あらかじめ求めておいたシーケンスとの対応をと
りながら、そのタイムコードに相当する画像をどのピク
チャのタイプで圧縮すればよいかを符号化シーケンス指
示９として画像タイプ制御部８に送る。一方、デジタル
ＶＴＲ２で再生されたビデオ信号４は、画像遅延装置５
に送られる。

【００６８】上述したカット編集方式で述べたルールに
従って、外部から設定された遅延量１１と同じ情報が画
像タイプ制御部８にも送られている。遅延したビデオ信
号１０は画像タイプ制御部８に入力される。画像タイプ
制御部８には、遅延されていないタイムコード出力３
と、それに伴った符号化シーケンス指示９が入力されて
いるので、画像タイプ制御部８は、ビデオ信号の遅延分
だけ、前もってどのタイミングでどのような画像タイプ
（Ｉ，Ｂ，Ｐピクチャ）を生成すればよいかが判る。

【００６９】画像タイプ制御部８は、それぞれのピクチ
ャータイプに応じて生成された画像の二次元画素情報１
３とその処理時間に対応して遅延させたタイムコード
（ＴＣ）１２をＤＣＴ演算装置１４に送り出す。ＤＣＴ
演算装置１４では、画像情報を二次元の画素から、たと
えば、８×８画素単位のブロックで、周波数成分の情報
に変換し、各帯域に分かれた周波数成分画像情報１６を
出力する。また同時に、その処理遅延時間に対応して遅
延させたタイムコード（ＴＣ）１５も出力され、量子化
器１７に送られるとともに、量子化レベル制御回路２６
にも送られる。

【００７０】量子化器１７の出力は、逆量子化器２０と
逆ＤＣＴ演算装置２１を通じて量子化の誤差を含んだ二
次元画素情報に逆変換され、画像タイプ制御部８にフィ
ードバックされる。これにより、画像タイプ制御部８
は、ＢピクチャまたはＰピクチャの差分信号を生成する
ことができる。画像タイプ制御部８では、動き予測やそ
の補償も行っているが、量子化誤差を含めたフィードバ
ック情報は、これらの処理を適応化するのに重要な情報
となる。量子化レベル制御回路２６には、「DIFFICALT
Y」データ２４が入力されており画像情報量の時間変化
データ２５が与えられている。量子化レベル制御回路２
６は、入力されている遅延させたタイムコード（ＴＣ）
１５と画像情報量の時間変化データ２５から、どのよう
な重み付け制御が必要かを決定し、量子化レベル重み付
け制御信号２８を量子化器１７に出力する。通常、とく
に画質に問題ない場合は、手動量子化レベル修正装置２
７は動作しない。量子化器１７では、量子化レベル重み
付け制御信号２８に従って、各帯域ごとに量子化し情報
量の削減を行う。量子化されたビット１９は、量子化に
要した時間に対応するだけ遅延されたタイムコード（Ｔ
Ｃ）１８と共にエントロピー符号化器２９に出力され
る。エントロピー符号化器２９では、さらにビット量の
圧縮を行うために可逆圧縮手法であるエントロピー符号
化を行い、この前段まで固定長ビット列であったものを
可変長ビット列に変換する。この変換方式をＶａｒｉａ
ｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ：ＶＬＣと呼ぶ。
エントロピー符号化器２９からは、可変長符号に変換さ
れた最終的な画像符号３１とその画像を表示すべき時刻
を示した時間情報３０が出力レート決定装置３２に送ら
れている。

【００７１】符号化された後はその結果が出力される。
ここで、可変レートのビット出力について一般的な事柄
を考察する。ＭＰＥＧにおいては、通常、符号化された
画像情報は音声情報やその他の符号とともに、一本のビ
ッット列に多重化されて出力されるが、画像符号が可変
レートである場合は、多重化された出力ビット列も可変
レートとなる。画像、音声、その他の情報が多重化され
た状態で出力レートとなる。音声は固定レートである。
その他の情報は画像符号に比べて極めて微量であるの
で、説明を簡単にするために本質的にビットレートを決
定している画像符号のみが出力される場合で説明する。

【００７２】可変レート符号の受信／読み出しについて 可変レートの画像符号を何らかのストレージデバイス、
たとえば、ＤＶＤに記録し、それを読み出しデコードす
る場合などを考える。この場合デコーダ側としてはどの
ようにして可変レートで符号を読みだせばよいかを考察
する。例えば、仮にストレージデバイスからは最大10Ｍ
bps で符号を読みだせるのもとし、実際にはそこに記録
されている符号は５Ｍbps で符号化されていたものとす
る。この場合、最大速度の10Ｍbps でやみくもに読み込
んでしまうと、実際に復号され画像信号として消費され
る情報量は５Ｍbps であるから、結局、入力が10Ｍbps
出力が５Ｍbps となり、即座に読み出しバッファはオー
バーフローする。このことを防ぐためには、記録された
情報を「いつ」「どのくらいのスピード」で読みだせば
よいかが既知であればよい。

【００７３】ＭＰＥＧ２においては、エンコードされた
画像情報をそのまま出力することはなく、適切な長さに
パケット化し（このパケットはＰＥＳ：ＰＡＣＫＥＴＩ
ＺＥＤ ＥＬＥＭＥＮＴＡＲＹ ＳＴＲＥＡＭと呼ばれ
る）、あるいは、ＰＥＳをいくつかまとめたＰＡＣＫと
呼ばれる単位に再パケット化している。ＰＥＳまたはＰ
ＡＣＫには、そのパケットが読み出されるときのビット
レートと読み出すべき時間がヘッダ情報として付け加え
られている。復号装置においては、この情報を元に読み
出していればそのバッファはオーバーフローすることも
アンダーフローすることもない。例えば上述した例の場
合、実際の読み出し速度が10Ｍbps に固定されていたと
しても、それぞれのパケットを読みだす時間がそのパケ
ットのヘッダとして指定されているわけだから、ヘッダ
まで10Ｍbps で読み出し指定の時間までは読み出しを休
むことができ、結果、バースト的に読みだすことにな
り、平均して５Ｍbps の読み出し速度を得ることができ
る。

【００７４】符号化装置においては、符号化された画像
が最終的に復号され表示されるべき時間は、オリジナル
の、例えば、マスターテープ１のタイムコードからあら
かじめ分かっている。また各画像１枚１枚が何ビットあ
るかも当然知っている。従って、ある符号化された画像
情報を表示時間までに揃えるためには、「いつ」「どの
くらいの速度」で送ればよいかを決定することは困難で
はない。ＭＰＥＧ２における符号化装置では、その「い
つ（クロックリファレンス）」と「どのくらいの速度
（パケットレート）」を求め、その情報をＰＥＳないし
ＰＡＣＫのヘッダとして付加しなければならないことに
なっている。

【００７５】出力レート決定装置３２には、可変長符号
に変換された最終的な画像符号３１とその画像を表示す
べき時刻を示した時間情報３０が入力されている。出力
レート決定装置３２は、この時間情報を元にＰＥＳない
しＰＡＣＫのヘッダ情報を求め、入力された画像符号を
パケット化し最終符号出力３３としてストリーム出力装
置３４に送る。

【００７６】出力レート決定装置３２は、符号化処理を
始める際に符号化制御部３８より、通常の符号化方式の
指令３９の指示を受けている。出力レート決定装置３２
は、後に画質改善のために編集が可能となるようにうす
ために、最終符号出力３３の元になった情報である、
「画像符号＋時間情報」３６をストレージ装置３７に通
常、符号化処理の結果によるというマーキングとともに
保存しておく。

【００７７】ステップＳ０５：符号化処理結果の監視 最終符号出力３３はモニター用デコーダ３５にも送られ
ている。編集ディレクタ（オペレータ）は、デコーダ３
５に接続されたモニター（図示せず）に表示された符号
化処理結果を観察して、その画質を監視することができ
る。もし、画質に問題があったならば、編集ディレクタ
は画質が問題となる位置を指示する。具体的には、上述
した再符号化処理に従い、その部分に相当する画像を表
示すべき時刻を示した時間情報４１を手動量子化レベル
修正装置２７に記録しておく。正式の符号化処理が一通
り終了した時点で、画質に問題のある場所がどの「カッ
ト」に相当するかは、手動量子化レベル修正装置２７に
記録されていた時間情報とカット判定／指定回路７に保
存されているタイムコードとカットの関係とからで容易
に求めることができる。

【００７８】ステップＳ０６：重み付け制御の変更 画質が問題となる部分に相当する「カット」を符号化制
御部３８から再度再生しモニター用デコーダ３５を監視
しながら、手動量子化レベル修正装置２７において量子
化レベルの重み付けを調整し、画質に問題がない量子化
レベルを求める。求めた量子化レベルの重み付け制御値
はその「カット」に相当するタイムコードとともに量子
化レベル制御回路２６に与えておく。画質に問題が有る
部分が複数あるときには、この作業を繰り返す。

【００７９】量子化レベル制御回路２６においては、も
ともと「DIFFICALTY」データ２４によって総発生ビット
量が既知であるので、手動量子化レベル修正装置２７に
よって量子化レベルが修正された結果、新しい総発生ビ
ット量を知ることも可能である。もし、総発生ビット量
があらかじめ定められて総容量を越えてしまうようなこ
とがあれば、今度は逆に、ビット量を減らしても問題に
なりにくそうな「カット」を指定して、その部分を上記
と同様に再生しながら手動量子化レベル修正装置２７に
よって情報量が抑制されるように量子化レベルを調整す
る。

【００８０】ステップＳ０７：再符号化処理 このようにして、必要な部分の量子化レベルを調整し直
したら、符号化制御部３８から、対象となる「カット」
のみをエンコードさせるようにデジタルＶＴＲ２で順次
再生させる。この符号化処理は、上述した正式の符号化
処理と同様に進行する。このとき、出力レート決定装置
３２とストレージ装置３７には、エンコードの結果が再
エンコードによるものであることを示すため、符号化方
式の指令３９を符号化制御部３８から与えておく。これ
により、ストレージ装置３７には、改善された画質を持
つ「画像符号＋時間情報」３６が再エンコードのマーキ
ングとともに記録されることになる。

【００８１】最終出力 全ての再エンコードが終了したならば、ストレージ装置
３７には通常／再エンコードの画像符号及び時間情報の
全てが記録されている。出力レート決定装置３２はこの
記録されているデータを元に、プログラムの先頭から順
次パケット化していき、最終符号出力３３としてストリ
ーム出力装置３４に出力する。

【００８２】クロックリファレンスとパケットレート エンコーダでは符号化された画像情報を表示時間までに
揃えるためには、「いつ」「どのくらいの速度」で送れ
ばよいかを決定し、クロックリファレンスとパケットレ
ートを求めるが、再符号化処理により情報量が増加しビ
ットレートを上げた場合にどのようになるかを説明す
る。図１６は、平均した画像符号のビットレートが５Ｍ
bps の時の例を示すグラフである。ここでは、説明を簡
単にするため１フレームの画像符号が１パケットを形成
するものとする。図中において、横軸は時間、縦軸はビ
ット量の累積、斜めの線は平均ビットレートを表す。一
つ一つの小さな四角形は、１ビデオフレームの画像を符
号化の後にパケット化したのを表しており幅が１フレー
ムの時間に相当し、その高さでビット容量を示してい
る。また、２本の斜め線で挟まれた領域は、復号装置の
バッファサイズ４１を示しており上辺を越えればオーバ
ーフロー、下辺を越えればアンダーフローである。全て
の画像がその領域内に収まっているときには、デコーダ
ーのバッファはオーバーフローもアンダーフローも越し
ていないことを表している。

【００８３】例えば、画像符号Ａ（４２）を５Ｍbps で
送る場合を考える。画像符号Ａの高さを見れば、５Ｍbp
s の速度ではこの容量を１ビデオフレーム時間で送るこ
とはできない。従って、それより以前から送り始めなけ
ればならない。また、画像符号Ａを全て送り終わったと
きに、バッファがオーバーフローのギリギリで終わるこ
となく、余裕をもってバッファ容量の中ほどで終了する
ようにすると仮定する。この場合の、パケット化された
画像符号Ａの出力開始点４３と終了点４４は、画像符号
Ａのそれぞれ上端と下端から水平に過去（左側）の向き
に直線を延ばし、それが斜め線との交点でもとまる。画
像符号Ａのパケット容量をＳとおき、出力開始点４３を
Ｔ１、同じく終了した点４４をＴ２とおくと、Ｓ＝（Ｔ
２−Ｔ１）×５Ｍbps の関係になる。画像符号パケット
の下端から水平に過去の向きに延ばした直線と斜め線と
の交点が、ここでの例ではＴ１がその画像符号クロック
リファレンスである。

【００８４】図１７に示すように、画質の一部に問題が
有り、量子化レベルを上げて対処する場合が生じたとす
る。白い四角形で元々の画像符号の累積、濃い灰色の四
角形で画質改善後の画像符号の累積を表す。図より明ら
かなように、画質改善後はもはや平均して５Ｍbps では
送ることができない。ところが変更部分の総容量と時間
から計算して（ビットレート＝総容量／変更部分の時
間）みると、この新しい画像符号は７Ｍbps のレート
（これが、変更部分のパケットレートになる）であれ
ば、バッファの流域内に収められることができることが
判明したとする。

【００８５】図１８に、この場合、エンコーダ出力のビ
ットレートはどの部分は変更されるかを示す。画像デー
タそのものの変更部分はＴ４より始まり、Ｔ６で終わる
ものとし、変更前の元の画像符号のビット発生量をＳ１
（５１）、画質を改善した結果の画像符号のビット発生
量をＳ２（５２）とする。画質改善のための変更により
バッファ残量へ与える影響を、変更部分だけにとどめる
ために、変更箇所の最後のフレームの次に来る元々存在
したフレームがバッファに書き込まれたときのバッファ
残量を同一とする（５０）ことを目標におくとする。変
更部分の先頭の画像符号パケットの下端から左に直線を
引き元のビットレートを表す５Ｍbps の斜め線との交点
Ｔ３が、変更部分の出力開始点（クロックリファレン
ス）となる。変更部分はＳ２／（Ｔ６−Ｔ４）＝７Ｍbp
s であれば、うまく送ることができるのであるから、変
更部分の最初のフレームのクロックリファレンスＴ３か
ら７Ｍbps の斜め線を引けば、これが新しいビットレー
トを表すことになる。変更部分のそれぞれの画像符号パ
ケットの下端から左側に直線を引き、７Ｍbps の直線と
の交点を求めれば、そこがそれぞれの画像符号パケット
の新しい出力の開始点（クロックリファレンス）とな
る。この結果、変更部分の全てのクロックリファレンス
は変更され、例えば、同一フレームの画像符号パケット
で比較すれば、位置（４５）のように元より前にずれる
こともあれば、位置（４６）のように後ろにずれること
もある。７Ｍbps の斜め線は、変更部分の最後のフレー
ムを出力し終わったところＴ５で終了する。つまり、変
更後の画像符号にビット累積の軌跡はうすい灰色で表し
たように、Ｔ３からＴ５までは７Ｍbps に上がり（４
８）、Ｔ５からビットレートは元の５bps に戻る（４
９）。７Ｍbps という値は、変更部分の総容量と時間か
ら単純計算して求めた（Ｓ２／（Ｔ６−Ｔ４）＝７Ｍbp
s ）である。また、Ｔ５はＳ２／７Ｍbps ＝（Ｔ５−Ｔ
３）の関係になることも明らかである。従って、Ｔ６−
Ｔ４＝Ｔ５−Ｔ３である。一方、変更部分の時間は変更
の前後では同一（Ｔ６−Ｔ４）である。変更する前も後
もＴ３からビットを出力し始めているから、変更部分の
次に来るフレームの出力開始点（クロックリファレン
ス）Ｔ５は元々の開始点と一致する（４７）。その時点
での画像符号のビット量の累積値は、ちょうど、画質を
向上させた結果のビット量Ｓ２（５２）から元の発生ビ
ット量Ｓ１（５１）を引いた分（Ｓ２−Ｓ１）だけ上に
並行移動しているだけであるので、５Ｍbps に戻ったと
ころでのバッファの残量は変更の前のときと同一の値と
なる。

【００８６】図１３に図解した本発明の画像符号化方法
の動作は、図１４および図１５に図解した両者の装置に
よって行われる。したがって、本発明の実施に際して
は、図１４に図解した装置と図１５に図解した装置を一
体構成にしてもよい。その場合、共用する装置を重複さ
せずに用いて簡略した構成にすることができる。

【００８７】以上の実施例では、再符号化処理として、
第３の例を述べたが、その他の再符号化処理についても
上記同様に行うことができる。

【００８８】なお、以上の説明では可変レートの場合を
用いたが、可変レート画像符号に一定のパッディングビ
ットを加えて固定レートとしているようなシステムでも
同様に実施できる。得られたビット列は、完全にＭＰＥ
Ｇ２フォーマットである。

【００８９】

【発明の効果】本発明によれば、画質を正式に符号化処
理した後に、事前に編集事情を考慮して規定した「カッ
ト」をもとに部分的に修正できる。また本発明は、「DI
FFICALTY」データを求める際に厳密さが不要になる。換
言すれば、本発明においては、「DIFFICALTY」データを
求める作業を簡略化できるため、２パス符号化処理の１
パス目の時間を短縮できる。なお、本発明における「カ
ット」の概念、及び、本発明の一部をなす出力レート決
定装置は、ＭＰＥＧ符号化処理されたお互いに無関係な
複数のビット列同士を編集しつなぐことを可能とし、符
号化処理後のビット列の再利用をも可能になる。

【図面の簡単な説明】

【図１】図１は固定ビットレート符号化処理と可変ビッ
トレート符号化処理の概要を示す図である。

【図２】図２は可変ビットレート符号化処理の処理の概
要を示す図である。

【図３】図３はＭＰＥＧが適用されるシステム構成の１
例として画像伝送系統における画像符号化装置と画像復
号化装置とのシステム構成を示した図である。

【図４】図４はＭＰＥＧにおける符号化順序を示したグ
ラフである。

【図５】図５は図４に示したピクチャの意味とのその関
連を示したグラフである。

【図６】図６（Ａ）はＧＯＰの構成を示したＭＰＥＧの
ビットストリームの構成を示すグラフであり、図６
（Ｂ）はＧＯＰヘッダの内容を示す図であり、図６
（Ｃ）はピクチャヘッダの内容を示す図である。

【図７】図７は一般的なＭＰＥＧの画像列の様子を示す
グラフである。

【図８】図８は、ＧＯＰ単位での画像編集を行なったと
きに起こる問題を説明するための図である。

【図９】図９はＭＰＥＧにおける「CLOSED GOP」を説明
するグラフである。

【図１０】図１０は「カット編集方式」における圧縮・
符号化処理を示すグラフである。

【図１１】図１１は「カット編集方式」におけるビデオ
信号処理装置の構成図である。

【図１２】図１２は符号化処理シーケンスを図解したグ
ラフである。

【図１３】図１３は本発明の画像符号化方法の処理を図
解したフローチャートである。

【図１４】図１４は本発明の実施例として、「DIFFICAL
TY」を算出する仮符号化処理を行う画像符号装置の構成
図である。

【図１５】図１５は本発明の実施例として、正式に符号
化処理を行う装置の構成図である。

【図１６】図１６は本発明における平均した画像符号の
ビットレートが５Ｍbps の時の例を示すグラフである。

【図１７】図１７は本発明において、画質の一部に問題
が有り、量子化レベルを上げて対処する場合の処理を示
すグラフである。

【図１８】図１８は本発明において、エンコーダ出力の
ビットレートはどの部分が変更されるかを示すグラフで
ある。

【符号の説明】

１・・マスターテープ ２・・デジタルＶＴＲ ３・・タイムコード出力 ４・・ビデオ信号 ５・・画像遅延装置 ６・・カット設定装置 ７・・カット判定／指定回路 ８・・画像タイプ制御部 ９・・符号化シーケンス指示 １０・・遅延したビデオ信号 １１・・遅延量 １２・・遅延させたタイムコード（ＴＣ） １３・・画像の二次元画素情報 １４・・ＤＣＴ演算装置 １５・・遅延させたタイムコード（ＴＣ） １６・・周波数成分画像情報 １７・・量子化器 １９・・量子化されたビット ２０・・逆量子化器 ２１・・逆ＤＣＴ演算装置 ２２・・仮量子化レベル ２３・・「DIFFICALTY」データ ２４・・「DIFFICALTY」データ ２５・・画像情報量の時間変化データ ２６・・量子化レベル制御回路 ２７・・手動量子化レベル修正装置 ２８・・量子化レベル重み付け制御信号 ２９・・エントロピー符号化器 ３０・・時間情報 ３１・・最終的な画像符号 ３２・・出力レート決定装置 ３３・・最終符号出力 ３４・・ストリーム出力装置 ３５・・モニター用デコーダ ３６・・「画像符号＋時間情報」 ３７・・ストレージ装置 ３８・・符号化制御部 ３９・・符号化方式の指令 ４０・・テープ走行指示 ４１・・復号装置のバッファサイズ １００・・ビデオテープ記録再生装置（ＶＴＲ） ２００・・画像符号化装置（エンコーダ） ３００・・蓄積メディア３（または伝送経路） ４００・・画像復号化装置（デコーダ） ５００・・ＴＶモニタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 謙太郎 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】２パス符号化処理を行う画像符号化方法で
   あって、 後に編集点の候補となりうる「カット」の場所を指定
   し、 「カット」位置に基づいて画像データを仮符号化処理し
   て、符号化画像の複雑の度合いを示す「DIFFICALTY」デ
   ータを求め、 該「DIFFICALTY」データにより、最終的に発生すべき総
   情報量を画像のシーンごとの「DIFFICALTY」に比例する
   ように、ビット量を割り振り、 該割り振られたビット容量によりあらかじめ定められた
   量子化レベルの重み付け制御を行ない画像の各帯域の情
   報用の制御を行いながら、仮符号化処理の時と同じ符号
   化方法で前記画像データを正式に符号化処理し、 正式に符号化処理結果を観察し、低い画質の部分が存在
   するときその部分の量子化レベルの重み付けの制御を変
   更し、その部分を含む「カット」位置の画像データを再
   符号化処理する画像符号化方法。
2. 【請求項２】前記再符号化処理として、 低い画質の部分で一旦、符号化処理を停止し、 再符号化処理によるビット増加量に相当する情報量をそ
   れ以前のシーンの部分で情報量を減少させても画質に問
   題が生じない場所を選択し、 画質が問題となるシーンのビットの増加量に見合うよう
   にその部分の量子化レベルを下げて、 前記両者を再符号化処理する請求項１記載の画像符号化
   方法。
3. 【請求項３】前記再符号化処理として低い画質のシーン
   の量子化レベルを上げて再符号化処理し、 増加したビット量を一時的に保留し、 後に符号化処理されるシーン全体から均等にビット量を
   差し引き、その結果、その後のビット量を減少させて、
   総ビット量を定められた範囲に収める請求項１記載の画
   像符号化方法。
4. 【請求項４】前記再符号化処理として低い画質のシーン
   の量子化レベルを上げて再符号化処理し、 増加したビット量を一時的に保留し、 画質が問題になりにくそうなシーンを特定し、その部分
   の量子化レベルを下げて符号化処理を行い、その結果、
   その後のビット量を減少させて総ビット量を定められた
   範囲に収める請求項１記載の画像符号化方法。
5. 【請求項５】前記再符号化処理として、 画質が問題となるシーンまたは「カット」は、その場で
   は再符号化処理せずに、その場所を特定するマーキング
   （例えば、タイムコードや「カット」の番号を控えてお
   くなど）だけして符号化処理を続け、 最後まで符号化処理が終わった時点で、問題となるシー
   ンのすべての量子化レベルの重み付けを変更して再符号
   化処理し、 その時に増加したビット量に見合う分を減少させるべく
   量子化レベルを下げても問題のないようなシーンを選び
   出し、 その部分のビット量を減少させて再符号化処理し、その
   結果、総ビット量を定められた範囲に収める請求項１記
   載の画像符号化方法。
6. 【請求項６】２パス符号化処理を行う画像符号化装置で
   あって、 後に編集点の候補となりうる「カット」の場所を指定す
   る手段と、 「カット」位置に基づいて画像データを仮符号化処理し
   て、符号化画像の複雑の度合いを示す「DIFFICALTY」デ
   ータを求める手段と、 該「DIFFICALTY」データにより、最終的に発生すべき総
   情報量を画像のシーンごとの「DIFFICALTY」に比例する
   ように、ビット量を割り振る手段と、 該割り振られたビット容量によりあらかじめ定められた
   量子化レベルの重み付け制御を行ない画像の各帯域の情
   報用の制御を行いながら、仮符号化処理の時と同じ符号
   化方法で前記画像データを正式に符号化処理する手段
   と、 正式に符号化処理結果を観察し、低い画質の部分が存在
   するときその部分の量子化レベルの重み付けの制御を変
   更し、その部分を含む「カット」位置の画像データを再
   符号化処理する手段とを具備する画像符号化装置。