JP4416845B2 - 符号化装置及びその方法、および、記録装置及びその方法 - Google Patents
符号化装置及びその方法、および、記録装置及びその方法 Download PDFInfo
- Publication number
- JP4416845B2 JP4416845B2 JP27899096A JP27899096A JP4416845B2 JP 4416845 B2 JP4416845 B2 JP 4416845B2 JP 27899096 A JP27899096 A JP 27899096A JP 27899096 A JP27899096 A JP 27899096A JP 4416845 B2 JP4416845 B2 JP 4416845B2
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- picture
- sequence
- cut
- bit amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像符号化方法とその装置に関する。より特定的には、本発明は、画質を低下させずかつ圧縮画像データ全体として規定された範囲以内で収まるように「可変ビットレート方式」で画像圧縮を行う際、「カット」編集方式を用いてカットごとにオペレーターが任意にビットレートを指定できるようにして自動管理されたビットレートを部分的に修正し、かつその部分だけを再符号処理を行う画像符号化方法とその装置に関する。
【０００２】
【従来の技術】
画像信号帯域圧縮技術のうち動画像信号帯域圧縮方式として、Ｈ．２６１、ＭＰＥＧ（Motion Picture Eepert Group)などの国際標準化実用技術が知られている。高能率画像圧縮技術（または高能率画像符号化技術）の１つであるＭＰＥＧはマルチメディアにおける動画像信号帯域圧縮方式としてとして、ＤＶＤ、ＶＯＤ（ビデオ・オン・デマンド）、コンピュータ、通信、放送、情報家電、エンターテイメントなど多くの分野での適用が試みられている。
ＭＰＥＧについては、下記の分類による提案がされている。
ＭＰＥＧ１：1.5 Ｍｂ／ｓ前後で許容限度を上回る品質の動画像符号化
ＭＰＥＧ２：１６Ｍｂ／ｓ前後で高品質動画像符号化
ＭＰＥＧ３：５０〜８０Ｍｂ／ｓでハイビジョンテレビ（ＨＤＴＶ）信号符 号化
本発明において主としてＭＰＥＧ２について言及する。本明細書においてＭＰＥＧによる符号化・復号化方式をＭＰＥＧ処理と略称する。
【０００３】
ＭＰＥＧ処理においては、ピクチャ（画像）を複数まとめた「ＧＯＰ（GROUPOF PICTURE）」と呼ぶ複数のピクチャごとに符号化処理または復号化処理を行う。ＧＯＰは画像伝送の単位であり、符号化処理・復号化処理の単位でもある。
フレームごと（またはフィールドごと）の画像データ（ビデオデータまたはピクチャ）が連続するＴＶ画像を例示すると、ＧＯＰにおけるピクチャは単純なフレームごとのピクチャ、つまり、Ｉ(Intra) ピクチャ（画面内符号化ピクチャ）の連続ではなく、符号化効率を高めてデータの伝送量を減少させるために動き補償などの技法を用いて予測したピクチャを用いる。予測ピクチャとしては、Ｐ(Prediction)ピクチャ（前方予測符号化ピクチャ）、Ｂ(Bidirection)-ピクチャ（双方向予測（外挿・内挿）符号化ピクチャ）が知られている。したがって、ＧＯＰには、複数のＩピクチャ、Ｐピクチャ、Ｂピクチャが混在したピクチャの集合が収容されている。ＧＯＰ、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの詳細およびこれらの関連については後述する。
【０００４】
高能率画像圧縮方式としては、図１に図解したように、「固定ビットレート符号化方式」と「可変ビットレート符号化方式」とが知られている。
「固定ビットレート符号化方式」は画像（ピクチャ）ごとのビット発生量は変化するがＧＯＰ単位で見ればほぼ一定のビット量にする方式である。
「可変ビットレート符号化方式」は、画像（ピクチャ）ごとのビット発生量も変化するが、ＧＯＰ単位でもビット発生量が変化する方式である。図１における変数ｉはシーン数を示す。
本発明は「可変ビットレート符号化方式」に関係する。
【０００５】
可変ビットレート符号化処理
映画やドラマなどの画像のＭＰＥＧ２による帯域圧縮・符号化処理を行う場合、複雑な絵柄のシーンのため量子化レベルを上げて圧縮して情報量を増やさなければ画質が保てない部分と、単純な絵柄のシーンのために量子化レベルを下げて情報量を減らしても圧縮しても画質を保つことが可能な部分がある。
可変ビットレート符号化方式は、トータルとしてはビット発生量をある値に収めることを前提としつつ、全体として高い画像符号化を実現させるため、画像の内容に応じて符号化情報量を変化させる符号化方法である。すなわち、可変ビットレート符号化方法においては、複雑な絵柄にはその画質を保つのに十分な情報量を割り当て、単純な絵柄にはその情報量を抑制して、全体のビット発生量（またはビットレート）を制約された範囲に収める。
【０００６】
より具体的に述べると、ＤＶＤに記憶する画像データはＭＰＥＧ２のＭＰ＠ＭＬ標準に従って圧縮される。しかしながら、ＤＶＤのメモリ容量には限度があるから、その容量内に圧縮画像データが収容できるように、画像ごとに圧縮比を変化させて高画質を保ちながら限られたメモリ容量を効率的に使用する可変ビットレート・フォーマットで圧縮画像データを符号化処理する。
【０００７】
２パス符号化処理について
可変ビットレート符号化方式において、図２に図解したように、第１回目の工程として仮符号化処理（仮エンコーディングまたは前処理符号化処理）を行って画像データ全体の複雑の度合い（「DIFFICULTY」、複雑度）を調査し、その後、第２回目の工程として「DIFFICULTY（複雑度）」を参照して正式な画像圧縮符号化処理を行う２パス符号化処理を行う。
仮符号化処理は、一枚の画像を複数のブロックに切り分け、その一つのブロックを、直交変換処理、たとえば、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）処理またはウエーブレット変換処理などのサブバンドコーディング方式（与えられた信号源をいくつかの周波数帯域に分解し、それぞれの周波数帯域の電力値を求める変換方式）による信号処理を行う。サブバンドコーディングのような、画像信号を二次元の時間領域の画素情報から周波数領域の情報に直交変換する方式において、画像を分割した各ブロックごとの、周波数領域の電力値または、情報量、あるいはビットのマグニチュード、もしくはビット発生量の分布に着目してみると、符号化処理後の各周波数帯域の電力値が直流成分や低域成分のみならず高域成分に至るまで広く分布していれば、複雑な絵柄を示しており、逆に、直流成分や低域成分に発生ビット量が集中しており全体の電力値が少ない時には単純な絵柄を示していることが判る。従って、仮符号化処理の結果の各画像ごとの周波数成分の電力値を合計したビット発生量の時間変化は、そのまま絵柄の複雑なシーンや単純なシーンの時間的な経過の様子を示している。この仮符号化処理後の発生ビット量は絵柄（または画像（ピクチャ) ）の「複雑の度合い」を意味しており、この絵柄の複雑の度合いを「DIFFICULTY（複雑度）」と呼ぶ。「DIFFICULTY」は符号化の際のおおよそのビット発生量を示すパラメータである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した方法には下記に述べる不具合がある。
第１の不具合：２パス符号化処理における第２工程である正式の符号化処理において、仮符号化処理において求めた「DIFFICULTY」に基づき定められた総情報量に合わせ込む形で画像の帯域別の情報量の重み付けを行うが、この重み付けは、あくまでも「最も確からしい予測」であり、符号化後の最終的な総ビット発生量はある程度約束されてはいても、符号化処理した画像全てにわたって画質が約束されているわけではない。したがって、全ての画質を良好なものとするにはさらに精密な符号化処理を行う必要がある。しかしながら、従来の方法では、部分的なピクチャの画質改善が効率よく行うことができない。
【０００９】
第２の不具合：可変ビットレート符号化方式によって画像ごとにビット発生量を変化できるが、単純にピクチャーごとのデータビットを送りだせばよいわけではない。ＭＰＥＧ２においては標準再生機の仕様が厳密に定義されており、再生バッファの容量は1.75Ｍbit と定められている。画像圧縮符号処理を行う符号化装置側では再生バッファがオーバーフローしたりアンダーフローしたりしないように制御（管理）しなければならない。画像の絵柄によりある部分はビット量を多くし、ある部分は少なくするという「可変ビットレート符号化処理」の条件下では、毎フレームごとに発生したビットを単純に等間隔で送り出すと、ＭＰＥＧ２で定められたバッファサイズでは符号化データがバッファからオーバーフローすることがある。
そこで、符号化装置において、再生機のバッファに実際どのくらいのデータ量が入っているのか計算しつつ、例えば、ビット量が多いピクチャについては少し手前から送り出すなどして、絶えずバッファ容量を監視制御する必要がある。この制御は、映画やドラマなどのプログラムの始まりから終了まで継続的に行われなければならない。例えば、仮にある部分の符号化処理後の画質に問題あるからと言って、その部分の量子化レベルを変更することは、そこから後ろの部分のバッファ容量に影響を与えてしまい、問題となる箇所のみを変更するわけには行かない。このため、通常では途中だけビットレートを変更することは極めて困難となる。
【００１０】
第３の不具合：ＧＯＰは完全に独立はしていない。そのため、ある部分だけを再符号化するわけにはいかない。この詳細については具体的に詳述するが、ここでは簡単に述べる。ＭＰＥＧにおいては基本的に、ＧＯＰ単位で符号化処理・復号化処理を行うから、それぞれのＧＯＰが完全に独立していることが望ましい。しかしながら、あるＧＯＰ内のＢピクチャの処理には前のＧＯＰに含まれるＩピクチャまたはピクチャを参照しないと処理できないから、それぞれのＧＯＰは完全には独立していない。その結果、画質の低下が検出された任意のピクチャから自由に画質を改善することはできない。
【００１１】
以上の記述から明らかなように、もし符号化処理される画像（たとえば、映画などのプログラム）の途中に画質的に問題点があったとしてもそこだけを再符号化処理して差し替え編集をすることは困難であり、かりに画質が問題となる箇所が１秒間であったとしても、映画なら約２時間分を問題となる箇所のビット発生量を訂正しつつもう一度最初から繰り返して符号化する必要があるが、これまでの方法では、画質的に問題が生じた場合そこだけを修正しようと考えることは事実上できないという問題に遭遇している。
【００１２】
【課題を解決するための手段】
本願発明者は、ＧＯＰ単位での編集は可能であるＭＰＥＧの持っているオリジナルの特質は保ちながら、編集などにおける「カット」単位では原理的に画質に影響を与えない編集方法を提案した（たとえば、平成８年２月２９日に出願した「画像データ処理方法と装置」、特願平８−４２９８０号）。この方法は、「カットのあるピクチャシーケンス」を応用し、画質的に問題となる部分だけを再符号化して差し替え編集する方法である。カットとしては、編集段階において作成された編集決定リスト（ＥＤＬ）に基づいて行う、定期的に行う、映像シーンの状況に応じて行うなど任意に設定できる。このカット編集方式の詳細は後述する。
【００１３】
本発明の目的は、上記「カット」編集方式を応用し、カットごとに編集のディレクタなど、画像処理を行うオペレーターが任意にビットレートを指定できるようにして自動管理されたビットレートを部分的に修正し、かつその部分だけを再符号化処理し、改善された画質に編集する方法および装置を提供することにある。
【００１４】
本発明によれば、映像信号を符号化して符号化データを生成する符号化装置において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定手段と、上記区切り決定手段により決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成手段と、上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出手段と、上記発生ビット量算出手段により算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された割り振りビット量及び上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス構成手段により構成された上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段とを有する符号化装置が提供される。
また本発明によれば、映像信号を符号化して符号化データを生成する符号化方法において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定工程と、上記区切り決定工程において決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成工程と、上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出工程と、上記発生ビット量算出工程において算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された割り振りビット量及び上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス構成工程において構成された上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程とを有する符号化方法が提供される。
【００１５】
本発明によれば、映像信号を符号化して符号化データを生成する符号化装置において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段とを有する符号化装置が提供される。
また本発明によれば、映像信号を符号化して符号化データを生成する符号化方法において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程とを有する符号化方法が提供される。
【００１６】
本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録装置において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定手段と、上記区切り決定手段により決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成手段と、上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出手段と、上記発生ビット量算出手段により算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段と、上記符号化手段により生成された上記符号化データを上記記録媒体に記録する記録手段とを有する記録装置が提供される。
また本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録方法において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定工程と、上記区切り決定工程において決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成工程と、上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出工程と、上記発生ビット量算出工程において算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程と、上記符号化工程において生成された上記符号化データを上記記録媒体に記録する記録工程とを有する記録方法が提供される。
本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録装置において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を再度符号化することにより、上記符号化データを生成する符号化手段と、上記符号化手段により生成された上記符号化データを上記記録媒体に記録する記録手段とを有する記録装置が提供される。
また本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録方法において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を再度符号化することにより、上記符号化データを生成する符号化工程と、上記符号化工程において生成された上記符号化データを上記記録媒体に記録する記録工程を有する記録方法が提供される。
【００１７】
【発明の実施の形態】
本発明の好適実施例を述べる前に、ＭＰＥＧが適用されるシステムの例、および、ＭＰＥＧの処理の対象とするピクチャ（画像）の構造について述べる。
【００１８】
画像伝送系統における符号化・復号化システム
図３はＭＰＥＧが適用されるシステム構成の１例として画像伝送系統における画像符号化装置と画像復号化装置とのシステム構成を示した図である。このシステムは、たとえば、ＶＯＤ(Video On Demand: ビデオ・オン・デマンド）に代表されるような通信サービス、または、ＤＶＤに記録された映像信号を、ＤＶＤを蓄積メディア３００として復号するシステムにも適用できる。
この画像符号化・復号化システムにおいては、ビデオテープ記録再生装置（ＶＴＲ）１００において再生されたフレームごとのオリジナルのディジタルビデオ信号（フレーム画像データまたはフレーム・ピクチャ）を画像符号化装置２００においてフレームのピクチャごとに帯域圧縮・符号化して蓄積メディア３００（または伝送経路）に送出する。蓄積メディア３００としては、たとえば、ＤＶＤ、ＨＤＤ（ハードディスク装置）などが例示され、これらの記録媒体を用いた場合は、帯域圧縮・符号化処理された画像データが記録され、読み出される。伝送経路３００の場合は伝送経路の上をビットストリームとして帯域圧縮・符号化された画像データが伝送されていく。画像復号化装置４００は蓄積メディア３００（または伝送経路）を経由して入力された帯域圧縮・符号化処理された画像データを、画像符号化装置２００における符号化処理と逆の復号処理を行ってＶＴＲ１００から出力されたと同等の画像データを再生し、ＴＶモニタ５００にその再生画像を表示する。画像符号化装置２００においてＭＰＥＧに基づく画像データの圧縮・符号化処理が行われ、画像復号化装置４００において帯域伸長・復号処理が行われる。
【００１９】
本発明の好適な実施例を述べる前に、上記本願発明者で提案した、特願平８−４２９８０号のカット編集方式の概要を述べる。
まず、ピクチャとの関連においてその処理を述べる。
ピクチャの構成
図４はＭＰＥＧにおける符号化順序を示したグラフである。図５は図４に示したピクチャの意味とのその関連を示したグラフである。
符号「Ｉ」はＩ(Intra) ピクチャ（画面内符号化ピクチャ）を示し、符号「Ｐ」はＰ(Prediction)ピクチャ（前方予測符号化ピクチャ）を示し、符号「Ｂ」はＢ(Bidirection)-ピクチャ（双方向予測（外挿・内挿）符号化ピクチャ）を示す。
Ｉピクチャとはある画面、たとえば、フレームでそれ自身独立して再生が可能な画像のことである。Ｐピクチャとはそれよりも前方（過去）にあるＩピクチャまたはＰピクチャからの予測を使った符号化画像である。Ｂピクチャとは、それ自身よりも前方（過去）にあるＩピクチャまたはＰピクチャからの予測と後方（未来）にあるＩピクチャまたはＰピクチャからの予測の両方を使用した画像のことである。
【００２０】
図６（Ａ）はＧＯＰの構成を示したＭＰＥＧのビットストリームの構成を示すグラフであり、図６（Ｂ）はＧＯＰヘッダの内容を示す図であり、図６（Ｃ）はピクチャヘッダの内容を示す図である。
ＭＰＥＧのビットストリームは、最上層にシーケンス層があり、複数のＧＯＰが連続している。それぞれのＧＯＰは、図６（Ａ）に示した内容を格納するＧＯＰヘッダ、複数のピクチャ層が連続して構成されている。それぞれのピクチャ層は、図６（Ｃ）に示した内容を格納するピクチャヘッダと、複数のスライス層が連続している。それぞれのスライス層は、スライス情報を記憶する部分と、複数のマクロブロックが連続している。それぞれのマクロブロック層は、マクロブロック情報を格納する部分と、複数のブロックが連続している。それぞれのブロック層は、上述した。各ブロックにはＤＣＴ（離散コサイン変換）符号化された画像データが格納されている。
【００２１】
図７を参照してビデオ信号の編集に関連してＧＯＰおよびピクチャの詳細について述べる。図７は一般的なＭＰＥＧの画像列の様子を示すグラフである。この図面に図解したものは、連続した長い画像（ピクチャ列）のうちの途中を切り出して示したもので、原画像（符号化前のオリジナル・ピクチャ）がどのような種類の画像に圧縮符号化（エンコード）されて、どのような順番に並べられるのかを代表的な例を用いて表したものである。
Ｉピクチャ、Ｂピクチャ、Ｐピクチャに添えられた数字、たとえば、B3は原画像（符号化前のオリジナル・ピクチャ）の３番目のピクチャに関連するＢピクチャを示している。なお、値の小さい数字が過去を示し、大きい数字が未来を表している。実線の矢印はどのピクチャからどのピクチャが予測されているかの関係を示す。
【００２２】
ＧＯＰが完全に独立していないことの説明
図７に示した原画像Ａは、下記の順番で順次圧縮符号化されている。
『B3−B2−P1−B0−B1−I2−B3−B4−P5−B6−B7−P8−B9−B10
−I11 −B12 −B13 −P14 』
【００２３】
このピクチャ列について述べる。実線の矢印で示されるように、例えば、位置５（かっこ内に示した数字は、ピクチャ（画像）などの位置を示す）のI2−ピクチャは、位置６のB3−ピクチャ、位置７のB4−ピクチャ、位置８のP5- ピクチャの３画像の前方予測に使用される。位置６のB3- ピクチャおよび位置７のB4- ピクチャは、位置８のP5- ピクチャからの後方予測に使用される。
【００２４】
図３に示す画像符号化装置（エンコーダ）２００で圧縮・符号化処理（エンコード）されたピクチャは、図３に示す画像復号化装置（デコーダ）４００における復号処理（デコード）時に便利なように、エンコーダ出力Ｂとして示したように、並べ変えが行なわれる。例えば、原画像Ａの位置５のI2- ピクチャは、エンコード出力時には位置９に置かれるが、位置６のB3- ピクチャおよび位置７のB4- ピクチャは、後ろにずれた位置１０のP5- ピクチャの後ろの位置１１と位置１２に置かれる。こうすることによりデコーダ入力Ｃとして示したように、たとえば、位置１６のB3- ピクチャと位置１７のB4- ピクチャを再生するのに必要な位置１４のI2- ピクチャと位置１５のP5- ピクチャを先にデコードすることができる。
エンコーダ出力Ｂにおいて、Ｉピクチャ（たとえば、I2- ピクチャ）から次のＩピクチャ（たとえば、I11 ピクチャ）の手前まで、つまり、B7- ピクチャまで、１つのＧＯＰと呼ぶ。ＧＯＰは図６（Ａ）に図解した構成になっているが、以下の記述においては、ピクチャのみを簡略化して示す。
【００２５】
ＧＯＰが完全に独立していないため、編集作業などでピクチャの差し替えを行うと正確な画像の再生が行えない。
図７においてデコーダによって再生された再生画像Ｄとして示した位置１８のB0- ピクチャと位置１９のB1- ピクチャの再生に留意されたい。ＧＯＰの構成の観点から見れば、B0- ピクチャとB1- ピクチャは、I2- ピクチャと同一のＧＯＰ、すなわち、「ＧＯＰ Ｎ（位置１３）」に含まれるが、その再生のためには、一つ手前のＧＯＰ、すなわち、「ＧＯＰ N-1 」に含まれるＰピクチャ（P1- ピクチャ）とＩピクチャ（I2- ピクチャ）からの予測（位置２０）が必要となる。つまり、「ＧＯＰ Ｎ（位置１３）」は、1 つ前の「ＧＯＰ N-1 」内のP1- ピクチャを用いるから、「ＧＯＰ N-1 」と関連を持っており、『ＧＯＰは完全には独立していない』。
【００２６】
ＧＯＰが完全に独立していないことに起因する編集処理または符号化処理時の問題
画像データ列のあるシーンでカットして編集するとか、ＧＯＰの伝送が中断したあとのピクチャの復号などの場合にはこのＧＯＰの非独立性が問題になる。
図８は、たとえば、ＧＯＰ単位での画像編集を行なったときに起こる問題を説明するための図である。原画像Ａは図７に図解したものと同じ構成である。
エンコーダで連続的に圧縮エンコードされたＧＯＰの列を「編集前のＧＯＰ列Ｂ」とする。この編集前のＧＯＰ例Ｂは図７に示したエンコーダ出力ＢのＧＯＰ例と同じ構成である。この例では、
「ＧＯＰ Ｎ（位置２３）」のピクチャ列：
I2,B0,B1,P5,B3,B4,P8,B6,B7を
「ＧＯＰ N'（位置２４）」に示した、ピクチャ列：
I2',B0',B1',P5',B3',B4',P8',B6',B7'
に差し替える( 並べ換える) 編集を行なって、「編集後のＧＯＰ列Ｅ」にしたとする。この編集後のＧＯＰ列Ｅは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの順序は同じであるが、「’」をつけない編集前のピクチャが「’」をつけたピクチャに差し替えられたことを示している。
【００２７】
「ＧＯＰ N'」のピクチャは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの順序は同じであるから、フォーマット的には問題がない。しかし、これをデコーダ入力Ｆとして見てみると、差し替えたB0'-ピクチャ（位置２７）とB1'-ピクチャ（位置２８）を再生するためには、差し替えていないP1- ピクチャ（位置２６）からの前方予測が必要になる。ところが、すでに編集をしてピクチャを差し替えてしまったので、「ＧＯＰ N-1 」の差し替えていないP1- ピクチャ（位置２６）と、「ＧＯＰ Ｎ」の差し替えたB0'-ピクチャ（位置２７）とB1'-ピクチャ( 位置２８）とのあいだの相関関係はない。その結果、B0'-ピクチャ（位置２７）とB1'-ピクチャ( 位置２８）の復号には、P1- ピクチャ( 位置２６）からの予測（位置２９）は使えなくなる。
同様の問題が、「ＧＯＰ N'」の最後のピクチャと、「ＧＯＰ N+1」のピクチャとの関係においても発生し、「ＧＯＰ N+1」の最初の２枚のＢピクチャ（B9,B10) への予測（位置３０）も意味のないものとなる。
以上のごとく、画像編集すると、一つ前のＧＯＰの最後のＰピクチャから次のＧＯＰの始めのＢピクチャの予測ができなくなるため、編集処理後の再生画像Ｇは、ＧＯＰ内の最初にあるいくつかのＢピクチャ（位置３２、３３）は正しくないピクチャを含むことになる。
【００２８】
ＭＰＥＧ２においては、このように圧縮エンコード後にＧＯＰ単位で編集した場合発生する問題点については、編集点前後のＧＯＰには使用不可能なＢピクチャが含まれていることを表すために、図６（Ｂ）に示したように、ＧＯＰヘッダの中に「Broken link 」フラグを設けて、Ｂピクチャの正当性を示してはいるが、ピクチャそのもののその修復は講じていない。しかし、ＭＰＥＧにおいては、図６（Ｂ）に示すように、ＧＯＰの独立性を示す「CLOSED GOP」が設けられている。
【００２９】
図９を参照して編集を可能にする「CLOSED GOP」について述べる。原画像Ａ、編集前のＧＯＰ列Ｂ、編集後のＧＯＰ列Ｅ、デコーダ入力Ｆは、図８に示したものと同じである。
「CLOSED GOP」は、ＧＯＰ内の最初にあるいくつかのＢピクチャ（位置４５，４６，４７，４８）などをエンコードする際に、「その一つ前のＧＯＰの最後のＩピクチャ、Ｐピクチャからの予測（位置３４）」を使用せずに、原画面の順で直後のＩピクチャのみから予測するようにコーディングする（Only Backward Prediction）ことによりＧＯＰの独立性を確保するためのものである。「CLOSED GOP」においては、エンコーダ出力Ｂの「ＧＯＰ Ｎ（位置３６）」をピクチャのフォーマットは換えずにピクチャの内容を差し替えた別の「ＧＯＰ N'（位置３８）」と置き換えて、編集後のＧＯＰ列Ｅとしても、デコーダにおいては、元々前のＧＯＰからの前方予測（位置３９，位置４０）を必要としていないので、再生画像ＨにおいてもＩピクチャの直後にある何枚かのＢピクチャ（位置４３のB0',B1' 、位置４４のB9,B10）は、Ｉピクチャからの後方予測のみを使用して再生が可能となる。しかしながら、この方法には不都合がある。それを以下に述べる。
Ｂピクチャは、前方と後方の両側からの予測を使うため、前方予測のみのＰピクチャに比べて予測精度が良く、Ｐピクチャより量子化ビット数を落としても画質が低下しないという利点がある。すなわち、両方向からの予測というのはビット効率を上げつつ画質も向上させるという特質を持つ。しかしながら、上述したように、Ｂピクチャのエンコードを片側のみしか使用しないということは、通常の場合、ＢピクチャはＰピクチャよりも量子化レベルが粗いため、Ｐピクチャのみでエンコードしたときよりも品質が低下した画像しか得られない。したがって、編集性を持たせようとして「CLOSED GOP」を多用することは、Ｂピクチャの利点を殺すことにつながり、Ｂピクチャを用いる目的に反し、Ｂピクチャを用いるという効果が得られない。
【００３０】
ＭＰＥＧ２においては、上述した編集によるピクチャの差し替えを行うと、画質が低下するという問題が遭遇する。この種の問題は、特に、正確な符号化処理・復号化処理を行う画像処理において問題となる。
【００３１】
上述した問題を解決する、特願平８−４２９８０号で提案した「カット編集方式」について述べる。
まず、基本となるとなる圧縮符号化の方法について述べる。
ＭＰＥＧの圧縮符号化のシーケンスには、上述した方法のほかにプログラムの先頭において使用される特別なシーケンスを作ることも可能である。このシーケンスを画像列の途中に使った場合の効果を図１０を参照して述べる。図１０は「カット編集方式」による圧縮・符号化処理を示すグラフである。
通常のシーケンスＡＡにおいては、例えば、P1- ピクチャ（位置５０）の後ろにはB0- ピクチャ（位置５１）、B1- ピクチャ（位置５２）、I2- ピクチャ（位置５３）と続けるが、それとは別に特別なシーケンスを考える。これをカットシーケンスＢＢという。
カットシーケンスＢＢでは、編集によって差し替えが行われるピクチャの直前のP1- ピクチャ（位置５５）の後ろを一旦、カットし（位置５９）、その後をI0- ピクチャ（位置５６）とし、そこからB1- ピクチャ（位置５７）、B2- ピクチャ（位置５８）というふうに、通常のシーケンスと同じように続けていく。
【００３２】
通常シーケンスＡＡのピクチャ列は下記になる。
具体的には、「B3,B2,P1,B0,B1,I2,B3,B4,P5」
一般的には、「Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ」
カットシーケンスＢＢでは、下記になる。
具体的には、「B3,B2,P1,IO,B1,B2,P3,B4,B5,P6 」
一般的には、「Ｂ，Ｂ，Ｐ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ」
つまり、カット位置５９の所のＢピクチャ（B0- ピクチャ) が抜け、Ｉピクチャ(I0-ピクチャ) が挿入されたようになる。これにより、次のＧＯＰはＩピクチャから始まり、次にＰピクチャが続き、その後にＢピクチャが続く。このカットを置くことにより、カットの前後の「ＧＯＰ N-1（位置６０）」と「ＧＯＰ N（位置６１）」の間は、ピクチャの予測が不要であり、「ＧＯＰ N-1（位置６０）」と「ＧＯＰ N（位置６１）」は完全に独立している。
したがって、デコーダ入力ＤＤを見ると、位置６３のカット以降を同様のルールのシーケンスでエンコードされた別のＧＯＰ列（位置６４）と入れ替えたとしても、何の問題もなく再生できる（位置６５）。しかも、上述した「CLOSED GOP」の手法も使っていないので後方予測のみのＢピクチャは存在しておらず、画質の劣化に対しても影響がない。
【００３３】
この「カットのあるシーケンス」をエンコーダ出力で見た場合の下記シーケンスは、
IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB
（カンマはＧＯＰの区切りを示す）
下記に示す通常のシーケンス
IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,
と比べて、構成するピクチャの種別を見ると、平均的に見てＩピクチャの枚数は0.9 倍に減るが、Ｐピクチャの枚数は、1.35倍に増え、逆にＢピクチャの枚数は0.9 倍に減り、相対的にＰピクチャの割合が増えるので、符号化によって発生するビット量も増える。また、画質的に見て有利であるといわれるＢピクチャの使用率が減ることもあり、「カットシーケンス」のみを用いてＧＯＰ列を構成することは、ＭＰＥＧの標準的方法である「CLOSED GOP」を用いる方法より好ましいが、最良の方法とは言い難い。よって、さらなる改善策を述べる。
【００３４】
ＥＤＬ：EDIT DICISION LISTの活用
ＭＰＥＧにより圧縮される画像の応用用途を考えてみると、ＤＶＤに代表される様なパッケージメディアに記録するか、ＶＯＤ(Video On Demand: ビデオ・オン・デマンド）に代表されるような通信サービスに用いられる場合のように、完成された映画やドラマなどのプログラムを一般利用者に提供する目的がほとんどである。このような場合は、必ずと言ってよいほど、完成されたプログラムが記録された通称「マスター」と呼ばれるビデオーテープかそれに準ずるものを再生しこれを圧縮エンコードする。この「マスター」は、スタジオなどにおいて、最終の利用目的にあわせて編集ディレクタ（オペレータ）の指示の元に入念に編集処理がされている。
【００３５】
編集過程おいて、編集点は無目的にランダムに選択されているわけではなく、プログラムの内容と最終利用目的にあわせて、編集ディレクタの意志決定の元に例えばシーンごとに決められる。決定された編集点は、編集決定リスト（通称、ＥＤＬ:Edit Dicision List ）と呼ばれるリストとしてまとめられ、実際に編集動作を行なう編集機などに供給され、編集機はＥＤＬを元に素材を編集していき「マスター」が作り上げられる。
ＥＤＬは、もし「マスター」を再編集する事があったならば、最も編集の可能性の高い場所を記したリストといえる。ＧＯＰ単位で任意に編集できるのが望ましいが、現実的に見て最も編集の可能性の高いところのみを編集の対象と考えたほうが効率的である。このことに着目して、「ＧＯＰ単位でしか編集できないのであれば、ＧＯＰという中途半端な単位ではなく、もっと人間的な映像シーンの単位まで編集単位を粗くする」という発想で、ＥＤＬに基づき、あるいはＥＤＬを修正した、あらかじめ登録された映像のシーンの区切りのみを編集点の対象とする。つまり、あらかじめビデオ信号を圧縮符号化する前に、「マスター」に付随するＥＤＬに示された編集点および編集の可能性が考慮される場所を「カットのあるシーケンス」の区切り点（カット）として登録しておき、カット（ＥＤＬの編集点）においては画質に影響を与えないようにして圧縮された画像の編集を可能にしつつ、ＧＯＰ毎の編集を否定する代わりにＢピクチャの利用率を通常のエンコードシーケンスと同等に確保することにより、圧縮率を低下させないという効果がある。
【００３６】
図１１は「カット編集方式」におけるビデオ信号処理装置の構成図である。ビデオ信号処理装置７００において、圧縮エンコードされる対象のビデオ信号が記録されているビデオマスター７５１はディジタルＶＴＲ７７２で再生される。ビデオマスター６５１に付随しているＥＤＬが書き込まれたフロッピーディスク６５４は、ＥＤＬ読み取り部７６７に入力される。読み取られた編集点の情報はさらに手動編集点修正装置７６８によって、編集点の追加または削除を行なう。以上の手段で決定されたビデオマスター６５１に対する編集点の情報は、カット判定回路７６９に送られる。ディジタルＶＴＲ７７２で再生されるビデオマスター６５１にはあらかじめタイムコード（ＴＣ）を記録しておき、そのディジタルＶＴＲ７７２からのタイムコード出力７７０は、カット判定回路７６９とビデオエンコーダ７７６に送られている。カット判定回路７６９では、入力された編集点情報を考慮しつつ、どのような圧縮シーケンス（Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び方）を組めばよいか判定を行ない、入力されるタイムコード７７０の一つ一つのフレームナンバーとピクチャのシーケンスの対応を準備しておく。例えば、編集点のない付近でのシーケンスでは、図１０を参照して述べた、通常のシーケンス：
「Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ」
とし、編集点の付近では図１０を参照して述べた「カットのあるシーケンス」：「Ｂ，Ｂ，Ｐ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ」
のごとく、ピクチャの種類のエンコードされる順番を決定する。
【００３７】
以下、動作を述べる。ディジタルＶＴＲ７７２においてビデオマスター６５１の再生を開始する。カット判定回路７６９は、入力されてくるタイムコード７７０と、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかを符号化処理シーケンス指示情報７７１としてビデオエンコーダ７７６に送る。ディジタルＶＴＲ７７２で再生されたビデオ信号７７３は、画像遅延装置７７４に送られる。遅延量７７８は外部より設定され、それと同じ遅延量７７８がビデオエンコーダ７７６にも送られている（遅延量７７８については後述する）。遅延したビデオ信号７７５はビデオエンコーダ７７６に入力される。ビデオエンコーダ７７６には、遅延していないタイムコード７７０と、それに伴った符号化処理シーケンス指示情報７７１が入力されているので、ビデオエンコーダ７７６は、ビデオ信号の遅延分だけ、前もってどのタイミングでどのような圧縮エンコードをすればよいかが分かる。
【００３８】
図１２を参照して符号化シーケンスについて述べる。図１２は、「カット編集方式」における符号化処理シーケンスを図解したグラフである。ＭＰＥＧにおいては、ＧＯＰ内のピクチャの枚数をＮで表し、ＩピクチャまたはＰピクチャの周期（Ｉピクチャから次のＰピクチャまでのピクチャの枚数）をＭで表す。ＭＰＥＧにおいては、このＮとＭに制約はないが、説明のため、通常シーケンスＡＡをピクチャ枚数Ｎ＝９，ピクチャ周期Ｍ＝３とする。
図１２の四角囲みされたＩピクチャは、そこがカットのあるシーケンスの先頭であることを示し、丸囲みされたＩピクチャでその他の一般のＧＯＰの先頭を示している。図１２は、原画像におけるピクチャのエンコード・シーケンスの順番を示しており、図中、Ｉ，Ｐ，Ｂの添え数字が原画上で「何番」目のピクチャであるか表している。これらの数字はＧＯＰの概念をもつエンコーダ出力でのピクチャの順番ではないことに注意されたい（ピクチャの順序については、例えば、図６を参照）。エンコーダ出力においては、Ｂピクチャの順番が入れ替わり、ＧＯＰ単位で見た場合はあくまでもＩピクチャが先頭である。
ピクチャ枚数Ｎ＝９の場合、カットシーケンスは、そのカットの位置により、カットシーケンス０（Ｃ０）からカットシーケンス８（Ｃ８）までの９種類の場合が発生する。しかし、いずれ場合であっても、ここでは、図１４を参照して上述したように、カットのあるシーケンスの先頭の（四角囲みで示した）Ｉピクチャの直前のピクチャタイプは必ずＰピクチャであることが特徴である。
【００３９】
各シーケンスについて述べる。
カットシーケンス０（Ｃ０）
Ｉピクチャの位置が通常シーケンスに比べて前に２枚ずれてそのＧＯＰの「０番」のピクチャがＩピクチャとなる(I0)。しかし、直前のＧＯＰのピクチャはＰピクチャ(P1)であるので、ＧＯＰはI0- ピクチャから始まり、シーケンスの都合上そのＧＯＰのP9- ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４０】
カットシーケンス１（Ｃ１）
Ｉピクチャの位置が通常シーケンスに比べて前に１枚ずれてカットのあるそのＧＯＰの「１番」のピクチャがＩピクチャ(I1)となり、かつ、直前の「０番」のピクチャは、通常ではＢピクチャであるがＰピクチャ(P0)とする。このＧＯＰはI1- ピクチャから始まり、シーケンスの都合上、P10-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、P0- ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１０となる。
【００４１】
カットシーケンス２（Ｃ２）
Ｉピクチャの位置は通常シーケンスと同じ位置で「２番」のピクチャがＩピクチャ(I2)となるが、直前の「０番」と「１番」の２枚ピクチャは、通常ではＢピクチャであるが、２枚ともＰピクチャ（PO,P1)とする。カットのあるこのＧＯＰはI2- ピクチャから始まり、シーケンスの都合上、P11-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、P0- ピクチャとP1- ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１１となる。
【００４２】
カットシーケンス３（Ｃ３）
Ｉピクチャの位置が通常シーケンスに比べて後ろに１枚ずれて「３番」のピクチャがＩピクチャ(I3)となる。ただし、「２番」のピクチャまでは通常のシーケンスを延ばす。カットのあるこのＧＯＰはI3- ピクチャから始まり、シーケンスの都合上、P12-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチャとB1- ピクチャとP2-
ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１２となる。
【００４３】
カットシーケンス４（Ｃ４）
Ｉピクチャの位置が通常シーケンスに比べて後ろに２枚ずれて「４番」のピクチャがＩピクチャ(I4)となる。ただし、「２番」のピクチャまでは通常のシーケンスを延ばし、かつ、I4- ピクチャの直前の「３番」のピクチャはＰピクチャ，３）。カットのあるこのＧＯＰはI4- ピクチャから始まり、シーケンスの都合上、P13-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチャ,B1-ピクチャ,P2-ピクチャ,P3-ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１３となる。
【００４４】
カットシーケンス５（Ｃ５）
Ｉピクチャの位置が通常シーケンスに比べて後ろに３枚ずれて「５番」のピクチャがＩピクチャ(I5)となる。ただし、「２番」のピクチャまでは通常のシーケンスを延ばし、かつ、I5- ピクチャの直前の２枚のうち「３番」はＢピクチャ(B3)、「４番」のピクチャはＰピクチャ(P4)とする。カットのあるこのＧＯＰはI5- ピクチャから始まり、シーケンスの都合上、P14-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチャ,B1-ピクチャ,P2-ピクチャ,B3-ピクチャ,P4-ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１４となる。
【００４５】
カットシーケンス６（Ｃ６）
カットシーケンス０〜５のようにＩピクチャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が長くなり過ぎるので、このカットシーケンスでは、上記とは別のルールとし、短めの通常シーケンスを置きその後に改めてカットのあるシーケンスを置く。
B0- ピクチャから始まる通常のシーケンスはP5- ピクチャまでのピクチャ枚数Ｎ＝６で打ち切り、その後の「６番」のピクチャをカットのあるシーケンスのＩピクチャ（I6) とする。カットのあるこのＧＯＰはI6- ピクチャから始まり、シーケンスの都合上、P15-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４６】
カットシーケンス７（Ｃ７）
カットシーケンス６（Ｃ６）と同様に、単純にＩピクチャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が長くなり過ぎるので、別のルールとし、短めの通常シーケンスを置きその後に改めてカットのあるシーケンスを置く。
B0- ピクチャから始まる通常のシーケンスをP5- ピクチャまで続け、かつ、その後の「６番」にＰピクチャ(P6)を続け、ここでピクチャ枚数Ｎ＝７でＧＯＰのシーケンスを打ち切る。その直後のＧＯＰの「７番」のピクチャをカットのあるシーケンスのＩピクチャ(I7)とする。
カットのあるこのＧＯＰはI7- ピクチャから始まり、シーケンスの都合上P16-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４７】
カットシーケンス８（Ｃ８）
カットシーケンス７（Ｃ７）と同様に、単純にＩピクチャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が長くなり過ぎるので、別のルールとし、短めの通常シーケンスを置きその後に改めてカットのあるシーケンスを置く。
B0- ピクチャから始まる通常のシーケンスをP5- ピクチャまで続け、かつ、その後の「６番」をＢピクチャ(B6)とし「７番」にＰピクチャ(P7)を続け、ピクチャ枚数Ｎ＝８でこのＧＯＰのシーケンスを打ち切る。その直後のＧＯＰの「８番」のピクチャをカットのあるシーケンスのＩピクチャ(I8)とする。このＧＯＰはI8- ピクチャから始まり、シーケンスの都合上、P17-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４８】
再び図１１を参照して述べる。カット判定回路７６９においては、ＥＤＬ読み取り部７６７に入力される情報と手動編集点修正装置７６８によって追加変更された情報をもとに、どのタイムコードフレームでカットを置けばよいかは判明しているので、カットの近傍では、上で説明したカットシーケンスのどれを選べばよいかは簡単に求めることが出来る。
カット判定回路７６９は、通常のカットのない部分では、通常シーケンスＡＡの順番にビデオエンコーダ７７６に符号化処理シーケンス指示情報７７１を単純に繰り返し与えておき、カットの近傍では、カットシーケンス０（Ｃ０）からカットシーケンス８（Ｃ８）のどれかのうち適合するパターンをビデオエンコーダ７７６に与える。
【００４９】
遅延量
ビデオエンコーダ７７６を単純に構成するため、ビデオエンコーダ７７６では、特別な指示をしない限り、ＩピクチャまたはＰピクチャが指示されたら必ずＢピクチャが２枚続き、また、Ｂピクチャが２枚続いたらその次は必ずＩピクチャまたはＰピクチャを置くと言うルール（すなわち、ＩピクチャまたはＰピクチャの周期Ｍが３ということ）でしか符号化処理しないものとする。すなわち、ビデオエンコーダ７７６はこの単純なルールを適用している。ただし、ビデオエンコーダ７７６はあらかじめシーケンスを指定すればそのとおりにエンコードできるものとする。
この基本的な通常シーケンス以外の符号化処理を行いたいときには、あらかじめ、通常とは違うことは分かっていればよいわけであるので、ビデオエンコーダ７７６は遅延のないタイムコード７７０と符号化処理指示情報７７１を必要としている。
遅延量７７８は、ここで、図１２の波線部分に注目してみる。波線は通常シーケンスの単純ルール、すなわち、「ＩピクチャまたはＰピクチャが指示されたら必ずＢピクチャが２枚続き、また、Ｂピクチャが２枚続いたらその次は必ずＩピクチャまたはＰピクチャを置く」というルールが適用されない部分を示している。
図１２から明らかなように、カットを置くことによるこの不規則ルールの影響は、ＩピクチャまたはＰピクチャの周期Ｍが３の場合は、最大でもピクチャは３フレーム分であるので、画像遅延装置７７４の遅延量７７８の設定値は３フレームとすればよい。遅延量７７８は同時にビデオエンコーダ７７６にも入力されているので、結果的に、ビデオエンコーダ７７６は、遅延量７７８が既知の遅延ビデオ信号７７５と、遅延のないタイムコード７７０と符号化処理指示情報７７１から、通常とは異なるシーケンス（周期Ｍ＝３ではないケース）でエンコードしなくてはならないときには、具体的にどの画面から特別なエンコードをすればよいのかをそのひとつ前のフレームで知ることが出来る。
【００５０】
図１２を参照して述べた例は説明を容易するするため、通常シーケンスのピクチャ枚数Ｎ＝９，ピクチャ周期Ｍ＝３の場合について述べたが、ピクチャ枚数Ｎと周期Ｍが変化されば、たとえば、ピクチャ枚数Ｎと周期Ｍが大きくなれば、図１１を参照して述べたカットシーケンスの数も増大する。これに伴い図１２に波線で示した遅延量の数も大きくなる。
【００５１】
以上述べたように、「カット編集方式」によれば、ピクチャの編集に伴うピクチャの差し替えがあっても、ＧＯＰヘッダに設けられる、「CLOSED GOP」、(brocken link 」を用いず、ＥＤＬに基づくカットの考えを適用して、カットがある部分のＧＯＰの最初にＩピクチャをおいて、その前のＧＯＰとカットのあるＧＯＰとを独立させることにより、ピクチャの編集によってもＭＰＥＧの特質を維持して画質を低下させない符号化結果が得られる。
「カット編集方式」においては、通常シーケンスにおけるピクチャ枚数Ｎと周期Ｍに基づいた種類のカットシーケンスを準備しておき、ピクチャ枚数Ｎが非常に長くなる場合はカットのあるＧＯＰのピクチャ枚数を制限し、信号処理の遅延量をカットシーケンスに応じて設定しておき、カットのあるＧＯＰの最初にはＩピクチャが位置するようにピクチャを並べることにより、カットがあってもＧＯＰの独立性を維持して、ＭＰＥＧの特質を生かした符号化処理を可能にする。
【００５２】
以下、特願平８−４２９８０号において提案した「カット編集方式」の特徴を要約する。
「カット編集方式」によれば、ＭＰＥＧで符号化処理してしまったビデオを符号化処理の後で編集しても画質に影響がでない。換言すれば、「カット編集方式」によれば、ＭＰＥＧで符号化した帯域圧縮・符号化したピクチャについても、画質を低下させずに自由に編集作業ができる。この場合、通常のＭＰＥＧによる符号化と比べて、同様の画質を得るためのビット発生量に違いがでない。
「カット編集方式」においては、ＭＰＥＧビデオの編集に必要な「Broken Linkフラグ」や「Closed GOPフラグ」を用いないので、ＭＰＥＧでオプション扱いとなっているＧＯＰを用いる必要がない。
「カット編集方式」においては、ＥＤＬによって決まっているあらかじめ決められた場所で編集するという制限はあるものの、上で述べた利点が存在することにより、例えば、プログラムの全部の符号化処理が終了した時点で、ある「カットシーケンス」の画質に問題があったことに気がついた場合でも、その「カットシーケンス」のみをビットレートなどを再調整し再符号化処理し、ピクチャを差し替え編集をすることが許される。もし上記カット編集方式を用いなかった場合は、たったその部分を差し替えたいだけなのに、もう一度プログラムの頭から全部やり直すか、あるいは、画質の劣化を承知で「Broken Link フラグ」や「Closed GOP」を用いなければならない。しかし、そうしてしまうと、画質を良くしたいと思って行なった編集により、その前後の画質が劣化するという矛盾した結果になる。
【００５３】
「カット編集方式」におけるカットとしては、上述した編集段階において作成された編集決定リスト（ＥＤＬ）に基づいて行う他、定期的に行う、映像シーンの状況に応じて任意に設定できる。
すなわち、「カット編集方式」によれば、ＧＯＰ内のピクチャの差し替えなどがあっても、先行するＧＯＰのピクチャを参照せずに、そして、画質を低下させずに符号化が行える。特に、符号化された画像データの編集、差し替えが画質を低下させずに行える。
また、「カット編集方式」によれば、これまでのＧＯＰにおけるＧＯＰの不完全独立性が克服され、Closed GOP、brocken linkなどを使用せずに信号処理を行うことができる。したがって、「カット編集方式」によれば、ＧＯＰヘッダを使用しないでよく、ＧＯＰヘッダ部分にピクチャを置くことが可能になる。
【００５４】
本発明の実施例
上述したカット編集方式を適用した本発明の画像符号化方法とその方法について述べる。
図１３に本発明の画像符号化方法の処理を示すフローチャートを示す。本発明の画像符号化方法は、基本的に上述した２パス符号化処理をとる。しかしながら、その詳細は図１３に図解したように、画像処理する。
ステップＳ０１：後に編集点の候補となりうる「カット」の場所を指定する。
ステップＳ０２：「カット」位置に基づいた符号化処理シーケンスにより、仮符号化処理（第１回符号化処理）をし「DIFFICULTY（複雑度）」データを求める。
ステップＳ０３：得られた「DIFFICULTY」データにより、最終的に発生すべき総情報量をシーンごとの「DIFFICULTY」に比例するように、例えば、ＧＯＰ単位でビット量を割り振る。
ステップＳ０４：第２回目に正式に符号化処理（第２回符号化処理）をするときの符号化処理シーケンスは、仮符号化処理（第１回符号化処理）の時と同じものを使用して正式な符号化処理（第２回符号化処理）を行う。このとき、正式の符号化処理（第２回符号化処理）中は、割り振られたビット容量により、あらかじめ定められた量子化レベルの重み付け制御を行ない、画像の各帯域の情報用の制御を行う。
ステップＳ０５：正式に符号化処理された結果を、編集ディレクタ（またはオペレータ）が、モニター用デコード装置で監視して画質のチェックを行う。
ステップＳ０６：編集ディレクタの監視によってもし画質に問題がある部分があるは判断されたら、編集ディレクタの指示により、その部分の量子化レベルの重み付けの制御を変更し問題となる部分を含む「カット」位置を再符号化処理する。
【００５５】
再符号化処理について
再符号化処理を行う場合には、ほとんどの場合が発生ビット量が増加する方向に行われることが予想される。従って、もし定められた総容量以内に収めるならば、増加した分に見合ったビット量を他の部分で減少させる必要がある。そのために再符号化処理を行う際には次に示すようにいくつかの方法をとることができる。
第１の方法：画質が問題となる部分で、一旦、符号化処理を止めて、再符号化処理によるビット増加量に相当する情報量をそれ以前のシーンのどこかで情報量を減少させても問題になりにくい場所を選び、問題となるシーンのビットの増加量に見合うようにその部分の量子化レベルも下げて、両者とも再符号化処理する。
【００５６】
第２の方法（その１）：問題となるシーンの量子化レベルを上げて再符号化処理し、増加したビット量は前借りの形で保留しておき、後に符号化処理されるシーン全体から均等にビット量を差し引き、結果、その後のビット量を減少させることにより、総ビット量を定められた範囲に収める。
【００５７】
第２の方法（その２）：問題となるシーンの量子化レベルを上げて再符号化処理し、増加したビット量は前借りの形で保留しておくが、後に符号化処理されるシーン全体からではなく、問題になりにくそうなシーンを特定し、その部分の量子化レベルを下げておき符号化処理を続け、結果、その後のビット量を減少させることにより、総ビット量を定められた範囲に収める。
【００５８】
第３の方法：問題となるシーンまたは「カット」は、その場では再符号化処理せずに、その場所を特定するマーキング（例えば、タイムコードや「カット」の番号を控えておくなど）だけして符号化処理を続ける。最後まで符号化処理が終わった時点で、問題となるシーンのすべての量子化レベルの重み付けを変更して再符号化処理し、その時に増加したビット量に見合う分を減少させるべく量子化レベルを下げても問題のないようなシーンを選び出し、その部分のビット量を減少させて再符号化処理し、結果、総ビット量を定められた範囲に収める。
【００５９】
「カット編集方式」を適用する本発明においては、上記のいずれの場合にも対応できるので、本発明においてはどの方法で再符号化処理を行うかは問わない。ここでは、第３の方法を適用した場合を例示する。
【００６０】
以下、上述した画像符号化方法の詳細について述べる。
ステップＳ０１：カット位置の事前設定
ステップＳ０２における仮符号化処理、および、ステップＳ０６における再符号化処理を行う、カット位置については、上述した「カット編集方式」として記述したように、事前にＥＤＬなどに規定しておく。
【００６１】
ステップＳ０２：仮符号化処理（第１回符号化処理：「DIFFICULTY（複雑度）」データの算出）
図１４は、仮符号化処理（第１回符号化処理）を行い、「DIFFICULTY（複雑度）」のデータを求める本発明の実施例としての画像処理装置の構成図である。図１４における装置の一部は図１１に図解した装置の一部と同様の処理を行う。
マスターテープ１に記録されている圧縮符号化処理される対象の画像データはデジタルＶＴＲ２で再生される。
マスターテープ１に対して、図１１を参照して上述した「カット編集方式」に基づき、編集データリスト（ＥＤＬ）情報、あるいはそれに修正を加えたもの、または自動的に等間隔にカット設定装置６により、編集の候補となるカット点を定める。
マスターテープ１に対する編集点の情報は、カット判定／指定回路７に送られる。
デジタルＶＴＲ２で再生されるマスターテープ１にはあらかじめタイムコードＴＣを記録しておき、そのデジタルＶＴＲ２からのタイムコード出力３は、カット判定／指定回路７と画像タイプ制御部８に送られている。
カット判定／指定回路７では、図１１と同様の方法でカット設定装置６から入力された編集点情報を考慮しつつ、どのような圧縮シーケンス、すなわち、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び方を組めばよいか判定を行い、入力されるタイムコード出力３の一つ一つのフレームナンバーとピクチャのシーケンスの対応を準備しておく。例えば、編集点のない付近でのシーケンスでは、通常の・・・ＢＢＰＢＢＩＢＢＰ・・・とし、編集点の付近では「カットのあるシーケンス」・・・ＢＢＰＩＢＢＰＢＢ・・・と言う具合にあらかじめピクチャのタイプの符号化処理される順番を決定する。
【００６２】
デジタルＶＴＲ２においてマスターテープ１の再生を開始する。カット判定／指定回路７は、入力されてくるタイムコード出力３と、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかを符号化処理シーケンス指示９として画像タイプ制御部８に送る。一方、デジタルＶＴＲ２で再生されたビデオ信号４は、画像遅延装置５に送られる。
上述した「カット編集方式」で述べたルールに従って遅延量１１は外部より設定され、それと同じ情報が画像タイプ制御部８にも送られている。遅延したビデオ信号１０は画像タイプ制御部８に入力される。画像タイプ制御部８には、遅延していないタイムコード出力３と、それに伴った符号化処理シーケンス指示９が入力されているので、画像タイプ制御部８は、ビデオ信号の遅延分だけ、前もってどのタイミングでどのような画像タイプ（Ｉ，Ｂ，Ｐピクチャ）を生成すればよいかが判る。
【００６３】
画像タイプ制御部８は、それぞれのピクチャータイプに応じて生成された画像の二次元画素情報１３とその処理時間に対応して遅延させたタイムコード（ＴＣ）１２を直交変換装置の１例としてのＤＣＴ演算装置１４に送り出す。ＤＣＴ演算装置１４では、画像情報を二次元の画素データから、たとえば、８×８画素ごとのブロックごとに、周波数成分の情報に変換し、各帯域に分かれた周波数成分画像情報１６を出力する。また、どの時間の画像がどの程度の情報量を持っていたのかを保存する目的のため、ＤＣＴ演算装置１４からは同時に、その処理遅延時間に対応して遅延させたタイムコード（ＴＣ）１５も出力され、次の量子化器１７に送られる。量子化器１７の出力は、逆量子化器２０と逆ＤＣＴ演算装置２１を通じて量子化の誤差を含んだ二次元画素情報に逆変換され、画像タイプ制御部８にフィードバックされる。これにより、画像タイプ制御部８は、ＢピクチャまたはＰピクチャのための差分信号を生成することができる。
画像タイプ制御部８では、動き予測やその補償も行っているが、量子化誤差を含めたフィードバック情報は、これらの処理を適応化するのに重要な情報となる。
【００６４】
量子化器１７では、特に重み付けなどは行われず各帯域ごとに均等に量子化するような仮量子化レベル２２で画像の周波数帯域情報を量子化する。
量子化されたビット１９は、量子化に要した時間に対応するだけ遅延されたタイムコード（ＴＣ）１８と共に出力される。この結果、時間ごとの画像情報量の変化が得られこれが「DIFFICULTY」データ２３となる。
【００６５】
ステップＳ０３〜Ｓ０４：「DIFFICULTY」によるビット量の割りあて、および、正式の符号化処理（第２回符号処理）
図１５は正式に符号化処理を行う装置の構成図である。
量子化器１７までの接続と構成は、「DIFFICULTY」データを求めたときの図１４の装置構成と同じであり、図１５の装置は、図１４の装置構成に、「DIFFICULTY」データ２４、量子化レベル制御回路２６、手動量子化レベル修正装置２７、エントロピー符号化器２９、出力レート決定装置３２、ストリーム出力装置３４、モニター用デコーダ３５、ストレージ装置３７、符号化制御部３８が加わった構成である。したがって、図１４と図１５に示した装置構成で共通するものは、第１回の符号化処理工程と、第２回の符号化処理工程の処理において、共用することができる。
【００６６】
圧縮エンコーダされる対象の画像データが記録されているマスターテープ１はデジタルＶＴＲ２で再生される。ここで重要なことは、画像シーケンスを「DIFFICULTY」データを求めたときと全く同一のものとするために、同一のカットの設定を保つことである。従って、カット設定装置６は接続はされているが、動作はしない。つまり、マスターテープ１に対する編集点の情報は、「DIFFICULTY」データを求めたときと同じものがカット判定／指定回路７に保存されている。また、デジタルＶＴＲ２で再生されるマスターテープ１の内容にはあらかじめタイムコードを記録しておき、デジタルＶＴＲ２からのタイムコード出力３は、カット判定／指定回路７と画像タイプ制御部８に送られている。
カット判定／指定回路７では、入力された編集点情報を考慮しつつ、どのような圧縮シーケンス（Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び方）を組めばよいか判定を行い、入力されるタイムコード出力３の一つ一つのフレームナンバーとピクチャのシーケンスの対応を準備しておく。例えば、編集点のない付近でのシーケンスでは、通常の・・・ＢＢＰＢＢＩＢＢＰ・・・とし、編集点の付近では「カットのあるシーケンス」・・・ＢＢＰＩＢＢＰＢＢ・・・と言う具合にあらかじめピクチャのタイプのエンコードされる順番を決定する。
【００６７】
ピクチャ列、たとえば、映画番組のピクチャ列の最初から再生を開始するために、符号化制御部３８からテープ走行指示４０がデジタルＶＴＲ２に出力され、マスターテープ１に記録された画像データの再生が開始される。出力レート決定装置３２とストレージ装置３７には通常の符号化方式３９を指示しておく。カット判定／指定回路７は、入力されてくるタイムコード出力３と、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかを符号化シーケンス指示９として画像タイプ制御部８に送る。一方、デジタルＶＴＲ２で再生されたビデオ信号４は、画像遅延装置５に送られる。
【００６８】
上述したカット編集方式で述べたルールに従って、外部から設定された遅延量１１と同じ情報が画像タイプ制御部８にも送られている。遅延したビデオ信号１０は画像タイプ制御部８に入力される。画像タイプ制御部８には、遅延されていないタイムコード出力３と、それに伴った符号化シーケンス指示９が入力されているので、画像タイプ制御部８は、ビデオ信号の遅延分だけ、前もってどのタイミングでどのような画像タイプ（Ｉ，Ｂ，Ｐピクチャ）を生成すればよいかが判る。
【００６９】
画像タイプ制御部８は、それぞれのピクチャータイプに応じて生成された画像の二次元画素情報１３とその処理時間に対応して遅延させたタイムコード（ＴＣ）１２をＤＣＴ演算装置１４に送り出す。ＤＣＴ演算装置１４では、画像情報を二次元の画素から、たとえば、８×８画素単位のブロックで、周波数成分の情報に変換し、各帯域に分かれた周波数成分画像情報１６を出力する。また同時に、その処理遅延時間に対応して遅延させたタイムコード（ＴＣ）１５も出力され、量子化器１７に送られるとともに、量子化レベル制御回路２６にも送られる。
【００７０】
量子化器１７の出力は、逆量子化器２０と逆ＤＣＴ演算装置２１を通じて量子化の誤差を含んだ二次元画素情報に逆変換され、画像タイプ制御部８にフィードバックされる。これにより、画像タイプ制御部８は、ＢピクチャまたはＰピクチャの差分信号を生成することができる。
画像タイプ制御部８では、動き予測やその補償も行っているが、量子化誤差を含めたフィードバック情報は、これらの処理を適応化するのに重要な情報となる。
量子化レベル制御回路２６には、「DIFFICULTY」データ２４が入力されており画像情報量の時間変化データ２５が与えられている。量子化レベル制御回路２６は、入力されている遅延させたタイムコード（ＴＣ）１５と画像情報量の時間変化データ２５から、どのような重み付け制御が必要かを決定し、量子化レベル重み付け制御信号２８を量子化器１７に出力する。通常、とくに画質に問題ない場合は、手動量子化レベル修正装置２７は動作しない。
量子化器１７では、量子化レベル重み付け制御信号２８に従って、各帯域ごとに量子化し情報量の削減を行う。量子化されたビット１９は、量子化に要した時間に対応するだけ遅延されたタイムコード（ＴＣ）１８と共にエントロピー符号化器２９に出力される。エントロピー符号化器２９では、さらにビット量の圧縮を行うために可逆圧縮手法であるエントロピー符号化を行い、この前段まで固定長ビット列であったものを可変長ビット列に変換する。この変換方式をＶａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ：ＶＬＣと呼ぶ。
エントロピー符号化器２９からは、可変長符号に変換された最終的な画像符号３１とその画像を表示すべき時刻を示した時間情報３０が出力レート決定装置３２に送られている。
【００７１】
符号化された後はその結果が出力される。ここで、可変レートのビット出力について一般的な事柄を考察する。
ＭＰＥＧにおいては、通常、符号化された画像情報は音声情報やその他の符号とともに、一本のビッット列に多重化されて出力されるが、画像符号が可変レートである場合は、多重化された出力ビット列も可変レートとなる。画像、音声、その他の情報が多重化された状態で出力レートとなる。音声は固定レートである。その他の情報は画像符号に比べて極めて微量であるので、説明を簡単にするために本質的にビットレートを決定している画像符号のみが出力される場合で説明する。
【００７２】
可変レート符号の受信／読み出しについて
可変レートの画像符号を何らかのストレージデバイス、たとえば、ＤＶＤに記録し、それを読み出しデコードする場合などを考える。この場合デコーダ側としてはどのようにして可変レートで符号を読みだせばよいかを考察する。例えば、仮にストレージデバイスからは最大10Ｍbps で符号を読みだせるのもとし、実際にはそこに記録されている符号は５Ｍbps で符号化されていたものとする。この場合、最大速度の10Ｍbps でやみくもに読み込んでしまうと、実際に復号され画像信号として消費される情報量は５Ｍbps であるから、結局、入力が10Ｍbps 出力が５Ｍbps となり、即座に読み出しバッファはオーバーフローする。
このことを防ぐためには、記録された情報を「いつ」「どのくらいのスピード」で読みだせばよいかが既知であればよい。
【００７３】
ＭＰＥＧ２においては、エンコードされた画像情報をそのまま出力することはなく、適切な長さにパケット化し（このパケットはＰＥＳ：ＰＡＣＫＥＴＩＺＥＤ ＥＬＥＭＥＮＴＡＲＹ ＳＴＲＥＡＭと呼ばれる）、あるいは、ＰＥＳをいくつかまとめたＰＡＣＫと呼ばれる単位に再パケット化している。ＰＥＳまたはＰＡＣＫには、そのパケットが読み出されるときのビットレートと読み出すべき時間がヘッダ情報として付け加えられている。復号装置においては、この情報を元に読み出していればそのバッファはオーバーフローすることもアンダーフローすることもない。
例えば上述した例の場合、実際の読み出し速度が10Ｍbps に固定されていたとしても、それぞれのパケットを読みだす時間がそのパケットのヘッダとして指定されているわけだから、ヘッダまで10Ｍbps で読み出し指定の時間までは読み出しを休むことができ、結果、バースト的に読みだすことになり、平均して５Ｍbps の読み出し速度を得ることができる。
【００７４】
符号化装置においては、符号化された画像が最終的に復号され表示されるべき時間は、オリジナルの、例えば、マスターテープ１のタイムコードからあらかじめ分かっている。また各画像１枚１枚が何ビットあるかも当然知っている。従って、ある符号化された画像情報を表示時間までに揃えるためには、「いつ」「どのくらいの速度」で送ればよいかを決定することは困難ではない。ＭＰＥＧ２における符号化装置では、その「いつ（クロックリファレンス）」と「どのくらいの速度（パケットレート）」を求め、その情報をＰＥＳないしＰＡＣＫのヘッダとして付加しなければならないことになっている。
【００７５】
出力レート決定装置３２には、可変長符号に変換された最終的な画像符号３１とその画像を表示すべき時刻を示した時間情報３０が入力されている。出力レート決定装置３２は、この時間情報を元にＰＥＳないしＰＡＣＫのヘッダ情報を求め、入力された画像符号をパケット化し最終符号出力３３としてストリーム出力装置３４に送る。
【００７６】
出力レート決定装置３２は、符号化処理を始める際に符号化制御部３８より、通常の符号化方式の指令３９の指示を受けている。出力レート決定装置３２は、後に画質改善のために編集が可能となるようにうすために、最終符号出力３３の元になった情報である、「画像符号＋時間情報」３６をストレージ装置３７に通常、符号化処理の結果によるというマーキングとともに保存しておく。
【００７７】
ステップＳ０５：符号化処理結果の監視
最終符号出力３３はモニター用デコーダ３５にも送られている。編集ディレクタ（オペレータ）は、デコーダ３５に接続されたモニター（図示せず）に表示された符号化処理結果を観察して、その画質を監視することができる。もし、画質に問題があったならば、編集ディレクタは画質が問題となる位置を指示する。具体的には、上述した再符号化処理に従い、その部分に相当する画像を表示すべき時刻を示した時間情報４１を手動量子化レベル修正装置２７に記録しておく。
正式の符号化処理が一通り終了した時点で、画質に問題のある場所がどの「カット」に相当するかは、手動量子化レベル修正装置２７に記録されていた時間情報とカット判定／指定回路７に保存されているタイムコードとカットの関係とからで容易に求めることができる。
【００７８】
ステップＳ０６：重み付け制御の変更
画質が問題となる部分に相当する「カット」を符号化制御部３８から再度再生しモニター用デコーダ３５を監視しながら、手動量子化レベル修正装置２７において量子化レベルの重み付けを調整し、画質に問題がない量子化レベルを求める。求めた量子化レベルの重み付け制御値はその「カット」に相当するタイムコードとともに量子化レベル制御回路２６に与えておく。画質に問題が有る部分が複数あるときには、この作業を繰り返す。
【００７９】
量子化レベル制御回路２６においては、もともと「DIFFICULTY」データ２４によって総発生ビット量が既知であるので、手動量子化レベル修正装置２７によって量子化レベルが修正された結果、新しい総発生ビット量を知ることも可能である。もし、総発生ビット量があらかじめ定められて総容量を越えてしまうようなことがあれば、今度は逆に、ビット量を減らしても問題になりにくそうな「カット」を指定して、その部分を上記と同様に再生しながら手動量子化レベル修正装置２７によって情報量が抑制されるように量子化レベルを調整する。
【００８０】
ステップＳ０７：再符号化処理
このようにして、必要な部分の量子化レベルを調整し直したら、符号化制御部３８から、対象となる「カット」のみをエンコードさせるようにデジタルＶＴＲ２で順次再生させる。この符号化処理は、上述した正式の符号化処理と同様に進行する。このとき、出力レート決定装置３２とストレージ装置３７には、エンコードの結果が再エンコードによるものであることを示すため、符号化方式の指令３９を符号化制御部３８から与えておく。これにより、ストレージ装置３７には、改善された画質を持つ「画像符号＋時間情報」３６が再エンコードのマーキングとともに記録されることになる。
【００８１】
最終出力
全ての再エンコードが終了したならば、ストレージ装置３７には通常／再エンコードの画像符号及び時間情報の全てが記録されている。出力レート決定装置３２はこの記録されているデータを元に、プログラムの先頭から順次パケット化していき、最終符号出力３３としてストリーム出力装置３４に出力する。
【００８２】
クロックリファレンスとパケットレート
エンコーダでは符号化された画像情報を表示時間までに揃えるためには、「いつ」「どのくらいの速度」で送ればよいかを決定し、クロックリファレンスとパケットレートを求めるが、再符号化処理により情報量が増加しビットレートを上げた場合にどのようになるかを説明する。
図１６は、平均した画像符号のビットレートが５Ｍbps の時の例を示すグラフである。ここでは、説明を簡単にするため１フレームの画像符号が１パケットを形成するものとする。図中において、横軸は時間、縦軸はビット量の累積、斜めの線は平均ビットレートを表す。一つ一つの小さな四角形は、１ビデオフレームの画像を符号化の後にパケット化したのを表しており幅が１フレームの時間に相当し、その高さでビット容量を示している。また、２本の斜め線で挟まれた領域は、復号装置のバッファサイズ４１を示しており上辺を越えればオーバーフロー、下辺を越えればアンダーフローである。全ての画像がその領域内に収まっているときには、デコーダーのバッファはオーバーフローもアンダーフローも越していないことを表している。
【００８３】
例えば、画像符号Ａ（４２）を５Ｍbps で送る場合を考える。画像符号Ａの高さを見れば、５Ｍbps の速度ではこの容量を１ビデオフレーム時間で送ることはできない。従って、それより以前から送り始めなければならない。また、画像符号Ａを全て送り終わったときに、バッファがオーバーフローのギリギリで終わることなく、余裕をもってバッファ容量の中ほどで終了するようにすると仮定する。この場合の、パケット化された画像符号Ａの出力開始点４３と終了点４４は、画像符号Ａのそれぞれ上端と下端から水平に過去（左側）の向きに直線を延ばし、それが斜め線との交点でもとまる。画像符号Ａのパケット容量をＳとおき、出力開始点４３をＴ１、同じく終了した点４４をＴ２とおくと、Ｓ＝（Ｔ２−Ｔ１）×５Ｍbps の関係になる。画像符号パケットの下端から水平に過去の向きに延ばした直線と斜め線との交点が、ここでの例ではＴ１がその画像符号クロックリファレンスである。
【００８４】
図１７に示すように、画質の一部に問題が有り、量子化レベルを上げて対処する場合が生じたとする。白い四角形で元々の画像符号の累積、濃い灰色の四角形で画質改善後の画像符号の累積を表す。図より明らかなように、画質改善後はもはや平均して５Ｍbps では送ることができない。ところが変更部分の総容量と時間から計算して（ビットレート＝総容量／変更部分の時間）みると、この新しい画像符号は７Ｍbps のレート（これが、変更部分のパケットレートになる）であれば、バッファの流域内に収められることができることが判明したとする。
【００８５】
図１８に、この場合、エンコーダ出力のビットレートはどの部分は変更されるかを示す。画像データそのものの変更部分はＴ４より始まり、Ｔ６で終わるものとし、変更前の元の画像符号のビット発生量をＳ１（５１）、画質を改善した結果の画像符号のビット発生量をＳ２（５２）とする。
画質改善のための変更によりバッファ残量へ与える影響を、変更部分だけにとどめるために、変更箇所の最後のフレームの次に来る元々存在したフレームがバッファに書き込まれたときのバッファ残量を同一とする（５０）ことを目標におくとする。
変更部分の先頭の画像符号パケットの下端から左に直線を引き元のビットレートを表す５Ｍbps の斜め線との交点Ｔ３が、変更部分の出力開始点（クロックリファレンス）となる。変更部分はＳ２／（Ｔ６−Ｔ４）＝７Ｍbps であれば、うまく送ることができるのであるから、変更部分の最初のフレームのクロックリファレンスＴ３から７Ｍbps の斜め線を引けば、これが新しいビットレートを表すことになる。
変更部分のそれぞれの画像符号パケットの下端から左側に直線を引き、７Ｍbps の直線との交点を求めれば、そこがそれぞれの画像符号パケットの新しい出力の開始点（クロックリファレンス）となる。この結果、変更部分の全てのクロックリファレンスは変更され、例えば、同一フレームの画像符号パケットで比較すれば、位置（４５）のように元より前にずれることもあれば、位置（４６）のように後ろにずれることもある。７Ｍbps の斜め線は、変更部分の最後のフレームを出力し終わったところＴ５で終了する。つまり、変更後の画像符号にビット累積の軌跡はうすい灰色で表したように、Ｔ３からＴ５までは７Ｍbps に上がり（４８）、Ｔ５からビットレートは元の５bps に戻る（４９）。
７Ｍbps という値は、変更部分の総容量と時間から単純計算して求めた（Ｓ２／（Ｔ６−Ｔ４）＝７Ｍbps ）である。また、Ｔ５はＳ２／７Ｍbps ＝（Ｔ５−Ｔ３）の関係になることも明らかである。従って、Ｔ６−Ｔ４＝Ｔ５−Ｔ３である。一方、変更部分の時間は変更の前後では同一（Ｔ６−Ｔ４）である。変更する前も後もＴ３からビットを出力し始めているから、変更部分の次に来るフレームの出力開始点（クロックリファレンス）Ｔ５は元々の開始点と一致する（４７）。その時点での画像符号のビット量の累積値は、ちょうど、画質を向上させた結果のビット量Ｓ２（５２）から元の発生ビット量Ｓ１（５１）を引いた分（Ｓ２−Ｓ１）だけ上に並行移動しているだけであるので、５Ｍbps に戻ったところでのバッファの残量は変更の前のときと同一の値となる。
【００８６】
図１３に図解した本発明の画像符号化方法の動作は、図１４および図１５に図解した両者の装置によって行われる。したがって、本発明の実施に際しては、図１４に図解した装置と図１５に図解した装置を一体構成にしてもよい。その場合、共用する装置を重複させずに用いて簡略した構成にすることができる。
【００８７】
以上の実施例では、再符号化処理として、第３の例を述べたが、その他の再符号化処理についても上記同様に行うことができる。
【００８８】
なお、以上の説明では可変レートの場合を用いたが、可変レート画像符号に一定のパッディングビットを加えて固定レートとしているようなシステムでも同様に実施できる。得られたビット列は、完全にＭＰＥＧ２フォーマットである。
【００８９】
【発明の効果】
本発明によれば、画質を正式に符号化処理した（第２回符号化処理）後に、事前に編集事情を考慮して規定した「カット」をもとに部分的に修正できる。
また本発明は、「DIFFICULTY（複雑度）」データを求める際に厳密さが不要になる。換言すれば、本発明においては、「DIFFICULTY」データを求める作業を簡略化できるため、２パス符号化処理の１パス目の時間を短縮できる。
なお、本発明における「カット」の概念、及び、本発明の一部をなす出力レート決定装置は、ＭＰＥＧ符号化処理されたお互いに無関係な複数のビット列同士を編集しつなぐことを可能とし、符号化処理後のビット列の再利用をも可能になる。
【図面の簡単な説明】
【図１】 図１は固定ビットレート符号化処理と可変ビットレート符号化処理の概要を示す図である。
【図２】 図２は可変ビットレート符号化処理の処理の概要を示す図である。
【図３】 図３はＭＰＥＧが適用されるシステム構成の１例として画像伝送系統における画像符号化装置と画像復号化装置とのシステム構成を示した図である。
【図４】 図４はＭＰＥＧにおける符号化順序を示したグラフである。
【図５】 図５は図４に示したピクチャの意味とのその関連を示したグラフである。
【図６】 図６（Ａ）はＧＯＰの構成を示したＭＰＥＧのビットストリームの構成を示すグラフであり、図６（Ｂ）はＧＯＰヘッダの内容を示す図であり、図６（Ｃ）はピクチャヘッダの内容を示す図である。
【図７】 図７は一般的なＭＰＥＧの画像列の様子を示すグラフである。
【図８】 図８は、ＧＯＰ単位での画像編集を行なったときに起こる問題を説明するための図である。
【図９】 図９はＭＰＥＧにおける「CLOSED GOP」を説明するグラフである。
【図１０】 図１０は「カット編集方式」における圧縮・符号化処理を示すグラフである。
【図１１】 図１１は「カット編集方式」におけるビデオ信号処理装置の構成図である。
【図１２】 図１２は符号化処理シーケンスを図解したグラフである。
【図１３】 図１３は本発明の画像符号化方法の処理を図解したフローチャートである。
【図１４】 図１４は本発明の実施例として、「DIFFICULTY」を算出する仮符号化処理を行う画像符号装置の構成図である。
【図１５】 図１５は本発明の実施例として、正式に符号化処理を行う装置の構成図である。
【図１６】 図１６は本発明における平均した画像符号のビットレートが５Ｍbps の時の例を示すグラフである。
【図１７】 図１７は本発明において、画質の一部に問題が有り、量子化レベルを上げて対処する場合の処理を示すグラフである。
【図１８】 図１８は本発明において、エンコーダ出力のビットレートはどの部分が変更されるかを示すグラフである。
【符号の説明】
１・・マスターテープ、２・・デジタルＶＴＲ
３・・タイムコード出力、４・・ビデオ信号
５・・画像遅延装置、６・・カット設定装置
７・・カット判定／指定回路、８・・画像タイプ制御部
９・・符号化シーケンス指示、１０・・遅延したビデオ信号
１１・・遅延量、１２・・遅延させたタイムコード（ＴＣ）
１３・・画像の二次元画素情報
１４・・ＤＣＴ演算装置、１５・・遅延させたタイムコード（ＴＣ）
１６・・周波数成分画像情報
１７・・量子化器、１９・・量子化されたビット
２０・・逆量子化器、２１・・逆ＤＣＴ演算装置
２２・・仮量子化レベル、２３，２４・・「DIFFICULTY」データ
２５・・画像情報量の時間変化データ
２６・・量子化レベル制御回路、２７・・手動量子化レベル修正装置
２８・・量子化レベル重み付け制御信号
２９・・エントロピー符号化器、３０・・時間情報
３１・・最終的な画像符号
３２・・出力レート決定装置、３３・・最終符号出力
３４・・ストリーム出力装置、３５・・モニター用デコーダ
３６・・「画像符号＋時間情報」
３７・・ストレージ装置、３８・・符号化制御部
３９・・符号化方式の指令、４０・・テープ走行指示
４１・・復号装置のバッファサイズ
１００・・ビデオテープ記録再生装置（ＶＴＲ）
２００・・画像符号化装置（エンコーダ）
３００・・蓄積メディア３（または伝送経路）
４００・・画像復号化装置（デコーダ）
５００・・ＴＶモニタ
【発明の属する技術分野】
本発明は画像符号化方法とその装置に関する。より特定的には、本発明は、画質を低下させずかつ圧縮画像データ全体として規定された範囲以内で収まるように「可変ビットレート方式」で画像圧縮を行う際、「カット」編集方式を用いてカットごとにオペレーターが任意にビットレートを指定できるようにして自動管理されたビットレートを部分的に修正し、かつその部分だけを再符号処理を行う画像符号化方法とその装置に関する。
【０００２】
【従来の技術】
画像信号帯域圧縮技術のうち動画像信号帯域圧縮方式として、Ｈ．２６１、ＭＰＥＧ（Motion Picture Eepert Group)などの国際標準化実用技術が知られている。高能率画像圧縮技術（または高能率画像符号化技術）の１つであるＭＰＥＧはマルチメディアにおける動画像信号帯域圧縮方式としてとして、ＤＶＤ、ＶＯＤ（ビデオ・オン・デマンド）、コンピュータ、通信、放送、情報家電、エンターテイメントなど多くの分野での適用が試みられている。
ＭＰＥＧについては、下記の分類による提案がされている。
ＭＰＥＧ１：1.5 Ｍｂ／ｓ前後で許容限度を上回る品質の動画像符号化
ＭＰＥＧ２：１６Ｍｂ／ｓ前後で高品質動画像符号化
ＭＰＥＧ３：５０〜８０Ｍｂ／ｓでハイビジョンテレビ（ＨＤＴＶ）信号符 号化
本発明において主としてＭＰＥＧ２について言及する。本明細書においてＭＰＥＧによる符号化・復号化方式をＭＰＥＧ処理と略称する。
【０００３】
ＭＰＥＧ処理においては、ピクチャ（画像）を複数まとめた「ＧＯＰ（GROUPOF PICTURE）」と呼ぶ複数のピクチャごとに符号化処理または復号化処理を行う。ＧＯＰは画像伝送の単位であり、符号化処理・復号化処理の単位でもある。
フレームごと（またはフィールドごと）の画像データ（ビデオデータまたはピクチャ）が連続するＴＶ画像を例示すると、ＧＯＰにおけるピクチャは単純なフレームごとのピクチャ、つまり、Ｉ(Intra) ピクチャ（画面内符号化ピクチャ）の連続ではなく、符号化効率を高めてデータの伝送量を減少させるために動き補償などの技法を用いて予測したピクチャを用いる。予測ピクチャとしては、Ｐ(Prediction)ピクチャ（前方予測符号化ピクチャ）、Ｂ(Bidirection)-ピクチャ（双方向予測（外挿・内挿）符号化ピクチャ）が知られている。したがって、ＧＯＰには、複数のＩピクチャ、Ｐピクチャ、Ｂピクチャが混在したピクチャの集合が収容されている。ＧＯＰ、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの詳細およびこれらの関連については後述する。
【０００４】
高能率画像圧縮方式としては、図１に図解したように、「固定ビットレート符号化方式」と「可変ビットレート符号化方式」とが知られている。
「固定ビットレート符号化方式」は画像（ピクチャ）ごとのビット発生量は変化するがＧＯＰ単位で見ればほぼ一定のビット量にする方式である。
「可変ビットレート符号化方式」は、画像（ピクチャ）ごとのビット発生量も変化するが、ＧＯＰ単位でもビット発生量が変化する方式である。図１における変数ｉはシーン数を示す。
本発明は「可変ビットレート符号化方式」に関係する。
【０００５】
可変ビットレート符号化処理
映画やドラマなどの画像のＭＰＥＧ２による帯域圧縮・符号化処理を行う場合、複雑な絵柄のシーンのため量子化レベルを上げて圧縮して情報量を増やさなければ画質が保てない部分と、単純な絵柄のシーンのために量子化レベルを下げて情報量を減らしても圧縮しても画質を保つことが可能な部分がある。
可変ビットレート符号化方式は、トータルとしてはビット発生量をある値に収めることを前提としつつ、全体として高い画像符号化を実現させるため、画像の内容に応じて符号化情報量を変化させる符号化方法である。すなわち、可変ビットレート符号化方法においては、複雑な絵柄にはその画質を保つのに十分な情報量を割り当て、単純な絵柄にはその情報量を抑制して、全体のビット発生量（またはビットレート）を制約された範囲に収める。
【０００６】
より具体的に述べると、ＤＶＤに記憶する画像データはＭＰＥＧ２のＭＰ＠ＭＬ標準に従って圧縮される。しかしながら、ＤＶＤのメモリ容量には限度があるから、その容量内に圧縮画像データが収容できるように、画像ごとに圧縮比を変化させて高画質を保ちながら限られたメモリ容量を効率的に使用する可変ビットレート・フォーマットで圧縮画像データを符号化処理する。
【０００７】
２パス符号化処理について
可変ビットレート符号化方式において、図２に図解したように、第１回目の工程として仮符号化処理（仮エンコーディングまたは前処理符号化処理）を行って画像データ全体の複雑の度合い（「DIFFICULTY」、複雑度）を調査し、その後、第２回目の工程として「DIFFICULTY（複雑度）」を参照して正式な画像圧縮符号化処理を行う２パス符号化処理を行う。
仮符号化処理は、一枚の画像を複数のブロックに切り分け、その一つのブロックを、直交変換処理、たとえば、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）処理またはウエーブレット変換処理などのサブバンドコーディング方式（与えられた信号源をいくつかの周波数帯域に分解し、それぞれの周波数帯域の電力値を求める変換方式）による信号処理を行う。サブバンドコーディングのような、画像信号を二次元の時間領域の画素情報から周波数領域の情報に直交変換する方式において、画像を分割した各ブロックごとの、周波数領域の電力値または、情報量、あるいはビットのマグニチュード、もしくはビット発生量の分布に着目してみると、符号化処理後の各周波数帯域の電力値が直流成分や低域成分のみならず高域成分に至るまで広く分布していれば、複雑な絵柄を示しており、逆に、直流成分や低域成分に発生ビット量が集中しており全体の電力値が少ない時には単純な絵柄を示していることが判る。従って、仮符号化処理の結果の各画像ごとの周波数成分の電力値を合計したビット発生量の時間変化は、そのまま絵柄の複雑なシーンや単純なシーンの時間的な経過の様子を示している。この仮符号化処理後の発生ビット量は絵柄（または画像（ピクチャ) ）の「複雑の度合い」を意味しており、この絵柄の複雑の度合いを「DIFFICULTY（複雑度）」と呼ぶ。「DIFFICULTY」は符号化の際のおおよそのビット発生量を示すパラメータである。
【０００８】
【発明が解決しようとする課題】
しかしながら、上述した方法には下記に述べる不具合がある。
第１の不具合：２パス符号化処理における第２工程である正式の符号化処理において、仮符号化処理において求めた「DIFFICULTY」に基づき定められた総情報量に合わせ込む形で画像の帯域別の情報量の重み付けを行うが、この重み付けは、あくまでも「最も確からしい予測」であり、符号化後の最終的な総ビット発生量はある程度約束されてはいても、符号化処理した画像全てにわたって画質が約束されているわけではない。したがって、全ての画質を良好なものとするにはさらに精密な符号化処理を行う必要がある。しかしながら、従来の方法では、部分的なピクチャの画質改善が効率よく行うことができない。
【０００９】
第２の不具合：可変ビットレート符号化方式によって画像ごとにビット発生量を変化できるが、単純にピクチャーごとのデータビットを送りだせばよいわけではない。ＭＰＥＧ２においては標準再生機の仕様が厳密に定義されており、再生バッファの容量は1.75Ｍbit と定められている。画像圧縮符号処理を行う符号化装置側では再生バッファがオーバーフローしたりアンダーフローしたりしないように制御（管理）しなければならない。画像の絵柄によりある部分はビット量を多くし、ある部分は少なくするという「可変ビットレート符号化処理」の条件下では、毎フレームごとに発生したビットを単純に等間隔で送り出すと、ＭＰＥＧ２で定められたバッファサイズでは符号化データがバッファからオーバーフローすることがある。
そこで、符号化装置において、再生機のバッファに実際どのくらいのデータ量が入っているのか計算しつつ、例えば、ビット量が多いピクチャについては少し手前から送り出すなどして、絶えずバッファ容量を監視制御する必要がある。この制御は、映画やドラマなどのプログラムの始まりから終了まで継続的に行われなければならない。例えば、仮にある部分の符号化処理後の画質に問題あるからと言って、その部分の量子化レベルを変更することは、そこから後ろの部分のバッファ容量に影響を与えてしまい、問題となる箇所のみを変更するわけには行かない。このため、通常では途中だけビットレートを変更することは極めて困難となる。
【００１０】
第３の不具合：ＧＯＰは完全に独立はしていない。そのため、ある部分だけを再符号化するわけにはいかない。この詳細については具体的に詳述するが、ここでは簡単に述べる。ＭＰＥＧにおいては基本的に、ＧＯＰ単位で符号化処理・復号化処理を行うから、それぞれのＧＯＰが完全に独立していることが望ましい。しかしながら、あるＧＯＰ内のＢピクチャの処理には前のＧＯＰに含まれるＩピクチャまたはピクチャを参照しないと処理できないから、それぞれのＧＯＰは完全には独立していない。その結果、画質の低下が検出された任意のピクチャから自由に画質を改善することはできない。
【００１１】
以上の記述から明らかなように、もし符号化処理される画像（たとえば、映画などのプログラム）の途中に画質的に問題点があったとしてもそこだけを再符号化処理して差し替え編集をすることは困難であり、かりに画質が問題となる箇所が１秒間であったとしても、映画なら約２時間分を問題となる箇所のビット発生量を訂正しつつもう一度最初から繰り返して符号化する必要があるが、これまでの方法では、画質的に問題が生じた場合そこだけを修正しようと考えることは事実上できないという問題に遭遇している。
【００１２】
【課題を解決するための手段】
本願発明者は、ＧＯＰ単位での編集は可能であるＭＰＥＧの持っているオリジナルの特質は保ちながら、編集などにおける「カット」単位では原理的に画質に影響を与えない編集方法を提案した（たとえば、平成８年２月２９日に出願した「画像データ処理方法と装置」、特願平８−４２９８０号）。この方法は、「カットのあるピクチャシーケンス」を応用し、画質的に問題となる部分だけを再符号化して差し替え編集する方法である。カットとしては、編集段階において作成された編集決定リスト（ＥＤＬ）に基づいて行う、定期的に行う、映像シーンの状況に応じて行うなど任意に設定できる。このカット編集方式の詳細は後述する。
【００１３】
本発明の目的は、上記「カット」編集方式を応用し、カットごとに編集のディレクタなど、画像処理を行うオペレーターが任意にビットレートを指定できるようにして自動管理されたビットレートを部分的に修正し、かつその部分だけを再符号化処理し、改善された画質に編集する方法および装置を提供することにある。
【００１４】
本発明によれば、映像信号を符号化して符号化データを生成する符号化装置において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定手段と、上記区切り決定手段により決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成手段と、上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出手段と、上記発生ビット量算出手段により算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された割り振りビット量及び上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス構成手段により構成された上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段とを有する符号化装置が提供される。
また本発明によれば、映像信号を符号化して符号化データを生成する符号化方法において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定工程と、上記区切り決定工程において決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成工程と、上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出工程と、上記発生ビット量算出工程において算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された割り振りビット量及び上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス構成工程において構成された上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程とを有する符号化方法が提供される。
【００１５】
本発明によれば、映像信号を符号化して符号化データを生成する符号化装置において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段とを有する符号化装置が提供される。
また本発明によれば、映像信号を符号化して符号化データを生成する符号化方法において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程とを有する符号化方法が提供される。
【００１６】
本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録装置において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定手段と、上記区切り決定手段により決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成手段と、上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出手段と、上記発生ビット量算出手段により算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段と、上記符号化手段により生成された上記符号化データを上記記録媒体に記録する記録手段とを有する記録装置が提供される。
また本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録方法において、上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定工程と、上記区切り決定工程において決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成工程と、上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出工程と、上記発生ビット量算出工程において算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程と、上記符号化工程において生成された上記符号化データを上記記録媒体に記録する記録工程とを有する記録方法が提供される。
本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録装置において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出手段と、上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を再度符号化することにより、上記符号化データを生成する符号化手段と、上記符号化手段により生成された上記符号化データを上記記録媒体に記録する記録手段とを有する記録装置が提供される。
また本発明によれば、映像信号を符号化した符号化データを記録媒体に記録する記録方法において、上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出工程と、上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を再度符号化することにより、上記符号化データを生成する符号化工程と、上記符号化工程において生成された上記符号化データを上記記録媒体に記録する記録工程を有する記録方法が提供される。
【００１７】
【発明の実施の形態】
本発明の好適実施例を述べる前に、ＭＰＥＧが適用されるシステムの例、および、ＭＰＥＧの処理の対象とするピクチャ（画像）の構造について述べる。
【００１８】
画像伝送系統における符号化・復号化システム
図３はＭＰＥＧが適用されるシステム構成の１例として画像伝送系統における画像符号化装置と画像復号化装置とのシステム構成を示した図である。このシステムは、たとえば、ＶＯＤ(Video On Demand: ビデオ・オン・デマンド）に代表されるような通信サービス、または、ＤＶＤに記録された映像信号を、ＤＶＤを蓄積メディア３００として復号するシステムにも適用できる。
この画像符号化・復号化システムにおいては、ビデオテープ記録再生装置（ＶＴＲ）１００において再生されたフレームごとのオリジナルのディジタルビデオ信号（フレーム画像データまたはフレーム・ピクチャ）を画像符号化装置２００においてフレームのピクチャごとに帯域圧縮・符号化して蓄積メディア３００（または伝送経路）に送出する。蓄積メディア３００としては、たとえば、ＤＶＤ、ＨＤＤ（ハードディスク装置）などが例示され、これらの記録媒体を用いた場合は、帯域圧縮・符号化処理された画像データが記録され、読み出される。伝送経路３００の場合は伝送経路の上をビットストリームとして帯域圧縮・符号化された画像データが伝送されていく。画像復号化装置４００は蓄積メディア３００（または伝送経路）を経由して入力された帯域圧縮・符号化処理された画像データを、画像符号化装置２００における符号化処理と逆の復号処理を行ってＶＴＲ１００から出力されたと同等の画像データを再生し、ＴＶモニタ５００にその再生画像を表示する。画像符号化装置２００においてＭＰＥＧに基づく画像データの圧縮・符号化処理が行われ、画像復号化装置４００において帯域伸長・復号処理が行われる。
【００１９】
本発明の好適な実施例を述べる前に、上記本願発明者で提案した、特願平８−４２９８０号のカット編集方式の概要を述べる。
まず、ピクチャとの関連においてその処理を述べる。
ピクチャの構成
図４はＭＰＥＧにおける符号化順序を示したグラフである。図５は図４に示したピクチャの意味とのその関連を示したグラフである。
符号「Ｉ」はＩ(Intra) ピクチャ（画面内符号化ピクチャ）を示し、符号「Ｐ」はＰ(Prediction)ピクチャ（前方予測符号化ピクチャ）を示し、符号「Ｂ」はＢ(Bidirection)-ピクチャ（双方向予測（外挿・内挿）符号化ピクチャ）を示す。
Ｉピクチャとはある画面、たとえば、フレームでそれ自身独立して再生が可能な画像のことである。Ｐピクチャとはそれよりも前方（過去）にあるＩピクチャまたはＰピクチャからの予測を使った符号化画像である。Ｂピクチャとは、それ自身よりも前方（過去）にあるＩピクチャまたはＰピクチャからの予測と後方（未来）にあるＩピクチャまたはＰピクチャからの予測の両方を使用した画像のことである。
【００２０】
図６（Ａ）はＧＯＰの構成を示したＭＰＥＧのビットストリームの構成を示すグラフであり、図６（Ｂ）はＧＯＰヘッダの内容を示す図であり、図６（Ｃ）はピクチャヘッダの内容を示す図である。
ＭＰＥＧのビットストリームは、最上層にシーケンス層があり、複数のＧＯＰが連続している。それぞれのＧＯＰは、図６（Ａ）に示した内容を格納するＧＯＰヘッダ、複数のピクチャ層が連続して構成されている。それぞれのピクチャ層は、図６（Ｃ）に示した内容を格納するピクチャヘッダと、複数のスライス層が連続している。それぞれのスライス層は、スライス情報を記憶する部分と、複数のマクロブロックが連続している。それぞれのマクロブロック層は、マクロブロック情報を格納する部分と、複数のブロックが連続している。それぞれのブロック層は、上述した。各ブロックにはＤＣＴ（離散コサイン変換）符号化された画像データが格納されている。
【００２１】
図７を参照してビデオ信号の編集に関連してＧＯＰおよびピクチャの詳細について述べる。図７は一般的なＭＰＥＧの画像列の様子を示すグラフである。この図面に図解したものは、連続した長い画像（ピクチャ列）のうちの途中を切り出して示したもので、原画像（符号化前のオリジナル・ピクチャ）がどのような種類の画像に圧縮符号化（エンコード）されて、どのような順番に並べられるのかを代表的な例を用いて表したものである。
Ｉピクチャ、Ｂピクチャ、Ｐピクチャに添えられた数字、たとえば、B3は原画像（符号化前のオリジナル・ピクチャ）の３番目のピクチャに関連するＢピクチャを示している。なお、値の小さい数字が過去を示し、大きい数字が未来を表している。実線の矢印はどのピクチャからどのピクチャが予測されているかの関係を示す。
【００２２】
ＧＯＰが完全に独立していないことの説明
図７に示した原画像Ａは、下記の順番で順次圧縮符号化されている。
『B3−B2−P1−B0−B1−I2−B3−B4−P5−B6−B7−P8−B9−B10
−I11 −B12 −B13 −P14 』
【００２３】
このピクチャ列について述べる。実線の矢印で示されるように、例えば、位置５（かっこ内に示した数字は、ピクチャ（画像）などの位置を示す）のI2−ピクチャは、位置６のB3−ピクチャ、位置７のB4−ピクチャ、位置８のP5- ピクチャの３画像の前方予測に使用される。位置６のB3- ピクチャおよび位置７のB4- ピクチャは、位置８のP5- ピクチャからの後方予測に使用される。
【００２４】
図３に示す画像符号化装置（エンコーダ）２００で圧縮・符号化処理（エンコード）されたピクチャは、図３に示す画像復号化装置（デコーダ）４００における復号処理（デコード）時に便利なように、エンコーダ出力Ｂとして示したように、並べ変えが行なわれる。例えば、原画像Ａの位置５のI2- ピクチャは、エンコード出力時には位置９に置かれるが、位置６のB3- ピクチャおよび位置７のB4- ピクチャは、後ろにずれた位置１０のP5- ピクチャの後ろの位置１１と位置１２に置かれる。こうすることによりデコーダ入力Ｃとして示したように、たとえば、位置１６のB3- ピクチャと位置１７のB4- ピクチャを再生するのに必要な位置１４のI2- ピクチャと位置１５のP5- ピクチャを先にデコードすることができる。
エンコーダ出力Ｂにおいて、Ｉピクチャ（たとえば、I2- ピクチャ）から次のＩピクチャ（たとえば、I11 ピクチャ）の手前まで、つまり、B7- ピクチャまで、１つのＧＯＰと呼ぶ。ＧＯＰは図６（Ａ）に図解した構成になっているが、以下の記述においては、ピクチャのみを簡略化して示す。
【００２５】
ＧＯＰが完全に独立していないため、編集作業などでピクチャの差し替えを行うと正確な画像の再生が行えない。
図７においてデコーダによって再生された再生画像Ｄとして示した位置１８のB0- ピクチャと位置１９のB1- ピクチャの再生に留意されたい。ＧＯＰの構成の観点から見れば、B0- ピクチャとB1- ピクチャは、I2- ピクチャと同一のＧＯＰ、すなわち、「ＧＯＰ Ｎ（位置１３）」に含まれるが、その再生のためには、一つ手前のＧＯＰ、すなわち、「ＧＯＰ N-1 」に含まれるＰピクチャ（P1- ピクチャ）とＩピクチャ（I2- ピクチャ）からの予測（位置２０）が必要となる。つまり、「ＧＯＰ Ｎ（位置１３）」は、1 つ前の「ＧＯＰ N-1 」内のP1- ピクチャを用いるから、「ＧＯＰ N-1 」と関連を持っており、『ＧＯＰは完全には独立していない』。
【００２６】
ＧＯＰが完全に独立していないことに起因する編集処理または符号化処理時の問題
画像データ列のあるシーンでカットして編集するとか、ＧＯＰの伝送が中断したあとのピクチャの復号などの場合にはこのＧＯＰの非独立性が問題になる。
図８は、たとえば、ＧＯＰ単位での画像編集を行なったときに起こる問題を説明するための図である。原画像Ａは図７に図解したものと同じ構成である。
エンコーダで連続的に圧縮エンコードされたＧＯＰの列を「編集前のＧＯＰ列Ｂ」とする。この編集前のＧＯＰ例Ｂは図７に示したエンコーダ出力ＢのＧＯＰ例と同じ構成である。この例では、
「ＧＯＰ Ｎ（位置２３）」のピクチャ列：
I2,B0,B1,P5,B3,B4,P8,B6,B7を
「ＧＯＰ N'（位置２４）」に示した、ピクチャ列：
I2',B0',B1',P5',B3',B4',P8',B6',B7'
に差し替える( 並べ換える) 編集を行なって、「編集後のＧＯＰ列Ｅ」にしたとする。この編集後のＧＯＰ列Ｅは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの順序は同じであるが、「’」をつけない編集前のピクチャが「’」をつけたピクチャに差し替えられたことを示している。
【００２７】
「ＧＯＰ N'」のピクチャは、Ｉピクチャ、Ｂピクチャ、Ｐピクチャの順序は同じであるから、フォーマット的には問題がない。しかし、これをデコーダ入力Ｆとして見てみると、差し替えたB0'-ピクチャ（位置２７）とB1'-ピクチャ（位置２８）を再生するためには、差し替えていないP1- ピクチャ（位置２６）からの前方予測が必要になる。ところが、すでに編集をしてピクチャを差し替えてしまったので、「ＧＯＰ N-1 」の差し替えていないP1- ピクチャ（位置２６）と、「ＧＯＰ Ｎ」の差し替えたB0'-ピクチャ（位置２７）とB1'-ピクチャ( 位置２８）とのあいだの相関関係はない。その結果、B0'-ピクチャ（位置２７）とB1'-ピクチャ( 位置２８）の復号には、P1- ピクチャ( 位置２６）からの予測（位置２９）は使えなくなる。
同様の問題が、「ＧＯＰ N'」の最後のピクチャと、「ＧＯＰ N+1」のピクチャとの関係においても発生し、「ＧＯＰ N+1」の最初の２枚のＢピクチャ（B9,B10) への予測（位置３０）も意味のないものとなる。
以上のごとく、画像編集すると、一つ前のＧＯＰの最後のＰピクチャから次のＧＯＰの始めのＢピクチャの予測ができなくなるため、編集処理後の再生画像Ｇは、ＧＯＰ内の最初にあるいくつかのＢピクチャ（位置３２、３３）は正しくないピクチャを含むことになる。
【００２８】
ＭＰＥＧ２においては、このように圧縮エンコード後にＧＯＰ単位で編集した場合発生する問題点については、編集点前後のＧＯＰには使用不可能なＢピクチャが含まれていることを表すために、図６（Ｂ）に示したように、ＧＯＰヘッダの中に「Broken link 」フラグを設けて、Ｂピクチャの正当性を示してはいるが、ピクチャそのもののその修復は講じていない。しかし、ＭＰＥＧにおいては、図６（Ｂ）に示すように、ＧＯＰの独立性を示す「CLOSED GOP」が設けられている。
【００２９】
図９を参照して編集を可能にする「CLOSED GOP」について述べる。原画像Ａ、編集前のＧＯＰ列Ｂ、編集後のＧＯＰ列Ｅ、デコーダ入力Ｆは、図８に示したものと同じである。
「CLOSED GOP」は、ＧＯＰ内の最初にあるいくつかのＢピクチャ（位置４５，４６，４７，４８）などをエンコードする際に、「その一つ前のＧＯＰの最後のＩピクチャ、Ｐピクチャからの予測（位置３４）」を使用せずに、原画面の順で直後のＩピクチャのみから予測するようにコーディングする（Only Backward Prediction）ことによりＧＯＰの独立性を確保するためのものである。「CLOSED GOP」においては、エンコーダ出力Ｂの「ＧＯＰ Ｎ（位置３６）」をピクチャのフォーマットは換えずにピクチャの内容を差し替えた別の「ＧＯＰ N'（位置３８）」と置き換えて、編集後のＧＯＰ列Ｅとしても、デコーダにおいては、元々前のＧＯＰからの前方予測（位置３９，位置４０）を必要としていないので、再生画像ＨにおいてもＩピクチャの直後にある何枚かのＢピクチャ（位置４３のB0',B1' 、位置４４のB9,B10）は、Ｉピクチャからの後方予測のみを使用して再生が可能となる。しかしながら、この方法には不都合がある。それを以下に述べる。
Ｂピクチャは、前方と後方の両側からの予測を使うため、前方予測のみのＰピクチャに比べて予測精度が良く、Ｐピクチャより量子化ビット数を落としても画質が低下しないという利点がある。すなわち、両方向からの予測というのはビット効率を上げつつ画質も向上させるという特質を持つ。しかしながら、上述したように、Ｂピクチャのエンコードを片側のみしか使用しないということは、通常の場合、ＢピクチャはＰピクチャよりも量子化レベルが粗いため、Ｐピクチャのみでエンコードしたときよりも品質が低下した画像しか得られない。したがって、編集性を持たせようとして「CLOSED GOP」を多用することは、Ｂピクチャの利点を殺すことにつながり、Ｂピクチャを用いる目的に反し、Ｂピクチャを用いるという効果が得られない。
【００３０】
ＭＰＥＧ２においては、上述した編集によるピクチャの差し替えを行うと、画質が低下するという問題が遭遇する。この種の問題は、特に、正確な符号化処理・復号化処理を行う画像処理において問題となる。
【００３１】
上述した問題を解決する、特願平８−４２９８０号で提案した「カット編集方式」について述べる。
まず、基本となるとなる圧縮符号化の方法について述べる。
ＭＰＥＧの圧縮符号化のシーケンスには、上述した方法のほかにプログラムの先頭において使用される特別なシーケンスを作ることも可能である。このシーケンスを画像列の途中に使った場合の効果を図１０を参照して述べる。図１０は「カット編集方式」による圧縮・符号化処理を示すグラフである。
通常のシーケンスＡＡにおいては、例えば、P1- ピクチャ（位置５０）の後ろにはB0- ピクチャ（位置５１）、B1- ピクチャ（位置５２）、I2- ピクチャ（位置５３）と続けるが、それとは別に特別なシーケンスを考える。これをカットシーケンスＢＢという。
カットシーケンスＢＢでは、編集によって差し替えが行われるピクチャの直前のP1- ピクチャ（位置５５）の後ろを一旦、カットし（位置５９）、その後をI0- ピクチャ（位置５６）とし、そこからB1- ピクチャ（位置５７）、B2- ピクチャ（位置５８）というふうに、通常のシーケンスと同じように続けていく。
【００３２】
通常シーケンスＡＡのピクチャ列は下記になる。
具体的には、「B3,B2,P1,B0,B1,I2,B3,B4,P5」
一般的には、「Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ」
カットシーケンスＢＢでは、下記になる。
具体的には、「B3,B2,P1,IO,B1,B2,P3,B4,B5,P6 」
一般的には、「Ｂ，Ｂ，Ｐ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ」
つまり、カット位置５９の所のＢピクチャ（B0- ピクチャ) が抜け、Ｉピクチャ(I0-ピクチャ) が挿入されたようになる。これにより、次のＧＯＰはＩピクチャから始まり、次にＰピクチャが続き、その後にＢピクチャが続く。このカットを置くことにより、カットの前後の「ＧＯＰ N-1（位置６０）」と「ＧＯＰ N（位置６１）」の間は、ピクチャの予測が不要であり、「ＧＯＰ N-1（位置６０）」と「ＧＯＰ N（位置６１）」は完全に独立している。
したがって、デコーダ入力ＤＤを見ると、位置６３のカット以降を同様のルールのシーケンスでエンコードされた別のＧＯＰ列（位置６４）と入れ替えたとしても、何の問題もなく再生できる（位置６５）。しかも、上述した「CLOSED GOP」の手法も使っていないので後方予測のみのＢピクチャは存在しておらず、画質の劣化に対しても影響がない。
【００３３】
この「カットのあるシーケンス」をエンコーダ出力で見た場合の下記シーケンスは、
IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB,IPBBPBBPBB
（カンマはＧＯＰの区切りを示す）
下記に示す通常のシーケンス
IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,IBBPBBPBB,
と比べて、構成するピクチャの種別を見ると、平均的に見てＩピクチャの枚数は0.9 倍に減るが、Ｐピクチャの枚数は、1.35倍に増え、逆にＢピクチャの枚数は0.9 倍に減り、相対的にＰピクチャの割合が増えるので、符号化によって発生するビット量も増える。また、画質的に見て有利であるといわれるＢピクチャの使用率が減ることもあり、「カットシーケンス」のみを用いてＧＯＰ列を構成することは、ＭＰＥＧの標準的方法である「CLOSED GOP」を用いる方法より好ましいが、最良の方法とは言い難い。よって、さらなる改善策を述べる。
【００３４】
ＥＤＬ：EDIT DICISION LISTの活用
ＭＰＥＧにより圧縮される画像の応用用途を考えてみると、ＤＶＤに代表される様なパッケージメディアに記録するか、ＶＯＤ(Video On Demand: ビデオ・オン・デマンド）に代表されるような通信サービスに用いられる場合のように、完成された映画やドラマなどのプログラムを一般利用者に提供する目的がほとんどである。このような場合は、必ずと言ってよいほど、完成されたプログラムが記録された通称「マスター」と呼ばれるビデオーテープかそれに準ずるものを再生しこれを圧縮エンコードする。この「マスター」は、スタジオなどにおいて、最終の利用目的にあわせて編集ディレクタ（オペレータ）の指示の元に入念に編集処理がされている。
【００３５】
編集過程おいて、編集点は無目的にランダムに選択されているわけではなく、プログラムの内容と最終利用目的にあわせて、編集ディレクタの意志決定の元に例えばシーンごとに決められる。決定された編集点は、編集決定リスト（通称、ＥＤＬ:Edit Dicision List ）と呼ばれるリストとしてまとめられ、実際に編集動作を行なう編集機などに供給され、編集機はＥＤＬを元に素材を編集していき「マスター」が作り上げられる。
ＥＤＬは、もし「マスター」を再編集する事があったならば、最も編集の可能性の高い場所を記したリストといえる。ＧＯＰ単位で任意に編集できるのが望ましいが、現実的に見て最も編集の可能性の高いところのみを編集の対象と考えたほうが効率的である。このことに着目して、「ＧＯＰ単位でしか編集できないのであれば、ＧＯＰという中途半端な単位ではなく、もっと人間的な映像シーンの単位まで編集単位を粗くする」という発想で、ＥＤＬに基づき、あるいはＥＤＬを修正した、あらかじめ登録された映像のシーンの区切りのみを編集点の対象とする。つまり、あらかじめビデオ信号を圧縮符号化する前に、「マスター」に付随するＥＤＬに示された編集点および編集の可能性が考慮される場所を「カットのあるシーケンス」の区切り点（カット）として登録しておき、カット（ＥＤＬの編集点）においては画質に影響を与えないようにして圧縮された画像の編集を可能にしつつ、ＧＯＰ毎の編集を否定する代わりにＢピクチャの利用率を通常のエンコードシーケンスと同等に確保することにより、圧縮率を低下させないという効果がある。
【００３６】
図１１は「カット編集方式」におけるビデオ信号処理装置の構成図である。ビデオ信号処理装置７００において、圧縮エンコードされる対象のビデオ信号が記録されているビデオマスター７５１はディジタルＶＴＲ７７２で再生される。ビデオマスター６５１に付随しているＥＤＬが書き込まれたフロッピーディスク６５４は、ＥＤＬ読み取り部７６７に入力される。読み取られた編集点の情報はさらに手動編集点修正装置７６８によって、編集点の追加または削除を行なう。以上の手段で決定されたビデオマスター６５１に対する編集点の情報は、カット判定回路７６９に送られる。ディジタルＶＴＲ７７２で再生されるビデオマスター６５１にはあらかじめタイムコード（ＴＣ）を記録しておき、そのディジタルＶＴＲ７７２からのタイムコード出力７７０は、カット判定回路７６９とビデオエンコーダ７７６に送られている。カット判定回路７６９では、入力された編集点情報を考慮しつつ、どのような圧縮シーケンス（Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び方）を組めばよいか判定を行ない、入力されるタイムコード７７０の一つ一つのフレームナンバーとピクチャのシーケンスの対応を準備しておく。例えば、編集点のない付近でのシーケンスでは、図１０を参照して述べた、通常のシーケンス：
「Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ」
とし、編集点の付近では図１０を参照して述べた「カットのあるシーケンス」：「Ｂ，Ｂ，Ｐ，Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ」
のごとく、ピクチャの種類のエンコードされる順番を決定する。
【００３７】
以下、動作を述べる。ディジタルＶＴＲ７７２においてビデオマスター６５１の再生を開始する。カット判定回路７６９は、入力されてくるタイムコード７７０と、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかを符号化処理シーケンス指示情報７７１としてビデオエンコーダ７７６に送る。ディジタルＶＴＲ７７２で再生されたビデオ信号７７３は、画像遅延装置７７４に送られる。遅延量７７８は外部より設定され、それと同じ遅延量７７８がビデオエンコーダ７７６にも送られている（遅延量７７８については後述する）。遅延したビデオ信号７７５はビデオエンコーダ７７６に入力される。ビデオエンコーダ７７６には、遅延していないタイムコード７７０と、それに伴った符号化処理シーケンス指示情報７７１が入力されているので、ビデオエンコーダ７７６は、ビデオ信号の遅延分だけ、前もってどのタイミングでどのような圧縮エンコードをすればよいかが分かる。
【００３８】
図１２を参照して符号化シーケンスについて述べる。図１２は、「カット編集方式」における符号化処理シーケンスを図解したグラフである。ＭＰＥＧにおいては、ＧＯＰ内のピクチャの枚数をＮで表し、ＩピクチャまたはＰピクチャの周期（Ｉピクチャから次のＰピクチャまでのピクチャの枚数）をＭで表す。ＭＰＥＧにおいては、このＮとＭに制約はないが、説明のため、通常シーケンスＡＡをピクチャ枚数Ｎ＝９，ピクチャ周期Ｍ＝３とする。
図１２の四角囲みされたＩピクチャは、そこがカットのあるシーケンスの先頭であることを示し、丸囲みされたＩピクチャでその他の一般のＧＯＰの先頭を示している。図１２は、原画像におけるピクチャのエンコード・シーケンスの順番を示しており、図中、Ｉ，Ｐ，Ｂの添え数字が原画上で「何番」目のピクチャであるか表している。これらの数字はＧＯＰの概念をもつエンコーダ出力でのピクチャの順番ではないことに注意されたい（ピクチャの順序については、例えば、図６を参照）。エンコーダ出力においては、Ｂピクチャの順番が入れ替わり、ＧＯＰ単位で見た場合はあくまでもＩピクチャが先頭である。
ピクチャ枚数Ｎ＝９の場合、カットシーケンスは、そのカットの位置により、カットシーケンス０（Ｃ０）からカットシーケンス８（Ｃ８）までの９種類の場合が発生する。しかし、いずれ場合であっても、ここでは、図１４を参照して上述したように、カットのあるシーケンスの先頭の（四角囲みで示した）Ｉピクチャの直前のピクチャタイプは必ずＰピクチャであることが特徴である。
【００３９】
各シーケンスについて述べる。
カットシーケンス０（Ｃ０）
Ｉピクチャの位置が通常シーケンスに比べて前に２枚ずれてそのＧＯＰの「０番」のピクチャがＩピクチャとなる(I0)。しかし、直前のＧＯＰのピクチャはＰピクチャ(P1)であるので、ＧＯＰはI0- ピクチャから始まり、シーケンスの都合上そのＧＯＰのP9- ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４０】
カットシーケンス１（Ｃ１）
Ｉピクチャの位置が通常シーケンスに比べて前に１枚ずれてカットのあるそのＧＯＰの「１番」のピクチャがＩピクチャ(I1)となり、かつ、直前の「０番」のピクチャは、通常ではＢピクチャであるがＰピクチャ(P0)とする。このＧＯＰはI1- ピクチャから始まり、シーケンスの都合上、P10-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、P0- ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１０となる。
【００４１】
カットシーケンス２（Ｃ２）
Ｉピクチャの位置は通常シーケンスと同じ位置で「２番」のピクチャがＩピクチャ(I2)となるが、直前の「０番」と「１番」の２枚ピクチャは、通常ではＢピクチャであるが、２枚ともＰピクチャ（PO,P1)とする。カットのあるこのＧＯＰはI2- ピクチャから始まり、シーケンスの都合上、P11-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、P0- ピクチャとP1- ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１１となる。
【００４２】
カットシーケンス３（Ｃ３）
Ｉピクチャの位置が通常シーケンスに比べて後ろに１枚ずれて「３番」のピクチャがＩピクチャ(I3)となる。ただし、「２番」のピクチャまでは通常のシーケンスを延ばす。カットのあるこのＧＯＰはI3- ピクチャから始まり、シーケンスの都合上、P12-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチャとB1- ピクチャとP2-
ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１２となる。
【００４３】
カットシーケンス４（Ｃ４）
Ｉピクチャの位置が通常シーケンスに比べて後ろに２枚ずれて「４番」のピクチャがＩピクチャ(I4)となる。ただし、「２番」のピクチャまでは通常のシーケンスを延ばし、かつ、I4- ピクチャの直前の「３番」のピクチャはＰピクチャ，３）。カットのあるこのＧＯＰはI4- ピクチャから始まり、シーケンスの都合上、P13-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチャ,B1-ピクチャ,P2-ピクチャ,P3-ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１３となる。
【００４４】
カットシーケンス５（Ｃ５）
Ｉピクチャの位置が通常シーケンスに比べて後ろに３枚ずれて「５番」のピクチャがＩピクチャ(I5)となる。ただし、「２番」のピクチャまでは通常のシーケンスを延ばし、かつ、I5- ピクチャの直前の２枚のうち「３番」はＢピクチャ(B3)、「４番」のピクチャはＰピクチャ(P4)とする。カットのあるこのＧＯＰはI5- ピクチャから始まり、シーケンスの都合上、P14-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。直前のＧＯＰは、B0- ピクチャ,B1-ピクチャ,P2-ピクチャ,B3-ピクチャ,P4-ピクチャまでを含むので、それに限りピクチャ枚数Ｎ＝１４となる。
【００４５】
カットシーケンス６（Ｃ６）
カットシーケンス０〜５のようにＩピクチャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が長くなり過ぎるので、このカットシーケンスでは、上記とは別のルールとし、短めの通常シーケンスを置きその後に改めてカットのあるシーケンスを置く。
B0- ピクチャから始まる通常のシーケンスはP5- ピクチャまでのピクチャ枚数Ｎ＝６で打ち切り、その後の「６番」のピクチャをカットのあるシーケンスのＩピクチャ（I6) とする。カットのあるこのＧＯＰはI6- ピクチャから始まり、シーケンスの都合上、P15-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４６】
カットシーケンス７（Ｃ７）
カットシーケンス６（Ｃ６）と同様に、単純にＩピクチャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が長くなり過ぎるので、別のルールとし、短めの通常シーケンスを置きその後に改めてカットのあるシーケンスを置く。
B0- ピクチャから始まる通常のシーケンスをP5- ピクチャまで続け、かつ、その後の「６番」にＰピクチャ(P6)を続け、ここでピクチャ枚数Ｎ＝７でＧＯＰのシーケンスを打ち切る。その直後のＧＯＰの「７番」のピクチャをカットのあるシーケンスのＩピクチャ(I7)とする。
カットのあるこのＧＯＰはI7- ピクチャから始まり、シーケンスの都合上P16-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４７】
カットシーケンス８（Ｃ８）
カットシーケンス７（Ｃ７）と同様に、単純にＩピクチャの位置を後ろにずらすと直前のＧＯＰの長さ（ピクチャ枚数Ｎ）が長くなり過ぎるので、別のルールとし、短めの通常シーケンスを置きその後に改めてカットのあるシーケンスを置く。
B0- ピクチャから始まる通常のシーケンスをP5- ピクチャまで続け、かつ、その後の「６番」をＢピクチャ(B6)とし「７番」にＰピクチャ(P7)を続け、ピクチャ枚数Ｎ＝８でこのＧＯＰのシーケンスを打ち切る。その直後のＧＯＰの「８番」のピクチャをカットのあるシーケンスのＩピクチャ(I8)とする。このＧＯＰはI8- ピクチャから始まり、シーケンスの都合上、P17-ピクチャまでのピクチャ枚数Ｎ＝１０となる。その後のＧＯＰは通常のシーケンスが続く。
【００４８】
再び図１１を参照して述べる。カット判定回路７６９においては、ＥＤＬ読み取り部７６７に入力される情報と手動編集点修正装置７６８によって追加変更された情報をもとに、どのタイムコードフレームでカットを置けばよいかは判明しているので、カットの近傍では、上で説明したカットシーケンスのどれを選べばよいかは簡単に求めることが出来る。
カット判定回路７６９は、通常のカットのない部分では、通常シーケンスＡＡの順番にビデオエンコーダ７７６に符号化処理シーケンス指示情報７７１を単純に繰り返し与えておき、カットの近傍では、カットシーケンス０（Ｃ０）からカットシーケンス８（Ｃ８）のどれかのうち適合するパターンをビデオエンコーダ７７６に与える。
【００４９】
遅延量
ビデオエンコーダ７７６を単純に構成するため、ビデオエンコーダ７７６では、特別な指示をしない限り、ＩピクチャまたはＰピクチャが指示されたら必ずＢピクチャが２枚続き、また、Ｂピクチャが２枚続いたらその次は必ずＩピクチャまたはＰピクチャを置くと言うルール（すなわち、ＩピクチャまたはＰピクチャの周期Ｍが３ということ）でしか符号化処理しないものとする。すなわち、ビデオエンコーダ７７６はこの単純なルールを適用している。ただし、ビデオエンコーダ７７６はあらかじめシーケンスを指定すればそのとおりにエンコードできるものとする。
この基本的な通常シーケンス以外の符号化処理を行いたいときには、あらかじめ、通常とは違うことは分かっていればよいわけであるので、ビデオエンコーダ７７６は遅延のないタイムコード７７０と符号化処理指示情報７７１を必要としている。
遅延量７７８は、ここで、図１２の波線部分に注目してみる。波線は通常シーケンスの単純ルール、すなわち、「ＩピクチャまたはＰピクチャが指示されたら必ずＢピクチャが２枚続き、また、Ｂピクチャが２枚続いたらその次は必ずＩピクチャまたはＰピクチャを置く」というルールが適用されない部分を示している。
図１２から明らかなように、カットを置くことによるこの不規則ルールの影響は、ＩピクチャまたはＰピクチャの周期Ｍが３の場合は、最大でもピクチャは３フレーム分であるので、画像遅延装置７７４の遅延量７７８の設定値は３フレームとすればよい。遅延量７７８は同時にビデオエンコーダ７７６にも入力されているので、結果的に、ビデオエンコーダ７７６は、遅延量７７８が既知の遅延ビデオ信号７７５と、遅延のないタイムコード７７０と符号化処理指示情報７７１から、通常とは異なるシーケンス（周期Ｍ＝３ではないケース）でエンコードしなくてはならないときには、具体的にどの画面から特別なエンコードをすればよいのかをそのひとつ前のフレームで知ることが出来る。
【００５０】
図１２を参照して述べた例は説明を容易するするため、通常シーケンスのピクチャ枚数Ｎ＝９，ピクチャ周期Ｍ＝３の場合について述べたが、ピクチャ枚数Ｎと周期Ｍが変化されば、たとえば、ピクチャ枚数Ｎと周期Ｍが大きくなれば、図１１を参照して述べたカットシーケンスの数も増大する。これに伴い図１２に波線で示した遅延量の数も大きくなる。
【００５１】
以上述べたように、「カット編集方式」によれば、ピクチャの編集に伴うピクチャの差し替えがあっても、ＧＯＰヘッダに設けられる、「CLOSED GOP」、(brocken link 」を用いず、ＥＤＬに基づくカットの考えを適用して、カットがある部分のＧＯＰの最初にＩピクチャをおいて、その前のＧＯＰとカットのあるＧＯＰとを独立させることにより、ピクチャの編集によってもＭＰＥＧの特質を維持して画質を低下させない符号化結果が得られる。
「カット編集方式」においては、通常シーケンスにおけるピクチャ枚数Ｎと周期Ｍに基づいた種類のカットシーケンスを準備しておき、ピクチャ枚数Ｎが非常に長くなる場合はカットのあるＧＯＰのピクチャ枚数を制限し、信号処理の遅延量をカットシーケンスに応じて設定しておき、カットのあるＧＯＰの最初にはＩピクチャが位置するようにピクチャを並べることにより、カットがあってもＧＯＰの独立性を維持して、ＭＰＥＧの特質を生かした符号化処理を可能にする。
【００５２】
以下、特願平８−４２９８０号において提案した「カット編集方式」の特徴を要約する。
「カット編集方式」によれば、ＭＰＥＧで符号化処理してしまったビデオを符号化処理の後で編集しても画質に影響がでない。換言すれば、「カット編集方式」によれば、ＭＰＥＧで符号化した帯域圧縮・符号化したピクチャについても、画質を低下させずに自由に編集作業ができる。この場合、通常のＭＰＥＧによる符号化と比べて、同様の画質を得るためのビット発生量に違いがでない。
「カット編集方式」においては、ＭＰＥＧビデオの編集に必要な「Broken Linkフラグ」や「Closed GOPフラグ」を用いないので、ＭＰＥＧでオプション扱いとなっているＧＯＰを用いる必要がない。
「カット編集方式」においては、ＥＤＬによって決まっているあらかじめ決められた場所で編集するという制限はあるものの、上で述べた利点が存在することにより、例えば、プログラムの全部の符号化処理が終了した時点で、ある「カットシーケンス」の画質に問題があったことに気がついた場合でも、その「カットシーケンス」のみをビットレートなどを再調整し再符号化処理し、ピクチャを差し替え編集をすることが許される。もし上記カット編集方式を用いなかった場合は、たったその部分を差し替えたいだけなのに、もう一度プログラムの頭から全部やり直すか、あるいは、画質の劣化を承知で「Broken Link フラグ」や「Closed GOP」を用いなければならない。しかし、そうしてしまうと、画質を良くしたいと思って行なった編集により、その前後の画質が劣化するという矛盾した結果になる。
【００５３】
「カット編集方式」におけるカットとしては、上述した編集段階において作成された編集決定リスト（ＥＤＬ）に基づいて行う他、定期的に行う、映像シーンの状況に応じて任意に設定できる。
すなわち、「カット編集方式」によれば、ＧＯＰ内のピクチャの差し替えなどがあっても、先行するＧＯＰのピクチャを参照せずに、そして、画質を低下させずに符号化が行える。特に、符号化された画像データの編集、差し替えが画質を低下させずに行える。
また、「カット編集方式」によれば、これまでのＧＯＰにおけるＧＯＰの不完全独立性が克服され、Closed GOP、brocken linkなどを使用せずに信号処理を行うことができる。したがって、「カット編集方式」によれば、ＧＯＰヘッダを使用しないでよく、ＧＯＰヘッダ部分にピクチャを置くことが可能になる。
【００５４】
本発明の実施例
上述したカット編集方式を適用した本発明の画像符号化方法とその方法について述べる。
図１３に本発明の画像符号化方法の処理を示すフローチャートを示す。本発明の画像符号化方法は、基本的に上述した２パス符号化処理をとる。しかしながら、その詳細は図１３に図解したように、画像処理する。
ステップＳ０１：後に編集点の候補となりうる「カット」の場所を指定する。
ステップＳ０２：「カット」位置に基づいた符号化処理シーケンスにより、仮符号化処理（第１回符号化処理）をし「DIFFICULTY（複雑度）」データを求める。
ステップＳ０３：得られた「DIFFICULTY」データにより、最終的に発生すべき総情報量をシーンごとの「DIFFICULTY」に比例するように、例えば、ＧＯＰ単位でビット量を割り振る。
ステップＳ０４：第２回目に正式に符号化処理（第２回符号化処理）をするときの符号化処理シーケンスは、仮符号化処理（第１回符号化処理）の時と同じものを使用して正式な符号化処理（第２回符号化処理）を行う。このとき、正式の符号化処理（第２回符号化処理）中は、割り振られたビット容量により、あらかじめ定められた量子化レベルの重み付け制御を行ない、画像の各帯域の情報用の制御を行う。
ステップＳ０５：正式に符号化処理された結果を、編集ディレクタ（またはオペレータ）が、モニター用デコード装置で監視して画質のチェックを行う。
ステップＳ０６：編集ディレクタの監視によってもし画質に問題がある部分があるは判断されたら、編集ディレクタの指示により、その部分の量子化レベルの重み付けの制御を変更し問題となる部分を含む「カット」位置を再符号化処理する。
【００５５】
再符号化処理について
再符号化処理を行う場合には、ほとんどの場合が発生ビット量が増加する方向に行われることが予想される。従って、もし定められた総容量以内に収めるならば、増加した分に見合ったビット量を他の部分で減少させる必要がある。そのために再符号化処理を行う際には次に示すようにいくつかの方法をとることができる。
第１の方法：画質が問題となる部分で、一旦、符号化処理を止めて、再符号化処理によるビット増加量に相当する情報量をそれ以前のシーンのどこかで情報量を減少させても問題になりにくい場所を選び、問題となるシーンのビットの増加量に見合うようにその部分の量子化レベルも下げて、両者とも再符号化処理する。
【００５６】
第２の方法（その１）：問題となるシーンの量子化レベルを上げて再符号化処理し、増加したビット量は前借りの形で保留しておき、後に符号化処理されるシーン全体から均等にビット量を差し引き、結果、その後のビット量を減少させることにより、総ビット量を定められた範囲に収める。
【００５７】
第２の方法（その２）：問題となるシーンの量子化レベルを上げて再符号化処理し、増加したビット量は前借りの形で保留しておくが、後に符号化処理されるシーン全体からではなく、問題になりにくそうなシーンを特定し、その部分の量子化レベルを下げておき符号化処理を続け、結果、その後のビット量を減少させることにより、総ビット量を定められた範囲に収める。
【００５８】
第３の方法：問題となるシーンまたは「カット」は、その場では再符号化処理せずに、その場所を特定するマーキング（例えば、タイムコードや「カット」の番号を控えておくなど）だけして符号化処理を続ける。最後まで符号化処理が終わった時点で、問題となるシーンのすべての量子化レベルの重み付けを変更して再符号化処理し、その時に増加したビット量に見合う分を減少させるべく量子化レベルを下げても問題のないようなシーンを選び出し、その部分のビット量を減少させて再符号化処理し、結果、総ビット量を定められた範囲に収める。
【００５９】
「カット編集方式」を適用する本発明においては、上記のいずれの場合にも対応できるので、本発明においてはどの方法で再符号化処理を行うかは問わない。ここでは、第３の方法を適用した場合を例示する。
【００６０】
以下、上述した画像符号化方法の詳細について述べる。
ステップＳ０１：カット位置の事前設定
ステップＳ０２における仮符号化処理、および、ステップＳ０６における再符号化処理を行う、カット位置については、上述した「カット編集方式」として記述したように、事前にＥＤＬなどに規定しておく。
【００６１】
ステップＳ０２：仮符号化処理（第１回符号化処理：「DIFFICULTY（複雑度）」データの算出）
図１４は、仮符号化処理（第１回符号化処理）を行い、「DIFFICULTY（複雑度）」のデータを求める本発明の実施例としての画像処理装置の構成図である。図１４における装置の一部は図１１に図解した装置の一部と同様の処理を行う。
マスターテープ１に記録されている圧縮符号化処理される対象の画像データはデジタルＶＴＲ２で再生される。
マスターテープ１に対して、図１１を参照して上述した「カット編集方式」に基づき、編集データリスト（ＥＤＬ）情報、あるいはそれに修正を加えたもの、または自動的に等間隔にカット設定装置６により、編集の候補となるカット点を定める。
マスターテープ１に対する編集点の情報は、カット判定／指定回路７に送られる。
デジタルＶＴＲ２で再生されるマスターテープ１にはあらかじめタイムコードＴＣを記録しておき、そのデジタルＶＴＲ２からのタイムコード出力３は、カット判定／指定回路７と画像タイプ制御部８に送られている。
カット判定／指定回路７では、図１１と同様の方法でカット設定装置６から入力された編集点情報を考慮しつつ、どのような圧縮シーケンス、すなわち、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び方を組めばよいか判定を行い、入力されるタイムコード出力３の一つ一つのフレームナンバーとピクチャのシーケンスの対応を準備しておく。例えば、編集点のない付近でのシーケンスでは、通常の・・・ＢＢＰＢＢＩＢＢＰ・・・とし、編集点の付近では「カットのあるシーケンス」・・・ＢＢＰＩＢＢＰＢＢ・・・と言う具合にあらかじめピクチャのタイプの符号化処理される順番を決定する。
【００６２】
デジタルＶＴＲ２においてマスターテープ１の再生を開始する。カット判定／指定回路７は、入力されてくるタイムコード出力３と、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかを符号化処理シーケンス指示９として画像タイプ制御部８に送る。一方、デジタルＶＴＲ２で再生されたビデオ信号４は、画像遅延装置５に送られる。
上述した「カット編集方式」で述べたルールに従って遅延量１１は外部より設定され、それと同じ情報が画像タイプ制御部８にも送られている。遅延したビデオ信号１０は画像タイプ制御部８に入力される。画像タイプ制御部８には、遅延していないタイムコード出力３と、それに伴った符号化処理シーケンス指示９が入力されているので、画像タイプ制御部８は、ビデオ信号の遅延分だけ、前もってどのタイミングでどのような画像タイプ（Ｉ，Ｂ，Ｐピクチャ）を生成すればよいかが判る。
【００６３】
画像タイプ制御部８は、それぞれのピクチャータイプに応じて生成された画像の二次元画素情報１３とその処理時間に対応して遅延させたタイムコード（ＴＣ）１２を直交変換装置の１例としてのＤＣＴ演算装置１４に送り出す。ＤＣＴ演算装置１４では、画像情報を二次元の画素データから、たとえば、８×８画素ごとのブロックごとに、周波数成分の情報に変換し、各帯域に分かれた周波数成分画像情報１６を出力する。また、どの時間の画像がどの程度の情報量を持っていたのかを保存する目的のため、ＤＣＴ演算装置１４からは同時に、その処理遅延時間に対応して遅延させたタイムコード（ＴＣ）１５も出力され、次の量子化器１７に送られる。量子化器１７の出力は、逆量子化器２０と逆ＤＣＴ演算装置２１を通じて量子化の誤差を含んだ二次元画素情報に逆変換され、画像タイプ制御部８にフィードバックされる。これにより、画像タイプ制御部８は、ＢピクチャまたはＰピクチャのための差分信号を生成することができる。
画像タイプ制御部８では、動き予測やその補償も行っているが、量子化誤差を含めたフィードバック情報は、これらの処理を適応化するのに重要な情報となる。
【００６４】
量子化器１７では、特に重み付けなどは行われず各帯域ごとに均等に量子化するような仮量子化レベル２２で画像の周波数帯域情報を量子化する。
量子化されたビット１９は、量子化に要した時間に対応するだけ遅延されたタイムコード（ＴＣ）１８と共に出力される。この結果、時間ごとの画像情報量の変化が得られこれが「DIFFICULTY」データ２３となる。
【００６５】
ステップＳ０３〜Ｓ０４：「DIFFICULTY」によるビット量の割りあて、および、正式の符号化処理（第２回符号処理）
図１５は正式に符号化処理を行う装置の構成図である。
量子化器１７までの接続と構成は、「DIFFICULTY」データを求めたときの図１４の装置構成と同じであり、図１５の装置は、図１４の装置構成に、「DIFFICULTY」データ２４、量子化レベル制御回路２６、手動量子化レベル修正装置２７、エントロピー符号化器２９、出力レート決定装置３２、ストリーム出力装置３４、モニター用デコーダ３５、ストレージ装置３７、符号化制御部３８が加わった構成である。したがって、図１４と図１５に示した装置構成で共通するものは、第１回の符号化処理工程と、第２回の符号化処理工程の処理において、共用することができる。
【００６６】
圧縮エンコーダされる対象の画像データが記録されているマスターテープ１はデジタルＶＴＲ２で再生される。ここで重要なことは、画像シーケンスを「DIFFICULTY」データを求めたときと全く同一のものとするために、同一のカットの設定を保つことである。従って、カット設定装置６は接続はされているが、動作はしない。つまり、マスターテープ１に対する編集点の情報は、「DIFFICULTY」データを求めたときと同じものがカット判定／指定回路７に保存されている。また、デジタルＶＴＲ２で再生されるマスターテープ１の内容にはあらかじめタイムコードを記録しておき、デジタルＶＴＲ２からのタイムコード出力３は、カット判定／指定回路７と画像タイプ制御部８に送られている。
カット判定／指定回路７では、入力された編集点情報を考慮しつつ、どのような圧縮シーケンス（Ｉピクチャ、Ｐピクチャ、Ｂピクチャの並び方）を組めばよいか判定を行い、入力されるタイムコード出力３の一つ一つのフレームナンバーとピクチャのシーケンスの対応を準備しておく。例えば、編集点のない付近でのシーケンスでは、通常の・・・ＢＢＰＢＢＩＢＢＰ・・・とし、編集点の付近では「カットのあるシーケンス」・・・ＢＢＰＩＢＢＰＢＢ・・・と言う具合にあらかじめピクチャのタイプのエンコードされる順番を決定する。
【００６７】
ピクチャ列、たとえば、映画番組のピクチャ列の最初から再生を開始するために、符号化制御部３８からテープ走行指示４０がデジタルＶＴＲ２に出力され、マスターテープ１に記録された画像データの再生が開始される。出力レート決定装置３２とストレージ装置３７には通常の符号化方式３９を指示しておく。カット判定／指定回路７は、入力されてくるタイムコード出力３と、あらかじめ求めておいたシーケンスとの対応をとりながら、そのタイムコードに相当する画像をどのピクチャのタイプで圧縮すればよいかを符号化シーケンス指示９として画像タイプ制御部８に送る。一方、デジタルＶＴＲ２で再生されたビデオ信号４は、画像遅延装置５に送られる。
【００６８】
上述したカット編集方式で述べたルールに従って、外部から設定された遅延量１１と同じ情報が画像タイプ制御部８にも送られている。遅延したビデオ信号１０は画像タイプ制御部８に入力される。画像タイプ制御部８には、遅延されていないタイムコード出力３と、それに伴った符号化シーケンス指示９が入力されているので、画像タイプ制御部８は、ビデオ信号の遅延分だけ、前もってどのタイミングでどのような画像タイプ（Ｉ，Ｂ，Ｐピクチャ）を生成すればよいかが判る。
【００６９】
画像タイプ制御部８は、それぞれのピクチャータイプに応じて生成された画像の二次元画素情報１３とその処理時間に対応して遅延させたタイムコード（ＴＣ）１２をＤＣＴ演算装置１４に送り出す。ＤＣＴ演算装置１４では、画像情報を二次元の画素から、たとえば、８×８画素単位のブロックで、周波数成分の情報に変換し、各帯域に分かれた周波数成分画像情報１６を出力する。また同時に、その処理遅延時間に対応して遅延させたタイムコード（ＴＣ）１５も出力され、量子化器１７に送られるとともに、量子化レベル制御回路２６にも送られる。
【００７０】
量子化器１７の出力は、逆量子化器２０と逆ＤＣＴ演算装置２１を通じて量子化の誤差を含んだ二次元画素情報に逆変換され、画像タイプ制御部８にフィードバックされる。これにより、画像タイプ制御部８は、ＢピクチャまたはＰピクチャの差分信号を生成することができる。
画像タイプ制御部８では、動き予測やその補償も行っているが、量子化誤差を含めたフィードバック情報は、これらの処理を適応化するのに重要な情報となる。
量子化レベル制御回路２６には、「DIFFICULTY」データ２４が入力されており画像情報量の時間変化データ２５が与えられている。量子化レベル制御回路２６は、入力されている遅延させたタイムコード（ＴＣ）１５と画像情報量の時間変化データ２５から、どのような重み付け制御が必要かを決定し、量子化レベル重み付け制御信号２８を量子化器１７に出力する。通常、とくに画質に問題ない場合は、手動量子化レベル修正装置２７は動作しない。
量子化器１７では、量子化レベル重み付け制御信号２８に従って、各帯域ごとに量子化し情報量の削減を行う。量子化されたビット１９は、量子化に要した時間に対応するだけ遅延されたタイムコード（ＴＣ）１８と共にエントロピー符号化器２９に出力される。エントロピー符号化器２９では、さらにビット量の圧縮を行うために可逆圧縮手法であるエントロピー符号化を行い、この前段まで固定長ビット列であったものを可変長ビット列に変換する。この変換方式をＶａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ：ＶＬＣと呼ぶ。
エントロピー符号化器２９からは、可変長符号に変換された最終的な画像符号３１とその画像を表示すべき時刻を示した時間情報３０が出力レート決定装置３２に送られている。
【００７１】
符号化された後はその結果が出力される。ここで、可変レートのビット出力について一般的な事柄を考察する。
ＭＰＥＧにおいては、通常、符号化された画像情報は音声情報やその他の符号とともに、一本のビッット列に多重化されて出力されるが、画像符号が可変レートである場合は、多重化された出力ビット列も可変レートとなる。画像、音声、その他の情報が多重化された状態で出力レートとなる。音声は固定レートである。その他の情報は画像符号に比べて極めて微量であるので、説明を簡単にするために本質的にビットレートを決定している画像符号のみが出力される場合で説明する。
【００７２】
可変レート符号の受信／読み出しについて
可変レートの画像符号を何らかのストレージデバイス、たとえば、ＤＶＤに記録し、それを読み出しデコードする場合などを考える。この場合デコーダ側としてはどのようにして可変レートで符号を読みだせばよいかを考察する。例えば、仮にストレージデバイスからは最大10Ｍbps で符号を読みだせるのもとし、実際にはそこに記録されている符号は５Ｍbps で符号化されていたものとする。この場合、最大速度の10Ｍbps でやみくもに読み込んでしまうと、実際に復号され画像信号として消費される情報量は５Ｍbps であるから、結局、入力が10Ｍbps 出力が５Ｍbps となり、即座に読み出しバッファはオーバーフローする。
このことを防ぐためには、記録された情報を「いつ」「どのくらいのスピード」で読みだせばよいかが既知であればよい。
【００７３】
ＭＰＥＧ２においては、エンコードされた画像情報をそのまま出力することはなく、適切な長さにパケット化し（このパケットはＰＥＳ：ＰＡＣＫＥＴＩＺＥＤ ＥＬＥＭＥＮＴＡＲＹ ＳＴＲＥＡＭと呼ばれる）、あるいは、ＰＥＳをいくつかまとめたＰＡＣＫと呼ばれる単位に再パケット化している。ＰＥＳまたはＰＡＣＫには、そのパケットが読み出されるときのビットレートと読み出すべき時間がヘッダ情報として付け加えられている。復号装置においては、この情報を元に読み出していればそのバッファはオーバーフローすることもアンダーフローすることもない。
例えば上述した例の場合、実際の読み出し速度が10Ｍbps に固定されていたとしても、それぞれのパケットを読みだす時間がそのパケットのヘッダとして指定されているわけだから、ヘッダまで10Ｍbps で読み出し指定の時間までは読み出しを休むことができ、結果、バースト的に読みだすことになり、平均して５Ｍbps の読み出し速度を得ることができる。
【００７４】
符号化装置においては、符号化された画像が最終的に復号され表示されるべき時間は、オリジナルの、例えば、マスターテープ１のタイムコードからあらかじめ分かっている。また各画像１枚１枚が何ビットあるかも当然知っている。従って、ある符号化された画像情報を表示時間までに揃えるためには、「いつ」「どのくらいの速度」で送ればよいかを決定することは困難ではない。ＭＰＥＧ２における符号化装置では、その「いつ（クロックリファレンス）」と「どのくらいの速度（パケットレート）」を求め、その情報をＰＥＳないしＰＡＣＫのヘッダとして付加しなければならないことになっている。
【００７５】
出力レート決定装置３２には、可変長符号に変換された最終的な画像符号３１とその画像を表示すべき時刻を示した時間情報３０が入力されている。出力レート決定装置３２は、この時間情報を元にＰＥＳないしＰＡＣＫのヘッダ情報を求め、入力された画像符号をパケット化し最終符号出力３３としてストリーム出力装置３４に送る。
【００７６】
出力レート決定装置３２は、符号化処理を始める際に符号化制御部３８より、通常の符号化方式の指令３９の指示を受けている。出力レート決定装置３２は、後に画質改善のために編集が可能となるようにうすために、最終符号出力３３の元になった情報である、「画像符号＋時間情報」３６をストレージ装置３７に通常、符号化処理の結果によるというマーキングとともに保存しておく。
【００７７】
ステップＳ０５：符号化処理結果の監視
最終符号出力３３はモニター用デコーダ３５にも送られている。編集ディレクタ（オペレータ）は、デコーダ３５に接続されたモニター（図示せず）に表示された符号化処理結果を観察して、その画質を監視することができる。もし、画質に問題があったならば、編集ディレクタは画質が問題となる位置を指示する。具体的には、上述した再符号化処理に従い、その部分に相当する画像を表示すべき時刻を示した時間情報４１を手動量子化レベル修正装置２７に記録しておく。
正式の符号化処理が一通り終了した時点で、画質に問題のある場所がどの「カット」に相当するかは、手動量子化レベル修正装置２７に記録されていた時間情報とカット判定／指定回路７に保存されているタイムコードとカットの関係とからで容易に求めることができる。
【００７８】
ステップＳ０６：重み付け制御の変更
画質が問題となる部分に相当する「カット」を符号化制御部３８から再度再生しモニター用デコーダ３５を監視しながら、手動量子化レベル修正装置２７において量子化レベルの重み付けを調整し、画質に問題がない量子化レベルを求める。求めた量子化レベルの重み付け制御値はその「カット」に相当するタイムコードとともに量子化レベル制御回路２６に与えておく。画質に問題が有る部分が複数あるときには、この作業を繰り返す。
【００７９】
量子化レベル制御回路２６においては、もともと「DIFFICULTY」データ２４によって総発生ビット量が既知であるので、手動量子化レベル修正装置２７によって量子化レベルが修正された結果、新しい総発生ビット量を知ることも可能である。もし、総発生ビット量があらかじめ定められて総容量を越えてしまうようなことがあれば、今度は逆に、ビット量を減らしても問題になりにくそうな「カット」を指定して、その部分を上記と同様に再生しながら手動量子化レベル修正装置２７によって情報量が抑制されるように量子化レベルを調整する。
【００８０】
ステップＳ０７：再符号化処理
このようにして、必要な部分の量子化レベルを調整し直したら、符号化制御部３８から、対象となる「カット」のみをエンコードさせるようにデジタルＶＴＲ２で順次再生させる。この符号化処理は、上述した正式の符号化処理と同様に進行する。このとき、出力レート決定装置３２とストレージ装置３７には、エンコードの結果が再エンコードによるものであることを示すため、符号化方式の指令３９を符号化制御部３８から与えておく。これにより、ストレージ装置３７には、改善された画質を持つ「画像符号＋時間情報」３６が再エンコードのマーキングとともに記録されることになる。
【００８１】
最終出力
全ての再エンコードが終了したならば、ストレージ装置３７には通常／再エンコードの画像符号及び時間情報の全てが記録されている。出力レート決定装置３２はこの記録されているデータを元に、プログラムの先頭から順次パケット化していき、最終符号出力３３としてストリーム出力装置３４に出力する。
【００８２】
クロックリファレンスとパケットレート
エンコーダでは符号化された画像情報を表示時間までに揃えるためには、「いつ」「どのくらいの速度」で送ればよいかを決定し、クロックリファレンスとパケットレートを求めるが、再符号化処理により情報量が増加しビットレートを上げた場合にどのようになるかを説明する。
図１６は、平均した画像符号のビットレートが５Ｍbps の時の例を示すグラフである。ここでは、説明を簡単にするため１フレームの画像符号が１パケットを形成するものとする。図中において、横軸は時間、縦軸はビット量の累積、斜めの線は平均ビットレートを表す。一つ一つの小さな四角形は、１ビデオフレームの画像を符号化の後にパケット化したのを表しており幅が１フレームの時間に相当し、その高さでビット容量を示している。また、２本の斜め線で挟まれた領域は、復号装置のバッファサイズ４１を示しており上辺を越えればオーバーフロー、下辺を越えればアンダーフローである。全ての画像がその領域内に収まっているときには、デコーダーのバッファはオーバーフローもアンダーフローも越していないことを表している。
【００８３】
例えば、画像符号Ａ（４２）を５Ｍbps で送る場合を考える。画像符号Ａの高さを見れば、５Ｍbps の速度ではこの容量を１ビデオフレーム時間で送ることはできない。従って、それより以前から送り始めなければならない。また、画像符号Ａを全て送り終わったときに、バッファがオーバーフローのギリギリで終わることなく、余裕をもってバッファ容量の中ほどで終了するようにすると仮定する。この場合の、パケット化された画像符号Ａの出力開始点４３と終了点４４は、画像符号Ａのそれぞれ上端と下端から水平に過去（左側）の向きに直線を延ばし、それが斜め線との交点でもとまる。画像符号Ａのパケット容量をＳとおき、出力開始点４３をＴ１、同じく終了した点４４をＴ２とおくと、Ｓ＝（Ｔ２−Ｔ１）×５Ｍbps の関係になる。画像符号パケットの下端から水平に過去の向きに延ばした直線と斜め線との交点が、ここでの例ではＴ１がその画像符号クロックリファレンスである。
【００８４】
図１７に示すように、画質の一部に問題が有り、量子化レベルを上げて対処する場合が生じたとする。白い四角形で元々の画像符号の累積、濃い灰色の四角形で画質改善後の画像符号の累積を表す。図より明らかなように、画質改善後はもはや平均して５Ｍbps では送ることができない。ところが変更部分の総容量と時間から計算して（ビットレート＝総容量／変更部分の時間）みると、この新しい画像符号は７Ｍbps のレート（これが、変更部分のパケットレートになる）であれば、バッファの流域内に収められることができることが判明したとする。
【００８５】
図１８に、この場合、エンコーダ出力のビットレートはどの部分は変更されるかを示す。画像データそのものの変更部分はＴ４より始まり、Ｔ６で終わるものとし、変更前の元の画像符号のビット発生量をＳ１（５１）、画質を改善した結果の画像符号のビット発生量をＳ２（５２）とする。
画質改善のための変更によりバッファ残量へ与える影響を、変更部分だけにとどめるために、変更箇所の最後のフレームの次に来る元々存在したフレームがバッファに書き込まれたときのバッファ残量を同一とする（５０）ことを目標におくとする。
変更部分の先頭の画像符号パケットの下端から左に直線を引き元のビットレートを表す５Ｍbps の斜め線との交点Ｔ３が、変更部分の出力開始点（クロックリファレンス）となる。変更部分はＳ２／（Ｔ６−Ｔ４）＝７Ｍbps であれば、うまく送ることができるのであるから、変更部分の最初のフレームのクロックリファレンスＴ３から７Ｍbps の斜め線を引けば、これが新しいビットレートを表すことになる。
変更部分のそれぞれの画像符号パケットの下端から左側に直線を引き、７Ｍbps の直線との交点を求めれば、そこがそれぞれの画像符号パケットの新しい出力の開始点（クロックリファレンス）となる。この結果、変更部分の全てのクロックリファレンスは変更され、例えば、同一フレームの画像符号パケットで比較すれば、位置（４５）のように元より前にずれることもあれば、位置（４６）のように後ろにずれることもある。７Ｍbps の斜め線は、変更部分の最後のフレームを出力し終わったところＴ５で終了する。つまり、変更後の画像符号にビット累積の軌跡はうすい灰色で表したように、Ｔ３からＴ５までは７Ｍbps に上がり（４８）、Ｔ５からビットレートは元の５bps に戻る（４９）。
７Ｍbps という値は、変更部分の総容量と時間から単純計算して求めた（Ｓ２／（Ｔ６−Ｔ４）＝７Ｍbps ）である。また、Ｔ５はＳ２／７Ｍbps ＝（Ｔ５−Ｔ３）の関係になることも明らかである。従って、Ｔ６−Ｔ４＝Ｔ５−Ｔ３である。一方、変更部分の時間は変更の前後では同一（Ｔ６−Ｔ４）である。変更する前も後もＴ３からビットを出力し始めているから、変更部分の次に来るフレームの出力開始点（クロックリファレンス）Ｔ５は元々の開始点と一致する（４７）。その時点での画像符号のビット量の累積値は、ちょうど、画質を向上させた結果のビット量Ｓ２（５２）から元の発生ビット量Ｓ１（５１）を引いた分（Ｓ２−Ｓ１）だけ上に並行移動しているだけであるので、５Ｍbps に戻ったところでのバッファの残量は変更の前のときと同一の値となる。
【００８６】
図１３に図解した本発明の画像符号化方法の動作は、図１４および図１５に図解した両者の装置によって行われる。したがって、本発明の実施に際しては、図１４に図解した装置と図１５に図解した装置を一体構成にしてもよい。その場合、共用する装置を重複させずに用いて簡略した構成にすることができる。
【００８７】
以上の実施例では、再符号化処理として、第３の例を述べたが、その他の再符号化処理についても上記同様に行うことができる。
【００８８】
なお、以上の説明では可変レートの場合を用いたが、可変レート画像符号に一定のパッディングビットを加えて固定レートとしているようなシステムでも同様に実施できる。得られたビット列は、完全にＭＰＥＧ２フォーマットである。
【００８９】
【発明の効果】
本発明によれば、画質を正式に符号化処理した（第２回符号化処理）後に、事前に編集事情を考慮して規定した「カット」をもとに部分的に修正できる。
また本発明は、「DIFFICULTY（複雑度）」データを求める際に厳密さが不要になる。換言すれば、本発明においては、「DIFFICULTY」データを求める作業を簡略化できるため、２パス符号化処理の１パス目の時間を短縮できる。
なお、本発明における「カット」の概念、及び、本発明の一部をなす出力レート決定装置は、ＭＰＥＧ符号化処理されたお互いに無関係な複数のビット列同士を編集しつなぐことを可能とし、符号化処理後のビット列の再利用をも可能になる。
【図面の簡単な説明】
【図１】 図１は固定ビットレート符号化処理と可変ビットレート符号化処理の概要を示す図である。
【図２】 図２は可変ビットレート符号化処理の処理の概要を示す図である。
【図３】 図３はＭＰＥＧが適用されるシステム構成の１例として画像伝送系統における画像符号化装置と画像復号化装置とのシステム構成を示した図である。
【図４】 図４はＭＰＥＧにおける符号化順序を示したグラフである。
【図５】 図５は図４に示したピクチャの意味とのその関連を示したグラフである。
【図６】 図６（Ａ）はＧＯＰの構成を示したＭＰＥＧのビットストリームの構成を示すグラフであり、図６（Ｂ）はＧＯＰヘッダの内容を示す図であり、図６（Ｃ）はピクチャヘッダの内容を示す図である。
【図７】 図７は一般的なＭＰＥＧの画像列の様子を示すグラフである。
【図８】 図８は、ＧＯＰ単位での画像編集を行なったときに起こる問題を説明するための図である。
【図９】 図９はＭＰＥＧにおける「CLOSED GOP」を説明するグラフである。
【図１０】 図１０は「カット編集方式」における圧縮・符号化処理を示すグラフである。
【図１１】 図１１は「カット編集方式」におけるビデオ信号処理装置の構成図である。
【図１２】 図１２は符号化処理シーケンスを図解したグラフである。
【図１３】 図１３は本発明の画像符号化方法の処理を図解したフローチャートである。
【図１４】 図１４は本発明の実施例として、「DIFFICULTY」を算出する仮符号化処理を行う画像符号装置の構成図である。
【図１５】 図１５は本発明の実施例として、正式に符号化処理を行う装置の構成図である。
【図１６】 図１６は本発明における平均した画像符号のビットレートが５Ｍbps の時の例を示すグラフである。
【図１７】 図１７は本発明において、画質の一部に問題が有り、量子化レベルを上げて対処する場合の処理を示すグラフである。
【図１８】 図１８は本発明において、エンコーダ出力のビットレートはどの部分が変更されるかを示すグラフである。
【符号の説明】
１・・マスターテープ、２・・デジタルＶＴＲ
３・・タイムコード出力、４・・ビデオ信号
５・・画像遅延装置、６・・カット設定装置
７・・カット判定／指定回路、８・・画像タイプ制御部
９・・符号化シーケンス指示、１０・・遅延したビデオ信号
１１・・遅延量、１２・・遅延させたタイムコード（ＴＣ）
１３・・画像の二次元画素情報
１４・・ＤＣＴ演算装置、１５・・遅延させたタイムコード（ＴＣ）
１６・・周波数成分画像情報
１７・・量子化器、１９・・量子化されたビット
２０・・逆量子化器、２１・・逆ＤＣＴ演算装置
２２・・仮量子化レベル、２３，２４・・「DIFFICULTY」データ
２５・・画像情報量の時間変化データ
２６・・量子化レベル制御回路、２７・・手動量子化レベル修正装置
２８・・量子化レベル重み付け制御信号
２９・・エントロピー符号化器、３０・・時間情報
３１・・最終的な画像符号
３２・・出力レート決定装置、３３・・最終符号出力
３４・・ストリーム出力装置、３５・・モニター用デコーダ
３６・・「画像符号＋時間情報」
３７・・ストレージ装置、３８・・符号化制御部
３９・・符号化方式の指令、４０・・テープ走行指示
４１・・復号装置のバッファサイズ
１００・・ビデオテープ記録再生装置（ＶＴＲ）
２００・・画像符号化装置（エンコーダ）
３００・・蓄積メディア３（または伝送経路）
４００・・画像復号化装置（デコーダ）
５００・・ＴＶモニタ
Claims (16)
- 映像信号を符号化して符号化データを生成する符号化装置において、
上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定手段と、
上記区切り決定手段により決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成手段と、
上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出手段と、
上記発生ビット量算出手段により算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出手段と、
上記割り振りビット量算出手段により算出された割り振りビット量及び上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス構成手段により構成された上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段と、
を有する符号化装置。 - 上記カットシーケンス構成手段は、上記区切り決定手段により決定された上記区切りの直後の新たなＧＯＰ内において表示順にみた最初のピクチャをＩピクチャとして符号化処理するようにピクチャタイプを決定し、上記区切り決定手段により決定された上記区切りの直前の新たなＧＯＰにおいて表示順にみた最後のピクチャをＰピクチャとして符号化処理するようにピクチャタイプを決定する、
請求項１に記載の符号化装置。 - 上記符号化手段は、上記カットシーケンス内のピクチャを符号化することにより生成した部分符号化データを、上記カットシーケンス内のピクチャを再符号化することにより生成した部分再符号化データに置き換えることにより、上記符号化データを生成する、
請求項１に記載の符号化装置。 - 上記符号化手段は上記量子化レベルを下げて上記カットシーケンス内のピクチャを再符号化する、
請求項１に記載の符号化装置。 - 上記符号化手段は、上記カットシーケンス以外の所定部分において、上記カットシーケンス内のピクチャの再符号化に伴う発生ビット量に相当するビット量を減少させるように、量子化レベルを変更して上記カットシーケンス内のピクチャを再符号化する、
請求項４に記載の符号化装置。 - 映像信号を符号化して符号化データを生成する符号化方法において、
上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定工程と、
上記区切り決定工程において決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成工程と、
上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出工程と、
上記発生ビット量算出工程において算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出工程と、
上記割り振りビット量算出工程において算出された割り振りビット量及び上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス構成工程において構成された上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程と
を有する符号化方法。 - 上記カットシーケンス構成工程において、上記区切り決定工程において決定された上記区切りの直後の新たなＧＯＰ内において表示順にみた最初のピクチャをＩピクチャとして符号化処理するようにピクチャタイプを決定し、上記区切り決定工程において決定された上記区切りの直前の新たなＧＯＰにおいて表示順にみた最後のピクチャをＰピクチャとして符号化処理するようにピクチャタイプを決定する、
請求項６に記載の符号化方法。 - 上記符号化工程において、上記カットシーケンス内のピクチャを符号化することにより生成した部分符号化データを、上記カットシーケンス内のピクチャを再符号化することにより生成した部分再符号化データに置き換えることにより、上記符号化データを生成する、
請求項６に記載の符号化方法。 - 上記符号化工程において上記量子化レベルを下げて上記カットシーケンス内のピクチャを再符号化する、
請求項６に記載の符号化方法。 - 上記符号化工程において、上記カットシーケンス以外の所定部分において、上記カットシーケンス内のピクチャの再符号化に伴う発生ビット量に相当するビット量を減少させるように、量子化レベルを変更して上記カットシーケンス内のピクチャを再符号化する、
請求項６に記載の符号化方法。 - 映像信号を符号化して符号化データを生成する符号化装置において、
上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出手段と、
上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段と、
を有する符号化装置。 - 映像信号を符号化して符号化データを生成する符号化方法において、
上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出工程と、
上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャを量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程と
を有する符号化方法。 - 映像信号を符号化した符号化データを記録媒体に記録する記録装置において、
上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定手段と、
上記区切り決定手段により決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成手段と、
上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出手段と、
上記発生ビット量算出手段により算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出手段と、
上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンス構成手段により構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化手段と、
上記符号化手段により生成された上記符号化データを上記記録媒体に記録する記録手段と
を有する記録装置。 - 映像信号を符号化した符号化データを記録媒体に記録する記録方法において、
上記映像信号におけるカット位置の直後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように、当該新たなＧＯＰの区切りを決定する区切り決定工程と、
上記区切り決定工程において決定された上記区切り前後の上記新たなＧＯＰの間で符号化に伴う参照予測を必要としないように、上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定して上記新たなＧＯＰを構成することにより、上記カット位置を含むカットシーケンスを構成するカットシーケンス構成工程と、
上記カットシーケンス構成工程において構成された上記カットシーケンス内のピクチャに従って上記映像信号を符号化することにより、符号化に伴う発生ビット量を算出する発生ビット量算出工程と、
上記発生ビット量算出工程において算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振る割り振りビット量を算出する割り振りビット量算出工程と、
上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンス構成工程において構成された上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を量子化レベルを変更して再符号化することにより、上記符号化データを生成する符号化工程と、
上記符号化工程において生成された上記符号化データを上記記録媒体に記録する記録工程と
を有する記録方法。 - 映像信号を符号化した符号化データを記録媒体に記録する記録装置において、
上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出手段と、
上記割り振りビット量算出手段により算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を再度符号化することにより、上記符号化データを生成する符号化手段と、
上記符号化手段により生成された上記符号化データを上記記録媒体に記録する記録手段と、
を有する記録装置。 - 映像信号を符号化した符号化データを記録媒体に記録する記録方法において、
上記映像信号におけるカット位置の前後のピクチャが表示順にみて符号化シーケンスに対する新たなＧＯＰの先頭になるように区切りが決定された上記新たなＧＯＰの間において、符号化に伴う参照予測を必要としないように上記新たなＧＯＰ内におけるピクチャのピクチャタイプを決定することによって構成された上記カット位置を含むカットシーケンスに従って、上記映像信号を符号化することによりピクチャ毎に算出された上記発生ビット量に基づいて、上記映像信号を符号化する際に割り振るビット量を算出する割り振りビット量算出工程と、
上記割り振りビット量算出工程において算出された上記割り振りビット量及び上記カットシーケンスに従って上記映像信号を符号化するとともに、上記カットシーケンス内のピクチャに対応する部分を再度符号化することにより、上記符号化データを生成する符号化工程と、
上記符号化工程において生成された上記符号化データを上記記録媒体に記録する記録工程
を有する記録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27899096A JP4416845B2 (ja) | 1996-09-30 | 1996-09-30 | 符号化装置及びその方法、および、記録装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27899096A JP4416845B2 (ja) | 1996-09-30 | 1996-09-30 | 符号化装置及びその方法、および、記録装置及びその方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005342955A Division JP4301237B2 (ja) | 2005-11-28 | 2005-11-28 | 符号化装置及びその方法、記録装置及びその方法、および、記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10108200A JPH10108200A (ja) | 1998-04-24 |
| JP4416845B2 true JP4416845B2 (ja) | 2010-02-17 |
Family
ID=17604884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27899096A Expired - Fee Related JP4416845B2 (ja) | 1996-09-30 | 1996-09-30 | 符号化装置及びその方法、および、記録装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4416845B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4221676B2 (ja) | 2006-09-05 | 2009-02-12 | ソニー株式会社 | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム |
| CN102223527B (zh) * | 2010-04-13 | 2013-04-17 | 华为技术有限公司 | 频带加权量化编解码方法和装置 |
| JP4924746B2 (ja) * | 2010-08-13 | 2012-04-25 | カシオ計算機株式会社 | 符号量制御装置、符号量制御方法、符号量制御プログラム、動画記録装置 |
| BR112013020068A2 (pt) * | 2011-01-28 | 2018-03-06 | Eye Io Llc | métodos e parelhos para controle adaptativo da taxa de bits baseado em cenas |
-
1996
- 1996-09-30 JP JP27899096A patent/JP4416845B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10108200A (ja) | 1998-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3493872B2 (ja) | 画像データ処理方法およびその装置 | |
| US6862402B2 (en) | Digital recording and playback apparatus having MPEG CODEC and method therefor | |
| JP4430580B2 (ja) | エンコードされたビデオのビットストリームにビデオを追加する方法およびシステム | |
| JP4769717B2 (ja) | 画像復号化方法 | |
| JP3361009B2 (ja) | ビデオ符号化方法および速度量子化モデルを利用して符号化を行うシステム | |
| US6441754B1 (en) | Apparatus and methods for transcoder-based adaptive quantization | |
| US6516034B2 (en) | Stream processing apparatus and method | |
| JP4958181B2 (ja) | 異なるデータフォーマットへの変換時のメディアデータ品質の維持に使用する方法およびシステム | |
| US6937770B1 (en) | Adaptive bit rate control for rate reduction of MPEG coded video | |
| US7859956B2 (en) | Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program | |
| JP3710820B2 (ja) | オーディオエンコーダの数が低減されるオーディオ映像エンコードシステム | |
| JPH10145798A (ja) | デジタル符号化信号処理方式 | |
| JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
| JP4791129B2 (ja) | 画像符号化装置、画像符号化方法及び画像編集装置 | |
| US8155458B2 (en) | Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program | |
| JP4301237B2 (ja) | 符号化装置及びその方法、記録装置及びその方法、および、記録媒体 | |
| JP4416845B2 (ja) | 符号化装置及びその方法、および、記録装置及びその方法 | |
| JPH11196410A (ja) | 動画像符号化方法、動画像符号化装置及び動画像信号記録媒体 | |
| JP3501521B2 (ja) | ディジタル映像信号再生装置および再生方法 | |
| KR20000000611A (ko) | 기록매체의 잔량 검출 및 검출잔량에 따른 신호의 압축 기록방법과 그 장치 | |
| EP1517562A2 (en) | Video coding including auxiliary information for performing and tracking successive processing steps like editing, splicing, fingerprinting | |
| KR100225326B1 (ko) | 디지탈영상신호기록재생장치 및 그 기록재생방법 | |
| JP3685780B2 (ja) | ディジタル映像信号記録装置および記録方法並びに再生装置および再生方法 | |
| JP3801894B2 (ja) | ディスク状記録媒体の記録方法及び記録装置、並びに再生方法及び再生装置 | |
| GB2353654A (en) | Processing GOPs to be stored as all I-frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050916 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050927 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060922 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070116 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091125 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131204 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |