JP3703088B2 - 拡張画像符号化装置及び拡張画像復号化装置 - Google Patents
拡張画像符号化装置及び拡張画像復号化装置 Download PDFInfo
- Publication number
- JP3703088B2 JP3703088B2 JP2001173767A JP2001173767A JP3703088B2 JP 3703088 B2 JP3703088 B2 JP 3703088B2 JP 2001173767 A JP2001173767 A JP 2001173767A JP 2001173767 A JP2001173767 A JP 2001173767A JP 3703088 B2 JP3703088 B2 JP 3703088B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- data
- image signal
- extended
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Color Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、階層性を有する圧縮符号化信号の生成、ないしはその復号に関するもので、特に市場に導入されている圧縮符号化データと互換性を保ちながら、上位階層差分データを同一圧縮符号化データとして生成する拡張画像の符号化方法、及び拡張画像の復号化方法と、その方法を搭載した拡張画像符号化装置、及び拡張画像復号化装置と、更にその符号化データを記録した拡張画像記録媒体に関する。
【０００２】
【従来の技術】
テレビジョン信号などの動画像信号を高能率符号化する技術として、いわゆるＭＰＥＧ（moving picture experts group）規格がディジタル放送、ＤＶＤ（Digital versatile Disc）、ディジタルテープレコーダ、及び通信ネットワークで伝送される信号として広く用いられるようになってきた。
【０００３】
そのＭＰＥＧは、１９８８年ＩＳＯ／ＩＥＣ（International Organization for Standardization / International Electrotechnical Commission）のＪＴＣ１／ＳＣ２（Joint Technical Committee 1 / Sub committee 2国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2）に設立された動画像符号化標準を検討する組織である。
【０００４】
そのＳＣ２は、現在ＳＣ２９として動画、及び音響信号等の符号化に係る規格制定活動を継続しており、またＭＰＥＧの人達により制定された国際標準は通俗的にＭＰＥＧとも呼ばれている。
【０００５】
最初に制定されたＭＰＥＧ１（ＭＰＥＧフェーズ1）は１．５Ｍｂｐｓ程度の伝送レートで記録される蓄積メディアを対象とした、音響信号の付随される動画信号の符号化標準で、静止画の符号化を目的とするＪＰＥＧ（Joint Photographic Coding Experts Group）と、ＩＳＤＮ（Integrated services digital network）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（CCITT SGXV、現在のITU-T SG15で標準化）の基本的な技術を用いた符号化標準である。
【０００６】
そのようにしてＭＰＥＧ１は１９９３年８月に、ＩＳＯ／ＩＥＣ１１１７２として制定され、そのＭＰＥＧ１規格により符号化されて記録されたディスクは多く製品化されている。
【０００７】
その後制定されたＭＰＥＧ２（ＭＰＥＧフェーズ２）は、通信及び放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月にＩＳＯ／ＩＥＣ１３８１８、及び「Ｈ．２６２」として制定されている。
【０００８】
これらのＭＰＥＧ１及びＭＰＥＧ２による符号化は複数の符号化技術より構成されており、それらの技術は動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロック毎に分割し、各マクロブロック単位ごとに、時間的に未来または過去に所定の数フレーム離れた参照画像と被符号化画像との間で「動きベクトル」と呼ばれる動き量を求め、その動き量を基に参照画像から被符号化画像を符号化する「動き補償予測」技術と、その動き補償予測の誤差信号または被符号化画像そのものに対して、直交変換技術の一つであるＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）を用いて画像情報を周波数情報量に変換し、その変換された周波数領域の情報より視覚的に有意な情報のみを得るようにして圧縮符号化を行う「変換符号化」技術と、の２つの画像符号化の要素技術を基にして規定されている。
【０００９】
そして、動き補償予測における予測の方向は、過去、未来、及び過去未来の両方から予測する場合の３モードが存在し、それらの３モードは１６画素×１６画素のデータよりなるマクロブロックごとに切り替えて使用できるようになされている。
【００１０】
また、それらの予測方向は入力画像のフレームに与えられるピクチャタイプ、即ちＩ（Intra-coded）、Ｐ（Predictive-coded）、及びＢ（Bidirectionally predictive-coded）の３種類のピクチャタイプが定められている。
【００１１】
そのIピクチャは動き予測を行わずに符号化するピクチャであるが、Ｐピクチャには過去からの予測、及び予測を行わずに符号化する２モードが存在しており、またＢピクチャには未来からの予測、過去からの予測、過去及び未来の両方向からの予測、及び予測を行わずにフレーム内符号化を行う４つのＭＣ(Motion Compensation)モードがある。
【００１２】
それらの未来、ないしは過去の画像を用いて行う動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル（画素間距離の１／２）精度で動きベクトルを求め、求められた動きベクトル量に対応させて未来、ないしは過去の参照画像位置をそのベクトル方向に移動させた画像を基に供給される画像信号の符号化を行う。
【００１３】
そのようにして求められる動きベクトルの方向には水平方向と垂直方向とがあり、それらのベクトル情報はＭＣモードと共にマクロブロックの付加情報として伝送されるようになされている。
【００１４】
また、そのようにしてなされるピックチャデータのうち、Ｉ、Ｐ、及びＢの３種類のピクチャはＩピクチャを先頭として所定の順に並べられて伝送され、そのＩピクチャより次のIピクチャの手前のピクチャまでのピクチャ（フレーム画像）の集合をＧＯＰ(Group Of Picture)と呼び、通常の蓄積メディアなどでなされる符号化においては、１５枚程度のピクチャによりＧＯＰが構成されるようになされている。
【００１５】
そして、Ｉピクチャ、及び動き補償画像として符号化されるＰ、及びＢピクチャはＤＣＴ（discrete cosine transform）、即ち余弦関数を積分核とする積分変換が有限空間へ離散変換する直交変換としてなされる。
【００１６】
その直交変換はマクロブロックを８画素×８画素の輝度信号に係る４個のＤＣＴブロックと、青信号より輝度信号を減算したＢ−Ｙと、赤信号より輝度信号を減算したそれぞれ１個の８画素×８画素のＤＣＴブロックに分割されて２次元ＤＣＴを行われるが、一般にそれらのＤＣＴブロック画像データの周波数成分は低域成分に多く高域成分は少ないため、画像データはＤＣＴを行い低域周波数に集中された変換係数により表現することができる。
【００１７】
そして、そのＤＣＴされた画像データ（ＤＣT係数）は量子化器で量子化が行われる。即ちその量子化器により、ＤＣＴ係数は所定の量子化値により叙算されて求められるが、その量子化値は８画素×８画素の２次元周波数を視覚特性で重み付けされた量子化値として得られるが、その量子化値は所定の量子化スケールによりスカラー倍されたものが用いられる。
【００１８】
また、その量子化値は符号化された画像データの復号時に得られる逆量子化値を乗算することにより、デコード時にはエンコード時に与えられた量子化値による特性が打ち消されるようになっている。
【００１９】
次に、この様な手法により符号化及び復号化を行うＭＰＥＧ符号化器の構成について述べる。
図１５に、ＭＰＥＧ符号化器の構成を示し、その動作の概略を述べる。
【００２０】
そのＭＰＥＧ符号化器５０は入力端子５１、加算器５２、ＤＣＴ器５３、量子化器５４、ＶＬＣ器５５、バッファ５６、符号量制御器５７、逆量子化器６１、逆ＤＣＴ器６２、加算器６３、画像メモリ６４、及び動き補償予測器６５より構成される。
【００２１】
まず、入力端子５１に供給された動画信号は動き補償予測器６５及び加算器５２に供給され、その加算器５２では動き補償予測器６５より供給される信号は極性反転されて加算され、加算されて得られる信号はＤＣＴ器５３に供給される。
【００２２】
そのＤＣＴ器５３では、供給される画像信号は前記の離散余弦変換が行われ、変換して得られるＤＣＴ変換係数は量子化器５４に供給され、前記所定の量子化値を基に量子化がなされ、量子化のなされた量子化データは逆量子化器６１、及びＶＬＣ（variable length coding）器５５に供給される。
【００２３】
そのＶＬＣ器５５では、供給された量子化データは可変長符号化されるが、量子化された値のうちＤＣＴ変換がなされて得られる直流（ＤＣ）成分はＤＰＣＭ（differential pulse code modulation)変調がなされる。
【００２４】
また、交流（ＡＣ）成分は低域周波数成分のデータより高域周波数成分のデータの順にジグザグスキャン（zigzag scan）がされながら得られ、その得られたデータはゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから順に符号長の短い符号が割り当てられるようにして、ハフマン符号化がなされる。
【００２５】
その可変長符号化である、ハフマン符号化のなされたデータはバッファ５６に一時記憶され、一時記憶されたデータは所定の転送レートにより符号化データ出力として供給される。
【００２６】
そして、その供給されるデータのマクロブロック毎の発生符号量は、符号量制御器５７に供給されて、予め設定されている目標符号量と比較され、比較して得られる発生符号量との差の符号量は量子化器５４に供給され、量子化器５４ではその差の符号量を基に量子化スケールの値を変更するなどにより所定の転送レートの符号化データが得られるようにして符号量の制御がなされる。
【００２７】
一方、量子化器５４で量子化された画像データは逆量子化器６１に供給されて逆量子化がなされ、その逆量子化のなされたデータは逆ＤＣＴ器６２に供給されて、そこで逆ＤＣＴがなされ、その逆ＤＣＴされたデータは加算器６３に供給される。
【００２８】
その加算器６３では動き補償予測器６５より供給される参照画像と加算され、その加算して得られる信号は画像メモリ６４に供給されて、そこに一時記憶される。その一時記憶された画像データは、動き補償予測器６５において差分画像を演算するためのリファレンス復号化画像として用いられることにより、ＭＰＥＧ符号器５０より動き補償のされた符号化データとして得られるようになされている。
【００２９】
このようにして得られた符号化データはＭＰＥＧ復号化器に供給されて復号される。
図１６に、ＭＰＥＧ復号化器の構成を示し、その動作の概略について述べる。
【００３０】
同図に示すＭＰＥＧ復号化器７０は、データ入力端子７１、バッファ７２、ＶＬＤ器７３、逆量子化器７４、逆ＤＣＴ器７５、加算器７６、画像メモリ７７、及び動き補償予測器７８より構成される。
【００３１】
まず、入力端子７１に供給された符号化データはバッファ７２に一時記憶され、一時記憶された符号化データは必要に応じてＶＬＤ（variable length decoding）器７３に供給される。
【００３２】
そのＶＬＤ器７３では、ＶＬＣ器５５により符号化されたデータの可変長復号が行われ、前述の直流（ＤＣ）成分および交流（ＡＣ）成分に係るデータが得られる。
【００３３】
それらの得られたデータのうち交流成分のデータはＭＰＥＧ符号化器５０でなされたと同じ低域から高域周波数成分へのジグザグスキャンの順で８×８のマトリックスに配置される量子化データとして得られ、その得られた量子化データは逆量子化器７４に供給される。
【００３４】
その逆量子化器７４では、前述の量子化マトリックスにより逆量子化がなされ、その逆量子化されて得られるデータは逆ＤＣＴ器７５に供給され、そこでは逆ＤＣＴ演算がなされて画像データが復号化データとして得られる。
【００３５】
そして、その得られた画像データは画像メモリ７７に一時記憶され、一時記憶された画像データは動き補償予測器７８に供給され、供給された画像データは動き補償予測における差分画像を演算するためのリファレンス復号化画像として用いられる。
【００３６】
このようにして、動画を構成する画像データはＭＰＥＧ符号化器５０により符号化されて伝送、ないしは記録され、その受信、ないしは再生された符号化データはＭＰＥＧ復号器７０により復号されて動画情報として得られるようになされており、このような手法はＭＰＥＧ１、及びＭＰＥＧ２の両者において用いられている。
【００３７】
そのＭＰＥＧ２による動画信号符号化の用いられ方として、プロファイルとレベルが規定されているが、そのプロファイルにはＤＶＤへの記録、及びデジタル衛星放送で用いられているメイン（Main）プロファイルの他に符号化方法を単純化して遅延時間を少なくしたシンプル（Simple）プロファイル、後述のＳＮＲスケーラブル（SNR Scalable）プロファイル、空間解像度に階層性を持たせたスペイシャルスケーラブル（Spatial Scalable）プロファイル、及び高度の機能を有するハイ（High）プロファイルがある。
【００３８】
そして、これらのプロファイルにおける輝度信号と色差信号のサンプル数に係る画像フォーマットは４：２：０画像フォーマットが主として用いられており、４：２：２画像フォーマットはハイプロファイル、ないしは上記プロファイルと並列に規定されている４２２プロファイルでのみ使用が認められている。
【００３９】
そのようにして、通常のビデオ信号の記録、及び放送には４：２：０画像フォーマットによる画像信号の圧縮符号化がなされており、色信号に対する解像度が高く得られる４：２：２画像フォーマットの信号の記録再生、及び放送はなされていない。
【００４０】
しかし、昨今の情報化社会において、コンピュータを用いて行う画像信号の生成も普及されてきた。そして、従来のカメラ撮影によるような彩度のあまり高くない画像を符号化する場合ではそれほど必要とされなかったが、コンピュータなどで制作された彩度及び解像度の高い信号の符号化に対しては符号化、及び復号化を行って得られる画質に劣化が認められるなど、４：２：２画像フォーマットなど彩度の高い色信号に対しても解像度の低下しない信号の符号化が望まれるようになった。
【００４１】
そのような、色信号成分の劣化を少なくした画像信号の符号化及び復号化に係り、特開平９−２３８３６６号公報「画像符号化装置及び画像復号化装置及び符号化・復号化システム」は、画像圧縮符号化及び復号化時に生じる色差信号ブロックより発生されるブロック歪成分が、ブロック全体に波及するのを防ぐための符号化方式を開示している。
【００４２】
即ち、その符号化方式によれば、圧縮効率を下げないでフォーマット変換を動的に切り替える符号化器・復号化器として、ディジタル化入力画像をフォーマット変換し、量子化し、符号化する画像符号化装置において、フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、設定基準で上記入力画像データまたは量子化画像データまたは他の画像データの状態変化を検出して、上記複数の空間解像度の画像データのどれを出力するかを選択して出力する画像状態判定部とを設けるようにして、選択された空間解像度の画像データを量子化部に供給する方法について開示している。
【００４３】
また、空間解像度を選択して符号化及び復号化を行う、周波数領域の階層符号化を実現する技術として、ＭＰＥＧ２で定められたプロファイルの中に前述のＳＮＲスケーラビリティプロファイルがある。
【００４４】
そのＳＮＲスケーラビリティプロファイルはメインプロファイルの上位にあるＳＮＲプロファイルとして上位互換を取りつつ使用することができるプロファイルであり、そのプロファイルでは、量子化が粗いレイヤを基本レイヤ（Base Layer）、量子化が細かいレイヤを高位レイヤ（ Enhancement Layer ）として、最初に基本レイヤによる符号化が行われる。
【００４５】
次に符号化の行われる高位レイヤでは、基本レイヤの画像を復号化し、復号化された画像信号と入力画像との差分を計算し、得られた差分画像を基本レイヤよりも小さい量子化スケールで量子化して符号化信号を得るようにすることが規定されている。
【００４６】
このような基本レイヤ及び高位レイヤによる２つの符号化信号を色差信号に対して得るような機能として用いることにより、ＳＮＲスケーラビリティと同様な手法を用いて色差信号のサイマルキャスト機能を実現することは可能である。
【００４７】
そのサイマルキャスト機能を用いて、例えば基本レイヤに４：２：０の画像の輝度信号と色差信号を符号化し、高位レイヤでは４：２：２の色差信号のみを符号化するようにして得た２つのビットストリームをサイマルキャスト方式で送信することにより、復号器側では下位レイヤのみ用いて４：２：０信号の受信を、また高位レイヤをも用いて４：２：２画像フォーマットによる画像を得ることが可能とされる。
【００４８】
そのような基本レイヤと高位レイヤにより符号化した２つのビットストリームは、符号化レイヤよりも上位の多重化システムレイヤにて同期が取られながら多重化されて１つのビットストリームとされて伝送されることとなるが、そのようにして伝送されたビットストリームの受信はその多重化された信号を分離し、分離されて得られるそれぞれの２つのビットストリームの信号を２つの復号器により復号し、復号して得られる２つの信号を基に４：２：２画像フォーマットによる復号信号を得るような専用の復号機能を有する復号器を用いて復号を行うこととなる。
【００４９】
【発明が解決しようとする課題】
しかしながら、上記の特開平９−２３８３６６号公報による場合の方式では、複数の色信号フォーマットのうちのどれを選択するかを判定する画像状態判定部が必要であり、またその判定に従ったビットストリームのフォーマットには、複数が存在することになり、既存の復号器では復号化ができなく互換性確保の点で問題がある。
【００５０】
そして、上記ＭＰＥＧ２のＳＮＲスケーラビリティプロファイルを用いて２つのフォーマットの画像信号を伝送する方法では、２つのビットストリームが多重化されたストリームとする以外にビットストリームを伝送することができないため、階層構造をもたせた１つのビデオストリームとしてのビットストリームを得ることができない。
【００５１】
また、そのＳＮＲスケーラビリティプロファイルを用いて２つの４：２：０、及び４：２：２の画像フォーマットによる符号化信号を伝送するためには、ベースとなる４：２：０画像フォーマットにより生成されるビットストリームを規定している所定のアプリケーションの規格、及びアプリケーションフォーマットを変更せずに階層構造を持たせることができないため、既存のアプリケーションと互換性を確保しながら４：２：２画像フォーマットによる画像との差分信号を生成して多重することはできない、といった程度のものでしかなかった。
【００５２】
そこで本発明は、例えば標準方式のメインプロファイルによって生成され、記録、ないしは伝送されている、既存のデジタル放送及びＤＶＤなどでベースとされるビットストリームに係る所定のアプリケーション規格、及び記録ないしは伝送フォーマットは変更せずにそのままを用い、且つ階層構造をもたせることにより既存のアプリケーションとの互換性を完全に保ちながら、上位階層構造の画像データを記録、ないしは伝送する符号化ビットストリームを生成することにより、アプリケーションの機能拡張性を大きくした拡張画像符号化装置及び拡張画像復号化装置を提供しようとするものである。
【００５３】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）及び２）の手段より成るものである。
すなわち、
【００５４】
１） ４：２：０画像フォーマットの画像信号から４：２：２画像フォーマット化した拡張圧縮画像信号を生成する拡張画像符号化装置において、
前記４：２：２画像フォーマットの画像信号を前記４：２：０画像フォーマット信号に変換して変換画像信号を生成する変換器と、
前記変換画像信号をＭＰＥＧメインプロファイルを用いて圧縮画像信号を生成する第１符号化器と、
前記圧縮画像信号を復号化して復号化信号を生成する復号化器と、
前記復号化信号から前記４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、
前記４：２：２画像フォーマット画像信号と前記４：２：２画像フォーマット化した画像信号との差分から色差画像信号を生成する色差データ差分器と、
前記色差画像信号から圧縮符号化して色差圧縮画像信号を生成する第２符号化器と、
前記第１符号化器から出力された前記圧縮画像信号のユーザデータ領域に前記色差圧縮画像信号を挿入して前記拡張圧縮画像信号を生成するユーザデータ挿入器と、
を備えたことを特徴とする拡張画像符号化装置。
【００５５】
２） ＭＰＥＧメインプロファイルを用いて圧縮符号化された圧縮画像信号のユーザデータ領域に色差圧縮画像信号が挿入された拡張圧縮画像信号からの復号化を行って、拡張復号化画像信号を生成する拡張画像復号化装置において、
前記拡張圧縮画像信号を復号化して復号化信号を生成する第１復号化器と、
前記復号化信号のうち、復号化された前記ユーザデータ領域の圧縮画像信号から４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、
前記復号化信号のうち、前記ユーザデータ領域に挿入された前記色差圧縮画像信号を分離して取り出すユーザデータ分離器と、
前記色差圧縮画像信号を復号化して色画像信号を生成する第２復号化器と、
前記４：２：２変換器で生成された４：２：２画像フォーマット化した画像信号に前記第２復号化器で生成された色画像信号を加算して前記拡張復号化画像信号を生成する色差データ加算器と、
を備えたことを特徴とする拡張画像復号化装置。
【００６３】
【発明の実施の形態】
以下、本発明の拡張画像符号化装置及び拡張画像復号化装置の実施形態につき好ましい実施例により説明する。
図１は、拡張画像符号化装置の第１の実施例による構成であり、以下図と共に説明する。
【００６４】
同図に示す拡張画像符号化装置１０は、画像データ入力端子１１、ＭＰＥＧ（moving picture experts group）符号化器１２、ＭＰＥＧ復号化器１３、加算器１４、遅延器１５、ＤＰＣＭ（differential pulse code modulation )器１６、及びユーザデータ挿入器１７より構成される。
【００６５】
次に、このように構成される拡張画像符号化装置１０の動作について述べる。まず、入力画像データはＭＰＥＧ符号化器１２に供給されてＭＰＥＧのメインプロファイルに従った方法により符号化され、符号化して得られる符号化信号は遅延器１５、及びＭＰＥＧ復号化器１３に供給される。
【００６６】
そのＭＰＥＧ復号化器１３では符号化された符号化信号は復号化されて加算器１４の一方の入力端子に負極性の信号として供給されると共に、他方の入力端子には入力画像データが正極性の信号として供給されており、その加算器１４からは２つの入力端子に供給された信号が加算された信号が得られ、その加算された信号はＤＰＣＭ符号化器１６に供給される。
【００６７】
そのＤＰＣＭ符号化器１６では、供給された信号のＤＰＣＭ符号化がなされてＤＰＣＭ符号化信号が生成され、その生成されたＤＰＣＭ符号化信号はユーザデータ挿入器１７の一方の入力端子に供給されると共に、他方の入力端子には遅延器１５により同期処理のために遅延された符号化信号が供給されており、その符号化信号のユーザデータ領域に前記ＤＰＣＭ符号化信号が挿入され、挿入されて得られる符号化データは拡張画像符号化装置１０の出力信号としてその装置より供給される。
【００６８】
このようにして、ＭＰＥＧ符号化器１２で符号化された信号はＭＰＥＧ復号化器１３で復号化され、復号化された信号と入力画像データとの差の信号がＤＰＣＭ符号化器１６でＤＰＣＭ符号化されてユーザデータ領域に挿入される様にして符号化データが得られるが、そのＭＰＥＧ符号化器１２とＭＰＥＧ復号化器１３でなされる符号化及び復号化は、入力画像をＤＣＴ変換、及び量子化を行った信号に対して復号化を局部復号として行う場合、あるいは量子化を行った信号に対してＶＬＣ（variable length coding）を行って最終ビットストリームデータを得た後にＶＬＤ（variable length decoding）を行うなどの信号処理が追加されて行われる場合のいずれによってもよい。
【００６９】
即ち、いずれの場合においてもＭＰＥＧ符号化した信号を復号化して得られる符号化及び復号化に基づく画像信号と入力画像データとが比較され、その比較して得られる輝度信号、及び色差信号のそれぞれの差分信号がＤＰＣＭ符号化されて伝送されるものである。
【００７０】
次に、このようにしてなされる拡張画像符号化装置１０の動作について更に述べる。
図２に、輝度信号に係る差分信号をＤＰＣＭ符号化するためのＤＰＣＭコード表を示す。
【００７１】
同表において、差分値の範囲に対するＤＰＣＭ符号の割り当てを示している。
即ち、加算器１４より得られる差分画像データは、画面に対して左上から右下の方向へ、ラスタースキャンが行われるような順番に従って画素データを得、得られた画像データの変化分のみを差分値として演算して得る。
【００７２】
そして、最初の画素の初期値は０とされ、その０に対する差分値との差が横方向に演算されて求められると共に、その差の値がどの範囲の値であるかによってＤＰＣＭ符号が割り当てられ、その符号の割り当ては画面上の１ラインの画素データに対して行われる。
【００７３】
図３に、色差信号に係る差分信号をＤＰＣＭ符号化するためのＤＰＣＭコード表を示す。
同表において、色差信号の方が輝度信号より水平周波数帯域が小さいので、色差信号に対するＤＰＣＭコードは低いレベルの変化に対して異なるＤＰＣＭ符号が割り当てられるようにされている。
【００７４】
これらの輝度信号用、及び色差信号用の両方のコード表において、ＤＰＣＭコードが１１１１であるときはZeroRunESCとされており、そのときは差分画像のＤＰＣＭ値で最も多く発生する０データを全て伝送せずに、０の続いたラン長を伝送するときに使用するコードである。即ち、１１１１の後に最大８ビット（２５６画素）のビット数を伝送するようにして、複数の０に係る個数情報を伝送するようになされている。
【００７５】
差信号に係るＤＰＣＭ符号は、−２５５〜＋２５５である９ビットの画素データをこれらの表を基にして４ビットの値に変換されるが、通常の画像に係る差信号の場合ではゼロが多く発生されるので、そのゼロを含めたＤＰＣＭ符号をゼロランレングス符号化することにより、更に短い圧縮コードとして得ることができる。
【００７６】
このようにしてＤＰＣＭ符号化されたデータは、ユーザデータ挿入器１７に供給される。そのユーザデータ挿入器１７には遅延器１５により所定の時間遅延されたＭＰＥＧ符号化データが供給される。ＤＰＣＭ符号化されたデータは符号化されたピクチャと時間関係が同一であるピクチャデータ領域にあるユーザデータ記録領域に、そのピクチャに対応する差分画像のＤＰＣＭ符号化データとして挿入される。
【００７７】
図４に、ＭＰＥＧ２におけるビデオレイヤのシンタックスを示す。
同図において、ＭＰＥＧ２ビデオ信号に係るビットストリームを生成するためのデータの順について規定してある。
【００７８】
即ち、最初に３２ビットによる画像開始コードpicture#start#codeを記述し、次に１０ビットのＩ（Intra-coded）、Ｐ（Predictive-coded）、及びＢ（Bidirectionally predictive-coded）ピクチャの伝送及び表示順に係る情報をTemporal#referenceにより、そして３ビットによるＩ、Ｐ、及びＢピクチャなどの画像タイプに係る情報をpicture#coding#typeにより伝送するようにしてビットストリームが生成される。
【００７９】
そして、このシンタックスの終わりの方にある３２ビットのユーザデータ開始コードUser#data#start#codeに続けて記述される８ビットのuser#dataを使用してＤＰＣＭ符号化データの挿入記述を行う。
【００８０】
即ち、user#data（ ）は、user#start#codeなる位置決定を行うバイトアラインされたスタートコードより記述が開始され、次に0x000001の３バイトの符号が受信されるまでユーザデータを記述し続けることができるように定義されている。
【００８１】
そのようにして、ビデオ信号レイヤのユーザデータ領域にＤＰＣＭ符号化した差分画像データを記述することにより、符号化された画像データと同じ階層のデータとして画像の差分情報を伝送、ないしはその信号を媒体に記録することができる。
【００８２】
なお、ここでそのユーザデータ領域は、ユーザが定義して使用することが許可されたデータ領域であるので、例えば他のユーザ、ないしは他のアプリケーションでuser#data( )が使用される可能性もあるので、user#data( )のuser#start#codeのあとに、本方式の差分画像データであることを示す、４バイト程度の識別コード、ないしはユニークコード0x22220204を記述して後に、例えばＤＰＣＭ符号化された輝度信号、色差のＣｂ信号（青信号−輝度信号）、及び色差のＣｒ信号（赤信号−輝度信号）のコードを順に記述するようにする。
【００８３】
このようにして、ＭＰＥＧ符号化器１２で符号化された信号、及び符号化された信号を復号化し、入力される信号との差の信号をＤＰＣＭ符号化した信号を同一の画像レイヤ信号領域のユーザデータ領域に挿入した符号化データとして生成して伝送することができる。
【００８４】
次に、このようにして生成され、伝送された符号化データの復号化について述べる。
図５に、通常の符号化データを復号する通常画像復号化装置の構成を示す。
同図に示す通常画像復号化装置３０は、ＭＰＥＧ復号化器３２により構成されている。
【００８５】
そのＭＰＥＧ復号化器３２による符号化データの復号化は、記述されて伝送されるユーザデータの検出を行わずに、即ち読み飛ばすようにして符号化データの復号化を行なうため、ＭＰＥＧ符号化器１２で符号化された符号化データのみの復号化を行うため、通常画像復号化装置３０からは通常符号化データを復号化して得られる通常復号化データが得られる。
【００８６】
次に、通常符号化データに挿入されて伝送されるユーザデータを共に復号化して高画質の画像データである、拡張復号化データを得る拡張画像復号化装置の第１の実施例について述べる。
図６に、その拡張画像復号化装置の構成を示す。
【００８７】
同図に示す拡張画像復号化装置３０ａは、データ入力端子３１、ＭＰＥＧ復号化器３２ａ、ユーザデータ分離器３３、遅延器３４、ＤＰＣＭ復号化器３５、及び加算器３６より構成される。
【００８８】
次に、この様に構成される拡張画像復号化装置３０ａの動作について述べる。
まず、データ入力端子３１に供給された符号化データはＭＰＥＧ復号化器３２ａに供給され、そこでは通常の復号化データが得られ、得られた復号化データは遅延器３４に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器３３に供給される。
【００８９】
そのユーザデータ分離器３３では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeを検出し、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204の検出を行う。
【００９０】
そのユニークコード0x22220204が検出されないときは、その後に伝送されるユーザデータは復号の必要がないデータであるとしてそのユーザデータの読み飛ばしを行う。
【００９１】
そのユニークコードが検出されるときは、高画質化のための拡張符号化データに拡張画像得るための差分画像データが記述してあると判定し、伝送されるＤＰＣＭ符号化データをＤＰＣＭ復号器３５に供給する。
【００９２】
そのＤＰＣＭ復号器３５では、供給されたＤＰＣＭ符号化データを復号して輝度信号、色差のＣｂ信号、及び色差のＣｒ信号を得、それらの得られたそれぞれの信号は前述の図２、及び図３に示したＤＰＣＭ符号化テーブルを基にＤＰＣＭ符号を復号し、それぞれの差分画像データを得る。
【００９３】
それらの得られた差分画像データは加算器３６の一方の入力端子に供給されると共に、他方の入力端子には遅延器３４で所定の時間遅延された通常ＭＰＥＧ復号画像データが供給され、それらの２つの入力端子に供給されたそれぞれの画像データは加算されて拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置３０ａより出力信号として供給される。
【００９４】
以上、差分画像データをＤＰＣＭ符号化して伝送する拡張画像符号化装置で生成された符号化データを拡張画像復号化装置により復号化して拡張復号化画像データを得る第１の実施例について述べたが、次に差分画像データを異なるＭＰＥＧ符号化器で符号化して伝送する第２の実施例について述べる。
【００９５】
その第２の実施例による拡張画像符号化装置は、第１の実施例に示した装置では差分画像データをＤＰＣＭ符号化して伝送していたが、この実施例では直交変換技術を応用するＭＰＥＧ方式によって符号化する点で異なっており、次に第１の実施例も参照しながら述べる。
図７に、拡張画像の符号化方法を搭載した拡張画像符号化装置の第２の実施例による構成を示し、以下図と共に説明する。
【００９６】
同図に示す拡張画像符号化装置１０ａは、画像データ入力端子１１、第１ＭＰＥＧ符号化器１２ａ、ＭＰＥＧ復号化器１３、加算器１４、遅延器１５、固定符号量指示器１８、第２ＭＰＥＧ符号化器１９、及びユーザデータ挿入器１７より構成される。
【００９７】
次に、このように構成される拡張画像符号化装置１０ａの動作について述べる。
まず、入力画像データは第１のＭＰＥＧ符号化器１２ａに供給されてＭＰＥＧのメインプロファイルにより符号化されて得られる符号化信号の一方は遅延器１５に供給されると共に、他の一方はＭＰＥＧ復号化器１３に供給されて復号化される。
【００９８】
その復号化された信号は加算器１４の一方の極性反転動作を行う入力端子に供給されると共に、他方の入力端子には入力画像データが供給されており、その加算器１４からは２つの入力端子に供給された信号の差の信号が差分画像データとして生成され、その生成された信号は固定符号量指示器１８により符号量が制御されて動作している第２ＭＰＥＧ符号化器１９に供給される。
【００９９】
その第２ＭＰＥＧ符号化器１９では、供給された差分画像データに対して、従来のＭＰＥＧと同様にしてマクロブロックごとの符号化がなされ、符号化されて得られる符号化信号はユーザデータ挿入器１７の一方の入力端子に供給される。
【０１００】
そのユーザデータ挿入器１７の他方の入力端子には遅延器１５により遅延された第１ＭＰＥＧ符号化器１２ａにより符号化された信号が供給されており、その信号のユーザデータ記録個所に前記第２ＭＰＥＧ符号化器１９により符号化された信号が挿入され、挿入されて得られる符号化データは拡張画像符号化装置１０ａの出力信号として供給される。
【０１０１】
このようにして、差分画像データはＭＰＥＧ方式により符号化されてユーザデータ領域に挿入された符号化データとして供給されるが、そのユーザデータ領域への差分画像データの挿入、記述方法は前述の第１の実施例と同様にして行われる。
【０１０２】
このようにして伝送された符号化データの復号化は、前述の図５に示したような通常の復号化器を用いて行われときは、そのＭＰＥＧ復号化器３２ではユーザデータ記録領域に記録される符号化データが検出されづに復号化が行われるため、通常画像復号化装置３０からは通常の符号化データを復号化した画像データが得られる。
【０１０３】
次に、差分画像データを復号して高画質の復号画像データを得る拡張復号化データを得るための、拡張画像復号化装置の第２の実施例について述べる。
図８に、その拡張画像復号化装置３０ｂの構成を示し、その動作について述べる。
【０１０４】
同図に示す拡張画像復号化装置３０ｂは、データ入力端子３１、第１ＭＰＥＧ復号化器３２ｂ、ユーザデータ分離器３３、遅延器３４、第２ＭＰＥＧ復号化器３７、及び加算器３６より構成される。
【０１０５】
そのように構成される拡張画像復号化装置３０ｂのデータ入力端子３１に供給された符号化データは、第１ＭＰＥＧ復号化器３２ｂで通常の復号化データが得られ、得られた復号化データは遅延器３４に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器３３に供給される。
【０１０６】
そのユーザデータ分離器３３では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeを検出し、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204を検出するが、そのユニークコードが検出されないときはその後に伝送されるユーザデータの読み飛ばしを行う。
【０１０７】
そして、そのユニークコードが検出されるときは、そのユニークコードに続いて伝送される拡張符号化データは第２ＭＰＥＧ復号化器３７に供給され、その第２ＭＰＥＧ復号化器３７では供給された符号化データの復号化が行われることにより拡張画像を得るための輝度信号、及び２種類の色差信号に係る差分画像データが得られる。
【０１０８】
それらの得られた差分画像データは加算器３６の一方の入力端子に供給されると共に、他方の入力端子には遅延器３４で所定の時間遅延された通常ＭＰＥＧ復号画像データが供給され、それらの２つの入力端子に供給されたそれぞれの画像データは加算されて拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置３０ｂより出力信号として供給される。
【０１０９】
以上、差分画像データをＭＰＥＧ符号化して伝送する拡張画像符号化装置で生成された符号化データを、拡張画像復号化装置により復号化して拡張復号化画像データを得る第２の実施例について述べたが、次にその差分画像データを異なる画像フォーマットにより符号化して伝送する場合について述べる。
【０１１０】
その異なる画像フォーマットによる場合の差分画像は、輝度信号に対する２つの色差信号画素サンプルの関係が４：２：０であるとして表現される画像フォーマットにより符号化及び復号化して得られる画像信号と、画像フォーマットが４：２：２である画像信号との差の信号を差分データ画像としてユーザデータ領域で伝送する場合である。
【０１１１】
図９に、４：２：０画像フォーマットによる輝度信号と色差信号の画素数の関係を示す。
同図において、Ｙとして示す７２０画素×４８０画素の領域は輝度信号に対する画素数を示しており、Ｕとして示す３６０画素×２４０画素の領域は青信号Ｂから輝度信号Ｙを減算して得られるＢ−Ｙの色差信号に対する画素数を、そしてＶとして示す３６０画素×２４０画素の領域は赤信号Ｒから輝度信号Ｙを減算して得られるＲ−Ｙの色差信号に対する画素数を示している。
【０１１２】
図１０に、４：２：２画像フォーマットによる輝度信号と色差信号の画素数の関係を示す。
同図において、Ｙとして示す７２０画素×４８０画素の領域は輝度信号に対する画素数を示しており、Ｕとして示す３６０画素×４８０画素の領域は青信号Ｂから輝度信号Ｙを減算して得られるＢ−Ｙの色差信号に対する画素数を、そしてＶとして示す３６０画素×４８０画素の領域は赤信号Ｒから輝度信号Ｙを減算して得られるＲ−Ｙの色差信号に対する画素数を示している。
【０１１３】
このようにして、４：２：０による画像フォーマットと、４：２：２による画像フォーマットでは輝度信号に対する画素数は両者共７２０画素×４８０画素であり同一であるが、Ｂ−Ｙ、及びＲ−Ｙの２つの色差信号に対する画素数は、３６０画素×２４０画素に対して３６０画素×４８０画素と垂直方向で２倍の値になっている。
【０１１４】
そのようにして、４：２：０画像フォーマットによる画質は４：２：２画像フォーマットによる画質に対して色差信号の垂直方向の解像度が不足しており、例えば横方向に伸びる細い線を表現しようとするとき、その線が白ないしは黒の輝度信号により表現できる線の場合は両画像フォーマットにおいて同一の解像度で表現できるが、青、あるいは赤などの彩度が高く表現される横線の場合は垂直方向の解像度が異なることにより４：２：０画像フォーマットの場合では十分に表現することができない。
【０１１５】
そして、風景などをカメラで撮影した画像の場合はこのような垂直方向での高い解像度はそれほど必要とされないが、人工的に制作された画像、及びコンピュータで作成された、特に色文字を含むような画像の場合は彩度の高い色差信号に対する解像度が必要となり、４：２：２画像フォーマットを用いる符号化方式の方が好ましいこととなる。
【０１１６】
次に、４：２：０の画像フォーマットにより符号化された符号化データに対し、４：２：２画像フォーマットにより符号化したときに得られる画像との差分画像データをユーザデータ領域で伝送する場合の例について述べる。
【０１１７】
その第３の実施例による拡張画像符号化装置は、ＤＰＣＭ符号化により差分データを伝送する第１の実施例に対して、その差分画像データが４：２：２画像フォーマットによる画像より４：２：０画像フォーマットによる画像を減じた画像データを差分画像データとして伝送するものであり、第１の実施例をも参照しながら述べる。
【０１１８】
図１１に、拡張画像の符号化方法を搭載した拡張画像符号化装置の第３の実施例による構成を示し、その動作について述べる。
同図に示す拡張画像符号化装置１０ｂは、データ入力端子１１、４：２：０変換器２１、ＭＰＥＧ符号化器１２、ＭＰＥＧ復号化器１３、４：２：２変換器２２、色差データ差分器２３、遅延器１５、ＤＰＣＭ符号化器１６、及びユーザデータ挿入器１７より構成される。
【０１１９】
次に、このように構成される拡張画像符号化装置１０ｂの動作について述べる。
まず、入力端子１１に供給される４：２：２画像フォーマットの入力画像データは、色差データ差分器２３及び４：２：０変換器２１に供給される。
【０１２０】
その４：２：０変換器２１では、供給された４：２：２画像フォーマットによる画像データは４：２：０画像フォーマットのデータに、垂直画像フィルタリング処理などにより画像フォーマット変換が行われる。
【０１２１】
そのようにして４：２：０画像フォーマットの信号に変換された画像データはＭＰＥＧ符号化器１２に供給され、例えば通常行われるメインプロファイルの仕様に従った符号化がなされて符号化データが得られ、その符号化データは遅延器１５及びＭＰＥＧ復号器１３に供給される。
【０１２２】
即ち、ＭＰＥＧのメインプロファイルにより符号化されて得られた符号化信号の一方は遅延器１５に供給されて時間合わせのための遅延処理がなされると共に、符号化信号の他の一方はＭＰＥＧ復号化器１３に供給されて、復号化処理がなされる。
【０１２３】
そのＭＰＥＧ復号器１３からは、復号化されて４：２：０画像フォーマットによる画像データが得られ、その画像データは４：２：２変換器２２に供給され、その４：２：２変換器２２では４：２：０画像フォーマットで供給される信号は４：２：２画像フォーマットの信号に変換されて４：２：２画像フォーマットの信号として得られる。
【０１２４】
なお、その４：２：２画像フォーマットの信号は形式的には４：２：２画像フォーマットに対応した画素数を有する信号であるが、その信号が有する情報量は４：２：０画像フォーマットの信号が有すると同じであり、垂直方向に彩度の高い色信号に対する解像度は低い。
【０１２５】
そのようにして４：２：２画像フォーマットに変換された信号は色差データ差分器２３に供給され、そこでは供給される入力画像データとの差分画像データが演算により得られ、その得られた差分画像データはＤＰＣＭ符号化器１６に供給され、そこでは前述の第１の実施例に示したと同様の方法によりＤＰＣＭ符号化データが生成される。
【０１２６】
その生成されたＤＰＣＭ符号化データはユーザデータ挿入器１７に供給され、その供給された符号化データは、遅延器１５により所定の遅延時間が与えられて同じ時間関係にある、ＭＰＥＧ符号化器１３で生成された符号化データのユーザデータエリアに挿入される。
【０１２７】
そのようにして挿入されたＤＰＣＭ符号化データは、４：２：２画像フォーマットによる画像データより４：２：０画像フォーマットによる画像データを減じた差分画像データであり、その差分画像データは垂直解像度の低下した４：２：０画像フォーマット画像データの解像度改善のために使用することができるものである。
【０１２８】
なお、このような解像度改善のための差分画像データ生成における４：２：０画像フォーマットのデータ符号化及び復号化は、ＭＰＥＧ符号化器１２から得られる。その符号化器１２における最終段でのビットストリームデータをＭＰＥＧ復号化器１３に供給して復号化する方法と、ＭＰＥＧ符号化器１２で量子化までの信号処理がなされた途中段で得られるデータを用いて、逆量子化より復号化を開始する局部復号の方法などがあり、その符号化及び復号化はいずれの方法によっても構わない。
【０１２９】
このようにして、４：２：２画像フォーマットの画像データと４：２：０画像フォーマットによる画像データとの差分画像データはＤＰＣＭ符号化されてユーザデータ領域で伝送される符号化データとして生成されるが、そのユーザデータ領域への差分画像データの挿入、及び記述方法は前述の第１の実施例と同様にして行われ、そのようにして生成された符号化データが伝送信号として供給されるようになされる。
【０１３０】
また、この実施例で示した拡張画像符号化装置において、差分画像を生成するための回路構成を変形させて同様の動作を行わせることができる。
図１２に、第３の実施例を変形させた拡張画像符号化装置の構成を示す。
【０１３１】
同図に示す拡張画像符号化装置１０ｃでは、供給される４：２：２画像フォーマットの画像データは色差データ差分器２３と４：２：０変換器２１に供給されるが、その４：２：０変換器２１で画像フォーマットの変換された信号はＭＰＥＧ符号化器１２と４：２：２変換器２２に供給される。
【０１３２】
４：２：２変換器より供給される信号は前述の拡張画像符号化装置１０ｂと同様にして色差データ差分器２３に供給され、その後は同様な処理動作がなされる。ただし、その信号処理動作は、ＭＰＥＧ符号化器１２で符号化時に生じる量子化雑音に対する補正画像信号を含む差分画像データが生成されないことで異なっているが、その反面、差分画像データが情報量として有するデータのエントロピーが低い値となる。
【０１３３】
そのようにして生成される差分画像データの符号化に係る符号量が少なくなり、それに伴いその後段に配置される符号化器での符号化のための演算処理数を減少させることができると共に、ユーザデータ領域に挿入されて伝送される符号量も少なくできるため、ユーザデータ領域に差分画像データを挿入することにより符号化データ全体の符号量の増加が少なく、差分画像データの復号を行わない通常復号化を行うユーザに対する信号処理の負担を少なくすることができる。
【０１３４】
また、通常復号化を行うユーザに対する負担を少なくする方法として４：２：０変換器２１の構成が考慮されている。即ち、その４：２：０変換器２１に供給される４：２：２画像フォーマットによる画像データは４：２：０画像フォーマットによる画像データの信号に変換される必要があり、そのための画像信号の垂直方向のフィルタリングは、例えば２ライン分の色差信号を加算することにより行い、両方の画像信号に対する特性を合わせるようにする。
【０１３５】
そして、そのようにフィルタリングされた信号の４：２：２変換器２２における色差信号の垂直方向へのオーバーサンプリングによる画像フォーマットの変更は、例えば２つの走査線分の色差信号を加算して２で割るような補間計算によって行われる。
【０１３６】
このような補間計算による方法を用いるのは、色差信号に対する特性をＭＰＥＧ符号化器１２に内蔵される局部復号化器と同じ特性のものにしなければならないためであり、それは差分画像信号として加算される色差信号の差分データは通常符号化器により生成される色差信号と同じ特性を有していないときは、例えＤＰＣＭ符号、復号器、ないしは第２ＭＰＥＧ符号化器、及び復号化器による符号化復号化などで全く劣化がない場合であっても、４：２：２画像フォーマットに基づく特性の画像信号を得ることができなくなるからである。
【０１３７】
従って、拡張画像符号化装置に用いられる４：２：２変換器２２の特性と、後述の図１４に示す拡張画像復号化装置に用いられる４：２：２変換器３８とは、同一の色差信号に対する垂直方向のオーバーサンプル方法を用いるようにして、４：２：０画像フォーマットにより符号化された画像データ部分は従来のメインプロファイルにより符号化された画像データ部分と同一の特性となる様にし、その同一特性の画像データの特性改善をユーザデータ領域で伝送される信号を復号することにより得るようにしている。
【０１３８】
次に、そのようにして前述の図１１、ないしは図１２に示した拡張画像符号化装置により生成された符号化データを復号する拡張画像復号化装置について述べる。
図１３に、そのようにして伝送される符号化データを通常のＭＰＥＧ復号化器により復号する場合の例を示す。
【０１３９】
同図において、供給される符号化データを、前述の図５に示したと同様な通常のＭＰＥＧ復号化器３２を用いて復号化するときは、その４：２：０画像フォーマットの符号化信号を復号化するＭＰＥＧ復号化器３２ではユーザデータ記録領域に記録される符号化データを検出せづに復号化を行うため、通常画像復号化装置３０からは通常の符号化データが復号化されて４：２：０画像フォーマットによる画像データが得られる。
【０１４０】
そして、４：２：２画像フォーマットに係る差分画像データを復号して垂直解像度の優れた高画質な復号画像データを得る拡張画像復号化装置の第４の実施例について更に述べる。
図１４に、その拡張画像復号化装置３０ｃの構成を示し、その動作について述べる。
【０１４１】
同図に示す拡張画像復号化装置３０ｃは、データ入力端子３１、ＭＰＥＧ復号化器３２ａ、ユーザデータ分離器３３、遅延器３４、ＤＰＣＭ復号器３５、４：２：２変換器３８、及び色差データ加算器３９より構成される。
【０１４２】
そのように構成される拡張画像復号化装置３０ｃのデータ入力端子３１に供給された符号化データは、ＭＰＥＧ復号化器３２ａで復号されて通常の復号化データが得られ、得られた復号化データは遅延器３４に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器３３に供給される。
【０１４３】
そのユーザデータ分離器３３では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeが検出され、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204が検出されるが、そのユニークコードが検出されないときはその後に伝送されるユーザデータは読み飛ばしがなされる。
【０１４４】
そして、そのユニークコードが検出されるときは、そのユニークコードに続いて伝送される拡張符号化データはＤＰＣＭ復号化器３５に供給され、そのＤＰＣＭ復号化器３５では前述の図６に示した拡張画像復号装置３０ａと同様にして、供給された符号化データの復号化が行われることにより、４：２：２画像フォーマットに係る垂直解像度を補正するための差分画像データが２種類の色差信号に対して得られる。
【０１４５】
それらの得られた差分画像データは色差データ加算器３９の一方の入力端子に供給されると共に、その他方の入力端子には遅延器３４で所定の時間遅延された通常ＭＰＥＧ復号画像データが供給され、それらの２つの入力端子に供給されたそれぞれの画像データは加算されて色信号の垂直解像度が改善された拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置３０ｃより出力信号として供給される。
【０１４６】
以上、４：２：２画像フォーマットにより伝送される画像データと、４：２：０画像フォーマットにより伝送される画像データとの差分画像データがＤＰＣＭ符号化されてビットストリームのユーザデータ領域に挿入されて伝送され、復号側では伝送された４：２：０画像フォーマットにより伝送された画像データは復号されると共に、ユーザデータ領域でＤＰＣＭ符号化されて伝送される４：２：２画像フォーマットにより伝送される画像データを得るための差分画像データは復号して得られ、その得られた差分画像データが用いられて解像度の改善された画像データとして得ることができるものである。
【０１４７】
そして、その４：２：２画像フォーマットによる画質を復号して得るための差分画像信号は、ＤＰＣＭ符号化により符号化して伝送される他に、第２の実施例で示した第２のＭＰＥＧ符号化器が用いられて符号化信号が生成される方法、更には他の直交変換の手法により符号化される方法など、符号化側と複合化側で相補的な手法が用いられて同様の拡張画像符号化装置、及び拡張画像復号化装置を構成することができるものである。
【０１４８】
また、このようにして構成される拡張画像符号化装置、及び拡張画像復号化装置は、対応する装置間で高画質な画像信号の送信及び受信を行なうことができる。
そして、異なる方式により差分画像データの伝送がなされるときは、お互いに異なるユニークコードを識別コードとして用いることにより、同一特性の符号化装置及び復号化装置により生成されて伝送された信号の受信及び復号化ができるようになされる。
【０１４９】
そして、これらの符号化及び復号化装置を用いて記録媒体に拡張画像符号化信号を記録して、その記録した信号を拡張画像復号化装置により再生することが出来る。その記録媒体として、ＲＡＭ形ＤＶＤなどの円盤型記録媒体を用いる場合、及びデジタルビデオレコーダのようなテープ型記録メディアを用いる場合などがある。
【０１５０】
特にデジタルビデオテープを用いる記録装置、例えばＤ−ＶＨＳでの記録信号は固定転送レートとされており、特に固定レートで記録される場合での応用性は高い。
【０１５１】
即ち、そのＤ−ＶＨＳによる場合の標準記録モードにおける転送レートは約１４Ｍｂｐｓとされているが、通常のＮＴＳＣ程度の動画をＭＰＥＧ方式により圧縮符号化を行う場合は約７〜９Ｍｂｐｓの転送レートによりかなり高画質に映像信号の記録ができる。
【０１５２】
その場合は、１４Ｍｂｐｓよりその転送レートを減じた約５〜７Ｍｂｐｓが信号の記録されない剰余領域とされるが、剰余領域に前述のユーザデータを記録することにより、例えばメインプロファイルで記録するときの４：２：０画像フォーマットに対する４：２：２ないしは４：４：４画像フォーマットによる画像との差分画像を記録して、色差信号の画素フォーマットを拡張した画像情報を再生することができる。
【０１５３】
即ち、そのための拡張画像符号化装置を搭載するＭＰＥＧデータ記録装置は、ＭＰＥＧ符号化器と、その符号化データを復号して原画像との差分データを作成する差分データ作成器と、差分データを前記符号化器で符号化するストリーム中のユーザデータに記録するユーザデータ記録器とを有して構成するようになされる。
【０１５４】
そしてまた、そのＭＰＥＧデータ記録装置は、ＭＰＥＧ符号化器と、その符号化データを復号して原画像との差分データを作成する差分データ作成器と、差分データをビデオストリームのユーザデータに所定のユニークコードと共に記録するユーザデータ記録器とを有して構成する方法がある。
【０１５５】
さらにまた、ＭＰＥＧデータ再生装置においては、ＭＰＥＧ復号器と、ビデオストリームのユーザデータに所定のユニークコードと共に記録される差分データを復号して得ると共に、ＭＰＥＧ復号部で復号された復号化データにその差分データの加算を行う差分データ加算器とを有するようにして構成する。
【０１５６】
このようにして構成されるＭＰＥＧデータ記録装置及びＭＰＥＧデータ再生装置を搭載するＭＰＥＧデータ記録再生装置を用いて、ユーザ個人がその装置により記録したビデオテープはその装置により高画質な再生ができると共に、その記録したテープを差分画像信号の再生に対応していない他の再生装置で再生するような場合であっても、通常の記録再生機能により標準的な再生がなされることになる。
【０１５７】
その標準的な記録再生機能は、ＭＰＥＧのメインプロファイルによる符号化の場合は４：２：０画像フォーマットによる伝送、ないしは記録がなされ、ユーザデータ領域で伝送ないしは記録されるデータとして４：２：２の原画像データのクロマ信号からＭＰＥＧ復号された４：２：０のクロマ信号との差分画像信号を符号化したものを用い、通常再生は４：２：０画像フォーマットにより、また差分画像信号を復号可能な場合は４：２：２画像フォーマットにより、色信号解像度の高い画像信号の再生がなされるものである。
【０１５８】
このようにして、ここに示した実施例においてはＭＰＥＧ方式により符号化したビデオ信号ビデオストリームのユーザデータ領域に所定のユニークコードと差分画像情報を記録するに際し、前記ビットストリーム本体は符号化対象のビデオ符号化標準データとし、ユーザデータ領域にのみ高画質化のための差分データ情報を記録するようにした。
【０１５９】
なお、記録媒体として固定レート記録によるデジタルＶＴＲを例として述べたが、記録媒体はＶＴＲテープに限ることなく、例えばＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭを用いる記録媒体によっても構わない。
【０１６０】
そのような円盤型記録媒体の場合であっても、全体の記録容量に対して記録番組のデータ容量が小さいような場合は、ビットストリーム中のユーザ領域に差分画像データを記録する、ないしは空き領域に差分画像データを記録するようにする。
【０１６１】
そのユーザデータ領域への記録はユニークコードと共に行うため、仮に読み出し速度が遅いようなＤＶＤプレーヤによる再生の場合でも、そのユーザ領域に記録される信号は読み飛ばしながら再生されることにより、通常のメインプロファイルによる再生が可能とされる。
【０１６２】
以上、ＶＴＲ、ＤＶＤに対する応用例について述べたが、この方法は例えば高速インターネット回線を用いる画像伝送システムに応用できる。それは、伝送速度を高く確保できるときは高画質化のための差分画像データを伝送するようにするものである。
【０１６３】
以上詳述した様に、拡張画像の符号化方法を搭載する拡張画像符号化装置は、例えばＭＰＥＧなど国際標準とされる符号化規格に対してはその規格に基づいた符号化ビットストリームを生成すると共に、そのビットストリームに挿入が許可されている例えばユーザデータ記録領域には、その規格により規定される所定のアプリケーション規格ないしは伝送フォーマットの変更を行うことなく階層構造を持たせた画像信号を伝送するためのビットストリームを生成することができ、市場に定着しつつある既存の画像符号化システムとの互換性を完全に保ちながら、上位階層構造の画像データを伝送できるので、アプリケーションの機能拡張性を大きくするシステムを構成できる。
【０１６４】
さらに、単体のビデオストリームに階層構造をもたせることができるのでシンプルな構成で復号化器の設計ができるため、高画質化などの機能拡張を低価格で実現することができる。
【０１６５】
特に、固定転送レートによるの記録媒体で、記録レートが、本来の記録データより余裕があるような場合には、前述の実施例に示した方法により高画質なビデオ信号の伝送ないしは記録を、また色信号の画像フォーマットを４：２：０から４：２：２に拡張するような彩度及び精細度の高いビデオ信号を得ることが可能となる。
【０１６６】
また、上述の第３の実施例において４：２：０画像フォーマットにより符号化した画像信号を復号して得られる画像信号と、４：２：２画像フォーマットにより供給される入力画像データとの差の信号を得、その得られた差の信号を符号化してユーザデータ領域に挿入した符号化信号として生成する手法について述べたが、それらの画像フォーマットは４：２：０方式、及び４：２：２方式に限ることなく、メインの符号化データに用いられる画像フォーマットは４：２：０方式の他に例えば４：１：０方式、及び４：１：１方式などを、そしてユーザデータ領域で差分画像信号として用いられる画像フォーマットは４：２：２方式の他に例えば４：４：４方式などの更に高解像度を与える画像フォーマットの信号形式を使用できる。
【０１６７】
いずれの場合においても、ユーザデータ領域で差分画像信号として用いられる画像フォーマットはメインの符号化データに用いられる画像フォーマットよりも色差信号などの解像度が高い方式のものが用いられる。
【０１６８】
また、ユーザデータ領域で伝送される符号化信号の符号化方式としてＤＰＣＭを用いる場合、及びＭＰＥＧで規定される符号化方式を用いる場合について述べたが、その符号化方式はそれらに限ることはなく、差分画像信号に対して効率の高い符号化がなされ、且つその符号化、及び復号化が比較的容易に行えるものであれば他の符号化方式であっても構わない。
【０１６９】
【発明の効果】
請求項１記載の発明によれば、４：２：２画像フォーマットの画像信号を４：２：０画像フォーマット信号に変換して変換画像信号を生成する変換器と、前記変換画像信号をＭＰＥＧメインプロファイルを用いて圧縮画像信号を生成する第１符号化器と、前記圧縮画像信号を復号化して復号化信号を生成する復号化器と、前記復号化信号から前記４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、前記４：２：２画像フォーマット画像信号と前記４：２：２画像フォーマット化した画像信号との差分から色差画像信号を生成する色差データ差分器と、前記色差画像信号から圧縮符号化して色差圧縮画像信号を生成する第２符号化器と、前記第１符号化器から出力された前記圧縮画像信号のユーザデータ領域に前記色差圧縮画像信号を挿入して前記拡張圧縮画像信号を生成するユーザデータ挿入器と、を備えるようにしているため、その拡張画像符号化信号を標準的な復号化により標準的な画質で復号化画像信号を得ることができると共に、ユーザデータ領域で伝送された差分画像信号を復号できる機能を有する復号化装置で復号化する場合は更に高画質な復号信号を得ることができる拡張画像信号符号化装置の構成を提供できる効果がある。
【０１７０】
また、請求項２記載の発明によれば、拡張圧縮画像信号を復号化して復号化信号を生成する第１復号化器と、前記復号化信号のうち、復号化されたユーザデータ領域の圧縮画像信号から４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、前記復号化信号のうち、前記ユーザデータ領域に挿入された色差圧縮画像信号を分離して取り出すユーザデータ分離器と、前記色差圧縮画像信号を復号化して色画像信号を生成する第２復号化器と、前記４：２：２変換器で生成された４：２：２画像フォーマット化した画像信号に前記第２復号化器で生成された色画像信号を加算して拡張復号化画像信号を生成する色差データ加算器と、を備えることにより、更に高画質な復号化画像信号を得ることができる拡張画像信号復号化装置の構成を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る拡張画像符号化装置の構成図である。
【図２】本発明の第１の実施例に係る輝度信号に係るＤＰＣＭコード表を示したものである。
【図３】本発明の第１の実施例に係る色差信号に係るＤＰＣＭコード表を示したものである。
【図４】ＭＰＥＧ２で規定されるビデオレイヤの符号化シンタックスを示したものである。
【図５】拡張画像符号化装置で生成した符号化データの、通常の画像復号化装置による復号を説明するための図である。
【図６】本発明の第１の実施例に係る拡張画像復号化装置の構成図である。
【図７】本発明の第２の実施例に係る拡張画像符号化装置の構成図である。
【図８】本発明の第２の実施例に係る拡張画像復号化装置の構成図である。
【図９】４：２：０画像フォーマットによる輝度信号と色差信号の画素数の関係を示した図である。
【図１０】４：２：２画像フォーマットによる輝度信号と色差信号の画素数の関係を示した図である。
【図１１】本発明の第３の実施例に係る拡張画像符号化装置の構成図である。
【図１２】本発明の第３の実施例に係る拡張画像符号化装置を変形させた構成図である。
【図１３】拡張画像符号化装置で生成した符号化データの、通常の画像復号化装置による復号を説明するための図である。
【図１４】本発明の第３の実施例に係る拡張画像復号化装置の構成図である。
【図１５】従来のＭＰＥＧ符号化器の構成を示した図である。
【図１６】従来のＭＰＥＧ復号化器の構成を示した図である。
【符号の説明】
１０、１０ａ、１０ｂ、１０ｃ 拡張画像符号化装置
１１ データ入力端子
１２ ＭＰＥＧ符号化器
１２ａ 第１ＭＰＥＧ符号化器
１３ ＭＰＥＧ復号化器
１４ 加算器
１５ 遅延器
１６ ＤＰＣＭ器
１７ ユーザデータ挿入器
１８ 固定符号量指示器
１９ 第２ＭＰＥＧ符号化器
２１ ４：２：０変換器
２２ ４：２：２変換器
２３ 色差データ差分器
３０ 通常画像復号化装置
３０ａ、３０ｂ、３０ｃ 拡張画像復号化装置
３１ データ入力端子
３２、３２ａ ＭＰＥＧ復号化器
３２ｂ 第１ＭＰＥＧ復号化器
３３ ユーザデータ分離器
３４ 遅延器
３５ ＤＰＣＭ復号化器
３６ 加算器
３７ 第２ＭＰＥＧ復号化器
３８ ４：２：２変換器
３９ 色差データ加算器
５０ ＭＰＥＧ符号化器
５１ 入力端子
５２ 加算器
５３ ＤＣＴ器
５４ 量子化器
５５ ＶＬＣ器
５６ バッファ
５７ 変換符号量制御器
６１ 逆量子化器
６２ 逆ＤＣＴ器
６３ 加算器
６４ 画像メモリ
６５ 動き補償予測器
７０ ＭＰＥＧ復号化器
７１ データ入力端子
７２ バッファ
７３ ＶＬＤ器
７４ 逆量子化器
７５ 逆ＤＣＴ器
７６ 加算器
７７ 画像メモリ
７８ 動き補償予測器
【発明の属する技術分野】
本発明は、階層性を有する圧縮符号化信号の生成、ないしはその復号に関するもので、特に市場に導入されている圧縮符号化データと互換性を保ちながら、上位階層差分データを同一圧縮符号化データとして生成する拡張画像の符号化方法、及び拡張画像の復号化方法と、その方法を搭載した拡張画像符号化装置、及び拡張画像復号化装置と、更にその符号化データを記録した拡張画像記録媒体に関する。
【０００２】
【従来の技術】
テレビジョン信号などの動画像信号を高能率符号化する技術として、いわゆるＭＰＥＧ（moving picture experts group）規格がディジタル放送、ＤＶＤ（Digital versatile Disc）、ディジタルテープレコーダ、及び通信ネットワークで伝送される信号として広く用いられるようになってきた。
【０００３】
そのＭＰＥＧは、１９８８年ＩＳＯ／ＩＥＣ（International Organization for Standardization / International Electrotechnical Commission）のＪＴＣ１／ＳＣ２（Joint Technical Committee 1 / Sub committee 2国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2）に設立された動画像符号化標準を検討する組織である。
【０００４】
そのＳＣ２は、現在ＳＣ２９として動画、及び音響信号等の符号化に係る規格制定活動を継続しており、またＭＰＥＧの人達により制定された国際標準は通俗的にＭＰＥＧとも呼ばれている。
【０００５】
最初に制定されたＭＰＥＧ１（ＭＰＥＧフェーズ1）は１．５Ｍｂｐｓ程度の伝送レートで記録される蓄積メディアを対象とした、音響信号の付随される動画信号の符号化標準で、静止画の符号化を目的とするＪＰＥＧ（Joint Photographic Coding Experts Group）と、ＩＳＤＮ（Integrated services digital network）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（CCITT SGXV、現在のITU-T SG15で標準化）の基本的な技術を用いた符号化標準である。
【０００６】
そのようにしてＭＰＥＧ１は１９９３年８月に、ＩＳＯ／ＩＥＣ１１１７２として制定され、そのＭＰＥＧ１規格により符号化されて記録されたディスクは多く製品化されている。
【０００７】
その後制定されたＭＰＥＧ２（ＭＰＥＧフェーズ２）は、通信及び放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月にＩＳＯ／ＩＥＣ１３８１８、及び「Ｈ．２６２」として制定されている。
【０００８】
これらのＭＰＥＧ１及びＭＰＥＧ２による符号化は複数の符号化技術より構成されており、それらの技術は動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロック毎に分割し、各マクロブロック単位ごとに、時間的に未来または過去に所定の数フレーム離れた参照画像と被符号化画像との間で「動きベクトル」と呼ばれる動き量を求め、その動き量を基に参照画像から被符号化画像を符号化する「動き補償予測」技術と、その動き補償予測の誤差信号または被符号化画像そのものに対して、直交変換技術の一つであるＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）を用いて画像情報を周波数情報量に変換し、その変換された周波数領域の情報より視覚的に有意な情報のみを得るようにして圧縮符号化を行う「変換符号化」技術と、の２つの画像符号化の要素技術を基にして規定されている。
【０００９】
そして、動き補償予測における予測の方向は、過去、未来、及び過去未来の両方から予測する場合の３モードが存在し、それらの３モードは１６画素×１６画素のデータよりなるマクロブロックごとに切り替えて使用できるようになされている。
【００１０】
また、それらの予測方向は入力画像のフレームに与えられるピクチャタイプ、即ちＩ（Intra-coded）、Ｐ（Predictive-coded）、及びＢ（Bidirectionally predictive-coded）の３種類のピクチャタイプが定められている。
【００１１】
そのIピクチャは動き予測を行わずに符号化するピクチャであるが、Ｐピクチャには過去からの予測、及び予測を行わずに符号化する２モードが存在しており、またＢピクチャには未来からの予測、過去からの予測、過去及び未来の両方向からの予測、及び予測を行わずにフレーム内符号化を行う４つのＭＣ(Motion Compensation)モードがある。
【００１２】
それらの未来、ないしは過去の画像を用いて行う動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル（画素間距離の１／２）精度で動きベクトルを求め、求められた動きベクトル量に対応させて未来、ないしは過去の参照画像位置をそのベクトル方向に移動させた画像を基に供給される画像信号の符号化を行う。
【００１３】
そのようにして求められる動きベクトルの方向には水平方向と垂直方向とがあり、それらのベクトル情報はＭＣモードと共にマクロブロックの付加情報として伝送されるようになされている。
【００１４】
また、そのようにしてなされるピックチャデータのうち、Ｉ、Ｐ、及びＢの３種類のピクチャはＩピクチャを先頭として所定の順に並べられて伝送され、そのＩピクチャより次のIピクチャの手前のピクチャまでのピクチャ（フレーム画像）の集合をＧＯＰ(Group Of Picture)と呼び、通常の蓄積メディアなどでなされる符号化においては、１５枚程度のピクチャによりＧＯＰが構成されるようになされている。
【００１５】
そして、Ｉピクチャ、及び動き補償画像として符号化されるＰ、及びＢピクチャはＤＣＴ（discrete cosine transform）、即ち余弦関数を積分核とする積分変換が有限空間へ離散変換する直交変換としてなされる。
【００１６】
その直交変換はマクロブロックを８画素×８画素の輝度信号に係る４個のＤＣＴブロックと、青信号より輝度信号を減算したＢ−Ｙと、赤信号より輝度信号を減算したそれぞれ１個の８画素×８画素のＤＣＴブロックに分割されて２次元ＤＣＴを行われるが、一般にそれらのＤＣＴブロック画像データの周波数成分は低域成分に多く高域成分は少ないため、画像データはＤＣＴを行い低域周波数に集中された変換係数により表現することができる。
【００１７】
そして、そのＤＣＴされた画像データ（ＤＣT係数）は量子化器で量子化が行われる。即ちその量子化器により、ＤＣＴ係数は所定の量子化値により叙算されて求められるが、その量子化値は８画素×８画素の２次元周波数を視覚特性で重み付けされた量子化値として得られるが、その量子化値は所定の量子化スケールによりスカラー倍されたものが用いられる。
【００１８】
また、その量子化値は符号化された画像データの復号時に得られる逆量子化値を乗算することにより、デコード時にはエンコード時に与えられた量子化値による特性が打ち消されるようになっている。
【００１９】
次に、この様な手法により符号化及び復号化を行うＭＰＥＧ符号化器の構成について述べる。
図１５に、ＭＰＥＧ符号化器の構成を示し、その動作の概略を述べる。
【００２０】
そのＭＰＥＧ符号化器５０は入力端子５１、加算器５２、ＤＣＴ器５３、量子化器５４、ＶＬＣ器５５、バッファ５６、符号量制御器５７、逆量子化器６１、逆ＤＣＴ器６２、加算器６３、画像メモリ６４、及び動き補償予測器６５より構成される。
【００２１】
まず、入力端子５１に供給された動画信号は動き補償予測器６５及び加算器５２に供給され、その加算器５２では動き補償予測器６５より供給される信号は極性反転されて加算され、加算されて得られる信号はＤＣＴ器５３に供給される。
【００２２】
そのＤＣＴ器５３では、供給される画像信号は前記の離散余弦変換が行われ、変換して得られるＤＣＴ変換係数は量子化器５４に供給され、前記所定の量子化値を基に量子化がなされ、量子化のなされた量子化データは逆量子化器６１、及びＶＬＣ（variable length coding）器５５に供給される。
【００２３】
そのＶＬＣ器５５では、供給された量子化データは可変長符号化されるが、量子化された値のうちＤＣＴ変換がなされて得られる直流（ＤＣ）成分はＤＰＣＭ（differential pulse code modulation)変調がなされる。
【００２４】
また、交流（ＡＣ）成分は低域周波数成分のデータより高域周波数成分のデータの順にジグザグスキャン（zigzag scan）がされながら得られ、その得られたデータはゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから順に符号長の短い符号が割り当てられるようにして、ハフマン符号化がなされる。
【００２５】
その可変長符号化である、ハフマン符号化のなされたデータはバッファ５６に一時記憶され、一時記憶されたデータは所定の転送レートにより符号化データ出力として供給される。
【００２６】
そして、その供給されるデータのマクロブロック毎の発生符号量は、符号量制御器５７に供給されて、予め設定されている目標符号量と比較され、比較して得られる発生符号量との差の符号量は量子化器５４に供給され、量子化器５４ではその差の符号量を基に量子化スケールの値を変更するなどにより所定の転送レートの符号化データが得られるようにして符号量の制御がなされる。
【００２７】
一方、量子化器５４で量子化された画像データは逆量子化器６１に供給されて逆量子化がなされ、その逆量子化のなされたデータは逆ＤＣＴ器６２に供給されて、そこで逆ＤＣＴがなされ、その逆ＤＣＴされたデータは加算器６３に供給される。
【００２８】
その加算器６３では動き補償予測器６５より供給される参照画像と加算され、その加算して得られる信号は画像メモリ６４に供給されて、そこに一時記憶される。その一時記憶された画像データは、動き補償予測器６５において差分画像を演算するためのリファレンス復号化画像として用いられることにより、ＭＰＥＧ符号器５０より動き補償のされた符号化データとして得られるようになされている。
【００２９】
このようにして得られた符号化データはＭＰＥＧ復号化器に供給されて復号される。
図１６に、ＭＰＥＧ復号化器の構成を示し、その動作の概略について述べる。
【００３０】
同図に示すＭＰＥＧ復号化器７０は、データ入力端子７１、バッファ７２、ＶＬＤ器７３、逆量子化器７４、逆ＤＣＴ器７５、加算器７６、画像メモリ７７、及び動き補償予測器７８より構成される。
【００３１】
まず、入力端子７１に供給された符号化データはバッファ７２に一時記憶され、一時記憶された符号化データは必要に応じてＶＬＤ（variable length decoding）器７３に供給される。
【００３２】
そのＶＬＤ器７３では、ＶＬＣ器５５により符号化されたデータの可変長復号が行われ、前述の直流（ＤＣ）成分および交流（ＡＣ）成分に係るデータが得られる。
【００３３】
それらの得られたデータのうち交流成分のデータはＭＰＥＧ符号化器５０でなされたと同じ低域から高域周波数成分へのジグザグスキャンの順で８×８のマトリックスに配置される量子化データとして得られ、その得られた量子化データは逆量子化器７４に供給される。
【００３４】
その逆量子化器７４では、前述の量子化マトリックスにより逆量子化がなされ、その逆量子化されて得られるデータは逆ＤＣＴ器７５に供給され、そこでは逆ＤＣＴ演算がなされて画像データが復号化データとして得られる。
【００３５】
そして、その得られた画像データは画像メモリ７７に一時記憶され、一時記憶された画像データは動き補償予測器７８に供給され、供給された画像データは動き補償予測における差分画像を演算するためのリファレンス復号化画像として用いられる。
【００３６】
このようにして、動画を構成する画像データはＭＰＥＧ符号化器５０により符号化されて伝送、ないしは記録され、その受信、ないしは再生された符号化データはＭＰＥＧ復号器７０により復号されて動画情報として得られるようになされており、このような手法はＭＰＥＧ１、及びＭＰＥＧ２の両者において用いられている。
【００３７】
そのＭＰＥＧ２による動画信号符号化の用いられ方として、プロファイルとレベルが規定されているが、そのプロファイルにはＤＶＤへの記録、及びデジタル衛星放送で用いられているメイン（Main）プロファイルの他に符号化方法を単純化して遅延時間を少なくしたシンプル（Simple）プロファイル、後述のＳＮＲスケーラブル（SNR Scalable）プロファイル、空間解像度に階層性を持たせたスペイシャルスケーラブル（Spatial Scalable）プロファイル、及び高度の機能を有するハイ（High）プロファイルがある。
【００３８】
そして、これらのプロファイルにおける輝度信号と色差信号のサンプル数に係る画像フォーマットは４：２：０画像フォーマットが主として用いられており、４：２：２画像フォーマットはハイプロファイル、ないしは上記プロファイルと並列に規定されている４２２プロファイルでのみ使用が認められている。
【００３９】
そのようにして、通常のビデオ信号の記録、及び放送には４：２：０画像フォーマットによる画像信号の圧縮符号化がなされており、色信号に対する解像度が高く得られる４：２：２画像フォーマットの信号の記録再生、及び放送はなされていない。
【００４０】
しかし、昨今の情報化社会において、コンピュータを用いて行う画像信号の生成も普及されてきた。そして、従来のカメラ撮影によるような彩度のあまり高くない画像を符号化する場合ではそれほど必要とされなかったが、コンピュータなどで制作された彩度及び解像度の高い信号の符号化に対しては符号化、及び復号化を行って得られる画質に劣化が認められるなど、４：２：２画像フォーマットなど彩度の高い色信号に対しても解像度の低下しない信号の符号化が望まれるようになった。
【００４１】
そのような、色信号成分の劣化を少なくした画像信号の符号化及び復号化に係り、特開平９−２３８３６６号公報「画像符号化装置及び画像復号化装置及び符号化・復号化システム」は、画像圧縮符号化及び復号化時に生じる色差信号ブロックより発生されるブロック歪成分が、ブロック全体に波及するのを防ぐための符号化方式を開示している。
【００４２】
即ち、その符号化方式によれば、圧縮効率を下げないでフォーマット変換を動的に切り替える符号化器・復号化器として、ディジタル化入力画像をフォーマット変換し、量子化し、符号化する画像符号化装置において、フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、設定基準で上記入力画像データまたは量子化画像データまたは他の画像データの状態変化を検出して、上記複数の空間解像度の画像データのどれを出力するかを選択して出力する画像状態判定部とを設けるようにして、選択された空間解像度の画像データを量子化部に供給する方法について開示している。
【００４３】
また、空間解像度を選択して符号化及び復号化を行う、周波数領域の階層符号化を実現する技術として、ＭＰＥＧ２で定められたプロファイルの中に前述のＳＮＲスケーラビリティプロファイルがある。
【００４４】
そのＳＮＲスケーラビリティプロファイルはメインプロファイルの上位にあるＳＮＲプロファイルとして上位互換を取りつつ使用することができるプロファイルであり、そのプロファイルでは、量子化が粗いレイヤを基本レイヤ（Base Layer）、量子化が細かいレイヤを高位レイヤ（ Enhancement Layer ）として、最初に基本レイヤによる符号化が行われる。
【００４５】
次に符号化の行われる高位レイヤでは、基本レイヤの画像を復号化し、復号化された画像信号と入力画像との差分を計算し、得られた差分画像を基本レイヤよりも小さい量子化スケールで量子化して符号化信号を得るようにすることが規定されている。
【００４６】
このような基本レイヤ及び高位レイヤによる２つの符号化信号を色差信号に対して得るような機能として用いることにより、ＳＮＲスケーラビリティと同様な手法を用いて色差信号のサイマルキャスト機能を実現することは可能である。
【００４７】
そのサイマルキャスト機能を用いて、例えば基本レイヤに４：２：０の画像の輝度信号と色差信号を符号化し、高位レイヤでは４：２：２の色差信号のみを符号化するようにして得た２つのビットストリームをサイマルキャスト方式で送信することにより、復号器側では下位レイヤのみ用いて４：２：０信号の受信を、また高位レイヤをも用いて４：２：２画像フォーマットによる画像を得ることが可能とされる。
【００４８】
そのような基本レイヤと高位レイヤにより符号化した２つのビットストリームは、符号化レイヤよりも上位の多重化システムレイヤにて同期が取られながら多重化されて１つのビットストリームとされて伝送されることとなるが、そのようにして伝送されたビットストリームの受信はその多重化された信号を分離し、分離されて得られるそれぞれの２つのビットストリームの信号を２つの復号器により復号し、復号して得られる２つの信号を基に４：２：２画像フォーマットによる復号信号を得るような専用の復号機能を有する復号器を用いて復号を行うこととなる。
【００４９】
【発明が解決しようとする課題】
しかしながら、上記の特開平９−２３８３６６号公報による場合の方式では、複数の色信号フォーマットのうちのどれを選択するかを判定する画像状態判定部が必要であり、またその判定に従ったビットストリームのフォーマットには、複数が存在することになり、既存の復号器では復号化ができなく互換性確保の点で問題がある。
【００５０】
そして、上記ＭＰＥＧ２のＳＮＲスケーラビリティプロファイルを用いて２つのフォーマットの画像信号を伝送する方法では、２つのビットストリームが多重化されたストリームとする以外にビットストリームを伝送することができないため、階層構造をもたせた１つのビデオストリームとしてのビットストリームを得ることができない。
【００５１】
また、そのＳＮＲスケーラビリティプロファイルを用いて２つの４：２：０、及び４：２：２の画像フォーマットによる符号化信号を伝送するためには、ベースとなる４：２：０画像フォーマットにより生成されるビットストリームを規定している所定のアプリケーションの規格、及びアプリケーションフォーマットを変更せずに階層構造を持たせることができないため、既存のアプリケーションと互換性を確保しながら４：２：２画像フォーマットによる画像との差分信号を生成して多重することはできない、といった程度のものでしかなかった。
【００５２】
そこで本発明は、例えば標準方式のメインプロファイルによって生成され、記録、ないしは伝送されている、既存のデジタル放送及びＤＶＤなどでベースとされるビットストリームに係る所定のアプリケーション規格、及び記録ないしは伝送フォーマットは変更せずにそのままを用い、且つ階層構造をもたせることにより既存のアプリケーションとの互換性を完全に保ちながら、上位階層構造の画像データを記録、ないしは伝送する符号化ビットストリームを生成することにより、アプリケーションの機能拡張性を大きくした拡張画像符号化装置及び拡張画像復号化装置を提供しようとするものである。
【００５３】
【課題を解決するための手段】
本発明は、上記課題を解決するために以下の１）及び２）の手段より成るものである。
すなわち、
【００５４】
１） ４：２：０画像フォーマットの画像信号から４：２：２画像フォーマット化した拡張圧縮画像信号を生成する拡張画像符号化装置において、
前記４：２：２画像フォーマットの画像信号を前記４：２：０画像フォーマット信号に変換して変換画像信号を生成する変換器と、
前記変換画像信号をＭＰＥＧメインプロファイルを用いて圧縮画像信号を生成する第１符号化器と、
前記圧縮画像信号を復号化して復号化信号を生成する復号化器と、
前記復号化信号から前記４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、
前記４：２：２画像フォーマット画像信号と前記４：２：２画像フォーマット化した画像信号との差分から色差画像信号を生成する色差データ差分器と、
前記色差画像信号から圧縮符号化して色差圧縮画像信号を生成する第２符号化器と、
前記第１符号化器から出力された前記圧縮画像信号のユーザデータ領域に前記色差圧縮画像信号を挿入して前記拡張圧縮画像信号を生成するユーザデータ挿入器と、
を備えたことを特徴とする拡張画像符号化装置。
【００５５】
２） ＭＰＥＧメインプロファイルを用いて圧縮符号化された圧縮画像信号のユーザデータ領域に色差圧縮画像信号が挿入された拡張圧縮画像信号からの復号化を行って、拡張復号化画像信号を生成する拡張画像復号化装置において、
前記拡張圧縮画像信号を復号化して復号化信号を生成する第１復号化器と、
前記復号化信号のうち、復号化された前記ユーザデータ領域の圧縮画像信号から４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、
前記復号化信号のうち、前記ユーザデータ領域に挿入された前記色差圧縮画像信号を分離して取り出すユーザデータ分離器と、
前記色差圧縮画像信号を復号化して色画像信号を生成する第２復号化器と、
前記４：２：２変換器で生成された４：２：２画像フォーマット化した画像信号に前記第２復号化器で生成された色画像信号を加算して前記拡張復号化画像信号を生成する色差データ加算器と、
を備えたことを特徴とする拡張画像復号化装置。
【００６３】
【発明の実施の形態】
以下、本発明の拡張画像符号化装置及び拡張画像復号化装置の実施形態につき好ましい実施例により説明する。
図１は、拡張画像符号化装置の第１の実施例による構成であり、以下図と共に説明する。
【００６４】
同図に示す拡張画像符号化装置１０は、画像データ入力端子１１、ＭＰＥＧ（moving picture experts group）符号化器１２、ＭＰＥＧ復号化器１３、加算器１４、遅延器１５、ＤＰＣＭ（differential pulse code modulation )器１６、及びユーザデータ挿入器１７より構成される。
【００６５】
次に、このように構成される拡張画像符号化装置１０の動作について述べる。まず、入力画像データはＭＰＥＧ符号化器１２に供給されてＭＰＥＧのメインプロファイルに従った方法により符号化され、符号化して得られる符号化信号は遅延器１５、及びＭＰＥＧ復号化器１３に供給される。
【００６６】
そのＭＰＥＧ復号化器１３では符号化された符号化信号は復号化されて加算器１４の一方の入力端子に負極性の信号として供給されると共に、他方の入力端子には入力画像データが正極性の信号として供給されており、その加算器１４からは２つの入力端子に供給された信号が加算された信号が得られ、その加算された信号はＤＰＣＭ符号化器１６に供給される。
【００６７】
そのＤＰＣＭ符号化器１６では、供給された信号のＤＰＣＭ符号化がなされてＤＰＣＭ符号化信号が生成され、その生成されたＤＰＣＭ符号化信号はユーザデータ挿入器１７の一方の入力端子に供給されると共に、他方の入力端子には遅延器１５により同期処理のために遅延された符号化信号が供給されており、その符号化信号のユーザデータ領域に前記ＤＰＣＭ符号化信号が挿入され、挿入されて得られる符号化データは拡張画像符号化装置１０の出力信号としてその装置より供給される。
【００６８】
このようにして、ＭＰＥＧ符号化器１２で符号化された信号はＭＰＥＧ復号化器１３で復号化され、復号化された信号と入力画像データとの差の信号がＤＰＣＭ符号化器１６でＤＰＣＭ符号化されてユーザデータ領域に挿入される様にして符号化データが得られるが、そのＭＰＥＧ符号化器１２とＭＰＥＧ復号化器１３でなされる符号化及び復号化は、入力画像をＤＣＴ変換、及び量子化を行った信号に対して復号化を局部復号として行う場合、あるいは量子化を行った信号に対してＶＬＣ（variable length coding）を行って最終ビットストリームデータを得た後にＶＬＤ（variable length decoding）を行うなどの信号処理が追加されて行われる場合のいずれによってもよい。
【００６９】
即ち、いずれの場合においてもＭＰＥＧ符号化した信号を復号化して得られる符号化及び復号化に基づく画像信号と入力画像データとが比較され、その比較して得られる輝度信号、及び色差信号のそれぞれの差分信号がＤＰＣＭ符号化されて伝送されるものである。
【００７０】
次に、このようにしてなされる拡張画像符号化装置１０の動作について更に述べる。
図２に、輝度信号に係る差分信号をＤＰＣＭ符号化するためのＤＰＣＭコード表を示す。
【００７１】
同表において、差分値の範囲に対するＤＰＣＭ符号の割り当てを示している。
即ち、加算器１４より得られる差分画像データは、画面に対して左上から右下の方向へ、ラスタースキャンが行われるような順番に従って画素データを得、得られた画像データの変化分のみを差分値として演算して得る。
【００７２】
そして、最初の画素の初期値は０とされ、その０に対する差分値との差が横方向に演算されて求められると共に、その差の値がどの範囲の値であるかによってＤＰＣＭ符号が割り当てられ、その符号の割り当ては画面上の１ラインの画素データに対して行われる。
【００７３】
図３に、色差信号に係る差分信号をＤＰＣＭ符号化するためのＤＰＣＭコード表を示す。
同表において、色差信号の方が輝度信号より水平周波数帯域が小さいので、色差信号に対するＤＰＣＭコードは低いレベルの変化に対して異なるＤＰＣＭ符号が割り当てられるようにされている。
【００７４】
これらの輝度信号用、及び色差信号用の両方のコード表において、ＤＰＣＭコードが１１１１であるときはZeroRunESCとされており、そのときは差分画像のＤＰＣＭ値で最も多く発生する０データを全て伝送せずに、０の続いたラン長を伝送するときに使用するコードである。即ち、１１１１の後に最大８ビット（２５６画素）のビット数を伝送するようにして、複数の０に係る個数情報を伝送するようになされている。
【００７５】
差信号に係るＤＰＣＭ符号は、−２５５〜＋２５５である９ビットの画素データをこれらの表を基にして４ビットの値に変換されるが、通常の画像に係る差信号の場合ではゼロが多く発生されるので、そのゼロを含めたＤＰＣＭ符号をゼロランレングス符号化することにより、更に短い圧縮コードとして得ることができる。
【００７６】
このようにしてＤＰＣＭ符号化されたデータは、ユーザデータ挿入器１７に供給される。そのユーザデータ挿入器１７には遅延器１５により所定の時間遅延されたＭＰＥＧ符号化データが供給される。ＤＰＣＭ符号化されたデータは符号化されたピクチャと時間関係が同一であるピクチャデータ領域にあるユーザデータ記録領域に、そのピクチャに対応する差分画像のＤＰＣＭ符号化データとして挿入される。
【００７７】
図４に、ＭＰＥＧ２におけるビデオレイヤのシンタックスを示す。
同図において、ＭＰＥＧ２ビデオ信号に係るビットストリームを生成するためのデータの順について規定してある。
【００７８】
即ち、最初に３２ビットによる画像開始コードpicture#start#codeを記述し、次に１０ビットのＩ（Intra-coded）、Ｐ（Predictive-coded）、及びＢ（Bidirectionally predictive-coded）ピクチャの伝送及び表示順に係る情報をTemporal#referenceにより、そして３ビットによるＩ、Ｐ、及びＢピクチャなどの画像タイプに係る情報をpicture#coding#typeにより伝送するようにしてビットストリームが生成される。
【００７９】
そして、このシンタックスの終わりの方にある３２ビットのユーザデータ開始コードUser#data#start#codeに続けて記述される８ビットのuser#dataを使用してＤＰＣＭ符号化データの挿入記述を行う。
【００８０】
即ち、user#data（ ）は、user#start#codeなる位置決定を行うバイトアラインされたスタートコードより記述が開始され、次に0x000001の３バイトの符号が受信されるまでユーザデータを記述し続けることができるように定義されている。
【００８１】
そのようにして、ビデオ信号レイヤのユーザデータ領域にＤＰＣＭ符号化した差分画像データを記述することにより、符号化された画像データと同じ階層のデータとして画像の差分情報を伝送、ないしはその信号を媒体に記録することができる。
【００８２】
なお、ここでそのユーザデータ領域は、ユーザが定義して使用することが許可されたデータ領域であるので、例えば他のユーザ、ないしは他のアプリケーションでuser#data( )が使用される可能性もあるので、user#data( )のuser#start#codeのあとに、本方式の差分画像データであることを示す、４バイト程度の識別コード、ないしはユニークコード0x22220204を記述して後に、例えばＤＰＣＭ符号化された輝度信号、色差のＣｂ信号（青信号−輝度信号）、及び色差のＣｒ信号（赤信号−輝度信号）のコードを順に記述するようにする。
【００８３】
このようにして、ＭＰＥＧ符号化器１２で符号化された信号、及び符号化された信号を復号化し、入力される信号との差の信号をＤＰＣＭ符号化した信号を同一の画像レイヤ信号領域のユーザデータ領域に挿入した符号化データとして生成して伝送することができる。
【００８４】
次に、このようにして生成され、伝送された符号化データの復号化について述べる。
図５に、通常の符号化データを復号する通常画像復号化装置の構成を示す。
同図に示す通常画像復号化装置３０は、ＭＰＥＧ復号化器３２により構成されている。
【００８５】
そのＭＰＥＧ復号化器３２による符号化データの復号化は、記述されて伝送されるユーザデータの検出を行わずに、即ち読み飛ばすようにして符号化データの復号化を行なうため、ＭＰＥＧ符号化器１２で符号化された符号化データのみの復号化を行うため、通常画像復号化装置３０からは通常符号化データを復号化して得られる通常復号化データが得られる。
【００８６】
次に、通常符号化データに挿入されて伝送されるユーザデータを共に復号化して高画質の画像データである、拡張復号化データを得る拡張画像復号化装置の第１の実施例について述べる。
図６に、その拡張画像復号化装置の構成を示す。
【００８７】
同図に示す拡張画像復号化装置３０ａは、データ入力端子３１、ＭＰＥＧ復号化器３２ａ、ユーザデータ分離器３３、遅延器３４、ＤＰＣＭ復号化器３５、及び加算器３６より構成される。
【００８８】
次に、この様に構成される拡張画像復号化装置３０ａの動作について述べる。
まず、データ入力端子３１に供給された符号化データはＭＰＥＧ復号化器３２ａに供給され、そこでは通常の復号化データが得られ、得られた復号化データは遅延器３４に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器３３に供給される。
【００８９】
そのユーザデータ分離器３３では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeを検出し、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204の検出を行う。
【００９０】
そのユニークコード0x22220204が検出されないときは、その後に伝送されるユーザデータは復号の必要がないデータであるとしてそのユーザデータの読み飛ばしを行う。
【００９１】
そのユニークコードが検出されるときは、高画質化のための拡張符号化データに拡張画像得るための差分画像データが記述してあると判定し、伝送されるＤＰＣＭ符号化データをＤＰＣＭ復号器３５に供給する。
【００９２】
そのＤＰＣＭ復号器３５では、供給されたＤＰＣＭ符号化データを復号して輝度信号、色差のＣｂ信号、及び色差のＣｒ信号を得、それらの得られたそれぞれの信号は前述の図２、及び図３に示したＤＰＣＭ符号化テーブルを基にＤＰＣＭ符号を復号し、それぞれの差分画像データを得る。
【００９３】
それらの得られた差分画像データは加算器３６の一方の入力端子に供給されると共に、他方の入力端子には遅延器３４で所定の時間遅延された通常ＭＰＥＧ復号画像データが供給され、それらの２つの入力端子に供給されたそれぞれの画像データは加算されて拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置３０ａより出力信号として供給される。
【００９４】
以上、差分画像データをＤＰＣＭ符号化して伝送する拡張画像符号化装置で生成された符号化データを拡張画像復号化装置により復号化して拡張復号化画像データを得る第１の実施例について述べたが、次に差分画像データを異なるＭＰＥＧ符号化器で符号化して伝送する第２の実施例について述べる。
【００９５】
その第２の実施例による拡張画像符号化装置は、第１の実施例に示した装置では差分画像データをＤＰＣＭ符号化して伝送していたが、この実施例では直交変換技術を応用するＭＰＥＧ方式によって符号化する点で異なっており、次に第１の実施例も参照しながら述べる。
図７に、拡張画像の符号化方法を搭載した拡張画像符号化装置の第２の実施例による構成を示し、以下図と共に説明する。
【００９６】
同図に示す拡張画像符号化装置１０ａは、画像データ入力端子１１、第１ＭＰＥＧ符号化器１２ａ、ＭＰＥＧ復号化器１３、加算器１４、遅延器１５、固定符号量指示器１８、第２ＭＰＥＧ符号化器１９、及びユーザデータ挿入器１７より構成される。
【００９７】
次に、このように構成される拡張画像符号化装置１０ａの動作について述べる。
まず、入力画像データは第１のＭＰＥＧ符号化器１２ａに供給されてＭＰＥＧのメインプロファイルにより符号化されて得られる符号化信号の一方は遅延器１５に供給されると共に、他の一方はＭＰＥＧ復号化器１３に供給されて復号化される。
【００９８】
その復号化された信号は加算器１４の一方の極性反転動作を行う入力端子に供給されると共に、他方の入力端子には入力画像データが供給されており、その加算器１４からは２つの入力端子に供給された信号の差の信号が差分画像データとして生成され、その生成された信号は固定符号量指示器１８により符号量が制御されて動作している第２ＭＰＥＧ符号化器１９に供給される。
【００９９】
その第２ＭＰＥＧ符号化器１９では、供給された差分画像データに対して、従来のＭＰＥＧと同様にしてマクロブロックごとの符号化がなされ、符号化されて得られる符号化信号はユーザデータ挿入器１７の一方の入力端子に供給される。
【０１００】
そのユーザデータ挿入器１７の他方の入力端子には遅延器１５により遅延された第１ＭＰＥＧ符号化器１２ａにより符号化された信号が供給されており、その信号のユーザデータ記録個所に前記第２ＭＰＥＧ符号化器１９により符号化された信号が挿入され、挿入されて得られる符号化データは拡張画像符号化装置１０ａの出力信号として供給される。
【０１０１】
このようにして、差分画像データはＭＰＥＧ方式により符号化されてユーザデータ領域に挿入された符号化データとして供給されるが、そのユーザデータ領域への差分画像データの挿入、記述方法は前述の第１の実施例と同様にして行われる。
【０１０２】
このようにして伝送された符号化データの復号化は、前述の図５に示したような通常の復号化器を用いて行われときは、そのＭＰＥＧ復号化器３２ではユーザデータ記録領域に記録される符号化データが検出されづに復号化が行われるため、通常画像復号化装置３０からは通常の符号化データを復号化した画像データが得られる。
【０１０３】
次に、差分画像データを復号して高画質の復号画像データを得る拡張復号化データを得るための、拡張画像復号化装置の第２の実施例について述べる。
図８に、その拡張画像復号化装置３０ｂの構成を示し、その動作について述べる。
【０１０４】
同図に示す拡張画像復号化装置３０ｂは、データ入力端子３１、第１ＭＰＥＧ復号化器３２ｂ、ユーザデータ分離器３３、遅延器３４、第２ＭＰＥＧ復号化器３７、及び加算器３６より構成される。
【０１０５】
そのように構成される拡張画像復号化装置３０ｂのデータ入力端子３１に供給された符号化データは、第１ＭＰＥＧ復号化器３２ｂで通常の復号化データが得られ、得られた復号化データは遅延器３４に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器３３に供給される。
【０１０６】
そのユーザデータ分離器３３では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeを検出し、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204を検出するが、そのユニークコードが検出されないときはその後に伝送されるユーザデータの読み飛ばしを行う。
【０１０７】
そして、そのユニークコードが検出されるときは、そのユニークコードに続いて伝送される拡張符号化データは第２ＭＰＥＧ復号化器３７に供給され、その第２ＭＰＥＧ復号化器３７では供給された符号化データの復号化が行われることにより拡張画像を得るための輝度信号、及び２種類の色差信号に係る差分画像データが得られる。
【０１０８】
それらの得られた差分画像データは加算器３６の一方の入力端子に供給されると共に、他方の入力端子には遅延器３４で所定の時間遅延された通常ＭＰＥＧ復号画像データが供給され、それらの２つの入力端子に供給されたそれぞれの画像データは加算されて拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置３０ｂより出力信号として供給される。
【０１０９】
以上、差分画像データをＭＰＥＧ符号化して伝送する拡張画像符号化装置で生成された符号化データを、拡張画像復号化装置により復号化して拡張復号化画像データを得る第２の実施例について述べたが、次にその差分画像データを異なる画像フォーマットにより符号化して伝送する場合について述べる。
【０１１０】
その異なる画像フォーマットによる場合の差分画像は、輝度信号に対する２つの色差信号画素サンプルの関係が４：２：０であるとして表現される画像フォーマットにより符号化及び復号化して得られる画像信号と、画像フォーマットが４：２：２である画像信号との差の信号を差分データ画像としてユーザデータ領域で伝送する場合である。
【０１１１】
図９に、４：２：０画像フォーマットによる輝度信号と色差信号の画素数の関係を示す。
同図において、Ｙとして示す７２０画素×４８０画素の領域は輝度信号に対する画素数を示しており、Ｕとして示す３６０画素×２４０画素の領域は青信号Ｂから輝度信号Ｙを減算して得られるＢ−Ｙの色差信号に対する画素数を、そしてＶとして示す３６０画素×２４０画素の領域は赤信号Ｒから輝度信号Ｙを減算して得られるＲ−Ｙの色差信号に対する画素数を示している。
【０１１２】
図１０に、４：２：２画像フォーマットによる輝度信号と色差信号の画素数の関係を示す。
同図において、Ｙとして示す７２０画素×４８０画素の領域は輝度信号に対する画素数を示しており、Ｕとして示す３６０画素×４８０画素の領域は青信号Ｂから輝度信号Ｙを減算して得られるＢ−Ｙの色差信号に対する画素数を、そしてＶとして示す３６０画素×４８０画素の領域は赤信号Ｒから輝度信号Ｙを減算して得られるＲ−Ｙの色差信号に対する画素数を示している。
【０１１３】
このようにして、４：２：０による画像フォーマットと、４：２：２による画像フォーマットでは輝度信号に対する画素数は両者共７２０画素×４８０画素であり同一であるが、Ｂ−Ｙ、及びＲ−Ｙの２つの色差信号に対する画素数は、３６０画素×２４０画素に対して３６０画素×４８０画素と垂直方向で２倍の値になっている。
【０１１４】
そのようにして、４：２：０画像フォーマットによる画質は４：２：２画像フォーマットによる画質に対して色差信号の垂直方向の解像度が不足しており、例えば横方向に伸びる細い線を表現しようとするとき、その線が白ないしは黒の輝度信号により表現できる線の場合は両画像フォーマットにおいて同一の解像度で表現できるが、青、あるいは赤などの彩度が高く表現される横線の場合は垂直方向の解像度が異なることにより４：２：０画像フォーマットの場合では十分に表現することができない。
【０１１５】
そして、風景などをカメラで撮影した画像の場合はこのような垂直方向での高い解像度はそれほど必要とされないが、人工的に制作された画像、及びコンピュータで作成された、特に色文字を含むような画像の場合は彩度の高い色差信号に対する解像度が必要となり、４：２：２画像フォーマットを用いる符号化方式の方が好ましいこととなる。
【０１１６】
次に、４：２：０の画像フォーマットにより符号化された符号化データに対し、４：２：２画像フォーマットにより符号化したときに得られる画像との差分画像データをユーザデータ領域で伝送する場合の例について述べる。
【０１１７】
その第３の実施例による拡張画像符号化装置は、ＤＰＣＭ符号化により差分データを伝送する第１の実施例に対して、その差分画像データが４：２：２画像フォーマットによる画像より４：２：０画像フォーマットによる画像を減じた画像データを差分画像データとして伝送するものであり、第１の実施例をも参照しながら述べる。
【０１１８】
図１１に、拡張画像の符号化方法を搭載した拡張画像符号化装置の第３の実施例による構成を示し、その動作について述べる。
同図に示す拡張画像符号化装置１０ｂは、データ入力端子１１、４：２：０変換器２１、ＭＰＥＧ符号化器１２、ＭＰＥＧ復号化器１３、４：２：２変換器２２、色差データ差分器２３、遅延器１５、ＤＰＣＭ符号化器１６、及びユーザデータ挿入器１７より構成される。
【０１１９】
次に、このように構成される拡張画像符号化装置１０ｂの動作について述べる。
まず、入力端子１１に供給される４：２：２画像フォーマットの入力画像データは、色差データ差分器２３及び４：２：０変換器２１に供給される。
【０１２０】
その４：２：０変換器２１では、供給された４：２：２画像フォーマットによる画像データは４：２：０画像フォーマットのデータに、垂直画像フィルタリング処理などにより画像フォーマット変換が行われる。
【０１２１】
そのようにして４：２：０画像フォーマットの信号に変換された画像データはＭＰＥＧ符号化器１２に供給され、例えば通常行われるメインプロファイルの仕様に従った符号化がなされて符号化データが得られ、その符号化データは遅延器１５及びＭＰＥＧ復号器１３に供給される。
【０１２２】
即ち、ＭＰＥＧのメインプロファイルにより符号化されて得られた符号化信号の一方は遅延器１５に供給されて時間合わせのための遅延処理がなされると共に、符号化信号の他の一方はＭＰＥＧ復号化器１３に供給されて、復号化処理がなされる。
【０１２３】
そのＭＰＥＧ復号器１３からは、復号化されて４：２：０画像フォーマットによる画像データが得られ、その画像データは４：２：２変換器２２に供給され、その４：２：２変換器２２では４：２：０画像フォーマットで供給される信号は４：２：２画像フォーマットの信号に変換されて４：２：２画像フォーマットの信号として得られる。
【０１２４】
なお、その４：２：２画像フォーマットの信号は形式的には４：２：２画像フォーマットに対応した画素数を有する信号であるが、その信号が有する情報量は４：２：０画像フォーマットの信号が有すると同じであり、垂直方向に彩度の高い色信号に対する解像度は低い。
【０１２５】
そのようにして４：２：２画像フォーマットに変換された信号は色差データ差分器２３に供給され、そこでは供給される入力画像データとの差分画像データが演算により得られ、その得られた差分画像データはＤＰＣＭ符号化器１６に供給され、そこでは前述の第１の実施例に示したと同様の方法によりＤＰＣＭ符号化データが生成される。
【０１２６】
その生成されたＤＰＣＭ符号化データはユーザデータ挿入器１７に供給され、その供給された符号化データは、遅延器１５により所定の遅延時間が与えられて同じ時間関係にある、ＭＰＥＧ符号化器１３で生成された符号化データのユーザデータエリアに挿入される。
【０１２７】
そのようにして挿入されたＤＰＣＭ符号化データは、４：２：２画像フォーマットによる画像データより４：２：０画像フォーマットによる画像データを減じた差分画像データであり、その差分画像データは垂直解像度の低下した４：２：０画像フォーマット画像データの解像度改善のために使用することができるものである。
【０１２８】
なお、このような解像度改善のための差分画像データ生成における４：２：０画像フォーマットのデータ符号化及び復号化は、ＭＰＥＧ符号化器１２から得られる。その符号化器１２における最終段でのビットストリームデータをＭＰＥＧ復号化器１３に供給して復号化する方法と、ＭＰＥＧ符号化器１２で量子化までの信号処理がなされた途中段で得られるデータを用いて、逆量子化より復号化を開始する局部復号の方法などがあり、その符号化及び復号化はいずれの方法によっても構わない。
【０１２９】
このようにして、４：２：２画像フォーマットの画像データと４：２：０画像フォーマットによる画像データとの差分画像データはＤＰＣＭ符号化されてユーザデータ領域で伝送される符号化データとして生成されるが、そのユーザデータ領域への差分画像データの挿入、及び記述方法は前述の第１の実施例と同様にして行われ、そのようにして生成された符号化データが伝送信号として供給されるようになされる。
【０１３０】
また、この実施例で示した拡張画像符号化装置において、差分画像を生成するための回路構成を変形させて同様の動作を行わせることができる。
図１２に、第３の実施例を変形させた拡張画像符号化装置の構成を示す。
【０１３１】
同図に示す拡張画像符号化装置１０ｃでは、供給される４：２：２画像フォーマットの画像データは色差データ差分器２３と４：２：０変換器２１に供給されるが、その４：２：０変換器２１で画像フォーマットの変換された信号はＭＰＥＧ符号化器１２と４：２：２変換器２２に供給される。
【０１３２】
４：２：２変換器より供給される信号は前述の拡張画像符号化装置１０ｂと同様にして色差データ差分器２３に供給され、その後は同様な処理動作がなされる。ただし、その信号処理動作は、ＭＰＥＧ符号化器１２で符号化時に生じる量子化雑音に対する補正画像信号を含む差分画像データが生成されないことで異なっているが、その反面、差分画像データが情報量として有するデータのエントロピーが低い値となる。
【０１３３】
そのようにして生成される差分画像データの符号化に係る符号量が少なくなり、それに伴いその後段に配置される符号化器での符号化のための演算処理数を減少させることができると共に、ユーザデータ領域に挿入されて伝送される符号量も少なくできるため、ユーザデータ領域に差分画像データを挿入することにより符号化データ全体の符号量の増加が少なく、差分画像データの復号を行わない通常復号化を行うユーザに対する信号処理の負担を少なくすることができる。
【０１３４】
また、通常復号化を行うユーザに対する負担を少なくする方法として４：２：０変換器２１の構成が考慮されている。即ち、その４：２：０変換器２１に供給される４：２：２画像フォーマットによる画像データは４：２：０画像フォーマットによる画像データの信号に変換される必要があり、そのための画像信号の垂直方向のフィルタリングは、例えば２ライン分の色差信号を加算することにより行い、両方の画像信号に対する特性を合わせるようにする。
【０１３５】
そして、そのようにフィルタリングされた信号の４：２：２変換器２２における色差信号の垂直方向へのオーバーサンプリングによる画像フォーマットの変更は、例えば２つの走査線分の色差信号を加算して２で割るような補間計算によって行われる。
【０１３６】
このような補間計算による方法を用いるのは、色差信号に対する特性をＭＰＥＧ符号化器１２に内蔵される局部復号化器と同じ特性のものにしなければならないためであり、それは差分画像信号として加算される色差信号の差分データは通常符号化器により生成される色差信号と同じ特性を有していないときは、例えＤＰＣＭ符号、復号器、ないしは第２ＭＰＥＧ符号化器、及び復号化器による符号化復号化などで全く劣化がない場合であっても、４：２：２画像フォーマットに基づく特性の画像信号を得ることができなくなるからである。
【０１３７】
従って、拡張画像符号化装置に用いられる４：２：２変換器２２の特性と、後述の図１４に示す拡張画像復号化装置に用いられる４：２：２変換器３８とは、同一の色差信号に対する垂直方向のオーバーサンプル方法を用いるようにして、４：２：０画像フォーマットにより符号化された画像データ部分は従来のメインプロファイルにより符号化された画像データ部分と同一の特性となる様にし、その同一特性の画像データの特性改善をユーザデータ領域で伝送される信号を復号することにより得るようにしている。
【０１３８】
次に、そのようにして前述の図１１、ないしは図１２に示した拡張画像符号化装置により生成された符号化データを復号する拡張画像復号化装置について述べる。
図１３に、そのようにして伝送される符号化データを通常のＭＰＥＧ復号化器により復号する場合の例を示す。
【０１３９】
同図において、供給される符号化データを、前述の図５に示したと同様な通常のＭＰＥＧ復号化器３２を用いて復号化するときは、その４：２：０画像フォーマットの符号化信号を復号化するＭＰＥＧ復号化器３２ではユーザデータ記録領域に記録される符号化データを検出せづに復号化を行うため、通常画像復号化装置３０からは通常の符号化データが復号化されて４：２：０画像フォーマットによる画像データが得られる。
【０１４０】
そして、４：２：２画像フォーマットに係る差分画像データを復号して垂直解像度の優れた高画質な復号画像データを得る拡張画像復号化装置の第４の実施例について更に述べる。
図１４に、その拡張画像復号化装置３０ｃの構成を示し、その動作について述べる。
【０１４１】
同図に示す拡張画像復号化装置３０ｃは、データ入力端子３１、ＭＰＥＧ復号化器３２ａ、ユーザデータ分離器３３、遅延器３４、ＤＰＣＭ復号器３５、４：２：２変換器３８、及び色差データ加算器３９より構成される。
【０１４２】
そのように構成される拡張画像復号化装置３０ｃのデータ入力端子３１に供給された符号化データは、ＭＰＥＧ復号化器３２ａで復号されて通常の復号化データが得られ、得られた復号化データは遅延器３４に供給されると共に、ユーザデータの含まれる符号化データはユーザデータ分離器３３に供給される。
【０１４３】
そのユーザデータ分離器３３では、供給される符号化データにおけるピクチャデータのシンタックスにおけるUser#data#start#codeが検出され、そのUser#data#start#codeに続いて伝送されるユニークコード0x22220204が検出されるが、そのユニークコードが検出されないときはその後に伝送されるユーザデータは読み飛ばしがなされる。
【０１４４】
そして、そのユニークコードが検出されるときは、そのユニークコードに続いて伝送される拡張符号化データはＤＰＣＭ復号化器３５に供給され、そのＤＰＣＭ復号化器３５では前述の図６に示した拡張画像復号装置３０ａと同様にして、供給された符号化データの復号化が行われることにより、４：２：２画像フォーマットに係る垂直解像度を補正するための差分画像データが２種類の色差信号に対して得られる。
【０１４５】
それらの得られた差分画像データは色差データ加算器３９の一方の入力端子に供給されると共に、その他方の入力端子には遅延器３４で所定の時間遅延された通常ＭＰＥＧ復号画像データが供給され、それらの２つの入力端子に供給されたそれぞれの画像データは加算されて色信号の垂直解像度が改善された拡張復号化画像データが得られ、その得られた拡張復号化画像データは拡張画像復号化装置３０ｃより出力信号として供給される。
【０１４６】
以上、４：２：２画像フォーマットにより伝送される画像データと、４：２：０画像フォーマットにより伝送される画像データとの差分画像データがＤＰＣＭ符号化されてビットストリームのユーザデータ領域に挿入されて伝送され、復号側では伝送された４：２：０画像フォーマットにより伝送された画像データは復号されると共に、ユーザデータ領域でＤＰＣＭ符号化されて伝送される４：２：２画像フォーマットにより伝送される画像データを得るための差分画像データは復号して得られ、その得られた差分画像データが用いられて解像度の改善された画像データとして得ることができるものである。
【０１４７】
そして、その４：２：２画像フォーマットによる画質を復号して得るための差分画像信号は、ＤＰＣＭ符号化により符号化して伝送される他に、第２の実施例で示した第２のＭＰＥＧ符号化器が用いられて符号化信号が生成される方法、更には他の直交変換の手法により符号化される方法など、符号化側と複合化側で相補的な手法が用いられて同様の拡張画像符号化装置、及び拡張画像復号化装置を構成することができるものである。
【０１４８】
また、このようにして構成される拡張画像符号化装置、及び拡張画像復号化装置は、対応する装置間で高画質な画像信号の送信及び受信を行なうことができる。
そして、異なる方式により差分画像データの伝送がなされるときは、お互いに異なるユニークコードを識別コードとして用いることにより、同一特性の符号化装置及び復号化装置により生成されて伝送された信号の受信及び復号化ができるようになされる。
【０１４９】
そして、これらの符号化及び復号化装置を用いて記録媒体に拡張画像符号化信号を記録して、その記録した信号を拡張画像復号化装置により再生することが出来る。その記録媒体として、ＲＡＭ形ＤＶＤなどの円盤型記録媒体を用いる場合、及びデジタルビデオレコーダのようなテープ型記録メディアを用いる場合などがある。
【０１５０】
特にデジタルビデオテープを用いる記録装置、例えばＤ−ＶＨＳでの記録信号は固定転送レートとされており、特に固定レートで記録される場合での応用性は高い。
【０１５１】
即ち、そのＤ−ＶＨＳによる場合の標準記録モードにおける転送レートは約１４Ｍｂｐｓとされているが、通常のＮＴＳＣ程度の動画をＭＰＥＧ方式により圧縮符号化を行う場合は約７〜９Ｍｂｐｓの転送レートによりかなり高画質に映像信号の記録ができる。
【０１５２】
その場合は、１４Ｍｂｐｓよりその転送レートを減じた約５〜７Ｍｂｐｓが信号の記録されない剰余領域とされるが、剰余領域に前述のユーザデータを記録することにより、例えばメインプロファイルで記録するときの４：２：０画像フォーマットに対する４：２：２ないしは４：４：４画像フォーマットによる画像との差分画像を記録して、色差信号の画素フォーマットを拡張した画像情報を再生することができる。
【０１５３】
即ち、そのための拡張画像符号化装置を搭載するＭＰＥＧデータ記録装置は、ＭＰＥＧ符号化器と、その符号化データを復号して原画像との差分データを作成する差分データ作成器と、差分データを前記符号化器で符号化するストリーム中のユーザデータに記録するユーザデータ記録器とを有して構成するようになされる。
【０１５４】
そしてまた、そのＭＰＥＧデータ記録装置は、ＭＰＥＧ符号化器と、その符号化データを復号して原画像との差分データを作成する差分データ作成器と、差分データをビデオストリームのユーザデータに所定のユニークコードと共に記録するユーザデータ記録器とを有して構成する方法がある。
【０１５５】
さらにまた、ＭＰＥＧデータ再生装置においては、ＭＰＥＧ復号器と、ビデオストリームのユーザデータに所定のユニークコードと共に記録される差分データを復号して得ると共に、ＭＰＥＧ復号部で復号された復号化データにその差分データの加算を行う差分データ加算器とを有するようにして構成する。
【０１５６】
このようにして構成されるＭＰＥＧデータ記録装置及びＭＰＥＧデータ再生装置を搭載するＭＰＥＧデータ記録再生装置を用いて、ユーザ個人がその装置により記録したビデオテープはその装置により高画質な再生ができると共に、その記録したテープを差分画像信号の再生に対応していない他の再生装置で再生するような場合であっても、通常の記録再生機能により標準的な再生がなされることになる。
【０１５７】
その標準的な記録再生機能は、ＭＰＥＧのメインプロファイルによる符号化の場合は４：２：０画像フォーマットによる伝送、ないしは記録がなされ、ユーザデータ領域で伝送ないしは記録されるデータとして４：２：２の原画像データのクロマ信号からＭＰＥＧ復号された４：２：０のクロマ信号との差分画像信号を符号化したものを用い、通常再生は４：２：０画像フォーマットにより、また差分画像信号を復号可能な場合は４：２：２画像フォーマットにより、色信号解像度の高い画像信号の再生がなされるものである。
【０１５８】
このようにして、ここに示した実施例においてはＭＰＥＧ方式により符号化したビデオ信号ビデオストリームのユーザデータ領域に所定のユニークコードと差分画像情報を記録するに際し、前記ビットストリーム本体は符号化対象のビデオ符号化標準データとし、ユーザデータ領域にのみ高画質化のための差分データ情報を記録するようにした。
【０１５９】
なお、記録媒体として固定レート記録によるデジタルＶＴＲを例として述べたが、記録媒体はＶＴＲテープに限ることなく、例えばＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭを用いる記録媒体によっても構わない。
【０１６０】
そのような円盤型記録媒体の場合であっても、全体の記録容量に対して記録番組のデータ容量が小さいような場合は、ビットストリーム中のユーザ領域に差分画像データを記録する、ないしは空き領域に差分画像データを記録するようにする。
【０１６１】
そのユーザデータ領域への記録はユニークコードと共に行うため、仮に読み出し速度が遅いようなＤＶＤプレーヤによる再生の場合でも、そのユーザ領域に記録される信号は読み飛ばしながら再生されることにより、通常のメインプロファイルによる再生が可能とされる。
【０１６２】
以上、ＶＴＲ、ＤＶＤに対する応用例について述べたが、この方法は例えば高速インターネット回線を用いる画像伝送システムに応用できる。それは、伝送速度を高く確保できるときは高画質化のための差分画像データを伝送するようにするものである。
【０１６３】
以上詳述した様に、拡張画像の符号化方法を搭載する拡張画像符号化装置は、例えばＭＰＥＧなど国際標準とされる符号化規格に対してはその規格に基づいた符号化ビットストリームを生成すると共に、そのビットストリームに挿入が許可されている例えばユーザデータ記録領域には、その規格により規定される所定のアプリケーション規格ないしは伝送フォーマットの変更を行うことなく階層構造を持たせた画像信号を伝送するためのビットストリームを生成することができ、市場に定着しつつある既存の画像符号化システムとの互換性を完全に保ちながら、上位階層構造の画像データを伝送できるので、アプリケーションの機能拡張性を大きくするシステムを構成できる。
【０１６４】
さらに、単体のビデオストリームに階層構造をもたせることができるのでシンプルな構成で復号化器の設計ができるため、高画質化などの機能拡張を低価格で実現することができる。
【０１６５】
特に、固定転送レートによるの記録媒体で、記録レートが、本来の記録データより余裕があるような場合には、前述の実施例に示した方法により高画質なビデオ信号の伝送ないしは記録を、また色信号の画像フォーマットを４：２：０から４：２：２に拡張するような彩度及び精細度の高いビデオ信号を得ることが可能となる。
【０１６６】
また、上述の第３の実施例において４：２：０画像フォーマットにより符号化した画像信号を復号して得られる画像信号と、４：２：２画像フォーマットにより供給される入力画像データとの差の信号を得、その得られた差の信号を符号化してユーザデータ領域に挿入した符号化信号として生成する手法について述べたが、それらの画像フォーマットは４：２：０方式、及び４：２：２方式に限ることなく、メインの符号化データに用いられる画像フォーマットは４：２：０方式の他に例えば４：１：０方式、及び４：１：１方式などを、そしてユーザデータ領域で差分画像信号として用いられる画像フォーマットは４：２：２方式の他に例えば４：４：４方式などの更に高解像度を与える画像フォーマットの信号形式を使用できる。
【０１６７】
いずれの場合においても、ユーザデータ領域で差分画像信号として用いられる画像フォーマットはメインの符号化データに用いられる画像フォーマットよりも色差信号などの解像度が高い方式のものが用いられる。
【０１６８】
また、ユーザデータ領域で伝送される符号化信号の符号化方式としてＤＰＣＭを用いる場合、及びＭＰＥＧで規定される符号化方式を用いる場合について述べたが、その符号化方式はそれらに限ることはなく、差分画像信号に対して効率の高い符号化がなされ、且つその符号化、及び復号化が比較的容易に行えるものであれば他の符号化方式であっても構わない。
【０１６９】
【発明の効果】
請求項１記載の発明によれば、４：２：２画像フォーマットの画像信号を４：２：０画像フォーマット信号に変換して変換画像信号を生成する変換器と、前記変換画像信号をＭＰＥＧメインプロファイルを用いて圧縮画像信号を生成する第１符号化器と、前記圧縮画像信号を復号化して復号化信号を生成する復号化器と、前記復号化信号から前記４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、前記４：２：２画像フォーマット画像信号と前記４：２：２画像フォーマット化した画像信号との差分から色差画像信号を生成する色差データ差分器と、前記色差画像信号から圧縮符号化して色差圧縮画像信号を生成する第２符号化器と、前記第１符号化器から出力された前記圧縮画像信号のユーザデータ領域に前記色差圧縮画像信号を挿入して前記拡張圧縮画像信号を生成するユーザデータ挿入器と、を備えるようにしているため、その拡張画像符号化信号を標準的な復号化により標準的な画質で復号化画像信号を得ることができると共に、ユーザデータ領域で伝送された差分画像信号を復号できる機能を有する復号化装置で復号化する場合は更に高画質な復号信号を得ることができる拡張画像信号符号化装置の構成を提供できる効果がある。
【０１７０】
また、請求項２記載の発明によれば、拡張圧縮画像信号を復号化して復号化信号を生成する第１復号化器と、前記復号化信号のうち、復号化されたユーザデータ領域の圧縮画像信号から４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、前記復号化信号のうち、前記ユーザデータ領域に挿入された色差圧縮画像信号を分離して取り出すユーザデータ分離器と、前記色差圧縮画像信号を復号化して色画像信号を生成する第２復号化器と、前記４：２：２変換器で生成された４：２：２画像フォーマット化した画像信号に前記第２復号化器で生成された色画像信号を加算して拡張復号化画像信号を生成する色差データ加算器と、を備えることにより、更に高画質な復号化画像信号を得ることができる拡張画像信号復号化装置の構成を提供できる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る拡張画像符号化装置の構成図である。
【図２】本発明の第１の実施例に係る輝度信号に係るＤＰＣＭコード表を示したものである。
【図３】本発明の第１の実施例に係る色差信号に係るＤＰＣＭコード表を示したものである。
【図４】ＭＰＥＧ２で規定されるビデオレイヤの符号化シンタックスを示したものである。
【図５】拡張画像符号化装置で生成した符号化データの、通常の画像復号化装置による復号を説明するための図である。
【図６】本発明の第１の実施例に係る拡張画像復号化装置の構成図である。
【図７】本発明の第２の実施例に係る拡張画像符号化装置の構成図である。
【図８】本発明の第２の実施例に係る拡張画像復号化装置の構成図である。
【図９】４：２：０画像フォーマットによる輝度信号と色差信号の画素数の関係を示した図である。
【図１０】４：２：２画像フォーマットによる輝度信号と色差信号の画素数の関係を示した図である。
【図１１】本発明の第３の実施例に係る拡張画像符号化装置の構成図である。
【図１２】本発明の第３の実施例に係る拡張画像符号化装置を変形させた構成図である。
【図１３】拡張画像符号化装置で生成した符号化データの、通常の画像復号化装置による復号を説明するための図である。
【図１４】本発明の第３の実施例に係る拡張画像復号化装置の構成図である。
【図１５】従来のＭＰＥＧ符号化器の構成を示した図である。
【図１６】従来のＭＰＥＧ復号化器の構成を示した図である。
【符号の説明】
１０、１０ａ、１０ｂ、１０ｃ 拡張画像符号化装置
１１ データ入力端子
１２ ＭＰＥＧ符号化器
１２ａ 第１ＭＰＥＧ符号化器
１３ ＭＰＥＧ復号化器
１４ 加算器
１５ 遅延器
１６ ＤＰＣＭ器
１７ ユーザデータ挿入器
１８ 固定符号量指示器
１９ 第２ＭＰＥＧ符号化器
２１ ４：２：０変換器
２２ ４：２：２変換器
２３ 色差データ差分器
３０ 通常画像復号化装置
３０ａ、３０ｂ、３０ｃ 拡張画像復号化装置
３１ データ入力端子
３２、３２ａ ＭＰＥＧ復号化器
３２ｂ 第１ＭＰＥＧ復号化器
３３ ユーザデータ分離器
３４ 遅延器
３５ ＤＰＣＭ復号化器
３６ 加算器
３７ 第２ＭＰＥＧ復号化器
３８ ４：２：２変換器
３９ 色差データ加算器
５０ ＭＰＥＧ符号化器
５１ 入力端子
５２ 加算器
５３ ＤＣＴ器
５４ 量子化器
５５ ＶＬＣ器
５６ バッファ
５７ 変換符号量制御器
６１ 逆量子化器
６２ 逆ＤＣＴ器
６３ 加算器
６４ 画像メモリ
６５ 動き補償予測器
７０ ＭＰＥＧ復号化器
７１ データ入力端子
７２ バッファ
７３ ＶＬＤ器
７４ 逆量子化器
７５ 逆ＤＣＴ器
７６ 加算器
７７ 画像メモリ
７８ 動き補償予測器
Claims (2)
- ４：２：０画像フォーマットの画像信号から４：２：２画像フォーマット化した拡張圧縮画像信号を生成する拡張画像符号化装置において、
前記４：２：２画像フォーマットの画像信号を前記４：２：０画像フォーマット信号に変換して変換画像信号を生成する変換器と、
前記変換画像信号をＭＰＥＧメインプロファイルを用いて圧縮画像信号を生成する第１符号化器と、
前記圧縮画像信号を復号化して復号化信号を生成する復号化器と、
前記復号化信号から前記４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、
前記４：２：２画像フォーマット画像信号と前記４：２：２画像フォーマット化した画像信号との差分から色差画像信号を生成する色差データ差分器と、
前記色差画像信号から圧縮符号化して色差圧縮画像信号を生成する第２符号化器と、
前記第１符号化器から出力された前記圧縮画像信号のユーザデータ領域に前記色差圧縮画像信号を挿入して前記拡張圧縮画像信号を生成するユーザデータ挿入器と、
を備えたことを特徴とする拡張画像符号化装置。 - ＭＰＥＧメインプロファイルを用いて圧縮符号化された圧縮画像信号のユーザデータ領域に色差圧縮画像信号が挿入された拡張圧縮画像信号からの復号化を行って、拡張復号化画像信号を生成する拡張画像復号化装置において、
前記拡張圧縮画像信号を復号化して復号化信号を生成する第１復号化器と、
前記復号化信号のうち、復号化された前記ユーザデータ領域の圧縮画像信号から４：２：２画像フォーマット化した画像信号を生成する４：２：２変換器と、
前記復号化信号のうち、前記ユーザデータ領域に挿入された前記色差圧縮画像信号を分離して取り出すユーザデータ分離器と、
前記色差圧縮画像信号を復号化して色画像信号を生成する第２復号化器と、
前記４：２：２変換器で生成された４：２：２画像フォーマット化した画像信号に前記第２復号化器で生成された色画像信号を加算して前記拡張復号化画像信号を生成する色差データ加算器と、
を備えたことを特徴とする拡張画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001173767A JP3703088B2 (ja) | 2001-06-08 | 2001-06-08 | 拡張画像符号化装置及び拡張画像復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001173767A JP3703088B2 (ja) | 2001-06-08 | 2001-06-08 | 拡張画像符号化装置及び拡張画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002369220A JP2002369220A (ja) | 2002-12-20 |
| JP3703088B2 true JP3703088B2 (ja) | 2005-10-05 |
Family
ID=19015171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001173767A Expired - Lifetime JP3703088B2 (ja) | 2001-06-08 | 2001-06-08 | 拡張画像符号化装置及び拡張画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3703088B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060130570A (ko) * | 2003-11-28 | 2006-12-19 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비트스트림을 인코딩 또는 디코딩하는 방법 및 장치 |
| EP1574995A1 (en) | 2004-03-12 | 2005-09-14 | Thomson Licensing S.A. | Method for encoding interlaced digital video data |
| JP2006254211A (ja) * | 2005-03-11 | 2006-09-21 | Kenwood Corp | データ圧縮装置、圧縮データ復元装置、データ圧縮方法、圧縮データ復元方法及びプログラム |
| JP5873395B2 (ja) * | 2012-06-14 | 2016-03-01 | Kddi株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム |
| WO2020188271A1 (en) * | 2019-03-20 | 2020-09-24 | V-Nova International Limited | Temporal signalling for video coding technology |
-
2001
- 2001-06-08 JP JP2001173767A patent/JP3703088B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002369220A (ja) | 2002-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100252108B1 (ko) | Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법 | |
| KR100934290B1 (ko) | 엠피이지-2 4:2:2-프로파일 비트스트림을 메인-프로파일비트스트림으로 컨버팅 하기 위한 방법 및 아키텍처 | |
| JP3694888B2 (ja) | 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体 | |
| US6587509B1 (en) | Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal | |
| US7787541B2 (en) | Dynamic pre-filter control with subjective noise detector for video compression | |
| JPH04358486A (ja) | 高能率符号化信号処理装置 | |
| KR19990072968A (ko) | 화상신호처리시스템,디코더,화상신호처리방법,및디코딩방법 | |
| JP2001211455A (ja) | 画像符号化方法及び画像符号化装置 | |
| JPH06125543A (ja) | 符号化装置 | |
| JPH0818979A (ja) | 画像処理装置 | |
| US6452973B1 (en) | System and method for converting H.261 compressed moving picture data to MPEG-1 compressed moving picture data on compression domain | |
| JPH08336142A (ja) | 画像信号圧縮符号化装置および伸長再生装置 | |
| JP3703088B2 (ja) | 拡張画像符号化装置及び拡張画像復号化装置 | |
| JP3501514B2 (ja) | 画像再生方法 | |
| JP2004200760A (ja) | 画像処理方法および装置 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| US7003036B2 (en) | Encoder, decoder, encoding method and decoding method for color moving image and method of transferring bitstream of color moving image | |
| JP5742049B2 (ja) | カラー動画像符号化方法及びカラー動画像符号化装置 | |
| JP3687458B2 (ja) | 圧縮復号化方法及び圧縮復号化装置 | |
| JP2002344973A (ja) | 画像符号化データのサイズ変換方法、画像符号化データ伝送方法、及び画像符号化データサイズ変換装置 | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| JP3147636B2 (ja) | ビデオデータ配列方法並びにその符号化装置及び復号化装置 | |
| JP3384910B2 (ja) | 撮像装置および画像再生装置 | |
| JP2924866B2 (ja) | 動画像符号化装置、動画像復号装置、動画像符号化方法、並びに動画像復号方法 | |
| JP2002016924A (ja) | トランスコーダ装置およびトランスコード方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050701 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050714 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3703088 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080729 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110729 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130729 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |