JPH09238366A - 画像符号化装置及び画像復号化装置及び符号化・復号化システム - Google Patents
画像符号化装置及び画像復号化装置及び符号化・復号化システムInfo
- Publication number
- JPH09238366A JPH09238366A JP26966996A JP26966996A JPH09238366A JP H09238366 A JPH09238366 A JP H09238366A JP 26966996 A JP26966996 A JP 26966996A JP 26966996 A JP26966996 A JP 26966996A JP H09238366 A JPH09238366 A JP H09238366A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- format
- format conversion
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
- H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Abstract
(57)【要約】
【課題】 符号化・復号化による画像圧縮における画像
劣化が色成分に顕著に現われ、ブロック全体に波及する
のを防ぐための圧縮効率を下げないフォーマット変換を
動的に切り替える符号化器・復号化器を得る。 【解決手段】 ディジタル化入力画像をフォーマット変
換し、量子化し、符号化する画像符号化装置において、
フォーマット変換に際して、複数の、所定の輝度信号と
色差信号による空間解像度の画像データに変換する複数
フォーマット変換部と、設定基準で上記入力画像データ
または量子化画像データまたは他の画像データの状態変
化を検出して、上記複数の空間解像度の画像データのど
れを出力するかを選択して出力する画像状態判定部とを
設け、選択された空間解像度の画像データを量子化部に
入力するようにした。また、対応した構成の画像復号化
装置を備えた。
劣化が色成分に顕著に現われ、ブロック全体に波及する
のを防ぐための圧縮効率を下げないフォーマット変換を
動的に切り替える符号化器・復号化器を得る。 【解決手段】 ディジタル化入力画像をフォーマット変
換し、量子化し、符号化する画像符号化装置において、
フォーマット変換に際して、複数の、所定の輝度信号と
色差信号による空間解像度の画像データに変換する複数
フォーマット変換部と、設定基準で上記入力画像データ
または量子化画像データまたは他の画像データの状態変
化を検出して、上記複数の空間解像度の画像データのど
れを出力するかを選択して出力する画像状態判定部とを
設け、選択された空間解像度の画像データを量子化部に
入力するようにした。また、対応した構成の画像復号化
装置を備えた。
Description
【０００１】
【発明の属する技術分野】この発明は、画像の高能率符
号化あるいは復号化を行い、画像の効率的伝送もしくは
蓄積を行うシステムに供することのできる画像符号化器
および画像復号化器に関するものである。
号化あるいは復号化を行い、画像の効率的伝送もしくは
蓄積を行うシステムに供することのできる画像符号化器
および画像復号化器に関するものである。
【０００２】
【従来の技術】従来の代表的な高能率符号化方式とし
て、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１に
おいて検討された国際標準方式であるＭＰＥＧ２があ
る。例えば「テレビジョン学会誌 画像情報工学と放送
技術」の１９９５年４月号では、ＭＰＥＧを特集テーマ
として解説している。同誌ｐ．２９−６０に渡り、「３
−２ビデオ圧縮」としてＭＰＥＧ２の符号化方式が紹介
されている。以下、同解説を基にして従来の高能率符号
化方式について説明する。
て、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１に
おいて検討された国際標準方式であるＭＰＥＧ２があ
る。例えば「テレビジョン学会誌 画像情報工学と放送
技術」の１９９５年４月号では、ＭＰＥＧを特集テーマ
として解説している。同誌ｐ．２９−６０に渡り、「３
−２ビデオ圧縮」としてＭＰＥＧ２の符号化方式が紹介
されている。以下、同解説を基にして従来の高能率符号
化方式について説明する。
【０００３】図２５は上記解説に示された画像フォーマ
ットの説明図であり、輝度信号と色差成分のサンプル密
度比のフォーマットを示すものである。ＭＰＥＧ２には
４：２：０または４：２：２または４：４：４の３つの
フォーマットがあるが、これらのフォーマットが動的に
変更されることはなく、いずれかのフォーマットに固定
した状態で符号化ないし復号を行う。また、４：４：４
フォーマットは１９９５年１１月現在、ＭＰＥＧ２の中
でフォーマットとしての定義はされているものの、プロ
ファイルと呼ばれるクラスの中ではどこにも属さず、実
質的に使用されないフォーマットとなっている。４：
２：０および４：２：２フォーマットでは、輝度成分の
サンプル密度に対し、色差成分のサンプル密度が低い。
これは人間の解像度識別能力が輝度に対してより高いこ
とを利用して情報の圧縮効果を得ようとするためであ
る。
ットの説明図であり、輝度信号と色差成分のサンプル密
度比のフォーマットを示すものである。ＭＰＥＧ２には
４：２：０または４：２：２または４：４：４の３つの
フォーマットがあるが、これらのフォーマットが動的に
変更されることはなく、いずれかのフォーマットに固定
した状態で符号化ないし復号を行う。また、４：４：４
フォーマットは１９９５年１１月現在、ＭＰＥＧ２の中
でフォーマットとしての定義はされているものの、プロ
ファイルと呼ばれるクラスの中ではどこにも属さず、実
質的に使用されないフォーマットとなっている。４：
２：０および４：２：２フォーマットでは、輝度成分の
サンプル密度に対し、色差成分のサンプル密度が低い。
これは人間の解像度識別能力が輝度に対してより高いこ
とを利用して情報の圧縮効果を得ようとするためであ
る。
【０００４】図２６は上記解説に示されたＭＰＥＧ符号
器の基本構成図である。図において、１はＡ／Ｄ変換
部、２８はフォーマット変換部、２９は画面並び換え
部、１６はインタ（フレーム内）／イントラ（フレーム
間）切り替えセレクタ、４はＤＣＴ（Ｄｉｓｃｒｅａｔ
Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部、５は量子化
部、６は可変長符号化部、７は送信バッファ、８はレー
ト制御部である。また、１１は逆量子化部、１２は逆Ｄ
ＣＴ部、１７は加算器、１８はフレームメモリ、１９は
動き補償部で、これらの付加ループは予測符号化手段を
構成している。図２７は同じ解説に示されたＭＰＥＧ復
号器の基本構成図である。図において、９は受信バッフ
ァ、１０は可変長復号化部、１１は逆量子化部、１２は
逆ＤＣＴ部、３０はフォーマット変換部、１４はＤ／Ａ
変換部である。また、１８はフレームメモリ、２４は動
き補償予測部、１７は加算器で、これらは予測復号化手
段を構成している。また、、１０４はＤＣＴによる変換
係数、１０５は変換係数の量子化インデックス、１０７
は符号化ビットストリーム、１０８は情報発生量を示す
信号、１０９は可変長復号された変換係数の量子化イン
デックス、１１０は逆量子化された変換係数、１１６は
入力画像データ、１１７は予測誤差画像データ、１１８
は逆ＤＣＴによって画素空間領域に戻された画像デー
タ、１１９は予測画像データ、１２０は復号された画像
データ、１２５は動き補償予測データ、１２６は動きベ
クトル情報である。
器の基本構成図である。図において、１はＡ／Ｄ変換
部、２８はフォーマット変換部、２９は画面並び換え
部、１６はインタ（フレーム内）／イントラ（フレーム
間）切り替えセレクタ、４はＤＣＴ（Ｄｉｓｃｒｅａｔ
Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部、５は量子化
部、６は可変長符号化部、７は送信バッファ、８はレー
ト制御部である。また、１１は逆量子化部、１２は逆Ｄ
ＣＴ部、１７は加算器、１８はフレームメモリ、１９は
動き補償部で、これらの付加ループは予測符号化手段を
構成している。図２７は同じ解説に示されたＭＰＥＧ復
号器の基本構成図である。図において、９は受信バッフ
ァ、１０は可変長復号化部、１１は逆量子化部、１２は
逆ＤＣＴ部、３０はフォーマット変換部、１４はＤ／Ａ
変換部である。また、１８はフレームメモリ、２４は動
き補償予測部、１７は加算器で、これらは予測復号化手
段を構成している。また、、１０４はＤＣＴによる変換
係数、１０５は変換係数の量子化インデックス、１０７
は符号化ビットストリーム、１０８は情報発生量を示す
信号、１０９は可変長復号された変換係数の量子化イン
デックス、１１０は逆量子化された変換係数、１１６は
入力画像データ、１１７は予測誤差画像データ、１１８
は逆ＤＣＴによって画素空間領域に戻された画像デー
タ、１１９は予測画像データ、１２０は復号された画像
データ、１２５は動き補償予測データ、１２６は動きベ
クトル情報である。
【０００５】図２６によって符号器の動作を説明する。
入力画像信号はＡ／Ｄ変換１においてディジタル化され
る。入力画面は動き補償予測＋ＤＣＴ符号化によって符
号化される。入力された画像データ１１６と、参照画面
から動き予測によって生成される動き補償予測画像デー
タ１２５との差分をとり、予測誤差信号１１７が得られ
る。この予測誤差信号を８画素×８ラインのブロック単
位でＤＣＴ４により空間周波数領域の変換係数１０４に
変換し、量子化部５により量子化を行う。動き補償予測
を行わないイントラ符号化の際は入力画像データ１１６
がそのままＤＣＴ符号化される。この切り替えがセレク
タ１６によって行われる。後で動き補償予測の参照画面
として用いるため、量子化された情報１０５を逆量子化
部１１で逆量子化し、逆ＤＣＴ部１２で逆ＤＣＴ化し
て、動き補償予測信号１１９と加算器１７で加算し、す
なわち、局部復号によって画像を復号し、フレームメモ
リ１８に蓄積する。量子化後の８×８ＤＣＴ係数は低周
波数成分から順にスキャンされ１次元情報となった後、
動きベクトル等の他の符号化情報とともに可変長符号化
部６で可変長符号化される。可変となる符号発生量を一
定に保つ場合は、出力バッファ７を監視することで発生
符号量１０８を把握し、フィードバックによってレート
制御部で量子化制御を行う手法が一般的である。バッフ
ァ７の出力は符号化ビットストリーム１０７である。
入力画像信号はＡ／Ｄ変換１においてディジタル化され
る。入力画面は動き補償予測＋ＤＣＴ符号化によって符
号化される。入力された画像データ１１６と、参照画面
から動き予測によって生成される動き補償予測画像デー
タ１２５との差分をとり、予測誤差信号１１７が得られ
る。この予測誤差信号を８画素×８ラインのブロック単
位でＤＣＴ４により空間周波数領域の変換係数１０４に
変換し、量子化部５により量子化を行う。動き補償予測
を行わないイントラ符号化の際は入力画像データ１１６
がそのままＤＣＴ符号化される。この切り替えがセレク
タ１６によって行われる。後で動き補償予測の参照画面
として用いるため、量子化された情報１０５を逆量子化
部１１で逆量子化し、逆ＤＣＴ部１２で逆ＤＣＴ化し
て、動き補償予測信号１１９と加算器１７で加算し、す
なわち、局部復号によって画像を復号し、フレームメモ
リ１８に蓄積する。量子化後の８×８ＤＣＴ係数は低周
波数成分から順にスキャンされ１次元情報となった後、
動きベクトル等の他の符号化情報とともに可変長符号化
部６で可変長符号化される。可変となる符号発生量を一
定に保つ場合は、出力バッファ７を監視することで発生
符号量１０８を把握し、フィードバックによってレート
制御部で量子化制御を行う手法が一般的である。バッフ
ァ７の出力は符号化ビットストリーム１０７である。
【０００６】図２７によって復号器の動作を説明する。
復号処理は基本的に符号化器の逆の動作となる。まず符
号化されたビットストリーム１０７はバッファ９に蓄積
される。バッファ９内のデータは読み出され、可変長復
号化部１０で復号が行われる。この過程でＤＣＴ係数の
情報１０９、動きベクトルの情報１２６等が復号・分離
される。復号された８×８の量子化ＤＣＴ係数１０９は
逆量子化部１１でＤＣＴ係数１１０に復元され、逆ＤＣ
Ｔ部１２により画素空間データ１１８に変換される。イ
ントラ符号化の際はこの段階で復号画像が得られてい
る。動き補償予測が行われている際は参照画面からの動
き補償予測によって生成される動き補償予測画像データ
１１９との加算によって画像が復号される。復号画像は
必要に応じ、その後の復号処理で参照画面として用いる
ためにフレームメモリ１８に蓄積される。
復号処理は基本的に符号化器の逆の動作となる。まず符
号化されたビットストリーム１０７はバッファ９に蓄積
される。バッファ９内のデータは読み出され、可変長復
号化部１０で復号が行われる。この過程でＤＣＴ係数の
情報１０９、動きベクトルの情報１２６等が復号・分離
される。復号された８×８の量子化ＤＣＴ係数１０９は
逆量子化部１１でＤＣＴ係数１１０に復元され、逆ＤＣ
Ｔ部１２により画素空間データ１１８に変換される。イ
ントラ符号化の際はこの段階で復号画像が得られてい
る。動き補償予測が行われている際は参照画面からの動
き補償予測によって生成される動き補償予測画像データ
１１９との加算によって画像が復号される。復号画像は
必要に応じ、その後の復号処理で参照画面として用いる
ためにフレームメモリ１８に蓄積される。
【０００７】
【発明が解決しようとする課題】上記の例は従来方式の
代表的なものである。この例において、入力画像の符号
化はブロック単位のＤＣＴを基本としており、輝度・色
差成分のサンプル密度比は４：２：０や４：２：２など
静的に固定されている。このことから、次のような課題
が生じる。前提として、圧縮による画像品質の劣化はブ
ロック単位で観察される。これは、量子化によって特定
の変換係数に生じた雑音が逆ＤＣＴによってブロック全
体に波及することが原因である。さらに、この劣化が色
差成分に顕著に現われるように観察される。これは、色
差成分のサンプル密度が一般に輝度成分のサンプル密度
より低いことが原因である。色差成分のサンプル密度を
上げれば、色雑音が特に目立つという現象は緩和される
が、符号化すべきサンプル数が多くなり、圧縮効率を高
める上で不利となるというジレンマがある。
代表的なものである。この例において、入力画像の符号
化はブロック単位のＤＣＴを基本としており、輝度・色
差成分のサンプル密度比は４：２：０や４：２：２など
静的に固定されている。このことから、次のような課題
が生じる。前提として、圧縮による画像品質の劣化はブ
ロック単位で観察される。これは、量子化によって特定
の変換係数に生じた雑音が逆ＤＣＴによってブロック全
体に波及することが原因である。さらに、この劣化が色
差成分に顕著に現われるように観察される。これは、色
差成分のサンプル密度が一般に輝度成分のサンプル密度
より低いことが原因である。色差成分のサンプル密度を
上げれば、色雑音が特に目立つという現象は緩和される
が、符号化すべきサンプル数が多くなり、圧縮効率を高
める上で不利となるというジレンマがある。
【０００８】この発明は上記のような課題を解消するた
めになされたもので、圧縮率を高めた際に顕著となる色
雑音を低減し、圧縮効率を低下させないで、より高品質
の符号化画像が得られるような画像符号化器および画像
復号化器を得ることを目的とする。
めになされたもので、圧縮率を高めた際に顕著となる色
雑音を低減し、圧縮効率を低下させないで、より高品質
の符号化画像が得られるような画像符号化器および画像
復号化器を得ることを目的とする。
【０００９】
【課題を解決するための手段】この発明に係る画像符号
化装置は、ディジタル化入力画像をフォーマット変換
し、フォーマット変換された画像データを量子化する量
子化部と、量子化された量子化画像データを符号化する
符号化部を備えて、符号化ビットストリームを出力する
画像符号化装置において、フォーマット変換に際して、
複数の、所定の輝度信号と色差信号による空間解像度の
画像データに変換する複数フォーマット変換部と、設定
基準で上記入力画像データまたは量子化画像データまた
は他の画像データの状態変化を検出して、上記複数の空
間解像度の画像データのどれを出力するかを選択して出
力する画像状態判定部とを設け、この選択された空間解
像度の画像データを量子化部に入力することを特徴とす
るようにした。
化装置は、ディジタル化入力画像をフォーマット変換
し、フォーマット変換された画像データを量子化する量
子化部と、量子化された量子化画像データを符号化する
符号化部を備えて、符号化ビットストリームを出力する
画像符号化装置において、フォーマット変換に際して、
複数の、所定の輝度信号と色差信号による空間解像度の
画像データに変換する複数フォーマット変換部と、設定
基準で上記入力画像データまたは量子化画像データまた
は他の画像データの状態変化を検出して、上記複数の空
間解像度の画像データのどれを出力するかを選択して出
力する画像状態判定部とを設け、この選択された空間解
像度の画像データを量子化部に入力することを特徴とす
るようにした。
【００１０】また基本構成に加えて更に、量子化された
量子化画像データを逆量子化し、動きの予測差分とを加
算して記憶し、この記憶された参照画像データから動き
の予測差分を元のフォーマット変換後の出力に帰還減算
する帰還符号化手段を備え、参照画像を記憶するフレー
ムメモリと、量子化画像データを逆量子化して記憶用の
所定の参照画像データを得るための、複数の、所定の輝
度信号と色差信号による空間解像度の再生画像データに
変換する第２の複数フォーマット変換部と、所定の参照
画像データを読み出して動き補償後に帰還減算用信号と
すための、複数の、所定の輝度信号と色差信号による空
間解像度の予測誤差分に変換する第３の複数フォーマッ
ト変換部とを付加し、また画像状態判定部は、これら第
２の複数フォーマット変換部出力と第３の複数フォーマ
ット変換部出力を複数フォーマット変換部出力と同様に
切り換えるようにした帰還符号化手段とした。
量子化画像データを逆量子化し、動きの予測差分とを加
算して記憶し、この記憶された参照画像データから動き
の予測差分を元のフォーマット変換後の出力に帰還減算
する帰還符号化手段を備え、参照画像を記憶するフレー
ムメモリと、量子化画像データを逆量子化して記憶用の
所定の参照画像データを得るための、複数の、所定の輝
度信号と色差信号による空間解像度の再生画像データに
変換する第２の複数フォーマット変換部と、所定の参照
画像データを読み出して動き補償後に帰還減算用信号と
すための、複数の、所定の輝度信号と色差信号による空
間解像度の予測誤差分に変換する第３の複数フォーマッ
ト変換部とを付加し、また画像状態判定部は、これら第
２の複数フォーマット変換部出力と第３の複数フォーマ
ット変換部出力を複数フォーマット変換部出力と同様に
切り換えるようにした帰還符号化手段とした。
【００１１】この発明に係る画像復号化装置は、入力の
符号化ビットストリームを復号化する復号化部と、該復
号された復号化データを逆量子化及び逆変換する逆量子
化部と逆変換部を備え、逆量子化及び逆変換された画像
データを所定のフォーマット変換をしてディジタル画像
データに再生する構成において、逆変換された画像デー
タを、入力の符号化ビットストリームの状態変化を判定
して、上記所定のフォーマット変換のための入力とする
ために、複数の、所定の輝度信号と色差信号による空間
解像度のどれかでディジタル画像データに再生する複数
フォーマット変換部を設けた。
符号化ビットストリームを復号化する復号化部と、該復
号された復号化データを逆量子化及び逆変換する逆量子
化部と逆変換部を備え、逆量子化及び逆変換された画像
データを所定のフォーマット変換をしてディジタル画像
データに再生する構成において、逆変換された画像デー
タを、入力の符号化ビットストリームの状態変化を判定
して、上記所定のフォーマット変換のための入力とする
ために、複数の、所定の輝度信号と色差信号による空間
解像度のどれかでディジタル画像データに再生する複数
フォーマット変換部を設けた。
【００１２】また基本構成に加えて更に、逆変換画像デ
ータを所定のフォーマット変換後に参照画像データとし
て記憶し、動きの予測誤差分を元のフォーマット変換後
の出力に加算する帰還予測手段を備え、参照画像データ
を得るために、複数の、所定の輝度信号と色差信号によ
る空間解像度のどれかで再生画像データに変換する第２
の複数フォーマット変換部と、帰還予測手段出力を元の
フォーマット変換後の出力に加算するために、複数の、
所定の輝度信号と色差信号による空間解像度の予測誤差
分に変換する第３の複数フォーマット変換部とを付加し
た。
ータを所定のフォーマット変換後に参照画像データとし
て記憶し、動きの予測誤差分を元のフォーマット変換後
の出力に加算する帰還予測手段を備え、参照画像データ
を得るために、複数の、所定の輝度信号と色差信号によ
る空間解像度のどれかで再生画像データに変換する第２
の複数フォーマット変換部と、帰還予測手段出力を元の
フォーマット変換後の出力に加算するために、複数の、
所定の輝度信号と色差信号による空間解像度の予測誤差
分に変換する第３の複数フォーマット変換部とを付加し
た。
【００１３】また更に、画像状態判定部は、入力画像デ
ータまたは量子化画像データ中の色差信号の状態を設定
基準と比較して、複数フォーマット変換部出力から対応
する空間解像度の出力を選択するようにした。
ータまたは量子化画像データ中の色差信号の状態を設定
基準と比較して、複数フォーマット変換部出力から対応
する空間解像度の出力を選択するようにした。
【００１４】また更に、画像状態判定部は、入力画像デ
ータまたは量子化画像データ中の輝度信号の状態を設定
基準と比較して、複数フォーマット変換部出力から対応
する空間解像度の出力を選択するようにした。
ータまたは量子化画像データ中の輝度信号の状態を設定
基準と比較して、複数フォーマット変換部出力から対応
する空間解像度の出力を選択するようにした。
【００１５】また更に、画像状態判定部は、動き補償予
測部からの動きベクトルの値を、設定基準と比較して、
複数フォーマット変換部出力から対応する空間解像度の
出力を選択するようにした。
測部からの動きベクトルの値を、設定基準と比較して、
複数フォーマット変換部出力から対応する空間解像度の
出力を選択するようにした。
【００１６】また更に、画像状態判定部は、所定の空間
解像度の画像データと動き補償後の予測信号との差であ
る予測誤差値を、設定基準と比較して、複数フォーマッ
ト変換部出力から対応する空間解像度の出力を選択する
ようにした。
解像度の画像データと動き補償後の予測信号との差であ
る予測誤差値を、設定基準と比較して、複数フォーマッ
ト変換部出力から対応する空間解像度の出力を選択する
ようにした。
【００１７】また更に、画像状態判定部は、符号化ビッ
トストリームに基づき発生した符号化量から量子化ステ
ップサイズを、設定基準と比較して、複数フォーマット
変換部出力から対応する空間解像度の出力を選択するよ
うにした。
トストリームに基づき発生した符号化量から量子化ステ
ップサイズを、設定基準と比較して、複数フォーマット
変換部出力から対応する空間解像度の出力を選択するよ
うにした。
【００１８】また更に、画像状態判定部は、入力画像デ
ータまたは量子化画像データ中の色差信号または輝度信
号の状態と、動き補償予測部からの動きベクトルの値
と、予測誤差値と、量子化ステップサイズとのいずれか
複数の値を加算して、設定基準と比較して、複数フォー
マット変換部出力から対応する空間解像度の出力を選択
するようにした。
ータまたは量子化画像データ中の色差信号または輝度信
号の状態と、動き補償予測部からの動きベクトルの値
と、予測誤差値と、量子化ステップサイズとのいずれか
複数の値を加算して、設定基準と比較して、複数フォー
マット変換部出力から対応する空間解像度の出力を選択
するようにした。
【００１９】また基本構成に加えて更に、送信側の画像
符号化装置中の色差信号、輝度信号または動きの変化の
検出に対応する画像状態判定部を設け、送信側と同一の
設定基準で入力の符号化ビットストリームの状態変化を
検出して、複数の空間解像度のどれかを選択して復号化
画像を得るようにした。
符号化装置中の色差信号、輝度信号または動きの変化の
検出に対応する画像状態判定部を設け、送信側と同一の
設定基準で入力の符号化ビットストリームの状態変化を
検出して、複数の空間解像度のどれかを選択して復号化
画像を得るようにした。
【００２０】本発明に係る画像符号化・復号化システム
は、ディジタル化入力画像を、設定基準で所定の画像状
態を判定して、複数の、所定の輝度信号と色差信号によ
る空間解像度の画像データに変換する符号化複数フォー
マット変換部と、このフォーマット変換出力された空間
解像度の画像データを量子化する量子化部と、この量子
化された量子化画像データを符号化して符号化ビットス
トリームを出力する符号化部とからなる画像符号化装置
と、入力の符号化ビットストリームを復号化する復号化
部と、この復号された復号化データを逆量子化する逆量
子化部と、この逆量子化された逆量子化画像データを、
複数の、所定の輝度信号と色差信号による空間解像度を
持ち、所定の信号で上記空間解像度のどれかでディジタ
ル画像データに再生する復号複数フォーマット変換部と
からなる画像復号化装置、とで構成した。
は、ディジタル化入力画像を、設定基準で所定の画像状
態を判定して、複数の、所定の輝度信号と色差信号によ
る空間解像度の画像データに変換する符号化複数フォー
マット変換部と、このフォーマット変換出力された空間
解像度の画像データを量子化する量子化部と、この量子
化された量子化画像データを符号化して符号化ビットス
トリームを出力する符号化部とからなる画像符号化装置
と、入力の符号化ビットストリームを復号化する復号化
部と、この復号された復号化データを逆量子化する逆量
子化部と、この逆量子化された逆量子化画像データを、
複数の、所定の輝度信号と色差信号による空間解像度を
持ち、所定の信号で上記空間解像度のどれかでディジタ
ル画像データに再生する復号複数フォーマット変換部と
からなる画像復号化装置、とで構成した。
【００２１】この発明に係る画像符号化装置は、ディジ
タル化入力画像をフォーマット変換し、このフォーマッ
ト変換された画像データを量子化する量子化部と、この
量子化された量子化画像データを符号化する符号化部を
備えて、この符号化された符号化ビットストリームを出
力する構成において、フォーマット変換に際して、設定
された輝度信号と色差信号による空間解像度の画像デー
タに変換し、上記量子化部に入力する複数フォーマット
変換部を設けた。
タル化入力画像をフォーマット変換し、このフォーマッ
ト変換された画像データを量子化する量子化部と、この
量子化された量子化画像データを符号化する符号化部を
備えて、この符号化された符号化ビットストリームを出
力する構成において、フォーマット変換に際して、設定
された輝度信号と色差信号による空間解像度の画像デー
タに変換し、上記量子化部に入力する複数フォーマット
変換部を設けた。
【００２２】この発明に係る画像復号化装置は、入力の
符号化ビットストリームを復号化する復号化部と、この
復号された復号化データを逆量子化及び逆変換する逆量
子化部と逆変換部を備えて、この逆量子化及び逆変換さ
れた画像データを所定のフォーマット変換をしてディジ
タル画像データに再生する構成において、この逆変換さ
れた画像データを、上記所定のフォーマット変換のため
の入力とするために、設定された輝度信号と色差信号に
よる空間解像度のディジタル画像データに変換する複数
フォーマット変換部を設けた。
符号化ビットストリームを復号化する復号化部と、この
復号された復号化データを逆量子化及び逆変換する逆量
子化部と逆変換部を備えて、この逆量子化及び逆変換さ
れた画像データを所定のフォーマット変換をしてディジ
タル画像データに再生する構成において、この逆変換さ
れた画像データを、上記所定のフォーマット変換のため
の入力とするために、設定された輝度信号と色差信号に
よる空間解像度のディジタル画像データに変換する複数
フォーマット変換部を設けた。
【００２３】
実施の形態１．本発明の装置の具体的な応用例として
は、衛星や地上波、有線通信網を介して行うディジタル
放送システム、ディジタルビデオディスク等がある。以
下、この発明による画像の高能率符号化器および復号化
器の実施の形態を図について説明する。図１は動き補償
を含む予測符号化ループがない場合の基本的な画像符号
化装置の構成図である。図において、新規な要素とし
て、２は局所的フォーマット変換部（複数フォーマット
変換部）、３は（画像状態）判定部である。その他のＡ
／Ｄ変換部１、ＤＣＴ部４、量子化部５、可変長符号化
部６、バッファ７、レート制御部８は従来と同等の要素
である。また、１０１はディジタル化された画像デー
タ、１０２は局所的にフォーマット変換された画像デー
タ、１０３は動的にフォーマットを切り替えられた画像
データ、１０４はＤＣＴによる変換係数、１０５は変換
係数の量子化インデックス（量子化画像データ）、１０
６はどのフォーマットを用いたかを示す信号、１０７は
符号化ビットストリーム、１０８は情報発生量を示す信
号である。
は、衛星や地上波、有線通信網を介して行うディジタル
放送システム、ディジタルビデオディスク等がある。以
下、この発明による画像の高能率符号化器および復号化
器の実施の形態を図について説明する。図１は動き補償
を含む予測符号化ループがない場合の基本的な画像符号
化装置の構成図である。図において、新規な要素とし
て、２は局所的フォーマット変換部（複数フォーマット
変換部）、３は（画像状態）判定部である。その他のＡ
／Ｄ変換部１、ＤＣＴ部４、量子化部５、可変長符号化
部６、バッファ７、レート制御部８は従来と同等の要素
である。また、１０１はディジタル化された画像デー
タ、１０２は局所的にフォーマット変換された画像デー
タ、１０３は動的にフォーマットを切り替えられた画像
データ、１０４はＤＣＴによる変換係数、１０５は変換
係数の量子化インデックス（量子化画像データ）、１０
６はどのフォーマットを用いたかを示す信号、１０７は
符号化ビットストリーム、１０８は情報発生量を示す信
号である。
【００２４】次に動作について説明する。この実施の形
態ではＤＣＴ符号化方式を用いる。入力画像信号はＡ／
Ｄ変換１においてディジタル化された後、フォーマット
変換される。今、画像データ１０１のフォーマットは図
２５（ｃ）に示す４：４：４フォーマットであるとす
る。すなわち、輝度成分と色差成分のサンプル密度は等
しい。この画像データを局所的フォーマット変換（複数
フォーマット変換）２によって別のフォーマット変換、
例えば図２５（ａ）に示す４：２：０フォーマットの画
像データに変換する。４：２：０フォーマットは４：
４：４フォーマットに比べて色差成分のサンプル密度が
低いため、符号化すべき総サンプル数は小さくなり、圧
縮効率は高まる。反面、色雑音が画面上の広い範囲に波
及する可能性がある。これら４：４：４フォーマットの
画像データと４：２：０フォーマットの画像データを動
的に、例えばブロック単位もしくは複数のブロックを単
位としてセレクタ３において切り替えながら符号化を行
う。輝度成分（Ｙ）の８画素×８ラインブロック４個と
位置的に等しい青、赤の色差成分（Ｃｂ、Ｃｒ）のブロ
ックから構成されるマクロブロックの構成を図２に示
す。マクロブロックは切り替えを行う単位の例である。
態ではＤＣＴ符号化方式を用いる。入力画像信号はＡ／
Ｄ変換１においてディジタル化された後、フォーマット
変換される。今、画像データ１０１のフォーマットは図
２５（ｃ）に示す４：４：４フォーマットであるとす
る。すなわち、輝度成分と色差成分のサンプル密度は等
しい。この画像データを局所的フォーマット変換（複数
フォーマット変換）２によって別のフォーマット変換、
例えば図２５（ａ）に示す４：２：０フォーマットの画
像データに変換する。４：２：０フォーマットは４：
４：４フォーマットに比べて色差成分のサンプル密度が
低いため、符号化すべき総サンプル数は小さくなり、圧
縮効率は高まる。反面、色雑音が画面上の広い範囲に波
及する可能性がある。これら４：４：４フォーマットの
画像データと４：２：０フォーマットの画像データを動
的に、例えばブロック単位もしくは複数のブロックを単
位としてセレクタ３において切り替えながら符号化を行
う。輝度成分（Ｙ）の８画素×８ラインブロック４個と
位置的に等しい青、赤の色差成分（Ｃｂ、Ｃｒ）のブロ
ックから構成されるマクロブロックの構成を図２に示
す。マクロブロックは切り替えを行う単位の例である。
【００２５】上記局所的フォーマット変換部２における
実際の構成例を図示したのが、図３ないし図６である。
図３では、多重化された輝度・色差信号である入力画像
データ１０１を、輝度・色差信号分離器３１において輝
度信号１３２と色差信号１３３とに分離する。色差信号
１３３はさらに色差信号ダウンサンプリング器３２にお
いてダウンサンプリングされるか、または色差信号アッ
プサンプリング器においてアップサンプリングされる。
上記処理によってフォーマット変換された色差信号１３
４は、前記輝度信号１３２と共に輝度・色差信号多重器
３４において多重化されて、多重化信号である複数フォ
ーマット変換部出力信号１０２が送出される。従って、
上記実施の形態の場合は、局所的フォーマット変換２に
おいて４：４：４フォーマットが４：２：０フォーマッ
トに変換されるので、図３の動作は色差信号ダウンサン
プリング器３２が選択され、ダウンサンプルされた信号
が出ることになる。
実際の構成例を図示したのが、図３ないし図６である。
図３では、多重化された輝度・色差信号である入力画像
データ１０１を、輝度・色差信号分離器３１において輝
度信号１３２と色差信号１３３とに分離する。色差信号
１３３はさらに色差信号ダウンサンプリング器３２にお
いてダウンサンプリングされるか、または色差信号アッ
プサンプリング器においてアップサンプリングされる。
上記処理によってフォーマット変換された色差信号１３
４は、前記輝度信号１３２と共に輝度・色差信号多重器
３４において多重化されて、多重化信号である複数フォ
ーマット変換部出力信号１０２が送出される。従って、
上記実施の形態の場合は、局所的フォーマット変換２に
おいて４：４：４フォーマットが４：２：０フォーマッ
トに変換されるので、図３の動作は色差信号ダウンサン
プリング器３２が選択され、ダウンサンプルされた信号
が出ることになる。
【００２６】輝度・色差信号分離器３１と輝度・色差信
号多重器３４の構成はよく知られているのでここでの記
述は省略する。色差信号ダウンサンプリング器３２の詳
細動作を説明する。輝度・色差信号分離器３１において
分離された色差信号１３３は、画素レベルに分離され
る。図２（ｃ）の４：４：４フォーマットから図２
（ａ）の４：２：０フォーマットにダウンサンプリング
される場合、Ｃｂ、Ｃｒ信号は共に１６×１６から８×
８画素になる。各画素の色差信号の生成は例えば相隣な
る左右の画素の信号も考慮してダウンサンプリングする
なら、図３のＭで示される平均値算出部は、２つの画素
値を入力として、ダウンサンプリングされて半減された
８×８画素の新しい画素の値を出力する。例えば、２画
素を１画素にダウンサンプリングする例で、１番目の画
素には、係数ｗ１を、２番目の画素にはそれぞれｗ２の
係数を乗じて、平均値算出部において平均値を求めると
すると、上記２つの画素がｐ１、ｐ２であれば 平均値＝（ｐ１×ｗ１＋ｐ２×ｗ２）／（ｗ１＋ｗ２） で算出することができる。次に、各平均値算出部より出
力された平均値は、色差信号多重部において多重化され
て、３２の出力となる。上記において、フィルタ係数ｗ
を可変にすることも可能であり、また１／２のダウンサ
ンプリングに限らず、１／３、１／４等の任意のダウン
サンプリングを行うことができる。
号多重器３４の構成はよく知られているのでここでの記
述は省略する。色差信号ダウンサンプリング器３２の詳
細動作を説明する。輝度・色差信号分離器３１において
分離された色差信号１３３は、画素レベルに分離され
る。図２（ｃ）の４：４：４フォーマットから図２
（ａ）の４：２：０フォーマットにダウンサンプリング
される場合、Ｃｂ、Ｃｒ信号は共に１６×１６から８×
８画素になる。各画素の色差信号の生成は例えば相隣な
る左右の画素の信号も考慮してダウンサンプリングする
なら、図３のＭで示される平均値算出部は、２つの画素
値を入力として、ダウンサンプリングされて半減された
８×８画素の新しい画素の値を出力する。例えば、２画
素を１画素にダウンサンプリングする例で、１番目の画
素には、係数ｗ１を、２番目の画素にはそれぞれｗ２の
係数を乗じて、平均値算出部において平均値を求めると
すると、上記２つの画素がｐ１、ｐ２であれば 平均値＝（ｐ１×ｗ１＋ｐ２×ｗ２）／（ｗ１＋ｗ２） で算出することができる。次に、各平均値算出部より出
力された平均値は、色差信号多重部において多重化され
て、３２の出力となる。上記において、フィルタ係数ｗ
を可変にすることも可能であり、また１／２のダウンサ
ンプリングに限らず、１／３、１／４等の任意のダウン
サンプリングを行うことができる。
【００２７】また図３のアップサンプリング構成は、２
／１の倍のアップサンプリングを行う構成例である。即
ち元の１画素を、拡大して２画素とする。まず、輝度・
色差信号分離器３１において分離された画素はすべて繰
り返し用いるため、２系統の出力をする（同一画素を２
度繰り返して用いればよいので、別の構成も多く考えら
れる）。次に、色差信号分離部において分離された色差
信号は、黒丸の部分から出力して、平均値算出部におい
て平均値が算出される。点線表示用のように、拡大され
た新画素に対し、元の複数の画素から画素値を与える構
成とすれば、平均化された色差信号値が得られる。この
場合には、ダウンサンプリング器３２の構成例に示した
フィルタ係数を乗じていないが、これを用いることがで
きるのは言うまでもない。各平均値算出部Ｍより出力さ
れた平均の画素信号は、所定のブロック毎に輝度・色差
信号多重器３４において多重化されて、局所的フォーマ
ット変換２の出力となる。なお、これら複数の、色差信
号に対してアップサンプリングまたはダウンサンプリン
グされて異なる空間解像度を持つ画像データ１０２に対
して、それを選択するか、または元の空間解像度の画像
データ１０１を選択するかを判断して選択する判定部３
は、ここでは構成と動作は述べていない。判断部３の入
力は以後の実施の形態で各種の場合があり、そこで動作
を説明する。また、上記実施の形態では、局所的フォー
マット変換部２の入出力は共に輝度信号と色差信号が多
重化されているとしたが、もとから両者の信号が分離さ
れて回路内を流れている場合には図３の輝度・色差信号
分離器３１及び色差信号多重器３４が不要である。この
場合には、図４に示すように構成することができる。さ
らに、回路の性格上、輝度・色差信号分離器３１のみが
必要な場合、または色差信号多重器３４のみが必要な場
合も考えられる。図５、図６が上記例に相当している。
この局所的フォーマット変換部２の構成は、以下の本発
明の各実施の形態においても全く同様である。
／１の倍のアップサンプリングを行う構成例である。即
ち元の１画素を、拡大して２画素とする。まず、輝度・
色差信号分離器３１において分離された画素はすべて繰
り返し用いるため、２系統の出力をする（同一画素を２
度繰り返して用いればよいので、別の構成も多く考えら
れる）。次に、色差信号分離部において分離された色差
信号は、黒丸の部分から出力して、平均値算出部におい
て平均値が算出される。点線表示用のように、拡大され
た新画素に対し、元の複数の画素から画素値を与える構
成とすれば、平均化された色差信号値が得られる。この
場合には、ダウンサンプリング器３２の構成例に示した
フィルタ係数を乗じていないが、これを用いることがで
きるのは言うまでもない。各平均値算出部Ｍより出力さ
れた平均の画素信号は、所定のブロック毎に輝度・色差
信号多重器３４において多重化されて、局所的フォーマ
ット変換２の出力となる。なお、これら複数の、色差信
号に対してアップサンプリングまたはダウンサンプリン
グされて異なる空間解像度を持つ画像データ１０２に対
して、それを選択するか、または元の空間解像度の画像
データ１０１を選択するかを判断して選択する判定部３
は、ここでは構成と動作は述べていない。判断部３の入
力は以後の実施の形態で各種の場合があり、そこで動作
を説明する。また、上記実施の形態では、局所的フォー
マット変換部２の入出力は共に輝度信号と色差信号が多
重化されているとしたが、もとから両者の信号が分離さ
れて回路内を流れている場合には図３の輝度・色差信号
分離器３１及び色差信号多重器３４が不要である。この
場合には、図４に示すように構成することができる。さ
らに、回路の性格上、輝度・色差信号分離器３１のみが
必要な場合、または色差信号多重器３４のみが必要な場
合も考えられる。図５、図６が上記例に相当している。
この局所的フォーマット変換部２の構成は、以下の本発
明の各実施の形態においても全く同様である。
【００２８】いずれのフォーマットを選んだ場合も、８
画素×８ラインのブロック単位でＤＣＴ４により画像デ
ータを空間周波数領域の変換係数１０４に変換し、量子
化部５で変換係数の量子化を行う。量子化後の８×８Ｄ
ＣＴ係数１０５は、低周波数成分から順にスキャンされ
１次元情報となった後、可変長符号化部６で可変長符号
化される。フォーマットの切り替えを行う個々の単位に
おいて、いずれのフォーマットを選んだかを示す情報１
０６を符号化情報の一部として多重化する。符号化デー
タはバッファ７に一時蓄積された後、符号化ビットスト
リーム１０７として出力される。可変となる符号発生量
を一定に保つ場合は、出力バッファ７を監視することで
発生符号量１０８を把握し、フィードバックによって量
子化制御を行う。
画素×８ラインのブロック単位でＤＣＴ４により画像デ
ータを空間周波数領域の変換係数１０４に変換し、量子
化部５で変換係数の量子化を行う。量子化後の８×８Ｄ
ＣＴ係数１０５は、低周波数成分から順にスキャンされ
１次元情報となった後、可変長符号化部６で可変長符号
化される。フォーマットの切り替えを行う個々の単位に
おいて、いずれのフォーマットを選んだかを示す情報１
０６を符号化情報の一部として多重化する。符号化デー
タはバッファ７に一時蓄積された後、符号化ビットスト
リーム１０７として出力される。可変となる符号発生量
を一定に保つ場合は、出力バッファ７を監視することで
発生符号量１０８を把握し、フィードバックによって量
子化制御を行う。
【００２９】なお、本実施の形態ではＤＣＴ符号化を用
いたが、サブバンド符号化等、他の符号化方式であって
もこの発明を適用することができるのは言うまでもな
い。また、本実施の形態では、局所的フォーマット変換
を行ったデータと行っていないデータとを（画像状態）
判定部により切り替える構成を示したが、局所的フォー
マット変換自体が処理内容を切り替えるような構成をと
っても本質的に変わりのないことは勿論である。
いたが、サブバンド符号化等、他の符号化方式であって
もこの発明を適用することができるのは言うまでもな
い。また、本実施の形態では、局所的フォーマット変換
を行ったデータと行っていないデータとを（画像状態）
判定部により切り替える構成を示したが、局所的フォー
マット変換自体が処理内容を切り替えるような構成をと
っても本質的に変わりのないことは勿論である。
【００３０】少なくとも内部的には色差信号についても
高精度処理をし、また処理能力あるいはビットレートに
も余裕があるとすれば、入力画像１０１に対して常にア
ップサンプリングされた局所的フォーマット変換後の画
像信号１０２（この場合は選択後の画像信号１０３にも
等しい）を出力する。実は、画像状態判定部３の出力選
択ビットとして少なくとも１ビットが必要であるが、上
記固定出力の場合には選択ビットが不要となる。そして
常に高精度の色差信号が得られる。この場合の構成を図
７に示す。図７に示す画像符号化装置によれば、局所的
フォーマット変換２からフォーマット変換信号１３０が
出力される。このフォーマット変換信号は、ＤＣＴ４に
入力して該フォーマットの符号化を行う。尚、本構成
は、以下の他の実施の形態においても全く同様に考える
ことができ、符号化・復号化器においてセレクタを用い
てフォーマット信号を切り換える他に、上記構成とする
ことができる。
高精度処理をし、また処理能力あるいはビットレートに
も余裕があるとすれば、入力画像１０１に対して常にア
ップサンプリングされた局所的フォーマット変換後の画
像信号１０２（この場合は選択後の画像信号１０３にも
等しい）を出力する。実は、画像状態判定部３の出力選
択ビットとして少なくとも１ビットが必要であるが、上
記固定出力の場合には選択ビットが不要となる。そして
常に高精度の色差信号が得られる。この場合の構成を図
７に示す。図７に示す画像符号化装置によれば、局所的
フォーマット変換２からフォーマット変換信号１３０が
出力される。このフォーマット変換信号は、ＤＣＴ４に
入力して該フォーマットの符号化を行う。尚、本構成
は、以下の他の実施の形態においても全く同様に考える
ことができ、符号化・復号化器においてセレクタを用い
てフォーマット信号を切り換える他に、上記構成とする
ことができる。
【００３１】実施の形態２．図８は動き補償を含む予測
符号化手段を備えた画像符号化装置の構成図である。図
において、新規な要素として、２０の第２の局所的フォ
ーマット変換部、２１の判定部３の出力部のセレクタ、
２２の第３の局所的フォーマット変換部、２３の判定部
３の出力部のセレクタがある。その他の減算器１５、イ
ンタ（フレーム内）／イントラ（フレーム間）切り替え
セレクタ１６、加算器１７、フレーム（画像）メモリ１
８、動き補償ベクトル推定および動き補償を行う動き補
償予測部１９は従来と同等の要素である。また、１１６
は適応的にフォーマットの切り替えられた画像データ、
１１７は予測誤差画像データ、１１８は逆ＤＣＴによっ
て画素空間領域に戻された画像データ、１１９は予測画
像データ、１２０は復号された画像データ、１２１は局
所的にフォーマット変換された復号画像データ、１２２
はフォーマットを統一された復号画像データ、１２３は
動き補償予測部１９から読み出された動き補償後の画像
データ、１２４は局所的にフォーマット変換された画像
データ、１２５は動き補償予測データ、１２６は動きベ
クトル情報、１２７は局所的にいずれのフォーマットが
使われたかを示す信号である。上記以外は既に説明され
た番号のものと同等である。
符号化手段を備えた画像符号化装置の構成図である。図
において、新規な要素として、２０の第２の局所的フォ
ーマット変換部、２１の判定部３の出力部のセレクタ、
２２の第３の局所的フォーマット変換部、２３の判定部
３の出力部のセレクタがある。その他の減算器１５、イ
ンタ（フレーム内）／イントラ（フレーム間）切り替え
セレクタ１６、加算器１７、フレーム（画像）メモリ１
８、動き補償ベクトル推定および動き補償を行う動き補
償予測部１９は従来と同等の要素である。また、１１６
は適応的にフォーマットの切り替えられた画像データ、
１１７は予測誤差画像データ、１１８は逆ＤＣＴによっ
て画素空間領域に戻された画像データ、１１９は予測画
像データ、１２０は復号された画像データ、１２１は局
所的にフォーマット変換された復号画像データ、１２２
はフォーマットを統一された復号画像データ、１２３は
動き補償予測部１９から読み出された動き補償後の画像
データ、１２４は局所的にフォーマット変換された画像
データ、１２５は動き補償予測データ、１２６は動きベ
クトル情報、１２７は局所的にいずれのフォーマットが
使われたかを示す信号である。上記以外は既に説明され
た番号のものと同等である。
【００３２】次に動作について説明する。この実施の形
態では動き補償予測とＤＣＴ符号化方式を用いる。入力
画像信号はＡ／Ｄ変換１にてディジタル化された後、フ
ォーマット変換される。今、画像データ１０１のフォー
マットは図２５（ｃ）に示す４：４：４フォーマットで
あるとする。すなわち、輝度成分と色差成分のサンプル
密度は等しい。この画像データ１０１を局所的フォーマ
ット変換２によって別のフォーマット、例えば図２５
（ａ）に示す４：２：０フォーマットの画像データ１０
２に変換する。４：２：０フォーマットは４：４：４フ
ォーマットに比べて色差成分のサンプル密度が低いた
め、符号化すべき総サンプル数は小さくなり、圧縮効率
は高まる。反面、色雑音が画面上の広い範囲に波及する
可能性がある。これら４：４：４フォーマットの画像デ
ータと４：２：０フォーマットの画像データを動的に、
例えばブロック単位もしくは複数のブロックを単位とし
て判定部３において切り替えながら符号化を行うことが
基本である。
態では動き補償予測とＤＣＴ符号化方式を用いる。入力
画像信号はＡ／Ｄ変換１にてディジタル化された後、フ
ォーマット変換される。今、画像データ１０１のフォー
マットは図２５（ｃ）に示す４：４：４フォーマットで
あるとする。すなわち、輝度成分と色差成分のサンプル
密度は等しい。この画像データ１０１を局所的フォーマ
ット変換２によって別のフォーマット、例えば図２５
（ａ）に示す４：２：０フォーマットの画像データ１０
２に変換する。４：２：０フォーマットは４：４：４フ
ォーマットに比べて色差成分のサンプル密度が低いた
め、符号化すべき総サンプル数は小さくなり、圧縮効率
は高まる。反面、色雑音が画面上の広い範囲に波及する
可能性がある。これら４：４：４フォーマットの画像デ
ータと４：２：０フォーマットの画像データを動的に、
例えばブロック単位もしくは複数のブロックを単位とし
て判定部３において切り替えながら符号化を行うことが
基本である。
【００３３】判定部３での選択後の入力画像データ１１
６と、参照画面から動き予測によって生成される動き補
償予測画像データ１２５との差分をとり、予測誤差信号
１１７を得るためには、入力画像データ１１６のフォー
マットと動き補償予測画像データ１２５のフォーマット
とが同じでなければならない。このため、フレームメモ
リ１８から読み出された動き補償予測画像データに対し
ても第３の局所的フォーマット変換２２とセレクタ２３
を用いてフォーマットをそろえる。例えば、フレームメ
モリ１８に蓄積された参照画像のフォーマットが効率を
重んじて４：２：０のフォーマットであれば、第３の局
所的フォーマット変換２２はサンプル密度を上げる方向
の変換となる。
６と、参照画面から動き予測によって生成される動き補
償予測画像データ１２５との差分をとり、予測誤差信号
１１７を得るためには、入力画像データ１１６のフォー
マットと動き補償予測画像データ１２５のフォーマット
とが同じでなければならない。このため、フレームメモ
リ１８から読み出された動き補償予測画像データに対し
ても第３の局所的フォーマット変換２２とセレクタ２３
を用いてフォーマットをそろえる。例えば、フレームメ
モリ１８に蓄積された参照画像のフォーマットが効率を
重んじて４：２：０のフォーマットであれば、第３の局
所的フォーマット変換２２はサンプル密度を上げる方向
の変換となる。
【００３４】フォーマットが一致して予測誤差信号１１
７が得られた後、８画素×８ラインのブロック単位でＤ
ＣＴ４により画像データ１０３を空間周波数領域の変換
係数１０４に変換し、量子化部５で変換係数の量子化を
行う。後で動き補償予測の参照画面として用いるため、
量子化された情報１０５を逆量子化部１１で逆量子化
し、逆ＤＣＴして画像データ１１８を得て、予測画像デ
ータ（動き補償予測信号）１１９と加算器１７で加算す
る。すなわち局部復号によって画像を復号し、フレーム
メモリ１８に蓄積する。この際、フレームメモリ１８に
蓄積するフォーマットを統一するために、必要に応じて
第２の局所的フォーマット変換２０とセレクタ２１によ
り局所的フォーマット変換を行う。量子化後の８×８Ｄ
ＣＴ係数１０５は低周波数成分から順にスキャンされ１
次元情報となった後、可変長符号化部６で可変長符号化
される。また、フォーマットの切り替えを行う個々の単
位において、いずれのフォーマットを選んだかを示す情
報１２７を符号化情報の一部として多重化する。可変と
なる符号発生量を一定に保つ場合は、出力バッファ７を
監視することで発生符号量１０８を把握し、レート制御
部８によるフィードバックによって量子化制御を行う。
７が得られた後、８画素×８ラインのブロック単位でＤ
ＣＴ４により画像データ１０３を空間周波数領域の変換
係数１０４に変換し、量子化部５で変換係数の量子化を
行う。後で動き補償予測の参照画面として用いるため、
量子化された情報１０５を逆量子化部１１で逆量子化
し、逆ＤＣＴして画像データ１１８を得て、予測画像デ
ータ（動き補償予測信号）１１９と加算器１７で加算す
る。すなわち局部復号によって画像を復号し、フレーム
メモリ１８に蓄積する。この際、フレームメモリ１８に
蓄積するフォーマットを統一するために、必要に応じて
第２の局所的フォーマット変換２０とセレクタ２１によ
り局所的フォーマット変換を行う。量子化後の８×８Ｄ
ＣＴ係数１０５は低周波数成分から順にスキャンされ１
次元情報となった後、可変長符号化部６で可変長符号化
される。また、フォーマットの切り替えを行う個々の単
位において、いずれのフォーマットを選んだかを示す情
報１２７を符号化情報の一部として多重化する。可変と
なる符号発生量を一定に保つ場合は、出力バッファ７を
監視することで発生符号量１０８を把握し、レート制御
部８によるフィードバックによって量子化制御を行う。
【００３５】なお、本実施の形態ではＤＣＴ符号化を用
いたが、サブバンド符号化等、他の符号化方式であって
もこの発明を適用することができるのは言うまでもな
い。また、本実施の形態では、局所的フォーマット変換
を行ったデータと行っていないデータとを判定部３によ
り切り替える構成を示したが、局所的フォーマット変換
自体が処理内容を切り替えるような構成をとっても本質
的に変わりのないことは勿論である。
いたが、サブバンド符号化等、他の符号化方式であって
もこの発明を適用することができるのは言うまでもな
い。また、本実施の形態では、局所的フォーマット変換
を行ったデータと行っていないデータとを判定部３によ
り切り替える構成を示したが、局所的フォーマット変換
自体が処理内容を切り替えるような構成をとっても本質
的に変わりのないことは勿論である。
【００３６】実施の形態３．図９は予測復号化ループが
ない場合の、基本的な画像復号化装置の構成図である。
図において、新規な要素として１３の局所的フォーマッ
ト変換（複数フォーマット変換）部がある。また、図の
復号化装置における判定部３ａは、画像状態判定はせ
ず、入力は選択情報１１３で出力選択をする。その他の
バッファ９、可変長復号化部１０、逆量子化部１１、逆
ＤＣＴ部１２、Ｄ／Ａ変換部１４は、従来と同様の要素
である。また、１０９は可変長復号された量子化インデ
ックス情報、１１０は逆量子化された変換係数、１１１
は逆ＤＣＴによって画素空間領域に戻された画像デー
タ、１１２は局所的フォーマット変換された画像デー
タ、１１３はいずれのフォーマットが選ばれたかを示す
情報で、符号化装置側の選択情報１０６に対応してお
り、１１４はフォーマットの統一された画像データ、１
１５は再生された画像信号である。上記以外は既に説明
された番号のものと同等である。
ない場合の、基本的な画像復号化装置の構成図である。
図において、新規な要素として１３の局所的フォーマッ
ト変換（複数フォーマット変換）部がある。また、図の
復号化装置における判定部３ａは、画像状態判定はせ
ず、入力は選択情報１１３で出力選択をする。その他の
バッファ９、可変長復号化部１０、逆量子化部１１、逆
ＤＣＴ部１２、Ｄ／Ａ変換部１４は、従来と同様の要素
である。また、１０９は可変長復号された量子化インデ
ックス情報、１１０は逆量子化された変換係数、１１１
は逆ＤＣＴによって画素空間領域に戻された画像デー
タ、１１２は局所的フォーマット変換された画像デー
タ、１１３はいずれのフォーマットが選ばれたかを示す
情報で、符号化装置側の選択情報１０６に対応してお
り、１１４はフォーマットの統一された画像データ、１
１５は再生された画像信号である。上記以外は既に説明
された番号のものと同等である。
【００３７】次に動作について説明する。この実施の形
態の復号化装置は、実施の形態１で述べた画像符号化装
置に呼応する復号化装置である。まず符号化されたビッ
トストリーム１０７はバッファ９に蓄積される。バッフ
ァ９内のデータは読み出され、可変長復号化部１０にお
いて可変長復号が行われる。この過程でＤＣＴ係数の情
報１０９、ブロックもしくは複数のブロックで形成され
る個々の単位においてどのようなフォーマットが選択さ
れたかを示す情報１１３等が復号・分離される。復号さ
れた８×８の量子化ＤＣＴ係数１０９は逆量子化部１１
でＤＣＴ係数１１０に復元され、逆ＤＣＴ部１２により
画素空間データ１１１に変換される。
態の復号化装置は、実施の形態１で述べた画像符号化装
置に呼応する復号化装置である。まず符号化されたビッ
トストリーム１０７はバッファ９に蓄積される。バッフ
ァ９内のデータは読み出され、可変長復号化部１０にお
いて可変長復号が行われる。この過程でＤＣＴ係数の情
報１０９、ブロックもしくは複数のブロックで形成され
る個々の単位においてどのようなフォーマットが選択さ
れたかを示す情報１１３等が復号・分離される。復号さ
れた８×８の量子化ＤＣＴ係数１０９は逆量子化部１１
でＤＣＴ係数１１０に復元され、逆ＤＣＴ部１２により
画素空間データ１１１に変換される。
【００３８】復号画像として出力する前に、局所的フォ
ーマット変換側か元の画像信号のフォーマット側かを示
す例えば１ビットの情報１１３に従って、画面のフォー
マットを均一にするための局所的フォーマット変換１３
を判定部３ａにおいて動的に切り替えながら行い、復号
画像１１４を得る。最後にＤ／Ａ変換１４によって再生
画像信号を得る。
ーマット変換側か元の画像信号のフォーマット側かを示
す例えば１ビットの情報１１３に従って、画面のフォー
マットを均一にするための局所的フォーマット変換１３
を判定部３ａにおいて動的に切り替えながら行い、復号
画像１１４を得る。最後にＤ／Ａ変換１４によって再生
画像信号を得る。
【００３９】実施の形態４．図１０は動き補償を含む予
測復号化手段を備えた画像復号化装置の構成図である。
図において、新規な要素は、先の実施の形態で示した第
２の局所的フォーマット変換部２０と、第３の局所的フ
ォーマット変換部２２と、セレクタ２１、２３である。
また、２４は動き補償予測部である。また、１２８は局
所的にフォーマット変換された復号画像データである。
上記以外は既に説明された番号のものと同等である。
測復号化手段を備えた画像復号化装置の構成図である。
図において、新規な要素は、先の実施の形態で示した第
２の局所的フォーマット変換部２０と、第３の局所的フ
ォーマット変換部２２と、セレクタ２１、２３である。
また、２４は動き補償予測部である。また、１２８は局
所的にフォーマット変換された復号画像データである。
上記以外は既に説明された番号のものと同等である。
【００４０】次に動作について説明する。この実施の形
態の復号化装置は、実施の形態２で述べた画像符号化装
置に呼応する復号化装置である。まず入力の符号化され
たビットストリーム１０７はバッファ９に蓄積される。
バッファ９内のデータは読み出され、可変長復号化部１
０で可変長復号が行われる。この過程でＤＣＴ係数の情
報１０９、動きベクトルの情報１２６、ブロックもしく
は複数のブロックで形成される個々の単位においてどの
ようなフォーマットが選択されたかを示す情報１２７等
が復号・分離される。復号された８×８の量子化ＤＣＴ
係数１０９は逆量子化部１１でＤＣＴ係数１１０に復元
され、逆ＤＣＴ部１２により画素空間データ１１８に変
換される。動き補償予測が行われている際は、上記の画
素空間データ１１８と、参照画面からの動き補償予測に
よって生成される動き補償予測画像データ１１７との加
算器１７による加算で画像が復号され、復号画像１２０
は必要に応じてその後の復号処理で参照画面として用い
るためにフレームメモリ１８に蓄積されるのが基本であ
る。
態の復号化装置は、実施の形態２で述べた画像符号化装
置に呼応する復号化装置である。まず入力の符号化され
たビットストリーム１０７はバッファ９に蓄積される。
バッファ９内のデータは読み出され、可変長復号化部１
０で可変長復号が行われる。この過程でＤＣＴ係数の情
報１０９、動きベクトルの情報１２６、ブロックもしく
は複数のブロックで形成される個々の単位においてどの
ようなフォーマットが選択されたかを示す情報１２７等
が復号・分離される。復号された８×８の量子化ＤＣＴ
係数１０９は逆量子化部１１でＤＣＴ係数１１０に復元
され、逆ＤＣＴ部１２により画素空間データ１１８に変
換される。動き補償予測が行われている際は、上記の画
素空間データ１１８と、参照画面からの動き補償予測に
よって生成される動き補償予測画像データ１１７との加
算器１７による加算で画像が復号され、復号画像１２０
は必要に応じてその後の復号処理で参照画面として用い
るためにフレームメモリ１８に蓄積されるのが基本であ
る。
【００４１】復号された差分画素空間データ１１８と、
参照画面から動き予測によって生成される動き補償予測
画像データ１１７との加算を行うには、復号差分画素空
間データ１１８のフォーマットと動き補償予測画像デー
タ１１７のフォーマットとが同じでなければならない。
このため、フレームメモリ１８から読み出された動き補
償予測画像データに対して、必要に応じて第３の局所的
フォーマット変換部２２と、セレクタ２３により局所的
フォーマット変換を行ってフォーマットをそろえる。こ
の局所的フォーマット変換が必要であるかどうか（セレ
クタでどちらを選ぶか）は、先に分離したフォーマット
選択情報１２７によって知られる。
参照画面から動き予測によって生成される動き補償予測
画像データ１１７との加算を行うには、復号差分画素空
間データ１１８のフォーマットと動き補償予測画像デー
タ１１７のフォーマットとが同じでなければならない。
このため、フレームメモリ１８から読み出された動き補
償予測画像データに対して、必要に応じて第３の局所的
フォーマット変換部２２と、セレクタ２３により局所的
フォーマット変換を行ってフォーマットをそろえる。こ
の局所的フォーマット変換が必要であるかどうか（セレ
クタでどちらを選ぶか）は、先に分離したフォーマット
選択情報１２７によって知られる。
【００４２】復号画像として出力する前に、選択された
フォーマットを示す情報１２７に従って、画面のフォー
マットを均一にするための局所的フォーマット変換部１
３を判定部３ａにおいて動的に切り替えながら行い、復
号画像１１４を得る。復号画像１１４をフレームメモリ
１８に蓄積する際にも、フォーマットを統一するため
に、必要に応じて第２の局所的フォーマット変換部２０
とセレクタ２１によって局所的フォーマット変換を行
う。
フォーマットを示す情報１２７に従って、画面のフォー
マットを均一にするための局所的フォーマット変換部１
３を判定部３ａにおいて動的に切り替えながら行い、復
号画像１１４を得る。復号画像１１４をフレームメモリ
１８に蓄積する際にも、フォーマットを統一するため
に、必要に応じて第２の局所的フォーマット変換部２０
とセレクタ２１によって局所的フォーマット変換を行
う。
【００４３】実施の形態５．図１１は局所的フォーマッ
ト（複数フォーマット）変換で、どのフォーマット変換
を選択するかを切り替える具体的な基準の例を示した基
本的符号化装置の構成図である。図において、新規な要
素は２５の色差成分によるフォーマット判定部があり、
図１の判定部３の入力信号を特定したものである。上記
以外は既に説明された番号のものと同等である。
ト（複数フォーマット）変換で、どのフォーマット変換
を選択するかを切り替える具体的な基準の例を示した基
本的符号化装置の構成図である。図において、新規な要
素は２５の色差成分によるフォーマット判定部があり、
図１の判定部３の入力信号を特定したものである。上記
以外は既に説明された番号のものと同等である。
【００４４】次に動作について説明する。本実施の形態
で説明するのは、局所的フォーマット変換を行うか否
か、及びどのようなフォーマットを選択するかを決定す
る基準を与える仕組みである。今、フォーマットを選択
する範囲はブロックもしくは複数のブロックをまとめた
ある単位とする。本実施の形態では、色差成分によるフ
ォーマット判定部２５が同単位に含まれる画像データの
色差成分に基づいてフォーマットを選択する。例えば、
色雑音が顕著に検知され得るのは、濃い色の部分、色の
値が激しく変化している部分等、色のアクティビティが
高い部分である。また、顔や唇を含む人間の肌の色の周
辺も色雑音が顕著に検知され得る部分である。このこと
を利用すれば、色雑音の目立ちやすくなるような箇所に
おいて、色差成分のサンプル密度の高いフォーマットを
選択することができる。
で説明するのは、局所的フォーマット変換を行うか否
か、及びどのようなフォーマットを選択するかを決定す
る基準を与える仕組みである。今、フォーマットを選択
する範囲はブロックもしくは複数のブロックをまとめた
ある単位とする。本実施の形態では、色差成分によるフ
ォーマット判定部２５が同単位に含まれる画像データの
色差成分に基づいてフォーマットを選択する。例えば、
色雑音が顕著に検知され得るのは、濃い色の部分、色の
値が激しく変化している部分等、色のアクティビティが
高い部分である。また、顔や唇を含む人間の肌の色の周
辺も色雑音が顕著に検知され得る部分である。このこと
を利用すれば、色雑音の目立ちやすくなるような箇所に
おいて、色差成分のサンプル密度の高いフォーマットを
選択することができる。
【００４５】具体的な構成例として、図１２にフォーマ
ット判定部２５を示す。図に示すように、画像入力信号
１０１が輝度・色差信号が多重化されていた場合には、
輝度・色差信号分離器３１において各信号に分離され、
色差信号１３６が出力される。他方、入力信号１０１が
元来色差信号に分離されていた場合には、直接色差信号
１３６となり、色差平均値検出器３５及び色差分散値算
出器３６に入力される。色差平均値検出器３５では、ブ
ロックもしくは複数のブロックをまとめたある単位毎の
画像領域に対する色差の平均値１３７を算出する。該色
差平均値１３７及び色差信号１３６を用いて、色差分散
値算出器３６では色差分散値１３８を算出する。フォー
マット決定部３７は、色差分散値１３８を予め定められ
た閾値との大小比較することで、局所的フォーマット変
換するか否か、さらにどのフォーマットに変換するかの
フォーマット切り替え情報１０６が得られる。また局所
的フォーマット変換する場合は、図１１に示すように信
号１０３は信号１０２を選択する。
ット判定部２５を示す。図に示すように、画像入力信号
１０１が輝度・色差信号が多重化されていた場合には、
輝度・色差信号分離器３１において各信号に分離され、
色差信号１３６が出力される。他方、入力信号１０１が
元来色差信号に分離されていた場合には、直接色差信号
１３６となり、色差平均値検出器３５及び色差分散値算
出器３６に入力される。色差平均値検出器３５では、ブ
ロックもしくは複数のブロックをまとめたある単位毎の
画像領域に対する色差の平均値１３７を算出する。該色
差平均値１３７及び色差信号１３６を用いて、色差分散
値算出器３６では色差分散値１３８を算出する。フォー
マット決定部３７は、色差分散値１３８を予め定められ
た閾値との大小比較することで、局所的フォーマット変
換するか否か、さらにどのフォーマットに変換するかの
フォーマット切り替え情報１０６が得られる。また局所
的フォーマット変換する場合は、図１１に示すように信
号１０３は信号１０２を選択する。
【００４６】ここで、例えば閾値を２つ（Ｔｈ１，Ｔｈ
２）用意して、局所的フォーマット変換する場合を考え
ると色差成分の分散値Ｄｅｖを考えて、これと閾値Ｔｈ
１，Ｔｈ２の大小関係を考える。原信号１０１が４：
４：４、または逆に４：２：０の場合には、下記の通り
になる。 １） 原信号１０１＝４：４：４の場合 １−１） ｉｆ（Ｄｅｖ＜Ｔｈ１）（但し、Ｔｈ１＜Ｔ
ｈ２） これは色の変化が平坦であると考えられる。従って、 ｛４：４：４⇒４：２：０へＤｏｗｎ−Ｓａｍｐｌｉｎ
ｇ｝ １−２） ｉｆ（Ｄｅｖ≧Ｔｈ１＆Ｄｅｖ２＜Ｔｈ２） これは上記より変化するが、変化の割合は激しくないと
考えられる。従って、 ｛４：４：４⇒４：２：２にＤｏｗｎ−Ｓａｍｐｌｉｎ
ｇ｝ １−３） ｅｌｓｅ ｛Ｎｏ Ｃｈａｎｇｅ｝ ２） 原信号１０１＝４：２：０の場合、 ２−１） ｉｆ（Ｄｅｖ＞Ｔｈ１）（但し、Ｔｈ１＞Ｔ
ｈ２） ｛４：２：０⇒４：４：４へＵｐ−Ｓａｍｐｌｉｎｇ｝ ２−２） ｉｆ（Ｄｅｖ≦Ｔｈ１＆Ｄｅｖ＞Ｔｈ２） ｛４：２：０⇒４：２：２へＵｐ−Ｓａｍｐｌｉｎｇ｝ ２−３） ｅｌｓｅ ｛Ｎｏ Ｃｈａｎｇｅ｝ また、上記説明したように、判定基準としては、例えば
画素値（上記例では色差値）の分散値を用いているが、
これは分散値が大きいことは画素値の振幅が大きいこと
を意味し、逆に分散値が小さいときには画素値は平坦で
あり、全体が平均値に近いことを意味することを利用し
ている。
２）用意して、局所的フォーマット変換する場合を考え
ると色差成分の分散値Ｄｅｖを考えて、これと閾値Ｔｈ
１，Ｔｈ２の大小関係を考える。原信号１０１が４：
４：４、または逆に４：２：０の場合には、下記の通り
になる。 １） 原信号１０１＝４：４：４の場合 １−１） ｉｆ（Ｄｅｖ＜Ｔｈ１）（但し、Ｔｈ１＜Ｔ
ｈ２） これは色の変化が平坦であると考えられる。従って、 ｛４：４：４⇒４：２：０へＤｏｗｎ−Ｓａｍｐｌｉｎ
ｇ｝ １−２） ｉｆ（Ｄｅｖ≧Ｔｈ１＆Ｄｅｖ２＜Ｔｈ２） これは上記より変化するが、変化の割合は激しくないと
考えられる。従って、 ｛４：４：４⇒４：２：２にＤｏｗｎ−Ｓａｍｐｌｉｎ
ｇ｝ １−３） ｅｌｓｅ ｛Ｎｏ Ｃｈａｎｇｅ｝ ２） 原信号１０１＝４：２：０の場合、 ２−１） ｉｆ（Ｄｅｖ＞Ｔｈ１）（但し、Ｔｈ１＞Ｔ
ｈ２） ｛４：２：０⇒４：４：４へＵｐ−Ｓａｍｐｌｉｎｇ｝ ２−２） ｉｆ（Ｄｅｖ≦Ｔｈ１＆Ｄｅｖ＞Ｔｈ２） ｛４：２：０⇒４：２：２へＵｐ−Ｓａｍｐｌｉｎｇ｝ ２−３） ｅｌｓｅ ｛Ｎｏ Ｃｈａｎｇｅ｝ また、上記説明したように、判定基準としては、例えば
画素値（上記例では色差値）の分散値を用いているが、
これは分散値が大きいことは画素値の振幅が大きいこと
を意味し、逆に分散値が小さいときには画素値は平坦で
あり、全体が平均値に近いことを意味することを利用し
ている。
【００４７】この実施の形態では実施の形態１の画像符
号化装置のフォーマット切換基準の選択について説明し
たが、これは輝度成分と色差成分のサンプル密度比を切
り替えるための判断基準を与える仕組の具体例なので、
予測符号化手段を付加した形式の実施の形態２で示した
画像符号化装置においても適用できることは言うまでも
ない。この場合の構成例を図１３に示す。この図１３で
は、フォーマット判定部２５とそのセレクタ部３ｂとは
別要素として表示しているが、図１１と同様に３ｂはそ
のセレクタ部分を表していてフォーマット判定部２５内
にある。本発明を実施の形態２の画像符号化装置に適用
する場合には、フォーマットの選択を行う単位における
色差成分のフレーム間におけるアクティビティを基準に
用いることも可能である。なお、本実施の形態では色差
成分によるフォーマット判定部２５への入力として、入
力画像信号１０１の色差信号分を用いた例を説明した
が、後の実施の形態の他の基準入力のように量子化部５
の出力である量子化インデックス１０５を用いてもよ
い。
号化装置のフォーマット切換基準の選択について説明し
たが、これは輝度成分と色差成分のサンプル密度比を切
り替えるための判断基準を与える仕組の具体例なので、
予測符号化手段を付加した形式の実施の形態２で示した
画像符号化装置においても適用できることは言うまでも
ない。この場合の構成例を図１３に示す。この図１３で
は、フォーマット判定部２５とそのセレクタ部３ｂとは
別要素として表示しているが、図１１と同様に３ｂはそ
のセレクタ部分を表していてフォーマット判定部２５内
にある。本発明を実施の形態２の画像符号化装置に適用
する場合には、フォーマットの選択を行う単位における
色差成分のフレーム間におけるアクティビティを基準に
用いることも可能である。なお、本実施の形態では色差
成分によるフォーマット判定部２５への入力として、入
力画像信号１０１の色差信号分を用いた例を説明した
が、後の実施の形態の他の基準入力のように量子化部５
の出力である量子化インデックス１０５を用いてもよ
い。
【００４８】実施の形態６．図１４は局所的フォーマッ
ト変換で、どのフォーマット変換を選択するかを切り替
える他の具体的な基準を用いた予測符号化手段付の符号
化装置の構成図である。図において、新規な要素は２６
の動きによるフォーマット判定部であり、図１の判定部
３の入力信号を特定したものである。また、判定部分と
セレクタ部分３ｂを別枠表示したのは図１３と同様であ
る。上記以外は既に説明された番号のものと同等であ
る。
ト変換で、どのフォーマット変換を選択するかを切り替
える他の具体的な基準を用いた予測符号化手段付の符号
化装置の構成図である。図において、新規な要素は２６
の動きによるフォーマット判定部であり、図１の判定部
３の入力信号を特定したものである。また、判定部分と
セレクタ部分３ｂを別枠表示したのは図１３と同様であ
る。上記以外は既に説明された番号のものと同等であ
る。
【００４９】次に動作について説明する。本実施の形態
で説明するのは、局所的フォーマット変換の選択基準を
得る他の仕組である。今、フォーマットを選択する範囲
はブロックもしくは複数のブロックをまとめたある単位
とする。この本実施の形態では、同単位における動き補
償予測のための動きベクトル１２６に基づいてフォーマ
ットを選択する。例えば、色雑音が顕著に検知され得る
のは、フレーム間で動きがあり、情報量が大きく発生す
るところで圧縮を行わねばならない部分である。このこ
とを利用すれば、動きベクトルの値に基づいて色雑音の
目立ちやすくなるような箇所を判断して、色差成分のサ
ンプル密度の高いフォーマットを選択すれことができ
る。また、動きベクトルは元々符号化情報の一部として
復号側に与えるべき情報であるため、改めてフォーマッ
ト選択情報を復号側に与える必要はなくなるという利点
もある。また実施の形態５と同様に、フォーマット変換
の有無、さらにどのフォーマットに変換するかは、輝度
成分の値の閾値との大小判定により行う。
で説明するのは、局所的フォーマット変換の選択基準を
得る他の仕組である。今、フォーマットを選択する範囲
はブロックもしくは複数のブロックをまとめたある単位
とする。この本実施の形態では、同単位における動き補
償予測のための動きベクトル１２６に基づいてフォーマ
ットを選択する。例えば、色雑音が顕著に検知され得る
のは、フレーム間で動きがあり、情報量が大きく発生す
るところで圧縮を行わねばならない部分である。このこ
とを利用すれば、動きベクトルの値に基づいて色雑音の
目立ちやすくなるような箇所を判断して、色差成分のサ
ンプル密度の高いフォーマットを選択すれことができ
る。また、動きベクトルは元々符号化情報の一部として
復号側に与えるべき情報であるため、改めてフォーマッ
ト選択情報を復号側に与える必要はなくなるという利点
もある。また実施の形態５と同様に、フォーマット変換
の有無、さらにどのフォーマットに変換するかは、輝度
成分の値の閾値との大小判定により行う。
【００５０】上記動きによるフォーマット判定部２６の
構成例を具体的に示したのが、図１５である。図中、動
きベクトル１２６を入力した動きベクトル絶対値算出器
３８では、動きベクトルの絶対値、すなわち水平成分と
垂直成分のそれぞれの絶対値和を算出する。フォーマッ
ト決定部３９では、得られた動きベクトルの絶対値１３
９の値を、例えば予め定められた閾値と比較することで
動きの激しさを判定して、局所的フォーマット変換を用
いるかどうか決定し、フォーマット切り替え情報１０６
を出力する。また上記説明では動きベクトルの絶対値を
用いたが、動きベクトルの水平・垂直成分の２乗和でも
有効であることに変わりはない。
構成例を具体的に示したのが、図１５である。図中、動
きベクトル１２６を入力した動きベクトル絶対値算出器
３８では、動きベクトルの絶対値、すなわち水平成分と
垂直成分のそれぞれの絶対値和を算出する。フォーマッ
ト決定部３９では、得られた動きベクトルの絶対値１３
９の値を、例えば予め定められた閾値と比較することで
動きの激しさを判定して、局所的フォーマット変換を用
いるかどうか決定し、フォーマット切り替え情報１０６
を出力する。また上記説明では動きベクトルの絶対値を
用いたが、動きベクトルの水平・垂直成分の２乗和でも
有効であることに変わりはない。
【００５１】実施の形態７．図１６は実施の形態６の符
号化装置に対応する受け側の予測復号化手段を備えた画
像復号化装置の構成図である。図中の番号の各要素は既
に説明された番号のものと同等である。但し３ｂは動き
によるフォーマット判定部２６のセレクタ部分である。
号化装置に対応する受け側の予測復号化手段を備えた画
像復号化装置の構成図である。図中の番号の各要素は既
に説明された番号のものと同等である。但し３ｂは動き
によるフォーマット判定部２６のセレクタ部分である。
【００５２】次に動作について説明する。まず入力の符
号化されたビットストリーム１０７は、バッファ９に蓄
積される。バッファ９内のデータは読み出され、可変長
復号化部１０で可変長復号が行われる。この過程でＤＣ
Ｔ係数の情報１０９、動きベクトルの情報１２６等が復
号・分離される。復号された８×８の量子化ＤＣＴ係数
１０９は逆量子化部１１でＤＣＴ係数１１０に復元さ
れ、逆ＤＣＴ部１２により画素空間データ１１８に変換
される。動き補償予測が行われている際は参照画面から
の動き補償予測によって生成される動き補償予測画像デ
ータ１１７との加算によって画像が復号され、復号画像
１２０は必要に応じてその後の復号処理で参照画面とし
て用いるためにフレームメモリに蓄積されるのが基本で
ある。
号化されたビットストリーム１０７は、バッファ９に蓄
積される。バッファ９内のデータは読み出され、可変長
復号化部１０で可変長復号が行われる。この過程でＤＣ
Ｔ係数の情報１０９、動きベクトルの情報１２６等が復
号・分離される。復号された８×８の量子化ＤＣＴ係数
１０９は逆量子化部１１でＤＣＴ係数１１０に復元さ
れ、逆ＤＣＴ部１２により画素空間データ１１８に変換
される。動き補償予測が行われている際は参照画面から
の動き補償予測によって生成される動き補償予測画像デ
ータ１１７との加算によって画像が復号され、復号画像
１２０は必要に応じてその後の復号処理で参照画面とし
て用いるためにフレームメモリに蓄積されるのが基本で
ある。
【００５３】復号された差分画素空間データ１１８と、
参照画面から動き予測によって生成される動き補償予測
画像データ１１７との加算を行う際に必要なフォーマッ
トの一致のため、フレームメモリ１８から読み出された
動き補償予測画像データに対して、第３の局所的フォー
マット変換２２とセレクタ２３を用いる。この局所的フ
ォーマット変換のセレクタによる選択には、先に分離し
た動きベクトル情報１２６を入力とする動きによるフォ
ーマット判定部２６で得られるフォーマット情報１０６
が用いられる。実は、動きベクトル情報は動き補償を行
う場合は、必らず伝送されるものであり、従って符号化
装置側から対応する選択情報１２７は伝送は必要なく、
伝送ビットを減らすことができる。復号画像として出力
する前に、選択されたフォーマットを示す情報１０６に
従って、画面のフォーマットを均一にするための局所的
フォーマット変換部１３出力を動きによるフォーマット
判定部２６のセレクタ部分３ｂによって動的に切り替え
ながら行い、復号画像１１４を得る。復号画像をフレー
ムメモリ１８に蓄積する際にも、フォーマットを統一す
るために、第２の局所的フォーマット変換部２０とセレ
クタ２１により局所的フォーマット変換を行う。
参照画面から動き予測によって生成される動き補償予測
画像データ１１７との加算を行う際に必要なフォーマッ
トの一致のため、フレームメモリ１８から読み出された
動き補償予測画像データに対して、第３の局所的フォー
マット変換２２とセレクタ２３を用いる。この局所的フ
ォーマット変換のセレクタによる選択には、先に分離し
た動きベクトル情報１２６を入力とする動きによるフォ
ーマット判定部２６で得られるフォーマット情報１０６
が用いられる。実は、動きベクトル情報は動き補償を行
う場合は、必らず伝送されるものであり、従って符号化
装置側から対応する選択情報１２７は伝送は必要なく、
伝送ビットを減らすことができる。復号画像として出力
する前に、選択されたフォーマットを示す情報１０６に
従って、画面のフォーマットを均一にするための局所的
フォーマット変換部１３出力を動きによるフォーマット
判定部２６のセレクタ部分３ｂによって動的に切り替え
ながら行い、復号画像１１４を得る。復号画像をフレー
ムメモリ１８に蓄積する際にも、フォーマットを統一す
るために、第２の局所的フォーマット変換部２０とセレ
クタ２１により局所的フォーマット変換を行う。
【００５４】実施の形態８．図１７は局所的フォーマッ
ト変換で、どのフォーマット変換を選択するかを切り替
える基準として、更に他の具体例を記載した基本的な画
像符号化装置の構成図である。図において、新規な要素
は２７の輝度成分によるフォーマット判定部であり、図
１の判定部３の入力信号を特定したものである。また判
定部分とセレクタ部分とを別枠表示したのは図１３と同
様である。またその具体構成例は図１２の色差信号の場
合と同様である。上記以外の要素は既に説明された番号
のものと同等である。
ト変換で、どのフォーマット変換を選択するかを切り替
える基準として、更に他の具体例を記載した基本的な画
像符号化装置の構成図である。図において、新規な要素
は２７の輝度成分によるフォーマット判定部であり、図
１の判定部３の入力信号を特定したものである。また判
定部分とセレクタ部分とを別枠表示したのは図１３と同
様である。またその具体構成例は図１２の色差信号の場
合と同様である。上記以外の要素は既に説明された番号
のものと同等である。
【００５５】次に動作について説明する。フォーマット
選択の範囲も、他の実施の形態と同様に、ブロックまた
は複数ブロックを単位とする。本実施の形態では、同単
位に含まれる画像データの輝度成分に基づいて、局所的
フォーマット変換出力を用いるかどうかを輝度成分によ
るフォーマット判定部２７で選択する。例えば、色雑音
が顕著に検知され得るのは、輝度が高い、すなわち明る
い部分である。暗い部分では色に対する感度が低下する
ために色雑音は目立ちにくい。このことを利用すれば、
例えば図１２同等の構成回路により、色雑音の目立ちや
すくなるような箇所において、色差成分のサンプル密度
の高いフォーマットを選択すれことができる。また、輝
度成分のサンプル密度を一定にして色差成分のサンプル
密度を可変にしておけば、輝度成分はフォーマット選択
の情報によらず復号側において復号可能であるため、復
号側でも輝度成分を基に同一アルゴリズムでフォーマッ
ト選択を行うことができる。このため、改めてフォーマ
ット選択情報を復号側に与える必要はなくなる。また、
実施の形態５で述べた様にフォーマット変換の有無、さ
らにどのフォーマットに変換するかは、輝度成分値の閾
値との大小判定により行う。
選択の範囲も、他の実施の形態と同様に、ブロックまた
は複数ブロックを単位とする。本実施の形態では、同単
位に含まれる画像データの輝度成分に基づいて、局所的
フォーマット変換出力を用いるかどうかを輝度成分によ
るフォーマット判定部２７で選択する。例えば、色雑音
が顕著に検知され得るのは、輝度が高い、すなわち明る
い部分である。暗い部分では色に対する感度が低下する
ために色雑音は目立ちにくい。このことを利用すれば、
例えば図１２同等の構成回路により、色雑音の目立ちや
すくなるような箇所において、色差成分のサンプル密度
の高いフォーマットを選択すれことができる。また、輝
度成分のサンプル密度を一定にして色差成分のサンプル
密度を可変にしておけば、輝度成分はフォーマット選択
の情報によらず復号側において復号可能であるため、復
号側でも輝度成分を基に同一アルゴリズムでフォーマッ
ト選択を行うことができる。このため、改めてフォーマ
ット選択情報を復号側に与える必要はなくなる。また、
実施の形態５で述べた様にフォーマット変換の有無、さ
らにどのフォーマットに変換するかは、輝度成分値の閾
値との大小判定により行う。
【００５６】本実施の形態では実施の形態１相当の基本
的な構成の符号化装置におけるフォーマット切換基準を
与える他の場合を説明したが、基本的に輝度成分と色差
成分のサンプル密度比を切り替えるための判断基準を与
える具体例なので、予測符号化手段を付加した形式であ
る実施の形態２の画像符号化装置においても適用できる
ことは言うまでもない。この場合の構成例を図１８に示
す。フォーマット判定部分２７とそのセレクタ部分３ｂ
との分離表示も図１７と同様である。また、予測帰還ル
ープのある図１８の場合には、フォーマットの選択を行
う単位における輝度成分のフレーム間におけるアクティ
ビティを、局部的フォーマット変換の出力を選択するか
否かの選択基準に用いることも可能である。上記、輝度
成分によるフォーマット判定部２７の構成としては、量
子化された輝度値１０５の大小判定を行う部分をフォー
マット判定部２７の中に持たせ、その結果に基いてセレ
クタ部分３ｂで出力を選択し、判定を行った結果のフォ
ーマット切り替え情報（選択情報）１０６を出力する構
成とすればよい。なお、本実施の形態では輝度成分によ
るフォーマット判定部２７への入力を量子化部５の出力
である量子化インデックスである輝度値１０５を用いた
が、先の実施の形態の色差成分によるとそれと同様に入
力画像信号１０１の輝度信号分を用いてもよい。
的な構成の符号化装置におけるフォーマット切換基準を
与える他の場合を説明したが、基本的に輝度成分と色差
成分のサンプル密度比を切り替えるための判断基準を与
える具体例なので、予測符号化手段を付加した形式であ
る実施の形態２の画像符号化装置においても適用できる
ことは言うまでもない。この場合の構成例を図１８に示
す。フォーマット判定部分２７とそのセレクタ部分３ｂ
との分離表示も図１７と同様である。また、予測帰還ル
ープのある図１８の場合には、フォーマットの選択を行
う単位における輝度成分のフレーム間におけるアクティ
ビティを、局部的フォーマット変換の出力を選択するか
否かの選択基準に用いることも可能である。上記、輝度
成分によるフォーマット判定部２７の構成としては、量
子化された輝度値１０５の大小判定を行う部分をフォー
マット判定部２７の中に持たせ、その結果に基いてセレ
クタ部分３ｂで出力を選択し、判定を行った結果のフォ
ーマット切り替え情報（選択情報）１０６を出力する構
成とすればよい。なお、本実施の形態では輝度成分によ
るフォーマット判定部２７への入力を量子化部５の出力
である量子化インデックスである輝度値１０５を用いた
が、先の実施の形態の色差成分によるとそれと同様に入
力画像信号１０１の輝度信号分を用いてもよい。
【００５７】実施の形態９．図１９は実施の形態８の予
測符号化手段付の画像符号化装置に対応する受け側の予
測符号化手段付の画像復号化装置の構成図である。図中
の番号は既に説明された番号のものと同等である。次に
動作について説明する。まずバッファ９内で蓄積された
符号化ビットストリーム１０７は読み出され、可変長復
号が行われる。この過程でＤＣＴ係数の情報１０９、動
きベクトルの情報１２６等が復号・分離される。復号さ
れた８×８の量子化ＤＣＴ係数１０９は逆量子化されて
ＤＣＴ係数１１０に復元され、逆ＤＣＴ化により画素空
間データ１１８に変換される。これに、動き補償予測が
行われている際は動き補償予測画像データ１１７と加算
されて画像が復号され、復号画像１２０は必要に応じて
フレームメモリ１８に蓄積されるのが基本である。
測符号化手段付の画像符号化装置に対応する受け側の予
測符号化手段付の画像復号化装置の構成図である。図中
の番号は既に説明された番号のものと同等である。次に
動作について説明する。まずバッファ９内で蓄積された
符号化ビットストリーム１０７は読み出され、可変長復
号が行われる。この過程でＤＣＴ係数の情報１０９、動
きベクトルの情報１２６等が復号・分離される。復号さ
れた８×８の量子化ＤＣＴ係数１０９は逆量子化されて
ＤＣＴ係数１１０に復元され、逆ＤＣＴ化により画素空
間データ１１８に変換される。これに、動き補償予測が
行われている際は動き補償予測画像データ１１７と加算
されて画像が復号され、復号画像１２０は必要に応じて
フレームメモリ１８に蓄積されるのが基本である。
【００５８】復号された差分画素空間データ１１８と、
参照画面から動き予測によって生成される動き補償予測
画像データ１１７との加算を行う際に必要なフォーマッ
トの一致のため、先の実施の形態で述べたように、フレ
ームメモリ１８から読み出された動き補償予測画像デー
タに対して、第３の局所的フォーマット変換部２２とセ
レクタ２３を用いる。この局所的フォーマット変換のセ
レクタによる選択には、輝度成分の量子化値１０９を用
いる。例えば、色雑音が顕著に検知され得るのは、輝度
が高い、すなわち明るい部分である。暗い部分では色に
対する感度が定価低下するために色雑音は目立ちにく
い。符号化側と同一のアルゴリズムによってフォーマッ
トを選択するものとすれば、フォーマット選択情報は不
要である。復号画像として出力する前に、選択されたフ
ォーマットを示す情報１０６に従って、画面のフォーマ
ットを均一にするための局所的フォーマット変換部１３
出力をフォーマット判定部２７のセレクタ部分３ｂによ
って動的に切り替えながら行い、復号画像１１４を得
る。復号画像をフレームメモリ１８に蓄積する際にも、
フォーマットを統一するために、第２の局所的フォーマ
ット変換部２０とセレクタ２１により局所的フォーマッ
ト変換を行う。
参照画面から動き予測によって生成される動き補償予測
画像データ１１７との加算を行う際に必要なフォーマッ
トの一致のため、先の実施の形態で述べたように、フレ
ームメモリ１８から読み出された動き補償予測画像デー
タに対して、第３の局所的フォーマット変換部２２とセ
レクタ２３を用いる。この局所的フォーマット変換のセ
レクタによる選択には、輝度成分の量子化値１０９を用
いる。例えば、色雑音が顕著に検知され得るのは、輝度
が高い、すなわち明るい部分である。暗い部分では色に
対する感度が定価低下するために色雑音は目立ちにく
い。符号化側と同一のアルゴリズムによってフォーマッ
トを選択するものとすれば、フォーマット選択情報は不
要である。復号画像として出力する前に、選択されたフ
ォーマットを示す情報１０６に従って、画面のフォーマ
ットを均一にするための局所的フォーマット変換部１３
出力をフォーマット判定部２７のセレクタ部分３ｂによ
って動的に切り替えながら行い、復号画像１１４を得
る。復号画像をフレームメモリ１８に蓄積する際にも、
フォーマットを統一するために、第２の局所的フォーマ
ット変換部２０とセレクタ２１により局所的フォーマッ
ト変換を行う。
【００５９】実施の形態１０．図２０は局所的フォーマ
ット変換で、どのフォーマット変換を選択するかを切り
替える他の具体的な基準を用いた画像符号化装置の構成
図である。図において、新規な要素は４０の予測誤差に
よるフォーマット判定部であり、図１の判定部３の入力
信号を特定したものである。また判定部分４０とセレク
タ部分３ｂとを別枠表示したのは、図１３と同様であ
る。上記以外の要素は既に説明された番号のものと同等
である。
ット変換で、どのフォーマット変換を選択するかを切り
替える他の具体的な基準を用いた画像符号化装置の構成
図である。図において、新規な要素は４０の予測誤差に
よるフォーマット判定部であり、図１の判定部３の入力
信号を特定したものである。また判定部分４０とセレク
タ部分３ｂとを別枠表示したのは、図１３と同様であ
る。上記以外の要素は既に説明された番号のものと同等
である。
【００６０】次に動作について説明する。なお、局部的
フォーマット変換の出力を選択するか否かの切り替えの
基準を与える部分以外の動作は重複を避けて説明を省略
する。本実施の形態の構成では、フォーマット選択情報
１０６を復号側に与える必要がない。図２０において、
フォーマット変換の選択単位における動き補償予測後の
予測誤差データ１１７に基づいてフォーマットを選択す
る。例えば、色雑音が顕著に検知され得るのは、予測誤
差のエネルギーが大きい時に頻繁に起こる。図２０の構
成で、予測誤差値によるフォーマット判定を設定しきい
値と比較して、そのしきい値より大きいことで予測誤差
のエネルギーが大きいことが判る。従って、この時に限
り色差成分のサンプル数を増やし、それ以外の場合には
減らすことが効率的である。また、上記の説明では、フ
ォーマット判定部４０は、予測誤差データ１１７を入力
してフォーマットの判定を行う構成としていたが、量子
化部５の出力である量子化インデックス１０５を入力し
てフォーマットの判定を行う構成としてもよい。また、
実施の形態５において述べた様に、上記予測誤差値と閾
値との大小判定によりフォーマット変換を行うか、さら
にどのフォーマットに変換するかを決定する構成とす
る。
フォーマット変換の出力を選択するか否かの切り替えの
基準を与える部分以外の動作は重複を避けて説明を省略
する。本実施の形態の構成では、フォーマット選択情報
１０６を復号側に与える必要がない。図２０において、
フォーマット変換の選択単位における動き補償予測後の
予測誤差データ１１７に基づいてフォーマットを選択す
る。例えば、色雑音が顕著に検知され得るのは、予測誤
差のエネルギーが大きい時に頻繁に起こる。図２０の構
成で、予測誤差値によるフォーマット判定を設定しきい
値と比較して、そのしきい値より大きいことで予測誤差
のエネルギーが大きいことが判る。従って、この時に限
り色差成分のサンプル数を増やし、それ以外の場合には
減らすことが効率的である。また、上記の説明では、フ
ォーマット判定部４０は、予測誤差データ１１７を入力
してフォーマットの判定を行う構成としていたが、量子
化部５の出力である量子化インデックス１０５を入力し
てフォーマットの判定を行う構成としてもよい。また、
実施の形態５において述べた様に、上記予測誤差値と閾
値との大小判定によりフォーマット変換を行うか、さら
にどのフォーマットに変換するかを決定する構成とす
る。
【００６１】実施の形態１１．図２１は実施の形態１０
の符号化装置に呼応する、受け側の画像復号化装置の構
成図である。図中の番号は既に説明された番号のものと
同等である。なお、切り替えの基準に関する部分以外の
動作は重複を避けて説明を省略する。バッファ９内の符
号化ビットストリーム１０７が読み出され、可変長復号
が行われる。この過程でＤＣＴ係数の情報１０９、動き
ベクトルの情報１２６等が復号・分離される。復号され
た差分画素空間データ１１８と、動き補償予測画像デー
タ１１７との加算を行う際に必要なフォーマットの一致
のため、既に述べたようにフレームメモリ１８から読み
出された動き補償予測画像データに対して、第３の局所
的フォーマット変換部２２とセレクタ２３を用いる。こ
の局所的フォーマット変換のセレクタによる選択には、
先に分離した動きベクトル情報１２６を入力とする予測
誤差値によるフォーマット判定部４０からの出力情報を
用いる。
の符号化装置に呼応する、受け側の画像復号化装置の構
成図である。図中の番号は既に説明された番号のものと
同等である。なお、切り替えの基準に関する部分以外の
動作は重複を避けて説明を省略する。バッファ９内の符
号化ビットストリーム１０７が読み出され、可変長復号
が行われる。この過程でＤＣＴ係数の情報１０９、動き
ベクトルの情報１２６等が復号・分離される。復号され
た差分画素空間データ１１８と、動き補償予測画像デー
タ１１７との加算を行う際に必要なフォーマットの一致
のため、既に述べたようにフレームメモリ１８から読み
出された動き補償予測画像データに対して、第３の局所
的フォーマット変換部２２とセレクタ２３を用いる。こ
の局所的フォーマット変換のセレクタによる選択には、
先に分離した動きベクトル情報１２６を入力とする予測
誤差値によるフォーマット判定部４０からの出力情報を
用いる。
【００６２】実施の形態１２．図２２は局所的フォーマ
ット変換で、どのフォーマット変換を選択するかを切り
替える他の具体的な基準を用いた画像符号化装置の構成
図である。図において、新規な要素は４１の量子化ステ
ップサイズによるフォーマット判定部であり、図１の判
定部３の入力信号を特定したものである。また判定部分
４１とセレクタ部分３ｂを別枠表示したのは、図１３と
同様である。上記以外は既に説明された番号のものと同
等である。
ット変換で、どのフォーマット変換を選択するかを切り
替える他の具体的な基準を用いた画像符号化装置の構成
図である。図において、新規な要素は４１の量子化ステ
ップサイズによるフォーマット判定部であり、図１の判
定部３の入力信号を特定したものである。また判定部分
４１とセレクタ部分３ｂを別枠表示したのは、図１３と
同様である。上記以外は既に説明された番号のものと同
等である。
【００６３】次に動作について説明する。本実施の形態
の構成によっても、フォーマット選択情報を復号側に与
える必要がない。また、切り替えの基準に関する部分以
外の動作説明は省略する。本実施の形態では、符号化係
数または符号化画像を量子化する量子化ステップサイズ
１４０に基づいてフォーマットを選択する。これは、レ
ート制御部８の出力である量子化ステップサイズ１４０
が大きい時に画像の劣化が顕著になることを利用し、量
子化ステップサイズ１４０が大きい時に色差成分のサン
プル密度の高いフォーマットに設定し、逆に量子化ステ
ップサイズ１４０が小さい時には該色差成分のサンプル
密度を低く設定することが効果的である。即ち、図２２
の構成で量子化ステップサイズによるフォーマット判定
４１は設定閾値と比較して、セレクタ部分３の選択をす
る。ここで、フォーマット変換の有無、さらにどのフォ
ーマットに変換するかは、実施の形態５と同様にして上
記量子化ステップサイズと閾値との大小判定により行
う。
の構成によっても、フォーマット選択情報を復号側に与
える必要がない。また、切り替えの基準に関する部分以
外の動作説明は省略する。本実施の形態では、符号化係
数または符号化画像を量子化する量子化ステップサイズ
１４０に基づいてフォーマットを選択する。これは、レ
ート制御部８の出力である量子化ステップサイズ１４０
が大きい時に画像の劣化が顕著になることを利用し、量
子化ステップサイズ１４０が大きい時に色差成分のサン
プル密度の高いフォーマットに設定し、逆に量子化ステ
ップサイズ１４０が小さい時には該色差成分のサンプル
密度を低く設定することが効果的である。即ち、図２２
の構成で量子化ステップサイズによるフォーマット判定
４１は設定閾値と比較して、セレクタ部分３の選択をす
る。ここで、フォーマット変換の有無、さらにどのフォ
ーマットに変換するかは、実施の形態５と同様にして上
記量子化ステップサイズと閾値との大小判定により行
う。
【００６４】量子化ステップサイズ１４０はフォーマッ
ト選択の情報によらず復号側において復号可能であるた
め、復号側でも輝度成分を基に同一アルゴリズムでフォ
ーマット選択を行うことができる。このため、改めてフ
ォーマット選択情報を復号側に与える必要はなくなる。
本実施の形態では、予測符号化手段のない基本的画像符
号化装置で説明したが、量子化ステップサイズによるフ
ォーマット判定は、輝度成分と色差成分のサンプル密度
比を切り替えるための判断基準を与えるためのものなの
で、予測符号化手段を備えた画像符号化装置においても
適用できることは言うまでもない。この時の構成例を図
２３に示す。
ト選択の情報によらず復号側において復号可能であるた
め、復号側でも輝度成分を基に同一アルゴリズムでフォ
ーマット選択を行うことができる。このため、改めてフ
ォーマット選択情報を復号側に与える必要はなくなる。
本実施の形態では、予測符号化手段のない基本的画像符
号化装置で説明したが、量子化ステップサイズによるフ
ォーマット判定は、輝度成分と色差成分のサンプル密度
比を切り替えるための判断基準を与えるためのものなの
で、予測符号化手段を備えた画像符号化装置においても
適用できることは言うまでもない。この時の構成例を図
２３に示す。
【００６５】実施の形態１３．図２４は実施の形態１２
の予測符号化手段付画像符号化装置に呼応する、受け側
の予測復号化手段付の画像復号化装置の構成図である。
図中の番号は既に説明された番号のものと同等である。
次に動作について説明する。同図の中で、復号された差
分画素空間データ１１８と、動き予測によって生成され
る動き補償予測画像データ１１７との加算を行う際に必
要なフォーマットの一致のため、既述のように、フレー
ムメモリ１８から読み出された動き補償予測画像データ
に対して、第３の局所的フォーマット変換部２２とセレ
クタ２３を用いる。この局所的フォーマット変換のセレ
クタによる選択には、可変長復号化の過程で得られる分
離された信号の量子化値ステップサイズ１４０を用い
る。復号画像として出力する前に、選択されたフォーマ
ットを示す情報１０６に従って、画面のフォーマットを
均一にするための局所的フォーマット変換１３をフォー
マット判定部４１のセレクタ部分３ｂによって動的に切
り替えながら行い、復号画像１１４を得る。復号画像を
フレームメモリ１８に蓄積する際にも、第２の局所的フ
ォーマット変換部２０とセレクタ２１により局所的フォ
ーマット変換を行う。
の予測符号化手段付画像符号化装置に呼応する、受け側
の予測復号化手段付の画像復号化装置の構成図である。
図中の番号は既に説明された番号のものと同等である。
次に動作について説明する。同図の中で、復号された差
分画素空間データ１１８と、動き予測によって生成され
る動き補償予測画像データ１１７との加算を行う際に必
要なフォーマットの一致のため、既述のように、フレー
ムメモリ１８から読み出された動き補償予測画像データ
に対して、第３の局所的フォーマット変換部２２とセレ
クタ２３を用いる。この局所的フォーマット変換のセレ
クタによる選択には、可変長復号化の過程で得られる分
離された信号の量子化値ステップサイズ１４０を用い
る。復号画像として出力する前に、選択されたフォーマ
ットを示す情報１０６に従って、画面のフォーマットを
均一にするための局所的フォーマット変換１３をフォー
マット判定部４１のセレクタ部分３ｂによって動的に切
り替えながら行い、復号画像１１４を得る。復号画像を
フレームメモリ１８に蓄積する際にも、第２の局所的フ
ォーマット変換部２０とセレクタ２１により局所的フォ
ーマット変換を行う。
【００６６】なお、上記各実施の形態では局所的フォー
マット変換で、複数フォーマット変換の出力を選択する
かしないかを判定部で行うための信号として、単一の成
分、例えば色差成分等を用いた場合を説明した。しか
し、勿論判定入力として、単一成分ではなくて複数の成
分を入力とし、加重加算した信号を用いたり、各成分の
選択後の結果の論理演算結果で最終的な選択出力情報１
０６を与えるようにしてもよい。また、上記説明した画
像符号化装置と、画像復号化装置は組にして伝送路を介
して、または記録媒体等を介して画像符号化・復号化シ
ステムを構成する。
マット変換で、複数フォーマット変換の出力を選択する
かしないかを判定部で行うための信号として、単一の成
分、例えば色差成分等を用いた場合を説明した。しか
し、勿論判定入力として、単一成分ではなくて複数の成
分を入力とし、加重加算した信号を用いたり、各成分の
選択後の結果の論理演算結果で最終的な選択出力情報１
０６を与えるようにしてもよい。また、上記説明した画
像符号化装置と、画像復号化装置は組にして伝送路を介
して、または記録媒体等を介して画像符号化・復号化シ
ステムを構成する。
【００６７】
【発明の効果】以上のようにこの発明によれば、符号化
装置において、複数フォーマット変換部と各種の画像状
態判定部を備えて、所定の画像データの状態変化を検出
してフォーマットを選択するようにしたので、色差成分
のサンプル数を大幅に増やさないで色雑音を低減する効
果がある。
装置において、複数フォーマット変換部と各種の画像状
態判定部を備えて、所定の画像データの状態変化を検出
してフォーマットを選択するようにしたので、色差成分
のサンプル数を大幅に増やさないで色雑音を低減する効
果がある。
【００６８】また、復号化装置においても、複数フォー
マット変換部を備えて復号化過程で得られる値によりフ
ォーマットを選択するようにしたので、色雑音が低減さ
れた復号画像が得られる効果がある。
マット変換部を備えて復号化過程で得られる値によりフ
ォーマットを選択するようにしたので、色雑音が低減さ
れた復号画像が得られる効果がある。
【００６９】また符号化装置において、色差信号、輝度
信号、動きベクトルの値、画像データと動き補償後予測
信号との予測誤差値、量子化ステップサイズを設定値と
比較してフォーマット変換を切り換えるようにしたの
で、色雑音の目立ちやすい部分で色差成分のサンプル密
度を上げ、場合によっては復号側に選択情報を送らない
でよく、色雑音を低減して、場合によっては符号化効率
が高まる効果がある。
信号、動きベクトルの値、画像データと動き補償後予測
信号との予測誤差値、量子化ステップサイズを設定値と
比較してフォーマット変換を切り換えるようにしたの
で、色雑音の目立ちやすい部分で色差成分のサンプル密
度を上げ、場合によっては復号側に選択情報を送らない
でよく、色雑音を低減して、場合によっては符号化効率
が高まる効果がある。
【００７０】また復号化装置においても、符号化側と対
応した構成としたので、色雑音の低減がなされ、場合に
よっては高い符号化効率による一層の低減が得られる効
果がある。
応した構成としたので、色雑音の低減がなされ、場合に
よっては高い符号化効率による一層の低減が得られる効
果がある。
【図１】 本発明の実施の形態１における基本的な画像
符号化装置の構成ブロック図である。
符号化装置の構成ブロック図である。
【図２】 ８Ｘ８ブロックの輝度成分と色差成分のサン
プルのフォーマットを示す図である。
プルのフォーマットを示す図である。
【図３】 図１における局所的フォーマット変換部の構
成例を示す図である。
成例を示す図である。
【図４】 図１における局所的フォーマット変換部の構
成例を示す図である。
成例を示す図である。
【図５】 図１における局所的フォーマット変換部の構
成例を示す図である。
成例を示す図である。
【図６】 図１における局所的フォーマット変換部の構
成例を示す図である。
成例を示す図である。
【図７】 本発明の実施の形態１における基本的な画像
符号化装置の他の構成ブロック図である。
符号化装置の他の構成ブロック図である。
【図８】 本発明の実施の形態２における予測符号化手
段を備えた画像符号化装置の構成ブロック図である。
段を備えた画像符号化装置の構成ブロック図である。
【図９】 本発明の実施の形態３における基本的な画像
復号化装置の構成ブロック図である。
復号化装置の構成ブロック図である。
【図１０】 本発明の実施の形態４における予測復号化
手段を備えた画像復号化装置の構成ブロック図である。
手段を備えた画像復号化装置の構成ブロック図である。
【図１１】 本発明の実施の形態５における基本的な画
像符号化装置の構成ブロック図である。
像符号化装置の構成ブロック図である。
【図１２】 図１１における色差成分によるフォーマッ
ト判定部の構成例を示す図である。
ト判定部の構成例を示す図である。
【図１３】 本発明の実施の形態５における予測符号化
手段を備えた画像符号化装置の構成ブロック図である。
手段を備えた画像符号化装置の構成ブロック図である。
【図１４】 本発明の実施の形態６における予測符号化
手段を備えた画像符号化装置の構成ブロック図である。
手段を備えた画像符号化装置の構成ブロック図である。
【図１５】 図１４における動きによるフォーマット判
定部の構成例を示す図である。
定部の構成例を示す図である。
【図１６】 本発明の実施の形態７における予測復号化
手段を備えた画像復号化装置の構成ブロック図である。
手段を備えた画像復号化装置の構成ブロック図である。
【図１７】 本発明の実施の形態８における基本的な画
像符号化装置の構成ブロック図である。
像符号化装置の構成ブロック図である。
【図１８】 本発明の実施の形態８における予測符号化
手段を備えた画像符号化装置の構成ブロック図である。
手段を備えた画像符号化装置の構成ブロック図である。
【図１９】 本発明の実施の形態９における予測復号化
手段を備えた画像復号化装置の構成ブロック図である。
手段を備えた画像復号化装置の構成ブロック図である。
【図２０】 本発明の実施の形態１０における予測符号
化手段を備えた画像符号化装置の構成ブロック図であ
る。
化手段を備えた画像符号化装置の構成ブロック図であ
る。
【図２１】 本発明の実施の形態１１における予測復号
化手段を備えた画像復号化装置の構成ブロック図であ
る。
化手段を備えた画像復号化装置の構成ブロック図であ
る。
【図２２】 本発明の実施の形態１２における基本的な
画像符号化装置の構成ブロック図である。
画像符号化装置の構成ブロック図である。
【図２３】 本発明の実施の形態１２における予測符号
化手段を備えた画像符号化装置の構成ブロック図であ
る。
化手段を備えた画像符号化装置の構成ブロック図であ
る。
【図２４】 本発明の実施の形態１３における予測復号
化手段を備えた画像復号化装置の構成ブロック図であ
る。
化手段を備えた画像復号化装置の構成ブロック図であ
る。
【図２５】 ビデオ圧縮の画像符号化方式における画像
フォーマットの説明図である。
フォーマットの説明図である。
【図２６】 従来の画像符号化器の構成ブロック図であ
る。
る。
【図２７】 従来の画像復号化器の構成ブロック図であ
る。
る。
１ Ａ／Ｄ変換部、２ 局所的フォーマット変換部、
３、３ａ （画像状態）判定部、４ ＤＣＴ部、５ 量
子化部、６ 可変長符号化部、７ 送信バッファ、８
レート制御部、９ 受信バッファ、１０ 可変長復号化
部、１１ 逆量子化部、１２ 逆ＤＣＴ部、１３ 局所
的フォーマット変換部、１４ Ｄ／Ａ変換部、１５ 減
算器、１６ セレクタ、１７ 加算器、１８ フレーム
メモリ、１９ 動き補償ベクトル推定および動き補償予
測部、２０ 第２の局所的フォーマット変換部、２１
セレクタ、２２ 第３の局所的フォーマット変換部、２
３セレクタ、２４ 動き補償予測部、２５ 色差成分に
よるフォーマット判定部、２６ 動きによるフォーマッ
ト判定部、２７ 輝度成分によるフォーマット判定部、
３０ フォーマット判定部、３１ 輝度・色差信号分離
器、３２ 色差信号ダウンサンプリング器、３３ 色差
信号アップサンプリング器、３４ 輝度・色差信号多重
器、３５ 色差平均値検出器、３６ 色差分散値算出
器、３７ フォーマット決定部、３８ 動きベクトル絶
対値算出器、３９ フォーマット決定器、Ｓ４ 予測誤
差によるフォーマット判定部、４１ 量子化ステップサ
イズによるフォーマット判定部、１０１ ディジタル化
された画像データ、１０２ 局所的にフォーマット変換
された画像データ、１０３ 動的にフォーマットが切り
替わっている画像データ、１０４ ＤＣＴ変換係数、１
０５ ＤＣＴ変換係数の量子化インデックス、１０６
フォーマットの切り替え情報、１０７ 符号化ビットス
トリーム、１０８ 情報発生量を示す信号、１０９ 可
変長復号された変換係数の量子化インデックス、１１０
逆量子化された変換係数、１１１ 逆ＤＣＴによって
得られた画素空間領域のデータ、１１２ 局所的にフォ
ーマット変換された画素空間領域のデータ、１１３ フ
ォーマットの切り替え情報、１１４復号画像データ、１
１５ 再生画像信号、１１６ 動的にフォーマットが切
り替わっている画像データ、１１７ 予測誤差データ、
１１８ 逆ＤＣＴによって得られた画素空間領域の差分
画像データ、１１９ 動き補償予測データ、１２０復号
画像データ、１２１ 局所的にフォーマット変換された
復号画像データ、１２２ フォーマットを統一された復
号画像データ、１２３ 動き補償予測のためにフレーム
メモリから読み出された画像データ、１２４ 局所的に
フォーマット変換された画像データ、１２５ 予測信
号、１２６ 動きベクトル情報、１２７フォーマットの
切り替え情報、１２８ 局所的にフォーマット変換され
た復号画像データ、１３０ 局所的フォーマットの切り
替え信号、１３１ 多重化された輝度・色差信号入力、
１３２ 分離された輝度信号、１３３ 分離された色差
信号、１３４ フォーマット変換された色差信号、１３
５ 多重化された輝度・色差信号出力、１３６ 分離さ
れた色差信号、１３７ 色差平均値、１３８ 色差分散
値、１３９ 動きベクトル絶対値、１４０ 量子化ステ
ップサイズ。
３、３ａ （画像状態）判定部、４ ＤＣＴ部、５ 量
子化部、６ 可変長符号化部、７ 送信バッファ、８
レート制御部、９ 受信バッファ、１０ 可変長復号化
部、１１ 逆量子化部、１２ 逆ＤＣＴ部、１３ 局所
的フォーマット変換部、１４ Ｄ／Ａ変換部、１５ 減
算器、１６ セレクタ、１７ 加算器、１８ フレーム
メモリ、１９ 動き補償ベクトル推定および動き補償予
測部、２０ 第２の局所的フォーマット変換部、２１
セレクタ、２２ 第３の局所的フォーマット変換部、２
３セレクタ、２４ 動き補償予測部、２５ 色差成分に
よるフォーマット判定部、２６ 動きによるフォーマッ
ト判定部、２７ 輝度成分によるフォーマット判定部、
３０ フォーマット判定部、３１ 輝度・色差信号分離
器、３２ 色差信号ダウンサンプリング器、３３ 色差
信号アップサンプリング器、３４ 輝度・色差信号多重
器、３５ 色差平均値検出器、３６ 色差分散値算出
器、３７ フォーマット決定部、３８ 動きベクトル絶
対値算出器、３９ フォーマット決定器、Ｓ４ 予測誤
差によるフォーマット判定部、４１ 量子化ステップサ
イズによるフォーマット判定部、１０１ ディジタル化
された画像データ、１０２ 局所的にフォーマット変換
された画像データ、１０３ 動的にフォーマットが切り
替わっている画像データ、１０４ ＤＣＴ変換係数、１
０５ ＤＣＴ変換係数の量子化インデックス、１０６
フォーマットの切り替え情報、１０７ 符号化ビットス
トリーム、１０８ 情報発生量を示す信号、１０９ 可
変長復号された変換係数の量子化インデックス、１１０
逆量子化された変換係数、１１１ 逆ＤＣＴによって
得られた画素空間領域のデータ、１１２ 局所的にフォ
ーマット変換された画素空間領域のデータ、１１３ フ
ォーマットの切り替え情報、１１４復号画像データ、１
１５ 再生画像信号、１１６ 動的にフォーマットが切
り替わっている画像データ、１１７ 予測誤差データ、
１１８ 逆ＤＣＴによって得られた画素空間領域の差分
画像データ、１１９ 動き補償予測データ、１２０復号
画像データ、１２１ 局所的にフォーマット変換された
復号画像データ、１２２ フォーマットを統一された復
号画像データ、１２３ 動き補償予測のためにフレーム
メモリから読み出された画像データ、１２４ 局所的に
フォーマット変換された画像データ、１２５ 予測信
号、１２６ 動きベクトル情報、１２７フォーマットの
切り替え情報、１２８ 局所的にフォーマット変換され
た復号画像データ、１３０ 局所的フォーマットの切り
替え信号、１３１ 多重化された輝度・色差信号入力、
１３２ 分離された輝度信号、１３３ 分離された色差
信号、１３４ フォーマット変換された色差信号、１３
５ 多重化された輝度・色差信号出力、１３６ 分離さ
れた色差信号、１３７ 色差平均値、１３８ 色差分散
値、１３９ 動きベクトル絶対値、１４０ 量子化ステ
ップサイズ。
Claims (14)
- 【請求項１】 ディジタル化入力画像をフォーマット変
換し、該フォーマット変換された画像データを量子化す
る量子化部と、該量子化された量子化画像データを符号
化する符号化部を備えて、該符号化された符号化ビット
ストリームを出力する画像符号化装置において、 フォーマット変換に際して、複数の、所定の輝度信号と
色差信号による空間解像度の画像データに変換する複数
フォーマット変換部と、 設定基準で上記入力画像データまたは量子化画像データ
または他の画像データの状態変化を検出して、上記複数
フォーマット変換の空間解像度の画像データのどれを出
力するかを選択して出力する画像状態判定部とを備え、 上記選択された空間解像度の画像データを量子化部に入
力することを特徴とする画像符号化装置。 - 【請求項２】 量子化された量子化画像データを逆量子
化し、動きの予測差分とを加算して記憶し、該記憶され
た参照画像データから動きの予測差分を元のフォーマッ
ト変換後の出力に帰還減算する帰還符号化手段を備え、 参照画像を記憶するフレームメモリと、 上記量子化画像データを逆量子化して上記記憶用の所定
の参照画像データを得るために、複数の、所定の輝度信
号と色差信号による空間解像度の再生画像データに変換
する第２の複数フォーマット変換部と、 上記所定の参照画像データを読み出して動き補償後に帰
還減算用信号とすための、複数の、所定の輝度信号と色
差信号による空間解像度の予測誤差分に変換する第３の
複数フォーマット変換部とを付加し、 また画像状態判定部は、上記第２の複数フォーマット変
換部出力と第３の複数フォーマット変換部出力を複数フ
ォーマット変換部出力と同様に切り換えるようにした帰
還符号化手段としたことを特徴とする請求項１記載の画
像符号化装置。 - 【請求項３】 入力の符号化ビットストリームを復号化
する復号化部と、該復号された復号化データを逆量子化
及び逆変換する逆量子化部と逆変換部を備え、該逆量子
化及び逆変換された画像データを所定のフォーマット変
換をしてディジタル画像データに再生する画像復号化装
置において、 上記逆変換された画像データを、入力の符号化ビットス
トリームの状態変化を判定して、上記所定のフォーマッ
ト変換のための入力とするために、複数の、所定の輝度
信号と色差信号による空間解像度のどれかでディジタル
画像データに再生する複数フォーマット変換部を備えた
ことを特徴とする画像復号化装置。 - 【請求項４】 逆変換画像データを所定のフォーマット
変換後に参照画像データとして記憶し、動きの予測誤差
分を元のフォーマット変換後の出力に加算する帰還予測
手段を備え、 上記参照画像データを得るために、複数の、所定の輝度
信号と色差信号による空間解像度のどれかで再生画像デ
ータに変換する第２の複数フォーマット変換部と、 上記帰還予測手段出力を元のフォーマット変換後の出力
に加算するために、複数の、所定の輝度信号と色差信号
による空間解像度の予測誤差分に変換する第３の複数フ
ォーマット変換部とを付加したことを特徴とする請求項
３記載の画像復号化装置。 - 【請求項５】 画像状態判定部は、入力画像データまた
は量子化画像データ中の色差信号の状態を設定基準と比
較して、複数フォーマット変換部出力から対応する空間
解像度の出力を選択するようにしたことを特徴とする請
求項１または請求項２記載の画像符号化装置。 - 【請求項６】 画像状態判定部は、入力画像データまた
は量子化画像データ中の輝度信号の状態を設定基準と比
較して、複数フォーマット変換部出力から対応する空間
解像度の出力を選択するようにしたことを特徴とする請
求項１または請求項２記載の画像符号化装置。 - 【請求項７】 画像状態判定部は、動き補償予測部から
の動きベクトルの値を、設定基準と比較して、複数フォ
ーマット変換部出力から対応する空間解像度の出力を選
択するようにしたことを特徴とする請求項２記載の画像
符号化装置。 - 【請求項８】 画像状態判定部は、所定の空間解像度の
画像データと動き補償後の予測信号との差である予測誤
差値を、設定基準と比較して、複数フォーマット変換部
出力から対応する空間解像度の出力を選択するようにし
たことを特徴とする請求項２記載の画像符号化装置。 - 【請求項９】 画像状態判定部は、符号化ビットストリ
ームに基づき発生した符号化量から量子化ステップサイ
ズを、設定基準と比較して、複数フォーマット変換部出
力から対応する空間解像度の出力を選択するようにした
ことを特徴とする請求項１または請求項２記載の画像符
号化装置。 - 【請求項１０】 画像状態判定部は、入力画像データま
たは量子化画像データ中の色差信号または輝度信号の状
態と、動き補償予測部からの動きベクトルの値と、予測
誤差値と、量子化ステップサイズとのいずれか複数の値
を加算して、設定基準と比較して、複数フォーマット変
換部出力から対応する空間解像度の出力を選択するよう
にしたことを特徴とする請求項２記載の画像符号化装
置。 - 【請求項１１】 送信側の画像符号化装置中の色差信
号、輝度信号または動きの変化の検出に対応する画像状
態判定部を設け、送信側と同一の設定基準で入力の符号
化ビットストリームの状態変化を検出して、複数の空間
解像度のどれかを選択して復号化画像を得るようにした
ことを特徴とする請求項３または請求項４記載の画像復
号化装置。 - 【請求項１２】 ディジタル化入力画像を、設定基準で
所定の画像状態を判定して、複数の、所定の輝度信号と
色差信号による空間解像度の画像データに変換する符号
化複数フォーマット変換部と、上記フォーマット変換出
力された空間解像度の画像データを量子化する量子化部
と、上記量子化された量子化画像データを符号化して符
号化ビットストリームを出力する符号化部とからなる画
像符号化装置と、 入力の符号化ビットストリームを復号化する復号化部
と、上記復号された復号化データを逆量子化する逆量子
化部と、上記逆量子化された逆量子化画像データを、複
数の、所定の輝度信号と色差信号による空間解像度を持
ち、所定の信号で上記空間解像度のどれかでディジタル
画像データに再生する復号複数フォーマット変換部とか
らなる画像復号化装置とで構成される画像符号化・復号
化システム。 - 【請求項１３】 ディジタル化入力画像をフォーマット
変換し、該フォーマット変換された画像データを量子化
する量子化部と、該量子化された量子化画像データを符
号化する符号化部を備えて、該符号化された符号化ビッ
トストリームを出力する画像符号化装置において、 フォーマット変換に際して、設定された輝度信号と色差
信号による空間解像度の画像データに変換し、上記量子
化部に入力する複数フォーマット変換部を備えたことを
特徴とする画像符号化装置。 - 【請求項１４】 入力の符号化ビットストリームを復号
化する復号化部と、該復号された復号化データを逆量子
化する逆量子化部とを備え、該逆量子化された逆量子化
画像データを所定のフォーマット変換をしてディジタル
画像データに再生する画像復号化装置において、 上記逆変換された画像データを、上記所定のフォーマッ
ト変換のための入力とするために、設定された輝度信号
と色差信号による空間解像度のディジタル画像データに
変換する複数フォーマット変換部を備えたことを特徴と
する画像復号化装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26966996A JP3681835B2 (ja) | 1995-12-27 | 1996-10-11 | 画像符号化装置及び画像復号化装置及び符号化・復号化システム |
| CA 2191271 CA2191271C (en) | 1995-12-27 | 1996-11-26 | Video coding and decoding system and method |
| AU74034/96A AU693726B2 (en) | 1995-12-27 | 1996-11-27 | Video coding and decoding system and method |
| DE1996624669 DE69624669T2 (de) | 1995-12-27 | 1996-11-29 | Videokodierer und -dekodierersystem und -methoden |
| EP19960119162 EP0782342B1 (en) | 1995-12-27 | 1996-11-29 | Video coding and decoding system and methods |
| US08/766,179 US6018366A (en) | 1995-12-27 | 1996-12-12 | Video coding and decoding system and method |
| KR1019960072357A KR100263627B1 (ko) | 1995-12-27 | 1996-12-26 | 화상 부호화 장치와 화상 복호화장치 및 부호화.복호화 시스템 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-340871 | 1995-12-27 | ||
| JP34087195 | 1995-12-27 | ||
| JP26966996A JP3681835B2 (ja) | 1995-12-27 | 1996-10-11 | 画像符号化装置及び画像復号化装置及び符号化・復号化システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09238366A true JPH09238366A (ja) | 1997-09-09 |
| JP3681835B2 JP3681835B2 (ja) | 2005-08-10 |
Family
ID=26548871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26966996A Expired - Fee Related JP3681835B2 (ja) | 1995-12-27 | 1996-10-11 | 画像符号化装置及び画像復号化装置及び符号化・復号化システム |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US6018366A (ja) |
| EP (1) | EP0782342B1 (ja) |
| JP (1) | JP3681835B2 (ja) |
| KR (1) | KR100263627B1 (ja) |
| AU (1) | AU693726B2 (ja) |
| CA (1) | CA2191271C (ja) |
| DE (1) | DE69624669T2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002344996A (ja) * | 2001-05-14 | 2002-11-29 | Nikon Corp | 画像符号化装置および画像サーバ装置 |
| JP2009153128A (ja) * | 2001-06-05 | 2009-07-09 | Qualcomm Inc | デジタルイメージに対する選択的なクロミナンスデシメーション |
| JP2009194908A (ja) * | 2008-02-13 | 2009-08-27 | Toshiba Corp | 画像復号方法及び装置 |
| JP2014017674A (ja) * | 2012-07-09 | 2014-01-30 | Canon Inc | 画像処理装置及びその方法 |
| JP2019075822A (ja) * | 2012-09-21 | 2019-05-16 | 株式会社東芝 | 復号装置、及び符号化装置 |
| JP2019176212A (ja) * | 2018-03-27 | 2019-10-10 | 日本放送協会 | 色差信号形式判定装置、符号化装置、及びプログラム |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2768006B1 (fr) * | 1997-09-04 | 1999-10-15 | Alsthom Cge Alcatel | Procede de compression d'un signal a echantillons multidimensionnels |
| JPH11122495A (ja) * | 1997-10-09 | 1999-04-30 | Olympus Optical Co Ltd | 画像符号化装置 |
| US6519288B1 (en) * | 1998-03-06 | 2003-02-11 | Mitsubishi Electric Research Laboratories, Inc. | Three-layer scaleable decoder and method of decoding |
| US6188730B1 (en) * | 1998-03-23 | 2001-02-13 | Internatonal Business Machines Corporation | Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding |
| KR100418874B1 (ko) * | 1998-10-10 | 2004-04-17 | 엘지전자 주식회사 | 영상압축시스템에서영상데이터버퍼링방법 |
| US6229852B1 (en) * | 1998-10-26 | 2001-05-08 | Sony Corporation | Reduced-memory video decoder for compressed high-definition video data |
| JP3623679B2 (ja) * | 1999-01-06 | 2005-02-23 | 日本電気株式会社 | 動画像符号化装置 |
| TW515192B (en) * | 2000-06-06 | 2002-12-21 | Noa Kk Off | Compression method of motion picture image data and system there for |
| US7085424B2 (en) * | 2000-06-06 | 2006-08-01 | Kobushiki Kaisha Office Noa | Method and system for compressing motion image information |
| US7039241B1 (en) * | 2000-08-11 | 2006-05-02 | Ati Technologies, Inc. | Method and apparatus for compression and decompression of color data |
| US6803969B2 (en) * | 2001-06-07 | 2004-10-12 | Oki Electric Industry Co., Ltd. | Video signal processing apparatus for digital video decoder |
| JP4015934B2 (ja) * | 2002-04-18 | 2007-11-28 | 株式会社東芝 | 動画像符号化方法及び装置 |
| EP1482916A4 (en) * | 2002-02-07 | 2007-12-12 | Univ Miami | THERAPY BASED ON SCHWANN CELLS AND PHOSPHODIESTERASE INHIBITORS |
| US6930776B2 (en) * | 2002-07-25 | 2005-08-16 | Exfo Electro-Optical Engineering Inc. | High optical rejection optical spectrum analyzer/monochromator |
| BRPI0600823B1 (pt) * | 2006-03-14 | 2018-02-14 | Whirlpool S.A. | Sistema de programação de equipamentos eletrodomésticos e método de programação de equipamentos eletrodomésticos programáveis em linha de montagem |
| JP2008193627A (ja) * | 2007-01-12 | 2008-08-21 | Mitsubishi Electric Corp | 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法 |
| US8139632B2 (en) * | 2007-03-23 | 2012-03-20 | Advanced Micro Devices, Inc. | Video decoder with adaptive outputs |
| WO2009034486A2 (en) * | 2007-09-10 | 2009-03-19 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
| EP2177299B1 (en) * | 2008-10-17 | 2013-07-31 | PRIMA INDUSTRIE S.p.A. | laser machine |
| CA2650102C (en) * | 2009-01-09 | 2013-01-22 | Michael D. Zulak | Earth drilling reamer with replaceable blades |
| JP5624576B2 (ja) * | 2012-03-14 | 2014-11-12 | 株式会社東芝 | 画像圧縮コントローラ及び画像圧縮装置 |
| US9258517B2 (en) * | 2012-12-31 | 2016-02-09 | Magnum Semiconductor, Inc. | Methods and apparatuses for adaptively filtering video signals |
| IL305702B1 (en) * | 2016-10-05 | 2024-03-01 | Dolby Laboratories Licensing Corp | Messaging information volume source color |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4903317A (en) * | 1986-06-24 | 1990-02-20 | Kabushiki Kaisha Toshiba | Image processing apparatus |
| DE3735349A1 (de) * | 1986-10-18 | 1988-04-28 | Toshiba Kawasaki Kk | Bildpresservorrichtung |
| JP2826321B2 (ja) * | 1988-07-23 | 1998-11-18 | 日本電気株式会社 | 直交変換符号化装置 |
| US5253078A (en) * | 1990-03-14 | 1993-10-12 | C-Cube Microsystems, Inc. | System for compression and decompression of video data using discrete cosine transform and coding techniques |
| US5428693A (en) * | 1991-04-12 | 1995-06-27 | Mitsubishi Denki Kabushiki Kaisha | Motion compensation predicting coding method and apparatus |
| JP2507204B2 (ja) * | 1991-08-30 | 1996-06-12 | 松下電器産業株式会社 | 映像信号符号化装置 |
| JPH0595540A (ja) * | 1991-09-30 | 1993-04-16 | Sony Corp | 動画像符号化装置 |
| DE69225859T2 (de) * | 1991-10-02 | 1998-12-03 | Matsushita Electric Ind Co Ltd | Orthogonaltransformationskodierer |
| US5220410A (en) * | 1991-10-02 | 1993-06-15 | Tandy Corporation | Method and apparaus for decoding encoded video data |
| US5262854A (en) * | 1992-02-21 | 1993-11-16 | Rca Thomson Licensing Corporation | Lower resolution HDTV receivers |
| US5363213A (en) * | 1992-06-08 | 1994-11-08 | Xerox Corporation | Unquantized resolution conversion of bitmap images using error diffusion |
| JPH06205439A (ja) * | 1992-12-29 | 1994-07-22 | Sony Corp | 映像信号記録装置 |
| JPH06233277A (ja) * | 1993-02-05 | 1994-08-19 | Sharp Corp | 画像符号化装置 |
| KR940020832A (ko) * | 1993-02-25 | 1994-09-16 | 김주용 | 고선명 텔레비젼의 적응 양자화 방법 및 이를 이용한 시스템 부호기 |
| TW301098B (ja) * | 1993-03-31 | 1997-03-21 | Sony Co Ltd | |
| JP3277418B2 (ja) * | 1993-09-09 | 2002-04-22 | ソニー株式会社 | 動きベクトル検出装置および方法 |
| JP2576771B2 (ja) * | 1993-09-28 | 1997-01-29 | 日本電気株式会社 | 動き補償予測装置 |
| US5453787A (en) * | 1993-12-10 | 1995-09-26 | International Business Machines Corporation | Variable spatial frequency chrominance encoding in software motion video compression |
-
1996
- 1996-10-11 JP JP26966996A patent/JP3681835B2/ja not_active Expired - Fee Related
- 1996-11-26 CA CA 2191271 patent/CA2191271C/en not_active Expired - Fee Related
- 1996-11-27 AU AU74034/96A patent/AU693726B2/en not_active Ceased
- 1996-11-29 DE DE1996624669 patent/DE69624669T2/de not_active Expired - Lifetime
- 1996-11-29 EP EP19960119162 patent/EP0782342B1/en not_active Expired - Lifetime
- 1996-12-12 US US08/766,179 patent/US6018366A/en not_active Expired - Lifetime
- 1996-12-26 KR KR1019960072357A patent/KR100263627B1/ko not_active IP Right Cessation
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002344996A (ja) * | 2001-05-14 | 2002-11-29 | Nikon Corp | 画像符号化装置および画像サーバ装置 |
| JP2009153128A (ja) * | 2001-06-05 | 2009-07-09 | Qualcomm Inc | デジタルイメージに対する選択的なクロミナンスデシメーション |
| US7965775B2 (en) | 2001-06-05 | 2011-06-21 | Qualcomm, Incorporated | Selective chrominance decimation for digital images |
| JP2009194908A (ja) * | 2008-02-13 | 2009-08-27 | Toshiba Corp | 画像復号方法及び装置 |
| JP2014017674A (ja) * | 2012-07-09 | 2014-01-30 | Canon Inc | 画像処理装置及びその方法 |
| US9661188B2 (en) | 2012-07-09 | 2017-05-23 | Canon Kabushiki Kaisha | Image processing apparatus and method of controlling the same |
| JP2019075822A (ja) * | 2012-09-21 | 2019-05-16 | 株式会社東芝 | 復号装置、及び符号化装置 |
| JP2019176212A (ja) * | 2018-03-27 | 2019-10-10 | 日本放送協会 | 色差信号形式判定装置、符号化装置、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2191271A1 (en) | 1997-06-28 |
| EP0782342A3 (en) | 1998-02-11 |
| DE69624669D1 (de) | 2002-12-12 |
| CA2191271C (en) | 2000-07-25 |
| JP3681835B2 (ja) | 2005-08-10 |
| KR970057951A (ko) | 1997-07-31 |
| KR100263627B1 (ko) | 2000-08-01 |
| AU7403496A (en) | 1997-08-07 |
| DE69624669T2 (de) | 2003-07-17 |
| US6018366A (en) | 2000-01-25 |
| EP0782342A2 (en) | 1997-07-02 |
| EP0782342B1 (en) | 2002-11-06 |
| AU693726B2 (en) | 1998-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3681835B2 (ja) | 画像符号化装置及び画像復号化装置及び符号化・復号化システム | |
| US6333949B1 (en) | Video coding apparatus and decoding apparatus | |
| US6393059B1 (en) | Conversion of video data bit stream | |
| KR100714696B1 (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
| JP3144806B2 (ja) | デジタル画像復号化装置 | |
| US7227898B2 (en) | Digital signal conversion method and digital signal conversion device | |
| JP3381855B2 (ja) | 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置 | |
| EP0901289A2 (en) | Apparatus for layered video coding | |
| JPH06153183A (ja) | 画像信号符号化装置、画像信号復号化装置、画像信号符号化方法、画像信号復号化方法及び画像信号記録媒体 | |
| JPH09182084A (ja) | 動画像符号化装置および動画像復号化装置 | |
| KR20060135992A (ko) | 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치 | |
| JPH0818976A (ja) | 動画像符号化／復号化装置 | |
| JPH06125543A (ja) | 符号化装置 | |
| JPH07212761A (ja) | 階層符号化装置及び階層復号化装置 | |
| JPH10276437A (ja) | 階層的動画像信号符号化／復号化方法及び装置 | |
| JP2914607B2 (ja) | 画像信号復号化装置 | |
| KR0172902B1 (ko) | 엠펙 ii 부호기 | |
| JP3087864B2 (ja) | Ｈｄｔｖ信号用サブバンド符号化方式 | |
| JPH09149415A (ja) | 画像符号化装置および画像復号化装置 | |
| JP2001268581A (ja) | 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体 | |
| JPH10271512A (ja) | 画像信号符号化装置及び方法、画像信号復号装置及び方法、並びに記録媒体 | |
| JPH06244736A (ja) | 符号化装置 | |
| JP2000059789A (ja) | 動画像符号列変換装置及びその方法 | |
| JPH06189293A (ja) | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体 | |
| JPH08181997A (ja) | 画像符号化装置及び画像復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050519 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080527 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130527 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |