JPH05268591A

JPH05268591A - 画像符号化方法および画像符号化装置

Info

Publication number: JPH05268591A
Application number: JP4059993A
Authority: JP
Inventors: Kimitaka Murashita; 君孝村下; Tsuguo Noda; 嗣男野田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-03-17
Filing date: 1992-03-17
Publication date: 1993-10-15

Abstract

(57)【要約】【目的】動画像を符号化する画像符号化方法に関し、
一連の静止画像を前画像との相関の有無に応じて符号化
する際の画質の劣化を抑える。【構成】一連の画像それぞれを複数の画素からなるブ
ロックに分割し、これらのブロックごとに画像データの
各成分をを符号化する画像符号化方法において、画像デ
ータの第１成分について、各画像とその前の画像との間
の変化量をブロックごとに求め、変化量の大きさに基づ
いて、ブロックごとに各画像とその前の画像との間に相
関があるか否かを判定し、相関がないとされた場合は、
該当するブロックの画像データの全ての成分をそれぞれ
符号化して符号データを作成し、相関があるとされた場
合は、画像データの全ての成分に対応して無効ブロック
情報を生成し、一連の画像それぞれについて、各成分に
対応して符号データと無効ブロック情報とからなる符号
データを得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一連の静止画像をそれ
ぞれ複数の画素からなるブロックごとに符号化すること
により動画像の符号化を行う画像符号化方法および画像
符号化装置に関する。

【０００２】中間調画像やカラー画像などの多値画像
（以下、単に画像と称する）のデータ量は、他の数値デ
ータのようにそのまま扱うためにはあまりにも膨大であ
るため、画像を符号化してそのデータ量を高能率に圧縮
した後に、画像データベースに蓄積され、あるいは通信
回線を介して伝送されている。

【０００３】画像のデータ量を圧縮する方法としては、
２次元離散コサイン変換方式（ＤＣＴ方式）や各画素の
色を表す画像データと周囲の画像データから求めた予測
値との差を符号化する予測符号化方式など様々な方法が
ある。ＤＣＴ方式は、画像を例えば８×８画素からなる
ブロックごとにコサイン変換し、得られた変換係数を符
号化するものであり、国際電信電話諮問委員会と国際標
準化機構との合同組織であるＪＰＥＧ(Joint Photograp
hic Experts Group)による規格案にも採用されている。
特に、視覚に適応した閾値を用いて変換係数を量子化し
た後に符号化する適応２次元コサイン変換方式（ＡＤＣ
Ｔ方式）は高い圧縮率が得られる。

【０００４】更に、テレビ会議やテレビ電話など動画像
の伝送を行う用途では、動画像を構成する一連の静止画
像を高能率に圧縮する必要があり、簡易で高速処理が可
能な画像符号化方法および画像符号化装置が必要とされ
ている。

【０００５】

【従来の技術】まず、静止画像の符号化技術について説
明する。図１３に、ＡＤＣＴ方式を適用した従来の画像
符号化装置の構成を示す。また、図１４に、画像を分割
して得られるブロックの例を示す。

【０００６】画像読取装置などによって読み取られた画
像は、上述したブロックごとに順次にＤＣＴ変換部６１
１に入力され、このＤＣＴ変換部６１１による２次元離
散コサイン変換（以下、ＤＣＴ変換と称する）処理によ
り、空間周波数成分に対応するＤＣＴ係数からなる８行
８列の行列（以下、ＤＣＴ係数Ｄと称する）に変換され
る。図１５に、ＤＣＴ係数Ｄの例を示す。

【０００７】このＤＣＴ係数Ｄの各成分は、線型量子化
部６２０により、それぞれ量子化閾値Ｑ_THの対応する成
分を用いて量子化される。上述した量子化閾値Ｑ_THは、
各空間周波数に対応する視覚適応閾値と量子化制御パラ
メータSFとから得られるものである。この視覚適応閾値
は、各空間周波数成分に対する視覚の感度に関する実験
結果に基づいて予め定められており、量子化マトリクス
Ｖ_TH（図１６参照）として与えられている。また、量子
化制御パラメータSFは、画像の量子化精度を決定する係
数であり、復元画像に対して要求される画質に応じて、
操作者が１画面分の画像データの符号化処理に先立って
設定するものである。

【０００８】ここで、上述した量子化マトリクスＶ_THの
各成分の値は、人間の視覚感度の空間周波数特性に応じ
て、図１６に示すように、低い空間周波数に対応する成
分の絶対値は小さく、逆に、高い空間周波数に対応する
成分の絶対値は大きく設定されている。このため、線型
量子化部６２０によってＤＣＴ係数Ｄを量子化して得ら
れる量子化係数Ｄ_QUは、図１７に示すように、直流成分
を示す行列の左上隅の成分（以下、ＤＣ成分と称する）
とこのＤＣ成分の周囲にある低い空間周波数成分を示す
極く少数のＡＣ成分のみが零以外の値を有する有効係数
となり、大部分のＡＣ成分は値が零である無効係数とな
る場合が多い。

【０００９】このようにして得られた量子化係数Ｄ_QUを
図１８に示すジグザスキャンと呼ばれる走査順序を用い
て走査すると、一連の有効係数に続いて、無効係数が連
続している１次元配列が得られる。この１次元配列を符
号化部６３１によって有効係数（インデックス）とこの
インデックスの前に連続している無効係数の連続長（ラ
ン）との組合せに変換し、符号表６３２に基づいて、各
組合せをその出現頻度に対応する符号にそれぞれ置き換
えて可変長符号化することにより、画像データを大幅に
圧縮している。

【００１０】また、このようにして得られた符号データ
は、図１９に示す画像復元装置によって画像データに復
元される。画像復元装置の復号部７１１は、上述した符
号表６３２とは逆に、符号に対応するランとインデック
スとの組合せを示す復号表７１２を備えており、順次に
入力される符号を復号してインデックスとランとの組合
せを求めて、逆量子化部７２０に入力する。

【００１１】この逆量子化部７２０は、入力されるイン
デックスとランとの組合せから各ブロックの量子化係数
Ｄ_QUを復元し、この量子化係数Ｄ_QUの各成分に上述した
量子化閾値Ｑ_THの対応する成分を乗じて逆量子化し、各
ブロックのＤＣＴ係数Ｄを復元する。このようにして得
られたＤＣＴ係数Ｄに対して、逆ＤＣＴ変換部７３１
が、逆ＤＣＴ変換処理を施すことによって、該当するブ
ロックの画像データが復元され、上述した処理を各ブロ
ックについて繰り返すことにより、１画面分の画像デー
タが復元される。

【００１２】次に、動画像の符号化技術について説明す
る。図２０に、動画像用の画像符号化装置の構成を示
す。図２０において、動画像を構成する一連の静止画像
それぞれは、上述したブロックごとに順次に差分画像生
成部６４１に入力されるとともに、画像バッファ６４２
に入力されている。この画像バッファ６４２は、現画像
の各ブロックの入力に応じて、前に入力された対応する
ブロックの画像データを差分画像生成部６４１に送出す
る構成となっており、この差分画像生成部６４１によ
り、現画像の各画素の画像データと前画像の対応する画
像データとの差分からなる差分画像をブロックごとに生
成する構成となっている。

【００１３】このようにして得られた差分画像の各ブロ
ックは、順次にＤＣＴ変換部６１１に入力され、上述し
た静止画像と同様に、ＤＣＴ係数に変換した後に線型量
子化部６２０によって量子化し、符号化部６３１によっ
て、得られた量子化係数を符号表６３２に基づいて可変
長符号化して送出する構成となっている。

【００１４】また、上述した画像符号化装置で得られた
符号データは、図２１に示す動画像用の画像復元装置に
よって復元される。動画像用の画像復元装置は、上述し
た静止画像用の画像復元装置に、加算部７４１と画像バ
ッファ７４２とを付加して形成されており、復号部７１
１と逆量子化部７２１と逆ＤＣＴ変換部７３１とによっ
て差分画像を復元し、加算部７４１が、画像バッファ７
４２に保持された前画像にこの差分画像を加算すること
により現画像を復元する構成となっている。また、得ら
れた現画像は、画像バッファ７４２に保持され、次の画
像の復元処理に用いられる。

【００１５】このようにして復元された静止画像を所定
の時間ごとに切り換えながらディスプレイ装置に送出す
ることにより、動画像が再生されている。

【００１６】

【発明が解決しようとする課題】ところで、上述した従
来の動画像の符号化方式においては、画像復元装置側で
前画像と差分画像とから現画像を合成する必要があるた
め、構成が複雑で大規模な画像復元装置が必要となって
いた。更に、差分画像を累積して現画像を得る構成であ
るため、差分画像のＤＣＴ係数を量子化した際に発生す
る量子化誤差が累積し、画質の劣化を招く場合がある。

【００１７】このような課題を解決するための技法とし
て、本出願人は、特願平３−３３６７５４号『動画像デ
ータの符号化方式および復号方式』を既に出願してい
る。この技法は、現画像の各画素の画像データを前画像
の対応する画像データと比較することにより、ブロック
ごとに前画像との相関の大きさを判別し、相関が小さい
（すなわち前画像とは異なる）とされたブロックのみを
ＡＤＣＴ方式で符号化し、相関が大きいとされたブロッ
クは無効ブロックとして１ブロックの終了を示すＥＯＢ
符号に置き換えて、１画面分の符号データを得るもので
ある。一方、この符号データから画像を復元する際は、
各ブロックが無効ブロックであるか否かを判定し、無効
ブロックでない場合に、符号データから１ブロック分の
画像データを復元し、該当するブロックの画像データを
書き換えることにより、各画面の画像を復元するもので
ある。

【００１８】ここで、動画像に含まれる連続する静止画
像をブロックごとに比較した場合には、大部分のブロッ
クは前の画像の対応するブロックの各画素の画像データ
と同一の画像データからなっていると考えられる。した
がって、上述した技法によれば、これらのブロックにつ
いての符号化処理を省略し、全体としての符号化処理を
高速化することができる。また、前画像の一部のブロッ
クの画像データを書き換えることにより現画像を復元す
る構成であるから、画像復元装置の構成を簡易とするこ
とができ、また、量子化誤差の蓄積による画質の劣化を
防ぐことができる。

【００１９】ところで、各画素の色を表す画像データ
は、例えば、輝度成分と２つの色差成分とからなってお
り、このうち輝度成分が変化した場合は、色差成分も変
化している可能性が非常に高い。すなわち、輝度成分と
色差成分との間には強い相関関係があり、輝度成分の変
化に伴って色差成分が変化した場合は、その変化量が極
く微小であっても、この変化を無視すると色ずれや色に
じみといった画質の劣化を招くことが知られている
（『単色画像の関数としてフルカラー画像を記述する新
しい符号化法』小寺宏嘩他著，画像電子学会誌，1989
VOL.18 No.5）。

【００２０】しかしながら、上述した技法においては、
各ブロックについて前画像との相関を判別する際に、上
述したような各成分間の相関関係を無視して、画像デー
タの成分ごとにそれぞれ独立に判別している。このた
め、輝度成分の変化に対応する色差成分の微妙な変化を
捉えることができずに無効ブロックとされ、このような
変化に関する情報が失われてしまう場合があり、復元画
像の画質の劣化の原因となっていた。

【００２１】本発明は、一連の静止画像を前画像との相
関の有無に応じて符号化する際の画質の劣化を抑える画
像符号化方法および画像符号化装置を提供することを目
的とする。

【００２２】

【課題を解決するための手段】図１は、請求項１の画像
符号化方法の原理を示す。請求項１の発明は、一連の画
像それぞれを複数の画素からなるブロックに分割し、こ
れらのブロックごとに各画素の色を複数の成分を用いて
表す画像データを符号化して、動画像の符号化を行う画
像符号化方法において、画像データの第１成分につい
て、各画像とその前の画像との間の変化量をブロックご
とに求め、変化量の大きさに基づいて、ブロックごとに
各画像とその前の画像との間に相関があるか否かを判定
し、相関がないとされた場合は、該当するブロックを有
効なブロックとして画像データの全ての成分をそれぞれ
符号化して符号データを作成し、相関があるとされた場
合は、画像データの全ての成分に対応して、該当するブ
ロックが前の画像からの変化がない無効なブロックであ
る旨の無効ブロック情報を生成し、一連の画像それぞれ
について、各成分に対応して符号データと無効ブロック
情報とからなる符号データを得ることを特徴とする。

【００２３】図２は、請求項２の画像符号化方法の原理
を示す。請求項２の発明は、一連の画像それぞれを複数
の画素からなるブロックに分割し、これらのブロックご
とに各画素の色を複数の成分を用いて表す画像データを
符号化して、動画像の符号化を行う画像符号化方法にお
いて、画像データの各成分について、各画像とその前の
画像との間の変化量をそれぞれ求め、画像データの第１
成分について得られた変化量の大きさに基づいて、各画
像のブロックごとにその前の画像との間に第１成分につ
いての相関があるか否かを判定し、第１成分についての
相関がないとされた場合は、該当するブロックを有効な
ブロックとして画像データの全ての成分をそれぞれ符号
化して符号データを作成し、第１成分についての相関が
あるとされた場合は、他の成分について得られた変化量
の大きさに基づいて、該当するブロックとその前の画像
の対応するブロックとの間に、他の成分についての相関
があるか否かをそれぞれ判定し、相関がない旨の判定結
果が得られた成分については、該当するブロックを有効
なブロックとして画像データの該当する成分を符号化し
てその成分に対応する符号データを作成し、相関がある
旨の判定結果が得られた成分については、該当するブロ
ックが前の画像からの変化がない無効なブロックである
旨の無効ブロック情報を該当する成分に対応して生成
し、一連の画像それぞれについて、各成分に対応して符
号データおよび無効ブロック情報とからなる符号データ
を得ることを特徴とする。

【００２４】図３は、請求項３の画像符号化方法の原理
を示す。請求項３の発明は、一連の画像それぞれを複数
の画素からなるブロックに分割し、これらのブロックご
とに各画素の色を複数の成分を用いて表す画像データを
符号化して、動画像の符号化を行う画像符号化方法にお
いて、画像データの全ての成分について、各画像とその
前の画像との間の変化量をそれぞれ求め、画像データの
第１成分について得られた変化量の大きさに基づいて、
各画像のブロックごとにその前の画像との間に第１成分
についての相関があるか否かを判定し、第１成分につい
ての相関の判定結果に応じて、他の成分についての相関
の有無を判定するための閾値を決定し、得られた閾値と
他の成分についてそれぞれ得られた変化量の大きさとに
基づいて、各画像のブロックごとにその前の画像との間
に他の成分についての相関があるか否かをそれぞれ判定
し、相関がない旨の判定結果が得られた成分について
は、該当するブロックを有効なブロックとして画像デー
タの該当する成分を符号化してその成分に対応する符号
データを作成し、相関がある旨の判定結果が得られた成
分については、該当するブロックが前の画像からの変化
がない無効なブロックである旨の無効ブロック情報を該
当する成分に対応して生成し、一連の画像それぞれにつ
いて、各成分に対応して符号データおよび無効ブロック
情報とからなる符号データを得ることを特徴とする。

【００２５】請求項４の発明は、請求項１〜請求項３の
いずれかに記載の画像符号化方法において、画像データ
を輝度成分と色差成分とで表し、輝度成分を第１成分と
し、色差成分を他の成分としたことを特徴とする。

【００２６】図４は、請求項５の画像符号化装置の構成
を示す。請求項５の発明は、一連の画像それぞれの各画
素の色を複数の成分を用いて表す画像データの入力に応
じて、各画像を複数の画素からなるブロックに分割し、
各ブロックごとに画像データの各成分を符号化する符号
化手段１０１を有し、一連の画像からなる動画像の符号
化を行う画像符号化装置において、画像データの第１成
分の入力に応じて、ブロックごとに各画像とその前の画
像との間の第１成分の値の変化を検出し、その変化量を
出力する画像変化検出手段１１１と、変化量の大きさに
応じて、各画像とその前の画像との間の相関の有無をブ
ロックごとに判定する判定手段１１２と、各ブロックが
前の画像からの変化のない無効なブロックである旨の無
効ブロック情報を生成する無効情報生成手段１１３と、
判定手段１１２による相関がない旨の判定結果の入力に
応じて、符号化手段１０１で得られた該当するブロック
の符号化結果を画像データの各成分に対応する符号デー
タとして選択し、相関がある旨の判定結果の入力に応じ
て、無効情報生成手段１１３からの無効ブロック情報を
選択して出力する選択手段１１４と、画像データの各成
分に対応して選択された符号データおよび無効ブロック
情報から、一連の画像それぞれについて、各成分に対応
する符号データを作成する符号データ作成手段１１５と
を備えたことを特徴とする。

【００２７】図５は、請求項６の画像符号化装置の構成
を示す。請求項６の発明は、一連の画像それぞれの各画
素の色を複数の成分を用いて表す画像データの入力に応
じて、各画像を複数の画素からなるブロックに分割し、
各ブロックごとに画像データの各成分を符号化する符号
化手段１０１を有し、一連の画像からなる動画像の符号
化を行う画像符号化装置において、画像データの対応す
る成分の入力に応じて、ブロックごとに各画像とその前
の画像との間の該当する成分の値の変化を検出し、その
変化量をそれぞれ出力する複数の画像変化検出手段１２
１と、画像データの第１成分に対応する画像変化検出手
段１２１で得られた変化量の大きさに応じて、各画像と
その前の画像との間の第１成分についての相関の有無を
ブロックごとに判定する判定手段１２２と、画像データ
の第１成分以外の他の成分に対応して設けられ、第１成
分についての相関がない旨の判定結果の入力に応じて、
対応する成分についての相関がない旨の判定結果を出力
し、第１成分についての相関がある旨の判定結果の入力
に応じて、対応する画像変化検出手段１２１で得られた
変化量の大きさに応じて、該当する成分についての各画
像とその前の画像との間の相関の有無をブロックごとに
判定する判定手段１２３と、各ブロックが前の画像から
の変化のない無効なブロックである旨の無効ブロック情
報を生成する無効情報生成手段１１３と、各成分につい
ての相関がない旨の判定結果の入力に応じて、符号化手
段１０１で得られた該当するブロックの符号化結果を画
像データの対応する成分の符号データとして選択し、相
関がある旨の判定結果の入力に応じて、無効情報生成手
段１１３からの無効ブロック情報を選択して出力する選
択手段１２４と、画像データの各成分に対応して選択さ
れた符号データおよび無効ブロック情報から、一連の画
像それぞれについて、各成分に対応する符号データを作
成する符号データ作成手段１１５とを備えたことを特徴
とする。

【００２８】図６は、請求項７の画像符号化装置の構成
を示す。請求項７の発明は、一連の画像それぞれの各画
素の色を複数の成分を用いて表す画像データの入力に応
じて、各画像を複数の画素からなるブロックに分割し、
各ブロックごとに画像データの各成分を符号化する符号
化手段１０１を有し、一連の画像からなる動画像の符号
化を行う画像符号化装置において、画像データの対応す
る成分の入力に応じて、ブロックごとに各画像とその前
の画像との間の該当する成分の値の変化を検出し、その
変化量をそれぞれ出力する複数の画像変化検出手段１２
１と、画像データの第１成分に対応する画像変化検出手
段１２１で得られた変化量の大きさに応じて、各画像と
その前の画像との間の第１成分についての相関の有無を
ブロックごとに判定する判定手段１２２と、画像データ
の第１成分以外の他の成分に対応して設けられ、判定手
段１２２による判定結果に応じて、他の成分についての
相関の有無を判定するための閾値をそれぞれ決定する閾
値決定手段１３１と、対応する閾値決定手段１３１で得
られた閾値と対応する画像変化検出手段１２１で得られ
た変化量とに基づいて、該当する成分についての各画像
とその前の画像との間の相関の有無をブロックごとに判
定する判定手段１３２と、各ブロックが前の画像からの
変化のない無効なブロックである旨の無効ブロック情報
を生成する無効情報生成手段１１３と、各成分について
の相関がない旨の判定結果の入力に応じて、符号化手段
１０１で得られた該当するブロックの符号化結果を画像
データの対応する成分の符号データとして選択し、相関
がある旨の判定結果の入力に応じて、無効情報生成手段
１１３からの無効ブロック情報を選択して出力する選択
手段１２４と、画像データの各成分に対応して選択され
た符号データおよび無効ブロック情報から、一連の画像
それぞれについて、各成分に対応する符号データを作成
する符号データ作成手段１１５とを備えたことを特徴と
する。

【００２９】請求項８の発明は、請求項５〜請求項７の
いずれかに記載の画像符号化装置において、画像データ
を輝度成分と色差成分とで表し、輝度成分を第１成分と
し、色差成分を他の成分としたことを特徴とする。

【００３０】

【作用】請求項１の発明は、各画像とその前の画像との
間の第１成分についての変化量の大きさに応じて、各画
像とその前の画像との間の相関の有無をブロックごとに
判定するので、第１成分の相関についての判定結果は他
の成分にも適用される。すなわち、画像データの第１成
分と他の成分との間の相関関係を利用して、各画像とそ
の前の画像との間の相関の有無が判定されている。これ
により、画像データの第１成分と他の成分との間の相関
関係を考慮して、第１成分の変化に伴う他の成分の微小
な変化に関する情報を含んだ符号データを得ることがで
き、一連の静止画像を前画像との相関の有無に応じて符
号化する際の画質の劣化を抑えることが可能となる。

【００３１】請求項２の発明は、第１成分についての相
関がないとされた場合に、他の成分についても相関がな
いとし、第１成分についての相関があるとされた場合
に、他の成分についての相関の有無をそれぞれ独立に判
定し、各成分についての各画像とその前の画像との相関
の判定結果に応じて符号化処理を行う。したがって、第
１成分の変化に伴う他の成分の微小な変化に関する情報
とともに他の成分の独立の変化に関する情報ももれなく
含んだ符号データを得ることができるので、一連の静止
画像を前画像との相関の有無に応じて符号化する際の画
質の劣化を抑えることが可能となる。

【００３２】請求項３の発明は、第１成分についての相
関の有無に応じた閾値を用いて、他の成分について前の
画像との間の相関の有無を判定することにより、第１成
分の変化に対応する変化が全くないブロックを有効なブ
ロックから排除することができる。したがって、第１成
分の変化に伴う他の成分の微小な変化に関する情報およ
び他の成分の独立の変化に関する情報を過不足なく含ん
だ符号データを得ることができるので、一連の静止画像
を前画像との相関の有無に応じて符号化する際の画質の
劣化を抑えるとともに、画像データの圧縮率の向上を図
ることが可能となる。

【００３３】請求項４の発明は、第１成分と他の成分と
の間の相関関係として、輝度成分と色差成分との間の強
い相関関係を利用して、輝度成分の変化に伴う色差成分
の変化を反映した符号データを得ることができるので、
復元画像の色ずれや色にじみを防いで、一連の静止画像
を前画像との相関の有無に応じて符号化する際の画質の
劣化を抑えることが可能である。

【００３４】請求項５の発明は、画像変化検出手段１１
１で得られた第１成分の変化量に基づいて、判定手段１
１２が各画像とその前の画像との間の相関の有無を判定
し、選択手段１１４が、この判定結果に応じて、無効情
報生成手段１１３あるいは符号化手段１０１の出力を選
択する。この場合は、画像データの第１成分が前の画像
から変化している（すなわち相関がない）場合には、他
の成分の変化の有無にかかわらず、他の成分についても
相関がないとされるので、符号データ作成手段１１５に
より、第１成分の変化に伴う他の成分の微小な変化に関
する情報を含んだ符号データを得ることができる。この
ように、画像データの第１成分と他の成分との間の相関
関係を利用して、各画像とその前の画像との間の相関の
有無を判定することにより、一連の静止画像を前画像と
の相関の有無に応じて符号化する際の画質の劣化を抑え
ることが可能となる。

【００３５】請求項６の発明は、第１成分に対応する画
像変化検出手段１２１と判定手段１２２とにより、第１
成分についての各画像とその前の画像との間の相関の有
無を判定し、この判定結果に応じて、他の成分に対応す
る画像変化検出手段１２１と判定手段１２３とが該当す
る成分についての相関の有無をそれぞれ判定し、各成分
についての相関の有無に応じて選択手段１２４が動作す
る構成となっている。これにより、第１成分についての
相関の有無を優先しながら、第１成分についての相関が
あるとされた場合に、他の成分についての相関の有無を
それぞれ独立に判定することができる。したがって、符
号データ作成手段１１５により、第１成分の変化に伴う
他の成分の微小な変化に関する情報とともに他の成分の
独立の変化に関する情報をもれなく含んだ符号データを
得ることができ、一連の静止画像を前画像との相関の有
無に応じて符号化する際の画質の劣化を抑えることが可
能となる。

【００３６】請求項７の発明は、判定手段１２２による
判定結果に応じて、閾値決定手段１３１が第１成分につ
いての相関の有無に応じた閾値を決定し、判定手段１３
２がこの閾値を用いて、他の成分について前の画像との
間の相関の有無を判定し、選択手段１２４がこの判定結
果に応じて動作することにより、第１成分の変化に対応
する変化が全くないブロックを有効なブロックから排除
することができる。したがって、第１成分の変化に伴う
他の成分の微小な変化に関する情報および他の成分の独
立の変化に関する情報を過不足なく含んだ符号データを
得ることができるので、一連の静止画像を前画像との相
関の有無に応じて符号化する際の画質の劣化を抑えると
ともに、画像データの圧縮率の向上を図ることが可能と
なる。

【００３７】請求項８の発明は、第１成分と他の成分と
の間の相関関係として、輝度成分と色差成分との間の強
い相関関係を利用して、輝度成分の変化に伴う色差成分
の変化を反映した符号データを得ることができるので、
復元画像の色ずれや色にじみを防いで、一連の静止画像
を前画像との相関の有無に応じて符号化する際の画質の
劣化を抑えることが可能である。

【００３８】

【実施例】以下、図面に基づいて本発明の実施例につい
て詳細に説明する。図７に、請求項５の画像符号化装置
の実施例構成を示す。

【００３９】図７において、各画像の画像データは、そ
れぞれ１画面分の輝度成分ｙおよび２つの色差成分ｕ，
ｖから構成されており、画像入力部２１１は、１画面分
の輝度成分ｙを第１成分としてブロックごとに変化量算
出部２２０とブロックバッファ２１２とに送出した後
に、２つの色差成分ｕ，ｖをそれぞれ第２成分および第
３成分としてブロックバッファ２１２に送出する構成と
なっている。

【００４０】このブロックバッファ２１２の内容は、転
送回路２１３を介して画像バッファ２１４およびＤＣＴ
変換部６１１に転送され、このＤＣＴ変換部６１１およ
び線型量子化部６２０により、それぞれＤＣＴ変換処理
および量子化処理が施され、量子化係数Ｄ_QUから得られ
るランおよびインデックスに変換される構成となってい
る。

【００４１】また、画像バッファ２１４は、１画面分の
画像データの輝度成分ｙに相当する容量を有しており、
マイクロプロセッサ２１５からの指示に応じて、入力デ
ータの保持動作およびデータの出力動作を行う構成とな
っている。

【００４２】この場合は、マイクロプロセッサ２１５
は、画像データの輝度成分ｙが上述した転送回路２１３
によって転送されるときに、画像バッファ２１４を書込
可能状態とするとともに、該当するブロックのアドレス
を指定して保持動作を制御し、また、各ブロックの輝度
成分ｙの入力に応じて、該当するブロックのアドレスを
指定して読出動作を制御すればよい。

【００４３】この画像バッファ２１４の出力は、上述し
た画像入力部２１１からの輝度成分ｙとともに変化量算
出部２２０に入力されており、この変化量算出部２２０
は、これらの入力データに基づいて、現画像と前画像と
の間の輝度成分ｙの変化量をブロックごとに算出する構
成となっている。例えば、図７に示すように、減算器２
２１により、２つの入力データの差を求め、最大値検出
部２２２により、この差の最大値を各ブロックについて
検出し、この最大値を各ブロックの輝度成分ｙの変化量
として出力する構成とすればよい。

【００４４】この場合は、上述した転送回路２１３と画
像バッファ２１４と変化量算出部２２０とにより、画像
変化検出手段１１１の機能が実現されており、輝度成分
ｙについての各ブロックの変化量が、比較回路２３１に
送出されている。

【００４５】この比較回路２３１には、所定の閾値Th_y
が設定されており、上述した変化量とこの閾値Th_yとの
比較結果をマルチプレクサ（ＭＰＸ）２３２とメモリ２
３３とに送出する構成となっている。

【００４６】例えば、上述した比較回路２３１は、変化
量が閾値Th_yを超えたときに比較結果として論理“１”
を出力して、該当するブロックと前画像の対応するブロ
ックとの間に相関がない旨を示し、変化量が閾値Th_y以
下であるときに論理“０”を出力して相関がある旨を示
す構成とすればよい。このようにして、比較回路２３１
により、各ブロックの輝度成分ｙと前画像の対応するブ
ロックの輝度成分ｙとの間の相関の有無を示す相関情報
が得られる。上述したメモリ２３３は、この相関情報を
順次に保持するとともに、マイクロプロセッサ２１５か
らの指示に応じて、順次に出力する構成となっている。
また、マルチプレクサ２３２は、マイクロプロセッサ２
１５からの指示に応じて、比較回路２３１の出力とメモ
リ２３３の出力とのいずれかを選択し、上述した転送回
路２１３および選択手段１１４に相当するマルチプレク
サ２４１に送出する構成となっている。

【００４７】この場合は、マイクロプロセッサ２１５
は、画像データの輝度成分ｙの入力に応じて、上述した
マルチプレクサ２３２に比較回路２３１の出力の選択を
指示し、色差成分ｕ，ｖの入力に応じて、メモリ２３３
の出力の選択を指示するとともにメモリ２３３に相関情
報の出力を指示すればよい。これにより、輝度成分ｙの
入力に応じてメモリ２３３に保持された相関情報が、色
差成分ｕ，ｖの入力に応じて、色差成分ｕ，ｖについて
の相関の有無を示す判定結果として出力される。すなわ
ち、比較回路２３１とマルチプレクサ２３２とメモリ２
３３とマイクロプロセッサ２１５とにより、判定手段１
１２の機能が実現されており、画像データの各成分の入
力に応じて、各成分についての判定結果を順次に出力す
る構成となっている。

【００４８】また、上述した転送回路２１３は、この判
定手段１１２からの相関がない旨の判定結果に応じて転
送動作を行う構成となっており、これにより、画像バッ
ファ２１４に保持された各ブロックの輝度成分ｙのう
ち、前画像から変化しているブロックのみが書き換えら
れる。したがって、現画像の輝度成分ｙの入力の完了と
ともに、画像バッファ２１４に現画像を得て、次の画像
の処理の際に前画像として用いることができる。なお、
初期状態においては、画像バッファ２１４に各画素の輝
度成分ｙとしてそれぞれ零を格納しておけばよい。

【００４９】また、上述した転送動作に応じて、ＤＣＴ
変換部６１１および線型量子化部６２０が動作し、ブロ
ックバッファ２１２の内容をＡＤＣＴ方式を用いて変換
して得られたランおよびインデックスが、マルチプレク
サ２４１の入力端子の一方に入力される。

【００５０】このマルチプレクサ２４１の入力端子の他
方には、無効情報生成手段１１３に相当するＥＯＢ信号
生成部２４２の出力が入力されており、マルチプレクサ
２４１は、制御端子への相関がない旨の相関情報の入力
に応じて、線型量子化部６２０の出力を選択し、相関が
ある旨の相関情報の入力に応じて、ＥＯＢ信号生成部２
４２の出力を選択して、符号化部６３１に送出する構成
となっている。

【００５１】上述したＥＯＢ信号生成部２４２は、１ブ
ロックの最後の符号を示すＥＯＢ符号を繰り返し出力す
る構成とすればよい。これにより、画像データの各成分
の入力に応じて、前画像と相関のない有効なブロックに
対応する変換係数の量子化結果としてランおよびインデ
ックスが得られ、無効なブロックに対応して無効ブロッ
ク情報としてＥＯＢ符号が得られる。したがって、マル
チプレクサ２４１の出力を符号化部６３１が従来と同様
にして順次に符号化することにより、画像データの各成
分に対応して、有効なブロックに対応する符号データと
無効ブロック情報とを含んだ１画面分の符号データを得
ることができる。

【００５２】すなわち、符号化部６３１により、符号デ
ータ作成手段１１５の機能が果たされており、また、Ｄ
ＣＴ変換部６１１，線型量子化部６２０，符号化部６３
１により、符号化手段１０１の機能が果たされている。

【００５３】以下、図７に示した画像符号化装置による
画像データの各成分の符号化動作を説明する。図８に、
画像データの符号化動作を表す流れ図を示す。

【００５４】まず、画像入力部２１１により、現画像の
輝度成分ｙがブロックごとに入力され（ステップ３０
１）、これに応じて、変化量算出部２２０により、前画
像の対応するブロックとの変化量が算出される（ステッ
プ３０２）。次に、比較回路２３１により、上述した変
化量と閾値Th_yとの比較が行われ（ステップ３０３）、
この比較結果が各ブロックに対応する相関情報としてメ
モリ２３３に保持される（ステップ３０４）とともに、
マルチプレクサ２３２を介して、転送回路２１３とマル
チプレクサ２４１に送出される。

【００５５】上述した比較回路２３１により、前画像と
の相関がない旨の相関情報が得られた場合（ステップ３
０５の否定判定）は、転送回路２１３により、ブロック
バッファ２１２に保持された１ブロック分の輝度成分ｙ
が画像バッファ２１４に転送されて保持されるとともに
ＤＣＴ変換部６１１に転送される。この場合は、マルチ
プレクサ２４１によって線型量子化部６２０の出力が選
択され、符号化部６３１に入力されるので、該当するブ
ロックの輝度成分ｙをＡＤＣＴ方式で可変長符号化した
符号データが得られる（ステップ３０６）。

【００５６】一方、前画像との相関がある旨の相関情報
が得られた場合（ステップ３０５の肯定判定）は、マル
チプレクサ２４１によりＥＯＢ符号が選択され、符号化
部６３１により、このＥＯＢ符号が可変長符号化される
（ステップ３０７）。これにより、前画像と相関がある
とされたブロックの輝度成分ｙをＡＤＣＴ方式を用いて
得られる符号データの代わりに、１ブロックの終了を示
すＥＯＢ符号が得られ、該当するブロックが無効ブロッ
クである旨が示される。

【００５７】このようにして、ステップ３０５の判定結
果に応じて、ステップ３０６あるいはステップ３０７の
処理が終了したときに、マイクロプロセッサ２１５は、
全てのブロックについての処理が終了したか否かを判定
し（ステップ３０８）、未処理のブロックがある場合
（ステップ３０８の否定判定）は、ステップ３０１に戻
って次のブロックについての処理を行えばよい。

【００５８】上述した処理を各ブロックについて繰り返
し、全てのブロックの輝度成分ｙについての処理が終了
したときに、ステップ３０８の肯定判定として、色差成
分ｕ，ｖについての処理を開始する。

【００５９】これに応じて、マイクロプロセッサ２１５
が、まず、マルチプレクサ２３２にメモリ２３３の出力
の選択を指示し、また、メモリ２３３に対して、画像入
力部２１１による１ブロック分の色差成分の入力に応じ
て、該当するブロックについての相関情報の出力を指示
すればよい。

【００６０】この場合は、画像入力部２１１により、現
画像の色差成分ｕが１ブロックごとにブロックバッファ
２１２のみに入力され（ステップ３０９）、これに応じ
て、マルチプレクサ２３２を介して、上述したメモリ２
３３に保持された該当するブロックの相関情報が出力さ
れ、この相関情報に応じて、転送回路２１３およびマル
チプレクサ２４１が動作する。

【００６１】したがって、上述した輝度成分ｙについて
の処理で相関がない旨の相関情報が得られた場合（ステ
ップ３１０の否定判定）は、該当するブロックの色差成
分ｕをＤＣＴ変換部６１１と線型量子化部６２０とによ
って変換した結果が符号化部６３１に入力され、ＡＤＣ
Ｔ方式による符号データが得られる（ステップ３１
１）。一方、輝度成分ｙについての処理で相関がある旨
の相関情報が得られた場合（ステップ３１０の肯定判
定）は、該当するブロックが無効ブロックである旨のＥ
ＯＢ符号が得られる（ステップ３１２）。

【００６２】上述したステップ３０９〜ステップ３１２
の処理を各ブロックについて繰り返すことにより、輝度
成分ｙの変化量に基づいて得られた相関情報に応じて、
各ブロックの色差成分ｕの符号化処理が行われる。

【００６３】その後、ステップ３１３において、全ての
ブロックについての処理が終了したとされたときに、ス
テップ３１３の肯定判定として、色差成分ｕについての
処理を終了する。次に、上述したステップ３０９〜ステ
ップ３１３と同様にして、色差成分ｖについての符号化
処理を行って（ステップ３１４）、現画像の符号化処理
を終了し、次の画像の符号化処理を開始すればよい。

【００６４】このようにして、輝度成分ｙの変化量に基
づいて判定した相関の有無に応じて輝度成分ｙの符号化
処理を制御するとともに、色差成分ｕ，ｖの符号化処理
を制御することができ、請求項１の画像符号化方法を用
いた画像符号化装置を実現することができる。

【００６５】この場合は、色差成分ｕ，ｖの変化量の大
きさにかかわらず、輝度成分ｙについて得られた相関情
報をそのまま適用される。したがって、輝度成分ｙにつ
いての処理で相関がないとされたブロックは、色差成分
ｕ，ｖについても相関がないとされるので、輝度成分ｙ
の変化に伴う色差成分ｕ，ｖの微妙な変化をもれなく捉
え、前画像とは異なるブロックとして符号化することが
でき、色ずれや色にじみの発生を防ぐことができる。こ
れにより、前画像との相関の有無に応じて符号化する際
に生じる画質の劣化を抑えることが可能となり、上述し
た特願平３−３３６７５４号による復号装置により、高
画質の復元画像を得ることができる。

【００６６】ここで、写真などの自然画像においては、
輝度成分ｙの変化量が小さい場合には、色差成分ｕ，ｖ
の変化量は非常に小さく、これらの色差成分ｕ，ｖの変
化による色の変化は、人間の視覚によっては捉えられな
いことが多い。また、一般に、人間の視覚は、輝度成分
ｙの変化は敏感に捉えるが、色差成分ｕ，ｖの変化には
鈍感であるので、色差成分ｕ，ｖのみが変化した場合
に、捉えられる色の変化は微小である。

【００６７】したがって、テレビ会議などのように、自
然画像からなる動画像の符号化処理を行う場合は、この
ような色差成分ｕ，ｖの変化を無視したことによる画質
の劣化は小さく、輝度成分ｙの変化に伴う微妙な色差成
分ｕ，ｖの変化をもれなく捉えることによって得られる
画質の向上の効果の方が大きいから、全体として、各成
分を独立に判断した場合よりも高い画質が得られる。

【００６８】また、この場合は、色差成分ｕ，ｖについ
ての変化量の算出処理および閾値との比較処理を行う必
要がないので、符号化処理の高速化を図ることができ
る。また、画像バッファ２１４としては、輝度成分ｙに
対応して１画面分の容量を確保すればよいので、回路規
模の小型化を図ることもできる。

【００６９】ところで、コンピュータグラフィクスで得
られた画像においては、輝度成分ｙの変化を伴わずに色
差成分ｕ，ｖのみが大きく変化する場合も考えられるの
で、このような画像からなるアニメーションなどを符号
化する用途では、輝度成分ｙの変化に伴う色差成分ｕ，
ｖの微小な変化を捉えるとともに、色差成分ｕ，ｖのみ
の変化も独立に捉える必要がある。

【００７０】以下、第１成分についての相関の有無を考
慮しながら、他の成分についての相関の有無を判定し、
それぞれ符号化処理を行う方法について説明する。図９
に、請求項６の画像符号化装置の実施例構成を示す。

【００７１】但し、図９において、図７に示した各部に
対応する部分には同一の符号を付して示した。図９にお
いて、画像入力部２１１は、各画像の輝度成分ｙ，色差
成分ｕ，ｖを順次にそれぞれブロックごとに出力して、
変化量検出部２２０およびブロックバッファ２１２に入
力する構成となっている。

【００７２】また、画像データの３つの成分それぞれに
対応して、３つの画像バッファ２１４ｙ，２１４ｕ，２
１４ｖが設けられており、転送回路２１３からの画像デ
ータは、マイクロプロセッサ２１５からの指示で書込可
能状態となった画像バッファ２１４に入力されて保持さ
れる構成となっている。

【００７３】この場合は、３つの画像バッファ２１４
ｙ，２１４ｕ，２１４ｖと転送回路２１３と変化量検出
部２２０とにより、各成分対応の画像変化検出手段１２
１が形成されており、画像データの各成分について、ブ
ロックごとに前画像と現画像との変化量を順次に求める
構成となっている。

【００７４】また、メモリ２３３に代えて、マイクロプ
ロセッサ２１５からアクセス可能なメモリ２３４を備
え、このメモリ２３４に比較回路２３１で得られた輝度
成分ｙについての相関情報を保持する構成となってい
る。また、マイクロプロセッサ２１５は、色差成分ｕ，
ｖについての相関の有無を判定する際に、メモリ２３３
に保持された輝度成分ｙについての相関情報に応じて、
マルチプレクサ２３２を切り換える構成となっている。
また、比較回路２３１には、マルチプレクサ２３５を介
して、輝度成分ｙ用の閾値Th_yおよび色差成分ｕ，ｖ用
の２つの閾値Th_u，Th_vのいずれか１つが入力される構
成となっており、マイクロプロセッサ２１５が、各成分
の入力に応じて、対応する閾値の選択をマルチプレクサ
２３５に指示する構成となっている。

【００７５】すなわち、比較回路２３１とマルチプレク
サ２３２，２３４とメモリ２３３とマイクロプロセッサ
２１５とによって判定手段１２２および判定手段１２３
が形成されており、各成分についての相関の有無の判定
を順次に行い、輝度成分ｙについての判定結果に応じ
て、マイクロプロセッサ２１５がマルチプレクサ２３２
を切り換えることにより、色差成分ｕ，ｖについての判
定処理に輝度成分ｙについての相関情報を反映させる構
成となっている。

【００７６】図１０に、この画像符号化装置による符号
化動作を表す流れ図を示す。まず、上述したステップ３
０１〜ステップ３０８と同様にして、１画面分の全ての
ブロックの輝度成分についての符号化処理を行う（ステ
ップ４０１）。このとき、マイクロプロセッサ２１５
は、マルチプレクサ２３５に閾値Th_yの選択を指示し
て、比較回路２３１に閾値Th_yを設定しておけばよい。
また、各ブロックの輝度成分の入力に応じて、画像バッ
ファ２１４ｙを書込可能状態とするとともに、該当する
ブロックのアドレスを指定することにより、前画像と相
関なしとされたブロックの輝度成分ｙの書換え動作を制
御すればよい。

【００７７】次に、マイクロプロセッサ２１５は、マル
チプレクサ２３５に閾値Th_uの選択を指示して、比較回
路２３１にこの閾値Th_uを設定してから、色差成分ｕの
符号化処理を開始する。

【００７８】まず、画像入力部２１１による各ブロック
の色差成分ｕの入力（ステップ４０２）に応じて、マイ
クロプロセッサ２１５は、メモリ２３３に保持された対
応するブロックの相関情報を参照し（ステップ４０
３）、該当するブロックの輝度成分ｙが前画像の対応す
るブロックの輝度成分ｙとの間に相関があるか否かを判
定する（ステップ４０４）。

【００７９】ステップ４０４の否定判定の場合は、色差
成分ｕについても相関がないと判断して、上述したステ
ップ３０６と同様にＡＤＣＴ方式による符号化処理を行
う（ステップ４０５）。また、このとき、マイクロプロ
セッサ２１５は、画像バッファ２１４ｕを書込可能状態
とするとともに、該当するブロックのアドレスを指定し
て、該当するブロックの色差成分ｕの書換え動作を制御
すればよい。

【００８０】一方、ステップ４０４の肯定判定の場合
は、上述したステップ３０２と同様にして色差成分ｕに
ついての変化量を求め（ステップ４０６）、この変化量
に基づいて、該当するブロックの色差成分ｕと前画像の
対応するブロックの色差成分ｕとの間に相関があるか否
かを判定する（ステップ４０７）。これにより、比較回
路２３１により、変化量算出部２２０で得られた変化量
と閾値Th_uとの比較が行われ、輝度成分ｙの相関の有無
とは独立に色差成分ｕの相関の有無が判定される。ま
た、このとき、マイクロプロセッサ２１５がメモリ２３
４を書込不可状態としてメモリ２３４の書換えを防い
で、輝度成分ｙについての相関情報を保持すればよい。

【００８１】上述したステップ４０７の否定判定の場合
は、ステップ４０５に進んで符号化処理を行い、肯定判
定の場合は、ステップ３０７と同様にして、ＥＯＢ符号
の符号化処理を行い（ステップ４０８）、該当するブロ
ックが無効ブロックである旨の符号データを得ればよ
い。

【００８２】このようにして、各ブロックの色差成分ｕ
の符号化処理を行っていき、１画面分の全てのブロック
の符号化処理を終了したときに、ステップ４０９におけ
る肯定判定として、色差成分ｕについての符号化処理を
終了する。その後、マイクロプロセッサ２１５は、マル
チプレクサ２３５に閾値Th_vの選択を指示し、上述した
ステップ４０２〜ステップ４０９と同様にして、色差成
分ｖの符号化処理を行って（ステップ４１０）、１画面
分の画像の処理を終了し、次の画像の符号化処理を開始
すればよい。

【００８３】この場合は、輝度成分ｙについての相関情
報によって、前画像と相関があるとされたブロックにつ
いては、色差成分ｕ，ｖそれぞれについて、輝度成分ｙ
とは独立に相関の有無が判定される。したがって、色差
成分ｕ，ｖのみが変化した場合に、これらの変化が無視
されることはない。また、輝度成分ｙが変化している場
合は、色差成分ｕ，ｖも変化しているとされるので、輝
度成分ｙの変化に伴う色差成分ｕ，ｖの微妙な変化をも
れなく検出するとともに、輝度成分ｙの変化を伴わない
色差成分ｕ，ｖの変化も検出し、これらの変化に関する
情報を含んだ符号データを得ることができる。このよう
にして、請求項２の画像符号化方法を用いた画像符号化
装置を実現することができ、動画像を構成する各静止画
像を前画像との相関の有無に応じて符号化する際に、画
質の劣化を抑えることが可能となる。

【００８４】また、上述した画像符号化装置で得られた
符号データは、色差成分ｕ，ｖのみの変化に関する情報
も含んでいるので、自然画像だけでなくコンピュータグ
ラフィクスによる画像からなる動画像の符号化処理に適
用することができ、簡易でかつ高い画質の復元画像が得
られる画像符号化装置を実現することができる。

【００８５】上述したように、輝度成分ｙについての相
関情報で前画像と相関がないとされた場合に、色差成分
ｕ，ｖについても前画像と相関がないとすると、色差成
分ｕ，ｖに全く変化がなくても、前画像と相関のない有
効なブロックとしてＡＤＣＴ符号化処理が行われる。し
かしながら、このようにして得られた符号データから復
元される色差成分ｕ，ｖは、前画像の色差成分ｕ，ｖと
全く同一であるから、上述した場合について色差成分
ｕ，ｖについて行った符号化処理および復元処理は無駄
な処理となってしまう。

【００８６】以下、このような無駄な処理を削減して、
符号化処理および復元処理の高速化を図る方法について
説明する。図１１に、請求項７の画像符号化装置の実施
例構成図を示す。

【００８７】但し、図９に示した画像符号化装置の各部
に対応するものについては、同一の符号を付して示し
た。図１１において、請求項７の画像符号化装置は、図
９に示したマルチプレクサ２３５に代えて、５入力のマ
ルチプレクサ２３６を備えて構成されており、このマル
チプレクサ２３６により、５つの閾値Th_y，Th_u1，T
h_u2，Th_v1，Th_v2のいずれかを選択して、比較回路２３
１に入力する構成となっている。また、マルチプレクサ
２３２は除去されており、比較回路２３１の出力がその
まま相関情報として、転送回路２１３およびマルチプレ
クサ２４１に送出されている。

【００８８】この場合は、色差成分ｕ（あるいは色差成
分ｖ）についての相関の有無を判定する際に、マイクロ
プロセッサ２１５が、メモリ２３３に保持された該当す
るブロックの輝度成分ｙについての相関情報に応じて、
対応する閾値Th_u1，Th_u2（あるいは閾値Th_v1，Th_v2）の
一方を選択する旨を指示すればよい。

【００８９】このようにして、マルチプレクサ２３６と
マイクロプロセッサ２１５とにより、閾値決定手段１３
１の機能が実現され、輝度成分ｙについての相関情報に
応じて、色差成分ｕ，ｖに対応する閾値を変更し、これ
らの閾値を該当する成分の入力に応じて比較回路２３１
に設定することにより、この比較回路２３１を用いて、
各成分に対応する判定手段１３２の機能を実現すること
ができる。

【００９０】ここで、上述した閾値Th_u1，Th_v1として
は、輝度成分ｙの変化の有無にかかわらず、人間の視覚
によって色の変化として捉えられる色差成分ｕ，ｖの最
少の変化量に相当する値を設定し、閾値Th_u2，Th_v2とし
ては、輝度成分ｙの変化がある場合に、人間の視覚によ
って色の変化として捉えられる最少の変化量に相当する
値を設定すればよい。

【００９１】図１２に、この画像符号化装置による符号
化動作を表す流れ図を示す。まず、上述したステップ３
０１〜ステップ３０８と同様にして、１画面分の全ての
ブロックの輝度成分についての符号化処理を行う（ステ
ップ５０１）とともに、画像バッファ２１４ｙを書込可
能状態として、前画像と相関なしとされたブロックの輝
度成分ｙの書換え動作を行う。

【００９２】次に、ステップ４０２，４０３と同様に、
画像入力部２１１による各ブロックの色差成分ｕの入力
に応じて、マイクロプロセッサ２１５は、メモリ２３３
に保持された対応するブロックの相関情報を参照し（ス
テップ５０２，５０３）、該当するブロックの輝度成分
ｙが前画像の対応するブロックの輝度成分ｙとの間に相
関があるか否かを判定する（ステップ５０４）。

【００９３】ステップ５０４の否定判定の場合は、輝度
成分ｙの変化に伴う色差成分ｕの微小な変化を検出する
ために、マイクロプロセッサ２１５は、マルチプレクサ
２３６に閾値Th_u2の選択を指示し（ステップ５０５）、
一方、ステップ５０４の肯定判定の場合は、輝度成分ｙ
の変化とは独立に色差成分ｕの相関を判定するために、
マルチプレクサ２３６に閾値Th_u1の選択を指示して（ス
テップ５０６）、ステップ５０７に進む。。

【００９４】ステップ５０７において、比較回路２３１
により、上述したステップ５０５あるいはステップ５０
６で設定された閾値と変化量算出部２２０で得られた変
化量とを比較することにより、該当するブロックの色差
成分ｕと前画像の対応するブロックの色差成分ｕとの間
に相関があるか否かを判定する。

【００９５】このステップ５０７の否定判定の場合は、
該当するブロックは、前画像の対応するブロックとは異
なる有効なブロックであると判断して、上述したステッ
プ３０６と同様にＡＤＣＴ方式による符号化処理を行う
（ステップ５０８）とともに、画像バッファ２１４ｕを
書込可能状態として、該当するブロックの書換え動作を
行う。

【００９６】一方、ステップ５０７の肯定判定の場合
は、該当するブロックは無効ブロックであると判断さ
れ、ＥＯＢ符号の可変長符号化処理が行われて（ステッ
プ５０９）、無効ブロックであることを示す符号データ
が得られる。

【００９７】上述したステップ５０２〜ステップ５０９
を各ブロックについて繰り返し、全てのブロックについ
ての処理が終了したとき（テップ５１０の肯定判定）
に、１画面分の色差成分ｕの符号化処理が終了する。そ
の後、今度は、色差成分ｖの各ブロックについて、ステ
ップ５０２〜ステップ５０９と同様にして符号化処理を
行い（ステップ５１１）、１画面分の符号化処理を終了
し、次の画像の符号化処理を開始すればよい。

【００９８】このようにして、輝度成分ｙについての相
関情報に応じた閾値を用いて、色差成分ｕ，ｖについて
の相関の有無を判定することができ、請求項３の画像符
号化方法を用いた画像符号化装置を実現することができ
る。

【００９９】この場合は、輝度成分ｙについての相関情
報で前画像と異なるブロックである旨が示されていて
も、色差成分ｕ，ｖそれぞれに全く変化がない場合は、
該当する成分については無効ブロックであると判断さ
れ、ＡＤＣＴ方式による符号化処理は省略される。一
方、色差成分ｕ，ｖに人間の視覚で捉えられる変化があ
る場合は、有効なブロックとして符号化されるので、色
ずれや色にじみの発生による画質の劣化を防ぐことが可
能であり、無駄な処理を省いて符号化処理全体としての
高速化を図るとともに、高い画質の復元画像を得ること
ができる。

【０１００】なお、請求項１〜３の画像符号化方法およ
び請求項５〜７の画像符号化装置は、輝度成分ｙと色差
成分ｕ，ｖとからなる画像データで表す場合に限らず、
様々な表色系を用いて表された画像データに適用するこ
とができる。

【０１０１】この場合は、人間の視覚によって最も変化
が捉えられやすい成分を第１成分とすればよく、例え
ば、各画素の色をＬ^*ａ^*ｂ^*表色系を用いて表した画
像データに適用する場合は、明度成分を第１成分とし、
２つの色差成分を第２，第３成分とすればよい。

【０１０２】

【発明の効果】以上説明したように本発明は、画像デー
タの第１成分が前画像から変化しているか否かを考慮し
て、他の成分についての前画像との相関を判定すること
により、第１成分の変化に伴う他の成分の微小な変化を
もれなく捉え、有効なブロックとして符号化することが
できる。したがって、色ずれや色にじみなどの発生を防
いで、前画像との相関の有無に応じて符号化する際の画
質の劣化を抑えることが可能であり、簡易な構成で高画
質の復元画像を得ることが可能な画像符号化装置を実現
することができる。

【０１０３】更に、第１成分について相関があるとされ
た場合に、他の成分についての相関の有無を独立に行う
ことにより、他の成分のみの変化ももれなく捉えて有効
なブロックとして符号化することができるので、コンピ
ュータグラフィクスなどにも適用することができる。

【０１０４】また、第１成分についての判定結果に応じ
た閾値を用いて、他の成分についての相関の有無を判定
することにより、第１成分の変化に対応する変化が全く
ないブロックを有効なブロックから排除することができ
るので、これらのブロックについての無駄な処理を削減
して、符号化処理および復元処理の高速化を図ることが
できる。

【図面の簡単な説明】

【図１】請求項１の画像符号化方法の原理を示す図であ
る。

【図２】請求項２の画像符号化方法の原理を示す図であ
る。

【図３】請求項３の画像符号化方法の原理を示す図であ
る。

【図４】請求項５の画像符号化装置の原理ブロック図で
ある。

【図５】請求項６の画像符号化装置の原理ブロック図で
ある。

【図６】請求項７の画像符号化装置の原理ブロック図で
ある。

【図７】請求項５の画像符号化装置の実施例構成図であ
る。

【図８】画像データの符号化動作を表す流れ図である。

【図９】請求項６の画像符号化装置の実施例構成図であ
る。

【図１０】画像データの符号化動作を表す流れ図であ
る。

【図１１】請求項７の画像符号化装置の実施例構成図で
ある。

【図１２】画像データの符号化動作を表す流れ図であ
る。

【図１３】従来の画像符号化装置の構成図である。

【図１４】ブロックの例を示す図である。

【図１５】ＤＣＴ係数Ｄの例を示す図である。

【図１６】量子化マトリクスＶ_THを示す図である。

【図１７】量子化係数Ｄ_QUの例を示す図である。

【図１８】ジグザグスキャンの説明図である。

【図１９】画像復元装置の構成図である。

【図２０】動画像用の画像符号化装置の構成図である。

【図２１】動画像用の画像復元装置の構成図である。

【符号の説明】

１０１符号化手段１１１，１２１画像変化検出手段１１２，１２２，１２３，１３２判定手段１１３無効情報生成手段１１４，１２４選択手段１１５符号データ作成手段１３１閾値決定手段２１１画像入力部２１２ブロックバッファ２１３転送回路２１４，６４２，７４２画像バッファ２１５マイクロプロセッサ２２０変化量算出部２２１減算器２２２最大値検出部２３１比較回路２３２，２３５，２３６，２４１マルチプレクサ（Ｍ
ＰＸ）２３３，２３４メモリ２４２ＥＯＢ信号生成部６１１ＤＣＴ変換部６２０線型量子化部６３１符号化部６３２符号表６４１差分画像生成部７１１復号部７１２復号表７２０逆量子化部７３１逆ＤＣＴ変換部７４１加算部

Claims

【特許請求の範囲】

【請求項１】一連の画像それぞれを複数の画素からな
るブロックに分割し、これらのブロックごとに各画素の
色を複数の成分を用いて表す画像データを符号化して、
動画像の符号化を行う画像符号化方法において、前記画像データの第１成分について、各画像とその前の
画像との間の変化量をブロックごとに求め、前記変化量の大きさに基づいて、ブロックごとに各画像
とその前の画像との間に相関があるか否かを判定し、相関がないとされた場合は、該当するブロックを有効な
ブロックとして画像データの全ての成分をそれぞれ符号
化して符号データを作成し、相関があるとされた場合は、画像データの全ての成分に
対応して、該当するブロックが前の画像からの変化がな
い無効なブロックである旨の無効ブロック情報を生成
し、前記一連の画像それぞれについて、各成分に対応して前
記符号データと前記無効ブロック情報とからなる符号デ
ータを得ることを特徴とする画像符号化方法。
【請求項２】一連の画像それぞれを複数の画素からな
るブロックに分割し、これらのブロックごとに各画素の
色を複数の成分を用いて表す画像データを符号化して、
動画像の符号化を行う画像符号化方法において、前記画像データの各成分について、各画像とその前の画
像との間の変化量をそれぞれ求め、前記画像データの第１成分について得られた変化量の大
きさに基づいて、各画像のブロックごとにその前の画像
との間に前記第１成分についての相関があるか否かを判
定し、前記第１成分についての相関がないとされた場合は、該
当するブロックを有効なブロックとして画像データの全
ての成分をそれぞれ符号化して符号データを作成し、前記第１成分についての相関があるとされた場合は、他
の成分について得られた変化量の大きさに基づいて、該
当するブロックとその前の画像の対応するブロックとの
間に、前記他の成分についての相関があるか否かをそれ
ぞれ判定し、相関がない旨の判定結果が得られた成分については、該
当するブロックを有効なブロックとして画像データの該
当する成分を符号化してその成分に対応する符号データ
を作成し、相関がある旨の判定結果が得られた成分につ
いては、該当するブロックが前の画像からの変化がない
無効なブロックである旨の無効ブロック情報を該当する
成分に対応して生成し、前記一連の画像それぞれについて、各成分に対応して符
号データおよび無効ブロック情報とからなる符号データ
を得ることを特徴とする画像符号化方法。
【請求項３】一連の画像それぞれを複数の画素からな
るブロックに分割し、これらのブロックごとに各画素の
色を複数の成分を用いて表す画像データを符号化して、
動画像の符号化を行う画像符号化方法において、前記画像データの全ての成分について、各画像とその前
の画像との間の変化量をそれぞれ求め、前記画像データの第１成分について得られた変化量の大
きさに基づいて、各画像のブロックごとにその前の画像
との間に前記第１成分についての相関があるか否かを判
定し、前記第１成分についての相関の判定結果に応じて、他の
成分についての相関の有無を判定するための閾値を決定
し、得られた閾値と前記他の成分についてそれぞれ得られた
変化量の大きさとに基づいて、各画像のブロックごとに
その前の画像との間に前記他の成分についての相関があ
るか否かをそれぞれ判定し、相関がない旨の判定結果が得られた成分については、該
当するブロックを有効なブロックとして画像データの該
当する成分を符号化してその成分に対応する符号データ
を作成し、相関がある旨の判定結果が得られた成分につ
いては、該当するブロックが前の画像からの変化がない
無効なブロックである旨の無効ブロック情報を該当する
成分に対応して生成し、前記一連の画像それぞれについて、各成分に対応して符
号データおよび無効ブロック情報とからなる符号データ
を得ることを特徴とする画像符号化方法。
【請求項４】請求項１〜請求項３のいずれかに記載の
画像符号化方法において、画像データを輝度成分と色差成分とで表し、前記輝度成
分を第１成分とし、色差成分を他の成分としたことを特
徴とする画像符号化方法。
【請求項５】一連の画像それぞれの各画素の色を複数
の成分を用いて表す画像データの入力に応じて、各画像
を複数の画素からなるブロックに分割し、各ブロックご
とに前記画像データの各成分を符号化する符号化手段
（１０１）を有し、前記一連の画像からなる動画像の符
号化を行う画像符号化装置において、前記画像データの第１成分の入力に応じて、前記ブロッ
クごとに各画像とその前の画像との間の前記第１成分の
値の変化を検出し、その変化量を出力する画像変化検出
手段（１１１）と、前記変化量の大きさに応じて、各画像とその前の画像と
の間の相関の有無をブロックごとに判定する判定手段
（１１２）と、前記各ブロックが前の画像からの変化のない無効なブロ
ックである旨の無効ブロック情報を生成する無効情報生
成手段（１１３）と、前記判定手段（１１２）による相関がない旨の判定結果
の入力に応じて、前記符号化手段（１０１）で得られた
該当するブロックの符号化結果を画像データの各成分に
対応する符号データとして選択し、相関がある旨の判定
結果の入力に応じて、前記無効情報生成手段（１１３）
からの無効ブロック情報を選択して出力する選択手段
（１１４）と、前記画像データの各成分に対応して選択された符号デー
タおよび無効ブロック情報から、前記一連の画像それぞ
れについて、前記各成分に対応する符号データを作成す
る符号データ作成手段（１１５）とを備えたことを特徴
とする画像符号化装置。
【請求項６】一連の画像それぞれの各画素の色を複数
の成分を用いて表す画像データの入力に応じて、各画像
を複数の画素からなるブロックに分割し、各ブロックご
とに前記画像データの各成分を符号化する符号化手段
（１０１）を有し、前記一連の画像からなる動画像の符
号化を行う画像符号化装置において、前記画像データの対応する成分の入力に応じて、前記ブ
ロックごとに各画像とその前の画像との間の該当する成
分の値の変化を検出し、その変化量をそれぞれ出力する
複数の画像変化検出手段（１２１）と、前記画像データの第１成分に対応する画像変化検出手段
（１２１）で得られた変化量の大きさに応じて、各画像
とその前の画像との間の前記第１成分についての相関の
有無をブロックごとに判定する判定手段（１２２）と、前記画像データの第１成分以外の他の成分に対応して設
けられ、前記第１成分についての相関がない旨の判定結
果の入力に応じて、対応する成分についての相関がない
旨の判定結果を出力し、前記第１成分についての相関が
ある旨の判定結果の入力に応じて、対応する画像変化検
出手段（１２１）で得られた変化量の大きさに応じて、
該当する成分についての各画像とその前の画像との間の
相関の有無をブロックごとに判定する判定手段（１２
３）と、前記各ブロックが前の画像からの変化のない無効なブロ
ックである旨の無効ブロック情報を生成する無効情報生
成手段（１１３）と、各成分についての相関がない旨の判定結果の入力に応じ
て、前記符号化手段（１０１）で得られた該当するブロ
ックの符号化結果を画像データの対応する成分の符号デ
ータとして選択し、相関がある旨の判定結果の入力に応
じて、前記無効情報生成手段（１１３）からの無効ブロ
ック情報を選択して出力する選択手段（１２４）と、前記画像データの各成分に対応して選択された符号デー
タおよび無効ブロック情報から、前記一連の画像それぞ
れについて、前記各成分に対応する符号データを作成す
る符号データ作成手段（１１５）とを備えたことを特徴
とする画像符号化装置。
【請求項７】一連の画像それぞれの各画素の色を複数
の成分を用いて表す画像データの入力に応じて、各画像
を複数の画素からなるブロックに分割し、各ブロックご
とに前記画像データの各成分を符号化する符号化手段
（１０１）を有し、前記一連の画像からなる動画像の符
号化を行う画像符号化装置において、前記画像データの対応する成分の入力に応じて、前記ブ
ロックごとに各画像とその前の画像との間の該当する成
分の値の変化を検出し、その変化量をそれぞれ出力する
複数の画像変化検出手段（１２１）と、前記画像データの第１成分に対応する画像変化検出手段
（１２１）で得られた変化量の大きさに応じて、各画像
とその前の画像との間の前記第１成分についての相関の
有無をブロックごとに判定する判定手段（１２２）と、前記画像データの第１成分以外の他の成分に対応して設
けられ、前記判定手段（１２２）による判定結果に応じ
て、前記他の成分についての相関の有無を判定するため
の閾値をそれぞれ決定する閾値決定手段（１３１）と、対応する閾値決定手段（１３１）で得られた閾値と対応
する画像変化検出手段（１２１）で得られた変化量とに
基づいて、該当する成分についての各画像とその前の画
像との間の相関の有無をブロックごとに判定する判定手
段（１３２）と、前記各ブロックが前の画像からの変化のない無効なブロ
ックである旨の無効ブロック情報を生成する無効情報生
成手段（１１３）と、各成分についての相関がない旨の判定結果の入力に応じ
て、前記符号化手段（１０１）で得られた該当するブロ
ックの符号化結果を画像データの対応する成分の符号デ
ータとして選択し、相関がある旨の判定結果の入力に応
じて、前記無効情報生成手段（１１３）からの無効ブロ
ック情報を選択して出力する選択手段（１２４）と、前記画像データの各成分に対応して選択された符号デー
タおよび無効ブロック情報から、前記一連の画像それぞ
れについて、前記各成分に対応する符号データを作成す
る符号データ作成手段（１１５）とを備えたことを特徴
とする画像符号化装置。
【請求項８】請求項５〜請求項７のいずれかに記載の
画像符号化装置において、画像データを輝度成分と色差成分とで表し、前記輝度成
分を第１成分とし、色差成分を他の成分としたことを特
徴とする画像符号化装置。