JP3197420B2 - 画像符号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ電話やテレビ会
議などの画像通信機器やデジタルＶＴＲなどの画像蓄積
・記録機器などに用いられる画像符号化装置に関する。

【０００２】

【従来の技術】デジタル画像の伝送や記録の効率化のた
めに、従来より様々な画像符号化技術が開発されてい
る。

【０００３】図９は、国際電信電話諮問委員会ＩＴＵ−
Ｔの勧告Ｈ．２６１に示された従来の画像符号化装置を
示すブロック図である。図９に示した装置において、ま
ず符号化すべき入力デジタル画像信号１０１は、差分器
２１に入力される。差分器２１は、この入力デジタル画
像信号１０１と後述する予測信号１３６との差分をと
り、その差分信号を予測誤差信号１３１として出力す
る。符号化部２２は、予測誤差信号１３１を符号化して
符号化データ１３２を出力する。符号化部２２における
符号化の方法としては、予測誤差信号を直交変換の一種
であるＤＣＴ（離散コサイン変換）を用いて空間領域か
ら周波数領域に変換し、ＤＣＴによって得られた変換係
数を線形量子化する手法が前記勧告では採用されてい
る。

【０００４】前記符号化部２２で得られた符号化データ
１３２は２つに分岐され、一方は図示しない受信側復号
装置に向けて送出され、他方は本装置内の復号部２３に
入力される。復号部２３は、符号化部２２と逆の動作を
行い、符号化データ１３２より復号予測誤差信号１３３
を求めて出力する。加算器２４は、復号予測誤差信号１
３３を予測信号１３６に加算することにより復号画像信
号１３４を求め、出力する。復号画像信号１３４はフレ
ームメモリ等のメモリ２５に１フレーム分まとめて記憶
される。メモリ２５は記憶した復号画像信号を１フレー
ム分の遅延させ、前フレームの復号画像信号１３５とし
て出力する。予測部２６は、符号化すべき入力デジタル
画像信号１０１と１フレーム前の復号画像信号１３５と
を用いて動き補償予測を行い、予測信号１３６と動きベ
クトル１３７を出力する。そして、動きベクトル１３７
は図示しない受信側復号装置に向かって送出され、予測
信号１３６は前記差分器２１および加算器２４に送られ
る。

【０００５】

【発明が解決しようとする課題】従来の画像符号化装置
は以上のように構成されており、符号化部は符号化する
画像の内容に関わりなく１フレーム分の画像をほぼ一様
に符号化するものであり、またメモリも画像の１フレー
ム分だけを保持し１フレームごとに書き換えられるもの
であったので、符号化の効率の向上が図れないという問
題があった。

【０００６】本発明は前述の問題点を解決するためにな
されたものであり、画像の内容に合わせて符号化を行
い、またメモリの書き換えも画像の内容に合わせて行う
ことにより、符号化の効率を向上させる画像符号化装置
を提供することを目的とする。

【０００７】

【課題を解決するための手段】前述の目的を達成するた
めに、本発明に係る画像符号化装置は、任意の形状やサ
イズを持った予測元画像信号と、前記予測元画像信号と
は異なる形状やサイズを持った符号化対象画像信号を入
力し、前記予測元画像信号に対して内挿・外挿による補
間処理を行い、その結果得られた画像信号と前記符号化
対象画像信号との間で予測誤差信号を求め、求めた予測
誤差信号の予測符号化を行うことを特徴とする。

【０００８】また、本発明に係る画像符号化装置は、符
号化対象の画像信号に対応する予測元画像信号を画像メ
モリから読み出し、この予測元画像信号から予測関数を
用いて予測信号を生成する予測部と、前記符号化対象画
像信号と前記予測部で求められた予測信号とから予測誤
差信号を抽出して出力する予測誤差抽出部と、前記予測
誤差抽出部で得られた予測誤差信号を符号化して符号化
データを出力する符号化部と、前記符号化部から出力さ
れる符号化データを復号して復号予測誤差信号を出力す
る復号部と、前記復号部から出力された復号予測誤差信
号と、前記予測部から出力された予測信号とから復号画
像信号を合成する信号合成部と、前記信号合成部で合成
された復号画像信号を前記画像メモリに記憶させる制御
部と、を備え、前記予測部は、前記予測元画像信号が前
記符号化対象の画像信号とは異なる形状やサイズを持っ
ている場合、その予測元画像信号に対して内挿・外挿に
よる補間処理を行い、この結果得られた画像信号から前
記予測信号を生成することを特徴とする。

【０００９】さらに、本発明に係る画像符号化装置は、
符号化対象の画像信号を複数の領域に分割し、領域分割
情報を付与した画像信号を出力する領域分割部と、前記
領域分割部で分割された各領域毎に、その領域の符号化
対象画像信号に類似する画像信号を予測元画像信号とし
て画像メモリから読み出し、この予測元画像信号から予
測関数を用いて予測信号を生成する予測部と、前記各領
域毎に、その領域の符号化対象画像信号と前記予測部で
求められた予測信号とから予測誤差信号を抽出して出力
する予測誤差抽出部と、前記各領域毎に、前記予測誤差
抽出部で求められた予測誤差信号を符号化して領域分割
情報を含んだ符号化データを出力する符号化部と、前記
符号化部から出力される符号化データを復号して復号予
測誤差信号を出力する復号部と、前記各領域毎に、前記
復号予測誤差信号と前記予測信号とから復号画像信号を
合成する信号合成部と、前記信号合成部で合成された前
記各領域の復号画像信号を前記画像メモリに記憶させる
制御部と、を備え、前記予測部は、前記各領域について
予測信号を生成するに当たり、前記予測元画像信号が当
該領域の符号化対象画像信号とは異なる形状やサイズを
持っている場合、その予測元画像信号に対して内挿・外
挿による補間処理を行い、この結果得られた画像信号か
ら前記予測信号を生成することを特徴とする。

【００１０】

【作用】本発明によれば、任意の形状やサイズを持った
予測元画像信号と、前記予測元画像信号とは異なる形状
やサイズを持った符号化対象画像信号に対し、予測元画
像信号に対して内挿・外挿による補間処理を行い、得ら
れた画像信号から予測誤差信号を求めるので、符号化デ
ータの発生量を低減することができる。

【００１１】

【００１２】

【００１３】

【００１４】

【００１５】

【００１６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。

【００１７】図１は、画像符号化装置の第１の例を示す
ブロック図である。図に示したように、符号化すべき入
力デジタル画像信号１０１は、まず領域分割部１に入力
される。領域分割部１は、フレームメモリ等の画像信号
記憶用メモリを有し、１フレーム分の入力デジタル画像
信号１０１を用いてそのメモリ上に入力画像を構成し、
構成された入力画像を、例えば画像中に含まれる特定の
形状等に着目して、複数の領域に分割する。

【００１８】領域分割の手法としては、例えば画像記憶
用メモリ上に構成された入力画像に対して微分演算等を
行うことにより、入力画像のエッジを検出し、入力画像
のうちエッジによって囲まれる部分を１つの領域とする
という方法を用いることができる。例えば、本装置をテ
レビ会議に適用する場合、入力画像として図２のような
人物と背景とからなる画像が与えられるのが一般的であ
るが、これをエッジ検出により領域分割することによ
り、動きのある人物の領域２０１、静止している人物の
領域２０２、及び背景や前景を構成する机の領域２０
３、絵画の領域２０４、時計の領域２０５、壁２０６の
領域とに分割することができる。

【００１９】なお、エッジによって領域分割を行う場合
には、例えば人物の顔画像を例に挙げると、顔を表すエ
ッジに囲まれた領域の中には目、鼻、口等のエッジに囲
まれた領域が検出されるが、これら顔領域内部の領域に
ついては、これを別々の領域に分けずに顔の領域に統合
して顔全体として一つの領域として取り扱うこともでき
る。この場合、符号化時において細かい領域ごとの処理
を行わずに済むので、符号化の効率が上がる。このとき
の領域の統合は、パターン認識等の手法によって行う。
すなわち、パターン認識等により、ある領域が顔を示す
領域であると判定された場合、その領域内にあるエッジ
の囲む領域を独立した領域に分割せずに顔全体で１つの
領域にまとめる。

【００２０】この領域分割が終了すると、領域分割部１
は、入力デジタル画像信号１０１に領域分割情報が付加
された画像信号１０２を出力する。この画像信号１０２
は、領域分割部１のメモリ上の画像データを、分割され
た領域ごとに順番に出力したものとなる。すなわち、図
２を例にとると、まず人物２０１の領域の画像データが
画像信号として出力され、次に人物２０２の領域の画像
データが画像信号として出力されるといった具合に、各
領域の画像データが順次出力される。この場合、各領域
の画像信号には、その画像信号が画面上のどの部分に当
たるかを示すアドレス情報を付加する。また、この他に
も画像信号１０２としては、例えば入力デジタル画像信
号１０１と同様に、領域分割部１のメモリ上の画像を走
査線に沿って左上から右下にかけて出力してもよく、こ
の場合はそれぞれの画像信号がどの領域に含まれるかを
示す識別情報をオーバーヘッド情報として付加する。

【００２１】このようにして得られた領域分割情報を含
んだ画像信号１０２は、２つに分岐され階層化部２及び
符号化部４に入力される。

【００２２】階層化部２は、領域分割部１と同様にフレ
ームメモリ等の画像記憶用メモリを有し、領域分割部１
から出力された画像信号１０２を用いてそのメモリ上に
各領域の画像を構成し、構成された各領域の画像に基づ
いて、画像全体における各領域の重要度を判定し、その
重要度に応じて各領域をクラス分けする。

【００２３】この際、画像信号１０２が各領域ごとに順
番に出力される方式である場合、階層化部２のメモリ上
には各領域の画像が順番に形成され、メモリ上に画像形
成される順番に各領域の重要度が判定され、クラス分け
される。また、入力画像信号に領域を示すオーバーヘッ
ド情報を付加して、通常の走査順序に従って出力する方
式の場合は、階層化部２のメモリ上にすべての領域の画
像を形成してから、各領域ごとに重要度を判定する。

【００２４】画像領域の重要度は、画像を見る人がその
画像中において注目をする度合いが大きな領域ほど高く
なるが、その基準は当然ながら装置が適用される対象に
よって異なる。例えばテレビ会議では、人物の重要度が
高く、背景や前景となる机や壁等の静物の重要度は低
い。また、同じ人物でも、発言中の（すなわち動きのあ
る）人物のほうが重要度は高いと言える。従って、図２
に示した例では、例えば各領域の３つのクラスにクラス
分けする場合、人物領域２０１を最も重要度の高いクラ
ス１にクラス分けし、人物領域２０２はその次のクラス
２にクラス分けし、机や壁の領域を最も重要度の低いク
ラス３にクラス分けすることができる。この他にも、重
要度を示す指標としては、画像中における領域の動きの
大きさや動きの頻度なども考えられる。この場合、動き
の大きい領域、動きの頻度の多い領域ほど重要度が高く
なる。このような重要度の判定基準は、装置が適用され
る対象等に応じて適宜設定する。

【００２５】例えば、前述したエッジ検出による領域分
割を行う場合には、階層化部２は各領域のエッジの形状
に対してパターン認識等を行うことにより、人物の領域
とそれ以外の背景の壁等の領域とに分別し、さらに現フ
レームと前フレームとの間の各領域の動きの情報を加味
することにより発言中の人物の領域とそうでない人物の
領域とを分別する。そして、発言中の人物の領域は最も
重要度の高いクラス１に、人物以外の各領域は最も重要
度の低いクラス３にといった具合にクラス分けを行う。

【００２６】階層化部２は、このようにして各領域のク
ラス分けを行い、各領域のクラスを示すクラス識別信号
１０３を符号化部４に対して出力する。

【００２７】符号化部４は、領域分割部１からの領域分
割情報を含んだ画像信号１０２を、ＰＣＭやＤＰＣＭ等
により符号化し、符号化データ１０５を出力する。この
符号化の際に、符号化部４には、前記階層化部２からの
クラス識別信号１０３が各領域ごとに画像信号１０２に
同期しながら入力される。符号化部４では、このクラス
識別信号１０３に応じて、各領域の画像信号１０２を符
号化する際の符号化制御パラメータを変更しつつ符号化
を行う。

【００２８】符号化制御パラメータには、例えば符号化
を行う時間間隔がある。階層化部２からのクラス識別信
号１０３に応じて、重要度の低いクラスほど符号化の時
間間隔を大きくする。すなわち、重要度の高いクラス１
に含まれる領域の画像信号は毎フレーム符号化を行い、
以下重要度が低くなるにつれてクラス２の領域は数フレ
ームに１回の符号化、クラス３の領域は数十フレームに
１回の符号化というように符号化の時間間隔を広げて符
号化の頻度を間引いていく。これにより、画面全体を一
様に符号化する場合に比べて符号化データの発生量を低
く抑えることができ、符号化の効率を向上させることが
できる。各クラスの符号化の時間間隔は、画像の品質と
符号化の効率のトレードオフを考慮して適宜決める。

【００２９】ここで、例えばテレビ会議等においては、
画像として必要な情報が人物の様子だけで、背景等の様
子を特に必要としない場合が考えられるが、このような
場合には、クラス１および２の人物領域のみを符号化
し、クラス３の背景等の領域の画像信号の符号化を停止
してしまうという方法も考えられる。これにより、符号
化データの発生量をさらに低減することができる。な
お、この場合復号装置においては、背景等の領域の符号
化データが得られないので、背景等の領域には例えばブ
ルーバック信号を出力したり、あるいは予め記憶してお
いた背景画像を出力したりすることにより復号画像を得
る。

【００３０】また、符号化制御パラメータとしては、符
号化の時間間隔のほかに、符号化部４で符号化を行う際
の量子化精度を用いることもできる。すなわち、階層化
部２からのクラス識別信号１０３に応じて、重要度の高
いクラスの領域は量子化精度を細かくして画像の細部ま
で再現できるように符号化し、逆に重要度の低いクラス
の領域では量子化精度を粗くすることによって符号化デ
ータの発生を抑制する、これにより、重要度の大きい領
域の画像の品質を維持しつつ、全体として符号化データ
の発生量を低減することができる。

【００３１】この他にも、符号化制御パラメータとし
て、画像信号を符号化する際のサブサンプリング率を変
更するという方法も考えられる。これを、図３を参照し
て説明する。図３において、丸印Ａ１〜Ｄ４はそれぞれ
画像中の画素を表すものとする。そして、重要度の高い
クラスの領域を符号化する際には、すべての画素に対応
する画像信号を符号化する。すなわち、図３における画
素Ａ１〜Ｄ４をすべて符号化する。逆に重要度の低い領
域を符号化する際には、例えば画素を水平方向、垂直方
向ともに２つに１つの割合でサブサンプリングを行い、
画素Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、Ｄ１〜Ｄ４を間引いて、
画素Ａ１〜Ａ４に対応する画像信号のみを符号化する。
このようにして、重要度の低い領域ほど画素の間引きの
度合い（サブサンプリング率）を大きくすることによ
り、画像全体としての符号化データ発生量を小さくする
ことができる。なお、間引きの度合いはクラスの重要度
に応じて適宜設定する。

【００３２】また、符号化制御パラメータとして、符号
化データ発生量のしきい値を変更することも可能であ
る。すなわち、符号化部４においてクラスごとに符号化
データ発生量のしきい値（上限値）を定めておき、その
しきい値を越えると符号化を停止するような制御を行
う。例えば、重要度の高いクラスにに対しては符号化デ
ータ発生量しきい値を大きな値に設定してすべての画像
信号が符号化できるようにする。逆に、重要度の低いク
ラスに対してはそのしきい値を小さく設定し、符号化デ
ータの発生量がしきい値に達したらそれ以降の信号の符
号化を停止する。このしきい値は重要度が低いクラスほ
ど小さくなるように設定する。これにより、重要度の高
い領域の画像の品質を維持しつつ、画像全体の符号化デ
ータ発生量を低減することができる。

【００３３】なお、この場合、復号側の装置では、符号
化を打ち切られた以降の画像に関するデータが得られな
いが、この部分は前フレームの画像をそのまま用いるな
どして全体の画像を形成する。

【００３４】このように、この構成例によれば、符号化
対象の画像を領域分割し、分割された領域を重要度に応
じてクラス分けし、各領域の画像信号を符号化する際に
その領域のクラスに応じて符号化時の制御パラメータを
変え、重要度の低い領域の符号化データの発生量を低減
することにより、画像全体の符号化効率を向上させるこ
とができる。

【００３５】なお、この構成例では、領域分割を画像中
のエッジにより行い、そのエッジの形状に基づいてクラ
ス分け（階層化）を行ったが、これ以外にも様々な領域
分割、クラス分けの手法が考えられる。

【００３６】例えば、領域分割およびクラス分けには、
エッジ検出に似た手法であるテクスチャ解析を用いるこ
とができる。テクスチャ解析とは、例えば縦縞模様の領
域と横縞模様の領域とを分割するというように、画像を
一定の構造（テクスチャ）を持った領域単位に分割する
手法である。壁や机等はこういった一定の構造（模様）
を持っていることが多いので、テクスチャ解析を行うこ
とにより、背景の壁等の領域とそれ以外の領域といった
具合に領域分割を行うことができる。そして、得られた
各領域に対して、その形状やテクスチャに関するパター
ン認識を行うことにより、クラス分けを行う。

【００３７】なお、エッジ検出やテクスチャ解析などの
手法は、画像の内容に応じた１画素（あるいは、たかだ
か数画素）からなる輪郭線に囲まれる可変形状の領域に
分割する分割手法であるが、このような可変形状の領域
からなる画像だけでなく、従来のような一定の大きさの
ブロック単位からなる画像を分割して処理する場合にも
本発明は有効である。すなわち、この場合は、領域分割
部の前にブロック化部が設けられ、画像信号はブロック
化部にて一定の大きさの（例えば、８×８画素）ブロッ
ク単位に分割される。そして、領域分割部１は、分割さ
れたブロックのうち互いに類似する画像信号を有するブ
ロックをまとめて一つの領域とする。そして、階層化部
では各領域の形状や模様等に対してパターン認識などを
行うことにより、各領域がそれぞれ人物を表しているの
か、背景を表しているのか、などの判別を行ってクラス
分けをする。このようにブロック単位に分けた場合に
は、ＤＣＴなどといったブロックベースの符号化手法を
用いることができる。

【００３８】また、画像信号のアクティビティに基づい
て領域分割及びクラス分けを行うこともできる。アクテ
ィビティとは画像信号の変化の度合いのことであり、例
えば、画像信号の平均値からの自乗誤差、すなわち分散
などを用いる。より具体的には、画像を一定の大きさの
ブロック（例えば、８×８画素）に分割して、各ブロッ
クごとに画像信号の平均値とその平均値からの分散を求
め、それらの値を元に領域分割やクラス分けを行う。例
えば、背景の壁等の画像は一定のパターンからなってい
る場合が多いので、同じ平均値と分散値を持つブロック
は壁等であるとして１つの領域にまとめ、重要度の低い
クラスにクラス分けする。また、人物の輪郭等のエッジ
を含むブロックでは分散値、すなわちアクティビティが
大きくなるので、このようなアクティビティの大きいブ
ロックで囲まれる部分を一つの領域としてとらえて領域
分割を行い、その領域の形状等に対してパターン認識を
行うことにより人物の領域であるか等を判定し、その判
定にしたがってクラス分けを行うこともできる。

【００３９】また、過去のフレームの画像データを用
い、時間情報を利用した領域分割及びクラス分けを行う
ことも可能である。すなわち、過去のフレームの画像デ
ータをメモリの記憶しておき、この過去フレームの画像
と入力された現フレームの画像とを比較し、画像中の各
部分の動きを検出する。そして、動きのあった部分、制
止している部分とに領域を分割する。そして、動きのあ
った領域は重要度が高いクラスにクラス分けし、動きの
なかった領域は重要度の低いクラスにクラス分けする。
ここで、単に動きの有無で領域分割するだけでなく、動
きの大きさがほぼ等しい部分を一つの領域としてまとめ
ることもできる。この場合、各領域の動きの大きさに従
って、例えば動きが大きい領域ほど重要度の高いクラス
にクラス分けする。

【００４０】画像の動きによって領域分割を行う場合、
動きの大きさに基づいてクラス分けをする他に、動きの
頻度を用いてクラス分けすることもできる。すなわち、
階層化部において動きの情報を複数フレーム分記憶して
おき、各領域の複数フレームにわたる動きの頻度を求
め、動きの頻度が大きい領域ほど重要度の高いクラスに
クラス分けする。このように、複数フレームにわたった
動きの履歴を用いることにより、一時的に静止している
領域に対して重要度を落とすことなくクラス分けするこ
とができる。

【００４１】次に、第２の例について説明する。図４
は、第２例を示すブロック図である。

【００４２】前述の第１例は、各領域の符号化時に、そ
の領域のクラスに応じて１つの符号化部の符号化制御パ
ラメータを変える構成であったが、これに対しこの第２
例は、異なった符号化方式の複数の符号化部を用い、各
領域のクラスに応じて符号化部を選択する構成となって
いる。

【００４３】図４において、領域分割部１および階層化
部２の動作は第１例の場合と同様である。

【００４４】符号化部４ａ、４ｂおよび４ｃは、それぞ
れ異なった符号化方式を採用したものである。例えば、
符号化部４ａは、ＰＣＭやＤＰＣＭのような、符号化デ
ータの発生量は多くなるが無歪みで復号信号が得られる
符号化を行う。符号化部４ｂは、量子化など、符号化デ
ータの発生量をある程度低減するような符号化を行う。
また、符号化部４ｃは、領域内の画素レベルの平均値の
みを出力するなどというような非常に粗い符号化を行
う。

【００４５】各領域の符号化の際には、その領域の画像
信号１０２に同期したクラス識別信号１０３がスイッチ
部６に与えられる。スイッチ部６は、そのクラス識別信
号１０３に従って、各領域の画像信号１０２がその領域
のクラスに応じた符号化部に入力されるようにスイッチ
を切り換える。例えば、画像信号１０２の領域が動いて
いる人物等の重要度の最も高いクラスである場合には、
復号側で高品質の画像が得られる符号化部４ａで符号化
し、符号化データ１０５ａを得る。また、静止している
人物などの中間の重要度のクラスに含まれる領域の場合
は、符号化部４ｂで符号化を行い、符号化データ１０５
ｂを得る。更に、背景など、復号側での信号が入力信号
と大きく異なってもよいような重要度の低いクラスの領
域の場合は、符号化部４ｃで符号化して符号化データ１
０５ｃを得る。

【００４６】このように、この第２例では、重要度の低
い領域の符号化データ発生量を低減することにより、符
号化の効率を向上させることができる。

【００４７】なお、この第２例では、領域が３段階のク
ラスに分けられる場合について説明したが、その他の段
階数に分ける場合には、その段階の数と同数の異なった
符号化方式の符号化部を設ければよい。

【００４８】また、符号化部の数は、必ずしもクラスの
数と一致している必要はなく、第１例のような符号化制
御パラメータの変更を併用して、符号化部の数を少なく
することも可能である。すなわち、３つのクラスに対し
て２つの符号化部を設け、符号化部のうち１つを２つの
クラスに対応させて、その符号化部においてクラスに応
じて符号化制御パラメータを変える。これにより、同様
の効果を得ることができる。

【００４９】さらに、各符号化部４ａ〜４ｃにおける符
号化方式は、先に例示したものに限られるものではな
く、各クラスに要求される復号画像の品質や、符号化デ
ータ発生量の許容量に応じて、各クラスごとに適切な方
式を用いてもよい。

【００５０】次に、本発明の実施例について図面に基づ
いて説明する。図５は、実施例の構成を示すブロック図
である。

【００５１】本実施例は、フレーム間予測を用いた符号
化に、各領域のクラスに応じた制御を適用したものであ
る。フレーム間予測による符号化とは、周知のように、
メモリに記憶された過去のフレームの画像より現フレー
ムの画像を予測して予測信号を生成し、その予測信号と
入力された実際の画像信号とから、例えば差分をとる等
の方法により予測誤差信号を求め、その予測誤差信号を
符号化して出力するものである。この場合、復号側にも
同様の予測信号を求めるための装置が設けられ、復号側
ではその予測信号に符号化側から送られてきた予測誤差
信号を加えることにより復号信号を形成する。

【００５２】さて、図５において、領域分割部１および
階層化部２の動作は第１例の場合と同様である。

【００５３】本実施例では、複数のメモリ（フレームメ
モリ等）１０ａ、１０ｂ、１０ｃが設けられ、各メモリ
にはそれぞれ特定のクラスの画像が記憶される。すなわ
ち、図５の構成は、領域が３つのクラスにクラス分けさ
れる場合の例を示している。以下、便宜上、メモリ１０
ａを最も重要度の高いクラスの領域のためのメモリと
し、メモリ１０ｂを中間のクラスのためのメモリとし、
メモリ１０ｃを最も重要度の低い領域のためのメモリと
する。この場合、例えば図２に示したような画像を符号
化する場合には、図６に示すように、メモリ１０ａには
動いている人物の領域２０１のデータが記憶され、メモ
リ１０ｂには静止している人物の領域２０２のデータが
記憶され、メモリ１０ｃには前景や背景の机２０３、絵
画２０４、時計２０５、壁２０６等のデータが記憶され
る。

【００５４】このメモリ１０ａ〜１０ｃの内容は、入力
画像信号を符号化した後に復号して得られる画像であ
り、過去のフレームの画像を表しており、毎フレームご
と、あるいはある一定間隔のフレームごとに更新される
が、この過程については後述する。

【００５５】領域分割部１で分割された各領域の画像信
号１０２を符号化する際に、予測部１２は各領域の画像
信号１０２に類似する画像信号をメモリ１０ａ〜１０ｃ
から探索する。すなわち、本実施例では、領域分割部１
からは分割された各領域の画像信号１０２が領域ごとに
まとめて順次出力され、予測部１２では、その各領域の
画像信号のまとまりとメモリ１０ａ〜１０ｃに記憶され
た各領域の画像データ（画像信号）のまとまりとを比較
することにより、符号化するべき各領域と類似した画像
をメモリ内の画像から見付ける。この比較は、例えば符
号化対象となる領域の画像信号１０２とメモリ内の各画
像データとの差分をとり、その差分信号が最も小さくな
るメモリ内の画像データを類似画像とする等の方法が考
えられる。

【００５６】このようにして、メモリを探索することに
より得られた類似画像信号は、予測部１２において予測
元画像信号として用いられる。すなわち、予測部１２
は、その予測元画像信号を元に所定の予測関数を用いて
予測を行い、予測信号１１２を生成する。この予測信号
の生成は、領域分割部１で分割された領域ごとに行われ
る。この予測信号１１２は、予測誤差抽出部１４および
信号合成部１７に向かって出力される。また、予測部１
２は、予測信号１１２と同時に予測に用いた類似画像の
記憶されていたメモリの番号、およびその類似画像のメ
モリ上のアドレスを示す信号１１４を復号側に向かって
出力する。復号側には、この画像符号化装置と同様の予
測部や３つのメモリ等が設けられており、このメモリ番
号やアドレスを示す信号１１４は、復号側で予測信号を
生成する際に用いられる。

【００５７】予測誤差抽出部１４は、各領域ごとに、画
像信号１０２と予測信号１１２とから予測誤差信号１１
６を抽出する。予測誤差信号１１６の抽出方法として
は、単純に画像信号１０２と予測信号１１２との差分を
とってもよいし、両者に所定の重み付けを行ってから差
分を取ってもよい。

【００５８】予測誤差信号１１４は符号化部４にて所定
の符号化方式により符号化される。そして、符号化部４
からは予測誤差信号を符号化した符号化データ１０５が
出力される。

【００５９】そして、復号部１６は、符号化部４から出
力された予測誤差信号の符号化データ１０５を、符号化
部４と逆の動作を行って復号し、復号予測誤差信号１２
０を出力する。復号予測誤差信号１２０は、信号合成部
１７にて前述の予測信号１１２と合成される。これによ
り、復号画像信号１２２が生成される。合成の方法とし
ては、単純に加算する方法や両者にそれぞれ重みをつけ
てから加算する方法などがあり、これらは予測誤差抽出
部１４における予測誤差の抽出方法に依存する。

【００６０】復号画像信号１２２は、メモリ制御部１８
に入力される。メモリ制御部１８は、階層化部２から出
力されるクラス識別信号１０３に応じて、復号画像信号
１２２が各領域の信号ごとにその領域のクラスに対応す
るメモリに対して入力されるようにスイッチを切り換え
る。そして、メモリ１０ａ〜１０ｃの記憶データは復号
画像信号１２２が入力されるごとに更新される。

【００６１】この更新の際、画像動きがない背景等の領
域が記憶されるメモリ（本実施例ではメモリ１０ｃ）と
して、記憶データを新たに入力された復号画像信号に単
純に書き換える形式のものではなく、過去の記憶データ
に新たに入力された復号画像信号を重ねて（上書きし
て）記憶する形式のメモリを用いることもできる。

【００６２】この場合、例えば、図２に示した画像にお
いて、人物２０１が移動した場合を想定すると、人物２
０１が動くことにより画像中の背景の各部分が見え隠れ
し、これにより背景の各領域の画像データを記憶するメ
モリ１０ｃの内容が更新される際に、メモリ１０ｃに記
憶される背景領域は順次広い部分をカバーすることにな
る。従って、例えばあるフレームにおいて、画面中で人
物２０１が動いてもともとその人物が居た後ろの部分の
背景が現れた場合を考えると、この構成によれば、復号
側が本装置と同じメモリ内容を持っている場合は、符号
化装置からは新たに現れた背景領域のアドレス情報を送
るだけで、復号側はそのメモリから壁や絵の画像データ
を読み出して画像を形成することができる。従って、一
旦符号化側および復号側の双方のメモリにおいて背景の
全画像が形成されてしまうと、以降は符号化側からは符
号化データを送出する必要はなくなり、単にアドレス情
報を送出するだけで足りるようになる。従って、符号化
データの発生量は順次低減されていくことになる。

【００６３】なお、ここでは符号化部４は各領域ごとの
予測誤差信号１１６をすべて一定の符号化制御パラメー
タで符号化していたが、第１例と同じように、階層化部
２からのクラス識別信号１０３信号によって符号化部４
の符号化制御パラメータを変更制御する構成にすること
もできる。これにより、符号化の効率はさらに向上す
る。

【００６４】また、本実施例では、１つの符号化部しか
設けられていないが、第２例と同様に、符号化方式の異
なる複数の符号化部を設けて、階層化部２からのクラス
識別信号に応じて、各領域ごとに符号化を行う符号化部
を変更する構成としてもよい。ここで、あるクラスの領
域の符号化を行う符号化部が予測誤差演算を行わない方
式の符号化部であった場合、予測を行わないので対応す
るメモリは不要となる。

【００６５】また、本実施例では、予測部１２は予測信
号１１２を生成する際に、入力された現フレームの領域
分割された画像信号１０２に類似する画像データをすべ
てのメモリから探索していたが、階層化部２からのクラ
ス識別信号１０３によって予測部１２を制御して各領域
のクラスに対応したメモリのみを探索するような構成と
してもよい。この場合は、類似画像データの探索が容易
になるため、符号化の効率を向上させることができる。

【００６６】さらに、本実施例では、メモリの内容は、
符号化部４および復号部４で信号の符号化・復号が行わ
れる度に書き換えられるものであったが、メモリの書き
換えを予め設定された時間間隔で行うような構成とする
こともできる。すなわち、重要度の高いクラスに対応す
るメモリは頻繁にメモリ内容を書き換えるようにし、重
要度の低いクラスほどメモリ書き換えの時間間隔を大き
くする。これにより、メモリ更新の処理が迅速化され
る。

【００６７】ここで、テレビ会議などにおいて背景情報
が特に必要でない場合は、背景情報を記憶するメモリの
書き換え間隔を無限大にする、すなわち書き換えを行わ
ないような構成とすることも可能である。この場合は、
背景情報のメモリには予め背景情報を記憶しておく必要
がある。例えば、テレビ会議では会議が始まる前に、予
め背景情報をメモリに記録しておくなどの方法で実現で
きる。図７は、このような構成の装置のブロック図を示
したものであり、この装置は復号画像信号１２２がメモ
リ１０ｃに入力されない点で図５の装置と異なる。

【００６８】また、本実施例は、予測時にメモリから最
も類似した画像信号を１つだけ探索して予測に用いるも
のであったが、本実施例をＩＳＯのＭＰＥＧ(Moving Pi
cture Experts Group)で勧告されたＭＰＥＧ１という規
格に適用する場合には、類似した画像信号をメモリから
複数個読み出して、それらを合成できる構成とすること
も可能である。ＭＰＥＧ１では、連続するフレームを時
系列に沿って順番に符号化するのではなく、例えば１番
目のフレームを符号化した後、次に４番目のフレームを
符号化し、その後に２、３番目のフレームを符号化する
というように符号化順序を入れ替える方法を採用してい
る。この方法によれば、１番目と４番目のフレームの情
報を用いて、例えばそれらの加算平均等をとることによ
り２番目および３番目のフレームの画像に近い画像情報
を得ることができ、これをもとに予測を行うことによ
り、予測誤差信号の電力をより小さく、すなわち符号化
データの発生量をより小さくする事ができる。本実施例
において、各メモリ１０ａ〜１０ｃを複数フレーム分の
画像データがフレームごとに記憶できるようなものとす
れば、本実施例の装置をこのような規格にも適用するこ
とができる。

【００６９】なお、本実施例において、予測部１２にお
いて、メモリ１０ａ〜１０ｃから読み出してきた予測元
画像信号の示す画像領域の形状やサイズが、符号化対象
である画像信号１０２の領域の形状やサイズと異なって
いる場合は、内挿・外挿補間を行って、予測元画像信号
の領域の形状やサイズを画像信号１０２の領域の形状や
サイズに合わせてから予測を行うと言うこともできる。
予測元画像信号と画像信号１０２とは、１フレーム分
（あるいは数フレーム分）時間がずれているので、同じ
対象を示した画像でも形状やサイズが異なってくること
がある。ここで、予測部１２において形状やサイズの異
なった予測元画像信号を用いて予測を行うと、予測誤差
信号の電力が大きくなり、ひいては符号化データの発生
量の増加につながる。そこで、ここでは、予測元画像信
号の示す画像の領域に内挿・外挿により補間して画像信
号１０２の領域と等しい形状およびサイズの画像信号を
形成し、これをもとに予測を行うようにする。図８は、
補間の様子を説明するための図であり、符号化対象であ
る画像信号１０２の領域の輪郭が図８（Ｂ）の太線で示
されており、これに対応するメモリ中の類似画像信号
（予測元画像信号）の領域の輪郭は図８（Ａ）の太線で
示されている。なお、図において白抜き丸印、黒丸印は
それぞれ画素を表しているものとし、特に黒丸印はメモ
リ中の類似画像信号の領域に含まれる画素を表している
ものとする。このような場合において、予測を行う場
合、（Ｂ）の斜線部の画素の部分の情報は（Ａ）から直
接得ることができないので、外挿予測を行う。単純な方
法を採用するのであれば、（Ａ）の領域の端点の画素と
同じ値をそのまま外側に拡張するという方法が適用でき
る。また、斜線部の各画素の値を、領域の中心部からそ
の画素までの距離に比例した値にすることにより補間を
行う方法を用いることもできる。ここでは、類似画像信
号の領域が拡張される場合を説明したが、縮小される場
合も同様である。いずれにしても、このように補間を行
って、予測元画像信号の示す領域の形状やサイズを、符
号化対象の領域の形状やサイズに一致させてから予測を
行うことにより、予測誤差信号を小さくすることがで
き、従って符号化データの発生量を低減することができ
る。

【００７０】

【発明の効果】以上説明したように、本発明によれば、
入力画像を画像の内容にしたがって領域分割し、分割さ
れた領域を視覚上の重要性に応じてクラス分けを行い、
各領域の符号化を行う際にその領域のクラスに応じて符
号化制御パラメータや符号化方式を変えて視覚上重要で
ない領域の符号化データの発生を抑制することにより、
視覚上重要な領域の画像の品質を維持しつつ、符号化デ
ータの発生量を低減することができる。

【図面の簡単な説明】

【図１】画像符号化装置の第１例を示すブロック図であ
る。

【図２】画像符号化装置に対する入力画像の一例を示す
図である。

【図３】サブサンプリングの説明をするための図であ
る。

【図４】画像符号化装置の第２例を示すブロック図であ
る。

【図５】本発明に係る画像符号化装置の実施例を示すブ
ロック図である。

【図６】実施例におけるメモリ１０ａ〜１０ｃのメモリ
内容を説明するための図である。

【図７】実施例において１つのメモリを更新を行わない
ものとした場合のブロック図である。

【図８】実施例において、メモリから読み出された類似
画像信号に対する補間を説明するための図である。

【図９】従来の画像符号化装置のブロック図である。

【符号の説明】 １ 領域分割部 ２ 階層化部 ４ 符号化部 １０１ 入力デジタル画像信号 １０２ 領域分割された画像信号 １０３ クラス識別信号 １０５ 符号化データ

フロントページの続き (56)参考文献 特開 平２−32688（ＪＰ，Ａ) 特開 平２−264585（ＪＰ，Ａ) 特開 平４−7989（ＪＰ，Ａ) 特開 平４−321391（ＪＰ，Ａ) 特開 平５−111015（ＪＰ，Ａ) 特開 平６−22292（ＪＰ，Ａ) 特開 平３−133290（ＪＰ，Ａ) 特開 平１−228384（ＪＰ，Ａ) 特開 昭63−157579（ＪＰ，Ａ) 特開 平４−354489（ＪＰ，Ａ) 特開 平１−245684（ＪＰ，Ａ) 特開 昭60−10887（ＪＰ，Ａ) 特開 平２−44860（ＪＰ，Ａ) 特開 昭61−164390（ＪＰ，Ａ) 特開 平１−144875（ＪＰ，Ａ) 特開 平４−156794（ＪＰ，Ａ) 特開 平４−345290（ＪＰ，Ａ) 特開 昭57−157696（ＪＰ，Ａ) 特開 昭62−12287（ＪＰ，Ａ) 特開 昭62−104387（ＪＰ，Ａ) 特開 平２−295289（ＪＰ，Ａ) 特開 平３−265392（ＪＰ，Ａ) 特開 平５−37915（ＪＰ，Ａ) 特開 平１−181280（ＪＰ，Ａ) 特開 平２−44883（ＪＰ，Ａ) 特開 平５−49025（ＪＰ，Ａ) 特開 平７−99661（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 G06T 9/00 H03M 7/30 - 7/50

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 任意の形状やサイズを持った予測元画像
   信号と、前記予測元画像信号とは異なる形状やサイズを
   持った符号化対象画像信号とを入力し、 前記予測元画像信号に対して内挿・外挿による補間処理
   を行い、その結果得られた画像信号と前記符号化対象画
   像信号との間で予測誤差信号を求め、求めた予測誤差信
   号の予測符号化を行う画像符号化装置。
2. 【請求項２】 符号化対象の画像信号に対応する予測元
   画像信号を画像メモリから読み出し、この予測元画像信
   号から予測関数を用いて予測信号を生成する予測部と、 前記符号化対象画像信号と前記予測部で求められた予測
   信号とから予測誤差信号を抽出して出力する予測誤差抽
   出部と、 前記予測誤差抽出部で得られた予測誤差信号を符号化し
   て符号化データを出力する符号化部と、 前記符号化部から出力される符号化データを復号して復
   号予測誤差信号を出力する復号部と、 前記復号部から出力された復号予測誤差信号と、前記予
   測部から出力された予測信号とから復号画像信号を合成
   する信号合成部と、 前記信号合成部で合成された復号画像信号を前記画像メ
   モリに記憶させる制御部と、 を備え、 前記予測部は、前記予測元画像信号が前記符号化対象の
   画像信号とは異なる形状やサイズを持っている場合、そ
   の予測元画像信号に対して内挿・外挿による補間処理を
   行い、この結果得られた画像信号から前記予測信号を生
   成する、 ことを特徴とする画像符号化装置。
3. 【請求項３】 符号化対象の画像信号を複数の領域に分
   割し、領域分割情報を付与した画像信号を出力する領域
   分割部と、 前記領域分割部で分割された各領域毎に、その領域の符
   号化対象画像信号に類似する画像信号を予測元画像信号
   として画像メモリから読み出し、この予測元画像信号か
   ら予測関数を用いて予測信号を生成する予測部と、 前記各領域毎に、その領域の符号化対象画像信号と前記
   予測部で求められた予測信号とから予測誤差信号を抽出
   して出力する予測誤差抽出部と、 前記各領域毎に、前記予測誤差抽出部で求められた予測
   誤差信号を符号化して領域分割情報を含んだ符号化デー
   タを出力する符号化部と、 前記各領域毎に、前記符号化部から出力される符号化デ
   ータを復号して復号予測誤差信号を出力する復号部と、 前記各領域毎に、前記復号予測誤差信号と前記予測信号
   とから復号画像信号を合成する信号合成部と、 前記信号合成部で合成された前記各領域の復号画像信号
   を前記画像メモリに記憶させる制御部と、 を備え、 前記予測部は、前記各領域について予測信号を生成する
   に当たり、前記予測元画像信号が当該領域の符号化対象
   画像信号とは異なる形状やサイズを持っている場合、そ
   の予測元画像信号に対して内挿・外挿による補間処理を
   行い、この結果得られた画像信号から前記予測信号を生
   成する、 ことを特徴とする画像符号化装置。
4. 【請求項４】 予測誤差信号を求めて、求めた予測誤差
   信号の予測符号化を行う際、前記予測元画像信号に対し
   て内挿・外挿による補間処理を行って形状やサイズを合
   わせ、その結果得られた画像信号と前記符号化対象画像
   信号との間で予測誤差信号を求め、求めた予測誤差信号
   の予測符号化を行うことを特徴とする請求項１から請求
   項３までのいずれかに記載の画像符号化装置。