JPH08331565A

JPH08331565A - 画像符号化方法とその装置

Info

Publication number: JPH08331565A
Application number: JP13133395A
Authority: JP
Inventors: Minoru Eito; 稔栄藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-05-30
Filing date: 1995-05-30
Publication date: 1996-12-13

Abstract

(57)【要約】【目的】異なるフレームを用いて予測画像符号化を行
なうにあたり、予測誤差画像を、残差符号化すべき部分
と残差符号化しなくてもよい部分に分け、限られた符号
化速度においても、視覚妨害の少ない画像符号化を行な
うこと。【構成】入力画像を異なる画像から予測し、予測誤差
のしきい値処理(104）により予測誤差の大きな領域をパ
ターン情報として表現し、領域を収縮後、膨張させるモ
ルフォロジー処理（オープニング処理）(105）に等価な
処理をこのパターン情報に行なってインパルス状の予測
誤差領域を消去したマスクパターンを生成し(106）、予
測誤差画像の符号化をこのマスクパターンに基づいて行
なうことで、予測誤差画像の有意な部分のみを効率よく
符号化することができ、符号量の削減または、同一符号
量での画質向上が行なえる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像をより少ない符号化
量で伝送蓄積する画像符号化方法とその装置に関するも
のである。

【０００２】

【従来の技術】画像符号化方法とその装置の従来技術に
は、例えば、ＣＣＩＴＴ勧告Ｈ.261に記載されている方
法または装置がある。図６はこのＨ.261に基づく画像符
号化装置と復号化装置の構成を示すブロック図であり、
601は予測画像生成手段、602は動きベクトル検出手段、
603は差分器、604は波形符号化手段、605は波形復号化
手段、606は加算器、607はフレーム遅延手段、608はハ
フマン符号化器、609はハフマン復号化器、610は波形復
号化手段、611は加算器、612はフレーム遅延手段、613
は予測画像生成手段である。

【０００３】以上のように構成された画像符号化装置と
復号化装置を以下に説明する。まず動きベクトル検出手
段602は、入力画像を１６×１６画素で構成されるブロ
ック（マクロブロックと呼ぶ）について前フレームの復
号化された画像と最も差分絶対値和が最小となる動きベ
クトルを検出する。この動きベクトルと前フレームの復
号化された画像を入力として予測画像生成手段601は予
測画像を生成する。差分器603は入力画像と予測画像の
差分画像（以後、予測誤差画像あるいは残差画像と呼
ぶ）を出力する。これを波形符号化手段604が８×８の
画素で構成されるブロック（以後ＤＣＴブロックと呼
ぶ）について離散コサイン変換ＤＣＴを行ない、画像を
周波数に相当するＤＣＴ係数に変換し、ハフマン符号化
器608がこれを可変長符号化する。符号化側、復号化側
で生成される予測画像を同じくするために波形復号化手
段605は復号化側の波形復号化手段610と同じ構成をと
り、逆離散コサイン変換（ＩＤＣＴ）を行ない残差画像
を再構成する。加算器606はこれと現在の予測画像を加
え、復号化側で再構成される画像を生成する。この画像
はフレーム遅延手段607により遅延され、次フレームの
予測に使われる。復号化側では逆ハフマン符号化器609
によりＤＣＴ係数を復号し、その後、符号化側の同一名
称のブロックと同じ動作を各ブロックが行なうことによ
り画像が再構成される。

【０００４】以上のようにＨ.261に基づく符号化装置の
フレーム間符号化モードでは、現在のフレーム画像を符
号化する際に、ブロック相関法により前フレームの画像
から現フレームの予測画像を動き補償画像として作り
（以後、この処理を動き補償と呼ぶ）、この動き補償画
像と現フレーム画像との差分画像を符号化している。こ
の符号化装置では、動き補償画像が前フレームと誤差な
く一致している時、送る情報量が、動きベクトルだけで
済み、少ない符号化量で画像を伝送することができる。
また動画像に動きがあっても単純な動きである場合や、
局所的である場合は、予測画像と入力画像との差分が小
さくなり、このようなフレーム間の相関を利用しないフ
レーム内符号化を行なう場合に比べて少ない符号量で動
画像を符号化することができる。

【０００５】ところで、Ｈ.261は、小さくとも縦横１４
４×１７６画素程度の大きさの画像を毎秒６４キロビッ
ト程度の符号化量で伝送することを目的に勧告された画
像符号化方法、装置の仕様である。同程度の画像の大き
さで符号化速度を毎秒２０キロビット程度で符号化しよ
うとすると、ＤＣＴ係数を粗く量子化しなければならな
くなる。このため、強いエッジをＤＣＴ係数で表現でき
なくなることによりエッジ近傍に生ずるモスキートノイ
ズやＤＣＴブロックの平均輝度レベルの違いによりブロ
ック境界に発生するブロックノイズが視覚妨害として知
覚されるようになる。

【０００６】Ｈ.261では、動き補償の動きに対する精度
は１画素単位で行なわれる。また近年の動画像符号化技
術では1／2画素の動き精度で行なわれている。物体の動
きが画素の整数値を取る場合は理想的には予測画像は入
力画像に誤差無く一致する。しかし現実には、動きが画
素の整数値を取ることは一般的ではなく、また動きの精
度を（例えば1/2画素精度や1/4画素精度に）高めても入
力画素値を近傍画素値の補間、外挿により推定するため
に、動き推定が誤っていなくともエッジ近傍でインパル
ス状の予測誤差が発生する。これを示したものが図３で
ある。図３(ａ)において、入力画像は変形しながら水平
に右へ移動している。図３(ｂ)においては、予測画像は
正方形であり、左辺の「Ｂ」の位置は変形により予測は
外れている。これに対して、右辺の「Ａ」の部分はほぼ
一致している。

【０００７】

【発明が解決しようとする課題】ところが動き補償によ
り「Ａ」の部分では、視覚的に妥当な予測画像が生成さ
れているにも関わらず、前述したエッジの動きにより、
残差符号化される予測誤差が生じ、このために全体の符
号量を大きくする要因になっている。ここで図中(g)、
(h)、(i)は入力画像、予測画像、残差画像をＡ-Ｂで切
断した輝度レベルを表している。この問題は、波形符号
化手段６０４をサブバンド分割などの他の変換符号化手
段に置き換えても解決しない。結局、残差画像の中で、
実際に残差符号化すべき部分としなくても視覚劣化とな
らない部分を選択することが問題になる。これはＨ.261
に限らず、ある画像を基に予測画像を生成して残差画像
を符号化する方法と装置にとって共通の問題である。図
３の例では、「Ｂ」の部分は明らかに残差符号化が必要
となるが、「Ａ」の部分では限られた符号化速度の下で
は、残差符号化は不要である。

【０００８】本発明はかかる点に鑑み、異なる画像間の
相関を利用する予測画像符号化において一般的に生じる
問題を解決し、残差画像を残差符号化すべき部分と残差
符号化しなくてもよい部分に分け、限られた符号化速度
においても、視覚妨害の少ない画像符号化を行なう画像
符号化方法とその装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上記目的を達成
するため、入力画像を異なる画像から予測し、予測誤差
のしきい値処理により予測誤差の大きな領域をパターン
情報として表現し、領域を収縮後、膨張させるモルフォ
ロジー処理と等価な処理をこのパターン情報に行なっ
て、マスクパターンを生成し、予測誤差画像の符号化を
このマスクパターンに基づいて行なう画像符号化方法で
ある。

【００１０】また、入力画像を異なる画像から予測する
手段と、この予測誤差の大きな領域をパターン情報とし
て表現する予測誤差のしきい値処理手段と、このパター
ン情報に領域を収縮後、膨張させるモルフォロジー処理
と等価な処理を行ないマスクパターンを生成するモルフ
ォロジー手段と、予測誤差画像の符号化をこのマスクパ
ターンに基づいて行なう波形符号化手段から構成される
画像符号装置である。

【００１１】

【作用】まず収縮後、膨張の処理からなるモルフォロジ
ー処理をはじめに説明する。モルフォロジー処理は２値
画像の形状あるいは多値画像の濃度平面の形状に対して
行なわれる処理でこれは文献１「アカデミックプレ
ス」（Henk J.A.M. Heijmans: Morphological Image Op
erators, Academic Press, Inc. 1994）や文献２「ア
イイーイーイートランザクションオンパターン
アナライシスアンドマシーンインテリジェンス」
（R. M. Harallick, S. R. Sternberg, andX. Zhuang:
Image Analysis Using Mathmatical Morphology, IEE
E Transaction on Pattern Analysis and Machine Inte
ligence, Vol. PAMMI-9, No.4,pp.532-550, July 198
7）に詳しい解説が成されている。ここでは、文献３
（金華栄小畑秀文：多重構造要素を用いたモルフ
ォロジーフィルタによる微小石灰化像の抽出、信学論
D2,Vol.J75-D-II, No.7, pp1170-1176, 1992-7. 英文タ
イトル, Hua-Rong JIN and Idefumi KOBATAKE:Extracti
on of Micrcalcificationson Mammogram Using Morphol
ogical Filter with Multiple Structuring Elements）
で述べられている定義を用いて本発明の作用を説明す
る。＜＜モルフォロジー演算＞＞ (1) ２値モルフォロジー演算Ｘを処理画像である２値画像、Ｂを構造要素（２次元位
置ベクトルの集合、領域）とする。Ｂを構成する一つの
画像を画素ベクトルｂで表すものとする。このとき、
Ｂ'（便宜上「'」を用いる）はＢの対称と呼ばれ、

【００１２】

【数１】

【００１３】である。また、Ｂ_zはｚ(ｚは２次元ベクト
ル)だけ平行移動したＢを示し、

【００１４】

【数２】

【００１５】を意味する。Ｘ_-bはＸを−ｂだけ平行移動
したものである。モルフォロジー演算の基本となるのが
Minkwski差と和であり、それは記号

【００１６】

【外１】

【００１７】と

【００１８】

【外２】

【００１９】とによって表される。その定義は次式で与
えられる。

【００２０】

【数３】

【００２１】

【数４】

【００２２】すなわち、Minkowski差とは、構造要素の
すべての構成要素だけＸを平行移動したものに共通した
領域(積集合)を与え、Minkowski和は逆にそれらの和集
合を与える。これらの基本演算に基づき、収縮(Erosio
n)と膨張(Dilation)は次の式のように、収縮：

【００２３】

【数５】

【００２４】膨張：

【００２５】

【数６】

【００２６】表わされ、オープニング（Opening）とク
ロージング（Closing）は次の式のように定義される。オープニング：

【００２７】

【数７】

【００２８】クロージング：

【００２９】

【数８】

【００３０】膨張処理と収縮処理の例を図４に示す。構
造要素は中心画素とその水平垂直の４近傍から構成され
ている。 (2) 濃淡モルフォロジー演算ｆ(ｘ)を輝度値、Ｆを定義域、ｇを構造要素の関数（ス
カラー値）、Ｇをその定義域（領域）とすると、収縮：

【００３１】

【数９】

【００３２】膨張：

【００３３】

【数１０】

【００３４】オープニング：

【００３５】

【数１１】

【００３６】クロージング：

【００３７】

【数１２】

【００３８】と定義される。対象画素が２値化されたパ
ターンであれば、濃淡モルフォロジー演算による膨張と
収縮は図４と同じ作用を持つ。

【００３９】本発明の画像符号化方法では、はじめに入
力画像を異なる画像から予測し、しきい値処理を行なっ
て、残差の大きな領域をパターン情報として抽出する。
そして、前記したモルフォロジー演算の収縮処理後の膨
張処理すなわちオープニング処理を行なって、パターン
情報を変形させる。これにより、従来例で示した図３の
例は(e)と(k)のモルフォロジー演算結果として示すよう
にエッジ近傍のインパルス状の領域が消去される。これ
をマスクパターンとして、残差画像を符号化することに
より、残差符号化をしなくてもよい領域を無視して効率
の高い符号化を行なうことができる。同様に本発明の画
像符号化装置では、予測手段が、異なる画像から入力画
像を予測し、しきい値処理手段が残差の大きな領域をパ
ターン情報として出力する。このパターン情報にモルフ
ォロジー手段が前記したオープニング処理と等価な処理
を行ないインパルス状領域を消去したマスクパターンを
出力する。波形符号化手段はこのマスクパターンに基づ
いて、残差符号化をしなくても大きな視覚劣化とならな
い領域を無視して符号化する。

【００４０】

【実施例】以下本発明による画像符号化装置の一実施例
を図１、図２、図３、図４、図５を用いて説明する。図
１は本実施例の構成を示すブロック図で、１０１は予測
画像生成手段、１０２は動きベクトル検出手段、１０３
は加算器、１０４はしきい値処理手段、１０５はモルフ
ォロジー演算手段、１０６は平滑化フィルタ、１０７は
マスク処理手段、１０８は波形符号化手段、１０９は波
形復号化手段、１１０は加算器、１１１はフレーム遅延
手段、１１２はハフマン符号化器、１１３はハフマン復
号化器、１１４は波形復号化手段、１１５は加算器、１
１６はフレーム遅延手段、１１７は予測画像生成手段で
ある。図１中、１０１から１１１のブロックは符号化
側、１１３から１１７のブロックは復号化側の装置を構
成している。この画像符号化装置の実施例の動作説明を
本発明の画像符号化方法の一実施例として併せて説明す
る。ただし、本実施例を構成する各ブロックの構成と動
作は、１０４から１０７を除き従来例に示したＨ.261に
基づく画像符号化装置（図６）の同名ブロックと全く同
じであるので、重複した説明は省略し、従来例との差異
を強調して説明する。

【００４１】図２は図１に対応する本発明の画像符号化
方法の一実施例の流れ図である。Ｈ.261に基づく画像符
号化方法と同様に画像入力、動きベクトル検出、予測画
像生成を経て残差画像ｅ(ｘ)、（ｘは画面上の位置ベク
トル）が生成される。この残差画像に対して前フレーム
の符号化時の平均輝度量子化幅Ｑと最小量子化幅Ｑ_min
で定まるしきい値処理を行ないｆ(ｘ)とする。これを
（数１３）に示す。

【００４２】

【数１３】

【００４３】このｆ(ｘ)は２５５で残差符号化すべき領
域を表し、０でそうでない領域を表している。これは図
３の(ｄ)と(ｊ)に示すしきい値処理結果の状態に相当す
る。ここで、ｆ(ｘ)＝｛２５５、０｝を２５５で領域
内、０で領域外の画像と考え、（数７）に示したオープ
ニング演算を行なう。構造要素は図４下段に示す中心画
素＋４近傍画素である。これにより図３では(e)と(k)の
モルフォロジー演算結果のパターンが得られる。図１で
はこの処理はモルフォロジー演算手段１０５で実行され
る。本実施例では、２値パターンｆ(ｘ)に平滑化処理を
行なう。平滑化は１／１２で正規化される１、２、６、
２、１の５係数からなる１次元フィルタを水平垂直にか
けることにより行なわれる。図１ではこれは平滑化フィ
ルタ１０６で行なわれる。結果としてマスクパターンが
[255,０]の多値として得られる。これをｈ(ｘ)とする。
このｈ(ｘ)を用いて各画素位置ｘについて（数１４）に
示すマスク処理を行なう。

【００４４】

【数１４】

【００４５】（数１４）のe'(ｘ)が抑圧された残差画像
である。図１ではマスク処理手段１０７がこれを行な
う。図３では(f)と(l)の平滑化処理結果が得られる。オ
ープニングのモルフォロジー演算によってインパルス状
の残差がマスク処理により抑圧されるが、抑圧部分と抑
圧されない領域の境界の復号結果に不連続が生じる恐れ
がある。そこで本実施例では２値のマスクパターンに平
滑化処理を行なうことにより、２値のマスク処理に生じ
る視覚妨害の恐れを取り除いた。残差画像がこのように
マスクされる他はＨ.261に基づく処理と本実施例の処理
は全く同じである。当然のことながら、本実施例で生成
されるデータは図６に示した従来のＨ.261の復号化側で
再生可能である。

【００４６】本実施例のモルフォロジー演算手段を異な
らしめることにより派生する第２、第３の実施例を以下
に述べる。一つは、ｆ(ｘ)＝｛２５５，０｝を多値画像
と考えて、（数１１）に記した濃度モルフロジーのオー
プニング処理として実現することである。すなわち図１
におけるモルフォロジー演算手段１０５の動作を（数
７）から（数１１）に変更したものを第２の実施例とす
る。

【００４７】第３の実施例は、モルフォロジー演算手段
１０５の動作をｆ(ｘ)＝｛255,０｝に対する３×３の中
間値フィルタ処理に置き換えることにより実現される。
前記文献１「アカデミックプレス」(Henk J.A.M. Hei
jmans: Morphological ImageOperators, Academic Pre
ss, Inc. 1994。)の４５７頁には中間値フィルタの反
復適用はオープニング処理と等価であると述べられてい
る。したがって、モルフォロジー演算手段１０５を中間
値フィルタで実現しても第１、第２の実施例と同様の作
用と効果を得ることができる。

【００４８】図５は、第１の実施例における実際の画像
に適用した結果を示すもので、図５(ａ)、(ｂ)、(ｃ)、
(ｄ)、(ｅ)は、それぞれ、入力画像、予測画像、残差画
像、マスクパターン、画像復号化結果である。背景のエ
ッジ、人物境界に生じた残差成分を符号化していないに
も関わらず、視覚的に妥当な結果が得られている。

【００４９】なお、Ｈ.261では出力バッファの状態に応
じてレート制御を行なっている。これに対応して、本実
施例ではしきい値処理に用いるしきい値は前フレームの
平均輝度量子化幅よりフレーム毎に変化する。出力バッ
ファに余裕があるときは、しきい値が小さくなって残差
画像の抑圧が小さくなる。特にＱ＝Ｑ_minとなるとき
は、（数１３）に示すしきい値は０となり、マスクパタ
ーンはモルフォロジー演算、平滑化処理を無関係に全て
２５５となり、残差符号化の抑圧はまったく行なわれな
くなる。これにより、出力バッファの状態に応じた適応
的な画質の維持が行なえる。

【００５０】

【発明の効果】以上のように本発明によれば、残差画像
中で、残差符号化せずとも大きな視覚劣化とならない領
域の符号量を節約することができ、符号化効率を改善す
ることができる。また同じ符号量では、残差符号化すべ
き領域により多くの符号量を割り当てることができ、画
質改善を行なうことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像符号化装置
の構成を示すブロック図

【図２】本発明の第１の実施例における画像符号化を示
す流れ図

【図３】(a)〜(l)本実施例の動き補償、しきい値処理、
モルフォロジー演算を示す線図

【図４】同モルフォロジー演算における膨張と収縮処理
および構造要素を示す線図

【図５】(a)〜(e)第１の実施例における処理結果を示す
線図

【図６】従来の画像符号化装置の構成を示すブロック図

【符号の説明】

１０１、１１７予測画像生成手段１０２動きベクトル検出手段１０３減算器１０４しきい値処理手段１０５モルフォロジー演算手段１０６平滑化フィルタ１０７マスク処理手段１０８波形符号化手段１０９、１１４波形復号化手段１１０、１１５加算器１１１、１１６フレーム遅延手段１１２ハフマン符号化器１１３ハフマン復号化器

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成７年１１月１６日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

Claims

【特許請求の範囲】

【請求項１】入力画像を異なる画像から予測し，予測誤
差のしきい値処理により予測誤差の大きな領域をパター
ン情報として表現し、領域を収縮後、膨張させるモルフ
ォロジー処理と等価な処理を前記パターン情報に行なっ
て、マスクパターンを生成し、予測誤差画像の符号化を
前記マスクパターンに基づいて行なうことを特徴とする
画像符号化方法。
【請求項２】入力画像を異なる画像から予測する手段
と、この予測誤差の大きな領域をパターン情報として表
現する予測誤差のしきい値処理手段と、前記パターン情
報に領域を収縮後、膨張させるモルフォロジー処理と等
価な処理を行ないマスクパターンを生成するモルフォロ
ジー手段と、予測誤差画像の符号化を前記マスクパター
ンに基づいて行なう波形符号化手段から構成されること
を特徴とする画像符号化装置。