JPH1023429A - 画像符号化装置および画像復号化装置 - Google Patents
画像符号化装置および画像復号化装置Info
- Publication number
- JPH1023429A JPH1023429A JP17606296A JP17606296A JPH1023429A JP H1023429 A JPH1023429 A JP H1023429A JP 17606296 A JP17606296 A JP 17606296A JP 17606296 A JP17606296 A JP 17606296A JP H1023429 A JPH1023429 A JP H1023429A
- Authority
- JP
- Japan
- Prior art keywords
- image
- morphological
- filter
- remainder
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 前後するフレームを用いて予測画像符号化を
行なうにあたり、予測誤差画像を、残差符号化すべき部
分と残差符号化しなくてもよい部分に分け、限られた符
号化速度においても、視覚妨害の少ない画像符号化を行
なうことと、選択的に平滑化された予測画像を生成する
ことにより、視覚妨害の少ない画像符号化を行う。 【解決手段】 濃淡モルフォロジー演算に基づく非線形
フィルタ(102,104）を残差符号化の前段のフィルタとし
て、あるいは予測画像に適用するループフィルタとして
用いる構成をとる。これにより、インパルス状のエッジ
を残差画像または予測画像から除き、予測誤差画像の有
意な部分のみを効率よく符号化し、符号量の削減、同一
符号量での画質向上が行なえる。
行なうにあたり、予測誤差画像を、残差符号化すべき部
分と残差符号化しなくてもよい部分に分け、限られた符
号化速度においても、視覚妨害の少ない画像符号化を行
なうことと、選択的に平滑化された予測画像を生成する
ことにより、視覚妨害の少ない画像符号化を行う。 【解決手段】 濃淡モルフォロジー演算に基づく非線形
フィルタ(102,104）を残差符号化の前段のフィルタとし
て、あるいは予測画像に適用するループフィルタとして
用いる構成をとる。これにより、インパルス状のエッジ
を残差画像または予測画像から除き、予測誤差画像の有
意な部分のみを効率よく符号化し、符号量の削減、同一
符号量での画質向上が行なえる。
Description
【０００１】
【発明の属する技術分野】本発明は、画像をより少ない
符号化量で伝送蓄積する画像符号化方法とその装置に関
するものである。
符号化量で伝送蓄積する画像符号化方法とその装置に関
するものである。
【０００２】
【従来の技術】画像符号化方法とその装置の従来技術に
は、例えば、ＣＣＩＴＴ勧告Ｈ.261に記載されている装
置がある。図３はこのＨ.261に基づく画像符号化装置と
復号化装置の構成図であり、３０１は予測画像生成手
段、３０２はループフィルタ、３０３は動きベクトル検
出手段、３０４は差分器、３０５は波形符号化手段、３
０６は波形復号化手段、３０７は加算器、３０８はフレ
ーム遅延手段、３０９はハフマン符号化器、３１０はハ
フマン復号化器、３１１は波形復号化手段、３１２は加
算器、３１３はフレーム遅延手段、３１４は予測画像生
成手段、３１５はループフィルタである。
は、例えば、ＣＣＩＴＴ勧告Ｈ.261に記載されている装
置がある。図３はこのＨ.261に基づく画像符号化装置と
復号化装置の構成図であり、３０１は予測画像生成手
段、３０２はループフィルタ、３０３は動きベクトル検
出手段、３０４は差分器、３０５は波形符号化手段、３
０６は波形復号化手段、３０７は加算器、３０８はフレ
ーム遅延手段、３０９はハフマン符号化器、３１０はハ
フマン復号化器、３１１は波形復号化手段、３１２は加
算器、３１３はフレーム遅延手段、３１４は予測画像生
成手段、３１５はループフィルタである。
【０００３】以上のように構成された画像符号化装置と
復号化装置の動作を、以下に説明する。まず動きベクト
ル検出手段３０３は、入力画像を１６×１６画素で構成
されるブロック（マクロブロックと呼ぶ）について前フ
レームの復号化された画像と最も差分絶対値和が最小と
なる動きベクトルを検出する。この動きベクトルと前フ
レームの復号化された画像を入力として予測画像生成手
段３０１は予測画像を生成する。
復号化装置の動作を、以下に説明する。まず動きベクト
ル検出手段３０３は、入力画像を１６×１６画素で構成
されるブロック（マクロブロックと呼ぶ）について前フ
レームの復号化された画像と最も差分絶対値和が最小と
なる動きベクトルを検出する。この動きベクトルと前フ
レームの復号化された画像を入力として予測画像生成手
段３０１は予測画像を生成する。
【０００４】ループフィルタ３０２は平滑化フィルタ
で、予測画像の各画素値を近傍画素の重み付け和で置き
換え平滑化する。これにより、予測精度をより向上させ
ることができる場合、マクロブロック単位でループフィ
ルタ使用が選択される。差分器３０４は入力画像と予測
画像の差分画像（以後、予測誤差画像あるいは残差画像
と呼ぶ）を出力する。これを波形符号化手段３０５が８
×８の画素で構成されるブロック（以後ＤＣＴブロック
と呼ぶ）について離散コサイン変換（ＤＣＴ）を行な
い、画像を周波数に相当するＤＣＴ係数に変換し、ハフ
マン符号化器３０９がこれを可変長符号化する。
で、予測画像の各画素値を近傍画素の重み付け和で置き
換え平滑化する。これにより、予測精度をより向上させ
ることができる場合、マクロブロック単位でループフィ
ルタ使用が選択される。差分器３０４は入力画像と予測
画像の差分画像（以後、予測誤差画像あるいは残差画像
と呼ぶ）を出力する。これを波形符号化手段３０５が８
×８の画素で構成されるブロック（以後ＤＣＴブロック
と呼ぶ）について離散コサイン変換（ＤＣＴ）を行な
い、画像を周波数に相当するＤＣＴ係数に変換し、ハフ
マン符号化器３０９がこれを可変長符号化する。
【０００５】符号化側、復号化側で生成される予測画像
を同じくするために波形復号化手段３０６は復号化側の
波形復号化手段３１１と同じ構成をとり、逆離散コサイ
ン変換（ＩＤＣＴ）を行ない残差画像を再構成する。ま
たループフィルタ３１５も符号化側と同じマクロブロッ
クに対して動作する。加算器３０７はこれと現在の予測
画像を加え、復号化側で再構成される画像を生成する。
この画像はフレーム遅延手段３０８により遅延され、次
フレームの予測に使われる。復号化側ではハフマン復号
化器３１０によりＤＣＴ係数を復号し、その後、符号化
側の同一名称のブロックと同じ動作を各ブロックが行な
うことにより画像が再構成される。
を同じくするために波形復号化手段３０６は復号化側の
波形復号化手段３１１と同じ構成をとり、逆離散コサイ
ン変換（ＩＤＣＴ）を行ない残差画像を再構成する。ま
たループフィルタ３１５も符号化側と同じマクロブロッ
クに対して動作する。加算器３０７はこれと現在の予測
画像を加え、復号化側で再構成される画像を生成する。
この画像はフレーム遅延手段３０８により遅延され、次
フレームの予測に使われる。復号化側ではハフマン復号
化器３１０によりＤＣＴ係数を復号し、その後、符号化
側の同一名称のブロックと同じ動作を各ブロックが行な
うことにより画像が再構成される。
【０００６】以上に示したように、Ｈ.261に基づく符号
化装置のフレーム間符号化モードでは、現在のフレーム
画像を符号化する際に、ブロック相関法により前フレー
ムの画像から現フレームの予測画像を動き補償画像とし
て作り（以後、この処理を動き補償と呼ぶ）、この動き
補償画像と現フレーム画像との差分画像（残差画像）を
符号化している。この符号化装置では、動き補償画像
が、前フレームと誤差なく一致している時、送る情報量
が、動きベクトルだけで済み、少ない符号化量で画像を
伝送することができる。
化装置のフレーム間符号化モードでは、現在のフレーム
画像を符号化する際に、ブロック相関法により前フレー
ムの画像から現フレームの予測画像を動き補償画像とし
て作り（以後、この処理を動き補償と呼ぶ）、この動き
補償画像と現フレーム画像との差分画像（残差画像）を
符号化している。この符号化装置では、動き補償画像
が、前フレームと誤差なく一致している時、送る情報量
が、動きベクトルだけで済み、少ない符号化量で画像を
伝送することができる。
【０００７】また動画像に動きがあっても単純な動きで
ある場合や、局所的である場合は、予測画像と入力画像
との差分が小さくなり、このようなフレーム間の相関を
利用しないフレーム内符号化を行なう場合に比べて少な
い符号量で動画像を符号化することができる。
ある場合や、局所的である場合は、予測画像と入力画像
との差分が小さくなり、このようなフレーム間の相関を
利用しないフレーム内符号化を行なう場合に比べて少な
い符号量で動画像を符号化することができる。
【０００８】ところで、Ｈ.261は、小さくとも縦横１４
４×１７６画素程度の大きさの画像を毎秒６４キロビッ
ト程度の符号化量で伝送することを目的に勧告された画
像符号化方式、装置の仕様である。同程度の大きさの画
像をより低い符号化速度で符号化しようとすると、ＤＣ
Ｔ係数を粗く量子化しなければならなくなる。そして
（１）強いエッジをＤＣＴ係数で表現できなくなること
によりエッジ近傍に生ずるモスキートノイズや（２）Ｄ
ＣＴブロックの平均輝度レベルの違いによりブロック境
界に発生するブロックノイズが視覚妨害として知覚され
るようになる。
４×１７６画素程度の大きさの画像を毎秒６４キロビッ
ト程度の符号化量で伝送することを目的に勧告された画
像符号化方式、装置の仕様である。同程度の大きさの画
像をより低い符号化速度で符号化しようとすると、ＤＣ
Ｔ係数を粗く量子化しなければならなくなる。そして
（１）強いエッジをＤＣＴ係数で表現できなくなること
によりエッジ近傍に生ずるモスキートノイズや（２）Ｄ
ＣＴブロックの平均輝度レベルの違いによりブロック境
界に発生するブロックノイズが視覚妨害として知覚され
るようになる。
【０００９】Ｈ.261では、動き補償の動きに対する精度
は１画素単位で行なわれる。また、近年の動画像符号化
技術では１／２画素の動き精度で行なわれている。物体
の動きが画素の整数値を取る場合は理想的には予測画像
は入力画像に誤差無く一致する。しかし現実には、動き
が画素の整数値を取ることは一般的ではなく、また動き
の精度を（例えば１／２画素精度や１／４画素精度に）
高めても入力画素値を近傍画素値の補間、外挿により推
定するために、動き推定が誤っていなくともエッジ近傍
でインパルス状の予測誤差が発生する。これを図示した
ものが図２である。
は１画素単位で行なわれる。また、近年の動画像符号化
技術では１／２画素の動き精度で行なわれている。物体
の動きが画素の整数値を取る場合は理想的には予測画像
は入力画像に誤差無く一致する。しかし現実には、動き
が画素の整数値を取ることは一般的ではなく、また動き
の精度を（例えば１／２画素精度や１／４画素精度に）
高めても入力画素値を近傍画素値の補間、外挿により推
定するために、動き推定が誤っていなくともエッジ近傍
でインパルス状の予測誤差が発生する。これを図示した
ものが図２である。
【００１０】図２において、(a)入力画像は変形しなが
ら水平に右へ移動している。(b)予測画像は正方形であ
り、左辺の「Ｂ」の位置は変形により予測は外れてい
る。これに対して、右辺の「Ａ」の部分はほぼ一致して
いる。
ら水平に右へ移動している。(b)予測画像は正方形であ
り、左辺の「Ｂ」の位置は変形により予測は外れてい
る。これに対して、右辺の「Ａ」の部分はほぼ一致して
いる。
【００１１】ところが動き補償により「Ａ」の部分で
は、視覚的に妥当な予測画像が生成されているにも関わ
らず、前述したエッジの動きにより、残差符号化される
予測誤差が生じ、このために全体の符号量を大きくする
要因になっている。ここで図中(d)、(e)、(f)は入力画
像、予測画像、残差画像Ａ-Ｂで切断した輝度レベルを
表している。
は、視覚的に妥当な予測画像が生成されているにも関わ
らず、前述したエッジの動きにより、残差符号化される
予測誤差が生じ、このために全体の符号量を大きくする
要因になっている。ここで図中(d)、(e)、(f)は入力画
像、予測画像、残差画像Ａ-Ｂで切断した輝度レベルを
表している。
【００１２】残差画像の中で、実際に残差符号化すべき
部分としなくても視覚劣化とならない部分を選択するこ
とが課題になる。これはＨ.261に限らず、ある画像を基
に予測画像を生成して残差画像を符号化する方式と装置
にとって共通の問題である。図２の例では、「Ｂ」の部
分は明らかに残差符号化が必要となるが、「Ａ」の部分
では限られた符号化速度の下では、残差符号化は不要で
ある。
部分としなくても視覚劣化とならない部分を選択するこ
とが課題になる。これはＨ.261に限らず、ある画像を基
に予測画像を生成して残差画像を符号化する方式と装置
にとって共通の問題である。図２の例では、「Ｂ」の部
分は明らかに残差符号化が必要となるが、「Ａ」の部分
では限られた符号化速度の下では、残差符号化は不要で
ある。
【００１３】またもう一つの課題として、一度当該マク
ロブロックでループフィタが選択されると、平滑化フィ
ルタであるために全てのエッジ成分を抑圧・平滑化して
しまう副作用を有している。 画像により、インパルス
状の輝度変化のみ抑圧することで予測精度を向上できる
場合がある。この場合、ステップ状のエッジなどの構造
を保存しながら、インパルス状のエッジ成分のみを抑圧
することにより、予測効率の改善と主観画質の向上が期
待できる。
ロブロックでループフィタが選択されると、平滑化フィ
ルタであるために全てのエッジ成分を抑圧・平滑化して
しまう副作用を有している。 画像により、インパルス
状の輝度変化のみ抑圧することで予測精度を向上できる
場合がある。この場合、ステップ状のエッジなどの構造
を保存しながら、インパルス状のエッジ成分のみを抑圧
することにより、予測効率の改善と主観画質の向上が期
待できる。
【００１４】
【発明が解決しようとする課題】本発明は以上説明した
ように、異なる画像間の相関を利用する予測画像符号化
において一般的に生じる問題：「残差画像を、残差符号
化すべき部分と残差符号化しなくてもよい部分に分け、
限られた符号化速度においても、視覚妨害の少ない画像
符号化を行なう」課題と、「選択的に平滑化された予測
画像を生成することにより、視覚妨害の少ない画像符号
化を行う」課題を解決することを目的とする。
ように、異なる画像間の相関を利用する予測画像符号化
において一般的に生じる問題：「残差画像を、残差符号
化すべき部分と残差符号化しなくてもよい部分に分け、
限られた符号化速度においても、視覚妨害の少ない画像
符号化を行なう」課題と、「選択的に平滑化された予測
画像を生成することにより、視覚妨害の少ない画像符号
化を行う」課題を解決することを目的とする。
【００１５】
【課題を解決するための手段】本発明は、入力画像を参
照画像から予測しその差分画像を符号化することにより
画像を伝送または蓄積を行う画像符号化装置であって、
差分画像を生成する際に、画像を構成する各画素につい
て濃淡値を近傍の最大値に置き換えるモルフォロジー膨
張手段、各画素について濃淡値を近傍の最小値に置き換
えるモルフォロジー収縮手段を有し、差分画像生成手段
の出力に対してモルフォロジー膨張収縮手段、モルフォ
ロジー収縮膨張手段を接続して差分画像を得ることを特
徴とする画像符号化装置と、入力画像を参照画像から予
測しその差分画像を符号化することにより画像を伝送あ
るいは蓄積を行う画像符号化装置であって、参照画像を
生成する際に、画像を構成する各画素について濃淡値を
近傍の最大値に置き換えるモルフォロジー膨張手段、各
画素について濃淡値を近傍の最小値に置き換えるモルフ
ォロジー収縮手段を有し、参照画像生成手段の出力に対
してモルフォロジー膨張収縮手段、モルフォロジー収縮
膨張手段を接続して参照画像を得ることを特徴とする画
像符号化装置と、復号済みの画像を参照画像として、こ
れに対する差分画像を復号し加算することにより画像を
復号化する画像復号化装置であって、参照画像を生成す
る際に、画像を構成する各画素について濃淡値を近傍の
最大値に置き換えるモルフォロジー膨張手段、各画素に
ついて濃淡値を近傍の最小値に置き換えるモルフォロジ
ー収縮手段を有し、参照画像生成手段の出力に対してモ
ルフォロジー膨張収縮手段、モルフォロジー収縮膨張手
段を接続して参照画像を得ることを特徴とする画像復号
化装置である。
照画像から予測しその差分画像を符号化することにより
画像を伝送または蓄積を行う画像符号化装置であって、
差分画像を生成する際に、画像を構成する各画素につい
て濃淡値を近傍の最大値に置き換えるモルフォロジー膨
張手段、各画素について濃淡値を近傍の最小値に置き換
えるモルフォロジー収縮手段を有し、差分画像生成手段
の出力に対してモルフォロジー膨張収縮手段、モルフォ
ロジー収縮膨張手段を接続して差分画像を得ることを特
徴とする画像符号化装置と、入力画像を参照画像から予
測しその差分画像を符号化することにより画像を伝送あ
るいは蓄積を行う画像符号化装置であって、参照画像を
生成する際に、画像を構成する各画素について濃淡値を
近傍の最大値に置き換えるモルフォロジー膨張手段、各
画素について濃淡値を近傍の最小値に置き換えるモルフ
ォロジー収縮手段を有し、参照画像生成手段の出力に対
してモルフォロジー膨張収縮手段、モルフォロジー収縮
膨張手段を接続して参照画像を得ることを特徴とする画
像符号化装置と、復号済みの画像を参照画像として、こ
れに対する差分画像を復号し加算することにより画像を
復号化する画像復号化装置であって、参照画像を生成す
る際に、画像を構成する各画素について濃淡値を近傍の
最大値に置き換えるモルフォロジー膨張手段、各画素に
ついて濃淡値を近傍の最小値に置き換えるモルフォロジ
ー収縮手段を有し、参照画像生成手段の出力に対してモ
ルフォロジー膨張収縮手段、モルフォロジー収縮膨張手
段を接続して参照画像を得ることを特徴とする画像復号
化装置である。
【００１６】
【発明の実施の形態】まず、濃淡モルフォロジー処理を
はじめに説明する。モルフォロジー処理は２値画像の形
状あるいは多値画像の濃度平面の形状に対して行なわれ
る処理でこれは文献１「モルフォロジー イメージ オ
ペレータズ」（Henk J.A.M. Heijmans: Morphological
Image Operators, Academic Press, Inc. 1994）や文献
２「アイイーイーイー トランザクション オン パタ
ーン アナリシス アンド マシーン インテリジェン
ス」（R.M.Harallick, S.R.Sternberg, and X. Zhuang:
Image Analysis Using Mathmatical Morphology, IEEE
Transaction on Pattern Analysis and Machine Intel
igence, Vol. PAMMI-9, No.4,pp. 532-550, July 198
7）に詳しい解説が成されている。
はじめに説明する。モルフォロジー処理は２値画像の形
状あるいは多値画像の濃度平面の形状に対して行なわれ
る処理でこれは文献１「モルフォロジー イメージ オ
ペレータズ」（Henk J.A.M. Heijmans: Morphological
Image Operators, Academic Press, Inc. 1994）や文献
２「アイイーイーイー トランザクション オン パタ
ーン アナリシス アンド マシーン インテリジェン
ス」（R.M.Harallick, S.R.Sternberg, and X. Zhuang:
Image Analysis Using Mathmatical Morphology, IEEE
Transaction on Pattern Analysis and Machine Intel
igence, Vol. PAMMI-9, No.4,pp. 532-550, July 198
7）に詳しい解説が成されている。
【００１７】本発明は濃淡モルフォロジー処理を利用し
ている。これを文献３「多重構造要素を用いたモルフォ
ロジーフィルタによる微小石灰化像の抽出、信学論 D2,
Vol.J75-D-II, No.7」（金 華栄 小畑 秀文：多重構造
要素を用いたモルフォロジーフィルタによる微小石灰化
像の抽出、信学論 Ｄ2,Vol.J75-D-II, No.7, pp1170-11
76,1992-7. 英文タイトル, Hua-Rong JIN and Idefumi
KOBATAKE:Extractionof Micrcalcifications on Mammog
ram Using Morphological Filter with Multiple Struc
turing Elements）で述べられている定義を用いて本発
明の作用を説明する。
ている。これを文献３「多重構造要素を用いたモルフォ
ロジーフィルタによる微小石灰化像の抽出、信学論 D2,
Vol.J75-D-II, No.7」（金 華栄 小畑 秀文：多重構造
要素を用いたモルフォロジーフィルタによる微小石灰化
像の抽出、信学論 Ｄ2,Vol.J75-D-II, No.7, pp1170-11
76,1992-7. 英文タイトル, Hua-Rong JIN and Idefumi
KOBATAKE:Extractionof Micrcalcifications on Mammog
ram Using Morphological Filter with Multiple Struc
turing Elements）で述べられている定義を用いて本発
明の作用を説明する。
【００１８】＜濃淡モルフォロジー演算＞ｆ(ｘ)を濃淡
値画像、Ｇを構造要素(２次元位置ベクトルの集合、領
域)とする。このとき、ｆ(ｘ)を輝度値、Ｆを定義域
（入力画像の各画素位置の２次元ベクトル集合）、ｘを
位置ベクトル、Ｚを構造要素内の位置ベクトル、ｇを構
造要素のスカラー関数とすると、収縮
値画像、Ｇを構造要素(２次元位置ベクトルの集合、領
域)とする。このとき、ｆ(ｘ)を輝度値、Ｆを定義域
（入力画像の各画素位置の２次元ベクトル集合）、ｘを
位置ベクトル、Ｚを構造要素内の位置ベクトル、ｇを構
造要素のスカラー関数とすると、収縮
【００１９】
【数１】
【００２０】膨張
【００２１】
【数２】
【００２２】オープニング
【００２３】
【数３】
【００２４】クロージング
【００２５】
【数４】
【００２６】と定義される。本発明による画像符号化装
置では、はじめに入力画像を異なる画像から予測し、そ
の残差（差分）画像に対して、式５あるいは式６の処理
を行う。
置では、はじめに入力画像を異なる画像から予測し、そ
の残差（差分）画像に対して、式５あるいは式６の処理
を行う。
【００２７】
【数５】
【００２８】
【数６】
【００２９】ここでは便宜的に簡単に式５をＭフィルタ
ー、式６をＮフィルター略す。このＭフィルターまたは
Ｎフィルターの特徴として、ピーク値を抑圧する性質を
持っている。これはＭフィルターまたはＮフィルターに
より当該画素の値がＧで定義される近傍領域の最大-最
小-最小-最大あるいは、最小-最大-最大-最小の値で置
き換えられることにより理解される。
ー、式６をＮフィルター略す。このＭフィルターまたは
Ｎフィルターの特徴として、ピーク値を抑圧する性質を
持っている。これはＭフィルターまたはＮフィルターに
より当該画素の値がＧで定義される近傍領域の最大-最
小-最小-最大あるいは、最小-最大-最大-最小の値で置
き換えられることにより理解される。
【００３０】従来例で示した図２にこれらのフィルタを
適用すると、Ａの部分のインパルス状の領域が消去され
図２(ｇ)のようになる。このように残差画像を符号化す
ることにより、残差符号化をしなくてもよい領域を無視
して効率の高い符号化を行なうことができる。
適用すると、Ａの部分のインパルス状の領域が消去され
図２(ｇ)のようになる。このように残差画像を符号化す
ることにより、残差符号化をしなくてもよい領域を無視
して効率の高い符号化を行なうことができる。
【００３１】同様にこのＭフィルターあるいはＮフィル
ターをフレーム間予測された画像に適用すると、インパ
ルス状のエッジを除去しつつ、ステップ状のエッジを保
存した予測画像を生成することができる。本発明の画像
符号化装置と画像復号化装置ではこのＭフィルターまた
はＮフィルターをＨ.261のループフィルタと同様に用い
ることにより、予測画像からインパルス状のエッジを除
くことができる。
ターをフレーム間予測された画像に適用すると、インパ
ルス状のエッジを除去しつつ、ステップ状のエッジを保
存した予測画像を生成することができる。本発明の画像
符号化装置と画像復号化装置ではこのＭフィルターまた
はＮフィルターをＨ.261のループフィルタと同様に用い
ることにより、予測画像からインパルス状のエッジを除
くことができる。
【００３２】一般的にインパルス状のエッジはフレーム
間の相関が少なく、予測精度向上に寄与しない。
間の相関が少なく、予測精度向上に寄与しない。
【００３３】（実施例）本発明による画像符号化装置の
一実施例を図１を用いて説明する。図１は本実施例の構
成図で、１０１は予測画像生成手段、１０２はモルフォ
ロジーループフィルタ、１０３は差分器、１０４はモル
フォロジー残差抑圧フィルタ、１０５は波形符号化手
段、１０６はハフマン符号化器、１０７は波形復号化手
段、１０８は加算器、１０９はフレーム遅延手段、１１
０は動きベクトル検出手段、１１１はハフマン復号化
器、１１２は波形復号化手段、１１３は加算器、１１４
はフレーム遅延手段、１１５は予測画像生成手段、１１
６はモルフォロジーループフィルタ、１１７はモルフォ
ロジーポストフィルタである。
一実施例を図１を用いて説明する。図１は本実施例の構
成図で、１０１は予測画像生成手段、１０２はモルフォ
ロジーループフィルタ、１０３は差分器、１０４はモル
フォロジー残差抑圧フィルタ、１０５は波形符号化手
段、１０６はハフマン符号化器、１０７は波形復号化手
段、１０８は加算器、１０９はフレーム遅延手段、１１
０は動きベクトル検出手段、１１１はハフマン復号化
器、１１２は波形復号化手段、１１３は加算器、１１４
はフレーム遅延手段、１１５は予測画像生成手段、１１
６はモルフォロジーループフィルタ、１１７はモルフォ
ロジーポストフィルタである。
【００３４】図１中、１０１から１１０のブロックは符
号化側、１１１から１１７のブロックは復号化側の装置
を構成している。本実施例を構成する各ブロックの構成
と動作は、１０２、１０４、１１６、１１７を除き従来
例に示したＨ.261に基づく画像符号化装置（図３）の同
名ブロックと全く同じであるので、重複した説明は省略
し、従来例との差異のみを説明する。
号化側、１１１から１１７のブロックは復号化側の装置
を構成している。本実施例を構成する各ブロックの構成
と動作は、１０２、１０４、１１６、１１７を除き従来
例に示したＨ.261に基づく画像符号化装置（図３）の同
名ブロックと全く同じであるので、重複した説明は省略
し、従来例との差異のみを説明する。
【００３５】本実施例では、モルフォロジー残差抑圧フ
ィルタ１０４を波形符号化手段１０５と差分器１０３の
間に挿入した。このモルフォロジー残差抑圧フィルタは
式５に示すＭフィルターで Ｇ＝{ (-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,
-1),(1,0),(1,1)}, ｇ(ｚ) ＝ ０とした構成になっている。
ィルタ１０４を波形符号化手段１０５と差分器１０３の
間に挿入した。このモルフォロジー残差抑圧フィルタは
式５に示すＭフィルターで Ｇ＝{ (-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,
-1),(1,0),(1,1)}, ｇ(ｚ) ＝ ０とした構成になっている。
【００３６】すなわち、各画素をその８近傍画素の最大
値に置換し、次に８近傍画素の最小値に置換、さらに８
近傍最小値に置換し、最後に８近傍最大値に置換する４
段階の処理が行われる。これにより、図２に示したよう
にインパルス状のピーク値を抑圧することができる。こ
れにより、低いビットレートでは残差信号を十分に符号
化できない場合にも、符号量を視覚的に劣化を伴う領域
（図２の場合、Ｂの部分）に優先的に割り当てることが
できる。
値に置換し、次に８近傍画素の最小値に置換、さらに８
近傍最小値に置換し、最後に８近傍最大値に置換する４
段階の処理が行われる。これにより、図２に示したよう
にインパルス状のピーク値を抑圧することができる。こ
れにより、低いビットレートでは残差信号を十分に符号
化できない場合にも、符号量を視覚的に劣化を伴う領域
（図２の場合、Ｂの部分）に優先的に割り当てることが
できる。
【００３７】また本実施例では、従来例のループフィル
タ（302,315)をそれぞれモルフォロジーループフィルタ
(102, 116)に置き換えた。このモルフォロジーループフ
ィルタの構成は、モルフォロジー残差抑圧フィルタ１０
４と全く同じである。これらのフィルタにより、予測画
像が図２(ｆ)のようにインパルス状のピークを持つ画像
として得られた場合、図２(ｇ)のようにそのピークが抑
圧された画像として修正される。図２は、差分画像に対
する処理を例示したものであるが、予測画像に対するル
ープフィルタ動作の説明にも用いた。この結果、予測画
像にごま塩状の雑音が含まれる場合、その雑音を予測画
像から除くことができる。
タ（302,315)をそれぞれモルフォロジーループフィルタ
(102, 116)に置き換えた。このモルフォロジーループフ
ィルタの構成は、モルフォロジー残差抑圧フィルタ１０
４と全く同じである。これらのフィルタにより、予測画
像が図２(ｆ)のようにインパルス状のピークを持つ画像
として得られた場合、図２(ｇ)のようにそのピークが抑
圧された画像として修正される。図２は、差分画像に対
する処理を例示したものであるが、予測画像に対するル
ープフィルタ動作の説明にも用いた。この結果、予測画
像にごま塩状の雑音が含まれる場合、その雑音を予測画
像から除くことができる。
【００３８】本実施例では、さらにモルフォロジー残差
抑圧フィルタ１０４と同じ構成のフィルタを復号化装置
の出力に接続した。これにより、出力結果にインパルス
状のピーク値がある場合、これを抑圧することができ
る。
抑圧フィルタ１０４と同じ構成のフィルタを復号化装置
の出力に接続した。これにより、出力結果にインパルス
状のピーク値がある場合、これを抑圧することができ
る。
【００３９】本実施例では、式５に示す形式のモルフォ
ロジー演算手段を用いたが、式６に基づく演算手段を用
いても同様の効果を得ることができ、本発明の構成は式
５に限定するものではない。またモルフォロジー残差抑
圧フィルタ１０４を中間値フィルタに置き換えても同様
の効果を得ることができる。
ロジー演算手段を用いたが、式６に基づく演算手段を用
いても同様の効果を得ることができ、本発明の構成は式
５に限定するものではない。またモルフォロジー残差抑
圧フィルタ１０４を中間値フィルタに置き換えても同様
の効果を得ることができる。
【００４０】
【発明の効果】以上のように本発明の画像符号化装置で
は、残差画像中で、残差符号化せずとも大きな視覚劣化
とならない領域の符号量を節約することができ、符号化
効率を改善することができる。
は、残差画像中で、残差符号化せずとも大きな視覚劣化
とならない領域の符号量を節約することができ、符号化
効率を改善することができる。
【００４１】また同じ符号量では、残差符号化すべき領
域により多くの符号量を割り当てることができ、画質改
善を行なうことができる。
域により多くの符号量を割り当てることができ、画質改
善を行なうことができる。
【００４２】また予測画像に対してインパルス状のノイ
ズを除去することにより、画像により予測効率を上げる
ことができ、画質改善が得られる。特に入力画像を、一
般の画像ではなく物体領域を表すマスクパターンとした
場合、その画像の性質から、インパルス状のノイズを予
測画像から除去することは符号化効率改善に有効であ
る。
ズを除去することにより、画像により予測効率を上げる
ことができ、画質改善が得られる。特に入力画像を、一
般の画像ではなく物体領域を表すマスクパターンとした
場合、その画像の性質から、インパルス状のノイズを予
測画像から除去することは符号化効率改善に有効であ
る。
【図１】本発明の一実施例における画像符号化装置およ
び復号化装置の構成図
び復号化装置の構成図
【図２】(a)〜(g) 動き補償と濃淡モルフォロジー演算
の作用を示す線図
の作用を示す線図
【図３】従来の画像符号化装置および復号化装置の構成
図
図
１０１ 予測画像生成手段 １０２ モルフォロジーループフィルタ １０３ 差分器 １０４ モルフォロジー残差抑圧フィルタ １０５ 波形符号化手段 １０６ ハフマン符号化器 １０７ 波形復号化器 １０８ 加算器 １０９ フレーム遅延手段 １１０ 動きベクトル検出手段 １１１ ハフマン復号化器 １１２ 波形復号化手段 １１３ 加算器 １１４ フレーム遅延手段 １１５ 予測画像生成手段 １１６ モルフォロジーループフィルタ １１７ モルフォロジーポストフィルタ
Claims (3)
- 【請求項１】入力画像を参照画像から予測しその差分画
像を符号化することにより画像を伝送あるいは蓄積を行
う画像符号化装置であって、 前記差分画像を生成する際に、画像を構成する各画素に
ついて濃淡値を近傍の最大値に置き換えるモルフォロジ
ー膨張手段と、各画素について濃淡値を近傍の最小値に
置き換えるモルフォロジー収縮手段を有し、差分画像生
成手段の出力に対して前記モルフォロジー膨張収縮手
段、前記モルフォロジー収縮膨張手段を接続して差分画
像を得ることを特徴とする画像符号化装置。 - 【請求項２】入力画像を参照画像から予測しその差分画
像を符号化することにより画像を伝送あるいは蓄積を行
う画像符号化装置であって、 前記参照画像を生成する際に、画像を構成する各画素に
ついて濃淡値を近傍の最大値に置き換えるモルフォロジ
ー膨張手段と、各画素について濃淡値を近傍の最小値に
置き換えるモルフォロジー収縮手段を有し、参照画像生
成手段の出力に対して前記モルフォロジー膨張収縮手
段、前記モルフォロジー収縮膨張手段を接続して参照画
像を得ることを特徴とする画像符号化装置。 - 【請求項３】復号済みの画像を参照画像として、これに
対する差分画像を復号し加算することにより画像を復号
化する画像復号化装置であって、 前記参照画像を生成する際に、画像を構成する各画素に
ついて濃淡値を近傍の最大値に置き換えるモルフォロジ
ー膨張手段と、各画素について濃淡値を近傍の最小値に
置き換えるモルフォロジー収縮手段を有し、参照画像生
成手段の出力に対して前記モルフォロジー膨張収縮手
段、前記モルフォロジー収縮膨張手段を接続して参照画
像を得ることを特徴とする画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17606296A JPH1023429A (ja) | 1996-07-05 | 1996-07-05 | 画像符号化装置および画像復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17606296A JPH1023429A (ja) | 1996-07-05 | 1996-07-05 | 画像符号化装置および画像復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1023429A true JPH1023429A (ja) | 1998-01-23 |
Family
ID=16007055
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17606296A Pending JPH1023429A (ja) | 1996-07-05 | 1996-07-05 | 画像符号化装置および画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1023429A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005244989A (ja) * | 2004-02-25 | 2005-09-08 | Nextream France | 画像シーケンスの符号化に先行する事前処理のための装置及び方法 |
| JP2008504762A (ja) * | 2004-07-01 | 2008-02-14 | トムソン ライセンシング | ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法 |
| JP2008547324A (ja) * | 2005-06-21 | 2008-12-25 | 株式会社エヌ・ティ・ティ・ドコモ | ハイブリッド映像圧縮のための非線形予測フィルタ |
| JP2017103717A (ja) * | 2015-12-04 | 2017-06-08 | 日本放送協会 | 映像符号化装置、映像復号装置およびプログラム |
-
1996
- 1996-07-05 JP JP17606296A patent/JPH1023429A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005244989A (ja) * | 2004-02-25 | 2005-09-08 | Nextream France | 画像シーケンスの符号化に先行する事前処理のための装置及び方法 |
| JP2008504762A (ja) * | 2004-07-01 | 2008-02-14 | トムソン ライセンシング | ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法 |
| US8537904B2 (en) | 2004-07-01 | 2013-09-17 | Thomson Licensing | Pre-processing device and method before encoding of a video image sequence |
| JP2008547324A (ja) * | 2005-06-21 | 2008-12-25 | 株式会社エヌ・ティ・ティ・ドコモ | ハイブリッド映像圧縮のための非線形予測フィルタ |
| JP2017103717A (ja) * | 2015-12-04 | 2017-06-08 | 日本放送協会 | 映像符号化装置、映像復号装置およびプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100525785B1 (ko) | 이미지 화소 필터링 방법 | |
| US6115503A (en) | Method and apparatus for reducing coding artifacts of block-based image encoding and object-based image encoding | |
| JP5259396B2 (ja) | ハイブリッド映像圧縮のための非線形予測フィルタ | |
| JP3678481B2 (ja) | 映像データ後処理方法 | |
| WO2001011892A1 (en) | Adaptive motion vector field coding | |
| JPH08214318A (ja) | ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 | |
| KR0181031B1 (ko) | 움직임 보상된 인터폴레이션에서의 엣지 보상 장치 | |
| AU2004223358A1 (en) | Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression | |
| KR100255917B1 (ko) | 향상된 이동 보상을 위한 방법 및 장치 | |
| GB2312804A (en) | Perceptual error processing in color image predictive coding device | |
| JPH1023429A (ja) | 画像符号化装置および画像復号化装置 | |
| JPH08331565A (ja) | 画像符号化方法とその装置 | |
| TW200922338A (en) | Image encoding/decoding device and method | |
| Yokoyama et al. | Very low bit-rate video coding with object-based motion compensation and orthogonal transform | |
| JP2000152229A (ja) | 画像処理システムの圧縮画像の復元方法及びその装置 | |
| KR100626234B1 (ko) | 이미지 화소 필터링 방법 | |
| KR0129579B1 (ko) | 전처리 필터를 이용한 영상 부호화기 | |
| KR20050052432A (ko) | 이미지 화소 필터링 방법 | |
| KR100803569B1 (ko) | 비디오 코더의 루프/포스트 필터링 방법 | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| Heising | Efficient and robust motion estimation in grid-based hybrid video coding schemes | |
| Nakachi et al. | Pel-adaptive lossless predictive coding based on image segmentation | |
| KR100505320B1 (ko) | 필터링 강도 선택 방법 | |
| KR100203658B1 (ko) | 물체의 윤곽 부호화를 위한 움직임 추정장치 | |
| KR100523551B1 (ko) | 이미지 화소 필터링 방법 |