JP2839987B2 - 画像信号復号器 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力画像信号を２次元
のブロック単位に分割して直交変換する直交変換符号化
方式の画質改善方式に係わり、特に符号器の符号化アル
ゴリズムに係わりなくブロックひずみを低減することの
可能な画像信号復号器に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮを有効に活用するサービ
スとしてテレビ会議やテレビ電話などの画像通信サービ
スが有望視され、このような静止画、動画の効率的な伝
送を目的とした高能率符号化方式の研究が盛んに行われ
ている。

【０００３】これらの研究は、画像信号の統計的な性質
を利用して、その信号に含まれる冗長性を取り除くこと
により、情報量の削減を行っている。このような符号化
方式として離散コサイン変換、カルーネン・レーベ変換
を用いた直交変換符号化方式がよく知られている。

【０００４】以下、図６により２次元直交変換符号化方
式を用いた場合の従来例について説明する。

【０００５】符号器（送信側）は１画面分の画像信号を
蓄積するフレームメモリ部13、該フレームメモリ部13に
接続し、フレームメモリ部13に蓄積された画像信号をブ
ロック単位で直交変換を行い変換係数を得る直交変換部
14、該直交変換部14に接続し、直交変換部14で得られた
変換係数を量子化する量子化部15、該量子化部15に接続
し、量子化された信号を符号化する符号化部16を備えて
いる。

【０００６】復号器（受信側）は符号器からの符号化情
報を復号する復号部17、該復号部17に接続し、復号部17
からの信号を逆量子化し変換係数を得る逆量子化部18、
該逆量子化部18に接続し変換係数を逆直交変換し画像信
号を復元する逆直交変換部19、該逆直交変換部19に接続
し復元された画像信号を蓄積するフレームメモリ部20を
備えている。

【０００７】今、フレームメモリ部13に画像信号が入力
されたとする。入力画像信号は、テレビカメラ等からの
画像信号をディジタル化したものであり、フレームメモ
リ部13において１画面分蓄積される。

【０００８】次に、蓄積された画像信号はＮ×Ｍ画素
（Ｎ、Ｍは自然数）のブロックに分割される。直交変換
部14は、各々のブロックの画素に２次元の直交変換を実
施し、変換係数を量子化部15へ送出する。

【０００９】量子化部15では、量子化ステップ幅により
変換係数を量子化する。

【００１０】最後に符号化部16で量子化部15からの量子
化出力信号のエントロピー符号化を行って、符号化情報
を復号器へ伝送する。

【００１１】復号器では、復号部17で符号化情報のエン
トロピー復号を行い、次いで逆量子化部18でエントロピ
ー復号された信号に逆量子化を実施して変換係数を得
る。さらに、逆直交変換部19で変換係数を逆直交変換し
て画像信号を復元し、復元された画像信号をフレームメ
モリ部20に蓄積し、出力画像信号を得る。

【００１２】

【発明が解決しようする課題】直交変換符号化方式では
入力画像信号をブロックに分割して符号化を行うため、
高い圧縮率を得ようとした場合にはブロックひずみを生
じてしまう。特に、輝度変化が少ない平坦領域のブロッ
クにおいては交流成分が除去され、直流成分のみが符号
化されることがある。従って、復元画像信号のこのよう
な部分ではブロック内が輝度の平均値で表現され、ブロ
ック間の境界が顕著になり画質を非常に損ねる。また、
ブロックは相関のある幾何学パターンとして発生するた
め検知され易く、画質が大きく劣化する原因となってい
た。

【００１３】本発明は符号器と復号器の両アルゴリムの
統一性を必要とせず、復号器側の処理のみで、上記ブロ
ックひずみを低減し、画質の改善が可能な画像信号復号
器を提供すること目的とするものである。

【００１４】

【課題を解決するための手段】上記課題を解決するため
の本発明による画像信号復号器は、入力画像信号をＮ×
Ｍ画素（Ｎ、Ｍは自然数）のブロック単位で直交変換を
行い変換係数を得て、これを量子化・符号化して生成さ
れた符号化情報を復号・逆量子化して変換係数を得て、
これに対し逆直交変換を実施して画像信号を復元する復
号器であって、前記復号器が、復元された画像信号を微
分処理する微分処理手段と、前記復元された画像信号で
表されるブロック境界に位置する画素を中心とする異な
る方向の複数のスリット状ウィンドウを設け、該複数の
スリット状ウィンドウにおける前記微分処理手段によっ
て微分処理された画像信号の分散を求め、該分散が最小
であるスリット状ウィンドウの方向を画像信号の微分値
の分布の方向性として抽出する方向抽出手段と、前記微
分値の分布の方向性を前記画素の方向とするとき、横方
向のブロック境界に位置する画素が横方向の方向を持ち
かつ該横方向のブロック境界をはさんで垂直に隣接する
画素も横方向の方向を持つ場合か、あるいは縦方向のブ
ロック境界に位置する画素が縦方向の方向を持ちかつ該
縦方向のブロック境界をはさんで水平に隣接する画素も
縦方向の方向を持つ場合に、当該画素をブロックひずみ
が発生した画素として検出するブロックひずみ検出手段
と、前記ブロックひずみ検出手段の出力結果により復元
された画像信号に対してフィルタリング処理を行うフィ
ルタリング処理手段とを有し、ブロックひずみが発生し
た画素に対してブロックひずみを低減する処理を適応的
に行うことを特徴とする。

【００１５】

【作用】符号器は、入力画像信号に対してブロック単位
に２次元の直交変換を実施して得られた変換係数を量子
化・符号化し、符号化情報を生成して、その結果を復号
器に伝送する。

【００１６】復号器では、まず前記符号化情報を復号・
逆量子化して得られた変換係数を逆直交変換して画像信
号を復元する。微分処理手段は前記復号器のフレームメ
モリに蓄積された画像信号を微分処理する。方向抽出手
段は前記復元された画像信号で表されるブロック境界に
位置する画素を中心とする異なる方向の複数のスリット
状ウィンドウを設け、該複数のスリット状ウィンドウに
おける前記微分処理手段によって微分処理された画像信
号の分散を求め、該分散が最小であるスリット状ウィン
ドウの方向を画像信号の微分値の分布の方向性として抽
出する。ブロックひずみ検出手段は、前記微分値の分布
の方向性を前記画素の方向とするとき、横方向のブロッ
ク境界に位置する画素が横方向の方向を持ちかつ該横方
向のブロック境界をはさんで垂直に隣接する画素も横方
向の方向を持つ場合か、あるいは縦方向のブロック境界
に位置する画素が縦方向の方向を持ちかつ該縦方向のブ
ロック境界をはさんで水平に隣接する画素も縦方向の方
向を持つ場合に、当該画素をブロックひずみが発生した
画素として検出する。フィルタリング処理手段は、ブロ
ックひずみの発生画素に適応的にブロックひずみを低減
するフィルタリング処理を行う。

【００１７】

【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。

【００１８】図１は本発明の一実施例を示すブロック図
であり、符号器は１画面分の画像信号を蓄積するフレー
ムメモリ部１と、該フレームメモリ部１に接続し、入力
画像信号をブロック単位で直交変換し変換係数を出力す
る直交変換部２と、該直交変換部２に接続し、直交変換
部２からの変換係数を量子化する量子化部３と、該量子
化部３に接続し、量子化された変換係数を符号化する符
号化部４とを備えている。

【００１９】復号器は符号器からの符号化情報を復号す
る復号部５と、該復号部５に接続し、復号部５からの信
号を逆量子化し変換係数を得る逆量子化部６と、該逆量
子化部６に接続し、変換係数を逆直交変換し復元画像信
号を得る逆直交変換部７と、該逆直交変換部７に接続し
復元画像信号を蓄積するフレームメモリ部８とを備えて
いる。

【００２０】本実施例の復号器は更にフレームメモリ部
８に接続し復元画像信号を微分処理する微分処理部９
と、該微分処理部９に接続し、微分値の方向性を抽出す
る方向抽出部10と、該方向抽出部10に接続し、微分値の
方向性からブロックひずみを検出するブロックひずみ検
出部11と、該ブロックひずみ検出部11及びフレームメモ
リ部８に接続し、ブロックひずみが発生した画素に対し
てブロックひずみを低減する処理を施すフィルタリング
処理部12とを備えている。

【００２１】上記構成にてなる符号器の作動は以下の通
りである。

【００２２】フレームメモリ部１は、入力画像信号を１
画面分蓄積する。

【００２３】直交変換部２においてフレームメモリ部１
に蓄積された入力画像信号を例えば、８×８画素のブロ
ック毎に２次元の離散コサイン変換（Discrete Cosine
Transform 、以下ＤＣＴと称する）を実施し、時間領域
の信号から周波数領域への信号へ変換してＤＣＴ係数を
量子化部３に出力する。

【００２４】量子化部３は、高い符号化効率を得るため
にＤＣＴ係数の量子化を行い、符号化するＤＣＴ係数を
削減する。このように量子化されたＤＣＴ係数は符号化
部４に出力される。

【００２５】符号化部４では、量子化されたＤＣＴ係数
の系列に適切な符号割当てを行うエントロピー符号化を
実施し、可変長符号からなる符号化情報を生成して復号
器へこれを伝送する。

【００２６】一方、復号器では復号部５において符号器
からの符号化情報のエントロピー復号を行い、量子化さ
れたＤＣＴ係数を逆量子化部６に出力する。

【００２７】逆量子化部６は、量子化部３で行ったのと
逆の処理である逆量子化を行い、逆量子化されたＤＣＴ
係数を逆直交変換部７に出力する。

【００２８】逆直交変換部７において、２次元の逆離散
コサイン変換を実施し、復元画像信号を得る。

【００２９】フレームメモリ部８では逆直交変換部７で
復元した復元画像信号を１画面分蓄積する。

【００３０】微分処理部９はブロックひずみが発生して
いる隣接するブロック間の輝度の不連続を抽出する。こ
れは、フレームメモリ部８に蓄積されている復元画像信
号に対して例えば、Ｓｏｂｅｌのオペレータを用いて微
分処理を施すことにより行われる。図２において画素ｘ
0 とその近傍の８画素ｘ1 からｘ8 にてなる３×３画素
のウィンドウ内の輝度値をそれぞれＸ0 〜Ｘ8 としたと
き、このオペレータにより得られる画素ｘ0 に関する微
分値Ｇ0 は、式（１）で表され、復元画像信号を微分処
理して得られた画像を微分画像とする。

【００３１】 Ｇ0 ＝ ｜Ｘ4 ＋２Ｘ3 ＋Ｘ2 −Ｘ6 −２Ｘ7 −Ｘ8 ｜ ＋｜Ｘ4 ＋２Ｘ5 ＋Ｘ6 −Ｘ2 −２Ｘ1 −Ｘ8 ｜ （１） ここで、ブロックひずみ発生画素は、微分値の分布がブ
ロック境界に並行した極大値をもつという特徴に着目す
る。一般的な自然画像はブロック境界において不連続成
分はないと考えられるので、前記の微分画像から方向抽
出部10で微分値の分布の方向性を抽出する。

【００３２】この処理は各ブロック境界周辺の画素（方
向抽出対象画素）に対して実施される。図３においては
４つの８×８画素のブロックａからブロックｄが示され
ており、ブロックａ、ブロックｂ、ブロックｃ、ブロッ
クｄのそれぞれ“●”で示す画素が方向抽出対象画素で
ある。これを注目画素として図４の４方向のスリット状
ウィンドウの中心をそれぞれ設定する。さらに、各ウィ
ンドウ内の微分値の分散を求め、この値が最小のウィン
ドウの方向１から４を注目画素の方向として与える。

【００３３】ブロックひずみ検出部11では、方向抽出対
象画素のもつ方向が次の２条件を満足する場合、その画
素をブロックひずみが発生した画素として検出する。

【００３４】（１）方向抽出対象画素のもつ方向がブロ
ック境界と同一の方向である。すなわち横方向のブロッ
ク境界周辺に位置する画素の場合は方向１、縦方向のブ
ロックの境界周辺に位置する画素の場合は方向３をも
つ。

【００３５】（２）方向抽出対象画素の方向が１のと
き、ブロック境界をはさんで垂直に隣接する画素の方向
が１である。あるいは、方向抽出対象画素の方向が３の
とき、ブロック境界をはさんで水平に隣接する画素の方
向が３である。

【００３６】図５においてはハッチングで示された画素
がブロックひずみ発生画素として検出される。

【００３７】フィルタリング処理部12は、前記ブロック
ひずみ検出部11で検出されたブロックひずみ発生画素に
対してだけブロックひずみを低減するフィルタリング処
理を実施する。このようにすることでブロックひずみが
発生していない画素のフィルタリング処理による画質の
劣化を最小限に抑制しつつ、良好な画像を得ることが出
来る。

【００３８】これは、まずフレームメモリ部８に蓄積さ
れている復元画像信号に対して、ブロックひずみ発生画
素を中心とした３×３画素のウィンドウを設定する。こ
のとき、ウィンドウ内の輝度値が図２のＸ0 〜Ｘ8 を示
したとすると、フィルタ出力Ｓ0 は次式で与えられる。

【００３９】 Ｓ0 ＝ （Ｘ0 ＋Ｘ1 ＋Ｘ2 ＋Ｘ3 ＋Ｘ4 ＋Ｘ5 ＋Ｘ6 ＋Ｘ7 ＋Ｘ8 ）／９ （２） 次に、ウィンドウの中心画素をフィルタ出力Ｓ0 で置き
換え、再度フレームメモリ部８へ蓄積する。１画面分の
処理が終了した後の画像信号を出力してブロックひずみ
が低減された出力画像信号を得る。

【００４０】以上、本実施例によれば復元画像信号を微
分処理してブロックひずみが発生したと考えられる画素
を検出し、この検出結果に基づきブロックひずみが発生
した画素に対してブロックひずみを低減する処理を適応
的に行うことができる。

【００４１】

【発明の効果】以上説明したように、本発明によれば直
交変換符号化方式の復号器側において復元された画像信
号からブロックひずみの発生を検出し、その部分に対し
てフィルタリング処理によりブロックひずみを低減する
ので、従来、画質劣化の大きな原因となっていたブロッ
クひずみを低減することが出来る。

【００４２】またブロックひずみが発生していない部分
に対してはブロックひずみの低減処理を行わないように
するので、ブロックひずみの低減処理に伴う画質の劣化
を最小限に抑制することができる。

【００４３】さらに、本発明は符号器側で特別な処理を
必要とせず復号器側のみで実現でき、符号器と復号器の
符号化／復号のアルゴリズムの統一性を必要としないの
で、どのようなアルゴリズムで生成された符号化画像に
対しても本発明のブロックひずみの低減処理を適用でき
る。

【図面の簡単な説明】

【図１】本発明の一実施例を説明するブロック図であ
る。

【図２】３×３画素のウィンドウにおける輝度値を示す
図である。

【図３】方向抽出対象画素を説明する図である。

【図４】４方向のスリット状ウィンドウを説明する図で
ある。

【図５】ブロックひずみ発生画素の検出を説明する図で
ある。

【図６】従来例の直交変換符号化方式を説明するブロッ
ク図である。

【符号の説明】

１ フレームメモリ部 ２ 直交変換部 ３ 量子化部 ４ 符号化部 ５ 復号部 ６ 逆量子化部 ７ 逆直交変換部 ８ フレームメモリ部 ９ 微分処理部 10 方向抽出部 11 ブロックひずみ検出部 12 フィルタリング処理部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像信号をＮ×Ｍ画素（Ｎ、Ｍは自
   然数）のブロック単位で直交変換を行い変換係数を得
   て、これを量子化・符号化して生成された符号化情報を
   復号・逆量子化して変換係数を得て、これに対し逆直交
   変換を実施して画像信号を復元する画像信号復号器であ
   って、 前記復号器が、復元された画像信号を微分処理する微分
   処理手段と、前記復元された画像信号で表されるブロッ
   ク境界に位置する画素を中心とする異なる方向の複数の
   スリット状ウィンドウを設け、該複数のスリット状ウィ
   ンドウにおける前記微分処理手段によって微分処理され
   た画像信号の分散を求め、該分散が最小であるスリット
   状ウィンドウの方向を画像信号の微分値の分布の方向性
   として抽出する方向抽出手段と、前記微分値の分布の方
   向性を前記画素の方向とするとき、横方向のブロック境
   界に位置する画素が横方向の方向を持ちかつ該横方向の
   ブロック境界をはさんで垂直に隣接する画素も横方向の
   方向を持つ場合か、あるいは縦方向のブロック境界に位
   置する画素が縦方向の方向を持ちかつ該縦方向のブロッ
   ク境界をはさんで水平に隣接する画素も縦方向の方向を
   持つ場合に、当該画素をブロックひずみが発生した画素
   として検出するブロックひずみ検出手段と、前記ブロッ
   クひずみ検出手段の出力結果により復元された画像信号
   に対してフィルタリング処理を行うフィルタリング処理
   手段とを有し、ブロックひずみが発生した画素に対して
   ブロックひずみを低減する処理を適応的に行うことを特
   徴とする画像信号復号器。