JP2863364B2 - 復号器 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力画像信号を２次元
のブロック単位に分割して離散コサイン変換する離散コ
サイン変換方式符号化システムの画質改善方式に係わ
り、特にモスキート雑音を低減するためのモスキート雑
音低減機能を有した復号器に関するものである。

【０００２】

【従来の技術】近年、ＩＳＤＮを有効に活用するサービ
スとしてテレビ会議やテレビ電話などの画像通信サービ
スが有望視され、このような静止画あるいは動画の効率
的な伝送を目的とした高能率符号化の研究が盛んに行わ
れている。

【０００３】これらの研究は、画像信号の統計的な性質
を利用して、その信号に含まれる冗長性を取り除くこと
により情報量の削減を行っている。その１つとして離散
コサイン変換（Discrete Cosine Transform、以下ＤＣ
Ｔと称する）を用いた直交変換符号化方式がよく知られ
ている。

【０００４】以下、図８により２次元離散コサイン変換
を用いた場合の従来例について説明する。符号器（送信
側）はフレームメモリ部１７、離散コサイン変換部１
８、量子化部１９、符号化部２０を備え、復号器（受信
側）は復号部２１、逆量子化部２２、逆離散コサイン変
換部２３、フレームメモリ部２４を備えている。

【０００５】今、フレームメモリ部１７に画像信号が入
力されたとする。入力画像信号は、テレビカメラ等から
の画像信号をディジタル化したものであり、フレームメ
モリ部１７において１画面分蓄積される。

【０００６】次に、蓄積された画像信号はＮ×Ｍ画素
（Ｎ、Ｍは自然数）のブロックに分割される。離散コサ
イン変換部１８は、各々のブロックの画素信号に２次元
の離散コサイン変換を実施し、ＤＣＴ係数を量子化部１
９へ送出する。

【０００７】量子化部１９では、量子化ステップ幅によ
りＤＣＴ係数を量子化する。

【０００８】最後に、符号化部２０で量子化部１９から
の量子化出力信号のエントロピー符号化を行って、符号
化情報を復号器へ伝送する。

【０００９】復号器では、復号部２１で符号化情報のエ
ントロピー復号を行い、逆量子化部２２で逆量子化を実
施してＤＣＴ係数を得る。さらに、逆離散コサイン変換
部２３でＤＣＴ係数を逆離散コサイン変換して復元され
た画像信号をフレームメモリ部２４に蓄積し、出力画像
信号を得る。

【００１０】

【発明が解決しようとする課題】入力画像信号を離散コ
サイン変換すると、低周波成分は電力的に大きな成分を
占める。また、高周波成分は電力的には大きくないが、
画像情報としての重要性には変わりがない。一般に、人
間の視覚は低域通過フィルタの特性をもっているといわ
れているので、高周波成分については粗い量子化を行っ
て高い符号化効率を得ている。しかしながら、量子化ス
テップ幅の状態によって、ブロック内に急峻なエッジが
存在する場合は、交流成分に生じた量子化誤差の影響に
より復元画像信号のエッジ部周辺にモスキート雑音と呼
ばれる、もやもやとした雑音が発生し、画質が大きく劣
化する原因となっていた。

【００１１】本発明は、符号器と復号器の両アルゴリズ
ムの統一性を必要とせず、復号器側の処理のみで、上記
のモスキート雑音を低減し、画質の改善が可能な復号器
を提供することを目的とするものである。

【００１２】

【課題を解決するための手段】上記課題を解決するため
本発明による復号器は、入力画像信号をＮ×Ｍ（Ｎ、Ｍ
は自然数）画素のブロック単位で離散コサイン変換を行
い、離散コサイン変換係数を得て、これを量子化・符号
化して生成された符号化情報を復号・逆量子化して離散
コサイン変換係数を得て、これに対して逆離散コサイン
変換を実施して画像信号を復元し、復元画像信号からモ
スキート雑音を検出・低減する復号器であって、復元さ
れた画像信号から画像のエッジを抽出するエッジ抽出部
と、該抽出エッジから有効エッジを抽出する有効エッジ
抽出部と、該有効エッジに対して拡大処理を行うエッジ
拡大処理部と、該エッジ拡大処理部の出力に対してフィ
ルタリング処理を行う画像処理部とを有し、前記画像処
理部において、モスキート雑音が発生した画素ブロック
のエッジ画素および拡大エッジ画素の周辺部分に対して
モスキート雑音を低減する処理を行うよう構成してい
る。

【００１３】

【作用】符号器は、入力画像信号に対してブロック単位
に２次元の離散コサイン変換を実施して得られたＤＣＴ
係数を量子化・符号化し、符号化情報を生成して、その
結果を復号器に伝送する。

【００１４】復号器では、まず前記符号化情報を復号・
逆量子化して得られたＤＣＴ係数を逆離散コサイン変換
して画像信号を復元する。

【００１５】エッジ抽出部は前記復号器のフレームメモ
リ部に蓄積された画像情報のエッジを検出する。有効エ
ッジ抽出部は、前記エッジ部の出力結果に対して、不要
なエッジやランダム雑音を除去して、モスキート雑音の
低減に有効なエッジを得る。エッジ拡大処理部は、前記
有効エッジ画像に対して、エッジの切れやホールを埋め
るエッジ拡大の処理を行う。画像処理部はエッジ拡大画
像のエッジ画素および拡大エッジ画素の位置に基づき、
モスキート雑音が発生している画素ブロックのエッジ拡
大画像のエッジ画素および拡大エッジ画素の周辺部分の
非エッジ画素のみに対して適応的にモスキート雑音を低
減する画像処理を行う。

【００１６】

【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。図１は本発明の原理を説明する図であ
る。符号器１において入力画像信号を一定のブロックに
分割してブロックごとに２次元の離散コサイン変換を行
う。ここで得られたＤＣＴ係数を量子化し符号化した符
号化情報を復号器２へ伝送する。復号器２では、符号化
情報を復号し逆量子化してＤＣＴ係数を得る。さらに、
ＤＣＴ係数に対して逆離散コサイン変換を実施し画像信
号を復元する。

【００１７】モスキート雑音検出部３は、復元された画
像信号からエッジ部分を抽出しモスキート雑音が発生し
たと考えられるブロックを検出して検出結果を出力す
る。エッジ抽出には、例えば微分処理などが用いられ
る。

【００１８】画像処理部４はモスキート雑音検出部３の
検出結果に基づきモスキート雑音が発生した画素ブロッ
クに対して適応的にモスキート雑音を低減する画像処理
を行う。この画像処理には、例えばブロック内の画素に
メディアンフィルタを用いて平滑化を行う方法などがあ
る。上記図１は本発明の原理を説明するための図である
が、本発明に係る復号器は、上記図１において説明した
復号器２、モスキート雑音検出部３、および画像処理部
４から構成される。 以下、本発明に係る復号器につい
て、符号器と本発明に係る復号器の構成を示した図２以
下を参照して説明する。

【００１９】図２は本発明の一実施例を示すブロック図
であり、符号器はフレームメモリ部５、離散コサイン変
換部６、量子化部７、符号化部８を備え、復号器は復号
部９、逆量子化部１０、逆離散コサイン変換部１１、フ
レームメモリ部１２、エッジ抽出部１３、有効エッジ抽
出部１４、エッジ拡大処理部１５、画像処理部１６を備
えている。エッジ抽出部１３、有効エッジ抽出部１４、
エッジ拡大処理部１５によって前記図１で説明したモス
キート雑音検出部３を構成している。

【００２０】以下、各部の動作を説明する。まず、フレ
ームメモリ部５は、入力画像信号を１画面分蓄積する。
離散コサイン変換部６は、フレームメモリ部５に蓄積さ
れた入力画像信号を例えば８×８画素のブロック毎に２
次元の離散コサイン変換を実施し、時間領域の信号から
周波数領域への信号へ変換してＤＣＴ係数を量子化部７
に出力する。

【００２１】量子化部７は、高い符号化効率を得るため
に、ＤＣＴ係数の量子化を行い符号化するＤＣＴ係数を
削減する。このように量子化されたＤＣＴ係数は符号化
部８に出力される。符号化部８では、量子化されたＤＣ
Ｔ係数の系列に、適切な符号割当てを行うエントロピー
符号化を実施し、可変長符号からなる符号化情報を生成
して復号器へ伝送する。

【００２２】一方、復号器では復号部９において符号化
情報のエントロピー復号を行い、量子化されたＤＣＴ係
数を逆量子化部１０に出力する。逆量子化部１０は、量
子化部７で行ったのと逆の処理である逆量子化を行い、
逆量子化されたＤＣＴ係数を逆離散コサイン変換部１１
に出力する。逆離散コサイン変換部１１において、２次
元の逆離散コサイン変換を実施し、復元画像信号を得
る。

【００２３】フレームメモリ部１２では、前記逆離散コ
サイン変換部１１で復元した復元画像信号を１画面分蓄
積する。エッジ抽出部１３では、まずフレームメモリ部
１２に蓄積されている復元画像信号に対して、例えばＳ
ｏｂｅｌのオペレータを用いて微分処理を施し、微分画
像を作成する。

【００２４】このオペレータにより得られる微分値Ｄs
は、図３において３×３画素のウィンドウ内の輝度値を
Ａ〜Ｉとしたとき、次の式１で表される。

【００２５】

【式１】 Ｄs＝｜Ａ＋２Ｂ＋Ｃ−Ｇ−２Ｈ−Ｉ｜＋｜Ａ＋２Ｄ＋Ｇ−Ｃ−２Ｆ−Ｉ｜ 次に、この微分画像からエッジを抽出するために次の式
２に示すように、適当なしきい値Ｔｈでしきい値処理し
て、２値のエッジ画像を得る。

【００２６】

【式２】 Ｄｓ（ｉ，ｊ）≧Ｔｈ の時 Ｅ（ｉ，ｊ） ＝ １ Ｄｓ（ｉ，ｊ）＜Ｔｈ の時 Ｅ（ｉ，ｊ） ＝ ０ （ただし、Ｄｓ（ｉ，ｊ）は微分画像を表し、Ｅ（ｉ，
ｊ）はエッジ画像を表す） エッジ抽出部１３で得られたエッジ画像には、細かい不
要なエッジやランダム雑音が多く含まれている。このよ
うな細かい領域ではモスキート雑音が目立ちにくいの
で、雑音低減処理の対象外とするため、有効エッジ抽出
部１４ではエッジ画像からこれらの不要なエッジやラン
ダム雑音を除去する。これは、モスキート雑音低減処理
に伴う画質の劣化を防止する働きもある。

【００２７】この処理は、まずエッジ画像の領域の大き
さを調べるために、４隣接で連結している領域のラベル
付けを行う。次に領域の大きさが例えば１０画素以下の
ものをエッジ画像から除去し、有効エッジ画像を得る。

【００２８】エッジ拡大処理部１５では、有効エッジ画
像のエッジの切れ・ホール等を埋めるエッジの拡大処理
を行う。有効エッジ画像のエッジには雑音等の影響によ
り、エッジが途切れていたり、あるいはホールが生じて
いる可能性がある。

【００２９】このような場合、本来はエッジとして保存
すべきである部分にモスキート雑音の低減処理が施さ
れ、画質の低下を招く恐れがある。従って、そのような
部分を埋めることで、エッジとしての復元を図り、画質
の低下を防いでいる。

【００３０】拡大処理は、図４（ａ）に示すように有効
エッジ画像においてエッジ部分、すなわち次の式３をエ
ッジ画素としたとき、図４（ｂ）に示すように、その８
隣接の画素を全て拡大エッジ画素とし、これらの処理を
行って得た画像を拡大エッジ画像とする。

【００３１】

【式３】Ｅ（ｉ，ｊ） ＝ １ 画像処理部１６は、拡大エッジ画像のエッジ画素および
拡大エッジ画素の位置に基づき、モスキート雑音低減処
理を実施する。エッジ拡大処理部１５から出力される拡
大エッジ画像のエッジ画素と拡大エッジ画素の周辺部分
にモスキート雑音が発生していると考えられる。

【００３２】従って、これらの画素に対してだけ適応的
にモスキート雑音の低減処理を行えば、モスキート雑音
低減処理による画質の劣化を最小限に抑制しつつ、良好
な画像を得ることができる。

【００３３】雑音低減処理の対象となる画素は、エッジ
付近に存在するため、エッジを保存しながら雑音除去の
効果が高いメディアンフィルタを用いる。これはフレー
ムメモリ部１２に蓄積されている復元画像信号のフィル
タリング対象画素に対して３×３画素のウィンドウを設
定し、ウィンドウ内の輝度値を小さい順に並べたときの
中央値をフィルタの出力とするものである。

【００３４】図５は復元画像信号のフィルタリング対象
ブロックと拡大エッジ画像の対応を示す図である。復元
画像信号の８×８画素のブロック内に拡大エッジ画像の
エッジ画素あるいは拡大エッジ画素が存在するブロック
をフィルタリング対象ブロックとする。図５では、ブロ
ックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉがフィルタリ
ング対象ブロックである。

【００３５】さらに、これらのフィルタリング対象ブロ
ック内のエッジ画素でなく、かつ拡大エッジ画素でない
画素、すなわち図６に”△”で示す画素をフィルタリン
グ対象画素とする。

【００３６】例えば、フィルタリング対象画素を注目画
素とした場合の３×３画素のウィンドウ内におけるフレ
ームメモリ部１２に蓄積されている復元画像信号の輝度
値が図７（ａ）のようであったとき、この値を小さい順
に並べると、１０７、１１０、１１０、１１１、１１
３、１１５、１１６、１１７、１１７の順となり、中央
値は１１３である。

【００３７】従って、フィルタリング対象画素の値は、
メディアンフィルタにより１１３となる（図７（ｂ）参
照）。この処理を拡大エッジ部１５から出力される拡大
エッジ画像に基づき決定したフィルタリング対象画素に
実施して、これを再度フレームメモリ部１２へ蓄積す
る。１画面分の処理が終了した後の画像信号を出力して
モスキート雑音が低減された出力画像信号を得る。

【００３８】以上、本実施例によれば、復元画像信号か
らエッジ部分を抽出し、モスキート雑音が発生したと考
えられるブロックを検出して、この検出結果に基づき、
モスキート雑音が発生したブロックに対してのみ適応的
に雑音低減処理を行うことができる。

【００３９】

【発明の効果】以上本発明によれば、復号器において、
復元された画像信号からモスキート雑音の発生を検出
し、その部分に対して画像処理によりモスキート雑音を
低減するので、従来、画質劣化の大きな原因となってい
たモスキート雑音を低減することができる。

【００４０】またモスキート雑音が存在しない部分に対
しては雑音低減処理を行わないようにするので、モスキ
ート雑音の低減処理に伴う画質の劣化を最小限に抑制す
ることができる。

【００４１】さらに、本発明は符号器側で特別な処理を
必要とせず、復号器側のみで実現でき、符号器と復号器
の符号化／復号のアルゴリズムの統一性を必要としない
ので、どのようなアルゴリズムで生成された入力画像に
対しても本願発明のモスキート雑音低減処理を適用でき
る。

【図面の簡単な説明】

【図１】本発明の原理を説明する図である。

【図２】本発明の一実施例を説明するブロック図であ
る。

【図３】３×３画素のウィンドウにおける輝度値を示す
図である。

【図４】エッジ画素の拡大処理を説明する図である。

【図５】フィルタリング対象ブロックを説明する図であ
る。

【図６】フィルタリング対象画素を説明する図である。

【図７】メディアンフィルタを説明する図である。

【図８】従来例の離散コサイン変換方式符号化システム
のブロック図である。

【符号の説明】

１ 符号器 ２ 復号器 ３ モスキート雑音検出部 ４、１６ 画像処理部 １３ エッジ抽出部 １４ 有効エッジ抽出部 １５ エッジ拡大処理部

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像信号をＮ×Ｍ（Ｎ、Ｍは自然
   数）画素のブロック単位で離散コサイン変換を行い、離
   散コサイン変換係数を得て、これを量子化・符号化して
   生成された符号化情報を復号・逆量子化して離散コサイ
   ン変換係数を得て、これに対して逆離散コサイン変換を
   実施して画像信号を復元し、復元画像信号からモスキー
   ト雑音を検出・低減する復号器であって、復元 された画像信号から画像のエッジを抽出するエッジ
   抽出部と、 該抽出エッジから有効エッジを抽出する有効エッジ抽出
   部と、 該有効エッジに対して拡大処理を行うエッジ拡大処理部
   と、 該エッジ拡大処理部の出力に対してフィルタリング処理
   を行う画像処理部とを有し、前記画像処理部において、 モスキート雑音が発生した画
   素ブロックのエッジ画素および拡大エッジ画素の周辺部
   分に対してモスキート雑音を低減する処理を行うことを
   特徴とした復号器。