JP3114208B2 - 適応画像強調回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はロボットの目やファクト
リ・オートメーション用監視カメラなどからの信号から
鮮明な画像信号を抽出する適応画像強調回路に関する。

【０００２】

【従来の技術】従来、不鮮明画像から鮮明な画像を得る
方式として、プロシーディングズ オブ アイシーエイ
エスエスピー（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＡ
ＳＳＰ）１９８１年の１１１７頁より１１２０頁記載の
方式が知られている。この方式は画像が不鮮明なる理由
が、図２（ａ）に示すようにインテンシティ（明るさ）
の極端に弱い部分もしくは強い部分において映写機のダ
イナミックレンジの制約から画像の細かい変動信号が十
分に記録されないまま画像信号として出力される点に有
るとして、好ましい処理は図２（ｂ）に示すようにイン
テンシティの極端に弱い部分や強い部分は各々大きくも
しくは小さくし、その分、細かい変動信号を増強するよ
うにしている。

【０００３】図３は以上の方式を実現する従来の画像強
調回路の構成図であり、端子１０１から入力された画像
信号は低域空間フィルタ１０２に入力され、低域空間フ
ィルタ１０２により平均的局部インテンシティ信号が出
力される。一方、端子１０１より入力された画像信号は
減算器１０３に入力され、減算器１０３において低域空
間フィルタ１０２からの平均的局部インテンシティ信号
が除去され、高域画像信号のみが得られる。この高域画
像信号を強調すべく、平均的局部インテンシティ信号は
非線形な重み付けを行なう第１の変換回路１０７を介し
て乗算器１０８に伝えられる。つまり第１の変換回路１
０７は平均的局部インテンシティ信号が極端に弱い部分
もしくは強い部分における高域画像信号のみを選択的に
増幅すべく大きな値を出力するようになっている。ま
た、この様に高域画像信号を強調して平均的局部インテ
ンシティ信号に加えると画像のダイナミックレンジの範
囲を超える可能性があるため、第２の変換回路１０９に
より平均的局部インテンシティ信号を修正し、修正され
た平均的局部インテンシティと乗算器１０８の出力であ
る強調された高域画像信号を加算器１１０で加えあわ
せ、出力端子１１１から出力する。この結果、インテン
シティの適切な部分はそのまま、また、インテンシティ
の強すぎたり弱すぎたりする部分は調整を加えられて出
力でき、画像強調が行なえることになる。

【０００４】しかしながら、この方式では、インテンシ
ティが適切な部分はなるべくそのままにしておきたいこ
とと、増幅すべき高域画像信号が存在する平均的局部イ
ンテンシティ信号のレベルが入力画像に依存することの
２点より、重み付け回路１０５、１０６の最適な特性は
入力画像毎に異なると共に、非線形な特性を持たせない
限り良い結果が得られない。このため、写真などの静止
画を処理する場合には慎重に重み付け回路１０５、１０
６の特性を定めなければならず、さらに、テレビカメラ
からの信号を実時間で処理するには不都合である。

【０００５】これに対し、入力画像の特性に応じて重み
付け回路の最適な特性を定め得る画像強調回路が１９８
７年１２月電子情報通信学会発行の第２回ディジタル信
号処理シンポジウム講演論文集２１１ページより２１６
ページ掲載の論文”２次元フィルタを用いた適応画像強
調”又は特開平１−１２０６８２号公報（特許番号第２
６５５６０２号）において黒田等により提案されてい
る。ここでは、細部信号（コントラスト成分）を増幅す
ることにより画像を鮮明にすることができる部分の画素
の平均的局部インテンシティのヒストグラムを求め、こ
れを平滑化しさらに人間の平均的局部インテンシティに
対する視覚特性を考慮した補正を施すことにより入力画
像に適した細部信号の増幅回路の最適な特性を求めてい
る。具体的には、各々の高域画像信号が微少雑音信号振
幅レベル以上あるいは既に鮮明に見えると判断される振
幅レベル以下である場合を検出して増幅すべき高域画像
信号とし、増幅すべき高域画像信号であると判定された
画素の平均的局部インテンシティの全画素に対するヒス
トグラムを求める。

【０００６】作成されたヒストグラムは増幅すべき高域
画像信号が集中する平均的局部インテンシティに対して
は大きな値をとるため、高域画像信号に対し平均的局部
インテンシティに対応するヒストグラムの値に比例した
値を増幅係数として乗ずることにより、増幅すべき高域
画像信号に対して必要な増幅が行なうことができる。

【０００７】また、求められるヒストグラムは局所的に
見ると平均的局部インテンシティのレベルの小さな変動
に対して大きく値が変動する可能性が有り、これにより
画質が劣化するため、ヒストグラムの平滑化を行なう。
さらに人間の平均的局部インテンシティに対する視覚特
性として、平均的局部インテンシティのレベルが極端に
低い時は細部信号に対する検知能力が落ちる為、平滑化
されたヒストグラムに対して重み付けを行なって平均的
局部インテンシティの極端に低いレベルをより大きく強
調することにより平均的局部インテンシティのすべての
レベルにわたる画像の鮮明化を実現することができる。
これを図面を参照しながら説明する。

【０００８】図４における画像強調回路は、入力端子１
０１、低域空間フィルタ１０２、減算器１０３、条件付
選択回路１０４、ヒストグラム計算回路１０５、平滑化
重み付け回路１０６、第１の変換回路１０７、乗算器１
０８、第２の変換回路１０９、加算器１１０、出力端子
１１１から構成されている。条件付選択回路１０４は、
減算器１０３の出力する高域画像信号の振幅があらかじ
め定められた微小雑音信号振幅レベル以上であると同時
に既に鮮明に見えると判断されるあらかじめ定められた
振幅レベル以下であるかを判定し、上記条件を満たす画
素に対する低域空間フィルタ１０２の出力を選択出力す
る。ヒストグラム計算回路１０５は条件付選択回路で選
択された画素に対する振幅のヒストグラムを計算する。
平滑化重み付け回路１０６はヒストグラム計算回路１０
５で求めたヒストグラムに対し移動平均をとることによ
り平滑化を行ない、さらに平滑化されたヒストグラムに
対し振幅レベルの小さな成分がより大きくなるような重
み付けを行なう。

【０００９】第１の変換回路１０７は平滑化重み付け回
路１０６により求められたヒストグラムにより前記低域
空間フィルタ１０２の出力に応じた高域画像信号の増幅
係数を出力する。第４図のの画像強調回路では低域空間
フィルタ１０２により入力画像信号に対する平均的局部
インテンシティ信号を求め、さらにこれを減算器１０３
により入力画像信号から減ずることにより高域画像信号
を求める。つぎに入力画像に応じた高域画像信号に対す
る増幅特性を求める為、まず条件付選択回路１０４によ
り減算器１０３で求められた高域画像信号から増幅すべ
き画素を選択し、ヒストグラム計算回路１０５により選
択された画素の平均的局部インテンシティのヒストグラ
ムをもとめる。さらに、これを平滑化重み付け回路１０
６によりヒストグラムの平滑化及び人間の視覚特性を補
償する重み付けを行なって平均的局部インテンシティ信
号に対する高域画像信号の増幅関数を求める。つぎに第
１の変換回路１０７により平均的局部インテンシティ信
号に対する高域画像信号の増幅係数を求め、これにより
高域画像信号を乗算器１０８を用いて増幅する。一方、
低域空間フィルタ１０２の出力は第２の変換回路１０９
により、振幅の小さい成分は増幅し振幅の大きい成分は
減衰させることにより振幅の幅を減少させる。最後に加
算器１１０により増幅された高域画像信号と振幅の幅を
減少させた平均的局部インテンシティ信号との加算を行
なうことにより、出力端子１１１より入力画像をダイナ
ミックレンジを増加させずに鮮明化した画像を得ること
ができる。

【００１０】以上説明したように、入力画像の性質に応
じて適応的に高域画像信号を強調させることが可能とな
り入力画像を鮮明化することができる。

【００１１】

【発明が解決しようとする課題】しかしながら、従来方
式では、高域画像信号の強調を局所情報を用いず、明る
さ（平均的局部インテンシティ信号）のみに基づいて行
っている為、強調すべき高域画像信号の存在する明るさ
と同じ明るさをもつ高域画像信号は一様に増幅されてし
まい雑音成分の強調、十分に強い信号の過度の強調が生
じる場合がある。

【００１２】またヒストグラム生成においては各々の明
るさの領域における強調すべき高域画像信号の個数を単
にカウントしているために同じ明るさの領域が大きいほ
ど増幅度が上がってしまい、過度の強調を行ったり、雑
音成分を強調してしまうことになる。逆に、強調すべき
高域画像信号が存在する明るさの領域の面積が小さい場
合、十分な増幅度が得られない。

【００１３】本発明の目的は入力画像の局所特性に応じ
て重み付け回路の最適な特性を定め得る画像強調回路を
提供することにある。

【００１４】本発明の第１の適応画像強調回路は、入力
画像に低域空間ろ波を行う低域空間フィルタと、前記入
力画像より前記低域空間フィルタの出力画像を除去し高
域画像信号を得る減算器と、前記高域画像信号において
振幅が定められた範囲に有る画素の空間密度を各画素に
ついて求める細部信号空間密度計算回路と、前記細部信
号空間密度計算回路の出力をスケーリングすることによ
り各画素に対する増幅係数を求める第１の変換回路と、
前記高域画像信号の値により前記第１の変換回路出力で
ある増幅係数の値を減衰させ修正増幅係数を出力する増
幅係数重み付け回路と、前記第１の変換回路の出力であ
る修正増幅係数を前記高域画像信号の各画素に乗ずる乗
算器と、前記低域空間フィルタの出力に対し、振幅の小
さい部分は増幅し振幅の大きな成分は減衰させることに
より振幅の幅を減少させる第２の変換回路と、前記第２
の変換回路の出力と前記乗算器の出力とを加える加算器
とを少なくとも備え、各画素に対してその近傍における
強調すべき画素の空間密度により高域成分の強調を行う
ことを特徴とする。

【００１５】本発明の第２の適応画像強調回路は、第１
の発明において、細部信号空間密度計算回路の出力に対
して人間の視覚特性を補償するための重み付け係数を低
域空間フィルタの出力に応じて乗じ第１の変換回路に出
力する視覚特性補償重み付け回路をさらに備えることを
特徴とする。

【００１６】本発明の第３の適応画像強調回路は、第
１、第２の発明において、乗算器の出力に対し雑音成分
の除去を行う空間メディアンフィルタをさらに備えるこ
とを特徴とする。

【００１７】

【００１８】

【作用】本発明の原理は高域画像信号を増幅することに
より画像を鮮明にすることができる画素の局所的存在確
率を求め、これにより入力画像の各画素に適した高域画
像信号の増幅係数を求めることにある。

【００１９】具体的には、まず、各々の画素の高域画像
信号が微小雑音信号振幅レベル以上あるいは既に鮮明に
見えると判断される振幅レベル以下である場合を検出し
て増幅すべき高域画像信号とし、増幅すべき高域画像信
号であると判定された画素に対し値１を、そうでない画
素に対しては値０を割り当てた２値画像を求める。次に
この２値画像に対し、平均値フィルタをかけることによ
り、各画素に対する細部信号密度を求める。このとき平
均値フィルタのマスクサイズを大きくとると雑音等の影
響による劣化が少なくなるが、大きくしすぎると増幅す
べき高域画像信号の分布に敏感に反応しなくなる為、適
当な大きさを求める必要がある。

【００２０】このようにして求められた細部信号密度は
増幅すべき高域画像信号が集中する部分に対しては大き
な値をとるため、入力画像信号の高域画像信号に対しこ
の細部信号密度に比例した値を増幅係数として乗ずるこ
とにより、増幅すべき高域画像信号に対して必要な増幅
が行なうことができる。

【００２１】さらに人間の平均的局部インテンシティに
対する視覚特性として、平均的局部インテンシティのレ
ベルが極端に高いときまたは極端に低い時は高域画像信
号に対する検知能力が落ちる為、細部信号密度に対して
重み付けを行なって平均的局部インテンシティの極端に
高いレベルまたは極端に低いレベルをより大きく強調す
ることにより平均的局部インテンシティのすべてのレベ
ルにわたる画像の鮮明化を実現することができる。

【００２２】また平均的局部インテンシティの空間的変
化が激しい輪郭部分等では細部信号密度のみで強調を行
うと強調しすぎて出力媒体のダイナミックレンジを超え
てしまい画質の劣化を起こすことがある。この為、高域
画像信号の値が大きい場合は増幅係数を減衰させること
により画質の劣化を防ぐことができる。

【００２３】また高域画像信号の増幅により、雑音の強
調や画素間の増幅度の変化に依るざらつき等により強調
画像が劣化する場合がある。このため強調された高域画
像信号を空間メディアンフィルタに通すことによりこの
ような劣化を防ぐことができる。空間メディアンフィル
タについてはシュプリンガーフェアラーク（Ｓｐｒｉｎ
ｇｅｒ−Ｖｅｒｌａｇ）社１９８１年発行のティー・エ
ス・ハング（Ｔ．Ｓ．Ｈｕａｎｇ) 編集による論文集”
トゥーディメンショナルディジタルシグナルプロセッシ
ングＩＩ（Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ Ｄｉｇｉ
ｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｉ
Ｉ）”１６１ページから１９６ページ掲載のビー・アイ
・ジャスツソン（Ｂ．Ｉ．Ｊｕｓｔｕｓｓｏｎ）による
論文”メディアンフィルタリング：スタティスティカル
プロパティーズ（Ｍｅｄｉａｎ Ｆｉｌｔｅｒｉｎｇ：
Ｓｔａｔｉｓｔｉｃａｌ Ｐｒｏｐｅｒｔｉｅｓ）”を
参照されたい。

【００２４】

【実施例】次に本発明の実施例を図面を参照しながら説
明する。

【００２５】図１は、本発明に関連する第１の参考例で
あり、入力端子１，低域空間フィルタ２，減算器３，細
部信号空間密度計算回路４，第１の変換回路５，乗算器
６，第２の変換回路７、加算器８、出力端子９から構成
されている。

【００２６】低域空間フィルタ２は入力端子１から入力
された画像信号に対し低域空間周波数ろ波を行なうもの
で、「積和演算に基いた画像フィルタリングの高速化手
法」（原崎・西谷昭和６０年度電子通信学会情報システ
ム部門全国大会講演番号１６８）記載の図１に示すもの
が利用できる。減算器３は入力端子１から入力された画
像信号から低域空間フィルタ２の出力を除去して高域画
像信号を出力する。細部信号空間密度計算回路４は、減
算器３の出力する高域画像信号の各画素の振幅があらか
じめ定められた微小雑音信号振幅レベル以上であると同
時に既に鮮明に見えると判断されるあらかじめ定められ
た振幅レベル以下であるかを判定し、上記条件を満たす
画素に値１を、満たさないものに値０を割り当てた２値
画像を求める。次にこの２値画像にマスクサイズ５ｘ５
の２次元平均値フィルタをかけることにより細部信号空
間密度が求まる。第１の変換回路５は細部信号空間密度
計算回路４により求められた細部信号空間密度により前
記低域空間フィルタ２の出力に応じた高域画像信号の増
幅係数を出力する。乗算器６は減算器３の出力する高域
画像信号と第１の変換回路５で求められた増幅係数との
乗算を行なう。第２の変換回路７は低域空間フィルタ２
の出力に対しその振幅に対応する予め定められた変換値
を出力する。加算器８は乗算器６の出力と第２の変換回
路７の出力との加算を行なう。出力端子９は加算器８に
よる加算結果を出力する。

【００２７】本発明の画像強調回路では低域空間フィル
タ２により入力画像信号に対する平均的局部インテンシ
ティ信号を求め、さらにこれを減算器３により入力画像
信号から減ずることにより高域画像信号を求める。つぎ
に入力画像に応じた高域画像信号に対する増幅特性を求
める為、まず細部信号空間密度計算回路４により減算器
３で求められた高域画像信号から増幅すべき画素を選択
して細部信号空間密度を求める。さらに、第１の変換回
路５により各画素信号に対する増幅係数を求め、これに
より高域画像信号を乗算器６を用いて増幅する。一方、
低域空間フィルタ２の出力は第２の変換回路７により、
振幅の小さい成分は増幅し振幅の大きい成分は減衰させ
ることにより振幅の幅を減少させる。最後に加算器８に
より増幅された高域画像信号と振幅の幅を減少させた平
均的局部インテンシティ信号との加算を行なうことによ
り、出力端子９より入力画像をダイナミックレンジを増
加させずに鮮明化した画像を得ることができる。

【００２８】図５は、本発明に関連する第２の参考例で
あり、入力端子１，低域空間フィルタ２，減算器３，細
部信号空間密度計算回路４，第１の変換回路５，乗算器
６，第２の変換回路７、加算器８、出力端子９、視覚補
償重み付け回路１１から構成されている。

【００２９】本参考例では、図１に示す第１の参考例に
おいて、細部信号空間密度計算回路４の出力に対して極
端に明るい所あるいは極端に暗い所に対する検知能力が
弱いという人間の視覚特性を補償するための重み付け係
数を低域空間フィルタ２の出力に応じて乗ずる視覚特性
補償重み付け回路１１を付加したもので、この視覚特性
補償重み付け回路１１の出力が第一の変換回路５に対す
る入力となる。

【００３０】図６は、本発明の第１の一実施例であり、
入力端子１，低域空間フィルタ２，減算器３，細部信号
空間密度計算回路４，第１の変換回路５，乗算器６，第
２の変換回路７、加算器８、出力端子９、増幅係数補正
重み付け回路１１から構成されている。

【００３１】本実施例では図１に示す第１の実施例にお
いて各々の画素に対し高域画像信号の値が十分大きいと
き対応する第１の変換回路５の出力である増幅係数の値
を減衰させる増幅係数補正重み付け回路１１を付加した
もので、この増幅係数補正重み付け回路１１の出力が乗
算器６において増幅係数として用いられる。

【００３２】なお、本実施例では、第２の参考例で説明
した視覚特性補償重み付け回路１０を追加して、その出
力を第１の変換回路に供給することもできる。これが、
本発明の第２の実施例である。

【００３３】また、第１、第２の実施例において、乗算
器６の出力に対し、雑音成分の除去を行う空間メディア
ンフィルタを作用させ、その結果を加算器８の入力とな
るよう変形することもできる。これらが、本発明の第
３，４の実施例である。

【００３４】

【発明の効果】以上説明したように、本発明に従えば入
力画像の局所的性質に応じて適応的に高域画像信号を強
調させることが可能となり入力画像を鮮明化することが
できる。

【図面の簡単な説明】

【図１】本発明の第１の参考例を示す図。

【図２】従来の方式の原理を示す図。

【図３】従来の画像強調回路の一例を示す図である。

【図４】従来の画像強調回路の一例を示す図である。

【図５】本発明の第２の参考例を示す図である。

【図６】本発明の第１の一実施例を示す図である。

【符号の説明】１、１０１ 入力端子 ２、１０２ 低域空間フィルタ ３、１０３ 減算器 ４ 細部信号密度計算回路 ５、１０７ 第１の変換回路 ６、１０８ 乗算器 ７、１０９ 第２の変換回路 ８、１１０ 加算器 ９、１１１ 出力端子 １０ 視覚補償重み付け回路 １１ 増幅係数補正重み付け回路 １０４ 条件付選択回路 １０５ ヒストグラム計算回路 １０６ 平均化重み付け回路

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/208 G06T 5/20

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】入力画像に低域空間ろ波を行う低域空間フ
   ィルタと、 前記入力画像より前記低域空間フィルタの出力画像を除
   去し高域画像信号を得る減算器と、 前記高域画像信号において振幅が定められた範囲に有る
   画素の空間密度を各画素について求める細部信号空間密
   度計算回路と、 前記細部信号空間密度計算回路の出力をスケーリングす
   ることにより各画素に対する増幅係数を求める第１の変
   換回路と、前記高域画像信号の値により前記第１の変換回路出力で
   ある増幅係数の値を減衰させ修正増幅係数を出力する増
   幅係数重み付け回路と、 前記第１の変換回路の出力である修正増幅係数を前記高
   域画像信号の各画素に乗ずる乗算器と、 前記低域空間フィルタの出力に対し、振幅の小さい部分
   は増幅し振幅の大きな成分は減衰させることにより振幅
   の幅を減少させる第２の変換回路と、 前記第２の変換回路の出力と前記乗算器の出力とを加え
   る加算器とを少なくとも備え、各画素に対してその近傍
   における強調すべき画素の空間密度により高域成分の強
   調を行うことを特徴とする適応画像強調回路。
2. 【請求項２】前記細部信号空間密度計算回路の出力に対
   して人間の視覚特性を補償するための重み付け係数を前
   記低域空間フィルタの出力に応じて乗じ前記第１の変換
   回路に出力する視覚特性補償重み付け回路を備えること
   を特徴とする請求項１に記載の適応画像強調回路。
3. 【請求項３】前記乗算器の出力に対し雑音成分の除去を
   行う空間メディアンフィルタを備えることを特徴とする
   請求項１又は請求項２に記載の適応画像強調回路。