JP4314305B1 - 鮮鋭化画像処理装置、方法、及びソフトウェア - Google Patents

Abstract

【課題】色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる鮮鋭化画像処理装置を提供する。
【解決手段】入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、入力画像の色差と前記輝度連動ゲインから色差用ゲインを計算する色差用ゲイン計算手段と、前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備える。
【選択図】図１

Description

本発明は、画像表示、印刷、表現、撮影、記録装置の画像処理に関し、例えば、鮮鋭化画像処理装置、方法、及びソフトウェアに関する。

ぼけた画像を向上させるのに使用することができる単純な線形演算子として、アンシャープマスキング（Ｕｎｓｈａｒｐ Ｍａｓｋｉｎｇ：ＵＭ）法がある（Ａ．Ｋ．ジャイン（Ｊａｉｎ）「デジタルイメージの基礎（Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」プレンティスホール（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ）社、ニュージャージー州イングルウッドクリフス、１９８９年（非特許文献１）、を参照されたい）。アンシャープマスキング法は、マッハ（Ｍａｃｈ）バンド効果と呼ばれる、人間の視覚系の特性を利用する。この特性は、隣り合う領域の知覚される輝度が遷移部の鮮明度に依存するという視覚的な現象である。この特性により、画像の鮮明度は、画像領域の間により多くの明白な変化を導入することによって向上させることができる。アンシャープマスキング法の基本的な考え方は、入力信号から、入力信号を低域フィルタによって濾波した信号を減算させることである。

図６は、このような従来のアンシャープマスキング法を行うアンシャープマスキング装置の構成を一例を示すブロック図である。アンシャープマスキング装置１１は、入力画像の輝度を平滑化し、減算手段１３に平滑化画像を供給する平滑化手段１２と、入力画像の輝度から平滑化画像を減算して差分画像を計算し、乗算手段１４に供給する減算手段１３と、差分画像に定数を乗算し、乗算結果を加算手段１５に供給する乗算手段１４と、乗算結果を入力画像の輝度に加算し、出力画像の輝度を出力する加算手段１５とを備える。

アンシャープマスキング法による輪郭強調処理には、例えば、ラプラシアンを用いた鮮鋭化（土屋裕、深田陽司共著「画像処理」、テレビジョン学会参考書シリーズ、コロナ社、ＩＳＢＮ４−３３９−０１０７０−７（非特許文献２）の５８〜５９ページ、７２〜７３ページを参照）や、クリスプニング（特開昭５２−２６６１１６号公報（特許文献１）の図１、２で開示）など、様々なものがある。

特開昭５２−２６６１１６号公報 Ａ．Ｋ．ジャイン（Ｊａｉｎ）「デジタルイメージの基礎（Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）」プレンティスホール（Ｐｒｅｎｔｉｃｅ Ｈａｌｌ）社、ニュージャージー州イングルウッドクリフス、１９８９年 土屋裕、深田陽司共著「画像処理」、テレビジョン学会参考書シリーズ、コロナ社、ＩＳＢＮ４−３３９−０１０７０−７

しかしながら、上記従来例では、輝度のみを変化させて画像処理を行いたい場合であっても、彩度が表示装置や印刷装置等の表現装置で表現できる範囲を超えてしまい、表現できる範囲に丸め込まれてしまうため、色相も変化してしまうという問題があった。

また、アンシャープマスキング技術の共通問題、すなわち、高コントラストのエッジ周辺に明暗のバンドが生成される（バンディング（ｂａｎｄｉｎｇ））という問題もある。アンシャープ（丸み）（低周波）成分により、シャープエッジ信号は丸みを帯び、滑らかなエッジが生成される。よって、オリジナル画像とアンシャープ画像との差信号（高周波成分）は、シャープエッジ周辺にオーバーシュート及びアンダーシュートを含む。この差信号をダイナミックレンジの圧縮された低周波成分に再び加えると、シャープエッジ周辺に存在する圧縮されない又は増幅されたオーバーシュート及びアンダーシュート信号により、エッジ付近に明るいバンド及び暗いバンドが生成される。このアーティファクトは、コントラストの強いエッジ付近でよりはっきり見られるため、エッジバンディングアーティファクトと呼ばれる。エッジバンディングアーティファクトは、消費者画像において非常に好ましくないアーティファクトである。これを視覚的に感じさせないようにするには、十分に広い範囲に分散させることが必要になるため、大きなフィルタが必要となり、平滑化手段におけるラインメモリの増大によるコストの増加といった問題もあった。

本発明は、上記従来の問題点に鑑み、上記課題を解決する鮮鋭化画像処理装置を提供する。本発明はまた、鮮鋭化画像処理方法、及びソフトウェアも提供する。

本発明の鮮鋭化画像処理装置は、入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、入力画像の色差と前記輝度連動ゲインから色差用ゲインを計算する色差用ゲイン計算手段と、前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備えることを特徴とする。このようにして、色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる。

好適には、前記輝度連動ゲイン計算手段は、前記出力画像の輝度におけるＵゲインがＬゲインより小さくなるように前記輝度連動ゲインを計算する。

前記平滑化手段において、過去ラインにＩＩＲフィルタを用い、過去ライン用のラインメモリを１つにし、現ラインをｃｕｒ、過去ラインをｐｒｅ、新しい過去ラインをＮｅｗｐｒｅ、現在のラインの割合がＮ、過去のラインの割合がＭとして、

となるようにしてもよい。このようにすれば、ラインメモリの数を減らすことができる。

前記輝度連動ゲイン計算手段は、入力画像のすべての輝度値に対するゲインを計算するようにしてもよい。

前記輝度連動ゲイン計算手段は、入力画像の輝度値を複数の区間に分割し、区間ごとに設定値をおいて補間することでゲインを計算するようにしてもよい。

前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、輝度をＹ、出力画像の色差をＣｂ_{ｕｎｓｈａｒｐ}、Ｃｒ_{ｕｎｓｈａｒｐ}、輝度をＹ_{ｕｎｓｈａｒｐ}とし、入力画像と同じ色相にあたる原点と（Ｃｂ，Ｃｒ）を通る直線上の最も彩度が高い点を（ｘ，ｙ）とし、入力画像を構成する第１及び第２の原色の最高彩度を（Ｃｂ０，Ｃｒ０）、（Ｃｂ１，Ｃｒ１）、輝度をＹ０、Ｙ１とし、原点と（Ｃｂ，Ｃｒ）を通る直線とＣｂの軸とが成す角をθすると、

となり、線分（Ｃｂ０，Ｃｒ０）−（Ｃｂ１，Ｃｒ１）上において点（ｘ，ｙ）が分割している割合ｒａｔｉｏは、

となり、点（ｘ，ｙ）における輝度Ｙｒは、
Ｙｒ＝Ｙ０＋（Ｙ１−Ｙ０）×ｒａｔｉｏ
となり、Ｙ＞Ｙｒのとき、

Ｙ＜Ｙｒのとき、

となり、入力画像から出力画像への輝度の変化をＹ_ｄｉｆｆとすると、
Ｙ_{ｕｎｓｈａｒｐ}＝Ｙ＋Ｙ_ｄｉｆｆ
となり、Ｙ_{ｕｎｓｈａｒｐ}＞Ｙｒのとき、

Ｙ_{ｕｎｓｈａｒｐ}＜Ｙｒのとき、

となり、

となるように色差用ゲインを計算するようにしてもよい。

より簡略化し、前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、出力画像の色差をＣｂ_{ｕｎｓｈａｒｐ}、Ｃｒ_{ｕｎｓｈａｒｐ}、入力画像から出力画像への輝度の変化をＹ_ｄｉｆｆとし、Ｃｂｇａｉｎ、Ｃｒｇａｉｎを定数とすると、

となるように色差用ゲインを計算するようにしてもよい。

本発明の鮮鋭化画像処理装置は、色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる。

＜実施例１＞
図１は、本発明の鮮鋭化画像処理装置の構成の一例を示すブロック図である。鮮鋭化画像処理装置１は、入力画像の輝度を平滑化し、減算手段５に平滑化画像を供給する平滑化手段２と、入力画像の輝度から輝度連動ゲインを計算し、乗算手段６に供給する輝度連動ゲイン計算手段３と、入力画像の輝度から平滑化画像を減算して差分画像を計算し、乗算手段６に供給する減算手段５と、差分画像と輝度連動ゲインとを乗算し、乗算結果を加算手段７と色差用ゲイン計算手段３に供給する乗算手段６と、乗算結果を入力画像の輝度に加算し、出力画像の輝度を出力すると共に色差用ゲイン計算手段３に供給する加算手段７と、入力画像の色差と入力画像の輝度と前記乗算結果と出力画像の輝度とから色差用ゲインを計算し、乗算手段８に供給する色差用ゲイン計算手段４と、色差用ゲインと入力画像の色差とを乗算し、出力画像の色差を出力する乗算手段８とを備える。

図２は、図１の鮮鋭化画像処理装置１における処理画像波形を示す図である。図２を参照し、基本的なアンシャープマスク処理の流れを説明する。（１）は、入力画像の輝度波形である。（２）は、（１）を平滑化して得られる平滑化画像の波形（ぼけ画像波形）である。（３）は、（１）から（２）を減算した差分画像の波形である。（４）は、（３）に輝度連動ゲインを掛け、（１）を足して得られる出力画像の輝度波形である。差分波形が正側のゲインをＵゲイン、負側のゲインをＬゲインと呼ぶ。Ｕゲインを０にすると、波形に上側の変化をさせないようにすることができる。（５）は、Ｕゲインを０にした場合の出力画像の輝度波形である。輝度連動ゲイン計算手段は、Ｕゲインをゼロにするために、入力画像の輝度値を複数の区間に分割し、区間ごとに設定値をおいて補間する場合は、すべての区間について基本ゲインを０、変化量も０に設定する。Ｕゲインを０にするのが最もよいわけではないが、一般に、ＵゲインをＬゲインよりも小さくすることが好ましい。

図１の平滑化手段２において、バンドアーティファクトの軽減のために、ＦＩＲ（Ｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：有限インパルス応答）フィルタではタップ数の大きなフィルタが必要になる。このため、必然的にラインメモリの増大が発生し、コストの上昇につながる。そこで、過去ラインにＩＩＲ（Ｉｎｆｉｎｉｔｅ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ：無限インパルス応答）フィルタを用いて過去ライン用のラインメモリを１つにすれば、ラインメモリを削減することができる。図３は、このようなラインメモリ削減方法を説明する図である。現ライン（ｃｕｒ）と過去ライン（ｐｒｅ）を、

とすることで、新しい過去ライン（Ｎｅｗ ｐｒｅ）とする。ここで、Ｎは現在のラインの割合、Ｍは過去のラインの割合である。なお、未来ライン側の処理はＦＩＲフィルタを利用する。

図４は、図１の輝度連動ゲイン計算手段３における輝度連動ゲインの設定の一例を説明するグラフである。輝度連動ゲイン計算手段３は、入力画像の輝度値Ｙによってゲインを変化させる。例えば、すべての輝度値に対するゲインを保持することで変換してもよいが、図４に示すように、輝度値を複数（図４では１６）の区間に分割し、区間ごとに設定値を置いて補間することでゲインを計算するようにしてもよい。

図５は、図１の色差用ゲイン計算手段４における色差用ゲインの計算を説明するグラフである。色差用ゲイン計算手段４及び乗算手段８では、以下のように計算する。

輝度（Ｙ）色差（Ｃｂ，Ｃｒ）表現での色空間において、６原色（黄、シアン、マゼンタ、緑、赤、青）は、Ｃｂ及びＣｒを軸とするグラフで６角形を示し、例えば、青とマゼンタとの間の部分を考えると、図５の上図に示すようになる。

今、図５の上図において△で示した（Ｃｂ，Ｃｒ）の入力画像が得られたとして、同じ色相にあたる点、すなわち、原点と（Ｃｂ，Ｃｒ）を通る直線上の最も彩度が高い（原点からの距離が遠い）点（ｘ，ｙ）を考える。原色青（Ｃｂ０，Ｃｒ１）と原色マゼンタ（Ｃｂ１，Ｃｒ１）より彩度が高い点は表現できず、その中間色で最も彩度が高い色は互いを直線で結んだ（Ｃｂ０，Ｃｒ０）−（Ｃｂ１，Ｃｒ１）上に存在するので、

と求めることができる。線分（Ｃｂ０，Ｃｒ０）−（Ｃｂ１，Ｃｒ１）上において、点（ｘ，ｙ）がどの割合（ｒａｔｉｏ）で分割しているかを考えると、

となる。原色青の輝度をＹ０、原色マゼンタの輝度をＹ１として、点（ｘ，ｙ）における輝度Ｙｒは、
Ｙｒ＝Ｙ０＋（Ｙ１−Ｙ０）×ｒａｔｉｏ
となる。△点（Ｃｂ，Ｃｒ）と原点を通る直線上（同一色相）での彩度が最大になる輝度がＹｒである。

入力画像（Ｙ，Ｃｂ，Ｃｒ）に対して、
Ｙ＞Ｙｒのとき、

となり、
Ｙ＜Ｙｒのとき、

となる。輝度の変化Ｙ_ｄｉｆｆを使うと、
Ｙ_{ｕｎｓｈａｒｐ}＝Ｙ＋Ｙ_ｄｉｆｆ
となる。Ｙ_{ｕｎｓｈａｒｐ}＞Ｙｒのとき、

Ｙ_{ｕｎｓｈａｒｐ}＜Ｙｒのとき、

となり、

のように輝度に対応した色相を変化させない色差信号を得ることができる。

他の６原色間の場合についても同様に計算する。
平滑化手段におけるＦＩＲフィルタ、ＩＩＲフィルタの処理は、公知の技術を用いるものとし、ここでさらに詳細には説明しない。

＜実施例２＞
色差用ゲイン計算手段４及び乗算手段８は、より簡便な方法として、Ｃｂｇａｉｎ、Ｃｒｇａｉｎは定数にして、

のように計算してもよい。例えば、Ｕゲイン側を＋０．５、Ｌゲイン側を−０．５とすることが望ましい。

以上説明したように、本発明の鮮鋭化画像処理装置は、輝度連動ゲインに基づいて色差用ゲインを計算することで、色相を変化させることなく、輝度のみを変化させて鮮鋭化処理を行うことができる。

また、平滑化手段において過去ラインにＩＩＲフィルタを用いることで、ラインメモリの数を減らすことができる。

本発明の鮮鋭化画像処理装置は、回路として実現してもよく、ソフトウェアによってコンピュータが実行するようにして実現してもよい。

また、本発明は、上述したような鮮鋭化画像処理装置だけでなく、鮮鋭化画像処理装置において行われる鮮鋭化画像処理方法や、鮮鋭化画像処理方法をコンピュータに実行させるソフトウェアとしても実施可能である。また、このようなソフトウェアは、記録媒体に格納されている形態であっても、インターネット等のネットワークからダウンロード可能な形態であってもよい。

本発明は、鮮鋭化画像処理装置、方法、及びソフトウェアに利用可能である。

本発明の鮮鋭化画像処理装置の構成の一例を示すブロック図である。 図１の鮮鋭化画像処理装置１における処理画像波形を示す図である。 ラインメモリ削減方法を説明する図である。 図１の輝度連動ゲイン計算手段３における輝度連動ゲインの設定の一例を説明するグラフである。 図１の色差用ゲイン計算手段４における色差用ゲインの計算を説明するグラフである。 従来のアンシャープマスキング装置の構成を一例を示すブロック図である。

符号の説明

１ 鮮鋭化画像処理装置
２、１２ 平滑化手段
３ 輝度連動ゲイン計算手段
４ 色差用ゲイン計算手段
５、１３ 減算手段
６、８、１４ 乗算手段
７、１５ 加算手段
１１ アンシャープマスキング装置

Claims (6)

1. 入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、
   前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、
   前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、
   前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、
   前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、
   入力画像の色差と前記入力画像の輝度と前記差分画像と前記乗算結果と前記出力画像の輝度から色差用ゲインを計算する色差用ゲイン計算手段と、
   前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備え、
   前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、輝度をＹ、出力画像の色差をＣｂ _unsharp 、Ｃｒ _unsharp 、輝度をＹ _unsharp とし、入力画像と同じ色相にあたる原点と（Ｃｂ，Ｃｒ）を通る直線上の最も彩度が高い点を（ｘ，ｙ）とし、入力画像を構成する第１及び第２の原色の最高彩度を（Ｃｂ０，Ｃｒ０）、（Ｃｂ１，Ｃｒ１）、輝度をＹ０、Ｙ１とし、原点と（Ｃｂ，Ｃｒ）を通る直線とＣｂの軸とが成す角をθとし、αを輝度とＣｂ，Ｃｒ値の原点からの距離との関係を示す式の傾きとし、Ｙｒを点（ｘ，ｙ）における輝度とし、ｘｒをＹｒとなる現Ｙから変化する範囲での最大彩度とすると、
   

   

   となり、線分（Ｃｂ０，Ｃｒ０）−（Ｃｂ１，Ｃｒ１）上において点（ｘ，ｙ）が分割している割合ｒａｔｉｏは、
   

   

   となり、点（ｘ，ｙ）における輝度Ｙｒは、
   Ｙｒ＝Ｙ０＋（Ｙ１−Ｙ０）×ｒａｔｉｏ
   となり、Ｙ＞Ｙｒのとき、
   

   

   Ｙ＜Ｙｒのとき、
   

   

   となり、入力画像から出力画像への輝度の変化をＹ _diff とすると、
   Ｙ _unsharp ＝Ｙ＋Ｙ _diff
   となり、Ｙ _unsharp ＞Ｙｒのとき、
   

   

   Ｙ _unsharp ＜Ｙｒのとき、
   

   

   となり、
   

   

   となるように色差用ゲインを計算することを特徴とする鮮鋭化画像処理装置。
2. 入力画像の輝度を平滑化し、平滑化画像を得る平滑化手段と、
   前記入力画像の輝度から前記平滑化画像を減算し、差分画像を得る減算手段と、
   前記入力画像から輝度連動ゲインを計算する輝度連動ゲイン計算手段と、
   前記差分画像に前記輝度連動ゲインを乗算し、乗算結果を得る第１の乗算手段と、
   前記乗算結果を前記入力画像の輝度に加算し、出力画像の輝度を得る加算手段と、
   入力画像の色差と前記入力画像の輝度と前記差分画像と前記乗算結果と前記出力画像の輝度から色差用ゲインを計算する色差用ゲイン計算手段と、
   前記入力画像の色差に前記色差用ゲインを乗算し、出力画像の色差を得る第２の乗算手段とを備え、
   前記色差用ゲイン計算手段は、輝度・色差表現での色空間において、入力画像の色差をＣｂ、Ｃｒ、出力画像の色差をＣｂ _unsharp 、Ｃｒ _unsharp 、入力画像から出力画像への輝度の変化をＹ _diff とし、Ｃｂｇａｉｎ、Ｃｒｇａｉｎを定数とすると、
   

   

   となるように色差用ゲインを計算することを特徴とする鮮鋭化画像処理装置。
3. 前記輝度連動ゲイン計算手段は、前記出力画像の輝度におけるＹ _diff ≧０の時のゲインであるＵゲインがＹ _diff ＜０のゲインであるＬゲインより小さくなるように前記輝度連動ゲインを計算することを特徴とする請求項１又は２に記載の鮮鋭化画像処理装置。
4. 前記平滑化手段において、過去ラインにＩＩＲフィルタを用い、過去ライン用のラインメモリを１つにし、現ラインをｃｕｒ、過去ラインをｐｒｅ、新しい過去ラインをＮｅｗｐｒｅ、現在のラインの割合がＮ、過去のラインの割合がＭとして、
   

   

   となるようにすることを特徴とする請求項１乃至３のいずれか１項に記載の鮮鋭化画像処理装置。
5. 前記輝度連動ゲイン計算手段は、入力画像のすべての輝度値に対するゲインを計算することを特徴とする請求項１乃至４のいずれか１項に記載の鮮鋭化画像処理装置。
6. 前記輝度連動ゲイン計算手段は、入力画像の輝度値を複数の区間に分割し、区間ごとに設定値をおいて補間することでゲインを計算することを特徴とする請求項１乃至４のいずれか１項に記載の鮮鋭化画像処理装置。

Images