JP4063665B2

JP4063665B2 - デジタル画像のピクセル輝度値を処理する方法

Info

Publication number: JP4063665B2
Application number: JP2002531361A
Authority: JP
Inventors: モーラー、ロン・ピー
Original assignee: Hewlett Packard Co
Current assignee: HP Inc
Priority date: 2000-09-29
Filing date: 2001-10-01
Publication date: 2008-03-19
Anticipated expiration: 2021-10-01
Also published as: JP2004510268A; WO2002027657A2; EP1323132A2; WO2002027657A3; EP1323132B1; US20050169553A1; US6915024B1; AU2002210787A1

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル画像に関し、特に画像の鮮明化に関する。
【０００２】
【従来の技術】
デジタル画像の外観、特に文書の読みやすさを向上するために、画像の鮮明化が行われる。周知の画像鮮明化技術の１つに、アンシャープマスキングがある。
【０００３】
しかし、従来のアンシャープマスキングによれば、鮮明化された画像で認識可能なノイズが強調される。たとえば、アンシャープマスキングでは、走査画像および取り込んだ写真の低振幅ノイズが強調される。さらに、従来のアンシャープマスキングでは、エッジにおけるオーバーシュートが回避されない。オーバーシュートは、デジタル画像が補間される場合に特に面倒な場合がある。オーバーシュートは補間によって空間的に広がり、補間画像のアーチファクトとして現れる。
【０００４】
従来のアンシャープマスキングには、認識可能なノイズの低減およびオーバーシュートの回避のために修正がなされる。しかしこの修正は、認識不可能なノイズに対処しておらず、鮮明化画像の圧縮率を下げている。さらに、オーバーシュートを回避する修正アンシャープマスキング技術は通常、より遅く実行される。
【０００５】
モルフォロジカルフィルタリング理論から知られている別の画像鮮明化技術は、トグルマッピング(toggle mapping)である。トグルマッピングは、黒いテキストと白い背景との間にエッジを含むテキストベース画像の鮮明化に、通常は効果的である。
【０００６】
【発明が解決しようとする課題】
しかし、トグルマッピングは、純粋な黒や白ではない画像領域の鮮明化には、それほど効果的ではない。かかる領域では、トグルマッピングは、テクスチャおよび自然の（たとえば、写真撮影された）形状を過度に鮮明化しがちである。トグルマッピングはまた、ノイズも強調しがちであるが、従来のアンシャープマスキングほどではない。さらに、トグルマッピングは、低解像度画像のテキストのエッジをぎざぎざにする傾向がある（低解像度画像では、アンチエイリアシングにより平滑化される場合にテキストがよりよく見える）。
【０００７】
【課題を解決するための手段】
本発明の一態様によれば、デジタル画像は、変動範囲外のピクセル輝度値をクリッピングし、変動範囲内のピクセル輝度値をマッピングすることによって鮮明化される。この技術は、画像の低振幅ノイズを強調することなく、画質を向上させるとともに、オーバーシュートを回避する。
【０００８】
本発明の他の態様および利点は、本発明の原理を例として示す添付図面と併せて行われる以下の詳細な説明から明らかになろう。
【０００９】
【発明の実施の形態】
説明のための図面に示すように、本発明は、可変コントラスト伸張処理により画像を鮮明化する方法および装置で具現化される。可変コントラスト伸張処理は、空間スケールでの大きなグレーレベルの変化を減らし、その結果、コンピュータ生成された形状（たとえば、テキスト、ＣＡＤ製図）を格段に鮮明化する。可変コントラスト伸張処理は、空間スケールでの比較的緩やかなグレーレベルの変化を穏やかに減らすだけであり、その結果「自然の」形状（たとえば、写真撮影された形状）をより穏やかに鮮明化する。こうして、可変コントラスト伸張処理は、コンピュータ生成された形状には強度の鮮明化を適用し、自然の形状のエッジには穏やかな鮮明化を適用する。可変コントラスト伸張処理により、自然の形状およびコンピュータ生成された形状の双方を含む、複合ドキュメントの外観および読みやすさが向上する。その一方で、弱いグレーレベル変化に対する空間スケールは本質的に変更されない。
【００１０】
可変コントラスト伸張処理により、オーバーシュートが防止される。したがって、オーバーシュートに関連するアーチファクトは、可変コントラスト伸張処理によって鮮明化されたデジタル画像を補間しても現れない。
【００１１】
可変コントラスト伸張処理では、低振幅ノイズは強調されない。実際には、可変コントラスト伸張処理では、低振幅ノイズをわずかに低減することができる。可変コントラスト伸張処理では、低振幅ノイズは増大されず、またオーバーシュートを回避するので、鮮明化画像の圧縮率が原画像に比べ減らない。その結果、デジタル画像を圧縮前に一度だけ鮮明化することができるため、復元後にいちいち画像を鮮明化する必要性がなくなる。
【００１２】
可変コントラスト伸張処理は、走査線あたりの演算数に上限があるラスタスキャンモードで動作することができる。これにより、可変コントラスト伸張処理がリアルタイム演算に適したものとなる。
【００１３】
デジタル画像の可変コントラスト伸張処理を示す図１を参照する。デジタル画像は、輝度値でそれぞれ表される複数のピクセルで構成される。対象とする各ピクセルに対して、点別コントラスト伸張処理演算ｇ（Ｉ）が以下のように行われる。
【００１４】
【数１】

【００１５】
対象ピクセルは、ピクセル近傍に対して修正される。対象ピクセルのグレー値または輝度は、文字Ｉで表される。近傍の最大グレー値は大文字Ｍで表され、近傍の最小グレー値は小文字ｍで表される。対象の近傍についてのダイナミックレンジは、文字Ｄで表され、近傍の最小値と最大値との間の差分である（すなわち、Ｄ＝Ｍ−ｍ）。
【００１６】
「コントラストレンジ」は２Ｗの幅を有する。コントラストレンジは、ダイナミックレンジの中央（Ａ）を中心とする。Ａ＝（Ｍ＋ｍ）／２である。したがって、コントラストレンジは、Ａ−Ｗに開始点を有し、Ａ＋Ｗに終了点を有する。
【００１７】
対象ピクセルの輝度値がコントラストレンジ外の場合、その輝度値はｍまたはＭにクリッピングされる。対象ピクセルの輝度値がコントラストレンジ内にある場合、対象のコントラストが変更される量は、コントラストレンジ内の線セグメント１０の傾きの勾配によって求められる。
【００１８】
線セグメント１０の傾きは、ダイナミックレンジの関数である。Ｓ（Ｄ）で表される傾きは、コントラストレンジおよびダイナミックレンジに関係し、Ｓ（Ｄ）＝Ｄ／２Ｗのようになる。通常、傾きは、ダイナミックレンジが０に近づくにつれて１に近づき（すなわち、Ｄ→０の場合Ｓ（Ｄ）→１）、ダイナミックレンジが０よりも大きい場合には１よりも大きく（すなわち、Ｄ≠０のときＳ（Ｄ）＞１）、また、ダイナミックレンジについての減少しない関数であるように決められる。ダイナミックレンジが増大するにつれて、傾きは大きくなり、鮮明度が大きくなる。
【００１９】
つまり傾きは、所与のピクセル近傍のダイナミックレンジおよびコントラストレンジの関数である。近傍はピクセルごとに決まるので、ダイナミックレンジ、コントラストレンジ、および傾きはピクセル単位で可変する。
【００２０】
線セグメント１０の傾きを表わす種々の多くの方法がある。たとえば、傾きは以下のように表現することができる。
【００２１】
Ｓ（Ｄ）＝Ｄ／２Ｗ＝１＋Ｄ／Ｒ
式中、定数Ｒは、鮮明化のダイナミックスケールへの対応を制御する単一のグローバルパラメータである。これはまた、ダイナミックレンジ（Ｄ）の関数：Ｗ＝１／２（Ｒ^−１＋Ｄ^−１）^−１としてコントラスト幅（２Ｗ）を定義する。したがって、可変コントラストレンジ内の可変コントラスト伸張処理演算は、以下のように表現することができる。
【００２２】
ｇ（Ｉ）＝Ｉ＋Ｄ／Ｒ（Ｉ−Ａ）｛｜Ｉ−Ａ｜＜Ｗ｝
Ｄ＞＞Ｒの場合、マッピングはトグルマッピングに等しくなり、エッジが過度に鮮明化される。定数Ｒを適宜選択することにより、かかる問題は防止される。小さなダイナミックレンジを有する近傍の場合、Ｄ＜＜Ｒかつ１＋（Ｄ／Ｒ≒１である。したがって、Ｄ＜＜Ｒの場合、コントラストへの目立つ変化は起こらないであろう。
【００２３】
定数Ｒは、計算効率のために２のべき乗に限定することができる。量１＋Ｄ／Ｒは定数Ｒによる除算を含むため、定数Ｒを２のべき乗に限定することで、単純にビットシフトによって除算を行うことが可能になる。したがって、Ｒ＝２^Ｌであり、式中、整数Ｌ＞０である。定数Ｒが減少するにつれて、コントラスト領域が小さくなるとともに、コントラスト伸張処理の傾きが大きくなるため、鮮明化の効果が増す。
【００２４】
８ビットワードで表されるピクセル輝度値の場合、Ｒの好ましい値は６４〜５１２である。すなわち、６≦Ｌ≦９である。より一般的には、画像全体のダイナミックレンジが、取り込み装置（たとえば、スキャナ）の全ダイナミックレンジをカバーするように正規化される場合、Ｒの好ましい値は、ダイナミックレンジの４分の１からダイナミックレンジの２倍である。
【００２５】
ここで図２を参照し、ピクセル近傍の例について説明する。近傍は、破線で示すウィンドウによって輪郭が描かれ、３×３ピクセルアレイを含む。対象ピクセルは、「Ｘ」でマークされ近傍の中心におかれる。したがって、関数ｇ（Ｉ）は中心ピクセル（「Ｘ」でマークされる）に適用され、ダイナミックレンジは、ウィンドウ内にあるピクセルの最小輝度値および最大輝度値によって求められる。たとえば、ピクセル輝度値が８ビットワードで表される場合、近傍内のピクセルの最小輝度値はｍ＝５であり、近傍内のピクセルの最大輝度値はＭ＝２５０であり、その近傍のダイナミックレンジはＤ＝２４５である。
【００２６】
ここで図３を参照し、デジタル画像に鮮明化フィルタを適用する一般的な方法を説明する。デジタル画像にアクセスする（ブロック１０２）。デジタル画像にはデジタル画像ファイルからアクセスすることができ、デジタル画像は、一度に１本または複数本のラインで受け取り、リアルタイムなどで処理することができる。
【００２７】
デジタル画像内の対象とする各ピクセルごとに（ブロック１０４、１１４、１１６）、ピクセルの近傍が決定され（ブロック１０６）、近傍のダイナミックレンジおよびコントラストレンジが決定され（ブロック１０８）、コントラスト伸張処理演算ｇ（Ｉ）が対象ピクセルに適用される（ブロック１１０）。フィルタリングされた各ピクセルは、新しいファイルに格納される（ブロック１１２）。デジタル画像の境界にあるピクセルは、部分的な近傍を有することになる。こういった境界ピクセルは、それぞれの部分的な近傍に関して処理される。すなわちフィルタリングが無視され、修正なしで境界ピクセルが格納される。
【００２８】
すべての近傍が同じダイナミックレンジを有するわけではない（画像のすべてのピクセルが同じピクセル輝度値を持たない限り）ので、ダイナミックレンジは可変する。コントラスト領域、傾き、およびマッピングもすべて可変する。
【００２９】
鮮明化フィルタをデジタル画像に適用した後、鮮明化された画像を圧縮し格納することができる（ブロック１１８）。可変コントラスト伸張処理はノイズを強調せず、さらには低振幅ノイズを減らすことができるため、可変コントラスト伸張処理により鮮明化画像の圧縮率は低下しない。
【００３０】
圧縮された画像には、後にアクセスし復元することが可能である。圧縮画像はすでに鮮明化されているので、伸長された画像に対して鮮明化を行う必要がない。このため、画像に対する鮮明化は一度だけ行われ、画像が復元される都度は行われない。
【００３１】
ここで、図４を参照する。可変コントラスト伸張処理は、ハードウェア、ソフトウェア、またはこれら２つの組合せで実施できる。通常、画像取り込み装置２１２は、デジタル画像のラインをプロセッサ２１４に供給する。プロセッサ２１４は、デジタル画像のすべてのラインをメモリ２１６に格納した後で鮮明化しても、またデジタル画像をリアルタイムで鮮明化してもよい。鮮明化画像をメモリ２１６に格納することもできる。デジタル画像を鮮明化する場合、プロセッサ２１４は図３に示すフィルタリングステップを行う。
【００３２】
取り込み装置２１２での画像ぼけの量により、必要な鮮明化の量が決まる。定数Ｒは、主観的に品質を評価して設定することができる。定数Ｒには種々の値を試すことができ、最も望ましい画像をもたらす値を使用することができる。
【００３３】
可変コントラスト伸張処理のソフトウェア実施態様では、所定のプログラムが、実行のときにメモリ２１６に格納される。このプログラムではプロセッサ２１４に命令を行い、図３に示すフィルタリングステップを実行する。プロセッサ２１４およびメモリ２１６は、パーソナルコンピュータまたはワークステーションの一部であることができ、画像取り込み装置等に組み込むことができる。
【００３４】
ピクセル近傍の最小値および最大値の決定に、非再帰的アルゴリズムを使用することができる。非再帰的アルゴリズムは、すべてのタイプの近傍に使用することができる。最小値および最大値の決定に必要なメモリのサイズは、近傍のサイズに等しい。
【００３５】
完全な正方形近傍（たとえば、３×３近傍、５×５近傍）の最小値および最大値の決定に、高速再帰的アルゴリズムを使用することができる。ウィンドウサイズに関係なく、最大値および最小値を決定するには、１２回の比較しか必要ない。この再帰的アルゴリズムを使用する場合、ラインのバッファリングに必要なメモリのサイズは、ラテラルカーネルウィンドウ(lateral kernel window)のサイズの２倍である。
【００３６】
可変コントラスト伸張処理は、走査線あたりの演算数に対する上限が比較的小さいため、ラスタスキャンモードにてリアルタイムで行うことができる。再帰的アルゴリズムおよび非再帰的アルゴリズムをリアルタイムでの演算に使用することが可能である。
【００３７】
図２は３×３正方形形状の近傍を示すが、可変コントラスト伸張処理はかかる近傍に限定されない。近傍は、いかなる特定のサイズにも限定されない。ピクセルの数は、９に限定されない。すべての対象ピクセルに対して近傍ピクセル数が固定されることが好ましいが、近傍のサイズは、画像領域の特定のクラス（たとえば、テキスト、グラフィックス、自然の形状）に適合するように動的に変更することが可能である。
【００３８】
近傍は、任意特定の幾何学的形状に限定されないが、性能上の理由により正方形ウィンドウが好ましい。たとえば、近傍の形状は菱形形状にすることができる。最小／最大の計算は、中心ピクセルを含んでも（すなわち、完全な近傍を使用可能）、または対象の中心ピクセルを除外してもよい（すなわち、中空近傍を使用可能）。近傍を中空にすることは、画像がスペックルタイプのノイズを含むにあたり好ましい場合がある。
【００３９】
可変コントラスト伸張処理は、ピクセル近傍の最小および最大のピクセル輝度値を求める別のフィルタリング方法に「ブートストラップ」することができる。これにより、主な計算作業は最小値および最大値の計算に向けられるため、実質的にオーバーヘッドを付加することなく可変コントラスト伸張処理を行うことが可能である。たとえば、可変コントラスト伸張処理を、中心ピクセル（対象ピクセル）が除外された近傍の最小および最大のピクセル輝度値を求める「スペックル除去(despeckling)」法にブートストラップすることができる。スペックル除去法は、暗い背景上の分離された明るいピクセルからなる、またはその逆からなるスペックルノイズを除去するために行われる。したがって、スペックル除去および可変コントラスト伸張処理の双方は、可変コントラスト伸張処理を行うためにオーバーヘッドを実質的に付加することなく行うことができる。
【００４０】
可変コントラスト伸張処理は、コントラストレンジ内の線形マッピングに限定されない。線形マッピングが好ましいが、コントラストレンジ内の非線形マッピングを行うこともできる。
【００４１】
可変コントラスト伸張処理は、テキスト画像および自然の画像の双方を含むドキュメントに限定されない。テキストのみを含む画像、自然の形状のみを含む画像を含め、任意のタイプの画像に可変コントラスト伸張処理を適用することができる。可変コントラスト伸張処理が、すべてコンピュータ生成画像（この画像は低振幅ノイズを含まない）に適用される場合、シャープなエッジにおけるアーチファクトは生成されない。
【００４２】
可変コントラスト伸張処理についてグレースケール値と併せて説明したが、可変コントラスト伸張処理はこれに限定されない。可変コントラスト伸張処理は複数の色平面に対して行うことができる。たとえば、可変コントラスト伸張処理は、以下のようにＲＧＢ色空間の画像に対して行うことができる。カラー画像がＹＣｂＣｒ色空間に変換される。鮮明化は輝度チャネル（Ｙ）のみに適用され、鮮明化された結果が、鮮明化されていない明度情報と組み合わせられ、鮮明化画像がＹＣｂＣｒ色空間から再びＲＧＢ色空間に変換される。結果として、エッジにおける色の縞は強調されない。これらアーチファクトは、３つの色平面がすべて別個に鮮明化される場合に発生する場合がある。
【００４３】
可変コントラスト伸張処理は、ＲＧＢ色空間からＹＣｂＣｒ色空間に、そして再びＲＧＢ色空間にピクセルを変換するための単純な近似にうまく作用する。たとえば、以下の変換を用いることができる。
【００４４】
【数２】

【００４５】
すべての乗算および除算がビットシフトによって行われるので、これらの変換は高速に計算される。輝度チャネルは鮮明化中に変化するので、変換してＲＧＢ色空間へ戻すことで、色成分が許容可能な範囲外になる場合がある。かかる成分は、許容可能な最大値または最小値（たとえば、８ビットワードの場合では０または２５５）に合わせてクリッピングすることができる。
【００４６】
本発明は、上で説明し図示した特定の実施形態に限定されない。その代わりに、本発明は併記の特許請求の範囲に従って解釈される。
【図面の簡単な説明】
【図１】可変コントラスト伸張処理の図。
【図２】可変コントラスト伸張処理のピクセル近傍の図。
【図３】可変コントラスト伸張処理によりデジタル画像鮮明化方法の図。
【図４】可変コントラスト伸張処理のハードウェア実施態様の図。

Claims

デジタル画像を鮮明化するための方法であって、該デジタル画像は、複数のピクセルを含んでおり、
該複数のピクセルのそれぞれについて、関数ｇに従って、コントラストレンジ外のピクセル輝度値をクリッピングする共に、該コントラストレンジ内のピクセル輝度値をマッピングするステップを含み、
前記コントラストレンジは、該ピクセルの近傍のダイナミックレンジの関数であり、該関数ｇは、
Ｉ - Ａ≦ - Ｗの場合、 g(I) ＝ｍであり、
｜Ｉ - Ａ｜＜Ｗの場合、 g(I) ＝Ａ＋Ｄ（Ｉ - Ａ） / ２Ｗであり、
Ｉ - Ａ≧Ｗの場合、ｇ (I) ＝Ｍであるよう表され、
前記ｍは、前記近傍の最小値を表し、前記Ｍは、該近傍の最大値を表し、前記Ｉは、前記ピクセル輝度値を表し、前記Ｄは、前記ダイナミックレンジを表し、前記Ａは、該ダイナミックレンジの中央を表し、前記２Ｗは、前記コントラストレンジの幅を表し、前記Ｄ／（２Ｗ）は、該コントラストレンジ内の該関数ｇの傾きを表しており、該コントラストレンジは、該ダイナミックレンジの前記中央を中心とする、
方法。
Ｄ／（２Ｗ）＝１＋Ｄ／Ｒであり、該Ｒは、鮮明化のダイナミックスケールに対応し、これにより、｛｜Ｉ−Ａ｜＜Ｗ｝のとき、ｇ（Ｉ）＝Ｉ＋Ｄ／Ｒ（Ｉ−Ａ）となる、
請求項１に記載の方法。
前記Ｒは、前記画像のすべてのピクセルに対して一定の値を有する、
請求項２に記載の方法。
デジタル画像を鮮明化するための方法であって、該デジタル画像は、複数のピクセルを含んでおり、該複数のピクセルのそれぞれについて、
該ピクセルの近傍のダイナミックレンジを求めるステップであって、該ダイナミックレンジは、該ピクセルの近傍における最大ピクセル値と最小ピクセル値の差に基づいて求められる、ステップと、
該ピクセルがコントラストレンジ内にあるかどうかを判断するコントラスト伸張処理を実行するステップであって、該コントラストレンジは、前記ダイナミックレンジの関数であり、該コントラスト伸張処理は、以下の式を該ピクセルについて実行することを含む、ステップと、を含み、
前記式は、
Ｉ - Ａ≦ - Ｗの場合、 g(I) ＝ｍ、
｜Ｉ - Ａ｜＜Ｗの場合、 g(I) ＝Ａ＋Ｄ（Ｉ - Ａ） /2 Ｗ、
Ｉ - Ａ≧Ｗの場合、ｇ (I) ＝Ｍ、で表され、
前記ｇ（Ｉ）は、前記コントラスト伸張処理を表す関数であり、前記ｍは、前記近傍における最小ピクセル値を表し、前記Ｍは、前記近傍における最大ピクセル値を表し、前記Ｉは、該ピクセルの輝度値を表し、前記Ｄは、前記ダイナミックレンジを表し、前記Ａは、該ダイナミックレンジの中央を表し、前記２Ｗは、該コントラストレンジの幅を表し、前記Ｄ／（２Ｗ）は、該コントラストレンジ内の該関数ｇの傾きを表しており、該コントラストレンジは、該ダイナミックレンジの前記中央を中心とする、
方法。
Ｄ／（２Ｗ）＝１＋Ｄ／Ｒであり、該Ｒは、鮮明化のダイナミックスケールに対応し、これにより、｛｜Ｉ−Ａ｜＜Ｗ｝のとき、ｇ（Ｉ）＝Ｉ＋Ｄ／Ｒ（Ｉ−Ａ）となる、
請求項４に記載の方法。