JP5123210B2

JP5123210B2 - 画像コントラストの調整方法及び装置

Info

Publication number: JP5123210B2
Application number: JP2008551768A
Authority: JP
Inventors: アルトゥンバザック，ユセル; アリシ，タリク; アクグン，トイガー
Original assignee: ヴェステルエレクトロニックサナイヴェティカレットアノニムシュルケット
Priority date: 2006-01-26
Filing date: 2007-01-19
Publication date: 2013-01-23
Anticipated expiration: 2027-01-19
Also published as: JP2009524959A; ATE446556T1; EP1814080A1; ES2333040T3; US20070172145A1; WO2007085575A1; KR101338501B1; EP1814080B1; US7738698B2; DE602006009893D1; KR20080093111A

Description

本発明は、画像コントラストを調整する方法及び装置の分野に関する。

画像コントラストを調整するための多くの方法、特にコントラストを向上させ、その結果画像の視認性を向上させる方法が知られている。画像（特に、デジタル画像）のコントラストの調整又は強調は、テレビ受像機やその他の表示装置での表示、プリンタでの印刷、及びデジタルカメラなどにおけるデジタル画像のコントラスト強調など多くの分野において用いられている。コントラスト強調は、医療画像やその他の画像におけるコントラストの向上のためにも用いられている。

よく知られた手法に、ヒストグラム均等化として知られるものがある。このようなヒストグラム均等化に関する議論は、例えば、R.C.Gonzalez、Richard E.Woodsによる「Digital Image Processing（Prentice Hall, New Jersey, 2001）」などに見られる。ヒストグラム均等化は、良好なコントラストの画像は、一般的にディスプレイなどの表示、プリンタによる印刷などにおいてとり得る輝度レベルの範囲にわたって概して等しく分布している輝度レベルを有する複数の画素を有するとの仮定に基づくものである。
個々の画素は、夫々の輝度の順位を保持している（つまり、このような複数の画素は、他の画素に比して明るい、或いは暗いままである）しかしながら、個々の画素の輝度レベルの値は、輝度のスケールにわたって夫々等しく分布されるように調整される。

図１に示されるヒストグラム均等化において、入力されるデジタル画像の輝度レベルは、画素の輝度レベルのヒストグラムを生成するヒストグラム生成１の処理の対象となる。続いて、ヒストグラム２より、累積分布関数（cumulative distribution function）が生成される。累積分布関数は、表示装置或いはプリンタなどの利用可能なダイナミックレンジのため、必要に応じて正規化される。例えば、ダイナミックレンジは、256階調レベルを有していても良い。このような正規化された累積分布関数は、次いで、入力デジタル画像の輝度レベルを、表示装置やプリンタなどにおいて通用する出力デジタル画像３の輝度レベルに対してマッピングするために使用される。ヒストグラム均等化は、ヒストグラムによる最大値付近の輝度レベルのためにコントラストを増大させるとともに、最小値付近のコントラストを減少させる。言い換えれば、ヒストグラム均等化は、画像における既に良好なコントラストが存在する領域を犠牲にして、コントラストに乏しい領域における画像のコントラストを向上させる。

ヒストグラム均等化に特有の限界として、ヒストグラムにおける大きなピークが、類似した輝度を有する大きな領域によって生ずることである。しばしば、これらは、大抵は面白くない（興味を引かない）背景の領域に一致する。とにかく、ヒストグラム均等化の効果は、過剰に増大され得、このときノイズの視認性をも向上させてしまう。ヒストグラムが高いピークを含むような場合、生成される累積分布関数は、急な勾配のものになるとともに、入力画像における互いに近しい輝度レベルは、互いに遠く離れた出力輝度レベルへとマッピングされ得る。

このような過剰な増大に起因する問題を解決する幾つかの手法が知られている。例えば、J. Alex Starkによる「Adaptive Image Contrast Enhancement Using Generalizations of Histogram Equalization（IEEE Transactions on Image processing, vol. 9, no. 5, May 2000.）」には、修正累積分布関数が開示されている。図２に示されるように、生成されるヒストグラム４は、ヒストグラムの値に重みづけを行う修正累積関数５の処理の対象となる。このような重みづけを行う関数は、現在の画素の輝度レベルからの距離に反比例する。このように、マッピング６が大幅に画像の特性を変えないように、累積関数５における大きな変更は、避けられる。それでも尚、このような修正された手法に係る問題は、予め重みづけ関数が選択されていなくてはならず、また、全ての画像における過剰な増大効果を回避し得るマッピングを作成するために充分な単一の重み付け関数がないことである。例えば、輝度レベルのヒストグラムにおいて極めて細いピークを有する入力画像に対して、重みづけ関数は、適宜調整される。しかしながら、狭いピークを形成するヒストグラムに対処するために重みづけ関数の調整を行うことは、ヒストグラムが狭いピークを形成せず且つダイナミックレンジがより広い場合には、充分な視覚的な成果をもたらさないことがある。

本発明の第１の要素によれば、夫々の画素が最小の輝度レベルと最大の輝度レベルとの間の範囲内で初期輝度レベルを有する、複数の画素より形成される画像のコントラストの調整方法であって、前記画像における少なくとも幾つかの画素に対して、前記範囲内の夫々の輝度レベルについて、等しい初期輝度レベルを有する画素の数を計数する計数工程と、複数の隣接する前記輝度レベルの夫々が閾値より多くの画素を有する前記初期輝度レベルを有する前記画素の集合又は前記画素の集合の夫々を識別し、前記複数の画素を、前記複数の隣接する前記輝度レベルを有する前記画素を第１の形式として、その他の前記画素を第２の形式として、前記複数の画素を少なくとも２つの形式に分類する分類工程と、前記第１の形式の前記画素の集合又は前記画素の集合の夫々に対して個別に、前記集合を形成する画素にコントラスト強調を行う強調工程とを備えることを特徴とするコントラストの調整方法前記画素の集合又は前記画素の集合の夫々前記画素の集合又は前記画素の集合の夫々が提供される。

従って、画素は少なくとも第１の形式及び第２の形式に（概念的に）分類される。第１の形式とは、所謂「群がって」、所定の閾値より多くの画素を含む初期輝度レベルを有する画素を示す趣旨である。言い換えれば、例えば、初期輝度レベルの画素のヒストグラムが生成される場合、該ヒストグラムは、夫々隣接する輝度レベルが閾値より多くの画素を含む、１つ或いは複数の隣接する「タイプ１」領域に分類される。このようなタイプ１領域は、画像中の支配的なオブジェクトの存在を示すため、従って、コントラスト強調が好適に実施される領域を示す。こうして、コントラスト強調がタイプ１領域の画素に対して実施され、このとき、夫々のタイプ１領域に含まれる画素は、夫々個別に扱われることとなり、最も好ましくは、詳細において異なり、夫々のタイプ１領域を形成する画素の特性に応じて適合されるコントラスト強調手法によって実施される。

好適な実施例においては、前記第１の形式の前記画素の集合又は前記画素の集合の夫々を形成する画素に対して実施されるコントラスト強調は、前記画素の集合又は前記画素の集合の夫々ヒストグラム均等化である。

このようなコントラストの調整方法は、前記画像における全ての前記画素に対して実施されても良い。

前記計数工程において、前記輝度レベル毎の前記画素の数が示されるヒストグラムが生成されて良く、当該ヒストグラムの調整方法は、前記分類工程に先駆けて、前記ヒストグラムの平坦化を行う平坦化工程を更に備える。このようなヒストグラムの平坦化は、例えば、画像が初期状態でデジタル化されている場合の量子化に起因する、ヒストグラム非対称の問題を解決する一因となる。前記平坦化は、前記ヒストグラムの値をローパスフィルタに通すことで実施されても良い。前記平坦化された前記ヒストグラムにおける前記最小の輝度レベル及び前記最大の輝度レベルは、好適には、夫々前記画素における最小の前記初期輝度レベル及び最大の前記初期輝度レベルと等しい。

前記閾値は、好適には、前記計数工程において取得される前記輝度レベル毎の前記画素の数の平均値に対して、０より大きく且つ１以下の係数を乗算したものである。このような係数の値はその他の値であっても良いが、典型的には、係数は１である。当然ながら、その他の手段によっても、閾値は、求められて良い。

実施例においては、前記第２の形式の前記画素の前記初期輝度レベルに対して線形変換が行われる。従って、このような実施例においては、第２の形式の画素の輝度レベルは、必要に応じて単純な修正の対象である。

当該コントラストの調整方法は、好ましくは、前記強調工程に先駆けて、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を拡張する拡張工程を更に備える。このことによって、これらの第１形式の画素によって示される支配的なオブジェクトにおけるコントラストを向上させる一因となり得る。

当該コントラストの調整方法は、前記拡張工程において、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を（１＋ｇ．Ｌ＿Ｒ／Ｄ＿Ｒ）に基づいて拡張しても良く、このとき、ｇは、スカラー乗数であって、Ｌ＿Ｒは、前記集合における前記輝度レベルの範囲であって、Ｄ＿Ｒは、前記画像における前記輝度レベルのダイナミックレンジの指標である。

前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定されても良く、このとき、Ｐ＿ＭＡＸは、前記最大の輝度レベルであって、Ｐ＿ＭＩＮは、前記最小の輝度レベルである。

より好ましくは、前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＡＸは、前記最大の初期輝度レベルであって、Ｐ＿ＭＩＮは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最小の初期輝度レベルである。その他の態様として、前記Ｄ＿Ｒは、好ましくは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最大の初期輝度レベルである。最も好ましくは、前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、少なくとも前記画素の所定の第１のパーセンテージにより示される前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも前記画素の所定の第２のパーセンテージにより示される前記最大の初期輝度レベルであって、前記第１のパーセンテージは、前記第２のパーセンテージよりも小さく、前記第１のパーセンテージ及び前記第２のパーセンテージは、予め夫々１００％より小さいことを特徴とする。これらの好適な実施例のいずれにおいても、特に、ヒストグラムのテールが小さい場合には、ダイナミックレンジは、ノイズに対してより高ロバスト性を有するようになり、更に、実際のダイナミックレンジをより好適にとらえるようになる。

実施例においては、前記画像は、一連の画像における一画像であって、当該コントラストの調整方法は、異なるコントラスト強調が前記一連の画像における更なる複数の画像に対して実施されるとき、前記一連の画像における複数の画像に対して、前記複数の画像のコントラストに充分な変化が検出されるまで、同一のコントラスト強調を用いて実施される。従って、例えば、顕著な、或いは充分な場面の変化が検出されるまで、コントラスト強調のための同一のマッピングが用いられ得る。

本発明の第２の要素によれば、夫々の画素が最小の輝度レベルと最大の輝度レベルとの間の範囲内で初期輝度レベルを有する、複数の画素より形成される画像のコントラストの調整装置であって、画像における少なくとも幾つかの画素に対して且つ前記範囲内の夫々の輝度レベルについて、等しい初期輝度レベルを有する画素の数を計数するよう構成され且つ配置される計数手段と、複数の隣接する前記輝度レベルの夫々が閾値より多くの画素を有するような前記初期輝度レベルを有する前記画素の集合又は前記画素の集合の夫々を識別し、前記複数の隣接する前記輝度レベルを有する前記画素を第１の形式として、その他の前記画素を第２の形式として、前記複数の画素を少なくとも２つの形式に分類するよう構成され且つ配置される分類手段と、前記第１の形式の前記画素の集合又は前記画素の集合の夫々に対して個別にコントラスト強調を行うよう構成され且つ配置されるコントラスト強調手段とを備えることを特徴とするコントラストの調整装置が提供される。

好適な実施例においては、前記コントラスト強調手段は、前記第１の形式の前記画素の集合又は前記画素の集合の夫々を形成する画素に対して実施されるコントラスト強調がヒストグラム均等化となるように配置される。

当該コントラストの調整装置は、前記画像における全ての前記画素に対して動作するよう配置されても良い。

前記計数手段は、前記輝度レベル毎の前記画素の数が示されるヒストグラムを生成するように配置されて良く、当該コントラストの調整装置は、前記分類手段による動作に先駆けて、前記ヒストグラムの平坦化を行うよう配置される平坦化手段を更に備える。前記平坦化手段は、前記ヒストグラムの値をローパスフィルタに通すことで動作するよう配置されても良い。また、前記平坦化手段は、前記平坦化された前記ヒストグラムにおける前記最小の輝度レベル及び前記最大の輝度レベルが夫々前記画素における最小の前記初期輝度レベル及び最大の前記初期輝度レベルと等しくなるよう配置されても良い。

前記閾値は、好適には、前記計数工程において取得される前記輝度レベル毎の前記画素の数の平均値に対して、０より大きく且つ１以下の係数を乗算したものである。

実施例においては、当該コントラストの調整装置は、前記第２の形式の前記画素の前記初期輝度レベルに対して線形変換を行うよう構成され且つ配置されるコントラスト強調手段を更に備える。当該コントラストの調整装置は、前記コントラスト強調手段の動作に先駆けて、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を拡張するよう構成され且つ配置される拡張手段を更に備えても良い。

前記拡張手段は、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を（１＋ｇ．Ｌ＿Ｒ／Ｄ＿Ｒ）に基づいて拡張するよう配置されても良く、このとき、ｇは、スカラー乗数であって、Ｌ＿Ｒは、前記集合における前記輝度レベルの範囲であって、Ｄ＿Ｒは、前記画像における前記輝度レベルのダイナミックレンジの指標である。

より好ましくは、前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＡＸは、前記最大の初期輝度レベルであって、Ｐ＿ＭＩＮは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最小の初期輝度レベルである。その他の態様として、前記Ｄ＿Ｒは、好ましくは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最大の初期輝度レベルである。最も好ましくは、前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、少なくとも前記画素の所定の第１のパーセンテージにより示される前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも前記画素の所定の第２のパーセンテージにより示される前記最大の初期輝度レベルであって、前記第１のパーセンテージは、前記第２のパーセンテージよりも小さく、前記第１のパーセンテージ及び前記第２のパーセンテージは、予め夫々１００％より小さいことを特徴とする。

実施例においては、前記画像は、一連の画像における一画像であって、当該コントラストの調整装置は、前記一連の画像における複数の画像間のコントラストの変化を検出する画面変化検出手段を更に備え、異なるコントラスト強調が前記一連の画像における更なる複数の画像に対して実施されるとき、前記一連の画像における複数の画像に対して、前記複数の画像のコントラストに充分な変化が検出されるまで、同一のコントラスト強調を用いるよう配置される。

本発明の第３の要素によれば、夫々の画素が最小の輝度レベルと最大の輝度レベルとの間の範囲内で初期輝度レベルを有する、複数の画素より形成される画像のコントラストの調整方法であって、前記画像における少なくとも幾つかの画素に対して、前記範囲内の夫々の輝度レベルについて、元の画像における輝度レベル毎の前記画素の数のヒストグラムを生成する生成工程と、複数の隣接する前記輝度レベルの夫々が閾値より多くの画素を有する前記ヒストグラムにおける前記領域又は前記領域の夫々を識別し、複数の隣接する前記輝度レベルを有する前記画素を第１の形式として、その他の前記画素を第２の形式として、前記複数の画素を少なくとも２つの形式に分類する分類工程と、前記第１の形式の前記画素の集合又は前記画素の集合の夫々に対して個別に、前記集合を形成する画素にヒストグラム平坦化コントラスト強調を行う強調工程とを備えることを特徴とするコントラストの調整方法が提供される。

当該コントラストの調整方法は、前記分類工程に先駆けて、前記ヒストグラムの平坦化を行う平坦化工程を更に備えても良い。

当該コントラストの調整方法は、好適には、前記コントラスト強調工程に先駆けて、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を拡張する拡張工程を更に備える。

実施例においては、前記第２の形式の前記画素の前記初期輝度レベルに対して線形変換が行われる。

本発明の第４の要素によれば、夫々の画素が最小の輝度レベルと最大の輝度レベルとの間の範囲内で初期輝度レベルを有する、複数の画素より形成される画像のコントラストの調整装置であって、前記画像における少なくとも幾つかの画素に対して且つ前記範囲内の夫々の輝度レベルについて、元の画像における輝度レベル毎の前記画素の数のヒストグラムを生成するよう構成され且つ配置されるヒストグラム生成手段と、複数の隣接する前記輝度レベルの夫々が閾値より多くの画素を有する前記ヒストグラムにおける前記領域又は前記領域の夫々を識別し、複数の隣接する前記輝度レベルを有する前記画素を第１の形式として、その他の前記画素を第２の形式として、前記複数の画素を少なくとも２つの形式に分類するよう構成され且つ配置される分類手段と、前記第１の形式の前記画素の集合又は前記画素の集合の夫々に対して個別に、前記集合を形成する画素にヒストグラム平坦化コントラスト強調を行うよう構成され且つ配置される強調工程とを備えることを特徴とするコントラストの調整装置が提供される。

当該コントラストの調整装置は、前記分類手段による動作に先駆けて、前記ヒストグラムの平坦化を行うよう構成され且つ配置される平坦化手段を更に備えて良い。

当該コントラストの調整装置は、好適には、前記コントラスト強調手段の動作に先駆けて、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を拡張するよう構成される拡張手段を更に備える。

実施例においては、当該コントラストの調整装置は、前記第２の形式の前記画素の前記初期輝度レベルに対して、線形変換を行うよう構成されるコントラスト強調手段を更に備える。

好適なコントラストの調整装置及び、又はコントラストの調整方法は、例えば、テレビジョンセットに用いられる画像処理装置、プリンタ、或いはデジタル画像処理ソフトウェアなどを含むデジタル画像のコントラストを向上させる他のコントラストの調整装置及び、又はコントラストの調整方法に組み込まれていても良い。ここに記載されるコントラストの調整方法は、適切なコンピュータ設備において実行される適切なソフトウェアによって実施されても良い。このようなソフトウェアは、上述の動作に適合される、又は、関連する処理に用いられる集積回路に組み込まれていても良い。多くの処理工程は、ソフトウェア、専用化されたハードウェア（例えば、ASICなど）、又はそれらの組み合わせを用いて実施されても良い。

本発明の実施形態は、付随の図面を参照して説明される。

図１及び図２は、コントラストの強調手法の２種類の先行技術を図式的に示す。

図３は、本発明の実施形態に係るコントラスト調整方法の例の全体像を図式的に示す。

図４から図８は、本発明の実施形態に係るコントラスト調整方法の例の詳細な工程について図式的に示す。

図９は、本発明の実施形態に係るコントラスト調整方法の動作中に生成されるヒストグラムの一例、及びそのようなヒストグラムがどのように扱われるかを図式的に示す。

先ず、図３を参照すると、本発明の実施例の好適な例は、全体的に以下のように動作する。入力デジタル画像の画素の輝度レベルから、ヒストグラムが生成される（１０）。このようなヒストグラムは、輝度レベル又は「ビン」毎の画素の数を示す。領域抽出ステップ１１において、ヒストグラムは、クラスタ化された画素の輝度レベルが識別されるように、隣接する複数の領域へと分類される。夫々の領域は、画素の輝度レベルの隣接する範囲として定義される。このようなクラスタ化された画素の輝度レベルは、ヒストグラムにおける関連する部分の強度が閾値よりも高い場合、画像内における異なる支配的なオブジェクトの存在を示す。夫々の領域の長さは、画像におけるこのようなオブジェクトに割り当てられるダイナミックレンジを示す。

これらの支配的なオブジェクトにおいてコントラストを強調するために、入力画像においてそれらのオブジェクトに割り当てられたダイナミックレンジは、領域修正ステップ１２において拡張係数によって拡張される。好適な拡張係数は、入力画像の輝度レベルのダイナミックレンジの合計及びダイナミックレンジの長さに依存する。支配的なオブジェクトに関連する夫々の領域における拡張動作の後、これらの領域は、それらが画素の輝度レベルに応じて、重複やいずれの画素の輝度レベルが領域の挟間に取り残されることなく整理されるよう、領域修正ステップ１２において修正される。更に、これらの領域の集合が表示可能又は印刷可能な画素の輝度レベルの範囲内に適合しない場合、必要に応じて、全ての領域が同一の係数によって縮小される。利用可能な輝度レベルの数は、ディスプレイ装置、プリンタなどに依存するものであって、例えば、256階調レベルであって良い。

このような修正された領域を用いて、マッピングが取得される（１３）。このようなマッピングでは、領域の形式に応じて、異なる形式の強調方法を用いる。好適な実施形態においては、２つの形式の領域がある。形式１は、支配的なオブジェクトに関連し、他方で形式２は、画像中のその他の非支配的なオブジェクトに関連する。形式１領域では、好適なマッピング機能は、入力画像の画素の輝度レベルにおいてヒストグラム均等化を使用する。領域から抽出される支配的なオブジェクトにより生成される出力画素の輝度レベルが該領域に対応して修正動作の後に生成される範囲内に位置するように、ヒストグラム均等化が行われる。他方で、抽出される非支配的な領域が、出力画像における対応する領域へとマッピングされるように、形式２又は非支配的なオブジェクト領域に対して線形マッピングが用いられても良い。

取得されたマッピングを使用して、画像におけるコントラストは、ステップ１４において強調される。このとき、ステップ１５によって場面の変化が検出されるまで、同一のマッピングが使用され得る。好適な実施形態においては、場面の変化を検出するためにヒストグラムに基づく場面変化検出器が用いられる。このような場面変化検出器によって決定される新しい場面に属する画像が現れるまで、同一のマッピングが使用される。

図４は、図３に示されるヒストグラム生成ステップ１０によって実施される工程を図式的に示し、図９は、本発明の実施例に係るコントラスト調整方法の動作中に生成されるヒストグラムの一例、及びそのようなヒストグラムがどのように扱われるかを図式的に示す。

始めに、ステップ２０によって、夫々の画素の輝度レベルを有する画素の数を計数し、それによって図９において実線で示される元のヒストグラムが生成されることで、夫々の画素の輝度レベル又はバイナリ毎のデータ加工されていない初期のヒストグラムの値が取得される。実際には、しばしば、生成される入力ヒストグラムは画像が最初にデジタル化されているときに行われる均等化を原因として、典型的には一部において非対称となる。このような問題は、幾つかの画素の輝度レベルにおいて大きな強度を有するとともに、それらの輝度レベルに隣接して、ごく小さい又はゼロとなる強度を有するような非対称なヒストグラムの生成によって、その存在が顕在化する。このような問題は、データ加工のされていない初期のヒストグラムが平坦化される平坦化ステップ２１によって最小限に抑制され得る。データ加工のされていない初期のヒストグラムを平坦化するために、ローパスフィルタを用いた単純な窓平均化手法が使用され得るということが発見されている。窓平均化手法の一例において、現在の輝度レベル又はビンにおける画素の数の値が、現在のビンの左右における定められる個数の複数のビンの平均のために取得される。そして、入力画像における実際の最小及び最大の輝度レベルが平坦化処理の後に同一となるように境界条件が設定される。このような窓平均化工程において、境界外の画素の輝度レベルを扱うために、ミラーリングが使用され得る。言い換えれば、現在の画素の輝度レベルがゼロ又は最大値（例えば、２５６）に近い又は同一である場合、片方の隣接する輝度レベルが欠けていても良い。ミラーリングを行う際には、例えば現在の画素の輝度レベルがゼロに等しい場合に、「−１」に相当する位置と等価な左方に対するビンの値は、「＋１」に相当する位置のビンの値と等しくされ、「−２」に相当する位置と等価な左方に対する次のビン値は、「＋２」に相当する位置のビンの値と等しくされる。このように平坦化された元のヒストグラムは図９において破線で示される。

図５は、図３における領域抽出ステップ１１の好適な例を図式的に示す。平坦化されたヒストグラムは、観測されたダイナミックレンジを最初に検出するレベル検出器３０に入力される。この観測されたダイナミックレンジは、この場合、図９の点線によって示され、一様に分配されたヒストグラムの平均或いは一定のレベル（uniform level）である閾値を算出するために用いられる。このような観測されたダイナミックレンジに対応する一定のレベルは、以下の関係から取得される：
Ｕ＿Ｌ＝ｓ×Ｍ×Ｎ／Ｄ＿Ｒ
但し、sは、０より大きく且つ１以下の定数であって、Ｍは、入力画像におけるラインの数であって、Ｎは、１ライン内の画素の数であって、そして、Ｄ＿Ｒは、入力画像の観測されたダイナミックレンジである。

観測されたダイナミックレンジＤ＿Ｒは、通常以下と等しい；
Ｄ＿Ｒ＝Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ＋１
但し、Ｐ＿ＭＡＸ及びＰ＿ＭＩＮは、夫々入力画像において観測される最大及び最小の画素の輝度レベルである。しかしながら、より好ましくは、Ｐ＿ＭＩＮは、少なくとも入力画像における、最小でも０．０５％或いは０．１％であるような所定のパーセンテージの前記画素により示される最小の画素の輝度レベルである。同様に、Ｐ＿ＭＡＸは、少なくとも入力画像における、最大でも９９．９５％或いは９９．９％であるような所定のパーセンテージの前記画素により示される最大の画素の輝度レベルである。言い換えれば、観測されたダイナミックレンジを算出する際に使用するためにＰ＿ＭＩＮ及びＰ＿ＭＡＸを決定する場合には、画素における所定のパーセンテージより多い又は少ないパーセンテージを有するいずれの輝度レベルも無視されることとなる。これによって、ヒストグラムのテールが特に小さい場合には、観測されたダイナミックレンジＤ＿Ｒは、ノイズに対してより高ロバスト性を有するようになり、更に、実際のダイナミックレンジをより好適にとらえるようになる。

一様に分配されたヒストグラムの平均又は一定のレベルが好適に閾値として使用される一方で、他の閾値が設定されても良い。例えば、閾値は、所定のパーセンテージであってもよく、一具体例としては、一様に分配されたヒストグラムの平均又は一定のレベル、例えば９０％であってもよい。

一定のレベルＵ＿Ｌは、比較器３１において、平坦化されたヒストグラムと比較され、領域は、該ヒストグラムが一定のレベルと交差する点で夫々開始及び終了する。領域マネージャ３２は、領域の動向を追跡し、終わりの画素の輝度レベルが始めの画素の輝度レベルの直後に現れるような１ポイントのみの領域を削除する。（尚、図９の簡単な例においては、ただ一つの形式１領域の両側に形式２領域が存在している。しかしながら、一般的に、形式２領域によって夫々切り離される、複数の形式１領域もあり得ることは当然である。）
図６は、図３における領域修正ステップ１２の好適な例を図式的に示す。レンジ拡張ステップ４０においては、観測されたダイナミックレンジが支配的なオブジェクト（すなわち形式１領域）のためだけに拡張される。このような拡張は、領域の長さ及びダイナミックレンジＤ＿Ｒに依存する。領域ｉにおける拡張係数（Ｅ＿Ｆｉ）は、以下の関係により表される。

Ｅ＿Ｆｉ＝（１＋ｇ×Ｌ＿Ｒｉ／Ｄ＿Ｒ）
但し、Ｌ＿Ｒｘは、領域ｉの長さであって、ｇは、スカラ乗数である。例えば、ｇは、およそ０から３であって良い。ｇの値が０．３である場合に、良好な結果が得られることが判明している。

拡張動作の後に、領域が他の領域との重複を避けるために一方向へ移動される（４１）。重複が生じないように夫々の領域が移動されるにあたって、可能であれば、新規に取得されたダイナミックレンジ及び入力ダイナミックレンジの夫々の中間の画素の輝度レベルが一致するように、全ての領域は、同時に移動される。

ステップ４０及び４１の後に、出力ダイナミックレンジが表示装置或いはプリンタなどにおいて利用可能なコントラストの範囲（例えば、２５６階調レベル）よりも大きい場合、出力ダイナミックレンジは、必要に応じて縮小される（４２）。

図７は、図３におけるマッピングステップ１３の好適な例を図式的に示す。マッピング形式は、領域の形式に応じて選択される（５０）。入力領域は、図３におけるステップ１２において取得された対応する出力領域へとマッピングされる。一般的に、任意の適切なマッピングの形式が用いられているが、好ましくは、形式１入力領域又はその夫々に属するヒストグラムの一部分のみが使用される部分ヒストグラム均等化５１を用いて、形式１領域がマッピングされる。言い換えれば、夫々の形式１領域に対して、好ましくは、該形式１領域にのみに対して定義される累積分布関数を用いヒストグラム均等化が個別に実施される。形式２領域は、ＸｍｉｎがＹｍｉｎへとマッピングされるとともに、ＸｍａｘがＹｍａｘへとマッピングされるように、例えば、ｙ＝ａ×ｘ＋ｂ形式（ここに、ａ及びｂは定数）となる線形変換５２などのより単純な変換方法を用いて、修正された出力領域へとマッピングされても良い。形式１及び形式２の両方の形式のマッピングにおいて、領域のマッピングは、該領域における最小の入力画素の輝度レベルが最小の出力輝度レベルへとマッピングされ、同様に該領域における最大の入力輝度レベルもマッピングされるように実施される。全ての領域のためのこのような動作の完了に際して、入力画像の全体のダイナミックレンジは指定された出力ダイナミックレンジへとマッピングされる。上述のように閾値処理されたダイナミックレンジが用いられる場合、画素の輝度レベルの単調な順序が維持されるように、出力ダイナミックレンジの外部にあるその他の画素のレベルが設置される。ディスプレイ装置やプリンタなどのコントラスト範囲が超過されている場合、切り落とし処理が実施される。

図８は、図３における場面変化検出ステップ１５の好適な例である二つの処理ブロックを図式的に示す。好適な場面変化検出においては、ヒストグラムに基づく場面変化検出の識別手法６０を用いる。二つの異なるヒストグラム間の距離（distance metric）Ｄのために使用される数式の一例は、以下となる：

但し、ｈ_１は、現在の画像におけるヒストグラムであって、ｈ_２は、時系列的に以前の画像におけるヒストグラムである。また、ｈ_２は、遅延ブロック６１の動作によって、場面変化識別ステップ６０に与えられた直前の画像又はその他時系列的に以前の画像におけるヒストグラムであって良い。従って、このような識別手法は、時系列的に分割される画像のどの時点で輝度レベルに「顕著な」変化が生じたかを検出する。マッピングの変更の引き金となるこれらの変化の量は、距離Ｄに対して適切な値を設定するによって決定される。

形式１領域のヒストグラム均等化処理において、ヒストグラムから累積分布関数が生成される場合、先行技術に記載されるように、累積分布関数は量子化或いはデジタル化される必要がある。この効果は、入力画像中で異なった複数の輝度レベルが同一の出力輝度レベルにマッピングされるということであり、これは強調された出力画像の（潜在的な）細部の損失を暗に示している。それに従って、変形例として、ヒストグラム均等化のためのヒストグラムのディザリング方法が使用される。ヒストグラムからの累積分布関数の取得においては、累積分布関数は、整数へと量子化されないものの、例えば、「ａ．ｂ（但し、「ａ」は整数部であって、「ｂ」が小数点以下の部分）」として表される所定の精度の浮動小数点数として保持される。出力ヒストグラムｈ_０は、入力ヒストグラムｈ_ｉから、夫々の信号画素レベルであるｍ毎に下記の方程式により生成される：

但し、ＣＤＦ（．）は、入力画像から得られた累積分布関数であって、Ｒは、ディスプレイ装置やプリンタなどによって表示可能な画素信号レベルの最大値であって、ｃｅｉｌ（．）は、より大きな最小の整数へと繰り上げる操作を示し、ｆｌｏｏｒ（．）は、より小さな最大の整数へと繰り下げる操作を示す。出力ヒストグラムが取得された後に、該取得された出力ヒストグラムが、例えば、R.C.Gonzalez、Richard E.Woodsらによる「Digital Image Processing（Prentice Hall, New Jersey, 2001）」などに記載されるヒストグラム適合アルゴリズムの使用に概ね一致するように、マッピングが求められる。

本発明に係る実施形態は、特に図示された例を参照しながら説明された。しかしながら、本発明の範囲内において、上述の実施形態に変化及び変更を加えることは可能であることは、当然である。

コントラスト強調手法を有する先行技術を示す図である。コントラスト強調手法を有する先行技術を示す図である。本発明の実施形態に係るコントラスト調整方法の例の全体像を示す図である。本発明の実施形態に係るコントラスト調整方法の詳細な工程を示す図である。本発明の実施形態に係るコントラスト調整方法の詳細な工程を示す図である。本発明の実施形態に係るコントラスト調整方法の詳細な工程を示す図である。本発明の実施形態に係るコントラスト調整方法の詳細な工程を示す図である。本発明の実施形態に係るコントラスト調整方法の詳細な工程を示す図である。本発明の実施形態に係るコントラスト調整方法の動作中に生成されるヒストグラムの一例、及びそのようなヒストグラムがどのように扱われるかを示す図である。

Claims

夫々の画素が最小の輝度レベルと最大の輝度レベルとの間の範囲内で初期輝度レベルを有する、複数の画素より形成される画像のコントラストの調整方法であって、
前記画像における少なくとも幾つかの画素に対して、
前記範囲内の夫々の輝度レベルについて、等しい初期輝度レベルを有する画素の数を計数する計数工程と、
複数の隣接する前記輝度レベルの夫々が閾値より多くの画素を有するような前記初期輝度レベルを有する前記画素の集合又は前記画素の集合の夫々を識別し、前記複数の隣接する前記輝度レベルを有する前記画素を第１の形式として、その他の前記画素を第２の形式として、前記複数の画素を少なくとも２つの形式に分類する分類工程と、
前記第１の形式の前記画素の集合又は前記画素の集合の夫々に対して個別に、前記集合を形成する画素にコントラスト強調を行う強調工程と
を備え、
前記コントラスト強調は、前記画素の集合のための累積分布関数を用いた、前記集合を形成する画素のみを対象とするヒストグラム均等化によって実行されることを特徴とするコントラストの調整方法。
当該コントラストの調整方法は、前記画像における全ての前記画素に対して実施されることを特徴とする請求項１に記載のコントラストの調整方法。
前記計数工程において、前記輝度レベル毎の前記画素の数が示されるヒストグラムが生成され、
前記分類工程に先駆けて、前記ヒストグラムの平坦化を行う平坦化工程を更に備えることを特徴とする請求項１又は２に記載のコントラストの調整方法。
前記平坦化は、前記ヒストグラムの値をローパスフィルタに通すことで実施されることを特徴とする請求項３に記載のコントラストの調整方法。
前記平坦化された前記ヒストグラムにおける前記最小の輝度レベル及び前記最大の輝度レベルは、夫々前記画素における最小の前記初期輝度レベル及び最大の前記初期輝度レベルと等しいことを特徴とする請求項３又は４に記載のコントラストの調整方法。
前記閾値は、前記計数工程において取得される前記輝度レベル毎の前記画素の数の平均値に対して、０より大きく且つ１以下の係数を乗算したものであることを特徴とする請求項１から５のいずれか一項に記載のコントラストの調整方法。
前記第２の形式の前記画素の前記初期輝度レベルに対して線形変換を行う変換工程を更に備えることを特徴とする請求項１から６のいずれか一項に記載のコントラストの調整方法。
前記強調工程に先駆けて、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を拡張する拡張工程を更に備えることを特徴とする請求項１から７のいずれか一項に記載のコントラストの調整方法。
前記拡張工程において、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を（１＋ｇ．Ｌ＿Ｒ／Ｄ＿Ｒ）に基づいて拡張し、このとき、ｇは、スカラー乗数であって、Ｌ＿Ｒは、前記集合における前記輝度レベルの範囲であって、Ｄ＿Ｒは、前記画像における前記輝度レベルのダイナミックレンジの指標であることを特徴とする請求項８に記載のコントラストの調整方法。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＡＸは、前記最大の輝度レベルであって、Ｐ＿ＭＩＮは、前記最小の輝度レベルであることを特徴とする請求項９に記載のコントラストの調整方法。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＡＸは、前記最大の初期輝度レベルであって、Ｐ＿ＭＩＮは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最小の初期輝度レベルであることを特徴とする請求項９に記載のコントラストの調整方法。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最大の初期輝度レベルであることを特徴とする請求項９に記載のコントラストの調整方法。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、少なくとも前記画素の所定の第１のパーセンテージにより示される前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも前記画素の所定の第２のパーセンテージにより示される前記最大の初期輝度レベルであって、前記第１のパーセンテージは、前記第２のパーセンテージよりも小さく、前記第１のパーセンテージ及び前記第２のパーセンテージは、予め夫々１００％より小さいことを特徴とする請求項９に記載のコントラストの調整方法。
前記画像は、一連の画像における一画像であって、
当該コントラストの調整方法は、異なるコントラスト強調が前記一連の画像における更なる複数の画像に対して実施されるとき、前記一連の画像における複数の画像に対して、前記複数の画像のコントラストに充分な変化が検出されるまで、同一のコントラスト強調を用いて実施されることを特徴とする請求項１から１３のいずれか一項に記載のコントラストの調整方法。
夫々の画素が最小の輝度レベルと最大の輝度レベルとの間の範囲内で初期輝度レベルを有する、複数の画素より形成される画像のコントラストの調整装置であって、
前記画像における少なくとも幾つかの画素に対して且つ前記範囲内の夫々の輝度レベルについて、等しい初期輝度レベルを有する画素の数を計数するよう構成され且つ配置される計数手段と、
複数の隣接する前記輝度レベルの夫々が閾値より多くの画素を有するような前記初期輝度レベルを有する前記画素の集合又は前記画素の集合の夫々を識別し、前記複数の隣接する前記輝度レベルを有する前記画素を第１の形式として、その他の前記画素を第２の形式として、前記複数の画素を少なくとも２つの形式に分類するよう構成され且つ配置される分類手段と、
前記画素の集合のための累積分布関数を用いた、前記集合を形成する画素のみを対象とするヒストグラム均等化を適用することで、前記第１の形式の前記画素の集合又は前記画素の集合の夫々に対して個別にコントラスト強調を行うよう構成され且つ配置されるコントラスト強調手段と
を備えることを特徴とするコントラストの調整装置。
当該コントラストの調整装置は、前記画像における全ての前記画素に対して動作するよう配置されることを特徴とする請求項１５に記載のコントラストの調整装置。
前記計数手段は、前記輝度レベル毎の前記画素の数が示されるヒストグラムを生成するように配置され、
前記分類手段による動作に先駆けて、前記ヒストグラムの平坦化を行うよう構成され且つ配置される平坦化手段を更に備えることを特徴とする請求項１５又は１６に記載のコントラストの調整装置。
前記平坦化手段は、前記ヒストグラムの値をローパスフィルタに通すことで動作するよう配置されることを特徴とする請求項１７に記載のコントラストの調整装置。
前記平坦化手段は、前記平坦化された前記ヒストグラムにおける前記最小の輝度レベル及び前記最大の輝度レベルが夫々前記画素における最小の前記初期輝度レベル及び最大の前記初期輝度レベルと等しくなるよう配置されることを特徴とする請求項１７又は１８に記載のコントラストの調整装置。
前記閾値は、前記計数工程において取得される前記輝度レベル毎の前記画素の数の平均値に対して、０より大きく且つ１以下の係数を乗算したものであることを特徴とする請求項１５から１９のいずれか一項に記載のコントラストの調整装置。
前記第２の形式の前記画素の前記初期輝度レベルに対して、線形変換を行うよう構成され且つ配置されるコントラスト強調手段を更に備えることを特徴とする請求項１６から２０のいずれか一項に記載のコントラストの調整装置。
前記コントラスト強調手段の動作に先駆けて、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を拡張するよう構成され且つ配置される拡張手段を更に備えることを特徴とする請求項１５から２１のいずれか一項に記載のコントラストの調整装置。
前記拡張手段は、前記第１形式の前記画素の集合又は前記画素の集合の夫々における輝度レベルの範囲を（１＋ｇ．Ｌ＿Ｒ／Ｄ＿Ｒ）に基づいて拡張するよう配置され、このとき、ｇは、スカラー乗数であって、Ｌ＿Ｒは、前記集合における前記輝度レベルの範囲であって、Ｄ＿Ｒは、前記画像における前記輝度レベルのダイナミックレンジの指標であることを特徴とする請求項２２に記載のコントラストの調整装置。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＡＸは、前記最大の輝度レベルであって、Ｐ＿ＭＩＮは、前記最小の輝度レベルであることを特徴とする請求項２３に記載のコントラストの調整装置。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＡＸは、前記最大の初期輝度レベルであって、Ｐ＿ＭＩＮは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最小の初期輝度レベルであることを特徴とする請求項２３に記載のコントラストの調整装置。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも１００％より小さい前記画素の所定のパーセンテージにより示される前記最大の初期輝度レベルであることを特徴とする請求項２３に記載のコントラストの調整装置。
前記Ｄ＿Ｒは、（１＋Ｐ＿ＭＡＸ−Ｐ＿ＭＩＮ）により規定され、このとき、Ｐ＿ＭＩＮは、少なくとも前記画素の所定の第１のパーセンテージにより示される前記最小の初期輝度レベルであって、Ｐ＿ＭＡＸは、少なくとも前記画素の所定の第２のパーセンテージにより示される前記最大の初期輝度レベルであって、前記第１のパーセンテージは、前記第２のパーセンテージよりも小さく、前記第１のパーセンテージ及び前記第２のパーセンテージは、予め夫々１００％より小さいことを特徴とする請求項２３に記載のコントラストの調整装置。
前記画像は、一連の画像における一画像であって、
当該コントラストの調整装置は、
前記一連の画像における複数の画像間のコントラストの変化を検出する画面変化検出手段を更に備え、
異なるコントラスト強調が前記一連の画像における更なる複数の画像に対して実施されるとき、前記一連の画像における複数の画像に対して、前記複数の画像のコントラストに充分な変化が検出されるまで、同一のコントラスト強調を用いるよう配置されることを特徴とする請求項１５から２７のいずれか一項に記載のコントラストの調整装置。