JP5424921B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は入力された画像の階調補正を行う画像処理装置に関する。

従来の階調補正の技術として、ヒストグラムから山型分布を検出し、特定の位置の山型分布の平均輝度等を計算することで暗部の特徴量を求め、その特徴量をある目標値に持ち上げるような補正を行うことで暗部の輝度階調を補正するものが提案されている。特許文献１ではヒストグラムの山型分布から低輝度部と高輝度部に分ける境界値を算出し、低輝度部の重心を暗部の特徴量として求める構成が記載されている。また、特許文献２ではヒストグラムを構成する山型分布のうち、２番目に明るい山型分布の平均輝度等を暗部の特徴量として求める構成が記載されている。

特許第０３７７２１３３号公報 特許第０４０１８５２４号公報

ヒストグラムの形状は画像中に含まれる被写体により細かく変動しているため、特許文献１においてはヒストグラムの形状によっては、本来抽出したい山型分布を抽出できない場合がある。特許文献２においてはこのような問題に対し、ヒストグラムの平滑化を行ったり、閾値を用いて複数の山を結合するなどの手法を取っている。しかしながら、従来の手法は、いずれも閾値（境界値）により低輝度部と高輝度部に分けたり、平均輝度値を算出するべき山型分布を特定したりするため以下のような課題があった。

すなわち、閾値を用いた手法では同じようなシーンを撮影したとしても、ヒストグラムのわずかな違いによって境界値が異なったり、山が結合されるかどうかが異なったりすることがある。このような場合、同じようなシーンを撮影したにもかかわらず、階調補正の結果が大きく異なるものとなってしまう可能性がある。

本発明は上記の課題に鑑みてなされたものであり、ヒストグラムのわずかな違いにより階調補正の量が必要以上に変動することを防止し、あらゆるヒストグラム形状について適切な階調補正を行えるようにすることを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
画像における輝度の階調補正を行う画像処理装置であって、
前記画像について、輝度値ごとの画素数を示す度数を第１の側から第２の側へ輝度値の順に並べた輝度ヒストグラムを生成する生成手段と、
前記輝度ヒストグラムの度数分布において下に凸な部分で前記輝度ヒストグラムを分割し、複数の部分ヒストグラムを生成する分割手段と、
前記複数の部分ヒストグラムの一つを注目部分ヒストグラムとし、当該注目部分ヒストグラムよりも前記第１の側にある一つの部分ヒストグラム内の最大度数と、当該最大度数に対応する輝度から当該注目部分ヒストグラム内の最大度数に対応する輝度までの間における最小度数との差を候補落差として算出し、当該注目部分ヒストグラムよりも前記第１の側にある全ての部分ヒストグラムについて算出された前記候補落差のうち最大のものを当該注目部分ヒストグラムの落差に決定する算出手段と、
前記注目部分ヒストグラムに対し、前記落差が大きいほど小さい重みを設定する設定手段と、
前記複数の部分ヒストグラムのそれぞれに前記設定手段により設定された重みを適用して得られた輝度ヒストグラムを用いて前記階調補正を行う補正手段とを備える。

本発明は複雑なヒストグラム形状を持つ画像に対してより適した特徴量を求めることが可能となる。

実施形態による撮像装置のブロック構成図。 実施形態による情報処理装置のブロック構成図。 実施形態による画像の階調補正処理を示すフローチャート。 実施形態による山型分布抽出処理を説明する図。 第１の実施形態による山型分布への重みの計算の例を示す図。 第１の実施形態における、重み算出処理を示すフローチャート。 様々な山型分布への重みの計算の例を示す図。 （ａ）は重み算出処理に係る重みの計算の例を示す図、（ｂ）は補正テーブル生成に係る例を示す図。 第２の実施形態による山型分布への重みの計算の例を示す図。 第３の実施形態による画像の階調補正処理を示すフローチャート。 第３の実施形態における、様々なタイプの山型分布における落差の例を示す図。 実施形態による輝度に応じた重みづけの例を示す図。 第４の実施形態における、重み算出処理を示すフローチャート。

＜第１の実施形態＞
本実施形態においてはヒストグラムの山型分布において、山型分布中における最大度数（以降山部と表現）と、山型分布の両端に相当する山型分布中における最低度数（以降谷部と表現）との落差に応じて山型分布に重みづけをする。そして、山型分布に含まれるヒストグラムの加算平均を求めることでヒストグラムの形状の変化に応じて滑らかに変化するような特徴量を算出し、画像の階調補正を行う画像処理装置を説明する。

図１は、第１の実施形態の画像処理装置を実現する一つの実施例である撮像装置１００の構成を示すブロック図である。撮像装置はデジタルカメラ、デジタルビデオカメラなど、被写体を撮像し画像データを得る装置を含む。図１において、光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体からの光を適切な量とタイミングで撮像素子１０２に結像させる。撮像素子１０２は、光学系１０１を通って結像した光を画像に変換する。ＣＰＵ１０３は、入力された信号やプログラムに従って、各種の演算や、撮像装置１００を構成する各部分の制御を行う。

一次記憶装置１０４は、一時的なデータを記憶し、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５は、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。記憶媒体１０６は、撮影した画像データなどを記憶する。なお、撮影後に記憶媒体１０６は取り外すことが可能であり、パーソナルコンピュータ（以下、ＰＣ）などに装着してデータを読み出すことが可能である。つまり、撮像装置１００は記憶媒体１０６へのアクセス機能を有し、記憶媒体１０６へのデータの読み書きが行えればよい。表示部１０７は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のための文字表示などを行う。操作部１０８は、使用者の操作を受け付けるためのものである。操作部１０８は例えばボタンやレバー、タッチパネルなどを用いることが可能である。

通信装置１０９は、外部装置と接続し制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えばＰＴＰ（Picture Transfer Protocol）が用いられる。なお、通信装置１０９は、例えばＵＳＢ（UniversalSerialBus）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したりインターネットなどのネットワークを介して外部装置と接続してもよい。

図２は、第１の実施形態の画像処理装置を実現するもう一つの実施例である情報処理装置２００の構成を示すブロック図である。図２において、表示部２０１は、画像処理前の画像の表示、画像処理後の画像の表示、対話的な操作のための文字表示などを行う。操作部２０２は、使用者の操作を受け付けるためのものである。操作部２０２は例えばキーボードやポインティング装置などを用いることが可能である。ＣＰＵ２０３は、入力された信号やプログラムに従って、各種の演算や、情報処理装置２００を構成する各部分の制御を行う。一次記憶装置２０４は、一時的なデータを記憶し、ＣＰＵ２０３の作業用に使われる。二次記憶装置２０５は、画像処理を行うためのプログラムや各種の設定情報を記憶する。通信装置２０６は、外部装置と接続し制御コマンドやデータの送受信を行う。通信装置２０６の形態は通信装置１０９と同じような形態を選択することも可能である。

図３は本実施形態に係る画像の輝度階調を補正する処理の流れを示した図である。全体の処理の流れは第１、第２の実施形態において共通のものであるが、第１の実施形態では暗部から山型分布の加算平均を求めることで暗部の特徴量を算出し、第２の実施形態では明部から山型分布の加算平均を求めることで明部の特徴量の算出を行っている。以下に、図３を用いて、ヒストグラムの山型分布から画像中の暗部の特徴量を算出し、階調補正を行う第１の実施形態について説明する。なお、以下では撮像装置１００における撮影画像に対する輝度階調補正処理を説明するが、情報処理装置２００でも一般の画像データ（撮影画像に限らない）に対して同様に実施できることは明らかである。

まず、ステップＳ３０１において光学系１０１及び撮像素子１０２を通して画像の撮影が行われると、ＣＰＵ１０３は、得られた画像に対してステップＳ３０２において輝度ヒストグラムを作成する。なお、記憶媒体に記憶された画像を読み出して、当該処理の対象としても良い。また、情報処理装置２００で実施した場合は、二次記憶装置２０５に格納された画像や通信装置２０６を介して取得された画像を当該処理の対象とすればよい。

本実施形態においては８ビットのＲＧＢ信号に対して、以下の［数１］式のような、ｓＲＧＢで定義される変換式で得られる８ビットの輝度信号Ｙを計算し、輝度に対する度数を表す輝度ヒストグラムを作成する。すなわち、画像について、以下の式で得られた輝度信号Ｙの輝度値ごとの画素数である度数を、第１の側である低輝度側から第２の側である高輝度側へ輝度値の順に並べた輝度ヒストグラムが生成される。

次に、ＣＰＵ１０３は、ステップＳ３０２において得られた輝度ヒストグラムから、ステップＳ３０３において山型分布の抽出を行う。山型分布の抽出について図４を用いて説明する。輝度ヒストグラムの形状は画像中に含まれる被写体により図４の（ｂ）に示されるように細かく変動している。そのため、より安定して山型分布を抽出するためには、このような細かな変動を取り除く処理を行う必要がある。そこで、山型分布抽出処理において、図４の（ａ）のステップＳ４０１でＣＰＵ１０３は、輝度ヒストグラム波形の平滑化処理を行い、図４の（ｂ）のような平滑化曲線を得る。

図４の（ｂ）に示したような平滑化曲線を得るために、本実施形態においては各着目輝度の度数と各着目輝度の上下１５レベルの度数の平均値を求める、いわゆる３１点単純移動平均により平滑化を行っている。ここで、輝度信号Ｙは８ビットの信号であるため、０から２５５までの値しか持たず、輝度値が１４以下、２４１以上では、輝度ヒストグラムの情報を持たない輝度値における度数を参照する必要がある。そこで、本実施形態においては、このような場合は輝度ヒストグラムの情報を持たない輝度値における度数を０として換算し、単純移動平均を算出する。但し、この他にも輝度ヒストグラムの情報を持つ輝度値における度数のみを用いることで輝度ヒストグラムの平滑化を行うことも可能であることは言うまでもない。また、本実施形態においては３１点単純移動平均を用いたが、範囲を３１点以外にしたり、単純移動平均を行った平滑化ヒストグラムに対して繰り返し単純移動平均を行ったりすることで輝度ヒストグラムを平滑化することも可能である。また、白とび、黒潰れの影響を取り除くため、輝度ヒストグラムのある輝度範囲外の輝度値における度数を０として換算するようにしてもよい。

ステップＳ４０１で得られた平滑化曲線から、山型分布を抽出するため、ステップＳ４０２においてＣＰＵ１０３は変曲点の取得を行う。本実施形態においては、着目輝度の度数と、着目輝度より１レベル高輝度側の輝度の度数との差を求めることで、図４の（ｃ）のような平滑化曲線の傾きを計算する。そしてこの傾きに関して、傾きが正から負に変わる部分、すなわちヒストグラムの度数分布において上に凸な部分を山部、負から正に変わる部分、すなわち度数分布において下へ凸な部分を谷部とする。そして、この谷部によって輝度ヒストグラムを分割することで、複数の部分ヒストグラムを生成する。すなわち、谷部と谷部に挟まれる部分ヒストグラムを抽出する。谷部と谷部に挟まれた部分ヒストグラムは、一般には山型の形状を有するので、以下、この部分ヒストグラムを山型分布ともいう。なお、輝度信号Ｙを８ビットで扱っている場合には０レベル、２５５レベルも谷部として抽出する。

このようにして図３におけるステップＳ３０３により、山型分布が抽出されると、ＣＰＵ１０３はその山型分布の情報をもとに、ステップＳ３０４において各山型分布に与える重みを算出する。この重みの算出は、度数を山の高さとする場合において、暗部側から山を走査して行った際に、山の高さが一定以上上った後に一定以上下ったものを山とみなすという考え方に基づいて行う。例えば、暗部から一つ目の山部が非常に低い場合には、そのシーンにおける暗部の特徴はより明部側の山型分布にあると考えることが出来る。また、一つ目の山部が非常に高くてもそこからほとんど下らずにまた山部があった場合には、そのシーンにおける暗部の特徴は一つ目の山部だけでなく、二つ目の山部にも多く含まれていると考えることが出来る。本実施形態は、このような技術思想を的確に反映した重み付けを行い、適切な階調補正を行えるようにするものである。

まず、図５を用いて、本実施形態による重みの算出処理の概要について順を追って説明し、その後、図６のフローチャートにより重みの算出処理を詳細にする。なお、図５においては、（ａ）に示されるように、３つの山型分布が得られ、暗部の山型分布から順に山型分布１，２，３として説明する。

まず最も低輝度側にある山型分布１に関しては一つ目の山であるため、最大の重み値（本例では重み＝１．０）が与えられる。次に山型分布２の重みを計算するにあたり、図５の（ｂ）のように山型分布１の山部に対応する輝度と山型分布２の山部に対応する輝度との間（谷部）の輝度範囲で最小の度数である輝度ａの度数を求める。そして、山型分布１の山部の度数と輝度ａの度数との差であるｘを求める。山型分布２の重みはこの山型分布２に至るまでの落差から算出されるため、山型分布２に対する落差の算出はここで終了し、輝度ヒストグラム全体の最大落差に対するｘの割合より、山型分布２の重みを算出する。

次に山型分布３の重みを計算するに当たり、図５の（ｃ）のように、まず山型分布１の山部に対応する輝度と山型分布３の山部に対応する輝度の間の輝度範囲における最小の度数である輝度ｂの度数を求める。そして、山型分布１の山部の度数と輝度ｂの度数との差であるｙを求める。山型分布３の重みはこの山型分布３に至るまでの落差から算出されるが、山型分布３に至るまでの間には山型分布１の他に山型分布２もあるため、さらに山型分布２に関する処理を行う。図５の（ｄ）に示すように、山型分布２の山部と山型分布３の山部の間における最小の度数である輝度ｃの度数を求める。そして、山型分布２の山部の度数と輝度ｃの度数との差であるｚを求める。ここで、山型分布３の山部の輝度と山型分布１の山部の輝度の間の輝度範囲における最小度数を持つ輝度と、山型分布３の山部の輝度と山型分布２の山部の輝度の間の輝度範囲における最小度数を持つ輝度は同じ輝度となる。そのため、図５の（ｃ）の輝度ｂと図５の（ｄ）の輝度ｃは同じ輝度を示している。

求められたｙとｚのうち、より大きいｙを選択し、これを山型分布３に至るまでの落差とする。こうして求められた落差ｙを用いて、輝度ヒストグラム全体の最大落差に対するｙの割合より、山型分布３の重みを算出する。なお図５の輝度ヒストグラムにおける山型分布は３つしかないため、ここで処理を終了することで、３つの山型分布それぞれに対する重みを算出することができる。

以上の重みの計算をプログラム上で実現するための例を図５、図６を用いて説明する。まず、重みを計算するために必要となる、輝度ヒストグラム全体の最大落差を求めるため、ステップＳ７０１においてＣＰＵ１０３は輝度ヒストグラムの最大度数を求め、これを輝度ヒストグラム全体の最大落差Ｈとおく。なお、生成した輝度ヒストグラムの最大度数と最小度数の差を求め、それを輝度ヒストグラム全体の最大落差Ｈとしてもよい。

次にステップＳ７０２において、ＣＰＵ１０３は重みを算出する加重山型分布領域（注目部分ヒストグラム）として抽出する山型分布の番号ｉを初期化する。ここで、ｉ＝１というのは最も暗部側にある山型分布を指しており、明部側に進むにつれてｉ＝２、ｉ＝３とインクリメントされていく。番号ｉによって示される山型分布を注目部分ヒストグラムとし、注目部分ヒストグラムにたいする重み値を決定していく。ｉをインクリメントしていくことにより、全ての山型分布いついて重み値が設定される。なお、最も低輝度側にある山型分布は重みを１．０として扱うため、ステップＳ７０３において重みを１．０とし、ステップＳ７１３に進む。

ステップＳ７１３において、ＣＰＵ１０３は、山型分布ｉが最後の山型分布かどうかを調べており、輝度ヒストグラム上に山型分布が一つしか見つからなかった場合はそのまま処理を終了する。他方、図５の例のように山型分布が二つ以上存在する場合にはステップＳ７０４に進み、加重山型分布領域の番号ｉをインクリメントし、ステップＳ７０５において落差の計算を行う山型分布の番号ｊを初期化する。ここで、ｊ＝１というのは最も暗部側にある山型分布を指しており、明部側に進むにつれてｊ＝２，ｊ＝３とインクリメントされていく。また、山型分布ｉの重みを計算する際にはその山型分布ｉに至るまでの落差から計算されるため、山型分布ｊは山型分布ｉよりも暗部側にある山を対象としており、常にｊ＜ｉとなる。

次に、ステップＳ７０６において、ＣＰＵ１０３は、山型分布ｉの山部の輝度と山型分布ｊの山部の輝度の間における最小度数minを算出する。これにより、(ｉ,ｊ)＝(２,１)の時は図５の（ｂ）の輝度ａの度数が算出されこれを最小度数minとする。また、(ｉ,ｊ)＝(３,１)の時は図５の（ｃ）の輝度ｂの度数、(ｉ,ｊ)＝(３,２)の時は図５の（ｄ）の輝度ｃの度数がそれぞれ算出され、これを最小度数minとする。

このようにして算出したminに関し、ステップＳ７０７において、ＣＰＵ１０３は山型分布ｊの山部の度数からminを引いたものを山型分布ｊから山型分布ｉまでの落差(ｉ,ｊ)とする。先ほどと同様に、(ｉ,ｊ)＝(２,１)の時は図５の（ｂ）のｘが算出される。また、(ｉ,ｊ)＝(３,１)の時は図５の（ｃ）のｙが、(ｉ,ｊ)＝(３,２)の時は図５の（ｄ）のｚがそれぞれ山型分布ｊから山型分布ｉまでの落差(ｉ,ｊ)として算出される。

以上のようにして落差(ｉ,ｊ)が求められると、ステップＳ７０８、ステップＳ７０９において最大落差の更新を行う。この最大落差は山型分布ｉごとに求められる。例えば、ｉ＝２の時は図５の（ｂ）のｘのみが算出されるため最大落差はｘとなる。また、ｉ＝３の時は図５の（ｃ）のｙと図５の（ｄ）のｚが算出され、より大きいｙが最大落差として算出される。このようにＣＰＵ１０３は、重みを算出する山型分布ｉよりも低輝度側にある山型分布の全てにおいて落差(ｉ,ｊ)を算出し、それらのうちから最大落差を算出する。そのため、ステップＳ７１０においてｊをインクリメントした結果ｊ＜ｉである間、ステップＳ７０６〜Ｓ７０９の処理が繰り返される（ステップＳ７１１）。

次に、ステップＳ７１２において、ＣＰＵ１０３は、こうして求められた最大落差をもとに山型分布ｉの重み（ｉ）を求める。本実施形態では、ヒストグラム全体の最大落差Ｈに対する最大落差の割合より山型分布ｉの重み（ｉ）を算出する。重みの計算においては例えば輝度ヒストグラム全体の最大落差に対する山型分布ｉの落差の割合が第１の閾値以下の場合は重みを１．０に、山型分布ｉの落差の割合が第２の閾値以上の場合は重みを０．０とし、その間で重みが減少するようにすることが可能である。例えば、図８の（ａ）は重みの計算の一例を表している。この例においては輝度ヒストグラム全体の最大落差に対する山型分布ｉの落差の割合が閾値０．２以下の場合は重みを１．０に、山型分布ｉの落差の割合が閾値０．７以上の場合は重みを０．０とし、その間で線形に重みが減少することを示している。また、本実施形態においては図８の（ａ）のような重み値を用いたが、例示した閾値を変更したり、重みの減少度合いを非線形に変更することも可能である。更に、これらの変更をユーザが設定できるようにしても良い。

以上のように、重みの算出では、複数の部分ヒストグラムのうちの注目部分ヒストグラムよりも低輝度の側にある一つの部分ヒストグラムにおける最大度数に対応する輝度から当該注目部分ヒストグラムの最大度数に対応する輝度までの輝度範囲を特定する。そして、当該一つの部分ヒストグラムの最大度数と、上記輝度範囲に存在する最小度数との差を候補落差として算出する。このような候補落差の算出を当該注目部分ヒストグラムよりも低輝度の側にある全ての部分ヒストグラムについて行い、得られた候補落差のうち最大のものを当該注目部分ヒストグラムの落差に決定する。次に、ＣＰＵ１０３は、図３のステップＳ３０４において算出された重みを用いて、ステップＳ３０５において輝度ヒストグラム形状の特徴量の算出を行う。本実施形態においては、特徴量の算出には低輝度側から各山型分布に含まれる輝度の度数を重みづけ加算し、その後に平均を求めることで画像中に含まれる暗部の平均輝度の計算を行い、その平均輝度を特徴量として定める。そのため本実施形態においては、特徴量は以下の［数２］式により計算される。

ここで、Ｍは山型分布の個数、ｍ_iLは山型分布ｉの低輝度側の谷の輝度、ｍ_iRは山型分布ｉの高輝度側の谷の輝度、f(k)は輝度ｋにおける度数、r(i)は山型分布ｉの重みを表す。

このようにして加重平均により得られた輝度を暗部の特徴量として用いて、階調変換のためのテーブルを更新する。この点については後述することとし、以下、様々な山型分布における本実施例の効果、すなわちヒストグラムの形状によらず適切な特徴量を算出することができる例について図７を参照して説明する。

（１）高さの低い山型分布が検出された場合
図７の（ａ）のように、高さの低い山型分布ｘのような山型分布が存在する場合を考える。例えばある閾値よりも高さの低い山型分布を無視するというようにした場合、その閾値近辺の山型分布ｘを有する画像では、山型分布ｘが無視されるか否かで結果が大きく変わってしまう。このような輝度ヒストグラムに対し、本実施形態を適用した場合、図７の（ａ）における山型分布ｙの重みの計算に用いる落差は図中のｈになる。ここで、山型分布ｘが十分に低い場合であれば落差ｈも小さくなるため、山型分布ｘが山型分布として判断されてもされなくても山型分布ｙの重みは１．０に近くなる。また、山型分布ｘに含まれる輝度値を持つ被写体が画面内に占める面積が徐々に増えた場合、山型分布ｘの高さが徐々に上がっていくため、落差ｈも徐々に増加していく。これに応じて、山型分布ｙの重みが少しずつ減少していくため、輝度ヒストグラムの変化に応じて徐々に変化していく特徴量を算出することが可能となる。

（２）二つ以上の山型分布が結合している場合
次に図７の（ｂ）のように、二つの山型分布が結合して一つの山型分布を形成しているような場合を考える。この様な場合、例えば各山型分布の平均値や分散値、境界付近の度数等から計算された特徴量がある閾値以上なら二つの山型分布に分離するというようにした場合、その閾値近辺で処理結果が大きく変わってしまうことになる。そこで、このような輝度ヒストグラムに対し、本実施形態を適用した場合、図７の（ｂ）における山型分布ｙの重みの計算に用いる落差は図中ｈになる。ここで、二つの山型分布が十分に近い場合であれば落差ｈも小さくなるため、山型分布ｙの重みは１．０に近くなる。また、山型分布xが山型分布ｙから徐々に離れていったり、山型分布ｘの高さが徐々に上がっていったりした場合は、落差hも徐々に増加していく。本実施形態によれば、これに応じて、山型分布ｙの重みが少しずつ減少していくため、輝度ヒストグラムの変化に応じて徐々に変化していく特徴量を算出することが可能となる。

（３）山型分布の山部に小さな谷部が存在する場合
図７の（ｃ）のように、ある山型分布の中に谷部が存在した場合、例えばある閾値よりも下がった部分を谷部として判別するようにした場合は、その閾値近辺で結果が大きく変わってしまう。そこで、このような輝度ヒストグラムに対し、本実施形態を適用した場合、図７の（ｃ）における山型分布ｙの重みの計算に用いる落差は図中ｈになる。ここで、山型分布の山部に存在する谷部が十分に小さい場合であれば、落差ｈも小さくなるため、山型分布ｙの重みは１．０に近くなる。また、これら山型分布ｘ，ｙが二つの山型分布として徐々に離れていったり、二つの山型分布の分布範囲が徐々に狭くなったりしていった場合は、二つの山型分布に挟まれる谷部が徐々に深くなっていくため、落差ｈも徐々に増加していく。そして、本実施形態によれば、これに応じて、山型分布ｙの重みが少しずつ減少していくため、輝度ヒストグラムの変化に応じて徐々に変化していく特徴量を算出することが可能となる。

（４）山型分布が多く存在する場合
図７の（ｄ）のように、輝度ヒストグラムが複雑な形状をしており、山型分布が多く検出される場合は隣り合う山の落差が低くなることがある。そのため、例えば隣り合う山型分布同士の落差や境界付近の度数等から計算された特徴量が、ある閾値以上なら二つに分離するというようにした場合、図７の（ｄ）の例においてはいつまでも山が続くと判別される可能性がある。そこで、このような輝度ヒストグラムに対し、本実施形態を適用した場合、図７の（ｄ）における山型分布ｘの重みの計算に用いる落差を求めると図中ｈ１になる。図７の（ｄ）の例のように、この落差ｈ１が十分に小さい場合であれば山型分布ｘの重みは１．０に近くなる。それに対して、山型分布ｙの重みの計算に用いる落差を求めると、図中ｈ２になり、図７の（ｄ）の例においては、落差が大きいため山型分布ｙの重みは０．０に近くなる。

以上のように、本実施の形態における特徴量算出手段により、様々な形状を持つヒストグラムに対し、より適した特徴量を算出することが可能となる。

次に、ＣＰＵ１０３は、図３のステップＳ３０５において得られた特徴量をもとに、ステップＳ３０６において補正テーブルを生成する。本実施形態においては図８の（ｂ）に示すような、スプライン補間された曲線を階調変換曲線として用いて画像の補正を行う。本実施形態においてはステップＳ３０５から得られた特徴量に応じた目標値をあらかじめ定めており、その特徴量と目標値からなる点８０１、および点(０,０)、点(２５５,２５５)を制御点としてスプライン補間することで補正曲線の算出を行う。この際、高輝度側に制御点を加えることで、高輝度側の階調をそのまま残すようにすることも可能である。また、コントラストの補正などにより、ヒストグラム全体に対して他の補正を行う場合はその補正に応じて特徴量の位置を調整してから目標値を算出し、スプライン補間の制御点とすることも可能である。例えばコントラスト補正で明部側に広げるような補正がされた場合、コントラスト補正前のヒストグラムから求めた特徴量も明度側に引っ張られる。また、例えば、目標値ｙは特徴量ｘからｙ＝ａｘ＋ｂ（ａとｂは定数）として求めるように構成することができる。その場合、目標値にはコントラスト調整値の影響は直接には及ばず、コントラスト補正により特徴量ｘがｘ'に変わることで目標値ｙがｙ'＝ａｘ'＋ｂに変わることになる。

ステップＳ３０７において、ＣＰＵ１０３は、ステップＳ３０６で得られた補正テーブルを用いて画像の階調補正を行う。こうして、暗部が補正された画像を得ることができる。以上のように、ヒストグラムの山型分布から特徴量を算出することで画像中の暗部の特徴を効果的に抽出することが可能となり、その画像に対してより適した補正量を定めることが可能となる。また、本実施形態においては階調補正の特性（階調補正曲線）を決定するための特徴量の算出に当たり、複雑な形状を持つようなヒストグラムに対しても安定して特徴量の算出を行うことが可能となる。

＜第２の実施形態＞
前述の第１の実施形態では暗部の特徴量として低輝度側から山型分布を重みづけ加算する例を示したが、高輝度側から山型分布を重みづけ加算することで、明部の特徴量を求めることも可能である。第２の実施形態では明部の特徴量を求める処理を説明する。第２の実施形態の実現においては第１の実施形態と同じように、図１のような撮像装置や図２のような情報処理装置を用いることが可能である。この場合、第１の側を高輝度側とし、第２の側を低輝度側として輝度値の順に並べた輝度ヒストグラムが生成し、第１の側から山型分布を順に選択して重みを決定すればよく、その処理の詳細は第１の実施形態の説明から当業者には明らかである。こうして得られた明部の特徴量を単独で用いて階調補正の特性を変更しても良いが、第１実施形態で求めた暗部の特徴量とともに用いて階調補正の特性を変更することも可能である。本実施形態ではこのように二つの特徴量を用いて階調補正の特性を変更する場合を説明する。すなわち、本実施形態では、ステップＳ３０２で生成された輝度ヒストグラムから、第１の実施形態で示したように暗部の特徴量を算出するとともに、明部の特徴量を算出するものとする。従って、第２の実施形態では、第１の実施形態で説明した特徴量の算出処理に加えて、輝度ヒストグラムの輝度の大きい側から順に、ｉ＝１，２，３、ｊ＝１，２，３を付与してステップＳ３０４、Ｓ３０５の処理を実行する。

以下に、明部の特徴量を求める場合の各山型分布の重みの算出処理の概要を図９を用いて順を追って説明する。図９の（ａ）においては、明部の山型分布から順に山型分布１，２，３としている。まず最も高輝度側にある山型分布１に関しては一つ目の山であるため、重み＝１．０とする。次に山型分布２の重みを計算するにあたり、図９の（ｂ）のように山型分布１の山部と山型分布２の山部の間における最小の度数である輝度ａの度数を求める。そして、山型分布１の山部の度数と輝度ａの度数との差であるｘを求める。

山型分布２の重みはこの山型分布２に至るまでの落差から算出されるため、山型分布２に対する落差の算出はここで終了し、輝度ヒストグラム全体の最大落差に対するｘの割合より、山型分布２の重みを算出する。

次に山型分布３の重みを計算するに当たり、図９の（ｃ）のように、まず山型分布１の山部と山型分布３の山部の間における最小の度数である輝度ｂの度数を求める。そして、山型分布１の山部の度数と輝度ｂの度数との差であるｙを求める。山型分布３の重みはこの山型分布３に至るまでの落差から算出されるが、山型分布３に至るまでの間には山型分布１の他に山型分布２もあるため、さらに山型分布２に関する処理を行う。図９の（ｄ）のように、山型分布２の山部と山型分布３の山部の間における最小の度数である輝度ｃの度数を求める。そして、山型分布２の山部の度数と輝度ｃの度数との差であるｚを求める。こうして求められたｙとｚのうち、より大きいｙを選択し、これを山型分布３に至るまでの落差とする。以上のようにして求められた落差ｙを用いて、輝度ヒストグラム全体の最大落差に対するｙの割合より、山型分布３の重みを算出する。

図９の輝度ヒストグラムにおける山型分布は３つしかないため、ここで処理を終了することで、これら３つの山型分布それぞれに対する重みを算出することができる。

本実施形態においては、特徴量の算出には高輝度側から各山型分布に含まれる輝度の度数を重みづけ加算し、その後に平均を求めることで画像中に含まれる明部の平均輝度の計算を行い、その平均輝度を特徴量として定める。そのため本実施形態において、明部の特徴量は以下の式により計算される。

ここで、Ｍは山型分布の個数、ｍ_iLは山型分布ｉの低輝度側の谷の輝度、ｍ_iRは山型分布ｉの高輝度側の谷の輝度、f(k)は輝度ｋにおける度数、r(i)は山型分布ｉの重みを表す。このようにして、画像中の明部の特徴量を抽出することが可能となる。

第１の実施形態で説明したように、暗部の制御点のみから作成されたスプライン曲線を用いて補正を行うと、明部の階調が失われてしまうことがある。これに対して、第２の実施形態においては、ヒストグラムの山型分布から明部の特徴量を求め、その明部の特徴量を用いてスプライン補間の制御点を追加することにより、明部の階調が失われるのを緩和することが可能となる。

＜第３の実施形態＞
ヒストグラムを解析するにあたり、特許文献１においてはすべての輝度の度数を等価に扱っている。しかしながら、例えば一様な青空を多く含むようなシーンでは高輝度部の限られた領域にヒストグラムが集中してしまうため、全ての輝度の度数を等価に扱ってしまうとヒストグラムの集中した範囲が解析に与える影響が不必要に大きくなってしまう。そのため、そのようなシーンにおいて好ましい特徴量の算出を行うことが出来なくなってしまう。また、特許文献２においては、人物の顔などの特定の被写体が持つ輝度値の度数を強調しているため、当該被写体に対して好ましい補正を行いたい際に有効ではある。しかしながら、逆光風景のような補正したい領域の輝度が広く分布しているシーンにおいてはうまく作用することが出来ない。

第３の実施形態においてはヒストグラムの形状解析の手法として、第1実施形態と同様の手法を用いる。すなわち、ヒストグラムから山型分布を抽出し、当該山型分布の山と谷の落差を判定基準とした重みを用いてシーンの特徴量を算出する。但し、第３の実施形態では、当該重みの算出においてはヒストグラムに対して輝度に応じた重み付けをした第２の輝度ヒストグラムを用いて算出し、それをもとにヒストグラムの形状解析を行い、画像の階調補正を行う。

第３実施形態による画像処理装置としての撮像装置、或いは情報処理装置の構成は第１の実施形態（図１、図２）と同様である。
図１０は第３の実施形態に係る、画像の輝度諧調を補正する処理の流れを示した図である。全体の処理の流れは各実施形態共通のものであるが、第３の実施形態ではステップＳ１００１において重みづけされた山型分布の山と谷の落差を判定基準とすることで、ステップＳ３０４における重みの算出を行っている。以下に、図１０を用いて、ヒストグラムから山型分布を抽出し、当該山型分布の山と谷の落差を判定基準とした重みを用いてシーンの特徴量を算出する、第３の実施形態の処理について説明する。なお、以下では撮像装置１００における撮影画像に対する輝度階調補正処理を説明するが、情報処理装置２００でも一般の画像データ（撮影画像に限らない）に対して同様に実施できることは明らかである。

まず、第１の実施形態と同様に、ステップＳ３０１〜Ｓ３０３において、画像の撮影が行われ、その輝度ヒストグラムが生成され（第１の生成処理)、輝度ヒストグラムから山型分布が抽出される。山型分布の抽出においては、上述のように、例えば一度ヒストグラムを移動平均等の平滑化手法により平滑化した上で平滑化曲線の変曲点で、上に凸の部分をヒストグラムの山、下に凸の部分をヒストグラムの谷とする。そして、ある谷から次の谷までを山型分布として抽出するといった手法が考えられる。例えば図１１の（ａ）のような平滑化曲線では３つの山型分布が確認できる。

図１１の（ａ）に示すような山型分布の場合、あるシーンにおける主要な被写体の塊により構成される山型分布１１０３（図１１の（ｄ））の他に、
・画像中に占める面積が小さく、当該シーンへの影響の小さい被写体の塊により構成される山型分布１１０１（図１１の（ｂ））、
・被写体の細かい形状からなる山型分布１１０２（図１１の（ｃ））、
等が存在しうる。

当該シーンの特徴量を算出する場合においては、主要な被写体の塊により構成される山型分布から特徴量が算出されることが望ましい。しかしながら、前述のような複数の山型分布を区別しないと、
・図１１の（ｂ）のようなシーンへの影響の小さい山型分布１１０１から特徴量を算出したり、
・図１１の（ｄ）を構成する主要な被写体の塊のうち図１１の（ｃ）の部分のみからなる山型分布１１０２から特徴量を算出したりする、
といった可能性が考えられる。このような課題への対処が、第１実施形態で説明したステップＳ３０４の処理に当たる。図１０においては、このステップＳ３０４の処理の前に、上述した第２の輝度ヒストグラムを生成するための第２の生成処理を行うステップＳ１００１があるが、ここでは説明のため、先にステップＳ３０４について説明する。

ステップＳ３０４においては、ＣＰＵ１０３は複数の山型分布のシーンへの影響度を判定するための尺度として、ヒストグラム全域における最大落差に対する山型分布の山と谷の落差を判定基準として重みを算出する。つまり、落差が大きい山型分布には大きい重みを与え、落差が小さい山型分布には小さい重みを設定する。これは、ヒストグラムの形状において、山が十分上り、かつ十分下った時に主要な被写体の塊により構成される山型分布が検出されたという考え方に基づくものである。ヒストグラム全域における最大の落差に対して、ある山型分布の山と谷がどれほどの落差を有しているかが判別される。

例えば、図１１の（ｂ）のような、画像中に占める面積が小さく、シーンへの影響の小さい被写体の塊により構成される山型分布１１０１の落差は、図１１の（ｂ）中に示したものとなる。この落差は、図１１の（ａ）中に示したヒストグラム全域における最大落差に対して小さな値となっている。また、図１１の（ｃ）のような、被写体の細かい形状により図１１の（ｄ）の山型分布１１０３から分離して抽出されてしまった山型分布１１０２の場合では、山が十分に上ってはいるが山が下った量が少ない。そのため、落差は図１１の（ｃ）中に示したものとなり、図１１の（ａ）に示したヒストグラム全域における最大落差に対して小さな値となっている。

これらシーンへの影響の小さい山型分布に対し、図１１の（ｄ）のような、シーンにおける主要な被写体の塊により構成される山型分布１１０３は山が十分上り、かつ十分下っている。そのため、落差は図１１の（ｄ）中に示したものとなり、図１１の（ａ）に示したヒストグラム全域における最大落差とほぼ同じ値となる。

このようにすることでヒストグラムから複数の山型分布が検出された際にそれら山型分布のうち、シーンにおける主要な被写体の塊により構成される山型分布に、より大きい重みを与えることが可能となる。なお、このようなヒストグラム全域における最大落差に対する山型分布の山と谷の落差から山型分布の重みを算出する処理をプログラム上で実現するための例は、図５、図６を用いて上述したとおりである。

このようにしてヒストグラム全域における最大落差に対する山型分布の山と谷の落差から山型分布の重みを算出することが可能である。しかしながら、例えば暗部が広く分布しており、かつ一様な青空を多く含むようなシーンにおけるヒストグラムは図１２の（ａ）のように、高輝度部に青空による高い山が存在している。このため、ヒストグラム中の最大落差は当該青空部分から算出され、図１２の（ａ）中に示したものとなる。これにより、図１２の（ａ）のように、要補正部と考えられる暗部に広く分布しているような山型分布１２０１の重み値と、青空部分に対応する山型分布１２０２との重み値とはともに高い値となる。その結果、山型分布１２０１は相対的に低い山型分布と判定されてしまい、特徴量算出への寄与の度合いが小さくなってしまう。

そこで、第３実施形態では、ステップＳ３０４による山型分布への重み値の設定を実行する前に、第２の生成処理としてのステップＳ１００１を実行する。すなわち、ＣＰＵ１０３はヒストグラムに対し、図１２の（ｂ）のような特定の輝度値以上の領域に対して輝度値が高いほど徐々に減っていくような重みを与えることにより第２の輝度ヒストグラムを生成する。そして、ステップＳ３０４では、この第２の輝度ヒストグラムに対して重み値の設定が行われる。これにより、図１２の（ａ）に示したヒストグラムから、図１２の（ｃ）のような第２の輝度ヒストグラムが得られる。そして、この第２の輝度ヒストグラムから最大落差の算出が行われることより、最大落差は図１２の（ｃ）中に示したようになり、相対的に暗部の山型分布の高さが上がる。そのため、ステップＳ３０４において、暗部に広く分布している山型分布１２０４に対する重み値に対して山型分布１２０４に対する重み値を低くすることができる。すなわち、ＣＰＵ１０３は暗部に広く分布している山型分布に対しても、より大きい重みを算出することが可能となる。

なお、図１２の（ａ）では暗部の山型分布が広く分布しており、かつ高輝度部の限られた領域にヒストグラムが集中しているようなシーンにおけるヒストグラムを示した。次に、これとは逆に、図１２の（ｄ）のようなヒストグラムを持つシーンであった場合の動作について説明する。図１２の（ｄ）では最も暗部側にある山型分布１２０５の高さが明部側にあるその他の山型分布１２０６の高さよりも高いため、最大落差は図１２の（ｄ）中に示したようになっている。これに対して先ほどと同様に図１２の（ｂ）の重みを与えた場合、得られる第２の輝度ヒストグラムは図１２の（ｅ）のようになる。図１２の（ｅ）から最大落差を求めた場合には図１２の（ｅ）中に示したようになっており、図１２の（ｄ）中に示したものと同じものを示している。つまり、本手法によりヒストグラムの形状解析を行うことで、
・図１２の（ａ）のような高輝度部の限られた領域に集中している山型分布の影響が不必要に大きくなってしまうシーンに対して適切に重み値を設定する効果を出し、
・図１２の（ｄ）のようなシーンに対しては、不必要な影響を与えずに重み値を設定できる。

このようにして、ステップＳ１００１、Ｓ３０４において算出された山型分布の重みを用いて、ＣＰＵ１０３は、ステップＳ３０５において輝度ヒストグラム形状の特徴量の算出を行う。本実施形態においては、特徴量の算出には低輝度側から各山型分布に含まれる輝度の度数を重みづけ加算し、その後に平均を求めることで画像中に含まれる暗部の平均輝度の計算を行い、その平均輝度を特徴量として定める。そのため本実施形態においては、特徴量は以下の［数４］式により計算される。

ここで、Ｍは山型分布の個数、ｍ_iLは山型分布ｉの低輝度側の谷の輝度、ｍ_iRは山型分布ｉの高輝度側の谷の輝度、f(k)は輝度ｋにおける度数、r(i)は山型分布ｉの重みを表す。

なお、ここで用いる輝度ｋにおける度数f(k)はステップＳ１００１で重みづけを行う前のヒストグラムを用いても良いし、重みづけを行った後の第２の輝度ヒストグラムを用いることも可能である。［数４］式において、ステップＳ１００１で重みづけを行う前のヒストグラムを用いた場合には、第２の輝度ヒストグラムの影響は、
・ステップＳ３０４における山型分布の重み算出に用いる最大落差、及び、
・ステップＳ１００１でヒストグラムにかける重みを１．０以外とした輝度に係る山型分布の重み算出に用いる落差、
のみにかかる。そのため、前述したように図１２の（ａ）のようなヒストグラムを持つシーンに効果を出しながら、図１２の（ｄ）のようなヒストグラムを持つシーンには、第２の輝度ヒストグラムを用いた場合よりも更に影響を与えないようにすることが可能である。

以上のように、本実施の形態における特徴量算出手段により、要補正部の輝度が広く分布しており、限られた領域にヒストグラムが集中しているようなシーンにおいてもより好ましい補正を行うことが可能となる。

図１０に戻り、ステップＳ３０６においてＣＰＵ１０３は補正テーブルを生成する。補正テーブルの生成は第１の実施形態で説明したとおりである。そして、ステップＳ３０７においてＣＰＵ１０３は、ステップＳ３０６で得られた補正テーブルを用いて階調補正を行う。階調補正の処理も第１の実施形態で説明したとおりである。

以上のように第３の実施形態によれば、ヒストグラムの山型分布から特徴量を算出することで画像中の暗部の特徴を効果的に抽出することが可能となり、その画像に対してより適した補正量を定めることが可能となる。また、本実施形態においては階調補正の特性（階調補正曲線）を決定するための特徴量の算出に当たり、要補正部の輝度が広く分布しており、かつ限られた領域にヒストグラムが集中しているようなシーンにおいてもより好ましい特徴量の算出を行うことが可能となる。

＜第４の実施形態＞
第３の実施形態では、解析対象のヒストグラムとして、各度数に輝度に対応した重み値を作用させて第２の輝度ヒストグラムを生成することにより、種々のヒストグラムの形状解析において好適に特徴量の算出することが可能となることを示した。したがって、前述の第３の実施形態では、ヒストグラム形状の解析において山型分布の山と谷の落差を判定基準とした重みを用いてシーンの特徴量を算出する例を示したが、これに限られるものではない。第４の実施形態では、そのようなヒストグラムの形状解析の手法の他の例として、ある山型分布に含まれる度数の合計が、全度数に対してどれだけの割合となっているかを判定基準とした重みを用いてシーンの特徴量を求める場合を説明する。なお、第４の実施形態の実現においては第３の実施形態と同じように、図１のような撮像装置や図２のような情報処理装置を用いることが可能である。

第４の実施形態の処理の流れは前述した第３の実施形態と共通である。但し、第４の実施形態では、ステップＳ１００１において、山型分布に含まれる度数の合計が、全度数に対してどれだけの割合となっているかという度数割合を判定基準とすることで山型分布の重みを算出している。

第４の実施形態では、当該度数割合の合計がある閾値より大きくなるまで山型分布を加算していき、その平均を求めることで暗部の特徴量の算出を行う。当該特徴量の算出においては第３の実施形態と同様に［数４］式により実現されるものであり、［数４］式の算出に必要となる山型分布の重みの算出（Ｓ３０４の処理）をプログラム上で実現するための例を図１３を用いて説明する。

まずステップＳ１３０１において、ＣＰＵ１０３は、各山型分布に対して以下の［数５］式により、全度数に対する山型分布ｉに含まれる度数の合計の割合Ｓ（ｉ）を算出する。

ここで、Ｍは山型分布の個数、ｍ_iLは山型分布ｉの低輝度側の谷の輝度、ｍ_iRは山型分布ｉの高輝度側の谷の輝度、f(k)は輝度ｋにおける度数を表す。

次に、ステップＳ１３０２、Ｓ１３０３において、ＣＰＵ１０３は、これまでの度数割合の合計Ｓｕｍ、重みを算出する山型分布の番号ｉの初期化を行う。ここで、ｉ＝１というのは最も暗部側にある山型分布を指しており、明部側に進むにつれてｉ＝２、ｉ＝３とインクリメントされていく。

次にステップＳ１３０４において、ＣＰＵ１０３は、これまでの度数割合の合計に、山型分布ｉの度数割合を足し合わせた累積値（Ｓｕｍ）が閾値以上となるかどうかの判定を行う。閾値以上とならなかった場合はステップＳ１３０５に進み、その山型分布ｉの重み（ｉ）を１としてステップＳ１３０６に進む。ステップＳ１３０６において、ＣＰＵ１０３は、これまでの度数割合の合計に山型分布ｉの度数割合を足し合わせ、ステップ１３０７で山型分布の番号ｉをインクリメントした後、ステップＳ１３０４に処理を戻す。ステップＳ１３０４において、ＣＰＵ１０３は、これまでの度数割合の合計に山型分布ｉの度数割合を足し合わせたものが閾値を超えた場合は、処理をステップＳ１３０８に進める。ステップＳ１３０８において、ＣＰＵ１０３は、閾値からこれまでの度数割合の合計を引いた値を山型分布ｉの度数割合で割って得られた値を重みとし、ステップＳ１３０９に進む。以降の山の重みはステップＳ１３０９からステップＳ１３１１を繰り返すことで全て０とする。

このようにして山型分布に含まれる度数の合計が、全度数に対してどれだけの割合となっているかを判定基準とした重みの算出を行うことができる。そして、この場合にも第３の実施形態で示した、輝度に応じたヒストグラムへの重みづけを行った第２の輝度ヒストグラムを用いることが可能である。第４の実施形態で当該第２の輝度ヒストグラムを用いて重みを算出することで、高輝度側に係る山型分布の重みを減らし、暗部側にある山型分布の重みを相対的にあげることが可能となる。これにより、限られた領域にヒストグラムが集中しているようなシーンにおいて、ヒストグラムの集中した範囲が解析に与える影響が不必要に大きくなることを防ぐことが可能となる。以上のようにして求めた重みを、第３の実施形態と同様にステップＳ３０６以降の処理に用いることが可能である。

以上のように、第３、第４の実施形態によれば、要補正部の輝度が広く分布しており、限られた領域にヒストグラムが集中しているようなシーンにおいてより好ましい補正を行うことが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
例えば、本発明は画像の明るさを示すパラメータ値のヒストグラムを用いてその階調補正の補正特性を決定するものであるので、パラメータ値としては、画像の輝度値に限られず、画像の濃度値であっても良い。濃度補正による実施形態は、上記実施形態において輝度を濃度に変更したものとなる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である

Claims (16)

1. 画像における輝度の階調補正を行う画像処理装置であって、
   前記画像について、輝度値ごとの画素数を示す度数を第１の側から第２の側へ輝度値の順に並べた輝度ヒストグラムを生成する生成手段と、
   前記輝度ヒストグラムの度数分布において下に凸な部分で前記輝度ヒストグラムを分割し、複数の部分ヒストグラムを生成する分割手段と、
   前記複数の部分ヒストグラムの一つを注目部分ヒストグラムとし、当該注目部分ヒストグラムよりも前記第１の側にある一つの部分ヒストグラム内の最大度数と、当該最大度数に対応する輝度から当該注目部分ヒストグラム内の最大度数に対応する輝度までの間における最小度数との差を候補落差として算出し、当該注目部分ヒストグラムよりも前記第１の側にある全ての部分ヒストグラムについて算出された前記候補落差のうち最大のものを当該注目部分ヒストグラムの落差に決定する算出手段と、
   前記注目部分ヒストグラムに対し、前記落差が大きいほど小さい重みを設定する設定手段と、
   前記複数の部分ヒストグラムのそれぞれに前記設定手段により設定された重みを適用して得られた輝度ヒストグラムを用いて前記階調補正を行う補正手段とを備えることを特徴とする画像処理装置。
2. 前記補正手段は、前記複数の部分ヒストグラムのそれぞれに前記設定手段により設定された重みを適用して前記輝度ヒストグラムの加重平均を算出することにより、前記階調補正における補正の特性を決定するための特徴量としての輝度値を取得し、該輝度値に基づいて前記階調補正を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記取得された特徴量としての輝度値が予め定められた輝度値に変換されるように、前記階調補正の特性を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記補正手段は、輝度値の低い方を前記第１の側とし、輝度値の高い方を前記第２の側として得られた特徴量と、輝度値の高い方を前記第１の側とし、輝度値の低い方を前記第２の側として得られた特徴量とを用いて前記特性を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記複数の部分ヒストグラムのうち、最も前記第１の側にある部分ヒストグラムの重みが最大の重み値に設定されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成手段では、輝度値ごとの画素数を示す度数を第１の側から第２の側へ輝度値の順に並べたヒストグラムを平滑化して得られた平滑化曲線を前記輝度ヒストグラムとすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記輝度ヒストグラムの各度数に対して、輝度値に応じた重みを適用して第２の輝度ヒストグラムを生成する手段を更に備え、
   前記算出手段及び前記設定手段は前記第２の輝度ヒストグラムを用いて前記重み値を設定することを特徴とする請求項１乃至６のいずれか１項の記載の画像処理装置。
8. 前記補正手段は、前記輝度ヒストグラムあるいは前記第２の輝度ヒストグラムにおける複数の部分ヒストグラムのそれぞれに前記設定手段により設定された重みを適用して前記輝度ヒストグラムあるいは前記第２の輝度ヒストグラムの加重平均を算出することにより、前記階調補正における補正の特性を決定することを特徴とする請求項７に記載の画像処理装置。
9. 画像における輝度の階調補正を行う画像処理装置であって、
   前記画像について、輝度値ごとの画素数を示す度数からなる輝度ヒストグラムを生成する生成手段と、
   前記輝度ヒストグラムに、輝度値に応じた重みを作用させて第２の輝度ヒストグラムを生成する第２の生成手段と、
   前記第２の輝度ヒストグラムを用いてヒストグラム形状を解析し、前記第２の輝度ヒストグラムにおける各山型分布に対する重み値を設定する設定手段と、
   前記設定手段により設定された重み値を前記輝度ヒストグラムあるいは前記第２の輝度ヒストグラムに適用して、前記階調補正のための特徴量を取得する取得手段とを備えることを特徴とする画像処理装置。
10. 前記輝度値に応じた重みは、予め定められた輝度値よりも高輝度側の輝度値に対して、輝度値の増加とともに減少する特性を有することを特徴とする請求項９に記載の画像処理装置。
11. 前記設定手段は、前記各山型分布により形成される山と谷の落差を判定基準として、前記各山型分布の重み値を設定することを特徴とする請求項９に記載の画像処理装置。
12. 前記設定手段は、山型分布に含まれる度数の合計が、全度数に対してどれだけの割合となっているかを判定基準として、前記各山型分布の重み値を設定することを特徴とする請求項９に記載の画像処理装置。
13. 画像における輝度の階調補正を行う画像処理装置の制御方法であって、
    生成手段が、前記画像について、輝度値ごとの画素数を示す度数を第１の側から第２の側へ輝度値の順に並べた輝度ヒストグラムを生成する生成工程と、
    分割手段が、前記輝度ヒストグラムの度数分布において下に凸な部分で前記輝度ヒストグラムを分割し、複数の部分ヒストグラムを生成する分割工程と、
    算出手段が、前記複数の部分ヒストグラムの一つを注目部分ヒストグラムとし、当該注目部分ヒストグラムよりも前記第１の側にある一つの部分ヒストグラム内の最大度数と、当該最大度数に対応する輝度から当該注目部分ヒストグラム内の最大度数に対応する輝度までの間における最小度数との差を候補落差として算出し、当該注目部分ヒストグラムよりも前記第１の側にある全ての部分ヒストグラムについて算出された前記候補落差のうち最大のものを当該注目部分ヒストグラムの落差に決定する算出工程と、
    設定手段が、前記注目部分ヒストグラムに対し、前記落差が大きいほど小さい重みを設定する設定工程と、
    補正手段が、前記複数の部分ヒストグラムのそれぞれに前記設定工程により設定された重みを適用して得られた輝度ヒストグラムを用いて前記階調補正を行う補正工程とを有することを特徴とする画像処理装置の制御方法。
14. 画像における輝度の階調補正を行う画像処理装置の制御方法であって、
    第１の生成手段が、前記画像について、輝度値ごとの画素数を示す度数からなる輝度ヒストグラムを生成する第１の生成工程と、
    第２の生成手段が、前記輝度ヒストグラムに、輝度値に応じた重みを作用させて第２の輝度ヒストグラムを生成する第２の生成工程と、
    設定手段が、前記第２の輝度ヒストグラムを用いてヒストグラム形状を解析し、前記第２の輝度ヒストグラムにおける各山型分布に対する重み値を設定する設定工程と、
    取得手段が、前記設定工程により設定された重み値を前記輝度ヒストグラムあるいは前記第２の輝度ヒストグラムに適用して、前記階調補正のための特徴量を取得する取得工程とを有することを特徴とする画像処理装置の制御方法。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
16. 請求項１５に記載のプログラムを格納したコンピュータによって読み取りが可能な記憶媒体。

Images