JP7462458B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、入力画像の輝度階調を補正するための技術に関するものである。

従来、入力画像の輝度レベルの階調を補正する技術が知られている（たとえば、特許文献１参照）。

特開２００６－０９８６１４号公報

本発明が解決しようとする課題は、高輝度域および低輝度域に多くの画素が分布する画像のコントラストを向上させることである。

本発明の一様態は、入力画像における輝度分布に基づいて、該入力画像に対する輝度階調補正の特性を表す第１トーンカーブを制御する低輝度側の第１制御点と高輝度側の第１制御点を取得する第１取得手段と、
前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間の点である第２制御点と、前記第１取得手段が取得した前記低輝度側の第１制御点及び前記高輝度側の第１制御点と、を前記入力画像に対する輝度階調補正の特性を表す第２トーンカーブの制御点として取得する第２取得手段と、
前記第２取得手段が取得した制御点を有する前記第２トーンカーブに基づいて前記入力画像の輝度階調を補正する補正手段と
を備え、
前記第２取得手段は、前記輝度分布において、前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間に対応する対応区間の輝度分布に基づいて、前記第２制御点に対応する入力輝度階調レベルを求めることを特徴とする。

画像処理装置の機能構成例を示すブロック図。 入力画像の輝度階調を補正するために用いる輝度階調補正カーブを生成するために行われる処理のフローチャート。 具体例を示す図。 具体例を示す図。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態に係る画像処理装置は、入力画像における輝度の階調を補正するために用いる「入力輝度階調レベルと出力輝度階調レベルとの対応関係を示すトーンカーブ」の制御点を、該入力画像における輝度分布に基づいて取得する。そして本実施形態に係る画像処理装置は、該取得した制御点で規定されるトーンカーブに基づいて輝度階調補正カーブを補正し、該補正した輝度階調補正カーブを用いて該入力画像における輝度の階調を補正する。先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。

取得部１０は、輝度階調補正の対象となる画像を入力画像として取得する。取得部１０による入力画像の取得形態は特定の取得形態に限らない。例えば、取得部１０は、画像処理装置と通信可能な撮像装置によって撮像された撮像画像や、画像処理装置と通信可能なサーバ装置や記憶装置に保持されている画像を、入力画像として取得してもよい。また例えば、取得部１０は、画像処理装置が有する撮像部によって撮像された撮像画像や、画像処理装置が有する記憶装置に保持されている画像を、入力画像として取得してもよい。

取得部２０は、取得部１０が取得した入力画像における輝度階調レベル（輝度値）の分布を表す輝度分布の一例として、該入力画像の輝度階調のヒストグラム（輝度階調ヒストグラム）を取得する。例えば、入力画像の各画素の輝度値が８ビットで表される場合（０～２５５の何れかで表される場合）には、取得部２０は、０～２５５の各輝度値の個数を表すヒストグラムを輝度階調ヒストグラムとして取得する。

設定部４０は、輝度補正の強度を示す補正強度パラメータ（輝度階調補正の強さを制御するパラメータ）を設定する。補正強度パラメータは、画像処理装置が有するユーザインターフェース（キーボード、マウス、タッチパネル画面、ボタン等）をユーザが操作して入力してもよいし、画像処理装置と通信可能な外部装置から取得してもよい。

第１階調制御部５０は、「入力画像に対する輝度階調補正の特性を制御する第１制御情報」を、取得部２０が取得した輝度階調ヒストグラムと、設定部４０が設定した補正強度パラメータと、に基づいて取得する。本実施形態では、第１制御情報は、「入力輝度階調レベルと出力輝度階調レベルとの対応関係を示す第１トーンカーブの制御点」であるものとして説明する。しかし、第１制御情報は、第１トーンカーブの制御点に限らず、第１トーンカーブの形状を制御するための情報であれば、如何なる情報であってもよい。

第２階調制御部６０は、入力画像に対する階調補正の特性を制御する第２制御情報を、第１階調制御部５０が取得した第１制御情報に基づいて取得する。本実施形態では、第２制御情報は、「入力輝度階調レベルと出力輝度階調レベルとの対応関係を示す第２トーンカーブの制御点」であるものとして説明する。しかし、第２制御情報は、第２トーンカーブの制御点に限らず、第２トーンカーブの形状を制御するための情報であれば、如何なる情報であってもよい。

補正部３０は、補正前の輝度階調補正カーブを「第２階調制御部６０が取得した制御点によって規定される第２トーンカーブ」に基づいて補正し、該補正した輝度階調補正カーブを用いて、取得部１０が取得した入力画像における輝度階調を補正する。つまり補正部３０は、入力画像の輝度階調を入力輝度階調レベルとし、補正済みの輝度階調補正カーブにおいて該入力輝度階調レベルに対応する出力輝度階調レベルを特定し、入力画像の輝度階調を、該特定した出力輝度階調レベルに変換する。

出力部７０は、補正部３０によって補正された入力画像（補正済み入力画像）を出力する。補正済み入力画像の出力先は、特定の出力先に限らない。例えば出力部７０は、補正済み入力画像を、画像処理装置が有するメモリ、画像処理装置に装着されているメモリ、画像処理装置と通信可能な外部の記憶装置やサーバ装置、等に対して出力してもよい。また出力部７０は、補正済み入力画像を、液晶画面やタッチパネル画面を有する表示装置に表示させてもよいし、プロジェクタなどの投影装置に対して出力してもよい。

次に、設定部４０、第１階調制御部５０、第２階調制御部６０、補正部３０、による一連の処理について、図２のフローチャートに従って説明する。図２のフローチャートに従った処理は、取得部１０が取得した入力画像の輝度階調を補正するために用いる輝度階調補正カーブを生成するために行われる処理である。

ステップＳ２００では、第１階調制御部５０は、取得部２０が取得した「入力画像の輝度階調ヒストグラム」を取得する。ステップＳ２０１では、第１階調制御部５０は、ステップＳ２００で取得した輝度階調ヒストグラムと、設定部４０によって設定された補正強度パラメータと、に基づいて、第１トーンカーブの制御点のｘ座標（入力輝度階調レベル）を決定する。

ステップＳ２０２では、第１階調制御部５０は、設定部４０によって設定された補正強度パラメータに基づいて、第１トーンカーブの制御点のｙ座標（出力輝度階調レベル）を決定する。

ステップＳ２０３では、第２階調制御部６０は、ステップＳ２０１で決定した「第１トーンカーブの制御点のｘ座標」に基づいて、第２トーンカーブの制御点のｘ座標（入力輝度階調レベル）を決定する。

ステップＳ２０４では、第２階調制御部６０は、ステップＳ２０１で決定した「第１トーンカーブの制御点のｘ座標」と、ステップＳ２０２で決定した「第１トーンカーブの制御点のｙ座標」と、設定部４０によって設定された補正強度パラメータと、に基づいて、第２トーンカーブの制御点のｙ座標（出力輝度階調レベル）を決定する。

ステップＳ２０５では、補正部３０は、ステップＳ２０３で決定したｘ座標およびステップＳ２０４で決定したｙ座標を有する制御点で規定される第２トーンカーブを生成する。

ステップＳ２０６では、補正部３０は、補正前の輝度階調補正カーブを取得する。補正前の輝度階調補正カーブは、画像処理装置と通信可能な外部の記憶装置やサーバ装置から取得してもよいし、画像処理装置内のメモリから取得してもよい。

ステップＳ２０７では、補正部３０は、ステップＳ２０６で取得した補正前の輝度階調補正カーブに、ステップＳ２０５で生成した第２トーンカーブを乗じることで、補正後の輝度階調補正カーブを生成する。輝度階調補正カーブは、様々なコントラスト制御を行うためのトーンカーブやγカーブを含んでいる。そして、図２のフローチャートに従った処理の後、補正部３０は、ステップＳ２０７で生成した輝度階調補正カーブを用いて入力画像の輝度階調を補正する。

次に、図２のフローチャートに従った上記の各処理を、図３に示す具体例を挙げて説明する。図３の上部には、取得部２０が取得した輝度階調ヒストグラム１００を示しており、横軸は輝度値（入力輝度階調レベル）、縦軸は頻度数を示している。一方、図３の下部には、第１トーンカーブ１１０および第２トーンカーブ１１７を示しており、横軸は入力輝度階調レベル、縦軸は出力輝度階調レベルを示している。

第１階調制御部５０は、輝度階調ヒストグラム１００と、補正強度パラメータと、に基づいて、第１トーンカーブ１１０の制御点（第１制御点）のｘ座標（入力輝度階調レベル）を求める。

補正強度パラメータが補正強度「強」を示している場合、第１階調制御部５０は、輝度階調ヒストグラム１００において低輝度側の端部の入力輝度階調レベルＬ１から入力輝度階調レベルＬ２（Ｌ２＞Ｌ１）までの各入力輝度階調レベルに対応する頻度数の総和がＳ１となるようなＬ２を特定する。また第１階調制御部５０は、輝度階調ヒストグラム１００において入力輝度階調レベルＬ３から高輝度側の端部の入力輝度階調レベルＬ４（Ｌ４＞Ｌ３）までの各入力輝度階調レベルに対応する頻度数の総和がＳ１となるようなＬ３を特定する。

補正強度パラメータが補正強度「中」を示している場合、第１階調制御部５０は、輝度階調ヒストグラム１００において低輝度側の端部の入力輝度階調レベルＬ１から入力輝度階調レベルＬ２（Ｌ２＞Ｌ１）までの各入力輝度階調レベルに対応する頻度数の総和がＳ２（Ｓ２＜Ｓ１）となるようなＬ２を特定する。また第１階調制御部５０は、輝度階調ヒストグラム１００において入力輝度階調レベルＬ３から高輝度側の端部の入力輝度階調レベルＬ４（Ｌ４＞Ｌ３）までの各入力輝度階調レベルに対応する頻度数の総和がＳ２となるようなＬ３を特定する。

補正強度パラメータが補正強度「弱」を示している場合、第１階調制御部５０は、輝度階調ヒストグラム１００において低輝度側の端部の入力輝度階調レベルＬ１から入力輝度階調レベルＬ２（Ｌ２＞Ｌ１）までの各入力輝度階調レベルに対応する頻度数の総和がＳ３（Ｓ３＜Ｓ２）となるようなＬ２を特定する。また第１階調制御部５０は、輝度階調ヒストグラム１００において入力輝度階調レベルＬ３から高輝度側の端部の入力輝度階調レベルＬ４（Ｌ４＞Ｌ３）までの各入力輝度階調レベルに対応する頻度数の総和がＳ３となるようなＬ３を特定する。

なお、Ｓ１，Ｓ２，Ｓ３はそれぞれ、補正強度「強」、「中」、「弱」に対応する「頻度数の総和」として予め設定されている値である。ここでは、補正強度パラメータが示す補正強度の段階を「強」、「中」、「弱」の３段階としているが、段階数は３に限らない。つまり、補正強度が強いほどＬ２はより大きくなり、Ｌ３はより小さくなる。一方、補正強度が弱いほどＬ２はより小さくなり、Ｌ３はより大きくなる。

そして第１階調制御部５０は、入力輝度階調レベルＬ２を「第１トーンカーブ１１０において低輝度側の第１制御点におけるｘ座標１１１」とし、入力輝度階調レベルＬ３を「第１トーンカーブ１１０において高輝度側の第１制御点におけるｘ座標１１２」とする。このことは、入力画像の輝度階調ヒストグラムに応じて第１トーンカーブ１１０の第１制御点のｘ座標が変化するとともに、ユーザが設定する補正強度に応じて第１トーンカーブ１１０の第１制御点のｘ座標が変化することを意味している。

また第１階調制御部５０は、補正強度パラメータに基づいて、第１トーンカーブ１１０における低輝度側の第１制御点および高輝度側の第１制御点のｙ座標（出力輝度階調レベル）を求める。

補正強度パラメータが補正強度「強」を示している場合、第１階調制御部５０はＬＬ１を低輝度側の第１制御点のｙ座標とし、出力輝度階調レベルの最大値からＬＬ１を引いた減算結果を、高輝度側の第１制御点のｙ座標とする。

補正強度パラメータが補正強度「中」を示している場合、第１階調制御部５０はＬＬ２（ＬＬ２＞ＬＬ１）を、低輝度側の第１制御点のｙ座標とし、出力輝度階調レベルの最大値からＬＬ２を引いた減算結果を、高輝度側の第１制御点のｙ座標とする。

補正強度パラメータが補正強度「弱」を示している場合、第１階調制御部５０はＬＬ３（ＬＬ３＞ＬＬ２）を、低輝度側の第１制御点のｙ座標とし、出力輝度階調レベルの最大値からＬＬ３を引いた減算結果を、高輝度側の第１制御点のｙ座標とする。

なお、ここでは、補正強度パラメータが示す補正強度の段階を「強」、「中」、「弱」の３段階としているが、段階数は３に限らない。つまり、補正強度が強いほど低輝度側の第１制御点のｙ座標は小さくなり、高輝度側の第１制御点のｙ座標は大きくなる。一方、補正強度が弱いほど低輝度側の第１制御点のｙ座標は大きくなり、高輝度側の第１制御点のｙ座標は小さくなる。また、ＬＬ１，ＬＬ２，ＬＬ３はそれぞれ、補正強度「強」、「中」、「弱」に対応する出力輝度階調レベルとして予め設定されている値である。

以上説明した第１階調制御部５０による処理により、第１トーンカーブ１１０の低輝度側の第１制御点および高輝度側の第１制御点のそれぞれのｘ座標およびｙ座標を特定することができる。そしてその結果、低輝度側の第１制御点および高輝度側の第１制御点によって、低輝度領域（低輝度側の第１制御点よりも小さい入力輝度階調レベルの領域）、中間輝度領域（低輝度側の第１制御点と高輝度側の第１制御点との間の入力輝度階調レベルの領域）、高輝度領域（高輝度側の第１制御点よりも大きい入力輝度階調レベルの領域）に分割された第１のトーンカーブ１１０が生成されることになる。

次に第２階調制御部６０は、第１トーンカーブ１１０と、補正強度パラメータと、に基づいて、第２トーンカーブ１１７の制御点を求める。第２トーンカーブ１１７の制御点は、第１トーンカーブ１１０の低輝度側の第１制御点、高輝度側の第１制御点、これら第１制御点の中間に位置する第２制御点、を含む。

第２制御点の求め方については様々な方法が考えられる。以下にその一例を説明する。第２階調制御部６０は、第１トーンカーブ１１０の低輝度側の第１制御点のｘ座標と高輝度側の第１制御点のｘ座標との平均ｘ座標（それぞれのｘ座標の和を２で割ったもの）を、第２制御点のｘ座標１１５として求める。また、第２階調制御部６０は、第１トーンカーブ１１０の低輝度側の第１制御点と高輝度側の第１制御点とを結ぶ線分上で、第２制御点のｘ座標１１５に対応するｙ座標を基準ｙ座標として取得する。そして第２階調制御部６０は、補正強度パラメータが示す補正強度が一定強度Ａ未満の場合、第２制御点のｙ座標を基準ｙ座標とし、補正強度パラメータが示す補正強度が一定強度Ａ以上の場合、第２制御点のｙ座標を基準ｙ座標よりも小さい規定のｙ座標とする。ここで、「一定強度Ａ」は、補正強度が数値で表されている場合には規定値、補正強度が「強」「中」「弱」などの段階で表されている場合には、規定段階である。なお、「規定のｙ座標」は、補正強度が強いほどより小さいｙ座標としてもよい。

このような処理により、第２トーンカーブを制御するための各制御点（低輝度側の第１制御点、高輝度側の第１制御点、第２制御点）のｘ座標およびｙ座標を特定することができる。然るに、結果として、これらの制御点によって規定される第２トーンカーブ１１７を確定することができる。なお、補正強度パラメータが示す補正強度が一定強度Ａ未満であれば、第２制御点は、第１制御点間の中点であるから、結果として第２トーンカーブ１１７は第１トーンカーブ１１０と同じになる。

以上の構成により、中間輝度領域において、第２トーンカーブ１１７における第２制御点と高輝度側の第１制御点との間の輝度に相当する輝度階調を補正し、コントラストを向上させることができる。即ち、ｘ座標１１１が低輝度側の端部（最小の入力輝度階調レベル）に近く、ｘ座標１１２が高輝度側の端部（最大の入力輝度階調レベル）に近い入力画像であっても、中間輝度領域のコントラストを向上させ、視認性を改善させることができる。また、霧や霞が存在するシーンにおいては、霧や霞による光の散乱の影響により中間輝度（被写体輝度）が明部側にシフトしてしまう傾向がある。従って、ｙ座標１１６を低輝度側にシフトし、ｘ座標１１５よりも高輝度側のコントラストを伸長することで、霧や霞によるコントラスト低下を改善する効果を得ることができる。

＜第１の実施形態の変形例＞
第２制御点のｘ座標は、次のような方法で求めてもよい。つまり、輝度階調ヒストグラムにおいて、低輝度側の第１制御点のｘ座標と高輝度側の第１制御点のｘ座標との間の区間に対応する対応区間における入力輝度階調レベルの平均値または中央値に相当する入力輝度階調レベルを、第２制御点のｘ座標としてもよい。このようにして第２制御点のｘ座標を求めることで、中間輝度領域のコントラストを、画質的な違和感を防止しながら制御することができる。

また、第２制御点のｘ座標は、次のような方法で求めてもよい。つまり、第１の実施形態のようにして第２制御点のｘ座標を求めた後、該ｘ座標を、補正強度パラメータが示す補正強度が強いほど高輝度側の第１制御点に近づくようにシフトさせる。このようにすることで、第２制御点と高輝度側の第１制御点との間の第２トーンカーブの傾きがより急峻になる。そのため、第２制御点のｘ座標と高輝度側の第１制御点のｘ座標との間に相当する輝度階調のコントラストをより強くすることができるため、コントラスト改善効果を大きくすることができる。

また、第２制御点のｘ座標は、次のような方法で求めてもよい。つまり、第１の実施形態のようにして第２制御点のｘ座標を求めた後、該ｘ座標を、補正強度パラメータが示す補正強度が強いほど低輝度側の第１制御点に近づくようにシフトさせる。このようにすることで、第２制御点と高輝度側の第１制御点との間の距離（入力輝度階調レベル方向の距離）を大きくすることができる。そのため、より広い範囲の輝度階調領域のコントラストを強くすることができるため、コントラスト改善効果を大きくすることができる。

また、第２制御点のｘ座標は、入力画像中の特定の被写体の明るさに応じて決めてもよい。ここで、特定の被写体とは、特に注目するべき主要な被写体であり、例えばヒトの顔などである。第２階調制御部６０は、入力画像中の顔領域における明るさ（例えば顔領域を構成する各画素の輝度値の平均値）を検出し、該明るさよりも暗い入力輝度階調レベルの何れかを第２制御点のｘ座標とする。このよう実施することで、顔の明るさに相当する入力輝度階調レベルは、第２制御点と高輝度側の第１制御点との間に相当する輝度範囲に含まれることとなる。前述のように、本実施形態では、第２制御点と高輝度側の第１制御点との間に相当する階調のコントラストを向上させる。従って、ヒトの顔のコントラストが向上することにより、ヒトの顔（主要被写体）の視認性を向上させることができる。

また、第２制御点のｙ座標を、低輝度側の第１制御点と高輝度側の第１制御点との間の、入力輝度階調レベル方向の距離（第１制御点間距離）に応じて決定しても良い。即ち、第１制御点間距離が大きいほど第２制御点のｙ座標がより下側にシフトするように、第２制御点のｙ座標を制御しても良い。前述の通り、第２制御点のｙ座標がより下側にシフトするほど、第２制御点と、高輝度側の第１制御点との間の輝度に相当する輝度階調のコントラストを向上させることができる。しかしながら、コントラストを強くしすぎると画質上の違和感をユーザに与えてしまうおそれがある。第１制御点間距離が大きいシーンとは、第１トーンカーブによるコントラスト強調効果が少ないシーンである。一方、第１制御点間距離が小さいシーンとは、第１トーンカーブによるコントラスト強調効果が大きいシーンであり、この上に第２制御点によるコントラスト強調を行ってしまうと、コントラストが強くなりすぎるおそれがある。従って、第１制御点間距離が大きいほど第２制御点のｙ座標がより下側にシフトするように、第２制御点のｙ座標を制御することで、過剰なコントラスト強調を防止しつつ、シーンに応じて適切なコントラスト改善量に制御することができる。

また、第２制御点のｙ座標を、輝度階調ヒストグラムの中間輝度領域内の分布に応じて決定してもよい。即ち、中間輝度領域内の高輝度側により多くの度数が分布しているほど、第２制御点のｙ座標がより下側にシフトするように、第２制御点のｙ座標を制御しても良い。前述の通り、第２制御点のｙ座標がより下側にシフトするほど、中間輝度領域内のより高輝度側に相当する輝度階調のコントラストを向上させることができる。従って、輝度階調ヒストグラムにおいて、中間輝度領域内のより高輝度側に多数分布するシーンの方がより大きなコントラスト改善効果を見込める。そのため、中間輝度領域内の高輝度側により多くの度数が分布しているほど、第２制御点のｙ座標がより下側にシフトするように、第２制御点のｙ座標を制御することで、より大きなコントラスト改善効果を得ることができる。

上記の構成では、トーンカーブの制御点のｘ座標とｙ座標の両方が設定部４０により設定された補正強度パラメータにより変化する。しかし、トーンカーブの制御点のｘ座標とｙ座標のうち、少なくともどちらか一方の座標が該補正強度パラメータにより変化する構成としても構わない。

［第２の実施形態］
以下では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。第１の実施形態では、求める第２制御点の数は１としたが、本実施形態では、求める第２制御点の数を複数とする。また、本実施形態では、第１の実施形態と異なり、低輝度側の第１制御点よりも低輝度に相当する輝度階調については、階調補正を行わない。同様に、高輝度側の第１制御点よりも高輝度に相当する輝度階調については、階調補正を行わない。

本実施形態では、第１階調制御部５０および第２階調制御部６０の動作が第１の実施形態と異なるため、以下では、第１階調制御部５０および第２階調制御部６０の動作について、図４の具体例を挙げて説明する。

図４の上部には、取得部２０が取得した輝度階調ヒストグラム１００を示しており、横軸は輝度値（入力輝度階調レベル）、縦軸は頻度数を示している。一方、図４の下部には、第１トーンカーブ１１０および第２トーンカーブ１１９を示しており、横軸は入力輝度階調レベル、縦軸は出力輝度階調レベルを示している。本実施形態では、第２トーンカーブの制御点は、低輝度側の第１制御点、高輝度側の第１制御点、低輝度側の第２制御点、高輝度側の２制御点、の４点である。

先ず、第１階調制御部５０は、低輝度側の第１制御点のｘ座標を求める。具体的には、第１階調制御部５０は、輝度階調ヒストグラム１００において最小輝度値から着目輝度値までの各輝度値に対応する頻度数の総和が閾値以上であれば、該着目輝度値に対応する入力輝度階調レベルを低輝度側の第１制御点のｘ座標とする。なお、第１階調制御部５０は、該総和が閾値未満であれば、該最小輝度値に対応する入力輝度階調レベルを低輝度側の第１制御点のｘ座標とする。また、低輝度側の第１制御点のｙ座標＝低輝度側の第１制御点のｘ座標とする。

同様に、第１階調制御部５０は、高輝度側の第１制御点のｘ座標を求める。具体的には、第１階調制御部５０は、輝度階調ヒストグラム１００において着目輝度値から最大輝度値までの各輝度値に対応する頻度数の総和が閾値以上であれば、該着目輝度値に対応する入力輝度階調レベルを高輝度側の第１制御点のｘ座標とする。なお、第１階調制御部５０は、該総和が閾値未満であれば、該最大輝度値に対応する入力輝度階調レベルを高輝度側の第１制御点のｘ座標とする。また、高輝度側の第１制御点のｙ座標＝高輝度側の第１制御点のｘ座標とする。

次に、第２階調制御部６０は、低輝度側の第２制御点のｘ座標および高輝度側の第２制御点のｘ座標を求める。第２階調制御部６０は、輝度階調ヒストグラム１００において低輝度側の第１制御点のｘ座標から入力輝度階調レベルＬＡまでの各入力輝度階調レベルに対応する頻度数の総和がＳとなるようなＬＡを特定する。また第２階調制御部６０は、輝度階調ヒストグラム１００において入力輝度階調レベルＬＢから高輝度側の第１制御点のｘ座標までの各入力輝度階調レベルに対応する頻度数の総和がＳとなるようなＬＢを特定する。第１の実施形態と同様、Ｓは、補正強度パラメータが示す補正強度が強いほど大きくなるように予め設定されている。

低輝度側の第２制御点のｙ座標については、第２制御点のｙ座標の求め方として第１の実施形態で説明した求め方と同様の求め方で求める。高輝度側の第２制御点のｙ座標については、出力輝度階調レベルの最大値から低輝度側の第２制御点のｙ座標を引いた減算結果を、高輝度側の第２制御点のｙ座標とする。

このように本実施形態では、低輝度側の第１制御点より低輝度の領域及び高輝度側の第１制御点より高輝度の領域のコントラストを維持しながら、低輝度側の第１制御点と高輝度側の第１制御点の間の輝度領域においてコントラストを向上させることができる。より具体的には、低輝度側の第２制御点と高輝度側の第２制御点との間の輝度領域においてコントラストが向上し、霧や霞を含む入力画像において、視認性を改善することができる。

［第３の実施形態］
図１に示した画像処理装置の各機能部は、ハードウェアで実装してもよいが、ソフトウェア（コンピュータプログラム）で実装してもよい。後者の場合、このようなコンピュータプログラムを実行可能なコンピュータ装置は、該画像処理装置に適用することができる。該画像処理装置に適用可能なコンピュータ装置のハードウェア構成例について、図５のブロック図を用いて説明する。

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ５０１は、コンピュータ装置全体の動作制御を行うとともに、画像処理装置が行うものとして上述した各処理を実行もしくは制御する。

ＲＡＭ５０２は、ＲＯＭ５０３や外部記憶装置５０６からロードされたコンピュータプログラムやデータを格納するためのエリア、Ｉ／Ｆ（インターフェース）５０７を介して外部から受信したデータ（例えば入力画像）を格納するためのエリア、を有する。さらにＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ５０２は、各種のエリアを適宜提供することができる。ＲＯＭ５０３には、コンピュータ装置の設定データや起動プログラムなど、書き換え不要のコンピュータプログラムやデータが格納されている。

操作部５０４は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ５０１に対して入力することができる。

表示部５０５は、液晶画面やタッチパネル画面を有し、ＣＰＵ５０１による処理結果を画像や文字などでもって表示する。なお、表示部５０５は、画像や文字を投影するプロジェクタなどの投影装置であってもよい。

外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして上述した各処理をＣＰＵ５０１に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置５０６に保存されているコンピュータプログラムには、図１に示した各機能部の機能をＣＰＵ５０１に実行させるためのコンピュータプログラムが含まれている。また、外部記憶装置５０６に保存されているデータには、上記の説明において既知の情報として用いたもの（Ｓ１、Ｓ２、Ｓ３、ＬＬ１、ＬＬ２、ＬＬ３、Ｓ、一定強度Ａ、閾値など）が含まれている。外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。

Ｉ／Ｆ５０７は、コンピュータ装置が外部とのデータ通信を行うための通信インターフェースであり、コンピュータ装置は、補正対象となる入力画像や、上記の各種の処理において用いる各種の情報を、Ｉ／Ｆ５０７を介して外部から受信することができる。また、コンピュータ装置は、輝度階調を補正した入力画像を、Ｉ／Ｆ５０７を介して外部に送信することもできる。

ＣＰＵ５０１、ＲＡＭ５０２、ＲＯＭ５０３、操作部５０４、表示部５０５、外部記憶装置５０６、Ｉ／Ｆ５０７は何れも、バス５０８に接続されている。なお、図５に示したハードウェア構成は、上記の画像処理装置に適用可能なコンピュータ装置のハードウェア構成の一例にすぎず、適宜変形／変更してもよい。

また、上記の説明において使用した数値、処理タイミング、処理順などは、具体的な説明を行うために一例として挙げたものであり、これらの数値、処理タイミング、処理順などに限定することを意図したものではない。

また、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：取得部 ２０：取得部 ３０：補正部 ４０：設定部 ５０：第１階調制御部 ６０：第２階調制御部 ７０：出力部

Claims (14)

1. 入力画像における輝度分布に基づいて、該入力画像に対する輝度階調補正の特性を表す第１トーンカーブを制御する低輝度側の第１制御点と高輝度側の第１制御点を取得する第１取得手段と、
   前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間の点である第２制御点と、前記第１取得手段が取得した前記低輝度側の第１制御点及び前記高輝度側の第１制御点と、を前記入力画像に対する輝度階調補正の特性を表す第２トーンカーブの制御点として取得する第２取得手段と、
   前記第２取得手段が取得した制御点を有する前記第２トーンカーブに基づいて前記入力画像の輝度階調を補正する補正手段と
   を備え、
   前記第２取得手段は、前記輝度分布において、前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間に対応する対応区間の輝度分布に基づいて、前記第２制御点に対応する入力輝度階調レベルを求めることを特徴とする画像処理装置。
2. 前記輝度分布において、前記低輝度側の第１制御点に対応する入力輝度階調レベルよりも低い入力輝度階調レベルに対応する頻度数の総和は閾値以上であり、
   前記輝度分布において、前記高輝度側の第１制御点に対応する入力輝度階調レベルよりも高い入力輝度階調レベルに対応する頻度数の総和は閾値以上である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記閾値は、ユーザにより設定された階調補正の強度に応じた閾値であることを特徴とする請求項２に記載の画像処理装置。
4. 前記第２制御点は、輝度階調補正の強度が閾値未満であれば、前記第２制御点に対応する出力輝度階調レベルは、前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との中点に対応する出力輝度階調レベルであり、
   前記輝度階調補正の強度が閾値以上であれば、前記第２制御点に対応する出力輝度階調レベルは、前記中点に対応する出力輝度階調レベルよりも低いことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記第２取得手段は、前記第２制御点に対応する入力輝度階調レベルを、輝度階調補正の強度に応じて制御することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
6. 前記第２取得手段は、前記第２制御点に対応する入力輝度階調レベルを、前記入力画像における特定の被写体の領域の明るさに基づいて制御することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
7. 前記第２取得手段は、前記第２制御点に対応する出力輝度階調レベルを、前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間の距離に応じて制御することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
8. 前記第２取得手段は、前記第２制御点に対応する出力輝度階調レベルを、前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間の輝度分布に応じて制御することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
9. 前記第２取得手段は、前記輝度分布において、前記第１取得手段が取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間に対応する対応区間の輝度分布に基づいて複数の前記第２制御点を求めることを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
10. 前記補正手段は、前記第２トーンカーブに基づいて補正した輝度階調補正カーブを用いて前記入力画像の輝度階調を補正することを特徴とする請求項１ないし９の何れか１項に記載の画像処理装置。
11. 更に、前記補正手段により輝度階調が補正された前記入力画像を出力する出力手段を備えることを特徴とする請求項１ないし１０の何れか１項に記載の画像処理装置。
12. 更に、撮像手段を備え、
    前記入力画像は、該撮像手段により撮像された撮像画像であることを特徴とする請求項１ないし１１の何れか１項に記載の画像処理装置。
13. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の第１取得手段が、入力画像における輝度分布に基づいて、該入力画像に対する輝度階調補正の特性を表す第１トーンカーブを制御する低輝度側の第１制御点と高輝度側の第１制御点を取得する第１取得工程と、
    前記画像処理装置の第２取得手段が、前記第１取得工程で取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間の点である第２制御点と、前記第１取得工程で取得した前記低輝度側の第１制御点及び前記高輝度側の第１制御点と、を前記入力画像に対する輝度階調補正の特性を表す第２トーンカーブの制御点として取得する第２取得工程と、
    前記画像処理装置の補正手段が、前記第２取得工程で取得した制御点を有する前記第２トーンカーブに基づいて前記入力画像の輝度階調を補正する補正工程と
    を備え、
    前記第２取得工程では、前記輝度分布において、前記第１取得工程で取得した前記低輝度側の第１制御点と前記高輝度側の第１制御点との間に対応する対応区間の輝度分布に基づいて、前記第２制御点に対応する入力輝度階調レベルを求めることを特徴とする画像処理方法。
14. コンピュータを、請求項１ないし１１の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images