JP5499765B2

JP5499765B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5499765B2
Application number: JP2010040152A
Authority: JP
Inventors: 青木　　透; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-02-25
Filing date: 2010-02-25
Publication date: 2014-05-21
Anticipated expiration: 2030-02-25
Also published as: JP2011176691A

Description

この発明は、適正なコントラストを有するデジタル画像を生成するために用いる画像処理装置および画像処理方法に関する。

一般に、監視カメラやデジタルカメラ等により撮影されたデジタル画像はダイナミックレンジが狭いため、白飛びや黒つぶれといった問題が生じる。デジタル画像のダイナミックレンジを広げる手法の一つに、露光時間の異なる複数のデジタル画像を合成して広ダイナミックレンジ画像を生成する方式がある。この方式では、デジタル画像を合成する際、または、デジタル画像を合成後に、デジタル画像に対して階調補正処理を行い適正な階調にする必要がある。階調補正処理では、適正なコントラストの画像を生成するために、輝度のヒストグラムを参照する必要がある。

輝度のヒストグラムを参照する場合に、画像全体の輝度分布から求めた輝度のヒストグラムをそのまま参照すると、コントラストに影響を及ぼさないモノトーンの箇所の影響を受けて、不要な階調のコントラストを強調するような階調補正が行われる場合がある。そこで、従来の画像処理装置では、コントラストに影響を及ぼす階調はエッジ近傍に存在すると見なして、エッジ近傍のヒストグラムを参照するように構成されており、エッジ近傍のヒストグラムを参照して階調補正処理を行うことにより、適正なコントラストのデジタル画像を得ている（例えば、特許文献１参照）。

特許４１６３３５３号公報（図６、第９頁〜第１０頁）

従来の画像処理装置では、適正なコントラストの画像を生成するために、エッジ近傍のヒストグラムを参照することから、画像中のエッジを抽出する必要がある。画像中のエッジを抽出する処理は演算量が多いため、画像処理全体の演算量が増大するという問題点があった。

この発明は上記のような問題点を解決するためになされたものであり、階調補正用にエッジ抽出を行うことにより、多大な演算が発生し、処理の遅延による使用上の便宜性が損なわれるという事態を抑制し、適正なコントラストを有するデジタル画像を生成することを目的とする。

この発明に係る画像処理装置は、デジタル画像の階調のヒストグラムを算出するヒストグラム算出部と、前記ヒストグラムに基づいて前記階調の前記デジタル画像のコントラストに対する影響の大きさを示す指標値を各階調毎に算出する指標値算出部と、前記指標値に基づいて前記デジタル画像のコントラストが適正であるかを判定するコントラスト判定部とを備え、前記ヒストグラムは横軸に前記デジタル画像の階調、縦軸に前記階調の度数をとったヒストグラムであり、前記ヒストグラムを、前記ヒストグラムの度数の総和が階調数の２乗になるように正規化するヒストグラム正規化部を備え、前記指標値は、前記正規化されたヒストグラム上のある階調Ｎについて、一辺の長さがＭで、（Ｎ，０）点を下辺の中心とし、下辺が横軸と重なる正方形の中で、上辺が対応する各階調の度数を超えない、最大の正方形の一辺の長さである指標値であることを特徴とし、前記コントラスト判定部は、前記指標値に極小値が存在しない場合に、前記デジタル画像のコントラストが適正であると判定する。

また、この発明に係る画像処理方法は、デジタル画像の階調のヒストグラムを算出するヒストグラム算出ステップと、前記ヒストグラムに基づいて前記階調の前記デジタル画像のコントラストに対する影響の大きさを示す指標値を各階調毎に算出する指標値算出ステップと、前記指標値に基づいて前記デジタル画像のコントラストが適正であるかを判定するコントラスト判定ステップと、を備える。

この発明に係る画像処理装置および画像処理方法によれば、適正なコントラストを有するデジタル画像を生成することができる。

本発明の実施の形態１に係る画像処理装置を示す構成図である。本発明の実施の形態１に示すデジタル画像の階調の変化を表したグラフである。本発明の実施の形態１に示す階調変換を行った後のデジタル画像の階調の変化を表したグラフである。本発明の実施の形態１に示す画像合成を行ったデジタル画像の階調の変化を表したグラフである。本発明の実施の形態１に示す階調圧縮した合成画像の階調の変化を表したグラフである。本発明の実施の形態１に示す画像補正部の構成図である。本発明の実施の形態１に示す画像圧縮テーブル算出処理を示すフローチャートである。本発明の実施の形態１に示すデジタル画像のヒストグラムである。本発明の実施の形態１に示す正規化を行ったデジタル画像のヒストグラムである。本発明の実施の形態１に示すデジタル画像のヒストグラムである。本発明の実施の形態１に示す正規化を行ったデジタル画像のヒストグラムである。本発明の実施の形態１に示す階調圧縮処理において参照する初期テーブルの入力階調と出力階調との関係を表すグラフである。本発明の実施の形態１に示すコントラスト貢献度の算出例を表すグラフである。本発明の実施の形態１に示す各階調に対して算出したコントラスト貢献度を表すグラフである。本発明の実施の形態１に示す階調圧縮テーブルの入力階調と出力階調との関係を表すグラフである。本発明の実施の形態２に示す画像圧縮テーブル算出処理を示すフローチャートである。本発明の実施の形態３に係る画像処理装置を示す構成図である。本発明の実施の形態３に示す画像補正部の構成図である。本発明の実施の形態３に示す画像補正テーブル算出処理を表すフローチャートである。本発明の実施の形態４に示すコントラストが適正でない画像のヒストグラムである。本発明の実施の形態４に示す画像補正テーブル算出処理を表すフローチャートである。本発明の実施の形態５に係る画像処理装置を示す構成図である。

実施の形態１．
図１は本発明の実施の形態１に係る画像処理装置を示す構成図である。図１において、２０はデジタル画像を撮影する画像撮像部、２１および２２はデジタル画像に階調変換を行う階調変換部、２３はデジタル画像を画像合成する画像合成部、２４はデジタル画像を階調圧縮する画像補正部、２５はデジタル画像を表示する表示部である。また、短時間露光画像１１及び長時間露光画像１２は同じ被写体を画像撮像部２０により撮影された２枚のデジタル画像であり、短時間露光画像１１の方が長時間露光画像１２よりも短い露光時間で撮影した画像である。実施の形態１に係る画像処理装置では、図１に示すように、短時間露光画像１１および長時間露光画像１２に対し、それぞれ階調変換部Ｓ２１及び階調変換部Ｌ２２により階調変換を行い、画像合成部２３により画像合成する。合成を行ったデジタル画像を画像補正部２４により階調圧縮し、生成された広ダイナミックレンジ画像を表示部２５に表示している。

図２は、横軸に各画素の位置（座標）、縦軸に各画素の階調をとり、短時間露光画像１１と長時間露光画像１２の対応する位置の画素の階調を表したグラフである。２枚の画像の露光時間の比率が大きい場合には、短時間露光画像中で階調の変化が顕著に現れている箇所について、長時間露光画像中の対応する箇所では白飛びしている。一方、長時間露光画像中で階調の変化が顕著に現れている箇所について、短時間露光画像中の対応する箇所では黒つぶれしている。

図３は、短時間露光画像１１と長時間露光画像１２に対し、それぞれ階調変換部Ｓ２１及び階調変換部Ｌ２２により、階調変換を行った後の階調を表したグラフである。ここでは、短時間露光画像と長時間露光画像の露光時間の比率を１：Ｋとする。なお、露光時間の比率は、予め定めた値でもよく、また、画像撮像部２０からの画像信号に基づいて変化させてもよい。この場合、階調変換部Ｓ２１により短時間露光画像の階調をＫ倍することで、短時間露光画像の階調と長時間露光画像の階調とのレベルが一致する。図３では、短時間露光画像に対して階調変換部Ｓ２１でＫ倍に拡大した場合の階調を示している。

次に、画像合成部２３により２枚のデジタル画像の画像合成を行う。図４に、画像合成を行った後の階調を表したグラフを示す。画像合成部２３では、所定の閾値（以下、第１の閾値とする）以下の階調では長時間露光画像を選択し、別の閾値（以下、第２の閾値とする）以上の階調では短時間露光画像を選択し、その間の階調では２枚の画像を線形補間することで画像合成を行う。このように合成することで、画像中の暗部では長時間露光画像が、明部では短時間露光画像が選択され、暗部、明部ともに階調の変化を再現することができる。

階調変換部Ｓ２１により階調がＫ倍に拡大された短時間露光画像と、長時間露光画像を合成した場合、合成されたデジタル画像の階調は元のデジタル画像と比べ、階調がＫ倍されたデジタル画像となる。合成されたデジタル画像を、元の階調に戻すために合成されたデジタル画像に対して階調圧縮処理を行う。画像補正部２４により、合成画像の階調を圧縮した後の階調の変化を表したグラフを図５に示す。画像補正部２４では階調の最大値が１／Ｋ倍となるよう階調圧縮処理を行えばよいが、単純に各階調が１／Ｋ倍となるように階調圧縮処理を行うとコントラストが低下した画像となる場合が多い。

図６は画像補正部２４の構成図であり、図７は画像補正部２４における階調圧縮テーブル算出処理を表すフローチャートである。実施の形態１に係る画像処理装置では、図７に示す処理フローを実行することで階調圧縮テーブルを算出し、この階調圧縮テーブルを参照して階調圧縮することによりコントラストが適正になるような階調圧縮を行うことができる。

図６において、２４１は画像合成部２３により合成されたデジタル画像を記憶する画像記憶部、２４２はデジタル画像のヒストグラムを算出するヒストグラム算出部、２４３は算出したヒストグラムに対して正規化を行うヒストグラム正規化部、２４４ａは階調圧縮処理に置いて参照する階調圧縮テーブルを記憶する階調圧縮テーブル記憶部、２４５は階調圧縮テーブルと正規化されたヒストグラムから階調圧縮処理をされた場合のデジタル画像のヒストグラムを算出するヒストグラム算出部、２４６は算出されたヒストグラムに基づいて指標値（後述するコントラスト貢献度）を算出する指標値算出部、２４７は算出した指標値に基づいてデジタル画像のコントラストが適正かどうかを判定するコントラスト判定部、２４８ａはコントラストが適正でないと判定された場合に階調圧縮テーブルを修正する階調圧縮テーブル修正部、２４９ａは画像記憶部２４１に記憶されたデジタル画像に対して階調圧縮テーブルを参照して階調圧縮処理を行う階調圧縮部である。圧縮されたデジタル画像は、表示部２５に表示される。なお、図１と同一符号については、同一の部分を示す。

図７において、ステップＳ１では、ヒストグラム算出部２４２により、画像記憶部２４１に記憶された合成後のデジタル画像のヒストグラムを算出する。ここでのヒストグラムは、横軸を輝度の階調とし、縦軸を各階調の度数をとったものである。画像合成処理後の画像のヒストグラムは、短時間露光画像１１のヒストグラム、長時間露光画像１２のヒストグラム、階調変換部Ｓ２１の階調変換特性、階調変換部Ｌ２２の階調変換特性及び画像合成部２３の画像合成比率から算出することができる。例えば、第１の閾値以下の階調においては、階調をＫ倍した短時間露光画像のヒストグラムから、第２の閾値以上の階調においては長時間露光画像のヒストグラムから、第１の閾値から第２の閾値の間の階調においては、線形補完により算出した階調のヒストグラムから、それぞれの階調の度数を求めることにより、合成後のデジタル画像のヒストグラムを算出することができる。また、画像合成処理後の画像のヒストグラムを直接計測可能であれば直接計測しても構わない。ステップＳ２では、ヒストグラム正規化部２４３により、ヒストグラムの正規化を行う。画像のヒストグラムの縦軸は度数であり、全ての階調の度数の和は画像全体の画素数と一致する。従って、通常はヒストグラムの縦軸は、ヒストグラムを算出するデジタル画像の画像サイズに応じて上下する。正規化を行うことにより画像サイズに依存しないヒストグラムを生成することができる。ここでは、以下に示す式に従って各階調の度数を変換することでヒストグラムの正規化を行う。

変換後度数＝変換前度数×階調数×階調数÷全画素数（１）

式（１）において、変換前度数は正規化前のヒストグラム中で、ある階調に対する度数である。また、階調数は画像の輝度の階調数である。例えば、８ビット画像であれば階調数は２５６であり、１２ビット画像であれば階調数は４０９６である。また、全画素数は画像全体の画素数である。

式（１）に従ってヒストグラム正規化を行うと、例えば図８に示すような全度数が同じ値（全画素数÷階調数）となるヒストグラムは、図９に示すような全度数が階調数と等しいヒストグラムに正規化される。また、図１０に示すようなある１つの階調の度数が全画素数であるヒストグラムは、図１１に示すようなある１個の度数が階調数の２乗になるヒストグラムに正規化される。

ステップＳ３ａでは、階調圧縮処理において階調補正情報として参照する階調圧縮テーブルの初期テーブルの設定を行う。階調圧縮テーブルは階調圧縮テーブル記憶部２４４ａに記憶しておき、階調圧縮部２４９ａにおける階調圧縮処理において参照される。ここでは、初期テーブルとして、入力された画素値を１／Ｋ倍に変換する線形テーブルを用いる。ステップＳ４〜ステップＳ８ａでは階調圧縮テーブルを初期の線形テーブルから変化させていく。図１２に階調圧縮の初期テーブルの入力階調と出力階調の関係を表すグラフを示す。入力値の最大値は階調数のＫ倍であり、出力値の最大値は階調数である。このように階調圧縮テーブルでは階調数のＫ倍まである入力値を、階調数以下に圧縮して出力している。

ステップＳ４では、ヒストグラム算出部２４５により、階調圧縮テーブルを参照して階調圧縮した画像の正規化ヒストグラムを算出する。階調圧縮した画像の正規化ヒストグラムは以下の数式で算出することができる。

Ｊ（Ｎ）＝Ｈ（Ｆ−１（Ｎ））（２）
Ｊ（Ｎ）：入力値Ｎに対する階調圧縮後のヒストグラムの度数
Ｈ（Ｎ）：入力値Ｎに対する階調圧縮前のヒストグラムの度数
Ｆ−１（Ｎ）：Ｆ（Ｎ）の逆関数
Ｆ（Ｎ）：入力値Ｎに対する階調圧縮テーブルの出力値を算出する関数
なお、ここでは階調圧縮した場合のデジタル画像のヒストグラムを、階調圧縮前のヒストグラムと階調圧縮テーブルとから求める方法について示したが、階調圧縮後のヒストグラムを、画像合成を行って直接計測してもよく、また、その他の計算により算出してもよい。

ステップＳ５では、指標値算出部２４６により、正規化ヒストグラムから求まる指標値（以下、コントラスト貢献度とする）を算出する。コントラスト貢献度は、各階調毎に求めることができ、各階調の度数およびその周辺の階調の度数から求めることができる。その定義を以下に示す。

正規化ヒストグラム上のある階調Ｎに着目したときに、一辺の長さがＭで、（Ｎ，０）点（横軸＝Ｎ、縦軸＝０となる点）を下辺の中心とし、下辺が横軸と重なる正方形を描くことができる。このような正方形の中で、上辺が対応する各階調の度数を超えない、最大の正方形の一辺の長さＭを、階調Ｎのコントラスト貢献度Ｍとする。なお、階調を拡張するなどした結果、正規化ヒストグラムの度数が階調方向に櫛の歯状に散在する場合には、その包絡線を度数としてコントラスト貢献度を算出する。

図１３にコントラスト貢献度の算出例を示す。図１３はヒストグラムを示しており、横軸に輝度の階調、縦軸に各階調の度数を示している。図１３中の太線の曲線が正規化ヒストグラムの度数の階調に対する変化を表している。例えば階調Ｎでコントラスト貢献度Ｍとなる場合の、最大の正方形の各頂点は（Ｎ−Ｍ÷２，０）、（Ｎ＋Ｍ÷２，０）、（Ｎ＋Ｍ÷２，Ｍ）、（Ｎ―Ｍ÷２，Ｍ）の４点となる。ある階調Ｎに対して、下辺が横軸と重なり、下辺の中心が（Ｎ，０）点で、上辺が対応する各階調の度数を超えない最大の正方形の一辺の長さがＭとなっている。

コントラスト貢献度は各階調に対して算出することができる。図１４に各階調に対してコントラスト貢献度を算出した例を示す。図１４中の点線が階調毎のコントラスト貢献度をグラフ化したものである。なお、正規化ヒストグラムの階調に対する度数の変化は実線で表している。中央部分の度数の谷間の箇所のコントラスト貢献度は、谷間の影響で低い値となっている。また、両側の度数の山の箇所のコントラスト貢献度は、谷間の箇所に比べて高い値になっているが、度数の山に比べると山の高さが抑えられたグラフになっている。

階調の度数および度数の高い階調の幅の両方が大きくないと、コントラスト貢献度は大きな値にならない。つまり、コントラストに影響を及ぼす面積が大きいほど、大きな値になる。例えば、ベタ塗り箇所の面積が広い画像では、ヒストグラム上の特定の１階調の度数が突出して高くなるが、ベタ塗り箇所がコントラストに与える影響は低い。そして、コントラスト貢献度は、度数の大きい階調の範囲が広くないため大きな値にはならない。

このようにコントラスト貢献度を指標値として用いることで、画像のコントラストを評価することができる。そして、階調圧縮処理後の画像のコントラストを適正化するためには、コントラスト貢献度が高くなるように階調圧縮テーブルを修正すればよい。

ステップＳ６ａでは、コントラスト判定部２４７により、コントラスト貢献度の極小値を算出する。露光時間の異なる複数のデジタル画像を合成して広ダイナミックレンジ画像を生成する方式では、図１４に示したヒストグラムのように度数が階調の低い箇所と高い箇所の２箇所に分かれて分布することが多い。従って、階調の中央部分に谷間ができ、そこにコントラスト貢献度の極小値が現れる。階調の中央部分に谷間ができるということは、画像中に階調の中央部分があまり存在していないということであり、コントラストが低下する原因となる。そこで、コントラスト貢献度の極小値がなくなるように階調圧縮処理を行うことで、階調の中央部分の谷間を改善し、階調の中央部分を多く使用するような画像に変換することができる。

ステップＳ７ａでは、ステップＳ６ａで算出したコントラスト貢献度の極小値の有無を、コントラスト判定部２４７により判定する。コントラスト貢献度の極小値が存在しない場合には、階調圧縮テーブルによってコントラスト貢献度の極小値がなくなり、コントラストが適正になったと判断して階調圧縮テーブルの算出を終了する。コントラスト貢献度の極小値が存在する場合には、コントラスト貢献度の極小値をなくすよう階調圧縮テーブルを修正するためにステップＳ８ａに進む。

ステップＳ８ａでは、階調圧縮テーブルの修正を行う。コントラスト貢献度の極小値に対応する入力階調の近傍の階調に割り当てる出力階調数を少なくするように階調圧縮テーブルを修正することで、極小値部分のコントラスト貢献度を上げることができる。階調圧縮テーブルの修正は、例えば、図１５に示すようにある階調の近傍に割り当てる階調数を少なくするような修正を行う。図１５において、左のグラフでは入力画像の出力画像を線形的に割り当てているが、右のグラフに示すように、極小値に対応する入力階調近傍での傾きを緩やかにし、極小値に対応する入力階調近傍の階調に割り当てる出力階調数を少なくし、入力画像のその他の階調に割り当てる出力画像を多くするように階調補正テーブルの入出力関係を修正することにより極小値近傍の出力階調の度数を増やすことができる。

この後、コントラスト貢献度の極小値がなくなるまで図７のステップＳ４〜ステップＳ８ａの処理を繰り返し実行して階調圧縮テーブルを算出する。算出した階調圧縮テーブルを用いて、画像圧縮部２４９ａにより画像圧縮処理を行うことにより適正なコントラストのデジタル画像データを得ることができ、得られたデジタル画像を表示部２５に表示する。

実施の形態１に係る画像処理装置では、以上のような構成をしているため、コントラストを適正にする階調圧縮テーブルを算出することができ、この階調圧縮テーブルを参照して適正なコントラストで広ダイナミックレンジ画像を生成することができる。

ここでは、露光時間の異なる２枚のデジタル画像を合成した場合について示したが、合成するデジタル画像は３枚以上の場合でも同様の効果が得られる。また、階調補正の一例として、デジタル画像を合成後に、階調圧縮する場合について示したが、合成前に２枚のデジタル画像に対して、階調補正テーブルを参照してそれぞれ階調補正を行う場合も同様の効果が得られ、適正なコントラストのデジタル画像を得るための階調補正テーブルを出力することができる。また、コントラスト貢献度を、上辺が対応する各階調の度数を超えない、最大の正方形の一辺として表したが、縦横比を一定にした長方形のいずれかの辺としてもよい。この場合、ヒストグラムを正規化する値を変更することにより同様の効果が得られる。

また、階調のヒストグラムとして輝度のヒストグラムを使用した場合について示したが、デジタル画像のＲＧＢ成分のうちの１成分（例えば、Ｇ成分のみ）についてのヒストグラムを使用した場合についても同様の効果が得られる。

実施の形態２．
実施の形態１では、コントラスト貢献度の極小値をなくすように、階調圧縮テーブルを修正することで、コントラストが適正な広ダイナミックレンジ画像を生成していた。実施の形態２では、コントラスト貢献度の最大値を大きくするような階調圧縮テーブルを算出することで、コントラストが適正な広ダイナミックレンジ画像を生成する方式について示す。

本発明の実施の形態２に係る画像処理装置の構成は、実施の形態１と同様であり図１に示すとおりである。また、画像補正部２４の構成は、実施の形態１と同様であり、図６に示すとおりである。図１６に、実施の形態２に係る画像補正部２４における階調圧縮テーブル算出処理を表すフローチャートを示す。図１６の処理フローを実行することでコントラストが適正になるような階調圧縮テーブルを算出することができる。図１６において、ステップＳ１〜ステップＳ５までの処理及びステップＳ８ａの処理は実施の形態１と同様である。

実施の形態２では、ステップＳ６ｂ及びステップＳ７ｂが実施の形態１と異なる。実施の形態１ではコントラスト貢献度の極小値の有無で、コントラストが適正であるか否かを判定していたが、実施の形態２ではコントラスト貢献度の最大値が変化したか否かで、コントラストが適正であるか否かを判定する。

図１６において、ステップＳ６ｂではコントラスト貢献度の最大値を算出する。露光時間の異なる複数のデジタル画像を合成して広ダイナミックレンジ画像を生成する方式では、図１４に示すヒストグラムのように度数が階調の低い箇所と高い箇所の２箇所に分かれて分布することが多い。従って、階調の中央部分に谷間ができるためコントラスト貢献度の最大値が低い値となる。階調の中央部分の谷間を解消することにより、コントラスト貢献度の最大値はより大きな値になり、コントラストが改善される。

ステップＳ７ｂではステップＳ６ｂで算出したコントラスト貢献度の最大値の変化を判定する。ステップＳ４〜ステップＳ８ａで構成されるループ処理において、前回のループで算出されたコントラスト貢献度の最大値と、現在の最大値を比較し、その変化が所定の値以下（例えば、階調数の変化が１６以下）となった場合に、コントラスト貢献度の最大値に変化がない、すなわち、コントラストが適正になったと判断して階調圧縮テーブルの算出を終了する。ここでの所定の値とは、画像処理装置の仕様等により変化するものであり、値を小さくしたり（例えば、階調数の変化が８以下）、大きくしたり（例えば、階調数の変化が３２以下）、または、変化率等で規定しても良い。コントラスト貢献度の最大値に変化所定の値以上となった場合には、コントラスト貢献度の最大値をさらに上げるように階調圧縮テーブルを修正するためにステップＳ８ａに進む。なお、初回のループ処理においては前回のループ処理で算出されたコントラスト貢献度の最大値が存在しないため、常にステップＳ８ａに進む。

この後、コントラスト貢献度の最大値の変化が所定の値以下となるまで、ステップＳ４〜ステップＳ８ａのループ処理を繰り返し実行して階調圧縮テーブルを算出する。

実施の形態２に係る画像処理装置では、以上のような構成をしているため、コントラストを適正にする階調圧縮テーブルを算出することができ、この階調圧縮テーブルを参照して適正なコントラストで広ダイナミックレンジ画像を生成することができる。

ここでは、露光時間の異なる２枚のデジタル画像を合成した場合について示したが、合成するデジタル画像は３枚以上の場合でも同様の効果が得られる。また、階調補正の一例として、デジタル画像を合成後に、階調圧縮する場合について示したが、合成前に２つのデジタル画像を、階調補正テーブルを参照してそれぞれ階調補正を行う場合も同様の効果が得られ、適正なコントラストのデジタル画像を得るための階調補正テーブルを出力することができる。また、コントラスト貢献度を、上辺が対応する各階調の度数を超えない、最大の正方形の一辺として表したが、縦横比を一定にした長方形のいずれかの辺としてもよい。この場合、ヒストグラムを正規化する値を変更することにより同様の効果が得られる。

実施の形態３．
実施の形態１及び実施の形態２に示した画像処理装置では、露光時間の異なる２つのデジタル画像を合成したデジタル画像に対して、コントラスト貢献度を用いてコントラストが適正な広ダイナミックレンジ画像を生成するための階調圧縮テーブルを算出した。実施の形態３に係る画像処理装置では、１枚のデジタル画像のコントラストを改善する方式にについて示す。

１枚のデジタル画像のコントラストを改善する方法として、ルックアップテーブル等の階調補正テーブルで階調補正を行う方法がある。図１７は、本発明の実施の形態３に係る画像処理装置を示す構成図である。図１７において、２０はデジタル画像の撮影を行う画像撮像部、２４はルックアップテーブル等の階調補正テーブルで階調補正を行う画像補正部、２５は階調補正が行われた階調補正後画像３２を表示する表示部である。３１は画像撮像部２０で撮影された階調補正前画像であり、階調補正前画像３１に対して画像補正部２４で階調補正処理が行われ階調補正後画像３２が生成される。

図１８は、本発明の実施の形態３に係る画像処理装置の画像補正部２４の構成図である。実施の形態１で説明した図６と同一の符号で示す部分については説明を省略する。図１８において、２４４ｂは階調補正処理において参照される階調補正テーブルを記憶する階調補正テーブル記憶部、２４５は階調補正テーブルと正規化されたヒストグラムから階調補正処理をされた場合のデジタル画像のヒストグラムを算出するヒストグラム算出部、２４８ｂはコントラストが適正でないと判定された場合に階調補正テーブルを修正する階調補正テーブル修正部、２４９ｂは画像記憶部２４１に記憶されたデジタル画像に対して階調補正を行う階調補正部である。図１９は、画像補正部２４における画像補正テーブル算出処理を表すフローチャートである。図１９に示す処理フローを実行することでコントラストが適正になるような階調補正テーブルを算出することができる。

図１９において、ステップＳ１ではヒストグラム算出部２４２により、階調補正前画像３１のヒストグラムを算出する。次に、ステップＳ２ではヒストグラムの正規化を行う。ヒストグラムの正規化は実施の形態１で説明したステップＳ２の処理と同様である。

ステップＳ３ｃでは、階調補正処理において階調補正情報として参照する階調補正テーブルの初期テーブルの設定を行う。階調補正テーブルは階調補正テーブル記憶部２４４ｂに記憶しておき、階調補正部２４９ｂにおける階調補正処理において参照される。ここでは、初期テーブルとして、入力した画素値をそのまま出力する線形テーブルを用いる。ステップＳ４〜ステップＳ８ｃでは階調補正テーブルを初期の線形テーブルから変化させていく。

ステップＳ４では、ヒストグラム算出部２４５により、階調補正テーブルで階調補正した画像の正規化ヒストグラムを算出する。階調補正した画像の正規化ヒストグラムの算出処理は、実施の形態１で説明したステップＳ４の処理と同様である。

ステップＳ５では、正規化ヒストグラムからコントラスト貢献度を算出する。コントラスト貢献度の算出については実施の形態１で説明したステップＳ５の処理と同様である。

ステップＳ６ｃでは、コントラスト貢献度の極小値を算出する。その算出については、実施の形態１で説明したステップＳ６ａの処理と同様である。

ステップＳ７ｃでは、ステップＳ６ｃで算出したコントラスト貢献度の極小値の有無を判定する。コントラスト貢献度の極小値が存在しない場合には、階調補正テーブルによってコントラスト貢献度の極小値がなくなり、コントラストが適正になったと判断して階調補正テーブルの算出を終了する。コントラスト貢献度の極小値が存在する場合には、コントラスト貢献度の極小値をなくすように階調補正テーブルを修正するためにステップＳ８ｃに進む。

ステップＳ８ｃでは階調補正テーブルの修正を行う。階調補正テーブルの修正については実施の形態１で説明したステップＳ８ａの処理と同様である。

この後、コントラスト貢献度の極小値がなくなるまで図１９のステップＳ４〜ステップＳ８ｃの処理を繰り返し実行して階調補正テーブルを算出する。

実施の形態３に係る画像処理装置では、以上のような構成をしているため、コントラストを適正にする階調補正テーブルを求めることができ、このテーブルを用いて階調補正を行うことにより、適正なコントラストを有するデジタル画像を得ることができる。

ここでは、階調のヒストグラムとして輝度のヒストグラムを使用した場合について示したが、デジタル画像のＲＧＢ成分のうちの１成分（例えば、Ｇ成分のみ）についてのヒストグラムを使用した場合についても同様の効果が得られる。また、コントラスト貢献度を、上辺が対応する各階調の度数を超えない、最大の正方形の一辺として表したが、縦横比を一定にした長方形のいずれかの辺としてもよい。この場合、ヒストグラムを正規化する値を変更することにより同様の効果が得られる。

実施の形態４．
実施の形態３では、コントラスト貢献度の極小値をなくすような階調補正テーブルを算出することで、コントラストが適正な階調補正後画像を生成していた。一方、実施の形態４では、コントラスト貢献度の最大値を大きくするような階調補正テーブルを算出することで、コントラストが適正な階調補正後画像を生成する方式について示す。

実施の形態４に係る画像処理装置の構成は、実施の形態３と同様であり、図１７に示すとおりである。また、画像補正部２４の構成は、実施の形態３と同様であり図１８に示すとおりである。図２１は、本発明の実施の形態４の画像補正部２４における階調補正テーブル算出処理を表すフローチャートである。図２１に示す処理フローを実行することでコントラストが適正になるような階調補正テーブルを算出することができる。図２１において、ステップＳ１〜ステップＳ５までの処理及びステップＳ８ｃの処理は実施の形態３と同様である。

実施の形態４に係る画像処理装置では、ステップＳ６ｄ及びステップＳ７ｄが実施の形態３と異なる。実施の形態３では、コントラスト貢献度の極小値の有無で、コントラストが適正であるか否かを判定していたが、実施の形態４に係る画像処理装置では、コントラスト貢献度の最大値が変化したか否かで、コントラストが適正であるか否かを判定する。

図２１において、ステップＳ６ｄではコントラスト貢献度の最大値を算出する。デジタルカメラ等により撮影されたデジタル画像では、図２０に示したヒストグラムのように、度数が複数の特定の階調に集中して分布する場合がある。そして、階調の中央部分に谷間ができ、コントラスト貢献度の最大値が低い値になる。階調の中央部分の谷間を解消すると、コントラスト貢献度の最大値はより大きな値になり、コントラストが改善される。

ステップＳ７ｄでは、ステップＳ６ｄで算出したコントラスト貢献度の最大値の変化を判定する。ステップＳ４〜ステップＳ８ｃで構成されるループ処理において、前回のループで算出されたコントラスト貢献度の最大値と、現在の最大値を比較し、その変化が所定の値（例えば、階調数の変化が１６以下）以下となる場合にはコントラストが適正になったと判断して階調補正テーブルの算出を終了する。ここでの所定の値とは、画像処理装置の仕様等により変化するものであり、値を小さくしたり（例えば、階調数の変化が８以下）、大きくしたり（例えば、階調数の変化が３２以下）、または、変化率等で規定しても良い。一方、コントラスト貢献度の最大値の変化が所定の値以上となる場合には、コントラスト貢献度の最大値をさらに上げるように、ステップＳ８ｃに進み階調補正テーブルを修正する。なお、初回のループ処理においては前回のループ処理で算出されたコントラスト貢献度の最大値が存在しないため、常にステップＳ８ｃに進む。

この後、コントラスト貢献度の最大値に変化がなくなるまで図２１のステップＳ４〜ステップＳ８ｃのループ処理を繰り返し実行して階調補正テーブルを算出する。算出した階調補正テーブルを用いて、画像補正部２４９ｂにより画像補正処理を行うことにより適正なコントラストのデジタル画像データを得ることができる。

実施の形態４に係る画像処理装置では、以上のような構成をしているため、コントラストを適正にする階調補正テーブルを求めることができ、このテーブルを用いて階調補正を行うことにより、適正なコントラストを有するデジタル画像を得ることができる。

実施の形態５．
実施の形態３および４においては、画像補正を行ったデジタル画像に対してコントラストの評価を行う場合ついて示した。本発明の実施の形態５に係る画像処理装置では、撮影画像のコントラストを評価する場合に用いる。本発明の実施の形態５に係る画像処理装置では、例えば、画像撮像部において撮影した複数のデジタル画像から最もコントラストの適正なデジタル画像を抽出する場合等に用いることができる。

図２２に、本発明の実施の形態５に係る画像処理装置の構成図を示す。図２２における各構成要素は、実施の形態１で説明した図１および図６に同一の符号で示す部分と同様であり、説明を省略する。

実施の形態５に係る画像処理装置では、画像撮像部２０で撮影されたデジタル画像を画像記憶部２４１に記憶しておき、記憶されたデジタル画像に対してヒストグラム算出部２４２によりヒストグラムを算出する。算出したヒストグラムに対し、ヒストグラム正規化部２４３により、正規化を行う。正規化を行ったヒストグラムに対して、指標値算出部２４６によりコントラスト貢献度を算出する。コントラスト判定部２４７では、コントラスト貢献度の極小値の有無を判定し、極小値がない場合にはデジタル画像を表示部２５に表示する。また、複数のデジタル画像から最もコントラストの適正なデジタル画像を抽出する場合には、複数のデジタル画像のうちコントラスト貢献度の最大値の最も大きいデジタル画像を表示するようにしてもよい。

実施の形態５に係る画像処理装置は、以上のような構成をしているため、適正なコントラストを有するデジタル画像を抽出することができる。

１１短時間露光画像、１２長時間露光画像、２０画像撮像部、２１階調変換部Ｓ、２２階調変換部Ｌ、２３画像合成部、２４画像補正部、２５表示部、３１階調補正前画像、３２階調補正後画像、２４１画像記憶部、２４２ヒストグラム算出部、２４３ヒストグラム正規化部、２４４ａ階調圧縮テーブル記憶部、２４４ｂ階調補正テーブル記憶部、２４５ヒストグラム算出部、２４６指標値算出部、２４７コントラスト判定部、２４８ａ階調圧縮テーブル修正部、２４８ｂ階調補正テーブル修正部、２４９ａ階調圧縮部、２４９ｂ階調補正部

Claims

デジタル画像の階調のヒストグラムを算出するヒストグラム算出部と、
前記ヒストグラムに基づいて前記階調の前記デジタル画像のコントラストに対する影響の大きさを示す指標値を各階調毎に算出する指標値算出部と、
前記指標値に基づいて前記デジタル画像のコントラストが適正であるかを判定するコントラスト判定部とを備え、
前記ヒストグラムは横軸に前記デジタル画像の階調、縦軸に前記階調の度数をとったヒストグラムであり、
前記ヒストグラムを、前記ヒストグラムの度数の総和が階調数の２乗になるように正規化するヒストグラム正規化部を備え、
前記指標値は、前記正規化されたヒストグラム上のある階調Ｎについて、一辺の長さがＭで、（Ｎ，０）点を下辺の中心とし、下辺が横軸と重なる正方形の中で、上辺が対応する各階調の度数を超えない、最大の正方形の一辺の長さである指標値であることを特徴とし、
前記コントラスト判定部は、前記指標値に極小値が存在しない場合に、前記デジタル画像のコントラストが適正であると判定することを特徴とする画像処理装置。
前記デジタル画像は、露出の異なる複数のデジタル画像を合成したデジタル画像であることを特徴とする請求項１に記載の画像処理装置。
前記デジタル画像に対し、階調補正情報を参照して階調補正を行う階調補正部と、
前記コントラスト判定部によって、前記デジタル画像のコントラストが適正でないと判定された場合に、参照した前記階調補正情報を修正する階調補正情報修正部と、
を備えることを特徴とする請求項１または２に記載の画像処理装置。
前記コントラスト判定部は、前記階調補正情報を参照して階調補正を行ったデジタル画像から算出した前記指標値と、前記修正した階調補正情報を参照して階調補正を行ったデジタル画像から算出した前記指標値の差が所定値以下である場合に、前記デジタル画像のコントラストが適正であると判定することを特徴とする請求項３に記載の画像処理装置。
デジタル画像の階調のヒストグラムを算出するヒストグラム算出ステップと、
前記ヒストグラムに基づいて前記階調の前記デジタル画像のコントラストに対する影響の大きさを示す指標値を各階調毎に算出する指標値算出ステップと、
前記指標値に基づいて前記デジタル画像のコントラストが適正であるかを判定するコントラスト判定ステップとを備え、
前記ヒストグラムは横軸に前記デジタル画像の階調、縦軸に前記階調の度数をとったヒストグラムであり、
前記ヒストグラムを、前記ヒストグラムの度数の総和が階調数の２乗になるように正規化するヒストグラム正規化ステップを備え、
前記指標値は、前記正規化されたヒストグラム上のある階調Ｎについて、一辺の長さがＭで、（Ｎ，０）点を下辺の中心とし、下辺が横軸と重なる正方形の中で、上辺が対応する各階調の度数を超えない、最大の正方形の一辺の長さである指標値であることを特徴とし、
前記コントラスト判定ステップは、前記指標値に極小値が存在しない場合に、前記デジタル画像のコントラストが適正であると判定することを特徴とする画像処理方法。