JP4499527B2 - 画像処理装置、画像記録装置、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像記録装置、及び画像処理方法に関し、特に画像に対して適応的に階調変換処理を施す画像処理装置、画像記録装置、及び画像処理方法に関する。

画像の階調表現は、画質を決定する重要な要因の一つである。通常、撮像素子から出力される信号は、撮像素子に入射した光の光量にほぼ比例している。ここで、撮像素子からの出力信号は、後の画像処理において、最終的な画像の観察環境（例えばモニタによる画像観察やプリンタ出力による画像観察など）に合わせて何らかの階調変換処理が施される。例えば、一般的なデジタルカメラの場合、画像ファイルフォーマットの標準色空間としてｓＲＧＢ色空間が採用されているが、デジタルカメラの場合で撮影された画像の階調は、ｓＲＧＢの規定にあるガンマ特性（γ＝２．２）を持つモニタで表示された際に最適となるように設計されている。

通常、画像の階調変換特性は、デジタルカメラなどの入力装置ごとに一種類に固定されているか、或いは複数の階調変換特性の中からユーザ等により選択されるのが一般的である。また、近年は画像（若しくはシーン）の輝度分布に合わせて個々の画像に対して適応的に階調変換特性を最適化する技術が用いられつつある。これは、被写界のダイナミックレンジがシーンごとに異なるので、この違いを考慮せずに一律の階調変換特性で変換した場合に被写界の輝度情報をモニタやプリンタ等の出力装置のダイナミックレンジに効率良く反映させることが難しいからである。

個々の画像に対して適応的に階調変換特性を最適化する技術の一つとして、ヒストグラム均等化法が挙げられる。これは、画像の輝度ヒストグラム（各輝度階調レベルの頻度数）を均一にするような階調変換を施すことで、画像の持つ輝度情報量を増やし、出力装置に対して効率良く階調を割り当てる技術である。

ここで、このような階調変換を撮影条件やシーンによらず一律に適用すると、例えば階調変換により暗部のノイズが増幅されて許容レベルを超えるなど、画像（シーン）によっては好ましくない方向に変換されてしまう場合がある。

その解決策の一例として、特許文献１において提案されている技術では、画像の輝度分布を検出し、検出された輝度分布より輝度分布の補正が必要か否かを判定し、輝度分布の補正が必要と判定された場合に輝度分布を均一化するように補正することで、出力画像の劣化を防止するようにしている。
特開２００３−１７９８０９号公報

しかしながら、上記特許文献１において提案されている技術は、被写体の輝度分布から輝度分布の補正の必要性を判定しているので、例えばシーンの輝度が低く、電気的増幅によるノイズを多く含んだ画像や、被写体の種類（風景、人物など）を指定して撮影された画像など、階調変換特性及び階調変換後の最適値が撮影時の条件によって異なる画像に対して、個々に最適な階調変換処理を施すことが困難である。

本発明は、上記の事情に鑑みてなされたもので、撮影条件によらず、撮影時のシーンに最も適した階調変換処理を施すことができる画像処理装置及び画像処理方法を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様による画像処理装置は、入力された画像データの画素値のヒストグラムを算出するヒストグラム算出手段と、上記画像データに一律的に適用可能であって固定的な特性を有する固定階調変換特性を少なくとも１つ記憶する固定階調変換特性記憶手段と、上記ヒストグラム算出手段で算出された上記ヒストグラムに基づいて階調変換特性を導出し、この導出された階調変換特性と上記固定階調変換特性記憶手段に記憶されている上記固定階調変換特性とを上記画像データが撮影された際の撮影情報に基づいて合成することで、上記画像データに階調変換処理を施す際の階調変換特性を決定する階調変換特性決定手段と、上記合成を行う際の合成比率を、上記撮影情報に対応付けて複数記憶する合成比記憶手段と、上記階調変換特性決定手段にて決定された上記階調変換特性に基づいて上記入力された画像データを階調変換する階調変換手段と、を具備し、上記階調変換特性決定手段は、上記画像データが撮影された際の撮影情報に基づいて上記合成比記憶手段に記憶された複数の合成比率の中から合成時の合成比率を決定して上記合成を行うことを特徴とする。

上記の目的を達成するために、本発明の第２の態様による画像記録装置は、被写界を撮像して画像データを得る撮像手段と、上記撮像手段によって得られた画像データの画素値のヒストグラムを算出するヒストグラム算出手段と、上記画像データに一律的に適用可能であって固定的な特性を有する固定階調変換特性を少なくとも１つ記憶する固定階調変換特性記憶手段と、上記ヒストグラム算出手段で算出された上記ヒストグラムに基づいて階調変換特性を導出し、この導出された階調変換特性と上記固定階調変換特性記憶手段に記憶されている上記固定階調変換特性とを上記画像データが撮影された際の撮影情報に基づいて合成することで、上記画像データに階調変換処理を施す際の階調変換特性を決定する階調変換特性決定手段と、上記合成を行う際の合成比率を、上記撮影情報に対応付けて複数記憶する合成比記憶手段と、上記階調変換特性決定手段にて決定された上記階調変換特性に基づき、上記入力された画像データを階調変換する階調変換手段と、上記階調変換手段によって階調変換された画像データを記録媒体に記録する記録手段と、を具備し、上記階調変換特性決定手段は、上記画像データが撮影された際の撮影情報に基づいて上記合成比記憶手段に記憶された複数の合成比率の中から合成時の合成比率を決定して上記合成を行うことを特徴とする。

また、上記の目的を達成するために、本発明の第３の態様による画像処理方法は、入力された画像データの画素値のヒストグラムを算出するヒストグラム算出工程と、上記ヒストグラム算出工程において算出された上記ヒストグラムに基づいて階調変換特性を導出する階調変換特性導出工程と、上記導出された階調変換特性と、撮影情報に対応付けてメモリに記憶され上記画像データに一律的に適用可能であって固定的な特性を有する固定階調変換特性とを上記画像データが撮影された際の撮影情報に基づいて合成することで、上記画像データに階調変換処理を施す際の階調変換特性を決定する階調変換特性決定工程と、上記階調変換特性決定工程において決定された上記階調変換特性に基づき、上記入力された画像データを階調変換する階調変換工程と、を有し、上記階調変換特性決定工程は、上記画像データが撮影された際の撮影情報に基づいて、上記メモリに撮影情報に対応付けて記憶された複数の合成比率の中から合成時の合成比率を決定して上記合成を行うことを特徴とする。

これら第１〜第３の態様によれば、階調変換を行うための階調変換特性を決定する際に、画像データが得られたときの撮影情報を考慮することで、撮影条件によらず、撮影時のシーンに最も適した階調変換処理を施すことができる。

本発明によれば、撮影条件によらず、撮影時のシーンに最も適した階調変換処理を施すことができる画像処理装置、画像記録装置、及び画像処理方法を提供することができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像処理装置の概念的な構成について示した図である。

図１に示すように、本画像処理装置は、ヒストグラム算出部１と、階調変換特性決定部２と、階調変換部４、固定階調変換特性記憶部５とから構成されている。画像データがヒストグラム算出部１に入力されると、ヒストグラム算出部１において入力画像データの画素値のヒストグラムが算出される。ヒストグラムは、画像データの輝度成分のみのヒストグラム（輝度ヒストグラム）を算出するようにしても、画像データの色成分毎のヒストグラムを算出するようにしても良い。

ヒストグラム算出部１においてヒストグラムが算出された後、算出されたヒストグラムは階調変換特性決定部２に入力される。階調変換特性決定部２では、ヒストグラム算出部１で算出されたヒストグラムと固定階調変換特性記憶部５に記憶された固定階調変換特性とが、画像データが撮影されたときの撮影情報３に基づいて合成されて階調変換特性が決定される。そして、決定された階調変換特性に基づいて階調変換部４において、入力画像データの階調変換処理が施され、出力画像データとして外部に出力される。

以下、図１の画像処理装置についてより具体的に説明する。図２は、本発明の一実施形態に係る画像処理装置を含む画像記録装置の一例としての、デジタルカメラ（以下、カメラと称する）の構成を示すブロック図である。
図２に示すように、本デジタルカメラは、マイクロコンピュータ（図ではマイコンと略記している）１１と、撮像部１２と、Ａ／Ｄ変換部（図ではＡ／Ｄと記している）１３と、バス１４と、ＲＡＭ１５と、画像処理回路１６と、ＲＯＭ１７と、記録媒体１８と、操作部１９と、ストロボ発光部３３とから構成されている。

マイクロコンピュータ１１は、本カメラの全体的な制御を行う制御部である。このマイクロコンピュータ１１では、撮像部１２内部の撮影光学系の焦点制御や撮像素子の露出制御、画像データを記録媒体１８に記録する際の記録制御などが行われる。

撮像部１２は、撮影光学系や撮像素子、及びこれらの駆動部等から構成されている。撮像部１２は、撮影光学系を介して入射した図示しない被写体からの光束を撮像素子において電気信号に変換する。

Ａ／Ｄ変換部１３は撮像部１２で得られた電気信号をデジタルデータに変換して画像データを生成する。

バス１４はＡ／Ｄ変換部１３で得られた画像データなどのデータを、本カメラの各回路に転送する転送路である。また、ＲＡＭ１５は、画像データなどのデータを一時格納しておくためのメモリである。

画像処理回路１６は、バス１４を介して入力された入力画像データの画像処理を行う回路である。ここで、画像処理回路１６は、ホワイトバランス（ＷＢ）補正部２０と、同時化部２１と、Ｙ／Ｃ分離部２２と、色変換部２３と、ＪＰＥＧ圧縮部２４と、ヒストグラム算出部２５と、ヒストグラム修正部２６と、ヒストグラム累積部２７と、階調変換テーブル算出部２８と、階調変換部２９とから構成されている。ここで、上記階調変換特性決定部２は、ヒストグラム算出部２５と、ヒストグラム修正部２６と、ヒストグラム累積部２７と、階調変換テーブル算出部２８とが対応する。

固定階調変換特性記憶手段及び合成比記憶手段としてのＲＯＭ１７は、マイクロコンピュータ１１によって実行される各種制御プログラムや本カメラの各種設定値が格納されるメモリである。特に、ＲＯＭ１７には、デフォルト階調変換テーブル３０と、ノイズ特性情報３１と、階調合成比３２とが格納されている。

デフォルト階調変換テーブル３０はＲＯＭ１７にカメラ毎に固定的な特性として格納された標準的な特性を有する階調変換テーブルである。図３の実線でデフォルト階調変換テーブル３０の例を示す。ここで、図３の横軸は画像入力値を示す。なお、図３の画像入力値はＡ／Ｄ変換部１３から入力された画像データの画素値である。また、図３の左側の縦軸は階調変換後の出力値（８ビット出力）を示す。なお、ＲＯＭ１７に格納されるデフォルト階調変換テーブルは１つに限るものではない。例えば、複数の異なるデフォルト階調変換テーブルを格納しておき、ユーザが任意にデフォルト階調変換テーブルを選択できるようにしても良い。もしくは、撮影条件によって複数のデフォルト階調変換テーブルの中から最適なデフォルト階調変換テーブルが自動的に選択されるようにしても良い。

ノイズ特性情報３１はノイズ特性に関する情報であり、画像が撮影された際に、どの程度の量のノイズがどのような形でのってくるのかを示すものである。このノイズ特性情報３１は、ＲＯＭ１７に固定値として格納されている情報である。図４の実線でノイズ特性情報３１を示す。ここで、図４の横軸は入力値を示す。ここでの入力値も図３と同様にＡ／Ｄ変換部１３におけるＡ／Ｄ変換値である。また、図４の左側の縦軸はノイズ量を示す。図４に示すように、入力値が増加するとそれに伴ってノイズ量も増加する。また、図４では、入力値が０の場合にもノイズがあるが、これは暗電流成分である。

ここで、ノイズ特性情報３１は、撮影時の撮像部１２の撮影感度や温度、露出時間などに従って変化する量である。例えば、撮影時の撮影感度が高い場合にはノイズ量が多くなる。そこで、撮影感度の変化や温度変化、露出時間の変化に対応した複数のノイズ特性情報をＲＯＭ１７に格納しておくようにしておき、画像データ撮影時には、そのときの撮影感度や温度、露出時間に対応したノイズ特性情報を読み出せるようにしても良い。

また、近年のカメラにおいては、撮影時における画像のノイズを低減するノイズ低減処理機能を有するカメラも提案されてきているので、これに対応してノイズ低減処理がなされた状態のノイズ特性情報もＲＯＭ１７に記憶させておくようにしても良い。

階調合成比３２は、デフォルト階調変換テーブル３０と後で説明する累積ヒストグラムとを合成する際の合成比である。図５に階調合成比３２の例を示す。図５に示すように階調合成比３２はシーンモードに応じた値が格納される。ここで、シーンモードは、種々の設定で撮影を行うための撮影モードの１つであり、撮影時のシーンを設定することができるモードである。シーンモードの設定を行うことにより、それぞれのシーンに適した設定値が自動的に選択されて露出制御などが行われる。本一実施形態では、シーンモードに対応した階調合成比として、例えば標準的な設定で撮影を行うための標準モード、風景撮影に適した設定で撮影を行うための風景モード、人物撮影に適した設定で撮影を行うための人物モード、及び夜景撮影に適した設定で撮影を行うための夜景モードに対応した階調合成比を格納するようにしているが、これに限るものではない。

記録媒体１８は、画像処理回路１６において処理された画像が記録される記録メディアであって、例えばメモリカードなどから構成される。

操作部１９は、ユーザによって操作される各種操作部材である。ユーザによって操作部１９が操作されると、その操作状態に応じてマイクロコンピュータ１１により種々の制御が行われる。ここで、操作部１９としては、例えば撮影実行指示を行うレリーズボタンやシーンモードを選択するための選択ボタンなどを含む。

ストロボ発光部３３は、シーンが暗い場合や逆光シーンの場合などにおいて、露出補助のための発光を行う発光部であり、マイクロコンピュータ１１によって制御される。

図２のような構成を有するカメラにおける撮影制御について図６を参照して説明する。図６は、本発明の一実施形態に係る画像処理方法を含む撮影制御の手順について示すフローチャートである。ここで、図６のフローチャートは、ユーザによってレリーズボタンのＯＮ操作がなされることによって開始される。

ユーザによってレリーズボタンがＯＮされると、撮像部１２の出力に基づいて周知のＡＥ及びＡＦが行われる（ステップＳ１）。その後、露出制御が行われて（ステップＳ２）撮像部１２において記録用の画像信号が得られる。その後、撮像部１２において得られた記録用の画像信号の撮像処理が行われる（ステップＳ３）。この撮像処理においては、撮像部１２において得られた画像信号がＡ／Ｄ変換部１３においてＡ／Ｄ変換される。Ａ／Ｄ変換部１３で得られた画像データは、画像処理回路１６のＷＢ補正部２０に入力される。

ＷＢ補正部２０では、画像データのホワイトバランス補正が行われる（ステップＳ４）。ホワイトバランス補正においては、ＷＢ補正部２０に入力された画像の白色が適正になるように、画像データのＲゲインとＢゲインとが補正される。ＷＢ補正部２０においてホワイトバランス補正がなされた画像データは、同時化部２１に入力される。

同時化部２１では、同時化処理が行われる（ステップＳ５）。同時化処理においては、同時化部２１に入力された画像データから補間によってＲＧＢ３色を１画素成分とする画像データが生成される。同時化部２１において同時化処理がなされた画像データは、Ｙ／Ｃ分離部２２に入力される。

Ｙ／Ｃ分離部２２では、Ｙ／Ｃ分離処理が行われる（ステップＳ６）。Ｙ／Ｃ分離処理においては、入力された画像データがＹ（輝度）信号とＣ（色）信号に分離される。分離された信号のうち、Ｙ信号はヒストグラム算出部２５と階調変換部２９に、Ｃ信号は色変換部２３にそれぞれ入力される。

色変換部２３では、色変換処理が行われる（ステップＳ７）。色変換処理においては、色変換部２３に入力されたＣ信号がカメラ等でｓＲＧＢ等の標準色信号に変換される。色変換部２３で色変換された信号は、ＪＰＥＧ圧縮部２４に入力される。

ヒストグラム算出部２５では、ヒストグラム算出処理が行われる（ステップＳ８）。ヒストグラム算出処理においては、ヒストグラム算出部２５に入力されたＹ信号の各輝度入力の頻度値より、ヒストグラム（輝度ヒストグラム）が算出される。図７の実線でヒストグラム算出部２５において算出されたヒストグラムの例を示す。ここで、図７の横軸は輝度入力値を示す。また、図７の左側の縦軸は輝度分布、即ち輝度入力の頻度値を示す。ヒストグラム算出部２５において算出されたヒストグラムは、ヒストグラム修正部２６に入力される。

なお、本一実施形態では、ヒストグラムを画像データの輝度成分から算出するようにしているが、画像データの色成分のヒストグラムを算出するようにしても良い。この場合には、ＲＧＢ３色全てのヒストグラムを算出するようにしても良いし、Ｇ成分のみのヒストグラムを算出するようにしても良い。

ヒストグラム修正部２６では、ヒストグラム修正処理が行われる（ステップＳ９）。ヒストグラム修正処理においては、ＲＯＭ１７に格納されたノイズ特性情報３１に基づいてヒストグラム算出部２５で算出されたヒストグラムが修正される。

図８を参照してヒストグラム修正処理について説明する。ヒストグラム修正処理においては、まず、ＲＯＭ１７に格納されているデフォルト階調変換テーブル３０が読み出される（ステップＳ２１）。次に、デフォルト階調変換テーブル３０の傾きが算出される（ステップＳ２２）。ここで、デフォルト階調変換テーブル３０の傾きは、デフォルト階調変換テーブル３０を微分することによって得られる。例えば、デフォルト階調変換テーブル３０が図３の実線で示すものである場合、その傾きは図３の破線で示すものになる。

デフォルト階調変換テーブル３０の傾きが算出された後、ＲＯＭ１７に格納されているノイズ特性情報３１が読み出される（ステップＳ２３）。次に、階調変換後のノイズ量が推定される。階調変換後のノイズ量は、ノイズ量と階調変換後のノイズの増幅率との積である。ここで、階調変換後のノイズの増幅率は、ステップＳ２２で算出されたデフォルト階調変換テーブル３０の傾きで表される。したがって、階調変換後のノイズ量は、図４の実線で示すノイズ量と図３の破線で示すデフォルト階調変換テーブルの傾きとの積となり、その結果、得られる階調変換後のノイズ量は、図４の破線で示すものとなる。図４の破線で示すように、階調変換後には、元の画像において暗い部分にノイズ量のピークがくるようになる。これは、階調変換によって元の画像の暗い部分が伸長され、明るい部分が圧縮されるためである。

階調変換後のノイズ量が推定された後、ヒストグラムの修正を行うために、ヒストグラムの頻度値制限レベルが決定される（ステップＳ２４）。ここで、本一実施形態では、階調変換後のノイズが目立たなくなるようにヒストグラムの頻度値を制限する。このために、頻度値制限レベルとして、階調変換後のノイズ量の逆数が算出される。この頻度値制限レベルを図７の破線で示す。図７に示すように、階調変換後のノイズ量が大きくなる部分では頻度値の制限レベルが大きくなる。

ここで、本一実施形態では、ヒストグラムの頻度値制限レベルを階調変換後のノイズ量の逆数としているが、例えば逆数を算出した後に所定の演算を行って、より適切な頻度値制限レベルを求めるようにしても良い。

頻度値制限レベルが決定された後、ヒストグラムにおいて頻度値制限レベルを超えている部分が図９のようにして制限される（ステップＳ２５）。このようにして修正されたヒストグラムを用いて階調変換を行うことにより、階調変換後のノイズが目立たなくなる。

ここで、再び図６の説明に戻る。ヒストグラム修正部２６で修正されたヒストグラムは、ヒストグラム累積部２７に入力される。ヒストグラム累積部２７では、ヒストグラム累積処理が行われる（ステップＳ１０）。ヒストグラム累積処理においては、ヒストグラム累積部２７に入力されたヒストグラムが、低輝度成分側から順次累積される。

図１０に累積ヒストグラムの例を示す。ここで、図１０の実線はヒストグラム修正部２６でヒストグラムの修正を行う前の累積ヒストグラムを示す。また、図１０の破線はヒストグラム修正部２６でヒストグラムの修正を行った後の累積ヒストグラムを示す。ただし、ヒストグラム修正後の累積ヒストグラムは、累積頻度の最大値（頻度の総数に相当する）がヒストグラム修正前の累積頻度の最大値と一致するように正規化されているものである。ヒストグラム修正後の累積ヒストグラムにおいては、階調変換後にノイズ量が大きくなる部分の傾きが、ヒストグラム修正前の累積ヒストグラムに比べてなだらかになる。

ヒストグラム累積部２７で得られた累積ヒストグラムは階調変換テーブル算出部２８に入力される。階調変換テーブル算出部２８では、階調変換テーブル算出処理が行われる（ステップＳ１１）。

図１１を参照して階調変換テーブル算出処理について説明する。階調変換テーブル算出処理においては、ヒストグラム累積部２７で得られた累積ヒストグラムとＲＯＭ１７に格納されたデフォルト階調変換テーブル３０とが所定の合成比で合成されて、階調変換テーブルが算出される。

図１１において、まず、撮影時のシーンモード情報がチェックされる（ステップＳ３１）。次に、ステップＳ３１でチェックされたシーンモード情報に応じてＲＯＭ１７に格納された階調合成比の何れの比を選択すべきであるかが判断される（ステップＳ３２）。次に、判断された階調合成比に従ってデフォルト階調変換テーブル３０と累積ヒストグラムとが合成される（ステップＳ３３）。

図１２に、デフォルト階調変換テーブル３０と累積ヒストグラムとの合成の例を示す。ここで、図１２の細い実線は、デフォルト階調変換テーブルを示し、図１２の破線は累積ヒストグラムを示し、図１２の太い実線は合成後に得られる最終的な階調変換テーブルを示す。また、図１２の例においてシーンモードは標準モード（階調合成比０．５：０．５）である。即ち、図１２の例では、階調合成比が０．５：０．５であるので、合成後に得られる階調変換テーブルは、デフォルト階調変換テーブル３０と累積ヒストグラムの平均値となる。

また、図１２には図示していないが、風景のようにコントラストが高い被写体を撮影するような場合には、累積ヒストグラムのほうの比率を高くすることにより、より適切な階調表現を行えるようにする。逆に、人物の場合には、もともと被写体のコントラストが低く、必要以上にコントラストが上がることを避けるためデフォルト階調変換テーブルのほうを重視するようにする。更に、夜景の場合には、デフォルト階調変換テーブルのほうの比率を高くするようにして、もともと暗い画像が必要以上に明るくならないようにする。なお、夜景の場合にはデフォルト階調変換テーブルと累積ヒストグラムとの合成を行わないようにしても良い。

なお、階調合成比は、シーンモードに対応した値のみを格納しておくのに限るものではない。例えばストロボ発光の有無や露出を手動で行うか自動で行うかなどの設定に応じた階調合成比も同時に格納しておくようにしても良い。

図１３（ａ）は、カメラ側で自動的に露出を制御する自動露出モードにおける階調合成比の一例を示す図である。図１３（ａ）に示すように自動露出モードの場合には、撮影時の被写体輝度（ＢＶ）、撮影時における撮像部１２の撮影感度情報、ストロボ発光部３３の発光のＯＮ／ＯＦＦを示すストロボ情報に応じて階調合成比が決定される。

図１３（ａ）において、例えば、被写体が低輝度（ＢＶ低）かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボ発光部３３をＯＮの場合には、画像のコントラストが高めになるので、累積ヒストグラムのほうの比率を高くして暗い部分の画像が黒くつぶれてしまわないようにする。一方、被写体が高輝度（ＢＶ高）かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボ発光部３３をＯＮの場合には、ユーザが逆光の補正を行うためにストロボ発光部３３を発光させている可能性があるので、デフォルト階調テーブルと累積ヒストグラムの比率を同程度にしておく。

また、被写体が低輝度かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボ発光部３３をＯＦＦの場合にはユーザが意図してストロボ発光部３３をＯＦＦしている可能性があるので、デフォルト階調テーブルと累積ヒストグラムの比率を同程度にしておく。更に、被写体が高輝度かつ撮像部１２の撮影感度が低感度に設定されている状態でストロボ発光部３３をＯＦＦの場合には累積ヒストグラムのほうの比率を高くして、より適切な階調表現を行えるようにする。

また、撮像部１２の撮影感度が高感度に設定されている場合には、画像が全体的に明るくなるので、累積ヒストグラムのほうの比率を低感度の場合よりも低くして、暗い部分が必要以上に明るくならないようにする。

図１３（ｂ）は、手動で露出を制御する手動露出モードにおける階調合成比の一例を示す図である。図１３（ｂ）に示すように、手動露出モードにおいては、ユーザの作画意図を充分に反映させるために、累積ヒストグラムを合成せず、デフォルト階調変換テーブルのみを使用するようにする。

また、階調合成は、階調合成比を固定とした状態（階調合成比＝０．５：０．５）で撮影条件に応じてデフォルト階調変換テーブルのほうを変化させて合成するようにしても良い。

図１４（ａ）は、自動露出モードにおけるデフォルト階調テーブルの選択テーブルの一例を示す図である。図１４（ａ）に示すように自動露出モードにおけるデフォルト階調変換テーブルは、撮影時の被写体輝度（ＢＶ）、ストロボ発光部３３の発光のＯＮ／ＯＦＦを示すストロボ情報に応じて決定される。ここで、図１４（ａ）に示すγはデフォルト階調変換テーブルのγ値を示すものである。図１５に、通常のデフォルト階調変換テーブル（図では中と表記している）に対してγ値が低いデフォルト階調変換テーブルと通常のデフォルト階調変換テーブルに対してγ値が高いデフォルト階調変換テーブルの例をそれぞれ示す。図１５に示すように、γ値が高くなるほど、階調変換後の画像のコントラストが高くなるような特性を持つ階調変換テーブルとなる。

図１４（ａ）において、例えば、被写体が低輝度の状態でストロボ発光部３３をＯＮの場合には、画像のコントラストが高めになるので、γ値の低いデフォルト階調変換テーブルを選択して、暗い部分の画像が黒くつぶれてしまわないようにする。一方、被写体が高輝度の状態でストロボ発光部３３をＯＮの場合には、ユーザが逆光の補正を行うためにストロボ発光部３３を発光させている可能性があるので、通常のγ値のデフォルト階調テーブルを選択する。

また、被写体が低輝度の状態でストロボ発光部３３をＯＦＦの場合には、画像のコントラストを高めるために、γ値が高いデフォルト階調変換テーブルを選択する。若しくは、通常のγ値のデフォルト階調変換テーブルを選択する。更に、被写体が高輝度の状態でストロボ発光部３３をＯＦＦの場合にはγ値の低いデフォルト階調変換テーブルを選択して、より適切な階調表現を行えるようにする。

図１４（ｂ）は、手動露出モードにおけるデフォルト階調テーブルの選択テーブルの一例を示す図である。図１４（ｂ）に示すように、手動露出モードにおいては、ユーザの作画意図を充分に反映させるために、通常のγ値のデフォルト階調変換テーブルを選択するようにする。

ここで、再び図６の説明に戻る。階調変換テーブル算出部２８で算出された階調変換テーブルは階調変換部２９に入力される。階調変換部２９では、階調変換処理が行われる（ステップＳ１２）。階調変換処理においては、Ｙ／Ｃ分離部２２から入力されたＹ信号が階調変換テーブル算出部２８から入力された階調変換テーブルに基づいて階調変換される。階調変換されたＹ信号はＪＰＥＧ圧縮部２４に入力される。

ＪＰＥＧ圧縮部２４では、階調変換されたＹ信号と色変換されたＣ信号のＪＰＥＧ圧縮が行われる（ステップＳ１３）。その後、ＪＰＥＧ圧縮されたデータに上記撮影情報などのヘッダ情報が付加されて画像ファイルが作成され（ステップＳ１４）、作成された画像ファイルが記録媒体１８に記録される（ステップＳ１５）。これによって撮影制御が終了する。画像ファイルのヘッダ情報にも撮影情報を記録するようにしておくことで、後処理においても本一実施形態で説明した階調変換処理を行うことができるようになる。

以上説明したように、本一実施形態によれば、階調変換時の階調変換テーブル算出時に、撮影時のシーン情報を反映させることができるので、撮影シーンに最も適した階調変換処理を施すことができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、上記した一実施形態は画像撮影時のときのみについて説明しているが、画像再生時においても本発明の技術を適用可能である。

また、上記した一実施形態では、１画面内において全て同一の階調変換がなされる場合について説明しているが、１画面を複数の領域に分割し、分割された領域ごとに異なる条件で階調変換テーブルを算出するようにしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の一実施形態に係る画像処理装置の概念的な構成について示した図である。 図２は、本発明の一実施形態に係る画像処理装置を含む画像記録装置の一例としての、デジタルカメラの構成を示すブロック図である。 デフォルト階調変換テーブルの例を示した図である。 ノイズ特性情報の例を示した図である。 階調合成比の例を示した図である。 本発明の一実施形態に係る画像処理方法を含む撮影制御について示したフローチャートである。 ヒストグラムの例を示す図である。 ヒストグラム修正処理について示すフローチャートである。 頻度値制限後のヒストグラムについて示す図である。 累積ヒストグラムの例について示す図である。 階調変換テーブル算出処理について示すフローチャートである。 デフォルト階調変換テーブルと累積ヒストグラムとの合成の例を示す図である。 図１３（ａ）は自動露出モードにおける階調合成比の一例を示す図であり、図１３（ｂ）は手動露出モードにおける階調合成比の一例を示す図である。 図１４（ａ）は自動露出モードにおけるデフォルト階調テーブルの選択テーブルの一例を示す図であり、図１４（ｂ）は手動露出モードにおけるデフォルト階調テーブルの選択テーブルの一例を示す図である。 γ値の異なるデフォルト階調変換テーブルについて示す図である。

符号の説明

１，２５…ヒストグラム算出部、２…階調変換特性決定部、３…撮影情報、４，２９…階調変換部、５…固定階調変換特性記憶部、１１…マイクロコンピュータ（マイコン）、１２…撮像部、１３…Ａ／Ｄ変換部、１４…バス、１５…ＲＡＭ、１６…画像処理回路、１７…ＲＯＭ、１８…記録媒体、１９…操作部、２０…ホワイトバランス（ＷＢ）補正部、２１…同時化部、２２…Ｙ／Ｃ分離部、２３…色変換部、２４…ＪＰＥＧ圧縮部、２６…ヒストグラム修正部、２７…ヒストグラム累積部、２８…階調変換テーブル算出部、３３…ストロボ発光部

Claims (11)

1. 入力された画像データの画素値のヒストグラムを算出するヒストグラム算出手段と、
   上記画像データに一律的に適用可能であって固定的な特性を有する固定階調変換特性を少なくとも１つ記憶する固定階調変換特性記憶手段と、
   上記ヒストグラム算出手段で算出された上記ヒストグラムに基づいて階調変換特性を導出し、この導出された階調変換特性と上記固定階調変換特性記憶手段に記憶されている上記固定階調変換特性とを上記画像データが撮影された際の撮影情報に基づいて合成することで、上記画像データに階調変換処理を施す際の階調変換特性を決定する階調変換特性決定手段と、
   上記合成を行う際の合成比率を、上記撮影情報に対応付けて複数記憶する合成比記憶手段と、
   上記階調変換特性決定手段にて決定された上記階調変換特性に基づいて上記入力された画像データを階調変換する階調変換手段と、
   を具備し、
   上記階調変換特性決定手段は、上記画像データが撮影された際の撮影情報に基づいて上記合成比記憶手段に記憶された複数の合成比率の中から合成時の合成比率を決定して上記合成を行うことを特徴とする画像処理装置。
2. 上記固定階調変換特性記憶手段には、複数の固定階調変換特性が記憶されており、
   上記階調変換特性決定手段は、上記画像データが撮影された際の撮影情報に基づいて上記複数の固定階調変換特性の中から合成時の固定階調変換特性を選択し、選択した固定階調変換特性と上記導出された階調変換特性とを合成することを特徴とする請求項１に記載の画像処理装置。
3. 上記撮影情報は、上記画像データが撮影された際のシーンを示す情報、上記画像データが撮影された際にストロボ発光がなされたか否かを示すストロボ情報、上記画像データが自動露出で撮影されたか否かを示す情報、上記画像データが撮影された際の撮影感度情報の少なくとも何れかを含むことを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記画像データが撮影された際のシーンを示す情報は、撮影者による操作部材の操作によって指定される情報であることを特徴とする請求項３に記載の画像処理装置。
5. 上記導出された階調変換特性は、上記ヒストグラム算出手段で算出された上記ヒストグラムから導出された累積ヒストグラムであることを特徴とする請求項１に記載の画像処理装置。
6. 被写界を撮像して画像データを得る撮像手段と、
   上記撮像手段によって得られた画像データの画素値のヒストグラムを算出するヒストグラム算出手段と、
   上記画像データに一律的に適用可能であって固定的な特性を有する固定階調変換特性を少なくとも１つ記憶する固定階調変換特性記憶手段と、
   上記ヒストグラム算出手段で算出された上記ヒストグラムに基づいて階調変換特性を導出し、この導出された階調変換特性と上記固定階調変換特性記憶手段に記憶されている上記固定階調変換特性とを上記画像データが撮影された際の撮影情報に基づいて合成することで、上記画像データに階調変換処理を施す際の階調変換特性を決定する階調変換特性決定手段と、
   上記合成を行う際の合成比率を、上記撮影情報に対応付けて複数記憶する合成比記憶手段と、
   上記階調変換特性決定手段にて決定された上記階調変換特性に基づき、上記入力された画像データを階調変換する階調変換手段と、
   上記階調変換手段によって階調変換された画像データを記録媒体に記録する記録手段と、
   を具備し、
   上記階調変換特性決定手段は、上記画像データが撮影された際の撮影情報に基づいて上記合成比記憶手段に記憶された複数の合成比率の中から合成時の合成比率を決定して上記合成を行うことを特徴とする画像記録装置。
7. 入力された画像データの画素値のヒストグラムを算出するヒストグラム算出工程と、
   上記ヒストグラム算出工程において算出された上記ヒストグラムに基づいて階調変換特性を導出する階調変換特性導出工程と、
   上記導出された階調変換特性と、撮影情報に対応付けてメモリに記憶され上記画像データに一律的に適用可能であって固定的な特性を有する固定階調変換特性とを上記画像データが撮影された際の撮影情報に基づいて合成することで、上記画像データに階調変換処理を施す際の階調変換特性を決定する階調変換特性決定工程と、
   上記階調変換特性決定工程において決定された上記階調変換特性に基づき、上記入力された画像データを階調変換する階調変換工程と、
   を有し、
   上記階調変換特性決定工程は、上記画像データが撮影された際の撮影情報に基づいて、上記メモリに撮影情報に対応付けて記憶された複数の合成比率の中から合成時の合成比率を決定して上記合成を行うことを特徴とする画像処理方法。
8. 上記固定階調変換特性は、上記撮影情報に応じた複数の固定階調変換特性を含んでおり、
   上記階調変換特性決定工程において行われる上記合成は、上記導出された階調変換特性と上記撮影情報に基づいて決定された固定階調変換特性とを合成することで行われることを特徴とする請求項７に記載の画像処理方法。
9. 上記撮影情報は、上記画像データが撮影された際のシーンを示す情報、上記画像データが撮影された際にストロボ発光がなされたか否かを示すストロボ情報、上記画像データが自動露出で撮影されたか否かを示す情報、上記画像データが撮影された際の撮影感度情報の少なくとも何れかを含むことを特徴とする請求項７に記載の画像処理方法。
10. 上記画像データが撮影された際のシーンを示す情報は、撮影者による操作部材の操作によって指定される情報であることを特徴とする請求項９に記載の画像処理方法。
11. 上記導出された階調変換特性は、上記ヒストグラム算出工程において算出された上記ヒストグラムから導出された累積ヒストグラムであることを特徴とする請求項７に記載の画像処理方法。

Images