JP4944639B2 - 画像処理装置、画像処理方法及び撮影装置 - Google Patents

Description

本発明は画像処理装置、画像処理方法及び撮影装置に係り、特にカラー撮像素子により取得した画像信号を処理するための画像処理装置、画像処理方法及び撮影装置に関する。

特許文献１には、ホワイトバランス調整手段によるホワイトバランス調整前又は調整後の１つの色信号のレベルに応じて、ホワイトバランス調整手段によるホワイトバランス調整後の他の色信号のクリップレベルを設定するカラー撮像装置が開示されている。
特開２０００−１３８０８号公報

従来、撮像素子の分光特性に起因する色再現の不良を改善するためにリニアマトリクス処理等の画像処理が行われている。ところで、デジタルの画像信号の信号レベルはダイナミックレンジによって制限される。このため、上記の画像処理の結果、画像信号の信号レベル（輝度レベル）が規定のビット幅（ダイナミックレンジ）内に収まらなくなった場合、信号レベルが高い側（高輝度部）又は低い側（低輝度部）がクリップされてしまう。このように、画像信号の一部がクリップされると、高輝度部又は低輝度部で色づき（偽色）が発生するという問題があった。更に、クリップされた部分の情報が失われてしまうため、階調とび（階調落ち）等の新たな問題が発生するという問題があった。

特許文献１は、ホワイトバランス調整後の色信号のクリップレベルを設定することにより高輝度部で発生する色づきの問題を軽減するものであるが、クリップレベルの制限から偽色をゼロにするのは困難であった。また、色信号のクリップされた部分の情報が失われてしまうため、階調とび等の新たな問題が発生する。更に、画像処理に起因する問題は低輝度部でも発生しうるが、引用文献１は低輝度部における問題を解決するものではなかった。

本発明はこのような事情に鑑みてなされたもので、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを軽減することができる画像処理装置、画像処理方法及び撮影装置を提供することを目的とする。

上記課題を解決するために、本願発明１に係る画像処理装置は、デジタルの画像信号を取得する画像取得手段と、前記画像取得手段によって取得された画像信号に対して画像処理を施す画像処理手段と、前記画像処理が施された画像信号の信号レベルが規定のビット幅に収まるように、所定の重み付け関数に従って、前記画像処理が施される前の処理前画像信号と、前記画像処理が施された後の処理済画像信号の重み付け演算を行い、記録用の画像信号を取得する演算手段と、前記記録用の画像信号を記録する画像記録手段とを備えることを特徴とする。

本願発明１によれば、画像処理前後の画像信号の重み付け演算を行って得られた画像信号を記録用の画像信号とすることにより、処理済画像信号が規定のビット幅（ダイナミックレンジ）内に収まらず、信号レベルが高い画素（高輝度部）及び信号レベルが低い画素（低輝度部）の画像信号がクリップされて、階調特性情報が失われる問題を回避できる。これにより、色再現性を保ちつつ、画像処理に起因する画像信号のオーバーフロー及びアンダーフローを軽減することができるので、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを軽減することができる。

本願発明２は、本願発明１の画像処理装置において、前記画像処理手段は、前記画像信号に対してリニアマトリクス処理を施すことを特徴とする。

高輝度部又は低輝度部で画像信号がクリップされる問題はリニアマトリクス処理時に生じやすいので、本願発明２によれば、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを効果的に軽減することができる。

本願発明３は、本願発明１又は２の画像処理装置において、前記画像取得手段は、色ごとの画像信号を取得し、前記演算手段は、前記画像信号の色ごとに重み付け演算を行うことを特徴とする。

本願発明３によれば、画像処理前後の画像信号に対して、色ごとに重み付け演算を行うことにより、色ごとに良好な階調表現が得られる。

本願発明４は、本願発明１から３の画像処理装置において、前記デジタルの画像信号の撮影時における撮影条件情報を取得する撮影条件情報取得手段を更に備え、前記演算手段は、前記撮影条件情報に基づいて前記重み付け関数を設定することを特徴とする。

本願発明４によれば、撮影条件情報に基づいて信号レベルのオーバーフロー及びアンダーフローが起こりにくいように重み付け関数を設定することにより、高輝度部及び低輝度部の階調特性情報が失われる問題を回避できる。これにより、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを軽減することができる。

本願発明５は、本願発明１から４の画像処理装置において、前記画像取得手段によって取得された画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段を更に備え、前記演算手段は、前記ホワイトバランス調整処理におけるホワイトバランスゲインに基づいて前記重み付け関数を設定することを特徴とする。

本願発明５によれば、ホワイトバランスゲインに応じて信号レベルのオーバーフロー及びアンダーフローが起こりにくいように重み付け関数を設定することにより、高輝度部及び低輝度部の階調特性情報が失われる問題を回避できる。

本願発明６は、本願発明５の画像処理装置において、前記演算手段は、前記画像信号の各色成分に対するホワイトバランスゲインの平均値に基づいて前記重み付け関数を設定することを特徴とする。

本願発明７は、本願発明５又は６の画像処理装置において、前記演算手段は、前記ホワイトバランスゲインが所定値以上の場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明７によれば、ホワイトバランスゲインが大きい場合に、信号レベルのオーバーフローが起こりにくくなるように重み付け関数を設定することにより、高輝度部の階調特性情報が失われる問題を回避できる。

本願発明８は、本願発明５から７の画像処理装置において、前記演算手段は、前記ホワイトバランスゲインが所定値未満の場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明８によれば、ホワイトバランスゲインが小さい場合に、信号レベルのアンダーフローが起こりにくくなるように重み付け関数を設定することにより、低輝度部の階調特性情報が失われる問題を回避できる。

本願発明９は、本願発明１から８の画像処理装置において、前記画像取得手段によって取得された画像信号に対して露出補正を施す露出補正手段を更に備え、前記演算手段は、前記露出補正の条件に基づいて前記重み付け関数を設定することを特徴とする。

本願発明９によれば、露出補正の条件に応じて信号レベルのオーバーフロー及びアンダーフローが起こりにくいように重み付け関数を設定することにより、高輝度部及び低輝度部の階調特性情報が失われる問題を回避できる。

本願発明１０は、本願発明９の画像処理装置において、前記演算手段は、前記露出補正手段によってプラス補正が行われた場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明１０によれば、露出をプラス方向に補正する場合に、信号レベルのオーバーフローが起こりにくくなるように重み付け関数を設定することにより、高輝度部の階調特性情報が失われる問題を回避できる。

本願発明１１は、本願発明９又は１０の画像処理装置において、前記演算手段は、前記露出補正手段によってマイナス補正が行われた場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明１１によれば、露出をマイナス方向に補正する場合に、信号レベルのアンダーフローが起こりにくくなるように重み付け関数を設定することにより、低輝度部の階調特性情報が失われる問題を回避できる。

本願発明１２は、本願発明１から１１の画像処理装置において、前記画像取得手段によって取得された画像信号又は前記画像処理が施された画像信号の信号レベルごとの画素数の分布を取得する信号レベル分布取得手段を更に備え、前記演算手段は、前記画像信号の信号レベルごとの画素数の分布に基づいて前記重み付け関数を設定することを特徴とする。

本願発明１２によれば、信号レベルごとの画素数の分布に応じて信号レベルのオーバーフロー及びアンダーフローが起こりにくいように重み付け関数を設定することにより、高輝度部及び低輝度部の階調特性情報が失われる問題を回避できる。

本願発明１３は、本願発明１２の画像処理装置において、前記演算手段は、前記信号レベルが高い側の画素数が多い場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明１３によれば、信号レベルが高い側の画素数が多い場合に、信号レベルのオーバーフローが起こりにくくなるように重み付け関数を設定することにより、高輝度部の階調特性情報が失われる問題を回避できる。

本願発明１４は、本願発明１２又は１３の画像処理装置において、前記演算手段は、前記信号レベルが低い側の画素数が多い場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明１４によれば、信号レベルが低い側の画素数が多い場合に、信号レベルのアンダーフローが起こりにくくなるように重み付け関数を設定することにより、低輝度部の階調特性情報が失われる問題を回避できる。

本願発明１５は、本願発明１から１４の画像処理装置において、前記画像取得手段によって取得された画像信号に対して階調補正を施す階調補正手段を更に備え、前記演算手段は、前記階調補正の条件に基づいて前記重み付け関数を設定することを特徴とする。

本願発明１５によれば、階調補正の条件（階調変換特性）に応じて信号レベルのオーバーフロー及びアンダーフローが起こりにくいように重み付け関数を設定することにより、高輝度部及び低輝度部の階調特性情報が失われる問題を回避できる。

本願発明１６は、本願発明１５の画像処理装置において、前記演算手段は、低い側の画像信号の信号レベルを上げる階調補正が行われた場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を大きくすることを特徴とする。

即ち、本願発明１６では、信号レベルが低い側の画像信号の信号レベルを上げる階調補正が行われた場合には、アンダーフローが起こりにくくなるため、低輝度部における処理済画像信号の重み付けの比率を大きくする。これにより、信号レベルのオーバーフロー及びアンダーフローにより階調特性情報が失われる問題を回避しつつ、低輝度部における色再現性を高めることができる。

本願発明１７は、本願発明１５又は１６の画像処理装置において、前記演算手段は、低い側の画像信号の信号レベルを下げる階調補正が行われた場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明１７によれば、低い側の画像信号の信号レベルを下げる階調補正が行われた場合に、信号レベルのアンダーフローが起こりにくくなるように重み付け関数を設定することにより、低輝度部の階調特性情報が失われる問題を回避できる。

本願発明１８は、本願発明１５から１７の画像処理装置において、前記演算手段は、高い側の画像信号の信号レベルを上げる階調補正が行われた場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする。

本願発明１８によれば、高い側の画像信号の信号レベルを上げる階調補正が行われた場合に、信号レベルのオーバーフローが起こりにくくなるように重み付け関数を設定することにより、高輝度部の階調特性情報が失われる問題を回避できる。

本願発明１９は、本願発明１５から１８の画像処理装置において、前記演算手段は、高い側の画像信号の信号レベルを下げる階調補正が行われた場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を大きくすることを特徴とする。

即ち、本願発明１９では、信号レベルが高い側の画像信号の信号レベルを下げる階調補正が行われた場合には、オーバーフローが起こりにくくなるため、高輝度部における処理済画像信号の重み付けの比率を大きくする。これにより、信号レベルのオーバーフロー及びアンダーフローにより階調特性情報が失われる問題を回避しつつ、高輝度部における色再現性を高めることができる。

本願発明２０に係る撮影装置は、画像を撮影してデジタルの画像信号を取得する撮影手段と、前記撮影手段によって取得されたデジタルの画像信号に対して所定の画像処理を施す本願発明１から１９の画像処理装置とを備えることを特徴とする。

本願発明２０に係る撮影装置によれば、本願発明に係る画像処理装置を備えたことにより、リニアマトリクス処理等の画像処理を施すことにより、画像の色再現性を高めつつ、信号レベル（輝度）のオーバーフロー及びアンダーフローにより色の階調特性に関する情報が失われる問題を回避することができる。

本願発明２１に係る画像処理方法は、デジタルの画像信号を取得する画像取得工程と、前記画像取得工程において取得した画像信号に対して画像処理を施す画像処理工程と、前記画像処理が施された画像信号の信号レベルが規定のビット幅に収まるように、所定の重み付け関数に従って、前記画像処理が施される前の処理前画像信号と、前記画像処理が施された後の処理済画像信号の重み付け演算を行い、記録用の画像信号を取得する演算工程と、前記記録用の画像信号を記録する画像記録工程とを備えることを特徴とする。

本願発明２２は、本願発明２１の画像処理方法において、前記画像取得工程において取得した画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整工程を更に備え、前記演算工程では、前記ホワイトバランス調整工程におけるホワイトバランスゲインに基づいて前記重み付け関数を設定することを特徴とする。

本願発明２３は、本願発明２１又は２２の画像処理方法において、前記画像取得工程において取得した画像信号に対して露出補正を施す露出補正工程を更に備え、前記演算工程では、前記露出補正の条件に基づいて前記重み付け関数を設定することを特徴とする。

本願発明２４は、本願発明２１から２３の画像処理方法において、前記画像取得工程において取得した画像信号又は前記画像処理が施された画像信号の信号レベルごとの画素数の分布を取得する信号レベル分布取得工程を更に備え、前記演算工程では、前記画像信号の信号レベルごとの画素数の分布に基づいて前記重み付け関数を設定することを特徴とする。

本願発明２５は、本願発明２１から２４の画像処理方法において、前記画像取得工程において取得した画像信号に対して階調補正を施す階調補正工程を更に備え、前記演算工程では、前記階調補正の条件に基づいて前記重み付け関数を設定することを特徴とする。

本発明によれば、画像処理前後の画像信号の重み付け演算を行って得られた画像信号を記録用の画像信号とすることにより、処理済画像信号が規定のビット幅（ダイナミックレンジ）内に収まらず、信号レベルが高い画素（高輝度部）及び信号レベルが低い画素（低輝度部）の画像信号がクリップされて、階調特性情報が失われる問題を回避できる。これにより、色再現性を保ちつつ、画像処理に起因する画像信号のオーバーフロー及びアンダーフローを軽減することができるので、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを軽減することができる。

以下、添付図面に従って本発明に係る画像処理装置、画像処理方法及び撮影装置の好ましい実施の形態について説明する。

［第１の実施形態］
図３は、本発明の第１の実施形態に係る画像処理装置を備えた撮影装置の主要構成を示すブロック図である。図３に示すように、ＣＰＵ１２は、バス１４を介して撮影装置１０（以下、カメラ１０と記載する）内の各部に接続されており、操作部１６等からの操作入力に基づいてカメラ１０の動作を制御する統括制御部である。ＣＰＵ１２は、操作部１６からの入力信号に基づいてカメラ１０の各部を制御し、例えば、レンズユニット２８の駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示部４０の表示制御等を行う。

操作部１６は、電源スイッチ、動作モード切り替えスイッチ、撮影モード切り替えスイッチ、顔検出機能オン／オフスイッチ、レリーズボタン、メニュー／ＯＫキー、十字キー、キャンセルキー及びフラッシュボタンを含んでいる。

電源スイッチは、カメラ１０の電源のオン／オフを制御するための操作手段である。

動作モード切り替えスイッチは、カメラ１０の動作モードを、撮影モードと再生モードとの間で切り替えるための操作手段である。

撮影モード切り替えスイッチは、カメラ１０の撮影モードを切り替えるための操作手段である。カメラ１０の撮影モードは、シーンポジション（例えば、ナチュラルフォト、人物、風景、スポーツ、夜景、水中、接写（花等）又はテキスト文章）に応じてフォーカスや露出を最適化して撮影するためのシーンポジションモード、フォーカスや露出を自動的に設定するオートモード、フォーカスや露出をマニュアルで設定可能なマニュアルモード又は動画撮影モードに切り替え可能となっている。

顔検出機能オン／オフスイッチは、撮影した画像から顔を検出する顔検出モードのオン／オフを制御する。

レリーズボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にオンするＳ１スイッチと、全押し時にオンするＳ２スイッチとを有する２段ストローク式のスイッチにより構成されている。

メニュー／ＯＫキーは、画像表示部４０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行等を指令するＯＫボタンとしての機能とを兼備した操作キーである。

十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上キー及び下キーは撮影モード時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左キー及び右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

キャンセルキーは、選択項目等の所望の対象の消去や指示内容の取り消し、あるいは１つ前の操作状態に戻す時等に使用される。

フラッシュボタンは、フラッシュモードを切り替えるボタンとして機能し、撮影モードの下、フラッシュボタンを押圧操作することにより、フラッシュモードが、フラッシュ発光／発光禁止の各モードに設定される。

ＲＯＭ１８には、ＣＰＵ１２が処理するプログラム及び制御に必要な各種データ等が格納される。ＲＡＭ２０には、ＣＰＵ１２が各種の演算処理等を行う作業用領域及び画像処理領域が含まれている。

カメラ１０は、メディアソケット（メディア装着部）を有しており、記録メディア２２を装着することができる。記録メディア２２の形態は特に限定されず、ｘＤピクチャカード（登録商標）、ＳＤカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の種々の媒体を用いることができる。メディアコントローラ２４は、記録メディア２２に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、カメラ１０は、インターネットや携帯電話用の通信網等の公衆回線網に接続するための通信手段として通信インターフェース部（通信Ｉ／Ｆ）２６を備えている。

次に、カメラ１０の撮影機能について説明する。撮影モード時には、撮像素子３０を含む撮像部に電源が供給され、画像の撮影が可能な状態になる。本実施形態では、撮像素子３０として、単板式のカラーＣＣＤ固体撮像素子を採用しており、以下の説明では単にＣＣＤ３０と記載する。なお、撮像素子３０としては、３板式のＣＣＤやＣＭＯＳセンサ等の他の撮像素子を用いてもよい。

レンズユニット２８は、フォーカスレンズ及びズームレンズを含む撮影レンズと、絞りとを含む光学ユニットである。レンズ駆動部２８Ａは、フォーカスレンズ、ズームレンズ及び絞りを移動させるためのモータ及び上記レンズの位置を検出するためのセンサ等を備える。ＣＰＵ１２は、レンズ駆動部２８Ａに制御信号を出力して、撮影レンズのフォーカシング、ズーミング及び絞りの制御を行う。

レンズユニット２８を通過した光は、ＣＣＤ３０の受光面に結像される。ＣＣＤ３０の受光面には多数のフォトダイオード（受光素子）が２次元的に配列されており、各フォトダイオードには赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＣＣＤ３０の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。この信号電荷は、電荷量に応じたＲ、Ｇ、Ｂの電圧信号（画像信号）として順次読み出される。ＣＣＤ３０は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、撮影制御部３０Ａを介して、ＣＣＤ３０からの信号電荷の読み出しタイミング及びＣＣＤ３０のフォトダイオードの電荷蓄積時間を制御する。

ＣＣＤ３０から読み出されたＲ、Ｇ、Ｂの画像信号は、アナログ処理部（ＣＤＳ／ＡＭＰ）３２によって、ＣＣＤ３０の画素ごとにサンプリングホールド（相関２重サンプリング処理）されて増幅された後、Ａ／Ｄ変換器３４に加えられてデジタル信号に変換される。Ａ／Ｄ変換器３４によってデジタル信号に変換されたＲ、Ｇ、Ｂ信号は、画像入力制御部３６を介してＲＡＭ２０に格納される。

画像処理部３８は、ＣＰＵ１２からの指令に従ってＲＡＭ２０に記憶されたデジタルのＲ、Ｇ、Ｂ信号を読み出し、ＲＡＭ２０を活用しながらオフセット補正、ホワイトバランス調整、階調補正、リニアマトリクス処理、同時化処理等の所定の信号処理を施すとともに、Ｒ、Ｇ、Ｂ信号を輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）に変換してＲＡＭ２０に格納する。なお、画像処理部３８の詳細については後述する。

撮影画像を画像表示部４０（例えば、液晶モニタ）にモニタ出力する場合には、ＲＡＭ２０に格納されたＹ／Ｃ信号が読み出されて、バス１４を介して表示制御部４２に送られる。表示制御部４２は、入力されたＹ／Ｃ信号を表示用の所定方式のビデオ信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して画像表示部４０に出力する。

ライブビュー画像（スルー画）の表示を行う際には、ＣＣＤ３０から出力される画像信号によってＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が画像表示部４０に供給される。これにより、撮影中の映像（スルー画）がリアルタイムに画像表示部４０に表示される。撮影者は、画像表示部４０に表示されるスルー画によって撮影画角を確認できる。

レリーズボタンが半押しされると（Ｓ１オン）、ＣＣＤ３０から出力された画像信号はＡ／Ｄ変換後に画像入力制御部３６を介してＣＰＵ１２に入力されてＡＥ処理及びＡＦ処理が開始される。

積算部４８は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割して、この分割エリアごとにＲ、Ｇ、Ｂの画像信号を積算し、ＣＰＵ１２に提供する。ＣＰＵ１２は、この積算値に基づいて被写体の明るさ（被写体輝度）を検出して撮影に適した露出値（撮影ＥＶ値）を算出し、この露出値と所定のプログラム線図に従って絞り値とシャッタースピードを決定して、ＣＣＤ３０の電子シャッター及び絞りを制御して適正な露光量を得る。

更に、ＣＰＵ１２は、フラッシュ発光モードに設定された場合にフラッシュ制御部４４にコマンドを送って動作させる。フラッシュ制御部４４は、フラッシュ発光部４６（放電管）を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ１２からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部４６への放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光部４６としては、放電管のほかＬＥＤを用いることも可能である。

また、ＣＰＵ１２は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出して、分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、Ｒ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種の判別を行う。そして、ＣＰＵ１２は、判別された光源種に応じてＲ、Ｇ、Ｂの画像信号に対するゲイン値（ホワイトバランスゲイン）を制御し、Ｒ、Ｇ、Ｂの各色チャンネルの画像信号に補正をかける。

カメラ１０におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズを移動させるコントラストＡＦが適用される。積算部４８は、ＣＣＤ３０の有効画素領域の一部（例えば、有効画素領域の中央部）に予め設定されているＡＦエリア内の信号を切り出して、ハイパスフィルタによりＡＦエリア内のＧ信号の高周波成分のみを通過させ、この高周波成分の絶対値データを積算し、ＡＦエリア内の被写体像に関する焦点評価値（ＡＦ評価値）を算出する。

ＣＰＵ１２は、レンズ駆動部２８Ａを制御してフォーカスレンズを移動させながら、積算部４８により複数のＡＦ検出ポイントで焦点評価値を演算し、焦点評価値が極大となるフォーカスレンズの位置（フォーカス位置）を合焦位置として決定する。そして、ＣＰＵ１２は、レンズ駆動部２８Ａを制御して、決定した合焦位置にフォーカスレンズを移動させる。なお、焦点評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

レリーズボタンが半押し（Ｓ１オン）されてＡＥ／ＡＦ処理が行われた後、レリーズボタンが全押しされると（Ｓ２オン）、合焦判定が行われて、必要に応じてＡＦ制御が再実行された後、記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像処理部３８において輝度／色差信号（Ｙ／Ｃ信号）に変換されるとともに、ガンマ補正等の所定の処理が施された後、ＲＡＭ２０に格納される。

ＲＡＭ２０に格納されたＹ／Ｃ信号は、圧縮・伸張処理部５０によって所定のフォーマットに従って圧縮された後、メディア制御部２４を介して記録メディア２２に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式、動画についてはＡＶＩ（Audio Video Interleaving）形式、Motion-JPEGの画像ファイルとして記録される。

再生モード時には、記録メディア２２に記録されている最終の画像ファイル（最後に記録された画像ファイル）の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画の場合、読み出された圧縮データは、圧縮・伸張処理部５０によって非圧縮のＹ／Ｃ信号に伸張され、画像処理部３８及び表示制御部４２によって表示用の信号に変換された後、画像表示部４０に出力される。これにより、当該画像ファイルの画像内容が画像表示部４０に表示される。

静止画の１コマ再生中（動画の先頭フレーム再生中も含む）に、十字ボタンの右ボタン又は左ボタンを操作することによって、再生対象の画像ファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルは記録メディア２２から読み出され、上記と同様にして静止画や動画が画像表示部４０に再生表示される。

［画像処理部３８の構成］
図４は、本実施形態に係る画像処理部３８の主要構成を示すブロック図である。図４に示すように、画像処理部３８は、オフセット補正回路６０、ホワイトバランス調整回路６２、階調補正回路６４、リニアマトリクス処理回路６６、同時化処理回路６８、ＲＧＢ−ＹＣ変換処理回路７０、輪郭補正回路７２及び色差マトリクス処理回路７４を備えている。

オフセット補正回路６０は、ＲＡＭ２０から読み出した点順次のＲ、Ｇ、Ｂ信号に対してオフセット補正を施し、黒バランスの調整を行う。

ホワイトバランス調整回路６２は、オフセット補正された点順次のＲ、Ｇ、Ｂ信号に対してホワイトバランス調整を施す。

階調補正回路６４は、ホワイトバランス調整回路６２から出力された点順次のＲ、Ｇ、Ｂ信号に対して階調補正（ガンマ補正及びニー補正）を施す。

リニアマトリクス処理回路６６は、階調補正された点順次のＲ、Ｇ、Ｂ信号に対してリニアマトリクス演算を施して色再現誤差の補正を行う。

同時化処理回路６８は、ＣＣＤ３０の各画素位置におけるＲ、Ｇ、Ｂ信号を補間演算により求める同時化処理を行う。本実施形態では、ＣＣＤ３０は単板式であるため、ＣＣＤ３０の各フォトダイオード（画素）からは、Ｒ、Ｇ、Ｂのいずれか１色の信号しか出力されない。このため、同時化処理回路６８を設けて、各画素から出力されない色をその周囲の画素の色信号から補間演算により求める。例えば、Ｒ信号を出力する画素の位置におけるＧ、Ｂ信号がどの程度になるかをその周囲の画素のＧ、Ｂ信号から補間演算により求める。なお、ＲＧＢ補間演算は、単板式のＣＣＤに特有のものなので、３板式のＣＣＤを用いる場合には不要となる。

ＲＧＢ−ＹＣ変換処理回路７０は、同時化処理回路６８により同時化されたＲ、Ｇ、Ｂ信号を輝度／色差信号（Ｙ／Ｃ信号）に変換する。

輪郭補正回路７２は、ＲＧＢ−ＹＣ変換処理回路７０により生成された輝度信号Ｙに対して輪郭補正を施し、色差マトリクス処理回路７４は、ＲＧＢ−ＹＣ変換処理回路７０により生成された色差信号Ｃｒ、Ｃｂに対して所定の色差マトリクス演算を施して色調補正を行う。そして、輪郭補正回路７２及び色差マトリクス処理回路７４から出力されたＹ／Ｃ信号はＲＡＭ２０に格納される。

［リニアマトリクス処理回路６６の構成］
次に、リニアマトリクス処理回路６６について説明する。図１は、本実施形態に係るリニアマトリクス処理回路６６の主要構成を示すブロック図である。図１に示すように、リニアマトリクス処理回路６６は、画像処理演算部８０、重み付け関数設定部８２及び重み付け演算部８４を備えている。

画像処理演算部８０は、階調補正回路６４によって階調補正が施された画像信号Ａを取得してリニアマトリクス処理を施す。以下の説明では、リニアマトリクス処理が施された後の画像信号Ａを処理済画像信号Ａ’と記載する。

重み付け関数設定部８２は、処理済画像信号Ａ’の画素ごとの信号レベル（画素レベル）に応じて重み付け関数に従って重み付け関数ｗ（Ａ’）（ｗ≦１）を設定し、重み付け係数ｗを演算する。

重み付け演算部８４は、乗算回路８６及び９０、減算回路８８、加算回路９２を含んでおり、下記の式（１）に示す重み付け演算を行って画像信号Ａ”を演算し、出力する。

Ａ”＝ｗ×Ａ’＋（１−ｗ）×Ａ …（１）
ここで、重み付け係数ｗは、処理済画像信号Ａ’の画素レベルがカメラ１０のダイナミックレンジ内に収まっている場合にはｗ＝１となり、処理済画像信号Ａ’の画素レベルがカメラ１０のダイナミックレンジ内に収まらない場合にはｗ＝ｗ０となる。ここで、ｗ０は、処理済画像信号Ａ’の画素レベルに応じて定まる数であり、例えば、０≦ｗ０≦１である。ｗ０は、例えば、上記の式（１）により得られる画像信号Ａ”の画素レベルの最大値及び最小値がカメラ１０のダイナミックレンジ内に収まるように設定される。

［重み付け演算処理］
次に、本実施形態に係る重み付け演算処理の流れについて、図２のフローチャートを参照して説明する。まず、画像処理部３８に画像信号Ａが入力されると、画像処理演算部８０によって画像信号Ａにリニアマトリクス処理が施されて、処理済画像信号Ａ’が出力される（ステップＳ１０）。次に、処理済画像信号Ａ’の画素レベルが第１の所定値より大きく（ステップＳ１２のＮｏ）、且つ、第２の所定値より小さい場合には（ステップＳ１４のＮｏ）、重み付け係数がｗ＝１に設定されて（ステップＳ１６）、上記の式（１）に従って重み付け演算が行われる（ステップＳ１８）。なお、第１、第２の所定値は、デジタルの画像信号のダイナミックレンジ（ビット幅）を規定する値であり、（第１の所定値）＜（第２の所定値）である。

一方、処理済画像信号Ａ’の画素レベルが第１の所定値より大きく（ステップＳ１２のＮｏ）、且つ、第２の所定値以上の場合には（ステップＳ１４のＹｅｓ）、重み付け係数がｗ＝ｗ１（ｗ１＜１）に設定されて（ステップＳ２０）、上記の式（１）に従って重み付け演算が行われる（ステップＳ１８）。また、処理済画像信号Ａ’の画素レベルが第１の所定値以下の場合には（ステップＳ１２のＹｅｓ）、重み付け係数がｗ＝ｗ２（ｗ２＜１）に設定されて（ステップＳ２２）、上記の式（１）に従って重み付け演算が行われる（ステップＳ１８）。上記の処理をＣＣＤ３０のすべての画素から出力される画像信号に対して繰り返すことにより、リニアマトリクス処理前の画像信号Ａの階調特性情報を含む画像信号Ａ”を得ることができる。

本実施形態によれば、リニアマトリクス処理前後の画像信号Ａ、Ａ’の重み付け演算を行うことにより、リニアマトリクス処理された処理済画像信号Ａ’がカメラ１０のダイナミックレンジ内に収まらず、信号レベルが高い画素（高輝度部）及び信号レベルが低い画素（低輝度部）の画像信号がクリップされて、階調特性情報が失われる問題を回避できる。これにより、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを軽減することができる。

なお、本実施形態では、リニアマトリクス演算前後の画像信号Ａ’に対して重み付け演算を施すようにしたが、例えば、オフセット補正回路６０、ホワイトバランス調整回路６２、階調補正回路６４、リニアマトリクス処理回路６６、輪郭補正回路７２及び色差マトリクス処理回路７４にも、上記図１と同様の重み付け関数設定部及び重み付け演算部を設けて、オフセット補正、ホワイトバランス調整、階調補正前後のＲ、Ｇ、Ｂ信号又は色差マトリクス処理前後の色差信号に対しても重み付け演算を施すようにしてもよい。

また、本実施形態では、高輝度部及び低輝度部の情報が失われないので、例えば、記録メディア２２に記録された画像データからＲＡＷデータを演算により求めることができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

図５は、本実施形態に係るリニアマトリクス処理回路６６の主要構成を示すブロック図である。図５に示すように、リニアマトリクス処理回路６６は、積和演算部１００、重み付け関数設定部１０２Ｒ、１０２Ｇ及び１０２Ｂ、重み付け演算部１０４を備えている。

積和演算部１００は、階調補正回路６４によって階調補正が施されたＲ、Ｇ、Ｂの画像信号を取得し、リニアマトリクス演算を行う。以下の説明では、リニアマトリクス処理が施された後のＲ、Ｇ、Ｂ信号をそれぞれ処理済画像信号Ｒ’、Ｇ’、Ｂ’と記載する。

重み付け関数設定部１０２は、処理済画像信号Ｒ’、Ｇ’、Ｂ’の画素ごとの信号レベル（画素レベル）に応じて重み付け関数に従って重み付け関数weightR、weightG及びweightBを設定する。

重み付け演算部１０４は、乗算回路１０６及び１１０、減算回路１０８、加算回路１１２を含んでおり、下記の式（２−１）から（２−３）に示す演算を行って画像信号Ｒ”、Ｇ”、Ｂ”を出力する。

Ｒ”＝weightR×Ｒ’＋（１−weightR）×Ｒ …（２−１）
Ｇ”＝weightG×Ｇ’＋（１−weightG）×Ｇ …（２−２）
Ｂ”＝weightB×Ｂ’＋（１−weightB）×Ｂ …（２−３）
図６は、重み付け関数weightR、weightG及びweightBの例を示すグラフである。図６（ａ）から図６（ｃ）に示すように、Ｒ信号に対する重み付け関数weightR、Ｇ信号に対する重み付け関数weightG及びＢ信号に対する重み付け関数weightBは、それぞれ処理済画像信号Ｒ’、Ｇ’、Ｂ’の関数である。処理済画像信号Ｒ’の画素レベルがカメラ１０のダイナミックレンジ内に収まる領域（ｗＲ１≦weightR≦ｗＲ２）ではweightR＝１となる。また、処理済画像信号Ｇ’の画素レベルがカメラ１０のダイナミックレンジ内に収まる領域（ｗＧ１≦weightG≦ｗＧ２）ではweightG＝１となり、処理済画像信号Ｂ’の画素レベルがカメラ１０のダイナミックレンジ内に収まる領域（ｗＢ１≦weightB≦ｗＢ２）ではweightB＝１となる。また、重み付け関数weightR、weightG及びweightBの低輝度部及び高輝度部における傾きは、例えば、上記の式（２−１）から（２−３）に従う演算により得られる画像信号Ｒ”、Ｇ”、Ｂ”の画素レベルの最大値及び最小値がそれぞれカメラ１０のダイナミックレンジ内に収まるように設定される。

なお、図５に示す例では、乗算回路１０６及び１１０、減算回路１０８、加算回路１１２がＲ、Ｇ、Ｂの信号ごとに３つずつ設けられているが、Ｒ、Ｇ、Ｂの信号が重み付け演算部１０４に入力されるタイミングをずらすことにより、１又は２つずつとする構成も可能である。

次に、本実施形態に係るリニアマトリクス処理の流れについて、図７のフローチャートを参照して説明する。まず、リニアマトリクス処理回路６６にＲ、Ｇ、Ｂの画像信号が入力されると、積和演算部１００によってＲ、Ｇ、Ｂ信号にリニアマトリクス処理の積和演算が施されて、処理済画像信号Ｒ’、Ｇ’、Ｂ’が出力される（ステップＳ３０）。

次に、Ｂ画素の処理を行う場合には（ステップＳ３２のＮｏ、Ｓ３４のＮｏ）、Ｂ画素用の重み付け関数weightB(B')が設定され、重み付け係数weightBが生成される（ステップＳ３６）。そして、上記の式（２−３）に従って、Ｂ信号に対する重み付け演算が行われる（ステップＳ３８）。

一方、Ｇ画素の処理を行う場合には（ステップＳ３２のＮｏ、Ｓ３４のＹｅｓ）、Ｇ画素用の重み付け関数weightG(G')が設定され、重み付け係数weightGが生成される（ステップＳ４０）。そして、上記の式（２−２）に従って、Ｇ信号に対する重み付け演算が行われる（ステップＳ４２）。

また、Ｒ画素の処理を行う場合には（ステップＳ３２Ｙｅｓ）、Ｒ画素用の重み付け関数weightR(R')が設定され、重み付け係数weightRが生成される（ステップＳ４４）。そして、上記の式（２−１）に従って、Ｒ信号に対する重み付け演算が行われる（ステップＳ４６）。上記の処理をＣＣＤ３０のすべての画素から出力される画像信号に対して繰り返すことにより、リニアマトリクス処理前のＲ、Ｇ、Ｂ信号の階調特性情報を含む画像信号Ｒ”、Ｇ”、Ｂ”を得ることができる。

［リニアマトリクス処理の具体例］
以下、本実施形態に係るリニアマトリクス処理の具体例について説明する。なお、図８等において、横軸のＸは、画像中の座標（画素位置）を示している。

積和演算部１００は、下記の式（３）に従って入力画像信号のリニアマトリクス処理を施す。

例えば、入力された画像信号Ｒ、Ｇ、Ｂの値を

リニアマトリクスの補正係数を

としてリニアマトリクス処理を行うと、処理済画像信号Ｒ’は
Ｒ’＝α_ｒ×Ｒ＋β_ｒ×Ｇ＋γ_ｒ×Ｂ
＝１．１×１０−０．３×１００＋０．２×４０
＝−１１
のように負値になる（アンダーフローする）。画素レベルの値は負値をとることはできないため、一般に負値となる部分が生じないように固定値（例えば、ゼロ）でクリップされる。しかしながら、上記の例のように、低輝度部においてＲ信号が負値となってクリップされてしまうと、図８（ａ）及び図８（ｂ）に示すように、当該画素の近傍では、本来Ｒ、Ｇ、Ｂの３色分ある階調情報がＧ、Ｂの２色分の情報だけになってしまう。例えば、Ｒ、Ｇ、Ｂ信号のダイナミックレンジ（ビット幅）がそれぞれ８ビットの場合、８×８×８ｂｉｔ＝２４ｂｉｔ（約１６７７万色）の階調表現が可能であったのが、８×８ｂｉｔ＝１６ｂｉｔ（６５５３６色）の階調表現しかできなくなり、色再現性が悪化する。

本来、リニアマトリクス処理は、色再現性を良好にするために行われる処理であるが、処理済画像信号の画素レベルが負値になるような場合には処理済画像信号を用いても良好な色再現性が得られない。このような場合には、処理済画像信号に代えてリニアマトリクス処理前の画像信号を出力することが考えられる。上記の例のように、リニアマトリクス処理前の処理前画像信号がＲ＝１０で、リニアマトリクス処理後の処理済画像信号Ｒ’が負値となる場合には、処理前画像信号Ｒを出力する方が色の階調表現が良好に保たれる。しかしながら、図９に示すように、処理済画像信号が負値になる部分だけ処理前画像信号を用いると、階調が不連続になり（画素位置Ｐ１０の近傍において、画素レベルが０から１０になり）、色再現性が悪化する。

そこで、本実施形態では、図１０に示すような処理済画像信号の画素レベルの関数である重み付け関数を導入して、処理前画像信号と処理済画像信号の重み付け演算を行う。これにより、図１１に示すような画像信号Ｒ”が得られる。画像信号Ｒ”は、負値となりクリップされる低輝度部では処理前画像信号であり、色再現性を中間輝度部は処理前画像信号と処理済画像信号が重み付け加算された画像信号であるため、低輝度部の階調表現が良好に保たれるとともに、中間輝度部の色再現性を向上させることができる。

また、高輝度部についても同様のことがいえる。例えば、入力画像信号を

として、上記の式（４）のリニアマトリクス補正係数を用いてリニアマトリクス処理を行うと、処理済画像信号Ｒ’は
Ｒ’＝α_ｒ×Ｒ＋β_ｒ×Ｇ＋γ_ｒ×Ｂ
＝１．１×２４０−０．３×８０＋０．２×１００
＝２６４−２４＋２０
＝２６０
となる。ここで、各色信号のダイナミックレンジ（ビット幅）を８ｂｉｔとすると、Ｒ’信号の画素レベルの値がとり得る範囲は０から２５５である。従って、上記の例では、Ｒ’信号がダイナミックレンジ内に収まらず（オーバーフローする）、図１２（ａ）及び図１２（ｂ）に示すように、処理済画像信号Ｒ’の高輝度部がクリップされてしまう。このため、図１３に示すように、高輝度部においても重み付け演算を行うことにより、色再現性を保ちつつ、色の階調情報が保持された画像信号Ｒ”を得ることができる。

図１４は、画像信号が８ｂｉｔデータの場合の重み付け関数の例を示すグラフであり、図１５は、図１４の重み付け関数を用いて重み付け演算を行った画像信号の例を示すグラフである。

図１４に示すように、低輝度部に位置し、リニアマトリクス処理により画素レベルがアンダーフローすると階調落ちしてしまうアンダーフロー領域Ａ１０（０≦Ｒ’＜ｗＲ１）は、処理前画像信号の比率が大きくなるような重み付けを行う。一方、高輝度部に位置し、リニアマトリクス処理により画素レベルがオーバーフローすると階調落ちしてしまうオーバーフロー領域Ａ１４（ｗＲ２≦Ｒ’＜２５５）では、処理前画像信号の比率が大きくなるような重み付けを行う。また、中間輝度部に位置し、リニアマトリクス処理を施してもオーバーフロー又はアンダーフローが起こらない領域Ａ１２（ｗＲ１≦Ｒ’＜ｗＲ２）は、処理済画像信号の比率を大きくするような（即ち、処理前画像信号の比率を小さく又はゼロにする（weightR＝１）ような）重み付けを行う。これにより、図１５に示すように、領域Ａ１２では、処理済画像信号Ｒ’の比率が大きく、且つ、領域Ａ１０及びＡ１４では、処理前画像信号Ｒの色階調特性が反映された画像信号Ｒ”を得ることができる。

図１６（ａ）から図１６（ｃ）は、それぞれＲ、Ｇ、Ｂ信号の重み付け関数の例を示すグラフである。上記の式（４）に示すように、リニアマトリクス補正係数は、Ｒ、Ｇ、Ｂ信号で対称ではないため、リニアマトリクス処理後の画像信号におけるオーバーフロー又はアンダーフローの起こりやすさはＲ、Ｇ、Ｂの色ごとに異なる。従って、重み付け関数は、Ｒ、Ｇ、Ｂの色ごとにもつことが好ましい。

上記の式（４）の例では、Ｇ’及びＢ’を求める際に他の色信号に乗算されるリニアマトリクス補正係数が負値であるため、Ｇ、Ｂ信号についてはリニアマトリクス処理に起因するオーバーフローが起こりにくい。このため、Ｇ、Ｂ信号の重み付け関数は、高輝度部では１に近い値となる。これにより、高輝度部においてリニアマトリクス処理後の画像信号Ｇ’、Ｂ’の比率を大きくすることができるので、高輝度部における色再現性を高めることができる。

一方、Ｇ、Ｂ信号は、Ｒ信号に比べてアンダーフローが起こりやすくなるため、Ｇ、Ｂ信号の低輝度部の重み付け関数の値を小さくする。これにより、低輝度部では、リニアマトリクス処理前の画像信号の比率を大きくすることにより、階調特性の情報を保持することができる。

上記のように、例えば、他の色信号に乗算されるリニアマトリクス補正係数が負値で絶対値が大きい場合には、重み付け関数は、高輝度部で大きく、低輝度部で小さくする。一方、色信号に乗算されるリニアマトリクス補正係数が正値で絶対値が大きい場合には、重み付け関数は、高輝度部で小さく、低輝度部で大きくする。これにより、オーバーフロー又はアンダーフローが起こらないように重み付け関数を設定することができる。

本実施形態によれば、リニアマトリクス処理前後の画像信号に対して、色ごとに重み付け演算を行うことにより、各色について良好な階調表現が得られる。また、各色の中間輝度部において、重み付け係数weightR、weightG及びweightBを１又は１に近い値とすることにより、中間輝度部の色再現性を保ちつつ、高輝度部及び低輝度部において良好な階調表現が得られる。

なお、本実施形態では、リニアマトリクス演算前後の画像信号に対して重み付け演算を施すようにしたが、例えば、オフセット補正、ホワイトバランス調整、階調補正前後のＲ、Ｇ、Ｂ信号又は色差マトリクス処理前後の色差信号に対しても重み付け演算を施すようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

図１７は、本実施形態に係るリニアマトリクス処理回路６６の主要構成を示すブロック図である。図１７に示すように、撮影条件取得部１２０、重み付け関数設定部１２２、画像処理演算部１２４、重み付け係数出力部１２６及び重み付け演算部１２８を備えている。

撮影条件取得部１２０は、撮影時の撮影条件情報を取得する。ここで、撮影条件情報とは、ホワイトバランス調整、露出補正、画素レベルごとの画素数の分布（ヒストグラム）又は階調補正に関する情報のうち少なくとも１つである。

重み付け関数設定部１２２は、撮影時の撮影条件情報に基づいて、重み付け関数ｗを設定する。なお、撮影条件情報に基づく重み付け関数ｗ（Ａ’）の設定方法については後述する。

画像処理演算部１２４は、階調補正回路６４によって階調補正が施された画像信号Ａを取得してリニアマトリクス処理を施す。以下の説明では、リニアマトリクス処理が施された後の画像信号Ａを処理済画像信号Ａ’と記載する。

重み付け係数出力部１２６は、重み付け関数設定部１２２によって設定された重み付け関数ｗ（Ａ’）と、処理済画像信号Ａ’から重み付け係数ｗを決定し、重み付け演算部１２８に出力する。

重み付け演算部１２８は、下記の式（５）に示す演算を行って画像信号Ａ”を演算、出力する。

Ａ”＝ｗ×Ａ’＋（１−ｗ）×Ａ …（５）
以下、撮影条件情報に基づく重み付け関数ｗ（Ａ’）の設定方法について説明する。

（１）ホワイトバランス調整の条件に基づく重み付け関数の設定
例えば、色温度が低い（赤い）光源下では、Ｒ信号の信号レベルが高く、Ｂ信号の信号レベルが低くなる。このため、Ｒ信号のホワイトバランスゲインが小さく、Ｂ信号のホワイトバランスゲインが大きく設定される。図４に示すように、リニアマトリクス処理回路６６の上流側にホワイトバランス調整回路６２が配置されている場合には、画像信号Ａは、ホワイトバランスゲインが乗算された後にリニアマトリクス処理回路６６に入力される。このため、本実施形態では、ホワイトバランスゲインを考慮した重み付け関数ｗ（Ａ’）を用いる。

図１８は、ホワイトバランス調整の条件に基づく重み付け関数の設定例を示す図である。例えば、Ｒ信号に対するホワイトバランスゲインが２倍、Ｇ信号に対するホワイトバランスゲインが１倍、Ｂ信号対するホワイトバランスゲインが０．６倍の場合、ホワイトバランスゲインの平均値は、１．２倍であるため、アンダーフローが起こりにくく、オーバーフローが起こりやすい。このため、重み付け関数ｗ（Ａ’）は、図１８（ａ）に示す通常のものと比較して、図１８（ｂ）に示すような低輝度部で大きく、高輝度部で小さくなるように設定される。

一方、ホワイトバランスゲインが小さい場合には（例えば、Ｒ、Ｇ、Ｂ信号に乗算されるホワイトバランスゲインの平均値が１未満の場合には）、アンダーフローが起こりやすく、オーバーフローが起こりにくくなるため、重み付け関数ｗ（Ａ’）は、低輝度部で小さく、高輝度部で大きくなるように設定される。

図１９は、ホワイトバランス調整の条件に基づく重み付け関数の設定処理の流れを示すフローチャートである。まず、画像処理部３８に画像信号Ａが入力されると、画像処理演算部８０によって画像信号Ａにリニアマトリクス処理が施されて、処理済画像信号Ａ’が出力される（ステップＳ５０）。

次に、ホワイトバランス調整回路６２において画像信号Ａに乗算されたホワイトバランスゲインの情報が撮影条件取得部１２０によって取得される。撮影条件取得部１２０によって取得されたホワイトバランスゲインが第１のゲイン値より大きく（ステップＳ５２のＮｏ）、且つ、第２のゲイン値より小さい場合には（ステップＳ５４のＮｏ）、重み付け関数ｗ（Ａ’）が処理済画像信号Ａ’の比率が高い中間輝度部が広くなるように（即ち、全体の色再現性が高くなるように（図１８（ａ）参照））設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ５６）。なお、（第１のゲイン値）＜（第２のゲイン値）である。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ５８）。

一方、ホワイトバランスゲインが第１のゲイン値より大きく（ステップＳ５２のＮｏ）、且つ、第２のゲイン値以上の場合には（ステップＳ５４のＹｅｓ）、重み付け関数が高輝度部で小さく、低輝度部で大きくなるように（即ち、高輝度部でのオーバーフローを低減しつつ、低輝度部における階調特性が保持されるように（図１８（ｂ）参照））設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ６０）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ５８）。

また、ホワイトバランスゲインが第１のゲイン値以下の場合には（ステップＳ５２のＹｅｓ）、重み付け関数ｗ（Ａ’）が低輝度部で小さく、高輝度部で大きくなるように（即ち、低輝度部でのアンダーフローを低減しつつ、高輝度部における階調特性が保持されるように）設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ６２）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ５８）。

なお、ホワイトバランスゲインに基づく重み付け関数ｗ（Ａ’）の設定は、Ｒ、Ｇ、Ｂの色ごとに行うようにしてもよい。

（２）露出補正の条件に基づく重み付け関数の設定
露出補正が行われると、画像信号Ａの信号レベルが変化する。例えば、プラス側に露出補正された場合には（プラス補正）、信号レベルが上がるため、アンダーフローが起こりにくく、オーバーフローが起こりやすくなる。このため、図１８（ｂ）の例と同様に、重み付け関数ｗ（Ａ’）は、低輝度部で大きく、高輝度部で小さくなるように設定される。

一方、マイナス側に露出補正された場合には（マイナス補正）、アンダーフローが起こりやすく、オーバーフローが起こりにくくなるため、重み付け関数ｗ（Ａ’）は、低輝度部で小さく、高輝度部で大きくなるように設定される。

図２０は、露出補正の条件に基づく重み付け関数の設定処理の流れを示すフローチャートである。まず、画像処理部３８に画像信号Ａが入力されると、画像処理演算部８０によって画像信号Ａにリニアマトリクス処理が施されて、処理済画像信号Ａ’が出力される（ステップＳ７０）。

次に、撮影条件取得部１２０により撮影時における露出補正値の情報が取得される。撮影条件取得部１２０によって取得された露出補正値が第１の補正値より大きく（ステップＳ７２のＮｏ）、且つ、第２の補正値より小さい場合には（ステップＳ７４のＮｏ）、重み付け関数ｗ（Ａ’）が処理済画像信号Ａ’の比率が高い中間輝度部が広くなるように（即ち、全体の色再現性が高くなるように）設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ７６）。なお、（第１の補正値）＜（第２の補正値）である。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ７８）。

一方、露出補正値が第１の補正値より大きく（ステップＳ７２のＮｏ）、且つ、第２の補正値以上の場合には（ステップＳ７４のＹｅｓ）、重み付け関数ｗ（Ａ’）が高輝度部で小さく、低輝度部で大きくなるように（即ち、高輝度部でのオーバーフローを低減しつつ、低輝度部における階調特性が保持されるように）設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ８０）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ７８）。

また、露出補正値が第１の補正値以下の場合には（ステップＳ７２のＹｅｓ）、重み付け関数ｗ（Ａ’）が低輝度部で小さく、高輝度部で大きくなるように（即ち、低輝度部でのアンダーフローを低減しつつ、高輝度部における階調特性が保持されるように）設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ８２）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ７８）。

（３）ヒストグラムに基づく重み付け関数の設定
図２１から図２３は、ヒストグラムに基づく重み付け関数ｗの設定方法を説明するための図である。図２１（ａ）に示すように、高輝度の画素の割合が高い画像の場合、アンダーフローが起こりにくく、オーバーフローが起こりやすい。このため、重み付け関数ｗ（Ａ’）は、図２１（ｂ）の通常のものと比較して、図２１（ｃ）に示すような低輝度部で大きく、高輝度部で小さくなるように設定される。

一方、図２２（ａ）に示すように、低輝度の画素の割合が高い画像の場合、アンダーフローが起こりやすく、オーバーフローが起こりにくい。このため、重み付け関数ｗ（Ａ’）は、図２２（ｂ）の通常のものと比較して、図２２（ｃ）に示すような低輝度部で小さく、高輝度部で大きくなるように設定される。

また、図２３（ａ）に示すように、低輝度と高輝度の画素の割合がともに高い画像の場合、アンダーフローもオーバーフローも起こりやすい。このため、重み付け関数ｗ（Ａ’）は、図２３（ｂ）の通常のものと比較して、図２３（ｃ）に示すような低輝度部と高輝度部で小さくなるように設定される。

図２４は、ヒストグラムに基づく重み付け関数の設定処理の流れを示すフローチャートである。まず、画像処理部３８に画像信号Ａが入力されると、画像処理演算部８０によって画像信号Ａにリニアマトリクス処理が施されて、処理済画像信号Ａ’が出力される（ステップＳ９０）。

次に、撮影条件取得部１２０によりヒストグラムの情報が取得される。上記ヒストグラムにおいて低輝度部及び高輝度部の画素の割合が小さい場合には（ステップＳ９２のＮｏ、Ｓ９４のＮｏ）、重み付け関数ｗ（Ａ’）が処理済画像信号Ａ’の比率が高い中間輝度部が広くなるように（即ち、全体の色再現性が高くなるように（図２１（ｂ）等参照））設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ９６）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ９８）。

一方、低輝度部の画素の割合が小さく（ステップＳ９２のＮｏ）、且つ、高輝度部の画素の割合が大きい場合には（ステップＳ９４のＹｅｓ）、重み付け関数ｗ（Ａ’）が高輝度部で小さく、低輝度部で大きくなるように（即ち、高輝度部でのオーバーフローを低減しつつ、低輝度部における階調特性が保持されるように（図２１（ｃ）））設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ１００）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ９８）。

また、低輝度部の画素の割合が大きく（ステップＳ９２のＮｏ）、且つ、高輝度部の画素の割合が小さい場合には（ステップＳ１０２のＮｏ）、重み付け関数ｗ（Ａ’）が低輝度部で小さく、高輝度部で大きくなるように（即ち、低輝度部でのアンダーフローを低減しつつ、高輝度部における階調特性が保持されるように（図２２（ｃ）参照））設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ１０４）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ９８）。

また、低輝度部の画素の割合が大きく（ステップＳ９２のＮｏ）、且つ、高輝度部の画素の割合が大きい場合には（ステップＳ１０２のＹｅｓ）、重み付け関数ｗ（Ａ’）が低輝度部及び高輝度部で小さくなるように（即ち、低輝度部でのアンダーフロー及び高輝度部でのオーバーフローが低減されるように（図２３（ｃ）参照））設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ１０６）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ９８）。

（４）階調補正の条件に基づく重み付け関数の設定
図２５から図２８は、階調補正の条件（階調変換特性）に基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図である。図２５（ａ）に示すように、低輝度の画素の信号レベルを上げる（明るくする）ような階調補正を行う場合には、アンダーフローが起こりにくい。このため、重み付け関数ｗ（Ａ’）は、図２５（ｂ）の通常のものと比較して、図２５（ｃ）に示すように、低輝度部で大きくなるように設定される。

図２６（ａ）に示すように、低輝度の画素の信号レベルを下げる（暗くする）ような階調補正を行う場合には、アンダーフローが起こりやすい。このため、重み付け関数ｗ（Ａ’）は、図２６（ｂ）の通常のものと比較して、図２６（ｃ）に示すような低輝度部で小さくなるように設定される。

図２７（ａ）に示すように、高輝度の画素の信号レベルを上げる（明るくする）ような階調補正を行う場合には、オーバーフローが起こりやすい。このため、重み付け関数ｗ（Ａ’）は、図２７（ｂ）の通常のものと比較して、図２７（ｃ）に示すような高輝度部で小さくなるように設定される。

図２８（ａ）に示すように、高輝度の画素の信号レベルを下げる（暗くする）ような階調補正を行う場合には、オーバーフローが起こりにくい。このため、重み付け関数ｗ（Ａ’）は、図２８（ｂ）の通常のものと比較して、図２８（ｃ）に示すような高輝度部で大きくなるように設定される。

図２９は、階調補正の条件に基づく重み付け関数の設定処理の流れを示すフローチャートである。まず、画像処理部３８に画像信号Ａが入力されると、画像処理演算部８０によって画像信号Ａにリニアマトリクス処理が施されて、処理済画像信号Ａ’が出力される（ステップＳ１１０）。

次に、撮影条件取得部１２０により撮影時における階調変換特性情報の情報が取得される。階調特性が硬調でも軟調でもない場合には（ステップＳ１１２のＮｏ、Ｓ１１４のＮｏ）、図２５（ｂ）等に示すような通常の重み付け関数ｗ（Ａ’）が設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ１１６）。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ１１８）。

一方、階調変換特性が硬調ではなく（ステップＳ１１２のＮｏ）、軟調の場合（ステップＳ１１４のＹｅｓ）、即ち、ガンマ曲線の傾きが小さい場合には、軟調の階調補正特性に適した重み付け関数ｗ（Ａ’）が設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ１２０）。ステップＳ１２０では、例えば、階調変換のガンマ値γ＜１の場合には、高輝度部の画素レベルが下がるため、重み付け関数ｗ（Ａ’）は、図２８（ｃ）に示すように、高輝度部で大きくなるように設定される。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ１１８）。

また、階調変換特性が硬調の場合（ステップＳ１１２のＹｅｓ）、即ち、ガンマ曲線の傾きが大きい場合には、硬調の階調補正特性に適した重み付け関数ｗ（Ａ’）が設定され、処理済画像信号Ａ’の値に基づいて重み付け係数ｗが生成される（ステップＳ１２２）。ステップＳ１２２では、例えば、γ＞１の場合には、高輝度部の画素レベルが上がるため、重み付け関数ｗ（Ａ’）は、図２７（ｃ）に示すように、高輝度部で小さくなるように設定される。そして、上記の式（５）に従って重み付け演算が行われる（ステップＳ１１８）。

本実施形態によれば、撮影条件情報に基づいてオーバーフロー及びアンダーフローが起こりにくいように重み付け関数を設定することにより、高輝度部及び低輝度部の階調特性情報が失われる問題を回避できる。これにより、ダイナミックレンジの制限に起因するデジタルの画像信号の色づきや階調とびを軽減することができる。なお、本実施形態では、重み付け関数ｗ（Ａ’）は、色ごとに設定するようにしてもよい。

なお、本発明に係る画像処理装置及び画像処理方法は、例えば、撮影装置やパーソナルコンピュータ、携帯情報端末、画像ストレージ装置のような画像処理装置に適用するプログラムとしても提供することが可能である。

本発明の第１の実施形態に係るリニアマトリクス処理回路６６の主要構成を示すブロック図 本発明の第１の実施形態に係るリニアマトリクス処理の流れを示すフローチャート 本発明の第１の実施形態に係る画像処理装置を備えた撮影装置の主要構成を示すブロック図 本発明の第１の実施形態に係る画像処理部３８の主要構成を示すブロック図 本発明の第２の実施形態に係るリニアマトリクス処理回路６６の主要構成を示すブロック図 重み付け関数weightR、weightG及びweightBの例を示すグラフ 本発明の第２の実施形態に係るリニアマトリクス処理の流れを示すフローチャート 低輝度部におけるリニアマトリクス処理前後の画像信号の例を示すグラフ リニアマトリクス処理後の画像信号の処理方法の例を示すグラフ 低輝度部における重み付け関数を示すグラフ 低輝度部における重み付け演算を説明するためのグラフ 高輝度部におけるリニアマトリクス処理前後の高輝度部の画像信号の例を示すグラフ 高輝度部における重み付け関数を示すグラフ 画像信号が８ｂｉｔデータの場合の重み付け関数の例を示すグラフ 図１４の重み付け関数を用いて重み付けを行った画像信号の例を示すグラフ Ｒ、Ｇ、Ｂの各信号の重み付け演算に用いる重み付け関数の例を示すグラフ 本発明の第３の実施形態に係るリニアマトリクス処理回路６６の主要構成を示すブロック図 ホワイトバランス調整の条件に基づく重み付け関数の設定例を示す図 ホワイトバランス調整の条件に基づく重み付け関数の設定処理の流れを示すフローチャート 露出補正の条件に基づく重み付け関数の設定処理の流れを示すフローチャート ヒストグラムに基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 ヒストグラムに基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 ヒストグラムに基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 ヒストグラムに基づく重み付け関数の設定処理の流れを示すフローチャート 階調補正の条件に基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 階調補正の条件に基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 階調補正の条件に基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 階調補正の条件に基づく重み付け関数ｗ（Ａ’）の設定方法を説明するための図 階調補正の条件に基づく重み付け関数の設定処理の流れを示すフローチャート

符号の説明

１０…撮影装置（カメラ）、１２…ＣＰＵ、１４…バス、１６…操作部、１８…ＲＯＭ、２０…ＲＡＭ、２２…記録メディア、２４…メディアコントローラ、２６…通信インターフェース部（通信Ｉ／Ｆ）、２８…レンズユニット、２８Ａ…レンズ駆動部、３０…ＣＣＤ、３０Ａ…撮影制御部、３２…アナログ処理部（ＣＤＳ／ＡＭＰ）、３４…Ａ／Ｄ変換器、３６…画像入力制御部、３８…画像処理部、４０…画像表示部、４２…表示制御部、４４…フラッシュ制御部、４６…フラッシュ発光部、４８…積算部、５０…圧縮・伸張処理部、６０…オフセット補正回路、６２…ホワイトバランス調整回路、６４…階調補正回路、６６…リニアマトリクス処理回路、６８…同時化処理回路、７０…ＲＧＢ−ＹＣ変換処理回路、７２…輪郭補正回路、７４…色差マトリクス処理回路、８０…画像処理演算部、８２…重み付け関数設定部、８４…重み付け演算部、８６、９０…乗算回路、８８…減算回路、９２…加算回路

Claims (25)

1. デジタルの画像信号を取得する画像取得手段と、
   前記画像取得手段によって取得された画像信号に対して画像処理を施す画像処理手段と、
   前記画像処理が施された画像信号の信号レベルが規定のビット幅に収まるように、所定の重み付け関数に従って、前記画像処理が施される前の処理前画像信号と、前記画像処理が施された後の処理済画像信号の重み付け演算を行い、記録用の画像信号を取得する演算手段と、
   前記記録用の画像信号を記録する画像記録手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像処理手段は、前記画像信号に対してリニアマトリクス処理を施すことを特徴とする請求項１記載の画像処理装置。
3. 前記画像取得手段は、色ごとの画像信号を取得し、
   前記演算手段は、前記画像信号の色ごとに重み付け演算を行うことを特徴とする請求項１又は２記載の画像処理装置。
4. 前記デジタルの画像信号の撮影時における撮影条件情報を取得する撮影条件情報取得手段を更に備え、
   前記演算手段は、前記撮影条件情報に基づいて前記重み付け関数を設定することを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記画像取得手段によって取得された画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整手段を更に備え、
   前記演算手段は、前記ホワイトバランス調整処理におけるホワイトバランスゲインに基づいて前記重み付け関数を設定することを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
6. 前記演算手段は、前記画像信号の各色成分に対するホワイトバランスゲインの平均値に基づいて前記重み付け関数を設定することを特徴とする請求項５記載の画像処理装置。
7. 前記演算手段は、前記ホワイトバランスゲインが所定値以上の場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項５又は６記載の画像処理装置。
8. 前記演算手段は、前記ホワイトバランスゲインが所定値未満の場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項５から７のいずれか１項記載の画像処理装置。
9. 前記画像取得手段によって取得された画像信号に対して露出補正を施す露出補正手段を更に備え、
   前記演算手段は、前記露出補正の条件に基づいて前記重み付け関数を設定することを特徴とする請求項１から８のいずれか１項記載の画像処理装置。
10. 前記演算手段は、前記露出補正手段によってプラス補正が行われた場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項９記載の画像処理装置。
11. 前記演算手段は、前記露出補正手段によってマイナス補正が行われた場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項９又は１０記載の画像処理装置。
12. 前記画像取得手段によって取得された画像信号又は前記画像処理が施された画像信号の信号レベルごとの画素数の分布を取得する信号レベル分布取得手段を更に備え、
    前記演算手段は、前記画像信号の信号レベルごとの画素数の分布に基づいて前記重み付け関数を設定することを特徴とする請求項１から１１のいずれか１項記載の画像処理装置。
13. 前記演算手段は、前記信号レベルが高い側の画素数が多い場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項１２記載の画像処理装置。
14. 前記演算手段は、前記信号レベルが低い側の画素数が多い場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項１２又は１３記載の画像処理装置。
15. 前記画像取得手段によって取得された画像信号に対して階調補正を施す階調補正手段を更に備え、
    前記演算手段は、前記階調補正の条件に基づいて前記重み付け関数を設定することを特徴とする請求項１から１４のいずれか１項記載の画像処理装置。
16. 前記演算手段は、低い側の画像信号の信号レベルを上げる階調補正が行われた場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を大きくすることを特徴とする請求項１５記載の画像処理装置。
17. 前記演算手段は、低い側の画像信号の信号レベルを下げる階調補正が行われた場合に、前記信号レベルが低い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項１５又は１６記載の画像処理装置。
18. 前記演算手段は、高い側の画像信号の信号レベルを上げる階調補正が行われた場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を小さくすることを特徴とする請求項１５から１７のいずれか１項記載の画像処理装置。
19. 前記演算手段は、高い側の画像信号の信号レベルを下げる階調補正が行われた場合に、前記信号レベルが高い側の処理済画像信号に乗算する重み付け関数を大きくすることを特徴とする請求項１５から１８のいずれか１項記載の画像処理装置。
20. 画像を撮影してデジタルの画像信号を取得する撮影手段と、
    前記撮影手段によって取得されたデジタルの画像信号に対して所定の画像処理を施す請求項１から１９のいずれか１項記載の画像処理装置と、
    を備えることを特徴とする撮影装置。
21. デジタルの画像信号を取得する画像取得工程と、
    前記画像取得工程において取得した画像信号に対して画像処理を施す画像処理工程と、
    前記画像処理が施された画像信号の信号レベルが規定のビット幅に収まるように、所定の重み付け関数に従って、前記画像処理が施される前の処理前画像信号と、前記画像処理が施された後の処理済画像信号の重み付け演算を行い、記録用の画像信号を取得する演算工程と、
    前記記録用の画像信号を記録する画像記録工程と、
    を備えることを特徴とする画像処理方法。
22. 前記画像取得工程において取得した画像信号に対してホワイトバランス調整処理を施すホワイトバランス調整工程を更に備え、
    前記演算工程では、前記ホワイトバランス調整工程におけるホワイトバランスゲインに基づいて前記重み付け関数を設定することを特徴とする請求項２１記載の画像処理方法。
23. 前記画像取得工程において取得した画像信号に対して露出補正を施す露出補正工程を更に備え、
    前記演算工程では、前記露出補正の条件に基づいて前記重み付け関数を設定することを特徴とする請求項２１又は２２記載の画像処理方法。
24. 前記画像取得工程において取得した画像信号又は前記画像処理が施された画像信号の信号レベルごとの画素数の分布を取得する信号レベル分布取得工程を更に備え、
    前記演算工程では、前記画像信号の信号レベルごとの画素数の分布に基づいて前記重み付け関数を設定することを特徴とする請求項２１から２３のいずれか１項記載の画像処理方法。
25. 前記画像取得工程において取得した画像信号に対して階調補正を施す階調補正工程を更に備え、
    前記演算工程では、前記階調補正の条件に基づいて前記重み付け関数を設定することを特徴とする請求項２１から２４のいずれか１項記載の画像処理方法。

Images