JPWO2009001467A1 - 低照度環境における撮影画像の明るさを改善する電子機器 - Google Patents

Abstract

電子機器(1)は、画像を撮影する撮像部(10)と；その撮像部から、撮影された画像のデータと、その画像に適用された撮像条件とを取得する制御部(20)と；その取得された撮像条件と閾値とを比較し、その撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部(402)と；その判定部による補正するという判定に応答して、明るさ補正関数に従ってその撮影された画像の明るさがより明るくなるようにその撮影された画像のデータを補正する補正部(406)と；を具えている。【選択図】図１

Description

本発明は、撮影された画像の明るさの補正に関し、特に、低照度環境においてディジタル・カメラ・モジュールで撮影された暗い画像の明るさを補正するための処理に関する。

ディジタル・カメラ付き電子機器では、被写体の照度に応じてカメラ・ゲインまたは感度およびカメラ露光時間を調整し、それによって画像の明るさを所要のレベルに維持する。しかし、カメラ露光時間の長さと手振れによる画質低下との間にはトレードオフ（得失）の関係があり、またカメラ・ゲインおよび露光時間にも上限がある。従って、極めて低照度の環境下では、カメラ・ゲインと露光時間がその上限に達し、画像は暗い。被写体の照度を上げるために補助ライトを用いることができる。

２００４年４月３０日に公開された特開２００４−１３３００６号公報（Ａ）には、画像撮像装置が記載されている。画像撮像装置は、画像信号の露出レベルと測光によって得られた露出レベルから露出誤差値を算出するとともに、画像撮像装置の設定状態、画像撮像装置の操作の状態、撮像時の被写体の明るさ状態、の少なくとも一つの状態に基づいて、その露出誤差値の補正量を演算し、その補正量を用いて撮像画像の露出誤差を補正する。撮影画像の露出誤差を補正するための補正量に制限を与え、極端に補正された撮像結果とならないようにし、撮像装置の設定状態や操作の状態、撮像時の被写体の明るさに応じてその補正量の補正幅を変化させる。
特開２００４−１３３００６号公報

２００４年６月１０日に公開された特開２００４−１６６１４７号公報（Ａ）には、画質の自動調整が記載されている。その自動調整は、画像生成履歴情報から得られる被写体の明るさの度合いを用いて画質調整処理を実行する。それによって、画質調整処理を被写体の明るさに応じて適切に実行する。
特開２００４−１６６１４７号公報

２００７年４月１２日に公開された特開２００７−０９６４７７号公報（Ａ）には、カメラが記載されている。そのカメラは、被写体の画像を撮影するイメージ・センサと、画像から手ぶれ情報を検出する手ぶれ検出部と、撮影の時の撮影条件と検出した手ぶれ情報とを相互に対応させて記録する手ぶれ記録部と、手ぶれ補正部とを備えている。その手ぶれ補正部は、撮影条件を用いて手ぶれ記録部を参照して、その撮影条件と所定の関係にある撮影条件に対応する手ぶれ情報を抽出し、抽出された手ぶれ情報に基づいて手ぶれを補正する。それによって、手ぶれ補正をユーザの個性や撮影環境に応じて最適化したカメラが提供される。
特開２００７−０９６４７７号公報

例えば携帯電話機のようなディジタル・カメラ付きの電子機器はより小型化されつつあり、そのためにそのディジタル・カメラ・モジュールも小型化され、従ってそのレンズおよびカメラ・センサが小型化されている。従って、ディジタル・カメラ・モジュールの明るさに対するカメラ・ゲインの上限がより低くなっている。また、小型化のために補助ライトのない電子機器に対するニーズ（必要性）も存在する。

発明者たちは、電子機器のカメラ・モジュールのカメラ・ゲインおよび露光時間に上限があっても、極めて低照度の環境において撮影された暗い画像の明るさを増大させるようその画像を処理し、それによってそのような画像の品質を向上させ、そのような暗い画像を利用可能にできる、と認識した。また、発明者たちは、画像を撮影する毎にその撮影画像の明るさを補正してその補正された画像を格納し表示することができるようにすることによって、ユーザが無駄に同じ画像を追加的にまたは繰り返し撮影する必要がなくなり、画像メモリの所要量を減少させることもできる、と認識した。

本発明の目的は、低照度環境におけるカメラ・モジュールの画質を向上させることである。

本発明の別の目的は、低照度環境におけるカメラ・モジュールの画質を向上させることができる電子機器を実現することである。

本発明の特徴によれば、電子機器は 画像を撮影する撮像部と；その撮像部から、撮影された画像のデータと、その画像に適用された撮像条件とを取得する制御部と；その取得された撮像条件と閾値とを比較し、その撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部と；その判定部による補正するという判定に応答して、明るさ補正関数に従ってその撮影された画像の明るさがより明るくなるようにその撮影された画像のデータを補正する補正部と；を具えている。

本発明の別の特徴によれば、電子機器は、画像を撮影する撮像部と；その撮像部から、その撮影された画像のデータと、その画像に適用されたその撮像部の撮影条件とを取得し、その取得された撮影条件と閾値とを比較し、その撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部と；その判定部による補正するという判定に応答して、明るさ補正関数に従ってその撮影された画像の明るさがより明るくなるようにその撮影された画像のデータを補正する補正部と；を具えている。

本発明によれば、低照度環境におけるカメラ・モジュールの画質を向上させることができる電子機器を実現することができる。

図１は、本発明の実施形態による、ディジタル・カメラ・モジュールを具える電子機器の構成を示している。 図２は、手振れ補正部の構成を示している。 図３は、被写体の異なる明るさまたは照度に対するカメラ・モジュールのゲインおよび露光時間の所要レベルと、カメラ・モジュールのゲインおよび露光時間の実際のレベルとの関係を実線で示している。 図４は、本発明の形態による、被写体の異なる明るさに対するカメラ・モジュールのゲインおよび露光時間の所要レベルと、カメラ・モジュールのゲインおよび露光時間の実際のレベルおよび明るさ補正レベルの関係を示している。 図５は、本発明の別の形態による、被写体の異なる明るさに対するカメラ・モジュールのゲインおよび露光時間の所要レベルと、カメラ・モジュールのゲインおよび露光時間の実際のレベルおよび別の明るさ補正レベルの関係を示している。 図６は、カメラ・モジュールにおける、異なる明るさの暗い被写体に対して撮影画像をより明るくするためのカメラ露光時間とカメラ・ゲインの設定レベルの軌跡の２つの例を、それぞれ一点鎖線および破線で示している。 図７は、カメラ・モジュールによって撮影された画像の明るさ指標に対する、本発明の形態によって施される画像の明るさ補正の係数の関係を表す補正係数関数を示している。 図８は、カメラ・モジュールによって撮影された画像の明るさ指標に対する、本発明の別の形態によって施される明るさ補正の係数の関係を表す別の補正係数関数を示している。 図９は、本発明の形態による、画像処理プロセッサの明るさ補正判定部または補正係数決定部によって与えられた明るさ補正係数に対する、動き検出におけるノイズ除去用の画像類似度の閾値の変化を表す閾値関数を示している。 図１０は、本発明の形態による、画像処理プロセッサによって与えられた明るさ補正係数に対する輪郭強調度合いの変化を表す輪郭強調度度合い関数を示している。 図１１は、本発明の実施形態による、カメラ処理プロセッサ、画像処理プロセッサおよび記録部によって実行される、カメラ・モジュールからの撮影画像の明るさ補正のためのフローチャートを示している。 図１２は、本発明の別の実施形態による、カメラ処理プロセッサ、画像処理プロセッサおよび記録部によって実行される、カメラ・モジュールからの撮影画像の明るさ補正のための別のフローチャートを示している。 図１３は、本発明のさらに別の実施形態による、カメラ処理プロセッサ、画像処理プロセッサおよび記録部によって実行される、カメラ・モジュールからの撮影画像の明るさ補正および手振れ補正のためのさらに別のフローチャートを示している。 図１４は、本発明のさらに別の実施形態による、カメラ処理プロセッサ、画像処理プロセッサおよび記録部によって実行される、カメラ・モジュールからの撮影画像の明るさ補正および手振れ補正のためのさらに別のフローチャートを示している。 図１５および１６は、明るさ補正部によって行われる補正の入力ピクセル値と出力ピクセル値の関係を表す明るさ補正関数またはトーンカーブの例を示している。 .

本発明の実施形態を、図面を参照して説明する。図面において、同様の構成要素には同じ参照番号が付されている。

図１は、本発明の実施形態による、ディジタル・カメラ・モジュール１０を具える電子機器１の構成を示している。電子機器１は、さらにカメラ処理プロセッサ（ＣＰＵ）２０と、画像処理プロセッサ（ＣＰＵ）４０と、記録部６０と、ディスプレイ８６および入力装置８８（例えばキー）に結合されたユーザ・インタフェース（Ｉ／Ｆ）８０と、を具えている。代替構成として、カメラ処理プロセッサ２０は画像処理プロセッサ４０と一体化されていてもよい。代替構成として、カメラ処理プロセッサ２０および画像処理プロセッサ４０は、ディジタル・カメラ・モジュール１０に後処理部として組み込まれていてもよい。

カメラ・モジュール１０は、レンズ・モジュール１０２、撮像用のＣＣＤ／ＣＭＯＳセンサ１０４、相関二重サンプリング器（ＣＤＳ）１０６、自動利得制御器（ＡＧＣ）１０８、アナログ−ディジタル変換器（ＡＤＣ）１１０、ディジタル信号プロセッサ（ＤＳＰ）１１２、および画像メモリ領域１１４に結合されたカメラ・プロセッサ（ＣＰＵ）１２０を有する。

ＣＣＤ／ＣＭＯＳセンサ１０４は、設定された露出時間に基づいてレンズ・モジュール１０２を介して被写体を撮影してアナログ画像を生成する。相関二重サンプリング器１０６、自動利得制御器１０８およびアナログ−ディジタル変換器１１０はディジタル画像を生成し、ディジタル信号プロセッサ１１２は所定のフォーマットのディジタル画像データを出力する。カメラ処理プロセッサ２０は、カメラ・プロセッサ１２０のレジスタ（ＲＥＧ）１２２に書き込むことによってＣＣＤ／ＣＭＯＳセンサ１０４の露光時間および自動利得制御器１０８のゲインを設定する。また、カメラ処理プロセッサ２０は、レジスタ１２２に保持されている、カメラ・モジュール１０における現在の設定されたゲインおよび露光時間、および撮影した被写体のファインダ照度を読み取ることができる。被写体の明るさまたは照度によって、カメラ・モジュール１０の所要のゲインおよび露光時間が決まる。

カメラ処理プロセッサ２０は、カメラ・モジュール１０を制御する制御部２０２を有し、カメラ・モジュール１０からカメラ・ゲイン即ちＡＧＣ１０８のゲイン、露光時間および被写体照度のデータを取得して画像処理プロセッサ４０に供給し、カメラ・モジュール１０から撮影画像データを受け取って記録部６０に供給する。カメラ処理プロセッサ２０は、例えば集積回路として少なくとも一部がハードウェアの形態で実装されていてもよく、またはプロセッサ上で動作するプログラムとして少なくとも一部がソフトウェアの形態で実装されていてもよい。
代替構成として、カメラ・モジュール１０は、レンズ・モジュール１０２、撮像用のＣＣＤ／ＣＭＯＳセンサ１０４、相関二重サンプリング器（ＣＤＳ）１０６、自動利得制御器（ＡＧＣ）１０８、アナログ−ディジタル変換器（ＡＤＣ）１１０を１つのカメラＤＳＰなしモジュールとし、ディジタル信号プロセッサ（ＤＳＰ）１１２、および画像メモリ領域１１４に結合されたカメラ・プロセッサ（ＣＰＵ）１２０を１つのDSPモジュールとした分離構成としてもよい。

画像処理プロセッサ４０は、閾値メモリ領域４０４に格納されている閾値に基づいて撮影画像の明るさ補正をすべきかどうかを判定する明るさ補正判定部４０２、補正係数に従って撮影画像の明るさを補正する明るさ補正部４０６、明るさ補正係数を決定する明るさ補正係数決定部４０８、および画像合成部５２２を含む手振れ補正部５００を有する。画像処理プロセッサ４０は、カメラ処理プロセッサ２０からのカメラ・ゲイン、露光時間および被写体照度のデータに基づいて、記録部６０に格納されている撮影画像データおよび中間画像データを処理して、その処理された画像を中間画像データおよび出力画像データとして記録部６０に格納する。画像処理プロセッサ４０は、例えば集積回路として少なくとも一部がハードウェアの形態で実装されていてもよく、またはプロセッサ上で動作するプログラムとして少なくとも一部がソフトウェアの形態で実装されていてもよい。

記録部６０は、撮影画像メモリ領域６０２、中間画像メモリ領域６０４および出力画像メモリ領域６０６を有する。撮影画像メモリ領域６０２は、カメラ処理プロセッサ２０から受け取った撮影画像データを格納する。中間画像メモリ領域６０４は、必要に応じて補正された撮影画像データを中間画像データとして格納する。出力画像メモリ領域６０６は、必要に応じて画像処理された中間画像データを出力画像データとして格納する。

ユーザ・インタフェース８０は、ディスプレイ８６と、キーを含む入力装置８８とに結合されており、ユーザのキー入力をプロセッサ２０に供給し、画像明るさおよび補正等に関する情報、撮影画像および処理済みの画像を表示装置８６に表示する。

図１において、カメラ・モジュール１０はユーザによる一回のリリース・ボタン押下に対して連続的な複数ショットの画像を撮影（連写）して、撮影画像メモリ領域６０２にその撮影された複数の画像のデータを格納する。明るさ補正判定部４０２は、カメラ処理プロセッサ２０から撮影画像のカメラ・ゲインおよび露光時間、さらに場合によっては被写体照度および／または所要のカメラ・ゲインおよび露光時間を取得し、それらのカメラ・ゲイン、露光時間および照度を明るさの指標に変換し、画像の明るさ指標を、所要の明るさ指標と比較し、または閾値メモリ領域４０４中の対応する閾値と比較して、撮影画像の明るさを補正すべきかどうか、を判定する。明るさ補正すべきかどうかの判定は、カメラ露光時間とカメラ・ゲインの設定に応じて、露光時間のみをその閾値と比較して判定しても、またはゲインのみをその閾値と比較して判定してもよい。

その明るさを補正すべきと判定された場合は、明るさ補正部４０６は、撮影画像メモリ領域６０２から撮影画像データを取り出し、所定の補正係数または明るさ補正係数決定部４０８によって決定された補正係数に従って、所定の明るさ補正関数またはトーンカーブに基づいて撮影画像の明るさを補正し、その補正された画像データを中間画像メモリ領域６０４に格納する。手振れ補正部５００は、中間画像メモリ領域６０４から明るさ補正されたまたは補正されていない複数の中間画像のデータを取り出し、その複数の中間画像から手振れ補正された出力画像を生成する。

図２は、手振れ補正部５００の構成を示している。手振れ補正部５００は、中間画像メモリ領域６０４に結合され複数の中間画像を保持する画像保持部５０６、画像保持部５０６に結合された位置ずれ算出部５１２、算出部５１２に結合された位置ずれ補正部５１４、位置ずれ補正部５１４に結合された類似性評価部５１６、画像保持部５０６に結合された動き領域検出部５１８、画像合成部５２２、画像処理用のパラメータを決定または選択するパラメータ決定部５２４、ノイズ除去部５２８および輪郭強調部５３０を含む画像処理部５２６、および画像保持部５０６に結合された合成画像保持部５３２を有する。図２は、構成要素５０６〜５３２のステップからなる手振れ補正のためのフロー図として見ることもできる。

手振れ補正部５００の位置ずれ算出部５１２は、中間画像メモリ領域６０４に格納されている複数の中間画像の相互間の全体的な位置ずれを算出する。位置ずれ補正部５１４は、その算出された位置ずれに従って、全体的な位置ずれを補正した別の複数の中間画像を生成する。類似性評価部５１６は、その複数の中間画像の間の領域毎の類似度を算出してその類似度を評価する。

動き領域検出部５１８は、複数の中間画像の間の領域毎の類似度データに基づいて動き領域を検出する。画像合成部５２２は、動き領域データに基づいて複数の中間画像を処理して合成画像を生成する。画像合成部５２２は、例えば、位置ずれ補正された複数の中間画像の対応する領域の例えば平均値を合成値と決定し、動き領域に関しては選択された１つの画像のデータを合成値と決定してもよい。

動き領域検出部５１８は、例えば、閾値設定部、動き判定部、孤立点ノイズ判定部および判定バッファ（図示せず）を含んでいてもよい。その閾値設定部では、第１および第２の閾値を算出し、動き判定部および孤立点ノイズ判定部にそれぞれ出力する。第１および第２の閾値は、露光時間および／またはゲイン値に応じて決定される。

その動き判定部は、ずれ量Δの大きさに応じて、複数画像間の対応する領域が動き領域であるかどうかを判定する。その差分値Δが第１の閾値よりも大きい場合には、動きありと判定して、動き判定結果を判定バッファに出力する。その判定バッファは、例えば、動き判定結果をビットマップ形式で記録する。比較する画像間のピクセル（ｘ，ｙ）の領域が動き有りと判定された場合には、その判定部はビットマップの位置Ｍ（ｘ，ｙ）に“１”を設定する。その領域が動きなしと判定された場合には、その判定部は位置Ｍ（ｘ，ｙ）に“０”を設定する。

その孤立点ノイズ判定部は、動きありと判定されたピクセルの位置Ｍ（ｘ，ｙ）が、孤立点ノイズかどうかを判定する。それが孤立点ノイズであると判定された場合には、その位置Ｍ（ｘ，ｙ）を動きなし（“０”）と決定する。例えば、着目ピクセルの位置Ｍ（ｘ，ｙ）に隣接する周囲の８個の位置の判定結果を参照して、動きありと決定されたピクセルの個数をカウントし、このカウント値が第２の閾値よりも小さい場合には、孤立点ノイズと判定して、その位置Ｍ（ｘ，ｙ）を動きなし（“０”）と設定する。

パラメータ決定部５２４は、明るさ補正部４０６または補正係数決定部４０８からの明るさ補正係数、類似性評価部５１６からの類似度データ、および動き領域検出部５１８からの動き領域データに基づいて、画像処理部５２６における画像処理で用いられるパラメータを決定する。画像処理部５２６は、その決定されたパラメータに基づいて、画像合成部５２２からの合成画像を後処理して、処理済みの画像を合成画像保持部５３２に格納する。

パラメータ決定部５２４は、複数の画像間の領域毎の類似度データに基づいてノイズ除去処理が必要かどうかを判定し、対応する複数の領域の中で類似度が閾値以下の領域に対してノイズ除去処理を行うことを決定する。パラメータ決定部５２４は、動き領域データによって合成すべき画像の数を決定し、合成すべき画像の数、画像類似度閾値および輪郭強調度合いに応じて輪郭強調の度合いを決定する。パラメータ決定部５２４は、さらに、類似度データおよび動き領域データからその他の所要のパラメータを決定してもよい。

パラメータ決定部５２４は、例えば、ノイズ除去処理を行うための合成画像数と加重平均フィルタまたはメディアン・フィルタ、ぼかし処理（ローパスフィルタ）などのフィルタ・サイズ（ノイズ除去パラメータ）を設定してもよい。例えば、合成画像数が１の領域ではフィルタ・サイズを５×５とし、それが２の領域では３×３とし、それが３の領域では１×１と設定して、それをメモリ領域に格納する。

パラメータ決定部５２４は、画像処理部５２６で用いられるノイズ除去（フィルタリング）用の画像類似度の閾値（例えば、１〜２、または１００〜２００％）および２次元輪郭強調または輪郭補償（フィルタリング）の度合い（例えば、０．５〜１、または５０〜１００％）のような画像処理部５２６で必要とされるパラメータの値を決定する。

画像処理部５２６は、パラメータ決定部５２４によって決定されたパラメータ値、例えば画像類似度閾値および輪郭強調度合い等に従って、領域毎の画像のノイズを除去し輪郭強調を行い、処理済みの画像データを合成画像５３２として出力する。ノイズ除去処理部５２８は、合成画像の領域ごとに対応するノイズ除去パラメータ、例えばフィルタ・サイズに基づいてノイズ除去処理を行う。

領域ごとの合成画像数を決定した後、例えば、合成画像の領域ごとに合成画像数に応じて輪郭強調処理またはノイズ除去処理を行ってもよい。合成画像数が所定の数（例えば１）以下の場合はノイズ除去を行い、合成画像数が所定数より大きい場合は輪郭強調を行ってもよい。

図３は、被写体の異なる明るさまたは照度に対するカメラ・モジュールのゲインおよび露光時間の所要レベルと、カメラ・モジュール１０のゲインおよび露光時間の実際のレベルとの関係を実線で示している。ここで、縦軸と横軸は、露光時間をゲイン換算で表した値とゲイン値との合計の値であり、またはそのような合計値を表す指標（例えば、０〜１５０％）である。カメラ・モジュール１０のゲインおよび露光時間の実際のレベルは、直線状の一点鎖線で示されているように、理想的にはゲインおよび露光時間の所要レベルと線形的に比例関係にあるべきである。しかし、カメラ・モジュール１０は、実線で示されているように、小型化のためにゲインおよび露光時間の実際の最大レベル（縦軸）には所要レベルより低い限界がある。即ち、カメラ・モジュール１０では、ゲインおよび露光時間に関して低照度において撮影された暗い画像の高輝度化または高明度化に限界がある。従って、ゲインおよび露光時間の所要レベルがカメラ・モジュール１０における最大限界より高いレベルを有する暗い被写体の画像は、それより明るくすることはできず、ユーザにとって利用できないことがある。

図４は、本発明の形態による、被写体の異なる明るさに対するカメラ・モジュールのゲインおよび露光時間の所要レベルと、カメラ・モジュール１０のゲインおよび露光時間の実際のレベルおよび明るさ補正レベルの関係を示している。この場合、ゲインおよび露光時間の所要レベルがカメラ・モジュール１０における最大限界より高いレベルを有する暗い被写体の画像でも、撮影された画像のデータを後処理することによって、破線で示されているように、理想ラインに近づくように撮影画像の明るさまたは輝度のゲインを高くすることができる。従って、カメラ・モジュール１０の高輝度化の限界より或る程度暗い被写体の画像を、ユーザに利用な可能なレベルに明るくすることができる。

図５は、本発明の別の形態による、被写体の異なる明るさに対するカメラ・モジュールのゲインおよび露光時間の所要レベルと、カメラ・モジュール１０のゲインおよび露光時間の実際のレベルおよび別の明るさ補正レベルの関係を示している。この場合、ゲインおよび露光時間の所要レベルがカメラ・モジュール１０における最大限界より高いレベルを有する暗い被写体の画像でも、撮影された画像のデータを後処理することによって、破線で示されているように、理想ラインに近づくようにゲインを段階的にまたは離散的に高くすることができる。従って、カメラ・モジュール１０の高輝度化の限界より或る程度暗い被写体の画像を、ユーザに利用な可能なレベルに明るくすることができる。

図６は、カメラ・モジュール１０における、異なる明るさの暗い被写体に対して撮影画像をより明るくするためのカメラ露光時間とカメラ・ゲインの設定レベルの軌跡の２つの例を、それぞれ一点鎖線および破線で示している。カメラ露光時間およびカメラ・ゲインの値は、それぞれの軌跡およびファインダ照度によって決まる。

一例では、撮影画像を明るくするために、まずカメラの自動利得制御器１０８のゲインを０ｄＢから１２ｄＢまで徐々に増大させ、それでも充分な明るさが得られない場合には、ＣＣＤ／ＣＭＯＳセンサ１０４の露光時間を０．１ｍｓから１２５ｍｓまで徐々に増大させる。この場合、カメラ露光時間の上限は１２５ｍｓであり、カメラ・ゲインの上限は１２ｄＢである。

別の例では、撮影画像を明るくするために、まずカメラの自動利得制御器１０８のゲインを０ｄＢから３ｄＢまで徐々に増大させ、それでも充分な明るさが得られない場合にはＣＣＤ／ＣＭＯＳセンサ１０４の露光時間を０．１ｍｓから６０ｍｓまで徐々に増大させ、それでも充分な明るさが得られない場合にはゲインをさらに３ｄＢから６ｄＢまで徐々に増大させ、それでも充分な明るさが得られない場合には、ＣＣＤ／ＣＭＯＳセンサ１０４の露光時間を６０ｍｓから１２５ｍｓまで徐々に増大させ、それでも充分な明るさが得られない場合にはゲインをさらに６ｄＢから１２ｄＢまで徐々に増大させる。この場合、自動利得制御器１０８のゲインの最大限界レベルは１２ｄＢであり、そのＣＣＤ／ＣＭＯＳセンサ１０４の露光時間の最大限界レベルは１２５ｍｓである。

そのゲインと露光時間の組み合わせが撮影画像の明るさまたは輝度に寄与する。この場合、ゲイン6ｄＢの増大は、概して露光時間を２倍（１００ｍｓ／５０ｍｓ）の増大に相当する。

なお、ゲインと露光時間がともに最大限界に達するまでは、ＣＣＤ／ＣＭＯＳセンサ１０４の検知した明るさＢｎは、その時点でのゲイン値Ｇｎ、露光時間Ｅｎ、定数αに対して、次の式で表すことができ、明るさ補正判定や画像の明るさ指標として使用してもよい。
Bｎ ＝ Ｇｎ／６ ＋ ｌｏｇ_２（Ｅｎ） ＋ α

明るさ補正するかどうかの判定は、最大値Ｂｍａｘ以下の明るさＢｔｈ（Ｂｔｈ≦Ｂｍａｘ）を閾値としてもよいし、図６の第１の例の露光時間とカメラ・ゲインの設定においてゲインが１２ｄBまで増大した後で露光時間を増大させた簡易な軌跡（遷移）の場合は、最大値Ｅｍａｘ以下の露光時間Ｅｔｈ（Ｅｔｈ≦Ｅｍａｘ）を閾値としてもよい。

図７は、カメラ・モジュール１０によって撮影された画像の明るさ指標に対する、本発明の形態によって施される画像の明るさ補正の係数の関係を表す補正係数関数を示している。撮影画像の明るさ指標に対する補正係数の関係を示すこの関数は、補正係数決定部４０８によって使用される。

撮影画像の明るさ指標が、画像処理プロセッサ４０（構成要素４０２〜４０８）の明るさスケールで閾値５０％以下であり２０％より高い場合には、その明るさに応じて暗くなるに従って明るさ補正係数を０％から１００％までの範囲で徐々に高くなるように設定する。その明るさレベルが２０％以下の場合は、明るさ補正係数を最大の限界１００％に設定する。撮影画像の明るさ指標が所定の閾値５０％より大きく１００％以下の場合は、補正係数は０（ゼロ）であってもよい。ここで、明るさ指標の百分率１００％は可能な最大値を表している。このように、撮影画像の明るさ指標が閾値より小さくなるに従って、明るさ補正係数は実質的に単調に増大する。

図８は、カメラ・モジュール１０によって撮影された画像の明るさ指標に対する、本発明の別の形態によって施される明るさ補正の係数の関係を表す別の補正係数関数を示している。

撮影画像の明るさ指標が、画像処理プロセッサ４０（構成要素４０２〜４０８）の明るさスケールで５０％以下であり３０％より高い場合には、その明るさ補正係数を５０％に高く設定する。その明るさレベルが３０％以下の場合は、明るさ補正係数を最大の限界１００％に設定する。撮影画像の明るさ指標が所定の閾値５０％より大きく１００％以下の場合は、補正係数は０（ゼロ）であってもよい。このように、撮影画像の明るさ指標が閾値より小さくなるに従って、明るさ補正係数は実質的に単調に増大する。

図９は、本発明の形態による、画像処理プロセッサ４０の明るさ補正判定部４０２または補正係数決定部４０８によって与えられた明るさ補正係数０％〜１００％に対する、動き検出におけるノイズ除去用の画像類似度の閾値の変化を表す閾値関数を示している。

複数の画像間の領域の類似性の評価による類似度が閾値より低い場合は、その領域が無視できないノイズを含むと判定されて、類似度の低い領域は画像合成に用いないようにしてもよく、および／または合成画像におけるその類似度の低い領域に対してノイズ除去処理が行われてもよい。明るさ補正係数が０％の場合は、動き検出におけるノイズ除去用の画像類似度の通常の閾値が用いられる。一方、閾値関数は、明るさ補正係数が大きくなるに従って、ノイズ除去用の画像類似度が実質的に単調に増大するものである。明るさ補正係数が１００％の場合は、ノイズ除去用の画像類似度の通常の閾値（１００％）の２倍の閾値２００％が用いられる。それによって、明るさ補正によって増大された明るさおよび明度（輝度）の差を有する補正画像のノイズを除去し損なうことが防止される。

図１０は、本発明の形態による、画像処理プロセッサ４０によって与えられた明るさ補正係数０％〜１００％に対する輪郭強調度合いの変化を表す輪郭強調度度合い関数を示している。

輪郭強調において、輪郭を表す或る領域のピクセルは、その輪郭を強調するようにその明るさレベルが修正されるような形態で輪郭強調フィルタリングが行われる。明るさ補正係数が０％の場合は、輪郭強調度合いが通常の強調係数の度合い１００％で行われる。一方、明るさ補正係数が１００％の場合は、輪郭強調は通常の強調係数の度合い５０％に抑制される。その強調係数の度合いは、画像信号に加算される輪郭強調信号を生成する輪郭強調フィルタの係数に乗じられても、またはその生成された加算される輪郭強調信号に乗算されてもよい。このように、明るさ補正係数が増大するに従って輪郭強調度合いが実質的に単調に減少する。それによって、明るさ補正によって増大された明るさを有する補正画像の輪郭強調フィルタリングにおいて明るさ補正によって増大された明るさおよび明度（輝度）の差を有する補正画像のノイズが輪郭として誤って評価されまたは輪郭が過大に強調されることが防止される。

図１１は、本発明の実施形態による、カメラ処理プロセッサ２０、画像処理プロセッサ４０および記録部６０によって実行される、カメラ・モジュール１０からの撮影画像の明るさ補正のためのフローチャートを示している。

ステップ８０２において、カメラ処理プロセッサ２０の制御部２０２は、カメラ・モジュール１０から、そのレジスタ１２２に保持されている撮影画像に適用された実際のゲインおよび露光時間、さらに場合によっては被写体照度および／または所要のカメラ・ゲインおよび露光時間のデータを読み出し、画像処理プロセッサ４０はそのデータを取得する。ステップ８０４において、画像処理プロセッサ４０の明るさ判定部４０２は、その実際のゲインおよび露光時間がそれぞれの所定の閾値Ｂｔｈに達しているかまたはそれを越えているかどうかを判定する。その判定は、カメラ露光時間とカメラ・ゲインの設定に応じて、露光時間のみをその閾値と比較して判定しても、ゲインのみをその閾値と比較して判定してもよい。

それらが閾値Ｂｔｈに達していないと判定された場合は、ステップ８１２において、カメラ処理プロセッサ２０は、カメラ・モジュール１０（画像メモリ領域１１４）から撮影画像データを取り出して記録部６０の撮影画像メモリ領域６０２に格納する。ステップ８１６において、記録部６０は、その撮影画像データを中間画像メモリ領域６０４に格納し、さらにそれを確認用画像データおよび保存画像データとして出力画像メモリ領域６０６に格納する。ステップ８１２〜８１６は通常の処理である。

ステップ８０４においてそれらが閾値Ｂｔｈに達していると判定された場合は、ステップ８２２において、カメラ処理プロセッサ２０は、カメラ・モジュール１０（画像メモリ領域１１４）から関連する複数の撮影画像データを取り出して記録部６０の撮影画像メモリ領域６０２に格納する。

ステップ８２６において、補正係数決定部４０８は１つの所定の補正係数（例えば、１００％）を決定する。

ステップ８３４において、明るさ補正部４０６は、明るさ補正判定部４０２において決定された補正係数に従って、所定の明るさ補正関数またはトーンカーブに従ってその撮影画像データを処理してその明るさを増大させるよう補正する。

図１５および１６は、明るさ補正部４０６によって行われる補正の入力ピクセル値と出力ピクセル値の関係を表す明るさ補正関数またはトーンカーブの例を示している。明るさ補正部４０６は、予め定められた補正係数３０〜１００％の範囲の値に応じて撮影画像のピクセルの値を入力ピクセル値として図１５または１６の補正関数直線または曲線に従って明るさ補正された出力ピクセル値を中間画像データとして出力する。

ステップ８４０において、明るさ補正部４０６は、その補正された撮影画像を中間画像として中間画像メモリ領域６０４に格納する。記録部６０は、中間画像メモリ領域６０４中のその補正された中間画像を、表示用の確認用画像データおよび所定フォーマット（例えば、ＪＰＥＧ）の保存用画像データとして出力画像メモリ領域６０６に格納する。

ステップ８４２において、明るさ補正判定部４０２は、ユーザ・インタフェース８０を介して、ディスプレイ８６上に撮影画像の明るさを補正したことを表示してもよい。ユーザは、入力装置８８を操作することによって、撮影画像メモリ領域６０２に格納された補正前の撮影画像と、出力画像メモリ領域６０６に格納されている補正済みの画像とを、切り換えて表示してもよい。ユーザは、補正済みの画像が使用できない即ち撮影が失敗したと判断した場合は、出力画像メモリ領域６０６中のその出力画像を削除することができる。しかし、本発明によれば、撮影画像が或る程度暗くても、明るさ補正された画像を出力画像として提示できるので、補正済みの画像が所要の明るさを有する可能性が高くなり、ユーザによって撮影失敗として画像が削除される機会が減少し、追加的に画像を撮影する機会が減少するであろう。

図１２は、本発明の別の実施形態による、カメラ処理プロセッサ２０、画像処理プロセッサ４０および記録部６０によって実行される、カメラ・モジュール１０からの撮影画像の明るさ補正のための別のフローチャートを示している。

ステップ８０２〜８２２は、図１１のものと同様である。

ステップ８２８において、補正係数決定部４０８は、撮影画像のピクセルの明るさレベルに対するピクセル頻度（度数）のヒストグラムを生成して解析し、撮影画像の所定の明るさの指標ＩＮＤＥＸを求める。明るさの指標ＩＮＤＥＸは、例えば、（ａ）ヒストグラムにおける明るさの平均値、（ｂ）ヒストグラムの中央値、（ｃ）ヒストグラムの最高頻度ピクセルの値、（ｄ）頻度が低い閾値未満の最も暗いピクセル（明るさレベル０〜ｎ）および頻度が高い閾値以上の最も明るいピクセル（明るさレベルｍ〜２５５）を除去した両閾値範囲内のピクセルのヒストグラムの明るさの平均値、（ｅ）画像の複数の分割領域におけるそれぞれのヒストグラムの明るさの指標（各領域に上記（ａ）〜（ｄ）の指標を適用した場合の指標）の平均値、を最大の明るさ値に対する百分率（％）で表した値であってもよい。

代替構成として、補正係数決定部４０８は、ＣＣＤ／ＣＭＯＳセンサ１０４から被写体明るさ相当値を読み出せる場合は、ＣＣＤ／ＣＭＯＳセンサ１０４から読み出した被写体明るさ相当値を０〜１００％に正規化して明るさ指標としてもよい。別の代替構成として、補正係数決定部４０８は、ゲインと露光時間がともに最大限界に達するまでは、実際のゲインＧｎおよび露光時間Ｅｎまたは明るさＢｎを利用し、その明るさＢｎ等を０〜１００％に正規化して明るさ指標としてもよい。

ステップ８３０において、明るさ補正係数決定部４０８は、画像の明るさの指標（０〜１００％）を、所定の閾値（例えば５０％）と比較し、さらに補正係数関数に従って明るさ補正係数を決定する。その明るさ補正係数は、図７または８の画像明るさ指標に対する補正係数の関係を表す補正係数関数に従って決定してもよい。この補正係数関数は、明るさ補正係数決定部４０８においてテーブルＴＢＬの形態で格納されていてもよい。

ステップ８３４〜８４２は、図１１のものと同様である。

図１３は、本発明のさらに別の実施形態による、カメラ処理プロセッサ２０、画像処理プロセッサ４０および記録部６０によって実行される、カメラ・モジュール１０からの撮影画像の明るさ補正および手振れ補正のためのさらに別のフローチャートを示している。

ステップ８０２〜８１２は図１１のものと同様である。

ステップ８１４において、手振れ補正部５００は、通常の形態で中間画像メモリ領６０４に格納された明るさ補正されていない中間画像を処理して手振れ補正を行い、合成画像保持領域５３２に格納する。ステップ８１６において、記録部６０は、その合成画像データを確認用画像データおよび保存画像データとして出力画像メモリ領域６０６に格納する。

ステップ８２２〜８３４は、図１１のものと同様である。

ステップ８３８において、手振れ補正部５００のパラメータ決定部５２４は、明るさ補正係数に応じて所定の閾値補正関数に従って画像類似度の補正された閾値を求め、その補正された閾値に従って複数の画像間の領域の類似度データからノイズ除去の要否を判定する。その画像類似度の補正された閾値は、図９の明るさ補正係数に対する閾値の関係を表す閾値補正関数に従って決定してもよい。この補正関数は、パラメータ決定部５２４においてテーブルＴＢＬの形態で格納されていてもよい。また、パラメータ決定部５２４は、明るさ補正係数に応じて所定の輪郭強調度補正関数に従って輪郭強調の度合いを決定する。その輪郭強調の度合いは、図１０の明るさ補正係数に対する輪郭強調の度合いの関係を表す輪郭強調度合い関数に従って決定してもよい。この輪郭強調度合い関数は、パラメータ決定部５２４においてテーブルＴＢＬの形態で格納されていてもよい。

手振れ補正部５００のノイズ除去部５２８は、明るさ補正係数（０〜１００％）に応じて、所定の画像類似度の補正された閾値および補正された輪郭強調度合いに従って、手振れ補正を行う。それによって、明るさまたは明度の差を増大させさた結果としてノイズ除去すべき領域がノイズ除去されなくなるのを防止する。また、明るさまたは明度の差を増大させさた結果として補正画像のノイズが輪郭として誤って評価されまたは輪郭が過大に強調されるのを防止する。

ステップ８４０〜８４２は、図１１のものと同様である。

図１４は、本発明のさらに別の実施形態による、カメラ処理プロセッサ２０、画像処理プロセッサ４０および記録部６０によって実行される、カメラ・モジュール１０からの撮影画像の明るさ補正および手振れ補正のためのさらに別のフローチャートを示している。

ステップ８０２〜８１２、８１６〜８３４、および８４０〜８４２は、図１２のものと同様である。ステップ８１４および８３８は、図１３のものと同様である。

以上説明した実施形態は典型例として挙げたに過ぎず、その各実施形態の構成要素を組み合わせること、その変形およびバリエーションは当業者にとって明らかであり、当業者であれば本発明の原理および請求の範囲に記載した発明の範囲を逸脱することなく上述の実施形態の種々の変形を行えることは明らかである。

以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１） 画像を撮影する撮像部と、
前記撮像部から、撮影された画像のデータと、前記画像に適用された撮像条件とを取得する制御部と、
前記取得された撮像条件と閾値とを比較し、前記撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部と、
前記判定部による補正するという判定に応答して、明るさ補正関数に従って前記撮影された画像の明るさがより明るくなるように前記撮影された画像のデータを補正する補正部と、
を具える電子機器。
（付記２） 前記撮影された画像の明るさに応じて所定の補正係数関数に従って補正係数を決定する補正係数決定部を具え、
前記補正係数決定部は、離散的なまたは連続的な補正係数関数に従って、複数の候補の補正係数の中から１つの補正係数を決定し、
前記補正部は、前記決定された補正係数に基づいて前記明るさ補正関数を決定し、
低照度環境において撮影された画像の明るさを向上させることを特徴とする、付記１に記載の電子機器。
（付記３） さらに、前記撮影された画像の明るさに応じて所定の補正係数関数に従って補正係数を決定する補正係数決定部を具え、
前記補正係数関数は、前記明るさが所定の閾値より減少するにしたがって前記補正係数が実質的に単調に増大するものであり、
前記補正部は、前記補正係数に基づいて前記明るさ補正関数を決定し、
低照度環境において撮影された画像の明るさを向上させることを特徴とする、付記１に記載の電子機器。
（付記４） さらに、前記撮影された画像のピクセル・データのヒストグラムに基づいて前記撮影された画像の明るさの指標を決定し、前記決定された明るさの指標に応じて所定の補正係数関数に従って補正係数を決定する補正係数決定部を具え、
前記補正部は、前記補正係数に基づいて前記明るさ補正関数を決定し、
低照度環境において撮影された画像の明るさを向上させることを特徴とする、付記１に記載の電子機器。
（付記５） 前記カメラ部は連続的に複数の画像を撮影するものであり、
前記電子機器は、さらに、前記複数の画像の間の検出された動きに応じて前記複数の画像を合成して、手振れ補正された１つの画像を生成する手振れ補正部を具える、付記１に記載の電子機器。
（付記６） 前記手振れ補正部は、前記明るさ補正係数に応じて所定の輪郭強調度補正関数に従って輪郭強調度を決定し、前記決定された輪郭強調度に従って前記合成された画像の輪郭を強調するものである、付記５に記載の電子機器。
（付記７） 前記輪郭強調度補正関数は、前記明るさ補正係数が増大するにしたがって前記輪郭強調度が実質的に単調に減少するものである、付記６に記載の電子機器。
（付記８） 前記手振れ補正部は、前記明るさ補正係数に応じて所定の閾値補正関数に従ってノイズ除去のための画像類似度閾値を決定し、前記決定された画像類似度閾値に従って前記合成された画像のノイズを除去するものである、付記５に記載の電子機器。
（付記９） 前記閾値補正関数は、前記明るさ補正係数が増大するにしたがって前記画像類似度閾値が実質的に単調に増大するものである、付記６に記載の電子機器。
（付記１０） さらに、前記補正部が前記撮影された画像のデータを補正したとき、前記撮影された画像が明るさ補正されたことを表示する表示器を具える、付記１に記載の電子機器。
（付記１１） さらに、前記撮影された画像を格納するメモリ領域と、明るさ補正された前記画像のデータを格納するメモリ領域と、を具える、付記１に記載の電子機器。
（付記１２） 画像を撮影する撮像部と、
前記撮像部から、前記撮影された画像のデータと、前記画像に適用された前記撮像部の撮影条件とを取得し、前記取得された撮影条件と閾値とを比較し、前記撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部と、
前記判定部による補正するという判定に応答して、明るさ補正関数に従って前記撮影された画像の明るさがより明るくなるように前記撮影された画像のデータを補正する補正部と、
を具える電子機器。

図２は、手振れ補正部５００の構成を示している。手振れ補正部５００は、中間画像メモリ領域６０４に結合され複数の中間画像を保持する画像保持部５０６、画像保持部５０６に結合された位置ずれ算出部５１２、算出部５１２に結合された位置ずれ補正部５１４、位置ずれ補正部５１４に結合された類似性評価部５１６、画像保持部５０６に結合された動き領域検出部５１８、画像合成部５２２、画像処理用のパラメータを決定または選択するパラメータ決定部５２４、ノイズ除去部５２８および輪郭強調部５３０を含む画像処理部５２６、および出力画像メモリ領域６０６に結合された合成画像保持部５３２を有する。図２は、構成要素５０６〜５３２のステップからなる手振れ補正のためのフロー図として見ることもできる。

画像処理部５２６は、パラメータ決定部５２４によって決定されたパラメータ値、例えば画像類似度閾値および輪郭強調の度合い等に従って、領域毎の画像のノイズを除去し輪郭強調を行い、処理済みの画像データを合成画像５３２として出力する。ノイズ除去処理部５２８は、合成画像の領域ごとに対応するノイズ除去パラメータ、例えばフィルタ・サイズに基づいてノイズ除去処理を行う。

撮影画像の明るさ指標が、画像処理プロセッサ４０（構成要素４０２〜４０８）の明るさスケールで閾値５０％以下であり２０％より高い場合には、その明るさに応じて暗くなるに従って明るさ補正係数を０％から１００％までの範囲で徐々に高くなるように設定する。その明るさ指標が２０％以下の場合は、明るさ補正係数を最大の限界１００％に設定する。撮影画像の明るさ指標が所定の閾値５０％より大きく１００％以下の場合は、補正係数は０（ゼロ）であってもよい。ここで、明るさ指標の百分率１００％は可能な最大値を表している。このように、撮影画像の明るさ指標が閾値より小さくなるに従って、明るさ補正係数は実質的に単調に増大する。

ステップ８０２において、カメラ処理プロセッサ２０の制御部２０２は、カメラ・モジュール１０から、そのレジスタ１２２に保持されている撮影画像に適用された実際のゲインおよび露光時間、さらに場合によっては被写体照度および／または所要のカメラ・ゲインおよび露光時間のデータを読み出し、画像処理プロセッサ４０はそのデータを取得する。ステップ８０４において、画像処理プロセッサ４０の明るさ補正判定部４０２は、その実際のゲインおよび露光時間がそれぞれの所定の閾値Ｂｔｈに達しているかまたはそれを越えているかどうかを判定する。その判定は、カメラ露光時間とカメラ・ゲインの設定に応じて、露光時間のみをその閾値と比較して判定しても、ゲインのみをその閾値と比較して判定してもよい。

Claims (6)

1. 画像を撮影する撮像部と、
   前記撮像部から、撮影された画像のデータと、前記画像に適用された撮像条件とを取得する制御部と、
   前記取得された撮像条件と閾値とを比較し、前記撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部と、
   前記判定部による補正するという判定に応答して、明るさ補正関数に従って前記撮影された画像の明るさがより明るくなるように前記撮影された画像のデータを補正する補正部と、
   を具える電子機器。
2. 前記撮影された画像の明るさに応じて所定の補正係数関数に従って補正係数を決定する補正係数決定部を具え、
   前記補正係数決定部は、離散的なまたは連続的な補正係数関数に従って、複数の候補の補正係数の中から１つの補正係数を決定し、
   前記補正部は、前記決定された補正係数に基づいて前記明るさ補正関数を決定し、
   低照度環境において撮影された画像の明るさを向上させることを特徴とする、請求項１に記載の電子機器。
3. さらに、前記撮影された画像の明るさに応じて所定の補正係数関数に従って補正係数を決定する補正係数決定部を具え、
   前記補正係数関数は、前記明るさが所定の閾値より減少するにしたがって前記補正係数が実質的に単調に増大するものであり、
   前記補正部は、前記補正係数に基づいて前記明るさ補正関数を決定し、
   低照度環境において撮影された画像の明るさを向上させることを特徴とする、請求項１に記載の電子機器。
4. さらに、前記撮影された画像のピクセル・データのヒストグラムに基づいて前記撮影された画像の明るさの指標を決定し、前記決定された明るさの指標に応じて所定の補正係数関数に従って補正係数を決定する補正係数決定部を具え、
   前記補正部は、前記補正係数に基づいて前記明るさ補正関数を決定し、
   低照度環境において撮影された画像の明るさを向上させることを特徴とする、請求項１に記載の電子機器。
5. 前記カメラ部は連続的に複数の画像を撮影するものであり、
   前記電子機器は、さらに、前記複数の画像の間の検出された動きに応じて前記複数の画像を合成して、手振れ補正された１つの画像を生成する手振れ補正部を具える、請求項１に記載の電子機器。
6. 画像を撮影する撮像部と、
   前記撮像部から、前記撮影された画像のデータと、前記画像に適用された前記撮像部の撮影条件とを取得し、前記取得された撮影条件と閾値とを比較し、前記撮影された画像のデータの明るさを補正の要否を判定する明るさ補正判定部と、
   前記判定部による補正するという判定に応答して、明るさ補正関数に従って前記撮影された画像の明るさがより明るくなるように前記撮影された画像のデータを補正する補正部と、
   を具える電子機器。

Images