JP6202837B2 - 撮像装置、その制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置、その制御方法およびプログラムに関するものである。特に、覆い焼き処理が有効である場合に、好適な画像で動作モードを切換えることができる撮像装置、その制御方法およびプログラムに関する。

人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性は、その感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、通常、撮像装置では、色再現性を人間の色覚特性に合わせるために、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外光除去フィルタ（ＩＲＣＦ）を設けている。
しかし、被写体輝度が低下する低輝度下においては、しばしば、ＩＲＣＦを光路から取り除くことで、近赤外領域の光線を通過させて、感度を上昇させている。ただし、近赤外領域の光線を通過させると、色バランスが崩れるため、カラー画像（デイモード）から白黒画像（ナイトモード）に動作モードの切換を行う。切換方法として、オートデイナイト（以後、ＡＤＮ）と呼ばれる、自動でデイモード、ナイトモードの切換を行う機能もある。
更に、例えば、バリフォーカルレンズのように、ＩＲＣＦの挿抜機構がないレンズでは、感度を上げることはできないが、カラー成分にのるノイズを除去できるため、単にカラー画像から白黒画像に切換わるカメラもある。カラー画像から白黒画像に切換わるときの被写体輝度の閾値は、カメラのＡＥデータ（シャッタースピード、ＩＲＩＳ、ＡＧＣ、画面輝度）に基づき決定される。
例えば、特許文献１に記載された撮像装置では、ＩＲＣＦの挿抜前後の感度差をＡＧＣ制御部よりフィードバックすることによって動作モードを切換える手法が開示されている。
また、近年のデジタルカメラでは、逆光条件などで撮影された画像に対して、明部はそのままにして暗部を持ち上げて被写体の視認性を向上させるデジタル覆い焼き処理という技術がある。

特開２００３−１９８９３３号公報

しかしながら、特許文献１に記載の構成は、覆い焼き処理は考慮していない。一方で、近年ユーザーからの要望が高まっている覆い焼き処理機能をもつカメラでは、覆い焼き処理の設定による出力の変化に応じて、判定基準値を適切に設定していない。このため、昼→夜→昼と時間が経過して被写体輝度が変わっても、正しく動作モードの切換えが行われない問題点がある。（図１６参照）
本発明は、上述したような問題点に鑑みてなされたものであり、覆い焼き処理が有効時に、単純な構成で、かつ所望の画像で動作モードを切換える撮像装置などを提供することを目的にする。

本発明は、撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、前記画像データ生成手段によって生成された画像データをカラーまたは白黒のいずれかに切換える画像データ切換手段と、前記画像データ切換手段によって切換えられた前記画像データに対して覆い焼き処理を施す覆い焼き処理手段と、前記画像データを切換えるための切換評価値を算出する切換評価値算出手段と、前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較の結果に基づいて前記画像データをカラーまたは白黒のいずれに切換えるかを判定する切換判定手段と、前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、前記切換閾値を補正する閾値補正手段と、を有し、前記閾値補正手段は、前記覆い焼き処理手段による覆い焼き処理が有効である場合には、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正し、前記輝度ヒストグラム算出手段が算出した前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする。

本発明によれば、覆い焼き処理に応じてカラー・白黒のモード切換の切換閾値を変更することによって、覆い焼き処理の設定によらず最適なカラー・白黒モードに適切に切換わることができる。

第１の実施形態に係るカメラの構成を示す図である。 第１の実施形態に係るカメラの撮像部の構成を示す図である。 第１の実施形態に係るカメラの処理を示すフローチャートである。 第１の実施形態に係るカメラの別の構成を示す図である。 複数の覆い焼きレベルに応じた複数の切換閾値の補正量をテーブルで表した図である。 覆い焼き処理が無効時の被写体の例を表す画像である。 覆い焼き処理が有効時の被写体の例を表す画像である。 図６の被写体輝度が低くなった場合の例を表す画像である。 図７の被写体輝度が低くなった場合の例を表す画像である。 第２の実施形態に係るカメラの構成を示す図である。 第２の実施形態に係るカメラの処理を示すフローチャートである。 輝度落ちレベルに応じた切換閾値の補正量のテーブルを表した例である。 第２の実施例形態に係る基準画像のヒストグラムの例である。 第２の実施例形態に係る図１３よりも暗部領域が多い画像ヒストグラムの例である。 暗部領域の割合に応じた切換閾値の補正量のテーブルを表した例である。 従来例を表した図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてデジタルカメラを用いる場合について説明する。

（第１の実施形態）
図１は、第１の実施形態に係るデジタルカメラ１ａの構成を示す図である。
デジタルカメラ１ａは、撮像部１０１と、画像データ生成部１０２と、画像データ切換部１０３と、覆い焼き処理部１０４と、切換評価値算出部１０５と、切換判定部１０６と、切換閾値補正部１０７と、出力部１０８とを含む。
撮像部１０１は、外部から光をとり込むための撮像レンズ２０１（後述）と、被写体像を結像するための撮像素子２０２（後述）とを含む。画像データ生成部１０２は、撮像部１０１が出力したアナログ信号に対してデジタル変換処理を行い、画像データを生成する。画像データ切換部１０３は、切換判定部１０６の判定結果にしたがって、出力する画像データを白黒またはカラーに切換える。切換評価値算出部１０５は、撮像部１０１の出力から切換評価値を算出する。切換閾値補正部１０７は、白黒またはカラーの切換えのための切換閾値を補正する。なお、切換閾値はあらかじめ定められている。切換判定部１０６は、切換評価値と切換閾値とを比較し、その比較結果に基づいて、画像データ切換部１０３が画像データの出力の切換えを行うか否かを判定する。覆い焼き処理部１０４は、有効である場合には、画像データ切換部１０３から出力された画像データに対して、覆い焼き処理を施す。出力部１０８は、最終的な画像データを出力する。

図２は、撮像部１０１の詳細な構成を示した図である。
撮像部１０１は、撮像レンズ２０１と、撮像素子２０２と、ＣＤＳ回路２０３と、ＡＧＣ回路２０４と、Ａ／Ｄ変換部２０５とを有する。
撮像レンズ２０１は、図２では模式的に１枚のレンズを示すが、実際には複数枚のレンズ群により構成される。撮像素子２０２には、たとえばＣＣＤやＣＭＯＳなどが適用される。ＣＤＳ回路２０３は、相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）回路であり、撮像素子２０２が出力した電気信号（アナログ信号）のノイズ軽減を行う。ＡＧＣ回路２０４は、ゲインコントロールアンプ回路（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：ＡＧＣ）であり、デジタルカメラ１ａの利得制御を自動で行う。Ａ／Ｄ変換部２０５は、アナログ信号をデジタル信号へ変換する。

次いで、上述した各構成要素の動作について詳しく説明する。
撮像部１０１において、撮像光学系としての撮像レンズ２０１は、被写体の光学像（被写体像）を撮像素子２０２に結像する。撮像素子２０２は、結像した被写体像を電気信号（アナログ信号）に変換して出力する。ＣＤＳ回路２０３は、撮像素子２０２から出力された電気信号に対して、相関二重サンプリング処理などを実施する。ＡＧＣ回路２０４は、ＣＤＳ回路２０３から出力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換部２０５は、ＡＧＣ回路２０４により増幅処理された電気信号をアナログ信号からデジタル信号へと変換する。

画像データ生成部１０２は、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＤＳＰ）などから構成される。そして、画像データ生成部１０２は、電気信号に対して、色変換や、ＡＥ処理や、ＷＢ処理や、信号処理された画像の階調変換を行うガンマ処理などといった、所定の画像処理を行う。そして、画像データ生成部１０２は、画像処理を行った電気信号を、画像データとして画像データ切換部１０３に出力する。

画像データ切換部１０３は、画像データ生成部１０２が出力した画像データを、切換判定部１０６による判定結果にしたがって、白黒画像またはカラー画像に変換して出力する。なお、画像データ切換部１０３は、画像データ生成部１０２に内包されていてもよい。

覆い焼き処理部１０４は、画像データに対して覆い焼き処理を施すことができる。覆い焼き処理とは、明暗差のある被写体を補正するものである。具体的には、十分な輝度の画像データの明るい部分はそのままに、暗い部分だけを持ち上げる（輝度をあげる）処理である。更に、低輝度の画像データに対しては、最低被写体輝度を向上させることができる。そして、覆い焼き処理部１０４は、画像データに対して任意に（たとえば、ユーザーによる設定に応じて）覆い焼き処理を有効または無効にすることができる。

切換評価値算出部１０５は、撮像部１０１より出力された、絞り・シャッタースピード・利得等の撮像条件から切換評価値の算出を行う。切換評価値は、切換判定部１０６が、出力する画像データを白黒またはカラーのいずれに切換えるかの判定において用いる。出力する画像データを白黒またはカラーに切換える機能は、『デイナイト機能』と呼ばれることが多い。そこで、本実施形態では、白黒の画像データを出力する動作モードを『ナイトモード』と称し、カラーの画像データを出力する動作モードを『デイモード』と称する。また、画像データの切換を、『デイナイトモード切換』と称する。

切換閾値補正部１０７は、予め定められたデイナイトモード切換の判定に用いる所定の切換閾値を、覆い焼き処理の有効／無効に応じて最適な切換閾値へ補正する。

切換判定部１０６は、画像データ切換部１０３がデイモードとナイトモードのいずれの動作モードに切換わるかを判定する。この判定には、切換評価値算出部１０５より出力された切換評価値と、切換閾値補正部１０７によって補正された切換閾値とを用いる。例えば、切換判定部１０６は、切換評価値と切換閾値の大小を比較し、切換評価値が切換閾値以下である場合には、画像データ切換部１０３がナイトモードに切換わると判定する。この場合には、画像データ切換部１０３は、切換判定部１０６の判定結果にしたがって、ナイトモードに切換わり、白黒の画像データを出力する。なお、ナイトモードにおいては、ＩＲＣＦ（図２においては省略）を駆動させて光路上から退避させても良い。デイモードからナイトモードに切換わった場合は、色ノイズの影響を排除できるので、その分ＡＧＣの上限値を上げて輝度アップを図ることもできる。

出力部１０８は、例えば、ＬＣＤなどから構成され、覆い焼き処理を含めた種々の画像処理を経た画像データを表示する。

次に、図３に示すフローチャートを用いて、デジタルカメラ１ａの動作モードをデイモードからナイトモードに切換える動作処理について説明する。図３は、動作モードをデイモードからナイトモードに切換える動作処理を示すフローチャートである。
図３のフローチャートに示す処理は、主に、図１に示す画像データ生成部１０２と、画像データ切換部１０３と、覆い焼き処理部１０４と、切換評価値算出部１０５と、切換判定部１０６と、切換閾値補正部１０７とが動作することにより実現する。
ここでは、処理の開始時において、デジタルカメラ１ａの動作モードがデイモードに設定されているものとする。動作モードがデイモードに設定されている場合には、画像データ切換部１０３は、カラーの画像データを出力する。

ステップｓ１０１では、画像データ生成部１０２は、撮像部１０１が出力する信号から画像データを生成し、画像データ切換部１０３に出力する。そして、画像データ切換部１０３は、画像データ生成部１０２が出力した画像データを取得する。
ステップｓ１０２では、切換評価値算出部１０５は、撮像部１０１が出力した撮像条件（絞り値、シャッタースピード、ＡＧＣゲイン値）を基に、切換評価値を算出する。
次式は、切換評価値Ｓの算出式の一例である。

Ｓ ＝ ｉｒｉｓ ＋ ｓｈｕｔｔｅｒ ＋ ＡＧＣｇａｉｎ

Ｓ ：切換評価値
ｉｒｉｓ ：絞り値（Ａｖ値）
ｓｈｕｔｔｅｒ：シャッタースピード（Ｔｖ値）
ＡＧＣｇａｉｎ：ＡＧＣゲイン（利得）値

切換評価値Ｓは、露出の明るさを示す値、すなわちＥＶ値である。ＥＶ値は、絞り値（Ｆ値）、シャッタースピード（秒）、ＡＧＣゲイン値（ｄＢ）のそれぞれを対数表示したものである。

ステップｓ１０３では、覆い焼き処理部１０４は、覆い焼き処理が有効であるか無効であるかを判断する。有効である場合にはステップｓ１０４に進み、無効である場合にはステップｓ１０４を経ずにステップｓ１０５に進む。
ステップｓ１０４では、切換閾値補正部１０７は、所定の切換閾値の値を補正する。なお、所定の切換閾値は、初めからデジタルカメラ１ａに組み込まれている値（あらかじめ記憶媒体などに格納されている値）でもよいし、ユーザーによって任意に決められた値でもよい。

覆い焼き処理が有効である場合には、無効である場合と比較して、画像が明るく見える。そして、従来の構成では、デイナイトモード切換を行う際に、覆い焼き処理による見た目の明るさを考量していない。このため、従来のような切換閾値を補正しない構成であると、覆い焼き処理が有効である場合には無効である場合に比較して、明るい画像でデイナイトモード切換が実行されることになる。このように、従来の構成では、覆い焼きの処理が有効か無効かによって、ユーザーが意図する明るさでのデイナイトモード切換えができない。
そこで、本実施形態においては、覆い焼き処理が有効である場合には、デイナイトモード切換が実行される画像の輝度が低くなるように、切換閾値の値を低くする補正をおこなう。このような構成によれば、たとえばデイナイトモード切換が実行される画像の見た目の輝度を、覆い焼きが有効である場合と無効である場合とで差を小さくすることができる。

ステップｓ１０５では、切換判定部１０６は、切換評価値算出部１０５が出力した切換評価値と切換閾値補正部１０７が出力した切換閾値の大小を比較する。そして、切換評価値が切換閾値以下である場合には、切換判定部１０６は、動作モードをナイトモードに切換えると判定し、ステップｓ１０６に進む。そうでない場合には、切換判定部１０６は、動作モードをナイトモードに切換えないと判定し、ステップｓ１０７に進む。
ステップｓ１０６では、画像データ切換部１０３は、切換判定部１０６による判定結果にしたがってナイトモードに切換わり、白黒の画像データを出力する。
ステップｓ１０７では、画像データ切換部１０３は、デイモードを維持し、カラーの画像データを出力する。
このように、切換評価値が所定の切換閾値以下である低輝度の被写体を撮影した場合には、画像データ切換部１０３はナイトモードへと切換わる。それ以外の組み合わせ時は、デイモードを維持する。

なお、ナイトモードからデイモードへの切換えも、上述の動作と同様の動作で実現できる。すなわち、動作モードがナイトモードである場合において、切換評価値が所定の切換閾値以上である場合に、切換判定部１０６は、動作モードをナイトモードからデイモードに切換えると判定する。そして、画像データ切換部１０３は、判定結果に応じて、ナイトモードからデイモードに切換わる。このようにして、ナイトモードからデイモードへの切替えが実現できる。この場合には、デイモードからナイトモードへの切換え時の明るさを考慮して、ナイトモードからデイモードに切換える際に用いる切換閾値を自動で算出しても良い。

なお、ステップｓ１０４において、切換判定部１０６は、覆い焼きレベルと切換閾値とを複数の中から選択して用いても良い。図４は、デジタルカメラ１ａが、さらに覆い焼きレベル設定部３０１と切換閾値選択部３０２とを有する構成を示す。覆い焼きレベル設定部３０１は、覆い焼き処理の複数のレベルを、たとえばユーザーによる設定などに応じて任意に設定できる。切換閾値選択部３０２は、例えばユーザーによる設定などに応じて複数の切換閾値を任意に選択できる。

図５は、複数の覆い焼きレベルと切換閾値の補正量（減算量）の一例を示すテーブルである。図５においては、選択可能な３種類の閾値と、選択可能な３種類の覆い焼きレベルが設定される例を示す。これらの設定は、あらかじめデジタルカメラ１ａに組み込まれていてもよく、ユーザー等の任意の設定によりデジタルカメラ１ａに組み込まれてもよい。この例において、切換閾値の『暗い』は、『初期値』に比較して暗い画像データでデイナイトモード切換が行われる値であることを示す。切換閾値の『明るい』は、『初期値』に比較して明るい画像データでデイナイトモード切換が行われる値であることを示す。覆い焼きレベルの『高』は、『中（初期値）』に比較して暗部の持ち上げレベルが高いことを示す。覆い焼きレベル『低』は、『中（初期値）』に比較して暗部の持ち上げが低いことを示す。
切換閾値選択部３０２は、ユーザーの操作などに応じて、３種類の切換閾値からナイトモードへの切換えの判定に用いる切換閾値を選択する。同様に、覆い焼きレベル設定部３０１は、ユーザーの操作などに応じて、覆い焼きレベルを選択する。切換閾値補正部１０７は、切換閾値選択部３０２が選択した切換閾値と、覆い焼きレベル設定部３０１が設定した覆い焼きレベルに応じて、切換閾値の補正量（変更量）を選択する。そして、選択した補正量を用いて切換閾値を補正する。

覆い焼きレベルが『高』で覆い焼き処理が施された画像データは、『中（初期値）』に比較して画像が明るく見える。このため、覆い焼きレベルが『高』の場合には『中（初期値）』の場合に比較して、見た目が明るい画像でもデイナイトモード切換が実行されることになる。そこで、本実施形態においては、覆い焼きレベルが『高』の場合には、『中（初期値）』の場合に比較して、切換閾値の減算量を大きくして、デイナイトモード切換が実行される画像の輝度が低くなるようにする。
一方、覆い焼きレベルが『高』で覆い焼き処理が施された画像データは、『中（初期値）』に比較して画像が明るく見える。そこで、本実施形態においては、覆い焼きレベルが『低』の場合には、『中（初期値）』の場合に比較して、切換閾値の減算量を小さくして、デイナイトモード切換が実行される画像の輝度が高くなるようにする。
このように、覆い焼きレベルに応じて切換閾値の補正量を変更する。特に、デイモードからナイトモードに切換える際には、覆い焼き処理のレベルが高いほど、切換閾値が低くなるように補正する。
なお、ナイトモードからデイモードへの切換えも、上述の動作と同様の動作で実現できる。この場合には、切換閾値を加算する補正を行う。たとえば、図５に示すテーブルにおいて、切換閾値補正量の各値の正負を入れ替えた値を用いる。そして、覆い焼きレベルが高くなるにしたがって、切換閾値が高くなるように補正する。
このような構成によれば、覆い焼きレベルが異なる場合であっても、デイナイトモード切換が実行される画像の見た目の輝度の差を小さくできる。
なお、切換閾値の補正量の具体的な値は、特に限定されるものではない。

なお、前記実施形態においては、覆い焼きレベルと切換閾値の両方が複数から選択可能な構成を示すが、少なくとも一方が複数から選択可能な構成であってもよい。たとえば、切換閾値の補正量は、覆い焼き処理の各レベルと覆い焼き処理が無効である場合とで、見た目の明るさが変わらないように設定してもよい。

ここで、図６〜図９を用いて、本実施の形態における実施の一例を示す。まず、図６のような被写体を撮影できる場所において、時間が経過して（昼から夜になり）暗くなっていく例を示す。図６に示す例は、被写体に含まれる人物Ｐが逆光であるため、人物Ｐの被写体輝度がまわりの被写体に比較して低くなっているシーンである。図７は、図６に示すシーンに対して、覆い焼きを有効にして得られる画像データを示す。なお、図７は、人物Ｐの被写体輝度に関わらず、一律の覆い焼き処理が付加される。図７に示すように、覆い焼き処理によって人物Ｐの被写体輝度を高くすることにより、まわりの被写体との輝度差を少なくすることができる。
ここから更に被写体輝度が低下していくと、ＡＧＣ回路２０４は、撮像素子２０２の出力にＡＧＣゲインを付加していく。そうすると、図６と図７に示す画像は、それぞれ同一の撮影環境下では、図８と図９に示すような画像になる。すなわち、図６と図７に示す画像は、いずれも全体的に輝度が低くなる。ここで、覆い焼きが有効である場合には、覆い焼き処理部１０４は、画像データに含まれる暗部（この場合は人物Ｐ）を持ち上げる（輝度を高くする）。このため、覆い焼きが有効である場合には、ＡＧＣゲインの値が同一であっても、図８に示すように、覆い焼きが無効時に比べて相対的に明るく見える。
そこで、本実施形態の構成を適用すると、覆い焼き処理が無効である場合は閾値の補正を行わず、覆い焼き処理が有効である場合は、所定の値を切換閾値に加算または減算する。そうすると、覆い焼き有効時も、覆い焼きが無効である場合の明るさ（図８参照）でデイナイト切換えを行うことができる。

（第２の実施形態）
次に、第２の実施形態について説明する。
図１０は、第２の実施形態に係るデジタルカメラ１ｂの構成を示す図である。本実施形態では、第１の実施形態の構成から追加された構成を主に説明し、第１の実施形態と同様の構成は同一符号を付して説明を省略する。
第２の実施形態にかかるデジタルカメラ１ｂは、第１の実施形態にかかるデジタルカメラ１ａに、さらに輝度落ち判定部４０１と、輝度ヒストグラム算出部４０２とが追加された構成を有する。
輝度落ち判定部４０１は、画像データ生成部１０２により生成される画像データの画面輝度が所定以下であるか否かを判定する。以下、画像データの画面輝度が所定以下である場合を、「輝度落ちが発生している」と記す。輝度ヒストグラム算出部４０２は、画像データ全体に含まれる各輝度値の画素数の累計を表す輝度ヒストグラムを算出する。

図１１のフローチャートに従って、本実施形態にかかる動作処理について説明する。図１１は、本実施形態にかかる動作処理を示すフローチャートである。ここでは、第１の実施形態と同様に、被写体が徐々に暗くなっていき、デイモードからナイトモードに切換える場合を想定している。
ステップｓ１０１〜ｓ１０７に関しては、第１の実施形態と同様のため、説明を省略する。
ステップｓ２０１では、輝度ヒストグラム算出部４０２は、画像データ全体のヒストグラムを算出する。

ユーザーが任意に切換閾値を選択する場合、画像データに輝度落ちが生じている場合といない場合とが想定できる。そこで、ステップｓ２０２では、ステップｓ１０４で切換閾値が補正された後に、輝度落ち判定部４０１が、輝度落ちが生じているか否かを判定する。輝度落ちの判定は、例えば、ＡＧＣのゲインが最大まで達しているかどうか等で判定することができる。たとえば、輝度落ち判定部４０１は、ＡＧＣのゲインが付加できる最大値に達している場合には、画像データに輝度落ちが発生していると判定する。輝度落ちが生じていると判定された場合には、ｓ２０３に進む。輝度落ちが生じていないと判定された場合には、ｓ２０４に進む。
画像データが輝度落ちしていると判定された場合は、輝度落ちしていない場合と比較して、相対的に暗部の領域が多い可能性が高い。したがって、輝度落ちしている場合は、設定された覆い焼きレベルが高いほど出力される画像データの見た目の明るさが明るくなる。そこで、ステップｓ２０３において、切換閾値補正部１０７は、更に切換閾値を補正する。デイモードからナイトモードに切換わる場合には、切換閾値が小さくなるように補正する。これにより、輝度落ちしているシーンにおいて、同等の明るさでデイナイトモードを切換えることができる。
なお、ステップｓ２０３においては、輝度落ちのレベルに応じて切換閾値の補正量を変更してもよい。図１２は、輝度落ちレベルに応じて切換閾値を補正する場合のテーブルの例である。輝度落ちレベルが大きいほど、暗部の領域が多い可能性が高い。したがって、覆い焼き処理により見た目が明るくなる。そこで、図１２に示すように、輝度落ちレベルが大きいほど、切換閾値の補正量（この場合には減算量）を大きくする。これにより、輝度落ちレベルが異なっても、同等の明るさでデイナイトモード切換ができる。

また、ステップｓ２０２で輝度落ちしていないと判定されたてｓ２０４に進んだ場合は、露光量が適正であり、輝度落ちが生じている場合に比較して、シーンに依って暗部の占める割合の差が大きくなると想定できる。
そこで、ステップｓ２０４では、輝度ヒストグラム算出部４０２は、画像データ全体の輝度ヒストグラムから画像データ内に占める暗部の割合を計算する。そして、輝度ヒストグラム算出部４０２は、画像データ内における暗部の占める割合が所定以上であるか、すなわち輝度ヒストグラムの所定の輝度値以下の画素数が所定以上かどうかを判定する。画像データ内における暗部の画素数（所定の輝度値以下の画素数）が所定以上である場合には、ステップｓ２０５に進む。そうでない場合には、ステップｓ２０５を経ずにステップｓ１０５に進む。

ステップｓ２０５では、切換閾値補正部１０７は、更に切換閾値を補正する。図１３と図１４は、それぞれ輝度落ちしていない異なる画像データの輝度ヒストグラムを算出した結果の例である。図１３と図１４を比較すると、共通の暗部閾値以下の輝度値の画素数が図１４の方が多いことがわかるので、相対的に図１４の画像データは暗部領域が多いシーンを撮影した画像データであると言える。
暗部の領域が所定以上と判定された場合は、覆い焼きレベルが高いほど見た目の明るさが明るくなる。そこで、暗部の領域が所定以上であると判定された場合には（ｓ２０４で『Ｙ』の場合には）、切換閾値補正部１０７は、切換閾値を所定量減算する補正を行う。そこで、画像データ内に占める暗部領域の割合に応じて、切換閾値の補正量を変更する。図１５は、画像データ内に占める暗部領域の割合に応じて、切換閾値の補正量を変更する場合に用いるテーブルの例である。たとえば、図１５に示すように、暗部領域の割合が『大』であると判定された場合には、切換閾値補正部１０７は、切換補正値を０．５ＥＶ減算して値を小さくする補正を行う。これに対して、画像データ全体に占める暗部領域の割合が所定以下である場合には（図１５の『小』）、切換補正値を０．５ＥＶ加算して値を大きくする補正を行う。
このような構成によれば、輝度落ちしていない画像データについても、覆い焼き処理が無効である場合と同等の明るさで、デイナイトモード切換が可能となる。
なお、暗部領域の前記所定値は特に限定されるものではなく、適宜設定される。

また、次のような処理であってもよい。輝度ヒストグラム算出部４０２は、画像データ全体に含まれる暗部の割合を判定し（暗部レベル判定）、暗部の割合に応じた値の暗部割合係数を生成する。暗部割合係数は、画像データ全体に含まれる暗部の割合が大きくなるにしたがって値が大きくなる。
そして、切換閾値補正部１０７は、次式を用いて切換閾値を補正する。

ＴＨＡ＝ＴＨＢ − ＯＳ × ＤＳ

ＴＨＡ：補正された切換閾値
ＴＨＢ：補正前の切換閾値
ＯＳ ：覆い焼きレベルに応じた輝度持ち上げ量
ＤＳ ：暗部割合係数

覆い焼きレベルに応じた輝度持ち上げ量は、覆い焼きレベルが高いほど大きくなる。すなわち、デイモードからナイトモードに切換る際には、覆い焼きレベルが高くなるにしたがって、切換閾値が小さくなるように補正する。また、画像データ全体に含まれる暗部の割合が高くなるにしたがって、切換閾値が小さくなるように補正する。
このように、切換閾値補正部１０７は、覆い焼きレベルと画像データ全体に含まれる暗部の割合とに応じて、切換閾値の補正量を変更する。
このような構成であっても、前記同様の効果を奏することができる。
なお、ここでは、輝度ヒストグラム算出部４０２が暗部レベル判定を行う構成を示したが、暗部レベル判定を行う暗部レベル判定部が別個に設けられる構成であってもよい。
なお、暗部割合係数の算出方法は、特に限定されない。たとえば、切換閾値補正部１０７は、画像データ全体に含まれる暗部の割合と暗部割合係数とが対応付けられたテーブルを保持し、このテーブルから暗部の割合に応じた暗部割合係数を読み出す構成であってもよい。また、切換閾値補正部１０７は、画像データ全体に含まれる暗部の割合を入力すると暗部割合係数を出力する関数を保持していてもよい。

一方、ナイトモードからデイモードに切換える際においても、上述した処理手順を応用して覆い焼き処理が無効時と同等の明るさでデイナイトモードを切換えることができる。例えば、デイモードからナイトモードに切換えた時の補正量分相当を切換閾値に加算することで、同等の明るさで切換えることができる。
また、前式を

ＴＨＡ＝ＴＨＢ ＋ ＯＳ × ＤＳ

とすればよい。
また、最終的な切換閾値は、現在の覆い焼きレベル、輝度落ちレベル、暗部領域の割合を総合的に評価して係数化し、補正評価値として算出しても良い。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したデジタルカメラ１ａ，１ｂには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
また、前記実施形態にかかる切換閾値や所定値などの各種値は適宜設定されるものであり、具体的な値は限定されない。

また、画像データ生成部１０２、画像データ切換部１０３、覆い焼き処理部１０４、切換評価値算出部１０５、切換判定部１０６、切換閾値補正部１０７、覆い焼きレベル設定部３０１、切換閾値選択部３０２、輝度落ち判定部４０１、輝度ヒストグラム算出部４０２などの各部は、別個独立したハードウェアであってもよく、ＣＰＵがプログラムを実行することにより実現してもよい。
すなわち、本発明の各実施形態にかかるデジタルカメラ１ａ，１ｂは、ＣＰＵとＲＯＭとＲＡＭとを含むコンピューターを有する。ＲＯＭには、デジタルカメラ１ａ，１ｂの各部を制御するためのコンピュータープログラムが、コンピューター読取可能な形式で格納されている。また、ＲＯＭには、図５や図１５に示すテーブルや、制御に必要な各種設定値が、コンピューター読取可能な形式で格納されている。ＣＰＵは、ＲＯＭからこのコンピュータープログラムを読み出し、ＲＡＭに展開して実行する。この際ＣＰＵは、ＲＯＭに格納されるテーブルや各種設定値を適宜読み出して参照する。これにより、コンピューターが、デジタルカメラ１ａ，１ｂの前記各部として機能し、前記処理動作が実現する。このコンピュータープログラムおよびこのコンピュータープログラムを記録したコンピューター読取可能な記録媒体は、本発明に含まれる。
また、本発明は、例えばシステム、装置、方法、プログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には複数の装置からなるシステムに適用してもよい。
なお、本発明は、上述した実施形態の機能を実現するプログラムを装置またはシステムに直接または遠隔から供給してもよい。すなわち、システムまたは装置のコンピューターが供給されたプログラムを読み出して実行することによっても本発明を達成される場合も含まれる。

１０１：撮像部、１０２：画像データ生成部、１０３：画像データ切換部、１０４：覆い焼き処理部、１０５：切換評価値算出部、１０６：切換判定部、１０７：切換閾値補正部、１０８：出力部、２０１：撮像レンズ、２０２：撮像素子、２０３：ＣＤＳ回路、２０４：ＡＧＣ回路、２０５：Ａ／Ｄ変換部、３０１：覆い焼きレベル設定部、３０２：切換閾値選択部、４０１：輝度落ち判定部、４０２：輝度ヒストグラム算出部

Claims (18)

1. 撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、
   前記画像データ生成手段によって生成された画像データをカラーまたは白黒のいずれかに切換える画像データ切換手段と、
   前記画像データ切換手段によって切換えられた前記画像データに対して覆い焼き処理を施す覆い焼き処理手段と、
   前記画像データを切換えるための切換評価値を算出する切換評価値算出手段と、
   前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較の結果に基づいて前記画像データをカラーまたは白黒のいずれに切換えるかを判定する切換判定手段と、
   前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、
   前記切換閾値を補正する閾値補正手段と、を有し、
   前記閾値補正手段は、前記覆い焼き処理手段による覆い焼き処理が有効である場合には、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正し、前記輝度ヒストグラム算出手段が算出した前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする撮像装置。
2. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項１に記載の撮像装置。
3. 前記切換閾値と前記画像データの暗部の持ち上げのレベルの少なくとも一方には、前記閾値補正手段が選択可能な複数の値またはレベルが設定されていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記画像データに含まれる前記所定の輝度値以下の画素数の全体の画素数に対する割合である暗部レベルを判定する暗部レベル判定手段をさらに有し、
   前記閾値補正手段は、前記暗部レベル判定手段が判定した前記暗部レベルに応じて、前記切換閾値を補正することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記閾値補正手段は、前記暗部レベルまたは前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項４に記載の撮像装置。
6. 前記画像データの画面輝度が所定以下であるかどうかを判定する輝度落ち判定手段をさらに有し、
   前記閾値補正手段は、前記輝度落ち判定手段によって前記画面輝度が所定以下と判定された場合に、前記切換閾値をさらに補正する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルおよび前記画面輝度が低いほど、前記切換閾値を、カラーから白黒へ切換える際には低く補正し、前記画像データをカラーから白黒へ切換える際には高く補正することを特徴とする請求項６に記載の撮像装置。
8. 撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、
   前記画像データ生成手段によって生成された画像データをカラーまたは白黒のいずれかに切換える画像データ切換手段と、
   前記画像データ切換手段によって切換えられた前記画像データに対して覆い焼き処理を施す覆い焼き処理手段と、
   前記画像データを切換えるための切換評価値を算出する切換評価値算出手段と、
   前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較の結果に基づいて前記画像データをカラーまたは白黒のいずれに切換えるかを判定する切換判定手段と、
   前記画像データの画面輝度が所定以下であるかどうかを判定する輝度落ち判定手段と、
   前記切換閾値を補正する閾値補正手段と、を有し、
   前記閾値補正手段は、前記覆い焼き処理手段による覆い焼き処理が有効である場合には、前記切換閾値を補正し、前記輝度落ち判定手段によって前記画面輝度が所定以下と判定された場合に、前記切換閾値をさらに補正することを特徴とする撮像装置。
9. 前記閾値補正手段は、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正することを特徴とする請求項８に記載の撮像装置。
10. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項９に記載の撮像装置。
11. 前記切換閾値と前記画像データの暗部の持ち上げのレベルの少なくとも一方には、前記閾値補正手段が選択可能な複数の値またはレベルが設定されていることを特徴とする請求項９または１０に記載の撮像装置。
12. 前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出手段をさらに有し、
    前記閾値補正手段は、前記輝度ヒストグラム算出手段が算出した前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする請求項９から１１のいずれか１項に記載の撮像装置。
13. 前記画像データに含まれる前記所定の輝度値以下の画素数の全体の画素数に対する割合である暗部レベルを判定する暗部レベル判定手段をさらに有し、
    前記閾値補正手段は、前記暗部レベル判定手段が判定した前記暗部レベルに応じて、前記切換閾値を補正することを特徴とする請求項１２に記載の撮像装置。
14. 前記閾値補正手段は、前記暗部レベルまたは前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項１３に記載の撮像装置。
15. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルおよび前記画面輝度が低いほど、前記切換閾値を、カラーから白黒へ切換える際には低く補正し、前記画像データをカラーから白黒へ切換える際には高く補正することを特徴とする請求項８から１４のいずれか１項に記載の撮像装置。
16. 画像データを白黒またはカラーのいずれかに切換えることができるとともに、前記画像データに対して覆い焼き処理を行うことができる撮像装置の制御方法であって、
    撮像した被写体像の画像データを生成するステップと、
    生成された前記画像データを白黒またはカラーに切換えるための切換評価値を算出するステップと、
    算出された前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較結果に基づいて前記画像データを白黒またはカラーのいずれに切換えるかを判定するステップと、
    判定の結果に応じて生成された画像データをカラーまたは白黒のいずれかに切換るステップと、
    前記覆い焼き処理が有効である場合には、切換えられた前記画像データに対して覆い焼き処理を施すステップと、
    前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出ステップと、
    を有し、
    前記覆い焼き処理が有効である場合には、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正し、前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする撮像装置の制御方法。
17. 画像データを白黒またはカラーのいずれかに切換えることができるとともに、前記画像データに対して覆い焼き処理を行うことができる撮像装置の制御方法であって、
    撮像した被写体像の画像データを生成するステップと、
    生成された前記画像データを白黒またはカラーに切換えるための切換評価値を算出するステップと、
    算出された前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較結果に基づいて前記画像データを白黒またはカラーのいずれに切換えるかを判定するステップと、
    判定の結果に応じて生成された画像データをカラーまたは白黒のいずれかに切換るステップと、
    前記画像データの画面輝度が所定以下であるかどうかを判定する輝度落ち判定ステップと、
    前記覆い焼き処理が有効である場合には、切換えられた前記画像データに対して覆い焼き処理を施すステップと、
    を有し、
    前記覆い焼き処理が有効である場合には、前記切換閾値を補正し、前記画面輝度が所定以下と判定された場合に、前記切換閾値をさらに補正することを特徴とする撮像装置の制御方法。
18. コンピューターを、請求項１から１５のいずれか１項に記載の撮像装置の各手段として機能させることを特徴とするコンピューター読取り可能なプログラム。

Images