JP6202837B2 - 撮像装置、その制御方法およびプログラム - Google Patents

撮像装置、その制御方法およびプログラム Download PDF

Info

Publication number
JP6202837B2
JP6202837B2 JP2013050280A JP2013050280A JP6202837B2 JP 6202837 B2 JP6202837 B2 JP 6202837B2 JP 2013050280 A JP2013050280 A JP 2013050280A JP 2013050280 A JP2013050280 A JP 2013050280A JP 6202837 B2 JP6202837 B2 JP 6202837B2
Authority
JP
Japan
Prior art keywords
image data
switching
threshold
color
black
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013050280A
Other languages
English (en)
Other versions
JP2014176069A5 (ja
JP2014176069A (ja
Inventor
憲太朗 小暮
憲太朗 小暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013050280A priority Critical patent/JP6202837B2/ja
Publication of JP2014176069A publication Critical patent/JP2014176069A/ja
Publication of JP2014176069A5 publication Critical patent/JP2014176069A5/ja
Application granted granted Critical
Publication of JP6202837B2 publication Critical patent/JP6202837B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像装置、その制御方法およびプログラムに関するものである。特に、覆い焼き処理が有効である場合に、好適な画像で動作モードを切換えることができる撮像装置、その制御方法およびプログラムに関する。
人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性は、その感度が可視域といわれる380nmから780nmまでの感度特性であり、700nmより長波長域ではほとんど感度を有さない。そこで、通常、撮像装置では、色再現性を人間の色覚特性に合わせるために、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外光除去フィルタ(IRCF)を設けている。
しかし、被写体輝度が低下する低輝度下においては、しばしば、IRCFを光路から取り除くことで、近赤外領域の光線を通過させて、感度を上昇させている。ただし、近赤外領域の光線を通過させると、色バランスが崩れるため、カラー画像(デイモード)から白黒画像(ナイトモード)に動作モードの切換を行う。切換方法として、オートデイナイト(以後、ADN)と呼ばれる、自動でデイモード、ナイトモードの切換を行う機能もある。
更に、例えば、バリフォーカルレンズのように、IRCFの挿抜機構がないレンズでは、感度を上げることはできないが、カラー成分にのるノイズを除去できるため、単にカラー画像から白黒画像に切換わるカメラもある。カラー画像から白黒画像に切換わるときの被写体輝度の閾値は、カメラのAEデータ(シャッタースピード、IRIS、AGC、画面輝度)に基づき決定される。
例えば、特許文献1に記載された撮像装置では、IRCFの挿抜前後の感度差をAGC制御部よりフィードバックすることによって動作モードを切換える手法が開示されている。
また、近年のデジタルカメラでは、逆光条件などで撮影された画像に対して、明部はそのままにして暗部を持ち上げて被写体の視認性を向上させるデジタル覆い焼き処理という技術がある。
特開2003−198933号公報
しかしながら、特許文献1に記載の構成は、覆い焼き処理は考慮していない。一方で、近年ユーザーからの要望が高まっている覆い焼き処理機能をもつカメラでは、覆い焼き処理の設定による出力の変化に応じて、判定基準値を適切に設定していない。このため、昼→夜→昼と時間が経過して被写体輝度が変わっても、正しく動作モードの切換えが行われない問題点がある。(図16参照)
本発明は、上述したような問題点に鑑みてなされたものであり、覆い焼き処理が有効時に、単純な構成で、かつ所望の画像で動作モードを切換える撮像装置などを提供することを目的にする。
本発明は、撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、前記画像データ生成手段によって生成された画像データをカラーまたは白黒のいずれかに切換える画像データ切換手段と、前記画像データ切換手段によって切換えられた前記画像データに対して覆い焼き処理を施す覆い焼き処理手段と、前記画像データを切換えるための切換評価値を算出する切換評価値算出手段と、前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較の結果に基づいて前記画像データをカラーまたは白黒のいずれに切換えるかを判定する切換判定手段と、前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、前記切換閾値を補正する閾値補正手段と、を有し、前記閾値補正手段は、前記覆い焼き処理手段による覆い焼き処理が有効である場合には、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正し、前記輝度ヒストグラム算出手段が算出した前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする。
本発明によれば、覆い焼き処理に応じてカラー・白黒のモード切換の切換閾値を変更することによって、覆い焼き処理の設定によらず最適なカラー・白黒モードに適切に切換わることができる。
第1の実施形態に係るカメラの構成を示す図である。 第1の実施形態に係るカメラの撮像部の構成を示す図である。 第1の実施形態に係るカメラの処理を示すフローチャートである。 第1の実施形態に係るカメラの別の構成を示す図である。 複数の覆い焼きレベルに応じた複数の切換閾値の補正量をテーブルで表した図である。 覆い焼き処理が無効時の被写体の例を表す画像である。 覆い焼き処理が有効時の被写体の例を表す画像である。 図6の被写体輝度が低くなった場合の例を表す画像である。 図7の被写体輝度が低くなった場合の例を表す画像である。 第2の実施形態に係るカメラの構成を示す図である。 第2の実施形態に係るカメラの処理を示すフローチャートである。 輝度落ちレベルに応じた切換閾値の補正量のテーブルを表した例である。 第2の実施例形態に係る基準画像のヒストグラムの例である。 第2の実施例形態に係る図13よりも暗部領域が多い画像ヒストグラムの例である。 暗部領域の割合に応じた切換閾値の補正量のテーブルを表した例である。 従来例を表した図である。
以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてデジタルカメラを用いる場合について説明する。
(第1の実施形態)
図1は、第1の実施形態に係るデジタルカメラ1aの構成を示す図である。
デジタルカメラ1aは、撮像部101と、画像データ生成部102と、画像データ切換部103と、覆い焼き処理部104と、切換評価値算出部105と、切換判定部106と、切換閾値補正部107と、出力部108とを含む。
撮像部101は、外部から光をとり込むための撮像レンズ201(後述)と、被写体像を結像するための撮像素子202(後述)とを含む。画像データ生成部102は、撮像部101が出力したアナログ信号に対してデジタル変換処理を行い、画像データを生成する。画像データ切換部103は、切換判定部106の判定結果にしたがって、出力する画像データを白黒またはカラーに切換える。切換評価値算出部105は、撮像部101の出力から切換評価値を算出する。切換閾値補正部107は、白黒またはカラーの切換えのための切換閾値を補正する。なお、切換閾値はあらかじめ定められている。切換判定部106は、切換評価値と切換閾値とを比較し、その比較結果に基づいて、画像データ切換部103が画像データの出力の切換えを行うか否かを判定する。覆い焼き処理部104は、有効である場合には、画像データ切換部103から出力された画像データに対して、覆い焼き処理を施す。出力部108は、最終的な画像データを出力する。
図2は、撮像部101の詳細な構成を示した図である。
撮像部101は、撮像レンズ201と、撮像素子202と、CDS回路203と、AGC回路204と、A/D変換部205とを有する。
撮像レンズ201は、図2では模式的に1枚のレンズを示すが、実際には複数枚のレンズ群により構成される。撮像素子202には、たとえばCCDやCMOSなどが適用される。CDS回路203は、相関二重サンプリング(Correlated Double Sampling:CDS)回路であり、撮像素子202が出力した電気信号(アナログ信号)のノイズ軽減を行う。AGC回路204は、ゲインコントロールアンプ回路(Automatic Gain Control:AGC)であり、デジタルカメラ1aの利得制御を自動で行う。A/D変換部205は、アナログ信号をデジタル信号へ変換する。
次いで、上述した各構成要素の動作について詳しく説明する。
撮像部101において、撮像光学系としての撮像レンズ201は、被写体の光学像(被写体像)を撮像素子202に結像する。撮像素子202は、結像した被写体像を電気信号(アナログ信号)に変換して出力する。CDS回路203は、撮像素子202から出力された電気信号に対して、相関二重サンプリング処理などを実施する。AGC回路204は、CDS回路203から出力された電気信号に対して増幅処理などを行う。A/D変換部205は、AGC回路204により増幅処理された電気信号をアナログ信号からデジタル信号へと変換する。
画像データ生成部102は、例えば、Digital Signal Processing(DSP)などから構成される。そして、画像データ生成部102は、電気信号に対して、色変換や、AE処理や、WB処理や、信号処理された画像の階調変換を行うガンマ処理などといった、所定の画像処理を行う。そして、画像データ生成部102は、画像処理を行った電気信号を、画像データとして画像データ切換部103に出力する。
画像データ切換部103は、画像データ生成部102が出力した画像データを、切換判定部106による判定結果にしたがって、白黒画像またはカラー画像に変換して出力する。なお、画像データ切換部103は、画像データ生成部102に内包されていてもよい。
覆い焼き処理部104は、画像データに対して覆い焼き処理を施すことができる。覆い焼き処理とは、明暗差のある被写体を補正するものである。具体的には、十分な輝度の画像データの明るい部分はそのままに、暗い部分だけを持ち上げる(輝度をあげる)処理である。更に、低輝度の画像データに対しては、最低被写体輝度を向上させることができる。そして、覆い焼き処理部104は、画像データに対して任意に(たとえば、ユーザーによる設定に応じて)覆い焼き処理を有効または無効にすることができる。
切換評価値算出部105は、撮像部101より出力された、絞り・シャッタースピード・利得等の撮像条件から切換評価値の算出を行う。切換評価値は、切換判定部106が、出力する画像データを白黒またはカラーのいずれに切換えるかの判定において用いる。出力する画像データを白黒またはカラーに切換える機能は、『デイナイト機能』と呼ばれることが多い。そこで、本実施形態では、白黒の画像データを出力する動作モードを『ナイトモード』と称し、カラーの画像データを出力する動作モードを『デイモード』と称する。また、画像データの切換を、『デイナイトモード切換』と称する。
切換閾値補正部107は、予め定められたデイナイトモード切換の判定に用いる所定の切換閾値を、覆い焼き処理の有効/無効に応じて最適な切換閾値へ補正する。
切換判定部106は、画像データ切換部103がデイモードとナイトモードのいずれの動作モードに切換わるかを判定する。この判定には、切換評価値算出部105より出力された切換評価値と、切換閾値補正部107によって補正された切換閾値とを用いる。例えば、切換判定部106は、切換評価値と切換閾値の大小を比較し、切換評価値が切換閾値以下である場合には、画像データ切換部103がナイトモードに切換わると判定する。この場合には、画像データ切換部103は、切換判定部106の判定結果にしたがって、ナイトモードに切換わり、白黒の画像データを出力する。なお、ナイトモードにおいては、IRCF(図2においては省略)を駆動させて光路上から退避させても良い。デイモードからナイトモードに切換わった場合は、色ノイズの影響を排除できるので、その分AGCの上限値を上げて輝度アップを図ることもできる。
出力部108は、例えば、LCDなどから構成され、覆い焼き処理を含めた種々の画像処理を経た画像データを表示する。
次に、図3に示すフローチャートを用いて、デジタルカメラ1aの動作モードをデイモードからナイトモードに切換える動作処理について説明する。図3は、動作モードをデイモードからナイトモードに切換える動作処理を示すフローチャートである。
図3のフローチャートに示す処理は、主に、図1に示す画像データ生成部102と、画像データ切換部103と、覆い焼き処理部104と、切換評価値算出部105と、切換判定部106と、切換閾値補正部107とが動作することにより実現する。
ここでは、処理の開始時において、デジタルカメラ1aの動作モードがデイモードに設定されているものとする。動作モードがデイモードに設定されている場合には、画像データ切換部103は、カラーの画像データを出力する。
ステップs101では、画像データ生成部102は、撮像部101が出力する信号から画像データを生成し、画像データ切換部103に出力する。そして、画像データ切換部103は、画像データ生成部102が出力した画像データを取得する。
ステップs102では、切換評価値算出部105は、撮像部101が出力した撮像条件(絞り値、シャッタースピード、AGCゲイン値)を基に、切換評価値を算出する。
次式は、切換評価値Sの算出式の一例である。

S = iris + shutter + AGCgain

S :切換評価値
iris :絞り値(Av値)
shutter:シャッタースピード(Tv値)
AGCgain:AGCゲイン(利得)値

切換評価値Sは、露出の明るさを示す値、すなわちEV値である。EV値は、絞り値(F値)、シャッタースピード(秒)、AGCゲイン値(dB)のそれぞれを対数表示したものである。
ステップs103では、覆い焼き処理部104は、覆い焼き処理が有効であるか無効であるかを判断する。有効である場合にはステップs104に進み、無効である場合にはステップs104を経ずにステップs105に進む。
ステップs104では、切換閾値補正部107は、所定の切換閾値の値を補正する。なお、所定の切換閾値は、初めからデジタルカメラ1aに組み込まれている値(あらかじめ記憶媒体などに格納されている値)でもよいし、ユーザーによって任意に決められた値でもよい。
覆い焼き処理が有効である場合には、無効である場合と比較して、画像が明るく見える。そして、従来の構成では、デイナイトモード切換を行う際に、覆い焼き処理による見た目の明るさを考量していない。このため、従来のような切換閾値を補正しない構成であると、覆い焼き処理が有効である場合には無効である場合に比較して、明るい画像でデイナイトモード切換が実行されることになる。このように、従来の構成では、覆い焼きの処理が有効か無効かによって、ユーザーが意図する明るさでのデイナイトモード切換えができない。
そこで、本実施形態においては、覆い焼き処理が有効である場合には、デイナイトモード切換が実行される画像の輝度が低くなるように、切換閾値の値を低くする補正をおこなう。このような構成によれば、たとえばデイナイトモード切換が実行される画像の見た目の輝度を、覆い焼きが有効である場合と無効である場合とで差を小さくすることができる。
ステップs105では、切換判定部106は、切換評価値算出部105が出力した切換評価値と切換閾値補正部107が出力した切換閾値の大小を比較する。そして、切換評価値が切換閾値以下である場合には、切換判定部106は、動作モードをナイトモードに切換えると判定し、ステップs106に進む。そうでない場合には、切換判定部106は、動作モードをナイトモードに切換えないと判定し、ステップs107に進む。
ステップs106では、画像データ切換部103は、切換判定部106による判定結果にしたがってナイトモードに切換わり、白黒の画像データを出力する。
ステップs107では、画像データ切換部103は、デイモードを維持し、カラーの画像データを出力する。
このように、切換評価値が所定の切換閾値以下である低輝度の被写体を撮影した場合には、画像データ切換部103はナイトモードへと切換わる。それ以外の組み合わせ時は、デイモードを維持する。
なお、ナイトモードからデイモードへの切換えも、上述の動作と同様の動作で実現できる。すなわち、動作モードがナイトモードである場合において、切換評価値が所定の切換閾値以上である場合に、切換判定部106は、動作モードをナイトモードからデイモードに切換えると判定する。そして、画像データ切換部103は、判定結果に応じて、ナイトモードからデイモードに切換わる。このようにして、ナイトモードからデイモードへの切替えが実現できる。この場合には、デイモードからナイトモードへの切換え時の明るさを考慮して、ナイトモードからデイモードに切換える際に用いる切換閾値を自動で算出しても良い。
なお、ステップs104において、切換判定部106は、覆い焼きレベルと切換閾値とを複数の中から選択して用いても良い。図4は、デジタルカメラ1aが、さらに覆い焼きレベル設定部301と切換閾値選択部302とを有する構成を示す。覆い焼きレベル設定部301は、覆い焼き処理の複数のレベルを、たとえばユーザーによる設定などに応じて任意に設定できる。切換閾値選択部302は、例えばユーザーによる設定などに応じて複数の切換閾値を任意に選択できる。
図5は、複数の覆い焼きレベルと切換閾値の補正量(減算量)の一例を示すテーブルである。図5においては、選択可能な3種類の閾値と、選択可能な3種類の覆い焼きレベルが設定される例を示す。これらの設定は、あらかじめデジタルカメラ1aに組み込まれていてもよく、ユーザー等の任意の設定によりデジタルカメラ1aに組み込まれてもよい。この例において、切換閾値の『暗い』は、『初期値』に比較して暗い画像データでデイナイトモード切換が行われる値であることを示す。切換閾値の『明るい』は、『初期値』に比較して明るい画像データでデイナイトモード切換が行われる値であることを示す。覆い焼きレベルの『高』は、『中(初期値)』に比較して暗部の持ち上げレベルが高いことを示す。覆い焼きレベル『低』は、『中(初期値)』に比較して暗部の持ち上げが低いことを示す。
切換閾値選択部302は、ユーザーの操作などに応じて、3種類の切換閾値からナイトモードへの切換えの判定に用いる切換閾値を選択する。同様に、覆い焼きレベル設定部301は、ユーザーの操作などに応じて、覆い焼きレベルを選択する。切換閾値補正部107は、切換閾値選択部302が選択した切換閾値と、覆い焼きレベル設定部301が設定した覆い焼きレベルに応じて、切換閾値の補正量(変更量)を選択する。そして、選択した補正量を用いて切換閾値を補正する。
覆い焼きレベルが『高』で覆い焼き処理が施された画像データは、『中(初期値)』に比較して画像が明るく見える。このため、覆い焼きレベルが『高』の場合には『中(初期値)』の場合に比較して、見た目が明るい画像でもデイナイトモード切換が実行されることになる。そこで、本実施形態においては、覆い焼きレベルが『高』の場合には、『中(初期値)』の場合に比較して、切換閾値の減算量を大きくして、デイナイトモード切換が実行される画像の輝度が低くなるようにする。
一方、覆い焼きレベルが『高』で覆い焼き処理が施された画像データは、『中(初期値)』に比較して画像が明るく見える。そこで、本実施形態においては、覆い焼きレベルが『低』の場合には、『中(初期値)』の場合に比較して、切換閾値の減算量を小さくして、デイナイトモード切換が実行される画像の輝度が高くなるようにする。
このように、覆い焼きレベルに応じて切換閾値の補正量を変更する。特に、デイモードからナイトモードに切換える際には、覆い焼き処理のレベルが高いほど、切換閾値が低くなるように補正する。
なお、ナイトモードからデイモードへの切換えも、上述の動作と同様の動作で実現できる。この場合には、切換閾値を加算する補正を行う。たとえば、図5に示すテーブルにおいて、切換閾値補正量の各値の正負を入れ替えた値を用いる。そして、覆い焼きレベルが高くなるにしたがって、切換閾値が高くなるように補正する。
このような構成によれば、覆い焼きレベルが異なる場合であっても、デイナイトモード切換が実行される画像の見た目の輝度の差を小さくできる。
なお、切換閾値の補正量の具体的な値は、特に限定されるものではない。
なお、前記実施形態においては、覆い焼きレベルと切換閾値の両方が複数から選択可能な構成を示すが、少なくとも一方が複数から選択可能な構成であってもよい。たとえば、切換閾値の補正量は、覆い焼き処理の各レベルと覆い焼き処理が無効である場合とで、見た目の明るさが変わらないように設定してもよい。
ここで、図6〜図9を用いて、本実施の形態における実施の一例を示す。まず、図6のような被写体を撮影できる場所において、時間が経過して(昼から夜になり)暗くなっていく例を示す。図6に示す例は、被写体に含まれる人物Pが逆光であるため、人物Pの被写体輝度がまわりの被写体に比較して低くなっているシーンである。図7は、図6に示すシーンに対して、覆い焼きを有効にして得られる画像データを示す。なお、図7は、人物Pの被写体輝度に関わらず、一律の覆い焼き処理が付加される。図7に示すように、覆い焼き処理によって人物Pの被写体輝度を高くすることにより、まわりの被写体との輝度差を少なくすることができる。
ここから更に被写体輝度が低下していくと、AGC回路204は、撮像素子202の出力にAGCゲインを付加していく。そうすると、図6と図7に示す画像は、それぞれ同一の撮影環境下では、図8と図9に示すような画像になる。すなわち、図6と図7に示す画像は、いずれも全体的に輝度が低くなる。ここで、覆い焼きが有効である場合には、覆い焼き処理部104は、画像データに含まれる暗部(この場合は人物P)を持ち上げる(輝度を高くする)。このため、覆い焼きが有効である場合には、AGCゲインの値が同一であっても、図8に示すように、覆い焼きが無効時に比べて相対的に明るく見える。
そこで、本実施形態の構成を適用すると、覆い焼き処理が無効である場合は閾値の補正を行わず、覆い焼き処理が有効である場合は、所定の値を切換閾値に加算または減算する。そうすると、覆い焼き有効時も、覆い焼きが無効である場合の明るさ(図8参照)でデイナイト切換えを行うことができる。
(第2の実施形態)
次に、第2の実施形態について説明する。
図10は、第2の実施形態に係るデジタルカメラ1bの構成を示す図である。本実施形態では、第1の実施形態の構成から追加された構成を主に説明し、第1の実施形態と同様の構成は同一符号を付して説明を省略する。
第2の実施形態にかかるデジタルカメラ1bは、第1の実施形態にかかるデジタルカメラ1aに、さらに輝度落ち判定部401と、輝度ヒストグラム算出部402とが追加された構成を有する。
輝度落ち判定部401は、画像データ生成部102により生成される画像データの画面輝度が所定以下であるか否かを判定する。以下、画像データの画面輝度が所定以下である場合を、「輝度落ちが発生している」と記す。輝度ヒストグラム算出部402は、画像データ全体に含まれる各輝度値の画素数の累計を表す輝度ヒストグラムを算出する。
図11のフローチャートに従って、本実施形態にかかる動作処理について説明する。図11は、本実施形態にかかる動作処理を示すフローチャートである。ここでは、第1の実施形態と同様に、被写体が徐々に暗くなっていき、デイモードからナイトモードに切換える場合を想定している。
ステップs101〜s107に関しては、第1の実施形態と同様のため、説明を省略する。
ステップs201では、輝度ヒストグラム算出部402は、画像データ全体のヒストグラムを算出する。
ユーザーが任意に切換閾値を選択する場合、画像データに輝度落ちが生じている場合といない場合とが想定できる。そこで、ステップs202では、ステップs104で切換閾値が補正された後に、輝度落ち判定部401が、輝度落ちが生じているか否かを判定する。輝度落ちの判定は、例えば、AGCのゲインが最大まで達しているかどうか等で判定することができる。たとえば、輝度落ち判定部401は、AGCのゲインが付加できる最大値に達している場合には、画像データに輝度落ちが発生していると判定する。輝度落ちが生じていると判定された場合には、s203に進む。輝度落ちが生じていないと判定された場合には、s204に進む。
画像データが輝度落ちしていると判定された場合は、輝度落ちしていない場合と比較して、相対的に暗部の領域が多い可能性が高い。したがって、輝度落ちしている場合は、設定された覆い焼きレベルが高いほど出力される画像データの見た目の明るさが明るくなる。そこで、ステップs203において、切換閾値補正部107は、更に切換閾値を補正する。デイモードからナイトモードに切換わる場合には、切換閾値が小さくなるように補正する。これにより、輝度落ちしているシーンにおいて、同等の明るさでデイナイトモードを切換えることができる。
なお、ステップs203においては、輝度落ちのレベルに応じて切換閾値の補正量を変更してもよい。図12は、輝度落ちレベルに応じて切換閾値を補正する場合のテーブルの例である。輝度落ちレベルが大きいほど、暗部の領域が多い可能性が高い。したがって、覆い焼き処理により見た目が明るくなる。そこで、図12に示すように、輝度落ちレベルが大きいほど、切換閾値の補正量(この場合には減算量)を大きくする。これにより、輝度落ちレベルが異なっても、同等の明るさでデイナイトモード切換ができる。
また、ステップs202で輝度落ちしていないと判定されたてs204に進んだ場合は、露光量が適正であり、輝度落ちが生じている場合に比較して、シーンに依って暗部の占める割合の差が大きくなると想定できる。
そこで、ステップs204では、輝度ヒストグラム算出部402は、画像データ全体の輝度ヒストグラムから画像データ内に占める暗部の割合を計算する。そして、輝度ヒストグラム算出部402は、画像データ内における暗部の占める割合が所定以上であるか、すなわち輝度ヒストグラムの所定の輝度値以下の画素数が所定以上かどうかを判定する。画像データ内における暗部の画素数(所定の輝度値以下の画素数)が所定以上である場合には、ステップs205に進む。そうでない場合には、ステップs205を経ずにステップs105に進む。
ステップs205では、切換閾値補正部107は、更に切換閾値を補正する。図13と図14は、それぞれ輝度落ちしていない異なる画像データの輝度ヒストグラムを算出した結果の例である。図13と図14を比較すると、共通の暗部閾値以下の輝度値の画素数が図14の方が多いことがわかるので、相対的に図14の画像データは暗部領域が多いシーンを撮影した画像データであると言える。
暗部の領域が所定以上と判定された場合は、覆い焼きレベルが高いほど見た目の明るさが明るくなる。そこで、暗部の領域が所定以上であると判定された場合には(s204で『Y』の場合には)、切換閾値補正部107は、切換閾値を所定量減算する補正を行う。そこで、画像データ内に占める暗部領域の割合に応じて、切換閾値の補正量を変更する。図15は、画像データ内に占める暗部領域の割合に応じて、切換閾値の補正量を変更する場合に用いるテーブルの例である。たとえば、図15に示すように、暗部領域の割合が『大』であると判定された場合には、切換閾値補正部107は、切換補正値を0.5EV減算して値を小さくする補正を行う。これに対して、画像データ全体に占める暗部領域の割合が所定以下である場合には(図15の『小』)、切換補正値を0.5EV加算して値を大きくする補正を行う。
このような構成によれば、輝度落ちしていない画像データについても、覆い焼き処理が無効である場合と同等の明るさで、デイナイトモード切換が可能となる。
なお、暗部領域の前記所定値は特に限定されるものではなく、適宜設定される。
また、次のような処理であってもよい。輝度ヒストグラム算出部402は、画像データ全体に含まれる暗部の割合を判定し(暗部レベル判定)、暗部の割合に応じた値の暗部割合係数を生成する。暗部割合係数は、画像データ全体に含まれる暗部の割合が大きくなるにしたがって値が大きくなる。
そして、切換閾値補正部107は、次式を用いて切換閾値を補正する。

THA=THB − OS × DS

THA:補正された切換閾値
THB:補正前の切換閾値
OS :覆い焼きレベルに応じた輝度持ち上げ量
DS :暗部割合係数

覆い焼きレベルに応じた輝度持ち上げ量は、覆い焼きレベルが高いほど大きくなる。すなわち、デイモードからナイトモードに切換る際には、覆い焼きレベルが高くなるにしたがって、切換閾値が小さくなるように補正する。また、画像データ全体に含まれる暗部の割合が高くなるにしたがって、切換閾値が小さくなるように補正する。
このように、切換閾値補正部107は、覆い焼きレベルと画像データ全体に含まれる暗部の割合とに応じて、切換閾値の補正量を変更する。
このような構成であっても、前記同様の効果を奏することができる。
なお、ここでは、輝度ヒストグラム算出部402が暗部レベル判定を行う構成を示したが、暗部レベル判定を行う暗部レベル判定部が別個に設けられる構成であってもよい。
なお、暗部割合係数の算出方法は、特に限定されない。たとえば、切換閾値補正部107は、画像データ全体に含まれる暗部の割合と暗部割合係数とが対応付けられたテーブルを保持し、このテーブルから暗部の割合に応じた暗部割合係数を読み出す構成であってもよい。また、切換閾値補正部107は、画像データ全体に含まれる暗部の割合を入力すると暗部割合係数を出力する関数を保持していてもよい。
一方、ナイトモードからデイモードに切換える際においても、上述した処理手順を応用して覆い焼き処理が無効時と同等の明るさでデイナイトモードを切換えることができる。例えば、デイモードからナイトモードに切換えた時の補正量分相当を切換閾値に加算することで、同等の明るさで切換えることができる。
また、前式を

THA=THB + OS × DS

とすればよい。
また、最終的な切換閾値は、現在の覆い焼きレベル、輝度落ちレベル、暗部領域の割合を総合的に評価して係数化し、補正評価値として算出しても良い。
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したデジタルカメラ1a,1bには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。
また、前記実施形態にかかる切換閾値や所定値などの各種値は適宜設定されるものであり、具体的な値は限定されない。
また、画像データ生成部102、画像データ切換部103、覆い焼き処理部104、切換評価値算出部105、切換判定部106、切換閾値補正部107、覆い焼きレベル設定部301、切換閾値選択部302、輝度落ち判定部401、輝度ヒストグラム算出部402などの各部は、別個独立したハードウェアであってもよく、CPUがプログラムを実行することにより実現してもよい。
すなわち、本発明の各実施形態にかかるデジタルカメラ1a,1bは、CPUとROMとRAMとを含むコンピューターを有する。ROMには、デジタルカメラ1a,1bの各部を制御するためのコンピュータープログラムが、コンピューター読取可能な形式で格納されている。また、ROMには、図5や図15に示すテーブルや、制御に必要な各種設定値が、コンピューター読取可能な形式で格納されている。CPUは、ROMからこのコンピュータープログラムを読み出し、RAMに展開して実行する。この際CPUは、ROMに格納されるテーブルや各種設定値を適宜読み出して参照する。これにより、コンピューターが、デジタルカメラ1a,1bの前記各部として機能し、前記処理動作が実現する。このコンピュータープログラムおよびこのコンピュータープログラムを記録したコンピューター読取可能な記録媒体は、本発明に含まれる。
また、本発明は、例えばシステム、装置、方法、プログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には複数の装置からなるシステムに適用してもよい。
なお、本発明は、上述した実施形態の機能を実現するプログラムを装置またはシステムに直接または遠隔から供給してもよい。すなわち、システムまたは装置のコンピューターが供給されたプログラムを読み出して実行することによっても本発明を達成される場合も含まれる。
101:撮像部、102:画像データ生成部、103:画像データ切換部、104:覆い焼き処理部、105:切換評価値算出部、106:切換判定部、107:切換閾値補正部、108:出力部、201:撮像レンズ、202:撮像素子、203:CDS回路、204:AGC回路、205:A/D変換部、301:覆い焼きレベル設定部、302:切換閾値選択部、401:輝度落ち判定部、402:輝度ヒストグラム算出部

Claims (18)

  1. 撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、
    前記画像データ生成手段によって生成された画像データをカラーまたは白黒のいずれかに切換える画像データ切換手段と、
    前記画像データ切換手段によって切換えられた前記画像データに対して覆い焼き処理を施す覆い焼き処理手段と、
    前記画像データを切換えるための切換評価値を算出する切換評価値算出手段と、
    前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較の結果に基づいて前記画像データをカラーまたは白黒のいずれに切換えるかを判定する切換判定手段と、
    前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出手段と、
    前記切換閾値を補正する閾値補正手段と、を有し、
    前記閾値補正手段は、前記覆い焼き処理手段による覆い焼き処理が有効である場合には、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正し、前記輝度ヒストグラム算出手段が算出した前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする撮像装置。
  2. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項に記載の撮像装置。
  3. 前記切換閾値と前記画像データの暗部の持ち上げのレベルの少なくとも一方には、前記閾値補正手段が選択可能な複数の値またはレベルが設定されていることを特徴とする請求項またはに記載の撮像装置。
  4. 前記画像データに含まれる前記所定の輝度値以下の画素数の全体の画素数に対する割合である暗部レベルを判定する暗部レベル判定手段をさらに有し、
    前記閾値補正手段は、前記暗部レベル判定手段が判定した前記暗部レベルに応じて、前記切換閾値を補正することを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記閾値補正手段は、前記暗部レベルまたは前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項に記載の撮像装置。
  6. 前記画像データの画面輝度が所定以下であるかどうかを判定する輝度落ち判定手段をさらに有し、
    前記閾値補正手段は、前記輝度落ち判定手段によって前記画面輝度が所定以下と判定された場合に、前記切換閾値をさらに補正する請求項1からのいずれか1項に記載の撮像装置。
  7. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルおよび前記画面輝度が低いほど、前記切換閾値を、カラーから白黒へ切換える際には低く補正し、前記画像データをカラーから白黒へ切換える際には高く補正することを特徴とする請求項に記載の撮像装置。
  8. 撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、
    前記画像データ生成手段によって生成された画像データをカラーまたは白黒のいずれかに切換える画像データ切換手段と、
    前記画像データ切換手段によって切換えられた前記画像データに対して覆い焼き処理を施す覆い焼き処理手段と、
    前記画像データを切換えるための切換評価値を算出する切換評価値算出手段と、
    前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較の結果に基づいて前記画像データをカラーまたは白黒のいずれに切換えるかを判定する切換判定手段と、
    前記画像データの画面輝度が所定以下であるかどうかを判定する輝度落ち判定手段と、
    前記切換閾値を補正する閾値補正手段と、を有し、
    前記閾値補正手段は、前記覆い焼き処理手段による覆い焼き処理が有効である場合には、前記切換閾値を補正し、前記輝度落ち判定手段によって前記画面輝度が所定以下と判定された場合に、前記切換閾値をさらに補正することを特徴とする撮像装置。
  9. 前記閾値補正手段は、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正することを特徴とする請求項に記載の撮像装置。
  10. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項に記載の撮像装置。
  11. 前記切換閾値と前記画像データの暗部の持ち上げのレベルの少なくとも一方には、前記閾値補正手段が選択可能な複数の値またはレベルが設定されていることを特徴とする請求項または10に記載の撮像装置。
  12. 前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出手段をさらに有し、
    前記閾値補正手段は、前記輝度ヒストグラム算出手段が算出した前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする請求項から11のいずれか1項に記載の撮像装置。
  13. 前記画像データに含まれる前記所定の輝度値以下の画素数の全体の画素数に対する割合である暗部レベルを判定する暗部レベル判定手段をさらに有し、
    前記閾値補正手段は、前記暗部レベル判定手段が判定した前記暗部レベルに応じて、前記切換閾値を補正することを特徴とする請求項12に記載の撮像装置。
  14. 前記閾値補正手段は、前記暗部レベルまたは前記画像データの暗部の持ち上げのレベルが高いほど、前記切換閾値を、前記画像データをカラーから白黒へ切換える際には低く補正し、白黒からカラーへ切換える際には高く補正することを特徴とする請求項13に記載の撮像装置。
  15. 前記閾値補正手段は、前記画像データの暗部の持ち上げのレベルおよび前記画面輝度が低いほど、前記切換閾値を、カラーから白黒へ切換える際には低く補正し、前記画像データをカラーから白黒へ切換える際には高く補正することを特徴とする請求項8から14のいずれか1項に記載の撮像装置。
  16. 画像データを白黒またはカラーのいずれかに切換えることができるとともに、前記画像データに対して覆い焼き処理を行うことができる撮像装置の制御方法であって、
    撮像した被写体像の画像データを生成するステップと、
    生成された前記画像データを白黒またはカラーに切換えるための切換評価値を算出するステップと、
    算出された前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較結果に基づいて前記画像データを白黒またはカラーのいずれに切換えるかを判定するステップと、
    判定の結果に応じて生成された画像データをカラーまたは白黒のいずれかに切換るステップと、
    前記覆い焼き処理が有効である場合には、切換えられた前記画像データに対して覆い焼き処理を施すステップと、
    前記画像データの全体の輝度ヒストグラムを算出する輝度ヒストグラム算出ステップと、
    を有し、
    前記覆い焼き処理が有効である場合には、前記覆い焼き処理における前記画像データの暗部の持ち上げのレベルに応じて前記切換閾値を補正し、前記輝度ヒストグラムにおいて、所定の輝度値以下の画素数の割合が全体の画素数に対して所定以上である場合に、前記切換閾値をさらに補正することを特徴とする撮像装置の制御方法。
  17. 画像データを白黒またはカラーのいずれかに切換えることができるとともに、前記画像データに対して覆い焼き処理を行うことができる撮像装置の制御方法であって、
    撮像した被写体像の画像データを生成するステップと、
    生成された前記画像データを白黒またはカラーに切換えるための切換評価値を算出するステップと、
    算出された前記切換評価値と、前記画像データをカラーまたは白黒のいずれかに切換えるための予め決められた切換閾値と、の比較結果に基づいて前記画像データを白黒またはカラーのいずれに切換えるかを判定するステップと、
    判定の結果に応じて生成された画像データをカラーまたは白黒のいずれかに切換るステップと、
    前記画像データの画面輝度が所定以下であるかどうかを判定する輝度落ち判定ステップと、
    前記覆い焼き処理が有効である場合には、切換えられた前記画像データに対して覆い焼き処理を施すステップと、
    を有し、
    前記覆い焼き処理が有効である場合には、前記切換閾値を補正し、前記画面輝度が所定以下と判定された場合に、前記切換閾値をさらに補正することを特徴とする撮像装置の制御方法。
  18. コンピューターを、請求項1から15のいずれか1項に記載の撮像装置の各手段として機能させることを特徴とするコンピューター読取り可能なプログラム。
JP2013050280A 2013-03-13 2013-03-13 撮像装置、その制御方法およびプログラム Active JP6202837B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013050280A JP6202837B2 (ja) 2013-03-13 2013-03-13 撮像装置、その制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013050280A JP6202837B2 (ja) 2013-03-13 2013-03-13 撮像装置、その制御方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2014176069A JP2014176069A (ja) 2014-09-22
JP2014176069A5 JP2014176069A5 (ja) 2016-04-28
JP6202837B2 true JP6202837B2 (ja) 2017-09-27

Family

ID=51696868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013050280A Active JP6202837B2 (ja) 2013-03-13 2013-03-13 撮像装置、その制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6202837B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006197099A (ja) * 2005-01-12 2006-07-27 Canon Inc カメラ
JP2008141528A (ja) * 2006-12-01 2008-06-19 Canon Inc 画像処理システム、その制御方法及びコンピュータプログラム
JP2010252077A (ja) * 2009-04-16 2010-11-04 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JP2014176069A (ja) 2014-09-22

Similar Documents

Publication Publication Date Title
TW201015988A (en) Image processing apparatus for performing gradation correction on subject image
JP5169318B2 (ja) 撮像装置、撮像方法
JP2010016664A (ja) 撮像装置
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
JP6071440B2 (ja) 撮像装置及びその制御方法
JP4999871B2 (ja) 撮像装置およびその制御方法
US10270991B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US10271029B2 (en) Image pickup apparatus and method of controlling an image pickup apparatus
JP5984975B2 (ja) 撮像装置、撮像方法、およびプログラム
US9191573B2 (en) Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same
JP2019029833A (ja) 撮像装置
WO2013153810A1 (ja) 撮像装置およびその制御方法
US10425602B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5335964B2 (ja) 撮像装置およびその制御方法
JP5984533B2 (ja) 撮像装置、その制御方法およびプログラム
JP6202837B2 (ja) 撮像装置、その制御方法およびプログラム
JP2017102393A (ja) 撮像装置
JP5473582B2 (ja) 画像処理装置、方法及びプログラム
JP2008085915A (ja) 撮像装置および撮像方法
US11778308B2 (en) Image processing apparatus, image processing method, and image capturing apparatus
JP7309508B2 (ja) 撮像装置、その制御方法とプログラム
JP6624895B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP5848580B2 (ja) 撮像装置及びその制御方法
JP5870539B2 (ja) 画像処理装置、画像処理方法
JP2014011767A (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170829

R151 Written notification of patent or utility model registration

Ref document number: 6202837

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151