JP5984533B2 - 撮像装置、その制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置のオートデイナイト機能に関するものである。

人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性は、その感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度を有する。一方、これらの特性は、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、通常、撮像装置は、色再現性を人間の色覚特性に合わせるために、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外光除去フィルタ（ＩＲＣＦ）を備えている。

しかし、被写体輝度が低下する低照度下においては、撮像装置は、しばしば、ＩＲＣＦを光路から取り除くことで、近赤外領域の光線を通過させて、感度を上昇させている。ただし、近赤外領域の光線が通過すると、色バランスが崩れるため、撮像装置は、カラー画像（デイモード）から白黒画像（ナイトモード）に撮影モードを切替える必要がある。切替方法の１つとして、オートデイナイト（以後、ＡＤＮ）と呼ばれる、撮像装置が自動でデイモード、ナイトモードの切替を行う機能がある。

デイモードからナイトモードに切替るときの被写体輝度の閾値は、カメラのＡＥデータ（シャッタースピード、絞り値、ゲイン、画面輝度※輝度落ち）に基づき決定される。

また、近年では、ＡＧＣ（ゲインコントロールアンプ回路）の利得値に制限をかける、すなわち最大利得値を設定する機能を持つ撮像装置が現れている。この機能は近年ユーザーからの要望が高まっているものであり、この機能を用いることで、撮像装置は、夜景等の黒い面が多いようなシーンでもきれいに撮影することができる。

例えば、特許文献１に記載された撮像装置は、撮像手段と明度検知手段の少なくとも一つの出力からの判定結果に応じて、ＩＲＣＦの挿抜を行い、モードを切替ている。

また、特許文献２に記載された撮像装置は、デイモードからナイトモードに切替え時の入射光量に基づいて、ナイトモードからデイモードに切り替わるための基準となる基準光量を設定している。

特開２０１０−２７９０６１号公報 特開２００４−１２０２０２号公報

しかしながら、特許文献１の撮像装置は、最大利得値の設定ができない構成である。一方で、最大利得値を設定する機能をもつ撮像装置は、最大利得値の設定による出力の変化に応じて、判定基準値を適切に設定していないため、撮像装置は、無駄なＩＲＣＦの挿抜を行ってしまう。また、特許文献２では、学習値がない構成である。そのため、基準光量算出中に例えば車のヘッドライト等の一過性の外乱が起きた場合に、適正な評価値が算出されず、所望の明るさでモードが切替わらないといった問題が起きてしまう。

本発明は、上述したような問題点に鑑みてなされたものであり、最大利得値が設定された場合であっても、単純な構成で、ＩＲＣＦの挿抜を最小限にする。

上述の課題を解決するために、本発明の撮像装置は、撮像素子からの信号を増幅させる利得制御手段を含む撮像手段と、前記撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、前記画像データ生成手段によって生成された画像データの出力をカラーまたは白黒の何れかに切替る切替手段と、前記利得制御手段の利得の最大値である最大利得値を設定する最大利得設定手段と、前記撮像手段からの出力に基づいて切替評価値を算出する切替評価値算出手段と、前記切替評価値と前記画像データの出力をカラーまたは白黒の何れかに切替る切替閾値の比較結果に基づいて、前記切替手段による画像データの出力の切替を判定する第１の判定手段と、前記切替評価値を学習値として記憶する学習値記憶手段と、前記学習値記憶手段に記憶された前記学習値と現在の切替評価値との比較結果に基づいて、前記切替手段による画像データの出力の切替を判定する第２の判定手段と、前記最大利得値が変更された時に、前記学習値を変更する変更手段と、を有することを特徴とする。

本発明によれば、外乱発生時の基準光量算出ミスを防止する目的でＩＲＣＦの挿抜時の閾値の複数回一致を行う撮像装置において、最大利得値が変更された場合でも学習値を適切な値にすることによって、不必要なＩＲＣＦ挿抜の回数を減らして耐久性を上げることができる。

第１の実施形態に係るカメラの構成を示す図である。 第１の実施形態に係るカメラの撮像部の構成を示す図である。 第１の実施形態に係るカメラの処理を示すフローチャートである。 被写体の一例を示す図である。 最大利得値が高めに設定されている図である。 最大利得値が低めに設定されている図である。 第１の実施形態に係るカメラの処理を示すフローチャートである。 第２の実施形態に係るカメラの構成を示す図である。 第２の実施形態に係るカメラの処理を示すフローチャートである。 第２の実施形態に係る各最大利得値に対応するオフセット値の例を示す表である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてカメラを用いる場合について説明する。

（第１の実施形態）
図１は、第１の実施形態に係るカメラの構成を示す図である。カメラは、外部から光をとり込んで、画像データを生成する、画像データ生成部１０１を備える。また、画像データ生成部１０１は、撮像部（撮像手段）１０２と撮像部１０２からとり込んだ信号に対して所定の処理を施す画像信号処理部１０３から構成される。

画像データをデイモード（カラー）またはナイトモード（白黒）に切替る撮影モード切替部１０４と、撮像部１０２からの出力からモードを切替えるための基準光量を評価値として算出する切替評価値算出部１０５を備える。さらに、ユーザーの操作などにより、利得の最大値を設定することができる最大利得設定部１０７を備える。同じくユーザーの操作により、所望の明るさでデイナイトモード切替を行うための切替閾値を設定することができる切替閾値設定部１０８を備える。切替評価値と画像データの出力をデイモードまたはナイトモードの何れかに切替る切替閾値の比較結果に基づいて撮影モード切替部１０４による画像データの出力の切替を判定する撮影モード判定部１０６を備える。撮影モード判定部１０６でナイトモードに切替えると判定された場合に、切替後の切替評価値を取得して記憶するための学習値記憶部１０９を備える。

そして、切替評価値と切替閾値の比較結果に基づいて撮影モード切替部１０４から出力された画像データを表示する表示手段としての表示部１１０で構成されている。

ここで、図２は撮像部（撮像手段）１０２の詳細な構成を示した図である。

撮像部１０２は、数枚のレンズ群からなるレンズ２０１、図示しない駆動部を有すると共に駆動部によってレンズ２０１に対して挿抜される赤外光除去フィルタ（Ｉｎｆｒａｒｅｄ Ｒａｙ Ｃｕｔ Ｆｉｌｔｅｒ：ＩＲＣＦ）２０２、ＣＣＤ、ＣＭＯＳなどの撮像素子２０３を備える。また、撮像部１０２は、雑音軽減を行う相関二重サンプリング（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：ＣＤＳ）回路２０４を備える。また、撮像部１０２は、カメラの利得制御を自動で行うゲインコントロールアンプ回路（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：ＡＧＣ）２０５を備える。

また、撮像部１０２は、アナログ信号をデジタル信号へと変換を行うＡ／Ｄ変換２０６を備える。

上述した各構成要素の動作について詳しく説明を行う。

まず、画像データ生成部１０１について、図１および図２を用いて詳しく説明を行う。撮像素子２０３は、撮像光学系としてのレンズ２０１およびＩＲＣＦ２０２を介して結像された被写体像を電気信号に変換する。ＣＤＳ回路２０４は、撮像素子２０３から出力された電気信号に対して相関二重サンプリング処理などを実施する。ＡＧＣアンプ２０５は、ＣＤＳ回路２０４から出力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換２０６は、ＡＧＣアンプ２０５により増幅処理されたアナログ信号をデジタル信号へと変換する。

画像信号処理部１０３は、例えば、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＤＳＰ）などから構成され、デジタル信号に対して色変換、ＡＥ処理、ＷＢ処理、信号処理された画像の階調変換を行うガンマ処理など所定の画像処理を行う。

画像データ生成部１０１から出力された画像データは、撮影モード切替部１０４に入力されて、白黒画像またはカラー画像に変換して出力される。ここで、撮影モード切替部１０４は、独立に表示しているが、画像信号処理部１０３が内包していてもよい。

白黒・カラー画像の切替をするために、撮像部１０２より出力された、絞り・シャッタースピード・ゲイン等の撮像条件から、切替評価値算出部１０５において、切替評価値の算出を行う。

一方で、利得の最大値を設定することができる最大利得設定部１０７において、最大利得値を設定することができる。また、最大利得は、高ければ高いほど感度が上がり暗いところでも撮影ができるが、それに伴って画像のノイズや鮮鋭感等の成分による劣化があるので、どの程度まで許容するかを示すものである。例えば、この設定は外部に公開しておいて、ユーザーが任意に選択、またはカメラの内部の状態によって自動で切替えても良い。

そして、判定部１０６は、切替評価値算出部１０５より出力された切替評価値と、切替閾値設定部１０８より出力された切替閾値を入力して、撮影モード切替部１０４で画像をデイモードで出力するか、ナイトモードで出力するかを判定する。例えば、切替評価値が切替閾値以下だったら、画像はナイトモードで出力する。

また、図２のようなＩＲＣＦ２０２が備えられており、切替部１０４に対してナイトモードで出力をすると判定した時に、判定部１０６は、図示されていないＩＲＣＦ駆動部へと信号を出力する。その後、ＩＲＣＦ駆動部において、ＩＲＣＦ２０２を撮像光学系の光路上から抜去することによって、赤外成分をとり込み、輝度アップを図る。

また、判定部１０６がナイトモードで出力すると判定した場合に、赤外成分の輝度アップを考慮した切替評価値を学習値として、学習値記憶部１０９に記憶する。

画像表示部１０９は、例えば、ＬＣＤなどから構成され、切替部１０４から出力された画像データを表示する。

次に、図３に示すフローチャートを用いて、カメラの撮影モードをデイモードからナイトモードに切替る際に学習値が記憶されるまでの動作処理について説明する。

撮影モードがデイモードの場合、画像データはカラーで出力される。ここでは、画像データ生成部１０１、撮影モード切替部１０４、切替評価値算出部１０５、撮影モード判定部１０６、切替閾値設定部１０８、学習値記憶部１０９が主に動作することによりフローチャートに示す処理が実現される。

まず、ステップｓ３０１では、画像データ生成部１０１から出力された画像データから現在のデイナイトモードがデイモードであるかナイトモードであるかを判定する。まず、デイモードの場合を以下に説明する。

ステップｓ３０２では、切替評価値算出部１０５で算出された現在の切替評価値が切替閾値設定部１０８で設定された切替閾値以下かどうかを判定する。尚、切替評価値は画像データ生成部１０１の中の撮像部１０２から出力された、撮像条件、すなわち、絞り値、シャッタースピード、ＡＧＣゲイン値を基に切替評価値算出部１０５によって算出される。

以下に、切替評価値の算出方法の一例を示す。
Ｓ＝ｉｒｉｓ＋ｓｈｕｔｔｅｒ＋ＡＧＣｇａｉｎ
ここで、Ｓは、切替え評価値を表す。また、ｉｒｉｓ、ｓｈｕｔｔｅｒ、ＡＧＣｇａｉｎは、それぞれ絞り値、シャッタースピード、ＡＧＣゲイン値である。また、それぞれの値については、以下で示される。

切替評価値Ｓは、露出の明るさを示す値、すなわちＥＶ値である。ＥＶ値は、絞り値（Ｆ値）、シャッタースピード（秒）、ＡＧＣゲイン値（ｄＢ）のそれぞれを対数で表し、加算したものである。また、切替評価値の算出はデイナイト機能のモードがオートの時は、常に現在の撮影条件から算出される。

撮影モード判定部１０６において、現在の切替評価値と切替閾値を比較して、切替評価値が切替閾値以下であった場合はＩＲＣＦを光路上から抜去して、一度ナイトモードに切替える（ステップｓ３０３）。

ステップｓ３０４ではＩＲＣＦ抜去後の切替評価値を取得して、予め記憶されている学習値（前回のデイモードからナイトモードへ変更した際の一連の流れで算出された切替評価値。詳細についてはステップｓ３０９参照）と現在の切替評価値とを比較した結果が所定の範囲内であった場合は、学習値記憶時の撮影環境において時間経過による明るさの変化のみで被写体の変化がほとんどなく、外乱もないと判断し、切替評価値が切替閾値以上になるまでナイトモードを継続する（ＩＲＣＦの抜去を１回で終了させる）。

ステップｓ３０５ではステップｓ３０４で切替評価値と学習値を比較した結果が所定の範囲外であった場合に、一時的にその時の切替評価値を記憶する。

ステップｓ３０６では再度ＩＲＣＦを光路上に挿入しデイモードにした後、切替評価値を再び算出する。

ステップｓ３０７では現在の切替評価値が切替閾値以下かどうかを判定し、切替閾値以上であった時は、前回の切替評価値算出時に外乱が発生したと判断して、次に切替評価値が切替閾値以下となるまでデイモードを継続する。その際はステップｓ３０４から開始となる。

ステップｓ３０８ではステップｓ３０７で切替評価値が切替閾値を２度下回っている（ステップｓ３０４と合せて２度）と判断された時にＩＲＣＦを光路上から抜去し、ナイトモードにする。

ステップｓ３０９ではステップｓ３０８でＩＲＣＦ抜去後に算出された切替評価値を学習値として記憶する。ここでの学習値は次にデイモードからナイトモードに切り替わった際のステップｓ３０４で参照される。

ここまでで、切替評価値が切替閾値を２度下回ることで最終的にデイモードからナイトモードへ移行しているが、２度以上下回ることの確認を行ってもよい。尚、上述した複数回の切替判定方法は一般的によく用いられている。

次に、はじめにナイトモードであった場合を以下に説明する。

ステップｓ３１０ではデイナイトのモードがナイトモードである時に現在の切替評価値が切替閾値以上であるかどうかを判定する。ここでの切替閾値は、デイモードからナイトモードに切替わり時の輝度アップ分を考慮した切替閾値を算出しても良いし、予めユーザーが設定しても良い。

ステップｓ３１１ではステップｓ３１０で切替評価値が切替閾値以上となった場合にＩＲＣＦを光路上に挿入してデイモードに移行し、次に切替評価値が切替閾値以下になるまでデイモードを継続する。

ここで、図４〜図６を用いて、本実施の形態におけるカメラの撮影画像の一例を示す。

まず、図４のような被写体を撮影できる場所において、時間が経過していく時の例を示す。今、最大利得設定部１０７において、最大利得の設定値（最大利得値）が初期値または高めに設定されていた場合を図５に示す。図５では、被写体輝度によって適切な利得が付加される。ここで、最大利得値が初期値に設定されていた時には、算出される切替評価値は初期に想定されていたものである。一方、最大利得値が初期値よりも高めに設定されていた場合は、利得が初期に設定された最大利得値よりも高くなる。

また、最大利得値は、本実施形態においては、ユーザーが任意に設定するように書いているが、撮影状況や被写体等によって自動的に設定される値とすることもできる。

被写体輝度が暗くなった場合、最大利得設定部１０７にて設定された最大利得値が大きい時の方が最大利得設定部１０７にて設定された最大利得値が小さい時に比べて画像データのデイモード時（カラー出力）を長く維持することになる。

一方で、図６は、最大利得設定部１０７において、最大利得値が低めに設定された場合を示している。そのため、最大利得を高めに設定した時に比べて、表示画像の明るさが同一となった時に、実際の被写体輝度は明るくなっている。そのため、カメラ内部の撮像条件は、明るめの値を示すことになる。その結果、切替評価値算出部で算出される切替評価値は相対的に低めとなる。

また、同一の明るさおよび被写体であった場合でも、最大利得値が変更後は算出される切替評価値が異なるため、図３のフローチャートの手順で得られる学習値と切替評価値の比較結果が所定の範囲内にはならない。よって、学習値が無効となってしまう。

そこで、予め学習値が記憶されている場合においては、図７のようにステップｓ４０１でオートデイナイトモード時で、最大利得値が変更された時（ステップｓ４０２）に、学習値を初期化（予め決められた初期値に設定）することで、学習値として有効である可能性が高くなる。

また、同様に最大利得値が変更された場合に、切替評価値と予め決められた切替閾値との比較を行うと、所望の明るさの時に切り換わらないことがあるため、最大利得値変更時に切替閾値の値を適切な値に変更しても良い。前述の切替閾値はユーザーが任意に決めても良いし、最大利得値変更時の輝度変化分をオフセットしても良い。

（第２の実施形態）
次に、第２の実施形態について説明する。

図８は、第２の実施形態に係るカメラの構成を示す図である。本実施形態では、第１の実施形態の構成から追加された構成を中心に説明し、第１の実施形態と同様の構成は同一符号を付して、その説明を省略する。

図８のカメラは、予め記憶されている学習値を補正する学習値補正部１１１を備える。学習値補正部１１１は、最大利得値が変更された時に予め記憶されている学習値を受け取って補正する。補正の方法としては図９のように最大利得値に応じて予めテーブル等でオフセット値を決めておき、変更された最大利得値に応じたオフセット値の分を学習値に付加または差し引く。また、オフセットの値は任意に決めることができ、テーブルではなく評価関数等に基づいて学習値を増減させても良い。

次に、図１０に示すフローチャートを用いて、学習値がオフセットされるまでの流れを説明する。なお、予め図３のステップｓ３０１からステップｓ３１１を経て学習値が予め記憶されているとする。ステップｓ５０１ではデイナイトのモードがオートデイナイトかどうかを判定する。マニュアルモード時は学習値が有効でないため何もしない。

ステップｓ５０２ではステップ５０１でオートデイナイトであると判定された後に、現在の学習値が記憶された最大利利得値が変更されたかどうかを判定する。

ステップｓ５０３ではステップｓ５０２で最大利得値が変更されたと判定された場合に、最大利得値に応じたオフセット値を図９のテーブルから取得する。ここでは、最大利得値が初期値の中から高に変更されたとして、その際の最大利得値の変化量を＋６．０ｄＢだとすると、オフセット値は＋１．０ＥＶとなる。

ステップｓ５０４はステップｓ５０３で取得したオフセット値を学習値に付加または差し引く。

上述した処理を行うことで、最大利得値変更時に同一の明るさでおよび同一被写体で切替評価値が変わってしまう問題に対して、学習値を有効にすることができる。その結果、最大利得値変更時でも、一度学習値を記憶してしまえば、撮影環境が大きく変化しない限り、ＩＲＣＦの挿抜を１回で終了させることができるので、耐久性を上げることが可能である。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。また、画像データ生成部以外のブロックに関しては、必ずしも、カメラ内に備えていなければならないわけではなく、別装置が備えていてもよい。例えば、カメラとネットワーク接続されたクライアント端末（例えばパーソナルコンピュータ、タブレット等）が判定部１０６等を備え、カメラを遠隔制御できるシステム構成でも良い。

また、第１、第２の実施形態では、画像信号処理部１０３、撮影モード切替部１０４、切替評価値算出部１０５、撮影モード判定部１０６、最大利得設定部１０７、切替閾値設定部１０８、学習値補正部１１１などは、ＣＰＵがプログラムを実行することにより実現してもよい。

すなわち、本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えばシステム、装置、方法、プログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には複数の装置からなるシステムに適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するプログラムを装置またはシステムに直接または遠隔から供給してもよい。すなわち、システムまたは装置のコンピュータが供給されたプログラムを読み出して実行することによっても本発明を達成される場合も含まれる。

１０１ 画像データ生成部
１０２ 撮像部
１０３ 画像信号処理部
１０４ 撮影モード切替部
１０５ 切替評価値算出部
１０６ 撮影モード判定部
１０７ 最大利得設定部
１０８ 切替閾値設定部
１０９ 学習値記憶部
１１０ 表示部
１１１ 学習値補正部

Claims (8)

1. 撮像素子からの信号を増幅させる利得制御手段を含む撮像手段と、
   前記撮像手段によって撮像される被写体像の画像データを生成する画像データ生成手段と、
   前記画像データ生成手段によって生成された画像データの出力をカラーまたは白黒の何れかに切替る切替手段と、
   前記利得制御手段の利得の最大値である最大利得値を設定する最大利得設定手段と、
   前記撮像手段からの出力に基づいて切替評価値を算出する切替評価値算出手段と、
   前記切替評価値と前記画像データの出力をカラーまたは白黒の何れかに切替る切替閾値の比較結果に基づいて、前記切替手段による画像データの出力の切替を判定する第１の判定手段と、
   前記切替評価値を学習値として記憶する学習値記憶手段と、
   前記学習値記憶手段に記憶された前記学習値と現在の切替評価値との比較結果に基づいて、前記切替手段による画像データの出力の切替を判定する第２の判定手段と、
   前記最大利得値が変更された時に、前記学習値を変更する変更手段と、を有することを特徴とする撮像装置。
2. 前記変更手段は、前記学習値を初期値に変更することを特徴とする請求項１に記載の撮像装置。
3. 前記変更手段は、前記最大利得値の変更量に応じて前記学習値を変更することを特徴とする請求項１に記載の撮像装置。
4. 前記第２の判定手段は、前記学習値と前記現在の切替評価値との差が所定の範囲内でなければ前記画像データの出力をカラーにすると判定することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記第１の判定手段は、前記切替評価値が前記切替閾値以下であれば前記画像データの出力を白黒にすると判定することを特徴とする請求項１ないし４のいずれか１項に記載の撮像装置。
6. 前記第２の判定手段は、前記第１の判定手段により前記画像データの出力を白黒にすると判定されたときに、前記学習値と前記現在の切替評価値とに基づいて前記切替手段による画像データの出力の切替を判定することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 撮像素子からの信号を増幅させる利得制御手段を含む撮像手段によって撮像される被写体像の画像データを生成する画像データ生成ステップと、
   前記画像データ生成ステップによって生成された画像データの出力をカラーまたは白黒の何れかに切替るステップと、
   前記利得制御手段の利得の最大値である最大利得値を設定するステップと、
   前記撮像手段からの出力に基づいて切替評価値を算出するステップと、
   前記切替評価値と前記画像データの出力をカラーまたは白黒の何れかに切替る切替閾値の比較結果に基づいて画像データの出力の切替を判定するステップと、
   前記切替評価値を学習値として記憶するステップと、
   記憶された前記学習値と現在の切替評価値との比較結果に基づいて、画像データの出力の切替を判定するステップと、
   前記最大利得値が変更された時に、前記学習値を変更する変更ステップと、を有することを特徴とする撮像装置の制御方法。
8. 請求項７に記載の撮像装置の制御方法を実行するためのプログラム。