JP5847484B2 - 撮像装置、その制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置、その制御方法およびプログラムに関するものである。特に、撮像して生成された画像データ内の被写体をユーザが認識できるように出力を切換える場合に用いられて好適である。

人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで通常、撮像装置では、色再現性を人間の色覚特性に合わせるために撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外光除去フィルタ（ＩＲＣＦ）を設けている。

しかし、被写体輝度が低下する低照度下においては、しばしばＩＲＣＦを光路から取り除くことで、近赤外領域の光線を通過させて、感度を上昇させている。ただし、近赤外領域の光線を通過させると、色バランスが崩れるため、カラー画像（デイモード）から白黒画像（ナイトモード）に撮影モードの切換えを行う。切換え方法として、オートデイナイト（以後、ＡＤＮ）と呼ばれる、自動でデイモード、ナイトモードの切換えを行う機能もある。更に、例えばバリフォーカルレンズのように、ＩＲＣＦの挿抜機構がないレンズでは、感度を上げることはできないが、カラー成分にのるノイズを除去できるため、単にカラー画像から白黒画像に切換えるカメラもある。カラー画像から白黒画像に切換えるときの被写体輝度の閾値は、カメラのＡＥデータ（シャッタスピード、ＩＲＩＳ、ＡＧＣ、画面輝度）に基づき決定される。

例えば、特許文献１に記載されたビデオカメラ装置では、映像信号の輝度レベルをもとに被写体の明るさを判定し、その判定結果に応じて、赤外カットフィルタの挿抜を行い、モードを切換える切換え方法が開示されている。

特開２００２−１６８３８号公報

しかしながら、特許文献１に開示されたビデオカメラ装置では、ノイズが多くユーザが被写体をすでに認識できないにもかかわらず、輝度レベルが切換え基準よりも高いためにナイトモードに切換わらないという問題があった。

本発明は、上述したような問題点に鑑みてなされたものであり、撮像して生成された画像データ内の被写体を、ユーザが認識できなくなるときに画像データ内の被写体を認識できる出力に切換える撮像装置などを提供することを目的にする。

本発明は、撮像部によって撮像される被写体像の画像データを生成する画像データ生成手段と、前記画像データ生成手段によって生成された画像データの出力をカラーまたは白黒の何れかに切換える切換手段と、前記画像データ生成手段によって生成された画像データから、被写体を認識できる度合いを示す被写体認識度を算出する認識度算出手段と、前記認識度算出手段によって算出された被写体認識度と所定の閾値との比較に基づいて、前記切換手段による画像データの出力の切換えを判定する判定手段と、を有し、前記認識度算出手段は、前記画像データ生成手段によって生成された画像データのコントラスト、ノイズおよび解像度の少なくとも２つから被写体認識度を算出することを特徴とする。

本発明によれば、被写体を認識できる度合いを示す被写体認識度に基づいて画像データの出力を切換えることで、画像データ内の被写体をユーザが認識することができる出力に適切に切換えることができる。

第１の実施形態に係るカメラの構成を示す図である。 コントラスト、ノイズおよび解像度の視覚特性の一例を示す図である。 第１の実施形態に係るカメラの処理を示すフローチャートである。 被写体の一例を示す図である。 コントラストが低いため被写体輝度がある程度高いにもかかわらず被写体認識度が低い画像の一例を示す図である。 ノイズが多いため被写体輝度がある程度高いにもかかわらず被写体認識度が低い画像の一例を示す図である。 被写体を認識できなくなった程度の画像の一例を示す図である。 第２の実施形態に係るカメラの構成を示す図である。 第２の実施形態に係るカメラの処理を示すフローチャートである。 画像のコントラストが低くなるシーンの一例を示す図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてカメラを用いる場合について説明する。
（第１の実施形態）
図１は、第１の実施形態に係るカメラの構成を示す図である。
カメラは、数枚のレンズ群からなるレンズ１、図示しない駆動部を有すると共に駆動部によってレンズ１に対して挿抜される赤外光除去フィルタ（Infrared Ray Cut Filter：ＩＲＣＦ）２、ＣＣＤ、ＣＭＯＳなどの撮像部としての撮像素子３を備える。
また、カメラは、雑音軽減を行う相関二重サンプリング（Correllated Double Sampling：ＣＤＳ）回路４を備える。また、カメラは、カメラの利得制御を自動で行うゲインコントロールアンプ回路（Automatic Gain Control：ＡＧＣ）５を備える。

また、カメラは、アナログ信号をデジタル信号へと変換を行うＡ／Ｄ変換６、デジタル信号に所定の処理を施す画像データ生成手段としての画像信号処理部７、画像信号処理部７より出力された画像データを外部の表示系などに出力する画像信号出力部８を備える。
また、カメラは、画像データを表示する表示手段としての画像表示部９、画像データを記録する記録手段としての画像記録部１０、画像データの評価値の算出を行う画像評価値算出部１１、メモリ１２を備える。
また、カメラは、画像評価値算出部１１より算出された評価値によって撮影モードを判定する判定手段としての撮影モード判定部１３、ＩＲＣＦ２の駆動部を制御するためのＩＲＣＦ制御部１４などを備える。

上述した各構成要素の動作について詳しく説明を行う。
撮像素子３は、撮像光学系としてのレンズ１およびＩＲＣＦ２を介して結像された被写体像を電気信号に変換する。ＣＤＳ回路４は、撮像素子３から出力された電気信号に対して相関二重サンプリング処理などを実施する。ＡＧＣアンプ５は、ＣＤＳ回路４から出力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換６は、ＡＧＣアンプ５により増幅処理されたアナログ信号をデジタル信号へと変換する。

画像信号処理部７は、例えばDigital Signal Processing（ＤＳＰ）などから構成され、デジタル信号に対して色変換、ＡＥ処理、ＷＢ処理、信号処理された画像の階調変換を行うガンマ処理など所定の画像処理を行う。また、画像信号処理部７は、画像処理を施した画像データをカラー画像または白黒画像で画像信号出力部８および画像評価値算出部１１へ出力する。また、画像信号処理部７は、切換手段としての撮影モード切換部７ａを有している。

画像表示部９は、例えばＬＣＤなどから構成され、画像信号出力部８から出力された画像データを表示する。画像記録部１０は、例えばハードディスクなどの外部記録メモリから構成され、画像信号出力部８から出力された画像データを記録する。画像評価値算出部１１は、画像信号処理部７から出力された画像データの評価値としての被写体認識度をコントラスト、ノイズおよび解像度などに基づいて算出する。ここで、被写体認識度とは、人が被写体を認識できる度合いを示すものである。画像評価値算出部１１は、認識度算出手段として機能する。画像評価値算出部１１は、それぞれの被写体認識度を算出する際に、メモリ１２に予め記憶されている図２に示すような視覚特性を参照する。図２に示す視覚特性については後述する。

撮影モード判定部１３は、画像評価値算出部１１で算出された被写体認識度を、所定の被写体認識度閾値と比較し、撮影モードをデイモードあるいはナイトモードにするかを判定する。また、撮影モード判定部１３は、撮影モードの切換え動作が必要と判定した場合、画像信号処理部７およびＩＲＣＦ制御部１４に撮影モード切換え信号を送信する。画像信号処理部７の撮影モード切換部７ａは、撮影モード切換え信号を受信すると、画像データをカラー（カラー信号）から白黒（白黒信号）に出力を切換える。

また、ＩＲＣＦ制御部１４は、図示しないモータドライバおよびモータなどから構成される。モータドライバが撮影モード判定部１３から撮影モード切換え信号を受信するとモータに所定の動作をさせて、ＩＲＣＦ２を光路から取り除く。

次に、図３に示すフローチャートを用いて、カメラが撮影モードをデイモードからナイトモードに切換える動作処理について説明する。撮影モードがデイモードの場合、ＩＲＣＦ２が光路に挿入され、画像データはカラーで出力される。ここでは、画像評価値算出部１１、メモリ１２、撮影モード判定部１３およびＩＲＣＦ制御部１４が主に動作することによりフローチャートに示す処理が実現される。
まず、ステップＳ３０１では、画像評価値算出部１１は、画像信号処理部７から出力された画像データを取得する。
ステップＳ３０２では、画像評価値算出部１１は、先に取得した画像データからコントラスト、ノイズおよび解像度の各物理量を算出する。コントラストは、画像データの被写体輝度の輝度成分の相対的に大きい値と相対的に小さい値の差を算出する。例えば、最大値と最小値を用いても構わない。また、ノイズは、画像データの被写体輝度のばらつき、ＡＧＣのゲイン値および温度などの少なくとも１つから算出する。解像度は、画像データの高周波成分から算出する。

ステップＳ３０３では、画像評価値算出部１１は、図２に示したような視覚特性を参照する。図２に示す視覚特性は、それぞれの物理量の画像に対して、人がどの程度被写体を認識できるかを示す認識度を有しているかを表しており、予めメモリ１２に記憶されている。すなわち、図２に示す視覚特性は、コントラスト、ノイズおよび解像度それぞれに対して、物理量を入力として認識度を出力する視覚特性テーブルである。メモリ１２には、すべての入力データの出力に対してテーブルを用意してもよいし、代表点を用いてデータテーブルを描写し、点と点の間は、直線補間などで補間をしてもよい。図２に示す縦軸は各評価項目における識別度であり、横軸は各評価項目の物理量である。

ステップＳ３０４では、画像評価値算出部１１は、コントラスト、ノイズおよび解像度それぞれの認識度を、画像の被写体認識度を表した関数の変数として代入し、被写体認識度を算出する。被写体認識度は、以下の（１）式のように表される。Ｐは被写体認識度を示している。
Ｐ＝ｋ₁・ｆ₁（ｅ₁）＋ｋ₂・ｆ₂（ｅ₂）＋ｋ₃・ｆ₃（ｅ₃）・・・（１）

式（１）では、コントラスト（ｅ₁）、ノイズ（ｅ₂）、解像度（ｅ₃）の物理量を、人の視覚特性により、物理量と認識度の対応を示す関数、コントラストｆ₁（ｘ）、ノイズｆ₂（ｘ）、解像度ｆ₃（ｘ）に代入することにより、被写体認識度を算出する。なお、ｋ₁、ｋ₂、ｋ₃は、重み係数を示しており、コントラスト、ノイズおよび解像度がどれだけ画質に影響があるかを表している。これらの重み係数は、予め設定しメモリ１２に記憶されている。ただし、重み係数は、ユーザの選択に応じて、あるいは撮影する被写体に応じて変更することができる。

また、被写体認識度を算出する際に、コントラスト、ノイズおよび解像度の評価項目のすべてを用いる必要はなく、評価項目中から２つを選択して評価項目としてもよい。評価項目を選択する方法としては、例えばユーザが被写体に応じて任意の評価項目を選択し設定したり、カメラがノイズリダクションなどの画像処理の情報に基づいて自動で選択し設定したりする方法がある。

次に、ステップＳ３０５では、撮影モード判定部１３は、ステップＳ３０４で算出した被写体認識度と所定の被写体認識度閾値（ここでは、所定の閾値という）とを比較し、被写体認識度が所定の閾値以下であるか否かを判定する。所定の閾値は、人が被写体を認識できなくなる被写体認識度であって、予めメモリ１２に記憶されている。ここで、被写体認識度が所定の閾値よりも大きい場合、何も処理を行わずステップＳ３０１に戻り、次の画像データを解析する。一方、被写体認識度が所定の閾値以下の場合ステップＳ３０６に進む。
ステップＳ３０６では、撮影モード判定部１３は、ＩＲＣＦ制御部１４および撮影モード切換部７ａに切換え信号を出力する。ＩＲＣＦ制御部１４は、撮影モード判定部１３から切換え信号を受信すると、ＩＲＣＦ２を光路から取り除く。また、撮影モード切換部７ａは、撮影モードをデイモードからナイトモードに切換えて、画像データを白黒の出力にする。

上述したカメラの動作処理では、撮影モードをデイモードからナイトモードに切換える場合について説明したが、ナイトモードからデイモードへの切換えについても同様に、実現することができる。具体的には、撮影モードがナイトモードの場合、ステップＳ３０５では、撮影モード判定部１３が、ステップＳ３０４で算出した被写体認識度と所定の閾値とを比較し、被写体認識度が所定の閾値よりも大きいか否かを判定することによって実現できる。

すなわち、被写体認識度が所定の閾値よりも大きい場合、撮影モード判定部１３は、ＩＲＣＦ制御部１４および撮影モード切換部７ａに切換え信号を出力する。ＩＲＣＦ制御部１４は、撮影モード判定部１３から切換え信号を受信すると、ＩＲＣＦ２を光路に挿入させる。また、撮影モード切換部７ａは、撮影モードをナイトモードからデイモードに切換えて、画像データをカラーの出力にする。
なお、ナイトモードからデイモードへの被写体認識度閾値は、デイモードからナイトモードへの被写体認識度閾値と同じ値を用いる必要はなく、適宜ヒステリシスを有していてもよい。ヒステリシスを有することで、画像データの被写体認識度が被写体認識度閾値周辺である場合に、頻繁にデイモードからナイトモード、ナイトモードからデイモードの切換えを防止することができる。

ここで、図４に示すような被写体を撮像したときの画像データの一例を図５〜図７に示す。
図５は、被写体輝度が撮影モードを切換えるときの閾値よりも高いが、コントラストが低い画像の一例を示す図である。したがって、被写体輝度だけで撮影モードを判定してしまうと、撮影モードが切換わらないうちに、コントラストが著しく低くなるため、人がほとんど認識できない画像になってしまう。そのため、撮影モードを切換えても人が被写体を認識することが困難である。
図６は、被写体輝度が撮影モードを切換えるときの閾値よりも高いが、ノイズが多い画像の一例を示す図である。したがって、図５と同様に撮影モードが切換わらないうちに、ノイズが著しく多くなるため、人がほとんど認識できない画像になってしまう。そのため、撮影モードを切換えても人が被写体を認識することが困難である。
一方、図７は、ちょうど被写体を認識できなくなった点において、切換えの被写体輝度になった画像である。そのため、撮影モードを切換えて感度を上昇させることで、人が被写体を認識できるようになる。

このように、被写体輝度ではなく被写体認識度を撮影モードの切換えの判定に用いることで、図５や図６のように被写体を認識できないにもかかわらず撮影モードが切換らないという状況を回避することができる。すなわち、図７の画像のように、人が被写体を認識できなくなったところで、撮影モードの切換えを行うことが可能となる。

（第２の実施形態）
次に、第２の実施形態について説明する。
図８は、第２の実施形態に係るカメラの構成を示す図である。本実施形態では、第１の実施形態の構成から追加された構成を中心に説明し、第１の実施形態と同様の構成は同一符号を付して、その説明を省略する。
カメラは、被写体輝度算出手段としての輝度算出部１５、被写体認識度算出可否判定手段としての認識度算出可否判定部１６を備えている。

輝度算出部１５は、画像信号処理部７から画像評価値算出部１１を介して画像データを受信し、受信した画像データから被写体輝度の平均輝度を算出する。認識度算出可否判定部１６は、輝度算出部１５で算出された平均輝度と所定の認識度算出可否閾値とを比較して、被写体認識度を算出できるか否かを判定する。

次に、図９に示すフローチャートを用いて、カメラが撮影モードをデイモードからナイトモードに切換える動作処理について説明する。なお、図９に示すフローチャートのうち、図３に示すフローチャートと対応する処理は、同一のステップ番号を付して、その説明を適宜省略する。
まず、ステップＳ３０１では、画像評価値算出部１１は、画像信号処理部７から出力された画像データを取得する。
ステップＳ９０１では、画像評価値算出部１１は画像データを輝度算出部１５に送信し、輝度算出部１５は先に取得した画像データから被写体輝度、具体的には被写体輝度の平均輝度を算出する。

ステップＳ９０２では、認識度算出可否判定部１６は、輝度算出部１５で算出された被写体輝度と、所定の認識度算出可否閾値（ここでは、所定の輝度閾値という）とを比較し、被写体輝度が所定の輝度閾値以下であるか否かを判定する。所定の輝度閾値は、被写体認識度を算出するか否かを決定する閾値であって、予めメモリ１２に記憶されている。所定の輝度閾値は、例えばアナログゲインを加える必要がない程度の輝度に設定しておくことが好ましい。ここで、算出された被写体輝度が所定の輝度閾値よりも大きい場合、何も処理を行わずステップＳ３０１に戻り、次の画像データを解析する。一方、被写体輝度が所定の輝度閾値以下の場合ステップＳ３０２に進む。

ステップＳ３０２は、第１の実施形態の処理と同様であり、画像評価値算出部１１は被写体認識度を算出するために画像データからコントラスト、ノイズおよび解像度の各物理量を算出する。
ステップＳ３０３以降も、第１の実施形態の処理と同様であり、撮影モード判定部１３は、算出した被写体認識度と所定の閾値との比較に基づいて、撮影モードを切換えるか否かを判定する。

上述したカメラの動作処理では、撮影モードをデイモードからナイトモードに切換える場合について説明したが、第１の実施形態と同様な方法で、ナイトモードからデイモードへの切換えについても実現することができる。

ここで、図１０に示すように、例えば固定カメラ１０１が廊下に固定され、そのときの画角が斜線部１０２である場合を想定する。固定カメラ１０１は、廊下を通る人物１０３などを撮影するものであるが、通常は廊下の壁を撮影しているため、撮影画像は極端にコントラストが低くなっている。そのため、被写体認識度だけで評価をすると、撮影モードが白黒を出力するナイトモードに切換ってしまい、人物の撮影が白黒で行われる可能性がある。
そこで、上述した第２の実施形態のように、被写体輝度を併せて評価することで、被写体認識度だけのときよりも効果的な撮影モードの切換えを行うことができる。

このように、上述した第１、第２の実施形態のカメラは、被写体認識度に基づいて画像データの出力を切換えるように構成されている。したがって、カメラは、ユーザが画像データ内の被写体を認識できない時点で、被写体を認識することができる出力に適切に切換えることができる。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。また、上述した実施形態では、ＩＲＣＦ２を備えたカメラについて説明したが、この場合に限られず、ＩＲＣＦ２を備えていないカメラにも適当することができる。

また、第１、第２の実施形態では、画像信号処理部７、撮影モード切換部７ａ、画像評価値算出部１１、撮影モード判定部１３、ＩＲＣＦ制御部１４、輝度算出部１５、認識度算出可否判定部１６などは、ＣＰＵがプログラムを実行することにより実現してもよい。

すなわち、本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
また、本発明は、例えばシステム、装置、方法、プログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には複数の装置からなるシステムに適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するプログラムを装置またはシステムに直接または遠隔から供給してもよい。すなわち、システムまたは装置のコンピュータが供給されたプログラムを読み出して実行することによっても本発明を達成される場合も含まれる。

１：レンズ ２：赤外光除去フィルタ（ＩＲＣＦ） ３：撮像素子 ４：相関２重サンプリング回路（ＣＤＳ） ５：ゲインコントロールアンプ回路（ＡＧＣ） ６：Ａ／Ｄ変換 ７：画像信号処理部 ７ａ：撮影モード切換部 ８：画像信号出力部 ９：画像表示部 １０：画像記録部 １１：画像評価値算出部 １２：メモリ １３：撮影モード判定部 １４：ＩＲＣＦ制御部 １５：輝度算出部 １６：認識度算出可否判定部

Claims (7)

1. 撮像部によって撮像される被写体像の画像データを生成する画像データ生成手段と、
   前記画像データ生成手段によって生成された画像データの出力をカラーまたは白黒の何れかに切換える切換手段と、
   前記画像データ生成手段によって生成された画像データから、被写体を認識できる度合いを示す被写体認識度を算出する認識度算出手段と、
   前記認識度算出手段によって算出された被写体認識度と所定の閾値との比較に基づいて、前記切換手段による画像データの出力の切換えを判定する判定手段と、
   を有し、
   前記認識度算出手段は、前記画像データ生成手段によって生成された画像データのコントラスト、ノイズおよび解像度の少なくとも２つから被写体認識度を算出することを特徴とする撮像装置。
2. 前記認識度算出手段は、前記画像データの輝度成分の相対的に大きい値と相対的に小さい値との差からコントラストを算出することを特徴とする請求項１に記載の撮像装置。
3. 前記認識度算出手段は、前記画像データの輝度成分のばらつき、温度およびゲインの少なくとも１つからノイズを算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記認識度算出手段は、前記画像データの高周波成分から解像度を算出することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記画像データ生成手段によって生成された画像データから被写体輝度を算出する被写体輝度算出手段と、
   前記被写体輝度算出手段によって算出された被写体輝度と所定の輝度との比較に基づいて、前記認識度算出手段による被写体認識度の算出の可否を判定する認識度算出可否判定手段と、
   を更に有することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 撮像部によって撮像される被写体像の画像データを生成する画像データ生成ステップと、
   前記画像データ生成ステップによって生成された画像データの出力をカラーまたは白黒の何れかに切換える切換ステップと、
   前記画像データ生成ステップによって生成された画像データから、被写体を認識できる度合いを示す被写体認識度を算出する認識度算出ステップと、
   前記認識度算出ステップによって算出された被写体認識度と所定の閾値との比較に基づいて、前記切換ステップによる画像データの出力の切換えを判定する判定ステップと、
   を有し、
   前記認識度算出ステップでは、前記画像データ生成ステップによって生成された画像データのコントラスト、ノイズおよび解像度の少なくとも２つから被写体認識度を算出することを特徴とする撮像装置の制御方法。
7. 撮像部によって撮像される被写体像の画像データを生成する画像データ生成ステップと、
   前記画像データ生成ステップによって生成された画像データの出力をカラーまたは白黒の何れかに切換える切換ステップと、
   前記画像データ生成ステップによって生成された画像データから、被写体を認識できる度合いを示す被写体認識度を算出する認識度算出ステップと、
   前記認識度算出ステップによって算出された被写体認識度と所定の閾値との比較に基づいて、前記切換ステップによる画像データの出力の切換えを判定する判定ステップと、
   をコンピュータに実行させるためのプログラムであって、
   前記認識度算出ステップでは、前記画像データ生成ステップによって生成された画像データのコントラスト、ノイズおよび解像度の少なくとも２つから被写体認識度を算出することを特徴とするプログラム。