JP7403242B2 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に可視光及び非可視光を用いた撮像技術に関する。

可視光画像及び非可視光画像を撮影し、これらを合成することにより、低照度環境においてもカラー画像を撮影する撮像装置が知られている。特に、監視用途で撮像装置を用いる場合、一般には低照度環境において被写体の色を再現することが望まれている。例えば特許文献１は、可視光画像の輝度信号に応じて、色信号に対して増幅処理及びノイズ除去処理を行ってから、非可視光画像と合成することにより、カラー合成画像を生成する技術を開示している。

特開２０１４－１３５６２７号公報

一方で、特許文献１のように可視光画像と非可視光画像とを合成することにより得られた合成画像は、可視光画像のノイズの影響を強く受ける。このため、特に低照度の環境においては、カラーの合成画像は得られるものの、合成画像のノイズが多くなってしまう。ノイズが多い画像を出力すると、画像中の被写体の認識性が低下するという課題が生じる。

本発明は、可視光画像と非可視光画像とを用いて合成画像を生成可能な構成において、出力される画像における被写体の認識性を向上させることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理システムは以下の構成を備える。すなわち、
撮像領域の可視光画像及び非可視光画像を取得する取得手段と、
前記撮像領域の明るさを評価する第１の評価手段と、
前記可視光画像における被写体のノイズを評価する第２の評価手段と、
前記可視光画像と前記非可視光画像とを合成して合成画像を生成する合成手段と、
前記可視光画像を出力する動作中に前記明るさが第１の閾値を下回った場合に、
前記ノイズの少なさを示すノイズ評価値が第２の閾値以上であるか否かを判定し、
前記ノイズ評価値が前記第２の閾値以上である場合、前記可視光画像を出力しないで、前記合成画像を出力し、
前記ノイズ評価値が前記第２の閾値未満である場合、前記可視光画像を出力しないで、前記非可視光画像を出力する、出力手段と、
前記出力手段が出力した画像に対する被写体検出処理を行う処理手段と、
を備える。

可視光画像と非可視光画像とを用いて合成画像を生成可能な構成において、出力される画像における被写体の認識性を向上させることができる。

撮像装置の構成の一例を示すブロック図。 動作モードの変更処理の一例を示すフローチャート。 動作モードの変更処理を説明する模式図。 動作モードの変更処理の一例を示すフローチャート。 動作モードの変更処理を説明する模式図。 動作モードの変更処理を説明する模式図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

本発明の一実施形態に係る画像処理装置について図１を参照して説明する。図１（Ａ）は、本発明の一実施形態に係る画像処理装置である撮像装置１００の機能構成を、クライアント装置１９０とともに示す概略図である。撮像装置１００は、可視光画像及び非可視光画像を取得するための光学部１１０及び２つの撮像素子１２１，１２２を有している。一方で、画像処理装置が、画像を撮像するための構成を有することは必須ではない。本発明の別の実施形態に係る画像処理装置は、撮像領域の可視光画像及び非可視光画像を取得することができる。そして、このような画像処理装置は、後述する制御部１３０及び画像処理部１４０を用いて、合成画像を生成し、及び可視光画像、非可視光画像、又は合成画像を出力することができる。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

撮像装置１００は、撮像対象である撮像領域の可視光画像を撮像するための撮像素子１２１と、撮像領域の非可視光画像を取得するための撮像素子１２２とを有している。撮像素子１２１は、例えば、可視光を受光し、可視光画像の画像信号を生成することができる。また、撮像素子１２１は、例えば、赤外光のような非可視光を受光し、非可視光画像の画像信号を生成することができる。撮像素子１２１，１２２は、例えばＣＭＯＳセンサであってもよく、撮像面に結像した被写体像を電気信号に変換して出力することができる。撮像素子１２１，１２２から出力された電気信号である画像信号は、画像処理部１４０に入力される。

光学部１１０は、撮像領域からの光を撮像素子１２１，１２２に導く。光学部１１０は、光学機構１１１，１１２を備えることができる。光学機構１１１は、例えば、ズーム、フォーカス、絞り、及び手振れ補正などのための制御機構と、レンズ群とを有することができる。光学機構１１２は、撮像素子１２１へと入射する光と撮像素子１２２へと入射する光とを分離する。光学機構１１２は、例えば波長分離用のプリズム又はダイクロイックミラーであってもよい。一実施形態において光学機構１１２はダイクロイックミラーであり、可視光を透過し赤外光を反射するように構成されている。ダイクロイックミラーを透過した可視光成分は、ダイクロイックミラーの後方に配置された撮像素子１２１により受光される。また、ダイクロイックミラーにより反射された赤外光成分は、撮像素子１２２により受光される。

撮像素子１２１，１２２のそれぞれは、制御部１３０及び画像処理部１４０に接続されている。撮像素子１２１，１２２は、例えば制御部１３０により制御されることで、互いに同期して撮像を行うことができる。

制御部１３０は、撮像装置１００の全体の動作を制御する。また、制御部１３０は、画像データを圧縮して圧縮画像データを生成してもよい。例えば、制御部１３０は、可視光画像、非可視光画像、又は合成画像を圧縮することができる。制御部１３０は、静止画圧縮又は動画像圧縮を行うことができる。画像圧縮方式としては、例えば、Ｈ．２６４、Ｈ．２６５、ＭＰＥＧ、又はＪＰＥＧなどの規格が挙げられる。また、制御部１３０は、ｍｐ４又はａｖｉ形式などを含む任意の形式の画像データを生成してもよい。

制御部１３０は、画像データ、又は上記のような圧縮画像データを、出力することができる。すなわち、制御部１３０は、可視光画像、非可視光画像、若しくは合成画像、又はこれらの圧縮画像を出力することができる。例えば制御部１３０は、画像データを出力することにより、画像データを、撮像装置１００内の又は撮像装置１００外の記憶媒体に格納することができる。具体例として、制御部１３０は、（圧縮）画像データを、撮像装置１００に装着されたメモリ１５０又は記録媒体（不図示）などに記録することができる。また、制御部１３０は、（圧縮）画像データを、通信部１７０及びネットワーク１８０を介して、撮像装置１００の外部にある情報処理装置であるクライアント装置１９０へと送信することにより、（圧縮）画像データを配信することができる。

画像処理部１４０は、撮像素子１２１，１２２により撮像された可視光画像と非可視光画像に対する画像処理を行うことができる。例えば、画像処理部１４０は、撮像素子１２１，１２２から得られた画像信号に対して、画素補間処理又は色変換処理等の画像処理を行うことにより、可視光画像及び非可視光画像を生成する。画像処理部１４０は、画素欠陥補正若しくはレンズ補正などの補正処理、又は、黒レベル、フォーカス、若しくは露出などの調整を行うための検波処理を行ってもよい。画像処理部１４０は、デモザイク処理、ホワイトバランス処理、ホワイトバランス処理、ガンマ補正処理、エッジ強調処理、又はノイズ抑制処理などを行ってもよい。以下の例において、非可視光画像は撮像素子１２２が赤外光成分を受光することによって生成された赤外光画像であるが、非可視光画像は赤外光画像には限定されない。画像処理部１４０は、このような画像処理後の可視光画像及び非可視光画像をメモリ１５０に保存することができる。

また、画像処理部１４０は、可視光画像と非可視光画像とを合成して合成画像を生成する。すなわち、画像処理部１４０は、撮像素子１２１，１２２により同期して撮像された可視光画像と非可視光画像とを用いて、１フレームの合成画像を生成することができる。本明細書において、「１フレーム」とは、このように同期して撮像された１フレームの可視光画像又は非可視光画像、又はこれらの画像から得られた合成画像のことを指す。

メモリ１５０はプログラム又はデータを格納することができる。メモリ１５０は、不揮発性メモリ及びＲＡＭを有していてもよい。不揮発性メモリは、制御部１３０による処理手順を規定する制御プログラム、又は制御部１３０が処理のために用いる各種のパラメタを記憶することができる。ＲＡＭは、制御部１３０のためのワークエリアとして使用されることができ、画像処理部１４０が画像処理を行うための記憶領域としても使用されることもできる。

照明部１６０は、非可視光を撮像領域に照射することができる。照明部１６０は、例えば、赤外光を発するＬＥＤ光源のような非可視光ライトを有していてもよい。照明部１６０が非可視光を照射することにより、十分な輝度を有する可視光画像が得られない低照度環境においても、大きい輝度を有する赤外光画像を得ることができる。

通信部１７０はネットワーク処理回路である。通信部１７０は、例えば、（圧縮）画像データを、通信プロトコルに準拠した通信信号に変換し、ネットワーク１８０へと送信することができる。

クライアント装置１９０は、ネットワーク１８０を介して撮像装置１００と接続されており、撮像装置１００と通信することができる。クライアント装置１９０は、例えばパーソナルコンピュータなどの情報処理装置であってもよい。クライアント装置１９０は、制御部１９１、表示部１９２、操作部１９３、及び通信部１９４を有している。

制御部１９１は、撮像装置１００から合成画像データを受信し、必要に応じて伸長処理を行うことができる。また、制御部１９１は、撮像装置１００をコントロールするための制御情報を、通信部１９４を介して撮像装置１００へと送信することにより、撮像装置１００の動作を制御することができる。表示部１９２は、撮像装置１００が配信する画像データ（例えば可視光画像、非可視光画像、又は合成画像）を、通信部１９４を介して受信することができる。また、表示部１９２は、クライアント装置１９０のユーザへとユーザインターフェース（ＵＩ）又は撮像装置１００から受信した画像などを表示することができる。操作部１９３は、ユーザからの操作入力を受け付ける。表示部１９２に表示されたアイコン等のユーザインターフェース（ＵＩ）に従ってユーザがマウス又はキーボードなどを操作することにより、ユーザは撮像装置１００又はクライアント装置１９０を制御するための入力を行うことができる。通信部１９４はネットワーク処理回路であり、ネットワーク１８０を介して撮像装置１００と通信を行うことができる。

撮像装置１００及びクライアント装置１９０が有する各部は、専用のハードウェアにより構成されていてもよいし、ソフトウェアにより実現されてもよい。以下に説明する実施形態において、制御部１３０、画像処理部１４０、及び制御部１９１はソフトウェアにより実現される。例えば、ＣＰＵのようなプロセッサが、メモリ１５０のような記憶媒体に格納されているプログラムを実行することにより、制御部１３０、画像処理部１４０、及び制御部１９１の機能が実現される。

図１（Ｂ）は、撮像装置１００及びクライアント装置１９０が有する、制御部１３０、画像処理部１４０、及び制御部１９１などの機能を実現するためのハードウェア構成の一例を示すブロック図である。プロセッサであるＣＰＵ２１０は、ハードディスク装置（ＨＤ）２１５に格納されているオペレーティングシステム（ＯＳ）、制御プログラム、又は処理プログラムなどを実行することで、本実施形態に対応する処理を実現する。また、ＣＰＵ２１０は、インタフェース（Ｉ／Ｆ）２１８を介した外部の装置とのデータ送受信を制御することができる。

ＲＯＭ２１１は、基本Ｉ／Ｏプログラム、及び所定の処理を実行するアプリケーションプログラムなどの、各種データを記憶する。ＲＡＭ２１２は、各種データを一時記憶し、ＣＰＵ２１０のための主メモリ又はワークエリアなどとして機能することができる。ドライブ２１３は、メディア（記録媒体）２１４にアクセスすることができ、例えば、メディアに記憶されたプログラムなどを図１（Ｂ）に示すシステム内にロードすることができる。ＨＤ２１５は大容量メモリであり、例えばハードディスクである。ＨＤ２１５は、アプリケーションプログラム、ＯＳ、制御プログラム、又は関連プログラムなどを格納することができる。図１（Ｂ）に示すシステムは、ＨＤ２１５の代わりに、フラッシュメモリなどの不揮発性記憶装置を有していてもよい。これらのＲＯＭ２１１、ＲＡＭ２１２、及びＨＤ２１５などは、図１（Ａ）に示すメモリ１５０として機能することができる。

入力装置２１６は、撮像装置１００又はクライアント装置１９０へのユーザの入力を取得する。入力装置２１６は、例えばキーボード、ポインティングデバイス（マウスなど）、又はタッチパネルなどであってもよく、図１（Ａ）に示す操作部１９３に対応する。出力装置２１７は、入力装置２１６から入力されたコマンド、及びこのコマンドに対する撮像装置１００又はクライアント装置１９０からの応答などを出力することができる。出力装置２１７は、例えば、ディスプレイ、スピーカ、又はヘッドフォン端子などであってもよく、図１（Ａ）に示す表示部１９２に対応する。

インタフェース（Ｉ／Ｆ）２１８は、撮像装置１００又はクライアント装置１９０と、外部装置とのデータのやり取りを仲介する。例えば、Ｉ／Ｆ２１８は、無線通信モジュールを含むことができる。この無線通信モジュールは、アンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、又はメモリなどを含む、周知の回路を含むことができる。また、Ｉ／Ｆ２１８は、有線接続のための有線通信モジュールを含むことができる。この有線通信モジュールは、１つ以上の外部ポートを介して、撮像装置１００又はクライアント装置１９０と、他のデバイスとの通信を可能にすることができる。この外部ポートは、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４などの規格に従って、直接、又はネットワークを介して間接的に、他のデバイスと結合している。さらに、Ｉ／Ｆ２１８は、データを処理する様々なソフトウェアコンポーネントを含むことができる。なお、上記と同等の機能を実現するソフトウェアを用いて、Ｉ／Ｆ２１８を実現することもできる。Ｉ／Ｆ２１８は、図１（Ａ）に示す通信部１７０又は通信部１９４として機能することができる。システムバス２１９は、図１（Ｂ）に示すシステム内のデータの流れを司る。

上述の通り、画像処理部１４０は可視光画像及び非可視光画像を構成することにより合成画像を生成する。例えば、画像処理部１４０は、非可視光画像の各画素の輝度情報と、可視光画像の各画素の色情報とを組み合わせることにより、合成画像を生成することができる。合成画像の生成方法は特に限定されないが、以下に一例を示す。下記の画像合成処理は、画像処理部１４０が有する画像合成部（不図示）が行うことができる。

画像処理部１４０は、撮像素子１２１から出力された可視光画像の画像信号に対して色空間変換処理を行うことにより、輝度色差信号（ＹＣｂＣｒ）を有する可視光画像の画像データを生成し、この画像データをメモリ１５０に保存する。また、画像処理部１４０は、撮像素子１２２から出力された赤外光画像の画像信号を用いて、輝度信号（Ｙｉｒ）のみを有するグレースケールの非可視光画像の画像データを生成し、この画像データをメモリ１５０に保存する。

そして、画像処理部１４０は、可視光画像及び非可視光画像を結合して合成画像を生成する。画像処理部１４０は、例えば、下式（１）に従って可視光画像と非可視光画像とを合成することができる。式（１）において、Ｙｓ及びＣｂｓ／Ｃｒｓは、それぞれ合成画像の輝度信号及び色差信号である。また、Ｙ及びＣｂ／Ｃｒはそれぞれ可視光画像の輝度信号及び色差信号であり、Ｙｉｒは非可視光画像の輝度信号であり、α及びβは係数である。
Ｙｓ ＝ αＹ ＋ βＹｉｒ
Ｃｂｓ ＝ αＣｂ ・・・（１）
Ｃｒｓ ＝ αＣｒ

画像処理部１４０は、フレームごとに、メモリ１５０に保存された可視光画像及び非可視光画像を順次合成することができる。また、画像処理部１４０は、生成された合成画像を再びメモリ１５０に保存することができる。式（１）を用いる例において画像処理部１４０は、合成パラメタに基づいて、可視光画像及び非可視光画像における同一被写体の位置が一致するように各画像に対する画像処理を行ってから、合成を行うことができる。この合成パラメタは、各画像データの拡大、縮小、若しくは歪曲補正などの変形処理を行うためのパラメタ、又は、各画像データからの切り出し処理を行うためのパラメタを含むことができる。合成パラメタは、光学部１１０と撮像素子１２１，１２２の配置関係に基づいて予め算出され、メモリ１５０に億能されていてもよい。また、光学部１１０と撮像素子１２１，１２２の配置を制御することにより、被写体の位置合わせを必要としない撮像装置１００を実現してもよい。

続いて、可視光画像、非可視光画像、又は合成画像を出力する制御部１３０の動作について説明する。本実施形態においては、撮像領域の明るさと撮像領域中の被写体のノイズに応じて、出力される画像が切り替えられる。具体的には、可視光画像を出力する動作中に明るさが第１の閾値を下回った場合に、可視光画像を出力しないで、ノイズの評価結果に応じて合成画像又は非可視光画像を出力するように、制御が行われる。例えば、制御部１３０は、可視光画像を出力する動作中に明るさが第１の閾値を下回ったことに応じて、可視光画像を出力する動作が、ノイズの評価結果に応じて合成画像又は非可視光画像を選択して出力する動作へと移行するように、制御を行うことができる。

例えば、周辺環境の照度が十分に高い場合、撮像装置１００は可視光画像を撮像して出力する（例えばクライアント装置１９０へ配信する）ことができる。一方で、周辺環境の照度が下がると、可視光画像のＳ／Ｎ比（信号対雑音比）が低下するため、可視光画像の認識性が低下する。このような低照度環境において、撮像装置１００は、非可視光画像を撮像し、非可視光画像を画像出力のために用いることができる。すなわち、制御部１３０は、可視光画像と非可視光画像とを合成することにより、色情報を含む合成画像を生成して出力することができる。

しかしながら、このようにＳ／Ｎ比が低下している可視光画像から色情報を得ることは容易ではない。そして、このようにＳ／Ｎ比が低下している可視光画像を非可視光画像に合成すると、色情報を含む合成画像を出力できるものの、可視光画像のノイズの影響により、合成画像の認識性が低下する可能性がある。例えば、クライアント装置１９０は出力された合成画像に対する解析処理を行ってもよい。このとき、カラー画像を用いるよりも、ノイズ量が少ない画像を用いる方が、解析精度が向上するかもしれない。例えば、画像から被写体を検出する処理を用いる場合、ノイズ量が少ない画像に対して検出処理を行うことにより、検出精度が向上する可能性がある。このような場合、可視光画像が合成されていない非可視光画像に対する解析処理を行って得られる解析結果の精度は、可視光画像が合成されている合成画像に対する解析処理を行って得られる解析結果の精度よりも高いかもしれない。

このため、本実施形態において制御部１３０は、低照度環境においては、ノイズの評価結果に応じて合成画像又は非可視光画像を選択して出力する。すなわち、制御部１３０は、出力される画像の認識性を向上させるために、合成画像の代わりに非可視光画像を出力することができる。例えば、制御部１３０は、ユーザの選択した被写体のノイズ量に応じて、合成画像を出力するか非可視光画像を出力するかを制御することができる。

本実施形態においては、可視光画像を出力する動作と、合成画像を出力する動作と、非可視光画像を出力する動作と、が切り替えられる。以下では、制御部１３０が可視光画像を出力する動作を行うモードを可視モードと呼ぶ。また、制御部１３０が合成画像を出力する動作を行うモードを合成モード、制御部１３０が非可視光画像を出力する動作を行うモードを非可視モード、とそれぞれ呼ぶ。このように、可視光画像、非可視光画像、又は合成画像のいずれかを出力することにより、これらの画像のうち２以上を同時に出力する場合と比較して、画像を格納するために必要な記憶容量、又は画像を配信するために必要な帯域を減らすことができる。もっとも、さらなる動作モードが用いられてもよい。

続いて、図２，３を参照して、本実施形態におけるモードの変更方法について説明する。本実施形態においては、可視モード中に撮像領域の明るさが第１の閾値を下回った場合に、制御部１３０は、可視モードから、合成モード又は非可視モードへと移行する。特に以下の例においては、被写体のノイズ評価値が第２の閾値以上である場合、撮像装置１００は可視光画像を出力しないで合成画像を出力する。すなわち、撮像装置１００は可視モードから合成モードへと移行することができる。また、被写体のノイズ評価値が第２の閾値未満である場合、撮像装置１００は可視光画像を出力しないで非可視光画像を出力する。すなわち、撮像装置１００は可視モードから非可視モードへと移行することができる。

図２は、本実施形態におけるモードの変更方法を示すフローチャートである。ステップＳ２０１において撮像装置１００は可視モードで起動する。ステップＳ２０２において撮像装置１００は可視光画像及び非可視光画像の撮像を開始する。

ステップＳ２０３で制御部１３０は、撮像領域の明るさを評価する。この処理は、制御部１３０が有する第１の評価部（不図示）が行ってもよい。明るさの評価方法は特に限定されない。制御部１３０は、可視光画像に基づいて撮像領域の明るさを評価してもよく、例えば、可視光画像の輝度値に基づいて撮像領域の明るさを評価することができる。一例として、制御部１３０は、評価測光方式を用いて撮像領域の明るさを評価することができる。例えば、制御部１３０は、可視光画像内に設けられた複数の評価測光枠における輝度値の重み付け加重平均を、可視光画像の輝度値として算出することができる。また、制御部１３０は、被写体環境の照度に基づいて撮像領域の明るさを評価してもよい。一例として、制御部１３０は、可視光画像の明るさの評価値と、撮像装置１００が用いているゲイン設定又は絞り値などの撮像情報に基づいて、被写体環境の照度を判定することができる。一方で、制御部１３０は、撮像領域の明るさを測定するセンサ（不図示）から得られた情報に基づいて、撮像領域の明るさを評価してもよい。

そして、制御部１３０は、撮像領域の明るさが第１の閾値を下回っているかどうかを判定する。明るさが第１の閾値を下回っていないと判定された場合、処理はステップＳ２０１へ戻り、撮像装置１００は可視モードでの動作を継続する。明るさが第１の閾値を下回っていると判定された場合、処理はステップＳ２０４に進む。なお、第１の閾値の決定方法は特に限定されない。例えば、第１の閾値は予め設定されていてもよい。

ステップＳ２０４において制御部１３０は、撮像領域中の被写体のノイズを評価する。制御部１３０は、可視光画像に基づいて撮像領域中の被写体のノイズを評価してもよい。この処理は、制御部１３０が有する第２の評価部（不図示）が行ってもよい。例えば、制御部１３０は、被写体のノイズの少なさを示すノイズ評価値を算出することができる。ノイズ評価値は、撮影画像のＳ／Ｎ比と同様に、輝度値（信号量）に対してノイズ量が増えると小さくなる。ノイズ評価値の種類は特に限定されないが、例えば、可視光画像における被写体領域のＳ／Ｎ比をノイズ評価値として用いることができる。なお、制御部１３０は、ノイズ評価値を可視光画像の複数のフレームに基づいて算出してもよい。また、被写体が明るいほど一般にノイズは少なくなるため、被写体の明るさをノイズ評価値として用いることもできる。さらに、光学部１１０を通る光量が少なくなると、一般に被写体のノイズは大きくなる。このため、制御部１３０は、光学部１１０の絞り値、又は絞り値に影響を与える光学部１１０のズーム設定などの、撮像装置１００の撮像設定に基づいて、被写体のノイズを評価してもよい。

制御部１３０は、ステップＳ２０４においてノイズが評価される被写体を指定する情報を受け付けることができる。例えば、ノイズが評価される被写体は、クライアント装置１９０を介してユーザが選択してもよい。また、撮像装置１００の処理部（不図示）又はクライアント装置１９０は、ノイズが評価される被写体を、可視光画像に基づく被写体検出処理により自動的に検出してもよい。例えば、制御部１３０は、顔又は自動車などの特定の種類の被写体を、機械学習技術などを用いて自動的に検出することができる。なお、ステップＳ２３０において明るさが評価される撮像領域を、画像全体の中からユーザが選択してもよいし、制御部１３０又はクライアント装置１９０が自動的に設定してもよい。

そして、制御部１３０は、ノイズ評価値が第２の閾値以上であるか否かを判定する。ノイズ評価値が第２の閾値以上である場合、処理はステップＳ２０５に進み、撮像装置は可視モードから非可視モードへ移行する。また、ノイズ評価値が第２の閾値未満である場合、処理はステップＳ２０６に進み、撮像装置は可視モードから合成モードへ移行する。なお、第２の閾値の決定方法は特に限定されない。例えば、第２の閾値は予め設定されていてもよい。第２の閾値は、被写体の種類にかかわらず一定であってもよいし、被写体に応じて定められていてもよい。例えば、第２の閾値が、選択された被写体の種類に応じて定められてもよい。このような第２の閾値は、予めメモリ１５０に格納されていてもよい。

上記の例においては、動作モードにかかわらず、撮像素子１２１，１２２による同期した可視光画像及び非可視光画像の撮像が継続される。しかしながら、一実施形態において、撮像素子１２２は、撮像領域の明るさと被写体のノイズとの少なくとも一方に応じて非可視光画像の撮像を開始又は終了してもよい。例えば、出力のために非可視光画像が用いられない可視モードにおいては、撮像素子１２２は非可視光画像の撮像を停止し、撮像装置１００が非可視モード又は合成モードに移行した際に、撮像素子１２２は非可視光画像の撮像を開始してもよい。また、撮像素子１２２が非可視光画像の撮像を開始する際に、照明部１６０は非可視光の発光を開始してもよく、撮像素子１２２が非可視光画像の撮像を停止する際に、照明部１６０は非可視光の発光を終了してもよい。このような構成によれば、可視モードにおける消費電力を低減することができる。

また、画像処理部１４０は、撮像領域の明るさと被写体のノイズとの少なくとも一方に応じて合成画像の生成を開始又は終了してもよい。例えば、可視モード又は非可視モードにおいては、画像処理部１４０は合成画像の生成を停止し、撮像装置１００が合成モードに移行した際に、画像処理部１４０は合成画像の生成を開始してもよい。このような構成によれば、撮像装置１００の処理負荷を軽減することができる。

上述のとおり、撮像領域の明るさ及び被写体のノイズは、可視光画像に基づいて評価することができる。ここで、制御部１３０は、撮像領域の明るさ及び被写体のノイズを、可視光画像を用いて評価してもよいし、可視光画像に基づいて生成された合成画像を用いて評価してもよい。すなわち、制御部１３０は、可視光画像又は合成画像を用いて撮像領域の明るさを評価してもよい。また、制御部１３０は、可視光画像又は合成画像を用いて被写体のノイズを評価してもよい。

続いて、図３を参照して、撮像領域の明るさと、被写体のノイズと、動作モードと、の関係について説明する。図３（Ａ）は、撮影環境及び撮影環境における照度変化を示す。図３（Ａ）に示されるように、撮像装置１００は、被写体３０１，３０３が存在する撮像領域を撮像しており、可視光画像３０２には被写体３０１，３０３が映っている。ここで、被写体３０１はノイズの評価対象としてユーザにより選択されており、被写体３０３はユーザにより選択されていない。

図３（Ｂ）（Ｃ）は、それぞれ別の例について、明るさの評価値３１２と、被写体ごとのノイズ評価値との関係を示す。図３（Ｂ）（Ｃ）において、縦軸は、明るさの評価値又はノイズ評価値を示し、横軸は時刻を示す。曲線３１１は被写体３０１のノイズ評価値であり、曲線３１３は被写体３０３のノイズ評価値である。また、図３（Ｂ）（Ｃ）には、動作モードの変更タイミングを示す時刻３４２，３４３が示されている。

例えば昼から夜へ撮影時間が経過するにつれて、明るさの評価値３１２は小さくなっていく。時刻３４２において、明るさの評価値３１２は第１の閾値３２２を下回る。図３（Ｂ）の例においては、時刻３４２において、ユーザが選択した被写体３０１のノイズ評価値は第２の閾値３２１を下回っている。このため、撮像装置１００の動作モード３３１は可視モードから非可視モードへ移行する。また、図３（Ｃ）の例においては、時刻３４３において、ユーザが選択した被写体３０１のノイズ評価値が第２の閾値３２１を下回っていない。このため、撮像装置１００の動作モード３３２は可視モードから合成モードへ移行する。

以上のように、本実施形態においてはノイズ評価値に基づいて動作モードが変更される。例えば、選択された被写体のノイズ評価値が小さい場合、撮像装置１００は、合成モードには移行せず、可視モードから非可視モードへと移行する。このような構成により、非可視モードを含む複数の動作モードから、適切な動作モードを簡単に選択及び設定することができ、出力される画像における被写体の認識性を向上させることができる。

（変形例１）
動作モードの変更方法は上述の方法に限られない。例えば、撮像領域の明るさが第１の閾値以上である場合、制御部１３０は、被写体のノイズに応じて可視光画像又は非可視光画像を選択して出力してもよい。このような変形例について、図４～６を参照して説明する。図４は、この変形例におけるモードの変更方法を説明するフローチャートである。図４に従う方法は、ステップＳ４０３が追加されたことを除き、図３に従う方法と同様である。すなわち、ステップＳ４０１～Ｓ４０２はステップＳ２０１～Ｓ２０２と同様であり、ステップＳ４０４～Ｓ４０７はステップＳ２０３～Ｓ２０６と同様である。以下では、図３に従う方法と同様のステップの説明を省略する。

Ｓ４０３で制御部１３０は、ステップＳ２０４と同様に、可視光画像に基づいて撮像領域中の被写体のノイズを評価する。そして、制御部１３０は、被写体のノイズの少なさを示すノイズ評価値が第３の閾値以上であるか否かを判定する。ノイズ評価値が第３の閾値未満である場合、制御部１３０は非可視光画像を出力する。すなわち、撮像装置１００は可視モードから非可視モードへと移行する。一方、ノイズ評価値が第３の閾値以上である場合、処理はステップＳ４０４へと移行する。

このような変形例においては、撮像領域の明るさが第１の閾値以上である場合、ノイズ評価値が第３の閾値を下回るなら（Ｓ４０３でＹｅｓ）非可視モードが用いられ、ノイズ評価値が第３の閾値を上回るなら（Ｓ４０４でＮｏ）可視モードが用いられる。撮像領域の明るさが第１の閾値を下回る場合には、図３に示す処理と同様に、ノイズ評価値が閾値（第２の閾値又は第３の閾値）を下回るなら非可視モードが用いられ、そうでなければ可視モードが用いられる。

なお、第３の閾値の決定方法は特に限定されず、例えば、第２の閾値と同様に設定されていてもよい。すなわち、第３の閾値は、選択された被写体に応じて定められてもよく、例えば選択された被写体の種類に応じて定められてもよい。また、第３の閾値は、第２の閾値と同じであってもよいし、異なっていてもよい。例えば、第３の閾値が第２の閾値より低くてもよい。さらに、第２の閾値が被写体の種類にかかわらず一定である一方で、第３の閾値が被写体の種類ごとに設定されていてもよい。

続いて、図５を参照して、上記の変形例における、撮像領域の明るさと、被写体のノイズと、動作モードと、の関係について説明する。図５（Ａ）（Ｃ）は撮影環境及びその変化を示し、図５（Ｂ）（Ｄ）は明るさの評価値とノイズ評価値との関係を示す。図５（Ｂ）（Ｄ）において、縦軸は、明るさの評価値又はノイズ評価値を示し、横軸は時刻を示す。曲線５１２は可視光画像５０２の明るさの評価値であり、曲線５１４は可視光画像５１３の明るさの評価値であり、閾値５２２は第１の閾値である。図５は、明るさの評価値が第１の閾値５２２よりも高い状態を示している。

図５（Ａ）は、ユーザが選択した被写体５０１が、明るい領域５０３から暗い領域５０４へ移動する状況を示している。図５（Ｂ）において、曲線５１１は、図５（Ａ）に示す状況における被写体５０１のノイズ評価値の変化を示す。被写体５０１のノイズ評価値は、被写体５０１が暗い領域５０４に移動すると低下し、時刻５４１において第３の閾値５２１を下回る。このため、撮像装置１００の動作モード５３０は時刻５４１において可視モードから非可視モードへ移行する。このように、撮像領域の明るさが大きく低下しない場合であっても、変形例によれば、撮像領域の一部である被写体５０１のノイズの増加に応じて、撮像装置１００はノイズが少ない非可視光画像を出力することができる。

図５（Ｃ）は、ユーザが、種類の異なる被写体５０６，５０７の一方を、ノイズの評価対象として選択した状況を示している。被写体５０６は人物の顔であり、被写体５０７は建物である。画像中の人物又は顔などの被写体を識別する場合、被写体のＳ／Ｎ比が高い方が識別が容易であるかもしれず、画像中の車又は建物などの被写体を識別する場合、被写体の色を参照する方が識別が容易であるかもしれない。時間とともに撮影環境の照度は低下するが、照明が点灯したために、可視光画像５１３の明るさの低下は小さい。一方で、選択された被写体５０６，５０７の照度は、時間経過とともに大きく低下している。

図５（Ｄ）は、図５（Ｃ）の状況における、被写体５０６，５０７のノイズ評価値の変化を示す。曲線５１６は被写体５０６のノイズ評価値を示し、曲線５１７は被写体５０７のノイズ評価値を示す。この例では、被写体５０６に対しては第３の閾値５２６が設定されており、被写体５０７に対しては第３の閾値５２６よりも小さい第３の閾値５２７が設定されている。このように、被写体５０６，５０７に対しては、被写体に応じた異なる第３の閾値５２６，５２７が設定されている。

ユーザが被写体５０６を選択した場合、時刻５４２において被写体５０６のノイズ評価値が第３の閾値５２６を下回るため、時刻５４２において撮像装置１００の動作モード５３６は可視モードから非可視モードへ移行する。一方でユーザが被写体５０７を選択した場合、時刻５４３において被写体５０７のノイズ評価値が第３の閾値５２７を下回るため、時刻５４３において撮像装置１００の動作モード５３７は可視モードから非可視モードへ移行する。すなわち、図５（Ｃ）の状況では、被写体５０６が選択されるとより早く非可視モードが用いられ、被写体５０７が選択されるとより遅く非可視モードが用いられる。このような変形例においては、被写体に応じて異なる第３の閾値が設定されるため、選択される被写体に応じて非可視モードへ移行するタイミングを変更することが可能となる。

（変形例２）
被写体のノイズの評価方法は上述の方法に限定されない。例えば、制御部１３０は、撮像された被写体の像の大きさを考慮して、被写体のノイズを評価することができる。そして、制御部１３０は、こうして評価された被写体のノイズを考慮して、合成画像又は非可視光画像を選択して出力することができる。また、制御部１３０は、こうして評価された被写体のノイズを考慮して、可視光画像又は非可視光画像を選択して出力することができる。言い換えれば、制御部１３０は、撮像された被写体の像の大きさを考慮して、合成画像若しくは非可視光画像を選択して出力し、又は、可視光画像若しくは非可視光画像を選択して出力することができる。

具体例として、制御部１３０は、画像上での被写体５０８の大きさを考慮して、被写体５０８のノイズ評価値を算出することができる。例えば、制御部１３０は、被写体５０８が小さくなるほど算出されるノイズ評価値が小さくなるように、ノイズ評価値を算出してもよい。例えば、制御部１３０は、算出した被写体５０８のノイズ評価値にさらに被写体の大きさ情報に従う係数を乗算することができる。また、制御部１３０は、被写体５０８が小さくなるほど、第２の閾値又は第３の閾値を大きくしてもよい。

図６（Ａ）は、撮影環境の照度はほとんど変化せず、可視光画像上での被写体領域の大きさが変化する場合を示す。図６（Ｂ）は、図５（Ｂ）と同様に明るさの評価値とノイズ評価値との関係を示す。曲線５１５は可視光画像５０９の明るさの評価値であり、第１の閾値５２２よりも高い状態を示している。図６（Ａ）に示すように、ユーザによって選択された被写体５０８は人物の顔であり、撮像装置１００から離れて移動するために可視光画像５０９上でのサイズが小さくなっている。

図６（Ｂ）において、曲線５１８は被写体５０８のノイズ評価値を示す。このように、制御部１３０は、被写体５０８が撮像装置１００から離れるに従ってノイズ評価値が低下するように、ノイズ評価値を算出することができる。時刻５４４において被写体５０８のノイズ評価値が第３の閾値５２８を下回るため、撮像装置１００は、時刻５４４において可視モードから非可視モードへ移行する。

さらに別の例として、制御部１３０は、撮像された被写体の像の空間周波数を考慮して、被写体のノイズを評価することができる。制御部１３０は、こうして評価された被写体のノイズを考慮して、合成画像若しくは非可視光画像を選択して出力し、又は、可視光画像若しくは非可視光画像を選択して出力することができる。言い換えれば、制御部１３０は、撮像された被写体の像の空間周波数を考慮して、合成画像若しくは非可視光画像を選択して出力し、又は、可視光画像若しくは非可視光画像を選択して出力することができる。例えば、制御部１３０は、選択された被写体の空間周波数が高いほど、被写体のノイズ評価値が小さくなるように、ノイズ評価値を算出することができる。また、制御部１３０は、被写体が小さくなるほど、第２の閾値又は第３の閾値を大きくしてもよい。

このような構成によれば、被写体が小さい又は高い空間周波数を有する場合には可視モードから非可視モードへの移行が早くなる。一般に、小さな被写体又は高い空間周波数を有する被写体の画像の細部は、低照度時のランダムノイズの影響で潰れやすい。上記の構成によれば、被写体の大きさ又は空間周波数に応じて非可視モードへの切り替えタイミングを早め、被写体の識別がより容易なＳ／Ｎ比の高い非可視画像を出力することができる。

なお、制御部１３０は、選択された被写体の種類に応じて、被写体の大きさ又は空間周波数の考慮方法を変更してもよい。例えば、制御部１３０は、人物又は顔などの被写体が選択されている場合には被写体の大きさ又は空間周波数を考慮し、車又は建物などの被写体が選択されている場合には被写体の大きさ又は空間周波数を考慮しなくてもよい。

（変形例３）
制御部１３０は、非可視光画像に基づいて第３の閾値を設定してもよい。図６（Ｃ）は、図５（Ａ）に示す状況における明るさの評価値とノイズ評価値との関係を、図５（Ｂ）と同様に示す。また、図６（Ｃ）において、曲線６１２は、非可視光画像上での被写体５０１のノイズ評価値を示す。被写体５０１は暗い領域５０４に移動するため、曲線５１１に示される可視光画像上での被写体５０１のノイズ評価値が低下している。一方、赤外光の照射が行われているため、可視光画像上での被写体５０１のノイズ評価値の変化と比較すると、曲線６１２に示される非可視光画像上での被写体５０１のノイズ評価値の変化は小さい。

この変形例において、撮像装置１００は、常に可視光画像及び非可視光画像の撮像を行う。また、制御部１３０は、可視光画像と非可視光画像のそれぞれについて、被写体５０１のノイズ評価値を算出する。そして、制御部１３０は、選択された被写体５０１の、非可視光画像上でのノイズ評価値を、第３の閾値として設定する。図６（Ｃ）の例では、時刻６４１において可視光画像のノイズ評価値が非可視光画像のノイズ評価値を下回っている。このため、撮像装置１００は、時刻６４１において、可視モードから非可視モードへと移行する。

なお、上述のように、制御部１３０は、合成画像上での被写体５０１のノイズ評価値を判定してもよい。合成画像は可視光画像及び非可視光画像から得られるため、合成画像のノイズ評価値は可視光画像のノイズの影響を強く受ける。例えば、図６（Ｃ）の例において、合成画像のノイズ評価値は、可視光画像のノイズ評価値と同様に、非可視光画像のノイズ評価値よりも大きく低下する。この場合、撮像装置１００は、選択した被写体５０１の合成画像上でのノイズ評価値が第３の閾値である非可視光画像上でのノイズ評価値を下回った場合に、可視モードから非可視モードへ移行することができる。この例において、撮像装置１００は、常に可視光画像及び非可視光画像の撮像を行い、合成画像を生成することができる。

また、制御部１３０は、同様の方法により、第２の閾値を設定してもよい。例えば、制御部１３０は、第２の閾値として、非可視光画像上での被写体５０１のノイズ評価値を用いてもよい。そして、可視モードにおいて撮像領域の明るさが第１の閾値を下回り、可視光画像上又は合成画像上での被写体５０１のノイズ評価値が非可視光画像上での被写体５０１のノイズ評価値未満である場合、撮像装置１００は非可視モードに移行することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１２１，１２２：撮像素子、１３０：制御部、１４０：画像処理部

Claims (13)

1. 撮像領域の可視光画像及び非可視光画像を取得する取得手段と、
   前記撮像領域の明るさを評価する第１の評価手段と、
   前記可視光画像における被写体のノイズを評価する第２の評価手段と、
   前記可視光画像と前記非可視光画像とを合成して合成画像を生成する合成手段と、
   前記可視光画像を出力する動作中に前記明るさが第１の閾値を下回った場合に、
   前記ノイズの少なさを示すノイズ評価値が第２の閾値以上であるか否かを判定し、
   前記ノイズ評価値が前記第２の閾値以上である場合、前記可視光画像を出力しないで、前記合成画像を出力し、
   前記ノイズ評価値が前記第２の閾値未満である場合、前記可視光画像を出力しないで、前記非可視光画像を出力する、出力手段と、
   前記出力手段が出力した画像に対する被写体検出処理を行う処理手段と、
   を備えることを特徴とする、画像処理システム。
2. 前記出力手段は、前記明るさが第１の閾値以上である場合、前記ノイズの評価結果に応じて前記可視光画像又は前記非可視光画像を選択して出力することを特徴とする、請求項１に記載の画像処理システム。
3. 前記出力手段は、前記明るさが第１の閾値以上である場合、
   前記ノイズの少なさを示すノイズ評価値が第３の閾値以上であるか否かを判定し、
   前記ノイズ評価値が前記第３の閾値以上である場合、前記可視光画像を出力し、
   前記ノイズ評価値が前記第３の閾値未満である場合、前記非可視光画像を出力する
   ことを特徴とする、請求項２に記載の画像処理システム。
4. 前記第３の閾値が、前記被写体の種類に応じて定められることを特徴とする、請求項３に記載の画像処理システム。
5. 前記第２の評価手段は、撮像された前記被写体の像の大きさ、又は撮像された前記被写体の像の空間周波数を考慮して、前記被写体のノイズを評価することを特徴とする、請求項１から４のいずれか１項に記載の画像処理システム。
6. 前記第２の評価手段は、前記被写体を指定する情報を受け付けることを特徴とする、請求項１から５のいずれか１項に記載の画像処理システム。
7. 前記第１の評価手段は、前記可視光画像又は前記合成画像を用いて前記明るさを評価し、前記第２の評価手段は、前記可視光画像又は前記合成画像を用いて前記ノイズを評価することを特徴とする、請求項１から６のいずれか１項に記載の画像処理システム。
8. 前記合成手段は、前記明るさと前記ノイズとの少なくとも一方に応じて前記合成画像の生成を開始又は終了することを特徴とする、請求項１から７のいずれか１項に記載の画像処理システム。
9. 前記撮像領域の前記可視光画像及び前記非可視光画像を撮像する撮像手段をさらに備えることを特徴とする、請求項１から８のいずれか１項に記載の画像処理システム。
10. 前記撮像手段は、前記明るさと前記ノイズとの少なくとも一方に応じて前記非可視光画像の撮像を開始又は終了することを特徴とする、請求項９に記載の画像処理システム。
11. 前記撮像手段は、非可視光を照射する照射手段を備え、前記明るさと前記ノイズとの少なくとも一方に応じて前記非可視光の照射を制御することを特徴とする、請求項９又は１０に記載の画像処理システム。
12. 画像処理システムが行う画像処理方法であって、
    撮像領域の可視光画像及び非可視光画像を取得する工程と、
    前記撮像領域の明るさを評価する工程と、
    前記撮像領域中の被写体のノイズを評価する工程と、
    前記可視光画像と前記非可視光画像とを合成して合成画像を生成する工程と、
    前記可視光画像、前記非可視光画像、又は前記合成画像を出力する出力工程であって、前記可視光画像を出力する動作中に前記明るさが第１の閾値を下回った場合に、
    前記ノイズの少なさを示すノイズ評価値が第２の閾値以上であるか否かを判定し、
    前記ノイズ評価値が前記第２の閾値以上である場合、前記可視光画像を出力しないで、前記合成画像を出力し、
    前記ノイズ評価値が前記第２の閾値未満である場合、前記可視光画像を出力しないで、前記非可視光画像を出力する工程と、
    前記出力工程で出力された画像に対する被写体検出処理を行う工程と、
    を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１から８のいずれか１項に記載の画像処理システムの各手段として機能させるためのプログラム。

Images