JP7846523B2 - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、可視光画像を非可視光画像を用いて補正する技術に関する。

従来、可視光で撮影した画像では、コントラストが低い場合や視認性が良くない場合がある。例えば、遠景の山並みを可視光で撮影する場合、霧や霞により山並みの凹凸感の情報を十分撮像することができず、コントラストの低い平坦な印象になる場合がある。また、暗所などの低照度下での撮影では視認性が悪くなる場合がある。

一方で非可視光（赤外光）画像では、可視光画像と比較して山並みの凹凸感の情報を撮像することや低照度下で視認性の高い画像を撮影することが可能である。そのため、赤外光画像を用いることによって、可視光画像を補正して視認性を向上させるる技術が提案されている。

特許文献１には、可視光画像では視認困難な領域を検出し、その領域に対して赤外光画像を合成することによって視認性を向上させる技術が開示されている。

特開平１１－３０８６０９号公報

しかしながら、可視光と赤外光とでは分光特性に違いがあり、可視光に基づいて決めた露出条件で赤外光画像を撮影した際に、可視光画像と赤外光画像とで明るさが異なる場合がある。このような場合に赤外光画像の明るさを可視光画像に合わせようとすると、赤外光画像が高ノイズになる可能性があり、あるいは、飽和していて補正に必要な情報が得られない場合がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、非可視光画像を利用して、可視光画像を適切に補正することができる撮像装置を提供することである。

本発明に係わる撮像装置は、可視光画像と非可視光画像とを撮像するための露出を決定する決定手段と、前記決定手段により決定された露出で、可視光画像を撮像するとともに複数枚の非可視光画像を撮像する撮像手段と、前記複数枚の非可視光画像を合成して合成非可視光画像を生成する合成手段と、前記合成非可視光画像を用いて、前記可視光画像を補正する補正手段と、前記合成非可視光画像のノイズ量と前記可視光画像のノイズ量とが同程度になるように、撮像する前記非可視光画像の枚数を決める枚数決定手段と、を備えることを特徴とする。

本発明によれば、非可視光画像を利用して、可視光画像を適切に補正することが可能となる。

第１の実施形態における可視光画像及び赤外光画像の例を示す図。 第１の実施形態における撮像部で用いられるフィルタを示す図。 第１の実施形態における撮像装置を示す図。 第１の実施形態における画像処理部の構成を示す図。 第１の実施形態における撮像装置の処理の流れを示すフローチャート。 第１の実施形態におけるブロック分割の例を示す図。 第１の実施形態におけるエンハンスの程度を示す図。 第２の実施形態における画像処理部の構成を示す図。 第２の実施形態における撮像装置の処理の流れを示すフローチャート。 第２の実施形態における可視光画像及び赤外光画像の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
本発明は、非可視光画像を用いて可視光画像を補正する技術に関するものであるが、本実施形態では、非可視光画像としての赤外光画像の明るさが可視光画像の明るさよりも暗い場合について説明する。

例えば、図１（ａ）のように、可視光画像は、霧・霞などの影響によりコントラストが低い場合がある。一方で、赤外光画像は、図１（ｂ）のように、可視光画像と同じ露出条件で撮影を行うと、可視光画像よりもコントラストは高いが暗い画像となる場合がある。また、本実施形態では、可視光画像及び赤外光画像を取得する撮像部が、図２（ａ）のような可視光画像撮影用のＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタと、赤外光画像撮影用のＩＲのフィルタが規則的に配置されたフィルタ構成を持つ場合について説明する。

図３は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。

図３において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックに対する制御プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行する。これにより、制御部１０１は、撮像装置１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、制御部１０１が実行するプログラムの展開や、撮像装置１００が備える各ブロックの動作で生成されたデータの一時的な記憶等に用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を撮像部１０５に配置された撮像素子の撮像面上に結像させる。

撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子を備え、光学系１０４により撮像素子の撮像面上に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像データに変換する。Ａ／Ｄ変換部１０６から出力されたデジタル画像データは、ＲＡＭ１０３に一時的に記憶される。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、各種の画像処理を行う。具体的には、例えば光学系１０４や撮像素子に起因する画素の欠陥補正処理、デモザイキング処理、ホワイトバランス補正処理、色補間処理、ガンマ処理など、デジタル画像データを現像し表示・記録するための様々な画像処理を実行する。

記録部１０８は、内蔵する記録媒体に画像データを含むデータを記録する。表示部１０９は、ＬＣＤ等の表示デバイスを含み、ＲＡＭ１０３に記憶されている画像や記録部１０８に記録されている画像を表示デバイスに表示する。また、表示部１０９は、ユーザーからの指示を受け付けるためのユーザーインターフェイスの表示等も行う。

指示入力部１１０は、タッチパネルやシャッターボタン等の各種の物理的な操作部材を含む入力インターフェースであり、ユーザーによる指示の入力を受け付ける。通信部１１１は、無線により外部サーバーと接続し、画像データや後述する配置情報を含むデータのやり取りを行う。外部サーバーとしては、例えば、ソーシャルネットワークサービス（以下、ＳＮＳと呼称）のように、撮影した画像を送信し、ＳＮＳ閲覧者に公開するようなサービスを司るサーバーが挙げられる。

また、撮像装置１００は、制御部１０１の制御によって、撮像部１０５から逐次出力されるアナログ画像信号をＡ／Ｄ変換部１０６、ＲＡＭ１０３、画像処理部１０７、表示部１０９を介して逐次表示デバイスに表示するライブビュー表示を行う。ライブビュー表示の際には、記録媒体への画像データ記録を想定した本撮影に向けて構図を決めたり、絞りやシャッタースピードなどの露出条件、及び明るさや階調や色味などの画質を変えるための画像処理条件を変更するなど本撮影の準備をすることができる。

次に、図４は、画像処理部１０７の構成を示すブロック図である。

図４において、画像処理部１０７は、赤外光画像の明るさを調整する明るさ調整部２０１、明るさ調整を行った複数枚の赤外光画像を合成して合成赤外光画像（合成非可視光画像）を生成する合成処理部２０２、合成赤外光画像を用いて可視光画像に対してエンハンス処理を行うエンハンス処理部２０３を備える。

図５は、本実施形態における撮像装置１００の処理の流れを示すフローチャートである。このフローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により撮像装置１００の各ブロックが実行する。

ユーザーが撮像装置１００を起動すると、ステップＳ３０１において、制御部１０１は、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６、ＲＡＭ１０３、画像処理部１０７及び表示部１０９を制御してライブビュー表示を開始する。ライブビュー表示期間中は、撮像装置１００はライブ画像を撮像して逐次取得し、取得したライブ画像は表示部１０９の表示デバイスに表示される。ユーザーは逐次表示されるライブ画像を確認しながら構図決めや、露出条件及び画像処理条件などの変更を行うことができる。

ステップＳ３０１では、制御部１０１は、撮影したい可視光画像の露出条件を決めるとともに、同じ露出条件での赤外光画像の明るさを評価し、後段で必要となる赤外光画像の撮影枚数、及び明るさ調整の係数を決める。本実施形態では、赤外光画像が可視光画像よりも暗い場合を想定しており、赤外光画像（合成赤外光画像）の明るさを可視光画像に合わせるために後段で明るさ調整の係数を乗算する。ただし、係数を乗算する分だけノイズも増加するため、赤外光画像を複数枚撮影し合成することでノイズを抑制する。例えば、赤外光画像の明るさを評価し可視光画像の明るさと比較して１段分暗い場合は赤外光画像の撮影枚数を２枚、明るさ調整の係数を２とする。また、２段分暗い場合は赤外光画像の撮影枚数を４枚、明るさ調整の係数を４といったように決める。つまり、合成赤外光画像のノイズ量と可視光画像のノイズ量とが同程度になるように、撮像する赤外光画像の枚数を決める。

ステップＳ３０２では、制御部１０１は、撮像部１０５を用いて、ステップＳ３０１で決めた露出条件に基づいた可視光画像及び、ステップＳ３０１で決めた露出条件と撮影枚数に基づいた複数枚の赤外光画像を取得する。

ステップＳ３０３では、制御部１０１は、明るさ調整部２０１を用いて、ステップＳ３０１で決めた明るさ調整の係数に基づいて赤外光画像の明るさを調整する。例えば、明るさ調整の係数が２の場合は、ステップＳ３０２で取得した複数枚の赤外光画像に対してそれぞれ係数２を乗算して明るさを調整する。

ステップＳ３０４では、制御部１０１は、合成処理部２０２を用いて、ステップＳ３０３で明るさ調整を行った複数枚の赤外光画像を合成して合成赤外光画像を生成する。例えば、ステップＳ３０３で明るさ調整を行った赤外光画像が２枚の場合は、２枚を加算平均することで合成赤外光画像を生成する。これによって、ノイズが増加することを抑制しつつコントラストの高い合成赤外光画像を生成することが可能になる。

なお、詳細な説明は省略するが、加算平均を行う前に公知の技術を用いて複数枚の赤外光画像に対して位置合わせを行ってもよい。本実施形態では、図２（ａ）のようなフィルタを用いているので、可視光画像と１枚目の赤外光画像は同時刻に撮影される。一方で２枚目以降の赤外光画像は撮影時刻が異なるため、被写体の位置がずれる可能性がある。そのため１枚目の赤外光画像を基準として位置合わせを行い被写体の位置を揃えるようにしてもよい。

ステップＳ３０５では、制御部１０１は、エンハンス処理部２０３を用いて、ステップＳ３０４で生成した合成赤外光画像に基づいて、撮影した可視光画像に対するエンハンス処理（補正処理）を行う。

このステップでは、まず、可視光画像と合成赤外光画像について階調情報を算出する。階調情報として、被写体内のエッジ強度特性を取得する。これは、画像に対してバンドパスフィルターをかけることでエッジ信号を検出し、任意のブロックサイズのエッジ信号の積分値を算出することで取得される。この算出した評価値は、エッジ信号の積分値が大きい場合、すなわち、テクスチャが多い場合に評価値が大きくなる。図６の６０１は任意のブロックサイズで分割したＭ×Ｎ個のブロック分割結果であり、その中の１ブロックである６０２の画素値を用いて、評価値を下記式（１）で算出する。

Ｅ＝ΣiΣjｅ(ｉ，ｊ) …（１）
ｅ(ｉ，ｊ)：任意のブロック内の各座標におけるエッジ強度値
Ｅ：任意のブロックにおけるエッジ強度の積分値
可視光画像と合成赤外光画像に対して、それぞれ階調情報である評価値Ｅを算出し、それぞれの評価値をＥｃｏｌｏｒ、Ｅｉｒとする。

次に、可視光画像におけるエンハンスする領域を決定する処理について説明する。先に算出した階調情報を使用して、エンハンスする領域を決定する。まず、可視光画像と合成赤外光画像の階調情報を比較する。可視光画像の視認性を向上させたい領域として、可視光画像で階調が少なく、合成赤外光画像で階調が多い領域を検出する必要がある。そこで、階調情報を算出した同一位置にあるブロックの評価値ＥｉｒとＥｃｏｌｏｒから式（２）のように差分Ｄｉｆｆを算出する。

Ｄｉｆｆ＝Ｅｉｒ－Ｅｃｏｌｏｒ …（２）
可視光画像の評価値Ｅｃｏｌｏｒが小さく、かつ評価値の差分Ｄｉｆｆが所定より大きいブロックの集合をエンハンスする領域と判定する。

次に、可視光画像をエンハンスする処理について説明する。先に決定したエンハンス領域において、図７及び以下の式（３）を用いてエンハンス処理を行う。図７（ａ）は可視光画像の評価値Ｅｃｏｌｏｒに対して可視光画像と合成赤外光画像とを混合する割合を示している。ｒａｔｉｏ１はＥｃｏｌｏｒに基づいた合成赤外光画像の混合割合を示しており、Ｅｃｏｌｏｒが小さい、即ち可視光画像の階調が少ない領域に対して合成赤外光画像の混合割合を多くする。

図７（ｂ）は、可視光画像と合成赤外光画像の評価値の差分Ｄｉｆｆに対して可視光画像と合成赤外光画像とを混合する割合を示している。ｒａｔｉｏ２はＤｉｆｆに基づいた合成赤外光画像の混合割合を示しており、Ｄｉｆｆが大きい、即ち可視光画像よりも合成赤外光画像の階調が多い領域に対して合成赤外光画像の割合を多くする。ｒａｔｉｏ１及びｒａｔｉｏ２の値と式（３）とを用いてエンハンス処理を行い、エンハンスされた可視光画像を生成する。

I'color＝(1-ratio1×ratio2)×Icolor + ratio1×ratio2×Iir …（３）
ratio1：Ｅｃｏｌｏｒから算出した混合割合
ratio2：Ｄｉｆｆから算出した混合割合
Icolor：可視光画像
Iir：合成赤外光画像
I'color：エンハンス後可視光画像
以上説明したように、本実施形態によれば、赤外光画像が可視光画像よりも暗い場合でも、可視光画像に対して適切なエンハンス処理を行うことが可能な赤外光画像の情報を取得し、可視光画像のコントラストを向上させることが可能となる。

なお、本実施形態のステップＳ３０１における可視光画像と赤外光画像の明るさの評価は、画像全体で行ってもよいし、画像の一部分を用いて行ってもよい。画像の一部分を用いる例として、ステップＳ３０５で抽出するエンハンス領域を採用してもよい。この場合は、ステップＳ３０５で行っていた階調情報算出、及びエンハンス領域決定を前段のステップＳ３０１で行い、その結果を明るさ評価に用いる。

また、本実施形態のステップＳ３０５では、可視光画像の階調が少ない領域に対して合成赤外光画像を混合する処理について説明したが、これに限らず、合成赤外光画像から抽出したＡＣ成分を混合してもよい。

また、本実施形態では、撮像部のフィルタとして図２（ａ）に示すフィルタを用いる場合について説明したがこれに限らず、図２（ｂ）、（ｃ）のように可視光画像用のフィルタと赤外光画像用のフィルタとを用意し、これらを切り替えて撮影を行うようにしてもよい。

また、本実施形態では、エンハンスする領域を決める際に、可視光画像と赤外光画像の階調情報を用いたが、ユーザーがエンハンスする領域を選択してもよい。

また、本実施形態では撮影した複数枚の赤外光画像、及びそれらを合成した合成赤外光画像をエンハンス処理に用いたが、この両者をエンハンス処理を行った可視光画像と共に記録してもよいし、合成赤外光画像のみをエンハンス処理を行った可視光画像と共に記録してもよい。

（第２の実施形態）
第１の実施形態では、赤外光画像の明るさが可視光画像よりも暗い場合について説明した。第２の実施形態では、可視光画像に基づく露出条件において赤外光画像が部分的に飽和する場合について説明する。

なお、第１の実施形態と同じ符号は、第１の実施形態と同様の動作、処理を表すものとし、説明を省略する。また、第２の実施形態における撮像装置の構成は、第１の実施形態と同様であるため説明を省略する。

図８は、画像処理部１０７の構成を示すブロック図である。

図８において、画像処理部１０７は、露出の異なる複数枚の赤外光画像の合成を行う合成処理部８０１、この合成赤外光画像を用いて可視光画像に対してエンハンス処理を行うエンハンス処理部２０３を備える。

図９は、本実施形態における撮像装置１００の処理の流れを示すフローチャートである。このフローチャートの各ステップは、制御部１０１あるいは制御部１０１の指示により撮像装置１００の各ブロックが実行する。

ステップＳ９０１において、撮影したい可視光画像の露出条件を決め、その露出条件での赤外光画像の明るさを評価するまでは、図５のステップＳ３０１と同様である。図１０（ａ）のように可視光画像は第１の実施形態と同様にコントラストが低い。一方で図１０（ｂ）のように赤外光画像は部分的に飽和しており（飽和が所定以上）、この状態では可視光画像に対して適切なエンハンス処理を行うための情報を取得することが困難である。このような場合に、制御部１０１は、後段のステップＳ９０２においてＴｖ（露光時間）を短くして複数枚の赤外光画像を撮影するように制御する。

ステップＳ９０２において、制御部１０１は、撮像部１０５を用いて、ステップＳ９０１で決定した露出条件に基づいた可視光画像の撮影、及びステップＳ９０１で決定した露出条件とその露出条件に対してＴｖを短くした複数枚の赤外光画像の撮影を行う。Ｔｖ（露光時間）を短くする例としては、図１０（ｃ）、（ｄ）のようにステップＳ９０１で決定した露出条件に対して、露出が－１段、－２段となるようにＴｖを変更して赤外光画像の撮影を行う。

ステップＳ９０３では、制御部１０１は、合成処理部８０１を用いて、ステップＳ９０２で撮影した露出の異なる複数枚の赤外光画像の合成を行う。合成方法としては詳細な説明は省略するが、例えば公知のＨＤＲ合成の方法を用いる。これによって、可視光画像と同じ露出条件で撮影した赤外光画像において飽和していた領域が飽和しなくなり、コントラストの高い合成赤外光画像を生成することが可能となる。

なお、可視光画像のエンハンス処理については第１の実施形態と同様であるため説明を省略する。

以上、第２の実施形態として、赤外光画像が部分的に飽和する場合について説明した。 以上説明したように、上記の実施形態によれば、非可視光画像を利用して、可視光画像を適切に補正することが可能となる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：光学系、１０５：撮像部、１０６：Ａ／Ｄ変換部、１０７：画像処理部、１０８：記録部、１０９：表示部、１１０：指示入力部、１１１：通信部

Claims (15)

1. 可視光画像と非可視光画像とを撮像するための露出を決定する決定手段と、
   前記決定手段により決定された露出で、可視光画像を撮像するとともに複数枚の非可視光画像を撮像する撮像手段と、
   前記複数枚の非可視光画像を合成して合成非可視光画像を生成する合成手段と、
   前記合成非可視光画像を用いて、前記可視光画像を補正する補正手段と、
   前記合成非可視光画像のノイズ量と前記可視光画像のノイズ量とが同程度になるように、撮像する前記非可視光画像の枚数を決める枚数決定手段と、
   を備えることを特徴とする撮像装置。
2. 前記複数枚の非可視光画像の明るさを調整する明るさ調整手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段は、前記明るさ調整手段により明るさを調整された前記複数枚の非可視光画像を合成して前記合成非可視光画像を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記明るさ調整手段は、前記合成非可視光画像の明るさが前記可視光画像の明るさに揃うように、前記複数枚の非可視光画像の明るさを調整することを特徴とする請求項３に記載の撮像装置。
5. 前記決定手段は、非可視光画像の飽和が所定以上の場合、前記複数枚の非可視光画像の露出を異ならせることを特徴とする請求項１に記載の撮像装置。
6. 前記決定手段は、非可視光画像の飽和が所定以上の場合、前記複数枚の非可視光画像の露光時間を短くすることを特徴とする請求項１に記載の撮像装置。
7. 前記可視光画像における、前記合成非可視光画像を用いて補正する領域を決定する領域決定手段をさらに備えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記領域決定手段は、前記可視光画像の階調が前記合成非可視光画像の階調よりも少なく、前記可視光画像の階調と前記合成非可視光画像の階調の差が所定より大きい領域を前記補正する領域と決定することを特徴とする請求項７に記載の撮像装置。
9. 前記領域決定手段は、ユーザーの指示により、前記補正する領域を決定することを特徴とする請求項７に記載の撮像装置。
10. 前記可視光画像を記録するとともに、前記複数枚の非可視光画像と前記合成非可視光画像の少なくとも一方を記録する記録手段をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 前記非可視光画像は、赤外光画像であることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記補正手段は、前記可視光画像を補正する処理として、エンハンス処理を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 可視光画像と非可視光画像とを撮像するための露出を決定する決定工程と、
    前記決定工程において決定された露出で、可視光画像を撮像するとともに複数枚の非可視光画像を撮像する撮像工程と、
    前記複数枚の非可視光画像を合成して合成非可視光画像を生成する合成工程と、
    前記合成非可視光画像を用いて、前記可視光画像を補正する補正工程と、
    前記合成非可視光画像のノイズ量と前記可視光画像のノイズ量とが同程度になるように、撮像する前記非可視光画像の枚数を決める枚数決定工程と、
    を有することを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１乃至１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。