JP7846522B2 - 画像処理装置および画像処理方法、撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、撮像装置に関する。

霧によって視認性が低下したシーンを撮影した可視光画像に、同シーンを撮影した赤外光画像を合成し、可視光画像の視認性を改善する手法が提案されている（特許文献１）。

特開２０１７－１５７９０２号公報

特許文献１では、可視光画像で視認性の悪い領域については非可視光画像の合成割合を高めることにより、領域ごとに可視光画像の視認性を改善している。また、非可視光画像の合成割合が高い領域において非可視光画像と可視光画像の明るさが近くなるように、非可視光画像の撮像条件（露出条件）を設定している。

しかし、特許文献１に記載の方法では、非可視光画像の合成割合が高い領域が非常に暗い場合、非可視光画像も非常に暗くなる撮像条件が設定されるため、視認性を向上する効果が十分に得られない。非可視光画像の合成割合が高い領域が非常に明るい場合も同様である。

本発明はこのような従来技術の課題に鑑み、その一態様において、可視光画像に合成して可視光画像の画質を効果的に向上させる非可視光画像の撮像条件を設定可能な画像処理装置を提供する。

上述の目的は、可視光画像に合成する非可視光画像の撮像条件を決定する画像処理装置であって、可視光画像の明るさと所定の閾値との大小関係に基づき異なる値が決定される非可視光画像の信号レベルの第１目標値、および非可視光画像のコントラストに関する情報に基づき決定される非可視光画像の信号レベルの第２目標値を用いて、撮像条件を決定する非可視光画像の信号レベルの最終的な目標値を決定する第１決定手段と、最終的な目標値に基づいて撮像条件を決定する第２決定手段と、を有することを特徴とする画像処理装置

本発明によれば、可視光画像に合成して可視光画像の画質を効果的に向上させる非可視光画像の撮像条件を設定可能な画像処理装置を提供することができる。

実施形態に係る画像処理装置としての撮像装置の機能構成例を示すブロック図 第１実施形態における撮像装置の動作に関するフローチャート 第１実施形態における撮像装置の動作に関するフローチャート 可視光画像および赤外光画像の例を示す模式図 第１実施形態におけるブロック分割例を示す図 第１実施形態における第１目標値の決定方法に関する図 第１実施形態における第２目標値の決定方法に関する図 第１実施形態における第３目標値の決定に用いる重みに関する図 第２実施形態における撮像装置の動作に関するフローチャート 第２実施形態における撮像装置の動作に関するフローチャート 第２実施形態のゲイン量の決定方法に関する図 第２実施形態のゲイン量の決定方法に関する図 第３実施形態における撮像装置の動作に関するフローチャート 第３実施形態における撮像条件およびゲインの決定方法に関する図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、以下の実施形態では、本発明をデジタルカメラのような撮像装置で実施する場合に関して説明する。しかし、本発明は撮像機能を有する電子機器および、そのような電子機器を制御可能な制御装置でも実施可能である。このような電子機器、制御装置には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器および制御装置でも実施可能である。

なお、図においてブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路（ＩＣ）によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つのブロックが複数の集積回路パッケージによって実現されてもよいし、複数のブロックが１つの集積回路パッケージによって実現されてもよい。また、同一のブロックが動作環境や要求される能力などに応じて異なる構成で実施されてもよい。

図１は、本発明に係る画像処理装置の一例としての撮像装置１００の機能的な構成の一例を示すブロック図である。制御部１０１は、例えばＣＰＵのようなプログラムを実行可能なプロセッサである。制御部１０１は、例えばＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み込んで実行することにより、撮像装置１００の各機能ブロックの動作を制御し、撮像装置１００の機能を実現する。なお、光学系１０４が交換可能なレンズユニットの場合、制御部１０１は光学系１０４が有するコントローラとの通信を通じて光学系１の動作を制御する。

ＲＯＭ１０２は書き換え可能な不揮発性メモリである。ＲＯＭ１０２は、制御部１０１が実行するプログラム、撮像装置１００の各種の設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１０３は、制御部１０１のメインメモリである。ＲＡＭ１０３は制御部１０１が実行するプログラムをロードしたり、プログラムの実行に必要なパラメータを保持したり、画像処理部１０７の作業用メモリとして用いられる。また、ＲＡＭ１０３の一部の領域は表示部１０９に表示する画像データを格納するビデオメモリとして用いられる。

光学系１０４は、可動レンズ（ズームレンズ、フォーカスレンズなど）を含むレンズ群からなる撮像光学系と、可動レンズの駆動回路とを有する。光学系１０４は絞りとその駆動回路を有してもよい。

撮像部１０５は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサ（撮像素子）であってよい。撮像素子は複数の画素が２次元配列された画素アレイと、画素から信号を読み出すための周辺回路とを有する。各画素はフォトダイオードなどの光電変換素子を有し、露光期間における入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、撮像光学系が撮像面に形成した被写体像を表す画素信号群（アナログ画像信号）が得られる。

なお、本実施形態では撮像部１０５が可視光画像と非可視光画像とを撮像可能な撮像素子を有するものとする。このような撮像素子は例えば画素アレイに含まれる複数の画素の一部を、非可視光画像の撮像用画素としたものであってよい。非可視光画像の撮像用画素は、非可視光の波長帯域を透過し、可視光の波長領域を遮断する特性の光学フィルタを有する画素であってよい。

例えば原色ベイヤ配列のカラーフィルタが設けられた撮像素子において、カラーフィルタの繰り返し単位に含まれる２つの緑（Ｇ）フィルタが設けられる画素（Ｇ画素）の１つを、非可視光画像の撮像用画素に置き換えることができる。この場合、非可視光画像の撮像用画素の位置に本来存在するはずのＧ画素の値を、欠陥画素の値と同様に、他の画素の値を用いて補間することにより可視光画像を生成することができる。また、非可視光画像については、非可視光画像の撮像用画素の信号に基づいて得られる画像を拡大処理して可視光画像と同じ解像度（画素数）とすることができる。

なお、可視光画像および非可視光画像の取得方法に特に制限はなく、他の方法で取得してもよい。例えば、可視光画像を撮影するための撮像素子と、非可視光画像を撮影するための撮像素子とを別個に設けてもよい。また、本実施形態では非可視光画像が赤外光画像であるものとするが、他の非可視波長帯域の画像であってもよい。

Ａ／Ｄ変換部１０６は、撮像部１０５から読み出されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０６は、デジタル画像信号をＲＡＭ１０３に書き込む。

画像処理部１０７は、ＲＡＭ１０３に記憶されているデジタル画像信号に対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１０７は例えば特定の機能を実現するように設計されたＡＳＩＣのような専用のハードウェア回路であってもよいし、ＤＳＰのようなプログラマブルプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

画像処理部１０７が適用する画像処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。
色補間処理は、撮影時に得られない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。

補正処理には、ホワイトバランス調整、階調補正、撮影光学系１０１の光学収差に起因する画像劣化の補正（画像回復）、撮像光学系１０１の周辺減光の影響の補正、色補正などの処理が含まれる。また、後述する、可視光画像の視認性向上を目的とした赤外光画像の合成処理も補正処理に含まれる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれる。
データ加工処理には、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれる。

評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれる。また、後述する、赤外光画像の撮像条件を決定するための評価値の生成も、この処理に含まれる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれる。
なお、これらは画像処理部１０７が適用可能な処理の例示であり、画像処理部１０７が適用する処理を限定するものではない。

記録部１０８は例えばメモリカードなどの記録媒体にデータを記録しだり、記録媒体に記録されているデータを読み出したりする。記録媒体は着脱可能でなくてもよい。また、記録媒体は通信可能な外部記憶装置であってもよい。

表示部１０９は、例えば液晶ディスプレイであり、撮像された画像、記録部１０８で読み出された画像、撮像装置１００の情報、メニュー画面などのＧＵＩ、などを表示する。動画撮影と撮影された動画の表示部１０９での表示を継続的に実行することにより、表示部１０９を電子ビューファインダ（ＥＶＦ）として機能させることができる。なお、表示部１０９はタッチディスプレイであってもよい。

操作部１１０は、ユーザが撮像装置１００に指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。操作部１１０を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１１０には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。レリーズスイッチは静止画記録用のスイッチであり、制御部１０１はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、制御部１０１は、動画記録スイッチが撮影待機状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。

図２は、撮像装置１００が実行する、赤外光画像を合成することにより可視光画像の画質を向上させる処理（エンハンス処理）に関するフローチャートである。ここでは図２に示すエンハンス処理を撮影待機状態に実施することを想定している。一般に撮影待機状態は、表示部１０９をＥＶＦとして機能させながら、静止画または動画の撮影指示の入力を待機する状態である。

Ｓ２０３で制御部１０１は、可視光画像および赤外光画像を順次撮像するように撮像部１０５を制御する。最初に用いる撮像条件は予め定められているものとする。撮像部１０５は可視光画像と赤外光画像とを順次撮像する。撮像により得られた可視光画像および赤外光画像のアナログ画像信号は、Ａ／Ｄ変換部１０６を通じてデジタル画像信号に変換され、ＲＡＭ１０３に格納される。

画像処理部１０７は、必要に応じて不足している画素データを補うための補間や拡大処理をデジタル画像信号に適用する。そして、ＲＡＭ１０３に、同じ解像度の可視光画像のデジタル信号（以下、可視光画像データという）と、赤外光画像のデジタル信号（以下、赤外光画像データという）とが格納される。

なお、Ｓ２０３における撮像は、撮影待機状態で実施するライブビュー表示用に撮像される動画の撮像を兼ねていてもよい。例えば、６０フレーム／秒で動画を撮像し、可視光画像と赤外光画像を交互に読み出してもよい。この場合、可視光画像データはライブビュー表示用の画像データの生成にも用いられる。また、撮像条件は可視光画像を取得するフレームと、赤外光画像を取得するフレームとで異ならせてもよい。なお、動画フレームとして可視光画像および赤外光画像を取得する場合、Ｓ２０３の実行時に１フレームずつを取得すればよく、Ｓ２０３を動画の撮像フレームレートに合わせて実行する必要はない。

Ｓ２０５で制御部１０１は、可視光画像データおよび赤外光画像データに基づいて、可視光画像の画質もしくは視認性を向上させるために用いる赤外光画像の撮像条件を更新する。Ｓ２０５の処理の詳細については後述する。撮像条件は、シャッタースピード（露光期間）、絞り値、ＩＳＯ感度など、撮影時の露出量に関するパラメータである。

また、制御部１０１は、例えば公知の自動露出制御（ＡＥ）方法に基づいて、可視光画像の撮像条件を更新する。

Ｓ２０７で制御部１０１は、操作部１１０を通じて撮影開始指示が入力されたか否かを判定する。ここでは静止画の撮影開始指示について判定するものとする。制御部１０１は撮影開始指示が入力されたと判定されればＳ２０９を実行する。また、制御部１０１は撮影開始指示が入力されたと判定されなければＳ２０３およびＳ２０５を繰り返し実行する。

Ｓ２０９で制御部１０１は、直近に実行したＳ２０５で更新された撮像条件にしたがって、記録用の可視光画像および赤外光画像を撮像するように撮像部１０５を制御する。一般に、記録用の画像はライブビュー表示用の画像よりも解像度が高い。

Ｓ２１１で制御部１０１は、Ｓ２０９で得られた可視光画像データに赤外光画像のデータを合成するエンハンス処理を適用するよう、画像処理部１０７を制御する。エンハンス処理は可視光画像の画質もしくは視認性を向上させる処理である。エンハンス処理を適用する領域や、赤外光画像の合成方法は、例えばＳ２０５で決定することができる。

なお、赤外光画像は、その全部または一部の周波数成分を可視光画像に合成することができる。例えば、霧や霞によって被写体の視認性が低下している領域には、赤外光画像の高周波（ＡＣ）成分のみを合成することでエッジが強調され、被写体の視認性を向上させることができる。なお、ＡＣ成分のみを合成する場合、ＡＣ成分を単純に加算してもよいが、合成による明るさの変化が目立たないよう、ＡＣ成分のレベル（ゲイン）を調整して加算してもよい。

一方で、暗すぎたり明るすぎたりして被写体の視認性が低下している領域については、エッジを強調によって領域内の被写体の視認性を向上できる効果は少ない。そのため、低周波（ＤＣ）成分を含めた赤外光画像の全周波数成分を合成することで、領域内の被写体の視認性をより向上させることができる。このように、赤外光画像を合成する可視光画像の領域の状態に応じた赤外光画像の合成を行うことにより、より適切に被写体の視認性を向上させることができる。

画像処理部１０７は、制御部１０１からの制御にしたがって、可視光画像データに赤外光画像データを合成し、合成画像データを生成する。

Ｓ２１３で画像処理部１０７は、合成画像データに対して画像処理を適用して、記録用の画像データを生成する。ここで適用する画像処理は、記録形式に応じて異なり得る。例えば、ＪＰＥＧ形式やＨＩＥＦ形式で記録する場合、画像処理は色補間処理および符号化処理を含む。

記録用の画像データは画像データファイルとして記録部１０８によって記録媒体に記録される。

次に、図３に示すフローチャートを用いて、Ｓ２０５における撮像条件更新処理についてさらに説明する。
Ｓ３０２で制御部１０１は、画像処理部１０７に対し、可視光画像データおよび赤外光画像データの階調情報を生成させる。この段階での可視光画像データは、それを構成する個々の画素データが、画素に設けられたカラーフィルタの色に応じた１つの色成分の値を有する状態である。このような画像データを本明細書ではＲＡＷデータと呼ぶ。

階調情報の生成方法の一例を説明する。ここでは階調情報としてエッジ強度の評価値を生成するものとする。画像処理部１０７は、図５に示すように、画像５０１を水平方向Ｍ分割、垂直方向にＮ分割してＭ×Ｎ個のブロック５０２を生成する（Ｍ，Ｎは予め定められた２以上の整数）。そして、画像処理部１０７は、ブロックごとに評価値を生成する。

具体的には、画像処理部１０７は、例えばＲＧＢ成分の１つ（ここではＧ成分とする）について空間フィルタを適用するなどの公知の手法を用い、ブロックごとにエッジ成分を抽出する。Ｇ成分が得られていない画素については補間によりＧ成分を求めてからエッジ成分を抽出してもよい。そして、画像処理部１０７は、抽出したエッジ成分の積分値をブロックの評価値として生成する。評価値が大きい場合、ブロック内の画像に含まれるエッジ成分が多いことを示す。

例えば、あるブロック内の座標（ｉ，ｊ）（ｉ，ｊは整数であり、０≦ｉ，ｊ≦ブロックサイズに応じて定まる最大値）のエッジ強度をｅ（ｉ，ｊ）とする。この場合、ブロックの評価値Ｅは、以下の式（１）によって生成することができる。
E = Σ_i Σ_j e (i, j) ・・・（１）
なお、エッジ強度の評価値Ｅは他の方法で求めてもよい。

Ｓ３０３で制御部１０１（領域決定手段）は、画像処理部１０７が生成した評価値に基づいて、可視光画像において視認性を向上すべき領域（エンハンス処理の対象領域）を、上述のブロックを単位として決定する。

例えば図４の４０１に模式的に示す可視光画像は、霧や霞によって遠景被写体のコントラストが低下している。同じシーンの赤外光画像を図４の４０２に模式的に示す。赤外線画像は霧や霞によるコントラストの低下を受けにくいため、赤外光画像の遠景部分を可視光画像に合成することにより、遠景被写体の視認性を向上させることができる。したがって、Ｓ３０３で制御部１０１は、図４の可視光画像４０１における遠景部分のような領域を、エンハンス処理の対象領域として決定する。

画像のコントラストが低いブロックは、エッジ成分が少ないため、エッジ強度の評価値は小さくなる。また、図４に４１１および４１２として模式的に示す黒つぶれしている領域や、図示しない白飛びしている領域についてもコントラストが低くなるため、エッジ強度の評価値は小さくなる。

制御部１０１は、可視光画像データと赤外光画像データについて生成された評価値を、対応するブロックごとに比較する。そして、制御部１０１は、可視光画像データのエッジ評価値が小さく（例えば第１閾値以下）、赤外光画像データのエッジ評価値との差が大きい（例えば第２閾値以上）であるブロックを、エンハンス処理の対象領域として決定する。なお、第１閾値および第２閾値は予め例えば実験的に定めることができる。

なお、エンハンス処理の対象領域は他の方法で決定してもよい。例えば、霧や霞による被写体の視認性低下は遠景で発生しやすい。そのため、被写体距離が距離閾値以上である領域をエンハンス処理の対象領域として決定してもよい。

あるいは、ユーザに可視光画像を提示して、エンハンス処理の対象領域を選択させてもよい。また、ここで例示した複数の方法の２つ以上を組み合わせてエンハンス処理の対象領域を決定してもよい。

制御部１０１は、決定したエンハンス処理の対象領域を特定する情報を、合成処理時に利用できるようにＲＡＭ１０３に格納する。なお、可視光画像データの記録後にエンハンス処理を行う場合、エンハンス処理に用いる赤外光画像データと、エンハンス処理の対象領域を特定する情報とを、可視光画像データと関連付けて記録部１０８で記録してもよい。

Ｓ３０４で制御部１０１は、エンハンス処理に用いる赤外光画像の撮像条件を決定するための信号レベル目標値を決定する。本実施形態では、可視光画像の明るさに基づく目標値Ｌ（第１目標値）と、赤外光画像のコントラストに基づく目標値Ｃ（第２目標値）とから、最終的な目標値Ｔを決定する。赤外光画像の信号レベルは、例えばエンハンス処理に用いる領域内に含まれる画素の平均値であってよい。

図６は、可視光画像の明るさに基づく目標値Ｌの決定方法の一例を示す図である。目標値Ｌ（第１目標値）は、エンハンス処理の対象領域における明るさ（信号レベル）を調整するのに適した赤外光画像を得るための目標値である。横軸は可視光画像におけるエンハンス処理の対象領域の明るさ評価値を示し、例えばエンハンス処理の対象領域の平均輝度値である。平均輝度値は例えばエンハンス処理の対象領域内のＲ画素、Ｂ画素、Ｇ画素のそれぞれの平均値をＹＣｂＣｒ形式に変換した際のＹ成分の値として求めることができる。

図６に示すように、制御部１０１（第１決定手段）は、明るさ評価値が第１閾値以上、第２閾値以下の区間では、赤外光画像のうち、エンハンス処理に用いる領域の信号レベルの目標値Ｌを、可視光画像の明るさ評価値の増加に伴って線形に増加させる。図６では、明るさ評価値が第１閾値Ｔｈ１以上第２閾値Ｔｈ２以下の区間については、赤外光画像のうちエンハンス処理に用いる領域の信号レベル目標値Ｌを、可視光画像の明るさ評価値に等しくなるように決定する例を示している。ここで、赤外光画像のうちエンハンス処理に用いる領域の信号レベルは、当該領域内の画素の平均値であってよく、可視光画像の明るさ評価値に相当する。

一方、明るさ評価値が第１閾値Ｔｈ１未満（第１閾値未満）の区間について、制御部１０１は、赤外光画像のうちエンハンス処理に用いる領域の信号レベル目標値Ｌを、明るさ評価値が第１閾値Ｔｈ１の場合の信号レベル目標値Ｌ１に固定する。このように、赤外光画像の信号レベル目標値Ｌが一定値以下に低下しないようにすることで、可視光画像において黒つぶれするような領域における被写体の視認性を向上させる赤外光画像が取得できる撮像条件が設定可能になる。

同様に、明るさ評価値が第２閾値Ｔｈ２より大きい区間について、制御部１０１は、赤外光画像のうちエンハンス処理に用いる領域の信号レベル目標値Ｌを、明るさ評価値が第２閾値Ｔｈ２の場合の信号レベル目標値Ｌ２に固定する。このように、赤外光画像の信号レベル目標値Ｌが一定値を超えて上昇しないようにすることで、可視光画像において白とびするような領域における被写体の視認性を向上させる赤外光画像が取得できる撮像条件が設定可能になる。明るさ評価値の第１閾値Ｔｈ１および第２閾値Ｔｈ２は、黒つぶれ領域や白とび領域を判別するための閾値であり、予め例えば実験的に定めることができる。

次に、赤外光画像のコントラストに基づく目標値Ｃ（第２目標値）の決定方法に関して説明する。図７の７０１は、赤外光画像のうち、エンハンス処理に用いる領域に含まれる画素値（信号レベル）のヒストグラムの一例である。

上述したように、エンハンス処理の対象領域は、赤外光画像のエッジ強度の評価値が可視光画像のエッジ強度の評価値より大きい。これは、赤外光画像の方が可視光画像よりも高コントラストであることに相当する。そのため、赤外光画像のコントラストをさらに高めることは必須でない。しかしながら、評価値の差分は相対的なコントラストの差であるため、赤外線画像が可視光画像の画質または被写体の視認性向上という観点において十分なコントラストを有しているとは限らない。また、赤外光画像のコントラストが高すぎることも考えられる。

そのため、本実施形態では、可視光画像の画質または被写体の視認性向上という観点において適切なコントラストを、コントラストの目標値gradとして予め実験的に定める。そして、制御部１０１（第２決定手段）は、赤外光画像のコントラストが目標値gradとなるような赤外線画像の信号レベル目標値Ｃを求める。信号レベル目標値Ｃ（第２目標値）は、エンハンス処理の対象領域におけるコントラストを調整するのに適した赤外光画像を得るための目標値である。

制御部１０１はまず、補正量ｋを以下の式（２）によって求める。
k = grad / (H_max - H_min)・・・（２）
ここで、
grad：コントラストの目標値
H_max：現在の撮像条件で得られる赤外光画像の、エンハンス処理に用いる領域内の最大信号レベル
H_min：現在の撮像条件で得られる赤外光画像の、エンハンス処理に用いる領域内の最小信号レベル
である。補正量ｋは現在のコントラストを目標値にするための倍率に相当する。

次に、制御部１０１は、補正量ｋを用いて、赤外光画像のコントラストに基づく信号レベル目標値Ｃを以下の式（３）によって求める。
C = k * H_ave・・・（３）
ここで、
H_ave：現在の撮像条件で得られる赤外光画像の、エンハンス処理に用いる領域内の平均信号レベルもしくは信号レベルの中央値
である。

制御部１０１（第３決定手段）は、可視光画像の明るさ評価値に基づく第１目標値Ｌと、赤外光画像のコントラストに基づく第２目標値Ｃとを重み付け加算して、最終的な赤外光画像の信号レベル目標値Ｔを以下の式（４）によって求める。
Ｔ＝α×Ｌ＋（１－α）×Ｃ・・・（４）
α：目標値Ｌの重み（０≦α≦１）

図８は、式（４）で用いる目標値Ｌの重みαと、可視光画像のエンハンス処理の対象領域の明るさ評価値との関係例を示す図である。可視光画像の明るさ評価値が第１閾値Ｔｈ１未満もしくは第２閾値Ｔｈ２より大きいブロックにエンハンス処理を適用する場合、可視光画像のコントラストよりも明るさの改善が優先される。したがって、信号レベル目標値Ｌの重みを０．５より大きくする。

一方、可視光画像の明るさ評価値が第１閾値Ｔｈ１以上第２閾値Ｔｈ２以下であるブロックにエンハンス処理を適用する場合、可視光画像の明るさよりもコントラストの改善が優先される。したがって、信号レベル目標値Ｌの重みαを信号レベル目標値Ｃの重み（１－α）より小さく（α＜０．５）する。なお、コントラストの改善が優先されるブロックについての信号レベル目標値Ｌの重みαは信号レベルの改善が優先されるブロックについての信号レベル目標値Ｌの重みαより小さければよく、必ずしも０．５未満でなくてもよい。

最後にＳ３０５で制御部１０１（第４決定手段）は、Ｓ３０４で決定した信号レベル目標値Ｔに基づいて、赤外光画像の撮像条件を決定（更新）する。信号レベル目標値Ｔを実現する撮像条件は、予め定められたプログラム線図を参照し、信号レベル目標値Ｔを露出量Ｅｖ値としたときのシャッタースピードＴｖおよび絞り値Ａｖの組み合わせとして決定することができる。なお、赤外光画像と可視光画像の被写界深度とが合致することが望ましいため、制御部１０１は、可視光画像の撮像条件と同じ絞り値を用いることを優先して赤外光画像の撮像条件を決定することができる。

撮像素子は可視光と赤外光とで感度が異なることがある。そのため、赤外光画像の撮像条件の決定にプログラム線図を用いる場合、赤外光画像用のプログラム線図を用いることにより、精度良く赤外光画像の信号レベルを制御することができる。

また、プログラム線図を用いず、現在の撮像条件の補正量（露出調整量）を求めてもよい。制御部１０１は、信号レベル目標値Ｔを実現するための露出調整量ＥＶを、例えば以下の式（５）によって求める。
EV = log₂ (T / H_ave)・・・（５）
上述したように、H_aveは現在の撮像条件で得られる赤外光画像の、エンハンス処理に用いる領域内の平均信号レベルもしくは信号レベルの中央値である。

露出調整量ＥＶは、信号レベル目標値Ｔを実現するための露出量と、現在の撮像条件での露出量との差を段数で示す値である。例えばＥＶ=１の場合、現在の撮像条件から、露出を１段分明るく調整する必要があることを示す。したがって、制御部１０１は、赤外光画像の現在の撮像条件を、シャッタースピードを１／２（露出時間を２倍）にする、絞り値を１／２にする、ＩＳＯ感度を２倍にする、のいずれかによって更新することができる。なお、この場合も、制御部１０１は、可視光画像の撮像条件と同じ絞り値を用いることを優先して赤外光画像の撮像条件を更新することができる。なお、光量が不足する場合には赤外光フラッシュなどの補助光源を利用してもよい。

ここでは説明および理解を容易にするため、エンハンス処理の対象領域が１つ（隣接した複数のブロックを含みうる）である場合について説明した。しかし、エンハンス処理の対象領域が複数となる場合も考えられる。この場合、個々の対象領域についての目標値Ｔに基づいて複数の撮像条件を決定し、個々の撮像条件で１フレームずつ赤外光画像を撮像してもよい。この場合、各フレームからエンハンス処理に用いる領域の画素データを抽出して合成処理に用いることができる。また、複数の目標値Ｔの代表値もしくは平均値に基づいて１つの撮像条件を決定し、１フレームの赤外光画像を撮像するようにしてもよい。

本実施形態によれば、可視光画像に合成するための非可視光画像の撮像条件を、信号レベルの改善という観点と、コントラストの改善という観点とを考慮して決定するようにした。そのため、非可視光画像を合成する可視光画像の領域に適した非可視光画像を撮像することが可能になり、可視光画像における被写体の視認性および画質を効果的に向上することができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、個別の撮像条件で可視光画像と赤外光画像とを撮像可能な場合における、赤外光画像の撮像条件の決定方法に関して説明した。本実施形態は、可視光画像と赤外光画像とを同じ撮像条件で撮影する場合の動作について説明する。

なお、本実施形態も撮像装置１００で実施可能であるため、撮像装置１００の構成要素を用いて説明する。
図９は、第２実施形態において撮像装置１００が実行する、赤外光画像を合成することにより可視光画像の画質を向上させる処理に関するフローチャートである。第１実施形態と同じ動作を行う工程については図２と同じ参照数字を付してある。

Ｓ９０３で制御部１０１は、可視光画像および赤外光画像を撮像するように撮像部１０５を制御する。最初に用いる撮像条件は予め定められているものとする。撮像部１０５は可視光画像に適した撮像条件で１回の撮像を行い、撮像素子から可視光画像のアナログ画像信号と赤外光画像のアナログ画像信号とを読み出す。

その後は第１実施形態と同様にして、ＲＡＭ１０３に、同じ解像度の可視光画像のデジタル信号（以下、可視光画像データという）と、赤外光画像のデジタル信号（以下、赤外光画像データという）とが格納される。

Ｓ９０５で制御部１０１は、赤外光画像データの信号レベル目標値を決定する。Ｓ９０５の処理の詳細については後述する。また、制御部１０１は、例えば公知の自動露出制御（ＡＥ）方法に基づいて、可視光画像の撮像条件を更新する。

Ｓ２０７で制御部１０１は、操作部１１０を通じて撮影開始指示が入力されたか否かを判定する。ここでは静止画の撮影開始指示について判定するものとする。制御部１０１は撮影開始指示が入力されたと判定されればＳ９０９を実行する。また、制御部１０１は撮影開始指示が入力されたと判定されなければＳ９０３およびＳ９０５を繰り返し実行する。

Ｓ９０９で制御部１０１は、直近に実行したＳ９０５で更新された可視光画像の撮像条件にしたがって、記録用の可視光画像および赤外光画像を撮像するように撮像部１０５を制御する。Ｓ９０３と同様にして、ＲＡＭ１０３に、同じ解像度の可視光画像データと赤外光画像データとが格納される。

Ｓ９１１で制御部１０１は、Ｓ９０９で得られた赤外光画像データの信号レベルを、Ｓ９０５で決定された目標値に基づいて調整する。Ｓ９１１の処理の詳細については後述する。Ｓ２１１以降は第１実施形態と同じであるため説明を省略する。

図１０は、Ｓ９０５における信号レベル目標値の決定動作の詳細を示すフローチャートである。第１実施形態で説明した図３と同じ動作を行う工程には図３と同じ参照数字を付してある。このように、本実施形態においても赤外光画像の信号レベル目標値Ｔを求める動作は第１実施形態と同じである。本実施形態では第１実施形態と異なり、赤外光画像の撮像条件を個別に設定することができないため、赤外光画像の撮像条件の更新は行わない。

次に、Ｓ９１１における赤外光画像データの信号レベル調整動作について説明する。
制御部１０１は、赤外光画像データの信号レベルを、Ｓ９０５で決定された目標値Ｔとするためのゲイン量を以下の式（６）により求める。
gain = T / H_ave ・・・（６）
H_aveは現在の撮像条件で得られる赤外光画像の、エンハンス処理に用いる領域内の平均信号レベルもしくは信号レベルの中央値である。

次に、制御部１０１は画像処理部１０７を制御し、求めたゲイン量gainを、赤外光画像データのうち、エンハンス処理に用いる領域に含まれる個々の画素データに適用することにより、赤外光画像データの信号レベルを調整する。

ここで、ゲイン量gainを適用する画素データをinput(x, y)、ゲイン量適用後の画素データをoutput(x, y)とすると、信号レベル調整は、
output(x, y) = gain × input(x, y)・・・（７）
で表すことができる。なお、(x, y)は画像座標系における画素座標である。

エンハンス処理の対象領域が複数あり、かつ目標値Ｔが異なる対象領域が隣接している場合、目標値Ｔの差により領域の境界で信号レベルに段差が生じる。そのため、目標値Ｔが異なる対象領域の境界部分のブロックについては、ゲイン量が滑らかに変化するように調整する。

図１１は、赤外光画像１１０１と、赤外光画像１１０１に対して決定された６つの対象領域と、対象領域ごとに決定された目標値Ｔ１～Ｔ６とを模式的に示している。各対象領域は１つもしくは隣接する２つ以上のブロック１１０２を含んでいる。

ここで、目標値が異なる対象領域の境界部分に存在する、２つのブロックを含んだ領域１１１１に注目する。領域１１１１に含まれる上のブロックは目標値Ｔ２、下のブロック
は目標値Ｔ１である。

この場合、ブロック境界でゲイン量gainが不連続に変化しないように、制御部１０１はブロックの隣接地点１１１２の目標値Ｔ_αを、以下の式（８）によって求めることができる。
T_α = L₂ / (L₁+L₂ ) × α × T₁ + L₁ / (L₁ + L₂ ) × T₂・・・（８）
ここで、Ｌ₁ 、Ｌ₂は、図１１に示すように、隣接するブロックの中心から隣接地点１１１２までの距離である。隣接地点１１１２は隣接するブロックの中心間を結ぶ直線の中点であるため、Ｌ₁ ＝Ｌ₂であり、T_α＝T_１／２＋T_２／２となる。

上のブロックの中心と下のブロックの中心との間に存在する領域１１１３に含まれる画素については、画素のｙ座標に応じて式（８）に従って目標値を決定する。これにより、ｙ方向に目標値がT_１からT_２に連続的に変化するようになり、目標値に基づくゲイン量gainも連続的に変化するようになる。

このように、目標値が異なる対象領域が隣接する領域では、隣接するブロックの中心からの距離に応じて目標値を重み付け加算した目標値とすることにより、ゲイン量gainが不連続に変化することを回避できる。

なお、目標値が異なる対象領域が隣接する場合、一方の対象領域の目標値の重みを大きくしてもよい。例えば面積（ブロック数）が大きいおよび／または階調情報の差が大きい対象領域の目標値の重みを大きくすることができる。図１２は、図１１に示した領域１１１１に関する対象領域の情報である。

この場合、目標値がＴ_１の対象領域が、目標値がＴ_２の対象領域よりも面積（ブロック数）が大きく、かつ階調情報の差が大きい。この場合、式（８）において、目標値Ｔ_１の重みを目標値Ｔ_２より大きくして目標値Ｔ_αを求める。

本実施形態によれば、可視光画像と同じ撮像条件で撮像された非可視光画像の信号レベルを、信号レベルの改善という観点と、コントラストの改善という観点とを考慮して決定した目標値にしたがって調整するようにした。そのため、非可視光画像を合成する可視光画像の領域に適した非可視光画像を得ることが可能になり、可視光画像における被写体の視認性および画質を効果的に向上することができる。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。本実施形態は合成用の赤外光画像の撮像条件に制限がある場合の動作に関する。本実施形態も撮像装置１００で実施可能であるため、撮像装置１００の構成要素を用いて説明する。

図１３は、第３実施形態において撮像装置１００が実行する、赤外光画像を合成することにより可視光画像の画質を向上させる処理に関するフローチャートである。第１実施形態および第２実施形態と同じ動作を行う工程については図２もしくは図９と同じ参照数字を付してある。

ここでは、撮影開始指示に応じて行う、合成用の赤外光画像の撮像に用いる撮像条件に対する制限として、シャッタースピードに下限値が設けられているものとする。これは例えば像ブレの防止を目的とした制限であってよい。なお、絞り値の最小値やＩＳＯ感度の最大値が設けられている場合も、シャッタースピードに下限値が設けられている場合と同様の動作を行うことができる。

本実施形態は、第２実施形態と同様、Ｓ２０７で静止画撮影指示の入力有無を判定する前には赤外光画像の信号レベル目標値Ｔまでを決定し、撮像条件は決定しない。

Ｓ２０７で制御部１０１は、操作部１１０を通じて撮影開始指示が入力されたか否かを判定する。ここでは静止画の撮影開始指示について判定するものとする。制御部１０１は撮影開始指示が入力されたと判定されればＳ１３０９を実行する。また、制御部１０１は撮影開始指示が入力されたと判定されなければＳ１３１３を実行する。

Ｓ１３０９で制御部１０１は、合成用の赤外光画像の撮像に用いる撮像条件を、制限を考慮して決定する。また、制御部１０１は、必要な場合にはさらに赤外光画像の信号レベルを調整するためのゲイン量を決定する。以下、Ｓ１３０９での動作の詳細について説明する。

図１４は、Ｓ１３０９における撮像条件の決定動作の一例を模式的に示している。ここでは撮像条件のパラメータのうち、シャッタースピードの下限値（最も遅いシャッタースピード）が１／３０秒に制限されているものとする。また、直近に実行したＳ２０３において実行されたプレ撮影での撮像条件のシャッタースピードが１／１２５秒であったものとする。

まず制御部１０１は、直近に実行したＳ９０５で決定された信号レベル目標値Ｔに基づいて、第１実施形態で説明したように露出調整量ＥＶを求める。ここでは、ＥＶ＝３であったとする。ＥＶ＝３をシャッタースピードの調整だけで実現する場合、１／１５秒とする必要がある。しかしながら、シャッタースピードの下限値は１／３０秒に制限されている。

そのため、制御部１０１は、撮像条件におけるシャッタースピードは１／３０秒とする。そして、制御部１０１は、１段分の露出量不足を撮像後に補うためのゲイン量（×２）を併せて決定する。なお、シャッタースピードだけで目標量に対応した撮像条件を実現できない場合、撮像条件の他のパラメータ（絞り値およびＩＳＯ感度）の１つ以上を変更したり、赤外光を照射する補助光源を用いたりしてもよい。ここでも、絞り値は可視光画像の撮像条件とできるだけ等しくすることを優先する。

一方、Ｓ１３１３で制御部１０１は、第１実施形態で図３を用いて説明したＳ３０５と同様にして、赤外光画像の撮像条件を決定（更新）する。ここで決定される撮像条件は、合成用の赤外光画像の撮像には用いられないため、特に制限はない。例えば図１４に示した例であれば、制御部１０１はシャッタースピードを１／１５秒に変更する。その後制御部１０１は、Ｓ２０３から再度実行する。

Ｓ２０９で制御部１０１は、直近に実行したＳ９０５で決定された可視光画像の撮像条件と、Ｓ１３０９で決定された撮像条件とにしたがって、記録用の可視光画像および赤外光画像を撮像するように撮像部１０５を制御する。

Ｓ１３１１で制御部１０１は、画像処理部１０７に対し、Ｓ１３０９でゲイン量が決定されていれば、ゲイン量を赤外光画像データに適用するように指示する。画像処理部１０７はＲＡＭ１０３に格納されている赤外光画像データにゲイン量を適用する。なお、Ｓ１３０９でゲイン量が決定されていない場合にはＳ１３１１は実行しなくてよい。Ｓ２１１以降は、ゲイン量を適用した赤外光画像データを用いることを除き、第１実施形態と同じ動作であるため、説明を省略する。

ここでは赤外光画像の撮像条件について制限がある場合に関して説明した。しかし、像ブレ防止という観点から、可視光画像の撮像条件についても制限されうる。この場合、可視光画像の撮像条件を決定する際においても、撮像条件に加えてゲイン量を決定し、Ｓ１３１１で可視光画像データに対してゲイン量を適用することができる。

本実施形態では、合成用の非可視光画像の撮像条件に制限があり、制限の範囲内で信号レベル目標量に応じた撮像条件を決定できない場合、不足する露光量を補うゲインを撮像後に非可視光画像データに適用するようにした。そのため、第１実施形態と同様の効果に加え、例えば非可視光画像の像ブレを抑制することが可能になる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…光学系、１０５…撮像部、１０６…Ａ／Ｄ変換部、１０７…画像処理部、１０８…記録部、１０９…表示部

Claims (24)

1. 可視光画像に合成する非可視光画像の撮像条件を決定する画像処理装置であって、
   前記可視光画像の明るさと所定の閾値との大小関係に基づき異なる値が決定される非可視光画像の信号レベルの第１目標値、および非可視光画像のコントラストに関する情報に基づき決定される非可視光画像の信号レベルの第２目標値を用いて、撮像条件を決定する非可視光画像の信号レベルの最終的な目標値を決定する第１決定手段と、
   前記最終的な目標値に基づいて前記撮像条件を決定する第２決定手段と、を有することを特徴とする画像処理装置。
2. 前記可視光画像に、前記第２決定手段が決定した撮像条件に従って撮像された非可視光画像を合成する合成手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
3. 前記可視光画像のうち、前記撮像条件に従って撮像された非可視光画像を合成する対象領域を決定する領域決定手段をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記領域決定手段は、前記可視光画像の階調情報と、前記可視光画像とともに撮像された非可視光画像の階調情報とに基づいて、前記対象領域を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記領域決定手段は、前記可視光画像を分割したブロックを単位として前記対象領域を決定し、
   前記階調情報が、前記ブロックごとのエッジ強度の評価値である、ことを特徴とする請求項４に記載の画像処理装置。
6. 前記領域決定手段は、前記可視光画像を分割したブロックのうち、前記評価値が第１閾値以下であり、前記非可視光画像において対応するブロックの前記評価値との差が第２閾値以上であるブロックを、前記対象領域として決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記領域決定手段は、前記可視光画像を分割したブロックのうち、被写体距離が距離閾値以上であるブロックを、前記対象領域として決定することを特徴とする請求項５または６に記載の画像処理装置。
8. 前記領域決定手段は、前記可視光画像を分割したブロックのうち、ユーザが選択したブロックを、前記対象領域として決定することを特徴とする請求項５から７のいずれか１項に記載の画像処理装置。
9. 前記第１目標値が、前記可視光画像の明るさが第３閾値未満の場合には第１の値に固定され、第４閾値より大きい場合には前記第１の値より大きい第２の値に固定されることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
10. 前記第１目標値が、前記可視光画像の明るさが前記第３閾値以上、前記第４閾値以下の場合には、前記可視光画像の明るさに対応した値を有することを特徴とする請求項９に記載の画像処理装置。
11. 前記第２目標値は、前記可視光画像とともに撮像された非可視光画像のコントラストに基づいて決定されることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記第２目標値は、予め定められたコントラストを有する非可視光画像を得るための信号レベルの目標値として決定されることを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１決定手段が、前記第１目標値と前記第２目標値とを重み付け加算することにより前記最終的な目標値を決定することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記第１決定手段は、前記可視光画像のうち、前記撮像条件に従って撮像された非可視光画像が合成される領域の明るさに基づいて前記第１目標値および前記第２目標値の重みを決定することを特徴とする請求項１３に記載の画像処理装置。
15. 合成に用いる非可視光画像が可視光画像の撮像条件で撮像される場合、前記第２決定手段が、前記撮像条件を決定する代わりに、前記最終的な目標値に基づいて、前記可視光画像の撮像条件で撮像された非可視光画像に適用するゲイン量を決定することを特徴とする請求項１に記載の画像処理装置。
16. 前記第２決定手段は、前記ゲイン量が前記可視光画像を分割したブロックのうち隣接するブロックの境界で不連続に変化しないように、前記ゲイン量を決定することを特徴とする請求項１５に記載の画像処理装置。
17. 前記非可視光画像の撮像条件に制限が設けられており、制限された範囲で前記最終的な目標値に従った前記撮像条件が決定できない場合、前記第２決定手段は、前記制限された範囲で前記撮像条件を決定するとともに、不足する露出量を補うためのゲイン量をさらに決定することを特徴とする請求項１に記載の画像処理装置。
18. 前記撮像条件で撮像された非可視光画像に対して前記ゲイン量を適用する適用手段をさらに有し、
    前記合成には前記ゲイン量が適用された前記非可視光画像を用いる、ことを特徴とする請求項１７に記載の画像処理装置。
19. 前記第１目標値が変更されると、前記第２目標値が変更されるときよりも、前記非可視光画像の合成による前記可視光画像の明るさの変化が大きく、
    前記第２目標値が変更されると、前記第１目標値が変更されるときよりも、前記非可視光画像の合成による前記可視光画像のコントラストの変化が大きいことを特徴とする請求項１に記載の画像処理装置。
20. 可視光画像に合成する非可視光画像の撮像条件を決定する画像処理装置であって、
    前記可視光画像の明るさに基づき決定される第１目標値と非可視光画像のコントラストに基づき決定される第２目標値とを重み付け加算することにより、前記撮像条件を決定する非可視光画像の信号レベルに関する最終的な目標値を決定するよう構成された第１決定手段と、
    前記最終的な目標値に基づいて、前記撮像条件を決定するよう構成された第２決定手段と、を有し、
    前記重み付け加算における前記第１目標値および第２目標値の重みは、前記可視光画像の明るさに基づき決定されることを特徴とする画像処理装置。
21. 可視光画像および非可視光画像を撮像可能な撮像素子と、
    前記撮像素子を用いて撮像された画像を用いる請求項１から２０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
22. 前記可視光画像に合成する非可視光画像と、前記可視光画像における前記非可視光画像を合成すべき領域に関する情報とを、前記可視光画像と関連付けて記録する記録手段をさらに有することを特徴とする請求項２１に記載の撮像装置。
23. 画像処理装置が実行する、可視光画像に合成する非可視光画像の撮像条件を決定するための画像処理方法であって、
    前記可視光画像の明るさと所定の閾値との大小関係に基づき異なる値が決定される非可視光画像の信号レベルの第１目標値、および非可視光画像のコントラストに関する情報に基づき決定される非可視光画像の信号レベルの第２目標値を用いて、前記撮像条件を決定する非可視光画像の信号レベルの最終的な目標値を決定する第１決定工程と、
    前記最終的な目標値に基づいて前記撮像条件を決定する第２決定工程と、
    を有することを特徴とする画像処理方法。
24. コンピュータを、請求項１から２０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。