WO2017122396A1

WO2017122396A1 - 制御装置、制御方法及びプログラム

Info

Publication number: WO2017122396A1
Application number: PCT/JP2016/079543
Authority: WO
Inventors: 厚史伊藤; 祐基明壁; 小柳津　秀紀; 真備中村; 横山　正幸
Original assignee: ソニー株式会社
Priority date: 2016-01-15
Filing date: 2016-10-04
Publication date: 2017-07-20

Abstract

【課題】可視光画像の画質を向上させることが可能な、新規かつ改良された制御装置、制御方法及びプログラムを提案する。【解決手段】遠赤外画像から対象領域を抽出する抽出部と、前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、を備える、制御装置を提供する。

Description

制御装置、制御方法及びプログラム

　本開示は、制御装置、制御方法及びプログラムに関する。

　近年、物体の温度を検出する等の目的で、遠赤外画像が利用されている。遠赤外画像は、物体からの黒体放射によって発せられる遠赤外線を撮像素子により捕捉することによって生成される。このような遠赤外画像から生体領域等の対象領域を抽出することによって、可視光画像から直接的に抽出することが困難な当該可視光画像における特定の領域を識別することができる場合がある。そして、遠赤外画像から対象領域を抽出し、抽出した対象領域を活用する技術が提案されている。

　例えば、特許文献１では、遠赤外画像から動物の画像を切り出し、可視光画像において当該輪郭形状又は座標値に対応する画像部位を特定し、当該画像部位の可視光画像中での位置及びサイズに応じて当該画像部位の画像が所定形態となるべく、可視光線カメラが備える制御用駆動装置にパンチルト、ズームイン及びズームアウトのいずれかの処理を指示する技術が開示されている。

特開２００４－２１９２７７号公報

　上記の特許文献１に開示された技術によれば、可視光画像における画像部位の配置を調整することにより、可視光画像の品質として視認性を向上させ得ることが考えられる。ところで、可視光画像の品質を向上させるための技術分野において、可視光画像の品質として画質の向上を実現することも望まれている。具体的には、ボケ、輝度、色温度、ノイズ又はコントラスト等に関連する可視光画像の画質を向上させることが望まれている。

　そこで、本開示では、可視光画像の画質を向上させることが可能な、新規かつ改良された制御装置、制御方法及びプログラムを提案する。

　本開示によれば、遠赤外画像から対象領域を抽出する抽出部と、前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、を備える、制御装置が提供される。

　また、本開示によれば、遠赤外画像から対象領域を抽出することと、制御装置によって、前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御することと、を含む制御方法が提供される。

　また、本開示によれば、コンピュータを、遠赤外画像から対象領域を抽出する抽出部と、前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、として機能させるためのプログラムが提供される。

　以上説明したように本開示によれば、可視光画像の画質を向上させることが可能である。

　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線画像の多様な用途について説明するための説明図である。第１の実施形態に係る制御装置のハードウェア構成の一例を示すブロック図である。可視光線カメラ及び赤外線カメラによる被写体の撮像について説明するための説明図である。同実施形態に係る制御装置の機能構成の一例を示すブロック図である。赤外線カメラ及び可視光線カメラによってそれぞれ得られる遠赤外画像及び可視光画像の一例について説明するための説明図である。赤外線カメラ及び可視光線カメラによってそれぞれ得られる遠赤外画像及び可視光画像の他の例について説明するための説明図である。同実施形態に係る制御装置が行う処理の流れの一例を示すフローチャートである。同実施形態に係る制御装置が行う遠赤外画像の取得処理の流れの一例を示すフローチャートである。同実施形態に係る制御装置が行う可視光画像の撮像条件の設定処理の第１の例の流れを示すフローチャートである。可視光線カメラによって得られる可視光画像の一例について説明するための説明図である。可視光線カメラによって得られる可視光画像の一例について説明するための説明図である。同実施形態に係る制御装置が行う可視光画像の撮像条件の設定処理の第２の例の流れを示すフローチャートである。可視光線カメラによって得られる可視光画像の一例について説明するための説明図である。第２の実施形態に係る制御装置の機能構成の一例を示すブロック図である。同実施形態に係る制御装置が行う処理の流れの一例を示すフローチャートである。同実施形態に係る制御装置が行う可視光画像に対する画像処理の第１の例の流れを示すフローチャートである。ホワイトバランス処理が行われた可視光画像の一例について説明するための説明図である。同実施形態に係る制御装置が行う可視光画像に対する画像処理の第２の例の流れを示すフローチャートである。ノイズリダクション処理が行われた可視光画像の一例について説明するための説明図である。同実施形態に係る制御装置が行う可視光画像に対する画像処理の第３の例の流れを示すフローチャートである。同実施形態に係る制御装置が行う可視光画像に対する画像処理の第４の例の流れを示すフローチャートである。同実施形態に係る制御装置が行う可視光画像に対する画像処理の第５の例の流れを示すフローチャートである。第３の実施形態に係る制御装置の機能構成の一例を示すブロック図である。第３の実施形態に係る制御装置の機能構成の他の例を示すブロック図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。医療用内視鏡により撮像され得る可視光画像の一例を示す説明図である。図２７に示した可視光画像に関連して遠赤外画像から抽出され得る対象領域の一例を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．赤外線の多様な用途
　２．第１の実施形態
　　２－１．ハードウェア構成
　　２－２．機能構成
　　２－３．動作
　３．第２の実施形態
　　３－１．機能構成
　　３－２．動作
　４．第３の実施形態
　５．応用例
　　５－１．第１の応用例
　　５－２．第２の応用例
　６．まとめ

　＜１．赤外線の多様な用途＞
　図１は、波長に依存する赤外線画の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外（ＮＩＲ）領域であり、ＮＩＲ領域に属する赤外線を近赤外線という。ＮＩＲ領域の波長の上限は、定義に依存して異なるものの、２．５μｍから４．０μｍの間にあるとされることが多い。ＮＩＲ領域のうち相対的に波長の長い部分は、短波長赤外（ＳＷＩＲ）領域と呼ばれることもある。近赤外線は、例えば、暗視（ｎｉｇｈｔ　ｖｉｓｉｏｎ）、透視、光通信及び測距のために利用され得る。近赤外画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。ＮＩＲ領域に長波長側で隣接する波長領域は遠赤外（ＦＩＲ）領域であり、ＦＩＲ領域に属する赤外線を遠赤外線という。ＦＩＲ領域のうち相対的に波長の短い部分は、中波長赤外（ＭＷＩＲ）領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより遠赤外画像を生成することができる。

　物体から放射される遠赤外線のエネルギと当該物体の温度とは相関関係を有するので、当該遠赤外線を受光することによって生成された遠赤外画像から、当該遠赤外画像に映る複数の物体の温度差を検出することができる。それにより、遠赤外画像から特定の物体が映る対象領域を、他の領域と区別して抽出することができる。例えば、遠赤外画像に映る生体の温度は、当該生体の周囲の物体の温度と比較して、一般的に高いので、当該生体と周囲の物体の温度差を検出することによって、遠赤外画像から生体領域を抽出することができる。

　ここで、可視光画像における特定の領域の画質が向上するように可視光画像の画質を調整することによって、当該可視光画像の画質を向上させることができる場合がある。例えば、可視光画像において人が映る領域の輝度が適正な範囲内となるように可視光画像の輝度を調整することによって、当該可視光画像の画質を向上させ得る。上述したように、遠赤外画像から対象領域を抽出することによって、可視光画像から直接的に抽出することが困難な当該可視光画像における特定の領域を識別することができる場合がある。ゆえに、可視光画像における特定の領域の画質が向上するような可視光画像の画質の調整を、遠赤外画像から抽出した対象領域を用いることにより、実現し得ることが考えられる。そこで、本明細書では、遠赤外画像から抽出した対象領域を用いることにより、可視光画像の画質の向上を可能とするいくつかの実施形態について説明する。なお、本明細書において、可視光画像の画質という場合、可視光画像における画像部位の配置及び可視光画像の撮像におけるシャッタータイミングに関連する可視光画像の品質（画像の内容よりもむしろ撮像のアングル又はタイミングといった外的要因により評価される品質）を含まず、ボケ、輝度、色温度、ノイズ、コントラスト等、即ち画像の内容に関連する可視光画像の画質（画素値から評価可能な品質）を意味するものとする。

　＜２．第１の実施形態＞
　まず、本開示の第１の実施形態に係る制御装置１０について説明する。

　　[２－１．ハードウェア構成]
　図２は、第１の実施形態に係る制御装置１０のハードウェア構成の一例を示すブロック図である。図２に示したように、制御装置１０は、赤外線カメラ１０２と、可視光線カメラ１０４と、入力インタフェース１０６と、メモリ１０８と、ディスプレイ１１０と、通信インタフェース１１２と、ストレージ１１４と、プロセッサ１１６と、バス１１８と、を備える。

　　　（赤外線カメラ）
　赤外線カメラ１０２は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。具体的には、赤外線カメラ１０２は、ＦＩＲ領域に属する波長を有する遠赤外線を感知する撮像素子の配列を有しており、遠赤外画像を撮像する。赤外線カメラ１０２は、一定フレーム間隔で遠赤外画像を撮像してもよい。また、赤外線カメラ１０２により得られる一連の遠赤外画像は、映像を構成してもよい。

　　　（可視光線カメラ）
　可視光線カメラ１０４は、可視光線を利用した撮像を行い、可視光画像を得る撮像モジュールである。可視光線カメラ１０４は、互いに異なる波長の可視光線を感知する撮像素子の配列を有する。例えば、可視光線カメラ１０４は、赤色域、緑色域及び青色域にそれぞれ感度域を持つ撮像素子の配列を有してもよい。可視光線カメラ１０４は、各フレームにおいて可視光画像を撮像してもよい。また、可視光線カメラ１０４により得られる一連の可視光画像は、映像を構成してもよい。

　赤外線カメラ１０２及び可視光線カメラ１０４の画角は、図３に示したように、少なくとも一部が重複するように構成される。それにより、赤外線カメラ１０２及び可視光線カメラ１０４は、互いに共通する被写体Ｂ１０を映す遠赤外画像及び可視光画像をそれぞれ撮像可能である。以下、図２に戻り、制御装置１０のハードウェア構成の説明を続ける。

　　　（入力インタフェース）
　入力インタフェース１０６は、ユーザが制御装置１０を操作し又は制御装置１０へ情報を入力するために使用される。例えば、入力インタフェース１０６は、タッチセンサ、キーボード、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

　　　（メモリ）
　メモリ１０８は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１６に連結され、プロセッサ１１６により実行される処理のためのプログラム及びデータを記憶する。

　　　（ディスプレイ）
　ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１１０は、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ　ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）又はＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）などであってもよい。

　　　（通信インタフェース）
　通信インタフェース１１２は、制御装置１０と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

　　　（ストレージ）
　ストレージ１１４は、赤外線画像及び可視光画像を含み得る画像データを蓄積し又は赤外線画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、制御装置１０の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

　　　（プロセッサ）
　プロセッサ１１６は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などの処理モジュールである。プロセッサ１１６は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、可視光画像の画質を向上させるための機能を動作させる。

　　　（バス）
　バス１１８は、赤外線カメラ１０２、可視光線カメラ１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、ストレージ１１４及びプロセッサ１１６を相互に接続する。

　　[２－２．機能構成]
　続いて、図４を参照して、第１の実施形態に係る制御装置１０の機能構成について説明する。

　図４は、図２に示した制御装置１０の構成要素が互いに連係することにより実現される機能構成の一例を示すブロック図である。図４に示したように、制御装置１０は、赤外線画像取得部１５２と、可視光画像取得部１５４と、記憶部１５６と、抽出部１５８と、制御部１６０と、を備える。

　　　（赤外線画像取得部）
　赤外線画像取得部１５２は、遠赤外画像を取得し、取得した遠赤外画像を抽出部１５８へ出力する。例えば、赤外線画像取得部１５２は、赤外線カメラ１０２により得られた遠赤外画像を取得してもよい。なお、赤外線画像取得部１５２は、赤外線カメラ１０２そのものであってもよい。また、赤外線画像取得部１５２は、記憶部１５６に記憶されている遠赤外画像を取得してもよい。また、赤外線画像取得部１５２は、通信インタフェース１１２を介して他の装置から得られる遠赤外画像を取得してもよい。赤外線画像取得部１５２により取得される遠赤外画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。また、赤外線画像取得部１５２は、圧縮符号化された符号化ストリームから遠赤外画像を復号してもよい。

　赤外線画像取得部１５２は、各フレームにおいて、遠赤外画像を取得してもよい。具体的には、赤外線画像取得部１５２は、現在のフレームが赤外線カメラ１０２により遠赤外線画像が撮像されるフレームである撮像フレームである場合、現在のフレームにおいて赤外線カメラ１０２により得られる遠赤外画像を取得する。一方、赤外線画像取得部１５２は、現在のフレームが赤外線カメラ１０２により遠赤外画像が撮像されないフレームである場合、直近の撮像フレームにおいて赤外線カメラ１０２により得られた遠赤外画像を取得する。

　　　（可視光画像取得部）
　可視光画像取得部１５４は、可視光画像を取得し、取得した可視光画像を制御部１６０へ出力する。具体的には、可視光画像取得部１５４は、赤外線画像取得部１５２により取得される遠赤外画像と共通する被写体を映した可視光画像を取得する。可視光画像取得部１５４は、例えば、可視光線カメラ１０４により得られた可視光画像を取得してもよい。なお、可視光画像取得部１５４は、可視光線カメラ１０４そのものであってもよい。また、可視光画像取得部１５４は、記憶部１５６に記憶されている可視光画像を取得してもよい。また、可視光画像取得部１５４は、通信インタフェース１１２を介して他の装置から得られる可視光画像を取得してもよい。可視光画像取得部１５４により取得される可視光画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。また、可視光画像取得部１５４は、圧縮符号化された符号化ストリームから可視光画像を復号してもよい。可視光画像取得部１５４により取得される可視光画像の画角は、赤外線画像取得部１５２により取得される赤外線画像の画角と重なる（理想的には一致する）ように校正されているものとする。

　可視光画像取得部１５４は、各フレームにおいて、現在のフレームについて可視光線カメラ１０４により得られる可視光画像を取得する。

　　　（記憶部）
　記憶部１５６は、抽出部１５８が行う対象領域の抽出処理及び制御部１６０が行う撮像条件の設定処理のために参照されるデータを記憶する。例えば、記憶部１５６は、赤外線カメラ１０２により得られた各撮像フレームにおける遠赤外画像及び可視光線カメラ１０４により得られた各フレームにおける可視光画像を記憶する。

　　　（抽出部）
　抽出部１５８は、遠赤外画像から対象領域を抽出する。具体的には、抽出部１５８は、赤外線画像取得部１５２により取得された遠赤外画像から対象領域を抽出し、抽出結果を制御部１６０へ出力する。抽出部１５８は、例えば、遠赤外画像において、所定の温度範囲内の温度に対応する画素値を有する領域を対象領域として抽出する。所定の温度範囲は、対象領域の種類に応じて適宜設定され得る。対象領域は、具体的には、人を含む生体が映る生体領域であってもよく、空が映る空領域であってもよい。図５及び図６は、赤外線カメラ１０２及び可視光線カメラ１０４によってそれぞれ得られる遠赤外画像及び可視光画像の一例について説明するための説明図である。図５及び図６において、右側の図では、赤外線カメラ１０２によって得られる遠赤外画像が概念的に示されており、区域ごとに付されたハッチングの濃淡は画素値の異同を示す。当該ハッチングが濃い区域ほど、画素値が低い区域であるので、当該区域に映る被写体の温度は低い。一方、左側の図では、可視光線カメラ１０４によって得られる可視光画像が概念的に示されており、区域ごとに付されたハッチングの濃淡は画素値の輝度成分の異同を示す。当該ハッチングが濃い区域ほど、輝度が低い区域である。なお、後述する図１０、図１１、図１３、図１７及び図１９において、図５及び図６の左側の図と同様に、可視光線カメラ１０４によって得られる可視光画像が概念的に示され、区域ごとに付されたハッチングの濃淡は画素値の輝度成分の異同を示す。

　図５では、被写体として人Ｂ２０が可視光画像及び遠赤外画像に映っている。抽出部１５８は、例えば、遠赤外画像において、３５℃近傍の温度範囲内の温度に対応する画素値を有する領域を人Ｂ２０が映る対象領域である人領域Ｃ２０として抽出する。人Ｂ２０の温度は、人Ｂ２０の周囲の物体の温度と比較して高いので、図５に示したように、遠赤外画像において、人Ｂ２０が映る人領域Ｃ２０の画素値と他の領域の画素値との差が生じる。一方、可視光画像における画素値は被写体の有する色に依存するので、可視光画像における各領域の画素値の比較によって、可視光画像から直接的に当該可視光画像における人Ｂ２０が映る領域を抽出することが困難な場合がある。

　第１の実施形態では、抽出部１５８は、上述した遠赤外画像における人領域Ｃ２０の画素値と他の領域の画素値との差を利用することによって、遠赤外画像から人Ｂ２０が映る人領域Ｃ２０を抽出することができる。ゆえに、可視光画像から直接的に抽出することが困難な当該可視光画像における人Ｂ２０が映る領域を、人領域Ｃ２０に対応する対応領域Ｄ２０として識別することができる。

　また、図６では、被写体として空Ｂ３０が可視光画像及び遠赤外画像に映っている。抽出部１５８は、例えば、遠赤外画像において、－２０℃近傍の温度範囲内の温度に対応する画素値を有する領域を空Ｂ３０が映る対象領域である空領域Ｃ３０として抽出する。空Ｂ３０の温度は、空Ｂ３０の周囲の物体の温度と比較して低いので、図６に示したように、遠赤外画像において、空Ｂ３０が映る空領域Ｃ３０の画素値と他の領域の画素値との差が生じる。一方、可視光画像における画素値は被写体の有する色に依存するので、可視光画像における各領域の画素値の比較によって、可視光画像から直接的に当該可視光画像における空Ｂ３０が映る領域を抽出することが困難な場合がある。

　第１の実施形態では、抽出部１５８は、上述した遠赤外画像における空領域Ｃ３０の画素値と他の領域の画素値との差を利用することによって、遠赤外画像から空Ｂ３０が映る空領域Ｃ３０を抽出することができる。ゆえに、可視光画像から直接的に抽出することが困難な当該可視光画像における空Ｂ３０が映る領域を、空領域Ｃ３０に対応する対応領域Ｄ３０として識別することができる。

　　　（制御部）
　制御部１６０は、遠赤外画像と共通する被写体を映した可視光画像において抽出部１５８により抽出された対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する。具体的には、制御部１６０は、可視光画像取得部１５４により取得された可視光画像において抽出部１５８により抽出された対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する。それにより、本開示に係る制御装置によれば、以下で説明するように、可視光画像における特定の領域の画質が向上するように可視光画像の画質を調整することができる。ゆえに、可視光画像の画質を向上させることができる。

　第１の実施形態に係る制御部１６０は、具体的には、可視光線カメラ１０４による可視光画像の撮像条件を、対応領域に基づいて設定することによって、当該可視光画像の画質を制御する。可視光線カメラ１０４は、制御部１６０によって設定された撮像条件に基づいて、可視光画像の撮像を行うように構成される。例えば、制御部１６０から可視光線カメラ１０４へ動作指示が出力されることによって、制御部１６０により設定された撮像条件に基づく可視光画像の撮像が実現されてもよい。また、制御装置１０と異なる装置によって可視光線カメラ１０４の動作が制御される場合、制御部１６０から当該装置へ動作指示が出力されることによって、制御部１６０により設定された撮像条件に基づく可視光画像の撮像が実現されてもよい。制御部１６０は、可視光画像の撮像条件の設定処理を各フレームにおいて行ってもよい。

　図４に示したように、制御部１６０は、判定部１６２と、撮像条件設定部１６４と、を含む。判定部１６２は、可視光画像の撮像条件の設定処理を行うか否かを、対応領域に基づいて、判定し、判定結果を撮像条件設定部１６４へ出力する。撮像条件設定部１６４は、判定部１６２からの判定結果に基づいて、可視光画像の撮像条件の設定処理を行う。

　制御部１６０は、例えば、撮像条件として可視光線カメラ１０４の焦点距離を、対応領域における合焦度に基づいて設定する。ここで、合焦度は、合焦している度合いを示す値である。この場合に、判定部１６２は、例えば、対応領域における合焦度として、ボケ量に関連する指標値であるボケ量指標値を算出する。判定部１６２は、対応領域におけるボケ量指標値が所定の値より小さいか否かに応じて、可視光画像の撮像条件の設定処理を行うか否かを判定する。具体的には、判定部１６２は、対応領域におけるボケ量指標値が所定の値より小さくない場合、可視光画像の撮像条件の設定処理を行うと判定し、判定結果を撮像条件設定部１６４へ出力する。ボケ量指標値は、ボケの度合いと関連する値であり、判定部１６２は、例えば、対応領域内において隣接する画素のペアのそれぞれについて、当該ペアを構成する画素の画素値の差を算出し、当該画素値の差の合計値を、対応領域におけるボケ量指標値として、算出してもよい。この場合、合焦度が高いほど当該ボケ量指標値は小さくなる。

　撮像条件設定部１６４は、判定部１６２により可視光画像の撮像条件の設定処理を行うと判定された場合に、可視光線カメラ１０４の焦点距離を当該ボケ量指標値に基づいて設定する。換言すると、撮像条件設定部１６４は、対応領域におけるボケ量指標値が所定の値より小さくない場合に、可視光線カメラ１０４の焦点距離を当該ボケ量指標値に基づいて設定する。当該所定の値は、対応領域においてボケが適切に抑制されたか否かを判断し得る値に設定される。撮像条件設定部１６４は、例えば、算出された対応領域におけるボケ量指標値に応じて、焦点距離の変更量及び変更方向を算出してもよい。具体的には、撮像条件設定部１６４は、算出された対応領域におけるボケ量指標値と当該所定の値との差に応じて焦点距離の変更量を算出してもよい。また、撮像条件設定部１６４は、１フレーム前のフレームにおいて行った焦点距離の設定処理によってボケ量指標値が減少した場合、１フレーム前のフレームの当該設定処理における焦点距離の変更方向と同一の方向を現在のフレームの焦点距離の変更方向として算出してもよい。一方、撮像条件設定部１６４は、１フレーム前のフレームにおいて行った焦点距離の設定処理によってボケ量指標値が増大した場合、１フレーム前のフレームの当該設定処理における焦点距離の変更方向と逆の方向を現在のフレームの焦点距離の変更方向として算出してもよい。

　また、制御部１６０は、撮像条件として可視光線カメラ１０４のシャッタ速度及び絞り値の少なくとも１つを、対応領域における輝度に基づいて設定してもよい。この場合に、判定部１６２は、対応領域における露出の度合いを示す値として輝度に関連する輝度指標値を算出する。判定部１６２は、対応領域における輝度指標値が所定の範囲内の値であるか否かに応じて、可視光画像の撮像条件の設定処理を行うか否かを判定する。具体的には、判定部１６２は、対応領域における輝度指標値が所定の範囲内の値でない場合、可視光画像の撮像条件の設定処理を行うと判定し、判定結果を撮像条件設定部１６４へ出力する。判定部１６２は、例えば、対応領域における各画素の画素値の輝度成分の最大値を対応領域における輝度指標値として算出する。また、判定部１６２は、対応領域における各画素の画素値の輝度成分の平均値を対応領域における輝度指標値として算出してもよい。

　撮像条件設定部１６４は、判定部１６２により可視光画像の撮像条件の設定処理を行うと判定された場合に、可視光線カメラ１０４のシャッタ速度及び絞り値の少なくとも１つを当該輝度指標値に基づいて設定する。換言すると、撮像条件設定部１６４は、対応領域における輝度指標値が所定の範囲内の値でない場合に、可視光線カメラ１０４のシャッタ速度及び絞り値の少なくとも１つを当該輝度指標値に基づいて設定する。当該所定の範囲は、対応領域において輝度が適切に調整されたか否かを判断し得る値の範囲に設定される。撮像条件設定部１６４は、例えば、算出された対応領域における輝度指標値に応じてシャッタ速度及び絞り値の少なくとも１つを算出してもよい。具体的には、撮像条件設定部１６４は、当該所定の範囲における上限値及び下限値の平均値と算出された対応領域における輝度指標値との差に応じてシャッタ速度及び絞り値の少なくとも１つを算出してもよい。

　　［２－３．動作］
　続いて、第１の実施形態に係る制御装置１０が行う処理の流れについて説明する。以下では、一例として、図５に示した遠赤外画像及び可視光画像が赤外線画像取得部１５２及び可視光画像取得部１５４によりそれぞれ取得された場合の処理の流れの一例について説明する。

　図７は、第１の実施形態に係る制御装置１０が行う処理の流れの一例を示すフローチャートである。図７に示したように、まず、可視光画像取得部１５４は、可視光画像を取得する（ステップＳ２０２）。そして、赤外線画像取得部１５２は、遠赤外画像を取得する（ステップＳ３００）。次に、抽出部１５８は、赤外線画像取得部１５２により取得された遠赤外画像から、図５に示した人領域Ｃ２０を対象領域として抽出する（ステップＳ２０４）。そして、制御部１６０は、可視光線カメラ１０４による可視光画像の撮像条件を、可視光画像において対象領域Ｃ２０に対応する対応領域Ｄ２０に基づいて設定し（ステップＳ４００）、図７に示した処理は終了する。

　図８は、第１の実施形態に係る制御装置１０が行う遠赤外画像の取得処理（図７におけるステップＳ３００の処理）の流れの一例を示すフローチャートである。図８に示したように、遠赤外画像の取得処理では、まず、赤外線画像取得部１５２は、現在のフレームが赤外線カメラ１０２により遠赤外画像が撮像されるフレームである撮像フレームであるか否かについて判定する（ステップＳ３０２）。現在のフレームが撮像フレームであると判定された場合（ステップＳ３０２／ＹＥＳ）、赤外線画像取得部１５２は、現在のフレームにおいて赤外線カメラ１０２により得られる遠赤外画像を取得し（ステップＳ３０４）、図８に示した処理は終了する。一方、現在のフレームが撮像フレームであると判定されなかった場合（ステップＳ３０２／ＮＯ）、赤外線画像取得部１５２は、直近の撮像フレームにおいて赤外線カメラ１０２により得られた遠赤外画像を取得し（ステップＳ３０６）、図８に示した処理は終了する。

　続いて、第１の実施形態に係る制御装置１０が行う可視光画像の撮像条件の設定処理（図７におけるステップＳ４００の処理）の流れについてより詳細に説明する。

　図９は、第１の実施形態に係る制御装置１０が行う可視光画像の撮像条件の設定処理の第１の例の流れを示すフローチャートである。図９に示したように、可視光画像の撮像条件の設定処理の第１の例では、まず、判定部１６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０におけるボケ量指標値を算出する（ステップＳ４１２）。そして、判定部１６２は、対応領域Ｄ２０におけるボケ量指標値が所定の値より小さいか否かに応じて、可視光画像の撮像条件の設定処理を行うか否かを判定する（ステップＳ４１４）。対応領域Ｄ２０におけるボケ量指標値が所定の値より小さい場合、判定部１６２は、可視光画像の撮像条件の設定処理を行わないと判定し（ステップＳ４１４／ＹＥＳ）、図９に示した処理は終了する。一方、対応領域Ｄ２０におけるボケ量指標値が所定の値より小さくない場合、判定部１６２は、可視光画像の撮像条件の設定処理を行うと判定し（ステップＳ４１４／ＮＯ）、撮像条件設定部１６４は、算出された対応領域Ｄ２０におけるボケ量指標値に応じて、可視光線カメラ１０４の焦点距離の変更量及び変更方向を算出する（ステップＳ４１６）。そして、撮像条件設定部１６４は、可視光線カメラ１０４の焦点距離を設定し（ステップＳ４１８）、図９に示した処理は終了する。

　図５に示した被写体を可視光線カメラ１０４によって撮像する場合において、人Ｂ２０と異なるオブジェクトＢ２２に焦点が合うように焦点距離が設定される場合がある。このような場合において、可視光線カメラ１０４から人Ｂ２０及びオブジェクトＢ２２までのそれぞれの距離の差に起因して、図１０に示したように、人Ｂ２０を示す画像の合焦度が低下し得る。一方、可視光画像の撮像条件の設定処理の第１の例によれば、制御部１６０は、可視光線カメラ１０４の焦点距離を、人領域Ｃ２０に対応する対応領域Ｄ２０における合焦度に基づいて設定するので、例えば、図１１に示したように、対応領域Ｄ２０においてボケを抑制することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０のボケに関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　図１２は、第１の実施形態に係る制御装置１０が行う可視光画像の撮像条件の設定処理の第２の例の流れを示すフローチャートである。図１２に示したように、可視光画像の撮像条件の設定処理の第２の例では、まず、判定部１６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０における輝度指標値を算出する（ステップＳ４２２）。そして、判定部１６２は、対応領域Ｄ２０における輝度指標値が所定の範囲内の値であるか否かに応じて、可視光画像の撮像条件の設定処理を行うか否かを判定する（ステップＳ４２４）。対応領域Ｄ２０における輝度指標値が所定の範囲内の値である場合、判定部１６２は、可視光画像の撮像条件の設定処理を行わないと判定し（ステップＳ４２４／ＹＥＳ）、図１２に示した処理は終了する。一方、対応領域Ｄ２０における輝度指標値が所定の範囲内の値でない場合、判定部１６２は、可視光画像の撮像条件の設定処理を行うと判定し（ステップＳ４２４／ＮＯ）、撮像条件設定部１６４は、算出された対応領域Ｄ２０における輝度指標値に応じて、可視光線カメラ１０４のシャッタ速度及び絞り値の少なくとも１つを算出する（ステップＳ４２６）。そして、撮像条件設定部１６４は、可視光線カメラ１０４のシャッタ速度及び絞り値の少なくとも１つを設定し（ステップＳ４２８）、図１２に示した処理は終了する。

　可視光線カメラ１０４のシャッタ速度及び絞り値の設定値に応じて、可視光画像の輝度は画像全体で変化し得る。例えば、シャッタ速度及び絞り値の設定値として、図５に示した可視光画像の撮像における設定値と異なる設定値を用いた撮像により得られた図１３に示す可視光画像では、図５に示した可視光画像と比較して、画像全体で輝度が高い。このような場合において、人Ｂ２０と異なるオブジェクトＢ２２が映る領域の輝度は適切な範囲内であるが、人Ｂ２０が映る領域の輝度が適切な範囲を超えて過度に高くなる場合がある。なお、人Ｂ２０が映る領域の輝度が適切な範囲を超えて過度に低くなる場合も同様に考えられる。一方、可視光画像の撮像条件の設定処理の第２の例によれば、制御部１６０は、可視光線カメラ１０４のシャッタ速度及び絞り値の少なくとも１つを、人領域Ｃ２０に対応する対応領域Ｄ２０における輝度に基づいて設定するので、対応領域Ｄ２０において輝度を適切に調整することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０の輝度に関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　以上、説明したように、第１の実施形態に係る制御装置１０によれば、制御部１６０は、可視光画像の撮像条件を、対応領域に基づいて設定することによって、可視光画像取得部１５４により取得される可視光画像の画質を制御する。それにより、可視光画像における特定の領域の画質が向上するように可視光画像の撮像条件を設定することが可能である。ゆえに、可視光画像の画質を向上させることができる。

　＜３．第２の実施形態＞
　上述では、可視光線カメラ１０４による可視光画像の撮像条件を、対応領域に基づいて設定することによって、可視光画像取得部１５４により取得される可視光画像の画質を制御する例について説明した。以下では、可視光画像取得部１５４により取得された可視光画像に対して、対応領域に基づいて、画像処理を行うことにより、当該可視光画像の画質を制御する第２の実施形態について説明する。

　　［３－１．機能構成］
　第２の実施形態に係る制御装置１２のハードウェア構成は、図２を参照して説明した制御装置１０のハードウェア構成と同様であってもよい。図１４は、第２の実施形態に係る制御装置１２の機能構成の一例を示すブロック図である。図１４に示したように、第２の実施形態に係る制御装置１２において、制御部２６０は、第１の実施形態に係る制御装置１０と異なり、判定部２６２と、画像処理部２６４と、を含む。

　第２の実施形態に係る制御部２６０は、可視光画像に対して、対応領域に基づいて、画像処理を行うことにより、当該可視光画像の画質を制御する。具体的には、第２の実施形態に係る制御部２６０は、可視光画像取得部１５４により取得された可視光画像に対して、対応領域に基づいて、画像処理を行うことにより、当該可視光画像の画質を制御する。例えば、制御部２６０は、記憶部１５６に記憶されている当該画像処理が行われる前の可視光画像を当該画像処理が行われた後の可視光画像へ書き換えることによって、可視光画像取得部１５４により取得された可視光画像の画質を制御してもよい。制御部２６０は、可視光画像に対する画像処理を各フレームにおいて行ってもよい。なお、制御部２６０が行う可視光画像に対する画像処理のために参照されるデータは記憶部１５６に記憶され得る。

　判定部２６２は、可視光画像に対する画像処理を行うか否かを、対応領域に基づいて、判定し、判定結果を画像処理部２６４へ出力する。画像処理部２６４は、判定部２６２からの判定結果に基づいて、可視光画像に対する画像処理を行う。

　制御部２６０は、例えば、対応領域における色温度に基づいて、可視光画像取得部１５４により取得された可視光画像のホワイトバランスを調整する画像処理を行う。ここで、色温度は、色を温度として例えて表現した値であり、画素値のＲ成分、Ｇ成分及びＢ成分に応じて算出され得る。この場合に、判定部２６２は、対応領域における色温度に関連する色温度指標値を算出する。判定部２６２は、対応領域における色温度指標値が所定の範囲内の値であるか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する。具体的には、判定部２６２は、対応領域における色温度指標値が所定の範囲内の値でない場合、可視光画像に対する画像処理を行うと判定し、判定結果を画像処理部２６４へ出力する。判定部２６２は、例えば、対応領域における各画素の色温度の平均値を対応領域における色温度指標値として算出する。

　画像処理部２６４は、判定部２６２により可視光画像に対する画像処理を行うと判定された場合に、可視光画像取得部１５４により取得された可視光画像のホワイトバランスを、当該色温度指標値に基づいて、調整する画像処理を行う。換言すると、画像処理部２６４は、対応領域における色温度指標値が所定の範囲内の値でない場合に、可視光画像取得部１５４により取得された可視光画像のホワイトバランスを、当該色温度指標値に基づいて、調整する画像処理を行う。当該所定の範囲は、対応領域において色温度が適切に調整されたか否かを判断し得る値の範囲に設定される。画像処理部２６４は、例えば、算出された対応領域における色温度指標値に応じて、Ｒ成分、Ｇ成分及びＢ成分の補正ゲイン値を算出し、当該各補正ゲイン値を画素値のＲ成分、Ｇ成分及びＢ成分の各々に乗じるホワイトバランス処理を行うことによって、ホワイトバランスを調整してもよい。画像処理部２６４は、具体的には、対応領域が人を映す領域である場合に、対応領域における色温度指標値が人の肌の色に対応する色温度となるように、画素値のＲ成分、Ｇ成分及びＢ成分の補正ゲインを算出してもよい。

　また、制御部２６０は、対応領域におけるノイズ量に基づいて、可視光画像取得部１５４により取得された可視光画像のノイズを抑制する画像処理を行ってもよい。この場合に、判定部２６２は、対応領域におけるノイズ量に関連するノイズ量指標値を算出する。判定部２６２は、対応領域におけるノイズ量指標値が所定の値より小さいか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する。具体的には、判定部２６２は、対応領域におけるノイズ量指標値が所定の値より小さくない場合、可視光画像に対する画像処理を行うと判定し、判定結果を画像処理部２６４へ出力する。判定部２６２は、例えば、対応領域における各画素に対してハイパスフィルタ処理を行い、ハイパスフィルタ処理後の画素値の対応領域における平均値を対応領域におけるノイズ量指標値として算出する。

　画像処理部２６４は、判定部２６２により可視光画像に対する画像処理を行うと判定された場合に、可視光画像取得部１５４により取得された可視光画像のノイズを、当該ノイズ量指標値に基づいて、抑制する画像処理を行う。換言すると、画像処理部２６４は、対応領域におけるノイズ量指標値が所定の値より小さくない場合に、可視光画像取得部１５４により取得された可視光画像のノイズを、当該ノイズ量指標値に基づいて、抑制する画像処理を行う。当該所定の値は、対応領域においてノイズが適切に抑制されたか否かを判断し得る値に設定される。画像処理部２６４は、例えば、算出された対応領域におけるノイズ量指標値に応じて、ノイズ抑制の強度を規定するノイズリダクション強度パラメータとしてフィルタタップ及びフィルタ係数の少なくとも１つを算出し、当該パラメータを含むローパスフィルタを用いたフィルタリング処理であるノイズリダクション処理を行うことによって、ノイズを抑制してもよい。画像処理部２６４は、具体的には、対応領域が人を映す領域である場合に、対応領域におけるノイズ量指標値が人を映す領域として適切な値となるように、フィルタタップ及びフィルタ係数の少なくとも１つを算出してもよい。

　また、制御部２６０は、対応領域におけるボケ量に基づいて、可視光画像取得部１５４により取得された可視光画像のボケを低減し又は強調する画像処理を行ってもよい。この場合に、判定部２６２は、対応領域におけるボケ量に関連するボケ量指標値を算出する。判定部２６２は、対応領域におけるボケ量指標値が所定の値より小さいか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する。具体的には、判定部２６２は、対応領域におけるボケ量指標値が所定の値より小さくない場合、可視光画像に対する画像処理を行うと判定し、判定結果を画像処理部２６４へ出力する。判定部２６２は、対応領域内において隣接する画素のペアのそれぞれについて、当該ペアを構成する画素の画素値の差を算出し、当該画素値の差の合計値を、対応領域におけるボケ量指標値として、算出してもよい。

　画像処理部２６４は、判定部２６２により可視光画像に対する画像処理を行うと判定された場合に、可視光画像取得部１５４により取得された可視光画像のボケを、当該ボケ量指標値に基づいて、低減し又は強調する画像処理を行う。換言すると、画像処理部２６４は、対応領域におけるボケ量指標値が所定の値より小さくない場合に、可視光画像取得部１５４により取得された可視光画像のボケを、当該ボケ量指標値に基づいて、低減し又は強調する画像処理を行う。当該所定の値は、対応領域においてボケが適切に低減又は強調されたか否かを判断し得る値に設定される。画像処理部２６４は、例えば、算出された対応領域におけるボケ量指標値に応じて、ボケ抑制の強度を規定するボケ抑制強度パラメータとして補正係数であるＰＳＦの逆関数を算出し、当該逆関数を用いたフィルタリング処理であるデブラー処理を行うことによって、ボケを低減又は強調してもよい。画像処理部２６４は、具体的には、対応領域が人を映す領域である場合に、対応領域におけるボケが人を映す領域として適切に低減又は強調されるように、ＰＳＦの逆関数を算出してもよい。

　また、制御部２６０は、対応領域における輝度に基づいて、可視光画像取得部１５４により取得された可視光画像の輝度ダイナミックレンジを調整する画像処理を行ってもよい。この場合に、判定部２６２は、対応領域における輝度に関連する輝度指標値を算出する。判定部２６２は、対応領域における輝度指標値が所定の範囲内の値であるか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する。具体的には、判定部２６２は、対応領域における輝度指標値が所定の範囲内の値でない場合、可視光画像に対する画像処理を行うと判定し、判定結果を画像処理部２６４へ出力する。判定部２６２は、例えば、対応領域における各画素の画素値の輝度成分の最大値を対応領域における輝度指標値として算出する。また、判定部２６２は、対応領域における各画素の画素値の輝度成分の平均値を対応領域における輝度指標値として算出してもよい。

　画像処理部２６４は、判定部２６２により可視光画像に対する画像処理を行うと判定された場合に、可視光画像取得部１５４により取得された可視光画像の輝度ダイナミックレンジを、当該輝度指標値に基づいて、調整する画像処理を行う。換言すると、画像処理部２６４は、対応領域における輝度指標値が所定の範囲内の値でない場合に、可視光画像取得部１５４により取得された可視光画像の輝度ダイナミックレンジを、当該輝度指標値に基づいて、調整する画像処理を行う。当該所定の範囲は、対応領域において輝度が適切に調整されたか否かを判断し得る値の範囲に設定され得る。画像処理部２６４は、例えば、算出された対応領域における輝度指標値に応じて、画素値の輝度成分の各値についての変換前後の値の関係性を規定するトーンマップ曲線を算出し、当該トーンマップ曲線に基づく輝度成分の変換処理であるトーンマッピング処理を行うことによって、輝度ダイナミックレンジを調整してもよい。画像処理部２６４は、具体的には、対応領域が人を映す領域である場合に、対応領域における輝度が人を映す領域として適切に調整されるように、トーンマップ曲線を算出してもよい。

　また、制御部２６０は、対応領域におけるコントラストに基づいて、可視光画像取得部１５４により取得された可視光画像のコントラストを強調する画像処理を行ってもよい。この場合に、判定部２６２は、対応領域におけるコントラストに関連するコントラスト指標値を算出する。判定部２６２は、対応領域におけるコントラスト指標値が所定の値より大きいか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する。具体的には、判定部２６２は、対応領域におけるコントラスト指標値が所定の値より大きくない場合、可視光画像に対する画像処理を行うと判定し、判定結果を画像処理部２６４へ出力する。判定部２６２は、例えば、対応領域における各画素の輝度成分のうち、最小の値と最大の値との差を対応領域におけるコントラスト指標値として算出する。

　画像処理部２６４は、判定部２６２により可視光画像に対する画像処理を行うと判定された場合に、可視光画像取得部１５４により取得された可視光画像のコントラストを、当該コントラスト指標値に基づいて、強調する画像処理を行う。換言すると、画像処理部２６４は、対応領域におけるコントラスト指標値が所定の値より大きくない場合に、可視光画像取得部１５４により取得された可視光画像のコントラストを、当該コントラスト指標値に基づいて、強調する画像処理を行う。当該所定の値は、対応領域においてコントラストが適切に強調されたか否かを判断し得る値に設定される。画像処理部２６４は、例えば、算出された対応領域におけるコントラスト指標値に応じて、コントラスト強調の強度を規定するコントラスト強度パラメータとしてゲイン値を算出し、当該ゲイン値を各画素の輝度成分に乗じる処理であるコントラスト強調処理を行うことによって、コントラストを強調してもよい。画像処理部２６４は、具体的には、対応領域が人を映す領域である場合に、対応領域におけるコントラストが人を映す領域として適切に強調されるように、ゲイン値を算出してもよい。

　また、制御部２６０は、可視光画像取得部により取得された可視光画像の対応領域及び他の領域に対して、互いに異なる処理条件で、画像処理を行ってもよい。例えば、抽出部１５８によって、複数の対象領域が抽出された場合に、制御部２６０は、可視光画像において当該複数の対象領域にそれぞれ対応する複数の対応領域に対して、互いに異なる処理条件で、画像処理を行ってもよい。具体的には、抽出部１５８によって、抽出された生体が映る生体領域及び空が映る空領域が対象領域として抽出された場合に、制御部２６０は、生体領域に対応する対応領域と、空領域に対応する対応領域について、互いに異なる処理条件で、画像処理を行ってもよい。

　　［３－２．動作］
　続いて、第２の実施形態に係る制御装置１２が行う処理の流れについて説明する。以下では、一例として、図５に示した遠赤外画像及び可視光画像が赤外線画像取得部１５２及び可視光画像取得部１５４によりそれぞれ取得された場合の処理の流れについて説明する。

　図１５は、第２の実施形態に係る制御装置１２が行う処理の流れの一例を示すフローチャートである。図７を参照して説明した第１の実施形態に係る制御装置１０が行う処理の流れと比較して、人領域Ｃ２０の抽出処理（ステップＳ２０４）の後の処理が異なる。図１５に示したように、第２の実施形態では、ステップＳ２０４の後、制御部２６０は、可視光画像取得部１５４により取得された可視光画像に対して、対応領域に基づいて、画像処理を行い（ステップＳ５００）、図１５に示した処理は終了する。

　続いて、第２の実施形態に係る制御装置１２が行う可視光画像に対する画像処理（図１５におけるステップＳ５００の処理）の流れについてより詳細に説明する。

　図１６は、第２の実施形態に係る制御装置１２が行う可視光画像に対する画像処理の第１の例の流れを示すフローチャートである。図１６に示したように、可視光画像に対する画像処理の第１の例では、まず、判定部２６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０における色温度指標値を算出する（ステップＳ５１２）。そして、判定部２６２は、対応領域Ｄ２０における色温度指標値が所定の範囲内の値であるか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する（ステップＳ５１４）。対応領域Ｄ２０における色温度指標値が所定の範囲内の値である場合、判定部２６２は、可視光画像に対する画像処理を行わないと判定し（ステップＳ５１４／ＹＥＳ）、図１６に示した処理は終了する。一方、対応領域Ｄ２０における色温度指標値が所定の範囲内の値でない場合、判定部２６２は、可視光画像に対する画像処理を行うと判定し（ステップＳ５１４／ＮＯ）、画像処理部２６４は、算出された対応領域Ｄ２０における色温度指標値に応じて、Ｒ成分、Ｇ成分及びＢ成分の補正ゲイン値を算出する（ステップＳ５１６）。そして、画像処理部２６４は、当該各補正ゲイン値を画素値のＲ成分、Ｇ成分及びＢ成分の各々に乗じるホワイトバランス処理を行い（ステップＳ５１８）、図１６に示した処理は終了する。

　可視光画像に対してホワイトバランス処理を行う場合において、ホワイトバランスの設定に応じて、可視光画像の色温度は画面全体で変化し得る。図１７は、図５に示した可視光画像に対してホワイトバランス処理を行うことにより得られた可視光画像の一例を示す。図１７における可視光画像では、図５に示した可視光画像と比較して、色温度が画面全体で過度に低下したことが、輝度を示すハッチングの濃淡の変化により示されている。このような場合において、人Ｂ２０を映す領域である対応領域Ｄ２０における色温度と人の肌の色に対応する色温度との差が過度に大きくなり得る。一方、可視光画像に対する画像処理の第１の例によれば、制御部２６０は、可視光画像取得部１５４により取得された可視光画像のホワイトバランスを、人領域Ｃ２０に対応する対応領域Ｄ２０における色温度に基づいて調整する画像処理を行うので、対応領域Ｄ２０において色温度を適切に調整することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０の色温度に関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　また、可視光画像に対する画像処理の第１の例では、制御部２６０は、可視光画像において該複数の対象領域にそれぞれ対応する複数の対応領域に対して、互いに異なる補正ゲイン値に基づくホワイトバランス処理を行ってもよい。

　図１８は、第２の実施形態に係る制御装置１２が行う可視光画像に対する画像処理の第２の例の流れを示すフローチャートである。図１８に示したように、可視光画像に対する画像処理の第２の例では、まず、判定部２６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０におけるノイズ量指標値を算出する（ステップＳ５２２）。そして、判定部２６２は、対応領域Ｄ２０におけるノイズ量指標値が所定の値より小さいか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する（ステップＳ５２４）。対応領域Ｄ２０におけるノイズ量指標値が所定の値より小さい場合、判定部２６２は、可視光画像に対する画像処理を行わないと判定し（ステップＳ５２４／ＹＥＳ）、図１８に示した処理は終了する。一方、対応領域Ｄ２０におけるノイズ量指標値が所定の値より小さくない場合、判定部２６２は、可視光画像に対する画像処理を行うと判定し（ステップＳ５２４／ＮＯ）、画像処理部２６４は、算出された対応領域Ｄ２０におけるノイズ量指標値に応じて、ノイズリダクション強度パラメータを算出する（ステップＳ５２６）。そして、画像処理部２６４は、当該パラメータに基づくノイズリダクション処理を行い（ステップＳ５２８）、図１８に示した処理は終了する。

　可視光画像に対してノイズリダクション処理を行う場合において、可視光画像のノイズが抑制されることによって、可視光画像のボケが全体的に強調され得る。例えば、図５に示した可視光画像に対してノイズリダクション処理を行った場合において、図１９に示すように、図５に示した可視光画像と比較して、可視光画像のボケが全体的に強調され得る。それにより、人Ｂ２０を映す領域である対応領域Ｄ２０におけるボケが強調され得る。一方、可視光画像に対する画像処理の第２の例によれば、制御部２６０は、可視光画像取得部１５４により取得された可視光画像のノイズを、人領域Ｃ２０に対応する対応領域Ｄ２０におけるノイズ量に基づいて抑制する画像処理を行うので、対応領域Ｄ２０においてノイズを適切に抑制することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０のボケに関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　また、可視光画像に対する画像処理の第２の例では、制御部２６０は、可視光画像において複数の対象領域にそれぞれ対応する複数の対応領域に対して、互いに異なるノイズリダクション強度パラメータに基づくノイズリダクション処理を行ってもよい。例えば、制御部２６０は、人が映る対応領域について、空が映る対応領域と比較して、ノイズ抑制の強度が弱いノイズリダクション強度パラメータに基づくノイズリダクション処理を行うことによって、可視光画像において人が映る領域のボケを抑制することができる。

　図２０は、第２の実施形態に係る制御装置１２が行う可視光画像に対する画像処理の第３の例の流れを示すフローチャートである。図２０に示したように、可視光画像に対する画像処理の第３の例では、まず、判定部２６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０におけるボケ量指標値を算出する（ステップＳ５３２）。そして、判定部２６２は、対応領域Ｄ２０におけるボケ量指標値が所定の値より小さいか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する（ステップＳ５３４）。対応領域Ｄ２０におけるボケ量指標値が所定の値より小さい場合、判定部２６２は、可視光画像に対する画像処理を行わないと判定し（ステップＳ５３４／ＹＥＳ）、図２０に示した処理は終了する。一方、対応領域Ｄ２０におけるボケ量指標値が所定の値より小さくない場合、判定部２６２は、可視光画像に対する画像処理を行うと判定し（ステップＳ５３４／ＮＯ）、画像処理部２６４は、算出された対応領域Ｄ２０におけるボケ量指標値に応じて、ボケ抑制強度パラメータを算出する（ステップＳ５３６）。そして、画像処理部２６４は、当該パラメータに基づくデブラー処理を行い（ステップＳ５３８）、図２０に示した処理は終了する。

　可視光線カメラ１０４による可視光画像の撮像において、被写体及び可視光線カメラ１０４の少なくとも１つが移動している場合、得られる可視光画像の被写体を映す領域にボケが生じ得る。例えば、図１０に示したように、人Ｂ２０及び可視光線カメラ１０４の少なくとも１つが移動している場合、可視光画像の人Ｂ２０を映す領域にボケが生じ得る。ここで、可視光画像のボケを画像処理によって低減する場合において、ボケ抑制の強度が大きいほど、画像劣化の度合いが大きくなる。ゆえに、図１０に示した可視光画像の人Ｂ２０を映す領域である対応領域Ｄ２０におけるボケを画像処理によって低減させる場合において、対応領域Ｄ２０における画像が劣化することにより可視光画像の画質が低減し得る。一方、可視光画像に対する画像処理の第３の例によれば、制御部２６０は、可視光画像取得部１５４により取得された可視光画像のボケを、人領域Ｃ２０に対応する対応領域Ｄ２０におけるボケ量に基づいて低減し又は強調する画像処理を行うので、対応領域Ｄ２０においてボケを適切に低減又は強調することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０のボケに関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　また、可視光画像に対する画像処理の第３の例では、制御部２６０は、可視光画像の対応領域及び他の領域に対して、互いに異なるボケ抑制強度パラメータに基づくデブラー処理を行ってもよい。例えば、制御部２６０は、人が映る対応領域について、他の領域と比較して、ボケ抑制の強度が弱いボケ抑制強度パラメータに基づくデブラー処理を行うことによって、可視光画像において人が映る領域の画像劣化を抑制することができる。

　図２１は、第２の実施形態に係る制御装置１２が行う可視光画像に対する画像処理の第４の例の流れを示すフローチャートである。図２１に示したように、可視光画像に対する画像処理の第４の例では、まず、判定部２６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０における輝度指標値を算出する（ステップＳ５４２）。そして、判定部２６２は、対応領域Ｄ２０における輝度指標値が所定の範囲内の値であるか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する（ステップＳ５４４）。対応領域Ｄ２０における輝度指標値が所定の範囲内の値である場合、判定部２６２は、可視光画像に対する画像処理を行わないと判定し（ステップＳ５４４／ＹＥＳ）、図２１に示した処理は終了する。一方、対応領域Ｄ２０における輝度指標値が所定の範囲内の値でない場合、判定部２６２は、可視光画像に対する画像処理を行うと判定し（ステップＳ５４４／ＮＯ）、画像処理部２６４は、算出された対応領域Ｄ２０における輝度指標値に応じて、トーンマップ曲線を算出する（ステップＳ５４６）。そして、画像処理部２６４は、当該トーンマップ曲線に基づくトーンマッピング処理を行い（ステップＳ５４８）、図２１に示した処理は終了する。

　可視光画像において、輝度を調整する処理として、輝度ダイナミックレンジを調整する画像処理であるトーンマッピング処理を行う場合が考えられる。このような場合に、例えば、図５に示した可視光画像について特定のトーンマップ曲線を用いてトーンマッピング処理を行った場合、人Ｂ２０を映す領域である対応領域Ｄ２０における輝度が過度に高く又は過度に低くなり得る。一方、可視光画像に対する画像処理の第４の例によれば、制御部２６０は、可視光画像取得部１５４により取得された可視光画像の輝度ダイナミックレンジを、人領域Ｃ２０に対応する対応領域Ｄ２０における輝度に基づいて調整する画像処理を行うので、対応領域Ｄ２０において輝度を適切に調整することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０の輝度に関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　また、可視光画像に対する画像処理の第４の例では、制御部２６０は、可視光画像において該複数の対象領域にそれぞれ対応する複数の対応領域に対して、互いに異なるトーンマップ曲線に基づくトーンマッピング処理を行ってもよい。

　図２２は、第２の実施形態に係る制御装置１２が行う可視光画像に対する画像処理の第５の例の流れを示すフローチャートである。図２２に示したように、可視光画像に対する画像処理の第５の例では、まず、判定部２６２は、図５に示した人領域Ｃ２０に対応する対応領域Ｄ２０におけるコントラスト指標値を算出する（ステップＳ５５２）。そして、判定部２６２は、対応領域Ｄ２０におけるコントラスト指標値が所定の値より大きいか否かに応じて、可視光画像に対する画像処理を行うか否かを判定する（ステップＳ５５４）。対応領域Ｄ２０におけるコントラスト指標値が所定の値より大きい場合、判定部２６２は、可視光画像に対する画像処理を行わないと判定し（ステップＳ５５４／ＹＥＳ）、図２２に示した処理は終了する。一方、対応領域Ｄ２０におけるコントラスト指標値が所定の値より大きくない場合、判定部２６２は、可視光画像に対する画像処理を行うと判定し（ステップＳ５５４／ＮＯ）、画像処理部２６４は、算出された対応領域Ｄ２０におけるコントラスト指標値に応じて、コントラスト強度パラメータを算出する（ステップＳ５５６）。そして、画像処理部２６４は、当該コントラスト強度パラメータに基づくコントラスト強調処理を行い（ステップＳ５５８）、図２２に示した処理は終了する。

　可視光画像における特定の領域のコントラストを強調することによって、当該可視光画像の画質を向上させることができる場合が考えられる。例えば、図５に示した可視光画像の人Ｂ２０を映す領域である対応領域Ｄ２０におけるコントラストが過度に低い場合に、対応領域Ｄ２０のコントラストを強調することによって、当該可視光画像の画質を向上させ得る。可視光画像に対する画像処理の第５の例によれば、制御部２６０は、可視光画像取得部１５４により取得された可視光画像のコントラストを、人領域Ｃ２０に対応する対応領域Ｄ２０におけるコントラストに基づいて強調する画像処理を行うので、対応領域Ｄ２０においてコントラストを適切に強調することができる。ゆえに、可視光画像において人Ｂ２０が映る領域である対応領域Ｄ２０のコントラストに関連する画質を向上させることができる。従って、可視光画像の画質を向上させることができる。

　また、可視光画像に対する画像処理の第５の例では、制御部２６０は、可視光画像において該複数の対象領域にそれぞれ対応する複数の対応領域に対して、互いに異なるコントラスト強度パラメータに基づくコントラスト強調処理を行ってもよい。

　以上、説明したように、第２の実施形態に係る制御装置１２によれば、制御部２６０は、可視光画像取得部１５４により取得された可視光画像に対して、対応領域に基づいて、画像処理を行うことにより、当該可視光画像の画質を制御する。それにより、可視光画像における特定の領域の画質が向上するように可視光画像取得部１５４により取得された可視光画像に対して画像処理を行うことが可能である。ゆえに、可視光画像の画質を向上させることができる。

　＜４．第３の実施形態＞
　上述では、赤外線画像取得部１５２により取得された遠赤外画像から対象領域を抽出する例について説明した。以下では、可視光画像取得部１５４により取得された可視光画像を補足的に用いることにより、対象領域を抽出する第３の実施形態について説明する。

　第３の実施形態に係る制御装置１４のハードウェア構成は、図２を参照して説明した制御装置１０のハードウェア構成と同様であってもよい。図２３は、第３の実施形態に係る制御装置１４の機能構成の一例を示すブロック図である。図２３に示したように、第３の実施形態に係る制御装置１４において、抽出部４５８は、第１の実施形態に係る制御装置１０と異なり、可視光画像取得部１５４から対象領域の抽出に補足的に用いる情報を取得する。

　第３の実施形態では、可視光画像取得部１５４は、取得した可視光画像を制御部１６０及び抽出部４５８へ出力する。第３の実施形態に係る抽出部４５８は、可視光画像取得部１５４により取得された可視光画像を補足的に用いることにより、対象領域を抽出し、抽出結果を制御部１６０へ出力する。なお、抽出部４５８が行う対象領域の抽出処理のために参照されるデータは記憶部１５６に記憶され得る。

　抽出部４５８は、遠赤外画像において、所定の温度範囲内の温度に対応する画素値を有する領域を対象領域の候補として検出し、当該対象領域の候補から、可視光画像における画素値の色差情報に基づいて、対象領域を抽出してもよい。例えば、抽出部４５８は、－２０℃近傍の温度範囲内の温度に対応する画素値を有する領域を空が映る対象領域の候補として検出し、当該対象領域の候補のうち可視光画像において青色に近い色に対応する色差の画素値を有する領域を空が映る対象領域として抽出してもよい。また、抽出部４５８は、動物と比較して低い温度範囲内の温度に対応する画素値を有する領域を植物が映る対象領域の候補として検出し、当該対象領域の候補のうち可視光画像において緑色に近い色に対応する色差の画素値を有する領域を植物が映る対象領域として抽出してもよい。

　また、抽出部４５８は、可視光画像において略同一の色差の画素値を有する領域であって、遠赤外画像において互いに異なる温度に対応する画素値を有する領域を日陰領域及び日向領域として識別し、当該日陰領域及び日向領域をそれぞれ対象領域として抽出してもよい。

　第３の実施形態では、遠赤外画像に加えて、可視光画像を補足的に用いることにより、対象領域が抽出される。それにより、遠赤外画像のみから対象領域を抽出する場合と比較して、より精度良く対象領域を抽出することができる。また、第３の実施形態では、遠赤外画像に加えて、可視光画像を補足的に用いることにより、より多様な対象領域を抽出することができるので、より多様な対象領域に基づいて、可視光線カメラ１０４による可視光画像の撮像条件を設定することが可能である。

　上記では、可視光画像取得部１５４により取得された可視光画像を補足的に用いることにより、対象領域を抽出する抽出部４５８を、図４に示した第１の実施形態に係る制御装置１０に対して適用した例について説明したが、このような抽出部４５８は、図１４に示した第２の実施形態に係る制御装置１２に対しても適用され得る。図２４は、このような抽出部４５８を、図１４に示した第２の実施形態に係る制御装置１２に対して適用した制御装置１４ａの機能構成の一例を示すブロック図である。制御装置１４ａによれば、より多様な対象領域に基づいて、可視光画像取得部１５４により取得された可視光画像に対して画像処理を行うことができる。それにより、制御装置１４ａによれば、例えば、日陰領域及び日向領域を識別した上で、より適切にホワイトバランスの調整を行うことができる。

　なお、上述のような本開示の各実施形態に係る制御装置の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。各実施形態に係る制御装置は、本開示に係るコンピュータに相当し得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。また、各実施形態に係る制御装置の各機能は複数のコンピュータにより分割されてもよく、その場合、当該複数のコンピュータが有する各機能は、上記のコンピュータプログラムにより実現され得る。

　＜５．応用例＞
　　［５－１．第１の応用例］
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボットなどのいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム２０００の概略的な構成例を示すブロック図である。車両制御システム２０００は、通信ネットワーク２０１０を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム２０００は、駆動系制御ユニット２１００、ボディ系制御ユニット２２００、バッテリ制御ユニット２３００、車外情報検出ユニット２４００、車内情報検出ユニット２５００、及び統合制御ユニット２６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク２０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク２０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２５では、統合制御ユニット２６００の機能構成として、マイクロコンピュータ２６１０、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０、音声画像出力部２６７０、車載ネットワークＩ／Ｆ２６８０及び記憶部２６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

　駆動系制御ユニット２１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット２１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット２１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。

　駆動系制御ユニット２１００には、車両状態検出部２１１０が接続される。車両状態検出部２１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット２１００は、車両状態検出部２１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

　ボディ系制御ユニット２２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット２２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット２２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット２２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　バッテリ制御ユニット２３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池２３１０を制御する。例えば、バッテリ制御ユニット２３００には、二次電池２３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット２３００は、これらの信号を用いて演算処理を行い、二次電池２３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

　車外情報検出ユニット２４００は、車両制御システム２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット２４００には、撮像部２４１０及び車外情報検出部２４２０のうちの少なくとも一方が接続される。撮像部２４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部２４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム２０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部２４１０及び車外情報検出部２４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

　ここで、図２６は、撮像部２４１０及び車外情報検出部２４２０の設置位置の例を示す。撮像部２９１０，２９１２，２９１４，２９１６，２９１８は、例えば、車両２９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部２９１０及び車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として車両２９００の前方の画像を取得する。サイドミラーに備えられる撮像部２９１２，２９１４は、主として車両２９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部２９１６は、主として車両２９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部２９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図２６には、それぞれの撮像部２９１０，２９１２，２９１４，２９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部２９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部２９１２，２９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部２９１６の撮像範囲を示す。例えば、撮像部２９１０，２９１２，２９１４，２９１６で撮像された画像データが重ね合わせられることにより、車両２９００を上方から見た俯瞰画像が得られる。

　車両２９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２２，２９２４，２９２６，２９２８，２９３０は、例えば超音波センサ又はレーダ装置であってよい。車両２９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部２９２０，２９２６，２９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部２９２０～２９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

　図２５に戻って説明を続ける。車外情報検出ユニット２４００は、撮像部２４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット２４００は、接続されている車外情報検出部２４２０から検出情報を受信する。車外情報検出部２４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット２４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット２４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット２４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

　また、車外情報検出ユニット２４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット２４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部２４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット２４００は、異なる撮像部２４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

　車内情報検出ユニット２５００は、車内の情報を検出する。車内情報検出ユニット２５００には、例えば、運転者の状態を検出する運転者状態検出部２５１０が接続される。運転者状態検出部２５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット２５００は、運転者状態検出部２５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット２５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

　統合制御ユニット２６００は、各種プログラムにしたがって車両制御システム２０００内の動作全般を制御する。統合制御ユニット２６００には、入力部２８００が接続されている。入力部２８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット２６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部２８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム２０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部２８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部２８００は、例えば、上記の入力部２８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット２６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部２８００を操作することにより、車両制御システム２０００に対して各種のデータを入力したり処理動作を指示したりする。

　記憶部２６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部２６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

　汎用通信Ｉ／Ｆ２６２０は、外部環境２７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ２６２０は、ＧＳＭ（Global　System　of　Mobile　communications）（登録商標）、ＷｉＭＡＸ、ＬＴＥ（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ２６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ２６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。

　専用通信Ｉ／Ｆ２６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ２６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ２６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

　測位部２６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部２６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

　ビーコン受信部２６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部２６５０の機能は、上述した専用通信Ｉ／Ｆ２６３０に含まれてもよい。

　車内機器Ｉ／Ｆ２６６０は、マイクロコンピュータ２６１０と車内に存在する様々な車内機器２７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ２６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ２６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（High-Definition　Multimedia　Interface）（登録商標）、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器２７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器２７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ２６６０は、これらの車内機器２７６０との間で、制御信号又はデータ信号を交換する。

　車載ネットワークＩ／Ｆ２６８０は、マイクロコンピュータ２６１０と通信ネットワーク２０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ２６８０は、通信ネットワーク２０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

　統合制御ユニット２６００のマイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム２０００を制御する。例えば、マイクロコンピュータ２６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット２１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ２６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ２６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

　マイクロコンピュータ２６１０は、汎用通信Ｉ／Ｆ２６２０、専用通信Ｉ／Ｆ２６３０、測位部２６４０、ビーコン受信部２６５０、車内機器Ｉ／Ｆ２６６０及び車載ネットワークＩ／Ｆ２６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ２６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

　音声画像出力部２６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ２７１０、表示部２７２０及びインストルメントパネル２７３０が例示されている。表示部２７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部２７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ２６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

　なお、図２５に示した例において、通信ネットワーク２０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム２０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク２０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク２０１０を介して相互に検出情報を送受信してもよい。

　以上説明した車両制御システム２０００において、図４を用いて説明した本開示の第１の実施形態に係る制御装置１０は、図２５に示した応用例の統合制御ユニット２６００に適用することができる。例えば、制御装置１０の制御部１６０及び抽出部１５８は、統合制御ユニット２６００のマイクロコンピュータ２６１０に相当し、制御装置１０の記憶部１５６は、統合制御ユニット２６００の記憶部２６９０に相当し、制御装置１０の赤外線画像取得部１５２及び可視光画像取得部１５４は、統合制御ユニット２６００の車載ネットワークＩ／Ｆ２６８０に相当する。例えば、統合制御ユニット２６００のマイクロコンピュータ２６１０が、車載ネットワークＩ／Ｆ２６８０により取得された遠赤外画像から対象領域を抽出し、車載ネットワークＩ／Ｆ２６８０により取得された可視光画像において当該対象領域に対応する対応領域に基づいて、可視光画像の画質を制御することによって、可視光画像の画質を向上させることができる。なお、図１４を用いて説明した本開示の第２の実施形態に係る制御装置１２及び図２４を用いて説明した本開示の第３の実施形態に係る制御装置１４も同様に、図２５に示した応用例の統合制御ユニット２６００に適用することができる。

　また、図４を用いて説明した制御装置１０の少なくとも一部の構成要素は、図２４に示した統合制御ユニット２６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図４を用いて説明した制御装置１０が、図２５に示した車両制御システム２０００の複数の制御ユニットによって実現されてもよい。

　なお、図４を用いて説明した制御装置１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

　　［５－２．第２の応用例］
　本開示に係る技術は、内視鏡又は顕微鏡といった医療用観察装置として実現されてもよい。例えば、内視鏡下手術又は顕微鏡下手術（所謂、マイクロサージャリー）では、カメラにより撮像されモニタ上に表示される画像を通じて患部又は手術器具を観察しながら、手術のための様々な作業が行われる。

　図２７は、医療用内視鏡により撮像され得る可視光画像３１００を一例として示している。可視光画像３１００には、患部３１０１を含む臓器３１０３に加えて、鉗子３１１１及びガーゼ３１１３が映っている。また、矩形の可視光画像３１００の周縁部には、医療用内視鏡の鏡筒３１２１が映っている。このような可視光画像３１００において、術者は、患部３１０１及びその近傍の様子を鮮明に観察することを望み得る。しかし、カメラの露出制御が例えば鉗子３１１１又はガーゼ３１１３の露出の度合いに基づいて行われた場合、患部３１０１について露出が最適にならず、患部３１０１の明るさが過剰となり又は不十分となることがある。また、カメラのオートフォーカス制御が同様に鉗子３１１１又はガーゼ３１１３の合焦度に基づいて行われた場合、患部３１０１に焦点が合わず患部３１０１の画像がボケてしまうことがある。

　ここで、可視光画像３１００における臓器３１０３に対応する領域は、生体領域である。よって、本開示に係る技術に従い、この生体領域を、遠赤外画像において対象領域として抽出することができる。そして、抽出した対象領域に対応する、可視光画像３１００における対応領域に基づいて可視光画像の撮像条件を制御することで、鉗子などの非生体物の存在に起因して患部の画像が不鮮明となることを防止することができる。

　図２８は、図２７に示した可視光画像３１００に関連して遠赤外画像から抽出され得る対象領域の一例を示している。図２８を参照すると、領域抽出結果３２００において、画像領域の全体は、第１の部分領域３２１０、第２の部分領域３２２０、第３の部分領域３２３０及び第４の部分領域３２４０へと区分されている。第１の部分領域３２１０は、生体領域である。第２の部分領域３２２０、第３の部分領域３２３０及び第４の部分領域３２４０は、非生体領域である。例えば、第１の実施形態に係る制御装置１０、第２の実施形態に係る制御装置１２又は第３の実施形態に係る制御装置１４は、臓器の温度範囲に関連する閾値を用いて、遠赤外画像から第１の部分領域３２１０を抽出し得る。第２の部分領域３２２０、第３の部分領域３２３０及び第４の部分領域３２４０は、他の閾値を用いて個々に区別されてもよく、又は区別されなくてもよい。鏡筒３１２１に対応する第４の部分領域３２４０は、画像処理に先立って処理対象から除外されてもよい。

　制御装置１０、１２又は１４は、可視光画像３１００における第１の部分領域３２１０に対応する対応領域に基づいて、露出の度合い又は合焦度などの内視鏡の撮像条件を制御することで、鮮明な患部の画像を確実に術者へ提供することができる。内視鏡の撮像条件を制御する代わりに、ホワイトバランス調整、ノイズ抑制、ボケ低減、ダイナミックレンジ調整又はコントラスト強調といった目的の画像処理が、内視鏡により撮像される画像について、上述した対応領域に基づいて行われてもよい。また、生体領域ではなく非生体領域（例えば、鉗子３１１１に対応する第２の部分領域３２２０）が、対象領域として抽出されてもよい。さらに、生体領域及び非生体領域のいずれを対象領域として扱うのかが、（例えば、術者により手術中に入力され得る）ユーザ入力に依存して動的に切り替えられてもよい。

　なお、本開示に係る技術が医療用観察装置として実現される場合、赤外線カメラ及び可視光線カメラと、カメラの制御及び画像処理を実行するプロセッサとは、例えばカメラヘッド及びカメラコントロールユニットといった、信号線を介して相互接続される物理的に別個の筐体にそれぞれ搭載されてもよい。

　＜６．まとめ＞
　以上説明したように、本開示の実施形態によれば、遠赤外画像から対象領域が抽出され、当該遠赤外画像と共通する被写体を映した可視光画像において当該対象領域に対応する対応領域に基づいて、可視光画像の画質が制御される。それにより、可視光画像における特定の領域の画質が向上するように可視光画像の画質を調整することができる。ゆえに、可視光画像の画質を向上させることが可能である。

　以上では、赤外線カメラ１０２により遠赤外画像が撮像され、可視光線カメラ１０４により可視光画像が撮像される例について説明したが、本開示の技術的範囲は、係る例に限定されない。例えば、赤外線を感知する撮像素子及び可視光線を感知する撮像素子の双方を含む配列を有するカメラを用いて、当該カメラによって遠赤外画像及び可視光画像が撮像されてもよい。

　なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory　media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

　また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲は係る例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　遠赤外画像から対象領域を抽出する抽出部と、
　前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、
　を備える、制御装置。
（２）
　前記制御部は、可視光画像の撮像条件を、前記対応領域に基づいて設定することによって、当該可視光画像の画質を制御する、前記（１）に記載の制御装置。
（３）
　前記制御部は、可視光画像に対して、前記対応領域に基づいて、画像処理を行うことにより、当該可視光画像の画質を制御する、前記（１）に記載の制御装置。
（４）
　前記制御部は、前記撮像条件として焦点距離を、前記対応領域における合焦度に基づいて設定する、前記（２）に記載の制御装置。
（５）
　前記制御部は、前記撮像条件としてシャッタ速度及び絞り値の少なくとも１つを、前記対応領域における輝度に基づいて設定する、前記（２）に記載の制御装置。
（６）
　前記制御部は、前記対応領域における色温度に基づいて、可視光画像のホワイトバランスを調整する画像処理を行う、前記（３）に記載の制御装置。
（７）
　前記制御部は、前記対応領域におけるノイズ量に基づいて、可視光画像のノイズを抑制する画像処理を行う、前記（３）に記載の制御装置。
（８）
　前記制御部は、前記対応領域におけるボケ量に基づいて、可視光画像のボケを低減し又は強調する画像処理を行う、前記（３）に記載の制御装置。
（９）
　前記制御部は、前記対応領域における輝度に基づいて、可視光画像の輝度ダイナミックレンジを調整する画像処理を行う、前記（３）に記載の制御装置。
（１０）
　前記制御部は、前記対応領域におけるコントラストに基づいて、可視光画像のコントラストを強調する画像処理を行う、前記（３）に記載の制御装置。
（１１）
　前記制御部は、可視光画像の前記対応領域及び他の領域に対して、互いに異なる処理条件で、画像処理を行う、前記（３）に記載の制御装置。
（１２）
　前記抽出部は、可視光画像を補足的に用いることにより、前記対象領域を抽出する、前記（１）から（１１）のいずれか一項に記載の制御装置。
（１３）
　前記対象領域は、生体が映る生体領域である、前記（１）から（１２）のいずれか一項に記載の制御装置。
（１４）
　前記対象領域は、空が映る空領域である、前記（１）から（１２）のいずれか一項に記載の制御装置。
（１５）
　遠赤外画像から対象領域を抽出することと、
　制御装置によって、前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御することと、
　を含む制御方法。
（１６）
　コンピュータを、
　遠赤外画像から対象領域を抽出する抽出部と、
　前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、
　として機能させるためのプログラム。

１０、１２、１４　制御装置
１０２　赤外線カメラ
１０４　可視光線カメラ
１０６　入力インタフェース
１０８　メモリ
１１０　ディスプレイ
１１２　通信インタフェース
１１４　ストレージ
１１６　プロセッサ
１１８　バス
１５２　赤外線画像取得部
１５４　可視光画像取得部
１５６　記憶部
１５８、４５８　抽出部
１６０、２６０　制御部
１６２、２６２　判定部
１６４　撮像条件設定部
２６４　画像処理部
２０００　車両制御システム
２０１０　通信ネットワーク
２１００　駆動系制御ユニット
２１１０　車両状態検出部
２２００　ボディ系制御ユニット
２３００　バッテリ制御ユニット
２３１０　二次電池
２４００　車外情報検出ユニット
２４１０　撮像部
２４２０　車外情報検出部
２５００　車内情報検出ユニット
２５１０　運転者状態検出部
２６００　統合制御ユニット
２６１０　マイクロコンピュータ
２６４０　測位部
２６５０　ビーコン受信部
２６７０　音声画像出力部
２６９０　記憶部
２７１０　オーディオスピーカ
２７２０　表示部
２７３０　インストルメントパネル
２７５０　外部環境
２７６０　車内機器
２８００　入力部
２９００　車両
２９１０，２９１２，２９１４，２９１６，２９１８　撮像部
２９２０，２９２２，２９２４，２９２６，２９２８，２９３０　車外情報検出部

Claims

　遠赤外画像から対象領域を抽出する抽出部と、
　前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、
　を備える、制御装置。
　前記制御部は、可視光画像の撮像条件を、前記対応領域に基づいて設定することによって、当該可視光画像の画質を制御する、請求項１に記載の制御装置。
　前記制御部は、可視光画像に対して、前記対応領域に基づいて、画像処理を行うことにより、当該可視光画像の画質を制御する、請求項１に記載の制御装置。
　前記制御部は、前記撮像条件として焦点距離を、前記対応領域における合焦度に基づいて設定する、請求項２に記載の制御装置。
　前記制御部は、前記撮像条件としてシャッタ速度及び絞り値の少なくとも１つを、前記対応領域における輝度に基づいて設定する、請求項２に記載の制御装置。
　前記制御部は、前記対応領域における色温度に基づいて、可視光画像のホワイトバランスを調整する画像処理を行う、請求項３に記載の制御装置。
　前記制御部は、前記対応領域におけるノイズ量に基づいて、可視光画像のノイズを抑制する画像処理を行う、請求項３に記載の制御装置。
　前記制御部は、前記対応領域におけるボケ量に基づいて、可視光画像のボケを低減し又は強調する画像処理を行う、請求項３に記載の制御装置。
　前記制御部は、前記対応領域における輝度に基づいて、可視光画像の輝度ダイナミックレンジを調整する画像処理を行う、請求項３に記載の制御装置。
　前記制御部は、前記対応領域におけるコントラストに基づいて、可視光画像のコントラストを強調する画像処理を行う、請求項３に記載の制御装置。
　前記制御部は、可視光画像の前記対応領域及び他の領域に対して、互いに異なる処理条件で、画像処理を行う、請求項３に記載の制御装置。
　前記抽出部は、可視光画像を補足的に用いることにより、前記対象領域を抽出する、請求項１に記載の制御装置。
　前記対象領域は、生体が映る生体領域である、請求項１に記載の制御装置。
　前記対象領域は、空が映る空領域である、請求項１に記載の制御装置。
　遠赤外画像から対象領域を抽出することと、
　制御装置によって、前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御することと、
　を含む制御方法。
　コンピュータを、
　遠赤外画像から対象領域を抽出する抽出部と、
　前記遠赤外画像と共通する被写体を映した可視光画像において前記対象領域に対応する対応領域に基づいて、可視光画像の画質を制御する制御部と、
　として機能させるためのプログラム。