JP7430801B2 - 撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置 - Google Patents

Description

本開示の技術は、撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置に関する。

特許文献１には、同一被写体に対する可視光及び赤外光での撮影を同時に行うことを可能にする可視光・赤外光撮影用レンズシステムであって、可視光領域と赤外光領域のうちいずれか一方の波長領域を第１波長領域とし、他方の波長領域を第２波長領域とし、第１波長領域の被写体光により結像された被写体像を撮像する第１の撮像手段と、第２波長領域の被写体光により結像された被写体像を撮像する第２の撮像手段と、第１の撮像手段により被写体を撮像するための第１の被写体光を第１の撮像手段の撮像面に結像する光学系であって、所望の被写体距離の被写体にピントを合わせるために光軸方向に移動可能なフォーカスレンズを備えた光学系と、光学系に配置されると共にフォーカスレンズよりも後側に配置される光分割手段であって、光学系に入射した被写体光を第１の被写体光と、第２の撮像手段により被写体を撮像するための第２の被写体光に分割する光分割手段と、光分割手段によって分割され、光学系の作用により結像した後の第２の被写体光を再度結像させるためのリレー光学系であって、結像位置を調整するために光軸方向に移動可能な補正レンズを備えたリレー光学系と、第１の撮像手段の撮像面に対してピントが合う被写体の被写体距離と、第２の撮像手段の撮像面に対してピントが合う被写体の被写体距離とが一致するようにフォーカスレンズの位置に基づいて補正レンズの位置を制御する補正レンズ制御手段と、を備えたことを特徴とする可視光・赤外光撮影用レンズシステムが記載されている。

特許文献２には、被写体の発する所定の二つの相異なる波長帯の電磁波を各々にとらえて撮像して被写体の映像信号に変換する撮像装置において、いずれか一方の波長帯の電磁波を反射し他方の波長帯の電磁波を透過する光学系と、反射した反射電磁波をとらえて撮像して映像信号に変換する第一のカメラと、透過した透過電磁波をとらえて撮像して映像信号に変換する第二のカメラとから構成されることを特徴とする撮像装置が記載されている。

特許文献３には、ＴＶカメラにより撮像した被監視機器の画像を表示装置に表示して監視するＴＶカメラ監視装置において、光学レンズ系より入射される入射光を可視光線と赤外線とに分離する光分離器と、これら分離された可視光線および赤外線によりそれぞれ結像される各画像をそれぞれ撮像する撮像管とをＴＶカメラに設け、このＴＶカメラの撮像管からの各画像信号を受けて可視光線像と赤外線像とを重畳して表示装置に表示させる画像信号処理回路を設けたことを特徴とするＴＶカメラ監視装置が記載されている。

特開２００４－３５４７１４号公報 特開２００２－２０９１２６号公報 特開昭６２－０１１３８４号公報

本開示の技術に係る１つの実施形態は、被写体の輻射像をユーザに分かりやすく提示することが可能な撮像制御装置、撮像制御装置の作動方法、プログラム、並びに撮像装置を提供する。

本開示の撮像制御装置は、プロセッサと、プロセッサに接続または内蔵されたメモリと、を備え、第１フィルタ、第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置であって、第１フィルタは可視光線を透過し、第２フィルタは赤外線を透過し、プロセッサは、第１フィルタと第２フィルタとを選択的に光路に挿入し、第１フィルタを透過した可視光線と、第２フィルタを透過した赤外線との軸上色収差を、補正レンズを光軸に沿って移動させることで補正し、第１フィルタを透過した可視光線をイメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得し、第２フィルタを透過した赤外線をイメージセンサに撮像させることで、被写体の反射像および輻射像を含む第２画像を取得し、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズーム機能を動作させることで補正し、画角差が補正された状態において取得した第１画像と第２画像に基づく、輻射像を含む第３画像を出力する。

プロセッサは、予め設定された実行条件が満たされた場合に限り、第３画像を出力することが好ましい。

実行条件は、第１画像に含まれる反射像の輝度レベルが、予め設定された閾値以上である、という内容を含むことが好ましい。

プロセッサは、輝度レベルが閾値未満であった場合、輝度レベルが閾値以上の場合に取得して予め記憶しておいた第１画像と、画角差が補正された状態において取得した第２画像とを出力することが好ましい。

実行条件は、第３画像の出力を実行する指示を受け付けた、という内容を含むことが好ましい。

プロセッサは、第３画像として、第１画像と第２画像の差分画像を生成することが好ましい。

プロセッサは、第１画像に含まれる反射像の輝度レベルと第２画像に含まれる反射像の輝度レベルを一致させたうえで、差分画像を生成することが好ましい。

プロセッサは、第１画像に含まれる反射像の輝度レベルと第２画像に含まれる反射像の輝度レベルが異なった状態で、差分画像を生成することが好ましい。

撮像装置は、ズームレンズを有し、プロセッサは、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズームレンズを光軸に沿って移動させることにより補正することが好ましい。

プロセッサは、軸上色収差を補正した際のズームレンズの位置に応じて、画角差の補正に要するズームレンズの移動量を変更することが好ましい。

プロセッサは、画角差を補正する場合にズームレンズを移動させることでずれたピントを、補正レンズを移動させることで合わせることが好ましい。

本開示の撮像装置は、上記のいずれかに記載の撮像制御装置を備える。

本開示の撮像制御装置の作動方法は、可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置の作動方法であって、第１フィルタと第２フィルタとを選択的に光路に挿入すること、第１フィルタを透過した可視光線と、第２フィルタを透過した赤外線との軸上色収差を、補正レンズを光軸に沿って移動させることで補正すること、第１フィルタを透過した可視光線をイメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、第２フィルタを透過した赤外線をイメージセンサに撮像させることで、被写体の反射像および輻射像を含む第２画像を取得すること、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズーム機能を動作させることで補正すること、および、画角差が補正された状態において取得した第１画像と第２画像に基づく、輻射像を含む第３画像を出力すること、を含む。

本開示のプログラムは、可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御するプログラムであって、第１フィルタと第２フィルタとを選択的に光路に挿入すること、第１フィルタを透過した可視光線と、第２フィルタを透過した赤外線との軸上色収差を、補正レンズを光軸に沿って移動させることで補正すること、第１フィルタを透過した可視光線をイメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、第２フィルタを透過した赤外線をイメージセンサに撮像させることで、被写体の反射像および輻射像を含む第２画像を取得すること、補正レンズを光軸に沿って移動させることで生じた第１画像と第２画像との画角差を、ズーム機能を動作させることで補正すること、および、画角差が補正された状態において取得した第１画像と第２画像に基づく、輻射像を含む第３画像を出力すること、を含む処理をコンピュータに実行させる。

カメラを示す図である。 フィルタユニットを示す図である。 制御部を構成するコンピュータを示すブロック図である。 ＣＰＵのブロック図である。 各フィルタが光路に挿入された場合の様子を示す図であり、図５Ａは第１フィルタが光路に挿入された場合の様子を示し、図５Ｂは第２フィルタが光路に挿入された場合の様子を示す。 ズームレンズ移動量情報を示す図である。 第２フィルタが光路に挿入された場合のフォーカスレンズとズームレンズの動きを示すフローチャートである。 第１フィルタが光路に挿入された場合のフォーカスレンズとズームレンズの動きを示すフローチャートである。 画像処理部の詳細を示すブロック図である。 第１輝度レベルが閾値以上であった場合の判定結果を示す図である。 第１輝度レベルが閾値未満であった場合の判定結果を示す図である。 輝度レベル正規化部による正規化の具体例を示す図である。 差分画像の成り立ちを示す図である。 第１画像と差分画像の重畳画像を生成する様子を示す図である。 重畳用第１画像と第２画像の重畳画像を生成する様子を示す図である。 制御部の動作手順を示すフローチャートである。 第２実施形態の制御部を示す図である。 実行指示を受け付けた場合の判定結果を示す図である。 実行指示を受け付けなかった場合、あるいは取り消し指示を受け付けた場合の判定結果を示す図である。 第３実施形態の画像処理部の詳細を示すブロック図である。 第３実施形態の差分画像の成り立ちを示す図である。 第１画像と差分画像の重畳画像を生成する様子を示す図である。 第４実施形態のカメラを示す図である。 第４実施形態の制御部の動作手順を示すフローチャートである。

［第１実施形態］
一例として図１に示すように、カメラ１０は、例えば工場等に設置される監視カメラであり、鏡筒１１と本体１２とを備える。鏡筒１１には鏡筒側マウント１３が設けられており、本体１２には本体側マウント１４が設けられている。これら鏡筒側マウント１３および本体側マウント１４によって、鏡筒１１が本体１２に取り付けられる。鏡筒１１には撮像光学系２０が内蔵されており、本体１２にはイメージセンサ２１が内蔵されている。カメラ１０は、本開示の技術に係る「撮像装置」の一例である。

撮像光学系２０は、イメージセンサ２１に被写体光ＳＬ（図５参照）を結像させるための複数種のレンズを有する。具体的には、撮像光学系２０は、対物レンズ２５、フォーカスレンズ２６、ズームレンズ２７、およびマスターレンズ２８を有する。これら各レンズ２５～２８は、対物レンズ２５、フォーカスレンズ２６、ズームレンズ２７、マスターレンズ２８の順に、物体側（被写体側）から結像側（イメージセンサ２１側）に向かって配置されている。各レンズ２５～２８は、４００ｎｍから１７００ｎｍまでの波長帯域の光、すなわち可視光域から近赤外域までの波長帯域の光を透過する。図１では簡略化しているが、各レンズ２５～２８は、実際には複数枚のレンズが組み合わされたレンズ群である。

撮像光学系２０は、絞り３０およびフィルタユニット３１も有する。絞り３０はズームレンズ２７とフィルタユニット３１との間に配置されている。フィルタユニット３１は絞り３０とマスターレンズ２８との間に配置されている。

鏡筒１１には、フォーカスレンズ駆動機構３５、ズームレンズ駆動機構３６、絞り駆動機構３７、およびフィルタユニット駆動機構３８が設けられている。フォーカスレンズ駆動機構３５は、周知のように、フォーカスレンズ２６を保持し、外周にカム溝が形成されたフォーカス用カム環、およびフォーカス用カム環を光軸ＯＡ周りに回転させることで、フォーカス用カム環を光軸ＯＡに沿って移動させるフォーカス用モータ等を含む。ズームレンズ駆動機構３６も同様に、ズームレンズ２７を保持し、外周にカム溝が形成されたズーム用カム環、およびズーム用カム環を光軸ＯＡ周りに回転させることで、ズーム用カム環を光軸ＯＡに沿って移動させるズーム用モータ等を含む。なお、以下では、光軸ＯＡと平行で、かつ物体側から結像側に向かう方向を結像側方向ＩＤと表記し、光軸ＯＡと平行で、結像側から物体側に向かう方向を物体側方向ＯＤと表記する。ここでいう平行とは、完全な平行の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの平行を指す。

絞り駆動機構３７は、これも周知のように、絞り３０の複数枚の絞り羽根を開閉するモータ等を含む。フィルタユニット駆動機構３８は、フィルタユニット３１を、その中心を軸として一方向に回転させるモータ等を含む。

フォーカス用モータおよびズーム用モータは、例えばステッピングモータである。この場合、フォーカス用モータおよびズーム用モータの駆動量から、光軸ＯＡ上のフォーカスレンズ２６およびズームレンズ２７の位置を導き出すことができる。なお、モータの駆動量ではなく、位置センサを設けて、フォーカスレンズ２６およびズームレンズ２７の位置を検出してもよい。

フィルタユニット駆動機構３８には、フィルタユニット３１の回転位置を検出する回転位置センサが設けられている。回転位置センサは、例えばロータリーエンコーダである。

各駆動機構３５～３８のモータ等の電気部品は、鏡筒側マウント１３に設けられた鏡筒側接点４０に接続されている。本体側マウント１４の鏡筒側接点４０と対応する位置には、本体側接点４１が設けられている。本体側接点４１には、制御部４５が接続されている。制御部４５は、本開示の技術に係る「撮像制御装置」の一例である。鏡筒側マウント１３および本体側マウント１４を介して鏡筒１１が本体１２に取り付けられた場合、鏡筒側接点４０と本体側接点４１とが接触する。これにより、各駆動機構３５～３８の電気部品と制御部４５とが電気的に接続される。

各駆動機構３５～３８の電気部品は、制御部４５の制御の下で駆動される。より詳しくは、制御部４５は、モニタ装置５０を介して入力されたユーザからの指示に応じた駆動信号を発して、各駆動機構３５～３８の電気部品を駆動させる。例えば、モニタ装置５０を介して画角を望遠側に変更する指示が入力された場合、制御部４５は、ズームレンズ駆動機構３６のズーム用モータに駆動信号を発して、ズームレンズ２７を望遠側に移動させる。モニタ装置５０は、例えば、タッチパネルで構成される。または、モニタ装置５０は、例えば、ディスプレイ、キーボードおよびマウスで構成される。なお、モニタ装置５０は、カメラ１０とは離れた遠隔地、例えば管制室に設置されており、コネクタ５１を介して本体１２に接続されている。

フォーカス用モータおよびズーム用モータは、駆動量を制御部４５に出力する。制御部４５は、駆動量から光軸ＯＡ上のフォーカスレンズ２６およびズームレンズ２７の位置を導き出す。また、回転位置センサは、フィルタユニット３１の回転位置を制御部４５に出力する。これにより制御部４５は、フィルタユニット３１の回転位置を把握する。

イメージセンサ２１は、被写体光ＳＬを受光する受光面を有している。イメージセンサ２１は、受光面の中心が光軸ＯＡと一致し、かつ受光面が光軸ＯＡと直交するよう配されている。イメージセンサ２１は、受光面がヒ化インジウムガリウム（ＩｎＧａＡｓ）により形成されている。このためイメージセンサ２１は、撮像光学系２０を透過した４００ｎｍから１７００ｎｍまでの波長帯域の光、すなわち可視光域から近赤外域までの波長帯域の光に基づく被写体像を検出することが可能である。なお、ここでいう直交とは、完全な直交の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの直交を指す。

一例として図２に示すように、フィルタユニット３１は、第１フィルタＦ１および第２フィルタＦ２の２つのフィルタＦ１およびＦ２が円環状に等間隔（図２においては１８０°毎）で並べられた円板である。フィルタユニット３１は、各フィルタＦ１およびＦ２を１フレーム毎に切り替えるために、フィルタユニット駆動機構３８によって時計回りに回転する。ここでいう等間隔とは、完全な等間隔の他に、本開示の技術が属する技術分野で一般的に許容される誤差を含めた意味合いでの等間隔を指す。なお、フィルタユニット３１を反時計回りに回転させてもよい。また、フィルタユニット３１は円板でなくてもよく、矩形またはその他の形状でもよい。

フィルタユニット３１は、第１フィルタＦ１の中心と光軸ＯＡとが一致するよう配置された図示の第１位置から、第２フィルタＦ２の中心と光軸ＯＡとが一致するよう配置された第２位置を経て、再び第１位置に戻る。つまりフィルタＦ１およびＦ２は、フィルタユニット３１の時計回りの回転に伴って、順次光路に挿入される。

第１フィルタＦ１および第２フィルタＦ２はそれぞれ、予め設定された波長帯域の光を選択的に透過させる。第１フィルタＦ１は可視光線ＶＲ（図５参照）を透過する。第１フィルタＦ１を透過する可視光線ＶＲは、例えば４００ｎｍ～７７０ｎｍの波長帯域の光である。第２フィルタＦ２は赤外線ＩＲ（図５参照）を透過する。第２フィルタＦ２を透過する赤外線ＩＲは、例えば１５５０±１００ｎｍ（１４５０ｎｍ～１６５０ｎｍ）の波長帯域の光である。なお、上記のように「～」を用いて表される数値範囲は、「～」の前後に記載される数値を下限値および上限値として含む範囲を意味する。

第１フィルタＦ１を透過した可視光線ＶＲをイメージセンサ２１が撮像することによって、被写体の反射像ＲＦＩを含む第１画像６０が得られる。また、第２フィルタＦ２を透過した赤外線ＩＲをイメージセンサ２１が撮像することによって、被写体の反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１が得られる。輻射像ＲＤＩは、被写体の温度を表す。輻射像ＲＤＩで表される被写体の温度の範囲は、例えば２００℃～２０００℃である。

一例として図３に示すように、制御部４５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６５、メモリ６６、およびストレージ６７を含むコンピュータよって実現される。メモリ６６は例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、各種情報を一時的に記憶する。非一時的記憶媒体であるストレージ６７は例えばハードディスクドライブ、またはソリッドステートドライブ等であり、各種パラメータおよび各種プログラムを記憶する。ＣＰＵ６５は、ストレージ６７に記憶されたプログラムをメモリ６６へロードして、プログラムにしたがった処理を実行することにより、カメラ１０の各部の動作を統括的に制御する。なお、メモリ６６は、ＣＰＵ６５に内蔵されていてもよい。なお、プログラムは、図示しない外部記録媒体に記録されて配布され、その記録媒体からＣＰＵ６５によりインストールされてもよい。または、プログラムは、ネットワークに接続されたサーバ等に、外部からアクセス可能な状態で記憶され、要求に応じてＣＰＵ６５によりメモリ６６やストレージ６７にダウンロードされ、インストールおよび実行されてもよい。

一例として図４に示すように、ストレージ６７には、作動プログラム７０が記憶されている。作動プログラム７０は、制御部４５を構成するコンピュータを撮像制御装置として機能させるためのアプリケーションプログラムである。すなわち、作動プログラム７０は、本開示の技術に係る「プログラム」の一例である。ストレージ６７には、作動プログラム７０の他に、閾値ＴＨ、重畳用第１画像６０ＳＰ、およびズームレンズ移動量情報７１も記憶されている。

作動プログラム７０が起動されると、ＣＰＵ６５は、メモリ６６等と協働して、イメージセンサ駆動制御部８０、画像処理部８１、転送制御部８２、フォーカスレンズ駆動制御部８３、ズームレンズ駆動制御部８４、絞り駆動制御部８５、およびフィルタユニット駆動制御部８６として機能する。ＣＰＵ６５は、本開示の技術に係る「プロセッサ」の一例である。

イメージセンサ駆動制御部８０は、イメージセンサ２１の駆動を制御する。イメージセンサ駆動制御部８０は、モニタ装置５０を介して撮像開始の指示が入力された場合に、予め設定されたフレームレート、例えば３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）にて、イメージセンサ２１に被写体光ＳＬを撮像させる。イメージセンサ２１は、被写体光ＳＬを撮像することにより得られた画像を画像処理部８１に出力する。

画像処理部８１は、イメージセンサ２１からの画像に対して各種画像処理を施す。画像処理部８１は、画像処理後の画像を転送制御部８２に出力する。転送制御部８２は、画像処理部８１からの画像をモニタ装置５０に転送する。

フォーカスレンズ駆動制御部８３は、フォーカスレンズ駆動機構３５の駆動を制御する。例えばフォーカスレンズ駆動制御部８３は、フィルタユニット３１の第１フィルタＦ１および第２フィルタＦ２を各々透過した２種の光の軸上色収差を、フォーカスレンズ駆動機構３５を介してフォーカスレンズ２６を光軸ＯＡに沿って移動させることで補正する。すなわち、フォーカスレンズ２６は、本開示の技術に係る「補正レンズ」の一例である。

ズームレンズ駆動制御部８４は、ズームレンズ駆動機構３６の駆動を制御する。ここで、軸上色収差を補正するためにフォーカスレンズ２６を光軸ＯＡに沿って移動させることによって、第１画像６０と第２画像６１とには画角差が生じる。このため、ズームレンズ駆動制御部８４は、フォーカスレンズ２６を光軸ＯＡに沿って移動させることで生じた第１画像６０と第２画像６１との画角差を、ズームレンズ駆動機構３６を介してズームレンズ２７を光軸ＯＡに沿って移動させることで補正する。なお、ズームレンズ２７、ズームレンズ駆動機構３６、およびズームレンズ駆動制御部８４等は、光学ズーム機能９０を構成する。光学ズーム機能９０は、本開示の技術に係る「ズーム機能」の一例である。

絞り駆動制御部８５は、被写体光ＳＬの光量が適切となるよう絞り駆動機構３７の駆動を制御する。フィルタユニット駆動制御部８６は、各フィルタＦ１およびＦ２が１フレーム毎に選択的に光路に挿入されるようフィルタユニット駆動機構３８の駆動を制御する。

一例として図５Ａに示すように、第１フィルタＦ１が光路に挿入された場合、フォーカスレンズ駆動制御部８３は、図５Ｂの第２フィルタＦ２が光路に挿入された場合の位置からフォーカスレンズ２６を物体側方向ＯＤに移動させることで、軸上色収差を補正する。また、ズームレンズ駆動制御部８４は、図５Ｂの第２フィルタＦ２が光路に挿入された場合の位置からズームレンズ２７を物体側方向ＯＤに移動させることで、画角差を補正する。

一例として図５Ｂに示すように、第２フィルタＦ２が光路に挿入された場合、フォーカスレンズ駆動制御部８３は、図５Ａの第１フィルタＦ１が光路に挿入された場合の位置からフォーカスレンズ２６を結像側方向ＩＤに移動させることで、軸上色収差を補正する。また、ズームレンズ駆動制御部８４は、図５Ａの第１フィルタＦ１が光路に挿入された場合の位置からズームレンズ２７を結像側方向ＩＤに移動させることで、画角差を補正する。

こうして軸上色収差が補正され、かつ画角差が補正された状態において、イメージセンサ２１は、図５Ａの場合は第１フィルタＦ１を透過した可視光線ＶＲを撮像することで、反射像ＲＦＩを含む第１画像６０を出力する。また、イメージセンサ２１は、図５Ｂの場合は第２フィルタＦ２を透過した赤外線ＩＲを撮像することで、反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１を出力する。

軸上色収差は、ズームレンズ２７の位置が望遠側となるほど大きくなる。このため、軸上色収差の補正に要するフォーカスレンズ２６の移動量は、ズームレンズ２７の位置が望遠側となるほど大きくなる。したがって、画角差の補正に要するズームレンズ２７の移動量も、軸上色収差を補正した際のズームレンズ２７の位置に応じて変わる。ズームレンズ駆動制御部８４は、ズームレンズ移動量情報７１を参照することで、軸上色収差を補正した際のズームレンズ２７の位置に応じて、画角差の補正に要するズームレンズ２７の移動量を変更する。

一例として図６に示すように、ズームレンズ移動量情報７１には、画角差の補正に要するズームレンズ２７の移動量であって、軸上色収差を補正した際のズームレンズ２７の位置に対応するズームレンズ２７の移動量が登録されている。ズームレンズ２７の移動量は、ズームレンズ２７の位置が望遠側となるほど大きい値が登録されている。例えば最も望遠側の位置であるＺ１には、最大値の０．２５ｍｍが登録されている。

撮像光学系２０に含まれる各レンズ２５～２８は、赤外線ＩＲ用に設計されている。このため、第２フィルタＦ２が光路に挿入された場合は、画角差を補正するためにズームレンズ２７を移動させたことでピントはずれない。したがって、一例として図７に示すように、第２フィルタＦ２が光路に挿入された場合、フォーカスレンズ駆動制御部８３がフォーカスレンズ２６を移動させて軸上色収差を補正した後（ステップＳＴ１０）は、ズームレンズ駆動制御部８４がズームレンズ２７を１回移動させて画角差を補正（ステップＳＴ１１）すれば済む。

対して第１フィルタＦ１が光路に挿入された場合は、画角差を補正するためにズームレンズ２７を移動させたことでピントがずれる。したがって、一例として図８に示すように、第１フィルタＦ１が光路に挿入された場合は、フォーカスレンズ駆動制御部８３がフォーカスレンズ２６を移動させて軸上色収差を補正（ステップＳＴ１０）し、ズームレンズ駆動制御部８４がズームレンズ２７を移動させて画角差を補正（ステップＳＴ１１）した後、フォーカスレンズ駆動制御部８３がフォーカスレンズ２６を再び移動させて、ずれたピントを合わせる（ステップＳＴ１２）。そして、これらステップＳＴ１１およびＳＴ１２を、画角差が許容範囲となる（ステップＳＴ１３でＹＥＳ）まで繰り返す。

一例として図９に示すように、画像処理部８１は、画像取得部１００、輝度レベル算出部１０１、実行可否判定部１０２、輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５を有する。

画像取得部１００は、イメージセンサ２１からの第１画像６０を取得する。画像取得部１００は、取得した第１画像６０に対して階調変換処理等の各種画像処理を施した後、第１画像６０を輝度レベル算出部１０１および画像出力部１０５に出力する。同様に、画像取得部１００は、イメージセンサ２１からの第２画像６１を取得し、第２画像６１に対して各種画像処理を施した後、第２画像６１を輝度レベル算出部１０１および画像出力部１０５に出力する。画像取得部１００で取得される第１画像６０および第２画像６１は、画角差が補正された画像である。

輝度レベル算出部１０１は、第１画像６０に含まれる反射像ＲＦＩの輝度レベルである第１輝度レベル１１０を算出する。輝度レベル算出部１０１は、算出した第１輝度レベル１１０を実行可否判定部１０２に出力する。また、輝度レベル算出部１０１は、算出した第１輝度レベル１１０、および第１画像６０を、輝度レベル正規化部１０３に出力する。同様に、輝度レベル算出部１０１は、第２画像６１に含まれる反射像ＲＦＩの輝度レベルである第２輝度レベル１１１を算出する。輝度レベル算出部１０１は、算出した第２輝度レベル１１１、および第２画像６１を、輝度レベル正規化部１０３に出力する。

輝度レベル算出部１０１は、例えば、画素値が予め設定された閾値以上の第２画像６１の領域を輻射像ＲＤＩが写る領域、画素値が閾値未満の第２画像６１の領域を反射像ＲＦＩが写る領域として抽出する。そして、輝度レベル算出部１０１は、第２画像６１の反射像ＲＦＩが写る領域の画素の輝度値の代表値を、第２輝度レベル１１１として算出する。また、輝度レベル算出部１０１は、第２画像６１の反射像ＲＦＩが写る領域に対応する第１画像６０の領域を、第１画像６０の反射像ＲＦＩが写る領域として抽出する。そして、輝度レベル算出部１０１は、第１画像６０の反射像ＲＦＩが写る領域の画素の輝度値の代表値を、第１輝度レベル１１０として算出する。代表値は、最大値、最頻値、中央値、および平均値のうちのいずれかである。なお、第１画像６０の反射像ＲＦＩが写る領域と、第２画像６１の反射像ＲＦＩが写る領域とが、モニタ装置５０を介してユーザに指定されてもよい。

実行可否判定部１０２は、閾値ＴＨおよび第１輝度レベル１１０に関連する実行条件を満たすか否かに基づいて、第１画像６０と第２画像６１の差分画像１１５を出力する処理の実行可否を判定する。実行可否判定部１０２は、実行可否の判定結果１１２を、輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力する。

実行可否判定部１０２は、予め設定された時間間隔で実行可否を判定する。予め設定された時間間隔とは、例えば１フレーム毎、数分毎、または数時間毎である。

輝度レベル正規化部１０３は、実行条件が満たされ、実行可否判定部１０２からの判定結果１１２が「実行する」という内容であった場合に限り動作する。輝度レベル正規化部１０３は、第２画像６１の第２輝度レベル１１１に合わせて第１画像６０の第１輝度レベル１１０を正規化することで、第１画像６０を正規化第１画像６０Ｎとする。輝度レベル正規化部１０３は、正規化第１画像６０Ｎおよび第２画像６１を差分画像生成部１０４に出力する。

差分画像生成部１０４は、輝度レベル正規化部１０３と同じく、実行条件が満たされ、実行可否判定部１０２からの判定結果１１２が「実行する」という内容であった場合に限り動作する。差分画像生成部１０４は、正規化第１画像６０Ｎと第２画像６１の対応する画素毎に画素値の差分をとることで、差分画像１１５を生成する。差分画像生成部１０４は、生成した差分画像１１５を画像出力部１０５に出力する。なお、差分画像１１５は、本開示の技術に係る「第３画像」の一例である。

実行条件が満たされ、実行可否判定部１０２からの判定結果１１２が「実行する」という内容であった場合、画像出力部１０５は、第１画像６０、第２画像６１、および差分画像１１５を転送制御部８２に出力する。転送制御部８２は、第１画像６０、第２画像６１、および差分画像１１５をモニタ装置５０に転送する。対して、実行条件が満たされず、実行可否判定部１０２からの判定結果１１２が「実行しない」という内容であった場合、画像出力部１０５は、重畳用第１画像６０ＳＰおよび第２画像６１を転送制御部８２に出力する。転送制御部８２は、重畳用第１画像６０ＳＰおよび第２画像６１をモニタ装置５０に転送する。すなわち、画像出力部１０５は、実行条件が満たされた場合に限り、差分画像１１５を出力する。

ここで、重畳用第１画像６０ＳＰは、第１輝度レベル１１０が閾値ＴＨ以上の場合に、イメージセンサ２１によって反射像ＲＦＩが撮像されて取得された画像である。重畳用第１画像６０ＳＰは、例えばモニタ装置５０を介したユーザの指示によって取得され、ストレージ６７に記憶される。第１輝度レベル１１０が閾値ＴＨ以上の場合とは、例えば日中である。なお、ユーザにより予め指定された時刻に重畳用第１画像６０ＳＰを取得して記憶してもよい。

一例として図１０に示すように、実行可否判定部１０２は、第１輝度レベル１１０が閾値ＴＨ以上であった場合、実行条件を満たしたと判定し、「実行する」という内容の判定結果１１２Ａを出力する。対して、一例として図１１に示すように、実行可否判定部１０２は、第１輝度レベル１１０が閾値ＴＨ未満であった場合、実行条件を満たさなかったと判定し、「実行しない」という内容の判定結果１１２Ｂを出力する。なお、閾値ＴＨには、第１輝度レベル１１０がそれ以上の値であった場合に、第１画像６０の反射像ＲＦＩに対応する第２画像６１の反射像ＲＦＩの明るさによって、輻射像ＲＤＩを観察することが困難となる値が設定されている。

図１２は、輝度レベル正規化部１０３による正規化の具体例を示す。第１輝度レベル１１０が「１００」、第２輝度レベル１１１が「８０」であった場合、輝度レベル正規化部１０３は、第１画像６０の各画素の画素値に０．８を乗算することで、第１画像６０を正規化第１画像６０Ｎとする。

図１３は、差分画像１１５の成り立ちを示す。差分画像生成部１０４は、第２画像６１から正規化第１画像６０Ｎを減算することで差分画像１１５を生成する。第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１と、正規化第１画像６０Ｎに含まれる反射像ＲＦＩの第１輝度レベル１１０とは一致している。このため差分画像１１５は、第２画像６１の反射像ＲＦＩがほとんど取り除かれ、ほぼ輻射像ＲＤＩのみの画像となる。

一例として図１４に示すように、転送制御部８２から差分画像１１５等が転送された場合、モニタ装置５０においては、第１画像６０と差分画像１１５の重畳画像１２０が生成され、重畳画像１２０がディスプレイ（図示省略）に表示される等してユーザに提示される。なお、重畳画像１２０は、画像処理部８１により生成され、転送制御部８２によりモニタ装置５０へ転送されてもよい。一方、一例として図１５に示すように、転送制御部８２から差分画像１１５ではなく重畳用第１画像６０ＳＰ等が転送された場合、モニタ装置５０においては、重畳用第１画像６０ＳＰと第２画像６１の重畳画像１２１が生成され、重畳画像１２１がディスプレイに表示される等してユーザに提示される。なお、重畳画像１２０を生成する場合に、第１画像６０と差分画像１１５に対してエッジ抽出を施し、第１画像６０と差分画像１１５のエッジ同士を合わせ込むように重畳してもよい。重畳画像１２１を生成する場合についても同様である。また、重畳画像１２０、１２１の輻射像ＲＤＩの領域を点滅表示させたり、色を付けたりしてもよい。さらに、第１画像６０または重畳用第１画像６０ＳＰの反射像ＲＦＩのエッジ抽出画像と差分画像１１５または第２画像６１を重畳してもよい。

次に、上記構成による作用について、図１６のフローチャートを参照しつつ説明する。被写体光ＳＬは、撮像光学系２０の対物レンズ２５、フォーカスレンズ２６、ズームレンズ２７、絞り３０、フィルタユニット３１の各フィルタＦ１およびＦ２のいずれか、およびマスターレンズ２８を透過して、イメージセンサ２１の受光面に至る。イメージセンサ２１は、制御部４５の制御の下、被写体光ＳＬを撮像して画像を出力する。

フィルタユニット駆動制御部８６の制御の下で駆動されるフィルタユニット駆動機構３８によって、フィルタユニット３１が時計回りに回転される。これによりフィルタＦ１およびＦ２が１フレーム毎に順次光路に挿入される。

まず、第１フィルタＦ１が光路に挿入される（ステップＳＴ１００）。この場合、図５Ａで示したように、フォーカスレンズ駆動制御部８３の制御の下で駆動されるフォーカスレンズ駆動機構３５によって、フォーカスレンズ２６が物体側方向ＯＤに移動される。これにより軸上色収差が補正される（ステップＳＴ１１０）。また、ズームレンズ駆動制御部８４の制御の下で駆動されるズームレンズ駆動機構３６によって、ズームレンズ２７が物体側方向ＯＤに移動される。これにより画角差が補正される（ステップＳＴ１２０）。なお、実際には図８で示したように、画角差が許容範囲となるまで、画角差を補正するためのズームレンズ２７の移動と、ピントを合わせるためのフォーカスレンズ２６の移動とが繰り返される。

イメージセンサ駆動制御部８０の制御の下、第１フィルタＦ１を透過した可視光線ＶＲがイメージセンサ２１にて撮像され、反射像ＲＦＩを含む第１画像６０がイメージセンサ２１から出力される。第１画像６０は、イメージセンサ２１から画像処理部８１の画像取得部１００に送られ、画像取得部１００にて取得される（ステップＳＴ１３０）。

続いて、第２フィルタＦ２が光路に挿入される（ステップＳＴ１４０）。この場合、図５Ｂで示したように、フォーカスレンズ駆動制御部８３の制御の下で駆動されるフォーカスレンズ駆動機構３５によって、フォーカスレンズ２６が結像側方向ＩＤに移動される。これにより軸上色収差が補正される（ステップＳＴ１５０）。また、ズームレンズ駆動制御部８４の制御の下で駆動されるズームレンズ駆動機構３６によって、ズームレンズ２７が結像側方向ＩＤに移動される。これにより画角差が補正される（ステップＳＴ１６０）。

イメージセンサ駆動制御部８０の制御の下、第２フィルタＦ２を透過した赤外線ＩＲがイメージセンサ２１にて撮像され、反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１がイメージセンサ２１から出力される。第２画像６１は、イメージセンサ２１から画像処理部８１の画像取得部１００に送られ、画像取得部１００にて取得される（ステップＳＴ１７０）。

図９で示したように、第１画像６０は、画像取得部１００から輝度レベル算出部１０１に出力される。そして、輝度レベル算出部１０１において第１画像６０の第１輝度レベル１１０が算出される。第１輝度レベル１１０は実行可否判定部１０２に出力され、実行可否判定部１０２において閾値ＴＨと比較される。

図１０で示したように、第１輝度レベル１１０が閾値ＴＨ以上であった場合、「実行する」という内容の判定結果１１２Ａが、実行可否判定部１０２から輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力される（ステップＳＴ１８０でＹＥＳ）。この場合、輝度レベル正規化部１０３において第１画像６０が正規化第１画像６０Ｎとされる。そして、差分画像生成部１０４において正規化第１画像６０Ｎと第２画像６１の差分画像１１５が生成される。差分画像１１５は、第１画像６０および第２画像６１と併せて画像出力部１０５から転送制御部８２に出力される（ステップＳＴ１９０）。

一方、図１１で示したように、第１輝度レベル１１０が閾値ＴＨ未満であった場合、「実行しない」という内容の判定結果１１２Ｂが、実行可否判定部１０２から輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力される（ステップＳＴ１８０でＮＯ）。この場合、輝度レベル正規化部１０３および差分画像生成部１０４は動作されず、したがって差分画像１１５は生成されない。画像出力部１０５からは、重畳用第１画像６０ＳＰおよび第２画像６１が転送制御部８２に出力される。これらステップＳＴ１００～ＳＴ１９０の一連の処理は、モニタ装置５０を介して撮像終了指示が入力されるまで繰り返し続けられる。

以上説明したように、ＣＰＵ６５のフィルタユニット駆動制御部８６は、可視光線ＶＲを透過する第１フィルタＦ１と、赤外線ＩＲを透過する第２フィルタＦ２とを選択的に光路に挿入する。フォーカスレンズ駆動制御部８３は、第１フィルタＦ１を透過した可視光線ＶＲと、第２フィルタＦ２を透過した赤外線ＩＲとの軸上色収差を、フォーカスレンズ２６を光軸ＯＡに沿って移動させることで補正する。イメージセンサ駆動制御部８０は、第１フィルタＦ１を透過した可視光線ＶＲをイメージセンサ２１に撮像させることで、被写体の反射像ＲＦＩを含む第１画像６０を取得する。また、イメージセンサ駆動制御部８０は、第２フィルタＦ２を透過した赤外線ＩＲをイメージセンサ２１に撮像させることで、被写体の反射像ＲＦＩおよび輻射像ＲＤＩを含む第２画像６１を取得する。ズームレンズ駆動制御部８４は、フォーカスレンズ２６を光軸ＯＡに沿って移動させることで生じた第１画像６０と第２画像６１との画角差を、ズームレンズ２７を光軸ＯＡに沿って移動させることで補正する。画像処理部８１は、画角差が補正された状態において取得した第１画像６０と第２画像６１に基づく第３画像としての差分画像１１５を出力する。このため、例えば図１４で示したように、第１画像６０と差分画像１１５の重畳画像１２０をユーザに提示することができる。したがって、輻射像ＲＤＩの観察の妨げになる反射像ＲＦＩが除かれない場合と比べて、輻射像ＲＤＩをユーザに分かりやすく提示することが可能となる。

図１０および図１１で示したように、画像処理部８１は、予め設定された実行条件が満たされた場合に限り、差分画像１１５を出力する。実行条件は、第１画像６０に含まれる反射像ＲＦＩの輝度レベルである第１輝度レベル１１０が、予め設定された閾値ＴＨ以上である、という内容を含む。このため、夜間等、反射像ＲＦＩを除かなくても輻射像ＲＤＩの観察が十分に可能な場合に、わざわざ差分画像１１５を生成して出力する手間を省くことができる。言い換えれば、必要な場合に限って差分画像１１５を生成して出力することができる。なお、夜間等においても、照明光が照射されて第１輝度レベル１１０が閾値ＴＨ以上であった場合は、差分画像１１５が生成されて出力される。

図１１で示したように、画像処理部８１は、第１輝度レベル１１０が閾値ＴＨ未満であった場合、第１輝度レベル１１０が閾値ＴＨ以上の場合に取得して予め記憶しておいた重畳用第１画像６０ＳＰと、画角差が補正された状態において取得した第２画像６１とを出力する。このため、例えば図１５で示したように、重畳用第１画像６０ＳＰと第２画像６１の重畳画像１２１をユーザに提示することができる。したがって、夜間等、反射像ＲＦＩの視認が困難な場合においても、被写体のどの部分が高温となっているか等を把握することができる。

図１２および図１３で示したように、画像処理部８１は、第１画像６０に含まれる反射像ＲＦＩの第１輝度レベル１１０と第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１とを一致させたうえで、差分画像１１５を生成する。このため、第２画像６１に含まれる反射像ＲＦＩをほとんど除くことができ、より反射像ＲＦＩに邪魔されずに輻射像ＲＤＩを観察することができる。

図６で示したように、ズームレンズ駆動制御部８４は、軸上色収差を補正した際のズームレンズ２７の位置に応じて、画角差の補正に要するズームレンズ２７の移動量を変更する。このため、ズームレンズ２７の位置に応じて、適切に画角差を補正することができる。

図８で示したように、フォーカスレンズ駆動制御部８３は、画角差を補正する場合にズームレンズ２７を移動させることでずれたピントを、フォーカスレンズ２６を移動させることで合わせる。このため、画角差が補正され、かつピントが合った第１画像６０を取得することができる。

なお、撮像光学系２０は、ハーフミラー、または偏光素子といった他の光学素子を含んでいてもよい。また、フィルタユニット３１は、絞り３０とマスターレンズ２８との間に限らず、例えばズームレンズ２７と絞り３０との間、あるいはマスターレンズ２８の後段等に配置されていてもよい。さらに、フィルタユニット３１は、鏡筒１１ではなく、本体１２のイメージセンサ２１の前段に配置されていてもよい。

鏡筒１１と本体１２とが取り外し可能なカメラ１０を例示したが、これに限らない。鏡筒１１と本体１２とが取り外し不可で一体のカメラであってもよい。

フィルタユニット３１は、第１フィルタＦ１および第２フィルタＦ２に加えて、光路長調整用フィルタ、あるいは減光フィルタを含んでいてもよい。また、第１フィルタＦ１を透過する可視光線ＶＲの波長帯域は、例示の４００ｎｍ～７７０ｎｍに限らない。第２フィルタＦ２を透過する赤外線ＩＲの波長帯域も、例示の１４５０ｎｍ～１６５０ｎｍに限らない。

［第２実施形態］
上記第１実施形態では、実行条件は、第１輝度レベル１１０が閾値ＴＨ以上である、という内容であったが、これに限らない。

一例として図１７に示すように、第２実施形態のＣＰＵは、上記第１実施形態の各部に加えて、指示受付部１３０として機能する。指示受付部１３０は、モニタ装置５０を介してユーザにより入力される指示を受け付ける。指示は、差分画像１１５の出力を実行する指示（以下、実行指示という）、および実行指示を取り消す指示（以下、取り消し指示という）を含む。指示受付部１３０は、実行指示を受け付けた場合、実行指示を受け付けた旨を実行可否判定部１３１に出力する。また、指示受付部１３０は、取り消し指示を受け付けた場合も、取り消し指示を受け付けた旨を実行可否判定部１３１に出力する。実行可否判定部１３１は、第１画像６０と第２画像６１の差分画像１１５を出力する処理の実行可否の判定結果１３２を、図示省略した輝度レベル正規化部１０３、差分画像生成部１０４、および画像出力部１０５に出力する。

一例として図１８に示すように、実行可否判定部１３１は、指示受付部１３０において実行指示を受け付けた場合、実行条件を満たしたと判定し、「実行する」という内容の判定結果１３２Ａを出力する。対して、一例として図１９に示すように、実行可否判定部１３１は、指示受付部１３０において実行指示を受け付けなかった場合、あるいは指示受付部１３０において取り消し指示を受け付けた場合、実行条件を満たさなかったと判定し、「実行しない」という内容の判定結果１３２Ｂを出力する。

このように、第２実施形態においては、実行条件は、差分画像１１５の出力を実行する指示を受け付けた、という内容を含む。このため、差分画像１１５を出力する処理の実行可否を、ユーザの意向に沿って決めることができる。

なお、実行条件が、第１輝度レベル１１０が閾値ＴＨ以上である、という内容の上記第１実施形態の態様と、実行条件が、差分画像１１５の出力を実行する指示を受け付けた、という内容の本第２実施形態の態様とを、ユーザが選択可能な構成としてもよい。この構成は、第１輝度レベル１１０が閾値ＴＨ以上である、という内容の上記第１実施形態の態様と、実行条件が、差分画像１１５の出力を実行する指示を受け付けた、という内容の本第２実施形態の態様の両方を選択する場合も含む。上記第１実施形態の態様と本第２実施形態の態様の両方を選択した場合、実行可否判定部１３１は、第１輝度レベル１１０が閾値ＴＨ以上であった場合、および差分画像１１５の出力を実行する指示を受け付けた場合に、実行条件を満たしたと判定する。

［第３実施形態］
上記第１実施形態では、第１輝度レベル１１０と第２輝度レベル１１１とを一致させたうえで差分画像１１５を生成しているが、これに限らない。

一例として図２０に示すように、第３実施形態の画像処理部１４０は、輝度レベル正規化部１０３が設けられていない点が、上記第１実施形態の画像処理部８１と異なる。また、画像取得部１００は、第１画像６０のみを輝度レベル算出部１０１に出力し、輝度レベル算出部１０１は、第１輝度レベル１１０のみを算出する点が異なる。

画像取得部１００は、第１画像６０および第２画像６１を直接差分画像生成部１０４に出力する。差分画像生成部１０４は、第１画像６０と第２画像６１の差分画像１４５を生成し、生成した差分画像１４５を画像出力部１０５に出力する。

差分画像１４５の成り立ちを示す図２１において、差分画像生成部１０４は、第２画像６１から第１画像６０を減算することで差分画像１４５を生成する。第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１と、第１画像６０に含まれる反射像ＲＦＩの第１輝度レベル１１０とは、上記第１実施形態のように第１輝度レベル１１０の正規化を行っていないので、異なっている。このため差分画像１４５は、上記第１実施形態の差分画像１１５と比べて、第２画像６１の反射像ＲＦＩがある程度残存した画像となる。

このように、第３実施形態においては、第１画像６０に含まれる反射像ＲＦＩの第１輝度レベル１１０と、第２画像６１に含まれる反射像ＲＦＩの第２輝度レベル１１１とを一致させずに、差分画像１４５を生成する。このため、一例として図２２に示すように、モニタ装置５０において第１画像６０と差分画像１４５の重畳画像１５０を生成する場合に、差分画像１４５に残存している反射像ＲＦＩによって、第１画像６０と差分画像１４５との位置合わせを精度よく行うことができる。

［第４実施形態］
図２３および図２４に示す第４実施形態では、フォーカスレンズ２６に加えてマスターレンズ２８が軸上色収差の補正に用いられる。

図２３において、第４実施形態のカメラ２００は、鏡筒２０１と本体１２とを備える。鏡筒２０１は、上記第１実施形態の鏡筒１１とほぼ同じ構成であるが、マスターレンズ２８にマスターレンズ駆動機構２０２が接続されている点が異なる。その他、上記第１実施形態と同じ部品については同じ符号を付し、説明を省略する。

マスターレンズ駆動機構２０２は、フォーカスレンズ駆動機構３５およびズームレンズ駆動機構３６と同様に、マスターレンズ２８を保持し、外周にカム溝が形成されたマスター用カム環、およびマスター用カム環を光軸ＯＡ周りに回転させることで、マスター用カム環を光軸ＯＡに沿って移動させるマスター用モータ等を含む。マスター用モータは、制御部２０５の制御の下で駆動される。マスター用モータはステッピングモータであり、制御部２０５は、マスター用モータの駆動量から、光軸ＯＡ上のマスターレンズ２８の位置を導き出す。

制御部２０５は、フィルタＦ１およびＦ２を各々透過した複数種の光の軸上色収差を、フォーカスレンズ駆動機構３５を介してフォーカスレンズ２６を光軸ＯＡに沿って移動させることで補正する。また、制御部２０５は、フィルタＦ１およびＦ２を各々透過した複数種の光の軸上色収差を、マスターレンズ駆動機構２０２を介してマスターレンズ２８を光軸ＯＡに沿って移動させることで補正する。すなわち、第４実施形態においては、フォーカスレンズ２６に加えてマスターレンズ２８も、本開示の技術に係る「補正レンズ」の一例である。

一例として図２４のフローチャートに示すように、制御部２０５は、まず、ズームレンズ２７の位置を検出する（ステップＳＴ５００）。検出したズームレンズ２７の位置が、予め設定された閾値よりも望遠側であった場合、すなわち、予め設定された閾値よりもズームレンズ２７が望遠側に位置していた場合（ステップＳＴ５１０でＹＥＳ）、制御部２０５は、フォーカスレンズ駆動機構３５を介してフォーカスレンズ２６を光軸ＯＡに沿って移動させることで、軸上色収差を補正する（ステップＳＴ５２０）。対して、検出したズームレンズ２７の位置が閾値よりも広角側であった場合、すなわち、閾値よりもズームレンズ２７が広角側に位置していた場合（ステップＳＴ５１０でＮＯ）、制御部２０５は、マスターレンズ駆動機構２０２を介してマスターレンズ２８を光軸ＯＡに沿って移動させることで、軸上色収差を補正する（ステップＳＴ５３０）。

このように、第４実施形態では、予め設定された閾値よりもズームレンズ２７が望遠側に位置していた場合は、フォーカスレンズ２６が移動して軸上色収差を補正し、閾値よりもズームレンズ２７が広角側に位置していた場合は、マスターレンズ２８が移動して軸上色収差を補正する。ズームレンズ２７が望遠側に位置していた場合は、軸上色収差の補正に要する移動量は、マスターレンズ２８よりもフォーカスレンズ２６のほうが小さい。このため、予め設定された閾値よりもズームレンズ２７が望遠側に位置していた場合は、フォーカスレンズ２６が移動することにより、軸上色収差の補正に掛かる時間を短縮することができる。一方、ズームレンズ２７が広角側に位置していた場合は、軸上色収差の補正に要する移動量は、フォーカスレンズ２６よりもマスターレンズ２８のほうが小さい。このため、予め設定された閾値よりもズームレンズ２７が広角側に位置していた場合は、マスターレンズ２８が移動することにより、軸上色収差の補正に掛かる時間を短縮することができる。なお、フォーカスレンズ２６とマスターレンズ２８を並行して移動させることで、軸上色収差が補正されてもよい。

上記各実施形態では、第３画像として差分画像１１５および１４５を例示したが、これに限らない。

ズーム機能は、例示の光学ズーム機能９０に限らない。光学ズーム機能９０に加えて、あるいは代えて、電子ズーム機能を用いてもよい。また、重畳用第１画像６０ＳＰは、１フレーム毎にモニタ装置５０に転送してもよいし、１回だけモニタ装置５０に転送してもよい。１回だけ転送する場合、重畳用第１画像６０ＳＰは、モニタ装置５０に記憶されて使い回される。

上記各実施形態では、工場等に設置される監視カメラであるカメラ１０および２００が、本開示の技術に係る「撮像装置」の一例として示されているが、これに限らない。カメラ１０および２００に代えて、一般ユーザが用いるデジタルカメラ、またはスマートデバイス等でもよい。

上記各実施形態では、本開示の撮像制御装置に相当する制御部４５および２０５が、カメラ１０および２００に搭載された態様を例示したが、これに限らない。本開示の撮像制御装置は、モニタ装置５０に搭載されていてもよい。

上記各実施形態において、例えば、イメージセンサ駆動制御部８０、画像処理部８１および１４０、転送制御部８２、フォーカスレンズ駆動制御部８３、ズームレンズ駆動制御部８４、絞り駆動制御部８５、フィルタユニット駆動制御部８６、画像取得部１００、輝度レベル算出部１０１、実行可否判定部１０２および１３１、輝度レベル正規化部１０３、差分画像生成部１０４、画像出力部１０５、および指示受付部１３０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム７０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ６５に加えて、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ:ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）を用いることができる。

本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。

以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０、２００ カメラ
１１、２０１ 鏡筒
１２ 本体
１３ 鏡筒側マウント
１４ 本体側マウント
２０ 撮像光学系
２１ イメージセンサ
２５ 対物レンズ
２６ フォーカスレンズ
２７ ズームレンズ
２８ マスターレンズ
３０ 絞り
３１ フィルタユニット
３５ フォーカスレンズ駆動機構
３６ ズームレンズ駆動機構
３７ 絞り駆動機構
３８ フィルタユニット駆動機構
４０ 鏡筒側接点
４１ 本体側接点
４５、２０５ 制御部
５０ モニタ装置
５１ コネクタ
６０ 第１画像
６０Ｎ 正規化第１画像
６０ＳＰ 重畳用第１画像
６１ 第２画像
６５ ＣＰＵ
６６ メモリ
６７ ストレージ
７０ 作動プログラム
７１ ズームレンズ移動量情報
８０ イメージセンサ駆動制御部
８１、１４０ 画像処理部
８２ 転送制御部
８３ フォーカスレンズ駆動制御部
８４ ズームレンズ駆動制御部
８５ 絞り駆動制御部
８６ フィルタユニット駆動制御部
９０ 光学ズーム機能
１００ 画像取得部
１０１ 輝度レベル算出部
１０２、１３１ 実行可否判定部
１０３ 輝度レベル正規化部
１０４ 差分画像生成部
１０５ 画像出力部
１１０ 第１輝度レベル
１１１ 第２輝度レベル
１１２、１１２Ａ、１１２Ｂ、１３２、１３２Ａ、１３２Ｂ 判定結果
１１５、１４５ 差分画像
１２０、１２１、１５０ 重畳画像
１３０ 指示受付部
２０２ マスターレンズ駆動機構
Ｆ１ 第１フィルタ
Ｆ２ 第２フィルタ
ＩＤ 結像側方向
ＩＲ 赤外線
ＯＡ 光軸
ＯＤ 物体側方向
ＲＤＩ 輻射像
ＲＦＩ 反射像
ＳＬ 被写体光
ＳＴ１０～ＳＴ１３、ＳＴ１００、ＳＴ１１０、ＳＴ１２０、ＳＴ１３０、ＳＴ１４０、ＳＴ１５０、ＳＴ１６０、ＳＴ１７０、ＳＴ１８０、ＳＴ１９０、ＳＴ２００、ＳＴ５００、ＳＴ５１０、ＳＴ５２０、ＳＴ５３０ ステップ
ＴＨ 閾値
ＶＲ 可視光線

Claims (12)

1. プロセッサと、
   前記プロセッサに接続または内蔵されたメモリと、を備え、
   第１フィルタ、第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置であって、
   前記第１フィルタは可視光線を透過し、
   前記第２フィルタは赤外線を透過し、
   前記プロセッサは、
   前記第１フィルタと前記第２フィルタとを選択的に光路に挿入し、
   前記第１フィルタを透過した可視光線と、前記第２フィルタを透過した赤外線との軸上色収差を、前記補正レンズを光軸に沿って移動させることで補正し、
   前記第１フィルタを透過した可視光線を前記イメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得し、
   前記第２フィルタを透過した赤外線を前記イメージセンサに撮像させることで、前記被写体の反射像および輻射像を含む第２画像を取得し、
   前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、前記ズーム機能を動作させることで補正し、
   前記画角差が補正された状態において取得した前記第１画像と前記第２画像に基づく、輻射像を含む第３画像を、前記第１画像に含まれる反射像の輝度レベルが、予め設定された閾値以上である、という内容を含む実行条件が満たされた場合に限り出力する、
   撮像制御装置。
2. 前記プロセッサは、
   前記輝度レベルが前記閾値未満であった場合、前記輝度レベルが前記閾値以上の場合に取得して予め記憶しておいた前記第１画像と、前記画角差が補正された状態において取得した前記第２画像とを出力する請求項１に記載の撮像制御装置。
3. 前記実行条件は、前記第３画像の出力を実行する指示を受け付けた、という内容を含む請求項１または請求項２に記載の撮像制御装置。
4. 前記プロセッサは、
   前記第３画像として、前記第１画像と前記第２画像の差分画像を生成する請求項１から請求項３のいずれか１項に記載の撮像制御装置。
5. 前記プロセッサは、
   前記第１画像に含まれる反射像の輝度レベルと前記第２画像に含まれる反射像の輝度レベルを一致させたうえで、前記差分画像を生成する請求項４に記載の撮像制御装置。
6. 前記プロセッサは、
   前記第１画像に含まれる反射像の輝度レベルと前記第２画像に含まれる反射像の輝度レベルが異なった状態で、前記差分画像を生成する請求項４に記載の撮像制御装置。
7. 前記撮像装置は、ズームレンズを有し、
   前記プロセッサは、前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、前記ズームレンズを光軸に沿って移動させることにより補正する請求項１から請求項６のいずれか１項に記載の撮像制御装置。
8. 前記プロセッサは、
   前記軸上色収差を補正した際の前記ズームレンズの位置に応じて、前記画角差の補正に要する前記ズームレンズの移動量を変更する請求項７に記載の撮像制御装置。
9. 前記プロセッサは、
   前記画角差を補正する場合に前記ズームレンズを移動させることでずれたピントを、前記補正レンズを移動させることで合わせる請求項７または請求項８に記載の撮像制御装置。
10. 請求項１から請求項９のいずれか１項に記載の撮像制御装置を備える撮像装置。
11. 可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御する撮像制御装置の作動方法であって、
    前記第１フィルタと前記第２フィルタとを選択的に光路に挿入すること、
    前記第１フィルタを透過した可視光線と、前記第２フィルタを透過した赤外線との軸上色収差を、前記補正レンズを光軸に沿って移動させることで補正すること、
    前記第１フィルタを透過した可視光線を前記イメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、
    前記第２フィルタを透過した赤外線を前記イメージセンサに撮像させることで、前記被写体の反射像および輻射像を含む第２画像を取得すること、
    前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、ズーム機能を動作させることで補正すること、および、
    前記画角差が補正された状態において取得した前記第１画像と前記第２画像に基づく、輻射像を含む第３画像を、前記第１画像に含まれる反射像の輝度レベルが、予め設定された閾値以上である、という内容を含む実行条件が満たされた場合に限り出力すること、
    を含む撮像制御装置の作動方法。
12. 可視光線を透過する第１フィルタ、赤外線を透過する第２フィルタ、補正レンズ、ズーム機能、およびイメージセンサを有する撮像装置の動作を制御するプログラムであって、
    前記第１フィルタと前記第２フィルタとを選択的に光路に挿入すること、
    前記第１フィルタを透過した可視光線と、前記第２フィルタを透過した赤外線との軸上色収差を、前記補正レンズを光軸に沿って移動させることで補正すること、
    前記第１フィルタを透過した可視光線を前記イメージセンサに撮像させることで、被写体の反射像を含む第１画像を取得すること、
    前記第２フィルタを透過した赤外線を前記イメージセンサに撮像させることで、前記被写体の反射像および輻射像を含む第２画像を取得すること、
    前記補正レンズを光軸に沿って移動させることで生じた前記第１画像と前記第２画像との画角差を、ズーム機能を動作させることで補正すること、および、
    前記画角差が補正された状態において取得した前記第１画像と前記第２画像に基づく、輻射像を含む第３画像を、前記第１画像に含まれる反射像の輝度レベルが、予め設定された閾値以上である、という内容を含む実行条件が満たされた場合に限り出力すること、
    を含む処理をコンピュータに実行させるためのプログラム。