JP7249108B2 - 撮像装置及び撮像プログラム - Google Patents

Description

本発明の実施形態は、撮像装置及び撮像プログラムに関わるものである。

可視光を発生する白色光源を用いて被写体を観察（通常観察）する場合は、背景の明るさ（白色光源からの入射光量レベル）に応じて感度（露光時間、増幅量など）を自動制御し、明るさを一定に保つ処理がある。また、Ｘ線、紫外線、赤外線または可視光が励起光として照射することにより生じる蛍光を観察（蛍光観察）する場合においても、同様の感度の自動制御がある。

一方、例えば医療分野では、上述のような蛍光観察を用いて、通常観察により得られる画像（背景画像）に蛍光観察により得られる画像（蛍光画像）を重畳して観察する場合がある。この場合、背景画像の感度は自動制御されるが、蛍光画像の感度は、表示される蛍光部分の位置や量が特定できないため自動制御は行えず、ユーザが手動で設定する必要がある。

しかし、医療分野の観察では、ユーザが蛍光画像の感度を設定した後に、光源と被写体との距離または被写体に対する照射角度が変動することで光量が変化するなど、照射条件が変化することが一般的である。
照射条件が変化した場合、背景画像の感度は自動制御により一定に保たれるが、蛍光画像の感度は自動制御されない。そのため、ユーザは、照射条件が変化する度に、背景画像の明るさと比較して蛍光画像の感度設定を行う必要があり、非常に手間がかかり煩わしい。

特許第５２６５０５５号明細書 特許第４７６１８９９号明細書

本実施形態の目的は、ユーザの利便性を向上させることにある。

本実施形態に係る撮像装置は、撮像部と、画像生成部と、計算部と、合成部と、取得部とを含む。撮像部は、第１の種類の光を受光することで第１電気信号を発生し、第２の種類の光を受光することで第２電気信号を発生する。画像生成部は、前記第１電気信号に基づいて第１画像を逐次生成し、前記第２電気信号に基づいて第２画像を逐次生成する。計算部は、前記第１画像の明るさを所定の値に一致又は近似させる第１制御パラメータ値を算出し、前記第１制御パラメータ値と所定の感度比とに基づいて、前記第２画像の明るさに関する第２制御パラメータ値を算出する。合成部は、前記第１制御パラメータ値を用いて明るさが調整された前記第１画像と、前記第２制御パラメータ値を用いて明るさが調整された前記第２画像とを合成した合成画像を生成する。取得部は、前記所定の感度比が決定されたときの、前記第１の種類の光と前記第２の種類の光との強度比を取得する。前記計算部は、前記強度比を参照して前記所定の感度比を一定に保つ処理を行い、当該感度比に基づいて、前記第２制御パラメータ値を算出し、前記第２制御パラメータ値は、前記第２の種類の光の露光時間と前記第２電気信号に適用するゲイン値とを含む。

第１の実施形態に係る撮像装置を示すブロック図。 第１の実施形態に係る撮像装置の感度制御処理を示すフローチャート。 第１の実施形態に係る撮像シーケンスを示す図。 第１の実施形態に係る撮像シーケンスの別例を示す図。 感度制御処理が行われた合成画像の表示例を示す図。 第２の実施形態に係る撮像装置を示すブロック図。

以下、図面を参照しながら本実施形態に係わる撮像装置及び撮像プログラムについて説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

第１の実施形態に係る撮像装置について図１のブロック図を参照して説明する。
第１の実施形態に係る撮像装置１は、撮像部１１と、画像処理部１３と、画像生成回路１５と、画像合成回路１７と、白色光源２０と、ＩＲ光源２２とを含む。
撮像部１１は、プリズム１１１と、シャッタ１１２，１１３，１１４，１１５と、イメージセンサ１１６，１１７，１１８，１１９とを含む。

画像処理部１３は、ゲイン調整回路１３１，１３２及び１３３と、マスターゲイン調整回路１３４と、評価値計算回路１３５と、感度計算回路１３６と、背景感度制御回路１３７と、加算回路１３８と、蛍光感度制御回路１３９とを含む。

白色光源２０は、各波長の光線が混合した可視光である白色光を出力する。出力された白色光は被写体Ｐに照射される。被写体Ｐに照射された白色光が反射し、反射光が発生する。

ＩＲ光源２２は、近赤外線の励起光（以下、ＩＲ（infrared rays）光という）を出力する。出力されたＩＲ光は被写体Ｐに照射される。ここでは、被写体ＰにはＩＲ光により励起する蛍光物質が存在する場合を想定し、蛍光物質から蛍光が発生する。

プリズム１１１は、ここでは三板式のプリズムであり、被写体Ｐからの反射光及び蛍光を、Ｒ（赤）光、Ｇ（緑）光及びＢ（青）光の三原色に分光する。なお、三板式のプリズムの場合、蛍光はＲ光と同経路に分光されるため、実際的にはシャッタ１１２及びイメージセンサ１１６が共通して用いられ、時分割でＲ光と蛍光とに対する機能が振り分けられる。しかし、説明の便宜上、仮想的にＲ光と蛍光とが分離された経路で処理されるものとして図示する。
すなわち、図１に示すように、白色光がプリズム１１１に入射している期間は、Ｒ光がシャッタ１１２を通過してイメージセンサ１１６で受光され、蛍光がプリズム１１１に入射している期間は、蛍光がシャッタ１１５を通過してイメージセンサ１１９で受光されるように、仮想的に経路を分けて説明する。なお、時分割制御の一例については、図３を参照して後述する。

シャッタ１１２は、プリズム１１１で分離されたＲ光が後段のイメージセンサ１１６へ入射する際の入射光量（以下、露光時間という）を調整する。

シャッタ１１３は、プリズム１１１で分離されたＧ光が後段のイメージセンサ１１７へ入射する際の露光時間を調整する。

シャッタ１１４は、プリズム１１１で分離されたＢ光が後段のイメージセンサ１１８へ入射する際の露光時間を調整する。

シャッタ１１５は、プリズム１１１で分離されたＩＲ光が後段のイメージセンサ１１９へ入射する際の露光時間を調整する。

なお、各シャッタの具体的な動作としては、例えば各シャッタの構成がいわゆるメカニカルシャッタである場合は、物理的に開閉することでイメージセンサへの入射光量が調整される。つまり、メカニカルシャッタを用いる場合の「露光時間」とは、イメージセンサが受光している時間である。

一方、各シャッタの構成がいわゆる電子シャッタである場合は、キャパシタが空の状態からの電荷のチャージ量を調整することでイメージセンサへの入射光量が調整される。つまり、電子シャッタの場合の「露光時間」とは、チャージした電荷を一度捨てた後の再チャージの時間である。

イメージセンサ１１６は、Ｒ光を光電変換し、電気信号であるＲ撮像信号を生成する。

イメージセンサ１１７は、Ｇ光を光電変換し、電気信号であるＧ撮像信号を生成する。

イメージセンサ１１８は、Ｂ光を光電変換し、電気信号であるＢ撮像信号を生成する。なお、以下では、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号をまとめて、白色光を受光することで得られる電気信号であるＲＧＢ撮像信号とも呼ぶ。

イメージセンサ１１９は、ＩＲ光を光電変換し、電気信号であるＩＲ撮像信号を生成する。

上述した各イメージセンサとしては、例えばＣＣＤ（Charge-Coupled Device）を用いる場合を想定するが、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）など他の撮像素子を用いてもよい。

なお、図示しないが、撮像部１１に励起光を遮断する励起光カットフィルタが設けられる。よって、イメージセンサ１１９にはＩＲ光が入射されず、蛍光成分のみが入射される。

ゲイン調整回路１３１は、イメージセンサ１１６からＲ撮像信号を受け取り、Ｒ撮像信号のゲインを調整する。

ゲイン調整回路１３２は、イメージセンサ１１８からＢ撮像信号を受け取り、Ｂ撮像信号のゲインを調整する。

なお、ゲイン調整回路１３１およびゲイン調整回路１３２によるゲイン調整は、いわゆるホワイトバランス調整であり、一般的な処理により、必要に応じてＲ撮像信号およびＢ撮像信号の振幅を調整するなどして、ゲインが調整されればよい。

ゲイン調整回路１３３は、イメージセンサ１１９からＩＲ撮像信号を、後述する加算回路１３８から、ＩＲ撮像信号に基づいて生成される蛍光画像の感度（以下、蛍光感度という）に関する制御信号をそれぞれ受け取る。ゲイン調整回路１３３は、制御信号に基づいてＩＲ撮像信号のゲインを調整する。

マスターゲイン調整回路１３４は、ゲイン調整回路１３１からＲ撮像信号を、イメージセンサ１１７からＧ撮像信号を、ゲイン調整回路１３２からＢ撮像信号をそれぞれ受け取り、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号の全体のゲインを調整する。

評価値計算回路１３５は、マスターゲイン調整回路１３４からゲインが調整されたＲ撮像信号、Ｇ撮像信号及びＢ撮像信号を受け取り、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号に基づくカラー画像である背景画像の明るさに関する評価値を計算する。評価値は、例えば画素の輝度値である。

感度計算回路１３６は、評価値計算回路１３５から評価値を受け取り、評価値と予め設定される目標値とを比較することで、背景画像の感度（以下、背景感度という）の設定値（制御パラメータ値）を計算する。例えば、明るさの目標値に対して評価値が大きければ、画像の明るさが暗くなるような背景感度を設定し、評価値が目標値よりも小さければ、画像の明るさが明るくなるような背景感度を設定する。

背景感度制御回路１３７は、感度計算回路１３６から設定された背景感度を受け取り、ゲイン、露光時間及び光量のうちのどれを用いて背景感度を制御するかを決定し、決定した制御手段に対する制御信号を生成する。

加算回路１３８は、感度計算回路１３６から設定された背景感度を、外部からユーザにより設定される感度比をそれぞれ受け取り、背景感度と感度比とを用いて、ＩＲ撮像信号に基づく蛍光画像の感度（以下、蛍光感度という）の設定値（制御パラメータ値）を計算する。

蛍光感度制御回路１３９は、加算回路１３８から計算された蛍光感度の設定値を受け取り、ゲイン、露光時間及び光量のうちどれを用いて蛍光感度を制御するかを決定し、決定した制御手段に対する制御信号を生成する。

画像生成回路１５は、マスターゲイン調整回路１３４からＲ撮像信号、Ｇ撮像信号及びＢ撮像信号を、ゲイン調整回路１３３からＩＲ撮像信号を、各信号が生成される毎に逐次受け取る。画像生成回路１５は、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号に基づいて背景画像を逐次生成し、ＩＲ撮像信号に基づいて蛍光画像を逐次生成する。

画像合成回路１７は、背景画像と蛍光画像とをαブレンディング等により合成して合成画像を生成する。結果として、背景画像に蛍光成分がマーカーとして重畳された画像が得られ、モニタなどの表示装置（図示せず）に表示される。

次に、第１の実施形態に係る撮像装置１の感度制御処理について図２のフローチャートを参照して説明する。
なお、撮像装置１の動作は、各撮像信号に基づく合成画像を、例えば６０ｆｐｓの動画として表示できるように、各撮像信号が所定のサンプリングタイミングで逐次取得される場合を想定する。なお、動画の代わりに静止画を取得してもよい。

ステップＳ２０１では、感度比が設定される。感度比は予め設定されたデフォルト値を画像処理部１３が取得してもよい。または、感度比としてデフォルト値を用いて合成画像を生成し、表示装置に表示された合成画像について、ユーザが、背景に対して蛍光部位が見やすい明るさとなるようにダイヤルやマウスなどを用いて調整する。その後、当該ユーザが確定ボタンを押下するなどして確定した画像を得た特定時相における、背景感度と蛍光感度との比率を感度比として設定してもよい。

ステップＳ２０２では、測光領域が設定される。測光領域は、ユーザにより手動で設定された領域を画像処理部１３が取得してもよい。または、測光領域として、画像に対してのエリアの形状及びサイズが予め設定されたもの画像処理部１３が用いてもよい。

ステップＳ２０３では、撮像部１１が、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号及びＩＲ撮像信号を取得する。

ステップＳ２０４では、評価値計算回路１３５が、背景画像の評価値を計算する。背景画像の明るさを評価する範囲は、背景画像全体でもよいし、ステップＳ２０２で設定された測光領域でもよい。また、背景画像の明るさは、画素毎の輝度値の平均を用いてもよいし、ＲＧＢの画素値の最大値の積分を用いてもよい。

ステップＳ２０５では、感度計算回路１３６が、背景感度を計算する。ここで計算される背景感度は、「露光時間×マスターゲイン値」で表すことができる。

ステップＳ２０６では、背景感度制御回路１３７が、得られた背景感度に基づいて、背景感度の制御手段を決定する。決定した制御手段に応じて、背景感度が調整される。

例えば、ゲインを制御する場合は、背景感度制御回路１３７が、背景感度の設定値Ｓｗと一致または近似するようなゲインとするため制御信号をマスターゲイン調整回路１３４に送る。マスターゲイン調整回路１３４が、制御信号に基づき、Ｒ撮像信号、Ｇ撮像信号及びＢ撮像信号全体のゲインを制御する。

露光時間を制御する場合は、背景感度制御回路１３７が、背景感度の設定値Ｓｗと一致または近似するような露光時間とするための制御信号を、撮像部１１に送る。撮像部１１のシャッタ１１２，１１３，１１４は、制御信号に従って露光時間を制御する。より具体的には、メカニカルシャッタであれば、開閉時間を制御し、電子シャッタであれば、チャージする電荷量を制御する。

光量を制御する場合は、背景感度制御回路１３７が、背景感度の設定値Ｓｗと一致または近似するような光量とするための制御信号を白色光源２０に送る。白色光源２０は、制御信号に従って光量の出力を制御する。

なお、１つの制御手段を用いて背景感度を調整した場合、背景感度を設定値Ｓｗに近づけることができずに、当該制御手段ではそれ以上背景感度を調整できない場合も想定される。例えば、ゲインを制御して背景感度を調整しようとした場合に、それ以上ゲインを増加させることができないことも想定される。このような場合は、撮像部１１の各シャッタ１１２，１１３，１１４を制御して露光時間を長くするなど、他の調整手法と併用して背景感度を調整すればよい。

また、背景感度を増加させる（背景画像を明るくする）場合、始めは露光時間が長くなるようにシャッタ１１２，１１３，１１４を制御し、それでも輝度が不足する場合は、マスターゲイン調整回路１３４により、ゲインを増加させるように制御するのが望ましいが、先にゲインから制御してもよい。

ステップＳ２０７では、加算回路１３８が、ステップＳ２０６で計算された背景感度の設定値ＳｗとステップＳ２０１で設定された感度比とに応じて、蛍光感度の設定値を計算する。蛍光感度の設定値Ｓｉｒとし、感度比Ｒｏすると、Ｓｉｒ＝Ｒｏ×Ｓｗを計算すればよい。

ステップＳ２０８では、蛍光感度制御回路１３９が、蛍光感度の設定値Ｓｉｒに基づいて、蛍光感度の制御手段を決定する。決定した制御手段に応じて、蛍光感度が調整される。蛍光感度は、背景感度と同様に「露光時間×マスターゲイン値」で制御することができる。よって、例えば、ゲインを制御する場合は、蛍光感度制御回路１３９が、蛍光感度の設定値Ｓｉｒと一致または近似するようなゲインとするための制御信号をゲイン調整回路１３３に送る。ゲイン調整回路が、制御信号に基づきＩＲ撮像信号のゲインを制御する。

露光時間を制御する場合は、蛍光感度制御回路１３９が、蛍光感度の設定値と一致または近似するような露光時間とするための制御信号を撮像部１１に送る。撮像部１１のシャッタ１１５は、制御信号に従って露光時間を制御する。

光量を制御する場合は、蛍光感度制御回路１３９が、蛍光感度の設定値と一致または近似するような光量とするための制御信号をＩＲ光源２２に送る。ＩＲ光源２２は、制御信号に従って光量の出力を制御する。

ステップＳ２０９は、画像合成回路１７が、感度調整された背景画像と蛍光画像との合成画像を生成する。合成画像は、ユーザが確認できるよう表示装置に表示されるとする。

ステップＳ２０９により蛍光感度が調整された後、ステップＳ２０３に戻り、次の各撮像信号（ＲＧＢ撮像信号，ＩＲ撮像信号）を取得し、各ステップの処理を繰り返す。

なお、例えば背景感度制御回路１３７により、背景画像の輝度が変化したか否かの判定処理を設け、輝度が変化した場合にのみステップＳ２０４からステップＳ２０９の処理を実行してもよい。すなわち、輝度が変化しない場合は感度調整に係るステップＳ２０４からステップＳ２０９までの処理を行わないことで、消費電力を低減することができる。輝度が変化したか否かの判定処理は、例えばステップＳ２０３の後に行われればよい。

また、感度比は、測光領域が決定された後に設定されてもよい。例えば、被写体（被写体の部位）と測光領域と感度比との統計的な対応関係を画像処理部１３が記憶しておき、ステップＳ２０２で設定された測光領域に応じて、当該対応関係から感度比が決定されてもよい。

感度比は、ユーザが手動で設定することに限らず、自動で決定されてよい。例えば、画面全体に蛍光画像が拡がっている場合や、画面に蛍光画像が表示されない場合など、蛍光画像の感度設定が適切でないことが明確な状態も有り得る。このような場合は、蛍光画像が適切な範囲内になるように、自動で感度比が調整されてもよい。

具体的には、画面全体に蛍光画像が拡がっている場合、背景感度に対する蛍光感度の比率が高すぎることを示す。よって、蛍光感度制御回路１３９が、許容範囲の上限の条件を満たすまで蛍光感度を下げれば良い。許容範囲の条件としては、例えば、画面に表示される蛍光画像の領域が閾値以下のサイズであるか、蛍光の輝度値のピークレベルが閾値以下であるかに設定されればよい。

一方、画面に蛍光画像が表示されない場合は、背景感度に対する蛍光感度の比率が低すぎることを示す。よって、蛍光感度制御回路１３９が、許容範囲の下限の条件を満たすまで蛍光感度を上げれば良い。許容範囲の条件としては、画面に表示される蛍光画像の領域が閾値以上のサイズであるか、蛍光画像の輝度値のピークレベルが閾値以上であるかに設定されればよい。なお、許容範囲の条件はこれに限らず、蛍光感度に関する調整であれば何でもよい。
このように、許容範囲にある蛍光感度に応じて感度比にある程度の幅を持たせ、より柔軟に感度調整を行ってもよい。

次に、撮像部１１における撮像シーケンスについて図３及び図４を参照して説明する。
図３は、上から下に向かって順に、（ａ）映像出力、（ｂ）各イメージセンサの露光時間、（ｃ）白色光源２０からの白色光（ＲＧＢ）の出力時間及び（ｄ）ＩＲ光源２２からのＩＲ光の出力時間に関するタイミングチャートを示す。

上述のように、Ｒ光とＩＲ光による蛍光とはプリズム１１１において同じ方向に分光されるため、白色光源２０の照射時間およびＩＲ光源２２の照射時間を時分割で切り替えて制御することで、Ｒ光及び蛍光をそれぞれイメージセンサに取り込む。

具体的には、期間３０１では、白色光源２０がオン（白色光を出力）となり、ＩＲ光源２２がオフ（ＩＲ光を出力しない）となるので、白色光だけプリズム１１１に入射されることになる。よって、Ｒ光、Ｇ光及びＢ光がイメージセンサ１１６，１１７，１１８でそれぞれ受光される。

期間３０１の終了後、次の期間３０２では、白色光源２０がオフとなり、ＩＲ光源２２がオンとなるので、蛍光だけプリズム１１１に入射することになる。よって、期間３０１の終了後、蛍光がイメージセンサ１１９で受光される。

以上の処理を繰り返すことにより、Ｒ光、Ｇ光及びＢ光に分光するプリズム１１１を用いて、Ｒ撮像信号、Ｇ撮像信号、Ｂ撮像信号及びＩＲ撮像信号を取得することができる。

次に、撮像部１１における撮像シーケンスの別例について図４に示す。
図４は、上から下に向かって順に、（ａ）映像出力、（ｂ）各イメージセンサの露光時間、（ｃ）白色光源２０からのＧＢ光の出力時間及び（ｄ）ＩＲ光源２２からのＩＲ光の出力時間に関するタイミングチャートを示す。

図４の例では、白色光源２０から出力される光はＲＧＢ光ではなく、カラーフィルタなどによりＲ光成分を減衰させたＧＢ光である。つまり、背景画像としては、カラー画像ではなく、ＧＢ光から得られるＧ撮像信号及びＢ撮像信号に基づいてモノクロ画像が生成される。

具体的には、白色光源２０とＩＲ光源２２とを常時オンとした状態、すなわち白色光源２０からＧＢ光を、ＩＲ光源２２からＩＲ光を同時に照射しておく。期間４０１のタイミングで、イメージセンサ１１７，１１８がＧ光及びＢ光をそれぞれ受光することができ、イメージセンサ１１９が蛍光を受光することができる。

これによって、モノクロ画像であるため、Ｒ光を受光するタイミングでＩＲ光を受光することができ、図３に示すようなＲ光とＩＲ光との時分割処理をしなくてもよい。よって、露光時間の減少による感度の低下を抑制することができる。

次に、第１の実施形態に係る感度制御処理が行われた合成画像の表示例について図５を参照して説明する。
図５の左図は、例えば内視鏡により撮像された被写体の背景画像５０１に対し、蛍光マーカーによる蛍光画像５０２が重畳された合成画像の一例である。ここでは、測光領域５０３内で基準となる感度比が設定された場合を想定する。

図５の中央の図は、光源（白色光源２０及びＩＲ光源２２）又は撮像部１１が被写体に近づいた場合を示す。
光源又は撮像部１１が被写体に近づく場合は、撮像部１１への入射光量が増加するため、背景画像及び蛍光画像ともに明るさが増加する。ここで、背景感度の自動調整が行われた場合、背景感度と感度比とに基づいて蛍光感度が設定されるため、感度比を一定に保つように、例えば蛍光画像を暗くするなどの調整を、自動で行うことができる。

一方、図５の右図は、光源又は撮像部１１が被写体から遠ざかった場合を示す。
光源又は撮像部１１が被写体から遠ざかる場合は、撮像部１１への入射光量が減少するため、背景画像及び蛍光画像ともに明るさが減少する。この場合でも、光源又は撮像部１１が被写体に近づいた場合と同様に、背景感度と感度比とに基づいて蛍光感度が設定されるため、感度比を一定に保つように、蛍光画像を明るくするなどの調整を、自動で行うことができる。

なお、背景感度制御回路１３７は、白色光源２０の光量が制御できない場合は、露光時間及びゲインの少なくとも１つの手段により、背景感度を調整すればよい。同様に、蛍光感度制御回路１３９が、ＩＲ光源２２の光量が制御できない場合は、露光時間及びゲインの少なくとも１つの手段により、蛍光感度を調整すればよい。

以上に示した第１の実施形態によれば、背景感度と感度比とに基づいて蛍光感度が設定されるため、被写体と撮像装置または光源との距離が変化して撮像条件が変化し、背景画像の明るさが自動調整された場合でも、背景画像と蛍光画像との感度比を一定に保つように、蛍光画像の明るさも自動制御される。
これによって、被写体と撮像装置または光源との距離が変化した場合でも、蛍光画像との明るさをその都度設定する必要が無く、合成画像についてユーザ所望の感度比及び視認性を保つことができるため、ユーザの利便性が向上する。

（第２の実施形態）
第１の実施形態では光源から出力される光量も制御可能である場合を想定している。しかし、光量を制御できない場合、白色光源２０またはＩＲ光源２２の少なくともどちらかの光量が変化した場合、感度比のみの制御に従うと、想定した感度比とはズレが生じる可能性がある。

例えば、白色光源２０から出力される光量が２倍となった場合、背景画像の感度調整ではゲインを１／２倍にする制御が行われる。このとき、感度比を一定する制御が行われた場合、ＩＲ光源２２からの光量は変化していないにもかかわらず、蛍光画像のゲインが１／２倍に下がってしまう。この場合は、蛍光画像のみ感度が低下してしまうことになる。

よって、第２の実施形態では、感度比に加えて、感度比を設定したときの白色光源２０及びＩＲ光源２２の強度比を参照することで、所望の感度比を一定に保つことができる。

第２の実施形態に係る撮像装置１について図６のブロック図を参照して説明する。
第１の実施形態の構成に加え、強度比取得回路１４０を含む。

強度比取得回路１４０は、感度比が設定された際の強度比を取得する。強度比は、白色光の強度（光量）とＩＲ光の強度（光量）との比である。強度比は、例えば、第１の実施形態で上述したユーザが感度比を設定したタイミングで、白色光源２０及びＩＲ光源２２からそれぞれ強度値を取得する。なお、ユーザにより設定された強度比を取得してもよい。

加算回路１３８は、外部から感度比を、強度比取得回路１４０から強度比をそれぞれ取得し、強度比を参照して感度比を一定に保つ処理を行う。具体的には、強度比Ｒｌｏは、「白色光の強度÷ＩＲ光の強度」で表せる。また、現在の強度比をＲｌｔとすると、蛍光感度の設定値Ｓｉｒは、「Ｓｉｒ＝Ｓｗ×Ｒｏ×Ｒｌｔ／Ｒｌｏ」と表すことができる。

よって、加算回路１３８は、感度比の計算の際に強度比の情報を加えて、蛍光感度の設定値Ｓｉｒを算出できる。

蛍光感度制御回路１３９は、第１の実施形態と同様に加算回路１３８から蛍光感度の設定値に基づいて、蛍光感度の制御手段を決定し、蛍光感度を調整すればよい。

以上に示した第２の実施形態によれば、光源の光量を制御できない場合に白色光源とＩＲ光源との強度比が変わったときにも、強度比を考慮して蛍光感度を計算することで、背景画像及び蛍光画像の比率を一定に保つことができ、ユーザの利便性を更に向上させることができる。

なお、上述した実施形態では、三板式のプリズムを用いているため、白色光源２０とＩＲ光源２２とを時分割で制御することで、Ｒ光（ＩＲ光）、Ｇ光及びＢ光の４つの撮像信号を得ている。しかし、Ｒ光、Ｇ光、Ｂ光及びＩＲ光の４つの光（チャネル）に分光可能な４板式のプリズムであれば、各チャネルを直接読み出し可能なので、時分割で光源を制御しなくてもよい。

また、プリズム１１１に代えてカラーフィルタを用いてＲ光，Ｇ光，Ｂ光を取得してもよい。
なお、撮像部１１に、ゲイン調整回路１３１，１３２が含まれる構成でもよい。さらに、マスターゲイン調整回路１３４を撮像部１１と画像処理部１３との双方に配置し、それぞれでゲインを調整できるようにしてもよい。これにより、撮像部１１のゲイン調整で不足した分を、画像処理部１３でゲイン調整をするようにしてもよい。

なお、本実施形態では、近赤外線を想定しているが、遠赤外線や紫外線など他の波長帯域の光を複数用いる場合でも、同様の処理を行うことができる。

複数の波長帯域における複数の蛍光（例えば、赤と青）について処理する場合は、赤の蛍光については、シャッタ１１２及びイメージセンサ１１６がＲ光と共通して用いられ、時分割でＲ光と赤の蛍光とに対する機能が振り分けられる。青の蛍光については、シャッタ１１４及びイメージセンサ１１８がＢ光と共通して用いられ、時分割でＢ光と青の蛍光とに対する機能が振り分けられる。
また、複数の波長帯域の蛍光を用いる場合は、第１の波長帯域の蛍光と背景画像との第１の感度比を決定した後、第２の波長帯域の蛍光と背景画像との第２の感度比を決定する際に、第１の感度比に基づいて当該第２の感度比を決定してもよい。

さらに、上述した各回路は、これら専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Logic Device：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により実現されてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１・・・撮像装置、１１・・・撮像部、１３・・・画像処理部、１５・・・画像生成回路、１７・・・画像合成回路、２０・・・白色光源、２２・・・ＩＲ光源、１１１・・・プリズム、１１２，１１３，１１４，１１５・・・シャッタ、１１６，１１７，１１８，１１９・・・イメージセンサ、１３１，１３２，１３３・・・ゲイン調整回路、１３４・・・マスターゲイン調整回路、１３５・・・評価値計算回路、１３６・・・感度計算回路、１３７・・・背景感度制御回路、１３８・・・加算回路、１３９・・・蛍光感度制御回路、１４０・・・強度比取得回路、３０１，３０２，４０１・・・期間、５０１・・・背景画像、５０２・・・蛍光画像、５０３・・・測光領域。

Claims (7)

1. 第１の種類の光を受光することで第１電気信号を発生し、第２の種類の光を受光することで第２電気信号を発生する撮像部と、
   前記第１電気信号に基づいて第１画像を逐次生成し、前記第２電気信号に基づいて第２画像を逐次生成する画像生成部と、
   前記第１画像の明るさを所定の値に一致又は近似させる第１制御パラメータ値を算出し、前記第１制御パラメータ値と所定の感度比とに基づいて、前記第２画像の明るさに関する第２制御パラメータ値を算出する計算部と、
   前記第１制御パラメータ値を用いて明るさが調整された前記第１画像と、前記第２制御パラメータ値を用いて明るさが調整された前記第２画像とを合成した合成画像を生成する合成部と、
   前記所定の感度比が決定されたときの、前記第１の種類の光と前記第２の種類の光との強度比を取得する取得部と、を備え、
   前記計算部は、前記強度比を参照して前記所定の感度比を一定に保つ処理を行い、当該感度比に基づいて、前記第２制御パラメータ値を算出し、
   前記第２制御パラメータ値は、前記第２の種類の光の露光時間と前記第２電気信号に適用するゲイン値とを含む撮像装置。
2. 前記所定の感度比は、特定時相における前記第１制御パラメータ値と前記第２制御パラメータ値の比である、請求項１に記載の撮像装置。
3. 前記第１制御パラメータ値は、前記第１の種類の光の露光時間と前記第１電気信号に適用するゲイン値とを含む、
   請求項１又は２に記載の撮像装置。
4. 前記第１の種類の光は可視光であり、前記第２の種類の光は蛍光である、請求項１から請求項３のいずれか１項に記載の撮像装置。
5. 第１の種類の光を受光することで第１電気信号を発生し、第２の種類の光を受光することで第２電気信号を発生する撮像部と、
   前記第１電気信号に基づいて第１画像を逐次生成し、前記第２電気信号に基づいて第２画像を逐次生成する画像生成部と、
   前記第１画像の明るさを所定の値に一致又は近似させる第１制御パラメータ値を算出し、前記第１制御パラメータ値と所定の感度比とに基づいて、前記第２画像の明るさに関する第２制御パラメータ値を算出する計算部と、
   前記第１制御パラメータ値を用いて明るさが調整された前記第１画像と、前記第２制御パラメータ値を用いて明るさが調整された前記第２画像とを合成した合成画像を生成する合成部と、
   前記所定の感度比を決定する際に、調整後の前記第２画像に関する条件が許容範囲内となるように、前記所定の感度比を制御する制御回路と、を備え、
   前記第２制御パラメータ値は、前記第２の種類の光の露光時間と前記第２電気信号に適用するゲイン値とを含む撮像装置。
6. 第１の種類の光を受光することで第１電気信号を発生し、第２の種類の光を受光することで第２電気信号を発生する撮像部と、
   前記第１電気信号に基づいて第１画像を逐次生成し、前記第２電気信号に基づいて第２画像を逐次生成する画像生成部と、
   前記第１画像の明るさを所定の値に一致又は近似させる第１制御パラメータ値を算出し、前記第１制御パラメータ値と所定の感度比とに基づいて、前記第２画像の明るさに関する第２制御パラメータ値を算出する計算部と、
   前記第１制御パラメータ値を用いて明るさが調整された前記第１画像と、前記第２制御パラメータ値を用いて明るさが調整された前記第２画像とを合成した合成画像を生成する合成部と、を備え、
   前記第２制御パラメータ値は、前記第２の種類の光の露光時間と前記第２電気信号に適用するゲイン値とを含み、
   前記撮像部は、複数の第２の種類の光を受光し、
   前記第１の種類の光と前記複数の第２の種類の光のうちの１つの光とに関する感度比を用いて、当該第１の種類の光と、前記複数の第２の種類の光のうち当該１つの光を除いた他の第２の種類の光とに関する感度比が決定される撮像装置。
7. コンピュータに、
   第１の種類の光を受光することで得られる第１電気信号に基づいて第１画像を逐次生成し、第２の種類の光を受光することで得られる第２電気信号に基づいて第２画像を逐次生成する生成機能と、
   前記第１画像の明るさを所定の値に一致又は近似させる第１制御パラメータ値を算出し、前記第１制御パラメータ値と所定の感度比とに基づいて、前記第２画像の明るさに関する第２制御パラメータ値を算出する算出機能と、
   前記第１制御パラメータ値を用いて明るさが調整された前記第１画像と、前記第２制御パラメータ値を用いて明るさが調整された前記第２画像とを合成した合成画像を生成する生成機能と、
   前記所定の感度比が決定されたときの、前記第１の種類の光と前記第２の種類の光との強度比を取得する取得機能と、
   を実現させるための撮像プログラムであって、
   前記算出機能は、前記強度比を参照して前記所定の感度比を一定に保つ処理を行い、当該感度比に基づいて、前記第２制御パラメータ値を算出し、
   前記第２制御パラメータ値は、前記第２の種類の光の露光時間と前記第２電気信号に適用するゲイン値とを含む、撮像プログラム。

Images