JP4407707B2 - 撮像装置、画像表示システム、撮像装置の制御方法 - Google Patents

Description

本発明は、赤外線画像を撮像する撮像装置、画像表示システム、撮像装置の制御方法に関する。

従来において、赤外線を被写体に向けて照射し、被写体から反射する反射光を取り込むことで、被写体を撮像する撮像装置が知られている。この撮像装置は、例えば車両に搭載される。車両に搭載された撮像装置によって撮像した画像は、車両運転者に提示する処理、車両周辺に存在する歩行者や他車両等の移動体を検出する処理、当該検出された移動体の存在に基づいて車両運転者に警報を発する処理に用いられている。

この撮像装置は、赤外線を照射しないときに得られる画像と、赤外線を照射したときに得られる画像との差分を求める構成となっている。赤外線を照射しないときには、外来光が被写体に当たり反射するため、撮像装置で得られる光は外来光成分のみである。一方、赤外線を照射したときには、外来光及び赤外線が被写体に当たり反射するため、撮像装置で得られる光は外来光及び赤外線成分を含む。赤外線を照射しないときの画像と赤外線を照射したときの画像との差分は、外来光成分がキャンセルされて赤外線成分のみが抽出された画像となる。これにより、従来の撮像装置によれば、外来光の影響を低減させた画像を得ることができるとしている（例えば特許文献１参照）。
特開平２−３０４６８０号公報

しかし、従来の撮像装置では、所定波長成分の赤外線光を照射しているため、当該所定波長成分の光強度が高い外来光の環境下においては、外来光の低減幅が小さくなるため、差分を求めたとしても鮮明な画像を出力することが困難となってしまう。

特に、車両用の撮像装置では、トンネル出入口などの外来光の光強度差が大きくなるシーンにおいても撮像画像の飽和やツブレが生じないように、撮像可能な強度範囲が広い高ダイナミックレンジカメラが必要とされ、例えばｌｏｇ特性のカメラが用いられやすい。このｌｏｇ特性のカメラでは、光の強度が高くなるに従い感度が小さくなる。このため、ｌｏｇ特性のカメラでは、外来光強度が大きくなると差分値が小さくなり、鮮明な画像を出力することが一層困難となってしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、外来光の状態に応じて鮮明な画像を撮像をすることが可能な撮像装置、画像表示システム、撮像装置の制御方法を提供することにある。

本発明に係る撮像装置は、被写体に複数の波長域の光を照射する照射手段を備え、当該照射手段により複数の波長域の光が照射されたとき、及び前記照射手段により光が照射されていないときの双方について被写体を、撮像手段によって撮像する。上述の課題を解決するため、撮像装置は、撮像手段により撮像された双方の画像に基づいて、波長域算出手段によって、前記照射手段により複数の波長域の光が照射されたときに前記撮像手段により撮像された波長域別の照射画像と、前記照射手段により光が照射されていないときに前記撮像手段により撮像された非照射画像との双方の画像に基づいて、前記複数の波長域のうち最も外来光の強度が弱い波長域を求め、前記照射手段により照射する複数の波長域の光のうち、前記波長域算出手段により求められた波長域の光の発光強度を、他の波長域の光の発光強度よりも高めるように、照射制御手段によって照射手段から照射させる。この撮像装置において、前記波長域算出手段は、前記複数の波長域の光が照射されたときの波長域別の照射画像と、前記照射手段により光が照射されていないときの非照射画像との差分を、前記複数の波長域のそれぞれについて求め、それぞれの波長域の差分値のうち最も差分値が大きい波長域を、最も外来光の強度が弱い波長域として求める。

本発明に係る画像表示システムは、上述の課題を解決するために、上記の撮像装置を備え、複数の波長域の光が照射されたときの画像と照射されないときの画像との差分を示す差分画像のデータを、前記撮像装置から入力して画像表示する表示手段を備える。

本発明を適用した撮像装置の制御方法は、被写体に対して複数の波長域の光が照射された状態で、被写体を撮像して波長域別の照射画像を得る第１撮像ステップと、複数の波長域の光の照射が行われない状態で、被写体を撮像して非照射画像を得る第２撮像ステップとを有する。上述の課題を解決するために、この撮像装置の制御方法は、第１撮像ステップにおいて得られた波長域別の照射画像と前記第２撮像ステップにおいて得られた非照射画像とに基づいて、前記複数の波長域のうち最も外来光の強度が弱い波長域を求める波長域算出ステップと、前記複数の波長域の光のうち、前記波長域算出ステップにおいて求められた波長域の光について発光強度を高めて、次回の照射ステップにおいて複数の波長域の光を照射させる照射制御ステップとを行う。前記波長域算出ステップは、前記複数の波長域の光が照射されたときの波長域別の照射画像と、前記照射手段により光が照射されていないときの非照射画像との差分を、前記複数の波長域のそれぞれについて求め、それぞれの波長域の差分値のうち最も差分値が大きい波長域を、最も外来光の強度が弱い波長域として求める。

本発明に係る撮像装置、画像表示システム及び撮像装置の制御方法によれば、複数の波長域のうち最も外来光の強度が弱い波長域を求め、求めた波長域の光について発光強度を高めるので、外来光の強度が弱い波長域、言い換えれば外来光の影響を受けにくい波長域の光を照射することができ、外来光の状態に応じて鮮明な画像を撮像をすることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本発明を適用した撮像装置１０を含む画像表示システム１の構成図である。同図に示すように、画像表示システム１は、撮像装置１０と、表示部（表示手段）３０とからなる。画像表示システム１は、撮像装置１０により撮像した被写体Ｏを含む画像を表示部３０に表示させる。なお、本例においては、撮像装置１０によって撮像した画像を表示部３０に表示させるものについて説明するが、表示部３０に画像を表示させることは本発明の必須要件ではない。すなわち、撮像装置１０によって撮像された画像は、画像処理によって被写体Ｏの位置を検出する処理などに使用しても良い。

撮像装置１０は、照射部（照射手段）１１、光学スプリッタ１２、光学フィルタ１３、カメラ（撮像手段）１４、記憶部１５、波長域算出部（波長域算出手段）１６、照射制御部（照射制御手段）１７、電源１８、照射制御部１９、及び加算部２０を備えている。

照射部１１は、例えば発光ダイオードなどからなり、所定の照射範囲に向けて複数の波長域の光を照射する。図２は、図１に示した照射部１１の詳細構成図であり、（ａ）は全体構成を示し、（ｂ）は一部構成を示している。

図２（ａ）に示すように、照射部１１は、発光部１１ａとレンズ１１ｂと筐体１１ｃとからなっている。発光部１１ａは、図２（ｂ）に示すように、個々の発光素子（ＬＥＤ）に相当する発光領域が縦１０×横１０程度のマトリクス状に配置されたＬＥＤユニットである。それぞれの発光領域（ＬＥＤ）は、所定の複数の波長域の光をそれぞれ照射可能に構成されている。

画像表示システム１が車両に搭載される場合、それぞれの発光素子は、波長７００〜１０００ｎｍ（近赤外域）の範囲のうち３つの波長域の光が照射可能となっている。それぞれの発光素子は、例えば近赤外域で中心波長をλ１、λ２、λ３とし、それぞれの中心波長を中心として波長幅Δλの光が照射可能となっている。また、発光素子は、照射制御部１９の制御により中心波長λ１とする照射光、中心波長λ２とする照射光、又は、中心波長λ３とする照射光を時分割で出力する構成となっている。それぞれの発光素子から照射された光は、筐体１１ｃに固定されるレンズ１１ｂを通過して光学スプリッタ１２に入力される。

光学スプリッタ１２は、図１に示すように、内部にハーフミラー１２ａを有し、ハーフミラー１２ａの反射によって、照射部１１から発せられた光を反射させる。このハーフミラー１２ａによる光の反射方向は、被写体Ｏ側に向けられている。また、光学スプリッタ１２は、被写体Ｏからの反射光（撮像装置１０からの照射光が反射した光及び外来光が反射した光の双方を含む）が入射される。反射光は、ハーフミラー１２ａを通過し、光学フィルタ１３に入力する。

光学フィルタ１３は、透過する波長を選択可能なフィルタである。透過波長は照射制御部１９の制御に応じて変更可能となっている。ここで、光学フィルタ１３は、照射部１１により照射される波長域の光のみを透過されるように制御されることが好ましい。これにより、必要な光のみを入力することができるためである。

カメラ１４は、被写体Ｏからの反射光を入力し、光電変換することにより被写体Ｏの画像を含む撮像画像データを取得する。また、上記照射部１１は、時分割制御によって、光を照射する状態と、光を照射しない状態とで切り換えられる。このため、カメラ１４は、照射部１１により複数の波長域を含む光が照射されたときには、外来光が被写体Ｏで反射した光と照射光が被写体Ｏで反射した光とを含む反射光を受光して撮像画像データ（照射時撮像画像データ）を取得し、照射部１１により複数の波長域を含む光が照射されないときには、外来光が被写体Ｏで反射した光のみを含む反射光を受光して撮像画像データ（非照射時撮像画像データ）を取得する。

記憶部１５は、カメラ１４により取得された照射時撮像画像データを記憶する。なお、記憶部１５は、照射部１１により光が照射されないときの非照射時撮像画像データのみ、又は、照射時撮像画像データ、非照射時撮像画像データの双方を記憶するように構成されていてもよい。

波長域算出部１６は、照射時撮像画像データ及び非照射時撮像画像データの双方の画像に基づいて、複数の波長域のうち最も外来光の強度が弱い波長域を求める。この波長域算出部１６は、差分演算部１６ａと、蓄積部１６ｂと、算出部１６ｃとからなっている。

差分演算部１６ａは、照射時撮像画像データと非照射時撮像画像データとの差分を複数の波長域それぞれに対して求める。より具体的に説明すると、差分演算部１６ａは、中心波長をλ１とする照射光を照射したときに得られた第１照射時撮像画像データと、照射光を照射しないときに得られた非照射時撮像画像データとの差分値（第１差分値）を求める。さらに、差分演算部１６ａは、中心波長をλ２とする照射光を照射したときに得られた第２照射時撮像画像データと非照射時撮像画像データとの差分値（第２差分値）、及び、中心波長をλ３とする照射光を照射したときに得られた第３照射時撮像画像データと非照射時撮像画像データとの差分値（第３差分値）を求める。

蓄積部１６ｂは、差分演算部１６ａにより求められた第１〜第３差分値を個別に蓄積する。蓄積部１６ｂの内部構成は、第１差分値の記憶領域１６ｂ＿１、第２差分値の記憶領域１６ｂ＿２、第３差分値の記憶領域１６ｂ＿３に、論理的又は物理的に区分されている。蓄積部１６ｂは、各差分値をｍ回分蓄積可能な容量を有している。具体的に説明すると、蓄積部１６ｂは、時系列に付与される番号１〜ｍのｍ枚分の差分値（差分画像）を記憶する画像メモリを有する。蓄積部１６ｂは、新しい差分値が求められるごとに、上記番号を「１」ずつ増加させ、画像メモリに記憶していく。番号は所定値のｍに達した段階で、次に新しい差分値が求められると、番号は「１」に戻るようになっている。また、蓄積部１６ｂは、ｍ個の差分値を加算した値（差分合計値）を算出部１６ｃに出力する。

算出部１６ｃは、蓄積部１６ｂに蓄積された第１〜第３差分値の差分合計値に基づいて、複数の波長域のうち最も外来光の強度が弱い波長域を求める。算出部１６ｃによる算出方法の概念を説明する。まず、特定波長λでの被写体Ｏの反射率をＲ（λ）とし、特定波長λでの外来光の強度をＰｅ（λ）とし、特定波長λでの照射光の強度をＰｓ（λ）とし、光学スプリッタ１２，光学フィルタ１３，カメラ１４に含まれる光学部品や撮像時の波長特性を合わせてα（λ）とすると、照射時撮像画像の信号値Ｉｏｎ及び非照射時撮像画像の信号値Ｉｏｆｆは、
Ion（λ）＝log（α（λ）×Ｒ（λ）×（Ｐｅ（λ）＋Ｐｓ（λ））） （１）
Ioff（λ）＝log（α（λ）×Ｒ（λ）×Ｐｅ（λ）） （２）
となる。

従って、差分値Ｉｓは、式（１）及び式（２）から、
Is（λ）＝Ion（λ）−Ｉｏｆｆ（λ）
＝log（１＋Ｐｓ（λ））／Ｐｅ（λ）） （３）となる。
ここで、照射部１１は、λ１〜λ３を中心波長とする光を照射する。このため、第１差分値Ｉｓ（λ１）は、log（１＋Ｐｓ（λ１）／Ｐｅ（λ１））となり、第２差分値Ｉｓ（λ２）は、log（１＋Ｐｓ（λ２）／Ｐｅ（λ２））となり、第３差分値Ｉｓ（λ３）は、log（１＋Ｐｓ（λ３）／Ｐｅ（λ３））となる。

また、λ１〜λ３を中心波長とする照射光が同じ発光強度である場合、照射光強度のＰｓ（λ１）、Ｐｓ（λ２）及びＰｓ（λ３）は同じ値となる。このため、差分値Ｉｓが小さい場合、外来光の強度Ｐｅ（λ）が大きいこととなり、差分値Ｉｓが大きい場合、外来光の強度Ｐｅ（λ）が小さいこととなる。よって、複数の波長域についての差分値Ｉｓのうち、最も差分値Ｉｓが大きい波長域を、最も外来光の強度の弱い波長域と特定することができる。

図３及び図４を参照してさらに説明する。図３は、特定波長λでの照射光の強度Ｐｓ（λ）を示す図であり、図４は、各波長での外来光の強度をＰｅ（λ）及び各波長域での照射光の強度Ｐｓ（λ）として示す図である。

図３に示すように、照射部１１は中心波長λｎ（ｎ＝１，２，３）で波長幅Δλの光を照射する。この場合、被写体Ｏに照射される光の強度は、図４に示すような波長に対する分布を有する。この図４を式（３）と対応させると、式（３）においてｌｏｇ内の分母を示すＰｅ（λ１）、Ｐｅ（λ２）及びＰｅ（λ３）は、図４における右肩下がりの斜線部となり、式（３）においてｌｏｇ内の分子にあるＰｓ（λ１）、Ｐｓ（λ２）及びＰｓ（λ３）は、図４における右肩上がりの斜線部となる。

図４から明らかなように、Ｐｓ（λ１）／Ｐｅ（λ１）、Ｐｓ（λ２）／Ｐｅ（λ２）、及び、Ｐｓ（λ３）／Ｐｅ（λ３）のうち、最も大きい値となるのはＰｓ（λ２）／Ｐｅ（λ２）であり、差分値Ｉｓ（λ２）の値は、差分値Ｉｓ（λ１）及び差分値Ｉｓ（λ３）よりも大きくなる。このように、λ２を中心波長とする波長域では差分値Ｉｓが大きくなり、算出部１６ｃは、最も外来光の強度の弱い波長域と特定することができる。

また、本実施形態に係る波長域算出部１６は、蓄積部１６ｂにより各差分値を蓄積している。式（３）から明らかなようにＩｓ（λ）は負の値になることはない。従って、波長域算出部１６は、蓄積部１６ｂに差分値を蓄積することにより、各波長域間の差を大きくすることができる。従って、波長域算出部１６は、より正確に最も外来光の強度の弱い波長域と特定することができる。

照射制御部１７は、複数の波長域の光のうち、波長域算出部１６により求められた波長域の光について発光強度を高めて、照射部１１から複数の波長域の光を照射させる。電源１８は、撮像装置１０に駆動電流を供給する。電源１８からの駆動電流は、照射制御部１７によって制御されて照射部１１の各発光素子に供給される。照射制御部１７は、発光強度決定部１７ａと、発光強度記憶部１７ｂと、電流制御部１７ｃとを備えている。

発光強度決定部１７ａは、照射部１１から複数の波長域の光を照射させる際の発光強度を決定する。この発光強度決定部１７ａは、発光強度を「０」〜「３」の４段階で決定する。「０」は０ｆｆであり、「１」は発光強度：小であり、「２」は発光強度：中あり、「３」は発光強度：大である。また、発光強度決定部１７ａは、波長域算出部１６により決定された波長域の光について発光強度を高く決定する。例えば、最も外来光の強度の弱い波長域がλ１であると決定された場合、発光強度決定部１７ａは、λ１の発光強度を「３」と決定し、λ２及びλ３の発光強度を「１」と決定する。

発光強度記憶部１７ｂは、照射部１１から照射される各波長の光の発光強度を記憶する。発光強度記憶部１７ｂは、発光強度決定部１７ａにより発光強度が決定されると、決定されるごとに、発光強度情報を入力して記憶する。

電流制御部１７ｃは、発光強度決定部１７ａにより決定された発光強度で、照射部１１を制御する。電流制御部１７ｃは、発光強度決定部１７ａによって決定された波長域の光の発光強度を高めて照射部１１から照射させる。このとき、電流制御部１７ｃは、発光強度決定部１７ａによって決定された波長域の光の強度を最大にしても、照射部１１から発光する発光強度を一定に保持する。これにより、一部の波長域の発光強度のみを高くする時でも、当該発光強度が高くなる分だけ余計な電力を消費することがない。

図５は、各波長での外来光の強度をＰｅ（λ）及び各波長域での照射光の強度αｎ×Ｐｓ（λ）を示す図であり、外来光の強度に応じて照射部１１から照射される光の発光強度を変更させた後の状態を示している。

発光強度決定部１７ａによりλ２を中心とする波長域について発光強度を高くし、λ１及びλ３を中心とする波長域の発光強度を低くすると決定した場合、前述の図４に示した照射強度−波長の特性は、図５に示すようになる。すなわち、λ２を中心とする波長域の照射強度に、α２が乗じられ、α２×Ｐｓ（λ２）／Ｐｅ（λ２）となり、この値がＰｓ（λ２）／Ｐｅ（λ２）より大きくなって、第２差分値Ｉｓ（λ２）が大きくなる。これにより、効率良い撮像を行うことができる。なお、αｎ（ｎ＝１，２，３，）は中心波長λｎの照射光についての発光強度の変化を示す数であり、α１＋α２＋α３＝１となっている。このため、α２が大きくなると、α１及びα３は小さくなり、α１×Ｐｓ（λ１）／Ｐｅ（λ１）はＰｓ（λ１）／Ｐｅ（λ１）より小さくなっている。λ３についても同様である。特に、α１＋α２＋α３＝１となっているため、発光強度の総和Ｐは、
Ｐ＝α１×Ｐｓ（λ１）＋α２×Ｐｓ（λ２）＋α３×Ｐｓ（λ３） （４）
と表すことができ、常に一定の値となる。これにより、全体の発光パワーを増加させることなく、発熱量を抑えたうえで、外来光の強度に応じた効率的な撮像をすることができる。なお、図５に示すように、電流制御部１７ｃは、波長域算出部１６により求められなかった波長域の光について発光強度を低くするにあたり、発光強度を「０」とすることなく低くする。

具体的には、電流制御部１７ｃは、図６及び図７に示すようにして照射部１１による照射を制御する。図６は、電流制御部１７ｃの処理の概要を示す第１の図である。図６に示すように、電流制御部１７ｃは、発光強度決定部１７ａにより決定された発光強度情報Ｖ（λ）を入力し、その情報をＤ／Ａ変換して電圧に変化する。そして、電流制御部１７ｃは、Ｄ／Ａ変換した電圧でトランジスタ等を制御することにより、発光強度情報Ｖ（λ）に応じた電流（λ）を発光素子に供給する。このとき、電流制御部１７ｃは、電源１８からの電流を発光素子に供給することとなる。

図７は、電流制御部１７ｃの処理の概要を示す第２の図である。図７に示すように、電流制御部１７ｃは、照射部１１から照射する波長単位に、時分割制御によって電流（λ）を照射部１１に供給する。具体的には、時刻０〜時刻Ｔ１において、電流制御部１７ｃは電流を供給しないこととする。これにより、カメラ１４は、照射部１１による照射がないときの非照射時撮像画像データを取得する。次に、時刻Ｔ１〜時刻Ｔ２において、電流制御部１７ｃは電流（λ１）を供給する。これにより、カメラ１４は、照射部１１により中心波長λ１とする波長域の光が照射されたときの照射時撮像画像データを取得する。

次いで、時刻Ｔ２〜時刻Ｔ３において、電流制御部１７ｃは電流を供給しないこととし、カメラ１４は照射部１１による照射がないときの非照射時撮像画像データを取得する。その後、時刻Ｔ３〜時刻Ｔ４において電流制御部１７ｃは電流（λ２）を供給し、カメラ１４は、照射部１１により中心波長λ２とする波長域の光が照射されたときの照射時撮像画像データを取得する。次に、時刻Ｔ４〜時刻Ｔ５において電流制御部１７ｃは電流を供給しないこととし、カメラ１４は照射部１１による照射がないときの非照射時撮像画像データを取得する。その後、時刻Ｔ５〜時刻Ｔ６において電流制御部１７ｃは電流（λ３）を供給し、カメラ１４は、照射部１１により中心波長λ３とする波長域の光が照射されたときの照射時撮像画像データを取得する。以後、電流制御部１７ｃは、同様に時分割に電流（λ）を供給していくこととなる。

再度、図１を参照する。照射制御部１９は、撮像装置１０の全体を制御するものであり、各部の同期をとっている。加算部２０は蓄積部１６ｂに蓄積される第１差分値（λ１）、第２差分値（λ２）及び第３差分値（λ３）を加算することで差分画像を形成し、表示部３０に出力する。表示部３０は、差分画像のデータを撮像装置１０から入力して画像表示するものである。

なお、上記において算出部１６ｃは、差分値に基づいて最も外来光の強度が弱い波長域を求めているが、これに加えて、発光強度記憶部１７ｂに記憶される情報に基づいて、最も外来光の強度が弱い波長域を求めることが好ましい。上記の式（３）等ではαｎを考慮せずに説明したが、電流制御部１７ｃにより一部の波長域について発光強度が高められた場合、図５から明らかなように、その波長域について差分値Ｉｓの値が大きくなってしまう。このため、単純に第１〜第３差分値を比較したとしても最も外来光の強度が最も弱い波長域を特定するにあたり、支障をきたす場合がある。そこで、算出部１６ｃは、第１〜第３差分値に加えて、照射部１１による各波長域の光の発光強度（すなわちαｎ）とから、最も外来光の強度が最も弱い波長域を求める。これにより、より正確に最も外来光の強度が最も弱い波長域を求めるようにしている。

さらに、式（３）の説明では、外来光強度を求めることなく差分値の大小により外来光強度の強弱を判断していたが、これに限らず、算出部１６ｃは、外来光強度を算出して、複数の波長域のうち最も外来光の強度が弱い波長域を求めるようにしてもよい。外来光強度の算出方法を説明する。まず、蓄積部１６ｂによるｍ回分の蓄積値Ｉｍは、
Ｉｍ＝ｍ×ｌｏｇ（１＋αｎ×Ｐｓ（λｎ）／Ｐｅ（λｎ）） （５）
と表すことができる。

それぞれの波長域の外来光強度Ｐｅ（λ）は、式（５）を変換して、
Ｐｅ（λ１）＝α１×Ｐｓ（λ１）／（１０（Ｉｍ／ｍ）−１） （６）
Ｐｅ（λ２）＝α２×Ｐｓ（λ２）／（１０（Ｉｍ／ｍ）−１） （７）
Ｐｅ（λ３）＝α３×Ｐｓ（λ３）／（１０（Ｉｍ／ｍ）−１） （８）
と表すことができる。ここで、α１〜α３、Ｐｓ（λ）、Ｉｍ及びｍは既知の値であるから、これら式（６）〜（８）によって、それぞれの波長域の外来光強度を求めることができる。

次に、本実施形態に係る画像表示システム１の動作の概略を説明する。図８は、本実施形態に係る画像表示システム１の動作の概略を示す図であり、（ａ）は算出部１６ｃにより算出された外来光強度を示し、（ｂ）は発光強度決定部１７ａにより決定された発光強度を時間変化で示し、（ｃ）〜（ｆ）は発光強度決定部１７ａにより決定された発光強度を個別に示している。

まず、時刻０において画像表示システム１の電源をオンしたとする。この時点において、外来光強度は算出されていないため、図８（ｂ）及び（ｆ）に示すように、中心波長λ１〜λ３とする照射光の強度は同じとされている（全て発光強度「２」：中）。その後、時刻Ｔ１１において、外来光λ２の強度が最も低くなったとする。このとき、発光強度決定部１７ａは、図８（ｂ）及び（ｄ）に示すように、中心波長λ２とする照射光の強度を高め（発光強度「３」：大）、他の波長λ１，λ３の照射光強度を弱める（発光強度「１」：小）。その後、時刻Ｔ１２に至るまで、照射部１１は上記の強度で時分割に照射光を照射する。

次に、時刻Ｔ１２において、外来光λ３の強度が最も低くなったとする。このとき、発光強度決定部１７ａは、図８（ｂ）及び（ｅ）に示すように、λ３の波長成分の光強度を高め（発光強度「３」：大）、他の波長成分のλ１，λ２の光強度を弱める（発光強度「１」：小）。その後、時刻Ｔ１３に至るまで、照射部１１は上記の強度で時分割に照射光を照射する。

次いで、時刻Ｔ１３において、外来光の波長成分のλ２の光強度が最も低くなったとする。このとき、発光強度決定部１７ａは、図８（ｂ）及び（ｄ）に示すように、波長成分のλ２の光強度を高め（発光強度「３」：大）、他の波長成分のλ１，λ３の光強度を弱める（発光強度「１」：小）。その後、時刻Ｔ１４に至るまで、照射部１１は上記の強度で時分割に照射光を照射する。

次に、時刻Ｔ１４において、外来光の波長成分のλ１の強度が最も低くなったとする。このとき、発光強度決定部１７ａは、図８（ｂ）及び（ｃ）に示すように、波長成分のλ１の光強度を高め（発光強度「３」：大）、他の波長成分のλ２，λ３の光強度を弱める（発光強度「１」：小）。その後、時刻Ｔ１５に至るまで、照射部１１は上記の強度で時分割に照射光を照射する。

次いで、時刻Ｔ１５において、外来光の波長成分のλ３の強度が最も低くなったとする。このとき、発光強度決定部１７ａは、図８（ｂ）及び（ｅ）に示すように、波長成分のλ３の光強度を高め（発光強度「３」：大）、他の波長成分のλ１，λ２の光強度を弱める（発光強度「１」：小）。以後、画像表示システム１は上記した処理を繰り返し実行することとなる。

次に、本実施形態に係る画像表示システム１の動作の一例を、フローチャートを参照して説明する。図９は、本実施形態に係る画像表示システム１の動作の一例を示すフローチャートである。図９に示すように、まず、撮像装置１０は、波長域を示す数ｎを「１」とする（ステップＳ１）。

次に、照射制御部１７は、決定した強度で、中心波長λｎとする波長域の光を照射部１１から照射させる（ステップＳ２）。そして、カメラ１４は被写体Ｏを含む領域を撮像する（ステップＳ３）。これにより、撮像装置１０は、中心波長をλｎとする波長域の光を照射したときの画像を取得する。その後、記憶部１５は、カメラ１４により撮像された撮像画像を記憶する（ステップＳ４）。

次いで、照射制御部１７は、照射部１１による照射を中止する（ステップＳ５）。その後、カメラ１４は被写体Ｏを含む領域を撮像する（ステップＳ６）。これにより、撮像装置１０は非照射時撮像画像データを取得する。その後、差分演算部１６ａは中心波長λｎでの差分値を算出する（ステップＳ７）。

次に、蓄積部１６ｂは中心波長λｎの差分値を蓄積する（ステップＳ８）。その後、撮像装置１０は波長域を示す数ｎをインクリメントする（ステップＳ９）。その後、撮像装置１０は波長域を示す数ｎが「３」であるか否かを判断する（ステップＳ１０）。波長域を示す数ｎが「３」でないと判断された場合（ステップＳ１０：ＮＯ）、処理はステップＳ２に移行する。

一方、波長域を示す数ｎが「３」であると判断された場合（ステップＳ１０：ＹＥＳ）、算出部１６ｃは発光強度記憶部１７ｂから、ステップＳ２において照射された照射光の発光強度の情報を読み込む（ステップＳ１１）。

その後、算出部１６ｃは、各波長域の外来光強度を算出する（ステップＳ１２）。その後、発光強度決定部１７ａは、ステップＳ１２において算出された外来光強度に基づいて、各波長域の照射光の発光強度を決定する（ステップＳ１３）。

次に、発光強度記憶部１７ｂは、ステップＳ１３において決定された発光強度の情報を記憶する（ステップＳ１４）。そして、図９に示す処理は終了する。なお、図９に示す処理は画像表示システム１の電源がオフされるまで、繰り返し実行される。

このようにして、本実施形態に係る撮像装置１０、画像表示システム１、及び撮像方法によれば、複数の波長域の光が照射されたとき及び照射されないときの双方の画像から、複数の波長域のうち最も外来光の強度が弱い波長域を求め、求めた波長域の光について発光強度を高める。このため、外来光の強度が弱い波長域、言い換えれば外来光の影響を受けにくい波長域の光を照射部１１から照射することができ、外来光の強度に応じた効率的な撮像をすることができる。

また、各波長域の光が照射されたときの画像と、照射されないときの画像との差分を、複数の波長域それぞれに対して求め、それぞれの波長域の差分値のうち最も差分値が大きい波長域を、最も外来光の強度が弱い波長域として求める。ここで、差分値は外来光の強度が大きくなるほど小さくなる傾向にある。このため、上記のようにすることで、最も外来光の強度が弱い波長域を求めることができる。

また、それぞれの差分値を波長域それぞれに区分して複数回蓄積し、蓄積値から、最も外来光の強度が弱い波長域を求める。ここで、差分値は負の値になることがないため、蓄積により蓄積された値は大きくなっていく。これにより、差分をより顕著に表すことができ、より正確に最も外来光の強度が弱い波長域を求めることができる。

また、各波長域の発光強度の総和を一定としているため、全体の発光パワーを増加させることなく、発熱量を抑えたうえで、外来光の強度に応じた効率的な撮像をすることができる。

また、波長域算出手段により求められなかった波長域の光について発光強度を「０」とすることなく弱める。ここで、特定の波長域の光について強度を「０」としてしまうと、その波長域についての差分値を求められなくなり、今後の照射光の波長域の算出に支障をきたしてしまう。ところが、上記のようにすることで、今後の照射光の波長域の算出に支障をきたすことなく、外来光の強度に応じた効率的な撮像を継続することができる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

例えば、上記実施形態に係る画像表示システム１において、カメラ１４の光軸と、照射部１１から照射される光の光軸とを一致させ、被写体Ｏに光が到達する発光素子のみの発光強度を変更することが好ましい。光軸を一致させることにより、発光素子のｘｙ位置と撮像画像のｘｙ位置とが一致することとなり、被写体Ｏに光が到達する発光素子を特定することができる。そして、被写体Ｏに光が到達する発光素子のみの発光強度を変更することで、他の発光素子について発光強度を変更することなく、被写体Ｏを効率的に撮像することができる。

また、本実施形態に係る画像表示システム１では、照射光は近赤外光であったが、近赤外光に限るものではない。例えば太陽光のうち強度の小さい波長域の照射光を照射するように構成されてもよい。これにより、昼間の時間帯において効率的な撮像を行うことができる。また、同様に水銀灯や蛍光灯の光のうち強度の小さい波長域の照射光を照射するように構成されてもよい。これにより、夜間の時間帯において効率的な撮像を行うことができる。

また、本実施形態に係る画像表示システム１では、各波長域の光を時分割で照射していたが、これに限らず、各波長域の光を同時に照射し、光学フィルタ１３において特定波長域の光のみを透過させて撮像するようにしてもよい。これによっても、各波長域の光を時分割で照射した同様の効果を得ることができる。

本発明の実施形態に係る撮像装置を含む画像表示システムの構成図である。 図１に示した照射部の詳細構成図であり、（ａ）は全体構成を示し、（ｂ）は一部構成を示している。 特定波長λでの照射光の強度Ｐｓ（λ）を示す図である。 各波長での外来光の強度をＰｅ（λ）及び各波長域での照射光の強度Ｐｓ（λ）を示す図である。 各波長での外来光の強度をＰｅ（λ）及び各波長域での照射光の強度をαｎ×Ｐｓ（λ）を示す図であり、外来光の強度に応じて発光強度を変更させた後の状態を示している。 電流制御部の処理の概要を示す第１の図である。 電流制御部の処理の概要を示す第２の図である。 本実施形態に係る画像表示システム１の動作の概略を示す図であり、（ａ）は算出部により算出された外来光強度を示し、（ｂ）は発光強度決定部により決定された発光強度を時間変化で示し、（ｃ）〜（ｆ）は発光強度決定部により決定された発光強度を個別に示している。 本実施形態に係る画像表示システムの動作の一例を示すフローチャートである。

符号の説明

１ 画像表示システム
１０ 撮像装置
１１ 照射部（照射手段）
１１ａ 発光部
１１ｂ レンズ
１１ｃ 筐体
１２ 光学スプリッタ
１２ａ ハーフミラー
１３ 光学フィルタ
１４ カメラ（撮像手段）
１５ 記憶部
１６ 波長域算出部（波長域算出手段）
１６ａ 差分演算部
１６ｂ 蓄積部
１６ｃ 算出部
１７ 照射制御部（照射制御手段）
１７ａ 発光強度決定部
１７ｂ 発光強度記憶部
１７ｃ 電流制御部
１８ 電源
１９ 照射制御部
２０ 加算部
３０ 表示部（表示手段）

Claims (6)

1. 被写体に複数の波長域の光を照射する照射手段と、
   前記照射手段により複数の波長域の光が照射されたとき、及び前記照射手段により光が照射されていないときの双方について被写体を撮像する撮像手段と、
   前記照射手段により複数の波長域の光が照射されたときに前記撮像手段により撮像された波長域別の照射画像と、前記照射手段により光が照射されていないときに前記撮像手段により撮像された非照射画像との双方の画像に基づいて、前記複数の波長域のうち最も外来光の強度が弱い波長域を求める波長域算出手段と、
   前記照射手段により照射する複数の波長域の光のうち、前記波長域算出手段により求められた波長域の光の発光強度を、他の波長域の光の発光強度よりも高めて、前記照射手段から照射させる照射制御手段とを備え、
   前記波長域算出手段は、
   前記複数の波長域の光が照射されたときの波長域別の照射画像と、前記照射手段により光が照射されていないときの非照射画像との差分を、前記複数の波長域のそれぞれについて求め、
   それぞれの波長域の差分値のうち最も差分値が大きい波長域を、最も外来光の強度が弱い波長域として求める撮像装置。
2. 前記波長域算出手段は、さらに、それぞれの差分値を前記複数の波長域それぞれに区分して複数回蓄積し、蓄積により得られた蓄積値から、最も外来光の強度が弱い波長域を求めることを特徴とする請求項１に記載の撮像装置。
3. 前記照射制御手段は、前記照射手段による複数の波長域の発光強度の総和を一定とし、前記波長域算出手段により求められた波長域の光について発光強度を高めると共に、前記波長域算出手段により求められなかった波長域の光について発光強度を弱めて、前記照射手段から複数の波長域の光を照射させることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記照射制御手段は、前記波長域算出手段により求められなかった波長域の光について発光強度を弱めるにあたり、発光強度を０とすることなく弱めることを特徴とする請求項１〜請求項３のいずれか１項に記載の撮像装置。
5. 被写体に複数の波長域の光を照射する照射手段と、前記照射手段により複数の波長域の光が照射されたとき、及び前記照射手段により光が照射されていないときの双方について被写体を撮像する撮像手段と、前記照射手段により複数の波長域の光が照射されたときに前記撮像手段により撮像された波長域別の照射画像と、前記照射手段により光が照射されていないときに前記撮像手段により撮像された非照射画像との双方の画像に基づいて、前記複数の波長域のうち最も外来光の強度が弱い波長域を求める波長域算出手段と、前記照射手段により照射する複数の波長域の光のうち、前記波長域算出手段により求められた波長域の光の発光強度を、他の波長域の光の発光強度よりも高めて、前記照射手段から照射させる照射制御手段とを備える撮像装置と、
   複数の波長域の光が照射されたときの画像と照射されないときの画像との差分を示す差分画像のデータを、前記撮像装置から入力して画像表示する表示手段とを備え、
   前記波長域算出手段は、
   前記複数の波長域の光が照射されたときの波長域別の照射画像と、前記照射手段により光が照射されていないときの非照射画像との差分を、前記複数の波長域のそれぞれについて求め、
   それぞれの波長域の差分値のうち最も差分値が大きい波長域を、最も外来光の強度が弱い波長域として求める撮像装置。
6. 被写体に対して複数の波長域の光が照射された状態で、被写体を撮像して波長域別の照射画像を得る第１撮像ステップと、
   複数の波長域の光の照射が行われない状態で、被写体を撮像して非照射画像を得る第２撮像ステップと、
   前記第１撮像ステップにおいて得られた波長域別の照射画像と前記第２撮像ステップにおいて得られた非照射画像とに基づいて、前記複数の波長域のうち最も外来光の強度が弱い波長域を求める波長域算出ステップと、
   前記複数の波長域の光のうち、前記波長域算出ステップにおいて求められた波長域の光について発光強度を高めて、次回の照射ステップにおいて複数の波長域の光を照射させる照射制御ステップと、
   前記波長域算出ステップは、
   前記複数の波長域の光が照射されたときの波長域別の照射画像と、前記照射手段により光が照射されていないときの非照射画像との差分を、前記複数の波長域のそれぞれについて求め、
   それぞれの波長域の差分値のうち最も差分値が大きい波長域を、最も外来光の強度が弱い波長域として求める撮像装置の制御方法。

Images