JP6504892B2

JP6504892B2 - 撮像装置

Info

Publication number: JP6504892B2
Application number: JP2015081375A
Authority: JP
Inventors: 中出　真弓; 真弓中出; 慎一郎廣岡; 雄一野中; 大谷　正紀; 正紀大谷
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2015-04-13
Filing date: 2015-04-13
Publication date: 2019-04-24
Anticipated expiration: 2035-04-13
Also published as: JP2016201722A

Description

本発明は、撮像方法および撮像装置に関する。

本技術分野の背景技術として、特開２０１０−２１２９４１（特許文献１）がある。該公報には、「［課題］撮像装置およびテレビドアホン装置に関し、暗い場所で被写体にとって照明される光が眩しくならないようにカラーの撮影映像を得る場合であっても、撮影開始後直ぐに被写体の視認性をよくし判別しやすくすることを目的とする。［解決手段］撮像装置は、被写体を照明する撮影用赤外光源部と、被写体を照明する撮影用可視光源部と、被写体を撮影する撮像部と、撮影用赤外光源部および撮影用可視光源部の発光を制御する発光制御部とを備え、発光制御部は、撮像部で撮影を開始するときに赤外光を発光開始させると共に、この発光開始後、時間経過と共に可視光の光量を赤外光より緩やかに増加させる構成とした。」と記載されている。

特開２０１０−２１２９４１公報

特許文献１においては、赤外光源を、可視光源から十分な光量が得られるための短時間の補助光源として考えられており、非可視光源のみを用いた場合に撮像装置から得られる画像の色再現に関しては考えられておらず、被写体に強い非可視光を照射することにノイズの少ない画像は得られるが、被写体の色を表現することができなることに対して考慮されていなかった。

上記従来の技術課題を解決するために、特許請求の範囲に記載の構成を採用する。本願は上記課題を解決するための複数の手段を開示しているが、例えば可視光および非可視光に対して感度を持ち、設定された撮像パラメータで受光した光学像を電気信号として出力する撮像部と、電気信号から可視光信号を抽出する可視光信号生成部と、電気信号から非可視光信号を抽出する非可視光信号生成部と、電気信号から明るさ情報を出力する信号検波部と可視光信号を検波して可視光輝度情報を出力する可視光検波部と、非可視光信号を検波して非可視光輝度情報を出力する非可視光検波部と、照射する非可視光の光量制御が可能な光源と、明るさ情報から撮像部に撮像パラメータを設定する制御部を備え、制御部は、可視光輝度情報と、非可視光輝度情報と、に基づき、撮像パラメータと、光源が照射する光量を制御する撮像装置により解決することができる。

本発明によれば、被写体の可視光量が不足している場合においても、撮像装置が撮像するのに適切な量の非可視光を光源から照射することができ、撮像装置は色再現性がよく、かつ、信号対雑音比が大きい画像を出力することができる効果がある。

は本発明の一実施例を示す全体構成図例である。は本発明の一実施例の撮像部の構成図例である。は本発明の一実施例の画素配列例である。は本発明の一実施例の画素の分光特性例である。は本発明の一実施例の光源部から照射する光量の制御例である。は本発明の一実施例の処理フロー例である。は本発明の一実施例を示す全体構成図例である。は本発明の一実施例の光源部から照射する光量の制御例である。は本発明の一実施例の処理フロー例である。は本発明における取得画像の一例である。は本発明の一実施例を示す全体構成図例であるは本発明の一実施例の光源部から照射する光量の制御例である。は本発明の一実施例の光源部から照射する光量の制御例である。は本発明の一実施例を示す全体構成図例である。は本発明の一実施例の光源部から照射する光量の制御例である。

以下、本発明の実施形態について図面を用いて説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

本実施形態では、撮影した画像の可視光成分の絶対量と、非可視光と可視光の割合から非可視光源の光量を調節する撮像装置について例を用いて説明する。

図１は、実施例１における撮像装置の全体構成を示すブロック図の一例である。１０１は撮像部、１０３は信号処理部、１０４は可視光信号生成部、１０５は非可視光信号生成部、１０６は白調整部、１０７は画像合成部、１０８は輝度信号生成部、１０９は色差信号生成部、１１０は制御部、１１１は白バランス検波部、１１２は可視光量検波部、１１３は非可視光量検波部、１１４は信号レベル検波部、１１６は光源部である。以下、各々のブロックについて説明する。

なお、非可視光については赤外光を例に説明するが、本発明はイメージセンサ部の色フィルタを可視光と赤外光ではなく、可視光と紫外光に対して感度を持つように構成することも可能である。赤外光に対して感度を持つ場合は可視光に対して適切な赤外光を加えることにより、暗いシーンにおいてもノイズが少なく色再現性のよい画像が得られるという利点があり、紫外光に対して感度を持つ場合は紫外光領域にしかない画像と可視光のカラー画像を合わせることで、色のついた紫外光画像が得られるという利点がある。

撮像部１０１は、例えば、撮像レンズ、ズームレンズ及びフォーカスレンズを含むレンズ群、絞り、シャッター、ＣＣＤまたはＣＭＯＳなどのイメージセンサ、増幅器及びＡＤコンバータ等から構成され、レンズによって結像された可視光及び非可視光をイメージセンサで、各種色フィルタにより分光して光電変換することで所定の波長成分に対応した複数の画素信号を出力する。所定の波長成分は、例えば、赤色光＋赤外光、緑色光＋赤外光、青色光＋赤外光及び青色から赤色まで含む可視光＋赤外光である。

信号処理部１０３は、撮像部１０１から出力された画素信号から、例えば、所定の波長成分毎の画素信号を生成する分離処理およびデモザイク処理を行い、所定の波長毎の画素信号を出力する。

可視光信号生成部１０４は、信号処理部１０３から出力された所定の波長成分毎の画素信号に対して、例えば、マトリクス演算処理を施すことにより、各所定の波長成分の画素信号から各可視光成分に対する信号である可視光信号を抽出、出力する。可視光信号は、例えば、所定の波長成分から赤外光成分を減じた、赤色光、緑色光、青色光及び青色から赤色まで含む全可視光に対応する赤色信号、緑色信号、青色信号及び青色から赤色まで含む可視光である白色信号である。

非可視光信号生成部１０５は、信号処理部１０３から出力された所定の波長成分毎の画素信号に対して、例えば、マトリクス演算処理を施すことにより非可視光成分に対する信号である非可視光信号を抽出、出力する。非可視光信号は、例えば、赤外光信号である。

白調整部１０６は、可視光信号生成部１０４から出力された各可視光信号に、後述する制御部１１０に指定された各利得を乗算してホワイトバランス補正を行い、出力する。なお、ホワイトバランス補正は、各可視光信号の中で色に関連する信号、例えば、赤色信号、緑色信号及び青色信号の割合を変えることでホワイトバランスを補正する。

画像合成部１０７は、非可視光信号生成部１０５から出力される非可視光信号を白調整部１０６から出力される可視光信号の各々に合成した、所定の波長成分毎の合成信号を出力する。所定の波長成分の合成信号は、例えば、赤色信号＋赤外光信号に対応した赤色合成信号、緑色信号＋赤外光信号対応した緑色合成信号、青色信号＋赤外光信号に対応した青色合成信号及び白色信号＋赤外光信号に対応した白色合成信号である。

輝度信号生成部１０８は、画像合成部１０７が出力した各合成信号を所定の割合で加算する合成処理を行うことにより生成した輝度信号を出力する。色差信号生成部１０９は、画像合成部１０７が出力した各合成信号から色に関係する合成信号を選択し、例えば、
赤色合成信号、緑色合成信号、青色合成信号を選択し、全託した合成信号から色差信号に変換する変換式を用いた合成処理を行い、色差信号を出力する。

白バランス検波部１１１は、可視光信号生成部１０４が出力した各可視光信号である色信号を解析処理し、ホワイトバランスのずれ量や色差情報等を出力する。

可視光量検波部１１２は、可視光信号生成部１０４が出力した各可視光信号を検波して、可視光信号の大きさの検出処理を行い、可視光信号量の大きさに関する情報を出力する。可視光信号の大きさの検出処理は、例えば、各可視光信号の１画面内の信号レベルを加算し、加算結果を可視光信号数で割った平均値を可視光信号量の大きさに関する情報とする。

非可視光量検波部１１３は、非可視光信号生成部１０５が出力した非可視光信号を検波して、非可視光信号の大きさの検出処理を行い、非可視光信号量の大きさに関する情報を出力する。非可視光信号の大きさの検出処理は、例えば、非可視光信号の１画面内の信号レベルを加算し、加算結果を可視光信号量の大きさに関する情報とする。

信号レベル検波部１１４は、例えば、信号処理部１０３が出力した各画素信号の積算、あるいはピーク値の検出等を行い、撮像画像の明るさ、あるいはコントラスト等の明るさに係る情報を取得する。

光源部１１６は、例えば、光量を調節できる機能を有する非可視光の赤外光源であり、例えば、後述する制御部１１０から設定された光量制御パラメータに対応した電圧を発光部にかけることにより制御した光量を被写体に照射する。

制御部１１０は、白バランス検波部１１１のホワイトバランスのずれ量や色差情報等を解析し、出力画像が適切なホワイトバランスなるように白調整部１０６に設定する各信号の利得値の算出処理を行い、白調整部１０６に設定する。

また、制御部１１０は、制御部１１０の内部に組み込まれたプログラムや明るさの目標値等に基づき、信号レベル検波部１１４が出力する明るさに係る情報から撮像部１０１の露光制御を行う。撮像部１０１の露光制御は、例えば、撮像部１０１に設定する露光制御パラメータを用いる。露光制御パラメータは、例えば、撮像部１０１のレンズの絞り、シャッター速度、増幅器の利得のパラメータを撮像部１０１に設定し、撮像部１０１に入力する光量および撮像部１０１から出力する画素信号の信号レベルを制御する。ここで、例えば、予め露光制御パラメータと信号レベル検波部１１４の出力情報と、被写体の光量との関係を制御部１１０に記憶させておくことにより、制御部１１０では撮像部１０１に設定した露光制御パラメータと信号レベル検波部１１４の出力情報から被写体の光量の絶対量を算出することができる。

さらに、制御部１１０には、例えば、予め可視光の絶対量に対する適切な赤外光量の情報が設定されている。赤外光は、可視光量が十分にある場合には不要であるが、可視光量が少ない場合に、本発明の撮像装置でノイズが少ない画像を生成するために有効であるが、赤外光量を多くすると被写体の色を表現するのが難しくなる。撮像部１０１には、可視光量の絶対量に対応して、生成する画像のノイズ量と色の再現性のバランスで最も視認性がよい画像が得られ赤外光量を、適切赤外光量として予め設定する。なお、適切赤外光量は制御部１１０内に予め設定しても良いし、撮像装置にメモリ部を設け、メモリ部に設定された設定値を制御部１１０が読み出すことにより、適切赤外光量を得ても良い。また、可視光の絶対量と適切赤外光量の関係が、例えば、関係式で表される場合、制御部１１０は関係式から適切赤外光量を算出する。また、例えば、ある範囲内の可視光量に対応した適切赤外光量が設定されている場合は、制御部１１０は可視光の絶対量に対応した適切赤外光量を選択する。

制御部１１０は、可視光量検波部１１２の検波結果と、非可視光量検波部１１３の検波結果から可視光と赤外光成分の割合を算出し、算出した可視光比と撮像部１０１に設定した露光制御パラメータと信号レベル検波部１１４の出力情報から被写体の光量の絶対量から可視光の絶対量と赤外光の絶対量を算出し、算出した可視光の絶対量に対応する制御部１１０に予め設定されている適切赤外光量から目標赤外光量を算出あるいは選択する。制御部１１０は、先に算出した赤外光成分の光量が目標赤外光量より少なければ、光源部１１６から照射する光量を多くするように、先に算出した赤外成分の光量が目標赤外光量より多ければ、光源部１１６から照射する光量を少なくなるように光源部１１６の光量制御パラメータを設定することで被写体に適切な赤外光量の光を照射する。

以上説明したように、本発明の撮像装置では、撮像部１０１に設定したパラメータと、信号レベル検波部１１４、可視光量検波部１１２及び非可視光量検波部１１３の出力から、光源部１１６から被写体に適切な光量の赤外光を照射することができ、を制御することにより、可視光量の増減が生じても、色再現性の高く視認性の良い画像を生成する撮像装置を提供できる。

以上本発明の撮像装置について説明したが、回路構成としては限定されるものではなく、例えば、信号レベル検波部１１４は、撮像画像の明るさ、あるいはコントラスト等の明るさに係る情報を取得する手段として、制御部１１０では、例えば、可視光量検波部１１２の出力情報と非可視光量検波部１１３の出力情報を合わせたものを明るさに係る情報として露光制御および光量の絶対値の算出に用いても良い。本方式により、回路規模が低減できる。また、白バランス検波部１１１は、例えば、可視光量検波部１１２を色信号ごとに検波する方式とし、制御部１１０では各色信号の検波結果の差からホワイトバランスのずれ量を判断するようにしても良い。本方式により、回路規模が低減できる。

以下、撮像部１０１を構成する各部分の一例について図面を用いて詳細に説明する。

図２は撮像部１０１の一例を示す構成を説明する図である。図１と同じものには同じ番号を付してある。撮像部１０１は、例えば、レンズ部２０１と絞り２０２で構成される光学部２００と、イメージセンサ部２０３と、信号レベルを増幅する増幅部２０４と、アナログ信号をデジタル信号に変換するＡＤ変換部２０５で構成される。レンズ部２０１は、例えば、撮像レンズ、ズームレンズやフォーカスレンズを含むレンズ群であり、絞り２０２を開閉することのより光学部２００から出力する光量を調整する。

撮像部１０１への入射光は、光学部２００を通してイメージセンサ部２０３に入射する。イメージセンサ部２０３では制御部１１０が光電変換を行い、イメージセンサ部２０３で受光した光の光量に対応した信号を出力する。増幅部２０４はイメージセンサ部２０３から出力された信号を増幅する。ＡＤ変換部２０５は増幅部２０４で増幅されたアナログ信号をデジタル信号に変換する。

撮像部１０１から出力される信号のレベルは、例えば、光学部２００の絞り２０２やイメージセンサ部２０３の露光時間、増幅部２０４の利得を調整することにより制御する。明るさが同じ被写体であれば、撮像部１０１から出力される信号のレベルは、光学部２００の絞り２０２やイメージセンサ部２０３の露光時間、増幅部２０４の利得を同じ値に設定すれば、出力される信号レベルは等しくなる。従って、予め被写体の光量を測定することにより、光学部２００の絞り２０２やイメージセンサ部２０３の露光時間、増幅部２０４の利得と信号レベルから被写体の明るさの絶対光量を求めることができる。

夜間等の暗い被写体を撮像する監視カメラ用途では、動画像ではイメージセンサ部２０３の露光時間が画像のフレームレートより短いため、光学部２００の絞り２０２を開き、増幅部２０４の利得をあげて撮影する場合が多い。さらに、非可視光である赤外光を使って、夜間等の暗い被写体においても撮像装置の出力画像の視認性を向上させている。

図３に、本実施例における赤外光を利用するイメージセンサ部２０３の色フィルタ配列の一例を示す。３０１は赤色光と赤外光に感度を持つ色フィルタＲＩＲ、３０２は緑色光と赤外光に感度を持つ色フィルタＧＩＲ、３０３は青色光と赤外光に感度を持つ色フィルタＢＩＲ、３０４は青色から赤色光までの可視光と赤外光に感度を持つ色フィルタＷＩＲである。各々の色フィルタに赤外光の感度を持たせることにより、夜間等の暗い被写体においても撮像部１０１から出力される信号レベルを高くすることができる。

図４に、図３で説明した色フィルタの分光特性の一例を示す。

例えば色フィルタＲＩＲ３０１が配置されたＲＩＲ画素は可視光の赤の波長付近と赤外光の波長付近の各々に感度を持ち、色フィルタＧＩＲ３０２が配置されたＧＩＲ画素は可視光の緑の波長付近と赤外光の波長付近の各々に感度を持ち、色フィルタＢＩＲ３０３が配置されたＢＩＲ画素は可視光の青の波長付近と赤外光の波長付近の各々に感度を持ち、色フィルタＷＩＲ３０４が配置されたＷＩＲ画素は可視光の赤と緑と青と赤外光の波長付近に感度を持つ。本実施例における信号処理部１０３は、異なる色フィルタで配列されたイメージセンサ部２０３の出力画像信号に対して，補間処理などによってデモザイク処理を行う。例えば、あるＲＩＲ画素の画素位置におけるＧＩＲ画素、ＢＩＲ画素、ＷＩＲ画素は存在しないため、各々近隣周囲の同色画素から補間処理によって補間信号を生成し出力するものである。本実施例における可視光信号生成部１０４は、信号処理部１０３から出力された画素信号に対してマトリクス演算等により可視光信号を生成して出力し、また非可視光信号生成部１０５は、信号処理部１０３から出力された画素信号に対してマトリクス演算等により非可視光信号を生成し出力するものである。

図５に、光源部１１６の光量制御の一例を示す。横軸は被写体に照射されている可視光量、縦軸は被写体に照射されている赤外光量であり、５０１は、可視光量に対して出力画像の視認性が最もよくなる赤外光量である適切赤外光量、５０２は光源部１１６から光を照射していない時に被写体に照射されている赤外光である環境赤外光、５０３は光源部１１６から被写体に照射された赤外光の目標光量を示している。

制御部１１０は撮像部１０１に設定した露光制御パラメータと、可視光量検波部１１２の検波結果から求めた可視光量の絶対量に対応した適切赤外光量５０１に対して、撮像部１０１に設定する露光パラメータと非可視光量検波部１１３の検波結果から求めた赤外光量の絶対量が合致するように、赤外光量の絶対量が少ない場合は光源部１１６から照射する赤外光量が多くなるように、撮像部１０１に設定する露光パラメータと非可視光量検波部１１３の検波結果から求めた赤外光量が多き場合は光源部１１６から照射する赤外光量が少なくなるように、光源制御パラメータにより光源部１１６を制御する。

以上説明のように、本発明の撮像装置では、光源部１１６から照射する赤外光量を、被写体の可視光量に対して適切な量にすることで、視認性の良い画像を得ることができる。

なお、図５では可視光量と適切赤外光量５０１の関係を線形で示しているが、可視光量と適切赤外光量５０１の関係は線形に限ったものではなく、撮像素子の特性により非線形になる場合がある。

図６は、本発明における撮像方法をプログラムによって実施する場合の一例を表すフローチャートである。被写体から照射された光を所定の波長成分に分光して撮影することのできるイメージセンサを用いて１フレーム分の画像を取得するステップＳ２０１と、ステップＳ２０１にて撮影された画像から信号処理を施すことにより可視光成分に対応した画像信号（可視光信号）と非可視光成分に対応した画像信号（非可視光信号）に各々分離するステップＳ２０２と、ステップＳ２０２から出力された信号のうち可視光信号と露光パラメータから被写体に照射されている可視光の絶対量及び非可視光の絶対量を解析するステップＳ２０３と、ステップＳ２０３で解析した可視光の絶対量から適切な赤外光量を算出するステップＳ２０４と、ステップＳ２０４で算出した適切な赤外光量とステップＳ２０２で分離した非可視光信号レベルを比較するステップＳ２０５と、ステップＳ２０５で比較した結果、赤外光量が適切ではない場合（ＮＯ）の場合に光源のオン・オフおよびオン時の光量を調整するステップＳ２０６と、ステップＳ２０２で分離した非可視光信号の利得を調整して赤外光量を調整するステップＳ２０７と、ステップＳ２０２にて分離された可視光信号と非可視光信号との各々を合成するステップＳ２０８と、該可視光信号・非可視光信号合成ステップＳ２０８にて合成された画像からＲＧＢ画像やＹＵＶ画像などのカラー情報を有する画像データを生成するステップＳ２０９と、で構成した。

以上説明した処理フローで、本発明の撮像装置では、光源部１１６から照射する赤外光量を、被写体の可視光量に対して適切な量にすることで、視認性の良い画像を得ることができる。

図７は、実施例２における撮像装置の全体構成を示すブロック図の一例である。図１と同じものは同じ番号を付して説明は省略する。

７０１は非可視光調整部である。非可視光調整部７０１は、例えば、非可視光信号生成部１０５から出力された非可視光信号に、制御部１１０に指定された利得を乗算して、出力する。非可視光量が多い場合に、非可視光調整部７０１で非可視光信号のレベルを下げることにより、可視光信号レベルに対する非可視光信号レベルの割合を下げることができ、本発明の撮像装置から出力する映像を、色再現性のよいものにできる。

以下、非可視光調整部７０１の利得を決定する、制御部１１０の制御方法について図を用いて説明する。

図８に、光源部１１６および非可視光調整部７０１の制御の一例を示す。図８では、非可視光を、赤外光を例に説明する。

図８の（１）は図５と同じく、同じものには同じ番号を付しており説明は省略する。閾値１は、被写体に照射されている可視光量に対して視認性の良い映像を生成するのに適切な赤外光量である適切赤外光量５０１と赤外光源を点灯しなくても被写体に照射されている環境赤外光量５０２が等しい場合であり、被写体に照射されている可視光量が閾値１より多ければ、赤外光源からの赤外照射は不要であり、かつ、可視光量の増加分に応じて、環境赤外光量５０２も減らしたほうが色再現性が良いことを示している。閾値２は、視認性の良い映像を生成するのには可視光量で十分であり、赤外光が不要になる可視光量を示している。撮像装置の出力する映像を視認性の良いものにするには、例えば、閾値１から非可視光の信号レベルを下げていき、閾値２で信号レベルを最小にする制御をする。

図８の（２）の８０１は制御部１１０が非可視光調整部７０１に設定する利得の例を示している。制御部１１０では、非可視光信号生成部１０５から出力される非可視光信号レベルを可視光量が少ない時は、非可視光調整部７０１の利得を１倍とし、赤外光量に対応した信号レベルを使用する。ここで、非可視光調整部７０１の利得が１の領域では、被写体に照射する赤外光量を光源部１１６から照射する光量を増減することにより、非可視光信号レベルを制御する。可視光量が閾値１を超えた場合は、可視光量の増加分に応じて赤外光調整部の利得を下げていき、閾値２で最小値とする。制御部１１０では、非可視光調整部７０１で非可視光信号レベルを制御することにより、光源部１１６からの光量が必要な可視光量から赤外光量が不要な可視光量まで、画像合成部１０７に入力する可視光成分に対する非可視光成分の割合を制御することができ、画像装置から出力される画像の色再現性を向上させることができる。

以上説明した本撮像装置により、非可視光調整部７０１を設けることにより、光源が必要な低照度から赤外光が不要な高照度の被写体まで視認性の良い画像を得ることができる。

なお、図８の（２）に示した、閾値１、閾値２は固定されるものではなく、撮影環境によって異なる場合がある。また、可視光量と赤外光利得の関係は１例であり、撮像部１０１の特性や撮像環境によって異なる場合があり、図示した関係に限定されるものではない。

図９に、本発明における撮像方法をプログラムによって実施する場合の一例を表す処理フローを示す。図６と同じものには同じ番号を付し、説明は省略する。

制御部１１０はステップＳ２０４で適切赤外光量５０１を算出し、適切赤外光量算出結果が非可視光量検波部１１３で取得した検波結果よりも多い場合はステップＳ２０６で光源部１１６の光量を少なくするように光源制御パラメータを設定する。ここで、例えば、光源部１１６の光量が最小あるいは、光源がオフの場合、制御部１１０はステップＳ９０１で適切な非可視光調整部７０１の利得を算出し、非可視光調整部７０１に設定する。

以上説明したように、被写体に照射されている非可視光量が、必要な非可視光量よりも多い場合は、非可視光調整部７０１で赤外光量に対する信号レベルを小さくし、画像合成部１０７に入力する可視光信号レベルと非可視光信号レベルに対する比率を小さくすることにより色再現性の良い画像を得ることができる。

なお、以上の説明では、色を生成する色差信号生成部１０９を、画像合成部１０７の後に配置した例で説明しているが、色差信号生成部１０９では色信号生成時に非可視光信号成分が減算されてなくなる為、白調整部１０６の出力信号を用いるように配置しても同様の色信号が得られる。

本実施形態では、被写体内で可視光量や非可視光量に違いがある場合の例について、以下説明する。なお、本実施例では、非可視光は、赤外光として説明する。

図１０は、被写体の一例である。１０００は本撮像装置で撮像する範囲、１００１および１００２は撮像する被写体を示しており、例えば、１００１は撮像装置に近い被写体、１００２は撮像装置から遠い被写体の例を示している。被写体１００１の近くにのみ可視光源がある場合、被写体１００１の可視光量は被写体１００２の可視光量より多くなり、被写体によって適切な赤外光量が異なる。また、光源部１１６により被写体に照射される赤外光量は、光源部１１６が出力する赤外光量と光源部１１６と被写体との距離で決まるため、同じ光源部１１６か同じ光量の赤外光量が照射されても、被写体１００１が受ける赤外光量と被写体１００２が受ける赤外光量は異なる。従って、撮像装置が撮像する１画面内の被写体を視認性の良い映像として出力するためには、画素毎に非可視光調整部７０１の利得を制御する。以下、制御方法について説明する。

図１１は、実施例３における撮像装置の全体構成を示すブロック図の一例である。図１および図７と同じものには同じ番号を付して説明は省略する。

制御部１１０は、まず、光源部１１６から照射する赤外光量を決定する。決定方法としては、例えば、信号レベル検波部１１４の検波結果から設定した露光パラメータと、可視光量検波部１１２が検波した検波結果から、光源部１１６を制御するための適切赤外光量５０１を決定する。この決定に使用する可視光量検波部１１２の検波結果は、例えば、１画面をいくつかの領域に分割し、最も可視光量が少ない領域の可視光量検波結果を用いる。

次に、制御部１１０は、例えば、画素毎に可視光信号生成部１０４の出力信号レベルと、非可視光信号生成部１０５の画素毎の信号レベルを取得し、画素毎の適切赤外光量５０１から画素毎の非可視光調整部７０１の利得を決定する。

制御部１１０が行う非可視光調整部７０１利得の制御方法の一例として、被写体１００２が最も可視光量が少ない領域にある場合の被写体の可視光量と赤外光量との関係例を図１２に示す。図５と同じものには同じ番号を付し、説明は省略する。図１２の横軸は被写体に照射されている可視光量を、縦軸は被写体に照射されている赤外光量、１１０１は被写体１００１の可視光量、１１０２は被写体１００２の可視光量、１１１１は被写体１００１の赤外光量、１１１２は被写体１００２の赤外光量、１１１３は被写体１００１の適切な可視光と赤外光のバランス１１１４は被写体１００２の適切な可視光と赤外光のバランス、を示している。ここでの赤外光量は、例えば、光源部１１６からの照射光と環境赤外光を加算したものを示している。図１２では、被写体１００２では可視光量１１０２に対する赤外光量１１１２が、適切赤外光量１１１４に一致しており、被写体１００１では適切赤外光量１１１３より被写体１００１に照射されている赤外光量が多いことを示している。図１３に、非可視光調整部７０１の利得の制御方法例について示す。横軸は図１２で説明した例のように得られる、被写体に照射されている赤外光量と適切赤外光量の差分であり、縦軸は非可視光調整部７０１の利得である。ここで、赤外光量に対して非可視光調整部７０１で非可視光信号レベルを調整することなく出力する場合の利得を１としている。制御部１１０は、被写体に照射されている赤外光量と適切赤外光量の差分がない場合では利得１とし、被写体に照射されている赤外光量と適切功量との差が大きくなるにつれ利得を下げていく制御を行う。なお、図１３ではノイズの増幅を考慮し、適切赤外光量のほうが被写体に照射されている赤外光量よりも大きい場合は利得が１になる制御としているが、不足分を補うように利得を大きくしてもよい。

以上説明したように、本発明の撮像装置では、光源部１１６の光量および非可視光調整部７０１の利得を、可視光の絶対量と、画面内の可視光量と非可視光量と、各画素の可視光信号レベルと非可視光信号レベル基に制御部１１０で制御することにより、本発明の撮像装置で撮像した映像の１画面内で可視光量にばらつきがある場合にも、画像合成部１０７に入力する非可視光信号レベルを適切にすることができ、色再現性がよい映像を生成することができる。

なお、本実施例では画素単位での制御について説明したが、画素間で急激に利得が変化することにより擬似輪郭等の視認性の低下がある場合は、例えば、ローバスフィルタを設け、画素間の利得の変化を緩やかにしてもよい。また、１画面をいくつかのブロックに分割してブロック単位で利得を決めるような制御としても良い。

図１４は、実施例４における撮像装置の全体構成を示すブロック図の一例である。図１と同じものは同じ番号を付して説明は省略する。

１４０１はフィルタ部であり、１４０２は光源部である。
フィルタ部１４０１は、光の透過率を変化させることができる液晶パネル等により構成されており、光の透過率の変化により光源部１４０２から照射される光量の調整が可能である。
光源部１４０２は、例えば、少なくともオン・オフの制御ができる赤外光源である。

実施例１では、光源部１１６から出力する光量を変化させていたが、本実施例ではフィルタ部１４０１の透過率を変化させることにより、被写体に照射される赤外光量を調節する。

図１５に、光源部１４０２およびフィルタ部１４０１の制御の一例を示す。図１５の（１）は図５と同じく、同じものには同じ番号を付しており説明は省略する。

図１５の（２）の横軸は被写体に照射されている可視光量、縦軸はフィルタ部１４０１の透過率、１５０１は制御部１１０が被写体に照射されている可視光量に合わせて制御する透過率を示している。可視光量が少ない時は、フィルタ部１４０１の透過率を大きくし、光源部１４０２の赤外光の多くを使用する。可視光量が大きくなり、必要な赤外光少なくなるにつれ、フィルタ部１４０１の透過率を下げていき、輝度信号生成部１０８および色差信号生成部１０９に入力する赤外光の成分を少なくする。以上の制御により、光源から被写体に照射される赤外光量を調節することができ、実施例１と同様に視認性の良い映像が得られる。また、第２および第３の実施例のように非可視光調整部７０１を設けることにより、それぞれ同様な効果を得ることができる。

１０１・・・撮像部、１０３・・・信号処理部、１０４・・・可視光信号生成部、１０５・・・非可視光信号生成部、１０６・・・白調整部、１０７・・・画像合成部、１０８・・・輝度信号生成部、１０９・・・色差信号生成部、１１０・・・制御部、１１１・・・白バランス検波部、１１２・・・可視光量検波部、１１３・・・非可視光量検波部、１１４・・・信号レベル検波部、１１６・・・光源部、２０１・・・レンズ部、２０２・・・絞り、２０３・・・イメージセンサ部、２０４・・・増幅部、２０５・・・ＡＤ変換部、７０１・・・非可視光調整部

Claims

可視光および非可視光に対して感度を持ち、設定された撮像パラメータで受光した光学像を電気信号として出力する撮像部と、
前記電気信号から可視光信号を抽出する可視光信号生成部と、
前記電気信号から非可視光信号を抽出する非可視光信号生成部と、
前記電気信号から明るさ情報を出力する信号検波部と
前記可視光信号を検波して可視光輝度情報を出力する可視光検波部と、
前記非可視光信号を検波して非可視光輝度情報を出力する非可視光検波部と、
照射する非可視光の光量制御が可能な光源と、
前記明るさ情報から前記撮像部に前記撮像パラメータを設定する制御部を備え、
前記制御部は、前記可視光輝度情報と、前記非可視光輝度情報と、に基づき、前記撮像パラメータと、前記光源が照射する光量を制御し、
前記非可視光信号の利得を調整する非可視光信号調整部と、
前記可視光信号と、前記非可視光信号調整部により利得が調整された非可視光信号と、を合成する画像合成部と、を備え、
前記可視光検波部は、前記可視光信号を複数のエリアに分割してエリア毎に可視光量を算出し、
前記制御部は、最も可視光量の少ないエリアに合わせて前記光源の光量を制御し、前記可視光信号のレベルと、前記非可視光信号のレベルに基づき、前記非可視光信号調整部の利得を制御することを特徴とした撮像装置。
請求項１記載の撮像装置であって、
前記非可視光は赤外光であり、
前記撮像部は、可視光及び赤外光を含む被写体からの光を画素単位で配列された複数の透過特性を持ったフィルタを介して光電変換し画素信号として出力するイメージセンサを備えることを特徴とした撮像装置。
請求項１に記載の撮像装置であって、
前記制御部には可視光の絶対量と所定の非可視光量を対応づける情報が格納されており、
前記制御部は前記撮像部に設定した撮像パラメータと、前記可視光検波部が出力した可視光輝度情報とから算出した可視光量の絶対量に対応した前記所定の非可視光量に近づけるように前記光源が照射する光量を制御することを特徴とした撮像装置。