JPWO2019039144A1 - 撮像装置、撮像方法及びプログラム - Google Patents

Abstract

【課題】異なる波長の光の撮像に適した撮像装置、撮像方法及びプログラムを提供すること。【解決手段】本技術に係る撮像装置は、撮像素子と、光学素子と、第１の絞りと、第２の絞りと、絞り制御部とを具備する。撮像素子は、入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う。光学素子は、光を撮像装置に集光する。第１の絞りは、入射光の経路に設けられ、第１の光と第２の光を透過させる第１の開口部と、第１の光を遮蔽し、上２の光を透過させる第１の遮蔽部とを有する。第２の絞りは、入射光の経路に設けられ、第１の光と上記第２の光を透過させる第２の開口部と、第２の光を遮蔽し、第１の光を透過させる第２の遮蔽部とを有する。絞り制御部は、第１の開口部と第２の開口部の大きさをそれぞれ制御する。【選択図】図１

Description

本技術は、異なる波長の光を撮像することが可能な係る撮像装置、撮像方法及びプログラムに関する。

可視光と赤外線の２種類の波長帯域で撮像を行い、撮像装置と被写体の距離を算出する技術が開発されている（例えば、特許文献１）。この技術では撮像装置が赤外線に対する構造化開口と絞りを備え、構造化開口を介して撮像された赤外線画像と可視光画像に基づいて被写体距離を算出するものである。

特開２０１２−２２３０８号公報

しかしながら、特許文献１の構成では、絞りの開口径を一定値以下とすると構造化開口が影響を受けるため、同開口径を一定値以下とすることができず、また構造化開口により赤外線の絞りは一定値となる。

このため、撮像装置を自動車等の移動体に搭載すると、日光下等の非常に光量が多い場所で撮影する場合に可視光と赤外線の光量を十分に絞ることができない。反対に夜間等の光量が少ない場合には、赤外線の絞りを開けて光量を増加させることができない。

以上のような事情に鑑み、本技術の目的は、異なる波長の光の撮像に適した撮像装置、撮像方法及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る撮像装置は、撮像素子と、光学素子と、第１の絞りと、第２の絞りと、絞り制御部とを具備する。
上記撮像素子は、入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う。
上記光学素子は、光を上記撮像装置に集光する。
上記第１の絞りは、上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第１の開口部と、上記第１の光を遮蔽し、上記第２の光を透過させる第１の遮蔽部とを有する。
上記第２の絞りは、上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第２の開口部と、上記第２の光を遮蔽し、上記第１の光を透過させる第２の遮蔽部とを有する。
上記絞り制御部は、上記第１の開口部と上記第２の開口部の大きさをそれぞれ制御する。

この構成によれば、第１の絞りと第２の絞りを独立して制御することができるため、撮像素子に入射する第１の光と第２の光の光量を任意に調整することが可能となる。

上記第１の波長は赤外線の波長であり、上記第２の波長は可視光の波長であってもよい。

この構成によれば、撮像素子に入射する赤外線と可視光の光量をそれぞれ調整することが可能である。

上記第１の開口部と上記第２の開口部は、上記入射光の光軸方向に対して垂直な方向にずれていてもよい。

この構成によれば、撮像素子のフォーカスが被写体にあっていない場合、第１の光で撮像された被写体の像（第１の像）と第２の光で撮像された被写体の像（第２の像）は撮像画像においてズレを生じる。このため、そのズレ量を利用して被写体距離の算出等を行うことが可能となる。

上記第１の開口部と上記第２の開口部の少なくともいずれか一方は、中心が上記入射光の光軸中心に一致していてもよい。

この構成によれば、第１の光と第２の光のうち開口部の中心が入射光の光軸中心に一致する絞りによって絞られる光の像はフォーカスによるズレを生じないため、当該像の視認性に対する影響を防止することが可能となる。

上記撮像装置は、上記撮像素子によって撮像され、上記第１の光の像である第１の像と、上記第２の光の像である第２の像を含む撮像画像から被写体距離を算出する被写体距離算出部をさらに具備してもよい。

被写体距離算出部は、第１の開口部と第２の開口部が入射光の光軸方向に対して垂直な方向にずれていることにより、第１の像と第２の像を含む撮像画像から被写体距離を算出することが可能である。

上記被写体距離算出部は、上記撮像画像における上記第１の像と上記第２の像のズレ量に基づいて上記被写体距離を算出してもよい。

上述した第１の像と第２の像のズレ量は、被写体距離に応じて変化するため、被写体距離算出部は、第１の像と第２の像のズレ量と撮像装置の焦点距離から被写体距離を算出することが可能である。

上記第１の波長は赤外線の波長であり、上記第２の波長は可視光の波長であり、上記第１の開口部は、中心が上記入射光の光軸中心からずれており、上記第２の開口部は、中心が上記入射光の光軸中心に一致していてもよい。

この構成によれば、撮像画像における可視光の像は絞りの開口部（第２の開口部）の位置によるズレが生じず、赤外線の像はフォーカスに応じて絞りの開口部（第１の開口部）の位置によるズレを生じる。これにより、可視光の像に影響を与えることなく、赤外線の像に被写体距離による影響を生じさせることが可能となる。

上記撮像素子は、上記入射光の光軸に垂直な方向で上記第１の波長と上記第２の波長の波長分離を行ってもよい。

上記撮像素子は、上記入射光の光軸に平行な方向で上記第１の波長と上記第２の波長の波長分離を行ってもよい。

上記撮像装置は、上記被写体距離に基づいて上記光学素子を制御する光学素子制御部をさらに具備してもよい。

この構成によれば、第１の像と第２の像のズレ量に基づいて算出した被写体距離を利用して撮像装置のフォーカスを被写体に一致させることが可能となる。

上記撮像装置は、上記被写体距離から距離画像を生成する距離画像生成部をさらに具備してもよい。

この構成によれば、撮像装置は距離情報を含む距離画像を生成することが可能である。

上記撮像装置は、上記撮像素子によって撮像され、上記第１の光の像である第１の像と、上記第２の光の像である第２の像を含む撮像画像における上記第１の像と上記第２の像のズレ量に基づいてデフォーカス処理を行うデフォーカス処理部をさらに具備してもよい。

この構成によれば、第１の像と第２の像のズレ量を利用して撮像画像に対してデフォーカス処理を行うことが可能である。

上記絞り制御部は、上記撮像素子に入射する上記第１の光の光量と上記第２の光の光量に応じて上記第１の開口部及び上記第２の開口部の大きさを制御してもよい。

この構成によれば、第１の絞りと第２の絞りによって第１の光と第２の光の光量を独立して調整することができ、露光を最適化することが可能である。

上記絞り制御部は、上記撮像装置の移動速度に応じて、上記入射光の光軸に垂直な方向における上記第１の開口部及び上記第２の開口部の中心間距離を制御してもよい。

この構成によれば、第１の開口部及び上記第２の開口部の中心間距離に応じて第１の像と第２の像のズレ量を調整することが可能であり、被写体距離の測定に適した距離範囲を変更することが可能である。

上記目的を達成するため、本技術の一形態に係る撮像方法は、入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、光を上記撮像装置に集光する光学素子と、上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第１の開口部と、上記第１の光を遮蔽し、上記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第２の開口部と、上記第２の光を遮蔽し、上記第１の光を透過させる第２の遮蔽部とを有する第２の絞りとを備える撮像素子を利用する撮像方法であって、絞り制御部が、上記第１の開口部と上記第２の開口部の大きさをそれぞれ変更する。

上記目的を達成するため、本技術の一形態に係るプログラムは、入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、光を上記撮像装置に集光する光学素子と、上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第１の開口部と、上記第１の光を遮蔽し、上記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第２の開口部と、上記第２の光を遮蔽し、上記第１の光を透過させる第２の遮蔽部とを有する第２の絞りとを具備する撮像装置を制御するためのプログラムであって、上記第１の開口部と上記第２の開口部の大きさをそれぞれ変更する絞り制御部として上記撮像装置を制御する。

以上のように、本技術によれば、異なる波長の光の撮像に適した撮像装置、撮像方法及びプログラムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施形態に係る撮像装置の構成を示すブロック図である。 同撮像装置の光学系を示す模式図である。 同撮像装置が備える赤外線絞りの模式図である。 同撮像装置が備える可視光絞りの模式図である。 同撮像装置が備える撮像素子の模式図である。 同撮像装置が備える撮像素子の模式図である。 同撮像装置の機能的構成を示すブロック図である。 従来構造の撮像装置が備える構造化開口及び可視光絞りを示す模式図である。 従来構造の撮像装置の利用態様を示す模式図である。 従来構造の撮像装置が備える可視光絞りの模式図である。 本技術の実施形態に係る撮像装置が備える赤外線絞り及び可視光絞りの模式図である。 同撮像装置が備える赤外線絞り及び可視光絞りの模式図である。 同撮像装置が備える赤外線絞り及び可視光絞りの模式図である。 同撮像装置が備える赤外線絞り及び可視光絞りの模式図である。 同撮像装置における入射光の経路を示す模式図である。 同撮像装置における撮像素子によって撮像される画像の例である。 同撮像装置による被写体距離の算出方法を示す模式図である。 同撮像装置による被写体距離の算出方法を示す模式図である。 同撮像装置が備える赤外線絞り及び可視光絞りの模式図である。 同撮像装置が備える赤外線絞り及び可視光絞りの模式図である。 従来構造の撮像装置が備える構造化開口及び可視光絞りを示す模式図である。 本技術の実施形態に係る撮像装置及び従来構造の撮像装置が測定可能なズレの大きさを示すグラフである。 同撮像装置における赤外線絞り及び可視光絞りの制御例を示す表である。 同撮像装置における赤外線絞り及び可視光絞りの制御例を示す表である。 同撮像装置のフォーカス動作に係るフローチャートである。 同撮像装置の距離画像生成に係るフローチャートである。 同撮像装置のデフォーカス処理に係るフローチャートである。 同撮像装置が取得可能な画像の例を示す模式図である。 同撮像装置の利用態様を示す模式図である。 同撮像装置を搭載可能な各種の移動体を示す模式図である。 同撮像装置が備える赤外線絞りの構成を示す模式図である。 同撮像装置が備える赤外線絞りの構成を示す模式図である。 同撮像装置が備える赤外線絞りの構成を示す模式図である。 同撮像装置が備える赤外線絞りの構成を示す模式図である。 同撮像装置のハードウェア構成を示すブロック図である。

本技術の実施形態に係る撮像装置について説明する。

［撮像装置の構成］
図１は本実施形態に係る撮像装置１００の模式図である。同図に示すように、撮像装置１００は、レンズ１０１、赤外線絞り１０２、可視光絞り１０３、撮像素子１０４、撮像素子Ｉ／Ｆ（interface）１０５、信号処理前処理部１０６、信号処理部１０７、表示処理部１０８、表示部１０９、出力処理部１１０、出力部１１１、レンズ制御部１１２、演算部１１３、揮発性記憶部１１４、不揮発性記憶部１１５、不揮発性記憶Ｉ／Ｆ（interface）１１６、入力部１１７、入力処理部１１８及び絞り制御部１１９を備える。

レンズ１０１は、入射光を撮像素子１０４に集光する。図２はレンズ１０１による集光を示す模式図である。同図に示すようにレンズ１０１によって入射光Ｎが撮像素子１０４の像面１０４ａに集光される。レンズ１０１の数や構成は特に限定されず、可視光及び赤外線を撮像素子１０４に集光可能なものであればよい。レンズ１０１は、図示しない駆動機構によって光軸方向に移動可能に構成され、焦点距離が調整される。

赤外線絞り１０２は、図２に示すようにレンズ１０１に入射する入射光Ｎの経路に設けられ、赤外線を部分的に遮蔽する。図３は、赤外線絞り１０２を示す模式図であり、光軸方向からみた図である。同図に示すように、赤外線絞り１０２は、開口部１０２ａと遮蔽部１０２ｂを有する。

開口部１０２ａは、入射光Ｎに含まれる赤外線及び可視光を透過させる。遮蔽部１０２ｂは、開口部１０２ａの周囲に設けられ、赤外線を遮蔽し、可視光を透過する。赤外絞り１０２は、絞り制御部１１９による制御を受けて、開口部１０２ａの大きさを調整可能に構成されている。

可視光絞り１０３は、図２に示すようにレンズ１０１に入射する入射光Ｎの経路に設けられ、可視光を部分的に遮蔽する。図４は、可視光絞り１０３を示す模式図であり、光軸方向からみた図である。同図に示すように、可視光絞り１０３は、開口部１０３ａと遮蔽部１０３ｂを有する。

開口部１０３ａは、入射光Ｎに含まれる赤外線及び可視光を透過させる。遮蔽部１０３ｂは、開口部１０３ａの周囲に設けられ、可視光を遮蔽し、赤外線を透過する。可視光絞り１０３は、絞り制御部１１９による制御を受けて、開口部１０３ａの大きさを調整可能に構成されている。

撮像素子１０４は、入射光Ｎに含まれる可視光と赤外線を波長分離してそれぞれを光電変化し、画像信号を生成する。図５及び図６は、撮像素子１０４の構成を示す模式図である。

撮像素子１０４は、図５に示すように、波長分離フィルタ１０４ｂと光電変換部１０４ｃが積層された構成とすることができる。波長分離フィルタ１０４ｂは赤色カラーフィルタ１０４ｄ、緑色カラーフィルタ１０４ｅ、青色カラーフィルタ１０４ｆ及び赤外線フィルタ１０４ｇが平面状に配列して構成されている。光電変換部１０４ｃは、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の光電変換素子のアレイである。この構成では撮像素子１０４は入射光Ｎの光軸Ｍに垂直な方向において波長分離を行う。

また、撮像素子１０４は、図６に示すように、各波長に対応する光電変化部が積層された構成とすることもできる。この構成では撮像素子１０４は、赤外線を光電変換する光電変換部１０４ｈ、赤色光を光電変換する光電変換部１０４ｉ、緑色光を光電変換する光電変換部１０４ｊ、青色光を光電変化する光電変換部１０４ｋを備える。各光電変換部は波長分離フィルタと光電変換素子のアレイである。この構成では、入射光Ｎが波長によって到達深さが異なることを利用して、撮像素子１０４は光軸Ｍに沿った方向において波長分離を行う。

また、撮像素子１０４は、光軸Ｍに垂直な方向及び光軸Ｍに沿った方向の両方向において波長分離を行う構成であってもよい。撮像素子１０４は、生成した画像信号を撮像素子Ｉ／Ｆ１０５に供給する。撮像素子Ｉ／Ｆ１０５は、撮像素子１０４から供給された画像信号を信号処理前処理部１０６に供給する。

信号処理前処理部１０６は、画像信号に対してノイズリダクション等の前処理を施し、画像信号を信号処理部１０７に出力する。

信号処理部１０７は、画像信号を画像に変換（現像）し、生成した画像を表示処理部１０８を介して表示部１０９に供給し、表示部１０９に表示させる。また、信号処理部１０７は、後述するように画像から被写体距離を算出し、算出した被写体距離を出力処理部１１０を介して出力部１１１に供給し、外部機器に出力させる。さらに、信号処理部１０７は、算出した被写体距離をレンズ制御部１１２に供給する。

レンズ制御部１１２は、信号処理部１０７から供給された被写体距離を用いてレンズ１０１を制御し、フォーカスを行う。

揮発性記憶部１１４は情報を一時的に記憶し、演算部１１３に情報を供給する。不揮発性記憶部１１５は情報を記憶し、不揮発性記憶Ｉ／Ｆ１１６を介して演算部１１３に情報を供給する。

入力部１１７は、ユーザによる操作入力を受けて操作信号を生成し、入力処理部１１８に供給する。入力処理部１１８は、入力部１１７から供給された操作信号を演算部１１３に出力する。

絞り制御部１１９は、赤外線絞り１０２及び可視光絞り１０３の絞り、即ち開口部１０２ａ及び開口部１０３ａの大きさをそれぞれ制御する。この詳細については後述する。

演算部１１３は、上記各処理を制御するため、揮発性記憶部１１４及び不揮発性記憶部１１５に記憶された情報や入力部１１７において入力された情報を用いて各部を制御する。
また、演算部１１３は、撮像素子１０４に入射する入射光Ｎの光量に基づいて絞り制御部１１９を制御する。

［撮像装置の機能的構成］
図７は、撮像装置１００の機能的構成を示すブロック図である。同図に示すように撮像装置１００は機能的構成として、撮像画像生成部１２１、ズレ量算出部１２２、被写体距離算出部１２３、デフォーカス処理部１２４、レンズ移動量算出部１２５及び距離画像生成部１２６を備える。これらの機能的構成は、撮像装置１００のハードウェアとソフトウェアの協働によって実現することが可能である。

撮像画像生成部１２１は、撮像素子１０４の出力信号に基づいて撮像画像を生成する。撮像画像生成部１２１は、撮像素子Ｉ／Ｆ（interface）１０５、信号処理前処理部１０６及び信号処理部１０７によって実現されている。撮像画像生成部１２１は生成した撮像画像をズレ量算出部１２２に供給する。

ズレ量算出部１２２は、後述するように、撮像画像に含まれる可視光により撮像された被写体像と赤外線により撮像された被写体像のズレ量を算出する。ズレ量算出部１２２は、信号処理部１０７によって実現されている。ズレ量算出部１２２は検出したズレ量を被写体距離算出部１２３及びデフォーカス処理部１２４に供給する。

被写体距離算出部１２３は、ズレ量算出部１２２から供給されたズレ量に基づいて撮像装置１００と被写体の距離（以下、被写体距離）を算出する。被写体距離算出部１２３は、信号処理部１０７によって実現されている。被写体距離算出部１２３は算出した被写体距離をレンズ移動量算出部１２５及び距離画像生成部１２６に供給する。

デフォーカス処理部１２４は、ズレ量算出部１２２から供給されたズレ量に基づいてデフォーカス処理を行う。デフォーカス処理部１２４は演算部１１３又は信号処理部１０７によって実現されている。デフォーカス処理部１２４は、デフォーカス処理を施した画像を不揮発性記憶部１１５に記憶させ、あるいは表示部１０９に表示させる。

レンズ移動量算出部１２５は、被写体距離算出部１２３から供給された被写体距離と撮像装置１００の焦点距離に基づいてレンズ移動量を算出する。レンズ移動量算出部１２５は、演算部１１３又は信号処理部１０７によって実現されている。レンズ移動量算出部１２５は算出したレンズ移動量をレンズ制御部１１２に供給する。

距離画像生成部１２６は、被写体距離算出部１２３から供給された被写体距離を画像化して距離画像を生成する。距離画像生成部１２６は、演算部１１３又は信号処理部１０７によって実現されている。距離画像生成部１２６は生成した距離画像を不揮発性記憶部１１５に記憶させ、あるいは表示部１０９に表示させる。

撮像装置１００は以上のような機能的構成を有する。なお、撮像装置１００は上述の機能的構成の一部のみを有するものであってもよい。また、上述したレンズ制御部１１２及び絞り制御部１１９も撮像装置１００のハードウェアとソフトウェアの協働によって実現されてもよい。

［赤外線絞り及び可視光絞りについて］
赤外線絞り１０２及び可視光絞り１０３について、従来の光量調整機構との比較の上で説明する。

図８は、従来の赤外線に対する構造化開口３０１と可視光絞り３０２を示す模式図である。構造化開口３０１は開口部３０１ａと遮蔽部３０１ｂを備え、可視光絞り３０２は開口部３０２ａと遮蔽部３０２ｂを備える。

この構成では、可視光絞り３０２の遮蔽部３０２ｂは構造化開口３０１の開口部３０１ａを塞がないように開口部３０１ａの周縁位置（図中破線）より内側に入れることができず、開口径を一定値以下とすることができない。

図９は、構造化開口３０１及び可視光絞り３０２を備える撮像装置３００を搭載した車両Ｗを示す模式図であり、図１０は可視光絞り３０２の調整を示す模式図である。図９（ａ）に示すように、車両Ｗが日光に向かって走行している場合、図１０（ａ）に示すように可視光絞り３０２を絞り、光量を削減する必要がある。また、図９（ｂ）に示すように、車両Ｗが夜間、又はトンネル内を走行している場合、図１０（ｂ）に示すように可視光絞り３０２を開き、光量を増加させる必要がある。

しかしながら、上述のように可視光絞り３０２は開口径を一定値以下にすることができず、特に撮像装置３００を屋外で使用することは困難である。

図１１及び図１２は、本実施形態に係る赤外線絞り１０２と可視光絞り１０３の調整を示す模式図である。絞り制御部１１９は、赤外線の光量が多い場合には図１１（ａ）に示すように赤外線絞り１０２を絞り、図１１（ｂ）に示すように可視光絞り１０３を開けることができる。また、絞り制御部１１９は、可視光の光量が多い場合には図１２（ａ）に示すように赤外線絞り１０２を開け、図１２（ｂ）に示すように可視光絞り１０３を絞ることができる。

このように本実施形態に係る撮像装置１００では、赤外線絞り１０２と可視光絞り１０３の開口径を独立して調整可能であるため、光量が異なる様々な環境での撮像が容易となる。

［絞りの開口部の中心位置について］
撮像装置１００では、赤外線絞り１０２の開口部１０２ａの中心（以下、赤外開口部中心Ｐ１）と可視光絞り１０３の開口部１０３ａの中心（以下、可視光開口部中心Ｐ２）をずらすことによって被写体距離を算出することが可能である。

図１３は、赤外開口部中心Ｐ１と可視光開口部中心Ｐ２のズレを示す模式図であり、赤外線絞り１０２と可視光絞り１０３を光軸Ｍに沿った方向（以下、光軸方向）から見た図である。同図に示すように、赤外開口部中心Ｐ１と可視光開口部中心Ｐ２は共に光軸Ｍの中心Ｐ_Ｍから光軸方向に対して垂直な方向にずれている。

また赤外開口部中心Ｐ１と可視光開口部中心Ｐ２のうち少なくともいずれか一方が中心Ｐ_Ｍからずれていてもよい。図１４は赤外開口部中心Ｐ１と可視光開口部中心Ｐ２のズレを示す模式図である。同図に示すように、赤外開口部中心Ｐ１は中心Ｐ_Ｍからずれ、可視光開口部中心Ｐ２は中心Ｐ_Ｍに一致していてもよい。

図１５は、被写体距離と入射光Ｎを示す模式図であり、図１６は撮像素子１０４によって撮像される画像（以下、撮像画像）を示す模式図である。フォーカスは被写体距離とレンズ１０１の焦点距離で決まるため、焦点距離が一定の場合は被写体距離によって像の位置が決まる。図１５（ａ）に示すように撮像装置１００のフォーカスが被写体Ｈに合っていない場合、光が通過したレンズ１０１の位置により、撮像素子１０４に到達する位置が異なる。このため、図１６（ａ）に示すように、可視光により撮像された被写体像Ｚ１と赤外線により撮像された被写体像Ｚ２は撮像画像においてずれる。

一方、図１５（ｂ）に示すように撮像装置１００のフォーカスが被写体Ｈに一致すると、光が通過したレンズ１０１の位置により撮像素子１０４に到達する位置は変わらず、図１６（ｂ）に示すように被写体像Ｚ１と被写体像Ｚ２は撮像画像において一致する。

ズレ量算出部１２２は、任意の物体認識アルゴリズムによって被写体像Ｚ１と被写体像Ｚ２を検出し、被写体像Ｚ１と被写体像Ｚ２のズレ量を算出することができる。被写体距離算出部１２３は、レンズ１０１の焦点距離が撮像装置１００において既知のため、焦点距離とズレ量から被写体距離を算出することができる。

図１７は、被写体距離の算出に係る数値を示す模式図である。同図に示すようにδは被写体像Ｚ１と被写体像Ｚ２のズレ量、Ａは主点上での絞り間距離（赤外開口部中心Ｐ１と可視光開口部中心Ｐ２の光軸に垂直な方向での距離）、Ｂは主点から像面１０４ａまでの距離である。また、レンズの焦点距離をｆとする。

図１８（ａ）に示すように、赤外線絞り１０２の開口部１０２ａ（図中上側）を通過した光が像面１０４ａで下側に結像し、絞り位置とズレが異なる向きとなる場合、以下の（式１）が成立する。

また、図１８（ｂ）に示すように、赤外線絞り１０２の開口部１０２ａ（図中上側）を通過した光が像面１０４ａで上側に結像し、絞り位置とズレが同じ向きとなる場合、以下の（式２）が成立する。

ただし、

上記（式１）及び（式２）から、被写体距離算出部１２３はＬとＴｆ又はＴｒを算出することにより被写体距離を算出することが可能である。

［絞り開口部の中心について］
赤外線絞り１０２及び可視光絞り１０３は、撮像装置１００の移動速度及び撮像素子１０４への入射光の光量に応じて開口部の中心を変えてもよい。図１９及び図２０は、開口部の中心の変更を示す模式図である。

撮像装置１００の移動速度が遅い場合、又は入射光Ｎの光量が多い場合には、図１９に示すように赤外線絞り１０２及び可視光絞り１０３を絞ることにより、赤外開口部中心Ｐ１と可視光開口部中心Ｐ２の距離Ｄを大きくすることができる。これにより被写体像Ｚ１と被写体像Ｚ２のズレ量が大きくなり、被写体距離の算出精度が向上する。

また、撮像装置１００の移動速度が速い場合、又は入射光Ｎの光量が少ない場合には、図２０に示すように赤外線絞り１０２及び可視光絞り１０３を開くことにより、赤外開口部中心Ｐ１と可視光開口部中心Ｐ２の距離Ｄは小さくなる。

一方、図２１に示すように、従来の構造では撮像装置の移動速度が速い場合、又は入射光の光量が少ない場合には赤外線画像が暗くなり、被写体ブレにより被写体像のズレを取得することができない。撮像装置の移動速度が遅い場合、又は入射光の光量が多い場合には白とびでズレを取得することができず、又はズレが小さくなる。このため、被写体距離を算出しても精度は低くなる。

図２２は、入射光の光量又は移動速度と測定可能なズレの大きさの関係を示すグラフである。同図に示すように、本実施形態に係る構造（図中、実線）では、絞りの自由度が高く白潰れあるいは黒潰れしにくいため、入射光の光量又は移動速度が変化してもズレを測定可能である。これに対し、従来の構造（図中、破線）ではズレを測定可能な範囲が比較的狭くなる。

図２３は、露光の最適化を図る場合の赤外線絞り１０２及び可視光絞り１０３の状態を示す表である。被写体によって赤外線の反射率が異なるため、赤外線絞り１０２及び可視光絞り１０３を独立して調整することにより適正な露光とすることができる。

図２４は、被写体距離測定の最適化を図る場合の赤外線絞り１０２及び可視光絞り１０３の状態を示す表である。絞りの開き具合によって赤外開口部中心Ｐ１と可視光開口部中心Ｐ２の光軸に垂直な方向の距離を変えることができるため、測定に適した距離範囲が変わる。

［フォーカス制御］
撮像装置１００は、上記のようにして被写体距離を算出すると、算出した被写体距離を用いて撮像装置１００のフォーカスを制御することができる。

図２５は、撮像装置１００によるフォーカス制御の動作を示すフローチャートである。撮像素子１０４が画像を撮像する（Ｓｔ１０１）と、撮像画像生成部１２１が撮像画像を生成する。即ち、撮像素子Ｉ／Ｆ１０５が画像信号を撮像素子１０４から読み出し（Ｓｔ１０２）、信号処理前処理部１０６に供給する。

信号処理前処理部１０６及び信号処理部１０７は、読み出された画像を現像する（Ｓｔ１０３）。ズレ量算出部１２２は、撮像画像において被写体像Ｚ１と被写体像Ｚ２を検出し、両者のズレ量を算出する（Ｓｔ１０４）。

被写体距離算出部１２３は、ズレ量から被写体距離を算出し（Ｓｔ１０５）、レンズ移動量算出部１２５に供給する。レンズ移動量算出部１２５は、被写体距離と焦点距離からフォーカスを被写体に一致させるためのレンズ移動量を算出し（Ｓｔ１０６）、算出したレンズ移動量をレンズ制御部１１２に供給する。

レンズ制御部１１２は、演算部１１３から供給されたレンズ移動量にしたがってレンズ１０１を移動させる（Ｓｔ１０７）。以降、画像が撮像されると撮像装置１００は以上のステップを繰り返して実行する。撮像装置１００は以上のようにしてフォーカスの制御を行うことができる。

［距離画像の取得］
撮像装置１００は、算出した被写体距離を用いて距離画像を生成することも可能である。距離画像は、被写体距離を輝度、色彩又は濃淡等によって表す画像である。

図２６は、撮像装置１００による距離画像生成の動作を示すフローチャートである。撮像素子１０４が画像を撮像する（Ｓｔ１１１）と、撮像画像生成部１２１が撮像画像を生成する。即ち、撮像素子Ｉ／Ｆ１０５が画像信号を撮像素子１０４から読み出し（Ｓｔ１１２）、信号処理前処理部１０６に供給する。

信号処理前処理部１０６及び信号処理部１０７は、読み出された画像を現像する（Ｓｔ１１３）。ズレ量算出部１２２は、撮像画像において被写体像Ｚ１と被写体像Ｚ２を検出し、両者のズレ量を算出する（Ｓｔ１１４）。

被写体距離算出部１２３は、ズレ量から被写体距離を算出し（Ｓｔ１１５）、算出した被写体距離を距離画像生成部１２６に供給する。距離画像生成部１２６は、被写体距離に応じて所定の画素範囲毎に輝度又は色を決定することによって距離画像を生成することができる。以降、画像が撮像されると撮像装置１００は以上のステップを繰り返して実行する。撮像装置１００は以上のようにして距離画像の生成を行うことができる。

［デフォーカス処理］
撮像装置１００は、被写体像Ｚ１と被写体像Ｚ２のズレ量を用いてデフォーカス処理を行うことも可能である。

図２７は、撮像装置１００によるデフォーカス処理の動作を示すフローチャートである。
撮像素子１０４が画像を撮像する（Ｓｔ１２１）と、撮像画像生成部１２１が撮像画像を生成する。即ち、撮像素子Ｉ／Ｆ１０５が画像信号を撮像素子１０４から読み出し（Ｓｔ１２２）、信号処理前処理部１０６に供給する。

信号処理前処理部１０６及び信号処理部１０７は、読み出された画像を現像する（Ｓｔ１２３）。ズレ量算出部１２２は、撮像画像において被写体像Ｚ１と被写体像Ｚ２を検出し、両者のズレ量を算出する（Ｓｔ１２４）。

デフォーカス処理部１２４はズレ量からデフォーカス量を算出し（Ｓｔ１２５）、読み出した撮像画像にデフォーカス処理を施す（Ｓｔ１２６）。デフォーカス処理部１２４は、既知のボケの分布関数の逆関数の畳み込み演算を行うことによってデフォーカス処理を行うことが可能である。

［撮像装置の利用方法］
図２８は、撮像装置１００によって取得することが可能な画像の模式図である。上記のように撮像装置１００では図２８（ａ）に示すような可視光画像、図２８（ｂ）に示すような赤外線画像及び図２８（ｃ）に示すような距離画像を１回の撮像（１回の露光）によって撮像することが可能である。

図２９は撮像装置１００を搭載した車両Ｖ及び被写体Ｈを示す模式図である。撮像装置１００を利用することにより、可視光画像、赤外線画像及び距離画像を取得することができ、自動運転や自動ブレーキ等の実現に際して車両Ｖ等の移動体が周囲の状況を迅速に判断するために必要な情報を短時間で取得することが可能である。

例えば図２９（ａ）に示すように車両Ｖと被写体Ｈの距離を取得し、あるいは図２９（ｂ）に示すように交通整理のゼスチャー認識等を行うことが可能である。また、上記のように撮像装置では赤外線絞り１０２及び可視光絞り１０３をそれぞれ独立して調整可能であるため、外部環境の適応性が高く、このような利用に適する。

［搭載機器］
撮像装置１００は各種の移動体に搭載することが可能である。図３０は、撮像装置１００が搭載される移動体の例である。

撮像装置１００は図３０（ａ）に示すように乗用車、トラック、列車等の車両に搭載されてもよく、図３０（ｂ）に示すようにドローンや航空機、飛行船等の飛行体に搭載されてもよい。また撮像装置１００は、図３０（ｃ）に示すようにクレーン等の遠隔操作機器に搭載されてもよく、図３０（ｄ）に示すように自転車等の軽車両に搭載されてもよい。さらに撮像装置１００は、図３０（ｅ）に示すようにロボット等の自立移動体に搭載されていてもよい。この他にも撮像装置１００は、被写体に対して移動可能な各種の移動体に搭載することが可能である。

特に近年では、自動車の自律走行や自動ブレーキ等において障害物の迅速な判断が求められている。本実施形態に係る撮像装置１００は、被写体距離と可視光画像を同時に取得でき、外部の光量に柔軟に対応できるため、このような用途にも好適である。

［赤外線絞りの機構］
上述のように赤外線絞り１０２は、入射光Ｎに含まれる赤外線及び可視光を透過させる開口部１０２ａと、赤外線を遮蔽し可視光を透過する遮蔽部１０２ｂを備え、開口部１０２ａの大きさを調整可能に構成されている。このような構成は以下のようにして実現することが可能である。

図３１乃至図３４は、赤外線絞り１０２の各種構成を示す模式図である。図３１及び図３３において、入射光Ｎが通過する範囲を範囲Ｓとして示す。

図３１に示すように赤外線絞り１０２は、大きさが異なる複数の開口部１０２ａを備える構成とすることができる。この赤外線絞り１０２は回転することによって範囲Ｓに含まれる開口部１０２ａの大きさを変更することが可能である。

また、図３２及び図３３に示すように赤外線絞り１０２は第１部材１０２ｃと第２部材１０２ｄを備え、第１部材１０２ｃに対して第２部材１０２ｄが移動する構成とすることもできる。図３３（ａ）は絞りを開いた状態を示し、図３３（ｂ）は絞りを絞った状態を示す。第１部材１０２ｃに対して第２部材１０２ｄを移動させると、絞りの中心位置がズレながら絞られる。

また、図３４に示すように赤外線絞り１０２は、複数の部材１０２ｅを備え、部材１０２ｅがそれぞれ移動することにより、開口部１０２ａの大きさが変化する構成とすることもできる。図３４（ａ）は絞りを開いた状態を示し、図３４（ｂ）は絞りを絞った状態を示す。絞りを開いた状態（図３４（ａ））と絞りを閉じた状態（図３４（ｂ））の間で赤外線絞り１０２自体を移動させることにより、絞りの中心位置をずらすことが可能である。

［ハードウェア構成］
図３５は、撮像装置１００のハードウェア構成を示す模式図である。同図に示すように撮像装置１００はハードウェア構成として、ＣＰＵ１００１、ＧＰＵ１００２、メモリ１００３、ストレージ１００４及び入出力部（Ｉ／Ｏ）１００５を有する。これらはバス１００６によって互いに接続されている。また、バス１００６には上述した撮像素子１０４等も接続されていてもよい。

ＣＰＵ（Central Processing Unit）１００１は、メモリ１００３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１００３に格納する。ＣＰＵ１００１はマイクロプロセッサとすることができる。

ＧＰＵ（Graphic Processing Unit）１００２は、ＣＰＵ１００１による制御を受けて、画像処理を実行する。ＧＰＵ１００２はマイクロプロセッサとすることができる。

メモリ１００３はＣＰＵ１００１によって実行されるプログラム及びデータを格納する。メモリ１００３はＲＡＭ（Random Access Memory）とすることができる。

ストレージ１００４は、プログラムやデータを格納する。ストレージ１００４はＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）とすることができる。

入出力部１００５は撮像装置１００に対する入力を受け付け、また撮像装置１００の出力を外部に供給する。入出力部１００５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェースを含む。

撮像装置１００のハードウェア構成はここに示すものに限られず、撮像装置１００の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

［変形例］
上記説明において、撮像装置１００は、赤外線と可視光を波長分離して撮像するとしたが、これに限られない。撮像装置１００は、第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して撮像するものとすることも可能である。第１の波長と第２の波長は互いに異なる波長であればよく、それぞれが赤外線、紫外線及び可視光のいずれの波長とすることができる。

なお、本技術は以下のような構成もとることができる。

（１）
入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、
光を上記撮像装置に集光する光学素子と、
上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第１の開口部と、上記第１の光を遮蔽し、上記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、
上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第２の開口部と、上記第２の光を遮蔽し、上記第１の光を透過させる第２の遮蔽部とを有する第２の絞りと、
上記第１の開口部と上記第２の開口部の大きさをそれぞれ制御する絞り制御部と
を具備する撮像装置。

（２）
上記（１）に記載の撮像装置であって、
上記第１の波長は赤外線の波長であり、
上記第２の波長は可視光の波長である
撮像装置。

（３）
上記（１）又は（２）に記載の撮像装置であって、
上記第１の開口部と上記第２の開口部は、上記入射光の光軸方向に対して垂直な方向にずれている
撮像装置。

（４）
上記（１）から（３）のうちいずれか一つに記載の撮像装置であって、
上記第１の開口部と上記第２の開口部の少なくともいずれか一方は、中心が上記入射光の光軸中心に一致している
撮像装置。

（５）
上記（３）に記載の撮像装置であって、
上記撮像装置は、上記撮像素子によって撮像され、上記第１の光の像である第１の像と、上記第２の光の像である第２の像を含む撮像画像から被写体距離を算出する被写体距離算出部
をさらに具備する撮像装置。

（６）
上記（５）に記載の撮像装置であって、
上記被写体距離算出部は、上記撮像画像における上記第１の像と上記第２の像のズレ量に基づいて上記被写体距離を算出する
撮像装置。

（７）
上記（４）に記載の撮像装置であって、
上記第１の波長は赤外線の波長であり、
上記第２の波長は可視光の波長であり、
上記第１の開口部は、中心が上記入射光の光軸中心からずれており、
上記第２の開口部は、中心が上記入射光の光軸中心に一致している
撮像装置。

（８）
上記（１）から（７）のうちいずれか一つに記載の撮像装置であって、
上記撮像素子は、上記入射光の光軸に垂直な方向で上記第１の波長と上記第２の波長の波長分離を行う
撮像装置。

（９）
上記（１）から（７）のうちいずれか一つに記載の撮像装置であって、
上記撮像素子は、上記入射光の光軸に平行な方向で上記第１の波長と上記第２の波長の波長分離を行う
撮像装置。

（１０）
上記（５）に記載の撮像装置であって、
上記被写体距離に基づいて上記光学素子を制御する光学素子制御部
をさらに具備する撮像装置。

（１１）
上記（５）に記載の撮像装置であって、
上記被写体距離から距離画像を生成する距離画像生成部
をさらに具備する撮像装置。

（１２）
上記（３）に記載の撮像装置であって、
上記撮像素子によって撮像され、上記第１の光の像である第１の像と、上記第２の光の像である第２の像を含む撮像画像における上記第１の像と上記第２の像のズレ量に基づいてデフォーカス処理を行うデフォーカス処理部
をさらに具備する撮像装置。

（１３）
上記（１）から（１２）のいずれか一つに記載の撮像装置であって、
上記絞り制御部は、上記撮像素子に入射する上記第１の光の光量と上記第２の光の光量に応じて上記第１の開口部及び上記第２の開口部の大きさを制御する
撮像装置。

（１４）
上記（１）から（１３）のいずれか一つに記載の撮像装置であって、
上記絞り制御部は、上記撮像装置の移動速度に応じて、上記入射光の光軸に垂直な方向における上記第１の開口部及び上記第２の開口部の中心間距離を制御する
撮像装置。

（１５）
入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、
光を上記撮像装置に集光する光学素子と、
上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第１の開口部と、上記第１の光を遮蔽し、上記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、
上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第２の開口部と、上記第２の光を遮蔽し、上記第１の光を透過させる第２の遮蔽部とを有する第２の絞りと
を備える撮像装置を利用する撮像方法であって、
絞り制御部が、上記第１の開口部と上記第２の開口部の大きさをそれぞれ変更する
撮像方法。

（１６）
入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、
光を上記撮像装置に集光する光学素子と、
上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第１の開口部と、上記第１の光を遮蔽し、上記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、
上記入射光の経路に設けられ、上記第１の光と上記第２の光を透過させる第２の開口部と、上記第２の光を遮蔽し、上記第１の光を透過させる第２の遮蔽部とを有する第２の絞りと
を具備する撮像装置を制御するためのプログラムであって、
上記第１の開口部と上記第２の開口部の大きさをそれぞれ変更する絞り制御部
として上記撮像装置を制御するプログラム。

１００…撮像装置
１０１…レンズ
１０２…赤外線絞り
１０３…可視光絞り
１０４…撮像素子
１０５…撮像素子Ｉ／Ｆ
１０６…信号処理前処理部
１０７…信号処理部
１０８…表示処理部
１０９…表示部
１１０…出力処理部
１１１…出力部
１１２…レンズ制御部
１１３…演算部
１１４…揮発性記憶部
１１５…不揮発性記憶部
１１６…不揮発性記憶Ｉ／Ｆ
１１７…入力部
１１８…入力処理部
１１９…絞り制御部
１２１…撮像画像生成部
１２２…ズレ量算出部
１２３…被写体距離算出部
１２４…デフォーカス処理部
１２５…レンズ移動量算出部
１２６…距離画像生成部

Claims (16)

1. 入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、
   光を前記撮像装置に集光する光学素子と、
   前記入射光の経路に設けられ、前記第１の光と前記第２の光を透過させる第１の開口部と、前記第１の光を遮蔽し、前記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、
   前記入射光の経路に設けられ、前記第１の光と前記第２の光を透過させる第２の開口部と、前記第２の光を遮蔽し、前記第１の光を透過させる第２の遮蔽部とを有する第２の絞りと、
   前記第１の開口部と前記第２の開口部の大きさをそれぞれ制御する絞り制御部と
   を具備する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第１の波長は赤外線の波長であり、
   前記第２の波長は可視光の波長である
   撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記第１の開口部と前記第２の開口部は、前記入射光の光軸方向に対して垂直な方向にずれている
   撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記第１の開口部と前記第２の開口部の少なくともいずれか一方は、中心が前記入射光の光軸中心に一致している
   撮像装置。
5. 請求項３に記載の撮像装置であって、
   前記撮像装置は、前記撮像素子によって撮像され、前記第１の光の像である第１の像と、前記第２の光の像である第２の像を含む撮像画像から被写体距離を算出する被写体距離算出部
   をさらに具備する撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記被写体距離算出部は、前記撮像画像における前記第１の像と前記第２の像のズレ量に基づいて前記被写体距離を算出する
   撮像装置。
7. 請求項４に記載の撮像装置であって、
   前記第１の波長は赤外線の波長であり、
   前記第２の波長は可視光の波長であり、
   前記第１の開口部は、中心が前記入射光の光軸中心からずれており、
   前記第２の開口部は、中心が前記入射光の光軸中心に一致している
   撮像装置。
8. 請求項１に記載の撮像装置であって、
   前記撮像素子は、前記入射光の光軸に垂直な方向で前記第１の波長と前記第２の波長の波長分離を行う
   撮像装置。
9. 請求項１に記載の撮像装置であって、
   前記撮像素子は、前記入射光の光軸に平行な方向で前記第１の波長と前記第２の波長の波長分離を行う
   撮像装置。
10. 請求項５に記載の撮像装置であって、
    前記被写体距離に基づいて前記光学素子を制御する光学素子制御部
    をさらに具備する撮像装置。
11. 請求項５に記載の撮像装置であって、
    前記被写体距離から距離画像を生成する距離画像生成部
    をさらに具備する撮像装置。
12. 請求項３に記載の撮像装置であって、
    前記撮像素子によって撮像され、前記第１の光の像である第１の像と、前記第２の光の像である第２の像を含む撮像画像における前記第１の像と前記第２の像のズレ量に基づいてデフォーカス処理を行うデフォーカス処理部
    をさらに具備する撮像装置。
13. 請求項１に記載の撮像装置であって、
    前記絞り制御部は、前記撮像素子に入射する前記第１の光の光量と前記第２の光の光量に応じて前記第１の開口部及び前記第２の開口部の大きさを制御する
    撮像装置。
14. 請求項１に記載の撮像装置であって
    前記絞り制御部は、前記撮像装置の移動速度に応じて、前記入射光の光軸に垂直な方向における前記第１の開口部及び前記第２の開口部の中心間距離を制御する
    撮像装置。
15. 入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、
    光を前記撮像装置に集光する光学素子と、
    前記入射光の経路に設けられ、前記第１の光と前記第２の光を透過させる第１の開口部と、前記第１の光を遮蔽し、前記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、
    前記入射光の経路に設けられ、前記第１の光と前記第２の光を透過させる第２の開口部と、前記第２の光を遮蔽し、前記第１の光を透過させる第２の遮蔽部とを有する第２の絞りと
    を備える撮像装置を利用する撮像方法であって、
    絞り制御部が、前記第１の開口部と前記第２の開口部の大きさをそれぞれ変更する
    撮像方法。
16. 入射光に含まれる第１の波長を有する第１の光と第２の波長を有する第２の光を波長分離して光電変換を行う撮像素子と、
    光を前記撮像装置に集光する光学素子と、
    前記入射光の経路に設けられ、前記第１の光と前記第２の光を透過させる第１の開口部と、前記第１の光を遮蔽し、前記第２の光を透過させる第１の遮蔽部とを有する第１の絞りと、
    前記入射光の経路に設けられ、前記第１の光と前記第２の光を透過させる第２の開口部と、前記第２の光を遮蔽し、前記第１の光を透過させる第２の遮蔽部とを有する第２の絞りと
    を具備する撮像装置を制御するためのプログラムであって、
    前記第１の開口部と前記第２の開口部の大きさをそれぞれ変更する絞り制御部
    として前記撮像装置を機能させるプログラム。

Images