JPWO2016104235A1 - ステレオ撮像装置及び移動体 - Google Patents

Abstract

小型軽量でありながら、多彩な障害物を認識できるステレオ撮像装置及びそれを有する移動体を提供する。各種光学フィルタを備えた第１アレイ光学系を有する第１撮像装置及び第２アレイ光学系を有する第２撮像装置でステレオ撮像装置を構成することにより、単体のアレイ光学系を有する撮像装置よりも長い基線長により、遠距離における測距精度を確保しつつ、各種光学フィルタを透過した画像から多彩な障害物を検出することが可能となる。

Description

本発明は、複数の複眼撮像装置を備えたステレオ撮像装置と、かかるステレオ撮像装置を搭載した移動体に関する。

近年、無人移動体或いは車両などにおいて、進行方向前方の障害物を検出する障害物検出装置が開発されている。例えば、特許文献１に開示された障害物検出装置は、進行方向に投射した赤外線をスキャンすることで障害物を検出するものであるが、検出範囲が赤外線のスキャン範囲に留まり比較的狭いという問題がある。

これに対し、特許文献２に開示された障害物検出装置は、ミリ波レーダーを用いて障害物を検出するものであるが、障害物の形や寸法の識別が困難であるという問題がある。一方、特許文献３に開示された障害物検出装置は、ステレオカメラを用いることで同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を、テンプレートマッチングにより算出し、算出した視差をもとに対象物の実空間上の位置を、周知の変換式により算出できるものであり、上述の問題を解消することができる。

特開２０１４−２４４３１号公報 特開２０１３−８６５６０号公報 特開２００９−１４６２１７号公報

しかしながら、特許文献３に開示された技術では、反射物や逆光条件下等で被写体を識別にしにくくなるという問題がある。上述の３種類の障害物検出装置を搭載して、条件に応じて使い分けることも考えられるが、コストが増大すると共に重量増を招く。特に、無人飛行体などに障害物検出装置を搭載する場合、一回の航続距離を確保する為に、極力小型軽量の障害物検出装置が望まれているという実情がある。

本発明は、かかる問題点に鑑みてなされ、小型軽量でありながら、多彩な障害物を認識できるステレオ撮像装置及びそれを有する移動体を提供することを目的とする。

上述した目的のうち少なくとも一つを実現するために、本発明の一側面を反映したステレオ撮像装置は、
光軸を異ならせて配置した複数の第１結像光学系を備えた第１アレイ光学系と、前記複数の第１結像光学系の各々が形成する画像を光電変換し画像信号を出力する第１固体撮像素子と、を有する第１撮像装置と、
光軸を異ならせて配置した複数の第２結像光学系を備えた第２アレイ光学系と、前記複数の第２結像光学系の各々が形成する画像を光電変換し画像信号を出力する第２固体撮像素子と、を有する第２撮像装置と、を備えたステレオ撮像装置であって、
前記第１結像光学系と前記第２結像光学系の光軸は平行で、前記第１撮像装置と前記第２撮像装置とは、光軸直交方向に離間して配置され、
前記第１結像光学系の各々は、光学補正無しフィルタ、赤色フィルタ、緑色フィルタ、青色フィルタ、ＮＤフィルタ、近赤外フィルタ、及び偏光フィルタのうちいずれか１種類を備えてなり、且つ前記第１アレイ光学系の有するフィルタは、少なくとも２種類であり、
前記第２結像光学系の各々の有するフィルタは、前記第１アレイ光学系の有するフィルタと同種であって、
同種のフィルタを有する、前記第１結像光学系により形成された画像の前記画像信号と前記第２結像光学系により形成された画像の前記画像信号に基づいて被写体の３次元情報を得る。

本発明によれば、小型軽量でありながら、多彩な障害物を認識できるステレオ撮像装置及びそれを有する移動体を提供することができる。

本実施形態にかかる移動体としての無人飛行体の斜視図である。 第１撮像装置ＣＡ１の概略構成を示す図である。 第１撮像装置ＣＡ１に用いるカラーフィルタにおけるフィルタ素子の並びの一例を示す図である。 無人飛行体１００の構成を示すブロック図である。 画像処理部ＰＲにおける処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 第２の処理態様にかかる画像処理部ＰＲにおける処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 画像処理部ＰＲにおける別な処理フローを示すブロック図である。 別な実施形態にかかる移動体としての無人飛行体の斜視図である。 無人飛行体１００’の構成を示すブロック図である。 ステレオ撮像装置を搭載した車両の例を示す図である。

以下、本発明に係る実施形態を説明する。図１は、本実施形態にかかる移動体としての無人飛行体の斜視図である。図１に示す無人飛行体１００において、脚部１０２により支持された本体１０１は、周方向に等間隔に４本のアーム１０３Ａ〜１０３Ｄを水平に植設している。アーム１０３Ａ〜１０３Ｄの先端には、推進力発生装置であるモータ１０４Ａ〜１０４Ｄが取り付けられており、各モータ１０４Ａ〜１０４Ｄの垂直方向を向いた回転軸には、プロペラ１０５Ａ〜１０５Ｄが回転可能に取り付けられている。

本体１０１の上面には、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とが各光軸を互いに平行にし且つ光軸直交方向に離間した状態で、進行方向（矢印方向）を向いて設置されている。

図２は、第１撮像装置ＣＡ１の概略構成を示す図である。図２において、第１撮像装置ＣＡ１は、光軸を互いに平行として３行３列に配置された個眼光学系ＩＬと、個眼光学系ＩＬの各々により形成される被写体像を光電変換する光電変換領域（一体であっても良い）Ｉａを９領域備えた固体撮像素子（第１固体撮像素子）ＳＲと、個眼光学系ＩＬと光電変換領域Ｉａとの間に配置された光学フィルタＣＦと、を有する。光学フィルタＣＦは、個眼光学系ＩＬの個々に応じて９個のフィルタ素子ＣＦａに分割されている。なお、光学フィルタＣＦは、個眼光学系ＩＬより被写体側に配置されていてもよい。複数種の光学フィルタＣＦと複数の個眼光学系ＩＬとで、第１アレイ光学系を構成する。尚、図示していないが、同じ構成を有する第２撮像装置ＣＡ２において、同種の光学フィルタＣＦと複数の個眼光学系ＩＬとで第２アレイ光学系を構成し、それにより形成される被写体像を光電変換する固体撮像素子ＳＲが第２固体撮像素子を構成する。

図３は、第１撮像装置ＣＡ１に用いる光学フィルタにおけるフィルタ素子の並びの一例を示す図である。光学フィルタＣＦは、素通しのガラスであるフィルタ素子ＣＦａ（以下、ＮＯとする）と、赤色の光を透過するフィルタ素子ＣＦａ（以下、Ｒとする）と、緑色の光を透過するフィルタ素子ＣＦａ（以下、Ｇとする）と、青色の光を透過するフィルタ素子ＣＦａ（以下、Ｂとする）と、近赤外の光を透過するフィルタ素子ＣＦａ（以下、ＩＲとする）と、第１の減衰率を有するフィルタ素子（ＮＤフィルタ）ＣＦａと（以下、ＮＤ１とする）、第１の減衰率より高い第２の減衰率を有するフィルタ素子（ＮＤフィルタ）ＣＦａ（以下、ＮＤ２とする）と、透過軸が０度であるフィルタ素子（偏光フィルタ）ＣＦａ（以下、ＰＦとする）と、透過軸が９０度であるフィルタ素子（偏光フィルタ）ＣＦａ（以下、ＳＦとする）とを有する。１種類のフィルタ素子ＣＦａと、それに対応する個眼光学系ＩＬとで、結像光学系（第１結像光学系又は第２結像光学系）を構成する。尚、少なくとも２種類のフィルタ素子が用途に応じて設けられていれば足りる。

第２撮像装置ＣＡ２は、図２，３に示す第１撮像装置ＣＡ１と同様な構成を有する。但し、フィルタ素子ＣＦａの配列は、第１撮像装置と同一でも良いし、鏡像関係となる配置であっても良いし、ランダム配置であっても良い。尚、「光学補正無しフィルタ」とは、透過光に対して実質的に光学補正がなされないフィルタをいい、図３に示す素通しガラスの他、素通しの樹脂素材でも良いし、フィルタ素子を設けない場合も含み、ＲＧＢの各場合よりも広帯域の波長情報を取り込むことができる。

図４は、無人飛行体１００の構成を示すブロック図である。第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから出力された画像信号は、無人飛行体１００の本体１０１に同架され第１撮像装置ＣＡ１と第２撮像装置ＣＡ２に接続された画像処理部ＰＲに入力され、画像処理部ＰＲ内の被写体距離情報取得部ＰＲ１にて、撮像領域の３次元情報を得ることで障害物に関する被写体情報が求められる。また、入力された画像信号に基づいて、画像処理部ＰＲ内のモニタリング用可視画像情報取得部ＰＲ２にて可視画像を形成し、そのデータを外部のモニタ（表示装置）ＭＴに送信することで、無人飛行体１００から撮像した可視画像を、オペレータがモニタＭＴを通して観察できる。特に、第１撮像装置ＣＡ１及び／又は第２撮像装置ＣＡ２のフィルタ素子（Ｒ，Ｇ，Ｂ）を透過した光束を用いることで、カラーの可視光画像を形成できるので、これをモニタＭＴに表示することで、オペレータの操作を支援できる。尚、その他のフィルタ素子を通過させた光束を用いてモニタ画像を表示しても良い。

更に、画像処理部ＰＲから出力された被写体情報は、本体１０１内に配置された駆動制御部（移動制御部）ＤＲに出力され、これに基づいて障害物に衝突しないように、モータ１０４Ａ〜１０４Ｄを制御して、自律飛行を実現できるようになっている。

次に、図面を参照して、画像処理部ＰＲにおける自律飛行制御を含む処理について説明する。図５は、画像処理部ＰＲにおける処理フローを示すブロック図である。ここで、無人飛行体１００は、移動方向前方の対象物を障害物として検出し、これを避けるように飛行を行うものとする。飛行状態で、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とは、各フィルタ素子ＣＦａ及び各個眼光学系ＩＬを透過した光束を、固体撮像素子ＳＲ内の光電変換領域Ｉａで、それぞれ受光して光電変換を行う。光電変換された後に、各信号は固体撮像素子ＳＲから出力され、画像処理部ＰＲ内に設けられた不図示のメモリＭＲに記憶され、必要に応じて呼び出されるようになっている。

（第１の処理態様）
第１の処理態様では、予め、測距する対象を抽出し、その対象について測距を行って距離マップを作成するものである。また、反射体を検出した場合には、反射体自体の距離情報は検出しないようにしている。まず、画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、素通しガラスのフィルタ素子（ＮＯ）を通過した光束により露出時間（露光量）を決定することとなっている場合、処理Ｐ１０１、Ｐ１０２において、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、素通しガラスのフィルタ素子（ＮＯ）を通過した光束に対応する信号を入力して、その値から露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。決定された露出時間での撮像後、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２の光電変換領域Ｉａから出力された信号は、メモリＭＲにそれぞれ記憶される。

次いで、画像処理部ＰＲは、処理Ｐ１０３において、メモリＭＲから、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２それぞれに応じ、素通しガラスのフィルタ素子（ＮＯ）を通過した光束に対応する信号と、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号とを入力し、最もコントラストが大きい画像を選択し、その画像に対応した信号値から被写体を判別する。例えば逆光下などの撮像条件では、太陽などの高輝度の被写体が写り込むことがあるが、このように素通しガラスのフィルタ素子（ＮＯ）を通過した光束を入射した光電変換領域Ｉａの画素値が飽和するような撮像状態でも、第１の減衰率又は第２の減衰率を有するフィルタ素子（ＮＤ１又はＮＤ２）を通過した光束に対応する信号に基づいて、白飛びしないコントラストのある被写体画像を得ることができ、障害物検知に最適な輝度の画像を得ることが出来る。このため、誤検知を防ぐことが可能である。尚、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つを選択し、得られた信号から上記と同様のことを行っても良い。また、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つ又は３つを選択してダイナミックレンジの広い画像を作成してもよい。

以上と並行して、画像処理部ＰＲは、処理Ｐ１０４において、メモリＭＲから、フィルタ素子（ＰＦ）を通過した光束に対応する信号と、フィルタ素子（ＳＦ）を通過した光束に対応する信号とを入力して、両信号値の差を求め、これらの値から被写体に反射体が含まれていないか判断する。すなわち、両信号値の差が閾値を超えていれば、反射光が入射したことが分かるので、画像処理部ＰＲは、閾値の超えた領域範囲を反射体と認識する。尚、反射体の判定に用いる信号は、第１撮像装置ＣＡ１内の信号のみでも良いし、第２撮像装置ＣＡ２内の信号のみでも良いし、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２双方からの信号でも良い。

以上と並行して、画像処理部ＰＲは、処理Ｐ１０５において、メモリＭＲから、近赤外の光を透過するフィルタ素子（ＩＲ）を通過した光束に対応する信号を入力して、閾値より低い被写体を特定し抽出する。例えば森林の上に設けられた架線などは、色調が背景に近くなるので、可視光では判別しにくいことがあるが、一般的に植物は近赤外の光を反射するため架線部分の信号だけが低くなる。従って、近赤外の光を把握することで森林から架線を判別できる。

以上と並行して、画像処理部ＰＲは、処理Ｐ１０６において、メモリＭＲから、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号のうち少なくとも１つと、近赤外の光を透過するフィルタ素子（ＩＲ）を通過した光束に対応する信号を入力して、これらを演算して被写体を特定する。

例えば対象物の認識に、ＮＤＶＩ（正規化差植生指数）の式を用いることができる。フィルタ素子（Ｒ）を通過した赤色光束に対応する信号の輝度値をＲｓとし、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号の輝度値をＩＲｓとしたときに、（１）式で表されるＮＤＶＩ値が所定の範囲にあれば、撮像した被写体が植物であると判別できる。フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号のみでも植物であると判別できる場合もあるが、（１）式を用いることで、確度の高い対象物認定が可能となる。なお、適宜フィルタ素子（Ｇ）を通過した緑色光束に対応する信号や、フィルタ素子（Ｂ）を通過した青色光束に対応する信号を用いても良い。
（ＮＤＶＩ）＝（ＩＲｓ−Ｒｓ）／（ＩＲｓ＋Ｒｓ） （１）

更に、画像処理部ＰＲは、処理Ｐ１０４で判別された反射体以外の領域に対し、処理Ｐ１０７において、メモリＭＲから、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号とをそれぞれ入力して、２組の可視光画像データを生成し、その視差情報に基づいて各色のステレオ画像を形成し、測距を行う。尚、ステレオ画像を用いた測距技術については、特開２００９−１８６２２８号公報に開示されているため、詳細は記載しない。その後、画像処理部ＰＲは、処理Ｐ１０８で画素毎に可視光距離マップを作成し、被写体の３次元情報を求める。「距離マップ」とは、被写体の画像に距離情報を持たせたものをいう。

これと並行して、画像処理部ＰＲは、処理Ｐ１０４で判別された反射体以外の領域に対し、処理Ｐ１０９において、メモリＭＲから、素通しガラスのフィルタ素子（ＮＯ）を通過した光束に対応する信号と、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号とをそれぞれ入力して、コントラストの最も大きい画像についてステレオ画像を形成し、測距を行う。その後、画像処理部ＰＲは、処理Ｐ１１０で画素毎に逆光用距離マップを作成し、被写体の３次元情報を求める。尚、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つを選択して得られた信号から上記と同様のことを行っても良い。また、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つ又は３つの画像を用いてダイナミックレンジの広い画像を作成し、ステレオ画像を形成し、測距を行ってもよい。

これと並行して、画像処理部ＰＲは、処理Ｐ１１１において、処理Ｐ１０４で判別された反射体の境界部を求め、この境界部に対して、メモリＭＲから、フィルタ素子（ＰＦ）を通過した光束に対応する信号、又はフィルタ素子（ＳＦ）を通過した光束に対応する信号を入力して、ステレオ画像を形成し、測距を行う。その後、画像処理部ＰＲは、処理Ｐ１１２において、得られた境界部の測距値を反射体の測距値として、反射体を含む距離マップを作成し、被写体の３次元情報を求める。

これと並行して、画像処理部ＰＲは、処理Ｐ１０４で判別された反射体以外の領域に対し、処理Ｐ１１３において、メモリＭＲから、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号を入力して、近赤外ステレオ画像を形成し、測距を行う。その後、画像処理部ＰＲは、処理Ｐ１１４で画素毎に近赤外距離マップを作成し、被写体の３次元情報を求める。

これと並行して、画像処理部ＰＲは、処理Ｐ１０４で判別された反射体以外の領域に対し、処理Ｐ１１５において、メモリＭＲから、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号と、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号を入力して、可視光及び近赤外ステレオ画像を形成し、測距を行う。その後、画像処理部ＰＲは、処理Ｐ１１６で画素毎に可視光及び近赤外距離マップを作成し、被写体の３次元情報を求める。

その後、処理Ｐ１１７において、画像処理部ＰＲは、処理Ｐ１０８，Ｐ１１０，Ｐ１１２，Ｐ１１４、Ｐ１１６で得られた距離マップを重ね合わせ、精度を保証できない反射体自体の測距情報（反射体の測距情報を境界部の測距情報に置き換えたものを除く）を排除するなど取捨選択を行った上で、例えば２つ以上の距離マップにて認識された対象物がある場合、これを回避するように駆動制御部ＤＲに被写体情報を出力する。尚、これ以外にも、画像処理部ＰＲは、処理Ｐ１０８，Ｐ１１０，Ｐ１１２，Ｐ１１４、Ｐ１１６で得られた距離マップに基づいて、最も無人飛行体１００に近い対象物がある場合、これを回避するように駆動制御部ＤＲに被写体情報を出力するようにしても良い。

図６は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、フィルタ素子（Ｒ）を通過した赤色光束と、フィルタ素子（Ｇ）を通過した緑色光束と、フィルタ素子（Ｂ）を通過した青色光束とにより露出時間を決定することとなっている場合、処理Ｐ１０１Ａ、Ｐ１０２Ａにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号を入力して、これら値から輝度値を演算して露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ１０３〜Ｐ１１７については、図５の処理と同様であるので説明を省略する。

図７は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、フィルタ素子（ＩＲ）を通過した近赤外光束により露出時間を決定することとなっている場合、処理Ｐ１０１Ｂ、Ｐ１０２Ｂにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号を入力して、この値から露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ１０３〜Ｐ１１７については、図５の処理と同様であるので説明を省略する。

図８は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束との少なくとも一方により露出時間を決定することとなっている場合、処理Ｐ１０１Ｃ、Ｐ１０２Ｃにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号、及び／又は第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号を入力して、この値に基づいて露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ１０３〜Ｐ１１７については、図５の処理と同様であるので説明を省略する。

図９は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、フィルタ素子（ＰＦ）を通過した光束に対応する信号又はフィルタ素子（ＳＦ）を通過した光束に対応する信号により露出時間を決定することとなっている場合、処理Ｐ１０１Ｄ、Ｐ１０２Ｄにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、フィルタ素子（ＰＦ）を通過した光束に対応する信号、又はフィルタ素子（ＳＦ）を通過した光束に対応する信号を入力して、この値に基づいて露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ１０３〜Ｐ１１７については、図５の処理と同様であるので説明を省略する。

たとえば水面に向かって無人飛行体１００が移動する場合など、撮像領域の大半が反射体（水面）で占められる可能性も考えられる。このような時、正確な測距が極めて困難となり、無人飛行体が水面に着水してしまう恐れがあるため、反射体が被写体の大半（例えば８０％以上）を占めるような場合には、駆動制御部ＤＲが無人飛行体１００を一時停止させることが好ましい。

（第２の処理態様）
第２の処理態様では、同種のフィルタで得られた画像信号を用い、撮像された被写体全てについて測距を行って距離マップを形成し、必要なものを抽出するものである。また、反射体を検出した場合、反射体自体の距離情報を検出しても用いないようにしている。図１０は、第２の処理態様にかかる画像処理部ＰＲにおける処理フローを示すブロック図である。まず、画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、素通しガラスのフィルタ素子（ＮＯ）を通過した光束により露出時間を決定することとなっている場合、処理Ｐ２０１、Ｐ２０２において、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、素通しガラスのフィルタ素子（ＮＯ）を通過した光束に対応する信号を入力して、その値から露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。決定された露出時間での撮像後、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２の光電変換領域Ｉａから出力された信号は、メモリＭＲにそれぞれ記憶される。

次いで、画像処理部ＰＲは、処理Ｐ２０３において、メモリＭＲから、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２毎に、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号とをそれぞれ入力して、各色のステレオ画像を形成し、測距を行って、ＲＧＢ測距データを得る。ＲＧＢ測距データは、被写体に反射体が含まれている場合、その実際の測距データも含む。

これと並行して、画像処理部ＰＲは、処理Ｐ２０４において、メモリＭＲから、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２毎に、素通しガラスのフィルタ素子（ＮＯ）を通過した光束に対応する信号と、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号とをそれぞれ入力して、同種フィルタ素子に対応する値から、それぞれステレオ画像を形成し、測距を行って、ＮＤ測距データを得る。ＮＤ測距データは、被写体に反射体が含まれている場合、その実際の測距データも含む。尚、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つを選択し、得られた信号から上記と同様のことを行っても良い。また、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つ又は３つの画像を用いてダイナミックレンジの広い画像を作成し、ステレオ画像を形成し、測距を行ってもよい。

以上と並行して、画像処理部ＰＲは、処理Ｐ２０５において、メモリＭＲから、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２毎に、フィルタ素子（ＰＦ）を通過した光束に対応する信号と、フィルタ素子（ＳＦ）を通過した光束に対応する信号とをそれぞれ入力して、同種フィルタ素子に対応する値から、それぞれステレオ画像を形成し、測距を行って、偏光測距データを得る。偏光測距データは、被写体に反射体が含まれている場合、その実際の測距データも含む。

以上と並行して、画像処理部ＰＲは、処理Ｐ２０６において、メモリＭＲから、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２毎に、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号をそれぞれ入力して、ステレオ画像を形成し、測距を行って、近赤外測距データを得る。近赤外測距データは、被写体に反射体が含まれている場合、その実際の測距データも含む。

次いで、画像処理部ＰＲは、処理Ｐ２０７において、メモリＭＲから、フィルタ素子（ＰＦ）を通過した光束に対応する信号と、フィルタ素子（ＳＦ）を通過した光束に対応する信号とを入力して、両信号値の差を求め、これらの値から被写体に反射体が含まれていないか判断する。すなわち、両信号値の差が閾値を超えていれば、反射光が入射したことが分かるので、画像処理部ＰＲは、閾値を超えた領域範囲を反射体と認識する。尚、反射体の判定に用いる信号は、第１撮像装置ＣＡ１内の信号のみでも良いし、第２撮像装置ＣＡ２内の信号のみでも良いし、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２の双方からの信号でも良い。

更に、画像処理部ＰＲは、処理Ｐ２０８において、被写体中の反射体の境界部を求め、この境界部に対して、処理Ｐ２０５により得られた偏光測距データから、反射体の測距値を境界部の測距値に置換して、処理Ｐ２０９において、反射体の距離マップを作成し、被写体の３次元情報を求める。

更に、画像処理部ＰＲは、処理Ｐ２０３で得られた可視光測距データ内から、処理Ｐ２０７で判別された反射体に対応する測距データを除去して、処理Ｐ２１０で可視光用の距離マップを作成し、被写体の３次元情報を求める。

更に、画像処理部ＰＲは、処理Ｐ２１１において、メモリＭＲから、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２それぞれに応じ、素通しガラスのフィルタ素子（ＮＯ）を通過した光束に対応する信号と、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号とを入力し、最もコントラストが大きい画像を選択し、これに対応するＮＤ測距データを、処理Ｐ２０４で得られたＮＤ測距データ内から選択する。画像処理部ＰＲは、処理Ｐ２１２で、選択したＮＤ測距データから、処理Ｐ２０７で判別された反射体に対応する測距データを除去して、逆光用の距離マップを作成し、被写体の３次元情報を求める。尚、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つを選択し、得られた信号から上記と同様のことを行っても良い。また、フィルタ素子（ＮＯ，ＮＤ１，ＮＤ２）のいずれか２つ又は３つの画像を用いてダイナミックレンジの広い画像を作成し、ステレオ画像を形成し、測距を行ってもよい。

更に、画像処理部ＰＲは、処理Ｐ２０６で得られた近赤外測距データ内から、処理Ｐ２０７で判別された反射体に対応する測距データを除去して、処理Ｐ２１３で近赤外用の距離マップを作成し、被写体の３次元情報を求める。

更に、画像処理部ＰＲは、処理Ｐ２１４において、メモリＭＲから、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号のうち少なくとも１つと、近赤外の光を透過するフィルタ素子（ＩＲ）を通過した光束に対応する信号を入力して、これらを演算して被写体を特定する。

更に、画像処理部ＰＲは、処理Ｐ２１５において、メモリＭＲから、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号と、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号を入力して、可視光及び近赤外ステレオ画像を形成し、測距を行う。その後、画像処理部ＰＲは、得られた測距データ内から、処理Ｐ２０７で判別された反射体に対応する測距データを除去して、植生用距離マップを作成し、被写体の３次元情報を求める。

その後、処理Ｐ２１６において、画像処理部ＰＲは、処理Ｐ２１０，Ｐ２１２，Ｐ２０９，Ｐ２１３、Ｐ２１５で得られた距離マップを重ね合わせる。このとき、各測距マップで欠けていた反射体の測距情報は、反射体の境界部の測距情報に置換され、距離マップの補完がなされる。そして、例えば２つ以上の距離マップにて認識された対象物がある場合、これを回避するように駆動制御部ＤＲに被写体情報を出力する。尚、これ以外にも、画像処理部ＰＲは、処理Ｐ２１０，Ｐ２１２，Ｐ２０９，Ｐ２１３、Ｐ２１５で得られた距離マップに基づいて、最も無人飛行体１００に近い対象物がある場合、これを回避するように駆動制御部ＤＲに被写体情報を出力するようにしても良い。

図１１は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号とにより露出時間を決定することとなっている場合、処理Ｐ２０１Ａ、Ｐ２０２Ａにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、フィルタ素子（Ｒ）を通過した赤色光束に対応する信号と、フィルタ素子（Ｇ）を通過した緑色光束に対応する信号と、フィルタ素子（Ｂ）を通過した青色光束に対応する信号を入力して、これら値から輝度値を演算して露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ２０３〜Ｐ２１６については、図１０の処理と同様であるので説明を省略する。

図１２は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号により露出時間を決定することとなっている場合、処理Ｐ２０１Ｂ、Ｐ２０２Ｂにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、フィルタ素子（ＩＲ）を通過した近赤外光束に対応する信号を入力して、この値から露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ２０３〜Ｐ２１６については、図１０の処理と同様であるので説明を省略する。

図１３は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号との少なくとも一方により露出時間を決定することとなっている場合、処理Ｐ２０１Ｃ、Ｐ２０２Ｃにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、第１の減衰率を有するフィルタ素子（ＮＤ１）を通過した光束に対応する信号と、第２の減衰率を有するフィルタ素子（ＮＤ２）を通過した光束に対応する信号とを入力して、この値に基づいて露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ２０３〜Ｐ２１６については、図１０の処理と同様であるので説明を省略する。

図１４は、画像処理部ＰＲにおける処理フローの別な例を示すブロック図である。画像処理部ＰＲは、予め決められたプログラム又はオペレータの操作によって、フィルタ素子（ＰＦ）を通過した光束に対応する信号又はフィルタ素子（ＳＦ）を通過した光束に対応する信号により露出時間を決定することとなっている場合、処理Ｐ２０１Ｄ、Ｐ２０２Ｄにおいて、第１撮像装置ＣＡ１と第２撮像装置ＣＡ２とから、それぞれ独立して、フィルタ素子（ＰＦ）を通過した光束に対応する信号、又はフィルタ素子（ＳＦ）を通過した光束に対応する信号を入力して、この値に基づいて露出時間を決定し、これをフィードバックして、固体撮像素子ＳＲの露出時間を個々に制御するようになっている。尚、処理Ｐ２０３〜Ｐ２１６については、図１０の処理と同様であるので説明を省略する。

以上述べた本実施形態によれば、第１アレイ光学系及び第２光学系を設けることにより、これらを別ユニットで組み合わせた物より小型軽量化でき、多機能化できる。第１アレイ光学系を有した第１撮像装置及び第２アレイ光学系を有した第２撮像装置をステレオ撮像可能な配置とすることにより、単体のアレイ光学系を有する撮像装置よりも長い基線長を確保することができ、遠距離における測距精度を確保することが可能となる。素通しガラスのフィルタ素子（ＮＯ）を有する個眼光学系ＩＬでは、固体撮像素子ＳＲに感度のあるすべての波長領域の光を集光させることができ、また減衰率が異なるフィルタ素子（ＮＤ１，ＮＤ２）と組み合わせることで、１回の撮像で低輝度から高輝度にかけてダイナミックレンジの広い被写体画像を得ることができる。又、赤色、緑色、青色フィルタ素子（Ｒ，Ｇ，Ｂ）により可視光領域にある物体の測距ができ、無人飛行体１００のオペレータに表示するための可視画像を得ることができ、各波長の強度差や比から被写体を特定する等できる。近赤外フィルタ素子（ＩＲ）により、森林等の植生を抽出でき、架線等を判別することができる。透過軸の異なる２種の偏光フィルタ素子（ＳＦ、ＰＦ）により、光量差を検知することで、反射体を検出することができる。これら各個眼の機能を複数組み合わせることで、小型、軽量ながら障害物検知のための所望の画像を得ることが可能となる。尚、以上の実施形態では、赤色、緑色、青色フィルタ素子（Ｒ，Ｇ，Ｂ）を透過して得られた信号を用いて可視光ステレオ画像を形成していたが、少なくとも１つの色のフィルタ素子を用いて、単色又は２色のステレオ画像を形成しても良い。又、画像処理部ＰＲが、被写体中に反射体が存在するか否かを最初に検出し、反射体を検出したときは、それに対応する領域の測距を行わないようにすることもできる。

図１５は、別な実施形態にかかる移動体としての無人飛行体の斜視図である。本実施形態の無人飛行体１００’は、自律飛行しながら、橋梁等の構造物を撮像できる機能を有する。図１５に示す無人飛行体１００’においては、図１に示す実施形態に対して、本体１０１に対して回転可能な軸１０６が設けられ、軸１０６の上端にはフレーム１０７が取り付けられている。フレーム１０７は、高画素カメラＨＣＡと、その両側に配置された第３撮像装置ＣＡ３及び第４撮像装置ＣＡ４とを、光軸を平行とするようにして搭載している。第３撮像装置ＣＡ３及び第４撮像装置ＣＡ４は、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２と同様な構成を有するが、異なる方向（例えば９０度）に向いていることが望ましい。

図１６は、無人飛行体１００’の構成を示すブロック図である。第３撮像装置ＣＡ３と第４撮像装置ＣＡ４とから出力された画像信号は、無人飛行体１００’の本体１０１内に配置された副画像処理部ＰＲ’に入力され、副画像処理部ＰＲ’内の検査物距離情報取得部ＰＲ３にて、検査物としての構造物までの距離を取得できる。また、第３撮像装置ＣＡ３と第４撮像装置ＣＡ４の撮像した画像をパターンマッチングすることで、無人飛行体１００’の自己位置情報（ＧＰＳ信号を用いても良い）を取得できる自己位置情報取得部ＰＲ４を、副画像処理部ＰＲ’内に設けている。これらの出力は、駆動制御部ＤＲに出力される。

無人飛行体１００’は、上述の実施形態と同様に、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２からの信号に基づいて、移動方向前方の障害物を回避するように飛行するが、更に検査物距離情報取得部ＰＲ３にて、検査物としての構造物までの距離を取得して、これが一定になるように駆動制御部ＤＲにてフィードバック制御を行うことができ、また自己位置情報取得部ＰＲ４からの信号で所定のルートに沿った飛行も行えるようになっている。更に飛行中に、高画素カメラＨＣＡで構造物を撮影することで、その画像をモニタＭＴに送信し、送信先でオペレータが観察したり記録できるようになっている。それ以外の構成は、上述した実施形態と同様であるため、説明を省略する。

例えば橋梁のようなインフラ構造物の点検用に無人飛行体１００’を接近させ、検査用の高画素カメラＨＣＡで橋梁を撮像して検査画像を得るような場合、検査対象物である橋梁に衝突しないように一定の距離を保つ必要がある。又、無人飛行体１００’の移動方向と、検査対象物の方向が互いに直角である等、異なる方向を取る場合がある。本実施形態によれば、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２を無人飛行体１００’の進行方向前方に向け、もう一組の第３撮像装置ＣＡ３及び第４撮像装置ＣＡ４を検査対象物に向けることで、進行方向の障害物を検知しながら検査対象物との距離を適宜維持でき、自律制御可能な無人飛行体１００’を実現できる。

本実施形態によれば、素通しガラスのフィルタ素子を透過した光束で露出時間（露光量）を決めれば、比較的低輝度の被写体を速いシャッタースピードで撮像することができ、移動体や被写体のブレの影響を受けにくく、素通しガラスのフィルタ素子を透過した光束で形成された画像を、黒潰れのない画像とすることができる。また、他の光学フィルタ素子を透過した光束で形成された画像は、若干のアンダー露光となり白飛びのない画像を得ることができる。その結果、低輝度被写体、高輝度被写体共に測距精度が向上する。

赤色のフィルタ素子、緑色のフィルタ素子、青色のフィルタ素子を透過した光束のいずれか１つ以上で露出時間（露光量）を決めれば、可視光領域での測距性能が向上するとともに、無人飛行体のオペレータに鮮明な可視画像情報を送信することができる。

近赤外のフィルタ素子を透過した光束で露出時間（露光量）を決めれば、例えば植生等で反射された光を的確に撮像することが可能となり、植生等の抽出能力が向上する。

偏光フィルタ素子を透過した光束で露出時間（露光量）を決めれば、反射体等からの物体光を的確に撮像することが可能となり、反射体等の抽出能力が向上する。

入射光を減衰可能なフィルタ素子を透過した光束で露出時間（露光量）を決めれば、逆光時や高輝度被写体からの光量を抑制することができ、その結果、画像の白飛びを回避することが可能である。

また、水面、透明アクリル、ガラス等の反射体に映りこんだ像をステレオ画像の測距対象とすると、それより遠方に存在する虚物体の距離を検知してしまうこととなり、実際の反射体の位置を検出できない。このような誤検出を防止するために、反射体を認識しておくことが重要である。反射体を認識する手段としては、２種類以上の異なる透過軸を持った偏光フィルタ素子を通して反射体を撮影すれば、反射光は偏光しているため、異なる透過軸の偏光フィルタ素子を通して得られた像の輝度が反射体の部位では互いに異なる。このように偏光フィルタ素子間での像輝度の差を検出すれば、それを反射体と特定することが可能となる。なお、互いに異なる透過軸の偏光フィルタ素子の組み合わせは、同一アレイ光学系内でも良いし、互いに異なるアレイ光学系同士でも良い。

このように反射体を検出できれば、反射体からの光束に基づく距離情報を採用しない、もしくは反射体からの光束では測距処理を行わないことで、精度の良い被写体の３次元情報を得ることができる。

但し、反射体を特定できても、そのままでは反射体までの距離は依然不明なままなので、反射体の境界部に存在する非反射体を、素通しのガラスであるフィルタ素子、赤色光、緑色光、青色光を透過するフィルタ素子、近赤外光を透過するフィルタ素子、異なる減衰率を有するフィルタ素子、偏光フィルタ素子のいずれかを有する結像光学系、又は異なる種類のフィルタ素子を有する結像光学系の信号を組み合わせたものに基づいて測距処理を行い、ここで得られた距離情報を反射体の距離とすることにより、距離情報が存在しない事態を回避できる。

また、電線等の架線の背景に森林が存在すると、通常の可視画像からは架線の検出が困難となるが、近赤外光を透過するフィルタ素子を設けた結像光学系があれば、それに対応した植生画像が得られ、この場合、固体撮像素子の画素の輝度値（画素値）の低い被写体が電線になると推定できるため、このような被写体を抽出することで電線等の架線の検出が容易となり、正確な障害物検知が可能となる。

測距処理前に、測距できる領域を特定しておければ、全画素領域を測距するよりも計算負荷が小さくなり、短時間での処理が可能となる。

逆光等で画素値が飽和するような撮像条件下でも、入射光を減衰可能なフィルタ素子を用いることで、白飛びしないコントラストのある画像を得ることができ、障害物検知に最適な輝度の画像を得ることが出来るため、誤検知を防ぐことが可能である。

ステレオ画像の視差情報から距離計算を行う前に、各フィルタ素子を透過した光束の特性により被写体を特定したり被写体情報を得ておけば、これに従い適宜被写体毎に最適な距離画像を得ることができ、一括して測距処理を行うよりも計算の負荷や時間を減らすことができる。

但し、測距不可能な反射体等が存在していても、一括して測距を行う方が、画像処理アルゴリズム上の処理構成が簡素になることもある。かかる場合、全ての被写体につき一括で測距した後に、各フィルタ素子を透過した光束の特性により被写体を特定したり被写体情報を得ることで、被写体毎に最適な距離画像を得ることができる。

赤色光、緑色光、青色光を透過するフィルタ素子を介して得られたカラー可視画像を表示させることで、無人飛行体のオペレータの操作に必要な有効な情報を伝達することができる。更に、素通しのガラスのフィルタ素子や、入射光を減衰させるフィルタ素子を通して得られた画像を重畳表示させることもでき、それにより、逆光時等でも白飛びや黒潰れのないダイナミックレンジの広い画像を提供できる。加えて偏光フィルタ素子を通して得られた画像を表示させれば、障害物検知で注意すべき反射体の位置を示すことができる。なお、これらの画像は適宜組み合わせて表示させても良い。

このような各種機能を持ったステレオ撮像装置を無人飛行体等に搭載することで、幅広い条件下での障害物検知が可能となる。

たとえば水面に向かって無人飛行体が移動する場合など、撮像領域の大半が反射体（水面）で占められる可能性も考えられる。このような時、正確な測距が極めて困難となり、無人飛行体が水面に着水してしまう恐れがあるため、このような場合には、移動体を一時停止させるのが良い。

本発明は、本明細書に記載の実施形態に限定されるものではなく、他の実施形態・変形例を含むことは、本明細書に記載された実施形態や技術思想から本分野の当業者にとって明らかである。例えば、第２撮像装置の第２結像光学系の各々の有するフィルタは、第１撮像装置の第１アレイ光学系の有するフィルタと同種であるが、第２結像光学系の各々が有するフィルタは第１結像光学系の各々が有するフィルタと完全同一である場合に限定されず、第２撮像装置の第２結像光学系の各々が有するフィルタは第１結像光学系の各々が有するフィルタと同じものを有するとともに、さらに、余分なフィルタ（第１結像光学系にはないが、第２結像光学系にのみあるフィルタ）を備えてもよい。

また、例えば、本発明のステレオ撮像装置は、無人飛行体に限らず、車両にも搭載できる。例えば図１７において、車両ＶＨのルームミラーＲＭの両側に、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２を配置して、その光軸を車両の先方に向けて撮像を行うことで、上述と同様に障害物の検出を行うことができ、運転支援を実現できる。尚、第１撮像装置ＣＡ１及び第２撮像装置ＣＡ２は、ヘッドランプやバンパーに設けても良い。

１００、１００’ 無人飛行体
１０１ 本体
１０２ 脚部
１０３Ａ−１０３Ｄ アーム
１０４Ａ−１０４Ｄ モータ
１０５Ａ−１０５Ｄ プロペラ
１０２ 本体
１０６ 軸
１０７ フレーム
ＣＡ１ 第１撮像装置
ＣＡ２ 第２撮像装置
ＣＡ３ 第３撮像装置
ＣＡ４ 第４撮像装置
ＣＦ 光学フィルタ
ＣＦａ フィルタ素子
ＤＲ 駆動制御部
ＨＣＡ 高画素カメラ
Ｉａ 光電変換領域
ＩＬ 個眼光学系
ＭＲ メモリ
ＭＴ モニタ
ＰＲ 画像処理部
ＰＲ’ 副画像処理部
ＰＲ１ 被写体距離情報取得部
ＰＲ２ モニタリング用可視画像情報取得部
ＰＲ３ 検査物距離情報取得部
ＰＲ４ 自己位置情報取得部
ＲＭ ルームミラー
ＳＲ 固体撮像素子
ＶＨ 車両

Claims (23)

1. 光軸を異ならせて配置した複数の第１結像光学系を備えた第１アレイ光学系と、前記複数の第１結像光学系の各々が形成する画像を光電変換し画像信号を出力する第１固体撮像素子と、を有する第１撮像装置と、
   光軸を異ならせて配置した複数の第２結像光学系を備えた第２アレイ光学系と、前記複数の第２結像光学系の各々が形成する画像を光電変換し画像信号を出力する第２固体撮像素子と、を有する第２撮像装置と、を備えたステレオ撮像装置であって、
   前記第１結像光学系と前記第２結像光学系の光軸は平行で、前記第１撮像装置と前記第２撮像装置とは、光軸直交方向に離間して配置され、
   前記第１結像光学系の各々は、光学補正無しフィルタ、赤色フィルタ、緑色フィルタ、青色フィルタ、ＮＤフィルタ、近赤外フィルタ、及び偏光フィルタのうちいずれか１種類を備えてなり、且つ前記第１アレイ光学系の有するフィルタは、少なくとも２種類であり、
   前記第２結像光学系の各々の有するフィルタは、前記第１アレイ光学系の有するフィルタと同種であって、
   同種のフィルタを有する、前記第１結像光学系により形成された画像の前記画像信号と前記第２結像光学系により形成された画像の前記画像信号に基づいて被写体の３次元情報を得るステレオ撮像装置。
2. 前記第１アレイ光学系の有するフィルタは、少なくとも２種類であり、前記光学補正無しフィルタ、前記赤色フィルタ、前記緑色フィルタ、及び前記青色フィルタのうちの少なくとも１種類と、前記光学補正無しフィルタ、前記ＮＤフィルタ、前記近赤外フィルタ、及び前記偏光フィルタのうちの少なくとも１種類とを備える請求項１に記載のステレオ撮像装置。
3. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記光学補正無しフィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
   撮像時の露光量が、前記光学補正無しフィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記光学補正無しフィルタを備えた前記第２結像光学系により形成された画像の前記画像信号により決定される請求項１又は２に記載のステレオ撮像装置。
4. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記赤色フィルタ、前記緑色フィルタ、及び前記青色フィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
   撮像時の露光量が、前記赤色フィルタ、前記緑色フィルタ、及び前記青色フィルタを備えたそれぞれの前記第１結像光学系により形成された画像の前記画像第信号及び／又は前記赤色フィルタ、前記緑色フィルタ、及び前記青色フィルタを備えたそれぞれの前記第２結像光学系により形成された画像の前記画像信号により決定される請求項１又は２に記載のステレオ撮像装置。
5. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記ＮＤフィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
   撮像時の露光量が、前記ＮＤフィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記ＮＤフィルタを備えた前記第２結像光学系により形成された画像の前記画像信号により決定される請求項１又は２に記載のステレオ撮像装置。
6. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記近赤外フィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
   撮像時の露光量が、前記近赤外フィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記近赤外フィルタを備えた前記第２結像光学系により形成された画像の前記画像信号により決定される請求項１又は２に記載のステレオ撮像装置。
7. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記偏光フィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
   撮像時の露光量が、前記偏光フィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記偏光フィルタを備えた前記第２結像光学系により形成された画像の前記画像信号により決定される請求項１又は２に記載のステレオ撮像装置。
8. 別の前記第１結像光学系及び前記第２結像光学系が、それぞれ前記ＮＤフィルタ、前記近赤外フィルタ及び前記偏光フィルタのうち少なくともいずれか一つを有する請求項３又は４に記載のステレオ撮像装置。
9. 前記第１アレイ光学系及び前記第２アレイ光学系は、互いに異なる透過軸を持つ前記偏光フィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
   互いに透過軸の異なる前記偏光フィルタを備えた前記第１結像光学系により形成された２つの画像の前記画像信号、又は互いに透過軸の異なる前記偏光フィルタを備えた前記第２結像光学系により形成された２つの画像の前記画像信号を比較し、両信号に閾値以上の輝度差がある場合は、前記輝度差のある領域は反射体と判断する請求項１から８のいずれかに記載のステレオ撮像装置。
10. 前記処理部が前記反射体を検出した場合には、前記被写体に対して測距は行わない、もしくは前記被写体に対して測距を行っても距離情報として用いない請求項９に記載のステレオ撮像装置。
11. 前記反射体と判断した場合は、前記反射体の境界部を抽出し、同種のフィルタを有した前記第１結像光学系により形成された画像の前記画像信号と前記第２結像光学系により形成された画像の前記画像信号に基づいて前記境界部の３次元情報を求め、前記境界部の３次元情報を前記反射体の３次元情報として用いる請求項９又は１０に記載のステレオ撮像装置。
12. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記近赤外フィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
    前記近赤外フィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記近赤外フィルタを備えた前記第２結像光学系により形成された画像の前記画像信号から輝度値が閾値より低い領域を抽出することにより被写体を判別する請求項１から１１のいずれかに記載のステレオ撮像装置。
13. 前記被写体は、架線である請求項１２に記載のステレオ撮像装置。
14. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記赤色フィルタ、前記緑色フィルタ、前記青色フィルタの少なくともいずれか一つと前記近赤外フィルタを備えた前記第１結像光学系及び前記第２結像光学系を有し、
    前記赤色フィルタ、前記緑色フィルタ、前記青色フィルタの少なくともいずれか一つと前記近赤外フィルタとを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記赤色フィルタ、前記緑色フィルタ、前記青色フィルタの少なくともいずれか一つと前記近赤外フィルタとを備えた前記第２結像光学系により形成された画像の前記画像信号を比較し、被写体を判別する請求項１から１３のいずれかに記載のステレオ撮像装置。
15. 前記被写体は、植物である請求項１４に記載のステレオ撮像装置。
16. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記光学補正無しフィルタ及び減衰率を異ならせた複数の前記ＮＤフィルタのうち少なくとも２種を備えた前記第１結像光学系及び前記第２結像光学系を有し、
    前記光学補正無しフィルタ及び減衰率を異ならせた複数の前記ＮＤフィルタのうち少なくとも２種を備えた前記第１結像光学系により形成された画像の前記画像信号及び前記光学補正無しフィルタ及び減衰率を異ならせた複数の前記ＮＤフィルタのうち少なくとも２種を備えた前記第２結像光学系により形成された画像の前記画像信号に基づいて画像のコントラストを個々に取得し、最もコントラストの高い画像の画像信号を用いて被写体の３次元情報を得る請求項１から１３のいずれかに記載のステレオ撮像装置。
17. 前記第１アレイ光学系及び前記第２アレイ光学系は、前記光学補正無しフィルタ及び減衰率を異ならせた複数の前記ＮＤフィルタのうち少なくとも２種を備えた前記第１結像光学系及び前記第２結像光学系を有し、
    前記光学補正無しフィルタ及び減衰率を異ならせた複数の前記ＮＤフィルタのうち少なくとも２種を備えた前記第１結像光学系により形成された画像の前記画像信号及び前記光学補正無しフィルタ及び減衰率を異ならせた複数の前記ＮＤフィルタのうち少なくとも２種を備えた前記第２結像光学系により形成された画像の前記画像信号に基づいて、ダイナミックレンジの広い画像を個々に作成し、作成したダイナミックレンジの広い画像の画像信号を用いて被写体の３次元情報を得る請求項１から１６のいずれかに記載のステレオ撮像装置。
18. 前記ステレオ撮像装置は、処理部を有し、
    前記処理部は、前記第１撮像装置と前記第２撮像装置における同じ種類のフィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び前記第２結像光学系により形成された画像の前記画像信号の視差情報から被写体の３次元情報を各々算出した後、前記第１撮像装置と前記第２撮像装置における所定の種類のフィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記第２結像光学系により形成された画像の前記画像信号に基づいて、算出した被写体の３次元情報のうち使用可能な被写体領域を選択する請求項１から１７のいずれかに記載のステレオ撮像装置。
19. 前記ステレオ撮像装置は、処理部を有し、
    前記処理部は、前記第１撮像装置と前記第２撮像装置における所定の種類のフィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び／又は前記第２結像光学系により形成された画像の前記画像信号に基づいて、使用可能な被写体領域を選択し、
    前記第１撮像装置と前記第２撮像装置における同じ種類のフィルタを備えた前記第１結像光学系により形成された画像の前記画像信号及び前記第２結像光学系により形成された画像の前記画像信号の視差情報から使用可能な被写体領域の３次元情報を各々算出する請求項１から１７に記載のステレオ撮像装置。
20. 請求項１から１９のいずれかに記載のステレオ撮像装置の撮像により得られた画像を前記ステレオ装置以外の機器に送信するステレオ撮像装置。
21. 請求項１から１９のいずれかに記載のステレオ撮像装置を備えた移動体。
22. 前記移動体は、前記移動体の移動を制御する移動制御部を有し、
    互いに透過軸の異なる前記偏光フィルタを備えた前記第１結像光学系により形成された２つの画像の前記画像信号、又は互いに透過軸の異なる前記偏光フィルタを備えた前記第２結像光学系により形成された２つの画像の前記画像信号を比較し、閾値以上の輝度差があった場合には、一時停止する請求項２１に記載の移動体。
23. 光軸を異ならせて配置した複数の第３結像光学系を備えた第３アレイ光学系と、前記複数の第３結像光学系の各々が形成する画像を光電変換し画像信号を出力する第３固体撮像素子と、を有する第３撮像装置と、
    光軸を異ならせて配置した複数の第４結像光学系を備えた第４アレイ光学系と、前記複数の第４結像光学系の各々が形成する画像を光電変換し画像信号を出力する第４固体撮像素子と、を有する第４撮像装置と、をさらに有し、
    前記第３結像光学系と前記第４結像光学系の光軸は平行で、前記第３撮像装置と前記第４撮像装置とは、光軸直交方向に離間して配置されると共に、前記第１撮像装置と前記第２撮像装置の撮像方向とは異なる方向を撮像できるよう配置されている請求項２１又は２２に記載の移動体。

Images