JP7346080B2 - ステレオカメラシステム、及び測距方法 - Google Patents

Description

本開示は、ステレオカメラシステム、及び測距方法に関する。

自動車におけるユーザサポート機能として、自動運転、自動ブレーキ、自動追従等の開発、改良が進められている。これらのユーザサポート機能の実現には、自動車の周囲に存在する物体を検知する技術が共通して用いられており、特に、自動運転については、自動車の全周囲（周囲３６０°）の物体検知技術の確立が重要となる。

自動車の全周囲の物体検知技術としては、レーザパルスの反射戻り時間から物体までの距離を検出するＬＩＤＡＲ(Laser Imaging Detection and Ranging)を用いる方法が知られている。

また、ステレオカメラを用いて物体までの距離を測定する方法も知られている。例えば特許文献１には、車体に複数のステレオカメラユニットを配置し、各ステレオカメラユニット間の配置距離がステレオカメラユニット単体における基線長より長く設定され、ステレオカメラユニット単体による短基線長撮像と、ステレオカメラユニットの対の組合せで構成されるステレオカメラユニットによる長基線長撮像が可能な画像生成装置が開示されている。

特開２００６－３３２８２号公報

しかしながら、ＬＩＤＡＲを用いる方法の場合、ＬＩＤＡＲだけでは画像を取得することができないので、検知した物体が何であるのかを認識するため、画像を撮影できるカメラを併用する必要がある。また、周囲に存在する自動車もＬＩＤＡＲを用いている場合、レーザ光が相互に干渉し合ってしまう可能性がある。

また、特許文献１に記載の画像生成装置では、短基線長撮像と長基線長撮像の画像処理は個別に行われており、測距のための処理負荷が増大してしまう。

本開示はこのような状況を鑑みてなされたものであって、長基線長のステレオカメラの測距のための処理負荷を低減する技術を提案する。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本開示の一態様に係るステレオカメラシステムは、自己の画角範囲に存在する物体を撮像するとともに、物体を測距する複数の測距カメラと、測距カメラの対を長基線長ステレオカメラとし、測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、を備え、測距カメラもしくは統合部の画像処理範囲が変更可能なように構成されている。

本開示に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、本開示の態様は、要素及び多様な要素の組み合わせ及び以降の詳細な記述と添付される特許請求の範囲の様態により達成され実現される。

本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではないことを理解する必要がある。

本開示の技術によれば、長基線長ステレオカメラの計算負荷を低減することが可能となる。

第１の実施形態であるステレオカメラシステムの構成例を示す図である。 ステレオカメラシステムの詳細な構成例を示すブロック図である。 測距カメラにおける第１撮像部と第２撮像部との位置関係の例を示す図である。 ステレオカメラと見做される２つの測距カメラの位置関係の例を示す図である。 長基線長ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。 長基線長ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。 長基線長ステレオカメラ及び測距カメラの単体の距離に対する測距精度を表す図である。 ステレオカメラシステムによる動作の一例を説明するフローチャートである。 第２の実施形態である車載ステレオカメラシステムの構成例を示す図である。 車載ステレオカメラシステムにおける各測距カメラの画角範囲を示す図である。 車載ステレオカメラシステムにおける各測距カメラの単体での測距結果を採用する範囲を示す図である。 測距カメラとして採用し得るステレオカメラの構成例を示す図である。 上側双曲面ミラーと外周側双曲面ミラーと内周側双曲面ミラーとの関係を示す断面図である。 各双曲面ミラーのパラメータの一例を示す図である。 第３の実施形態に関わるステレオカメラシステムの画像処理について示す図である。 第３の実施形態に関わるステレオカメラシステムの詳細な構成例を示すブロック図である。 第３の実施形態に関わるステレオカメラシステムによる動作の一例を説明するフローチャートである。 第４の実施形態に関わるステレオカメラシステムの画像処理について示す図である。 第４の実施形態に関わるステレオカメラシステムの詳細な構成例を示すブロック図である。 第４の実施形態に関わるステレオカメラシステムによる動作の一例を説明するフローチャートである。 第５の実施形態に関わるステレオカメラシステムの画像処理について示す図である。 第５の実施形態に関わるステレオカメラシステムの詳細な構成例を示すブロック図である。 第５の実施形態に関わるステレオカメラシステムによる動作の一例を説明するフローチャートである。 第６の実施形態である車載ステレオカメラシステムの路面に対して水平方向の画角範囲を示す図である。 第６の実施形態である車載ステレオカメラシステムの路面に対して垂直方向の画角範囲を示す図である。 第７の実施形態である車載ステレオカメラシステムの路面に対して水平方向の画角範囲を示す図である。 第７の実施形態である車載ステレオカメラシステムの路面に対して垂直方向の画角範囲を示す図である。 第８の実施形態である車載ステレオカメラシステムの構成例を示す図である。 第８の実施形態であるステレオカメラシステムの詳細な構成例を示すブロック図である。 第８の実施形態である車載ステレオカメラシステムによる動作の一例を説明するフローチャートである。 第９の実施形態である車載ステレオカメラシステムによる動作の一例を説明するフローチャートである。 長基線長ステレオカメラと、前方用測距カメラによる、物体までの距離に対する測距精度を表す図である。

以下、本開示の技術に係る複数の実施形態を図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

（１）第１の実施形態
＜ステレオカメラシステムの構成例＞
図１は、第１の実施形態であるステレオカメラシステム１の構成例を示す図である。ステレオカメラシステム１は、測距カメラ１０ａおよび１０ｂと、統合部２０と、を備える。

測距カメラ１０ａは、例えば、路面に対して垂直な方向（図面に対して垂直な方向）に配置された第１撮像部１１ａ（図２）及び第２撮像部１３ａ（図２）を有するステレオカメラを含む。測距カメラ１０ａは、画角範囲ＡＯＶａを撮像し、撮像結果として得られる画像を統合部２０に出力する。また、測距カメラ１０ａは、単体として、画角範囲ＡＯＶａに存在する物体を測距する（距離を測定する）機能を有し、測距結果を統合部２０に出力する。なお、測距カメラ１０ａは、ステレオカメラの他、例えば、ＴＯＦ(time of flight)カメラや、オプティカルフローと呼ばれる画像解析の手法を用いた単眼カメラ等によって実現できる。

同様に、測距カメラ１０ｂは、例えば、路面に対して垂直な方向に配置された第１撮像部１１ｂ（図２）及び第２撮像部１３ｂ（図２）を有するステレオカメラを含む。測距カメラ１０ｂは、画角範囲ＡＯＶｂを撮像し、撮像結果として得られる画像を統合部２０に出力する。また、測距カメラ１０ｂは、単体として、画角範囲ＡＯＶｂに存在する物体を測距する機能を有し、測距結果を統合部２０に出力する。

なお、測距カメラ１０ｂは、例えば、ステレオカメラの他、ＴＯＦカメラや、オプティカルフローと呼ばれる画像解析の手法を用いた単眼カメラ等によって実現できる。

以下、測距カメラ１０ａ、１０ｂを個々に区別する必要が無い場合、単に測距カメラ１０と称する。

統合部２０は、測距カメラ１０の対（測距カメラ１０ａ、１０ｂ）を１つの長基線長ステレオカメラＳａｂと見做して物体を測距する。

すなわち、統合部２０は、測距カメラ１０ａと測距カメラ１０ｂのそれぞれで撮像された画像を取得し、取得した画像を用いたステレオマッチング処理により、測距カメラ１０ａの画角範囲ＡＯＶａと測距カメラ１０ｂの画角範囲ＡＯＶｂとが重複する重複領域Ｒａｂに存在している物体を測距する。当然ながら、長基線長ステレオカメラＳａｂは、重複領域Ｒａｂに存在しない物体を測距することはできない。

長基線長ステレオカメラＳａｂは、その基線長Ｌ２（図４）が、測距カメラ１０の単体の基線長Ｌ１（図４）よりも長くなるので、所定の距離よりも遠くに存在する物体に対する測距精度を測距カメラ１０の単体よりも上げることができる。

そこで、統合部２０は、長基線長ステレオカメラＳａｂの方が測距カメラ１０の単体よりも測距精度が高くなる境の所定の距離を距離閾値ＴＨＬとし、重複領域Ｒａｂに存在する物体のうち、測距カメラ１０から距離閾値ＴＨＬよりも遠くに存在する物体については長基線長ステレオカメラＳａｂによる測距結果を採用し、距離閾値ＴＨＬよりも近い領域Ｒａ、Ｒｂに存在する物体については測距カメラ１０の単体による測距結果を採用する。

また、統合部２０は、長基線長ステレオカメラＳａｂによって測距できない物体については、測距カメラ１０の単体での測距結果を採用する。

さらに、統合部２０は、正確な距離が分かっている物体を測距することにより、正確な距離と測距結果との差分に基づいて、長基線長ステレオカメラＳａｂの自己キャリブレーションを実行する。

なお、図１の場合は異なるが、測距カメラ１０ａの画角範囲ＡＯＶａに測距カメラ１０ｂを配置し、統合部２０が、測距カメラ１０ａによって撮像された、測距カメラ１０ｂが写り込んでいる画像に基づき、長基線長ステレオカメラＳａｂの基線長とその傾きを決定、補正するようにしてもよい。

次に、図２は、ステレオカメラシステム１の詳細な内部構成例を示すブロック図である。なお、図２の構成例において、測距カメラ１０は、第１撮像部１１及び第２撮像部１３を有するステレオカメラである。

測距カメラ１０は、第１撮像部１１、歪補正部１２、第２撮像部１３、歪補正部１４、及び距離算出部１５を有する。

以下、測距カメラ１０ａの第１撮像部１１を、その符号にａを追加して第１撮像部１１ａと称する。その他の構成要素についても同様とする。また、測距カメラ１０ｂについても同様とする。

第１撮像部１１は、例えば広角レンズや魚眼レンズ等から成る集光部３１（図３）と、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等から成る高解像度イメージセンサ３２（図３）を有する。第１撮像部１１においては、集光部３１によって物体の光を高解像度イメージセンサ３２に集光し、高解像度イメージセンサ３２にて光電変換により第１画像を生成する。第１撮像部１１は、第１画像を歪補正部１２に出力する。歪補正部１２は、第１画像に生じている画像歪を補正して距離算出部１５に出力する。

第２撮像部１３は、例えば広角レンズや魚眼レンズ等から成る集光部３３（図３）と、ＣＭＯＳ等から成る低解像度イメージセンサ３４（図３）を有する。第２撮像部１３においては、集光部３３によって物体の光を低解像度イメージセンサ３４に集光し、低解像度イメージセンサ３４にて光電変換により第２画像を生成する。第２撮像部１３は、第２画像を歪補正部１４に出力する。歪補正部１４は、第２画像に生じている画像歪を補正して距離算出部１５に出力する。

図３は、測距カメラ１０における第１撮像部１１と第２撮像部１３との位置関係の例を示している。同図に示されるように、第１撮像部１１と第２撮像部１３とは、基線長Ｌ１（例えば、数ｃｍ）だけ路面に対して垂直な方向に離れて配置されている。第１撮像部１１と第２撮像部１３とは、路面に対して水平な方向の画角範囲が共通なので、オクルージョンの発生を抑止することができる。

なお、第１撮像部１１の高解像度イメージセンサ３２と、第２撮像部１３の低解像度イメージセンサ３４とは解像度が異なる。
したがって、高解像度イメージセンサ３２から得られる第１画像は、低解像度イメージセンサ３４から得られる第２画像よりも高解像度となる。
なお、低解像度イメージセンサ３４は、高解像度イメージセンサ３２よりも価格が安いので、その分だけ生産コストを抑えることができる。ただし高解像度イメージセンサ３２と低解像度イメージセンサ３４との解像度を統一するようにしてもよい。

図２に戻る。距離算出部１５は、画像歪を補正した第１画像及び第２画像に基づき、ステレオマッチング処理によって、第１画像と第２画像との両方に写っている物体までの距離を算出して距離判定部２３に出力する。

測距カメラ１０ｂは、測距カメラ１０ａと同様に構成されているので、その説明は省略する。

図４は、測距カメラ１０ａの第１撮像部１１ａ及び第２撮像部１３ａと、測距カメラ１０ｂの第１撮像部１１ｂ及び第２撮像部１３ｂとの位置関係の例を示している。

長基線長ステレオカメラＳａｂを成す測距カメラ１０ａと測距カメラ１０ｂとは、路面に対して水平な方向に、例えば数ｍだけ離して配置される。
したがって、長基線長ステレオカメラＳａｂの基線長Ｌ２も数ｍとなり、測距カメラ１０の単体での基線長Ｌ１よりも長くなる。
よって、長基線長ステレオカメラＳａｂは、測距カメラ１０の単体に比較して、高い測距精度を実現することができる。

図２に戻る。統合部２０は、例えば、ＣＰＵ(Central Processing Unit)、メモリ、通信Ｉ／Ｆ等から成り、画像取得部２１、距離算出部２２、及び距離判定部２３の各機能ブロックを実現する。

画像取得部２１は、測距カメラ１０ａの歪補正部１２ａから高解像度の第１画像ａを取得し、測距カメラ１０ｂの歪補正部１２ｂから高解像度の第１画像ｂを取得して距離算出部２２に出力する。距離算出部２２は、２枚の第１画像ａ、ｂに基づき、ステレオマッチング処理によって、第１画像ａ、ｂの両方に写っている物体までの距離を算出して距離判定部２３に出力する。

なお、画像取得部２１が、測距カメラ１０ａ、１０ｂから低解像度の第２画像ａ、ｂを取得し、距離算出部２２にて、第２画像ａ、ｂに基づき、物体までの距離を算出するようにしてもよい。ただし、高解像度の第１画像ａ、ｂを用いる方が、低解像度の第２画像ａ、ｂを用いる場合に比較して、より高い精度でステレオマッチング処理を行うことができるので、得られる測距結果もより高い精度を得ることができる。

距離判定部２３は、測定結果が距離閾値ＴＨＬ（例えば、１０ｍ）未満であった物体については、測距カメラ１０の単体での測距結果を採用し、測定結果が距離閾値ＴＨＬ以上であった物体については長基線長ステレオカメラＳａｂによる測距結果、すなわち、距離算出部２２による算出結果を採用すると判定する。
また、距離判定部２３は、長基線長ステレオカメラＳａｂによって測距できない物体についても、測距カメラ１０の単体での測距結果を採用すると判定する。

さらに、距離判定部２３は、何らかの原因（ステレオマッチングができない場合、故障の場合等）により、測距カメラ１０の単体及び長基線長ステレオカメラＳａｂの一方が測距結果を得られず、他方が測距結果を得られた場合、他方の測距結果を採用すると判定する。そして、距離判定部２３は、判定結果に対応する測距結果を、所定の装置（不図示）等に出力する。

なお、測距カメラ１０の単体と長基線長ステレオカメラＳａｂとの両方によって測距できる重複領域Ｒａｂに存在する物体の距離については、測距カメラ１０の単体による測距結果と長基線長ステレオカメラＳａｂによる測距結果とを用いた所定の演算値（例えば、重み付け平均値）を採用するようにしてもよい。

該所定の装置に出力された物体の測距結果は、例えば、３Ｄ映像としてディスプレイに表示したり、ステレオカメラシステム１を搭載する自動車のＥＣＵ(Electronic Control Unit)に供給したり、所定のサーバに送信したりするようにしてもよい。

＜物体までの距離に対する測距精度＞
次に、図５～図７は、長基線長ステレオカメラＳａｂと測距カメラ１０の単体とによる、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。ここで、測距精度とは、実際の距離に対する測距結果の誤差を百分率で示したものであり、各図においては、その値が小さいほど、測距精度が高いことを意味する。

図５は、縦軸に平行な破線によって示す所定の距離（距離閾値ＴＨＬ）よりも近くに存在する物体については、長基線長ステレオカメラＳａｂではオクルージョンによって測距ができず、所定の距離よりも遠くに存在する物体については、長基線長ステレオカメラＳａｂの方が、測距カメラ１０の単体よりも測距精度が高い場合を示している。

このような場合、所定の距離を距離閾値ＴＨＬとし、距離閾値ＴＨＬよりも近くに存在する物体については測距カメラ１０の単体による測距結果を採用し、距離閾値ＴＨＬよりも遠くに存在する物体については長基線長ステレオカメラＳａｂによる測距結果を採用するようにする。この際、例えば通常時は測距カメラのみを動作させておき、要求される測距精度を満足できない遠方の距離で距離測定が必要と判断された場合にのみ、長基線ステレオカメラを動作させて、距離測定を行うことも可能である。

図６は、縦軸に平行な破線によって示す所定の距離（距離閾値ＴＨＬ）よりも近くに存在する物体については、測距カメラ１０の単体の方が長基線長ステレオカメラＳａｂよりも測距精度が高く、距離閾値ＴＨＬよりも遠くに存在する物体については、長基線長ステレオカメラＳａｂの方が測距カメラ１０の単体よりも測距精度が高い場合を示している。このような場合でも、所定の距離を距離閾値ＴＨＬとし、距離閾値ＴＨＬよりも近くに存在する物体については測距カメラ１０の単体による測距結果を採用し、距離閾値ＴＨＬよりも遠くに存在する物体については長基線長ステレオカメラＳａｂによる測距結果を採用するようにする。

図７は、統合部２０による自己キャリブレーション前後の測距精度を示している。自己キャリブレーション後においては、測距カメラ１０の単体による測距精度と長基線長ステレオカメラＳａｂによる測距精度との優劣が逆転する縦軸に平行な破線によって示す所定の距離が変化するので、自己キャリブレーション後においては距離閾値ＴＨＬも変更するようにする。なお、同図においては、長基線長ステレオカメラＳａｂのみ自己キャリブレーションを行っているが、測距カメラ１０の単体として自己キャリブレーションを行うようにしてもよい。

＜ステレオカメラシステム１の動作＞
次に、図８は、ステレオカメラシステム１による動作の一例を説明するためのフローチャートである。以下の説明では、各処理部（統合部２０、画像取得部２１、距離算出部２２、距離判定部２３など）を動作主体としているが、ステレオシステム１の動作をプログラムで実現する場合には、走行制御ＥＣＵあるいは別のプロセッサ（コンピュータ）を動作主体としてもよい（以下、各実施形態におけるフローチャートに基づく動作説明においても同様である）。

この動作は、例えばユーザからの所定の操作に応じて開始される。

はじめに、測距カメラ１０ａ、１０ｂが、それぞれ単体として、自己の画角範囲に存在する物体を測距し、測距結果を統合部２０に出力する（ステップＳ１）。

具体的には、測距カメラ１０ａでは、第１撮像部１１ａが画角範囲ＡＯＶａを撮像し、その結果得られる第１画像ａを歪補正部１２ａに出力し、歪補正部１２ａが第１画像ａに生じている画像歪を補正して距離算出部１５ａに出力する。

これと同時に、第２撮像部１３ａが画角範囲ＡＯＶａを撮像し、その結果得られる第２画像ａを歪補正部１４ａに出力し、歪補正部１４ａが、第２画像ａに生じている画像歪を補正して距離算出部１５ａに出力する。

さらに、距離算出部１５ａが、画像歪を補正した第１画像ａ及び第２画像ａに基づき、ステレオマッチング処理によって、第１画像ａと第２画像ａとの両方に写っている物体までの距離を算出して距離判定部２３に出力する。

なお、測距カメラ１０ｂも、上述した測距カメラ１０ａと同様の動作を同時に実行するが、その説明は省略する。

次に、統合部２０が、測距カメラ１０ａ、１０ｂを１つの長基線長ステレオカメラＳａｂと見做して物体を測距する（ステップＳ２）。

具体的には、統合部２０の画像取得部２１が、測距カメラ１０ａの歪補正部１２ａから高解像度の第１画像ａを、測距カメラ１０ｂの歪補正部１２ｂから高解像度の第１画像ｂを取得して距離算出部２２に出力する。そして、距離算出部２２が、画像歪を補正した高解像度の第１画像ａ、ｂに基づき、ステレオマッチング処理によって、第１画像ａ、ｂの両方に写っている、すなわち、重複領域Ｒａｂ（図１）に存在する物体までの距離を算出して距離判定部２３に出力する。

次に、距離判定部２３が、測定結果が距離閾値ＴＨＬ以上であった物体については長基線長ステレオカメラＳａｂによる測距結果を採用すると判定し、測定結果が距離閾値ＴＨＬ未満であった物体については測距カメラ１０ａまたは１０ｂが単体で算出した測距結果を採用すると判定する。そして、距離判定部２３が、判定結果に対応する測距結果を、所定の装置（不図示）等に出力する（ステップＳ３）。

この後、処理はステップＳ１に戻り、例えば、動作終了を指示する操作がユーザから入力されるまで、ステップＳ１～Ｓ３が繰り返し実行される。

以上説明したように、ステレオカメラシステム１によれば、２つの測距カメラ１０の画角範囲に存在する物体をその距離に応じて精度良く測距することが可能となる。

（２）第２の実施形態
＜車載ステレオカメラシステムの構成例＞
次に、図９は、第２の実施形態である車載ステレオカメラシステム２の構成例を示す図である。なお、車載ステレオカメラシステム２の構成要素のうち、ステレオカメラシステム１（図２）の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

車載ステレオカメラシステム２は、自動車４０に搭載される。車載ステレオカメラシステム２は、自動車４０の全周囲に存在する物体を検知するためのものである。

車載ステレオカメラシステム２は、測距カメラ１０ａ、１０ｂ、１０ｃ、１０ｄ、及び統合部２０ａｂ、２０ｂｃ、２０ｃｄ、２０ａｄを備える。

測距カメラ１０ａ～１０ｄは、自動車４０の四隅に配置することができる。すなわち、例えば、測距カメラ１０ａは自動車４０の右前隅に右前方向に向けて配置され、測距カメラ１０ｂは自動車４０の右後隅に右後方向に向けて配置され、測距カメラ１０ｃは自動車４０の左後隅に左後方向に向けて配置され、測距カメラ１０ｄは自動車４０の左前隅に左前方向に向けて配置される。

ただし、測距カメラ１０ａ～１０ｄの配置は上述した例に限るものではなく、例えば、ドアミラー等の車体から突出している部分に配置してもよい。

統合部２０ａｂ、２０ｂｃ、２０ｃｄ、２０ａｄは、それぞれ統合部２０（図２）と同様に構成される。

統合部２０ａｂは、測距カメラ１０ａ、１０ｂに接続されており、測距カメラ１０ａ、１０ｂそれぞれから単体としての測距結果を取得する。また、統合部２０ａｂは、測距カメラ１０ａ、１０ｂを長基線長ステレオカメラＳａｂと見做して物体を測距する。そして、統合部２０ａｂは、測距カメラ１０ａ、１０ｂそれぞれの単体としての測距結果、または長基線長ステレオカメラＳａｂによる測距結果を走行制御ＥＣＵ５０に出力する。

統合部２０ｂｃは、測距カメラ１０ｂ、１０ｃに接続されており、測距カメラ１０ｂ、１０ｃそれぞれから単体としての測距結果を取得する。また、統合部２０ｂｃは、測距カメラ１０ｂ、１０ｃを長基線長ステレオカメラＳｂｃと見做して物体を測距する。そして、統合部２０ｂｃは、測距カメラ１０ｂ、１０ｃそれぞれの単体としての測距結果、または長基線長ステレオカメラＳｂｃによる測距結果を走行制御ＥＣＵ５０に出力する。

統合部２０ｃｄは、測距カメラ１０ｃ、１０ｄに接続されており、測距カメラ１０ｃ、１０ｄそれぞれから単体としての測距結果を取得する。また、統合部２０ｃｄは、測距カメラ１０ｃ、１０ｄを長基線長ステレオカメラＳｃｄと見做して物体を測距する。そして、統合部２０ｃｄは、測距カメラ１０ｃ、１０ｄそれぞれの単体としての測距結果、または長基線長ステレオカメラＳｃｄによる測距結果を走行制御ＥＣＵ５０に出力する。

統合部２０ａｄは、測距カメラ１０ａ、１０ｄに接続されており、測距カメラ１０ａ、１０ｄそれぞれから単体としての測距結果を取得する。また、統合部２０ａｄは、測距カメラ１０ａ、１０ｄを長基線長ステレオカメラＳａｄと見做して物体を測距する。

そして、統合部２０ａｄは、測距カメラ１０ａ、１０ｄそれぞれの単体としての測距結果、または長基線長ステレオカメラＳａｄによる測距結果を走行制御ＥＣＵ５０に出力する。

したがって、車載ステレオカメラシステム２においては、４台の測距カメラ１０によって４台の長基線長ステレオカメラが実現されている。

自動車４０が備える走行制御ＥＣＵ５０は、自動車４０における各種の機能を制御する。例えば、走行制御ＥＣＵ５０は、各統合部２０から入力される測距結果に基づき、全周囲に存在する物体を検出し、自動運転機能、自動ブレーキ機能、自動追従機能等を実現する。

なお、統合部２０ａｂ、２０ｂｃ、２０ｃｄ、２０ａｄについては、それぞれ接続される測距カメラ１０と一体的に形成してもよい。また、統合部２０ａｂ、２０ｂｃ、２０ｃｄ、２０ａｄによる動作を、走行制御ＥＣＵ５０に実行させるようにしてもよい。

次に、図１０は、車載ステレオカメラシステム２における各測距カメラ１０の画角範囲を示している。

なお、車載ステレオカメラシステム２における各測距カメラ１０は、ステレオカメラシステム１（図１）における各測距カメラ１０よりも画角が広く、例えば、２４０°程度の画角範囲を有する。

自動車４０の右前隅に配置された測距カメラ１０ａに注目した場合、その画角範囲ＡＯＶａには、自動車４０の右後隅に配置された測距カメラ１０ｂの画角範囲ＡＯＶｂと重なり合う重複領域Ｒａｂと、自動車４０の左前隅に配置された測距カメラ１０ｄの画角範囲ＡＯＶｄと重なり合う重複領域Ｒａｄと、画角範囲ＡＯＶｂ及びＡＯＶｄが重複しないオクルージョン領域Ｂａとが生じている。

重複領域Ｒａｂに存在する物体は、測距カメラ１０ａの単体によって測距でき、且つ、測距カメラ１０ａ、１０ｂから成る長基線長ステレオカメラＳａｂによって測距できる。重複領域Ｒａｄに存在する物体は、測距カメラ１０ａの単体によって測距でき、且つ、測距カメラ１０ａ、１０ｄから成る長基線長ステレオカメラＳａｄによって測距できる。オクルージョン領域Ｂａに存在する物体は、測距カメラ１０ａの単体によってのみ測距できる。したがって、総合部２０ａｂは、図１１に示すように、測距カメラ１０ａの単体による測距結果を採用する範囲Ｒａを定める距離閾値ＴＨＬを、測距カメラ１０ａからオクルージョン領域Ｂａの最遠距離よりも大きな値に設定すればよい。

そして、統合部２０ａｂが、測定結果が距離閾値ＴＨＬ以上であった物体については長基線長ステレオカメラＳａｂによる測距結果を採用すると判定し、測定結果が距離閾値ＴＨＬ未満であった物体については測距カメラ１０ａの単体による測距結果を採用すると判定し、判定結果に対応する測距結果を、走行制御ＥＣＵ５０に出力するようにすればよい。

測距カメラ１０ｂ～１０ｄに注目した場合については、上述した測距カメラ１０ａに注目した場合と同様であるので、その説明は省略する。

以上説明したように、車載ステレオカメラシステム２によれば、自動車４０の全周囲に存在する物体を、その距離に応じて精度良く測距することが可能となる。

＜測距カメラ１０の変形例＞
図１２は、測距カメラ１０として採用し得るステレオカメラ１０１の構成例を示している。

ステレオカメラ１０１は、上側双曲面ミラー１０２、下側双曲面ミラー１０３、結像光学系１０４、イメージセンサ１０５、駆動制御部１１８、及び画像処理部１１９を備える。

上側双曲面ミラー１０２、及び下側双曲面ミラー１０３は、凸状の双曲面を有するミラーである。上側双曲面ミラー１０２及び下側双曲面ミラー１０３は、中心軸を共通とし、それぞれの頂点が対向する向きで所定の間隔を空けて上下に配置されている。

上側双曲面ミラー１０２は、頂点部分に開口１０６を有する。

下側双曲面ミラー１０３は、中心軸を共通とし、曲率が異なる外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８からなる。外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との境界には、多少の段差があってもよい。

結像光学系１０４は、１枚以上のレンズから成り、開口１０６の中に配置される。結像光学系１０４は、下側双曲面ミラー１０３にて反射した光を収束してイメージセンサ１０５に入射させる。

イメージセンサ１０５は、例えばＣＭＯＳから成り、駆動制御部１１８からの制御に従い、結像光学系１０４を介して入射された光に基づき、出力画像１１７を生成し駆動制御部１１８に出力する。

駆動制御部１１８は、イメージセンサ１０５の駆動を制御する。また、駆動制御部１１８は、イメージセンサ１０５が出力する出力画像１１７を画像処理部１１９に供給する。画像処理部１１９は、供給された出力画像１１７に基づき、被写体１０９の３次元位置情報１２０を生成する。

ここで、上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８をなす双曲面ミラーの一般的な性質について説明する。

上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８それぞれの双曲面は、次式（１）によって表される２次曲面において、円錐定数κが－１よりも小さい場合に相当する。

ここで、式（１）におけるｚ（ｒ）は光軸上の頂点を原点とする光軸方向の面のサグ量である。ｃは光軸上の曲率（軸上曲率）である。ｒは光軸からの半径座標である。

一般に、双曲面は２つの焦点を有する。２つの焦点の座標は、面頂点を基準として次式（２）によって表される。

なお、式（２）における±が＋である場合が双曲面の内側にある焦点の座標を表す。式（２）における±が－である場合が双曲面の外側にある焦点の座標を表す。以下、双曲面の内側にある焦点を第１焦点と称し、双曲面の外側にある焦点を第２焦点と称する。

双曲面ミラーは、第１焦点に向かう光線を双曲面にて反射すると、その反射光を第２焦点に集光させる性質を有する。逆に、双曲面ミラーは、第２焦点から出射された光を第１焦点から出射されたかのように反射する性質を有する。

次に、図１３は、上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との関係を示す断面図である。

上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８との関係は、上側双曲面ミラー１０２の第２焦点１０２２が、内周側双曲面ミラー１０８の第１焦点１０８１と略一致するようになされている。また、この一致点は、外周側双曲面ミラー１０７の第１焦点１０７１と略一致する必要はないが、近傍に位置するようになされている。

さらに、外周側双曲面ミラー１０７の第２焦点１０７２が、内周側双曲面ミラー１０８の第２焦点１０８２と略一致するようになされている。この一致点には、結像光学系１０４が配置されている。この一致点は、上側双曲面ミラー１０２の第１焦点１０２１と略一致する必要はないが、近傍に位置するようになされている。

これにより、図１２に示された測距カメラ１０においては、被写体１０９からの光１１０のうち、上側双曲面ミラー１０２の第１焦点（上側視点）１０２１に向かう光１１２は、上側双曲面ミラー１０２によって反射されて、上側双曲面ミラー１０２の第２焦点１０２２に集光される。

上側双曲面ミラー１０２の第２焦点１０２２は、内周側双曲面ミラー１０８の第１焦点１０８１と略一致する。よって、上側双曲面ミラー１０２の第２焦点１０２２に集光される光は、内周側双曲面ミラー１０８の第１焦点１０８１に向かう光と見做せるので、この光は、内周側双曲面ミラー１０８によって再び反射されて、内周側双曲面ミラー１０８の第２焦点１０８２に集光される。

一方、被写体１０９からの光１１０のうち、外周側双曲面ミラー１０７の第１焦点（下側視点）１０７１に向かう光１１４は、外周側双曲面ミラー１０７によって反射され、外周側双曲面ミラー１０７の第２焦点１０７２に向けて集光反射される。

外周側双曲面ミラー１０７の第２焦点１０７２と内周側双曲面ミラー１０８の第２焦点１０８２は略一致し、この一致点には結像光学系１０４が配置されている。
したがって、上側双曲面ミラー１０２によって反射され、さらに内周側双曲面ミラー１０８によって反射された反射光と、外周側双曲面ミラー１０７によって反射された反射光とは、結像光学系１０４によって同時にイメージセンサ１０５に入射される。

これにより、イメージセンサ１０５は、内周側に上側視点（第１焦点）１０２１から見た被写体１０９の像１１５が写され、それと同時に外周側に下側視点（第１焦点）１０７１から見た被写体１０９の像１１６が写された出力画像１１７を生成することができる。

このようにして得られた出力画像１１７は、図１２に示されるように、駆動制御部１１８を介して画像処理部１１９に供給される。画像処理部１１９は、出力画像１１７を、像１１５が写されている内周領域と、像１１６が写されている外周領域とに分離し、それぞれに射影変換処理を行い、その結果得られる２枚の画像においてステレオマッチング処理を行い、被写体１０９の３次元位置情報１２０を生成する。

生成された３次元位置情報１２０は、統合部２０（図１）に供給される。

なお、上述したステレオカメラ１０１における一部の構成要素、例えば、駆動制御部１１８や画像処理部１１９については、ステレオカメラ１０１から独立させて、例えば、自動車４０の走行制御ＥＣＵ５０（図９）に実行させてもよい。

＜上側双曲面ミラー１０２と外周側双曲面ミラー１０７と内周側双曲面ミラー１０８とのその他との関係＞
ステレオカメラ１０１においては、内周側双曲面ミラー１０８の円錐定数κの絶対値が、外周側双曲面ミラー１０７の円錐定数κの絶対値よりも大きくなる値に設定されている。これにより、出力画像１１７においては、上側視点１０２１から見た被写体１０９の像１１５と、下側視点１０７１から見た被写体１０９の像１１６との大きさが揃えられている。

出力画像１１７における内周側の像１１５と外周側の像１１６とのサイズを揃えることにより、像１１５と像１１６の解像度を合わせることができ、ステレオマッチング処理の精度を上げることができる。

また、ステレオカメラ１０１においては、上側双曲面ミラー１０２には、下側双曲面ミラー１０３よりも口径が大きい双曲面ミラーが採用されている。上側双曲面ミラー１０２の口径を下側双曲面ミラー１０３よりも大きくすることで、下側視点１０７１の上向き画角の光線を上側視点１０２１で受光でき、ステレオ視を行うことができる上下の画角範囲を最大限まで広く確保することが可能となる。

なお、仮に、上側双曲面ミラー１０２と下側双曲面ミラー１０３との口径が略等しい場合、下側双曲面ミラー１０３は外周側双曲面ミラー１０７と内周側双曲面ミラー１０８とに分離されているため、下側視点１０７１の視野範囲は必然的に狭くなってしまうことになる。

ところで、ステレオカメラ１０１は、口径が大きく結像光学系１０４含む上側双曲面ミラー１０２が上側に、口径が小さい方の下側双曲面ミラー１０３が下側に配置されている。この上下の位置関係は反対にしても実用上支障はない。

しかしながら、ステレオカメラ１０１を自動車４０の四隅に配置する場合、ステレオ視できる画角範囲があまり広くないという課題がある。特に、完全自動運転のための周囲センシング用途にステレオカメラ１０１を用いるためには自動車近傍を撮影することが必須であり、下向きの画角範囲を確保することが必要である。

ステレオカメラ１０１においては、上側視点１０２１に入射する下向き画角の光線が、下側視点１０７１に入射する画角範囲よりも広い範囲をカバーできるようにしている。これにより上側視点１０２１による単眼視にはなるが、自動車の近傍を撮影することが可能とすることができる。自動車の近傍の画像は、主に路面にひかれたセンタライン等の白線を検知するために必要となるが、白線は路面にひかれていることが既知であるため、単眼視でも距離を計測することが可能である。そのため、結像光学系１０４が配置されている大きい方の上側双曲面ミラー１０２を上側に配置することが有効となる。

次に、図１４は、上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８に関する曲率半径ｒ、円錐定数κ、頂点位置、及び口径の一例を示している。

同図の例では、上側双曲面ミラー１０２の曲率半径ｒは１５ｍｍ、円錐定数κは－３．１、頂点位置は０ｍｍ、口径は３４ｍｍ、外周側双曲面ミラー１０７の曲率半径ｒは－１７ｍｍ、円錐定数κは－２．９４、頂点位置は－１８．５０５６ｍｍ、口径は２５ｍｍ、内周側双曲面ミラー１０８の曲率半径ｒは－２２ｍｍ、円錐定数κは－１３０、頂点位置は－１８．５０８６ｍｍ、口径は９ｍｍとされている。

ただし、図１４は、一例に過ぎず、ステレオカメラ１０１には、任意の上側双曲面ミラー１０２、外周側双曲面ミラー１０７、及び内周側双曲面ミラー１０８を採用することができる。

（３）第３の実施形態
＜ステレオカメラシステムの構成例＞
図１５は、第３の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは例として図９の１０ｄと１０ａが前記ステレオカメラ１０１となっており、車両の前方の左側と右側に、基線長が路面に対して垂直な方向のステレオカメラが配置されていることを前提として考える。
このため、取得する画像としては左視点かつ上視点の１５０１ａ、左視点かつ下視点の１５０１ｂ、右視点かつ上視点の１５０１ｃ、右視点かつ下視点の１５０１ｄの４つの画像を取得することができる。なお、図１５では射影変換後の図として示している。取得した画像には近傍の車両１５０２と遠方の車両１５０３がそれぞれ写っているものとする。

ステレオカメラ１０１単体の測距としては路面に垂直な方向の視差を求めるために１５０１ｂの所定の範囲の領域１５０４を垂直方向にステレオマッチングの処理を行う。具体的には１５０１ｂの所定の範囲の領域１５０４を１５０１ａと比較し相関を算出する処理を、対象とする１５０１ａの位置を走査方向１５０５にずらしながら行い、最も相関が高い位置をブロックマッチングしたものと判定し、視差を求める。同様の処理を１５０１ｂの全体に対して行うことで、視差画像が得られ、基線長と対物レンズの焦点距離との関係から距離画像を求める。

長基線長ステレオカメラの測距としては路面に水平な方向の視差を求めるために１５０１ｃの所定の範囲の領域１５０６を水平方向にステレオマッチングの処理を行う。この際、ステレオカメラ１０１単体の測距結果があるため、遠方における測距精度は長基線長ステレオカメラに劣るものの、長基線長ステレオカメラのおおよそのブロックマッチングする位置を推定可能である。

したがって、推定したブロックマッチング位置の前後を水平方向に１５０７の走査を行うことでステレオマッチングさせることが可能となる。ステレオカメラ１０１の測距結果が無い場合には、想定する最大の走査範囲で走査する必要があるが、それと比較して、ステレオカメラ１０１の測距結果がある場合には、走査範囲を短くすることができる。

このため、視差画像を得るための計算負荷を低減、もしくは、処理時間を短縮することが可能である。長基線長ステレオカメラでは視差が大きくなり、走査範囲が長くなるため、走査範囲を限定することの効果が大きい。視差画像が得られれば、長基線長ステレオカメラの基線長と対物レンズの焦点距離との関係から距離画像を求める。

上記では測距カメラ１０ｄと１０ａが路面に対して垂直な方向の基線長を前提に説明したが、測距カメラ１０ｄと１０ａが路面に対して水平な方向の基線長であってもステレオマッチングの走査の方向が水平に変わるだけであり、長基線長ステレオカメラに対しては同様にして計算負荷を低減、もしくは処理時間を短縮することができる。

また、測距カメラ１０ｄと１０ａの測距結果を長基線長ステレオカメラに利用するものとして説明したが、逆に長基線長ステレオカメラの測距結果を測距カメラに用いることも可能である。

図１６は、ステレオカメラシステム１の詳細な構成例を示すブロック図であり、第１の実施形態における図２と同様の構成要素に対しては同じ参照番号が付与されている。ここでは便宜上、測距カメラ１０ｄの代わりに測距カメラ１０ｂで説明するが、処理内容は変わらない。

測距カメラ１０ａと測距カメラ１０ｂの距離算出処理は図２と同様であるが、統合部２０における長基線長ステレオカメラの距離算出部２２において、測距カメラ１０ａもしくは測距カメラ１０ｂの距離算出部の結果を利用している点が異なる。
距離算出部２２ではステレオマッチング処理を行うが、前述の通り、測距カメラ１０ａもしくは測距カメラ１０ｂの距離算出の結果を用いることで、ステレオマッチングのための走査範囲を短くすることができる。

図１６では測距カメラ１０ａと測距カメラ１０ｂの両者の距離算出部の結果を距離算出部２２に入力しているが、いずれか一方の結果のみを用いても良いし、両者の結果を用いて判断しても構わない。

＜カメラシステムの動作＞
図１７は、ステレオカメラシステム１による動作の一例を説明するフローチャートである。第１の実施例における図８のフローチャートのステップＳ１とステップＳ２の間にステップＳ１７０１を追加したフローとなっている。ステップＳ１７０１ではステップＳ１で算出した測距結果から隣り合う２台の測距カメラから成る長基線長ステレオカメラのステレオマッチングの走査範囲を算出する。
このため、ステップＳ２では第１の実施例と比較してステレオマッチングの走査範囲を短くすることができ、計算負荷を低減、もしくは、処理時間を短縮することができる。

（４）第４の実施形態
＜ステレオカメラシステムの構成例＞
図１８は、第４の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは、一例として、図９の１０ｄと１０ａがステレオカメラ１０１となっており、車両の前方の左側と右側に、基線長が路面に対して垂直な方向のステレオカメラが配置されていることを前提として考える。

このため、取得する画像としては左視点かつ上視点の１５０１ａ、左視点かつ下視点の１５０１ｂ、右視点かつ上視点の１５０１ｃ、右視点かつ下視点の１５０１ｄの４つの画像を取得することができる。

なお、図１５では射影変換後の図として示している。取得した画像には近傍の車両１５０２と遠方の車両１５０３がそれぞれ写っているものとする。図中の一点鎖線は各視点の画像において正面の位置を示すものとする。

市街地等の交差点があるような箇所や左右から歩行者や自転車の飛び出しが想定されるような箇所で車両が低速に走行している場合には、左右の物体検知や物体認識を行う必要があるため、取得した画像の全範囲でステレオマッチング処理を行う。高速道路のような専用道で車両が高速に走行している場合には、前方の物体検知や物体認識が重要となるため、正面を中心としてステレオマッチングを行う範囲を水平方向に縮小することができる。例えば、取得した各視点の画像１５０１ａ、１５０１ｂ、１５０１ｃ、１５０１ｄに対して、処理範囲１８０１ａ、１８０１ｂ、１８０１ｃ、１８０１ｄを用いてステレオマッチング処理をすれば良い。

これにより、高速走行時には計算負荷を低減、もしくは処理時間を短縮することができる。水平画角が大きい場合にはステレオマッチング処理を行うべき範囲が広いため、処理範囲を限定することの効果が大きい。

なお、ここでは正面を中心として水平方向に縮小する例を示したが、必ずしも正面が中心でなくとも構わないし、水平方向だけでなく上下方向に縮小しても構わない。

また、車両の前方の例として示したが、車両の側方や後方に対して同様の処理をすることも可能である。

また、射影変換後の画像を例として説明したが、射影変換前にイメージセンサの縮小後の範囲に対応する部分を計算し、射影変換前に対象の範囲を縮小しても構わない。

図１９は、ステレオカメラシステム１の詳細な構成例を示すブロック図であり、第１の実施形態における図２と同様の構成要素に対しては同じ参照番号が付与されている。ここでは便宜上、測距カメラ１０ｄの代わりに測距カメラ１０ｂで説明するが、処理内容は変わらない。

第１の実施形態の図２と比較して、画像抽出部１９０１ａ、１９０１ｂ、１９０２ａ、１９０２ｂ、および車両速度検出部１９０３を追加した構成となっている。第１撮像部１１ａは、取得した第１画像を画像抽出部１９０１ａに出力する。画像抽出部１９０１ａは、車両速度検出部１９０３から車両の速度の情報を受け取り、車両の速度に応じた画像抽出範囲を決定する。画像抽出部１９０１ａは、抽出した第１画像を歪み補正部１２ａに出力する。画像抽出部１９０１ｂ、１９０２a、１９０２ｂについては、１９０１ａと同様の処理であり、その他の処理は第１の実施形態と同様であるため説明を省略する。

なお、図１９では撮像部と歪み補正部の間に画像抽出部を追加した構成としたが、歪み補正部と距離算出部の間に画像抽出部がある構成でも構わないし、さらに後段に画像抽出部がある構成でも構わない。また、これらの処理は走行制御ＥＣＵの中で行われる処理であっても構わない。

＜カメラシステムの動作＞
図２０は、ステレオカメラシステム１による動作の一例を説明するフローチャートである。第１の実施例における図８のフローチャートのステップＳ１の前にステップＳ２００１を追加したフローとなっている。ステップＳ２００１では車両速度に応じて画像抽出範囲を変化させる。

このため、ステップＳ１とステップＳ２では第１の実施例と比較してステレオマッチング処理を行う範囲を高速走行時に縮小することができ、計算負荷を低減、もしくは処理時間を短縮することができる。

（５）第５の実施形態
＜ステレオカメラシステムの構成例＞
図２１は、第５の実施形態に関わるステレオカメラシステムの画像処理の概念を説明するための図である。ここでは例として図９の右側前方の測距カメラ１０ａで取得した画像を２１０１として示す。なお、図２１では射影変換後の図として示している。取得した画像はおおよそ２７０度の水平画角を持っているものとし、図中の一点鎖線は左より順に左側、正面、右側、後方の位置を示すものとする。

例えば、十字路の交差点においては左側と右側の車両を物体検知もしくは物体認識する必要があるため、道路のある範囲が含まれるように、左側２１０２ａ、正面２１０２ｂ、右側２１０２ｃ、および後方２１０２ｄの範囲で画像抽出する。一方、高速道路のような専用道では左右方向は常に物体検知もしくは物体認識する必要がないため、２１０２ａや２１０２ｃは画像抽出しないようにすれば良い。

これにより、道路状況に応じて計算負荷を低減、もしくは処理時間を短縮することができる。道路状況の把握のためには地図情報（例えば、車載ナビゲーションシステムと連携し、そこで使用される地図情報を取得し、道路状況を判断することができる）を用いても構わないし、路車間通信や車間通信などにより取得しても構わない。

なお、ここでは十字路の交差点と高速道路の例を示したが、道路の状況に応じて、任意の画像抽出範囲を設定することができる。また、通常時は測距カメラのみステレオマッチング処理を行い、測距カメラから所定の範囲の遠方測距が必要になった場合に、長基線長ステレオカメラの処理を所定の範囲でステレオマッチング処理をすることも可能である。

また、射影変換後の画像を例として説明したが、射影変換前にイメージセンサの縮小後の範囲に対応する部分を計算し、射影変換前に対象の範囲を縮小しても構わない。

＜カメラシステムの詳細構成例＞
図２２は、ステレオカメラシステム１の詳細な構成例を示すブロック図であり、第１の実施形態における図２と同様の構成要素に対しては同じ参照番号が付与されている。
当該ステレオカメラシステム１は、第４の実施形態の図１９と比較して、車両速度検出部１９０３の代わりに画像抽出範囲選択部２２０１ａと２２０１ｂを追加した構成となっている。第１撮像部１１ａは、取得した第１画像を画像抽出部１９０１ａに出力する。画像抽出部１９０１ａは、画像抽出範囲選択部２２０１ａから道路状況に応じた画像抽出範囲の情報を受け取り、画像抽出範囲を決定する。画像抽出部１９０１ａは、抽出した第１画像を歪み補正部１２ａに出力する。画像抽出範囲選択部２２０１ｂは画像抽出範囲選択部２２０１aと同様の処理を実行し、画像抽出部１９０１ｂ、１９０２a、および１９０２ｂは、画像抽出部１９０１ａと同様の処理を実行する。その他の処理は第１の実施形態と同様であるため説明を省略する。

なお、図２２では撮像部と歪み補正部の間に画像抽出部を追加した構成としたが、歪み補正部と距離算出部の間に画像抽出部がある構成でも構わないし、さらに後段に画像抽出部がある構成でも構わない。また、これらの処理は走行制御ＥＣＵの中で行われる処理であっても構わない。

＜ステレオカメラシステムの動作＞
図２３は、ステレオカメラシステム１による動作の一例を説明するためのフローチャートである。当該動作は、第１の実施形態における図８のフローチャートのステップＳ１の前にステップＳ２３０１を追加した処理となっている。ステップＳ２３０１では道路状況に応じて画像抽出範囲を変化させる。

このため、ステップＳ１とステップＳ２では第１の実施例と比較してステレオマッチング処理を行う範囲を縮小することができ、計算負荷を低減、もしくは処理時間を短縮することができる。

（６）第６の実施形態
＜車載ステレオカメラシステムの構成例＞
図２４は、第６の実施形態である車載ステレオカメラシステム２の路面に対して水平方向の画角範囲を示す図である。本実施形態の車載ステレオカメラシステム２の構成は第２の実施形態と同様であるため、説明を省略する。本実施形態と第２の実施形態との違いは、測距カメラ１０の水平画角にある。測距カメラ１０ａ、１０ｂ、１０ｃ、１０ｄはそれぞれ車両の４隅に配置される。死角が無いようにするためには、車両が上方から見て長方形であることを前提とすると、各測距カメラはおおよそ２７０度の水平画角を有する。

なお、車両の上方から見た形状は必ずしも矩形ではないため、形状に応じて死角が無くなるように水平画角を最適化しても構わない（例えば、統合部２０ａｂ、２０ｂｃ、２０ａｄ、および２０ｃｄで最適化することができる）。

測距カメラ１０ａと１０ｂ、１０ｂと１０ｃ、１０ｃと１０ｄ、１０ｄと１０ａによりそれぞれ長基線長ステレオカメラを構成することができ、長基線長ステレオカメラの水平画角は１８０度となる。

図２５は車載ステレオカメラシステム２の路面に対して垂直方向の画角範囲を示す図である。ここでは一例として、測距カメラがステレオカメラ１０１の場合として図示している。左右の車輪の近傍の路面状況を把握するためには左右のステレオカメラで相互に車輪の直下が見えるような下側の垂直画角とすれば良い。

なお、必ずしも両眼で下側の垂直画角を上記の通り設計する必要は無く、ステレオ視が必要なければ、片側の視点のみで下側の垂直画角を上記の通り設計しても良い。

測距カメラに以上のような画角を持たせることにより、死角がなくなるため、車両近傍の、例えば、白線、車両止め、車両近傍の道路形状などの検知や認識が可能となる。

（７）第７の実施形態
＜車載ステレオカメラシステムの構成例＞
図２６は、第７の実施形態である車載ステレオカメラシステム２の路面に対して水平方向の画角範囲を示す図である。本実施形態の車載ステレオカメラシステム２の構成は第２の実施形態と同様であるため、説明を省略する。本実施形態と第２の実施形態との違いは測距カメラ１０の水平画角にある。測距カメラ１０ａ、１０ｂ、１０ｃ、１０ｄはそれぞれ車両の４辺に配置される。死角が無いようにするためには、車両が上方から見て長方形であることを前提とすると、各測距カメラはおおよそ１８０度の水平画角を有する。

なお、車両の上方から見た形状は必ずしも矩形ではないため、形状に応じて死角が無くなるように水平画角を最適化しても構わない（例えば、統合部２０ａｂ、２０ｂｃ、２０ａｄ、および２０ｃｄで最適化することができる）。

測距カメラ１０ａと１０ｂ、１０ｂと１０ｃ、１０ｃと１０ｄ、１０ｄと１０ａによりそれぞれ長基線長ステレオカメラを構成することができ、長基線長ステレオカメラの水平画角は９０度となる。

図２７は車載ステレオカメラシステム２の路面に対して垂直方向の画角範囲を示している。ここでは一例として、測距カメラがステレオカメラ１０１の場合として図示している。左右の車輪の近傍の路面状況を把握するためにはステレオカメラで車輪の直下が見えるような下側の垂直画角とすれば良い。

なお、必ずしも両眼で下側の垂直画角を上記の通り設計する必要は無く、ステレオ視が必要なければ、片側の視点のみで下側の垂直画角を上記の通り設計しても良い。

測距カメラに以上のような画角を持たせることにより、死角がなくなるため、車両近傍の、例えば、白線、車両止め、車両近傍の道路形状などの検知や認識が可能となる。

また、第６の実施例では測距カメラを車両の角に配置する例を、第７の実施例では車両の辺に配置する例を示したが、４つの測距カメラの配置は任意に変更可能であり、それぞれの配置位置に合わせた水平画角とすれば良い。

（８）第８の実施形態
＜車載ステレオカメラシステムの構成例＞
図２８は、第８の実施形態である車載ステレオカメラシステム２の構成例を示す図である。なお、車載ステレオカメラシステム２の構成要素のうち、ステレオカメラシステム１（図２）の構成要素と共通するものには同一の符号を付して、その説明は適宜省略する。

本実施形態の車載ステレオカメラシステム２は、第２の実施形態による車載ステレオカメラシステムに前方用測距カメラ２８０１を追加した構成となっている。測距カメラ２８０１は、ステレオカメラの他、例えば、ＴＯＦカメラや、オプティカルフローと呼ばれる画像解析の手法を用いた単眼カメラ等によって実現できる。

前方用測距カメラ２８０１により取得した画像や距離画像は、統合部２０ａｄに出力される。また、統合部２０ａｄの測距結果は、前方用測距カメラ２８０１に出力される。

図２９は、車載ステレオカメラシステム２の詳細な内部構成例を示すブロック図であり、第１の実施例における図２と同様の構成部品を同じ番号で示す。前方用測距カメラ２８０１の一例としてステレオカメラを採用した例を示す。測距カメラ１０ａと測距カメラ１０ｂの距離算出は図２と同様である。

なお、図２９の構成例において、測距カメラ２８０１は、第１撮像部２９１１及び第２撮像部２９１３を有するステレオカメラである。

測距カメラ２８０１は、第１撮像部２９１１、歪補正部２９１２、第２撮像部２９１３、歪補正部２９１４、距離算出部２９１５、及び画像認識部２９１６を有する。

前方用測距カメラ２８０１における距離算出の処理は第１の実施形態における測距カメラ１０と同様のため、説明を省略する。なお、前方用測距カメラ２８０１においては、歪補正部２９１２は、画像歪を補正した第１画像を画像認識部２９１６に出力する。画像認識部２９１６は、画像歪を補正した第１画像、および距離算出部２９１５で算出された距離の情報を用いて、車両や歩行者などの認識を行う。この際、距離算出部２９１５、もしくは、長基線長ステレオカメラの距離判定部２３の情報を用いて、画像認識を行う範囲を特定することもできる。

前方用測距カメラ２８０１は水平画角が前方に制限されるため、測距カメラ１０に比べて、高い角度分解能を有することができる。すなわち、同一の対象物を測距カメラ１０よりも多い画素数で取得することができる。したがって、距離算出は長基線長ステレオカメラの距離判定部２３により行い、画像認識は前方用測距カメラの画像認識部２９１６で行うことにより、前方用ステレオカメラ単体では距離精度が低い遠方の物体に対して、物体認識と高精度な距離測定が可能となる。

＜車載ステレオカメラシステムの動作＞
図３０は、車載ステレオカメラシステム２による動作の一例を説明するためのフローチャートである。当該動作は、第１の実施形態における図８のフローチャートのステップＳ３の後に、ステップＳ３００１、及び、ステップＳ３００２を追加した処理となっている。ステップＳ３００１ではステップＳ３で算出した測距結果から前方用測距カメラで画像認識を行うべき範囲を特定する。ステップＳ３００２では測距カメラ１０より角度分解能が高い前方用測距カメラ２７０１で画像認識を行う。このため、測距カメラ１０により画像認識をする場合と比較して画像認識の精度を高めることが可能である。

なお、画像認識の結果、操舵やブレーキなどの車両制御が必要になった場合は走行制御ＥＣＵ５０を介して、車両制御を行う。

（９）第９の実施形態
＜車載ステレオカメラシステムの動作例＞
図３１は、第９の実施形態である車載ステレオカメラシステム２による動作の一例を説明するためのフローチャートである。システム構成とブロック図は第８の実施形態と同様であるため、説明を省略する。

当該車載ステレオカメラシステム２においては、第１の実施形態における図８のフローチャートのステップＳ１～Ｓ３と並列して、ステップＳ３１０１で前方用測距カメラにより測距処理が実行される。
ステップＳ３１０２では、ステップＳ３１０１の前方用測距カメラの測距結果をステップ３の測距結果と比較する。この際、遠方の測距結果については、長基線長ステレオカメラの方が前方用測距カメラよりも基線長が長いため高精度となる。
このため、前方用測距カメラの測距結果がステップ３の測距結果とずれている場合には、前方用測距カメラの歪み補正のパラメータをステップ３の測距結果に近づくように補正することで、前方用測距カメラの校正が可能となる。具体的には、前方用測距カメラの消失点誤差を長基線長ステレオカメラの測距結果を基準に補正すれば良い。

図３２は、長基線長ステレオカメラと、前方用測距カメラ１０による、物体までの距離に対する測距精度を表している。なお、各図の横軸は測距の対象となる物体までの実際の距離を示し、縦軸は測距精度を示している。前方用測距カメラよりも長基線長ステレオカメラの方が距離精度が高い（誤差が小さい）場合、前方用測距カメラでは要求される測距精度となる距離ＴＨＬまでは前方用測距カメラの測距結果を採用し、それよりも遠方の距離においては長基線長ステレオカメラの測距結果を採用すれば良い。

この際、例えば通常時は前方用測距カメラのみを動作させておき、要求される測距精度を満足できない遠方の距離で距離測定が必要と判断された場合にのみ、長基線ステレオカメラを動作させて、距離測定を行うことも可能である。

なお、前方用測距カメラ２８０１、測距カメラ１０ａ、１０ｂ、１０ｃ、１０ｄ、長基線長ステレオカメラＳａｂ、Ｓｂｃ、Ｓｃｄ、Ｓａｄは常に動作させる必要はなく、道路状況や走行状況に応じて処理を行えば良い。

（１０）まとめ
本開示による実施形態の機能は、ソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本開示を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

上述のように、本願明細書では様々な実施形態について説明したが、本開示の技術は、上記した実施形態に限定されるものではなく、さらに様々な変形例が含まれる。例えば、上記した実施形態の一例は、本開示の技術を分かり易くするために詳細に説明したものであり、本開示は、ここで説明した全ての構成を備えるものに限定されない。また、ある実施形態の一例の構成の一部を他の一例の構成に置き換えることが可能である。また、ある実施形態の一例の構成に他の一例の構成を加えることも可能である。また、各実施形態の一例の構成の一部について、他の構成の追加・削除・置換をすることもできる。また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、図中の制御線や情報線は、説明上必要と考えられるものを示しており、全てを示しているとは限らない。ほとんど全ての構成が相互に接続されていると考えてもよい。

１ ステレオカメラシステム
２ 車載ステレオカメラシステム
１０ 測距カメラ
１１ 第１撮像部
１２ 歪補正部
１３ 第２撮像部
１４ 歪補正部
１５ 距離算出部
２０ 統合部
２１ 画像取得部
２２ 距離算出部
２３ 距離判定部
３１ 集光部
３２ 高解像度イメージセンサ
３３ 集光部
３４ 低解像度イメージセンサ
４０ 自動車
５０ 走行制御ＥＣＵ
１０１ ステレオカメラ
１０２ 上側双曲面ミラー
１０３ 下側双曲面ミラー
１０４ 結像光学系
１０５ イメージセンサ
１０６ 開口
１０７ 外周側双曲面ミラー
１０８ 内周側双曲面ミラー
１０９ 被写体
１１５ 像
１１６ 像
１１７ 出力画像
１１８ 駆動制御部
１１９ 画像処理部
１２０ ３次元位置情報

Claims (14)

1. 自己の画角範囲に存在する物体を撮像するとともに、前記物体を測距する複数の測距カメラと、
   前記測距カメラの対を長基線長ステレオカメラとし、前記測距カメラの対のそれぞれによって撮像された画像に基づいて前記物体を測距する統合部と、
   を備え、
   前記長基線長ステレオカメラは、前記複数の測距カメラそれぞれの測距範囲よりも遠方の測距が可能な基線長を有し、
   前記測距カメラもしくは前記統合部の画像処理範囲が変更可能なように構成され、
   前記測距カメラと前記統合部は、距離算出部を有し、
   前記統合部は、前記測距カメラの距離算出の結果を用いて距離算出のステレオマッチング処理の走査範囲を決定する、ステレオカメラシステム。
2. 請求項１に記載のステレオカメラシステムであって、
   さらに車両速度検出部を有し、
   前記測距カメラは、画像抽出部を有し、
   前記測距カメラは、車両の速度に応じて前記距離算出のための対象画像範囲を変更する、ステレオカメラシステム。
3. 請求項２に記載のステレオカメラシステムであって、
   前記測距カメラは、車両の速度が高速な場合に低速な場合に比べて距離算出のための対象画像範囲を縮小する、ステレオカメラシステム。
4. 請求項１に記載のステレオカメラシステムであって、
   さらに画像抽出範囲選択部を有し、
   前記測距カメラは、画像抽出部を有し、
   前記測距カメラは、道路状況に応じて距離算出のための対象画像範囲を変更可能なように構成された、ステレオカメラシステム。
5. 請求項１に記載のステレオカメラシステムであって、
   前記測距カメラを構成するステレオカメラは、
   中心軸を共通とし、頂点を対向して上下に配置された第１及び第２の凸双曲面ミラーと、
   前記第１の凸双曲面ミラーの頂点部分に設けた開口に配置された結像光学系と、
   被写体の光が前記第１の凸双曲面ミラーで反射された後、さらに、前記第２の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光、及び前記被写体の光が前記第２の凸双曲面ミラーで反射されてから前記結像光学系を介して入射する光に基づいて、異なる２視点から前記被写体を撮像した場合にそれぞれ対応する２つの像が同時に写し出されている出力画像を生成するイメージセンサと、を備える、
   ステレオカメラシステム。
6. 請求項１に記載のステレオカメラシステムであって、
   前記統合部は、前記測距カメラの画角を車両の搭載箇所に応じて最適化するように構成された、ステレオカメラシステム。
7. 請求項６に記載のステレオカメラシステムであって、
   前記測距カメラは車両の４隅に配置され、それぞれの水平画角は略２７０°である、ステレオカメラシステム。
8. 請求項６に記載のステレオカメラシステムであって、
   前記測距カメラは車両の４辺に配置され、それぞれの水平画角は略１８０°である、ステレオカメラシステム。
9. 請求項６に記載のステレオカメラシステムであって、
   前記測距カメラの垂直画角の下側は車輪の直下を立体視可能である、ステレオカメラシステム。
10. 請求項１に記載のステレオカメラシステムであって、
    さらに、水平画角が前方に制限される前方用測距カメラを備え、
    前記前方用測距カメラの角度分解能は前記測距カメラの角度分解能よりも高い、ステレオカメラシステム。
11. 請求項１０に記載のステレオカメラシステムであって、
    前記前方用測距カメラは、画像認識部を有し、
    前記前方用測距カメラは、前記画像認識部を用いて、遠方の物体に対しては、前記統合部で測距した結果に基づいて画像認識する、ステレオカメラシステム。
12. 請求項１０に記載のステレオカメラシステムであって、
    前記統合部は、前記測距カメラの単体による測距結果、または前記統合部による測距結果のいずれを採用するかを判定する距離判定部を有し、
    前記前方用測距カメラは、撮像した画像の歪みの補正を行う歪み補正部を有し、
    前記歪み補正部は、前記距離判定部による測距結果を用いて校正可能なように構成された、ステレオカメラシステム。
13. 請求項１０に記載のステレオカメラシステムであって、
    前記車両制御部は、前記前方用測距カメラにおいて必要な測距精度が担保できる距離範囲では前記前方用測距カメラによる測距結果を用いて車両制御を行い、それ以外では前記統合部による測距結果を用いて車両制御を行う、ステレオカメラシステム。
14. ステレオカメラシステムにおける測距方法であって、
    前記ステレオカメラシステムは、画像処理範囲が変更可能なように構成された、少なくとも一対の測距カメラ、もしくは当該少なくとも一対の測距カメラで構成される長基線長ステレオカメラと、前記測距カメラの対のそれぞれによって撮像された画像に基づいて自己の画角範囲に存在する物体を測距する統合部と、を含み、前記長基線長ステレオカメラは、前記複数の測距カメラそれぞれの測距範囲よりも遠方の測距が可能な基線長を有し、
    前記少なくとも一対の測距カメラを用いて、自己の画角範囲に存在する物体を撮像することと、
    前記長基線長ステレオカメラを用いて、前記少なくとも一対の測距カメラのそれぞれによって撮像された画像に基づいて前記物体を測距することと、
    前記統合部によって、前記測距カメラの距離算出の結果に基づいて距離算出のステレオマッチング処理の走査範囲を決定することと、
    を含む測距方法。

Images