JP5587930B2

JP5587930B2 - 距離算出装置及び距離算出方法

Info

Publication number: JP5587930B2
Application number: JP2012052922A
Authority: JP
Inventors: 春樹的野; 寛人三苫
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2012-03-09
Filing date: 2012-03-09
Publication date: 2014-09-10
Anticipated expiration: 2032-03-09
Also published as: US20150036886A1; EP2824417B1; WO2013132947A1; EP2824417A1; US9530210B2; JP2013186043A; EP2824417A4

Description

本発明は距離算出装置及び距離算出方法に関し、例えば複数の撮像手段を備えた撮像システムに適用される距離算出装置及び距離算出方法に関する。

従来から、自動車分野等においては、安全性の向上を目的として様々な安全システムが装備されている。

近年、そのような安全システムの一つとして、ステレオカメラなどの複数のカメラを用いて歩行者や車両等の対象物を検出する対象物検出システムが実用化されている。

上記する対象物検出システムは、例えばテンプレートマッチングを用いて複数のカメラ（撮像装置）で同時刻に撮像された複数の画像上における同一対象物の位置ずれ（視差）を算出し、前記視差と周知の変換式とを用いて対象物の実空間上の位置を算出することで、対象物を検出することができる。

このような、複数のカメラ（撮像装置）で撮像された一対の画像を用いて対象物までの距離を算出して対象物の認識を行うステレオカメラの対象物検出システムは、上記する車両の安全システムのほか、不審者の侵入や異常を検知する監視システム等にも適用することができる。

前記安全システムや監視システムに適用されるステレオカメラの対象物検出システムは、所定の間隔を置いて配置された複数のカメラで対象物を撮像し、その複数のカメラで撮像された一対の撮像画像に対して三角測量技術を適用することによって、対象物までの距離を算出するシステムである。

具体的には、前記対象物検出システムは、一般に、すくなくとも２台の撮像装置（カメラ）と、これらの撮像装置から出力される少なくとも２つの撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩ（Large Scale Integration）と、を備えており、このステレオ画像処理ＬＳＩは、複数のカメラで撮像された一対の撮像画像に含まれる画素情報を重ね合わせて２つの撮像画像の一致した位置のずれ量（視差）を算出する演算処理を行なうことによって三角測量処理を実行する。なお、このような対象物検出システムにおいては、複数のカメラで撮像された一対の撮像画像の間に視差以外のずれが発生しないように、各々の撮像装置毎に光学特性や信号特性のずれがないように調整したり、撮像装置間の距離等を予め精緻に求めておく必要がある。

図９は、上記するステレオカメラを用いた対象物検出システムの原理を説明したものであり、図中、δは視差（一対の撮像画像の一致した位置のずれ量）、Ｚは対象物までの計測距離、ｆは撮像装置の焦点距離、ｂは基線長（撮像装置間の距離）をそれぞれ表しており、これらの間には以下の式（１）で示す関係が成立している。

ところで、ステレオカメラを用いた対象物検出システムにおいては、対象物までの計測距離が大きくなるに従って視差δが小さくなるため、この視差δの算出性能が低下すると対象物までの距離計測の精度が低下するといった問題がある。また、対象物が遠方に位置する場合にはその対象物は撮像画像上で小さくなるため、泥や雨滴等が一方若しくは双方のカメラのレンズに付着するとその対象物を認識することが困難となり、対象物までの距離計測の精度が更に低下するといった問題がある。

このような問題に対して、特許文献１には、ステレオカメラと単眼カメラの技術を融合して双方の欠点を補完する技術が開示されている。

特許文献１に開示されている３次元座標取得装置は、単眼カメラとステレオカメラのそれぞれで撮像された画像から対象物の３次元座標を算出し、双方の算出結果を単純に切り替えあるいは統合する装置である。また、双方の算出結果を統合する際には、対象物のカメラからの距離や車速度、フローの数や精度に応じて双方の重みを変更する装置である。

特開２００７−２６３６５７号公報

特許文献１に開示されている３次元座標取得装置によれば、単眼カメラとステレオカメラのそれぞれで撮像された画像を用いることによって、単眼カメラとステレオカメラの双方の領域における対象物までの距離を計測することができると共に、単眼カメラとステレオカメラのそれぞれで撮像された画像から算出される対象物の３次元座標に対して対象物までの距離や車速度等に応じた重みを付けることによって、対象物までの距離計測の精度を高めることができる。

しかしながら、特許文献１に開示されている３次元座標取得装置においては、泥や雨滴等の影響によってカメラの撮像画像の信頼度が低下した場合に、対象物までの距離計測の精度が低下するといった課題を解消し得ない。

本発明は、前記問題に鑑みてなされたものであって、その目的とするところは、ステレオカメラの視差分解能以下の距離計測を行うことができ、例えば雨滴や泥等がカメラに付着した状況やカメラレンズが曇った状況等といった撮像状態が低下した場合であっても対象物までの相対距離を精緻に計測することができる距離算出装置及び距離算出方法を提供することにある。

上記する課題を解決するために、本発明に係る距離算出装置は、複数の撮像装置を備えた撮像システムの距離算出装置であって、前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第１の距離算出部と、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第２の距離算出部と、前記単数の撮像装置で撮像された画像情報と前記少なくとも２つの撮像装置で撮像された画像情報のボケ量を算出するボケ量算出部と、前記単数の撮像装置と前記少なくとも２つの撮像装置による画像撮像時における前記対象物までの距離を推定する距離推定部と、前記対象物までの出力距離を算出する出力距離算出部と、を備え、前記出力距離算出部は、前記ボケ量算出部によって算出されたボケ量と前記距離推定部によって推定された推定距離とに基づいて、前記第１の距離算出部によって算出された第１の距離と前記第２の距離算出部によって算出された第２の距離のいずれかを前記出力距離として選択することを特徴とする。

また、本発明に係る距離算出方法は、複数の撮像装置を備えた撮像システムの距離算出方法であって、前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記単数の撮像装置で撮像された画像情報と前記少なくとも２つの撮像装置で撮像された画像情報のボケ量を算出し、前記単数の撮像装置と前記少なくとも２つの撮像装置による画像撮像時における前記対象物までの距離を推定し、前記ボケ量と前記推定距離とに基づいて算出されたそれぞれの距離のいずれかを前記対象物までの出力距離として選択することを特徴とする。

本発明の距離算出装置及び距離算出方法によれば、複数の撮像装置を備えた撮像システムにおいて、例えばステレオカメラの視差分解能以下の距離計測を行うことができ、撮像装置の撮像状態が低下した場合であっても対象物までの相対距離を精緻に且つ安定して計測することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る距離算出装置の第１の実施の形態が適用される撮像システムを概略的に示す全体構成図。図１に示す第１の実施の形態の距離算出装置の内部構成を示す内部構成図。単眼カメラを用いた対象物までの距離算出方法を説明した図。図２に示す出力距離算出部で用いられる選択テーブルの一例を示す図。本発明に係る距離算出装置の第２の実施の形態の内部構成を示す内部構成図。図５に示す出力距離算出部で用いられる選択テーブルの一例を示す図。図５に示す距離算出装置の処理フローを示したフローチャート。図７に示す認識カメラ切替処理の処理フローを示したフローチャート。ステレオカメラを用いた対象物検出システムの原理を説明した図。

以下、本発明に係る距離算出装置と距離算出方法の実施の形態を図面を参照して説明する。

［第１の実施の形態］
図１は、本発明に係る距離算出装置の第１の実施の形態が適用される撮像システムを概略的に示したものである。

図示する撮像システム１００は、主として、所定の間隔を置いて配置された２台のカメラ（撮像装置）１０１、１０２と、このカメラ１０１、１０２を制御するカメラ制御装置１０３と、カメラ１０１、１０２で撮像された撮像画像等の一時的な記憶領域であるＲＡＭ１０４と、プログラムや各種初期値を格納するＲＯＭ１０５と、ブレーキ等の制御系やユーザに対してカメラの認識状態を通知するための通信手段である外部ＩＦ１０６と、対象物との距離を算出する距離算出装置１０７と、このシステム全体の制御を行うＣＰＵ１０８と、を備えており、それぞれがバス１０９を介して情報を授受できるようになっている。すなわち、この撮像システム１００においては、２台のカメラ１０１、１０２を用いることによって、ステレオカメラによる対象物との距離計測が可能な構成となっている。

なお、前記カメラ１０１、１０２は、例えばＣＣＤ（Charge Coupled Device Image Sensor）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の撮像素子から構成されており、カメラ制御装置１０３によって各カメラ１０１、１０２の撮像タイミングが同一になるように制御されている。また、双方のカメラ１０１、１０２で撮像された画像における対応する点を探索する際に輝度値が同一となるように、各カメラ１０１、１０２の露光も同一になるように制御されている。

図２は、図１に示す第１の実施の形態の距離算出装置１０７の内部構成を示したものである。なお、カメラ１０１、１０２で撮像された撮像画像はそれぞれ、ＲＡＭ１０４のカメラ画像保存部１０４ａ、１０４ｂに一時的に保存されている。

図示する距離算出装置１０７は、主として、ボケ量算出部２０１と、距離推定部２０２と、単眼距離算出部（第１の距離算出部）２０３と、ステレオ距離算出部（第２の距離算出部）２０４と、出力距離算出部２０６と、を備えている。

前記ボケ量算出部２０１は、カメラ１０１で撮像されてカメラ画像保存部１０４ａに保存された画像情報とカメラ１０２で撮像されてカメラ画像保存部１０４ｂに保存された画像情報のボケ度合いを評価する。このボケ度合いの評価方法としては、例えば画像のエッジ強度を評価する方法や画像のコントラストの高低を評価する方法等を適用することができ、前記ボケ量算出部２０１は、この評価量をボケ量として算出し、その算出結果を単眼距離算出部２０３と出力距離算出部２０６へ送信する。

前記単眼距離算出部２０３は、カメラ１０１で撮像されてカメラ画像保存部１０４ａに保存された画像情報やカメラ１０２で撮像されてカメラ画像保存部１０４ｂに保存された画像情報に基づいて対象物までの距離（第１の距離）を算出し、その算出結果を出力距離算出部２０６へ送信する。ここで、単眼距離算出部２０３は、前記ボケ量算出部２０１から送信されたボケ量に基づいて、カメラ画像保存部１０４ａに保存された画像情報とカメラ画像保存部１０４ｂに保存された画像情報のいずれを用いて距離演算を実行するかを決定する。

具体的には、前記単眼距離算出部２０３は、カメラ画像保存部１０４ａに保存された画像情報のボケ量とカメラ画像保存部１０４ｂに保存された画像情報のボケ量を比較し、相体的にボケ量の小さい画像情報に基づいて対象物までの距離を算出する。これにより、例えば一方のカメラが雨滴や泥等で汚れていて撮像状態が低下している場合であっても、ボケ量が小さくより正常に撮像できるカメラで撮像された画像情報に基づいて対象物までの距離を算出することができるため、この単眼距離算出部２０３における距離計測の精度を維持することができる。

なお、上記距離の算出方法としては、従来知られた種々の算出方法を適用することができるが、その一例として、例えば車両の車幅を用いた算出方法が挙げられる。具体的には、パターンマッチングによって、カメラ画像保存部１０４ａ若しくはカメラ画像保存部１０４ｂから得られる画像情報から車両の領域（画面上の位置）を算出する。ここで、パターンマッチングとは、撮像された画像の輝度値の相関値を算出し、その輝度値が所定値以上であれば「車両」と判断してその領域を「車両の領域」とする方法である。これにより、カメラ画像保存部１０４ａ若しくはカメラ画像保存部１０４ｂから得られる画像情報から車両の車幅を算出することができ、カメラの撮像方向と車両の背面とが略垂直であると仮定すると、仮定された車両の車幅等から対象物である車両までのおおよその距離を容易に算出することができる。

図３は、カメラ１０１若しくはカメラ１０２を用いた対象物までの距離算出方法を説明したものであり、図中、Ｗは先行車両の車幅、Ｚは先行車両までの距離、ｘは撮像面での車幅、ｆはカメラの焦点距離をそれぞれ表しており、これらの間には以下の式（２）で示す関係が成立していることから、先行車両までの距離Ｗを算出することができる。

ここで、単眼距離算出部２０３は、勾配やカーブのある路面等といったカメラの撮像方向と車両の背面とが略垂直でない場合には、先行車両までの距離を正確に算出することができない可能性がある。また、仮定された車両の車幅等を用いて先行車両までの距離を算出するため、対象物である車両の車幅が未知である場合にはその車両までの距離に誤差が生じる可能性がある。

そこで、図２で示すステレオ距離算出部２０４は、カメラ１０１、１０２で撮像されてカメラ画像保存部１０４ａ、１０４ｂに保存されたそれぞれの画像情報に基づいて対象物までの距離（第２の距離）を算出する。具体的には、カメラ画像保存部１０４ａ、１０４ｂから得られる画像情報から対応する画素を探索して視差を算出し、対象物までの距離を算出して（図９参照）、その算出結果を出力距離算出部２０６へ送信する。

より具体的には、視差を算出するためにカメラ１０１、１０２で撮像された画像の対応する点を探索する方法として、例えば絶対差の総和（Sum of the Absolute Differences : SAD）を算出する方法を適用し、一方の画像の特定の一部をテンプレートとしてその画像内で対応する位置を探索し、各画素の輝度値の絶対値差分の和を算出し、その総和が最も相関が高いとして対応する位置とする。これにより、一方の画像と他方の画像の位置ずれを視差とすることができる。ここで、ハードウェアで効率的に処理するために、双方の画像の縦位置を予め合わせておき（「平行化する」という。）、一方の画像の特定の一部を4x4画素程度として他方の画像を横方向のみ探索する。この処理を一方の画像全体に行うことで作成された画像を「距離画像」と称する。次いで、このように作成された「距離画像」から対象物である車両を検出するために、「距離画像」群から距離が同一である平面を探索し、その平面における対象物の幅が車両らしい幅である場合には「車両」として探索する。そして、このように検出された複数の「車両」領域の距離の平均値を算出することで対象物である車両までの距離を算出する。

ここで、単眼距離算出部２０３とステレオ距離算出部２０４とで算出される算出結果は実際の対象物までの距離と同一であることが望ましいものの、上記するような算出方法等に起因して双方の算出結果は必ずしも実際の対象物までの距離と同一とは限らない。

そこで、距離推定部２０２は、トラッキング処理と称される処理を実行し、前回の検出した距離から今回検知時（カメラ１０１、１０２による画像撮像時）の距離を推定して、その推定結果を出力距離算出部２０６へ送信する。具体的には、前回の車両領域等の対象物を検出した際の自車と対象物との挙動を記憶しておき、今回検出時の対象物との距離を推定する。より具体的には、例えば前回検出時の先行車等の対象物との相対速度を記憶しておき、前回検出時と今回検出時の経過時間に基づいて今回検出時の対象物との相対距離を推定する。なお、前回検知時の対象物までの距離等は、単眼距離算出部２０３やステレオ距離算出部２０４等の算出結果を用いることもできる。

そして、出力距離算出部２０６は、単眼距離算出部２０３とステレオ距離算出部２０４から送信された双方の距離と、ボケ量算出部２０１から送信されたボケ量と、距離推定部２０２から送信された推定距離と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離（最終距離）を算出する。その際、予めＲＯＭ１０５に保存されたボケ量と推定距離をパラメータとした選択テーブルを用いて、単眼距離算出部２０３から送信された距離とステレオ距離算出部２０４から送信された距離のいずれかを出力距離として選択する。

図４は、図２に示す出力距離算出部２０６で用いられる選択テーブルの一例を示したものである。なお、ボケ量は、上記するカメラ画像のボケ度合いの評価値を０から１００まで正規化した値であり、０がボケがない状態、１００がボケが最大の状態を表している。また、ボケ量は、カメラ画像保存部１０４ａに保存された画像情報のボケ量とカメラ画像保存部１０４ｂに保存された画像情報のボケ量のうちのいずれかを選択することができ、特に双方のボケ量のうち相体的に大きいボケ量を選択する。

図示するように、例えば推定距離が閾値よりも近く（例えば50mよりも近い）且つ画像情報のボケ量が閾値よりも小さい（例えば50よりも小さい）場合は、ステレオ距離算出部２０４で安定して対象物までの距離を算出できると考えられるため、出力距離算出部２０６は、ステレオ距離算出部２０４によって算出された距離（ステレオ距離）を出力距離として選択する。また、例えば推定距離が閾値よりも近く（例えば50mよりも近い）且つ画像情報のボケ量が閾値よりも大きい（例えば50よりも大きい）場合は、カメラに泥や雨滴等が付着して異常状態であると考えられるため、出力距離算出部２０６は、単眼距離算出部２０３によって算出された距離（単眼距離）を出力距離として選択する。さらに、推定距離が閾値よりも遠い（例えば50mよりも遠い）場合は、ステレオ距離算出部２０４による距離算出は視差値が小さく困難であると考えられるため、出力距離算出部２０６は、単眼距離算出部２０３によって算出された距離（単眼距離）を出力距離として選択する。

なお、単眼距離算出部２０３によって算出された距離（単眼距離）を出力距離として選択する場合、上記するように、前記単眼距離算出部２０３は、カメラ画像保存部１０４ａに保存された画像情報のボケ量とカメラ画像保存部１０４ｂに保存された画像情報のボケ量を比較し、相体的にボケ量の小さい画像情報に基づいて対象物までの距離を算出しているため、単眼距離算出部２０３における距離計測の精度は維持されている。

このように、推定距離とボケ量に基づいて単眼距離算出部２０３によって算出された距離（単眼距離）とステレオ距離算出部２０４によって算出された距離（ステレオ距離）のいずれかを選択することで、泥や雨滴等の影響によって一方のカメラの撮像状態が低下する場合であっても、安定して精度良く対象物までの相対距離を算出することができる。

［第２の実施の形態］
図５は、本発明に係る距離算出装置の第２の実施の形態の内部構成を示したものである。図５に示す第２の実施の形態の距離算出装置１０７Ａは、図２に示す第１の実施の形態の距離算出装置１０７に対して、ステレオ距離算出部が複数の距離算出手段を有する点が相違しており、その他の構成は、第１の実施の形態の距離算出装置１０７とほぼ同様である。したがって、第１の実施の形態の距離算出装置１０７と同様の構成については、同様の符号を付してその詳細な説明は省略する。

図示するステレオ距離算出部２０４Ａは、対象物までの距離算出方法の異なる３つの距離算出手段２０５Ａａ、２０５Ａｂ、２０５Ａｃを有している。

前記距離算出手段２０５Ａａは、上記する第１の実施の形態のステレオ距離算出部２０４と同様の距離算出方法を用いる手段であって、例えばカメラ画像保存部１０４Ａａに保存された画像情報の4x4画素を１ブロックとし、カメラ画像保存部１０４Ａｂに保存された画像情報から対応する点を探索する手段である。この距離算出手段２０５Ａａは、同じ演算を繰り返すためハードウェア化し易いという利点がある。

また、距離算出手段２０５Ａｂは、予め用意した車両等の対象物のテンプレートとのパターンマッチングによって、例えばカメラ画像保存部１０４Ａａに保存された画像情報から車両領域等の対象物を探索し、カメラ画像保存部１０４Ａａに保存された画像情報から切り出した車両領域等の対象物をテンプレートとしてカメラ画像保存部１０４Ａｂに保存された画像情報から探索して、カメラ同士の視差と対象物までの距離を算出する手段である。この距離算出手段２０５Ａｂは、カメラ画像保存部１０４Ａｂに保存された画像情報から車両領域等の対象物を探索する際に車両領域等の対象物をテンプレートとして使用するため、距離を算出すべき領域の画素値の全てを検索に利用することができ、検索時のマッチング精度が向上するという利点がある。したがって、例えば対象物が遠方に位置する場合であっても、対象物との距離を精度良く算出することができる。

また、距離算出手段２０５Ａｃは、予め用意した車両等の対象物のテンプレートとのパターンマッチングによって、カメラ画像保存部１０４Ａａに保存された画像情報とカメラ画像保存部１０４Ａｂに保存された画像情報からそれぞれの対象物の位置を算出し、カメラ画像保存部１０４Ａａに保存された画像上の対象物の位置とカメラ画像保存部１０４Ａｂに保存された画像上の対象物の位置からカメラ同士の視差を算出して対象物までの距離を算出する手段である。この距離算出手段２０５Ａｃは、車両等の対象物のテンプレートとのパターンマッチングによって画像のボケ等にロバスト性を有するという利点がある。したがって、双方のカメラがボケ等によって撮像状態が低下する場合であっても、対象物までの距離を比較的精緻に算出することができる。

ここで、距離算出装置１０７Ａは距離算出選択部２０７Ａを備えており、距離算出選択部２０７Ａは、ボケ量算出部２０１Ａから送信されるボケ量と距離推定部２０２Ａから送信される推定距離と後述する選択テーブル（図６参照）とに基づいて、ステレオ距離算出部２０４Ａの３つの距離算出手段２０５Ａａ、２０５Ａｂ、２０５Ａｃのうちいずれの距離算出手段を用いて距離演算を実行すべきかに関する信号をステレオ距離算出部２０４Ａへ送信する。

ステレオ距離算出部２０４Ａは、上記信号を受信すると、その情報に該当する距離算出手段とカメラ画像保存部１０４Ａａ、１０４Ａｂに保存されたそれぞれの画像情報とに基づいて対象物までの距離を算出し、その算出結果を出力距離算出部２０６Ａへ送信する。

出力距離算出部２０６Ａは、単眼距離算出部２０３Ａから送信された距離と、ステレオ距離算出部２０４Ａから送信された距離算出手段２０５Ａａ、２０５Ａｂ、２０５Ａｃのうちいずれの距離算出手段を用いて算出された距離と、ボケ量算出部２０１Ａから送信されたボケ量と、距離推定部２０２Ａから送信された推定距離と、に基づいて、ブレーキ等の制御系や表示系等に出力するための出力距離（最終距離）を算出する。その際、予めＲＯＭ１０５Ａに保存されたボケ量と推定距離をパラメータとした選択テーブルを用いて、単眼距離算出部２０３Ａから送信された距離とステレオ距離算出部２０４Ａから送信された距離のいずれかを出力距離として選択する。

図６は、図５に示す距離算出選択部２０７Ａや出力距離算出部２０６Ａで用いられる選択テーブルの一例を示したものである。なお、ボケ量は、カメラ画像保存部１０４Ａａに保存された画像情報のボケ量とカメラ画像保存部１０４Ａｂに保存された画像情報のボケ量のうちのいずれかを選択することができ、特に双方のボケ量のうち相体的に大きいボケ量を選択する。

図示するように、例えば推定距離が閾値よりも近い（例えば20mや50mよりも近い）場合は、泥や雨滴等の影響が少ないと考えられるため、出力距離算出部２０６Ａは、ステレオ距離算出部２０４Ａのうち特に任意の対象物に対してロバスト性を有する距離算出手段２０５Ａａを用いて算出された距離（ステレオａ距離）を出力距離として選択する。また、例えば推定距離が閾値よりも遠く（例えば50mよりも遠い）且つ画像情報のボケ量が閾値よりも小さい（例えば25よりも小さい）場合は、出力距離算出部２０６Ａは、ステレオ距離算出部２０４Ａのうち特に遠方を高精度で計測し得る距離算出手段２０５Ａｂを用いて算出された距離（ステレオｂ距離）を出力距離として選択する。また、例えば推定距離が中近傍（例えば21〜100m程度）且つ画像情報のボケ量が比較的大きい（例えば25よりも大きい）場合は、出力距離算出部２０６Ａは、ステレオ距離算出部２０４Ａのうち特に画像のボケ等にロバスト性を有する距離算出手段２０５Ａｃを用いて算出された距離（ステレオｃ距離）を出力距離として選択する。

また、例えば推定距離が遠く（例えば50mよりも遠い）且つ画像情報のボケ量が相体的に大きい（例えば50よりも大きい）場合は、ステレオ距離算出部２０４Ａによる距離算出は視差値が小さく困難であり、計測精度も低下すると考えられるため、出力距離算出部２０６Ａは、単眼距離算出部２０３Ａによって算出された距離（単眼距離）を出力距離として選択する。その際、単眼距離算出部２０３Ａは、カメラ画像保存部１０４Ａａに保存された画像情報のボケ量とカメラ画像保存部１０４Ａｂに保存された画像情報のボケ量を比較し、相体的にボケ量の小さい画像情報に基づいて対象物までの距離を算出しているため、単眼距離算出部２０３Ａにおける距離計測の精度は維持されている。

以下、図５に示す第２の実施の形態の距離算出装置１０７Ａの処理フローを図７、８を参照して具体的に説明する。

図７は、図５に示す第２の実施の形態の距離算出装置１０７Ａの処理フローを示したものであり、図８は、図７に示す認識カメラ切替処理の処理フローを示したものである。

図７で示すように、まず、ステレオ距離算出部２０４Ａで、予め用意した車両等の対象物のテンプレートによってカメラ画像保存部１０４Ａａに保存された画像情報から車両領域等の対象物を探索し、その領域の距離（ステレオ距離）を算出する（Ｓ７０１）。

次いで、距離推定部２０２Ａで、トラッキング処理を実行して対象物の今回検知時の推定距離を算出する（Ｓ７０２）。

次に、ボケ量算出部２０１Ａで、カメラ画像保存部１０４Ａａ、１０４Ａｂに保存された画像情報のボケ量を算出する（Ｓ７０３）。ここで、算出されたボケ量が閾値以上か否かを判定し（Ｓ７０４）、ボケ量が閾値よりも小さい場合には距離推定部２０２Ａのトラッキング処理（Ｓ７０２）へ戻り、ボケ量が閾値以上である場合にはステレオ距離算出部２０４Ａの認識カメラ切替処理を実行する（Ｓ７０５）。

前記認識カメラ切替処理は、ステレオ距離算出部２０４Ａのテンプレートマッチングで使用する画像情報を、カメラ画像保存部１０４Ａａに保存された画像情報からカメラ画像保存部１０４Ａｂに保存された画像情報へ、あるいは、その逆に切替える処理である。ここで、前記認識カメラ切替処理は、カメラ画像保存部１０４Ａａに保存された画像情報からカメラ画像保存部１０４Ａｂに保存された画像情報の双方を認識することも可能であるものの、そのように認識する場合にはその処理量が２倍となってしまうため、ハードウェアリソースの限られた組込み機器で処理するために、ボケ量算出部２０１Ａで算出したボケ量によって使用するカメラ画像情報を切替える。

すなわち、図８で示すように、この認識カメラ切替処理においては、車両等の対象物を検知するカメラを切替え（Ｓ７０６）、前フレームでのトラッキング情報を引き継ぐ（Ｓ７０７）。これは、前回検知時の検知位置情報を用いて今回検知時（カメラによる画像撮像時）にどの辺りに移動するのかを予測することによって、対象物の検知が失敗した場合に補完したり、対象物の検知位置が微小にずれる場合に補正して、対象物の検知結果を安定化させるためである。しかし、カメラ画像が切替わる毎にこのトラッキング情報を引き継がないと、トラッキング処理が一時的に途切れることとなり、カメラ画像が切替わる毎に対象物の検知性能が不安定となる。そこで、引き継いだトラッキング情報には少なくとも画像上の座標や距離、相対速度が含まれているため、引き継いだトラッキング情報の距離から今回検知時のカメラ画像上での対象物の位置を視差に基づいて更新する（Ｓ７０８）。そして、更新されたカメラ画像上での対象物の位置を用いて対象物の検知処理を行い、前回の位置探索範囲を視差に基づいて更新する（Ｓ７０９）。これにより、カメラが切替わったとしても、トラッキング処理を円滑に継続することができる。

このようにカメラ画像を切替えた後、図７に示すように、ステレオ距離算出部２０４Ａで、ボケ量算出部２０１Ａによって算出されたボケ量に基づいて適切な距離算出手段２０５Ａａ、２０５Ａｂ、２０５Ａｃを選択し（Ｓ７１０）、距離推定部２０２Ａで、トラッキング処理を実行して対象物の今回検知時の推定距離を算出して（Ｓ７１１）、切替前のカメラ画像が安定化するまでの間、切替後のカメラ画像で処理を継続する。

次に、単眼距離算出部２０３Ａによって算出された距離（単眼距離）とステレオ距離算出部２０４Ａによって算出された距離（ステレオ距離）との差が所定の閾値以上か否かを判定し（Ｓ７１２）、その距離の差が閾値以内の場合には認識カメラ切替処理を実行して（Ｓ７１３）、再び、距離推定部２０２Ａでトラッキング処理を実行して対象物の今回検知時の推定距離を算出する（Ｓ７０２）。また、距離の差が閾値よりも大きい場合には認識カメラ切替処理を実行せず、同一のカメラ画像で対象物の検知処理を実行する（Ｓ７１１）。

このように、第２の実施の形態の距離算出装置１０７Ａによれば、ステレオ距離算出部が様々な状況に対応し得る複数の距離算出手段を有することで、例えば一方のカメラに泥や雨滴等が付着してその撮像状態が低下する場合であっても、カメラの撮像状態や対象物との距離に応じた最適な距離を出力することができ、雨滴や泥等の影響を抑制してより精度良く対象物までの相対距離を算出することができる。

なお、図４や図６に示す推定距離やボケ量の閾値は、距離算出装置１０７、１０７Ａが適用される撮像システム１００や車両状態等によって適宜設定することができる。また、対象物までの推定距離に応じてボケ量の閾値を変更しても良い。例えば、自車両が対象物を検知して衝突回避のために急停車する場合（「プリクラッシュセーフティー」という。）には、対象物との距離が近い状態で距離計測方法がステレオから単眼に切り替わると、任意の対象物との距離を精度良く計測することができない可能性がある。そこで、対象物との距離が近い場合には、ステレオにて計測した距離を選択し、中距離から遠方に亘ってボケ量によってステレオから単眼へ切り替えることによって、対象物との距離が近い場合には常に同一の距離計測方法が適用することができ、当該装置の構成を簡素化して任意の対象物を確実に検知することができる。

また、上記する第１、２の実施の形態においては、２台のカメラ（撮像装置）を用いる形態について説明したが、少なくとも２つの撮像装置を有し、ステレオカメラによる対象物との距離計測が可能であれば、撮像装置の基数は適宜変更することができる。

また、上記する第１、２の実施の形態においては、ステレオカメラを構成する２台のカメラ（撮像装置）の一方若しくは双方を単眼カメラに用いる形態について説明したが、例えばステレオカメラを構成するカメラと単眼カメラをそれぞれ別個に設けても良い。

さらに、上記する第１、２の実施の形態においては、距離算出装置がボケ量算出部と距離推定部を内蔵する形態について説明したが、たとえば距離算出装置の外部にボケ量算出部と距離推定部を設けても良い。

なお、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００撮像システム
１０１、１０２カメラ（撮像装置）
１０３カメラ制御装置
１０４ＲＡＭ
１０４ａ、１０４ｂカメラ画像保存部
１０５ＲＯＭ
１０６外部ＩＦ
１０７距離算出装置
１０８ＣＰＵ
１０９バス
２０１ボケ量算出部
２０２距離推定部
２０３単眼距離算出部（第１の距離算出部）
２０４ステレオ距離算出部（第２の距離算出部）
２０６出力距離算出部

Claims

複数の撮像装置を備えた撮像システムの距離算出装置であって、
前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第１の距離算出部と、
前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出する第２の距離算出部と、
前記単数の撮像装置で撮像された画像情報と前記少なくとも２つの撮像装置で撮像された画像情報のボケ量を算出するボケ量算出部と、
前記単数の撮像装置と前記少なくとも２つの撮像装置による画像撮像時における前記対象物までの距離を推定する距離推定部と、
前記対象物までの出力距離を算出する出力距離算出部と、を備え、
前記出力距離算出部は、前記ボケ量算出部によって算出されたボケ量と前記距離推定部によって推定された推定距離とに基づいて、前記第１の距離算出部によって算出された第１の距離と前記第２の距離算出部によって算出された第２の距離のいずれかを前記出力距離として選択することを特徴とする距離算出装置。
前記第１の距離算出部は、前記単数の撮像装置で撮像された画像情報と前記少なくとも２つの撮像装置で撮像された画像情報のうち、前記ボケ量算出部によって算出されるボケ量が小さい画像情報に基づいて前記対象物までの距離を算出することを特徴とする請求項１に記載の距離算出装置。
前記第２の距離算出部は、前記少なくとも２つの撮像装置で撮像された画像情報に基づいて前記対象物までの距離を算出するための距離算出手段を複数有することを特徴とする請求項１または２に記載の距離算出装置。
前記距離算出装置は、前記ボケ量算出部によって算出されたボケ量と前記距離推定部によって推定された推定距離とに基づいて前記複数の距離算出手段のうちのいずれかを選択する距離算出選択部を更に備えることを特徴とする請求項３に記載の距離算出装置。
複数の撮像装置を備えた撮像システムの距離算出方法であって、
前記複数の撮像装置のうち単数の撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記複数の撮像装置のうち少なくとも２つの撮像装置で撮像された画像情報に基づいて対象物までの距離を算出し、前記単数の撮像装置で撮像された画像情報と前記少なくとも２つの撮像装置で撮像された画像情報のボケ量を算出し、前記単数の撮像装置と前記少なくとも２つの撮像装置による画像撮像時における前記対象物までの距離を推定し、前記ボケ量と前記推定距離とに基づいて算出されたそれぞれの距離のいずれかを前記対象物までの出力距離として選択することを特徴とする距離算出方法。