JP6836350B2 - 移動速度演算装置 - Google Patents

Description

本発明は、ステレオカメラを用いた移動速度演算装置に関する。

特許文献１には、距離データと、オプティカルフローとに基づいて、自車両前方に存在する立体物の移動速度を算出する移動速度検出装置が開示されている。この検出装置では、ステレオマッチングにより算出された距離データについて、横方向および距離方向の位置が接近しているものがグループ化され、グループを代表する視差（例えば、平均値や最頻値など）とともに立体物が認識される。また、時系列的に並ぶ複数の撮像画像に基づいて、立体物のオプティカルフローが検出される。立体物の移動速度は、距離データにより特定される立体物の実空間上の位置と、オプティカルフローにより特定される画像上の立体物の位置的な変化量とを、所定の数式に代入することによって算出される。この検出装置によれば、立体物を信頼性よく認識しつつ、立体物の移動速度を素早く算出することで、自車両前方に飛び出す歩行者のような立体物であっても、危険判定を有効に行うことができる。また、特許文献１には、画像平面上の全ての画素ブロックについてオプティカルフローを算出することだけでなく、オプティカルフローを算出する領域を画像平面の一部分に限定することで、演算量の低減を図ることについても記載されている。

特開２００５−２１４９１４号公報

しかしながら、特許文献１では、距離データとオプティカルフローとを用いて移動速度が算出される領域は、画像平面の全体または一部として固定的に設定されており、移動速度の算出手法を動的に切り替えるものではない。

本発明の目的は、画角付近に存在する立体物について、立体物認識の安定性と移動速度の迅速な算出との両立を図ることである。

かかる課題を解決すべく、本発明は、ステレオカメラと、ステレオ画像処理部と、立体物検出部と、移動速度算出部とを有する移動速度演算装置を提供する。ステレオカメラは、自車両前方の景色を撮像することにより、一対の撮像画像を時系列的に出力する。ステレオ画像処理部は、一対の撮像画像を用いたステレオマッチングを行い、撮像画像上における距離の分布である距離画像を生成する。立体物検出部は、距離画像上に設定された複数の区分のそれぞれについて、区分内に存在する距離のヒストグラムに基づいて距離代表値を算出すると共に、区分毎の距離代表値をグルーピングすることによって、路面上に存在する立体物を検出する。移動速度算出部は、画角付近に存在する立体物について、自車両を原点として、横方向をＸ軸、距離方向をＹ軸としたＸ−Ｚ座標系における距離代表値の傾きの推定値に応じて、立体物の移動速度の算出手法を切り替える。

ここで、本発明において、時系列的に前後する撮像画像に基づいて、立体物のオプティカルフローを検出するオプティカルフロー検出部をさらに設けてもよい。この場合、移動速度算出部は、距離代表値の傾きの推定値が所定の閾値以上の場合には、オプティカルフロー検出部によって検出されたオプティカルフローに位置的に対応する距離代表値の時間微分に基づいて、立体物の移動速度を算出する。また、移動速度算出部は、距離代表値の傾きの推定値が所定の閾値よりも小さい場合、立体物検出部によって検出された立体物の距離の時間微分に基づいて、立体物の移動速度を算出する。

また、本発明において、オプティカルフロー検出部は、自車両よりも左右外側の画像領域を処理対象として、オプティカルフローを検出してもよい。

本発明によれば、画角付近に存在する立体物について、距離代表値の傾きの推定値に応じて移動速度の算出手法を動的に切り替えることで、立体物認識の安定性と移動速度の迅速な算出との両立を図ることができる。

本実施形態に係る移動速度演算装置のブロック図 画角付近に先行車が存在する撮像画像を示す図 距離代表値の傾き推定の説明図

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本実施形態に係る移動速度演算装置のブロック構成図である。この移動速度演算装置１は、自動車等の車両に搭載され、自車両前方に存在する先行車等の立体物の移動速度を算出する。車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータを介して所定の輝度階調（例えば、ＲＧＢ２５６階調）のデジタル画像に変換され、画像補正部４に出力される。

画像補正部４は、それぞれのカメラ２，３から出力されたデジタル画像に対して、輝度の補正や画像の幾何学的な変換等を施す。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換回路等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当のステレオ画像は、後段のステレオ画像処理部５に出力されるとともに、後段の画像データメモリ６に格納される。

ステレオ画像処理部５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。ステレオ画像処理部５は、基準画像と比較画像とに基づいて、１フレーム相当の撮像画像に関する距離画像を算出する。ここで、「距離画像」とは、１フレームの撮像画像によって規定される画像平面において小領域毎に算出された視差ｄの分布・集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄの算出単位は、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロックであり、１つの画素ブロックより１つの視差が算出される。例えば、基準画像が２００×５１２画素で構成されている場合、１フレーム相当の撮像画像から、最大で画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出される。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。

ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部５は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を１画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量が、その画素ブロックＰＢｉｊの視差ｄとなる。

２つの画素ブロックの相関は、数式１に示すように、輝度差絶対和ＣＢを算出することにより評価することができる。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。輝度差絶対和ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。基本的に、エピポーラライン上に存在する画素ブロック毎に算出された輝度差絶対和ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。このような処理を経て算出された距離画像、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合が、距離データメモリ７に格納される。なお、ブロック間の相関評価は、輝度差絶対和ＣＢに限らず、輝度差二乗和を含めて任意の相関評価手法を用いることができる。

［数式１］
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜

立体物検出部８、オプティカルフロー検出部９および移動速度算出部１０を含む演算ユニットは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。立体物検出部８は、画像データメモリ６から読み出された撮像画像と、距離データメモリ７から読み出された距離画像とに基づき、自車両を基準とした三次元空間上における道路の形状を規定する道路モデルを算出する。道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現される。道路に沿って存在する植物の植え込みやパイロン、ガードレールなどの立体物、または、路面に描かれた車線を規定する白線（または黄線）といった特徴物は、道路形状を認識する上で有効である。立体物検出部８は、道路に沿って存在するこれらの特徴物の実空間上の位置を認識し、この位置を連結することにより道路モデルを算出する。特徴物の実空間上の位置（ｘ，ｙ，ｚ）は、距離データ上の位置（ｉ，ｊ）とこの位置に関して算出された視差ｄとに基づいて、周知の座標変換式より一義的に算出される。

また、立体物検出部８は、距離画像上に設定された複数の区分のそれぞれについて、区分内に存在する距離のヒストグラムに基づいて距離代表値を算出すると共に、区分毎の距離代表値をグルーピングすることによって、路面上に存在する立体物を検出する。具体的には、まず、１フレームの距離画像を横方向に分割することによって、縦短冊形状の複数の区分が設定される。それぞれの区分は、地面近傍が写し出される画像下側と、空が写し出される画像上方とを除いた領域として定義される。つぎに、個々の区分に関して、その内部に存在する距離値のヒストグラムが生成される。距離レンジを所定の長さ（区間）毎に分割した上で、ある区分内に存在するすべての距離値が該当する区間に投票される。そして、それぞれの区分について、区分内の距離値群を代表する距離代表値が特定される。この距離代表値は、所定のしきい値以上の出現頻度を有する距離値であり、同一区分内において単一または複数選択される。そして、区分と距離とによって規定される処理空間において、互いに隣接した距離代表値（前後方向および横方向の距離が近接しているもの）を同一物体とみなしてグループ化することによって、路面上に存在する立体物が検出される。立体物の実空間上の位置（ｘ，ｙ，ｚ）は、上記特徴物の場合と同様、距離データ上の位置（ｉ，ｊ）とこの位置に関して算出された視差ｄ（代表視差）とに基づいて、周知の座標変換式より一義的に算出される。以上の処理を経て、路面上に存在する立体物が検出される。

なお、道路形状を規定する道路モデルおよび立体物の認識に関する詳細については、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開平１１−２１３１３８号公報、特開２００１−９２９７０号公報などに開示されているので必要ならば参照されたい。

オプティカルフロー検出部９は、時系列的に前後する撮像画像に基づいて立体物のオプティカルフローを検出する。具体的には、まず、画像データメモリ６より、例えば、２フレーム分の撮像画像（基準画像）が読み込まれる。つぎに、前の撮像画像を構成する画素ブロック毎に、画素ブロック（相関元）の輝度特性と相関を有する領域（相関先）が後の撮像画像において特定される。オプティカルフローを検出する場合、上述したステレオマッチング処理とは異なり、相関元となる画素ブロックを後の撮像画像の全域に亘り水平／垂直方向に一画素ずつオフセットさせながら、最も高い相関を有する相関先を特定する（二次元マッチング）。この二次元マッチングにより、それぞれの画素ブロックについて、垂直方向における位置的な変化量（Δｊ）と、水平方向における位置的な変化量（Δｉ）とがオプティカルフローとして検出される。各画素ブロックについて検出されたオプティカルフローは、画像平面の位置（ｉ，ｊ）と対応付けられる。

本実施形態において、オプティカルフロー検出部９は、撮像画像全体を処理対象とするのではなく、自車両よりも左右外側の画像領域だけを処理対象として、オプティカルフローを検出する。後述するように、オプティカルフローが用いられるのは、ステレオカメラの画角近傍だけであることから、処理対象を限定して、演算負荷の軽減を図るためである。

移動速度算出部１０は、基本的に、立体物検出部８より出力された立体物の距離の時間微分に基づいて、この立体物の移動速度を算出する。ただし、移動速度算出部１０は、ステレオカメラの画角付近に存在する立体物については、上述した距離代表値の傾きの推定値に応じて、立体物の移動速度の算出手法を切り替える。図２（ａ）〜（ｄ）に示すように、画角横から先行車がカットインした場合（割り込み時や追い抜き時等）、立体物検出部８から出力された距離（例えば、距離代表値の平均値）を単純に時間微分した移動速度を用いると、先行車の側面Ｒが徐々に見えてくるが位置があまり変化しないため、相対速度が自車両より高いはずが低めに算出されてしまう。また、先行車の進行方向も推定できないため、カットインに対する自車両の応答が遅れる。

図３は、距離代表値の傾き推定の説明図である。自車両を原点として、横方向をＸ軸、奥行き（距離）方向をＺ軸とする。同図（ａ）に示すように、自車両と並行して先行車Ｒが走行している場合（先行車の背面が見えない状態）では、ストレオカメラによって写し出された先行車Ｒの側面に起因した代表距離値の群Ｚｒ(0)〜Ｚｒ(n)は、Ｚ軸とほぼ平行に並んでいる。この場合、Ｘ−Ｚ座標系において、代表距離値群Ｚｒ(0)〜Ｚｒ(n)の傾きを最小二乗法にて推定すると、この推定値は最大になる。立体物検出部８によって検出された先行車Ｒの距離の時間微分によって移動速度を算出する手法は立体物認識の安定性という点で優れているものの、この状態では、それよりもカットインに対する自車両の応答が遅れることが懸念される。

つぎに、同図（ｂ）に示すように、自車両の進行路に割り込もうとする先行車Ｒが存在する場合（先行車Ｒの背面が見えない状態）では、この先行車Ｒの側面に起因した代表距離値群Ｚｒ(0)〜Ｚｒ(n)は、大きな負の傾きを形成する。この場合、Ｘ−Ｚ座標系において、代表距離値群Ｚｒ(0)〜Ｚｒ(n)の傾きを最小二乗法にて推定すると、この推定値は比較的大きくなる。この状態も、立体物認識の安定性よりも、カットインに対する自車両の応答遅れが懸念される。

さらに、同図（ｃ）に示すように、自車両の進行路に割り込もうとする先行車Ｒが存在する場合（先行車Ｒの背面が見えている状態）では、この先行車Ｒの側面上の代表距離値群Ｚｒ(0)〜Ｚｒ(n)の一部は、大きな負の傾きを形成するが、先行車Ｒの背面に起因した残りのものは、正の傾きを形成する。この場合、Ｘ−Ｚ座標系において、代表距離値群Ｚｒ(0)〜Ｚｒ(n)の傾きを最小二乗法にて推定すると、この推定値は比較的小さくなる。先行車Ｒの背面が見えている本状態では、この背面の位置変化が大きいので、カットインに対する自車両の応答遅れは殆ど問題とならない。

そこで、先行車Ｒに関して算出された代表距離値群Ｚｒ(0)〜Ｚｒ(n)の傾きを最小二乗法にて推定し、この推定値を所定の閾値と比較すれば、カットインに対する自車両の応答遅れが問題となる状況であるか否かを適切に判定することができる。そして、この判定結果に応じて、オプティカルフロー検出部９によって検出されたオプティカルフローに位置的に対応する距離の時間微分、および、立体物検出部８によって検出された立体物に関する距離の時間微分のいずれかに切り替えることによって、先行車Ｒの移動速度が算出される。具体的には、移動速度算出部１０は、傾きの推定値が所定の閾値以上の場合には、オプティカルフロー検出部９によって検出されたオプティカルフローに位置的に対応する距離を選択する。この距離は、オプティカルフローが検出された画素ブロックについて算出された距離、または、この画素ブロックを含む区分の距離代表値が用いられ、先行車Ｒが存在する領域全体の平均の時間微分を移動速度とすることができる。一方、移動速度算出部１０は、傾きの推定値が所定の閾値よりも小さい場合、通常どおり、立体物検出部８によって検出された先行車Ｒの距離の時間微分に基づいて、先行車Ｒの移動速度を算出する。なお、速度算出に使用する距離は、所定の距離（例えば１０ｍ以内）に限定してもよい。

このように、本実施形態によれば、ステレオカメラの画角付近に存在する立体物について、距離代表値の傾きの推定値に応じて移動速度の算出手法を動的に切り替えることで、立体物認識の安定性と移動速度の迅速な算出との両立を図ることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。例えば、上述した実施形態では、ステレオ画像処理部５および演算ユニット（立体物検出部８、オプティカルフロー検出部９および移動速度算出部１０）のそれぞれが、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成される例について説明したが、これに限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、単一の中央処理装置、ＦＰＧＡ、ＡＳＩＣによって構成されるようにしてもよいし、これら複数を組み合わせることによって構成されるようにしてもよい。

また、コンピュータを、上述した移動速度演算装置１として機能させるプログラム、あるいは、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＮＶＲＡＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も、本発明の他の形態として提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

さらに、上述した移動速度演算装置１によって実行される処理を構成する各工程は、必ずしも上記実施形態で説明した順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

１ 移動速度演算装置
２ メインカメラ
３ サブカメラ
４ 画像補正部
５ ステレオ画像処理部
６ 画像データメモリ
７ 距離データメモリ
８ 立体物検出部
９ オプティカルフロー検出部
１０ 移動速度算出部

Claims (3)

1. 移動速度演算装置において、
   自車両前方の景色を撮像することにより、一対の撮像画像を時系列的に出力するステレオカメラと、
   前記一対の撮像画像を用いたステレオマッチングを行い、前記撮像画像上における距離の分布である距離画像を生成するステレオ画像処理部と、
   前記距離画像上に設定された複数の区分のそれぞれについて、当該区分内に存在する距離のヒストグラムに基づいて距離代表値を算出すると共に、前記区分毎の距離代表値をグルーピングすることによって、路面上に存在する立体物を検出する立体物検出部と、
   画角付近に存在する前記立体物について、自車両を原点として、横方向をＸ軸、距離方向をＹ軸としたＸ−Ｚ座標系における前記距離代表値の傾きの推定値に応じて、前記立体物の移動速度の算出手法を切り替える移動速度算出部と
   を有することを特徴とする移動速度演算装置。
2. 時系列的に前後する前記撮像画像に基づいて、前記立体物のオプティカルフローを検出するオプティカルフロー検出部をさらに有し、
   前記移動速度算出部は、
   前記距離代表値の傾きの推定値が所定の閾値以上の場合には、前記オプティカルフロー検出部によって検出された前記オプティカルフローに位置的に対応する前記距離代表値の時間微分に基づいて、前記立体物の移動速度を算出し、
   前記距離代表値の傾きの推定値が所定の閾値よりも小さい場合、前記立体物検出部によって検出された前記立体物の距離の時間微分に基づいて、前記立体物の移動速度を算出することを特徴とする請求項１に記載された移動速度演算装置。
3. 前記オプティカルフロー検出部は、自車両よりも左右外側の画像領域を処理対象として、オプティカルフローを検出することを特徴とする請求項１または２に記載された移動速度演算装置。

Images