JP6623044B2 - ステレオカメラ装置 - Google Patents

Description

本発明は、ステレオカメラ装置に関する。

車両の走行安全性を向上させるために、車両に搭載したカメラで前方を横切る歩行者を検知して、歩行者に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。

車両の前方を監視するセンサとして、ミリ波レーダー、レーザレーダ、カメラなどがある。カメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔の２つのカメラで撮影された重複領域の視差を利用して、撮影された物体までの距離を計測することができる。このため、前方の物体までの衝突危険度を的確に把握することができる。

しかし、ステレオカメラは、複数のカメラで共通に撮影される重複領域のみ距離を計測できるため、それぞれのカメラ単独で撮影される非重複領域（以下、単眼領域と記す）については、使用されないケースがあった。このため、文献１のように、単眼領域の歩行者をオプティカルフロー処理で検知する方法が提案されている。しかし、単眼領域で歩行者を検知するだけでは、その歩行者までの距離を把握することができないため、衝突の危険度の把握が困難である。

そこで、単眼領域で検知した移動体までの距離を推定する方法として、文献２の方法が提案されている。この方法は、重複領域で計測した路面の高さ情報を、単眼領域の路面にも適用するものである。

特開２００５−２４４６３号公報 特開２０１０−７９５８２号公報

特許文献２では、重複領域の路面高さをそのまま単眼領域に適用するため、重複領域と単眼領域の路面高さが等しい状態、つまり平坦な路面であることを前提としている。よって、単眼領域の路面に傾斜や段差があったときに、正確な距離を推定することが難しい。

本発明は、重複領域と単眼領域の路面の高さが異なる場合でも、単眼領域で検出される移動体の距離を高い精度で算出することができることを目的とする。

本発明は、車両に搭載された複数のカメラで撮影した複数の画像の重複領域の視差情報を取得する視差情報取得部と、前記重複領域で過去に取得された視差情報に基づいて、前記各画像中の前記重複領域以外の非重複領域で検出される物体と前記車両との距離を算出する物体距離算出部と、を備える。

本発明によれば、重複領域と単眼領域の路面の高さが異なる場合でも、単眼領域で検出される移動体の距離を高い精度で算出することができる。

ステレオカメラ装置の機能ブロック図 ステレオ領域と単眼領域の説明 単眼領域の路面高さ推定方法の原理説明 視差情報の記憶方式 システム全体のフローチャート 単眼領域の移動体の検知方式のフローチャート 単眼領域の移動体の検知方式の概要 レーザレーダと単眼カメラによる前方監視システムのブロック図 レーザレーダと単眼カメラの測定範囲の違い

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

図１は、ステレオカメラ装置１０のブロック図を示したものである。撮影部２０として右カメラ２２と左カメラ２１の２つのカメラを持つ。この両方のカメラが撮影した画像は、視差情報取得部３０と、物体検知部４０の両方に分配される。視差情報取得部３０では、右カメラ２２と左カメラ２１が撮影した画像の重複領域を用いて、視差情報を生成する部分である。また視差情報を記憶するための視差情報記憶部３１０を持つ。物体検知部４０は、右カメラ２２と左カメラ２１のそれぞれの単眼領域の画像の中の歩行者などの移動体を検知する。重複領域と単眼領域については図２で説明する。

物体距離算出部５０は、視差情報から算出した路面高さ情報を用いて、物体検知部４０が検知した単眼領域の移動体の距離を算出する。その距離の算出のために、車両の移動方向と移動量を推定するための車両挙動推定部５１０と、非重複領域路面情報推定部５２０を持つ。危険度判定部６０は、物体距離算出部５０が算出した歩行者等の移動体の距離に応じて、ドライバへの警告や車両を停止させるためのブレーキ制御信号を出力する。

図２において、ステレオカメラ装置１０が視差データを生成する動作概要について説明する。ここでは、右カメラ２２の画像と左カメラ２１の画像の重複領域をステレオ領域と呼ぶ。ステレオカメラ装置１０を搭載する車両の前方窓から見た実際の風景２３０には、前方車両２００、走行路面２０３、白線２０４、歩道路面２０５、歩行者２０２がある。

右カメラ２２で撮影した右画像のステレオ領域２２０と単眼領域２２２、左カメラ２１で撮影した左画像のステレオ領域２１０と単眼領域２１２があるとき、前方車両２００の一部２０１は、右画像のステレオ領域２２０では位置２２１の位置に撮影され、左画像のステレオ領域２１０では位置２１１の位置に撮影される。この結果、地点２２１と地点２１１には視差ｄが生じる。この視差ｄは、ステレオカメラ装置１０に近い場合大きい値となり、遠いものは小さい値となる。このように求めた視差を、画像全体で求める。この視差ｄを用いて、三角測量の原理でステレオカメラ装置１０までの距離を測定することが出来る。

視差ｄから距離Ｚは次の式で求められる。
Ｚ＝（ｆ×Ｂ）／ｄ
但し、ｆは右及び左カメラの焦点距離、Ｂは右カメラ２２と左カメラ２１の距離（基線長）である。また、視差データを３次元変換するために、上記Ｚを求めた地点の３次元上のＸ，Ｙ方向の距離を次の式で表す。
Ｘ＝（Ｚ×ｘｒ）／ｆ、
Ｙ＝（Ｚ×ｙｒ）／ｆ
但し、ｘｒは右画像２２０上でのｘ座標、ｙｒは右画像２２０上でのｙ座標である。

以上のように、ステレオカメラ装置１０で撮影した画像によって、被写体の３次元空間上の位置（Ｘ，Ｙ，Ｚ）をステレオカメラ装置１０からの距離で求めることができる。しかし、図２では、歩行者２０２は、左画像の単眼領域２１２でのみ撮影されており、このままでは視差データを算出することができず、距離を推定することはできない。

次に図３において、単眼領域の歩行者の距離を推定する方法を示す。図３（ａ）のシーンは、車両の前方窓から見た実際の風景２５０と、その風景２５０をステレオカメラ装置１０で撮影した画像を示す。風景２５０には、前方車両２００、路面２０３、白線２０４、歩道上の階段２０６歩行者Ａ２０７がある。これをステレオカメラ装置１０で撮影した場合、ステレオ領域２４０、左側の単眼領域２１２、右側の単眼領域２２２の３種類に分けられる。

図３（ａ）のシーンでは、階段２０６がステレオ領域２４０に撮影されているので、階段２０６の視差を算出することが可能であり、階段２０６の路面２０３からの高さｈ（メートル）をその視差から計測することができる。また、歩行者Ａ２０７の画像上の縦方向の高さをステレオ領域２４０の路面まで（たとえば点Ｐ）延長して、その点の路面の視差データを読み出して距離に変換することで、単眼領域２１２にいる歩行者２０７の距離を求めることができる。この場合、点Ｐは、白線２０４より内側とする。また、点Ｐは１ドットの視差データとするよりも、その高さの複数の点の視差データのヒストグラムを取り、最多の値を採用すると、ノイズに強くなる。

一方、図３（ｂ）のシーンは自車の進行により、風景２５０の中の階段２０６が（ａ）のシーンよりも近くなった状態である。階段２０６と自車との距離が近くなったことで、階段２０６は左側の単眼領域２１２に移動している。この（ｂ）では、階段２０６の上に歩行者Ｂ２０２がいる場合を示している。この左側の単眼領域２１２の画像では、階段２０６が路面２０３よりも高くなっているため、その上にいる歩行者Ｂ２０２の画面上の距離を正確に推定することはできない。

そこで、図３（ａ）のシーンの時、階段２０６と路面２０３の視差情報により路面からの高さ情報ｈ（メートル）として視差情報記憶部３１０に計測した時の距離とともに保存しておく。その後、図３（ｂ）のシーンになったら、自車が進行た距離に基づいて記憶していた路面高さ情報ｈを読み出し、階段２０６の路面２０３からの画像上の垂直方向の画素数ｖｈを計算して、その階段２０６の上の歩行者２０２の距離を算出する。

図３（ｂ）のシーンにおいて、歩行者Ｂ２０２が階段２０６の上にいる場合、路面２０３の画像上の位置ｖ１よりも階段の高さｈの分だけ高い位置となる。このまま歩行者の足元の画像上の垂直座標ｖ２を取得し、そのｖ２座標のステレオ領域の路面の視差情報により距離を求めると、実際より遠い距離になってしまう。そこで前記ｖ２座標から、階段２０６の路面２０３からの高さを引いた（低くした）ｖ１座標を得る。そのｖ１座標をステレオ領域まで伸ばして、その位置の路面の視差情報により歩行者Ｂ２０２の距離を求める。

高さｈから画像上の座標幅（ｖｈ）を算出する方法は、以下の通りである。
ｖｈ＝ｈ／（ｚｖ×ｗｖ／ｆ）
但し、ｚｖは階段２０６をステレオ領域２４０で計測した時の距離から自車が進行した距離を引いたもの、ｗｖはカメラの１画素の縦方向のサイズ、ｆは焦点距離である。

図４は、単眼領域の歩行者の距離を推定するフローチャートを示したものである。まず、撮影部２０の右カメラ２２と左カメラ２１で車両前方の画像を撮影する（Ｓ１１０）。次に、視差情報取得部３０で、上記撮影した画像から図２に示した方法により視差情報を生成する（Ｓ１２０）。

次に、自車の移動量が、設定値１よりも大きいかどうかを判定する（Ｓ１３０）。自車の移動量は車両挙動推定部５１０で推定され、車速パルスによる車両の移動距離とハンドルの切り角による方向を基に移動量を推定する。この設定値１は、自車が進行することでステレオ領域の画像が単眼領域に移動する範囲を決めたもので、図４の縦方向の区分領域２３１の区分幅に相当する。もし、設定値１よりも移動範囲が大きい場合は、区分領域の路面高さを計算し（Ｓ１４０）、その結果を視差情報記憶３１０に記憶する（Ｓ１５０）。次に、物体検知部４０で、単眼領域の歩行者検知処理を行う（Ｓ１８０）。

歩行者２０２を検知する方法は特に限定しないが、ここでは移動中のカメラからの移動体の検知に適している方法として、オプティカルフロー処理を用いるものとする。オプティカルフロー処理は画像を小領域に区分して、その小領域ごとに時間の経過に伴う移動ベクトルを求めるものである。図５と図６に本実施例で歩行者検知方式について説明する。

図５は、単眼領域で歩行者を検知する方式のフローチャートを示したものである。最初に、単眼領域で既に移動体（つまり歩行者）を検知済みであるかどうかを判定する（Ｓ３００）。検知していなければ、単眼領域についてオプティカルフロー処理を行う（Ｓ３１０）。次に移動体を検知したかどうか判定する（Ｓ３２０）。もし、オプティカルフローで移動体を検知したら、オプティカルフローで検知した移動体の一部の画像を、以降の処理で使用するための検索画像として記憶する（Ｓ３３０）。

図６で示すように、この記憶した画像を用いて、次のフレームからの処理負荷の少ないパターンマッチング方式による移動体の追跡を行う。オプティカルフローで検索した歩行者２０２の一部の画像を、検索画像４１０として記憶する。次のフレームからはオプティカルフローの代わりに、検索画像４１０の画像を、単眼領域２１２の画像とパターンマッチングを行う。この方法によれば、単眼領域の画像２１２を検索画像４１０で１フレームに１回検索すれば良いので、全てのフレームでオプティカルフロー処理を行う場合に比べて、高速処理が可能となる。また、検索画像を被検索対象である単眼領域２１２から抽出するので、マッチング判定が容易になる効果が有る。

図５に戻り、Ｓ３１０のオプティカルフローで移動体を検知したら、その移動体の画像上の位置、つまり２次元における位置を算出する（Ｓ３６０）。移動体を検知していなければ、移動体の検知無しとして終了する（Ｓ３８０）。時間が経過して次のフレームの画像が取得されたら、Ｓ３００で移動体検知済みとして判断し、検索画像４１０を用いてパターンマッチングで単眼領域を検索する（Ｓ３４０）。パターンが一致する位置を検知出来たら（Ｓ３５０）、移動体検知ありとしてＳ３６０に進む。一方、パターンマッチングで移動体を検知できなければ、移動体の検知なしとして終了する（Ｓ３７０）。

次に、図４に戻り、Ｓ１８０で歩行者の検知があったかどうかを判定する（Ｓ２００）。もし検知ありの場合は、非重複領域路面情報推定部５２０が算出する路面高さ情報、つまり歩道部分の階段２０６を含めた高さ情報により歩行者２０２の距離を算出する（Ｓ２１０）。

次に、危険度判定部６０の処理として、歩行者の距離が設定値２より近い場合は、ドライバに対して、注意・警告信号を出力する（Ｓ２３０）。この信号は音、光、または画面等に出力する。更に、歩行者が設定値３よりも近くなった場合は、自車のブレーキを動作させるためにブレーキ信号を出力する（Ｓ２５０）。設定値２と設定値３は、車両の速度や、車両の停止可能距離に応じて設定される。

図７は、視差情報記憶部３１０に視差情報を記憶する方法について、示したものである。画像全ての視差情報を記憶すると記憶データ量が多くなってしまうため、図７では、ステレオ領域２４０を所定の距離で縦方向に区分して、その区分領域２３１毎の最近部の路面２０３と、階段２０６を含む歩道２０５の視差を視差情報記憶部３１０に記憶する。このようにすることによって、記憶するデータ量を削減することができる。また、記憶する情報は視差情報ではなくて、歩道部分の高さを路面からの高さ情報に変換して記憶する方法もある。この場合、歩行者を検知してからその距離を算出するまでの計算量を減らし、歩行者の衝突危険度の判定時間の短縮を図ることが出来る。

次に、第２の実施例として、レーザレーダと単眼カメラを組み合わせた前方監視システムについて説明する。

図８は、レーザレーダ７０と単眼カメラ８０を用いた前方監視システムの例である。レーザレーダ７０は、１本または複数の赤外線レーザを上下左右にスキャンしながら、その反射時間を計測して前方の路面や物体を測距する。単眼カメラ８０は前方を撮影し、その撮影された画像から歩行者や車両を認識する。

レーザレーダ７０の測定範囲と単眼カメラ８０の撮影範囲が等しければ、単眼カメラ８０で認識した歩行者の距離はレーザレーダ７０の測距データにより算出することが可能であるが、図９のように単眼カメラ８０の撮影範囲が広角で、レーザレーダ７０の測定範囲２６０を超えているケースがある。このような場合、画面の端領域２１２、２２２から飛び出した歩行者を認識しても、このままではその歩行者までの距離を測ることが出来ない。そこで、実施例１で示したステレオカメラによる飛び出し歩行者の測距方式を適用する。

レーザレーダ７０で計測したデータは、距離情報取得部９０で３次元データとして処理される。図１の視差情報取得部３０では、視差情報から距離情報に変換していたが、この距離情報取得部９０では、レーザのスキャン座標（Ｘ，Ｙ）ごとに距離（Ｚ）を取得する。距離情報記憶部９１０は、視差情報記憶部３１０と同じように、この距離情報を記録する。

単眼カメラ８０の画像は、図１と同じように物体検知部４０で歩行者の検知を行う。以降は実施例１と同じ処理となる。

以上の実施例によれば、単眼領域の歩道路面の高さを正確に計測できるため、その歩道路面上の歩行者の距離を正確に推定することが可能となり、衝突危険度を正確に判定できる。また本実施例では、単眼領域の歩行者の距離をステレオ領域と同じように推定できるため、重複領域を画角としていた従来のものに比べて、ステレオカメラ装置及び前方監視システムの有効画角を広げることができる。

１０ ステレオカメラ装置
２０ 撮影部
２１ 左カメラ
２２ 右カメラ
３０ 視差情報取得部
４０ 物体検知部
５０ 物体距離算出部
６０ 危険度判定部
７０ レーザレーダ
８０ 単眼カメラ
９０ 距離情報取得部
２０２ 歩行者
２０３ 走行路面
２０６ 階段
２１０ 左画像のステレオ領域
２１２ 左画像の単眼領域
２２０ 右画像のステレオ領域
２２２ 右画像の単眼領域
２４０ 実際の風景におけるステレオ領域
３１０ 視差情報記憶部
５１０ 車両挙動推定部
５２０ 非重複領域路面情報推定部

Claims (4)

1. 車両に搭載された複数のカメラで撮影した複数の画像の重複領域の視差情報を取得する視差情報取得部と、
   前記重複領域で過去に取得された視差情報に基づいて、前記各画像中の前記重複領域以外の非重複領域で検出される物体と前記車両との距離を算出する物体距離算出部と、
   前記視差情報に基づいて路面高さを算出する路面高さ算出部と、を備え、
   前記物体は、前記重複領域の路面と異なる高さの前記非重複領域の路面上で検知され、
   前記物体距離算出部は、前記非重複領域で検出される前記物体までの距離を算出することを特徴とするステレオカメラ装置。
2. 前記路面高さ算出部で算出した歩道路面の高さ情報を記憶する記憶部を備え、
   前記歩道路面の高さを計測した画像領域が車両の移動に従って前記非重複領域に移動したとき、前記物体距離算出部は、前記記憶部に記憶した歩道路面の高さ情報を用いて画像高さ方向における前記物体の位置を補正して、前記物体と前記車両との距離を算出することを特徴とする請求項１に記載のステレオカメラ装置。
3. 前記非重複領域で検知される物体はオプティカルフローで検知された移動中の歩行者であり、
   前記オプティカルフローで検知された歩行者は、次のフレーム以降はパターンマッチング方式で追跡されることを特徴とする請求項１に記載のステレオカメラ装置。
4. 前記視差情報は、重複領域を垂直方向に特定の間隔で分割した領域単位で記憶されることを特徴とする請求項１から２のいずれか一項に記載のステレオカメラ装置。

Images