JP6247569B2

JP6247569B2 - 距離推定装置およびそれを備えた車両

Info

Publication number: JP6247569B2
Application number: JP2014050263A
Authority: JP
Inventors: 吉田　睦; 睦吉田; 直樹難波; 芳紀倉貫
Original assignee: Yamaha Motor Co Ltd
Current assignee: Yamaha Motor Co Ltd
Priority date: 2014-03-13
Filing date: 2014-03-13
Publication date: 2017-12-13
Anticipated expiration: 2034-03-13
Also published as: JP2015175635A

Description

本発明は、画像センサを用いて距離を推定する距離推定装置およびそれを備えた車両に関する。

従来、ゴルフ場内の走路を走行するゴルフカートには自律走行機能を有しているものがある。自律走行は電磁誘導線から発生する磁界を検出することで行われる。また、ゴルフカートの前面にステレオカメラを設けて、ゴルフカート前方の障害物を検出する障害物検出装置を備えるものもある。

ステレオカメラは、少なくとも２個の画像センサを有しており、これら画像センサ間に相対的な位置ずれが発生すると、画像間のステレオマッチングの精度が低下し距離の推定精度が低下する。そこで、カメラキャリブレーションにより画像センサ間の相対的位置ずれを検出し、撮影された画像を位置補正することで、ステレオマッチングの精度低下を防止することができる。特許文献１には単眼モーションステレオを利用したステレオカメラのキャリブレーションが記載されている。

特許文献１の技術
特許文献１には、単眼モーションステレオを利用してステレオカメラの位置ずれ量を推定することが記載されている。単眼モーションステレオの利用では、静止していない被写体については距離の測定ができない。そこで、静止している路面を被写体としている。なお、路面を被写体とすることに対して、路面は平面であると仮定し、車両に搭載されたカメラと路面との相対関係が常に一定であるということを前提としている。

特許４８１４６６９号公報

しかしながら、ステレオカメラの位置ずれを補正するために、特定のコードやパターンの設置、あるいはキャリブレーション時の周囲環境の限定などを必要とし、簡易に位置ずれを補正できない問題がある。特許文献１の技術による単眼モーションステレオの利用では、路面上に他の移動物が常に存在しないとは限らず、また、路面が平面とは限られないので、必ずしもステレオカメラのキャリブレーションが実施できるとは限らない。

本発明は、このような事情に鑑みてなされたものであって、走路環境に影響されずにステレオカメラの画像センサ間の相対的位置ずれ量を補正する距離推定装置およびそれを備えた車両を提供することを目的とする。

上記目的を達成するために、本発明は次のような構成をとる。
すなわち、本発明は、移動体に搭載される距離推定装置において、少なくとも２つの画像センサを有するステレオカメラと、撮影された画像において静止物が撮影された静止領域を判定する静止領域判定部と、前記画像センサ間の位置ずれを補正する補正マップを用いて少なくとも１つの画像センサにより撮影された画像を補正する画像補正部と、各画像センサにより撮影された画像を基にステレオマッチングにより視差画像を作成する視差画像作成部と、前記移動体の移動間の前記画像および移動距離を基に前記静止領域の距離を推定する単眼モーションステレオ部と、前記視差画像の視差と前記単眼モーションステレオ部により推定された距離とから前記画像センサ間の位置ずれ量を算出するずれ量算出部と、前記位置ずれ量を基に前記補正マップを更新する補正マップ更新部と、前記画像補正部により補正された画像を用いて作成された前記視差画像を基に被写体までの距離を推定する距離推定部とを備える。

本発明によれば、ステレオカメラは少なくとも２つの画像センサを有する。静止領域判定部は、撮影された画像内において静止物が撮影された静止領域を判定する。画像補正部は、画像センサ間の位置ずれを補正する補正マップを用いて少なくとも１つの画像センサにより撮影された画像を補正する。単眼モーションステレオ部は、移動体の移動間の画像および移動距離を基に静止領域の距離を推定する。ずれ量算出部は、視差画像の視差と単眼モーションステレオ部により推定された距離とから画像センサ間の位置ずれ量を算出する。補正マップ更新部は、位置ずれ量を基に補正マップを更新する。距離推定部は、画像補正部により補正された画像を用いて作成された前記視差画像を基に被写体までの距離を推定する。

移動体が静止状態に撮影された画像と移動時に撮影された画像を用いるだけで、ステレオカメラの画像センサ間の位置ずれ補正を実現することができる。したがって、特定コードやパターンの設置を必要としない。また、撮影された画像内の静止物の静止領域を判定するので、カメラキャリブレーション時に他の移動物の無い環境を必要とすることもない。このように、走路環境に影響されずにステレオカメラの画像センサ間の相対的位置ずれ量を補正することができる。

また、撮影された画像を基にオプティカルフローを算出するオプティカルフロー算出部を備え、前記静止領域判定部は、前記移動体が停止状態において撮影された画像を基に算出された前記オプティカルフローから当該画像において静止物が撮影された前記静止領域を判定し、前記単眼モーションステレオ部は、前記移動体の移動間の画像から算出されたオプティカルフローおよび移動距離を基に前記静止領域の距離を推定することが好ましい。

オプティカルフロー算出部は、撮影された画像を基にオプティカルフローを算出する。静止領域判定部は、移動体が停止状態において撮影された画像を基に算出されたオプティカルフローから当該画像において静止物が撮影された静止領域を判定する。単眼モーションステレオ部は、移動体の移動間の画像から算出されたオプティカルフローおよび移動距離を基に静止領域の距離を推定する。オプティカルフローを用いることで、静止領域の判定および静止領域までの距離の推定を簡易にすることができる。

また、移動体が移動してから補正マップが更新するまでの間、距離推定部の停止を報知する提示部を有することが好ましい。提示部が運転者に対して移動体が移動してから補正マップが更新されるまでの間、距離推定部の停止を報知する。これにより、運転者は、
補正マップが更新されるまで、距離推定ができないことを知ることができる。したがって運転者の注意を周囲環境に向けることができる。

また、本発明に係る車両は、上記距離推定装置を備える車両である。上記距離推定装置を備えるので、車両前方の物体との距離を精度良く検出することができる。

また、移動体は、距離推定装置により推定された距離から障害物を検出する障害物検出部を備えることが好ましい。画像センサ間の位置ずれが補正されて精度が向上した距離推定結果を用いて障害物を検出するので、障害物の検出精度も向上させることができる。

また、移動体は、障害物検出用の距離センサを備えることが好ましい。距離推定装置の補正マップが更新されるまでの間距離を推定することができない。しかしながら、ステレオカメラとは別の距離センサを備えることで、補正マップが更新されるまでの間でも距離を測定することができ、障害物を検出することができる。これにより、移動体と障害物との接触の回避を向上させることができる。

本発明によれば、走路環境に影響されずにステレオカメラの画像センサ間の相対的位置ずれ量を補正する距離推定装置およびそれを備えた車両を提供することができる。

実施例１に係る車両の前面図である。実施例１に係る車両の構成を示すブロック図である。実施例１に係る距離推定装置の構成を示すブロック図である。実施例１に係るステレオカメラと距離情報の向きとの関係を示す説明図である。実施例１に係るステレオカメラと距離情報の向きとの関係を示す説明図である。図６（ａ）は実施例１に係るオプティカルフローを示す説明図であり、図６（ｂ）はキャリブレーション時の車両の位置関係を示す説明図である。実施例１に係るステレオカメラと距離情報との関係を示す説明図である。実施例１に係る障害物検出を示す説明図である。実施例１に係るキャリブレーションの流れを示すフローチャートである。実施例１に係る障害物検出の流れを示すフローチャートである。実施例２に係る車両の構成を示すブロック図である。実施例２に係るキャリブレーション中の障害物検出の流れを示すフローチャートである。

以下、図面を参照して本発明の実施例１を説明する。本発明における移動体の実施形態として、自律走行するゴルフカートを挙げる。本発明における移動体はゴルフカートに限られず、工場や果樹園で走行する無人搬送車も含まれる。また、本発明における移動体は４輪車に限られず、３輪車でもよいし、モノレール型でもよい。なお、以下の説明で、前後および左右とは移動体の前進する方向を基準としている。

１．車両の概略構成
図１および図２を参照する。図１は、実施例に係る車両１の前面図であり、図２は車両１の構成を示す機能ブロック図である。車両１はゴルフ場内を自律または手動走行するゴルフカートである。車両１は、走路に埋め込まれた誘導線から発せられる電磁波に誘導されて自律走行することができる。車両１の前面中央部にステレオカメラ３が設けられている。車両１は本発明における移動体に相当する。

また、車両１には、車両１の前方の物体との距離を推定する距離推定装置４と、車両１の前方の障害物を検出する障害物検出部５と、車両１が誘導線に沿って自律走行するのを制御する自律走行制御部７と、障害物の検出により減速または停止の制御をする車速制御部９と、車輪１０を駆動し、車速制御部９により回転数が制御される駆動モータ１１とが設けられている。

実施例１において、車両１は駆動モータ１１で駆動されるがこれに限らず、エンジンにより駆動されてもよい。車輪１０の１つには車輪速センサ１２が設けられており、車輪１０の回転速度を検出することで車両１の車速を検出することができる。また、車輪１０の回転速度から車両１の移動距離も検出することができる。検出された車速および移動距離は、距離推定装置４および車速制御部９へ送られる。

２．距離推定装置の構成
次に図３を参照して車両１に備えられた距離推定装置４の構成を説明する。図３は、距離推定装置４の構成を示すブロック図である。

距離推定装置４は、車両１の前方の画像を撮影するステレオカメラ３と、ステレオカメラ３により撮影された画像を一時的に保管する画像メモリ２１と、車両１が停止状態か走行状態かを判定する走行状態判定部２３と、撮影された画像間のオプティカルフローを算出するオプティカルフロー算出部２５と、画像内の静止物の領域を判定する静止領域判定部２７と、撮影された画像間の単眼モーションステレオを実施する単眼モーションステレオ部２９と、ステレオカメラ３により撮影された画像を基に視差画像を作成する視差画像作成部３１と、単眼モーションステレオ部２９により算出された距離と、視差画像作成部３１により作成された視差とを基に画像センサの位置ずれを算出するずれ量算出部３３と、作成された視差画像から各画素の距離情報を推定する距離推定部３５と、ステレオカメラ３内の撮像センサの相対位置補正テーブルである補正マップ３７と、補正マップ３７を更新する補正マップ更新部３９と、補正マップ３７にしたがって撮影された画像データを補正する画像補正部４１と、種々の情報を表示し、また、運転者からの入力装置でもあるタッチパネル８とを備える。

走行状態判定部２３、オプティカルフロー算出部２５、静止領域判定部２７、単眼モーションステレオ部２９、視差画像作成部３１、ずれ量算出部３３、距離推定部３５、補正マップ更新部３９、および、画像補正部４１はマイクロプロセッサまたはＦＰＧＡ（Field Programmable Gate Array;再構成可能なゲートアレイ）で構成される。

距離推定装置４は、補正モードと通常モードとの２つの動作モードを有する。補正モードは、ステレオカメラ３内の各画像センサ間の相対位置の補正を実施するモードである。通常モードは、車両１が走行中に前方の物体との距離を推定するモードである。補正モードおよび通常モードの選択は、タッチパネル８を介して運転者がすることができる。タッチパネル８は、情報提示部とモード選択部との両方の機能を有する。次に、距離推定装置４のそれぞれの構成部について順に説明する。

ステレオカメラ３は、左画像センサ３ａと右画像センサ３ｂとの２個の画像センサで構成される。左画像センサ３ａおよび右画像センサ３ｂはＣＣＤやＣＭＯＳなど一般的な可視光センサである。左画像センサ３ａ、右画像センサ３ｂは予め定められた幾何条件の下で車両１に設置されている。実施例１では、左画像センサ３ａ、右画像センサ３ｂは水平方向に一定距離を保たれて設置されている。すなわち、左画像センサ３ａおよび右画像センサ３ｂはそれぞれ平行ステレオの位置関係で配置されている。左画像センサ３ａ、右画像センサ３ｂは、それぞれ撮影された画像の各行の位置が一致するように、すなわち、エピポーラ線が一致するように配置されている。左画像センサ３ａで撮影された画像を左画像とし、右画像センサ３ｂで撮影された画像を右画像とする。実施例１では左画像センサ３ａを基準カメラとし、左画像を基準画像とする。なお、ステレオカメラ３が備える画像センサの数は２個に限られず３個以上でもよい。また、右画像を基準画像としてもよい。

ここで、撮像センサ３ａ、３ｂの座標系を図４および図５を参照して説明する。ステレオカメラ３の横方向（左右方向）にＸ軸が設けられ、ステレオカメラ３の縦方向（上下方向）にＹ軸が設けられ、ステレオカメラ３の前方向（奥行き方向）にＺ軸が設けられている。

左画像センサ３ａの中央部を原点Ｏ_Ｌとし、右画像センサ３ｂの中央部を原点Ｏ_Ｒとする。左画像センサ３ａと右画像センサ３ｂとの位置ずれとして、Ｘ軸方向並進ずれとＹ軸周り回転ずれと、Ｙ軸方向並進ずれとが挙げられる。なお、実施例１では、Ｘ軸方向並進ずれとＹ軸周り回転ずれの補正を実施する。

画像メモリ２１は、ステレオカメラ３から送られる画像、すなわち、画像センサ３ａ、３ｂから送られる各画像を一時的に保管する。画像メモリ２１は、メモリ、フラッシュメモリ、ハードディスク（ＨＤＤ）などを用いる。なお、図３上では画像メモリ２１は画像センサ３ａ、３ｂのそれぞれに対応して設けられているが、１つのメモリでもよい。なお、保管される各画像は、補正パラメータを用いてレンズ歪み、焦点距離のばらつき等が補正された画像が好ましい。このような補正により、画像センサの光軸に対して垂直な面のテクスチャが画像投影面に対しても同様に投影される。

走行状態判定部２３は、車輪速センサ１２が検出した車速を基に、車両１が停止状態か走行状態かを判定する。判定結果は、オプティカルフロー算出部２５、静止領域判定部２７および単眼モーションステレオ部２９へ送られる。

オプティカルフロー算出部２５は、画像メモリ２１から入力された２枚の画像間のオプティカルフローを算出する。２枚の画像は予め定められたフレーム間隔で撮影されたものである。フレーム間隔として、例えば、３０分の１秒である。オプティカルフローの算出は、ＳＡＤ（Sum of absolute differences）等のテンプレートマッチングによるブロックマッチングを用いる。

車両１が停止状態で撮影された２枚の左画像から算出されたオプティカルフローは静止領域判定部２７へ出力される。また、車両１が停止状態から走行状態への移行時、または、走行状態で撮影された２枚の左画像から算出されたオプティカルフローは単眼モーションステレオ部２９へ出力される。

静止領域判定部２７は、車両１が停止状態でのオプティカルフローを基に、撮影された左画像内における静止物の領域を判定する。すなわち、左画像においてオプティカルフローが検出されなかった画素領域を動きの無い静止領域として判定する。図６を参照する。時刻ｔ＝ｔ_ｏおよびｔ_１の際に車両１は停止状態である。時刻ｔ_ｏにおいて左画像Ｌｍ０が撮影され、時刻ｔ_１において左画像Ｌｍ１が撮影されている。停止状態で撮影された左画像Ｌｍ０およびＬｍ１間で、オプティカルフローが検出されなかった領域は静止物の静止領域Ｓａとして検出される。また、オプティカルフローＯｆｓが検出された被写体Ｍａは動きのある物体として検出される。判定された静止領域Ｓａの座標データは単眼モーションステレオ部２９へ出力される。静止領域Ｓａが判定されると、静止領域判定部２７は、タッチパネル８へ走行開始の案内を表示するよう指示する。なお、点Ｐ_ＬＯは、静止領域Ｓａ内の特徴点の１つである。

単眼モーションステレオ部２９は、静止領域Ｓａにおける車両１の走行状態のオプティカルフローを基にモーションステレオ法を用いて対象画素の距離情報を推定する。図６を参照する。停止状態である時刻ｔ_１から車両が前方に移動を始めて時刻ｔ_２において左画像Ｌｍ２が撮影されている。左画像Ｌｍ１から左画像Ｌｍ２にかけて静止領域Ｓａ内の特徴点の座標が点Ｐ_ＬＯから点Ｐ_Ｌ２へ移動している。すなわち、左画像Ｌｍ１およびＬｍ２間での静止領域ＳａのオプティカルフローＯｆｍがオプティカルフロー算出部２５により検出される。

時刻ｔ_１の停止状態から時刻ｔ_２までの間に、車両１が前方へ動いてＺ方向にＬｚ進むとする。このとき、時刻ｔ_２の位置の車両１からＺ軸方向に距離Ｚｍだけ離れた点Ｐｚにおけるオプティカルフローは下式で示される。なお、点Ｐｚが撮影された左画像上における座標を、左画像Ｌｍ２における点Ｐ_Ｌ２（ｕ，ｖ）とする。すなわち、ｕ、ｖは点Ｐｚが撮影された点Ｐ_Ｌ２の座標値である。また、点Ｐ_Ｌ２は左画像Ｌｍ２における静止領域Ｓａ上の点である。Δｕ、Δｖは時刻ｔ_１からｔ_２におけるフレーム間移動量（フロー）である。すなわち、左画像Ｌｍ２上の点Ｐ_Ｌ２におけるオプティカルフローＯｆｍである。

Ｌｚを車輪速センサ１２から測定することで（１）式により、点Ｐｚまでの距離Ｚｍを算出することができる。このようにして推定された距離情報Ｚｍは、ずれ量算出部３３へ送られる。なお、距離情報Ｚｍは、（Δｕ,ｕ）または（Δｖ，ｖ）のいずれかの組み合わせにより算出することができるが、ハンドルが切られている場合（Δｖ，ｖ）により、地面が勾配変化がある場合、（Δｕ,ｕ）により算出することで、それぞれの影響を排除することができる。

視差画像作成部３１は、入力される各画像から視差画像を作成する。すなわち、画像メモリ２１に保管されている左画像および右画像を基に視差画像を作成する。視差画像は例えばＳＡＤ等のステレオマッチングにより作成することができる。ステレオマッチングの方法は、他にも、面積相関法や、Census transformが挙げられる。ここでの視差は複数画像間の画素のずれ量を示す。実施例１において、視差は、左画像に対する右画像の横方向の画素のずれ量である。なお、視差画像上のＸ座標およびＹ座標は基準画像上のＸ座標およびＹ座標と同じである。補正モードにおいて作成された視差画像はずれ量算出部３３へ出力される。また、通常モードにおいて作成された視差画像は距離推定部３５へ出力される。

ずれ量算出部３３は、単眼モーションステレオ部２９において算出された静止領域での距離Ｚｍと視差画像作成部３１において作成された視差画像上の同じ静止領域における視差ｄｃとを基に、左画像センサ３ａと右画像センサ３ｂとの並進位置ずれ量Δｔｘと回転ずれ量Δωｙを算出する。具体的なずれ量の算出方法について図７を参照して以下に説明する。

図７は時刻ｔ_２におけるステレオカメラと距離情報との関係を示す説明図である。２台の画像センサ３ａ、３ｂ間の距離（ステレオカメラ３の基線長）Ｂ、および、２台の画像センサ３ａ、３ｂの焦点距離ｆと視差画像を用いることで、視差画像および基準画像の各画素に対応した距離情報を算出することができる。なお、左画像を基準画像としているので、左画像の座標点と視差画像の座標点とが一致する。ここで、視差画像とは、左画像の各座標に対応して視差ｄをデータとして有する画像であるが、画像でなくても単にテーブルでもよい。

時刻ｔ_２における左画像Ｌｍ２（視差画像）上の座標Ｐ_Ｌ２（ｕ、ｖ）に対する距離情報Ｚは、右画像Ｒｍ２上の座標Ｐ_Ｒ２（ｕ’、ｖ）を用いてステレオ法により以下の式にて求めることができる。

ここで、座標Ｐ_Ｌ２（ｕ、ｖ）は左画像Ｌｍ（視差画像）の中央を原点Ｏ_Ｌとした左画像Ｌｍにおける座標であり、座標Ｐ_Ｒ２（ｕ’、ｖ）は右画像Ｒｍの中央を原点Ｏ_Ｒとした右画像Ｒｍにおける座標である。また、ここで算出されるずれ量は、Ｘ方向の並進位置ずれ量ΔｔｘとＹ軸まわりの回転ずれ量Δωｙである。

単眼モーションステレオにより距離推定結果がＺｍとなる対象画素は、（３）式より下式の視差ｄｍを有することになる。なお、説明を簡単にするため、座標も視差も単位は距離と同じとする。

一方、Ｘ軸方向並進ずれ量Δｔｘ、Ｙ軸まわり回転ずれ量Δωｙのステレオカメラを用いたステレオマッチングにより得られる視差がｄｃとすると、下式が成り立つ。

ここで、右辺の第１項は、Ｘ軸方向並進ずれ量Δｔｘを基線長Ｂの変化として入れこんだ視差である。また、右辺の第２項のΔＳは、Ｙ軸周り回転ずれ量Δωｙに起因するＸ座標方向ずれ量である。ここではΔＳ≒ｆΔωｙと近似する。（４）式および（５）式より以下の式を得る。

オプティカルフローおよび視差画像を用いることで、静止領域判定部２７により静止領域と判定された複数の画素領域における（ｄｍ，ｄｃ）を用いて、（６）式に最小二乗法をかけるなどすることにより、ΔｔｘおよびΔωｙを算出する。すなわち、視差画像において静止領域に相当する領域での視差ｄｃと、この静止領域における単眼モーションステレオから得られる視差ｄｍとの複数の組み合わせから、ΔｔｘおよびΔωｙが算出される。算出されたΔｔｘ及びΔωｙは補正マップ更新部３９へ送られる。

補正マップ更新部３９は、算出された並進位置ずれ量Δｔｘと回転ずれ量Δωｙを基に補正マップ３７を更新する。補正マップ３７は画像センサ３ａ、３ｂの相対位置補正用テーブルである。補正マップ３７が更新されたことで、距離推定装置４は、動作モードを補正モードから通常モードへ変更する。

画像補正部４１は、通常モードにおいて画像メモリ２１に保管されている左画像を補正マップ３７に基づいて補正し、視差画像作成部３１へ送る。視差画像作成部３１は、通常モードにおいては、画像センサ３ａ、３ｂの相対位置が補正された左画像とこの左画像と同時に撮影され画像メモリ２１に保管されている右画像とを用いて視差画像を作成する。

距離推定部３５は、通常モードにおいて、作成された視差画像を基に、各画素が表示する被写体までの実空間上の距離を推定する。視差画像から距離を推定する方法は、従来から利用されている平行ステレオ法を用いる。推定された距離情報は障害物検出部５へ送られる。

次に、図８を参照して障害物検出部５の障害物検出方法を説明する。図８は、障害物検出を示す説明図である。障害物検出部５は、実空間上の予め定められた空間内に距離が同一のまとまった点群が検出されると、そこに何らかの障害物が存在すると判断する。すなわち、車両１の進行方向の実空間ＸＹＺにおいて、予め定められた検出範囲の空間Ｓｐ内に、車両１からほぼ同じ距離にある点群ＰＧが検出されると、これらの点群ＰＧを障害物として検出する。障害物は、物体であってもよいし、人であってもよい。

障害物が検出されると、障害物の存在をタッチパネル８から運転者へ警告すると共に、障害物との距離に応じて車速制御部９により車速が減速制御される（図２参照）。車両１と障害物との距離が近い程、減速が大きくなされる。これにより、車両１と障害物との衝突回避を向上させることができる。

次に、実施例１における距離推定の動作を図９を用いて説明する。図９は距離推定の処理手順を示すフローチャートである。

車両の電源がＯＮされると、距離推定装置４は補正モードか通常モードかを判定する（ステップＳ０１）。タッチパネル８を介して補正モードが選択された場合（ステップＳ０１のＹｅｓ）、タッチパネル８に車両１の停止案内を表示して、運転者に停止指示する（ステップＳ０２）。なお、通常モードが選択された場合（ステップＳ０１のＮｏ）、障害物を検出する処理手順（Ａ）へ進む。この処理手順（Ａ）については後述する。なお、補正モードが選択されてから補正マップ３７の更新が完了するまでの間、タッチパネル８には、距離推定部４の機能停止が表示される。タッチパネル８からの表示に限らずスピーカから距離推定部４の機能停止の音声アナウンスがされてもよい。このような案内により、運転者に距離推定がされていないことの注意喚起をすることができる。

タッチパネル８に停止案内を表示させた後、走行状態判定部２３は車両１が停止状態であるか否かを車輪速センサ１２の出力値から判定する（ステップＳ０３）。車両１が停止状態でないと判定されると（ステップＳ０３のＮｏ）、ステップＳ０２に戻って、再び車両１を停止するように案内する。車両１が停止状態であると判定されると（ステップＳ０３のＹｅｓ）、左画像センサ３ａが予め定められた時間間隔で複数の画像を撮影する（ステップＳ０４）。撮影された左画像は画像メモリ２１に格納する。次に、画像メモリ２１に格納されている画像を基に、オプティカルフロー算出部２５が左画像の少なくとも２枚の画像間のオプティカルフローを算出する（ステップＳ０５）。次に、静止領域判定部２７は、２枚の画像間においてオプティカルフローが算出されなかった画素領域を静止物の領域として判定する（ステップＳ０６）。

静止領域の判定が完了すると、タッチパネル８に車両１の走行案内を表示して、運転者に走行指示する（ステップＳ０７）。タッチパネル８に走行案内を表示させた後、走行状態判定部２３は車両１が走行状態であるか否かを車輪速センサ１２の出力値から判定する。車両１が走行状態でないと判定されると（ステップＳ０８のＮｏ）、ステップＳ０７に戻って、再び車両１を走行するように案内する。車両１が走行状態であると判定されると（ステップＳ０８のＹｅｓ）、単眼モーションステレオ部２９は、単眼モーションステレオによる距離推定を行う（ステップＳ０９）。また、視差画像作成部３１は、単眼モーションステレオの距離推定に用いられた左画像およびこの左画像と同時に撮影された右画像から視差画像を作成する（ステップＳ１０）。ずれ量算出部３３は、単眼モーションステレオにより推定された距離Ｚｍと左画像および右画像とから作成された視差画像の視差情報を基に、画像センサ３ａ、３ｂ間の相対的位置ずれ量を算出する（ステップＳ１１）。算出されたずれ量から補正マップ更新部３９が補正マップ３７を更新する（ステップＳ１２）。補正マップ３７の更新が完了すると、距離推定装置４は、動作モードを補正モードから通常モードへ変更する（ステップＳ１３）。通常モードへ変更されると、障害物を検出する処理過程（Ａ）へ進む。

通常モードにおける障害物を検出する処理手順（Ａ）は、まず、ステレオカメラ３が画像を撮影する（ステップＳ２１）。画像補正部４１は、補正マップ３７を用いて撮影された左画像に対して画像センサ間の相対位置のずれを補正する（ステップＳ２２）。視差画像作成部３１は、右画像と補正された左画像とから視差画像を作成する（ステップＳ２３）。作成された視差画像の視差情報を基に、距離推定部３５が左画像の各画素の被写体までの距離を推定する（ステップＳ２４）。推定された各画素に対応する被写体までの距離を基に、障害物検出部５が距離が一定の点群ＰＧを障害物として検出する（ステップＳ２５）。障害物検出部５が障害物を検出しなかった場合（ステップＳ２６のＮｏ）、ステップＳ２１から再度、障害物を検出する処理過程が繰り返される。障害物検出部５が障害物を検出した場合（ステップＳ２６のＹｅｓ）、車速制御部９は、障害物までの距離に応じて目標車速を設定する（ステップＳ２７）。さらに、車速制御部９は、設定した車速まで、ブレーキ制動も含めた減速の制御を実施する。これにより、駆動モータ１１および車輪１０の回転が制動され、車両１が減速または停止する。（ステップＳ２８）。なお、障害物が検出されると、タッチパネル８およびスピーカ等で運転者および周囲に対して警報を発する。目標車速まで減速制御すると、ステップＳ２１から再度、障害物を検出する処理過程が繰り返される。

このように、実施例１によれば、ステレオカメラ３のキャリブレーションに特定コードやパターンの設置を必要としない。また、キャリブレーション時に、自車両以外の移動物がないことの保証も必要としない。これにより、ステレオカメラ３の各画像センサ間の位置ずれ補正を簡易に実現することができる。また、オプティカルフローを用いることで、静止領域の判定および静止領域までの距離の推定を簡易にすることができる。

次に、図１１を参照して実施例２に係る車両について説明する。図１１は実施例２における車両１の構成を示す機能ブロック図である。実施例２において、実施例１に示した符号と同一の符号で示した部分は、実施例１と同様の構成であるのでここでの説明は省略する。また、以下に記載した以外の車両および距離推定装置の構成は実施例１と同様である。

実施例２の特徴は、距離推定装置４のステレオカメラ３のキャリブレーションを実行している間、距離測定センサ５１を用いて障害物の検出をする点である。実施例１では補正マップの更新が完了するまで障害物の検出がされていなかったが、実施例２では距離測定センサを用いることで補正マップの更新が完了するまででも、障害物を検出することができる。

実施例２における車両１は、距離測定センサ５１が追加された構成である。距離測定センサ５１は、ステレオカメラ３のキャリブレーションが完了するまでに車両１が移動する距離内の障害物を検出する。したがって、車両１の近距離を測定できればよい。距離測定センサ５１により障害物が検出されると、車速制御部９は、障害物との距離に応じて車速を減速制御する。距離測定センサ５１は例えば超音波センサである。

次に、実施例２における障害物検出の処理手順を図１２を用いて説明する。図１２は障害物検出の処理手順を示すフローチャートである。

ステップＳ０１〜ステップＳ０８まで実施例１と同様であるので、説明を省略する。ステップＳ０８で、車両１が走行状態であると判定されると、実施例１のステップＳ０９〜ステップ１３の処理と平行して、障害物検出の処理が実施される。

車両１が走行状態であると判定されると、距離測定センサ５１により車両１の前方の物体までの距離が測定される。物体までの距離が予め設定された範囲内である場合、障害物として検出する（ステップＳ３１）。障害物が検出されなかった場合（ステップＳ３２のＮｏ）、再びステップＳ３１から障害物を検出する処理過程が繰り返される。障害物が検出された場合、（ステップＳ３２のＹｅｓ）、障害物までの距離に応じて目標車速を設定する（ステップＳ３３）。設定された車速まで、車速制御部９がブレーキ制動も含めた減速の制御を実施し、駆動モータ１１および車輪の回転が制動され、車両１が減速または停止する。（ステップＳ３４）。なお、障害物が検出されると、タッチパネル８およびスピーカ等で運転者および周囲に対して警報を発する。目標車速まで減速制御すると、ステップＳ３１から再度、障害物を検出する処理過程が繰り返される。

このように、実施例２によれば、距離推定装置４の補正マップ３７を更新するキャリブレーションにより距離推定装置４の距離推定の機能が停止している間（補正モード中）であっても、ステレオカメラ３とは別の距離センサを備えることで、距離を測定することができ、障害物を検出することができる。これにより、移動体と障害物との接触の回避を向上させることができ、車速を自動制御することができる。また、距離測定センサは比較的近距離を測定できればよいので、遠距離を測定できるセンサを設けるのに比べてコストダウンを実現できる。

本発明は、上記実施例のものに限らず、次のように変形実施することができる。

（１）上記実施例において、ずれ量算出部３３はＸ軸並進方向およびＹ軸周り回転方向のずれ量を算出していたが、これに限られない。Ｙ軸並進方向（縦方向）のずれ量を算出してもよい。Ｙ軸並進方向のずれ量は、特徴点のマッチングにより検出することができる。左画像および右画像において検出された特徴点のＹ座標（行）が一致するように補正することで、Ｙ軸並進方向の位置ずれを補正することができる。このように、補正マップ３７はＹ軸並進方向（縦方向）の補正パラメータを有し、補正マップ更新部３９はＹ軸並進方向に関しても更新してもよい。Ｘ軸並進方向、Ｙ軸並進方向およびＹ軸周り回転方向の位置ずれ量を補正することで、補正された左画像は右画像と平行等位となるように変換されている。したがって、右画像と補正された左画像とのステレオマッチングにおける探索を水平方向のみに限定することができる。これにより、ステレオマッチングの時間を大幅に短縮することができる。

（２）上記実施例において、情報提示部とモード選択部との両方の機能をタッチパネル８が有していたがこれに限られない。情報提示部として表示モニタを設置し、モード選択部として入力ボタン等の別の入力部を設置してもよい。

（３）上記実施例において、距離推定装置４は車両１に備えられていたがこれに限られない。他にも、例えば、自律走行するロボット用のビジョンシステムや視覚障害者の支援システムなどに採用してもよい。

１ … 車両
３ … ステレオカメラ
３ａ … 左画像センサ
３ｂ … 右画像センサ
４ … 距離推定装置
５ … 障害物検出部
８ … タッチパネル
２５ … オプティカルフロー算出部
２７ … 静止領域判定部
２９ … 単眼モーションステレオ部
３１ … 視差画像作成部
３３ … ずれ量算出部
３５ … 補正マップ更新部
３７ … 補正マップ
４１ … 画像補正部

Claims

移動体に搭載される距離推定装置において、
少なくとも２つの画像センサを有するステレオカメラと、
撮影された画像において静止物が撮影された静止領域を判定する静止領域判定部と、
前記画像センサ間の位置ずれを補正する補正マップを用いて少なくとも１つの画像センサにより撮影された画像を補正する画像補正部と、
各画像センサにより撮影された画像を基にステレオマッチングにより視差画像を作成する視差画像作成部と、
前記移動体の移動間の前記画像および移動距離を基に前記静止領域の距離を推定する単眼モーションステレオ部と、
前記視差画像の視差と前記単眼モーションステレオ部により推定された距離とから前記画像センサ間の位置ずれ量を算出するずれ量算出部と、
前記位置ずれ量を基に前記補正マップを更新する補正マップ更新部と、
前記画像補正部により補正された画像を用いて作成された前記視差画像を基に被写体までの距離を推定する距離推定部と
を備えた距離推定装置。
請求項１に記載の距離推定装置において、
撮影された画像を基にオプティカルフローを算出するオプティカルフロー算出部を備え、
前記静止領域判定部は、前記移動体が停止状態において撮影された画像を基に算出された前記オプティカルフローから当該画像において静止物が撮影された前記静止領域を判定し、
前記単眼モーションステレオ部は、前記移動体の移動間の画像から算出されたオプティカルフローおよび移動距離を基に前記静止領域の距離を推定する
距離推定装置。
請求項１または２に記載の距離推定装置において、
前記移動体が移動してから前記補正マップが更新するまでの間、
前記距離推定部の停止を報知する提示部を有する
ことを特徴とする距離推定装置。
請求項１から３のいずれか１つに記載の距離推定装置を備えた移動体。
請求項４に記載の移動体において、
前記距離推定装置により推定された距離から障害物を検出する障害物検出部を備えた
移動体。
請求項５に記載の移動体において、
障害物検出用の距離センサを備えた
移動体。