JP5863105B2 - 車両移動量推定装置および障害物検出装置 - Google Patents

Description

本発明は、撮像画像に基づいて得られる速度と車速センサ等に基づいて得られる速度とを用いて車両の移動量を推定する車両移動量推定装置および障害物検出装置に関する。

従来から、車速やヨーレートから車両移動量を検出し、背景差分法で障害物を検出するようにした車両用画像処理装置（例えば、特許文献１参照。）や、時刻が異なる２枚のカメラ画像から、画像処理により車両移動量を検出し、背景差分法で障害物を検出する障害物検知システム（例えば、特許文献２参照）などが知られている。

また、車両の移動量計測に関しては、撮像画像に基づいて得られる速度と車速センサ等に基づいて得られる速度とを用いて移動体の移動量を計測する移動量計測装置であって、車速パルス数が１以上の場合に車速パルス数に基づいて移動量を算出し、車速パルス数が０の場合に撮像画像に基づいて移動量を算出するようにした手法が知られている（例えば、特許文献３参照）。

特開平１０−２２２６７９号公報 国際公開第２００７／１４２２６７号 特開２００９−７４８６１号公報

特許文献１に開示された車両用画像処理装置では、車速センサやヨーレートセンサを用いて車速等を検出しているが、これらのセンサは低速走行時の感度が悪いため、車両移動量の誤差が大きくなるという問題があった。

また、特許文献２に開示された障害物検知システムでは、撮像画像の変化が大きい高速走行時に、画像に含まれる特徴点のトラッキング精度が低下するため、車両移動量の誤差が大きくなるという問題があった。

これらの問題は、特許文献３に開示された移動量の計測手法を用いることにより解決することができる。すなわち、低速走行時には撮像画像に基づいて算出された車両移動量を用い、高速走行時には車速センサ等を用いて検出された車両移動量を用いることにより、それぞれの速度域における誤差を少なくすることができる。

ところで、特許文献１や特許文献２に開示された手法で障害物を検出する際には、撮像された過去の画像に対して、得られた車両移動量だけ移動させて得られた推定画像と、現在の撮像画像とを比較して障害物を抽出している。このため、過去の画像が撮像されたタイミングと、車速センサ等によって車両移動量が検出されたタイミングとが異なると、その差に対応する誤差が推定画像に含まれることになり、障害物検出にも誤差が生じることになる。

実際に車両に設けられたカメラで撮像した画像（この画像は推定画像を算出する際にも用いられる）に基づいて車両移動量を算出するとともに、車速センサ等を用いて車両移動量を検出する場合を考えると、これらの算出タイミングと検出タイミングが必ずしも一致するとは限らない。例えば、撮像画像が毎秒７．５フレーム（７．５ｆｐｓ）得られるものとすると、撮像画像に基づく車両移動量の算出間隔は１３３ｍｓとなる。これに対し、車速センサ等の検出タイミングが１００ｍｓとすると、これらのタイミングはほとんどの場合ずれており、しかもそのずれ量も時々刻々変動することになる。また、車速センサ等の検出値がＣＡＮ（controller area network）を介して入力されるものとすると、ＣＡＮを介して取得した検出値がどの時点のものであるか正確には知り得ないことになる。

すなわち、特許文献３に開示されたように、撮像画像を用いた車両移動量の算出と車速センサ等を用いた車両移動量の検出とを速度域に応じて切り替えただけでは、撮像画像に対応する車両移動量に含まれる誤差が多くなるという問題は解決できない。このため、障害物検出精度が低下するという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、撮像画像に対応する正確な車両移動量を得ることができる車両移動量推定装置を提供することにある。また、本発明の他の目的は、障害物検出精度を向上させることができる障害物検出装置を提供することにある。

上述した課題を解決するために、本発明の車両移動量推定装置は、車両の周囲を所定の時間間隔で撮像する撮像手段と、撮像手段による撮像によって得られた複数枚の撮像画像を格納する画像格納手段と、画像格納手段によって格納された２枚の撮像画像に基づいて車両の移動量を算出する移動量算出手段と、車両の移動量を検出する移動量検出手段と、移動量算出手段によって算出された第１の移動量と移動量検出手段によって検出された第２の移動量とを比較し、これらの差が所定値よりも小さい場合に、第１の移動量を車両の移動量として決定し、これらの差が所定値よりも大きい場合には、第２の移動量を車両の移動量として決定する移動量決定手段とを備えている。上述した移動量は、車両の速度および角速度の少なくとも一方であることが望ましい。

撮像画像と車両の移動量を用いて障害物検出等の処理を行う場合、撮像画像に対応している第１の移動量を用いることが望ましい。一方、移動量算出手段によって算出された第１の移動量と移動量検出手段によって検出された第２の移動量との差が所定値よりも小さい場合とは、それらの撮像タイミングと移動量の検出タイミングとの間にずれが少ない場合や、車両が低速走行中あるいは高速走行中であって第１および第２の移動量の両方の精度が高い場合であり、このような場合に第１の移動量を用いており、撮像画像に対応する正確な車両移動量を得ることができる。

また、上述した撮像手段による撮像タイミングと、移動量検出手段によって移動量を検出するタイミングは、同期していないことが望ましい。これにより、撮像タイミングと第２の移動量の検出タイミングを特に気にすることなくこれらを用いることができ、移動量の精度を向上させることができるとともに、これらのタイミングを考慮する場合に比べて処理の簡略化が可能となる。

また、画像格納手段によって格納された２枚の撮影画像に着目し、一方の撮像画像に対応して移動量決定手段によって決定された移動量およびこの移動量を所定範囲で増減した移動量のそれぞれを用いて、この撮像画像に含まれる一部の画像を移動させて変換後画像を得る画像変換処理を行う部分画像変換手段をさらに備え、移動量算出手段は、部分画像変換手段によって複数の移動量のそれぞれに対応して得られた複数の変換後画像と、他方の撮像画像との間で一部の画像同士の相間演算を行い、最も高い相間値を有する変換後画像に対応する移動量を、撮像順番が新しい他方の撮像画像に対応する車両の移動量として推定することが望ましい。このようにして、複数の移動量について一方の撮像画像を変換（平行移動や回転）した変換後の画像と他方の撮像画像との一致、不一致を調べることにより、車両の移動量を正確に算出することが可能となる。

また、本発明の障害物検出装置は、上述した車両移動量推定装置と、画像格納手段によって格納された２枚の撮影画像に着目し、一方の撮像画像に対応して移動量決定手段によって決定された移動量を用いて、この撮像画像の全体を移動させる画像変換処理を行う全体画像変換手段と、全体画像変換手段によって得られた画像と、他方の撮像画像とを比較し、一致しない領域を障害物として検出する障害物検出手段とを備えている。これにより、正確な移動量を用いて古い撮像画像と新しい撮像画像を比較することが可能となり、障害物検出精度を向上させることができる。

一実施形態の障害物検出装置の全体構成を示す図である。 移動量決定部の動作手順を示す流れ図である。 移動量算出部の動作手順を示す流れ図である。

以下、本発明を適用した一実施形態の障害物検出装置について、図面を参照しながら説明する。図１は、一実施形態の障害物検出装置の全体構成を示す図である。図１に示すように、本実施形態の障害物検出装置１００は、カメラ２０、撮像画像格納部２２、前処理部２４、補正画像格納部２６、車速センサ３０、ジャイロセンサ３２、移動量決定部４０、移動量算出部４２、全体画像変換部５０、障害物検出部５２、表示部５４を含んで構成されている。

カメラ２０は、自車両の周辺を撮像する。より広範囲を撮影するために、広角レンズや魚眼レンズが取り付けられている。なお、広角レンズ等の使用は必ずしも必要ではない。カメラ２０の設置位置は、検出対象となる障害物が存在する方向を撮像可能な位置であればよく、一般には車両後方あるいは車両側面にカメラ２０が取り付けられる。撮像された画像は撮像画像格納部２２に格納される。毎秒７．５枚の撮像画像が得られるものとすると、１３３ｍｓの時間間隔で撮像画像が格納される。

前処理部２４は、撮像画像格納部２２に格納された撮像画像を読み出して前処理を行う。この前処理には、（１）歪み補正画像生成処理、（２）エッジの向きに基づく部分領域（パッチ）の抽出、（３）各部分領域毎の輝度分散の算出、（４）各部分領域毎のテクスチャ種別の判定、などが含まれる。部分領域を設定して輝度分散を調べるとともに、テクスチャ種別（部分領域の模様等）を参照することにより、路面に対応する可能性が高い部分領域を抽出することが可能になる。過去Ｎ枚分の歪み補正後の画像が、先入れ先出し（ＦＩＦＯ）形式で読み書きが行われる補正画像格納部２６に格納される。

車速センサ３０は、車両の走行速度を検出する。例えば車両が一定距離走行する毎に車速センサ３０からパルスが出力される。なお、本実施形態では、車速センサ３０を用いて車両の走行速度を検出しているが、他の方法、例えばＧＰＳ受信機を用いた測位データに基づいて車両の走行速度を検出するようにしてもよい。

ジャイロセンサ３２は、車両の角速度を検出する。なお、本実施形態では、ジャイロセンサ３２を用いて車両の角速度を検出しているが、ハンドルを切ったときの前輪の操舵角を検出する操舵角センサーを用いて車両の角速度を用いるようにしてもよい。

移動量決定部４０は、前回画像（最新画像の１つ前の過去画像）に対応する車両の移動量を決定する。車両の移動量には、車両の速度Ｖと角速度ωが含まれる。移動量算出部４２は、移動量決定部４０によって決定した１つ前の過去画像に対応する車両の移動量を用いて最新画像に対応する車両の移動量の複数の候補値を設定し、最新画像に含まれる特定領域（路面に対応する部分領域）に対する画像変換処理（移動および回転）を行って得られた画像と、１つ前の過去画像の対応箇所とを用いて相関演算を行うことにより、最新画像に対応する車両の移動量を算出する。移動量決定部４０および移動量算出部４２の詳細動作については後述する。

上述したカメラ２０、撮像画像格納部２２、前処理部２４、補正画像格納部２６、車速センサ３０、ジャイロセンサ３２、移動量決定部４０、移動量算出部４２によって車両移動量推定装置１０が構成されている。

全体画像変換部５０は、撮影順番が連続した最新画像および１つ前の過去画像（ともに歪み補正後の画像）が補正画像格納部２６から読み出され、最新画像に対して移動量算出部４２によって算出した車両の移動量（速度Ｖ（ｔ）、角速度ω（ｔ））を用いて画像変換処理を行う。

障害物検出部５２は、全体画像変換部５０による画像変換によって得られた画像と、１つ前の過去画像（ともに歪み補正後の画像）とを比較し、一致しない領域を障害物として検出する。この検出結果は表示部５４を用いて利用者に通知される。例えば、最新画像内の障害物に対応する領域に特定の色等を付すことにより、その位置に障害物が存在することを知らせる通知が行われる。

上述したカメラ２０が撮像手段に、撮像画像格納部２２、補正画像格納部２６が画像格納手段に、移動量算出部４２が移動量算出手段、部分画像変換手段に、車速センサ３０、ジャイロセンサ３２が移動量検出手段に、移動量決定部４０が移動量決定手段に、全体画像変換部５０が全体画像変換手段に、障害物検出部５２が障害物検出手段にそれぞれ対応する。

本実施形態の障害物検出装置１００はこのような構成を有しており、次に、移動量決定部４０および移動量算出部４２の動作につていて説明する。図２は、移動量決定部４０の動作手順を示す流れ図である。まず、移動量決定部４０は、１つ前の過去画像（補正画像格納部２６に格納された歪み補正後の画像）に基づいて移動量算出部４２が決定した車両の速度（第１の速度）Ｖ_ME（ｔ−１）を取得する（ステップ１００）。また、移動量決定部４０は、車速センサ３０の出力に基づいて前回検出した車両の速度（第２の速度）Ｖ_S（ｔ−１）を取得する（ステップ１０２）。ここで、「前回検出した」とは、「１つ前の過去画像の撮像タイミングに最も近いタイミングで車速センサ３０を用いて検出した」の意味である。例えば、カメラ２０による撮像間隔が１３３ｍｓ、車速センサ３０による検出間隔が１００ｍｓであり、これらの撮像動作および検出動作が互いに非同期であるものとし、前回の撮像タイミングの次に到来した検出タイミングで車速センサ３０によって検出された車両の速度が、上述した前回検出した車両の速度Ｖ_S（ｔ−１）となる。

次に、移動量決定部４２は、第１の速度Ｖ_ME（ｔ−１）と第２の速度Ｖ_S（ｔ−１）との差分の絶対値が誤差の閾値Ｖerrよりも小さいか否か（以下の式を満たすか否か）を判定する（ステップ１０４）。

｜Ｖ_ME（ｔ−１）−Ｖ_S（ｔ−１）｜＜Ｖerr ・・・（１）
差分の絶対値が誤差の閾値Ｖerrよりも小さい場合には肯定判断が行われ、移動量決定部４０は、撮像画像に基づいて求めた第１の速度Ｖ_ME（ｔ−１）を過去画像に対応する車両の速度Ｖ（ｔ−１）として決定する（ステップ１０６）。

また、差分の絶対値が誤差の閾値Ｖerrよりも小さくない場合（誤差の閾値Ｖerr以上の場合）にはステップ１０４の判定において否定判断が行われ、移動量決定部４０は、車速センサ３０を用いて求めた第２の速度Ｖ_S（ｔ−１）を過去画像に対応する車両の速度Ｖ（ｔ−１）として決定する（ステップ１０８）。

次に、移動量決定部４０は、１つ前の過去画像（補正画像格納部２６に格納された歪み補正後の画像）に基づいて移動量算出部４２が決定した車両の角速度（第１の角速度）ω_ME（ｔ−１）を取得する（ステップ１１０）。また、移動量決定部４０は、ジャイロセンサ３２の出力に基づいて前回検出した車両の角速度（第２の角速度）ω_S（ｔ−１）を取得する（ステップ１１２）。ここで、「前回検出した」とは、「１つ前の過去画像の撮像タイミングに最も近いタイミングでジャイロセンサ３２を用いて検出した」の意味である。例えば、カメラ２０による撮像間隔が１３３ｍｓ、ジャイロセンサ３２による検出間隔が１００ｍｓであり、これらの撮像動作および検出動作が互いに非同期であるものとし、前回の撮像タイミングの次に到来した検出タイミングでジャイロセンサ３２によって検出された車両の角速度が、上述した前回検出した車両の角速度ω_S（ｔ−１）となる。

次に、移動量決定部４２は、第１の角速度ω_ME（ｔ−１）と第２の角速度ω_S（ｔ−１）との差分の絶対値が誤差の閾値ωerrよりも小さいか否か（以下の式を満たすか否か）を判定する（ステップ１１４）。

｜ω_ME（ｔ−１）−ω_S（ｔ−１）｜＜ωerr ・・・（２）
差分の絶対値が誤差の閾値ωerrよりも小さい場合には肯定判断が行われ、移動量決定部４０は、撮像画像に基づいて求めた第１の角速度ω_ME（ｔ−１）を過去画像に対応する車両の角速度ω（ｔ−１）として決定する（ステップ１１６）。

また、差分の絶対値が誤差の閾値ωerrよりも小さくない場合（誤差の閾値ωerr以上の場合）にはステップ１１４の判定において否定判断が行われ、移動量決定部４０は、ジャイロセンサ３２を用いて求めた第２の角速度ω_S（ｔ−１）を過去画像に対応する車両の角速度ω（ｔ−１）として決定する（ステップ１１８）。

図３は、移動量算出部４２の動作手順を示す流れ図である。まず、移動量算出部４２は、最新画像の中から処理対象の部分領域を選定する（ステップ１２０）。この選定は、障害物を除く路面に対応する部分画像を抽出するためのものであり、前処理部２４による前処理の結果（各部分領域毎の輝度分散の算出結果と、各部分領域毎のテクスチャ種別の判定結果）に基づいて行われる。

次に、移動量算出部４２は、最新画像に対応する速度と角速度の複数の候補値を決定する（ステップ１２２）。上述したように、移動量決定部４０によって、過去画像に対応する車両の速度Ｖ（ｔ−１）と角速度ω（ｔ−１）とが決定される。最新画像に対応する車両の速度Ｖ（ｔ）と角速度ω（ｔ）は、過去画像に対応する車両の速度Ｖ（ｔ−１）と角速度ω（ｔ−１）に対して所定範囲内にあると考えらるため、これらを中心とした複数個の値が速度および角速度の候補値として決定される。例えば、速度については、Ｖ（ｔ−１）を中心に±ΔＶ、±２ΔＶを加えた合計５つの候補値（Ｖ（ｔ−１）−２ΔＶ、Ｖ（ｔ−１）−ΔＶ、Ｖ（ｔ−１）、Ｖ（ｔ−１）＋ΔＶ、Ｖ（ｔ−１）＋２ΔＶ）が決定される。また、角速度については、ω（ｔ−１）を中心に±Δω、±２Δωを加えた合計５つの候補値（ω（ｔ−１）−２Δω、ω（ｔ−１）−Δω、ω（ｔ−１）、ω（ｔ−１）＋Δω、ω（ｔ−１）＋２Δω）が決定される。

次に、移動量算出部４２は、ステップ１２０において選定した最新画像の部分領域に対して、ステップ１２２において決定した複数の候補値を用いて画像の変換処理を行う（ステップ１２４）。上述した例では、速度の候補値として５つの値が決定され、角速度の候補値として５つの値が決定される。したがって、速度と角速度の組み合わせとしては、５×５＝２５通りが考えられ、組み合わされた速度に対応する部分画像の平行移動と角速度に対応する部分画像の回転が行われる。このようにして、２５通りの変換後画像が生成される。

次に、移動量算出部４２は、２５通りの変換後画像のそれぞれと、過去画像の対応領域との相関を計算し（ステップ１２６）、相関値が最大となる速度の候補値と角速度の候補値を抽出する（ステップ１２８）。このようにして抽出された各候補値が、最新画像に対応する車両の速度Ｖ（ｔ）と角速度ω（ｔ）として算出される。

一般に、本実施形態の車両移動量推定装置１０では、撮像画像と車速センサ３０やジャイロセンサ３２によって検出した車両の移動量を用いて障害物検出等の処理を行う場合、撮像画像に対応している第１の速度Ｖ_ME（ｔ−１）や第１の角速度ω_ME（ｔ−１）を用いることが望ましい。一方、移動量算出部４２によって算出された第１の速度Ｖ_ME（ｔ−１）や第１の角速度ω_ME（ｔ−１）と、車速センサ３０やジャイロセンサ３２によって検出された第２の速度Ｖ（ｔ−１）や第２の角速度ω（ｔ−１）との差が所定値（誤差の閾値Ｖerr、ωerr）よりも小さい場合とは、カメラ２０の撮像タイミングと車速センサ３０やジャイロセンサ３２の検出タイミングとの間にずれが少ない場合や、車両が低速走行中あるいは高速走行中であって両方の精度が高い場合であり、このような場合に第１の速度Ｖ_ME（ｔ−１）や第１の角速度ω_ME（ｔ−１）を用いており、撮像画像に対応する正確な車両移動量を得ることができる。

また、カメラ２０の撮像タイミングと車速センサ３０やジャイロセンサ３２の検出タイミングを同期させる必要がないため、これらのタイミングを特に気にすることなくこれらを用いることができ、移動量の精度を向上させることができるとともに、これらのタイミングを考慮する場合に比べて処理の簡略化が可能となる。

また、速度および角速度の複数の候補値を用いて、一方の撮像画像（最新画像）を変換（平行移動や回転）した変換後の画像と他方の撮像画像（過去画像）との相関計算を行ってこれらの一致、不一致を調べることにより、最新画像に対応する車両の速度および角速度を正確に算出することが可能となる。

また、本実施形態の障害物検出装置１００では、正確な移動量を用いて最新画像と過去画像を比較することが可能となり、障害物検出精度を向上させることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、車両の移動量（速度、角速度）の算出や障害物検出において、最新画像に対して変換を行い、得られた変換後画像と過去画像の対応領域との相関を計算したが、過去画像に対して変換を行い、得られた変換後画像と最新画像の対応領域との相関を計算するようにしてもよい。

また、上述した実施形態では、図３のステップ１２２において車両の移動量の候補値を決定する際に、速度と角速度のそれぞれについて複数の候補値を用いたが、車両が直進している場合に限定して障害物検出を行う場合には、速度のみの候補値を用意し、角速度については固定値を用いるようにしてもよい。

また、上述した実施形態では、撮像の順番が連続する２枚の撮像画像を用いて移動量の推定や障害物の検出を行うようにしたが、必ずしも撮像の順番が連続する必要はなく、それ以外であっても、撮像タイミングが異なる２枚の撮像画像を用いる場合に本発明を適用することができる。

上述したように、本発明によれば、撮像タイミングと移動量の検出タイミングとの間にずれが少ない場合や、車両が低速走行中あるいは高速走行中であって第１および第２の移動量の両方の精度が高い場合に撮像画像に基づいて算出された第１の移動量を用いることにより、撮像画像に対応する正確な車両移動量を得ることができる。

１０ 車両移動量推定装置
２０ カメラ
２２ 撮像画像格納部
２４ 前処理部
２６ 補正画像格納部
３０ 車速センサ
３２ ジャイロセンサ
４０ 移動量決定部
４２ 移動量算出部
５０ 全体画像変換部
５２ 障害物検出部
５４ 表示部
１００ 障害物検出装置

Claims (5)

1. 車両の周囲を所定の時間間隔で撮像する撮像手段と、
   前記撮像手段による撮像によって得られた複数枚の撮像画像を格納する画像格納手段と、
   前記画像格納手段によって格納された２枚の撮像画像に基づいて車両の移動量を算出する移動量算出手段と、
   車両の移動量を検出する移動量検出手段と、
   前記移動量算出手段によって算出された第１の移動量と、前記移動量検出手段によって検出された第２の移動量とを比較し、これらの差が所定値よりも小さい場合に、前記第１の移動量を車両の移動量として決定し、これらの差が所定値よりも大きい場合には、前記第２の移動量を車両の移動量として決定する移動量決定手段と、
   を備えることを特徴とする車両移動量推定装置。
2. 請求項１において、
   前記移動量は、車両の速度および角速度の少なくとも一方であることを特徴とする車両移動量推定装置。
3. 請求項１または２において、
   前記撮像手段による撮像タイミングと、前記移動量検出手段によって移動量を検出するタイミングは、同期していないことを特徴とする車両移動量推定装置。
4. 請求項１〜３のいずれかにおいて、
   前記画像格納手段によって格納された２枚の撮影画像に着目し、一方の撮像画像に対応して前記移動量決定手段によって決定された移動量およびこの移動量を所定範囲で増減した移動量のそれぞれを用いて、この撮像画像に含まれる一部の画像を移動させて変換後画像を得る画像変換処理を行う部分画像変換手段をさらに備え、
   前記移動量算出手段は、前記部分画像変換手段によって複数の移動量のそれぞれに対応して得られた複数の変換後画像と、他方の撮像画像との間で前記一部の画像同士の相間演算を行い、最も高い相間値を有する変換後画像に対応する移動量を、撮像順番が新しい他方の撮像画像に対応する車両の移動量として推定することを特徴とする車両移動量推定装置。
5. 請求項４に記載された車両移動量推定装置と、
   前記画像格納手段によって格納された２枚の撮影画像に着目し、一方の撮像画像に対応して前記移動量決定手段によって決定された移動量を用いて、この撮像画像の全体を移動させる画像変換処理を行う全体画像変換手段と、
   前記全体画像変換手段によって得られた画像と、他方の撮像画像とを比較し、一致しない領域を障害物として検出する障害物検出手段と、
   を備えることを特徴とする障害物検出装置。

Images