JP5709048B2 - オプティカルフロー検出装置 - Google Patents
オプティカルフロー検出装置 Download PDFInfo
- Publication number
- JP5709048B2 JP5709048B2 JP2011136157A JP2011136157A JP5709048B2 JP 5709048 B2 JP5709048 B2 JP 5709048B2 JP 2011136157 A JP2011136157 A JP 2011136157A JP 2011136157 A JP2011136157 A JP 2011136157A JP 5709048 B2 JP5709048 B2 JP 5709048B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- image
- imaging
- detected
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
従来の自車両の周囲を確認する装置には、広角レンズを有する撮像手段の外部パラメータ及び内部パラメータを記憶した記憶部を備えるとともに、撮像手段から入力される広角画像の画像処理に使用するための計測マップを生成する生成処理部を備え、記憶部が、複数の座標系を定義する座標系定義と、各座標系の関係を表す複数の座標関係式と、各座標関係式の係数となる関係式パラメータとを記憶するものがある。(特開2010−218226号公報)
また、従来の自車両の周囲を確認する装置には、歪曲のあるレンズを有する撮像手段で撮像した画像を、撮像手段の光軸と画像の面との交点を中心とする円に内包される領域では、非線形最小二乗法によって係数を求めた多項式近似による歪曲補正関数を適用して歪曲画像を補正し、上記の円に内包されない領域では、非線形最小二乗法によって係数を求めた対数式近似による歪曲補正関数を適用して歪曲画像を補正するものがある。(特開2009−130546号公報)
自車両の後方の障害物を撮像する撮像手段としては、撮影した画像から障害物の位置を自動計測する際、障害物の3次元空間座標と撮影された2次元の画像平面座標とを、カメラキャリブレーション等の校正作業で(ピンホールカメラモデルに代表される)線形な位置関係で対応がとれるよう、レンズ収差の小さいカメラが使用される。レンズ収差の小さいカメラは、2次元の画像平面座標と3次元空間座標の対応が線形であるが、原理的に撮影可能なエリアが狭い。逆に、レンズ収差が大きいカメラでは、撮影可能エリアは広くなるが、撮像した画像に歪みが現れ、2次元の画像平面座標と3次元空間座標の対応が非線形となり自動計測には不向きであった。
(1)フロー信頼度を隣接する周囲のフロー群から構成したグループ単位で評価できるだけでなく、単独のフローの信頼度評価に対応できる。
(2)フローの信頼度判定が、任意のあるタイミングで評価付けできるだけでなく、ノイズに対する誤検出フローヘの対応力が十分であり、誤った衝突可能性判定を回避できる。
オプティカルフロー検出装置を実現することを目的としている。
これにより、オプティカルフロー検出装置2は、次回撮影時のオプティカルフローを予測し追跡評価するため、オプティカルフローの信頼度判定機能を強化することができる。
これにより、オプティカルフロー検出装置2は、検出したオプティカルフローを動画により連続して追跡することができる。このため、異常な挙動を示すオプティカルフローをノイズとして判別可能なので、オプティカルフローの信頼度を向上させることができる。
これにより、このオプティカルフロー検出装置2は、画像上で追跡中の物体が他の物体により隠されても、継続して追跡評価をすることができる。
これにより、オプティカルフロー検出装置2は、画像上で追跡中の物体が、いったんオプティカルフロー検出可能範囲外になっても、再びオプティカルフロー検出可能範囲内に戻る場合には、継続して追跡評価をすることができる。
これにより、オプティカルフロー検出装置2は、オプティカルフロー予測処理の処理速度を向上することができる。
先ず、この発明に係る経緯・内容を述べるために、その背景について説明する。
通常、車両後方を撮像する撮像手段であるカメラは、より広い視界を確保するために、広角レンズを有している。但し、広角レンズを通した撮像手段の映像には、レンズ収差の影響によって画像に歪みが生じている。よって、車両周囲を自動的に確認する装置では、先ず、画像の歪み補正処理を行い、歪みを除去加工した映像を利用する手法が用いられる。但し、歪み補正画像は、人為的に処理された仮想画像を使用するため、ブロックマッチング作業等の処理を行なう際に、加工による画質の劣化から検出したオプティカルフローの精度(信頼度)に疑問の余地が残ることが問題であった。
そのため、出願人は、以下の経緯において述べるように、フローの精度・信頼度を評価する技術を提案してきた。最新の評価手法においては、計測マップと称するデータテーブルの持つ有効範囲を取り除き、画像全域を対象にフロー評価を行なう手法を提案した。
・第1の技術(特許文献1)
従来、歪み補正した画像を元にオプティカルフロー検出を利用した接近障害車両検出手法の場合、画像上のフローから3次元相対位置・相対速度を推定する手法はしばしば報告されている。この手法の原理は容易なものであるが、加工による画質の劣化から精度の良いブロックマッチング探索が困難となるため、検出したオプティカルフローの精度自体に課題が生じる。また、歪み画像を直接比較すればブロックマッチング探索精度は向上するが、位置の推定は困難であった。
第1の技術は、歪み画像を元にオプティカルフローを行い、オプティカルフロー発生元となる接近車両の相対位置・相対速度を推定し衝突可能性を判定するために、レンズ収差による画像歪み状況をカメラのキャリブレーションパラメータを用いて作成した計測マップを導入し、衝突可能性を判定する手法である。
例えば、ノイズ等の影響で瞬間的に発生した誤オプティカルフローと、後続車の接近に伴い発生するフローの識別には、次画面でのフロー発生位置の予測とフローの連続検出積算値(追跡・トラッキング監視)を利用する判定は有効な手段である。ところで、カメラ画像については、車間距離に比例して画面上での像の表示サイズと実際の対象物体の大きさが変化するように、オプティカルフローは後方車両が一定の速度で接近していた場合でも、自車両との相対距離の遠近でフローの出方が異なる。フローは、接近するほど長さが大きくなる上、フローの角度も徐々に変化する。よって、あるタイミングで検出したフローを元に、次点(次画面)でのオプティカルフローの発生位置を予測(あるいは追跡・トラッキング)する場合では、車間が近いほどズレが大きくなる。このズレは、特に広角レンズを有する撮像手段を使用する場合、画像歪みの影響が加わり拡大するため、より予測が困難になる。よって、後述する第4の技術等では、あるタイミングで検出したフロー(瞬時値)での評価のみ可能であり、トラッキング監視手段等を利用できず精度上に課題が残る。
前記第1の技術によって、オプティカルフロー発生元となる接近車両の相対位置・相対速度を推定できるようになったので、車両の次点の移動先位置をワールド座標系の3次元値で予測することが可能となった。第2の技術は、この予測した移動先を2次元画面上に置き換えることで、歪んだ画像上での次点のフロー検出位置を予測する場合のズレ量を減らし、トラッキング性能を向上する手法である。
前記第2の技術では、次点のフローの発生予測位置を推定できるようになったので、さらにシステムの計算コスト減少・効率化のために、フローが検出される前は画面全体を粗くブロックマッチング探索を行い、フローが検出された後は、次点の発生予測付近を重点的に調査する手法として、予測箇所に対する仮想球体モデルを設定し、仮想球体が画面上に表示される状況を計算し作成した半径マップを導入した。
第3の技術は、この半径マップの作成手法を改善する手法および半径マップを応用した画質改善手法である。
前記第1〜第3の技術の手法については、全て第1の技術で提案した計測マップをベースに開発を進め、その有効性を示すことができた。しかしながら、設定した計測マップと重複できないオプティカルフローについては、Xw、Zw座標値をマップから取得することができない。つまり、導入した計測マップには、有効範囲・無効範囲が存在する課題が存在した。計測マップの無効範囲は、3次元上で設定したマップ平面と並行となる角度以上(上空等)に映る対象領域が相当する。ところで、後方よりの車両が接近する過程の中で、接近車両が自車両と太陽などの照明を遮る様な中間点に位置した場合、接近車両自体が自分の下部(足元)を隠す陰を発生する。この陰は、計測マップ有効内と重なる位置でのオプティカルフロー発生を阻害するため、上述した技術による衝突可能性の判定が適正に機能しない課題がある。
第4の技術は、計測マップを作成する過程で計算したイメージプレーン上の座標位置をマップ(データテーブル)化し、歪み画像上のオプティカルフローの座標から即、イメージプレーン上の座標系を取得できる構成を組み込むことで、後述の式([数19]−(27)式)より△Zc/Zc1を速やかに計算し、自車両後方より接近する他車両等の衝突可能性を、△Zc/Zc1の逆数による衝突予測時間(=TTCR)として判定し、運転者ヘ提示する手法である。この手法を利用すれば、前記第1〜第3の技術で無効範囲としていた位置に発生するフローからも衝突可能性を判定することが可能となる。
ところで、前記第4の技術によれば、広角レンズを有するカメラによる歪んだ画像上の画像中心を除く全ての位置におけるオプティカルフローを利用し、接近車両の衝突可能性を判定することができるようになった。
しかしながら、前記第2の技術の中で述べたように、検出したオプティカルフローの正誤判定に関して、第4の技術では連続トラッキング評価がサポートできなかったため、精度上の課題が残っている。また、イメージプレーンマップを使用した計算手法が対象のフローを単独で評価できず、周辺の隣接するフローとあわせたグループ単位により評価するものであったので、評価対象のグループが微小、あるいは離散している配置でグループ形成が困難な場合等で対応をとることができない。
前記オプティカルフロー検出装置2は、同様に、後述の式([数19]−(27)式)から取得した△Zc/Zc1に加え、△Xc/Zc1および△Yc/Zc1を含めた計算により、歪みを待つ画像上のほぼ全領域において検出したフローをトラッキングする手法である。
第1の位置P1:初回の画像での車両位置、
第2の位置P2:直前の画像での車両位置、
第3の位置P3:今回の画像での車両位置、
第1のフローF1:前回検出したオプティカルフロー、
第2のフローF2:第1のフローをシフト移動して作成した予測したフロー、
第3のフローF3:目的とする画像歪みを考慮し推定した予測フロー、
第4のフローF4:今回検出したフロー、
とすると、
・単純に第1のフローF1を利用するだけでは第2のフローF2の様に、接近に伴いフロー発生予測のギャップが大きくなる。
・予測した第3のフローF3の周辺で第4のフローF4が再度検出できれば(トラッキングできれば)、正しく接近を示すフローと判別できる。
・予測した第3のフローF3の周辺を重点探索すれば、フロー検出確率が向上し、対象を見失う確率を減少することができる。
このオプティカルフロー検出装置2は、後方接近車両の推定精度向上効果のみだけではなく、前方の歩行者の挙動予測、監視装置などへの応用も期待できる。
ここで、参考として上述した第1の技術の撮像手段であるピンホールカメラモデルと歪み画像の関係並びに補正方法について概略的に説明する。
ピンホールカメラモデルでは、図3に示すように、物体の存在する三次元空間座標系を世界座標系[Xw、Yw、Zw]と、カメラのレンズを基準としたカメラ座標系[Xc、Yc、Zc]との2系統でモデル化する。
カメラで撮影した物体は、下記の[数1]−(1)式で示すカメラ外部パラメータ変換により、線形変換(回転と並行)にてカメラ座標系に変換される。
撮影された物体は、図3に示すように、物体・レンズ焦点を結ぶ直線と、イメージプレーンの交点[Xcm、Ycm、1]との位置に、画像として投影される。
また、下記の[数2]−(3)式で示すカメラ内部パラメータにより、イメージプレーン上の投影点は、モニタ等の表示デバイス座標[Um、Vm]の黒丸印の位置に変換され、画像として表示される。
特許文献2以外の方法で[Xcm、Ycm]と[Xcd、Ycd]の関係を示す公知の技術として、例えば「レンズ焦点から見た視野角θに基づく3次多項式で示す近似モデル」を利用する方法が挙げられる。この手法に基づけば、[Xcm、Ycm]と[Xcd、Ycd]の関係は次式のように示される。
イメージプレーンと画像平面の対応は、カメラ内部パラメータで示される線形変換であるため、[Xcm、Ycm、1]と[Um、Vm]との順変換・逆変換及び[Xcd、Ycd、1]と[Ud、Vd]との順変換・逆変換は、上記の[数2]の操作に従い容易に行なうことができる。
また、イメージプレーン上で、歪みのない像[Xcm、Ycm、1]から歪みを持つ像[Xcd、Xcd、1]への変換は、上記の[数3]−(5)〜(7)式の操作で容易に実行することができる。
さらに、Yw=Yconstとする条件下では、上記の[数2]により、[Xcm、Ycm、1]から世界座標系[Xw、Yconst、Zw]の位置を求めることが可能である。
歪み画像[Ud、Vd]に対応する世界座標系[Xw、Yconst、Zw]位置を求めるためには、[Ud、Vd]と[Xcd、Ycd、1]と[Xcm、Ycm、1]と[[Xw、Yconst、Zw]との順序で、近似モデル式の逆を追って変換しなければならない。
即ち、従来、手順1として、図5に示す歪み画像上の点[Ud、Vd]をイメージプレーン上の[Xcd、Ycd、1]座標系に変換する。
手順2として、上記の[数2]の逆変換をすることで、図6に示すように、イメージプレーン上の[Xcm、Ycm、1]座標系に変換する。
手順3として、下記の[数8]〜[数10]の高次方程式の計算をすることで、図7に示すように、イメージプレーン上の[Xcm、Ycm、1]座標系から世界座標系[Xw、Yconst、Zw]に変換する。
手順4として、上記の[数1]の逆変換をすることで、図8に示すように、歪み画像と同じサイズ[w*h]のバッファを用意し、計算元の[Ud、Vd]と同じ位置へ世界座標系[Xw、Zw]を求める。
手順5として、図9に示すように、この求めた世界座標系[Xw、Zw]を登録したXw計測マップ、Zw計測マップを作成する。
計算精度を確保するためには、繰り返しの反復回数を増やす必要があるため、リアルタイムに解を得る操作は原理的に不可能に等しい。
よって、上述した第1の技術では、事前に[Xcd、Ycd、1]から[Xcm、Ycm、1]の変換を行い、歪み画像上の全ての画素位置で対応する[Xw、Yconst、Zw]をラゲール法等の処理にて高次方程式を解き、これら座標を記録する2枚の計測マップ[Xw、Zw]の作成を行なう手法を提案していた。但し、イメージプレーン上で対数近似域(Rcm2>Rck2あるいはRcd2>Rcl2)では、上記の[数10]の操作により非線形方程式をTsai近似モデル域と同じ次元で、線形の高次方程式に変換して計測マップ座標値を算出した。
規定高さ(Yconst)平面は、図3に示すように、地面と平行な平面で定義したので、規定高さ(Yconst)平面上の[Xw、Yw]座標は、計算することができない。よって、計測マップについては、レンズ焦点高さよりも上方の位置に関する[Xw、Yw]座標値を持つことはできない。なぜならば、レンズ焦点高さよりも上方に存在する物体とレンズ焦点を結ぶカメラ視線(直線)は、カメラよりも後方位置で規定高さ(Yconst)と交わるため投影面裏位置(虚空間)となり撮影できないからである。
前記第1の技術では、従来後方よりの接近車両を示すオプティカルフローの始点・終点と対応する計測マップのXw、Zw登録値より自車両と接近車両の相対位置を計測し、図10・図11に示すように、マッチング比較対象の2枚の撮影時間の差を利用し相対速度を求め、TTCRを算出し、自車両への衝突可能性を判定した。
このオプティカルフロー検出装置2では、自車両と接近車両の相対位置の計測は行なえない計測マップ無効領域上に発生するオプティカルフローを利用しTTCRを算出するものである。しかしながら、2次元の画像から3次元の全情報を算出することは不可能であるため、何らかの拘束条件が必須事項となる。そこで、オプティカルフロー検出対象の物体は、図11に示すように、同じ高さのまま(△Yw=0)、△Xw、△Zw方向へ等速移動するという拘束条件を定義する。
先ず、[Xw、Yw、Zw]と[Xc、Yc、Zc]との対応について着目する。
オプティカルフローの始点位置[Ud0、Vd0]に対応する物体の世界座標系位置を[Xw0、Yw0、Zw0]、カメラ座標系位置を[Xc0、Yc0、Zc0]でそれぞれ定義し、オプティカルフローの終点位置[Ud1、Vd1]に対応する物体の世界座標系位置を[Xw1、Yw1、Zw1]、カメラ座標系位置を[Xc1、Yc1、Zc1]でそれぞれ定義する。
また、同様に、オプティカルフローの始点位置[Ud0、Vd0]に対応する歪みを除去したイメージプレーン座標位置を[Xcm0、Ycm0、1]、オプティカルフローの終点位置[Ud1、Vd1]に対応する歪みを除去したイメージプレーン座標を[Xcm1、Ycm1、1]で、それぞれ定義する。
但し、歪み画像上の座標[Ud、Vd]とイメージプレーン上の座標[Xcm、Ycm、1]との順変換・逆変換の操作には、高次方程式の求解作業(反復操作)が必須である。上述した第1の技術と同様に、計算精度を維持したまま反復操作を回避し、変換操作を円滑に行なう操作が必要と考えられる。
即ち、図12に示す歪み画像上の点[Ud、Vd]をイメージプレーン上の[Xcd、Ycd、1]座標系に変換する。次に、上記の[数2]の逆変換をすることで、図13に示すように、イメージプレーン上の[Xcm、Ycm、1]座標系に変換する。そして、上記の[数8]〜[数10]の高次方程式の計算をすることで、図14に示すように、歪み画像と同じサイズ[w*h]のバッファを用意し、計算元の[Ud、Vd]と同じ位置へイメージプレーン座標系[Xcm、Ycm]を求める。さらに、図15に示すように、この求めたイメージプレーン座標系[Xcm、Ycm]を登録したXcmイメージプレーンマップ、Ycmイメージプレーンマップを作成する。
即ち、手順1として、上記の[数1]の操作により、これらの関係を下記の[数11]のように表すことができる。
・2*2行列による二次元ベクトルの変換式の形態である。
・[ΔXw、ΔZw]は、等速移動であるので、定数と考えられる。
・Δtは、マッチング比較を行う2枚の画像の撮影時間差であるので定数と考えられる。
・ΔXcm、ΔYcmは、歪み画像上のオプティカルフローをイメージプレーン上に変換したものである。
よって、Xcm、Ycmは、イメージプレーンマップ、あるいは、上記の[数8]〜[数10]の高次方程式の操作により求められる。
これにより、2*2逆行列を使用することで、[ΔXw/ΔZc1、ΔZw/ΔZc1]を求めることができる。
拘束条件である等速直線運動によれば、△Zcは一定値である。Zc1と△Zcの具体値(カメラ座標系Zc方向に関する位置・速度)を求めることは、原理上できないが、接近交差時間(TTCR)については、△Zc/Zc1の逆数Zc1/△Zc(距離/速度の比)として推定することができる。
但し、ピンホールカメラモデルの条件に基づき、イメージプレーンはモニタと同じくX増加方向を右側、Y増加方向を下側とする表裏反転座標系として定義している。速度ΔZcが自車に接近する方向を+符号とする場合、Zc1の示す符号は逆転し−符号となる。
よって、TTCRの換算式は、下記の[数23]−(35)式のように表される。
よって、下記の[数23]−(35)式に基づくTTCR推定値に衝突可能性を示す閾値(例えば、TTCR=1.0秒)を設定することで、運転者に車両の接近を警報したり、衝突回避を目的とする自動装置の制御目標値やトリガ等へ応用したりすることができる。
前記[数19]−(27)式からΔZc/Zc1項だけ抽出すると、下記の[数22]−(31)式のように表すことができる。
前記第1の技術で示された計測マップとは異なり、イメージプレーンマップXc、Ycは、無効範囲(Yconst等の拘束条件に基づく計算不能領域)を持たない。
原点[Xc、Yc]=[0、0]以外で検出された、全てのオプティカルフローからTTCRを求めることができる。つまり、離散し単独の状態で存在するフローについても、TTCRを求めることができる。
したがって、本手法により、画像上の広範囲にわたって衝突可能性を判定可能なシステムを構築することができる。
また、ブロックマッチングは、整数(画素)単位で検出されるため、TTCR推定精度を向上するために、同一対象から検出される周辺のオプティカルフローを一つにまとめたグループ単位でTTCR計算を行うことが望ましい。
そこで、グループに属するフロー全てについて、[数22]−(32)式に基づくTTCR=ΔZc/Zc1計算処理を適用し、求めたTTCRの平均値を算出し、フローの検出元となった接近車両のTTCR値として使用することで、推定精度の向上を図ることができる。
カメラ座標系Yc=0投影面の現象であって、拘束条件に沿って、移動接近する接近車両の配置を、図16に示すようになる。
ある任意のオプティカルフローに着目すると、図17に示すように表される。
・図17の符号Aの長さは、A=ΔXc+Bで表される。
・イメージプレーン上に変換されたオプティカルフローは、Xcm1−Xcm0=ΔXcmで示される。
・三角形の相似関係より、A:ΔXcm=Zc1:1である。
・三角形の相似関係より、B:Xcm0=ΔZc:1である。
カメラ座標系Xc=0投影平面にて現象を検討すれば、Zc1*ΔYcm=ΔYc−ΔZc*Ycm0となり、これは、上記の手順4の[数17]の先頭の形式に帰着できることが明らかである。
イメージプレーンマップXc、Ycは、基本的に少数以下のデータを扱うため、実装対象となる装置によっては、浮動少数のデータサイズや表現の都合上、導入が困難なケースが考えられる。
よって、イメージプレーンマップXc、Ycの代わりに、入力画像(歪み画像)w*hに対応した歪み補正画像の座標位置を登録したUm、Vmマップを使用しても構わない。
この場合、前記[数18]−(25c)式は、以下の[数24]−(36c)式に変形される。[数23]−(35)式に関する解放には、作成した下記[数24]−(36c)式に基づく方程式を使用する。
・サイズ=w*h
・参照の最大値w*h(入力画像の外を参照しない…画素がないから)
・w*hサイズの画像で表示できる歪み補正を作成するときの座標を登録する。
・[Cx、Cy]は表示中心なので、n倍で倍率調整した画像(nW)*(nH)にあわせた[Cxm、Cym]を使用する。
これに対して、上記Um、Vmマップで示される歪み補正マップの特徴は、以下の通りである。
・サイズ=w*h
・参照の最大値W*H(入力画像の外を参照する…座標系変換に画像サイズは関係ない)
・w*hサイズの入力画像が収差の影響を受け歪む前の座標位置を取得する。
・マップサイズはw*hで入力画像と同じなのでキャリブレーションデータ[Cxd、Cyd]を使用する。
既に、オプティカルフローからTTCRを推定する手段を示した。また、TTCR推定精度を向上するために、検出されたオプティカルフローの集合単位で求めたTTCR平均値を利用する手段を示した。
但し、単独、集合単位で求めたいずれのTTCR推定値についても検出されたオプティカルフローの精度が影響するため、誤検出フローがTTCR推定に使用されることで精度が著しく低下するおそれがある。よって、TTCR推定精度を確保するためには、不確かなオプティカルフローをTTCR計算対象から外す必要がある。
そこで、イメージプレーンマップXc、Ycを使用する場合に、オプティカルフローを追跡する新たな手法について示す。
まず、イメージプレーン上で検出されたオプティカルフローの始点を[Xcm0、Ycm0]、終点を[Xcm1、Ycm1]と定義する。このフローを追跡対象フローに設定する。
オプティカルフロー追跡において、予測される次点(移動後画面)のオプティカルフローの始点は、今回検出されたフローの終点[Xcm1、Ycm1]が相当する。次に、次点フローの予測終点を[Xcm2、Ycm2]と仮定する。
フロー検出元である接近車両等の対象の移動は、ΔYw=0、ΔXw、ΔZwは、定数(等速運動)と仮定したので、拘束条件に従い画像検出したオプティカルフローより、次点のオプティカルフロー発生位置を推定する。
前記手順2、手順4と同様に下式の[数25]−(37)式、[数25]−(38)式に従い、次点の実空間車両移動予測位置[Xw2,Yw2,Zw2]およびカメラ座標系イメージプレーン上の移動予測位置[Xcm2,Ycm2]を定義する。
また、△tは、やはりカメラからの画像入力時間の間隔であるので、一定の撮影周期で動作するシステムであれば既知の定数(ビデオフレームレートの倍数)である。
前記[Xcm2,Ycm2]はイメージプレーン上の推定点であるので、[数2]・[数3]等の操作で歪み画面上の予測座標[Ud2,Vd2]へと容易に変換できる。
即ち、前回のオプティカルフロー終点[Ud1,Vd1]と予測点[Ud2,Vd2]を結ぶ直線が、歪み画像上で次回に発生すると予測されたオプティカルフローである。
また、この予測位置付近で実際に検出されるオプティカルフローを、後続車両の接近を示す正規フローとして判別し、この操作を次々画像へと繰り返し行なうことで、オプティカルフローのトラッキング効果を獲得することができる。
毎回予測フロー位置を計算する工数を簡略化するために、前記第4の技術のTTCRマップと同様に新たな多段階層マップを導入し、予測フローを予め登録することも可能である。
ここで、オプティカルフローの長さ方向を[Fx,Fy]で定義する。
多段階層マップには、フローの特性[Fx,Fy]を示すIDを設定する。例えば、フローの特性が[Fx,Fy]=[−2,4]を示す場合の多段階層マップIDを[M02_P04]と定義する。
多段階層マップは、歪画像(入力画像)と同じサイズで定義される。
まず、マップ上の全ての画素位置[Ud,Vd]をオプティカルフローの終点位置[Ud1,Vd1]と定義する。
次に、全ての[Ud1、Vd1]に対し、多段階層マップIDに対応するフロー[Fx,Fy]が検出されたと想定し、フローの始点[Ud0,Vd0]=[Ud−Fx,Vd−Fy]から計算する。
始点[Ud0,Vd0]及び終点[Ud1,Vd1]を、イメージプレーンマップに基づきイメージプレーン座標系[Xcm0,Ycm0]、[Xcm1,Ycm1]に変換する。
さらに、前記[数27]−(42)式に基づくオプティカルフロー追跡処理により、[Xcm1,Ycm1]位置で予測終点[Xcm2,Ycm2]位置を算出する。
計算した予測終点[Xcm2,Ycm2]を元の歪画像[U,V]座標系に戻す。この値を[Ud2,Vd2]と定義する。
検出対象が等速で移動する場合、次点移動後の歪画像(入力画像)上でオプティカルフローを行った際に検出が予測されるフローは、[Ud1,Vd1]を始点に、[Ud2,Vd2]を終点に持つフローとなることが前記[数27]−(42)式により推定されるので、実際に検出したフローの中から予測から外れたフローを除外し、信頼度の高いフローのみを選定することでTTCR推定精度を向上することができる。
予測終点[Ud2,Vd2]を[Ud,Vd]座標系として多段階層マップに登録する場合、例えばVGA(640*480)サイズの入力画像であればUdの値で10ビット、Vdの値で9ビット、総計19ビットのデータサイズがマップ1画素当たりに要求される。さらに、多段階層マップはブロックマッチングの探索範囲分の階層数が必要とされるため、マップ1画素単位のデータサイズが大きい場合、規模の小さいシステムへの実装が困難となる場合が考えられる。
そこで、予測終点のマップ上への登録については、終点[Ud2,Vd2]から始点[Uc2,Vc2]情報を差し引くことでフローの特性を長さ・方向を示す[Fx2,Fy2]=[Ud2−Ud1,Vd2−Ud1]値で代用し、登録値のデータサイズを削減する手法がデータ削減の面から推奨される。
例えば、ブロックマッチング探索範囲が±7ピクセルの場合、登録値[Fx2,Fy2]の各有効範囲も±7以下である。結果、マップ登録値を示す情報はX方向4ビット、Y方向4ビットの計1バイトで登録することができる(Fx、Fyを上位下位各4ビットで扱う)。
図18に多段階層マップ[M02_P04]上に予測される次点のフロー[Fx2,Fy2]を登録する場合の適用例を示す。
原画像で長さ[Fx,Fy]=[−2,4]、終点[Ud、Vd]のオプティカルフローが検出された場合を想定し、ID=[M02_P04]の多段階層マップ上、[Ud1,Vd1]位置に、次画像で検出が予測されるオプティカルフローの長さ[Fx2,Fy2]=[−4,+5(例)]の情報を、所定のフォーマットに沿った値(=0xc5(例))で登録する。
この作業を多段階層マップ上の全ての画素位置、全てのID(フロー[Fx,Fy])箇所で実行する。
但し、システムのスペックについてデータサイズ・容量を気にする必要がない場合については、この限りではない(フローの長さではなく直接Ud2,Vd2座標系を登録しても構わない)。
手順1として、ブロックマッチング作業によりオプティカルフローを検出する。
ブロックマッチングによるオプティカルフローの検出では、図19に示すように、歪み画像上の[Ud、Vd]座標系[i、j]から、対応する[Xcm、Ycm]系イメージプレーン位置を参照取得し、始点[Xcm[i、j]、Ycm[i、j]]=[XcmA、YcmA]、終点[Xcm[i、j]、Ycm[i、j]]=[XcmB、YcmB]を求める。
データテーブルのうち、フロー長さ[△Ud、△Vd]について求めた階層テーブル内の予測フロー登録テーブルを取り出す。例えば、図19のAのフローの長さが[△Ud、△Vd]=[3、3]であれば、図20に示すように、データテーブル[3、3]のアドレスに登録されたテーブルを取り出す。図20において、[U、V]=[0、0]は静止状態なのでフローが発生しない。
[△Ud、△Vd]位置のテーブルには、画像と同じサイズの予測フロー登録テーブルが格納されている。検出したオプティカルフローの始点[i,j]と、フロー長さ[△Ud、△Vd]を使用する。[△Ud、△Vd]予測フロー登録テーブルには、オプティカルフロー終点[i1、j1]位置に対して[△Ud、△Vd]のフローが発生した場合、次にどのようなフローが検出されるかが登録情報として記録されている。
よって[△Ud、△Vd]予測フロー登録テーブルの[i1、j1]位置に記録されたフローが[3、4]である場合、次点で発生する予測フロー終点は[i2、j2]=[3+i1、4+j1]であると推定される。
さらに、前記第4の技術のFOE(消失点:Focus Of Expansion)無効判定方向、TTCR判定情報を組み合わせて、例えば、図21のように、[3、3]予測フロー登録テーブルと[3、3]TTCRマップとをまとめて良い。
例えば、図22の残ったフローのうちの、フローAに着目する。
手順2により予測されたフロー検出予測位置に対して、ブロックマッチングテンプレートを多重配置し、新規フローが実際に発生するかを重点的に監視する。図22の例では、フローは実際には路面のノイズを示すものであったので、次回のブロックマッチング時に予測位置にオプティカルフローは検出できなかった。
前記第4の技術の場合では、次点の予側かできなかったので、このフローAが誤ったフローであるという認識ができなかった。しかし、本例では、フローAが無効な誤検出フローであったことが判定できた。
前記第1の技術、第2の技術を応用した場合では、フロー連続監視を計測マップのXZ実空間座標により実行することで、路面上の誤検出フローを除去することができた。しかしながら、自車両が走行する車線の隣車線上の接近車両を示すフロー(下部フロー)に関しては、図23に示すように、次画像で接近車両自体の陰に入り込み、新たにオプティカルフローの検出を行なうことができなかった。また、接近車両を示すフロー(上部フロー)は、次画像での処理時、計測マップのXZ実空間座標の有効範囲外に移勤したため、検出ができなかった。
しかしながら、この発明のオプティカルフロー検出装置2の手法を使用することで、接近車両を示すフロー(上部フロー)に関しても連続トラッキングをすることができ、接近車両を見失うことなく、その衝突可能性を判定することができた。
2 オプティカルフロー検出装置
3 広角レンズ
4 撮像手段
5 画像処理手段
6 オプティカルフロー検出手段
7 オプティカルフロー予測手段
8 オプティカルフロー判定手段
9 多重テーブル
Claims (3)
- 広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第1の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出し、前記撮像手段により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルを備え、前記多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を登録しておき、前記オプティカルフロー予測手段は、前記オプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を取得し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフローを予測することを特徴とするオプティカルフロー検出装置。
- 広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第1の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測し、前記撮像手段により次回撮像された時に、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置に第2の物体が検出され、この第2の物体が前記第1の物体をマスキングしていると判定される場合には、前記撮像手段により次回撮像される時の前記第1の物体のオプティカルフロー位置とオプティカルフロー長さとを予測し、前記撮像手段により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルを備え、前記多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を登録しておき、前記オプティカルフロー予測手段は、前記オプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を取得し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフローを予測することを特徴とするオプティカルフロー検出装置。
- 広角レンズを有する撮像手段と、前記撮像手段により撮像された画像上の物体のオプティカルフローを検出するオプティカルフロー検出手段と、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフローを予測するオプティカルフロー予測手段とを備え、前記オプティカルフロー予測手段は、前記第1の物体は移動前後で高さの変動を発生せずに前方及び横方向に等速移動するとしてイメージプレーン上の移動予測位置を算出し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフロー位置とオプティカルフロー長さとを予測し、前記オプティカルフロー予測手段により予測されたオプティカルフロー位置がいったんオプティカルフロー検出可能範囲外になっても、前記オプティカルフロー予測手段によりオプティカルフロー位置予測を繰り返した結果、予測されたオプティカルフロー位置が再びオプティカルフロー検出可能範囲内に戻る場合には、オプティカルフロー検出可能範囲内になるまで前記オプティカルフロー予測手段により前記第1の物体のオプティカルフロー位置とオプティカルフロー長さとを予測し、前記撮像手段により撮像された画像上の画素数と同サイズで、検出可能なオプティカルフローの最大長さに対応するテーブル数である多重テーブルを備え、前記多重テーブル上の各画素位置に対応するエリアに物体が前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を登録しておき、前記オプティカルフロー予測手段は、前記オプティカルフロー検出手段により検出されたオプティカルフローに基づいて前記多重テーブルを参照して前記撮像手段により次回撮像される時のオプティカルフロー長さに関する情報を取得し、前記撮像手段により次回撮像される時の、前記オプティカルフロー検出手段によりオプティカルフローを検出された画像上の第1の物体の、オプティカルフローを予測することを特徴とするオプティカルフロー検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011136157A JP5709048B2 (ja) | 2011-06-20 | 2011-06-20 | オプティカルフロー検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011136157A JP5709048B2 (ja) | 2011-06-20 | 2011-06-20 | オプティカルフロー検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013003955A JP2013003955A (ja) | 2013-01-07 |
JP5709048B2 true JP5709048B2 (ja) | 2015-04-30 |
Family
ID=47672443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011136157A Active JP5709048B2 (ja) | 2011-06-20 | 2011-06-20 | オプティカルフロー検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5709048B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10559206B2 (en) | 2017-03-15 | 2020-02-11 | Kabushiki Kaisha Toshiba | Mobile body spatial information calculation apparatus and collision avoidance system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6390665B2 (ja) * | 2016-06-02 | 2018-09-19 | マツダ株式会社 | 車両制御装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262375A (ja) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | 移動体検出装置 |
JP4720386B2 (ja) * | 2005-09-07 | 2011-07-13 | 株式会社日立製作所 | 運転支援装置 |
JP2008186170A (ja) * | 2007-01-29 | 2008-08-14 | Fujitsu Ten Ltd | 運転支援装置および運転支援方法 |
JP2010218226A (ja) * | 2009-03-17 | 2010-09-30 | Suzuki Motor Corp | 計測マップ生成装置及び走行環境確認装置 |
-
2011
- 2011-06-20 JP JP2011136157A patent/JP5709048B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10559206B2 (en) | 2017-03-15 | 2020-02-11 | Kabushiki Kaisha Toshiba | Mobile body spatial information calculation apparatus and collision avoidance system |
Also Published As
Publication number | Publication date |
---|---|
JP2013003955A (ja) | 2013-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5108605B2 (ja) | 運転支援システム及び車両 | |
US9277132B2 (en) | Image distortion correction of a camera with a rolling shutter | |
JP6107081B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
TWI393074B (zh) | 移動物體偵測裝置與方法 | |
JP4793324B2 (ja) | 車両監視装置および車両監視方法 | |
JP5035371B2 (ja) | 横断歩道検出装置、横断歩道検出システム,横断歩道検出方法及びプログラム | |
CN104204721A (zh) | 单个相机距离估计 | |
JP2007213561A (ja) | 車両周辺監視装置 | |
US20110228981A1 (en) | Method and system for processing image data | |
JP2010198552A (ja) | 運転状況監視装置 | |
CN105654031B (zh) | 用于物体检测的系统和方法 | |
JP2010256995A (ja) | 物体認識装置 | |
JP2010218226A (ja) | 計測マップ生成装置及び走行環境確認装置 | |
JP4872890B2 (ja) | 画像の歪曲補正方法 | |
JP7107931B2 (ja) | 移動オブジェクトのレンジを推定する方法および装置 | |
JP2011134207A (ja) | 運転記録装置および地図作成システム | |
JP2014142241A (ja) | 3次元位置推定装置、車両制御装置、および3次元位置推定方法 | |
JP2011513876A (ja) | 物体の動作を特徴づけるための方法およびシステム | |
JP6384802B2 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP6241172B2 (ja) | 自車位置推定装置及び自車位置推定方法 | |
JP5709048B2 (ja) | オプティカルフロー検出装置 | |
JP5697587B2 (ja) | 車両火災検出装置 | |
JP2006127083A (ja) | 画像処理方法及び画像処理装置 | |
JP5418427B2 (ja) | 衝突時間算出装置、衝突時間算出方法及びプログラム | |
JP4575315B2 (ja) | 物体検出装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5709048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |