JP3543912B2 - オプティカルフロー検出方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、走行している自車両から撮像して得た所定時間相前後する２コマの画像中の同一点の移動を、自車両に対する他車両又は路上障害物の接近を監視するためのオプティカルフローとして検出するオプティカルフロー検出方法に関するものである。
【０００２】
【従来の技術】
従来、この種の方法として、例えば特願平２−２４１８５５号公報に開示されたものがある。同公報に開示された方法は、走行している自車両から前景を撮影し、この撮影した前景の同一点の移動を所定時間毎にオプティカルフローとして認識し、このオプティカルフローと前方車両との車間距離を測定する距離センサをもとに自車両に対する先行車両の位置、相対速度からなる情報を得、この情報をもとに危険と判断した場合に運転者にその旨を知らせるものである。
【０００３】
また、オプティカルフローを求めるために、従来、２コマの画像間で対応する点を検出するマッチング法と呼ばれる手法が採用されていた。このマッチング法は、図９（ａ）に示す時点ｔにおける画像上において着目する画素Ｐに対し窓Ｗ１をとり、画像内全域又は周辺の領域に対し窓を移動しながら相関値を計算し、図９（ｂ）に示すように、相関値が最大となった窓Ｗ２の点を対応点、すなわち対応する画素Ｑとして求め、このＰＱ（矢印）がオプティカルフローとなる。上記相関値を求めるためには、

なる計算を行う。なお、Ｗ１_(x,y) ，Ｗ２_(x,y) は窓Ｗ１，Ｗ２内の（ｘ，ｙ）座標の出力である。
【０００４】
【発明が解決しようとする課題】
しかし、このような従来の方法では、オプティカルフローを求めるために、２枚の画像間で対応する点を検出するという演算処理を行う必要があるが、上述したようにこの演算処理は、ある一点の対応点を検出するために、画像内の一画素に対し、画像内の全領域あるいは周辺の領域の全ての画素に対して検索を行うといったものである。画像全体にわたって対応点を検出するためには、この処理を全画素に対して行わなければならない。また、検索を行うために指標として使用する相関値を求めるためにも多くの計算を必要とする。
【０００５】
従って、計算量が膨大になるため実時間化が困難であったり、実現するためには、高速度の演算処理装置を必要とするため装置自体が高価格化してしまうというような問題があげられる。
【０００６】
よって本発明は、上述した従来の問題点に鑑み、ビデオカメラで撮像して得た画像において、所定時間毎に同一点の移動をオプティカルフローとして高速に認識することができるようにしたオプティカルフロー検出方法を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため本発明によりなされたオプティカルフロー検出方法は、走行している自車両から撮像して得た所定時間相前後する２コマの画像中の同一点を両画像中の各点について相関をとることにより定め、該定めた同一点の移動を、自車両に対する他車両又は路上障害物の接近を監視するためのオプティカルフローとして検出するオプティカルフロー検出方法において、
相関によって前記同一点を定めるに先立ち、所定時間相前後する２コマの画像間で各点の輝度差を求め、該輝度差が空や路面のように２コマの画像内で輝度変化がない場所でないことを判定するための一定のしきい値を越えている点を残して他を前記２コマの画像から削除し、前記２コマの画像に残った点を対象にして定めた前記２コマの画像中の同一点についてのみオプティカルフローを求めることを特徴としている。
【０００８】
【作用】
上記方法によれば、所定時間相前後する２コマの画像であっても、遠方にある空はほぼ同じ場所を撮像していて２コマの画像内で移動が無く、空に比べて近くにある路面は２コマの画像内で大きく移動しているが、均質であるので、２コマの画像中において時間的な輝度変化がない他、これらの部分には自車両に対する他車両又は路上障害物の接近を監視するためのオプティカルフローとして検出して意味のある点が存在しないことに着目して、所定時間相前後する２コマの画像で輝度差を求め、該輝度差が空や路面のように２コマの画像内で輝度変化がない場所でないことを判定するための一定のしきい値を越えた点を残して他を前記２コマの画像から削除し、２コマの画像に残った点を対象にしてオプティカルフロー検出のための２コマの画像中の同一点を両画像中の各点について相関をとることにより定めることによって、画像中の空や路面以外の相対速度０又は相対速度差の小さな他車両の全部又は多くの部分についても、２コマの画像内において輝度変化のない部分となっていることにより、相関をとることにより２コマの画像中の同一点として定めなければならない画像内の点から削除されるようになって、オプティカルフローを検出するに当たって相関により２コマの画像中の同一点として定めなければならない画像内の点の数が大幅に減少し、無駄な処理を省くことが可能となり処理の高速化が図られる。
【０００９】
【実施例】
以下、本発明の実施例を図面に基づいて説明する。図１は本発明による方法を実施するための装置の構成を示し、同図において、１は前景を撮像するビデオカメラ、２はビデオカメラ１によって得られた画像を入力し、後述する画像処理を行う演算処理装置、３は自車両の速度を計測する速度計、４は演算処理装置２の画像処理結果と速度計３から得られる自車両速度とを入力して危険度判定処理を行う演算処理装置、５は警報装置である。
【００１０】
図２は、ビデオカメラ１によって得られる前景画像の変化を説明するための図であり、（ｂ）は（ａ）に示す自車両を含む状況においてビデオカメラ１が時間ｔで撮像した画像、（ｃ）は時間ｔ＋Δｔで撮像した画像をそれぞれ示す。
【００１１】
今、自車両は平坦な道を直進しているとする。例えば（ａ）に示される道路標識及び建物に注目すると、時間の経過により時間ｔ、時間ｔ＋Δｔにおいて、（ｂ）、（ｃ）に示されるような画像が得られる。この２枚の画像において対応する点を捜しそれらを結ぶと（ｄ）に示されるような速度ベクトルが得られる。これがオプティカルフローである。
【００１２】
ここでこれらオプティカルフローは、画像内のＦＯＥ（Focus of Expansion）とよばれる１点から放射状に現れる。ＦＯＥとは、無限遠点又は消失点と呼ばれ、車両が直進している場合画像上において自車両の進行方向を示す１点に対応する。このように、自車両が走行している場合に求められるオプティカルフローは、ＦＯＥから放射状の方向である。ここで先行他の車両から発せられたオプティカルフローは、自車両に対する先行する他の車両の位置、相対速度からなる情報を含んでおり、オプティカルフローが長い程危険度が高いと考えられる。
【００１３】
次に、その詳細を図３を参照して説明する。同図の光学的配置おいて、１１はビデオカメラのレンズ、１２はビデオカメラのイメージプレーン、ｆはレンズ１１からイメージプレーン１２までの距離、Ｐ（Ｘ，Ｙ，Ｚ）は先行する他の車両又は障害物上の任意の１点、ｐ（ｘ，ｙ）はイメージプレーン１２上の点Ｐに対応する点とすると、３角形の相似の比から
ｘ＝ｆ・Ｘ／Ｚ ……（２）
となる。
【００１４】
この式を変形して、時間微分すると、
Ｘ’＝（Δｘ／Δｔ・Ｚ＋ｘ・Ｚ’）／ｆ ……（３）
となる。また、オプティカルフローのｘ方向成分ｕとは
ｕ＝Δｘ／Δｔ ……（４）
であるので、これを用いて
Ｚ＝（ｆ・Ｘ’−ｘ・Ｚ’）／ｕ ……（５）
となる。
【００１５】
ここで
Ｚ’＝先行する他の車両ないし障害物と自車両との相対速度＝−α ……（６）
であるから上式（５）は
Ｚ＝（ｆ・Ｘ’＋ｘα）／ｕ ……（７）
となる。よってオプティカルフローのｘ方向成分ｕは
ｕ＝（ｆ・Ｘ’＋ｘα）／Ｚ ……（８）
となる。Ｙについても同様に求まる。
【００１６】
よって上式（８）より、Ｚが小、すなわち先行する他の車両又は障害物までの距離が小である程、又はαが大、すなわち先行する他の車両との相対速度が大である程、オプティカルフローのｘ成分は大きくなる。これはＹ方向についても同様である。
従って、オプティカルフローは先行する他の車両などとの距離が小さい程、更に相対速度が大きい程長くなり、これよりオプティカルフローが短いときより長いときの方が相対的に先行する他の車両又は障害物に対する危険度が大きいと考えられる。
【００１７】
本発明では、オプティカルフローがＦＯＥから放射状の向きに求められるということを利用し、高速にオプティカルフローを求めるようにしており、その方法を図４に基づいて以下説明する。
【００１８】
図４は、高速にオプティカル・フローを求める方法の一実施例を示した図である。まず、始めに時間ｔでの画像において着目する一点に対しＦＯＥから放射状の方向に細長い窓を設定する（図４（ａ））。次に、時間ｔ＋Δｔでの画像において、窓をＦＯＥから放射状の方向に一点づつ移動しながら、時間ｔでの窓との輝度差の絶対値の総和を求める。そして総和が最小になったときの窓の移動量が、着目する一点の速度ベクトルとして求められる（図４（ｂ））。なお、上記輝度差は、窓を構成する各画素について、例えば（ａ）及び（ｂ）に○で示す対応する位置の画素間のものである。以上のような処理を時間ｔの画像の全ての点において繰り返し行うことにより、画像全体のオプティカルフローを求めることができる。
【００１９】
また、従来の方法では、対応する窓同士を比べる際に、相互相関値を用いていた。それに対し本発明の方法では、輝度差の絶対値の総和を用いているので、計算量の軽減となり、処理の高速化が行える。
【００２０】
本発明では更に、画像内の全ての点に対し速度ベクトルを求めているのではなく、時間ｔと時間ｔ＋Δｔとの画像で輝度差を求め、その輝度差が一定のしきい値を越えた点だけに対し処理を行うようにしている。なお、一定のしきい値は、空や路面のように時間的に異なる２コマの画像内で輝度変化がない場所でないことを判定することができる値である。
【００２１】
一般に、車両走行中に前景を映した画像には、自車両に対する他車両又は路上障害物の接近を相対関係により監視するためのオプティカルフローとして検出しても意味のある点が存在しない空や路面は、時間的な輝度変化がない場所が多い。このような場所では、対応点を検出する処理を行っても、対応点（２コマの画像中の同一点）が検出されないことが分かるだけで、原理的にオプティカルフローを求めることが不可能でもある。従って、本発明の方法のように、時間ｔでの画像と時間ｔ＋Δｔでの画像内で、輝度差のあるところに着目して処理を行うことにより、無駄な処理を省くことが可能となり高速化が行える。
【００２２】
上述したような方法によって、高速にオプティカルフローが求められる。しかし、ここで求まったオプティカルフローには、道路以外の風景や路面の車線などの障害物ではないものによって生じているオプティカルフローが含まれている。従って、ここで求められているオプティカルフローを用いて前方の障害物の存在又はその障害物による危険度を求めることは困難である。よって、道路外の風景や路面の車線から生じているオプティカルフローを除去する必要がある。次に、この方法について説明する。
【００２３】
図５は、道路外の風景によるオプティカルフローを除去する方法の一実施例である。同図において斜線が引かれている位置が、道路上を示しているとして、それ以外の場所では、処理を行わないものとする。こうすることにより、始めから道路外の風景から生じるオプティカルフローは求まらないことになり、なおかつ領域を制限することにより、処理時間の高速化が行えることとなる。
【００２４】
次に、路面上のマークを消す方法について図を用いて説明する。図６はこの方法の一実施例であり、まず光学的構成を説明する。図６はビデオカメラを設置した車両が直進する代わりに、路面全体が近づいてきたと仮定して描かれている。１１は前方を撮像するビデオカメラのレンズ、１２はビデオカメラのイメージプレーンを示す。１３及び１４は移動前後の車線を表している。レンズの中心を原点とする３次元座標と、イメージプレーン２上で上記ＦＯＥを原点とする２次元座標を考える。
【００２５】
移動前の車線の位置をＰ（Ｘ，Ｙ，Ｚ＋ΔＺ）、Ｚ方向にΔＺ移動後の位置をＱ（Ｘ，Ｙ，Ｚ）とすると、２つの３角形の相似比より式（１）のようにオプティカルフローの生じている車線のビデオカメラまでの高さを知ることができる。 Ｙ＝ｙ² ΔＺ／ｆΔｙ ……（９）
この求まった高さ情報を用いて、高さがビデオカメラ高と一致している、つまり路面上のマークなどによって生じているオプティカルフローを除去することができる。
【００２６】
ここで、ΔＺは２枚の画像の時間間隔Δｔの間に前進した距離であり、車両速度を知ることにより求めることができる。以上説明したような処理によって、前方の障害物以外から生じているオプティカルフローを除去することが可能となる。従って、いま残されているオプティカルフローの位置及び長さから前方の障害物がどの程度危険であるかを示す危険度を求めることが可能となる。
【００２７】
次に、危険度を求める方法について説明する。図７はこの方法の一実施例を示すものである。まず構成を説明すると、I 〜IVの各領域はそれぞれ自車線の遠方、自車線の近方、隣車線の遠方、隣車線の近方を示している。ここで危険度は、各領域に存在するオプティカルフローの長さの総和に対して各区域毎に重み付けし、この重み付けした値によって求められる。更に、各領域毎に所定のしきい値を設定しておき、フロー長さの総和がこのしきい値を越えたらしきい値を越えた領域は危険と判断される。しきい値を数レベル設定しておき、危険度のレベルを判断することもできる。
【００２８】
最後に、求められた危険度の大きさに従って警報を鳴らすことによって運転者に対し注意を促せることが可能となる。また、ディスプレイ上にどの領域がどの程度危険かを表示することも可能になる。さらに危険レベルにより警報の音色などの種類を変えることも可能である。
【００２９】
以上説明した本発明の方法による画像処理の手順を要約して示すと、図８のようになる。まず、ステップＳ１において時間ｔでの画像を取り込み、次にステップＳ２において時間ｔ＋Δｔでの画像を取り込む。その後ステップＳ３においてＦＯＥの設定を行い、続くステップＳ４において処理領域の設定を行う。続いてステップＳ５に進み、ここで時間ｔと時間ｔ＋Δｔの画像で輝度差が一定のしきい値を越えた領域を抽出する。その後ステップＳ６に進んで抽出した領域内でオプティカルフローを求め、次のステップＳ７において道路上のオプティカルフローを除去し、更に次のステップＳ８において各区域毎に重み付けした値によって危険度を計算する。
【００３０】
【発明の効果】
以上説明したように本発明によれば、所定時間相前後する２コマの画像間で各点の輝度差を求め、この輝度差が空や路面のように２コマの画像内で輝度変化がない場所でないことを判定するための一定のしきい値を越えている点を残して他を前記２コマの画像から削除し、２コマの画像に残った点を対象にしてオプティカルフロー検出のための２コマの画像中の同一点を定めることにより、オプティカルフローを検出するに当たって２コマの画像中の同一点として定めるための処理対象とすべき画像内の点の数が大幅に減少し、無駄な処理を省くことが可能となり高速化が図られ、実時間処理が容易になる。
【図面の簡単な説明】
【図１】本発明による方法を実施するための装置の一例を示すブロック図である。
【図２】図１のビデオカメラが撮像する前景、画像及び得られるオプティカルフローを示す図である。
【図３】本発明の方法による障害物などの検出の仕方を説明するための図である。
【図４】本発明の方法によりオプティカルフローの求め方を説明するための図である。
【図５】本発明の方法によりオプティカルフローの求めるため設定した領域の一例を示す図である。
【図６】本発明の方法により路面上の車線によるオプティカルフローの除去の仕方を説明するための図である。
【図７】本発明の方法により危険度を判定するため分けた区域の一例を示す図である。
【図８】本発明の方法の一連の処理を示す図である。
【図９】従来の方法の問題点を説明するための図である。
【符号の説明】
１ ビデオカメラ
２，４ 演算処理装置
５ 警報装置

Claims (1)

1. 走行している自車両から撮像して得た所定時間相前後する２コマの画像中の同一点を両画像中の各点について相関をとることにより定め、該定めた同一点の移動を、自車両に対する他車両又は路上障害物の接近を監視するためのオプティカルフローとして検出するオプティカルフロー検出方法において、
   相関によって前記同一点を定めるに先立ち、所定時間相前後する２コマの画像間で各点の輝度差を求め、該輝度差が空や路面のように２コマの画像内で時間的な輝度変化がない場所でないことを判定するための一定のしきい値を越えている点を残して他を前記２コマの画像から削除し、前記２コマの画像に残った点を対象にして前記オプティカルフロー検出のための前記２コマの画像中の同一点を定める
   ことを特徴とするオプティカルフロー検出方法。

Images