JP4269781B2

JP4269781B2 - Optical flow detection system, detection method and detection program

Info

Publication number: JP4269781B2
Application number: JP2003148765A
Authority: JP
Inventors: 和之櫻井
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2009-05-27
Anticipated expiration: 2023-05-27
Also published as: JP2004355082A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像における物体または画素の動きを示すベクトルであるオプティカルフローを検出するオプティカルフロー検出システム、検出方法および検出プログラムに関する。
【０００２】
【従来の技術】
近年、撮像装置で撮影された画像から、撮像装置が設置された車両等の周囲の物体の動き等を把握する方法が提案されている。その方法は、動画像のフレーム間でオプティカルフローを測定することにより、写っている物体の動きを把握するものである。
【０００３】
オプティカルフローは、画像の各フレームに特徴照合法（パターンマッチング）や、時空間勾配法等を用いることにより求められる。
【０００４】
現時刻の画像フレームと過去の画像フレームと間の時間間隔が短すぎるためにオプティカルフローが小さすぎて高精度の検出が困難である場合に、現時刻との時間間隔の長い過去の画像フレームと現時刻の画像フレームとを用いることにより、オプティカルフローを高精度で検出することができる方法が提案されている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開２００３−４４８６１号公報（第４−７頁、第１図）
【０００６】
【発明が解決しようとする課題】
しかし、特許文献１に記載されている方法では、大きさの小さなオプティカルフローを高精度に検出するために、各座標について、現フレームとの時間間隔が異なる複数の過去の画像フレームを用いてオプティカルフローを検出する。そのため、オプティカルフローを検出するためのデータ処理量が多いという問題がある。
【０００７】
そこで、本発明は、大きさの小さなオプティカルフローを、少ないデータ処理量で高精度に検出することができるオプティカルフロー検出システム、検出方法および検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明によるオプティカルフロー検出システムは、複数の過去フレームを記憶する画像蓄積手段と、オプティカルフローの大きさに対応する数値である評価量を画面内の画素毎に算出する評価量計算手段と、評価量計算手段が算出した評価量にもとづいて、画像蓄積手段に記憶されている過去フレームのうちいずれの過去フレームを用いるのかを画面内の画素毎に決定する過去フレーム選択手段とを備えたことを特徴とする。
【０００９】
評価量計算手段は、物体の画像フレーム上の座標位置にもとづいて、オプティカルフローの大きさに対応する評価量を算出してもよい。そのような構成によれば、画像フレームから得られる情報にもとづいてオプティカルフローの検出に用いる過去の画像フレームを特定することができるため、オプティカルフロー検出システムの構成を複雑にすることなくオプティカルフローを検出することができる。
【００１０】
評価量計算手段が算出する評価量は、物体の画像フレームにおける垂直方向座標値であってもよい。道路画像等の画像フレームでは、上方の物体は遠方の物体であると考えられるためオプティカルフローが小さいと考えられ、下方の物体は近傍の物体であると考えられるためオプティカルフローが大きいと考えられる。従って、道路画像等の画像フレームでは、垂直方向座標値という取得が容易な情報を用いて評価量を算出することができる。
【００１１】
評価量計算手段は、過去に検出したオプティカルフローの大きさにもとづいて、オプティカルフローの大きさに対応する評価量を算出してもよい。そのような構成によれば、画像フレームから新たに評価量を抽出する必要が無くなるため、より高速に評価量を算出することができる。
【００１２】
本発明による他の態様のオプティカルフロー検出システムは、複数の過去フレームを記憶する画像蓄積手段と、現フレームに現れる物体と撮影位置との間の距離を画面内の画素毎に計測する距離計測手段と、距離計測手段が計測した距離にもとづいて、画像蓄積手段に記憶されている過去フレームのうちいずれの過去フレームを用いるのかを画面内の画素毎に決定する過去フレーム選択手段とを備えたことを特徴とする。そのような構成によれば、画像に含まれる物体と撮影位置との距離にもとづいて評価量を算出するため、オプティカルフローが小さいと考えられる距離の遠い物体の座標のオプティカルフローの検出には現在時刻との時間間隔の長い過去の画像フレームを選択することにより、高精度にオプティカルフローを検出することができる。また、オプティカルフローが大きいと考えられる距離の近い物体の座標のオプティカルフローの検出には現在時刻との時間間隔の短い過去の画像フレームを選択することにより、対応点を探索する領域を現在時刻の画像フレームにおける物体の位置の周辺に狭められ、高速にオプティカルフローを検出することができる。
【００１３】
検出したオプティカルフローにもとづいて、画像上の物体の領域を検出する領域検出手段を備えてもよい。そのような構成によれば、画像上を移動する物体を監視したり追跡したりすることができる。
【００１４】
入力される動画像は、走行中の車両から外部を撮影した映像であってもよく、領域検出手段は、他の車両または障害物を検出してもよい。そのような構成によれば、画像上を移動する物体の領域を抽出することができるため、例えば、走行中の車両が撮影した動画像から他の車両の領域を抽出した場合、車両の運転手に警告する等を行って、衝突を防止することができる効果がある。
【００１５】
【発明の実施の形態】
実施の形態１．
図１は、本発明によるオプティカルフロー検出システムを含む画像領域検出システムの第１の実施の形態を示すブロック図である。図１に示す画像領域検出システムは、動画像を入力する画像入力装置１１０と画像領域検出装置１００とを含む。
【００１６】
画像領域検出装置１００は、入力された動画像を蓄積する画像蓄積手段１０１と、オプティカルフローを検出する座標を設定する処理対象座標設定手段１０２と、オプティカルフローを検出する座標の評価量を算出する評価量計算手段１０３と、算出した評価量にもとづいてオプティカルフローの算出に用いる画像フレームを特定する過去フレーム選択手段１０４と、現フレームの一の点に対応する過去の画像フレームの点である対応点を特定する対応点探索手段１０５と、現フレームが撮影された時刻である現時刻と過去フレームが撮影された時刻との時間間隔、現フレームの画像フレームの一の点、および対応点にもとづいてオプティカルフローを算出するオプティカルフロー計算手段１０６と、算出したオプティカルフローを表示装置（図示せず。）等に出力するオプティカルフロー出力手段１０７と、オプティカルフローの向きと大きさとにもとづいて画像フレーム中で物体の像の領域を検出する領域検出手段１０８とを含む。
【００１７】
なお、オプティカルフロー検出システムは、図１に示す構成では、画像領域検出装置１００におけるオプティカルフロー出力手段１０７および領域検出手段１０８を除く部分に相当するが、オプティカルフロー出力手段１０７および領域検出手段１０８を含めたシステムをオプティカルフロー検出システムと捉えてもよい。また、画像領域検出装置１００は、コンピュータなどのデータ処理装置で実現される。
【００１８】
すなわち、処理対象座標設定手段１０２、評価量計算手段１０３、過去フレーム選択手段１０４、対応点探索手段１０５、オプティカルフロー計算手段１０６、オプティカルフロー出力手段１０７および領域検出手段１０８は、記憶装置に記憶されているプログラムにもとづいてコンピュータが動作することによって実現される。従って、以下に説明する処理対象座標設定手段１０２、評価量計算手段１０３、過去フレーム選択手段１０４、対応点探索手段１０５、オプティカルフロー計算手段１０６、オプティカルフロー出力手段１０７および領域検出手段１０８の処理は、コンピュータがが実行するプログラムで実現される。画像蓄積手段１０１は、例えばコンピュータが内蔵する、またはコンピュータに接続されるハードディスク等の記憶装置で実現される。画像入力装置１１０は、ビデオカメラや、赤外線カメラ、暗視カメラ等の動画撮影機器や、レーダや超音波送受信装置等の距離計測機器等を１台または複数台を組み合わせて実現され、物体の特徴量の２次元的または３次元的な分布を得る機器によって実現される。
【００１９】
画像入力装置１１０は、動画像を撮影し、撮影した動画像を画像フレーム毎に画像蓄積手段１０１および処理対象座標設定手段１０２に入力する。画像蓄積手段１０１は入力された画像フレームを過去フレームとして蓄積する。処理対象座標設定手段１０２は、現フレーム（最新フレームすなわち現時刻の画像フレーム）におけるオプティカルフローを検出する座標を設定し、現フレームを評価量計算手段１０３と対応点探索手段１０５とに出力する。処理対象座標設定手段１０２は、例えば、映像に対してラスタスキャンを行う場合の順に座標を設定する。
【００２０】
評価量計算手段１０３は、オプティカルフローを検出する座標に設定された処理対象座標の評価量を算出する。評価量は、オプティカルフローの大きさと関係づけられる量である。例えば、図２に示すような走行中の車両の後方を撮影した白黒画像の画像フレームが入力された場合には、ｙ座標値が小さい範囲の像の物体は、撮影位置から遠方にある物体であると考えられ、オプティカルフローの大きさが小さくなると考えられる。また、ｙ座標値が大きい範囲の像の物体は、撮影位置の近傍にある物体であると考えられ、オプティカルフローの大きさが大きくなると考えられる。そこで、道路画像などが入力される場合には、ｙ座標値を評価量とすることができる。
【００２１】
なお、評価量の他の例として、オプティカルフローを検出する座標あるいはその座標の周辺で過去に算出したオプティカルフローの大きさを評価量として用いてもよいし、オプティカルフロー検出システムの利用者の事前知識にもとづいて利用者が評価量を設定してもよいし、また、これらの方法で求めた評価量を組み合わせて、新たな評価量を算出してもよい。評価量は、以上に述べた方法により求められる量に限定されるものではなく、オプティカルフローの大きさに関連する量であればよい。評価量計算手段１０３は、算出した評価量を過去フレーム選択手段１０４に出力する。
【００２２】
過去フレーム選択手段１０４は、評価量にもとづいて、画像蓄積手段１０１が蓄積している過去の画像フレームのうち、オプティカルフローの検出に用いる画像フレームを特定する。例えば、評価量があらかじめ決められた閾値未満である場合には、現在時刻の画像フレームの２つ前の画像フレームをオプティカルフローの検出に用いる画像フレームと特定し、評価量があらかじめ決められた閾値以上である場合は、現在時刻の画像フレームの１つ前の画像フレームをオプティカルフローの検出に用いる画像フレームと特定する。以下、過去フレーム選択手段１０４が特定した画像フレームを過去画像フレームと記す。過去フレーム選択手段１０４は、画像蓄積手段１０１が蓄積している動画像のうち、過去画像フレームを読み込んで対応点探索手段１０５に出力する。
【００２３】
対応点探索手段１０５は、現フレームのオプティカルフローを検出する座標に対応する過去画像フレームの座標である対応点を特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。対応点の特定方法については、後述する。
【００２４】
オプティカルフロー計算手段１０６は、オプティカルフローを検出する座標、対応点の座標、および現フレームが撮影された時刻と過去画像フレームが撮影された時刻との差である時間間隔にもとづいてオプティカルフローを算出する。オプティカルフローは、オプティカルフローを検出する座標と対応点との差のベクトルを、時間間隔で割った商として算出される。そして、オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持するとともに、オプティカルフロー出力手段１０７に出力する。オプティカルフローの保持は、コンピュータが搭載しているメモリ等の一時記憶手段に記憶させることによって実現される。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。領域検出手段１０８は、入力されたオプティカルフローにもとづいて、同一物体が存在すると考えられる領域を検出する。
【００２５】
次に、この実施の形態の動作について説明する。図３は、この実施の形態の動作を説明するフローチャートである。
【００２６】
画像入力装置１１０から画像領域検出装置１００に画像フレーム毎に入力される動画像は、画像領域検出装置１００において、画像蓄積手段１０１および処理対象座標設定手段１０２に入力される（ステップＳ１０１）。画像蓄積手段１０１は、入力された画像フレームを過去フレームとして蓄積する（ステップＳ１０２）。処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ１０３）。オプティカルフローを検出するべき座標が残っていると判断した場合には、処理対象座標設定手段１０２は、現フレームにおけるオプティカルフローを検出する処理対象座標を設定する（ステップＳ１０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。そして、処理対象座標を評価量計算手段１０３および対応点探索手段１０５に出力する。評価量計算手段１０３は、オプティカルフローを検出する処理対象座標の評価量を算出する（ステップＳ１０５）。
【００２７】
過去フレーム選択手段１０４は、評価量にもとづいて、画像蓄積手段１０１が蓄積している過去の画像フレームのうち、オプティカルフローの検出に用いる画像フレームを特定する（ステップＳ１０６）。そして、対応点探索手段１０５は、あらかじめ定められた探索範囲から、現フレームにおけるオプティカルフローを検出する座標に対応する過去画像フレームの座標である対応点を特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する（ステップＳ１０７）。オプティカルフロー計算手段１０６は、オプティカルフローを検出する座標、対応点の座標、および現在フレームが撮影された時刻と過去画像フレームが撮影された時刻との差にもとづいてオプティカルフローを算出する（ステップＳ１０８）。オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ１０９）。
【００２８】
そして、処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ１０３）。オプティカルフローを検出するべき座標が残っていないと判断した場合には、処理対象座標設定手段１０２は、オプティカルフロー計算手段１０６が保持しているオプティカルフローをオプティカルフロー出力手段１０７に出力する（ステップＳ１１０）。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。領域検出手段１０８は、入力されたオプティカルフローにもとづいて、同一物体の像が存在していると思われる領域を検出する（ステップＳ１１１）。
【００２９】
ステップＳ１０７において、対応点探索手段１０５が画像フレームの対応点を特定する際の動作について説明する。この実施の形態では、対応点を探索する際に、現フレームと過去画像フレームとの類似性の評価に、領域間の各画素の差の絶対値の総和（以下、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅｓ）と記す。）を用いる。なお、現フレームと過去画像フレームとの類似性の評価は、ＳＡＤを用いた方法に限定されるものではなく、領域間の各画素の差の２乗の総和（ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅＤｉｆｆｅｒｅｎｃｅｓ））を用いる方法等、領域間の相関値や、領域間の正規化相関値等の処理に用いられる類似性の評価値を用いてもよい。
【００３０】
図４は、対応点探索手段１０５が特定点を特定する際の動作を説明するフローチャートである。対応点探索手段１０５は、現フレームにおけるオプティカルフローを検出する処理対象座標の周辺（例えば、処理対象座標を中心とした縦横５画素の矩形領域）の画素値である輝度と画像濃度とを抽出する（ステップＳ２０１）。次に、適当な値を最小ＳＡＤとしてセットする（ステップＳ２０２）。ここでセットされる最小ＳＡＤは比較的大きな値であり、例えば、画像の種類（カラー画像または２値画像の別）や階調に応じて、一般に、それよりも値が小さいと類似度が高いと判定される値よりも大きな値に設定される。
【００３１】
対応点探索手段１０５は、あらかじめ決められている探索範囲において、全ての画素について対応点の探索を行ったか否かを判断する（ステップＳ２０３）。探索範囲は、例えば、過去画像フレームにおいて、現フレームにおける処理対象座標と同じ座標を中心とした縦横３１画素の範囲である。ただし、この範囲は単なる一例であって、画像の解像度等、状況に応じて適切な値に設定される。探索範囲において、対応点であるか否かの判定を行っていない画素が存在する場合には、対応点探索手段１０５は、過去画像フレームにおける処理対象座標（対応点候補座標とする。）として、処理の済んだ座標の次の座標に設定する（ステップＳ２０４）。なお、探索は、探索範囲において例えば左上端からラスタスキャン方向に実行され、例えばステップＳ２０２の処理終了後に、対応点候補座標として、探索範囲における左上端の直前の画素の座標に設定されている。そして、対応点探索手段１０５は、対応点候補座標の周辺（例えば、対応点候補座標を中心とした縦横５画素の矩形領域）の画素値を過去画像フレームから抽出する（ステップＳ２０５）。
【００３２】
対応点探索手段１０５は、現フレームにおける処理対象座標の周辺の画素値と対応点候補座標の周辺の画素値とについてＳＡＤを算出する（ステップＳ２０６）。対応点探索手段１０５は、算出したＳＡＤが最小ＳＡＤとして設定されている値より小さいか否かを判定する（ステップＳ２０７）。算出したＳＡＤが最小ＳＡＤとして設定されている値未満の場合には、対応点探索手段１０５は、算出されたＳＡＤを新たに最小ＳＡＤとして設定し、対応点候補座標を対応点座標とする（ステップＳ２０８）。ステップＳ２０７で算出したＳＡＤが最小ＳＡＤとして設定されている値以上の場合、およびステップＳ２０８の処理が終了した場合には、ステップＳ２０３の処理に戻る。
【００３３】
そして、対応点探索手段１０５は、利用者が特定した領域内の全ての画素について対応点の探索を行ったか否かを判断する（ステップＳ２０３）。利用者が特定した領域内の全ての画素について対応点の探索を行った場合には、対応点探索手段１０５は、対応点座標の画素を対応点と特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する（ステップＳ２０９）。
【００３４】
次に、走行中の車両の後方を撮影して得られた動画像を例に、この実施の形態の動作について説明する。図２は、そのようにして得られた動画像の画像フレームの１つである。ここで、走行中の車両の後方を撮影した場合、画像の風景部分のオプティカルフローは撮影位置から遠ざかる方向であるのに対して、撮影を行っている車両を追い抜く車両の部分のオプティカルフローは、撮影位置に近づいてくる方向である。また、画像中の道路部分のうち上方部分の像の物体は、遠方の物体であると考えられ、オプティカルフローの大きさが小さくなると考えられる。そして、画像中の道路部分のうち下方部分の像の物体は、撮影位置の近傍の物体であると考えられ、オプティカルフローの大きさが大きくなると考えられる。これらの性質を利用して、追い抜き車両の検出や、対応点の探索を行う。
【００３５】
図５は、具体例を用いてこの実施の形態の動作を説明するフローチャートである。画像入力装置１１０は、例えば、道路を走行中の車両から後方を、２５６階調の白黒画像で撮影する（ステップＳ３０１）。従って、画像入力装置１１０が出力する動画像は、走行中の車両から外部を撮影した映像である。画像入力装置１１０は、撮影した動画像（道路画像）を画像フレーム毎に画像蓄積手段１０１および処理対象座標設定手段１０２に入力する。画像蓄積手段１０１は、入力された道路画像を過去フレームとして蓄積する（ステップＳ３０２）。処理対象座標設定手段１０２は、まず、オプティカルフローの検出を行う領域を定める。ここでは、図４に示すラインＬｐから下の領域をオプティカルフローの検出を行う領域と特定したとする。処理対象座標設定手段１０２は、例えば、ｙ座標値が所定値以下である領域を除外することによってラインＬｐを定めたり、利用者から指定を受けることによってラインＬｐを定めたりする。
【００３６】
処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる処理対象座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ３０３）。オプティカルフローを検出するべき処理対象座標が残っていると判断した場合には、処理対象座標設定手段１０２は、動画像中のオプティカルフローを検出する座標を設定する（ステップＳ３０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。なお、オプティカルフローを検出する処理対象座標として、Ｌｐの下の領域について、左上端から右下端までラスタスキャンの方向の順に座標が設定される。
【００３７】
評価量計算手段１０３は、オプティカルフローを検出する処理の対象とする座標の評価量をｙ座標値とする（ステップＳ３０５）。ｙ座標値が閾値Ｓｙ以上であれば現フレームの１つ前の過去画像フレームを用いてオプティカルフローの検出を行い、ｙ座標値が閾値Ｓｙ未満であれば現フレームの２つ前の過去画像フレームを用いてオプティカルフローの検出を行う（ステップＳ３０６、３０７、３０８）。すなわち、図２４に示すＳｙから下の領域が、現フレームの１つ前の過去画像フレームを用いてオプティカルフローの検出を行う領域とされ、Ｓｙから上の領域が、現フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行う領域とされる。
【００３８】
現在時刻の画像フレームから１つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合に、対応点探索手段１０５が、現在時刻の画像フレームから１つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ３０９）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルをオプティカルフローとする（ステップＳ３１１）。
【００３９】
現在時刻の画像フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合、対応点探索手段１０５が、現フレームから２つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ３１０）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルに１／２を乗じたものをオプティカルフローとする（ステップＳ３１２）。なお、ｎフレーム前の過去フレームを用いた場合には、差のベクトルを（１／ｎ）してオプティカルフローとする。
【００４０】
オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ３１３）。そして、処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てに、オプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ３０３）。処理対象座標設定手段１０２がオプティカルフローを検出するべき処理対象座標が残っていないと判断した場合には、オプティカルフロー計算手段１０６は、保持しているオプティカルフローを、オプティカルフロー出力手段１０７に出力する（ステップＳ３１４）。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。
【００４１】
領域検出手段１０８は、オプティカルフローが、画像領域検出装置１００を搭載されている車両に近づく方向を持つ画素の領域を、追い抜き車両の領域として抽出して表示手段等に出力することができる（ステップＳ３１５）。このとき、追い抜き車両の領域を監視したり、追跡したりしてもよい。
【００４２】
この実施の形態によれば、画像フレームにおける各座標に応じて対応点を探索する過去画像フレームを選択するように構成したので、オプティカルフローの小さな画素には現時刻との時間間隔が長い過去の画像フレームを選択することにより高精度にオプティカルフローを検出することができ、オプティカルフローの大きな画素には時間間隔の短い過去の画像フレームを選択することにより、対応点を探索する領域を狭められ、高速にオプティカルフローを検出することができる。
【００４３】
なお、この実施の形態では、現フレームよりも１つ前の過去画像フレームを用いる場合と、現フレームよりも２つ前の過去画像フレームを用いる場合との２つに場合分けしたが、現フレームよりも３つ前以上の過去画像フレームを用いるようにして、より多くの場合に場合分けしてもよい。
【００４４】
また、この実施の形態では、領域検出手段１０８は、オプティカルフローにもとづいて他の車両のが存在する領域を検出することができるが、例えば、画像領域検出装置１００を搭載されている車両が近づいていく障害物等が存在する領域を検出することもできる。
【００４５】
さらに、この実施の形態では、道路画像が入力される場合を例にしたので評価量としてｙ座標値を用いたが、評価量は、ｙ座標値に限定されるわけではなく、オプティカルフローの大きさに関連する量であれば他の量を用いてもよい。例えば、オプティカルフローを検出する座標あるいはその座標の周辺で過去に算出したオプティカルフローの大きさを評価量として用いてもよいし、オプティカルフロー検出システムの利用者の事前知識にもとづいて利用者が評価量を設定してもよいし、また、これらの方法で求めた評価量を組み合わせて、新たな評価量を算出してもよい。
【００４６】
実施の形態２．
図６は、本発明によるオプティカルフロー検出システムを含む画像領域検出システムの第２の実施の形態を示すブロック図である。図６に示す画像領域検出システムは、動画像を入力する画像入力装置１１０、画像領域検出装置２００および距離計測装置３００を含む。第１の実施の形態における画像領域検出装置１００とは異なり、画像領域検出装置２００には評価量計算手段１０３が含まれていない。また、過去フレーム選択手段２０１の動作は、第１の実施の形態における過去フレーム選択手段１０４の動作とは異なる。
【００４７】
距離計測装置３００は、画像入力装置１１０が撮影した動画像に含まれる物体と撮影位置との間の距離（実距離）を計測する。過去フレーム選択手段２０１は、距離計測装置３００が計測した撮影位置と物体との間の距離にもとづいてオプティカルフローの算出に用いる過去画像フレームを特定する。距離計測装置３００は、例えば、レーダや、ステレオカメラ、超音波送受信装置等の距離計測機器によって実現される。
【００４８】
次に、この実施の形態の動作について説明する。図７は、この実施の形態の動作を説明するフローチャートである。
【００４９】
画像入力装置１１０から画像領域検出装置２００に画像フレーム毎に入力される動画像は、画像領域検出装置２００において、画像蓄積手段１０１および処理対象座標設定手段１０２に入力される（ステップＳ４０１）。画像蓄積手段１０１は、入力された画像フレームを過去フレームとして蓄積する（ステップＳ４０２）。処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ４０３）。オプティカルフローを検出するべき座標が残っていると判断した場合には、処理対象座標設定手段１０２は、現フレームにおけるオプティカルフローを検出する処理対象座標を設定する（ステップＳ４０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。そして、現フレームを過去フレーム選択手段２０１および対応点探索手段１０５に出力する。距離計測装置３００は、現フレーム内に存在する物体と画像領域検出装置２００の設置位置との間の距離（実距離）を計測する（ステップＳ４０５）。なお、距離計測装置３００は、画像領域検出装置２００の近傍に設置されているとする。
【００５０】
距離計測装置３００は、例えば、画像領域検出装置２００から、距離計測装置３００の計測視野における処理対象座標に対応する方向の情報の供給を受ける。そして、供給された情報にもとづいて計測方向を定め、現フレーム内に存在する物体との間の距離を計測する。なお、距離計測装置３００は、例えば、過去フレーム選択手段を実現するソフトウェアの指示に応じて距離を計測する。
【００５１】
過去フレーム選択手段２０１は、物体との間の距離にもとづいて、画像蓄積手段１０１が蓄積している過去の画像フレームのうち、オプティカルフローの検出に用いる画像フレームを特定する（ステップＳ４０６）。そして、対応点探索手段１０５は、現フレームのオプティカルフローを検出する座標に対応する過去画像フレームの座標である対応点を、予め定められた探索領域内を探索して特定し、特定した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する（ステップＳ４０７）。オプティカルフロー計算手段１０６は、オプティカルフローを検出する処理対象座標、対応点の座標、および現フレームが撮影された時刻と過去画像フレームが撮影された時刻とにもとづいてオプティカルフローを算出する（ステップＳ４０８）。オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ４０９）。
【００５２】
そして、処理対象座標設定手段１０２は、オプティカルフローを検出する座標を全て設定したか否かを判断する（ステップＳ４０３）。処理対象座標設定手段１０２がオプティカルフローを検出するべき座標が残っていないと判断した場合には、オプティカルフロー計算手段１０６は、保持しているオプティカルフローを、オプティカルフロー出力手段１０７に対して出力する（ステップＳ４１０）。オプティカルフロー出力手段１０７は、入力されたオプティカルフローを領域検出手段１０８に出力する。領域検出手段１０８は、入力されたオプティカルフローにもとづいて、同一の物体の像を含むと考えられる領域を抽出する（ステップＳ４１１）。
【００５３】
次に、走行中の車両の後方を撮影して得られた動画像を例に、この実施の形態の動作について説明する。図２は、そのようにして得られた動画像の画像フレームである。
【００５４】
図７は、具体例を用いてこの実施の形態の動作を説明するフローチャートである。画像入力装置１１０は、例えば、道路を走行中の車両から後方を、２５６階調の白黒画像で撮影する（ステップＳ５０１）。画像入力装置１１０は、撮影した動画像（道路画像）を画像フレーム毎に画像蓄積手段１０１および処理対象座標設定手段１０２に入力する。画像蓄積手段１０１は、入力された道路画像を過去フレームとして蓄積する（ステップＳ５０２）。処理対象座標設定手段１０２は、まず、オプティカルフローの検出を行う領域を定める。ここでは、図４に示すラインＬｐから下の領域をオプティカルフローの検出を行う領域と特定したとする。処理対象座標設定手段１０２は、例えば、ｙ座標値が所定値以下である領域を除外することによってラインＬｐを定めたり、利用者から指定を受けることによってラインＬｐを定めたりする。
【００５５】
処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てについてオプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ５０３）。オプティカルフローを検出するべき処理対象座標が残っていると判断した場合には、処理対象座標設定手段１０２は、動画像中のオプティカルフローを検出する座標を設定する（ステップＳ５０４）。すなわち、処理済みの座標の次の座標を処理対象座標とする。なお、オプティカルフローを検出する処理対象座標として、Ｌｐの下の領域について、左上端から右下端までラスタスキャンの方向の順に座標が設定される。
【００５６】
距離計測装置３００は、処理対象座標に対応する実距離を計測する（ステップＳ５０５）。そして、例えば３０ｍを閾値として、撮影位置と物体との間の距離が３０ｍ未満であった場合には、現在時刻の画像フレームから１つ前の過去画像フレームを用いてオプティカルフローの検出を行い、撮影位置と物体との間の距離が３０ｍ以上であった場合には、現在時刻の画像フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行うことに決定する（ステップＳ５０６、５０７、５０８）。なお、キーボードやマウス等の入力手段を介して、利用者による距離の閾値の入力を受け付けてもよい。
【００５７】
現在時刻の画像フレームから１つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合、対応点探索手段１０５が、現在時刻の画像フレームから１つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ５０９）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現在時刻の画像フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルをオプティカルフローとする（ステップＳ５１１）。
【００５８】
現在時刻の画像フレームから２つ前の過去画像フレームを用いてオプティカルフローの検出を行う場合、対応点探索手段１０５が、現在時刻の画像フレームから２つ前の過去画像フレームにおける対応点の検出を行う（ステップＳ５１０）。そして、検出した対応点の位置の情報をオプティカルフロー計算手段１０６に出力する。オプティカルフロー計算手段１０６は、現在時刻の画像フレームにおけるオプティカルフローを検出する処理の対象とする座標と、対応点の座標との差のベクトルに１／２を乗じたものをオプティカルフローとする（ステップＳ５１２）。
【００５９】
オプティカルフロー計算手段１０６は、算出したオプティカルフローを保持する（ステップＳ５１３）。そして、処理対象座標設定手段１０２は、オプティカルフローを検出する領域に含まれる座標の全てに、オプティカルフローを検出する処理を行ったか否かを判断する（ステップＳ５０３）。処理対象座標設定手段１０２がオプティカルフローを検出するべき座標が残っていないと判断した場合には、オプティカルフロー計算手段１０６は、保持しているオプティカルフローを、オプティカルフロー出力手段１０７を介して領域検出手段１０８に出力する（ステップＳ５１４）。
【００６０】
領域検出手段１０８は、オプティカルフローが撮影している車両に近づく方向を持つ画素の領域を、追い抜き車両の領域として表示手段等に出力する（ステップＳ５１５）。このとき、追い抜き車両の領域を監視したり、追跡したりしてもよい。
【００６１】
この実施の形態によれば、画像に含まれる物体との距離に応じてオプティカルフローの検出に用いる過去画像フレームを選択するため、オプティカルフローが小さいと考えられる距離の遠い物体の座標のオプティカルフローの検出には時間間隔の大きい過去画像フレームを選択することにより、高精度にオプティカルフローを検出することができる。また、オプティカルフローが大きいと考えられる距離の近い物体の座標のオプティカルフローの検出には時間間隔の小さい過去画像フレームを選択することにより、対応点を探索する領域を狭められ、高速にオプティカルフローを検出することができる。
【００６２】
また、この実施の形態によれば、画像に含まれる物体との距離に応じてオプティカルフローの検出に用いる過去画像フレームを選択するため、事前にオプティカルフローの大きさの予測をする必要が無く、オプティカルフローの大きさの予測が困難な場合にも適用することができる。
【００６３】
【発明の効果】
以上のように、本発明によれば、オプティカルフローの検出に用いる過去の画像フレームを、オプティカルフローの大きさに対応する数値である評価量にもとづいて決定しているため、大きさの小さなオプティカルフローを高精度に、かつ、高速に検出することができる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すブロック図である。
【図２】画像入力装置に入力された動画像の画像フレームの一例を示す図である。
【図３】本発明の第１の実施の形態の動作を説明するフローチャートである。
【図４】本発明の対応点探索手段の動作を説明するフローチャートである。
【図５】具体例を用いて第１の実施の形態の動作を説明するフローチャートである。
【図６】本発明の第２の実施の形態を示すブロック図である。
【図７】本発明の第２の実施の形態の動作を説明するフローチャートである。
【図８】具体例を用いて第２の実施の形態の動作を説明するフローチャートである。
【符号の説明】
１００コンピュータ
１０１画像蓄積手段
１０２処理対象座標設定手段
１０３評価量計算手段
１０４過去フレーム選択手段
１０５対応点探索手段
１０６オプティカルフロー計算手段
１０７オプティカルフロー出力手段
１０８領域検出手段
１１０画像入力装置
３００距離計測装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an optical flow detection system, a detection method, and a detection program for detecting an optical flow that is a vector indicating a motion of an object or a pixel in a moving image.
[0002]
[Prior art]
2. Description of the Related Art In recent years, methods have been proposed for grasping movements of surrounding objects such as a vehicle in which an imaging device is installed from an image taken by the imaging device. In this method, the movement of an object being captured is grasped by measuring an optical flow between frames of a moving image.
[0003]
The optical flow is obtained by using a feature matching method (pattern matching), a spatiotemporal gradient method, or the like for each frame of an image.
[0004]
If the optical flow is too small and high-precision detection is difficult because the time interval between the current time image frame and the past image frame is too short, the past image frame with a long time interval from the current time There has been proposed a method capable of detecting an optical flow with high accuracy by using an image frame at the current time (see, for example, Patent Document 1).
[0005]
[Patent Document 1]
JP 2003-44861 A (page 4-7, FIG. 1)
[0006]
[Problems to be solved by the invention]
However, in the method described in Patent Document 1, in order to detect an optical flow having a small size with high accuracy, an optical frame is used by using a plurality of past image frames having different time intervals from the current frame for each coordinate. Detect the flow. Therefore, there is a problem that the amount of data processing for detecting an optical flow is large.
[0007]
Therefore, an object of the present invention is to provide an optical flow detection system, a detection method, and a detection program capable of detecting a small-sized optical flow with high accuracy with a small amount of data processing.
[0008]
[Means for Solving the Problems]
An optical flow detection system according to the present invention includes an image storage unit that stores a plurality of past frames, and an evaluation amount that is a numerical value corresponding to the magnitude of the optical flow. For each pixel in the screen Based on the evaluation amount calculation means to be calculated and the evaluation amount calculated by the evaluation amount calculation means, which of the past frames stored in the image storage means is to be used. For each pixel in the screen And a past frame selecting means for determining.
[0009]
The evaluation amount calculation means may calculate an evaluation amount corresponding to the magnitude of the optical flow based on the coordinate position of the object on the image frame. According to such a configuration, it is possible to identify a past image frame used for optical flow detection based on information obtained from the image frame, so that the optical flow can be performed without complicating the configuration of the optical flow detection system. Can be detected.
[0010]
The evaluation amount calculated by the evaluation amount calculation means may be a vertical coordinate value in the image frame of the object. In an image frame such as a road image, the upper object is considered to be a distant object, so the optical flow is considered to be small, and the lower object is considered to be a nearby object, so the optical flow is considered to be large. Therefore, in an image frame such as a road image, the evaluation amount can be calculated using information that can be easily acquired, such as a vertical coordinate value.
[0011]
The evaluation amount calculation means may calculate an evaluation amount corresponding to the magnitude of the optical flow based on the magnitude of the optical flow detected in the past. According to such a configuration, it is not necessary to newly extract an evaluation amount from the image frame, and thus the evaluation amount can be calculated at a higher speed.
[0012]
According to another aspect of the present invention, there is provided an optical flow detection system comprising: an image storage unit that stores a plurality of past frames; an object that appears in a current frame; Shooting position and The distance between For each pixel in the screen Based on the distance measurement means to be measured and the distance measured by the distance measurement means, which past frame of the past frames stored in the image storage means is to be used is determined. For each pixel in the screen And a past frame selecting means for determining. According to such a configuration, the object included in the image and Shooting position and In order to calculate the evaluation amount based on the distance of the optical flow, by selecting a past image frame having a long time interval with the current time for detecting the optical flow of the coordinates of a distant object whose optical flow is considered to be small, Optical flow can be detected with high accuracy. In addition, for detection of the optical flow of the coordinates of an object with a close distance where the optical flow is considered to be large, by selecting a past image frame with a short time interval from the current time, the region for searching for the corresponding point is set to the current time. It is narrowed around the position of the object in the image frame, and the optical flow can be detected at high speed.
[0013]
An area detecting unit that detects an area of an object on the image based on the detected optical flow may be provided. According to such a configuration, it is possible to monitor or track an object moving on the image.
[0014]
The input moving image may be an image obtained by photographing the outside from a running vehicle, and the area detection unit may detect another vehicle or an obstacle. According to such a configuration, it is possible to extract a region of an object moving on the image. For example, when a region of another vehicle is extracted from a moving image captured by a traveling vehicle, the driver of the vehicle It is possible to prevent a collision by giving a warning or the like.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a first embodiment of an image area detection system including an optical flow detection system according to the present invention. The image region detection system shown in FIG. 1 includes an image input device 110 that inputs a moving image and an image region detection device 100.
[0016]
The image region detection apparatus 100 calculates an evaluation amount of coordinates for detecting an optical flow, an image storage unit 101 for storing an input moving image, a processing target coordinate setting unit 102 for setting coordinates for detecting an optical flow. Evaluation amount calculation means 103, past frame selection means 104 for specifying an image frame used for optical flow calculation based on the calculated evaluation quantity, and correspondence that is a point of a past image frame corresponding to one point of the current frame Based on the corresponding point search means 105 for specifying a point, the time interval between the current time when the current frame was shot and the time when the past frame was shot, one point of the image frame of the current frame, and the corresponding point The optical flow calculating means 106 for calculating the optical flow and the display device for displaying the calculated optical flow. It includes an optical flow output means 107 for outputting the not shown.) Or the like, and a region detection unit 108 for detecting the area of the image of the object based on the direction and magnitude of the optical flow in the image frame.
[0017]
In the configuration shown in FIG. 1, the optical flow detection system corresponds to a portion excluding the optical flow output means 107 and the area detection means 108 in the image area detection apparatus 100. However, the optical flow output means 107 and the area detection means 108 are different from each other. The included system may be regarded as an optical flow detection system. The image area detection device 100 is realized by a data processing device such as a computer.
[0018]
That is, the processing target coordinate setting unit 102, the evaluation amount calculation unit 103, the past frame selection unit 104, the corresponding point search unit 105, the optical flow calculation unit 106, the optical flow output unit 107, and the region detection unit 108 are stored in the storage device. It is realized by the computer operating based on the program that is running. Accordingly, the processing of the processing target coordinate setting unit 102, the evaluation amount calculation unit 103, the past frame selection unit 104, the corresponding point search unit 105, the optical flow calculation unit 106, the optical flow output unit 107, and the region detection unit 108 described below is performed. It is realized by a program executed by a computer. The image storage means 101 is realized by a storage device such as a hard disk built in or connected to the computer, for example. The image input device 110 is realized by combining one or a plurality of moving image photographing devices such as a video camera, an infrared camera, and a night vision camera, and a distance measuring device such as a radar and an ultrasonic transmission / reception device. Realized by a device that obtains a two-dimensional or three-dimensional distribution of quantities.
[0019]
The image input device 110 captures a moving image and inputs the captured moving image to the image storage unit 101 and the processing target coordinate setting unit 102 for each image frame. The image storage unit 101 stores the input image frame as a past frame. The processing target coordinate setting unit 102 sets coordinates for detecting an optical flow in the current frame (the latest frame, that is, the image frame at the current time), and outputs the current frame to the evaluation amount calculation unit 103 and the corresponding point search unit 105. For example, the processing target coordinate setting unit 102 sets the coordinates in the order in which the raster scan is performed on the video.
[0020]
The evaluation amount calculation unit 103 calculates the evaluation amount of the processing target coordinates set to the coordinates for detecting the optical flow. The evaluation amount is an amount related to the magnitude of the optical flow. For example, when an image frame of a black-and-white image obtained by photographing the rear of a traveling vehicle as shown in FIG. 2 is input, an object of an image having a small y-coordinate value is an object far from the photographing position. It is considered that there is a small optical flow. In addition, an object of an image having a large y-coordinate value is considered to be an object in the vicinity of the shooting position, and the optical flow is considered to be large. Therefore, when a road image or the like is input, the y coordinate value can be used as the evaluation amount.
[0021]
In addition, as another example of the evaluation amount, the coordinates for detecting the optical flow or the size of the optical flow calculated in the past around the coordinates may be used as the evaluation amount, or the user of the optical flow detection system in advance. The user may set the evaluation amount based on knowledge, or a new evaluation amount may be calculated by combining the evaluation amounts obtained by these methods. The evaluation amount is not limited to the amount obtained by the method described above, and may be an amount related to the size of the optical flow. The evaluation amount calculation unit 103 outputs the calculated evaluation amount to the past frame selection unit 104.
[0022]
Based on the evaluation amount, the past frame selection unit 104 specifies an image frame used for optical flow detection among the past image frames stored in the image storage unit 101. For example, when the evaluation amount is less than a predetermined threshold value, the image frame two previous to the image frame at the current time is identified as an image frame used for optical flow detection, and the evaluation amount is a predetermined threshold value In the case described above, the image frame immediately before the image frame at the current time is identified as the image frame used for optical flow detection. Hereinafter, the image frame specified by the past frame selection unit 104 is referred to as a past image frame. The past frame selection unit 104 reads a past image frame from the moving images stored in the image storage unit 101 and outputs it to the corresponding point search unit 105.
[0023]
Corresponding point search means 105 identifies corresponding points that are the coordinates of the past image frame corresponding to the coordinates for detecting the optical flow of the current frame, and outputs information on the position of the identified corresponding points to optical flow calculation means 106. A method for identifying the corresponding points will be described later.
[0024]
The optical flow calculation means 106 calculates the optical flow based on the coordinates for detecting the optical flow, the coordinates of the corresponding points, and the time interval that is the difference between the time when the current frame was taken and the time when the past image frame was taken. To do. The optical flow is calculated as a quotient obtained by dividing the vector of the difference between the coordinates for detecting the optical flow and the corresponding point by the time interval. Then, the optical flow calculation unit 106 holds the calculated optical flow and outputs it to the optical flow output unit 107. The holding of the optical flow is realized by storing the optical flow in a temporary storage means such as a memory mounted on the computer. The optical flow output unit 107 outputs the input optical flow to the region detection unit 108. The area detection means 108 detects an area where the same object is considered to exist based on the input optical flow.
[0025]
Next, the operation of this embodiment will be described. FIG. 3 is a flowchart for explaining the operation of this embodiment.
[0026]
The moving image input for each image frame from the image input device 110 to the image region detection device 100 is input to the image storage unit 101 and the processing target coordinate setting unit 102 in the image region detection device 100 (step S101). The image accumulating unit 101 accumulates the input image frame as a past frame (step S102). The processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed for all the coordinates included in the region for detecting the optical flow (step S103). If it is determined that the coordinates for detecting the optical flow remain, the processing target coordinate setting unit 102 sets the processing target coordinates for detecting the optical flow in the current frame (step S104). That is, the coordinate next to the processed coordinate is set as the processing target coordinate. Then, the processing target coordinates are output to the evaluation amount calculation unit 103 and the corresponding point search unit 105. The evaluation amount calculation unit 103 calculates the evaluation amount of the processing target coordinates for detecting the optical flow (step S105).
[0027]
Based on the evaluation amount, the past frame selection unit 104 specifies an image frame used for optical flow detection from the past image frames stored in the image storage unit 101 (step S106). Then, the corresponding point search unit 105 specifies a corresponding point that is the coordinates of the past image frame corresponding to the coordinates for detecting the optical flow in the current frame from a predetermined search range, and information on the position of the specified corresponding point Is output to the optical flow calculation means 106 (step S107). The optical flow calculation means 106 calculates the optical flow based on the coordinates for detecting the optical flow, the coordinates of the corresponding points, and the difference between the time when the current frame was captured and the time when the past image frame was captured (step S108). ). The optical flow calculation unit 106 holds the calculated optical flow (step S109).
[0028]
Then, the processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed for all of the coordinates included in the region for detecting the optical flow (step S103). If it is determined that there are no remaining coordinates for detecting the optical flow, the processing target coordinate setting unit 102 outputs the optical flow held by the optical flow calculation unit 106 to the optical flow output unit 107 (step S110). ). The optical flow output unit 107 outputs the input optical flow to the region detection unit 108. The area detection unit 108 detects an area where an image of the same object is supposed to exist based on the input optical flow (step S111).
[0029]
The operation when the corresponding point searching unit 105 specifies the corresponding point of the image frame in step S107 will be described. In this embodiment, when searching for the corresponding points, the similarity between the current frame and the past image frame is evaluated to calculate the sum of absolute values of differences between pixels (hereinafter referred to as SAD (Sum of Absolute Differences)). Is used). Note that the evaluation of the similarity between the current frame and the past image frame is not limited to the method using the SAD, but is the sum of the squares of the differences between the pixels between the regions (SSD (Sum of Square Differences)). Similarity evaluation values used for processing such as correlation values between regions, normalized correlation values between regions, and the like may be used.
[0030]
FIG. 4 is a flowchart for explaining the operation when the corresponding point searching means 105 specifies a specific point. Corresponding point search means 105 extracts brightness and image density that are pixel values around the processing target coordinates for detecting the optical flow in the current frame (for example, a rectangular area of 5 pixels in the vertical and horizontal directions centering on the processing target coordinates). (Step S201). Next, an appropriate value is set as the minimum SAD (step S202). The minimum SAD set here is a relatively large value. For example, depending on the type of image (color image or binary image) and gradation, generally, the smaller the value, the higher the degree of similarity. It is set to a value larger than the value determined as.
[0031]
Corresponding point search means 105 determines whether corresponding points have been searched for all pixels in a predetermined search range (step S203). The search range is, for example, a range of 31 pixels in the past image frame centered on the same coordinates as the processing target coordinates in the current frame. However, this range is merely an example, and an appropriate value is set according to the situation such as the resolution of the image. If there is a pixel that has not been determined whether or not it is a corresponding point in the search range, the corresponding point search means 105 will be used as processing target coordinates (corresponding point candidate coordinates) in the past image frame. The next coordinate after the processed coordinate is set (step S204). The search is executed in the raster scan direction from the upper left end in the search range, for example, and after the process in step S202, for example, the coordinates of the pixel immediately before the upper left end in the search range are set as the corresponding point candidate coordinates. Then, the corresponding point search unit 105 extracts pixel values around the corresponding point candidate coordinates (for example, a rectangular area of 5 pixels in the vertical and horizontal directions centering on the corresponding point candidate coordinates) from the past image frame (step S205).
[0032]
The corresponding point search unit 105 calculates SAD for the pixel values around the processing target coordinates and the pixel values around the corresponding point candidate coordinates in the current frame (step S206). The corresponding point search unit 105 determines whether or not the calculated SAD is smaller than the value set as the minimum SAD (step S207). If the calculated SAD is less than the value set as the minimum SAD, the corresponding point search unit 105 newly sets the calculated SAD as the minimum SAD and sets the corresponding point candidate coordinates as the corresponding point coordinates (step). S208). If the SAD calculated in step S207 is greater than or equal to the value set as the minimum SAD, and if the process of step S208 is completed, the process returns to step S203.
[0033]
Then, the corresponding point search unit 105 determines whether or not the corresponding points have been searched for all the pixels in the area specified by the user (step S203). When the corresponding points are searched for all the pixels in the area specified by the user, the corresponding point searching unit 105 specifies the corresponding point coordinate pixel as the corresponding point, and information on the position of the specified corresponding point. Is output to the optical flow calculation means 106 (step S209).
[0034]
Next, the operation of this embodiment will be described by taking as an example a moving image obtained by photographing the rear side of the traveling vehicle. FIG. 2 shows one of the image frames of the moving image thus obtained. Here, when shooting the back of a running vehicle, the optical flow of the landscape portion of the image is away from the shooting position, whereas the optical flow of the portion of the vehicle that overtakes the shooting vehicle is This is the direction approaching the shooting position. In addition, the object in the upper portion of the road portion in the image is considered to be a distant object, and the size of the optical flow is considered to be small. And the object of the image of the lower part among the road parts in an image is considered to be an object in the vicinity of the photographing position, and the magnitude of the optical flow is considered to increase. Using these properties, a passing vehicle is detected and corresponding points are searched.
[0035]
FIG. 5 is a flowchart for explaining the operation of this embodiment using a specific example. For example, the image input device 110 captures a back and forth from a vehicle traveling on a road as a black and white image with 256 gradations (step S301). Therefore, the moving image output by the image input device 110 is a video obtained by photographing the outside from the traveling vehicle. The image input device 110 inputs the captured moving image (road image) to the image storage unit 101 and the processing target coordinate setting unit 102 for each image frame. The image accumulating unit 101 accumulates the input road image as a past frame (step S302). First, the processing target coordinate setting unit 102 determines an area for detecting an optical flow. Here, it is assumed that the area below the line Lp shown in FIG. 4 is specified as the area where the optical flow is detected. For example, the processing target coordinate setting unit 102 determines the line Lp by excluding an area where the y coordinate value is equal to or less than a predetermined value, or determines the line Lp by receiving a designation from the user.
[0036]
The processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed for all the processing target coordinates included in the region for detecting the optical flow (step S303). When it is determined that the processing target coordinates for detecting the optical flow remain, the processing target coordinate setting unit 102 sets the coordinates for detecting the optical flow in the moving image (step S304). That is, the coordinate next to the processed coordinate is set as the processing target coordinate. As the processing target coordinates for detecting the optical flow, the coordinates are set in the order of the raster scan direction from the upper left corner to the lower right corner for the region below Lp.
[0037]
The evaluation amount calculation unit 103 sets the evaluation amount of the coordinates to be processed for detecting the optical flow as the y coordinate value (step S305). If the y coordinate value is greater than or equal to the threshold value Sy, optical flow detection is performed using the previous image frame immediately before the current frame, and if the y coordinate value is less than the threshold value Sy, the past image frame two times before the current frame is detected. Is used to detect an optical flow (steps S306, 307, and 308). That is, the area below Sy shown in FIG. 24 is an area where optical flow is detected using the past image frame immediately before the current frame, and the area above Sy is two areas before the current frame. It is an area where optical flow is detected using a past image frame.
[0038]
When the optical flow is detected using the previous image frame immediately before the image frame at the current time, the corresponding point search unit 105 detects the corresponding point in the previous image frame immediately before the image frame at the current time. Is performed (step S309). Then, information on the position of the detected corresponding point is output to the optical flow calculation means 106. The optical flow calculation unit 106 sets the vector of the difference between the coordinates of the process for detecting the optical flow in the current frame and the coordinates of the corresponding points as the optical flow (step S311).
[0039]
When the optical flow is detected using the past image frame two previous from the image frame at the current time, the corresponding point searching means 105 detects the corresponding point in the past image frame two previous from the current frame (step S310). Then, information on the position of the detected corresponding point is output to the optical flow calculation means 106. The optical flow calculation means 106 sets the optical flow by multiplying a vector of the difference between the coordinates of the process for detecting the optical flow in the current frame and the coordinates of the corresponding points by 1/2 (step S312). When a past frame n frames before is used, the difference vector is (1 / n) to obtain an optical flow.
[0040]
The optical flow calculation unit 106 holds the calculated optical flow (step S313). Then, the processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed on all the coordinates included in the region for detecting the optical flow (step S303). When the processing target coordinate setting unit 102 determines that there are no processing target coordinates for which an optical flow is to be detected, the optical flow calculation unit 106 outputs the held optical flow to the optical flow output unit 107. (Step S314). The optical flow output unit 107 outputs the input optical flow to the region detection unit 108.
[0041]
The area detection means 108 can extract an area of pixels having an optical flow in a direction approaching the vehicle on which the image area detection device 100 is mounted as an area of the overtaking vehicle and output the extracted area to the display means (step). S315). At this time, the area of the overtaking vehicle may be monitored or tracked.
[0042]
According to this embodiment, since the past image frame for searching for the corresponding point is selected according to each coordinate in the image frame, a pixel with a small optical flow has a long time interval from the current time. By selecting an image frame, it is possible to detect an optical flow with high accuracy, and by selecting a past image frame with a short time interval for pixels with a large optical flow, a region for searching for corresponding points can be narrowed. Optical flow can be detected at high speed.
[0043]
In this embodiment, the case where the past image frame one before the current frame is used and the case where the past image frame two times before the current frame is used are divided into two cases. The past image frames may be used in more cases by using three or more past image frames.
[0044]
In this embodiment, the area detection unit 108 can detect an area where another vehicle exists based on the optical flow. For example, a vehicle on which the image area detection device 100 is mounted approaches. It is also possible to detect a region where an obstacle or the like is present.
[0045]
Furthermore, in this embodiment, since the case where a road image is input is taken as an example, the y coordinate value is used as the evaluation amount. However, the evaluation amount is not limited to the y coordinate value, and the magnitude of the optical flow is not limited. Other amounts may be used as long as they are related to the length. For example, the coordinates for detecting the optical flow or the optical flow size calculated in the past around the coordinates may be used as the evaluation amount, or the evaluation is performed by the user based on the prior knowledge of the user of the optical flow detection system. The amount may be set, or a new evaluation amount may be calculated by combining the evaluation amounts obtained by these methods.
[0046]
Embodiment 2. FIG.
FIG. 6 is a block diagram showing a second embodiment of an image area detection system including an optical flow detection system according to the present invention. The image region detection system shown in FIG. 6 includes an image input device 110 that inputs a moving image, an image region detection device 200, and a distance measurement device 300. Unlike the image area detection apparatus 100 in the first embodiment, the image area detection apparatus 200 does not include the evaluation amount calculation unit 103. The operation of the past frame selection unit 201 is different from the operation of the past frame selection unit 104 in the first embodiment.
[0047]
The distance measuring device 300 measures a distance (actual distance) between an object included in the moving image photographed by the image input device 110 and the photographing position. The past frame selection unit 201 specifies a past image frame used for optical flow calculation based on the distance between the photographing position measured by the distance measuring device 300 and the object. The distance measurement device 300 is realized by a distance measurement device such as a radar, a stereo camera, or an ultrasonic transmission / reception device, for example.
[0048]
Next, the operation of this embodiment will be described. FIG. 7 is a flowchart for explaining the operation of this embodiment.
[0049]
A moving image input from the image input device 110 to the image region detection device 200 for each image frame is input to the image storage unit 101 and the processing target coordinate setting unit 102 in the image region detection device 200 (step S401). The image accumulating unit 101 accumulates the input image frame as a past frame (step S402). The processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed for all the coordinates included in the region for detecting the optical flow (step S403). If it is determined that the coordinates for detecting the optical flow remain, the processing target coordinate setting unit 102 sets the processing target coordinates for detecting the optical flow in the current frame (step S404). That is, the coordinate next to the processed coordinate is set as the processing target coordinate. Then, the current frame is output to the past frame selection unit 201 and the corresponding point search unit 105. The distance measuring device 300 measures the distance (actual distance) between the object existing in the current frame and the installation position of the image area detecting device 200 (step S405). It is assumed that the distance measurement device 300 is installed in the vicinity of the image area detection device 200.
[0050]
The distance measuring device 300 receives, for example, supply of information in a direction corresponding to the processing target coordinates in the measurement visual field of the distance measuring device 300 from the image region detecting device 200. Then, the measurement direction is determined based on the supplied information, and the distance to the object existing in the current frame is measured. The distance measuring device 300 measures the distance in accordance with, for example, an instruction from software that implements the past frame selecting unit.
[0051]
The past frame selection unit 201 specifies an image frame used for optical flow detection among the past image frames stored in the image storage unit 101 based on the distance to the object (step S406). Corresponding point search means 105 searches the predetermined search area for the corresponding point that is the coordinate of the past image frame corresponding to the coordinate for detecting the optical flow of the current frame, and specifies the corresponding corresponding point. Is output to the optical flow calculation means 106 (step S407). The optical flow calculation means 106 calculates the optical flow based on the processing target coordinates for detecting the optical flow, the coordinates of the corresponding points, and the time when the current frame was captured and the time when the past image frame was captured (step S408). ). The optical flow calculation unit 106 holds the calculated optical flow (step S409).
[0052]
Then, the processing target coordinate setting unit 102 determines whether all the coordinates for detecting the optical flow have been set (step S403). When the processing target coordinate setting unit 102 determines that there are no remaining coordinates for detecting the optical flow, the optical flow calculation unit 106 outputs the held optical flow to the optical flow output unit 107. (Step S410). The optical flow output unit 107 outputs the input optical flow to the region detection unit 108. The area detection unit 108 extracts an area that is considered to include the same object image based on the input optical flow (step S411).
[0053]
Next, the operation of this embodiment will be described by taking as an example a moving image obtained by photographing the rear side of the traveling vehicle. FIG. 2 is an image frame of a moving image obtained in this way.
[0054]
FIG. 7 is a flowchart for explaining the operation of this embodiment using a specific example. For example, the image input device 110 captures a back and forth from a vehicle traveling on a road as a black and white image with 256 gradations (step S501). The image input device 110 inputs the captured moving image (road image) to the image storage unit 101 and the processing target coordinate setting unit 102 for each image frame. The image accumulating unit 101 accumulates the input road image as a past frame (step S502). First, the processing target coordinate setting unit 102 determines an area for detecting an optical flow. Here, it is assumed that the area below the line Lp shown in FIG. 4 is specified as the area where the optical flow is detected. For example, the processing target coordinate setting unit 102 determines the line Lp by excluding an area where the y coordinate value is equal to or less than a predetermined value, or determines the line Lp by receiving a designation from the user.
[0055]
The processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed for all the coordinates included in the region for detecting the optical flow (step S503). If it is determined that the processing target coordinates for detecting the optical flow remain, the processing target coordinate setting unit 102 sets the coordinates for detecting the optical flow in the moving image (step S504). That is, the coordinate next to the processed coordinate is set as the processing target coordinate. As the processing target coordinates for detecting the optical flow, the coordinates are set in the order of the raster scan direction from the upper left corner to the lower right corner for the region below Lp.
[0056]
The distance measuring device 300 measures the actual distance corresponding to the processing target coordinates (step S505). For example, when the distance between the shooting position and the object is less than 30 m with a threshold of 30 m, the optical flow is detected using the previous image frame one before the image frame at the current time, If the distance between the shooting position and the object is 30 m or more, it is determined to detect the optical flow using the past image frame two previous from the image frame at the current time (steps S506 and S507). 508). It should be noted that an input of a distance threshold by the user may be received via an input unit such as a keyboard or a mouse.
[0057]
When the optical flow is detected using the previous image frame immediately before the image frame at the current time, the corresponding point search unit 105 detects the corresponding point in the previous image frame immediately before the image frame at the current time. This is performed (step S509). Then, information on the position of the detected corresponding point is output to the optical flow calculation means 106. The optical flow calculation unit 106 sets the vector of the difference between the coordinates of the processing target for detecting the optical flow in the image frame at the current time and the coordinates of the corresponding points as the optical flow (step S511).
[0058]
When the optical flow is detected using the past image frame two previous from the image frame at the current time, the corresponding point search unit 105 detects the corresponding points in the past image frame two previous from the image frame at the current time. This is performed (step S510). Then, information on the position of the detected corresponding point is output to the optical flow calculation means 106. The optical flow calculation means 106 sets the optical flow by multiplying the vector of the difference between the coordinates of the processing target for detecting the optical flow in the image frame at the current time and the coordinates of the corresponding point by 1/2 (step). S512).
[0059]
The optical flow calculation unit 106 holds the calculated optical flow (step S513). Then, the processing target coordinate setting unit 102 determines whether or not the processing for detecting the optical flow has been performed on all the coordinates included in the region for detecting the optical flow (step S503). When the processing target coordinate setting unit 102 determines that there are no remaining coordinates for detecting the optical flow, the optical flow calculation unit 106 detects the held optical flow via the optical flow output unit 107 as a region detection. It outputs to the means 108 (step S514).
[0060]
The area detection means 108 outputs the area of the pixel having the direction in which the optical flow approaches the vehicle being photographed to the display means or the like as the area of the overtaking vehicle (step S515). At this time, the area of the overtaking vehicle may be monitored or tracked.
[0061]
According to this embodiment, since the past image frame used for optical flow detection is selected according to the distance to the object included in the image, the optical flow of the coordinates of the object at a distant distance where the optical flow is considered to be small is selected. For detection, an optical flow can be detected with high accuracy by selecting a past image frame having a large time interval. In addition, for detecting the optical flow of the coordinates of an object that is considered to have a large optical flow, by selecting a past image frame with a small time interval, the search area for the corresponding points can be narrowed, and the optical flow can be performed at high speed. Can be detected.
[0062]
Further, according to this embodiment, since the past image frame used for optical flow detection is selected according to the distance from the object included in the image, there is no need to predict the size of the optical flow in advance. The present invention can also be applied when it is difficult to predict the size of the optical flow.
[0063]
【The invention's effect】
As described above, according to the present invention, a past image frame used for optical flow detection is determined based on an evaluation amount that is a numerical value corresponding to the magnitude of the optical flow. There is an effect that the flow can be detected with high accuracy and at high speed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of an image frame of a moving image input to the image input device.
FIG. 3 is a flowchart for explaining the operation of the first exemplary embodiment of the present invention.
FIG. 4 is a flowchart for explaining the operation of corresponding point search means of the present invention.
FIG. 5 is a flowchart for explaining the operation of the first exemplary embodiment using a specific example;
FIG. 6 is a block diagram showing a second embodiment of the present invention.
FIG. 7 is a flowchart illustrating the operation of the second exemplary embodiment of the present invention.
FIG. 8 is a flowchart for explaining the operation of the second exemplary embodiment using a specific example;
[Explanation of symbols]
100 computers
101 Image storage means
102 processing target coordinate setting means
103 Evaluation amount calculation means
104 Past frame selection means
105 Corresponding point search means
106 Optical flow calculation means
107 Optical flow output means
108 Area detection means
110 Image input device
300 Distance measuring device

Claims

An optical flow detection system that detects an optical flow using a current frame and a past frame in an input moving image,
Image storage means for storing a plurality of past frames;
An evaluation amount calculation means for calculating an evaluation amount that is a numerical value corresponding to the magnitude of the optical flow for each pixel in the screen ;
Past frame selection means for determining, for each pixel in the screen, which past frame of the past frames stored in the image storage means is to be used based on the evaluation amount calculated by the evaluation amount calculation means. An optical flow detection system characterized by comprising.

The optical flow detection system according to claim 1, wherein the evaluation amount calculation unit calculates an evaluation amount corresponding to the magnitude of the optical flow based on the coordinate position of the object on the image frame.

The optical flow detection system according to claim 2, wherein the evaluation amount calculated by the evaluation amount calculation means is a vertical coordinate value in the image frame of the object.

The optical flow detection system according to claim 1, wherein the evaluation amount calculation unit calculates an evaluation amount corresponding to the magnitude of the optical flow based on the magnitude of the optical flow detected in the past.

An optical flow detection system that detects an optical flow using a current frame and a past frame in an input moving image,
Image storage means for storing a plurality of past frames;
Distance measuring means for measuring the distance between the object appearing in the current frame and the shooting position for each pixel in the screen ;
Past frame selection means for determining, for each pixel in the screen, which past frame of the past frames stored in the image storage means is to be used based on the distance measured by the distance measurement means. Optical flow detection system.

The optical flow detection system according to any one of claims 1 to 5, further comprising region detection means for detecting a region of an object on an image based on the detected optical flow.

The input moving image is an image of the outside taken from a running vehicle,
The optical flow detection system according to claim 6, wherein the area detection unit detects another vehicle or an obstacle.

An optical flow detection method for detecting an optical flow using a current frame and a past frame in an input moving image,
Memorize multiple past frames,
Calculate the evaluation value, which is a numerical value corresponding to the size of the optical flow, for each pixel in the screen ,
An optical flow detection method, wherein, based on the calculated evaluation amount, which past frame of stored past frames is used is determined for each pixel in the screen .

An optical flow detection method for detecting an optical flow using a current frame and a past frame in an input moving image,
Memorize multiple past frames,
Measure the distance between the object appearing in the current frame and the shooting position for each pixel in the screen ,
An optical flow detection method , comprising: determining, based on a measured distance, which past frame among stored past frames is to be used for each pixel in a screen .

An optical flow program for executing processing for detecting an optical flow using a current frame and a past frame in an input moving image,
On the computer,
A process of storing a plurality of past frames;
Processing for calculating an evaluation amount, which is a numerical value corresponding to the size of the optical flow, for each pixel in the screen ;
An optical flow detection program for executing processing for determining, for each pixel in a screen, which past frame of stored past frames is to be used based on the calculated evaluation amount.

An optical flow program for executing processing for detecting an optical flow using a current frame and a past frame in an input moving image,
On the computer,
A process of storing a plurality of past frames;
Processing to measure the distance between the object appearing in the current frame and the shooting position for each pixel in the screen ;
An optical flow detection program that executes a process of determining, for each pixel in a screen, which past frame of stored past frames is to be used based on a measured distance.