JP5012718B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5012718B2
JP5012718B2 JP2008199905A JP2008199905A JP5012718B2 JP 5012718 B2 JP5012718 B2 JP 5012718B2 JP 2008199905 A JP2008199905 A JP 2008199905A JP 2008199905 A JP2008199905 A JP 2008199905A JP 5012718 B2 JP5012718 B2 JP 5012718B2
Authority
JP
Japan
Prior art keywords
window
size
optical flow
image
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008199905A
Other languages
English (en)
Other versions
JP2010039634A (ja
Inventor
尚秀 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2008199905A priority Critical patent/JP5012718B2/ja
Priority to US13/057,028 priority patent/US8670590B2/en
Priority to DE112009001727.4T priority patent/DE112009001727B4/de
Priority to CN2009801007166A priority patent/CN102016921B/zh
Priority to PCT/JP2009/063590 priority patent/WO2010013782A1/ja
Publication of JP2010039634A publication Critical patent/JP2010039634A/ja
Application granted granted Critical
Publication of JP5012718B2 publication Critical patent/JP5012718B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、画像に設定されたウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置に関する。
オプティカルフローは、時間的に連続する画像から画像内の各点(画素、領域)の速度場を求め、画像内の物体の動きをベクトルで表したものである。オプティカルフローの算出方法の一つとして、勾配法を利用する方法である。勾配法では、拘束条件として画像内に設定されたウィンドウ内の各点が同じ大きさのオプティカルフローを持つと仮定して輝度勾配とオプティカルフローの関係式を導出し、その関係式からウィンドウ単位でオプティカルフローを算出する。
しかし、同じウィンドウ内に異なるオプティカルフローを持つ物体(例えば、異なる複数の移動体、移動体とその周辺の背景)が存在すると、オプティカルフローの誤差が大きくなる。そこで、特許文献1に記載の装置では、異なる時刻より得られた複数の画像を用いて勾配法によって各領域(各ウィンドウ)のオプティカルフロー及びオプティカルフローの誤差を算出し、注目領域のオプティカルフローの誤差が注目領域の周辺領域のオプティカルフローの誤差より大きい場合には注目領域のオプティカルフローとして周辺領域のオプティカルフローを代入する。
特開2007−172554号公報 特開2008−26999号公報
従来の手法ではオプティカルフロー算出用のウィンドウは一律の大きさで設定されているため、近傍に存在する物体も遠方に存在する物体も同じ大きさのウィンドウからオプティカルフローが算出される。また、遠方に存在する物体は、近傍に存在する物体よりも画像中の大きさが小さくなる。そのため、遠方に存在する物体に対するウィンドウには近傍に存在する物体に対するウィンドウよりも多くの背景の画素が含まれたり、近傍に存在する物体に対するウィンドウ内に遠方に存在する物体が入ったりするので、各ウィンドウから算出されるオプティカルフローの誤差が大きくなる場合がある。したがって、上記の装置の場合、周辺領域のオプティカルフローの誤差も大きくなる虞があり、このような誤差が大きくなった周辺領域のオプティカルフローに置き換えた場合には誤差が蓄積していく可能性がある。
そこで、本発明は、ウィンドウ単位でオプティカルフローを算出する場合にオプティカルフローの算出精度を向上させる画像処理装置を提供することを課題とする。
本発明に係る画像処理装置は、異なる時間に撮像された複数の画像を用いて、処理対象についてウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置であって、処理対象の位置情報を取得する位置取得手段と、位置取得手段で取得した位置情報に基づいてオプティカルフローを算出するためのウィンドウの大きさを設定する設定手段とを備え、設定手段は、カメラの設置された撮像位置と処理対象が存在する位置との横位置の差が大きいほどウィンドウの大きさを大きくすることを特徴とする。
この画像処理装置では、位置取得手段により処理対象(オプティカルフローによって動きを検出する対象)の位置情報(例えば、撮像位置からの相対的な距離や横位置)を取得する。画像上の物体の大きさは、その物体と撮像位置との位置関係に応じて変わる。また、オプティカルフローの大きさも、その物体と撮像位置との位置関係に応じて変わる場合がある。そこで、画像処理装置では、設定手段によりその処理対象の位置情報に応じてオプティカルフロー算出用のウィンドウの大きさを設定し、その設定したウィンドウ毎にウィンドウ内の画像情報に基づいてオプティカルフローを算出する。このように、画像処理装置では、処理対象の位置情報に応じて処理対象に適した大きさのウィンドウを設定することにより、ウィンドウ内に含まれる処理対象以外のものによる誤差の影響を低減でき、オプティカルフローの算出精度を向上させることができる。さらに、一律の大きなウィンドウでオプティカルフローを算出せずに、処理対象の位置情報に応じた大きさのウィンドウでオプティカルフローを算出するので、計算量も削減できる。
オプティカルフローは、撮像位置からの横方向の位置が離れているほど大きくなる。オプティカルフローが大きい場合、小さいウィンドウを設定すると、オプティカルフローが収束しなくなったり、あるいは、小さいウィンドウを徐々にずらして何回もオプティカルフローを算出する必要がるので、計算量が増大する。そこで、この画像処理装置では、設定手段により撮像位置と処理対象との横位置の差が大きいほどウィンドウの大きさを大きくすることにより、オプティカルフローの大きさに適したウィンドウを設定することができる。その結果、オプティカルフローの算出精度をより向上させることができる。
本発明の上記画像処理装置では、位置取得手段は、レーダであり、レーダでの検出結果に基づいて処理対象を設定する構成としてもよい。
この画像処理装置では、レーダにより処理対象の位置情報を取得し、レーダで検出できた結果から処理対象を設定する。レーダは、位置情報を精度良く取得できる。そこで、レーダで検出できた場合、その検出できた位置に物体が確実に存在するので、その位置に処理対象についてのウィンドウを設定する。このように、画像処理装置では、レーダで検出できた位置に応じて処理対象のウィンドウを設定し、オプティカルフロー算出の処理領域を限定することにより、計算量をより低減できる。
本発明は、処理対象の位置情報に応じて処理対象に適した大きさのウィンドウを設定することにより、オプティカルフローの算出精度を向上させることができる。
以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。
本実施の形態では、本発明に係る画像処理装置を、車両に搭載される周辺監視装置に適用する。本実施の形態に係る周辺監視装置は、自車両前方の障害物(例えば、他車両、自転車、歩行者などの移動物体、落下物などの静止物体)を検出し、その検出した障害物情報を運転支援装置(衝突防止装置など)に出力あるいは音声や表示によって運転者に提供する。なお、検出方向としては、前方とするが、側方、後方などの他の方向でもよい。
図1〜図5を参照して、本実施の形態に係る周辺監視装置1について説明する。図1は、本実施の形態に係る周辺監視装置の構成図である。図2は、特徴点までの距離と横位置に対する撮像画像中の大きさ、オプティカルフローの大きさ、ウィンドウの大きさを示す表である。図3は、自車両周辺(前方側)を上空から見た平面図の一例である。図4は、図3に示す自車両周辺の撮像画像に対して図1のECUでオプティカルフロー算出用のウィンドウを設定した図である。図5は、図3に示す自車両周辺の撮像画像に対して従来の手法によってオプティカルフロー算出用のウィンドウを設定した図である。
周辺監視装置1は、時間的に連続するフレーム間の画像から検出したオプティカルフローに基づいて障害物の情報を検出する。特に、周辺監視装置1は、オプティカルフローの算出精度を向上させるために、処理対象(障害物)毎に画像上の位置に応じてオプティカルフロー算出用のウィンドウを設定する。周辺監視装置1は、カメラ2、ミリ波センサ3及びECU[Electronic Control Unit]4を備えている。
なお、本実施の形態では、ミリ波センサ3が特許請求の範囲に記載する位置取得手段に相当し、ECU4における処理が特許請求の範囲に記載する設定手段に相当する。
カメラ2は、自車両の前方を撮像するカメラである。カメラ2は、自車両の前側の中央に取り付けられる。カメラ2では、自車両前方を撮像し、その撮像画像情報を画像信号としてECU4に送信する。この撮像画像は、一定時間(例えば、1/30秒)毎のフレームの画像である。
ミリ波センサ3は、ミリ波を利用して物体を検出するレーダセンサである。ミリ波センサ3は、自車両の前側の中央の所定の高さ位置(検出対象の障害物を確実に検出可能な高さ位置)に取り付けられる。ミリ波センサ3では、ミリ波を左右方向に走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。
反射してきたミリ波を受信できた検出点毎に、ミリ波センサ3では、ミリ波の送信から受信までの時間とミリ波の速度に基づいて前方の物体までの相対距離を算出する。さらに、ミリ波センサ3では、現時刻(t)で算出された相対距離と前時刻(t−1)で算出された相対距離の変化に基づいて前方の物体との相対速度を算出する。また、ミリ波センサ3では、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と物体の方向とのなす角度を求め、その角度から物体の横位置を算出する。そして、ミリ波センサ3では、その検出したミリ波情報(検出物体毎の相対距離、相対速度、相対横位置など)からなるミリ波信号をECU4に送信する。なお、相対距離、相対速度、横位置などの算出についてはECU4で行なってもよく、その場合にはミリ波センサ3から検出点毎の送信時刻、受信時刻、走査方向、受信強度などからなるミリ波情報をECU4に送信する。
ECU4は、CPU[Central ProcessingUnit]、ROM[Read Only Memory]、RAM[Random Access Memory]及び画像処理チップなどからなる電子制御ユニットであり、周辺監視装置1を統括制御する。ECU4では、一定時間毎に、カメラ2からの画像信号及びミリ波センサ3からのミリ波信号を取り入れ、ミリ波情報及び撮像画像情報を時系列で記憶する。そして、ECU4では、これらの情報を用いて障害物情報を検出するための処理を行い、検出した障害物情報(例えば、相対距離、相対速度、相対横位置、移動方向、移動速度)を運転支援装置に出力あるいは運転者に提供する。
ECU4での具体的な処理について説明する前に、ECU4で取り扱うオプティカルフロー算出用のウィンドウの大きさについて説明しておく。画像上の物体の大きさは、障害物のカメラ2(撮像位置)からの距離が近いほど大きくなり、距離が遠いほど小さくなる。したがって、障害物の大きさに応じてウィンドウの大きさを最適化するには、障害物のカメラ2からの距離が近いとウィンドウを大きくし、遠いとウィンドウを小さくする必要がある。
また、オプティカルフローの大きさは、障害物の存在する前方に向かって自車両が走行しているので、障害物のカメラ2からの横位置が近いほど小さくなり、横位置が遠いほど大きくなる。オプティカルフローが大きいのに小さいウィンドウを設定すると、オプティカルフローが収束しなくなったり、あるいは、小さいウィンドウを徐々にずらしてオプティカルフローを何回も算出する必要がるので、計算量が増大する。そこで、オプティカルフローの大きさに応じてウィンドウの大きさを最適化するには、障害物のカメラ2からの横位置が近いとウィンドウを小さくし、遠いとウィンドウを大きくする必要がある。
図2では、上記の関係を表にしている。カメラ2から障害物(特徴点)までの距離が遠いかつ横位置が近い場合、画像中の大きさは小さくなり、オプティカルフローの大きさも小さくなるので、ウィンドウの大きさとして「小サイズ」とする。距離が遠いかつ横位置が遠い場合、画像中の大きさは小さくなり、オプティカルフローの大きさは中程度になるので、ウィンドウの大きさとして「中サイズ」とする。距離が近いかつ横位置が近い場合、画像中の大きさは大きくなり、オプティカルフローの大きさは中程度になるので、ウィンドウの大きさとして「中サイズ」とする。距離が近いかつ横位置が遠い場合、画像中の大きさは大きくなり、オプティカルフローの大きさは大きくなるので、ウィンドウの大きさとして「大サイズ」とする。なお、距離が遠いかつ横位置が遠い場合と距離が近いかつ横位置が近い場合は、共にウィンドウを中サイズとしているが、ウィンドウの大きさを同程度としてもよいし、あるいは、距離が近いかつ横位置が近い場合の方をウィンドウの大きさを少し大きくしてもよい。
なお、オプティカルフローの大きさは、自車両の車速が高くなるほど大きくなり、車速が低くなるほど小さくなる。そこで、自車両の車速も考慮し、車速が高いとウィンドウを大きくし、低いとウィンドウを小さくするようにしてもよい。
それでは、ECU4での処理を具体的に説明する。ECU4では、現時刻(t)のフレームの画像から特徴点(障害物)を検出する。この特徴点の検出では、従来の手法を適用し、例えば、エッジ検出を用いる。
検出できた特徴点毎に、ECU4では、その特徴点に対応するミリ波情報(特に、相対的な距離と横位置)を取得する。そして、ECU4では、相対距離に基づいて自車両(カメラ2)からの距離が近いか否か(相対距離が距離閾値以下か否か)を判定する。距離閾値は、障害物までの距離が近いかあるいは遠いかを判定するための閾値であり、実験などで予め設定してもよいし、あるいは、画像中の障害物(例えば、歩行者)の大きさなどを考慮して設定してもよい。また、ECU4では、相対横位置に基づいて自車両(カメラ2)からの横位置が近いか否か(相対横位置が横位置閾値以下か否か)を判定する。横位置閾値は、障害物の横位置が近いかあるいは遠いかを判定するための閾値であり、実験などで予め設定してもよいし、あるいは、画像中の障害物の大きさなどを考慮して設定してもよい。
距離が遠いかつ横位置が近いと判定した場合、ECU4では、オプティカルフロー算出用のウィンドウとして小サイズを設定する。距離が遠いかつ横位置が遠いと判定した場合、ECU4では、ウィンドウとして中サイズを設定する。距離が近いかつ横位置が近いと判定した場合、ECU4では、ウィンドウとして中サイズを設定する。距離が近いかつ横位置が遠いと判定した場合、ECU4では、ウィンドウとして大サイズを設定する。このウィンドウの大、中、小サイズについては、実験などで予め設定してもよいし、あるいは、画像中の障害物の大きさなどを考慮して設定してもよい。
設定したウィンドウ毎に、ECU4では、連続するフレーム間の画像を用いて、勾配法(拘束条件としてウィンドウ内の各点が同じ大きさのオプティカルフローを持つと仮定)により、ウィンドウでのオプティカルフローを算出する。勾配法によるオプティカルフローの算出は、従来の手法を適用する。
そして、ECU4では、特徴点(障害物)毎にミリ波情報(相対距離、相対速度、相対横位置など)とオプティカルフロー(移動方向、移動速度、移動量など)などから障害物情報を設定する。さらに、ECU4では、その障害物情報を運転支援装置に出力あるいは運転者に提供する。なお、障害物のその他の情報として、画像から障害物の大きさを検出してもよいし、更に、パターン認識などを利用して障害物の種別を検出してもよい。
図3に示す例の場合、片側一車線の道路において自車両が矢印MDで示す方向を走行しており、自車両の前方に4個の障害物O1,O2,O3、O4(例えば、歩行者)が存在する。障害物O1は、自車両からの距離が近く、横位置が遠い。障害物O2は、自車両からの距離が近く、横位置も近い。障害物O3は、自車両からの距離が遠く、横位置が近い。障害物O3は、自車両からの距離が遠く、横位置も遠い。ここでは、説明を判り易くするため、障害物O1,O2,O3,O4が、自車両の方向に同様の速度で進んでいるものとする。
図4には、図3に示す自車両の前方の周辺風景を撮像した画像を示しており、その画像中にはECU4で設定された各障害物(特徴点)に対するウィンドウも示されている。なお、図4、図5では、×印によってミリ波センサ3による位置検出結果を示しており、矢印によってオプティカルフロー(ただし、オプティカルフローF1,F2,F3,F4は、ウィンドウ単位で算出されたものではなく、障害物O1,O2,O3,O4だけから求められる理想的なオプティカルフロー(誤差を含んでいないもの)である。)を示しており、実線の矩形によって障害物を示しており、破線の矩形によってウィンドウを示している。障害物O1の場合、距離が近いので画像上の大きさが大きくなり、横位置が遠いのでオプティカルフローF1も大きくなるが、その画像上の大きさとオプティカルフローの大きさに応じた大きなサイズのウィンドウW1が設定される。障害物O2の場合、距離が近いので画像上の大きさが大きいが、横位置が近いのでオプティカルフローF2が障害物O1よりも小さくなるので、障害物O1のものよりも小さい中サイズのウィンドウW2が設定される。障害物O3の場合、距離が遠いので画像上の大きさが小さくなり、横位置が近いのでオプティカルフローF3も小さくなるが、画像上の大きさとオプティカルフローの大きさに応じた小さなサイズのウィンドウW3が設定される。障害物O4の場合、距離が遠いので画像上の大きさが小さいが、横位置が遠いのでオプティカルフローF4が障害物O3よりも大きくなるので、障害物O3のものよりも大きい中サイズのウィンドウW4が設定される。
図5には、図3に示す自車両の前方の周辺風景を撮像した画像を示しており、その画像中には従来の手法によって設定されたウィンドウも示されている。従来の手法では、一律に同じ大きさのウィンドウW1’,W2’,W4’が設定され、これらのウィンドウW1’,W2’,W4’は障害物を十分に含むように、比較的大きなサイズのウィンドウである。障害物O2を含むウィンドウW2’は、オプティカルフローF2の大きさの割にはサイズが大きく、障害物O3も含んでいる。そのため、ウィンドウW2’のオプティカルフローは、2つの障害物O2,O3の画像情報及び背景の画像情報から算出されることになり、障害物O2のオプティカルフローとしては誤差が大きくなる。また、障害物O4を含むウィンドウW4’は、画像上の障害物O4の大きさやオプティカルフローF4の大きさの割にはサイズが過剰に大きく、大部分が背景である。そのため、ウィンドウW4’のオプティカルフローは、小さな障害物O4の画像情報及び大きな背景の画像情報から算出されることになり、障害物O4のオプティカルフローとしては誤差が大きくなる。
図1及び図2を参照して、周辺監視装置1における動作について説明する。特に、ECU4における処理について図6及び図7に沿って説明する。図6は、図1のECUにおけるメイン処理の流れを示すフローチャートである。図7は、図1のECUにおけるウィンドウサイズ設定処理の流れを示すフローチャートである。
カメラ2では、一定時間毎に、自車両の前方を撮像し、その画像情報からなる画像信号をECU4に送信する。ミリ波センサ3では、一定時間毎に、ミリ波による走査を行い、各検出点についての相対距離、相対速度、相対横位置などを算出し、各検出点のミリ波情報からなるミリ波信号をECU4に送信する。
ECU4では、一定時間毎に、カメラ2からの画像信号を受信し、現時刻(t)のフレームの画像を取得する(S1)。この各フレームの画像は、ECU4内に時系列で一時記憶される。そして、ECU4では、現時刻(t)のフレームの画像から特徴点を抽出する(S2)。
抽出した特徴点毎に、ECU4では、オプティカルフロー算出用のウィンドウを設定する(S3)。ECU4では、一定時間毎に、ミリ波センサ3からのミリ波信号を受信し、ミリ波情報から特徴点についての相対距離及び相対横位置を取得する(S30)。このミリ波情報は、ECU4内に時系列で一時記憶される。
そして、ECU4では、特徴点までの距離が近いか否かを判定する(S31)。S31にて距離が近いと判定した場合、ECU4では、横位置が遠いか否かを判定する(S32)。また、S31にて距離が遠いと判定した場合も、ECU4では、横位置が遠いか否かを判定する(S33)。
S32にて横位置が遠いと判定した場合(すなわち、特徴点まで距離が近いかつ横位置が遠い場合)、ウィンドウサイズとして大サイズを設定する(S34)。S32にて横位置が近いと判定した場合(すなわち、特徴点まで距離が近いかつ横位置が近い場合)、ウィンドウサイズとして中サイズを設定する(S35)。S33にて横位置が遠いと判定した場合(すなわち、特徴点まで距離が遠いかつ横位置が遠い場合)、ウィンドウサイズとして中サイズを設定する(S35)。S33にて横位置が近いと判定した場合(すなわち、特徴点まで距離が遠いかつ横位置が近い場合)、ウィンドウサイズとして小サイズを設定する(S36)。
設定したウィンドウ毎に、ECU4では、現時刻(t)のフレームの画像と前時刻(t−1)のフレームの画像を用いて、勾配法によってオプティカルフローを算出する(S4)。
そして、ECU4では、各特徴点のミリ波情報と各ウィンドウのオプティカルフローから障害物毎の情報を抽出し、障害物情報を運転支援装置に出力あるいは音声や表示によって運転者に提供する。
この周辺監視装置1によれば、特徴点(障害物)までの相対距離、相対横位置に応じてオプティカルフロー算出用のウィンドウサイズを設定することにより、ウィンドウサイズが画像上の障害物の大きさ及びオプティカルフローの大きさに応じたサイズとなる。そのため、ウィンドウ内に含まれる検出対象の障害物以外のものによる誤差の影響を低減でき、オプティカルフローの算出精度を向上させることができる。また、一律に大きなサイズのウィンドウでオプティカルフローを算出せず、障害物毎に的確なサイズのウィンドウでオプティカルフローを算出するので、処理量も削減できる。
また、周辺監視装置1によれば、検出できた特徴点についてのみウィンドウを設定し、オプティカルフローを算出するので、処理量をより削減することができる。また、周辺監視装置1によれば、ミリ波センサ3によって各特徴点の位置情報を高精度に求めることができるので、その高精度な位置情報から的確なウィンドウサイズを設定できる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両に搭載され、車両周辺の障害物を検出するための周辺監視装置に適用したが、オプティカルフローを算出する機能を有する様々な画像処理装置に適用可能である。また、ロボットなどの他の移動体に搭載してもよいし、あるいは、移動物体ではなく、所定の場所に設けられ、画像処理装置側が静止状態でオプティカルフローを算出する場合にも適用可能である。
また、本実施の形態では位置取得手段としてミリ波センサを適用したが、レーザセンサなどの他のレーダセンサでもよいし、レーダ以外の位置取得手段でもよい。
また、本実施の形態ではオプティカルフローを算出するために勾配法を適用したが、パターンマッチングなどの他の手法によってオプティカルフローを算出するものにも適用可能である。
また、本実施の形態ではカメラ(車両)と各特徴点との相対的な距離及び横位置に応じてウィンドウの大きさを設定する構成としたが、距離及び横位置のいずれか一方だけに応じてウィンドウの大きさを設定してもよいし、距離及び横位置以外の位置情報のパラメータに応じてウィンドウの大きさを設定してもよい。
また、本実施の形態では画像から特徴点を検出し、特徴点に対するミリ波センサの検出結果を用いて処理対象に対するウィンドウを設定する構成としたが、ミリ波センサで検出できた物体を処理対象としてウィンドウを直接設定する構成としてもよい。また、特徴点に限定してウィンドウを設定するのではなく、画像全体に対してウィンドウを設定してもよい。
また、本実施の形態ではウィンドウの大きさを3段階(又は4段階)としたが、相対距離や横位置に応じて2段階あるいは5段階以上としてもよい。距離閾値、横位置閾値も、それに合わせて複数段階設定してもよい。
本実施の形態に係る周辺監視装置の構成図である。 特徴点までの距離と横位置に対する撮像画像中の大きさ、オプティカルフローの大きさ、ウィンドウの大きさを示す表である。 自車両周辺(前方側)を上空から見た平面図の一例である。 図3に示す自車両周辺の撮像画像に対して図1のECUでオプティカルフロー算出用のウィンドウを設定した図である。 図3に示す自車両周辺の撮像画像に対して従来の手法によってオプティカルフロー算出用のウィンドウを設定した図である。 図1のECUにおけるメイン処理の流れを示すフローチャートである。 図1のECUにおけるウィンドウサイズ設定処理の流れを示すフローチャートである。
符号の説明
1…周辺監視装置、2…カメラ、3…ミリ波センサ、4…ECU

Claims (2)

  1. 異なる時間に撮像された複数の画像を用いて、処理対象についてウィンドウ内の画像情報に基づいてオプティカルフローを算出する画像処理装置であって、
    処理対象の位置情報を取得する位置取得手段と、
    前記位置取得手段で取得した位置情報に基づいてオプティカルフローを算出するためのウィンドウの大きさを設定する設定手段と
    を備え
    前記設定手段は、カメラの設置された撮像位置と処理対象が存在する位置との横位置の差が大きいほどウィンドウの大きさを大きくすることを特徴とする画像処理装置。
  2. 前記位置取得手段は、レーダであり、
    前記レーダでの検出結果に基づいて処理対象を設定することを特徴とする請求項1に記載する画像処理装置。
JP2008199905A 2008-08-01 2008-08-01 画像処理装置 Expired - Fee Related JP5012718B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008199905A JP5012718B2 (ja) 2008-08-01 2008-08-01 画像処理装置
US13/057,028 US8670590B2 (en) 2008-08-01 2009-07-30 Image processing device
DE112009001727.4T DE112009001727B4 (de) 2008-08-01 2009-07-30 Bildverarbeitungsvorrichtung zum Berechnen eines optischen Flusses
CN2009801007166A CN102016921B (zh) 2008-08-01 2009-07-30 图像处理装置
PCT/JP2009/063590 WO2010013782A1 (ja) 2008-08-01 2009-07-30 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008199905A JP5012718B2 (ja) 2008-08-01 2008-08-01 画像処理装置

Publications (2)

Publication Number Publication Date
JP2010039634A JP2010039634A (ja) 2010-02-18
JP5012718B2 true JP5012718B2 (ja) 2012-08-29

Family

ID=41610480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008199905A Expired - Fee Related JP5012718B2 (ja) 2008-08-01 2008-08-01 画像処理装置

Country Status (5)

Country Link
US (1) US8670590B2 (ja)
JP (1) JP5012718B2 (ja)
CN (1) CN102016921B (ja)
DE (1) DE112009001727B4 (ja)
WO (1) WO2010013782A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5773334B2 (ja) * 2012-01-22 2015-09-02 スズキ株式会社 オプティカルフロー処理装置及び表示半径マップ生成装置
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
US9208577B2 (en) 2012-06-25 2015-12-08 Adobe Systems Incorporated 3D tracked point visualization using color and perspective size
JP2014115978A (ja) * 2012-11-19 2014-06-26 Ricoh Co Ltd 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
JP6100635B2 (ja) * 2012-12-13 2017-03-22 株式会社デンソー 移動体検出装置
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
JP6389087B2 (ja) * 2014-09-11 2018-09-12 古河ユニック株式会社 作業機用ブーム衝突回避装置
US10215851B2 (en) 2014-09-19 2019-02-26 GM Global Technology Operations LLC Doppler-based segmentation and optical flow in radar images
US10042047B2 (en) * 2014-09-19 2018-08-07 GM Global Technology Operations LLC Doppler-based segmentation and optical flow in radar images
CN106909141A (zh) * 2015-12-23 2017-06-30 北京机电工程研究所 障碍物探测定位装置及避障系统
WO2018051492A1 (ja) * 2016-09-16 2018-03-22 三菱電機株式会社 オプティカルフロー精度算出装置およびオプティカルフロー精度算出方法
DE102016223071B4 (de) 2016-11-23 2019-02-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Lesen aus mehreren Korrespondenztabellen
DE102016223074B4 (de) 2016-11-23 2019-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Schreibprozess in mehreren Korrespondenztabellen
DE102016223079B4 (de) * 2016-11-23 2024-03-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Ermittlung einer Zuordnung zwischen einem Matrixelement einer Matrix und einem Vergleichsmatrixelement einer Vergleichsmatrix mittels Korrespondenztabelle
CN107463890B (zh) * 2017-07-20 2019-11-29 浙江零跑科技有限公司 一种基于单目前视相机的前车检测与跟踪方法
US10839522B2 (en) * 2018-05-11 2020-11-17 Toyota Research Institute, Inc. Adaptive data collecting and processing system and methods
CN109243150A (zh) * 2018-09-30 2019-01-18 深圳市金豪泰科技有限公司 一种车辆预警方法及终端
DE102018221617A1 (de) * 2018-12-13 2020-06-18 Robert Bosch Gmbh Verfahren zur Bestimmung einer Relativbewegung mittels einer digitalen Bilderfolge
CN111383257B (zh) * 2018-12-29 2024-06-07 顺丰科技有限公司 一种车厢装卸率确定方法和装置
WO2020170462A1 (ja) * 2019-02-22 2020-08-27 公立大学法人会津大学 動画像距離算出装置および動画像距離算出用プログラムを記録したコンピュータ読み取り可能な記録媒体
CN110322477B (zh) * 2019-06-10 2022-01-04 广州视源电子科技股份有限公司 特征点观察窗口设置方法、跟踪方法、装置、设备和介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235393B2 (ja) * 1995-03-17 2001-12-04 トヨタ自動車株式会社 移動ベクトル抽出方法
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring
CN1922633A (zh) * 2004-02-19 2007-02-28 西门子共同研究公司 使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法
DE102005013920B4 (de) * 2004-03-26 2007-12-13 Mitsubishi Jidosha Kogyo K.K. Frontsicht-Überwachungsvorrichtung
US7602946B2 (en) * 2004-09-24 2009-10-13 Nissan Motor Co., Ltd. Motion detection apparatus and motion detection method
JP4493050B2 (ja) * 2005-06-27 2010-06-30 パイオニア株式会社 画像分析装置および画像分析方法
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2007172554A (ja) 2005-12-26 2007-07-05 Toyota Motor Corp 画像処理装置、及び画像処理方法
JP2007255977A (ja) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd 物体検出方法および物体検出装置
JP2008026999A (ja) 2006-07-18 2008-02-07 Sumitomo Electric Ind Ltd 障害物検出システム、及び障害物検出方法
JP2008171141A (ja) * 2007-01-10 2008-07-24 Omron Corp 画像処理装置および方法、並びに、プログラム
US8854458B2 (en) * 2009-04-15 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object detection device
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置

Also Published As

Publication number Publication date
CN102016921A (zh) 2011-04-13
CN102016921B (zh) 2013-10-09
DE112009001727T5 (de) 2011-06-16
DE112009001727B4 (de) 2014-10-30
US20110135159A1 (en) 2011-06-09
US8670590B2 (en) 2014-03-11
WO2010013782A1 (ja) 2010-02-04
JP2010039634A (ja) 2010-02-18

Similar Documents

Publication Publication Date Title
JP5012718B2 (ja) 画像処理装置
JP4453775B2 (ja) 物体検出装置
EP2422320B1 (en) Object detection device
US8559674B2 (en) Moving state estimating device
JP6471528B2 (ja) 物体認識装置、物体認識方法
US8232872B2 (en) Cross traffic collision alert system
US20120019655A1 (en) Object detection device
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP2015143979A (ja) 画像処理装置、画像処理方法、プログラム、画像処理システム
JP2009288867A (ja) 道路区画線検出装置および道路区画線検出方法
JP5561064B2 (ja) 車両用対象物認識装置
JP2011175468A (ja) 区画線検出装置
CN107004250B (zh) 图像生成装置及图像生成方法
JP4052291B2 (ja) 車両用画像処理装置
JP2010026601A (ja) 車両周辺監視装置
JP2007030603A (ja) 車両用走行支援装置
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
JP2014130429A (ja) 撮像装置及び立体物領域検出用プログラム
JP2010006270A (ja) 車両挙動検出装置
JP2007172504A (ja) 付着物検出装置及び付着物検出方法
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP4905496B2 (ja) 物体検出装置
CN115088248A (zh) 摄像装置、摄像系统和摄像方法
JP6201809B2 (ja) 周辺監視装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5012718

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees