JP3239521B2 - 移動体認識装置 - Google Patents
移動体認識装置Info
- Publication number
- JP3239521B2 JP3239521B2 JP07226993A JP7226993A JP3239521B2 JP 3239521 B2 JP3239521 B2 JP 3239521B2 JP 07226993 A JP07226993 A JP 07226993A JP 7226993 A JP7226993 A JP 7226993A JP 3239521 B2 JP3239521 B2 JP 3239521B2
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- vehicle
- moving object
- optical
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明は移動体認識装置、特にオ
プティカルフローを用いて移動体を認識する装置に関す
る。
プティカルフローを用いて移動体を認識する装置に関す
る。
【０００２】
【従来の技術】従来より、車両走行の安全性を向上すべ
く、種々の装置が開発、搭載されており、ＣＣＤカメラ
等を用いて前方を撮影し、先行車等の移動物体を検出す
る装置もその一つである。
く、種々の装置が開発、搭載されており、ＣＣＤカメラ
等を用いて前方を撮影し、先行車等の移動物体を検出す
る装置もその一つである。
【０００３】特開平２−２４１８５５号公報には、ビデ
オカメラを用いて撮影した画像よりオプティカルフロー
を算出し、このオプティカルフローから先行車との相対
速度を算出する構成が提案されている。オプティカルフ
ローは、得られた画像内における同一点の移動として算
出され、ベクトルとして表される。先行車が自車と同一
方向、同一速度で走行している場合には、先行車のオプ
ティカルフローは全て点となり、それ以外の部分では線
となるので、先行車を認識することができる。また、先
行車の自車に対する位置は、オプティカルフロー画面の
どの位置に点の部分が存在するかによって検出すること
ができる。
オカメラを用いて撮影した画像よりオプティカルフロー
を算出し、このオプティカルフローから先行車との相対
速度を算出する構成が提案されている。オプティカルフ
ローは、得られた画像内における同一点の移動として算
出され、ベクトルとして表される。先行車が自車と同一
方向、同一速度で走行している場合には、先行車のオプ
ティカルフローは全て点となり、それ以外の部分では線
となるので、先行車を認識することができる。また、先
行車の自車に対する位置は、オプティカルフロー画面の
どの位置に点の部分が存在するかによって検出すること
ができる。
【０００４】一方、先行車と自車とが同一速度で走行し
ていない、すなわち相対速度がゼロでない場合には、先
行車のオプティカルフローはある長さのベクトルにな
り、そのベクトルの長さは相対速度に依存することにな
る。
ていない、すなわち相対速度がゼロでない場合には、先
行車のオプティカルフローはある長さのベクトルにな
り、そのベクトルの長さは相対速度に依存することにな
る。
【０００５】
【発明が解決しようとする課題】しかしながら、このよ
うに周囲の移動物体と自車が同一方向に移動しているの
ではなく、異なる方向に移動している場合には種々の問
題が生じることになる。オプティカルフローは、ある時
間間隔で得られた複数の画像間における同一点の移動と
して得られるので、先行車等の移動物体自身が方向変更
した場合のみならず、自車の方向が変化した場合でもオ
プティカルフローとして検出されてしまう。従って、単
に検出されたオプティカルフローから移動物体を認識
し、相対速度等を算出する構成では、移動物体自身の移
動によるものなのか、あるいは自車の運動によるものな
のかが区別できず、誤検出となる可能性があった。
うに周囲の移動物体と自車が同一方向に移動しているの
ではなく、異なる方向に移動している場合には種々の問
題が生じることになる。オプティカルフローは、ある時
間間隔で得られた複数の画像間における同一点の移動と
して得られるので、先行車等の移動物体自身が方向変更
した場合のみならず、自車の方向が変化した場合でもオ
プティカルフローとして検出されてしまう。従って、単
に検出されたオプティカルフローから移動物体を認識
し、相対速度等を算出する構成では、移動物体自身の移
動によるものなのか、あるいは自車の運動によるものな
のかが区別できず、誤検出となる可能性があった。
【０００６】本発明は上記従来技術の有する課題に鑑み
なされたものであり、その目的は自車が直進走行してい
る場合のみならず、直進走行していない状況においても
得られたオプティカルフローから車両周囲の移動物体を
確実に認識できる移動体認識装置を提供することにあ
る。
なされたものであり、その目的は自車が直進走行してい
る場合のみならず、直進走行していない状況においても
得られたオプティカルフローから車両周囲の移動物体を
確実に認識できる移動体認識装置を提供することにあ
る。
【０００７】
【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の移動体認識装置は、少なくとも車両
前方を撮影する撮像手段と、自車両の運動方向データを
検出する運動方向検出手段と、得られた画像からオプテ
ィカルフローを算出するオプティカルフロー検出手段
と、算出されたオプティカルフローを複数の群に分類す
る分類手段と、前記運動方向データと、撮影した画像に
おける画像位置と距離との対応関係から得られる前記オ
プティカルフロー群と自車両との距離と、に基づいて自
車両の運動によって生じる見かけのオプティカルフロー
を得、これを前記分類手段で分類されたオプティカルフ
ロー群から差し引き補正して移動体を抽出する補正手段
と、を有することを特徴とする。
に、請求項１記載の移動体認識装置は、少なくとも車両
前方を撮影する撮像手段と、自車両の運動方向データを
検出する運動方向検出手段と、得られた画像からオプテ
ィカルフローを算出するオプティカルフロー検出手段
と、算出されたオプティカルフローを複数の群に分類す
る分類手段と、前記運動方向データと、撮影した画像に
おける画像位置と距離との対応関係から得られる前記オ
プティカルフロー群と自車両との距離と、に基づいて自
車両の運動によって生じる見かけのオプティカルフロー
を得、これを前記分類手段で分類されたオプティカルフ
ロー群から差し引き補正して移動体を抽出する補正手段
と、を有することを特徴とする。
【０００８】また、上記目的を達成するために、請求項
２記載の移動体認識装置は、少なくとも車両前方を撮影
する撮像手段と、自車両の運動方向データを検出する運
動方向検出手段と、得られた画像からオプティカルフロ
ーを算出するオプティカルフロー検出手段と、算出され
たオプティカルフローを複数の群に分類する分類手段
と、分類されたオプティカルフロー群を前記運動方向デ
ータに基づき補正し、移動物体を抽出する補正手段とを
有し、前記分類手段は、算出されたオプティカルフロー
の大きさ、方向、大きさの差の微分値、方向の差の微分
値に基づき変化が連続的な複数のオプティカルフローを
同一群として分類することを特徴とする。
２記載の移動体認識装置は、少なくとも車両前方を撮影
する撮像手段と、自車両の運動方向データを検出する運
動方向検出手段と、得られた画像からオプティカルフロ
ーを算出するオプティカルフロー検出手段と、算出され
たオプティカルフローを複数の群に分類する分類手段
と、分類されたオプティカルフロー群を前記運動方向デ
ータに基づき補正し、移動物体を抽出する補正手段とを
有し、前記分類手段は、算出されたオプティカルフロー
の大きさ、方向、大きさの差の微分値、方向の差の微分
値に基づき変化が連続的な複数のオプティカルフローを
同一群として分類することを特徴とする。
【０００９】
【作用】画像から得られたオプティカルフローには、移
動物体や背景のオプテイカルフローが含まれているが、
本発明においては、まずこれらを複数群に分類する。分
類の手法としては、変化が連続的なオプティカルフロー
ベクトルを同一群に属するものとして分類する。なお、
変化が連続的か否かは、オプティカルフローベクトルの
大きさ、方向、大きさの差の絶対値、方向の差の絶対値
に基づき算出できる。そして、分類されたオプティカル
フロー群を自車の運動方向に基づき補正し、自車の運動
がオプテイカルフローに与える影響を補償して移動物体
を抽出する。
動物体や背景のオプテイカルフローが含まれているが、
本発明においては、まずこれらを複数群に分類する。分
類の手法としては、変化が連続的なオプティカルフロー
ベクトルを同一群に属するものとして分類する。なお、
変化が連続的か否かは、オプティカルフローベクトルの
大きさ、方向、大きさの差の絶対値、方向の差の絶対値
に基づき算出できる。そして、分類されたオプティカル
フロー群を自車の運動方向に基づき補正し、自車の運動
がオプテイカルフローに与える影響を補償して移動物体
を抽出する。
【００１０】
【実施例】以下、図面を用いながら本発明に係る移動体
認識装置の好適な実施例を説明する。
認識装置の好適な実施例を説明する。
【００１１】図１には本実施例の構成ブロック図が示さ
れている。車両の所定位置にはＣＣＤカメラが設けら
れ、路面を含む車両前方領域を撮影する。先行車が存在
する場合には、この先行車が背景や路面の白線とともに
画像として得られることになる。
れている。車両の所定位置にはＣＣＤカメラが設けら
れ、路面を含む車両前方領域を撮影する。先行車が存在
する場合には、この先行車が背景や路面の白線とともに
画像として得られることになる。
【００１２】ＣＣＤカメラ１０にて得られた画像はフレ
ームメモリ１２，１４，１６に格納される。フレームメ
モリ１２，１４，１６には順次異なる時間の画像が格納
され、フレームメモリ１２には最新の画像が格納され、
フレームメモリ１６には最も古い画像が格納される。フ
レームメモリ１２，１４，１６に格納された画像はオプ
テイカルフロー検出装置１８に供給され、異なる時間の
画像からオプテイカルフローが算出される。図２にはオ
プティカルフロー算出の一例が示されている。図２
（ａ）はフレームメモリ１２に格納された最新の画像で
あり、図２（ｂ）はフレームメモリ１４に格納された前
回得られた画像である。画像から所定部分を抽出し（図
２では車両の前部の一部）、各画像における位置から移
動ベクトルが算出される。この移動ベクトルは、図２
（ａ）の画像が得られた時間ｔ0 と図２（ｂ）の画像が
得られた時間ｔ1 の時間間隔（ｔ0 −ｔ1 ）において車
両が移動したことを示すオプティカルフローである。一
方、フレームメモリ１２，１４，１６からの画像は白線
認識装置２０に供給される。白線認識装置２０は、画像
内の白線をテンプレートとのマッチングを利用して抽出
し、この白線位置から自車の走路における相対位置を算
出する。また、車速センサ２８及びヨーレートセンサ３
０では、それぞれ車速及びヨーレートが検出される。そ
して、オプティカルフロー検出装置１８で検出されたオ
プティカルフロー、白線認識装置２０で検出された自車
の走路に対する相対位置、及び距離センサ２２，車速セ
ンサ２８，ヨーレートセンサ３０からの検出信号は接近
車両認識装置２４に供給される。接近車両認識装置２４
では、入力されたオプティカルフローにラベルを付すこ
とにより複数群に分類し、さらに車速とヨーレートから
推定される自車の運動方向に基づき補正して移動物体の
オプティカルフローのみを抽出する。そして、走行路に
対する自車の位置とオプティカルフローから相対速度を
算出し、距離センサ２２からの距離信号に基づき、危険
と判断した場合に警報装置２６を作動させる構成であ
る。
ームメモリ１２，１４，１６に格納される。フレームメ
モリ１２，１４，１６には順次異なる時間の画像が格納
され、フレームメモリ１２には最新の画像が格納され、
フレームメモリ１６には最も古い画像が格納される。フ
レームメモリ１２，１４，１６に格納された画像はオプ
テイカルフロー検出装置１８に供給され、異なる時間の
画像からオプテイカルフローが算出される。図２にはオ
プティカルフロー算出の一例が示されている。図２
（ａ）はフレームメモリ１２に格納された最新の画像で
あり、図２（ｂ）はフレームメモリ１４に格納された前
回得られた画像である。画像から所定部分を抽出し（図
２では車両の前部の一部）、各画像における位置から移
動ベクトルが算出される。この移動ベクトルは、図２
（ａ）の画像が得られた時間ｔ0 と図２（ｂ）の画像が
得られた時間ｔ1 の時間間隔（ｔ0 −ｔ1 ）において車
両が移動したことを示すオプティカルフローである。一
方、フレームメモリ１２，１４，１６からの画像は白線
認識装置２０に供給される。白線認識装置２０は、画像
内の白線をテンプレートとのマッチングを利用して抽出
し、この白線位置から自車の走路における相対位置を算
出する。また、車速センサ２８及びヨーレートセンサ３
０では、それぞれ車速及びヨーレートが検出される。そ
して、オプティカルフロー検出装置１８で検出されたオ
プティカルフロー、白線認識装置２０で検出された自車
の走路に対する相対位置、及び距離センサ２２，車速セ
ンサ２８，ヨーレートセンサ３０からの検出信号は接近
車両認識装置２４に供給される。接近車両認識装置２４
では、入力されたオプティカルフローにラベルを付すこ
とにより複数群に分類し、さらに車速とヨーレートから
推定される自車の運動方向に基づき補正して移動物体の
オプティカルフローのみを抽出する。そして、走行路に
対する自車の位置とオプティカルフローから相対速度を
算出し、距離センサ２２からの距離信号に基づき、危険
と判断した場合に警報装置２６を作動させる構成であ
る。
【００１３】以下、図３のフローチャートを用いて本実
施例の動作をより詳細に説明する。まず、ＣＣＤカメラ
１０からの画像を取り込み、フレームメモリ１２，１
４，１６に順次格納する（Ｓ１０１）。そして、これら
の画像は白線認識装置２０に供給され、テンプレートと
のマッチングにより白線が抽出される（Ｓ１０２）。予
め走路を平面であると近似して得られた自車と白線位置
との関係を求めておき、得られた白線の位置から走路に
おけ自車の位置が算出される（Ｓ１０３）。
施例の動作をより詳細に説明する。まず、ＣＣＤカメラ
１０からの画像を取り込み、フレームメモリ１２，１
４，１６に順次格納する（Ｓ１０１）。そして、これら
の画像は白線認識装置２０に供給され、テンプレートと
のマッチングにより白線が抽出される（Ｓ１０２）。予
め走路を平面であると近似して得られた自車と白線位置
との関係を求めておき、得られた白線の位置から走路に
おけ自車の位置が算出される（Ｓ１０３）。
【００１４】次に、操舵角センサ３０にて検出された操
舵角を取り込み（Ｓ１０４）、さらに車速センサ２８に
て検出された車速を取り込む（Ｓ１０５）。これら操舵
角データと車速データに基づき自車の運動方向が決定さ
れる（Ｓ１０６）。
舵角を取り込み（Ｓ１０４）、さらに車速センサ２８に
て検出された車速を取り込む（Ｓ１０５）。これら操舵
角データと車速データに基づき自車の運動方向が決定さ
れる（Ｓ１０６）。
【００１５】そして、フレームメモリ１２とフレームメ
モリ１４に格納された画像がオプティカルフロー検出装
置１８に供給され、オプティカルフローが算出される
（Ｓ１０７）。なお、フレームメモリ１２とフレームメ
モリ１４の画像の時間差は余り大きくないので、得られ
るオプティカルフローは高速移動物体に対応することに
なる。また、得られたオプテイカルフローには移動物体
のオプテイカルフロー、背景部分のオプティカルフロー
が含まれており、また、自車が直線からずれた運動を行
う場合には、自車の運動に伴うオプティカルフローが含
まれることになる。
モリ１４に格納された画像がオプティカルフロー検出装
置１８に供給され、オプティカルフローが算出される
（Ｓ１０７）。なお、フレームメモリ１２とフレームメ
モリ１４の画像の時間差は余り大きくないので、得られ
るオプティカルフローは高速移動物体に対応することに
なる。また、得られたオプテイカルフローには移動物体
のオプテイカルフロー、背景部分のオプティカルフロー
が含まれており、また、自車が直線からずれた運動を行
う場合には、自車の運動に伴うオプティカルフローが含
まれることになる。
【００１６】このようにして得られたオプティカルフロ
ーは接近車両認識装置２４に供給され、各オプティカル
フローにラベルを付すことにより複数群に分類する（Ｓ
１０８）。分類の方法としては、各オプティカルフロー
の大きさ、方向、及び隣接するオプティカルフロー間の
大きさの差の微分値、方向の差の微分値を算出し、これ
らと所定のしきい値とを比較して変化が連続的か否かを
判定し、変化が連続的と判定されたオプティカルフロー
に対しては同一ラベルを付して分類する。移動物体、背
景部分のオプティカルフローはそれぞれ同じような変化
を示すので、このようにオプティカルフローベクトルの
大きさや方向、及び大きさの差の微分値、方向の差の微
分値により変化が連続する群毎にラベリングすることに
より、移動物体と背景を分離することができる。
ーは接近車両認識装置２４に供給され、各オプティカル
フローにラベルを付すことにより複数群に分類する（Ｓ
１０８）。分類の方法としては、各オプティカルフロー
の大きさ、方向、及び隣接するオプティカルフロー間の
大きさの差の微分値、方向の差の微分値を算出し、これ
らと所定のしきい値とを比較して変化が連続的か否かを
判定し、変化が連続的と判定されたオプティカルフロー
に対しては同一ラベルを付して分類する。移動物体、背
景部分のオプティカルフローはそれぞれ同じような変化
を示すので、このようにオプティカルフローベクトルの
大きさや方向、及び大きさの差の微分値、方向の差の微
分値により変化が連続する群毎にラベリングすることに
より、移動物体と背景を分離することができる。
【００１７】そして、このようにして分類されたオプテ
ィカルフロー群に対して、Ｓ１０６で得られた運動方向
に基づき補正が行われる（Ｓ１０９）。補正は自車が直
進走行している場合と直進走行しておらず旋回走行して
いる場合で以下のように行われる。
ィカルフロー群に対して、Ｓ１０６で得られた運動方向
に基づき補正が行われる（Ｓ１０９）。補正は自車が直
進走行している場合と直進走行しておらず旋回走行して
いる場合で以下のように行われる。
【００１８】自車が直進走行している場合 予めＣＣＤカメラの設定位置に応じて測定してある無限
遠点（ＲＯＭに格納しておく）に向いているオプティカ
ルフローのうち、背景となる領域に対応するラベルを有
するオプティカルフロー群を削除する。この場合、削除
されずに残ったラベルのオプティカルフロー群が移動物
体となる。なお、この直進走行する場合は、ヨーレート
がゼロの場合、すなわち後述する旋回走行においてヨー
レートがゼロの極限の場合として扱うことができる。
遠点（ＲＯＭに格納しておく）に向いているオプティカ
ルフローのうち、背景となる領域に対応するラベルを有
するオプティカルフロー群を削除する。この場合、削除
されずに残ったラベルのオプティカルフロー群が移動物
体となる。なお、この直進走行する場合は、ヨーレート
がゼロの場合、すなわち後述する旋回走行においてヨー
レートがゼロの極限の場合として扱うことができる。
【００１９】自車が旋回走行している場合 予め測定してある画像位置と距離との対応関係（ＲＯＭ
に格納しておく）から得られる各オプティカルフロー群
と自車との距離、自車速、及びヨーレートから自車の運
動方向に基づき生じるであろうオプティカルフロー（見
かけのオプティカルフロー）を算出し、各オプティカル
フローからベクトル減算する。なお、白線認識装置２０
からの白線位置情報は各オプティカルフローと自車との
距離を補正するために用いることができる。ベクトル減
算して得られたオプティカルフロー群は、自車の運動方
向による影響が除去されているので、前述の直進走行し
ている場合と同様に扱うことができ、移動物体が抽出さ
れる。
に格納しておく）から得られる各オプティカルフロー群
と自車との距離、自車速、及びヨーレートから自車の運
動方向に基づき生じるであろうオプティカルフロー（見
かけのオプティカルフロー）を算出し、各オプティカル
フローからベクトル減算する。なお、白線認識装置２０
からの白線位置情報は各オプティカルフローと自車との
距離を補正するために用いることができる。ベクトル減
算して得られたオプティカルフロー群は、自車の運動方
向による影響が除去されているので、前述の直進走行し
ている場合と同様に扱うことができ、移動物体が抽出さ
れる。
【００２０】なお、移動物体と自車との相対速度は、Ｓ
１０３で得られた走行路に対する自車の位置と抽出され
たオプティカルフローに基づき算出される。すなわち、
現在の自車位置からみた白線方向と同一方向を向くオプ
テイカルフローが自車と同一方向に走行する移動物体の
相対速度に対応する。従って、白線方向に向いたオプテ
ィカルフローを抽出し、その長さを計測することによ
り、相対速度が算出される。
１０３で得られた走行路に対する自車の位置と抽出され
たオプティカルフローに基づき算出される。すなわち、
現在の自車位置からみた白線方向と同一方向を向くオプ
テイカルフローが自車と同一方向に走行する移動物体の
相対速度に対応する。従って、白線方向に向いたオプテ
ィカルフローを抽出し、その長さを計測することによ
り、相対速度が算出される。
【００２１】一方、フレームメモリ１２とフレームメモ
リ１６に格納された画像に対しても前述した処理と同様
の処理が行われる。すなわち、オプティカルフロー検出
装置１８にて検出されたオプティカルフローをラベリン
グにより複数群に分割し、さらに自車の運動方向により
補正して移動物体を認識する。なお、フレームメモリ１
２の画像の時間ｔ0 とフレームメモリ１６に格納された
画像の時間ｔ2 の時間間隔（ｔ0 −ｔ2 ）はｔ0 −ｔ1
に比べて大きいので、より低速の移動物体のオプテイカ
ルフローも抽出できることになる（Ｓ１１１−Ｓ１１
４）。
リ１６に格納された画像に対しても前述した処理と同様
の処理が行われる。すなわち、オプティカルフロー検出
装置１８にて検出されたオプティカルフローをラベリン
グにより複数群に分割し、さらに自車の運動方向により
補正して移動物体を認識する。なお、フレームメモリ１
２の画像の時間ｔ0 とフレームメモリ１６に格納された
画像の時間ｔ2 の時間間隔（ｔ0 −ｔ2 ）はｔ0 −ｔ1
に比べて大きいので、より低速の移動物体のオプテイカ
ルフローも抽出できることになる（Ｓ１１１−Ｓ１１
４）。
【００２２】このようにして、高速及び低速の移動物体
が検出され、さらにその相対速度が算出されると、距離
せンサ２２から得られる距離データに基づき、この移動
物体が接近車両で危険な状態にあるか否かが判定され
る。大きな相対速度で接近している場合や、接近車両が
近距離に存在するにもかかわらず運転者がドアを開けよ
うとした場合には、接近車両認識装置２４は警報装置２
６を作動させて運転者に注意を促す（Ｓ１１５）。
が検出され、さらにその相対速度が算出されると、距離
せンサ２２から得られる距離データに基づき、この移動
物体が接近車両で危険な状態にあるか否かが判定され
る。大きな相対速度で接近している場合や、接近車両が
近距離に存在するにもかかわらず運転者がドアを開けよ
うとした場合には、接近車両認識装置２４は警報装置２
６を作動させて運転者に注意を促す（Ｓ１１５）。
【００２３】なお、本実施例のＣＣＤカメラ１０は前方
監視の場合にはルームミラーに取り付けることができ、
前側方監視用にはヘッドランプに内蔵することができ、
後方監視用にはサイドミラーに取り付けることができ
る。
監視の場合にはルームミラーに取り付けることができ、
前側方監視用にはヘッドランプに内蔵することができ、
後方監視用にはサイドミラーに取り付けることができ
る。
【００２４】また、本実施例では距離センサを別個に設
けているが、もちろん、ＣＣＤカメラを複数個設け、得
られた画像より測距を行うこともできる。
けているが、もちろん、ＣＣＤカメラを複数個設け、得
られた画像より測距を行うこともできる。
【００２５】
【発明の効果】以上説明したように、本発明の移動物体
認識装置によれば、得られたオプテイカルフローを自車
の運動方向により補正し、自車の運動に伴って生じるオ
プティカルフローを補償するので、直進走行している場
合のみならず、旋回運動している場合にもオプティカル
フローから確実に移動物体のみを認識することができ
る。
認識装置によれば、得られたオプテイカルフローを自車
の運動方向により補正し、自車の運動に伴って生じるオ
プティカルフローを補償するので、直進走行している場
合のみならず、旋回運動している場合にもオプティカル
フローから確実に移動物体のみを認識することができ
る。
【図１】本発明の一実施例の構成ブロック図である。
【図２】同実施例のオプティカルフロー算出説明図であ
る。
る。
【図３】同実施例の処理フローチャートである。
１０ ＣＣＤカメラ １２，１４，１６ フレームメモリ １８ オプティカルフロー検出装置 ２０ 白線認識装置 ２２ 距離センサ ２４ 接近車両認識装置 ２６ 警報装置 ２８ 車速センサ ３０ ヨーレートセンサ
フロントページの続き (56)参考文献 特開 平２−241855（ＪＰ，Ａ) 特開 昭64−48181（ＪＰ，Ａ) 特開 平４−148283（ＪＰ，Ａ) 特開 平３−268073（ＪＰ，Ａ) 特開 平４−106673（ＪＰ，Ａ) 加井謙二郎、外５名，”画像ゆれ補正 装置について”，放送現業技術，テレビ ジョン学会技術報告，昭和62年５月，Ｖ ＯＬ．11，Ｎｏ．３，ｐ．43−48 (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/20 B60R 21/00 H04N 7/18 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (2)
- 【請求項１】 車両に搭載され、少なくとも車両前方を
撮影した画像よりオプティカルフローを算出することに
より移動体を認識する移動体認識装置において、 少なくとも車両前方を撮影する撮像手段と、 自車両の運動方向データを検出する運動方向検出手段
と、 得られた画像からオプティカルフローを算出するオプテ
ィカルフロー検出手段と、 算出されたオプティカルフローを複数の群に分類する分
類手段と、前記運動方向データと、撮影した画像における画像位置
と距離との対応関係から得られる前記オプティカルフロ
ー群と自車両との距離と、に基づいて自車両の運動によ
って生じる見かけのオプティカルフローを得、これを前
記分類手段で 分類されたオプティカルフロー群から差し
引き補正して移動体を抽出する補正手段と、 を 有することを特徴とする移動体認識装置。 - 【請求項２】 少なくとも車両前方を撮影した画像より
オプティカルフローを算出することにより移動体を認識
する移動体認識装置において、 少なくとも車両前方を撮影する撮像手段と、 自車両の運動方向データを検出する運動方向検出手段
と、 得られた画像からオプティカルフローを算出するオプテ
ィカルフロー検出手段と、 算出されたオプティカルフローを複数の群に分類する分
類手段と、 分類されたオプティカルフロー群を前記運動方向データ
に基づき補正し、移動物体を抽出する補正手段と、 を有し、 前記分類手段は、算出されたオプティカルフローの大き
さ、方向、大きさの差の微分値、方向の差の微分値に基
づき変化が連続的な複数のオプティカルフローを同一群
として分類することを特徴とする移動体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07226993A JP3239521B2 (ja) | 1993-03-30 | 1993-03-30 | 移動体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07226993A JP3239521B2 (ja) | 1993-03-30 | 1993-03-30 | 移動体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06282655A JPH06282655A (ja) | 1994-10-07 |
| JP3239521B2 true JP3239521B2 (ja) | 2001-12-17 |
Family
ID=13484402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07226993A Expired - Fee Related JP3239521B2 (ja) | 1993-03-30 | 1993-03-30 | 移動体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3239521B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7190282B2 (en) | 2004-03-26 | 2007-03-13 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Nose-view monitoring apparatus |
| US8964034B2 (en) | 2009-08-04 | 2015-02-24 | Aisin Seiki Kabushiki Kaisha | Vehicle surroundings awareness support device |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3635591B2 (ja) * | 1995-11-17 | 2005-04-06 | 矢崎総業株式会社 | 車両周辺監視装置 |
| JP3841323B2 (ja) * | 1997-07-07 | 2006-11-01 | 矢崎総業株式会社 | 車両用後側方監視方法及び車両用後側方監視装置 |
| KR100466458B1 (ko) * | 1999-09-20 | 2005-01-14 | 마츠시타 덴끼 산교 가부시키가이샤 | 운전지원장치 |
| JP3729005B2 (ja) * | 1999-12-24 | 2005-12-21 | 三菱自動車工業株式会社 | 車両の後方監視装置 |
| US7266220B2 (en) | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| JP3776094B2 (ja) * | 2002-05-09 | 2006-05-17 | 松下電器産業株式会社 | 監視装置、監視方法および監視用プログラム |
| JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| JP4657765B2 (ja) | 2005-03-09 | 2011-03-23 | 三菱自動車工業株式会社 | ノーズビューシステム |
| JP4809019B2 (ja) * | 2005-08-31 | 2011-11-02 | クラリオン株式会社 | 車両用障害物検出装置 |
| JP4367475B2 (ja) | 2006-10-06 | 2009-11-18 | アイシン精機株式会社 | 移動物体認識装置、移動物体認識方法及びコンピュータプログラム |
| JP2008172441A (ja) | 2007-01-10 | 2008-07-24 | Omron Corp | 検出装置および方法、並びに、プログラム |
| JP4967666B2 (ja) | 2007-01-10 | 2012-07-04 | オムロン株式会社 | 画像処理装置および方法、並びに、プログラム |
| JP4919036B2 (ja) | 2007-01-30 | 2012-04-18 | アイシン精機株式会社 | 移動物体認識装置 |
| JP2008203992A (ja) | 2007-02-16 | 2008-09-04 | Omron Corp | 検出装置および方法、並びに、プログラム |
| JP5369921B2 (ja) * | 2008-07-08 | 2013-12-18 | 日産自動車株式会社 | 物体検出装置及び物体検出方法 |
| JP5004923B2 (ja) * | 2008-10-29 | 2012-08-22 | 本田技研工業株式会社 | 車両の運転支援装置 |
| JP5379543B2 (ja) * | 2009-04-09 | 2013-12-25 | 日立オートモティブシステムズ株式会社 | 自動車の外界認識装置 |
| JP5612915B2 (ja) * | 2010-06-18 | 2014-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 移動体検出装置及び移動体検出方法 |
| KR101046935B1 (ko) * | 2010-07-05 | 2011-07-07 | (주)베라시스 | 차량의 주행속도 검출장치 및 그 방법 |
| EP2701093B1 (en) * | 2012-08-20 | 2016-06-22 | Honda Research Institute Europe GmbH | Sensing system and method for detecting moving objects |
| JP5973843B2 (ja) * | 2012-08-24 | 2016-08-23 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
| KR102010782B1 (ko) * | 2012-09-18 | 2019-08-14 | 삼성전자주식회사 | 멀티미디어 장치의 인식 범위로 컨트롤러의 위치를 보정하도록 유도하는 방법, 이를 위한 멀티미디어 장치 및 타겟 추적 장치 |
| JP6174884B2 (ja) * | 2013-03-28 | 2017-08-02 | 株式会社Ｓｕｂａｒｕ | 車外環境認識装置および車外環境認識方法 |
| JP6201809B2 (ja) * | 2014-02-25 | 2017-09-27 | トヨタ自動車株式会社 | 周辺監視装置及び方法 |
| WO2017042903A1 (ja) * | 2015-09-09 | 2017-03-16 | 日立マクセル株式会社 | 車両用映像処理装置 |
| JP2017102832A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社Ｓｏｋｅｎ | 車両ピッチ角推定装置 |
| JP2018013913A (ja) * | 2016-07-20 | 2018-01-25 | 沖電気工業株式会社 | 行動認識装置、行動認識方法、学習方法、およびプログラム |
| WO2018159467A1 (ja) | 2017-02-28 | 2018-09-07 | Ｎｅｃソリューションイノベータ株式会社 | 移動体検知装置、移動体検知方法、及びコンピュータ読み取り可能な記録媒体 |
| JP7177609B2 (ja) * | 2018-06-13 | 2022-11-24 | 株式会社デンソーテン | 画像認識装置、画像認識方法、機械学習モデル提供装置、機械学習モデル提供方法、機械学習モデル生成方法、および機械学習モデル装置 |
-
1993
- 1993-03-30 JP JP07226993A patent/JP3239521B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 加井謙二郎、外５名，"画像ゆれ補正装置について"，放送現業技術，テレビジョン学会技術報告，昭和６２年５月，ＶＯＬ．１１，Ｎｏ．３，ｐ．４３−４８ |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7190282B2 (en) | 2004-03-26 | 2007-03-13 | Mitsubishi Jidosha Kogyo Kabushiki Kaisha | Nose-view monitoring apparatus |
| US8964034B2 (en) | 2009-08-04 | 2015-02-24 | Aisin Seiki Kabushiki Kaisha | Vehicle surroundings awareness support device |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06282655A (ja) | 1994-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3239521B2 (ja) | 移動体認識装置 | |
| US6327536B1 (en) | Vehicle environment monitoring system | |
| US6531959B1 (en) | Position detecting device | |
| US6789015B2 (en) | Vehicle environment monitoring system | |
| JP3246243B2 (ja) | 車線逸脱警報装置 | |
| JP3293441B2 (ja) | 撮像装置 | |
| JP3011566B2 (ja) | 接近車監視装置 | |
| JP2003162798A (ja) | 障害物監視装置及びプログラム | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| US6636257B1 (en) | Mobile body recognizing apparatus and motor vehicle monitoring apparatus | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP3868915B2 (ja) | 前方監視装置及びその方法 | |
| JP4887537B2 (ja) | 車両周辺監視装置 | |
| JP3916930B2 (ja) | 進入警報装置 | |
| JPH07302325A (ja) | 車載用画像認識装置 | |
| JP3729005B2 (ja) | 車両の後方監視装置 | |
| JP3260503B2 (ja) | 走路認識装置および走路認識方法 | |
| US20230098440A1 (en) | Imaging device, imaging system, and imaging method | |
| JP2001023092A (ja) | 車両周辺領域監視装置 | |
| JP3226699B2 (ja) | 車両用周辺監視装置 | |
| JP3942289B2 (ja) | 車両監視装置 | |
| JP2000168442A (ja) | 車両の後方監視装置 | |
| JP3961269B2 (ja) | 障害物警報装置 | |
| JP4854619B2 (ja) | 障害物認識装置 | |
| JP2000020686A (ja) | 車両用後側方監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |