JP4692081B2 - 車載物体検出装置、および物体検出方法 - Google Patents

車載物体検出装置、および物体検出方法 Download PDF

Info

Publication number
JP4692081B2
JP4692081B2 JP2005161442A JP2005161442A JP4692081B2 JP 4692081 B2 JP4692081 B2 JP 4692081B2 JP 2005161442 A JP2005161442 A JP 2005161442A JP 2005161442 A JP2005161442 A JP 2005161442A JP 4692081 B2 JP4692081 B2 JP 4692081B2
Authority
JP
Japan
Prior art keywords
edge
edges
vehicle
frames
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005161442A
Other languages
English (en)
Other versions
JP2006338273A (ja
Inventor
泰仁 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2005161442A priority Critical patent/JP4692081B2/ja
Publication of JP2006338273A publication Critical patent/JP2006338273A/ja
Application granted granted Critical
Publication of JP4692081B2 publication Critical patent/JP4692081B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

本発明は、車両に搭載され、物体を検出することができる車載物体検出装置、および物体検出方法に関する。
次のような歩行者検出装置が特許文献1によって知られている。この歩行者検出装置では、撮像した画像内から移動ベクトルを算出し、移動ベクトルの移動方向が横断方向のものを歩行者として検出する。
特開平7−200986号公報
しかしながら、従来の歩行者検出装置においては、移動ベクトルの移動方向が横断方向のものを歩行者として検出しているため、横断方向の移動ベクトルが歩行者以外の物体から検出された場合であっても、その物体を歩行者として誤検出してしまう可能性があるという問題が生じていた。
本発明は、撮像手段によって複数フレーム撮像された画像の各々に存在する物体のエッジを抽出し、抽出したエッジの中から、複数フレーム間で動きのあるエッジのみを抽出して、エッジの複数フレーム間での移動パターンを検出し、検出したエッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、画像内に含まれる物体の種別を判定することを特徴とする。
本発明によれば、検出したエッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、画像内に含まれる物体の種別を判定するようにした。これによって、画像内に存在する物体の種別を正確に判定することができ、誤検出を防ぐことができる。
図1は、本実施の形態における車載物体検出装置の一実施の形態の構成を示すブロック図である。車載物体検出装置100は車両に搭載され、車両前方を撮像するカメラ101と、カメラ101で撮像した画像を格納する画像メモリ102と、後述する種々の物体の動作パターンをモデル化したパターンモデルを記憶するパターンモデルメモリ103と、CPU、メモリ、およびその他周辺回路を含み、後述する画像処理を実行する制御装置104とを備えている。
カメラ101は、例えばCCDやCMOSなどの撮像素子を有した高速カメラであり、自車両の走行中に連続的に車両前方を撮像し、各フレームごとに画像メモリ102に出力する。
パターンモデルメモリ103には、上述したように、種々の物体の動作パターンをモデル化したパターンモデルが記憶されている。このパターンモデルは、種々の物体で特徴的な動きをする部位の速度変化をモデル化したデータであり、物体の特徴的な動きに着目して物体の種別を識別可能にするものである。
例えば、歩行者を識別するために用いられる歩行者のパターンモデルとしては、歩行者の動きの中で特徴的な動きをする踵に着目し、踵の動きに伴う速度変化がモデル化されている。図2は、歩行者のパターンモデルの具体例を示す図である。図2(a)に示すように、歩行者の歩行時の踵の動きは、大きく分類すると「1.接地」、「2.踵上げ」、「3.膝を曲げる」、「4.けりだし」の4つの動作に分類される。
このように4つの動作からなる歩行者の踵の動きに伴って、歩行者の踵の縦方向の位置は、図2(b)のように時系列変化する。すなわち、「1.接地」における縦位置を0とすると、「2.踵上げ」に相当する期間では踵の縦位置はゆるやかに増加し、「3.膝を曲げる」に相当する期間では急激に増加する。そして、「4.けりだし」に相当する期間では、次の動作サイクルの「1.接地」に向けて踵の縦位置は減少する。
そして、この図2(b)に示した踵の縦位置の時間変化を、さらに時間で微分することによって、図2(c)に示すように踵の縦方向の速度変化を算出することができる。この踵の縦方向の速度変化のデータを、歩行者のパターンモデルとしてパターンモデル103に記憶しておく。なお、本実施の形態では、歩行者のパターンモデルについて説明したが、例えば自動車や二輪車など、その他の物体の特徴的な動きに基づくパターンモデルも同様にパターンモデルメモリ103に記憶されている。
制御装置104は、カメラ101で連続して撮像された各フレームからエッジを抽出し、各フレームにおける各エッジの移動速度を算出する。さらに各エッジのフレーム間での速度変化をエッジの移動パターンとして算出する。そして、算出した各エッジの速度変化と、上述したパターンモデルメモリ103に記憶されている各パターンモデルとのマッチング処理を行って、撮像画像内に存在する物体の種別を判定する。具体的には次のように処理する。
まず、カメラ101で撮像された画像を画像メモリ102から読み込み、読み込んだ撮像画像に対してエッジ抽出用のフィルタを適用してエッジ抽出処理を行う。そして、抽出した各エッジに対して、次に説明するように画像処理を行うことによって、各エッジの撮像画像における移動速度を算出する。すなわち、撮像画像内の各エッジに対して細線化処理を行ってエッジの中心を正確に求める。そして、細線化されたエッジを、エッジ幅が一定の幅、例えば3画素分の幅になるように膨張させる。このように抽出したエッジを正規化することによって、各エッジが均一な幅を持ったエッジ画像を得ることができる。
その後、制御装置104が有するメモリ内に、エッジ画像内の各画素に対応する画素カウンタを設定し、エッジ画像内にエッジが存在している画素に対応した画素カウンタのカウント値を更新する。画素カウンタとは、エッジ画像の各画素に対応したカウンタであり、エッジが存在する画素に対応する画素カウンタのカウント値に1を加算し、エッジが存在しない画素に対応する画素カウンタのカウント値は0で初期化する。このカウンタ値の更新処理を、カメラ101で連続的に撮像される毎フレームごとに行うことで、エッジ存在時間が長い画素はカウント値が大きく、エッジ存在時間が短い画素はカウント値が小さくなる。
そして、エッジ画像において、隣接するそれぞれの画素に対応する画素カウンタのカウント値の差分を取ることで各画素におけるエッジ存在時間の差を算出して、当該エッジが1画素移動するのに要する時間を得る。その後、この値の逆数を得ることで、各画素における画像空間内の移動速度を算出することができ、その移動方向を判定することによって、各画素の移動方向を算出することができる。この各画素における画像空間内の移動速度、および移動方向は、エッジ画像内の各画素に含まれるエッジの移動速度、および方向に相当する。
このように算出した各エッジの移動速度、および移動方向に基づいて、フレーム間で動きのある点、すなわち移動速度が算出されたエッジを含む画素を検出する。そして、その画素に含まれるエッジのフレーム間での動きをトラッキングして、そのエッジのフレーム間での速度変化を検出する。このように検出した任意のエッジのフレーム間での速度変化と、パターンモデルメモリ103に記憶された各物体のパターンモデルとをマッチング処理する。
具体的には、任意のエッジの速度変化と、各物体のパターンモデルとをマッチング処理して、いずれかのパターンモデルとの差異が、予め設定された閾値a未満であれば、そのエッジを含む画素内に存在する物体は、そのパターンモデルが示す物体であると判定する。なお、閾値aは、速度の時間分解能、また物体のs/n比などにより予め決定される。
上述した処理を、撮像画像内に存在する全てのフレーム間で動きのある点に対して行うことによって、撮像画像内に存在する全物体の種別を判定することができる。また、同一の種別の物体として判定され、フレーム間での速度変化が近似するエッジを有する複数の画素が隣接して存在する場合には、それらの画素に含まれるエッジは同一の物体を構成すると判定して、それらの画素をグルーピングすることによって、撮像画像内における個々の物体も検出することが可能となる。
図3は、本実施の形態における車載物体検出装置100の処理を示すフローチャートである。図3に示す処理は、車両のイグニションスイッチがオンされることによって、車載物体検出装置100の電源がオンされると起動するプログラムとして制御装置104により実行される。
ステップS10において、画像メモリ102からの撮像画像の読み込みを開始して、ステップS20へ進む。ステップS20では、撮像画像に対してエッジ抽出用のフィルタを適用してエッジ抽出処理を行ってエッジ画像を生成する。その後、ステップS30へ進み、上述したように画素カウンタのカウンタ値に基づいて、エッジ画像内の各画素に含まれるエッジの移動速度、および方向を算出する。その後、ステップS40へ進む。
ステップS40では、算出したエッジの各エッジの移動速度、および移動方向に基づいて、フレーム間で動きのあるエッジを検出し、そのエッジのフレーム間での動きをトラッキングして、そのエッジのフレーム間での速度変化を検出する。その後、ステップS50へ進み、検出した任意のエッジの速度変化の特性と、パターンモデルメモリ103に記憶された各物体のパターンモデルとをマッチング処理して、ステップS60へ進む。
ステップS60では、上述したように、マッチング結果に基づいて、当該エッジを含む画素内に存在する物体の種別を判定して、ステップS70へ進む。ステップS70では、上述したように、同一の種別の物体として判定され、フレーム間での速度変化が近似するエッジを有する複数の画素をグルーピングして、個々の物体を検出する。その後、ステップS80へ進む。
ステップS80では、自車両のイグニションスイッチがオフされたか否かを判断する。自車両のイグニションスイッチがオフされないと判断した場合には、ステップS20へ戻って処理を繰り返す。これに対して、オフされたと判断した場合には、処理を終了する。
以上説明した本実施の形態によれば、次のような作用効果を得ることができる。
(1)撮像画像内に存在する動きのあるエッジをトラッキングして、フレーム間でのエッジの速度変化を検出し、検出した速度変化と、それぞれの物体の特徴的な動きをモデル化したパターンモデルとをマッチング処理して物体の種別を判定するようにした。これによって、各物体は、それぞれの種別を判定可能な特徴的な動きをする部位が存在することを加味して、その特徴的な動きをパターンモデルとして記憶しておくことにより、精度高く物体の種別を判定することができるようになる。
(2)撮像画像からエッジを抽出し、抽出したエッジの移動速度、および移動方向を検出して、撮像画像内に存在する動きのあるエッジを含む画素を検出して処理対象とするようにした。これによって、撮像画像内に存在する動きのあるエッジを含む画素を正確に検出し、動きのないエッジ、すなわち物体種別を判定する必要のないエッジを処理対象から排除して、処理の負荷を低減することができる。
(3)同一の種別の物体として判定され、フレーム間での速度変化が近似するエッジを有する複数の画素が隣接して存在する場合には、それらの画素に含まれるエッジは同一の物体を構成すると判定して、それらの画素をグルーピングして物体を検出するようにした。これによって、画像内に存在する個々の物体を精度高く検出することができる。
―変形例―
なお、上述した実施の形態の車載物体検出装置は、以下のように変形することもできる。
(1)上述した実施の形態では、撮像画像からエッジを抽出し、抽出したエッジの移動速度を画素カウンタの値に基づいて算出して、フレーム間でのエッジの速度変化、すなわちエッジの移動パターンを算出するようにした。しかしこれに限定されず、例えば一般的な手法である勾配法やブロックマッチング法を用いてオプティカルフローを算出して、エッジの移動パターンを算出するようにしてもよい。
(2)上述した実施の形態では、歩行者、自動車、または二輪車などの物体の種別ごとにパターンモデルを有し、画像内に存在する物体の種別を判定する例について説明した。しかしこれに限定されず、各物体の種別をさらに細分化した詳細種別な種別ごとに特徴的な動きがある場合には、これらの詳細種別ごとにパターンモデルを設定し、詳細種別の判定も行うようにしてもよい。
例えば、歩行者をさらに細分化した幼児、一般成人、高齢者などでは、その歩き方が異なることから、これらの各詳細種別ごとに異なるパターンモデルを設定し、撮像画像内に存在する歩行者が、幼児、一般成人、または高齢者のいずれであるかを判定するようにしてもよい。
(3)上述した実施の形態では、例えば歩行者の場合には、図2(c)に示すように、踵の縦方向の速度変化をパターンモデルとするようにした。しかしこれに限定されず、例えば、図2(b)に示すように踵の縦位置の時間変化(位置変化)をパターンモデルとしてもよい。この場合には、エッジの移動パターンとして、撮像画像内に存在する動きのあるエッジを含む画素の画像上の位置変化を検出し、当該検出した位置変化とパターンモデルとをマッチング処理して、物体の種別を判定する。
なお、この場合には、例えば物体が自車両から遠方に存在する場合には、画像上での動きは小さく観測され、自車両近傍に存在する場合には、画像上での動きは大きく観測されることから、それぞれの場合の物体の画像上での位置変化は異なる。このように、自車両から物体までの距離に応じて、画像上での物体の位置変化は異なるため、これを無視してパターンモデルとのマッチング処理を行うと、正確に物体の種別を判定できない可能性がある。
よって、画像上での物体の位置変化と、パターンモデルとのマッチング処理を行う際に、画像上での物体の位置変化の特性を示すグラフにおける位置の最大値と、パターンモデルにおけるグラフの位置の最大値とが一致するように、画像上での物体の位置変化特性を補正して、補正後のグラフ形状とパターンモデルとをマッチングするようにする。これによって、物体の自車両からの距離に関わらず、正確に物体種別を判定することが可能となる。
例えば、図4に示すように、歩行者の踵の動きを表すパターンモデル4bと、遠方に存在する歩行者の踵の動き(画像上での位置変化の実測値)4aとをマッチングした場合、遠方に存在する歩行者の踵の位置変化4aは、パターンモデル4bとグラフ形状が異なることから、歩行者として正確に判定されない可能性がある。したがって、上述したように、パターンモデル4bの位置変化の最大値bと、歩行者の踵の位置変化aとが一致するように、歩行者の踵の位置変化に対してb/aをかけて、両者のグラフ形状を一致させた後にパターンマッチングを行うようにする。
(4)上述した実施の形態では、カメラ101で車両前方を撮像して、車両前方に存在する物体の種別を判定する例について説明したが、これに限定されず、カメラ101で車両後方を撮像して、車両後方に存在する物体の種別を判定するようにしてもよい。
(5)上述した実施の形態では、車載物体検出装置100を車両に搭載する例について説明したが、これに限定されず、その他の移動体に搭載してもよい。
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。
特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ101は撮像手段に、制御装置104は移動パターン検出手段、および判定手段に相当する。なお、以上の説明はあくまでも一例であり、発明を解釈する際、上記の実施形態の記載事項と特許請求の範囲の記載事項の対応関係に何ら限定も拘束もされない。
本実施の形態における車載物体検出装置の一実施の形態の構成を示すブロック図である。 歩行者のパターンモデルの具体例を示す図である。 本実施の形態における車載物体検出装置100の処理を示すフローチャート図である。 変形例(2)において物体の画像上の位置変化に基づいて物体を判定する場合の具体例を示す図である。
符号の説明
100 車載物体検出装置
101 カメラ
102 画像メモリ
103 パターンモデルメモリ
104 制御装置

Claims (4)

  1. 撮像手段によって複数フレーム撮像された画像の各々に存在する物体のエッジを抽出するエッジ抽出手段と、
    前記エッジ抽出手段で抽出したエッジの中から、複数フレーム間で動きのあるエッジのみを抽出して、エッジの複数フレーム間での移動パターンを検出する移動パターン検出手段と、
    前記移動パターン検出手段で検出した前記エッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、前記画像内に含まれる物体の種別を判定する判定手段とを備えることを特徴とする車載物体検出装置。
  2. 請求項1に記載の車載物体検出装置において、
    前記移動パターンは、前記エッジ抽出手段で抽出したエッジの複数フレーム間での速度変化であることを特徴とする車載物体検出装置。
  3. 請求項1または2に記載の車載物体検出装置において、
    前記移動パターンは、前記エッジ抽出手段で抽出したエッジの複数フレーム間での位置変化であることを特徴とする車載物体検出装置。
  4. 撮像手段によって複数フレーム撮像された画像の各々に存在する物体のエッジを抽出し、
    抽出したエッジの中から、複数フレーム間で動きのあるエッジのみを抽出して、エッジの複数フレーム間での移動パターンを検出し、
    検出した前記エッジの移動パターンと、あらかじめ設定した種々の物体の動作パターンをモデル化したパターンモデルとをマッチング処理して、前記画像内に含まれる物体の種別を判定することを特徴とする物体検出方法。
JP2005161442A 2005-06-01 2005-06-01 車載物体検出装置、および物体検出方法 Expired - Fee Related JP4692081B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005161442A JP4692081B2 (ja) 2005-06-01 2005-06-01 車載物体検出装置、および物体検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005161442A JP4692081B2 (ja) 2005-06-01 2005-06-01 車載物体検出装置、および物体検出方法

Publications (2)

Publication Number Publication Date
JP2006338273A JP2006338273A (ja) 2006-12-14
JP4692081B2 true JP4692081B2 (ja) 2011-06-01

Family

ID=37558784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005161442A Expired - Fee Related JP4692081B2 (ja) 2005-06-01 2005-06-01 車載物体検出装置、および物体検出方法

Country Status (1)

Country Link
JP (1) JP4692081B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5401257B2 (ja) * 2009-10-23 2014-01-29 クラリオン株式会社 遠赤外線歩行者検知装置
JP2012186536A (ja) * 2011-03-03 2012-09-27 Nikon Corp 電子機器及びグループ化方法
JP7047418B2 (ja) 2018-01-31 2022-04-05 富士通株式会社 判定プログラム、判定方法および判定装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086417A (ja) * 2002-08-26 2004-03-18 Gen Tec:Kk 横断歩道等における歩行者検出方法及び同装置
JP2004145660A (ja) * 2002-10-24 2004-05-20 Fuji Heavy Ind Ltd 障害物検出装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086417A (ja) * 2002-08-26 2004-03-18 Gen Tec:Kk 横断歩道等における歩行者検出方法及び同装置
JP2004145660A (ja) * 2002-10-24 2004-05-20 Fuji Heavy Ind Ltd 障害物検出装置

Also Published As

Publication number Publication date
JP2006338273A (ja) 2006-12-14

Similar Documents

Publication Publication Date Title
US6647131B1 (en) Motion detection using normal optical flow
JP5576937B2 (ja) 車両の周辺監視装置
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
CN107750213B (zh) 前方车辆碰撞报警装置及报警方法
JP2006268097A (ja) 車載物体検出装置、および物体検出方法
JP6436357B2 (ja) 車両用の歩行者動作識別装置
JP2004145660A (ja) 障害物検出装置
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
WO2014002692A1 (ja) ステレオカメラ
JP2012221162A (ja) 対象物検出装置及びプログラム
JP6069938B2 (ja) 飛び出し検出装置
JP4692081B2 (ja) 車載物体検出装置、および物体検出方法
JP5691834B2 (ja) 画像識別装置及びプログラム
JP5107154B2 (ja) 運動推定装置
TW201520907A (zh) 影像式機踏車與行人偵測系統及其方法
JP2014048702A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
JP5345999B2 (ja) レーンマーク認識装置
JP2021148730A (ja) 位置推定方法、位置推定装置、及び、プログラム
JP5642785B2 (ja) 車両の周辺監視装置
JP2008108118A (ja) 画像処理装置
JP4062306B2 (ja) 画像処理装置、および方法
CN115131752A (zh) 学习方法、学习装置以及程序记录介质
JP2014203196A (ja) 危険度判定装置、危険度判定方法、警報装置、及び運転支援装置
KR20140042551A (ko) 영상기반 사람 검출을 위한 특징 추출 방법 및 장치
JP2006010652A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees