JP4816240B2 - データ処理装置、データ処理方法、認識装置及び認識方法 - Google Patents

データ処理装置、データ処理方法、認識装置及び認識方法 Download PDF

Info

Publication number
JP4816240B2
JP4816240B2 JP2006136698A JP2006136698A JP4816240B2 JP 4816240 B2 JP4816240 B2 JP 4816240B2 JP 2006136698 A JP2006136698 A JP 2006136698A JP 2006136698 A JP2006136698 A JP 2006136698A JP 4816240 B2 JP4816240 B2 JP 4816240B2
Authority
JP
Japan
Prior art keywords
tracking
captured image
identification
identified
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006136698A
Other languages
English (en)
Other versions
JP2007310480A (ja
Inventor
将弘 原田
純 是石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006136698A priority Critical patent/JP4816240B2/ja
Publication of JP2007310480A publication Critical patent/JP2007310480A/ja
Application granted granted Critical
Publication of JP4816240B2 publication Critical patent/JP4816240B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、例えば道路上の歩行者等の物体を認識する認識装置および認識方法に関し、特には効果的に物体を認識するための学習パターンを収集することができる認識装置および認識方法に関するものである。
従来の歩行者等の物体を認識するための技術としては、例えば特許文献1に記載されているものが知られている。この技術では、物体の形状データだけではなく動きパターンも合わせることで、高い検出精度を実現している。この技術では、例えば、遠赤外線カメラを用いた温度測定による歩行者検出においては、温度分布(=形状データ)のみに基づいて検出が行われると検出精度が低いことを顧みて、形状データに加えて動きパターンに基づいても歩行者の検出を行うことで、検出精度を高くすることを提案している。
この特許文献1に記載の技術では、以下の(1)から(5)までを予め計測し、学習させる。
(1)体格−大人、子供、老人、性別等の違い
(2)持ち物・乗り物−鞄、帽子、傘、杖等の有無、犬、自転車、乳母車、車椅子等の付加物の有無
(3)服装−ズボン、スカート、コート等の服装の違い
(4)歩き方−千鳥足、早足、スキップ等による移動速度の違い
(5)方向−前後、左右、斜め等の移動方向の違い
特開2004−145660号公報
しかしながら、上記の要素を全て網羅する学習パターンを予め用意することは現実的には不可能である。また、形状(上記(1)〜(3))と動きパターン(上記(4),(5))は本来独立な要素であり、これらを同時に学習させることは学習させなければならないパターンを無駄に増大させている。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、より効果的に学習パターンを収集することができる認識装置および認識方法を提供することにある。
本発明は、物体を撮像する撮像手段と、撮像手段により取得した物体の撮像画像により対象物か否かを識別する対象物識別手段と、物体の追跡を行う対象物追跡手段と、対象物識別手段により対象物か否かを識別された物体と、対象物追跡手段により追跡された物体との同一性を判定する同一対象判定手段と、同一対象判定手段により同一の物体であると判定され、かつ対象物識別手段では対象物であると識別されなかったが対象物追跡手段では同一の物体として追跡されていた場合に、物体の撮像画像を抽出する対象物抽出手段と、を備えた認識装置である。
この構成によれば、同一対象判定手段が、対象物識別手段により対象物か否かを識別された物体と、対象物追跡手段により追跡された物体との同一性を判定する。また、対象物抽出手段が、同一対象判定手段により同一の物体であると判定され、かつ対象物識別手段では対象物であると識別されなかったが対象物追跡手段では同一の物体として追跡されていた場合に、物体の撮像画像を抽出する。このため、対象物識別手段では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。したがって、対象物識別手段だけでは対象物として識別されない誤識別が生じたパターン(撮像画像)を効率良く収集することができ、予め膨大な学習パターンを用意したり、学習させなくとも、より効果的に学習パターンを収集することができる。
この場合、対象物抽出手段が抽出した物体の撮像画像を記憶する画像記憶手段をさらに備えていることが、抽出された学習パターンを蓄積することができるため、好適である。
また、撮像手段により取得した物体の撮像画像と、対象物識別手段の識別結果と、対象物追跡手段の追跡結果とを対応付けて記憶可能な結果記憶手段をさらに備え、同一対象判定手段は、結果記憶手段に記憶された、対象物識別手段により対象物か否かを識別された物体と、対象物追跡手段により追跡された物体との過去における同一性を判定し、対象物抽出手段は、同一対象判定手段により過去において同一の物体であると判定され、かつ対象物識別手段では過去において対象物であると識別されなかったが対象物追跡手段では過去において同一の物体として追跡されていた場合の対応する物体の撮像画像を抽出することが好適である。
この構成によれば、結果記憶手段が、撮像手段による撮像画像と、対象物識別手段による識別結果と、対象物追跡手段による追跡結果とを記憶し、対象物抽出手段は結果記憶手段に記憶された過去のデータに基づき、対象物識別手段では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。このため、過去の結果に遡って、対象物識別手段では対象物として識別されなかった誤識別が生じたパターンを収集することができる。
また、対象物追跡手段は、新規に物体の追跡を行うときに、対象物識別手段が対象物と識別し、かつ対象物追跡手段が過去に追跡していない物体の追跡を行うことが、過去に追跡したことの無い物体を新たに走査することができ、追跡対象を決定する効率を一層向上できるため、好適である。
また、本発明の別の態様によれば、物体を撮像する撮像ステップと、撮像ステップにおいて取得した物体の撮像画像により対象物か否かを識別する対象物識別ステップと、物体の追跡を行う対象物追跡ステップと、対象物識別ステップにおいて対象物か否かを識別された物体と、対象物追跡ステップにおいて追跡された物体との同一性を判定する同一対象判定ステップと、同一対象判定ステップにおいて同一の物体であると判定され、かつ対象物識別ステップにおいては対象物であると識別されなかったが対象物追跡ステップにおいては同一の物体として追跡されていた場合に、撮像ステップにおいて取得した物体の撮像画像を抽出する対象物抽出ステップと、を含む認識方法が提供される。
この場合、対象物抽出ステップにおいて抽出した物体の撮像画像を記憶する画像記憶ステップをさらに含むことが、抽出された学習パターンを蓄積することができるため、好適である。
また、撮像ステップにおいて取得した物体の撮像画像と、対象物識別ステップにおける識別結果と、対象物追跡ステップにおける追跡結果とを対応付けて記憶する結果記憶ステップをさらに含み、同一対象判定ステップは、結果記憶ステップにおいて記憶された、対象物識別ステップおいて対象物か否かを識別された物体と、対象物追跡ステップにおいて追跡された物体との過去における同一性を判定し、対象物抽出ステップは、同一対象判定ステップでは過去において同一の物体であると判定され、かつ対象物識別ステップでは過去において対象物であると識別されなかったが対象物追跡ステップでは過去において同一の物体として追跡されていた場合の対応する物体の撮像画像を抽出することが、過去の結果に遡って、パターンを収集することができるため好適である。
また、対象物追跡ステップは、新規に物体の追跡を行うときに、対象物識別ステップにおいて対象物と識別し、かつ対象物追跡ステップにおいて過去に追跡していない物体の追跡を行うことが、過去に追跡したことの無い物体を新たに走査することができ、追跡対象を決定する効率を一層向上できるため、好適である。
本発明の認識装置および認識方法によれば、より効果的に学習パターンを収集することができる。
以下、本発明の実施の形態に係る認識装置および認識方法について添付図面を参照して説明する。
図1は、本発明に係わる認識装置の一実施形態の構成を示す機能ブロック図である。本実施形態の認識装置1は、例えば自動車等の車両に搭載され、道路上の歩行者等の物体を認識し、それらの学習パターンを収集するものである。
図1に示すように、本実施形態の認識装置1は、撮像装置(撮像手段)2と、測距装置3と、データ処理装置4とを備えている。撮像装置2は、歩行者等の物体を撮像して撮像画像を取得する物である。本実施形態においては、撮像装置2は可視光カメラであっても、赤外線カメラであっても良い。測距装置3は、認識装置1から物体までの距離を測定する物である。測距装置3には、例えばレーザレンジファインダ等を適用することができる。なお、測距装置3は、後述するデータ処理装置4内の対象物追跡部7が画像の情報に対応しているならば、個別の測距装置3は必要なく、少なくとも1つ以上の撮像装置2によって置き換えることができる。データ処理装置4は、撮像装置2により取得された撮像画像と、測距装置3により得られた距離情報とを処理する物である。
以下、図1に基づいてデータ処理装置4について説明する。データ処理装置4は、対象物候補探索部5と、対象物識別部(対象物識別手段)6と、対象物追跡部(対象物追跡手段)7と、結果記憶部(結果記憶手段)8と、同一対象判定部(同一対象判定手段)9と、対象物抽出部(対象物抽出手段)10と、画像記憶部(画像記憶手段)11とを有している。
対象物候補探索部5は、撮像装置2から入力された撮像画像に対して、画像の一部を抽出し、学習パターンを収集すべき対象物の候補を探索する物である。対象物識別部6は、対象物候補探索部5から入力された画像により、当該物体が対象物であるか否かの判定を行う物である。この判定を、対象物識別部6は、以前に学習によって獲得した識別手法を用いて行う。当該学習手段は、SVMやVoila & Jones法を適用することができる。当該画像と対象物識別部6による識別結果とは、結果記憶部8に送られて登録される。
対象物追跡部7は、測距装置3からの距離情報に基づいて物体の追跡を行う物である。対象物追跡部7は、測距装置3からの距離情報以外にも、対象物の追跡が可能な装置を用い、例えば撮像装置2等から取得された画像による対象物の輪郭抽出(Active Contour)や、画像による対象物の動きを推定することにより得られた情報に基づいて物体の追跡を行うことができる。
対象物追跡部7は、2次元空間(画像上)で追跡処理を行う物であっても、3次元空間(実空間上)で追跡処理を行う物であっても構わない。特に、3次元空間での追跡は、測距装置3からの距離情報や、ステレオカメラ等の複眼カメラで構成された撮像装置2の撮像画像をステレオ処理して獲得する距離情報が重要になるが、本実施形態において距離は必ずしも必要ではない。測距装置3等により物体との距離を取得できないときは、2次元空間上での対象物の輪郭や動き、あるいは特徴点等を利用して追跡を行えばよい。対象物追跡部7による追跡結果は、結果記憶部8に送られて登録される。
結果記憶部8は、撮像装置2により取得した物体の撮像画像と、対象物識別部6の対象物か否かの識別結果と、対象物追跡部7の追跡結果とを対応付けて登録する物である。結果記憶部8は、現在より少なくとも1フレーム以上過去の識別結果と追跡結果とを記憶可能とされている。
同一対象判定部9は、対象物識別部6により対象物か否かを識別された物体と、対象物追跡部7により追跡された物体との同一性を判定する物である。具体的には、対象物識別部6により対象物か否かを識別されて登録された物体の画像と、対象物追跡部7による登録された追跡結果とを照合する。照合の基準には、例えば、物体の撮像画像が現された画像平面上に対象物追跡部7による追跡結果を射影し、当該画像平面上に射影された領域の大きさと、対象物識別部6により識別された物体の画像領域の大きさとの差を用いる。この差異は以下の基準関数fで表わすことができる。
f=α(x−x+β(y−y+γ(s−s
上式で、α,β,γは定数の重みで、x,y,sは、それぞれ対象物識別部6により対象物ではないと識別された物体の画像領域の横位置、縦位置、大きさである。同様に、x,y,sは、それぞれ対象物追跡部7による追跡結果の画像平面上に射影された領域の横位置、縦位置、大きさである。なお、対象物識別部6からの識別結果と対象物追跡部7による追跡結果とを照合する空間は、物体の撮像画像が現された画像平面に限定するものではない。例えば、対象物識別部6からの識別結果と対象物追跡部7による追跡結果とを、実空間におけるx,y,z座標系や、実空間におけるx,y座標系に射影して照合しても良い。また、物体追跡部7の出力が画像平面である場合は、そのまま対象物識別部6からの画像と照合すれば良く、上記のような射影を行う必要はない。
対象物抽出部10は、学習パターンとして抽出すべき物体の撮像画像を抽出する物である。具体的には、対象物抽出部10は、対象物識別部6により対象物であると識別されて登録された物体の撮像画像と、同一対象判定部9により同一の物体であると判定され、かつ対象物識別部6では対象物であると識別されなかったが対象物追跡部7では同一の物体として追跡されて登録されていた物体の撮像画像とを抽出する。対象物抽出部10は、対象物識別部6による登録された識別結果と、対象物追跡部7による登録された追跡結果との全ての組み合わせのうち、上記基準関数fの値の少ないものから順に学習パターンとして抽出する。
なお、学習パターンとして抽出される最大数は、対象物識別部6による識別結果の登録数と対象物追跡部7による追跡結果の登録数とのうちの小さい方となる。基本的には、この最大数の学習パターンを抽出するが、上記基準関数fの値にある閾値を設け、それよりも基準関数fの値が大きい場合には、学習パターンとして抽出しないようにすることもできる。
また、対象物抽出部10は、抽出した画像情報に対して、学習パターンとして登録すべき画像領域を決定し、トリミング処理や正規化、ノイズ除去など、学習画像としての性質を満たす処理を行う物である。
画像記憶部11は、対象物抽出部10が抽出した物体の撮像画像を学習パターンとして記憶する物である。
図2は、上記の認識装置1による処理手順を示すフローチャートである。このフローチャートを用いて認識装置1の動作を説明する。
まず、撮像装置2から入力された物体の撮像画像に対して、対象物候補探索部5は対象物候補探索を行う(図2のS1)。対象物候補探索は、撮像画像の全体あるいは一部をサブウィンドウのような撮像画像より小さい領域で切り出すような処理である。例えば、この対象物候補探索は、図3(a)〜(c)に示すように、道路上を対象物(歩行者)20が横切っている場合に、対象物20を囲う処理枠30で撮像画像を切り出すことにより行うことができる。あるいは、この対象物候補探索は、撮像画像の全体あるいは一部に対して、特徴点抽出処理(例えばコーナー検出)を行い、抽出された特徴点の近傍の画像を切り出すことによっても行うことができる。
対象物候補探索により切り出された画像に対して、対象物識別部6は対象物識別を行い、当該画像にかかる物体が対象物であるか否かを判定する(図2のS2)。対象物識別部6は、対象物識別を行った後、当該画像と識別結果とを、結果記憶部8と同一対象判定部9とに送る。結果記憶部8は、当該画像にかかる物体が対象物であるか否かにかかわらず、当該画像と識別結果とを登録する(図2のS3)。
一方、対象物追跡部7は、それまでの過去の追跡結果を結果記憶部8から参照し、対象物候補探索部6により決定された対象物候補ごとに、追跡対象を決定する(図2のS4)。なお、結果記憶部8を参照して、対象物識別部6により対象物として識別されたが過去に追跡結果が存在しない対象物は、新規追跡対象として追跡対象に追加する。対象物追跡部7は、測距装置3から入力された距離情報と、図2のS4の処理で決定された追跡対象とを照合し、追跡情報を更新し対象物の追跡を行う(図2のS5)。図2のS4の処理で決定された追跡対象に対して、対応する測距装置3からの距離情報がない場合は、以後、この物体を追跡対象から除外する。対象物追跡部7は、対象物追跡を行った後、当該距離情報と追跡結果とを、結果記憶部8と同一対象判定部9とに送る。結果記憶部8は、測距装置3からの距離情報と、対象物追跡部7による追跡結果、すなわち追跡対象が存在(追跡完了)あるいは追跡対象が不在(追跡できず)かとを、対象物候補ごとに登録する(図2のS6)。
なお、図2では、S1,S2,S3の対象物を識別する処理の後に、S4,S5,S6の対象物を追跡する処理を行っているが、順序を逆にして、S4,S5,S6の対象物を追跡する処理の後に、S1,S2,S3の対象物を識別する処理を行っても良い。重要なことはそれぞれの処理が独立に実行されることである。
同一対象判定部9は、対象物識別部6による識別結果と、対象物追跡部7による追跡結果とを照合する(図2のS7)。これらの識別結果と追跡結果とには、対象物識別部6と対象物追跡部7とからそれぞれ直接に入力された識別結果と追跡結果との他に、結果記憶部8に登録された過去における識別結果と追跡結果とが含まれる。まず、図2のS3の処理において対象として登録された画像領域に対して、それと対応する追跡結果が図2のS6の処理において存在するか否かを照合する。次に、図2のS3の処理において非対象として登録された画像領域に対して、それと対応する追跡結果が図2のS6の処理において存在するか否かを照合する。
本実施形態では、この照合結果から特に以下の場合に注目する。
ケース1:一つ前のフレームまでは対象として識別されており、なおかつ識別結果と追跡結果との対応がとれていたが、現フレームでは対象として識別されていない。しかし、追跡はできており、対応する非対象の識別結果も存在する。
ケース2:現フレームでは対象として識別されており、なおかつ識別結果と追跡結果との対応がとれているが、一つ前のフレームでは対象として識別されていない。しかし、追跡はできており対応する非対象の識別結果も存在した。
この2つのケースに該当する場合は、当該情報を対象物抽出部10に送る。
対象物抽出部10は、図2のS3の処理で対象物であると識別された撮像画像と、図2のS7の処理で上記2つのケース1およびケース2に該当する場合の撮像画像とを、抽出する(図2のS8)。対象物抽出部10は、上記2つのケース1およびケース2に該当する場合の撮像画像に対して、学習パターンとして登録すべき画像領域を決定する。また、対象物抽出部10は、抽出した撮像画像に対して、トリミング処理や正規化、ノイズ除去など、学習パターンとしての性質を満たす処理を行う。
画像記憶部11は、対象物抽出部10が抽出した撮像画像を学習パターンとして登録する(図2のS9)
本実施形態では、同一対象判定部9が、対象物識別部6により対象物か否かを識別された物体と、対象物追跡部7により追跡された物体との同一性を判定する。また、対象物抽出部10が、同一対象判定手段により同一の物体であると判定され、かつ対象物識別部7では対象物であると識別されなかったが対象物追跡部7では同一の物体として追跡されていた場合に、物体の撮像画像を抽出する。このため、対象物識別部6では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。したがって、対象物識別部6だけでは対象物として識別されない誤識別が生じたパターンを効率良く収集することができ、予め膨大な学習パターンを用意したり、学習させなくとも、より効果的に学習パターンを収集することができる。
また、本実施形態では、結果記憶部8が、撮像装置2による撮像画像と、対象物識別部6による識別結果と、対象物追跡部7による追跡結果とを記憶し、対象物抽出部10は結果記憶部8に記憶された過去のデータに基づき、対象物識別部8では対象物として識別されなかった物体の撮像画像を、当該物体の撮像画像として抽出することができる。このため、過去の結果に遡って、対象物識別部6だけでは対象物として識別されなかった誤識別が生じたパターンを収集することができる。
さらに、本実施形態では、対象物追跡部7は、新規に物体の追跡を行うときに、対象物識別部6が対象物と識別し、かつ対象物追跡部7が過去に追跡していない物体の追跡を行うため、過去に追跡したことの無い物体を新たに走査することができ、追跡対象を決定する効率を一層向上させることができる。
加えて、本実施形態では、画像記憶部11によって、抽出された学習パターンを蓄積することができる。この学習パターンは、一枚追加された段階で認識装置1に再学習させても良いが、複数枚追加された後に再学習させても良い。また、認識装置1の中で完結するオンライン学習用途だけではなく、認識装置1の中で学習パターンを活用するオフライン学習用途にも適用できる。オフライン学習用途では、例えばディーラーに入庫された複数台の車両に搭載された認識装置の学習パターンを収集し、それらの学習パターンと基本学習パターンとを合わせた学習パターンを、新たな認識装置にさらに学習させる利用方法がある。このようにして学習させた認識装置を、さらに複数台の車両に搭載することで、より精度の高い(検出率の高い)認識装置に近づけていくことが可能である。
尚、本発明の認識装置および認識方法は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
本発明に係わる認識装置の一実施形態の構成を示す機能ブロック図である。 図1に示す認識装置の処理手順を示すフローチャートである。 図1に示す撮像装置から入力された画像に対して対象物候補探索を行った例を示す図である。
符号の説明
1…認識装置、2…撮像装置、3…測距装置、4…データ処理装置、5…対象物候補探索部、6…対象物識別部、7…対象物追跡部、8…結果記憶部、9…同一対象判定部、10…対象物抽出部、11…画像記憶部、20…対象物、30…処理枠。

Claims (10)

  1. 物体を撮像する撮像手段と、
    前記撮像手段により取得した前記物体の撮像画像により、前記物体が対象物か否かを識別する対象物識別手段と、
    前記物体の追跡を行う対象物追跡手段と、
    前記対象物識別手段により対象物か否かを識別された前記物体と、前記対象物追跡手段により追跡された前記物体との同一性を判定する同一対象判定手段と、
    前記同一対象判定手段により同一の前記物体であると判定され、かつ前記対象物識別手段では対象物であると識別されなかったが前記対象物追跡手段では同一の前記物体として追跡されていた場合に、前記物体の撮像画像を前記物体を認識するための学習パターンとして抽出する対象物抽出手段と、
    前記対象物抽出手段が抽出した前記物体の撮像画像を前記物体を認識するための学習パターンとして記憶する画像記憶手段と、
    を備えたデータ処理装置。
  2. 前記撮像手段により取得した前記物体の撮像画像と、前記対象物識別手段の識別結果と、前記対象物追跡手段の追跡結果とを対応付けて記憶可能な結果記憶手段をさらに備え、
    前記同一対象判定手段は、前記対象物識別手段により対象物か否かを識別され前記結果記憶手段に前記識別結果を記憶された前記物体と、前記対象物追跡手段により追跡され前記結果記憶手段に前記追跡結果を記憶された前記物体との同一性を判定し、
    前記対象物抽出手段は、前記同一対象判定手段により同一の物体であると判定され、かつ前記対象物識別手段では対象物であると識別されなかったが前記対象物追跡手段では同一の前記物体として追跡されていた場合の対応する前記物体の撮像画像を前記物体を認識するための学習パターンとして抽出する、請求項1に記載のデータ処理装置。
  3. 前記物体までの距離を測定する測距手段をさらに備え、
    前記対象物追跡手段は、前記測距手段が測定した前記物体までの距離に基づいて前記物体の追跡を行い、
    前記同一性判定手段は、前記対象物識別手段により対象物か否かを識別された前記物体の撮像画像中の位置と、前記対象物追跡手段により追跡された前記物体までの距離に対応する前記物体の撮像画像中の位置との差を用いて、前記対象物識別手段により対象物か否かを識別された前記物体と前記対象物追跡手段により追跡された前記物体との同一性を判定する、請求項1又は2に記載のデータ処理装置。
  4. 前記対象物識別手段は、前記撮像手段により取得した前記物体の撮像画像と、前記画像記憶手段により前記物体を認識するための学習パターンとして記憶された前記物体の撮像画像とにより、前記物体が対象物か否かを識別する、請求項1〜3のいずれか1項に記載のデータ処理装置。
  5. 請求項1〜4のいずれか1項に記載のデータ処理装置の学習パターンを用いて前記物体の認識を行なう認識装置。
  6. 物体を撮像する撮像ステップと、
    前記撮像ステップにより取得した前記物体の撮像画像により、前記物体が対象物か否かを識別する対象物識別ステップと、
    前記物体の追跡を行う対象物追跡ステップと、
    前記対象物識別ステップにより対象物か否かを識別された前記物体と、前記対象物追跡ステップにより追跡された前記物体との同一性を判定する同一対象判定ステップと、
    前記同一対象判定ステップにより同一の前記物体であると判定され、かつ前記対象物識別ステップでは対象物であると識別されなかったが前記対象物追跡ステップでは同一の前記物体として追跡されていた場合に、前記物体の撮像画像を前記物体を認識するための学習パターンとして抽出する対象物抽出ステップと、
    前記対象物抽出ステップが抽出した前記物体の撮像画像を前記物体を認識するための学習パターンとして記憶する画像記憶ステップと、
    を含むデータ処理方法。
  7. 前記撮像ステップにより取得した前記物体の撮像画像と、前記対象物識別ステップの識別結果と、前記対象物追跡ステップの追跡結果とを対応付けて記憶可能な結果記憶ステップをさらに含み、
    前記同一対象判定ステップは、前記対象物識別ステップにより対象物か否かを識別され前記結果記憶ステップに前記識別結果を記憶された前記物体と、前記対象物追跡ステップにより追跡され前記結果記憶ステップに前記追跡結果を記憶された前記物体との同一性を判定し、
    前記対象物抽出ステップは、前記同一対象判定ステップにより同一の物体であると判定され、かつ前記対象物識別ステップでは対象物であると識別されなかったが前記対象物追跡ステップでは同一の前記物体として追跡されていた場合の対応する前記物体の撮像画像を前記物体を認識するための学習パターンとして抽出する、請求項6に記載のデータ処理方法。
  8. 前記物体までの距離を測定する測距ステップをさらに含み、
    前記対象物追跡ステップは、前記測距ステップが測定した前記物体までの距離に基づいて前記物体の追跡を行い、
    前記同一性判定ステップは、前記対象物識別ステップにより対象物か否かを識別された前記物体の撮像画像中の位置と、前記対象物追跡ステップにより追跡された前記物体までの距離に対応する前記物体の撮像画像中の位置との差を用いて、前記対象物識別ステップにより対象物か否かを識別された前記物体と前記対象物追跡ステップにより追跡された前記物体との同一性を判定する、請求項6又は7に記載のデータ処理方法。
  9. 前記対象物識別ステップは、前記撮像ステップにより取得した前記物体の撮像画像と、前記画像記憶ステップにより前記物体を認識するための学習パターンとして記憶された前記物体の撮像画像とにより、前記物体が対象物か否かを識別する、請求項6〜8のいずれか1項に記載のデータ処理方法。
  10. 請求項6〜9のいずれか1項に記載のデータ処理方法の学習パターンを用いて前記物体の認識を行なう認識方法。
JP2006136698A 2006-05-16 2006-05-16 データ処理装置、データ処理方法、認識装置及び認識方法 Expired - Fee Related JP4816240B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006136698A JP4816240B2 (ja) 2006-05-16 2006-05-16 データ処理装置、データ処理方法、認識装置及び認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006136698A JP4816240B2 (ja) 2006-05-16 2006-05-16 データ処理装置、データ処理方法、認識装置及び認識方法

Publications (2)

Publication Number Publication Date
JP2007310480A JP2007310480A (ja) 2007-11-29
JP4816240B2 true JP4816240B2 (ja) 2011-11-16

Family

ID=38843298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006136698A Expired - Fee Related JP4816240B2 (ja) 2006-05-16 2006-05-16 データ処理装置、データ処理方法、認識装置及び認識方法

Country Status (1)

Country Link
JP (1) JP4816240B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4983558B2 (ja) * 2007-11-13 2012-07-25 マツダ株式会社 車両用運転支援装置
US8705813B2 (en) 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
JP5748421B2 (ja) * 2010-06-21 2015-07-15 キヤノン株式会社 認証装置、認証方法、及び認証プログラム、並びに記録媒体
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
JP2014085795A (ja) * 2012-10-23 2014-05-12 Toshiba Corp 学習画像収集装置、学習装置及び対象物検出装置
US9158996B2 (en) 2013-09-12 2015-10-13 Kabushiki Kaisha Toshiba Learning image collection apparatus, learning apparatus, and target object detection apparatus
JP6432634B2 (ja) * 2017-03-29 2018-12-05 日本電気株式会社 認証装置、認証方法、及びプログラム
JP6922447B2 (ja) * 2017-06-06 2021-08-18 株式会社デンソー 情報処理システム、サーバおよび通信方法
EP4064120B1 (en) 2021-03-25 2023-07-26 Axis AB Method for determining images plausible to have a false negative object detection
JP7187655B1 (ja) 2021-12-27 2022-12-12 株式会社a-LINK 物体追跡の方法、プログラム、システムおよび記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0723012A (ja) * 1993-06-30 1995-01-24 Takahashi Takeshi 視聴率調査システム
JP2005311691A (ja) * 2004-04-21 2005-11-04 Toyota Central Res & Dev Lab Inc 物体検出装置及び方法

Also Published As

Publication number Publication date
JP2007310480A (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
JP4816240B2 (ja) データ処理装置、データ処理方法、認識装置及び認識方法
Keller et al. The benefits of dense stereo for pedestrian detection
JP5405741B2 (ja) 道路使用弱者保護システム
CN106354816B (zh) 一种视频图像处理方法及装置
Zeeshan Zia et al. Explicit occlusion modeling for 3d object class representations
US8965050B2 (en) Behavior analysis device
US8744122B2 (en) System and method for object detection from a moving platform
Gavrila et al. Vision-based pedestrian detection: The protector system
Liu et al. Detecting and counting people in surveillance applications
US9507998B2 (en) Pedestrian motion predicting device
JP2006133946A (ja) 動体認識装置
Raman et al. Direction estimation for pedestrian monitoring system in smart cities: An HMM based approach
JP6526953B2 (ja) 物体識別方法
JP2010176380A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JPH11175730A (ja) 人間検出追跡システム
Mitzel et al. Close-range human detection for head-mounted cameras
JP6776719B2 (ja) 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
JP4984640B2 (ja) 認識装置、地図データ作成装置および認識方法
CN111814510A (zh) 一种遗留物主体检测方法及装置
CN114783037B (zh) 目标重识别方法、目标重识别装置和计算机可读存储介质
Ng et al. Low latency deep learning based parking occupancy detection by exploiting structural similarity
US8670598B2 (en) Device for creating and/or processing an object signature, monitoring device, method and computer program
JP2006010652A (ja) 物体検出装置
Budzan Human detection in thermal images using low-level features
Del Bimbo et al. Person detection using temporal and geometric context with a pan tilt zoom camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110815

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4816240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees