JP6528723B2 - 物体認識装置、物体認識方法及びプログラム - Google Patents
物体認識装置、物体認識方法及びプログラム Download PDFInfo
- Publication number
- JP6528723B2 JP6528723B2 JP2016104124A JP2016104124A JP6528723B2 JP 6528723 B2 JP6528723 B2 JP 6528723B2 JP 2016104124 A JP2016104124 A JP 2016104124A JP 2016104124 A JP2016104124 A JP 2016104124A JP 6528723 B2 JP6528723 B2 JP 6528723B2
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- information
- object candidate
- image information
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000001514 detection method Methods 0.000 claims description 106
- 230000000704 physical effect Effects 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 241001270131 Agaricus moelleri Species 0.000 description 6
- 239000002131 composite material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Description
この一態様において、前記記憶手段は、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報を記憶しており、前記判定プロファイル情報に設定された複数の判定器を有し、前記画像情報取得手段により取得された画像情報より、該判定器を用いて前記物体検出手段から出力された物体候補に対して判定を行う物体判定手段を更に備え、前記物体判定手段は、前記記憶手段の判定プロファイル情報に基づいて、前記物体検出手段により検出された物体候補に対応する判定器を選択し、該判定器を用いて、前記画像情報取得手段により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、前記物体検出手段から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、前記物体候補が所定値以上の信頼度を有するか否かを判定し、該所定値以上の信頼度を有すると判定した物体候補を前記認識対象物として、出力してもよい。
この一態様において、前記物体検出手段は、前記画像情報取得手段により取得された認識対象物の画像情報の特徴量と、前記検出した物体候補のモデル画像情報の特徴量と、に基づいて、前記物体候補の位置姿勢候補を検出してもよい。
この一態様において、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中で、類似するもの同士を同一のものとして統合するクラスタリング処理手段を更に備えていてもよい。
この一態様において、前記物体検出手段により検出された物体候補及び該位置姿勢候補のモデル画像のモデルと、前記画像情報の認識対象物と、の間の幾何量を求め、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中から、該求めた幾何量が所定量以上となる物体候補及び該位置姿勢候補を除くトラッキング処理を行い、該トラッキング処理された物体候補及び該位置姿勢候補を出力するトラッキング処理手段を更に備えていてもよい。
この一態様において、前記記憶手段は、前記モデル画像のモデルを囲う3次元ボクセルの各グリッドから前記モデルまでの該モデル上の最近傍点の情報を記憶しており、前記トラッキング処理手段は、前記記憶手段に記憶された前記最近傍点の情報を用いて、前記トラッキング処理を行ってもよい。
この一態様において、前記認識対象物の候補である物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも1つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも1つの検出器と対応付けた前記検出プロファイル情報、および、前記物体候補の色情報及び表記情報のうち少なくとも1つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも1つの判定器と対応付けた前記判定プロファイル情報、のうちの少なくとも一方を生成するプロファイル情報生成手段を更に備えていてもよい。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得するステップと、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された複数の検出器を有し、前記取得された画像情報より、該検出器を用いて前記認識対象物を検出するステップと、を含む物体認識方法であって、前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とする物体認識方法であってもよい。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得する処理と、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された複数の検出器を有し、前記取得された画像情報より、該検出器を用いて前記認識対象物を検出する処理と、をコンピュータに実行させるプログラムであって、前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とするプログラムであってもよい。
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の実施形態1に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態1に係る物体認識装置1は、任意の3次元形状の認識対象物(これから認識する対象物)及びその位置及び姿勢(位置姿勢)を検出する装置である。
詳細なアルゴリズムは、例えば、非特許文献
S.Hinterstoisser,C.Cagniart,S.Iiic,P.Sturm,N.Navab,P.Fua,V.Lepetit Gradient Response Maps for Real-Time Detection of Texture-Less Objects IEEE Transactions on Pattern Analysis and Maschine Intelligence(TPAMI)
に詳細に開示されており、これを援用できるものとする。
David G.Lowe,”Distinctive image features from scale-invariant keypoints, ” International Journal of Computer Vision, 60, 2 (2004), pp.91-110
に詳細に開示されており、これを援用できるものとする。
Fast Explicit Diffusion for Accelerrated Features in Nonlinear Scale Spaces Pablo F. Alcantarilla, Jesus Nuevo and Adrien Bartoli. In British Machine Vision Conference (BMVC). Bristol, UK. September 2013
に詳細に開示されており、これを援用できるものとする。
SHOTについては、例えば、非特許文献
Tombari et al. Unique signatures of histograms for local surface description. ECCV 2010
に詳細に開示されており、これを援用できるものとする。
このように、プロファイル情報生成部3によって、物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも1つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を検出するのに最適な検出器51〜54とを、対応付けた検出プロファイル情報を自動的に生成することができる。
なお、物体認識装置1は、上述したプロファイル情報生成部3を有しない構成であってもよい。この場合、物体候補と該物体候補を検出するのに最適な検出器51〜54とを対応付けた検出プロファイル情報は、予め記憶部4に記憶されていてもよい。また、ユーザが上記フローチャートに従って、各検出器51〜54の選択を行い、その選択した検出プロファイル情報を記憶部4に記憶させてもよい。記憶部4に記憶された検出プロファイル情報は、例えば、ユーザによって任意に設定変更できるように構成されている。
記憶部4の検出プロファイル情報において、1つの物体候補と複数の検出器51〜54とが夫々対応付けられていてもよい。この場合、各検出器51〜54は、重複して同一の物体候補を検出することとなる。
なお、上記実施形態1において、物体検出部5は、認識対象物の物体候補及び該位置姿勢候補を検出しているが、これに限定されず、認識対象物の物体候補のみを検出してもよい。
本実施形態1に係る物体認識装置1を用いることで、従来の物体認識装置に比して、再現率(recall、検出率及び未検出率に関する指標)を約18%向上させることができた。
図4は、本発明の実施形態2に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態2に係る物体認識装置20は、上記実施形態1に係る物体認識装置1の構成に加えて、物体検出部5により検出された物体候補及び該位置姿勢候補(物体位置姿勢候補)群の中で、類似するもの同士を同一のものとして統合するクラスタリング処理を行うクラスタリング処理部6を更に備えている。これにより、物体検出部5により検出された物体位置姿勢候補群の中で、類似するものを1つにまとめて、ユーザに対して出力することができるため、利便性が向上する。
例えば、図5に示す如く、物体検出部5は、例えば、選択した複数の検出器(LineMode検出器51及びPnP検出器52)を用いて、認識対象物の物体位置姿勢候補(1)−(3)を検出する。クラスタリング処理部6は、物体検出部5により検出された物体位置姿勢候補(1)−(3)の中で、類似するもの同志を同一のものとして統合するクラスタリング処理を行う。具体的には、クラスタリング処理部6は、MeanShfit法などを用いてクラスタリング処理を行う。MeanShfit法において、図5に示す如く、物体位置姿勢候補(1)と物体位置姿勢候補(2)は距離が近く類似している。このため、物体位置姿勢候補(1)及び(2)は、両者の平均となる物体位置姿勢候補(4)に統合される。なお、物体位置姿勢候補(3)は、類似するものがないため、統合されない。
図6は、本発明の実施形態3に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態3に係る物体認識装置30は、上記実施形態1に係る物体認識装置1の構成に加えて、物体検出部5により検出された物体位置姿勢候補を、その色情報及び距離情報の少なく一方に基づいて判定する物体判定部7を更に備えている。
色相判定器71は、RGB輝度情報を、HSV情報(色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)の三つの成分からなる色空間情報)に変換し、その色相Hを用いて上記比較行う。色相判定器71は、同一単純色で黄色、赤色、青色、緑色、マゼンダ、又はシアンの物体(カップなど)の判定を行う場合に、その誤判定を低く抑制できる。
(B)RGB
RGB判定器72は、RGB輝度情報の生値を用いて上記比較を行う。RGB判定器72は、複合色(白色と黄緑色の複合色など)や黒色の物体(リモコンなど)の判定を行う場合に、その誤判定を低く抑制できる。
Gray_Scale判定器73は、RGB輝度情報を、グレースケール情報(白黒情報)に変換し、その変換した値を用いて、上記比較を行う。Gray_Scale判定器73は、白基調の物体(お椀など)の判定を行う場合に、その誤判定を低く抑制できる。
CLBP判定器74は、図7に示す如く、対象物画像およびモデル画像をカラーチャンネル分離(R画像、G画像、B画像)を行い(2)、各チャンネルのLBP(LBP(R)、LBP(G)、LBP(B))を算出する(3)。そして、CLBP判定器74は、算出したLBPに基づいて、ヒストグラムを作成し(4)、作成したヒストグラムを用いて上記比較を行う。なお、LBPは、画像の照明変化の変動に強く、LBPをヒストグラム化することで、さらに、上記レンダリングした際の摂動に強くなり、判定精度が向上する。CLBP判定器74は、テクスチャを有する物体の判定を行う場合に、その誤判定を低く抑制できる。
なお、上記判定器は一例でありこれに限定されず、物体判定部7は、任意の判定器を有していてもよく、判定器の数及び種類は任意でよい。
白又はグレー色の面積割合が一定値以上で高いことを指す。
このように、プロファイル情報生成部3によって、物体候補の色情報及び表記情報のうち少なくとも1つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を判定するのに最適な判定器71〜74とを、対応付けた判定プロファイル情報を自動的に生成することができる。
なお、上記実施形態3において、物体判定部7は、認識対象物の物体候補及び該位置姿勢候補を判定しているが、これに限定されず、認識対象物の物体候補のみを判定してもよい。
本実施形態3に係る物体認識装置30を用いることで、従来の物体認識装置に比して、精度(precision、正答率及び誤検出率に関する指標)を約18%向上させることができた。
本実施形態3において、上記実施形態1及び2と同一部分には同一符号を付して詳細な説明は省略する。
図10は、本発明の実施形態4に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態4に係る物体認識装置40は、上記実施形態3に係る物体認識装置30の構成に加えて、物体の幾何形状情報に基づいて、物体検出部5により検出された物体位置姿勢候補を追跡するトラッキング処理部8を更に備えている。
以上のように、実際のICPトラッキングを行う前に、ICPトラッキングに必要な最近傍点を計算し、この最近傍点の情報を記憶部4に予め保存する。そして、トラッキング処理部8は、この記憶部4に記憶された最近傍点の情報を用いて、上記リアルタイムでICPトラッキングを行う。これにより、ICPトラッキングにかかる計算コストを大幅に低減できる。
本実施形態4において、上記実施形態1乃至3と同一部分には同一符号を付して詳細な説明は省略する。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
Claims (9)
- 認識対象物の画像情報を取得する画像情報取得手段と、
前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報と、前記物体候補に対応付けられた該物体候補のモデル画像情報と、を記憶する記憶手段と、
前記検出プロファイル情報に設定された複数の検出器を有し、前記画像情報取得手段により取得された画像情報より、該検出器を用いて前記認識対象物を検出する物体検出手段と、を備え、
前記物体検出手段の検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記画像情報取得手段により取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
前記記憶手段は、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報を記憶しており、
前記判定プロファイル情報に設定された複数の判定器を有し、前記画像情報取得手段により取得された画像情報より、該判定器を用いて前記物体検出手段から出力された物体候補に対して判定を行う物体判定手段を更に備え、
前記物体判定手段は、前記記憶手段の判定プロファイル情報に基づいて、前記物体検出手段により検出された物体候補に対応する判定器を選択する、
ことを特徴とする物体認識装置。 - 請求項1記載の物体認識装置であって、
前記物体判定手段は、
前記判定器を用いて、前記画像情報取得手段により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、前記物体検出手段から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、前記物体候補が所定値以上の信頼度を有するか否かを判定し、
該所定値以上の信頼度を有すると判定した物体候補を前記認識対象物として、出力する、
ことを特徴とする物体認識装置。 - 請求項1又は2記載の物体認識装置であって、
前記物体検出手段は、前記画像情報取得手段により取得された認識対象物の画像情報の特徴量と、前記検出した物体候補のモデル画像情報の特徴量と、に基づいて、前記物体候補の位置姿勢候補を検出する、
ことを特徴とする物体認識装置。 - 請求項3記載の物体認識装置であって、
前記物体検出手段により検出された物体候補及び該位置姿勢候補の中で、類似するもの同士を同一のものとして統合するクラスタリング処理手段を更に備える、ことを特徴とする物体認識装置。 - 請求項3又は4記載の物体認識装置であって、
前記物体検出手段により検出された物体候補及び該位置姿勢候補のモデル画像のモデルと、前記画像情報の認識対象物と、の間の幾何量を求め、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中から、該求めた幾何量が所定量以上となる物体候補及び該位置姿勢候補を除くトラッキング処理を行い、該トラッキング処理された物体候補及び該位置姿勢候補を出力するトラッキング処理手段を更に備える、ことを特徴とする物体認識装置。 - 請求項5記載の物体認識装置であって、
前記記憶手段は、前記モデル画像のモデルを囲う3次元ボクセルの各グリッドから前記モデルまでの該モデル上の最近傍点の情報を記憶しており、
前記トラッキング処理手段は、前記記憶手段に記憶された前記最近傍点の情報を用いて、前記トラッキング処理を行う、ことを特徴とする物体認識装置。 - 請求項2乃至6のうちのいずれか1項記載の物体認識装置であって、
前記認識対象物の候補である物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも1つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも1つの検出器と対応付けた前記検出プロファイル情報、および、前記物体候補の色情報及び表記情報のうち少なくとも1つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも1つの判定器と対応付けた前記判定プロファイル情報、のうちの少なくとも一方を生成するプロファイル情報生成手段を更に備える、
ことを特徴とする物体認識装置。 - 認識対象物の画像情報を取得するステップと、
前記取得された画像情報より、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された検出器を用いて前記認識対象物を検出するステップを含む物体認識方法であって、
前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
前記取得された画像情報より、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報に設定された判定器を用いて前記出力された物体候補に対して判定を行い、
前記判定プロファイル情報に基づいて、前記検出された物体候補に対応する判定器を選択する、
ことを特徴とする物体認識方法。 - 認識対象物の画像情報を取得する処理と、
前記取得された画像情報より、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された検出器を用いて前記認識対象物を検出する処理と、をコンピュータに実行させるプログラムであって、
前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
前記取得された画像情報より、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報に設定された判定器を用いて前記出力された物体候補に対して判定を行う処理と、
前記判定プロファイル情報に基づいて、前記検出された物体候補に対応する判定器を選択する処理と、をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016104124A JP6528723B2 (ja) | 2016-05-25 | 2016-05-25 | 物体認識装置、物体認識方法及びプログラム |
US15/591,690 US10452950B2 (en) | 2016-05-25 | 2017-05-10 | Object recognition apparatus, objection recognition method, and program |
EP17170985.0A EP3249579B1 (en) | 2016-05-25 | 2017-05-15 | Object recognition apparatus, objection recognition method, and program |
KR1020170062709A KR101917515B1 (ko) | 2016-05-25 | 2017-05-22 | 물체 인식 장치, 물체 인식 방법 및 프로그램 |
CN201710367722.4A CN107437060B (zh) | 2016-05-25 | 2017-05-23 | 对象识别设备、对象识别方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016104124A JP6528723B2 (ja) | 2016-05-25 | 2016-05-25 | 物体認識装置、物体認識方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017211807A JP2017211807A (ja) | 2017-11-30 |
JP6528723B2 true JP6528723B2 (ja) | 2019-06-12 |
Family
ID=58714943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016104124A Expired - Fee Related JP6528723B2 (ja) | 2016-05-25 | 2016-05-25 | 物体認識装置、物体認識方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10452950B2 (ja) |
EP (1) | EP3249579B1 (ja) |
JP (1) | JP6528723B2 (ja) |
KR (1) | KR101917515B1 (ja) |
CN (1) | CN107437060B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210256728A1 (en) * | 2018-11-09 | 2021-08-19 | Denso Corporation | Object detection apparatus |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970577B1 (en) * | 2017-09-29 | 2021-04-06 | Snap Inc. | Machine learned single image icon identification |
KR102444693B1 (ko) * | 2017-11-15 | 2022-09-20 | 삼성전자 주식회사 | 청소용 이동장치 및 그 제어방법 |
CN108037765A (zh) * | 2017-12-04 | 2018-05-15 | 国网山东省电力公司电力科学研究院 | 一种用于输电线路巡检的无人机避障系统 |
US11109065B2 (en) * | 2018-09-26 | 2021-08-31 | Google Llc | Video encoding by providing geometric proxies |
JP7111297B2 (ja) * | 2018-11-26 | 2022-08-02 | 株式会社豊田中央研究所 | 位置ずれ補正装置及びプログラム |
US20220157039A1 (en) * | 2019-02-21 | 2022-05-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Object Location Determination |
CN110232387B (zh) * | 2019-05-24 | 2022-08-05 | 河海大学 | 一种基于kaze-hog算法的异源图像匹配方法 |
WO2020246753A1 (en) | 2019-06-03 | 2020-12-10 | Samsung Electronics Co., Ltd. | Electronic apparatus for object recognition and control method thereof |
US10867190B1 (en) * | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
US10970550B1 (en) | 2020-01-14 | 2021-04-06 | Geenee Gmbh | Systems and methods for stream recognition |
JP7272296B2 (ja) * | 2020-02-07 | 2023-05-12 | トヨタ自動車株式会社 | 判定方法、判定装置及び判定プログラム |
KR102643324B1 (ko) * | 2020-10-29 | 2024-03-07 | 닛폰세이테츠 가부시키가이샤 | 식별 장치, 식별 방법 및 프로그램 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573085B2 (ja) | 2001-08-10 | 2010-11-04 | 日本電気株式会社 | 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム |
JP4193519B2 (ja) | 2003-02-27 | 2008-12-10 | セイコーエプソン株式会社 | 物体識別方法および物体識別装置 |
US7680748B2 (en) * | 2006-02-02 | 2010-03-16 | Honda Motor Co., Ltd. | Creating a model tree using group tokens for identifying objects in an image |
JP4876742B2 (ja) | 2006-07-07 | 2012-02-15 | トヨタ自動車株式会社 | 画像処理装置及び画像処理プログラム |
JP5251080B2 (ja) | 2007-11-20 | 2013-07-31 | 株式会社Ihi | 物体認識方法 |
JP5287390B2 (ja) * | 2009-03-16 | 2013-09-11 | ソニー株式会社 | 半導体装置、伝送システム、半導体装置の製造方法及び伝送システムの製造方法 |
JP5346863B2 (ja) | 2010-03-30 | 2013-11-20 | 大日本スクリーン製造株式会社 | 3次元位置・姿勢認識装置およびそれを用いたシステム、方法、プログラム |
CN103003814A (zh) * | 2010-05-14 | 2013-03-27 | 数据逻辑Adc公司 | 使用大型数据库进行对象识别的系统及方法 |
JP5716433B2 (ja) | 2011-02-07 | 2015-05-13 | 株式会社Ihi | 形状認識装置、形状認識方法、および、そのプログラム |
JP5776255B2 (ja) * | 2011-03-25 | 2015-09-09 | ソニー株式会社 | 端末装置、物体識別方法、プログラム及び物体識別システム |
JP5214762B2 (ja) * | 2011-03-25 | 2013-06-19 | 株式会社東芝 | 認識装置、方法及びプログラム |
JP2012203668A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
JP2013054547A (ja) | 2011-09-05 | 2013-03-21 | Kddi Corp | 物体認識装置および物体認識方法 |
JP2013158845A (ja) * | 2012-02-01 | 2013-08-19 | Seiko Epson Corp | ロボット装置、画像生成装置、画像生成方法、および画像生成プログラム |
US9128188B1 (en) * | 2012-07-13 | 2015-09-08 | The United States Of America As Represented By The Secretary Of The Navy | Object instance identification using template textured 3-D model matching |
US9594942B2 (en) * | 2012-10-11 | 2017-03-14 | Open Text Corporation | Using a probabilistic model for detecting an object in visual data |
WO2014169238A1 (en) * | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
US9424461B1 (en) * | 2013-06-27 | 2016-08-23 | Amazon Technologies, Inc. | Object recognition for three-dimensional bodies |
US9355123B2 (en) * | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
US10242036B2 (en) * | 2013-08-14 | 2019-03-26 | Ricoh Co., Ltd. | Hybrid detection recognition system |
US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
JP2015056057A (ja) | 2013-09-12 | 2015-03-23 | トヨタ自動車株式会社 | 姿勢推定方法及びロボット |
US9582516B2 (en) * | 2013-10-17 | 2017-02-28 | Nant Holdings Ip, Llc | Wide area augmented reality location-based services |
JP6208018B2 (ja) | 2014-01-08 | 2017-10-04 | 株式会社東芝 | 画像認識アルゴリズム組合せ選択装置 |
JP2015143951A (ja) * | 2014-01-31 | 2015-08-06 | オムロン株式会社 | 物体判別装置、画像センサ、物体判別方法 |
US10963506B2 (en) * | 2016-11-15 | 2021-03-30 | Evolv Technology Solutions, Inc. | Data object creation and recommendation using machine learning based offline evolution |
US10984054B2 (en) * | 2017-07-27 | 2021-04-20 | Robert Bosch Gmbh | Visual analytics system for convolutional neural network based classifiers |
US10522186B2 (en) * | 2017-07-28 | 2019-12-31 | Adobe Inc. | Apparatus, systems, and methods for integrating digital media content |
US10719744B2 (en) * | 2017-12-28 | 2020-07-21 | Intel Corporation | Automated semantic inference of visual features and scenes |
-
2016
- 2016-05-25 JP JP2016104124A patent/JP6528723B2/ja not_active Expired - Fee Related
-
2017
- 2017-05-10 US US15/591,690 patent/US10452950B2/en not_active Expired - Fee Related
- 2017-05-15 EP EP17170985.0A patent/EP3249579B1/en active Active
- 2017-05-22 KR KR1020170062709A patent/KR101917515B1/ko active IP Right Grant
- 2017-05-23 CN CN201710367722.4A patent/CN107437060B/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210256728A1 (en) * | 2018-11-09 | 2021-08-19 | Denso Corporation | Object detection apparatus |
Also Published As
Publication number | Publication date |
---|---|
US20170344850A1 (en) | 2017-11-30 |
CN107437060B (zh) | 2021-01-15 |
KR101917515B1 (ko) | 2018-11-09 |
CN107437060A (zh) | 2017-12-05 |
KR20170133262A (ko) | 2017-12-05 |
EP3249579A1 (en) | 2017-11-29 |
EP3249579B1 (en) | 2022-01-19 |
US10452950B2 (en) | 2019-10-22 |
JP2017211807A (ja) | 2017-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6528723B2 (ja) | 物体認識装置、物体認識方法及びプログラム | |
CN110546651B (zh) | 用于识别对象的方法、系统和计算机可读介质 | |
US9633278B2 (en) | Object identification device, method, and storage medium | |
WO2017190656A1 (zh) | 行人再识别方法和装置 | |
JP6794766B2 (ja) | 指紋処理装置、指紋処理方法、プログラム、指紋処理回路 | |
CN105404884B (zh) | 图像分析方法 | |
US9430711B2 (en) | Feature point matching device, feature point matching method, and non-transitory computer readable medium storing feature matching program | |
EP2486514A1 (en) | Face recognition in digital images | |
KR102073468B1 (ko) | 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법 | |
US20150146991A1 (en) | Image processing apparatus and image processing method of identifying object in image | |
CN105740872B (zh) | 图像特征提取方法及其装置 | |
JP6410450B2 (ja) | オブジェクト識別装置、オブジェクト識別方法及びプログラム | |
KR20170108339A (ko) | 영상에서 다수의 객체를 인식하는 방법 | |
JP4625949B2 (ja) | 物体追跡方法および物体追跡装置ならびにプログラム | |
KR101769741B1 (ko) | 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치 | |
KR101916460B1 (ko) | 깊이 정보를 이용한 물체 인식 방법 및 장치 | |
JP5027201B2 (ja) | テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
JP6540577B2 (ja) | 物体認識装置 | |
JP2014010633A (ja) | 画像認識装置、画像認識方法、及び画像認識プログラム | |
KR101521136B1 (ko) | 얼굴 인식 방법 및 얼굴 인식 장치 | |
EP2541469B1 (en) | Image recognition device, image recognition method and image recognition program | |
Creusot et al. | 3D landmark model discovery from a registered set of organic shapes | |
CN106340038B (zh) | 一种基于单目图像中物体的深度次序推理方法 | |
KR102035245B1 (ko) | 타겟 마커 위치 추정 장치 및 방법 | |
WO2024047847A1 (ja) | 検出装置、検出方法、および検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180724 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190429 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6528723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |