JP5928748B2 - 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法 - Google Patents

同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法 Download PDF

Info

Publication number
JP5928748B2
JP5928748B2 JP2014156930A JP2014156930A JP5928748B2 JP 5928748 B2 JP5928748 B2 JP 5928748B2 JP 2014156930 A JP2014156930 A JP 2014156930A JP 2014156930 A JP2014156930 A JP 2014156930A JP 5928748 B2 JP5928748 B2 JP 5928748B2
Authority
JP
Japan
Prior art keywords
virtual center
coordinates
points
recognition target
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014156930A
Other languages
English (en)
Other versions
JP2016033775A (ja
Inventor
中野 宏毅
宏毅 中野
由美 森
由美 森
千明 大石
千明 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2014156930A priority Critical patent/JP5928748B2/ja
Priority to US14/806,095 priority patent/US9704061B2/en
Priority to US14/865,636 priority patent/US9483712B2/en
Publication of JP2016033775A publication Critical patent/JP2016033775A/ja
Application granted granted Critical
Publication of JP5928748B2 publication Critical patent/JP5928748B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像中の物体認識に関するものである。
より具体的には、同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法に関するものである。
近年、キーポイントと呼ばれる、回転・拡大縮小に不変な局所画像特徴を用いた物体認識が実用化の域に達してきている(非特許文献1、非特許文献2)。
SIFTと呼ばれる非特許文献1の手法では、画像に複数の空間的スケールをもつガウスフィルタを作用させて、隣接するスケールのフィルタ出力画像の差分をとり、DoG (Difference of Gaussians)と呼ばれる画像セットを得る。
DoG画像の絶対値が空間方向およびスケール方向で共に極大になる座標をキーポイントとよび、濃淡パターンのある画像では、通常、複数のキーポイントが検出される。
キーポイントの周囲の画素の濃度勾配より、キーポイントの方向が求められ、DoGの極大となるスケールが、キーポイントのスケールとなる。
キーポイントの周囲の画素を16ブロックに分割してそのブロックに含まれる画素の濃淡ヒストグラムをとり、キーポイントの特徴量とする。
SIFTでは、特徴量は実数の要素をもつ128次元のベクトルとして表現される。
oFASTと呼ばれる非特許文献2の手法では、キーポイントとして画像の濃淡パターンのコーナー部分が使用される。
oFASTでは、SIFT同様、スケールと方向とを有する。
図1は、従来技術であるoFASTを使用したキーポイントの検出例を示す模式図である。
この検出例では、図1(a)の画像を辞書画像とし、この辞書画像のパターンを認識対象物体としている。
図1(b)には、検出されたキーポイントが示されており、斜線で示された円(○)が検出されたキーポイントである。
非特許文献1、非特許文献2ともに、辞書画像に含まれる認識対象物体が、検索対象画像中に含まれるかどうかを高精度に判定可能な手法である。
しかし、例えば、店頭の商品の認識のようなケースでは、検索対象画像中に複数の認識対象物体が存在する。
このような場合において、既知の手法に従っても、認識対象物体の存在の有無は判定できる。
しかし、認識対象物体の個数や、検索対象画像中での各物体の位置および向きを求めることまではできない。
本願において開示される発明は、複数の認識対象物体が検索対象画像に存在する場合に、それぞれの認識対象物体の検索対象画像中での個数、位置および向きを精度良く求める手法を考案したものである。
既知の手段として、検索対象画像から認識対象物体を検出する方法は次のような手順となる。
まず、認識対象物体を含む辞書画像の複数のキーポイントおよびその特徴ベクトルを求め、同様に検索対象画像の複数のキーポイントおよびその特徴ベクトルを求める。
次に、2つの画像のキーポイントを総当り方式で、特徴ベクトル間の距離を求め、距離がしきい値以下で、かつ、最も距離の近いキーポイントのペアを求める。
このようなキーポイントのペアを、キーポイントペアと呼ぶ。
図2は、従来技術において、検出されたキーポイントから認識対象物体を検出した結果を示す模式図である。
図1(b)のように検出されたキーポイントから、キーポイントペアの数があるしきい値以上の場合、キーポイントペアとなっている検索対象画像のキーポイントの重心座標を求める。
図2(b)に太線で示されている円は、キーポイントの重心座標を中心とした円である。
その座標のまわりに認識対象物体があるものと判定する。
この既知の手段の問題点は、キーポイントは認識対象物体上に均一に分布するとは限らないので、キーポイントの密度の高い領域に重心座標が偏ることである。
このことにより、辞書画像の中心と、重心座標が一致しないことにある。
従って、インクジェットによるマーキングや、ロボットによる物体ピッキングなどの、物体の位置精度を必要とする用途においては使用できない、という問題がある。
既知の手段のさらなる問題点は、検索対象画像中に複数の認識対象物体が存在する場合に、キーポイントの重心座標を求めるだけでは、物体の個数、位置、傾きが検出できないことである。
図3は、従来技術において、検索対象画像中から複数の認識対象物体を検出した結果を示す模式図である。
この検出結果では、認識対象物体が4個であるのに対して、太線で示されている円が2個であり、隣接した認識対象物体を区別できていない。
キーポイントの探索範囲を限定して、複数の物体を区別する方法も考えられるが、キーポイントの探索範囲は、認識対象物体のサイズと同程度である必要がある。
このため、店頭での商品の識別など、隣接する複数の認識対象と区別することは困難である(図3)。
特許文献1には、パターンマッチングの技術に関し、特徴パターンを利用すること、および、対象画像中の基準点の候補となる座標を数式により求めることを開示している。
しかしながら、特許文献1において開示されている数式は、本発明が要点として用いている数式とは異なる。
特許文献2および特許文献3もパターンマッチングの技術に関するものであるが、本願において開示される発明の要点、概要に関連する記載はなく参考文献にすぎない。
特許文献4は、非特許文献1の内容に対応した特許文献である。
日本国特許第4097255号(特開2004−192506 − 出願から18ヶ月経過後の日本国における強制的な公開) 日本国特許第2984267号 日本国特開2004−318627 米国特許第6711293B1号
David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," InternationalJournal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004 Ethan Rublee, et.al., "ORB: an efficient alternative to SIFT or SURF," ICCV2011, pp.2564-2571, 2011
本発明の目的は、検索対象画像中に複数の認識対象物体が存在する場合であっても、物体の個数、位置、傾きを検出できるようにすることにある。
既知の手段の問題点を解決するために、キーポイント座標の仮想中心座標への変換手段を利用する。その詳細については、後述する。
本発明に従えば、同一種類の複数の認識対象物体が検索対象画像に存在する場合であっても、それぞれの認識対象物体の検索対象画像中での位置および向きを精度良く求めることができる。
図1は、従来技術であるoFASTを使用したキーポイントの検出例を示す模式図である。 図2は、従来技術において、検出されたキーポイントから認識対象物体を検出した結果を示す模式図である。 図3は、従来技術において、検索対象画像中から複数の認識対象物体を検出した結果を示す模式図である。 図4は、本発明における座標変換を適用するにあたり、辞書画像におけるキーポイントを示す模式図である。 図5は、本発明における座標変換を適用するにあたり、検索対象画像における一致キーポイントと、その仮想中心点を示す模式図である。 図6は、(a)辞書画像におけるキーポイントと、本発明を適用した結果としての、(b)検索対象画像の仮想中心点とを示す模式図である。 図7は、検索対象画像中に複数の認識対象物体がある場合に、本発明を適用した結果を示す模式図である。 図8は、複数の認識対象物体が隣接する場合に、本発明を適用した結果を示す模式図である。
本願では、既知の手段の問題点を解決するために、キーポイント座標の仮想中心座標への変換手段を考案し、その手段を利用している。
以下に、C-1〜C-7にわたって、その手順を説明する。
図4は、本発明における座標変換を適用するにあたり、辞書画像におけるキーポイントを示す模式図である。
点の網掛けで示された円(○)がキーポイントである。
C-1. 辞書画像の複数のキーポイントのスケール Rm 、方向 θm [radian]、および、辞書画像中心からのオフセット(Ox,Oy)を記憶する。
全てのパラメータは、ハードウェア資源としてのコンピュータのメモリ等に、ソフトウェア資源としてのコンピュータプログラムに配列等の形式をもって体系的に記憶して保存しておくことができる。
キーポイントのスケールは、物体のサイズに比例するものとする(図4)。
また、それぞれのキーポイントの特徴量ベクトルを求め、記憶する。
C-2. 同様に、検索対象画像の複数のキーポイントの座標(Tx,Ty)、スケール Rt および方向 θt [radian]を記憶する。
また、それぞれのキーポイントの特徴ベクトルを求める。
C-3. 辞書画像と検索対象画像に含まれるキーポイントを総当り方式で、特徴ベクトル間の距離を求め、距離がしきい値以下で、かつ、最も距離の近いキーポイントのペアを求め、記憶する。
これを「キーポイントペア」と呼ぶ。
図5は、本発明における座標変換を適用するにあたり、検索対象画像における一致キーポイントと、その仮想中心点を示す模式図である。
C-4. キーポイントペアに含まれるすべてのキーポイント座標(Tx,Ty)について、対応する仮想中心点の座標(Fx,Fy)を次のように定義し、計算する(図5)。
Fx=Tx + (Ox・Rt/Rm)(cos (θt - θm) )+(Oy・Rt/Rm)(sin (θt - θm) )
Fy=Ty + (Ox・Rt/Rm)(-sin (θt - θm) )+(Oy・Rt/Rm)(cos (θt - θm) )
図5において、点の網掛けで示された円(○)がキーポイントとは別に、格子の網掛けで示された円(○)が仮想中心点である。
C-5. 仮想中心座標(Fx,Fy)を中心とした所定の半径(r)内に含まれる、他の仮想中心点の数をカウントし、そのカウントを記憶する。
C-6. すべての仮想中心点について、手順C-5を実行し、最もカウント数の多い仮想中心座標(Mx,My)が、対応する辞書画像の画像中心と一致するであろうことを示す候補として記憶する。
C-7. カウントされた仮想中心点の数が所定の閾値(Nc)以上である場合に、検索対象画像の仮想中心座標(Mx,My)付近に辞書画像中に存在する認識対象物体が含まれているものと判定する。
本発明では、検索対象画像中に辞書画像の認識対象物体が含まれる場合、キーポイントペアの仮想中心点群の座標は、ほぼ辞書画像の中心付近に集中するという性質を持つように設計した。
また、(Mx,My)の周囲の複数のキーポイントの方向θt [radian]と、対応する辞書画像のキーポイントの方向 θm[radian]の差θt−θmの平均値が、検索対象画像中の認識対象物体の向きとなる。(図6)。
図6は、(a)辞書画像におけるキーポイントと、本発明を適用した結果としての、(b)検索対象画像の仮想中心点とを示す模式図である。
図6においては、太い線の円の中心が(Mx,My)を示す。
図6においては、格子の網掛けで示されたラインの向きが、認識対象物体の向きを示す。
図6においては、格子で示されたラインの向きは、太い線の円の中心である(Mx,My)から、時計の12時(0時)の方向を指している。
図7は、検索対象画像中に複数の認識対象物体がある場合に、本発明を適用した結果を示す模式図である。
検索対象画像中に複数の認識対象物体が含まれる場合は、複数の座標に仮想中心点群が集中する(図7)。
その個数が、認識対象物体の個数であり、それぞれの仮想中心座標(Mx,My)が、辞書画像の中心に対応する。
検索対象画像中に複数の認識対象物体がある場合。各々の円の中心がそれぞれの認識対象物体の中心となる。
図8は、複数の認識対象物体が隣接する場合に、本発明を適用した結果を示す模式図である。
また、複数の認識対象物体が隣接する場合においても、その個数とそれぞれの仮想中心座標(Mx,My)とを正しく求めることができる(図8)。
複数の認識対象物体が隣接する場合。各々の円の中心がそれぞれの認識対象物体の中心となる。
ここまでに説明してきた本発明の技術的思想としての特徴は、コンピュータに実行させる手法(方法、システム、コンピュータプログラム)として実現することができる。
辞書画像データの提供、座標変換の計算、仮想中心点のカウント、カウントされた数の記憶、などはすべてコンピュータに実行させることができる。
キーポイントを抽出すること、特徴量をベクトルとして表現して記憶しておくことは、コンピュータを利用する上では非常に効率的である。

Claims (15)

  1. コンピュータに実行させることで、対象画像上に1つ以上の認識対象パターンが含まれているかどうかを判定する方法であって、
    (a)認識対象パターンを含む辞書画像データであって、さらに、その認識対象パターン上の複数の特徴点について、特徴ベクトルの大きさ(Rm)および方向(θm)を含んでおり、かつ、画像中心の座標からその特徴点の座標へのオフセット(Ox、Oy)を含んでいる、辞書画像データを提供するステップと、
    (b)対象画像上の複数の特徴点の座標(Tx、Ty)について、特徴ベクトルの大きさ(Rt)および方向(θt)を提供するステップと、
    (c)対象画像上において、Tx、Ty、Ox、Oy、Rm、Rt、θm、θtから導かれるところの、仮想中心点の座標(Fx、Fy)を計算するステップと、
    (d)仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれる、他の仮想中心点の数をカウントするステップと、
    (e)カウントされた仮想中心点の数が所定の閾値(Nc)以上であるかどうかを判断するステップと、
    (f)所定の閾値(Nc)以上であると判断される場合には、その仮想中心点の座標(Fx、Fy)および、カウントされた仮想中心点の数を(認識対象パターンが含まれるであろうことを示す候補として)記憶する(残しておく)ステップと、
    (g)対象画像における複数の特徴点の全てについて、ステップ(d)〜ステップ(f)を繰り返すステップとを含み、
    ステップ(g)において、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの中心とする、方法。
  2. ステップ(b)における特徴点が、対象画像上の特徴点と、認識対象パターン上の特徴点との、一致特徴点である、
    請求項1に記載の方法。
  3. 対象画像に複数の認識対象パターンが存在する場合は、ステップ(g)において、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの1つの中心として保存し、つぎに、仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれるすべての仮想中心点を除外して、ステップ(g)を繰り返し、すべての仮想中心点の座標(Fx、Fy)について、カウントされた仮想中心点の数が所定の閾値(Nc)未満であれば、ステップ(g)を終了すること、
    を含む、請求項1に記載の方法。
  4. ステップ(c)が、
    Fx=Tx + (Ox・Rt/Rm)(cos (θt - θm) )+(Oy・Rt/Rm)(sin (θt - θm) )
    Fy=Ty + (Ox・Rt/Rm)(-sin (θt - θm) )+(Oy・Rt/Rm)(cos (θt - θm) )
    によって、計算されることを特徴とする、
    請求項1に記載の方法。
  5. コンピュータに実行させることで、対象画像上に1つ以上の認識対象パターンが含まれているかどうかを判定するシステムであって、
    (a)認識対象パターンを含む辞書画像データであって、さらに、その認識対象パターン上の複数の特徴点について、特徴ベクトルの大きさ(Rm)および方向(θm)を含んでおり、かつ、画像中心の座標からその特徴点の座標へのオフセット(Ox、Oy)を含んでいる、辞書画像データを提供し、
    (b)対象画像上の複数の特徴点の座標(Tx、Ty)について、特徴ベクトルの大きさ(Rt)および方向(θt)を提供し、
    (c)対象画像上において、Tx、Ty、Ox、Oy、Rm、Rt、θm、θtから導かれるところの、仮想中心点の座標(Fx、Fy)を計算し、
    (d)仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれる、他の仮想中心点の数をカウントし、
    (e)カウントされた仮想中心点の数が所定の閾値(Nc)以上であるかどうかを判断し、
    (f)所定の閾値(Nc)以上であると判断される場合には、その仮想中心点の座標(Fx、Fy)および、カウントされた仮想中心点の数を(認識対象パターンが含まれるであろうことを示す候補として)記憶し(残しておき)、
    (g)対象画像における複数の特徴点の全てについて、(d)〜(f)を繰り返すことを実行し、
    (g)において、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの中心とする
    システム。
  6. (b)における特徴点が、対象画像上の特徴点と、認識対象パターン上の特徴点との、一致特徴点である、
    請求項に記載のシステム。
  7. 対象画像に複数の認識対象パターンが存在する場合は、(g)において、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの1つの中心として保存し、つぎに、仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれるすべての仮想中心点を除外して、(g)を繰り返し、すべての仮想中心点の座標(Fx、Fy)について、カウントされた仮想中心点の数が所定の閾値(Nc)未満であれば、(g)を終了すること、
    を実行する、請求項に記載のシステム。
  8. (c)が、
    Fx=Tx + (Ox・Rt/Rm)(cos (θt - θm) )+(Oy・Rt/Rm)(sin (θt - θm) )
    Fy=Ty + (Ox・Rt/Rm)(-sin (θt - θm) )+(Oy・Rt/Rm)(cos (θt - θm) )
    によって、計算されることを特徴とする、
    請求項に記載のシステム。
  9. コンピュータに実行させることで、対象画像上に1つ以上の認識対象パターンが含まれているかどうかを判定するプログラムであって、
    (a)認識対象パターンを含む辞書画像データであって、さらに、その認識対象パターン上の複数の特徴点について、特徴ベクトルの大きさ(Rm)および方向(θm)を含んでおり、かつ、画像中心の座標からその特徴点の座標へのオフセット(Ox、Oy)を含んでいる、辞書画像データを提供するステップと、
    (b)対象画像上の複数の特徴点の座標(Tx、Ty)について、特徴ベクトルの大きさ(Rt)および方向(θt)を提供するステップと、
    (c)対象画像上において、Tx、Ty、Ox、Oy、Rm、Rt、θm、θtから導かれるところの、仮想中心点の座標(Fx、Fy)を計算するステップと、
    (d)仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれる、他の仮想中心点の数をカウントするステップと、
    (e)カウントされた仮想中心点の数が所定の閾値(Nc)以上であるかどうかを判断するステップと、
    (f)所定の閾値(Nc)以上であると判断される場合には、その仮想中心点の座標(Fx、Fy)および、カウントされた仮想中心点の数を(認識対象パターンが含まれるであろうことを示す候補として)記憶する(残しておく)ステップと、
    (g)対象画像における複数の特徴点の全てについて、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの中心としてテップ(d)〜ステップ(f)を繰り返すステップと、
    を含み、これらのステップをコンピュータに実行させる、プログラム。
  10. ステップ(b)における特徴点が、対象画像上の特徴点と、認識対象パターン上の特徴点との、一致特徴点である、
    請求項に記載のプログラム。
  11. 対象画像に複数の認識対象パターンが存在する場合は、ステップ(g)において、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの1つの中心として保存し、つぎに、仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれるすべての仮想中心点を除外して、ステップ(g)を繰り返し、すべての仮想中心点の座標(Fx、Fy)について、カウントされた仮想中心点の数が所定の閾値(Nc)未満であれば、ステップ(g)を終了すること、
    を含む、請求項に記載のプログラム。
  12. ステップ(c)が、
    Fx=Tx + (Ox・Rt/Rm)(cos (θt - θm) )+(Oy・Rt/Rm)(sin (θt - θm) )
    Fy=Ty + (Ox・Rt/Rm)(-sin (θt - θm) )+(Oy・Rt/Rm)(cos (θt - θm) )
    によって、計算されることを特徴とする、
    請求項9に記載のプログラム。
  13. コンピュータに実行させることで、対象画像上に1つ以上の認識対象パターンが含まれているかどうかを判定する方法であって、
    認識対象パターンを含む辞書画像データであって、さらに、その認識対象パターン上の複数の特徴点について、特徴ベクトルの大きさ(Rm)および方向(θm)を含んでおり、かつ、画像中心の座標からその特徴点の座標へのオフセット(Ox、Oy)を含んでいる、辞書画像データを提供して、
    対象画像上の複数の特徴点の座標(Tx、Ty)について、特徴ベクトルの大きさ(Rt)および方向(θt)を提供して、
    対象画像上において、Tx、Ty、Ox、Oy、Rm、Rt、θm、θtから導かれるところの、仮想中心点の座標(Fx、Fy)を計算しておき、
    (A)仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれる、
    他の仮想中心点の数をカウントするステップと、
    (B)カウントされた仮想中心点の数が所定の閾値(Nc)以上であるかどうかを判断するステップと、
    (C)所定の閾値(Nc)以上であると判断される場合には、その仮想中心点の座標(Fx、Fy)および、カウントされた仮想中心点の数を(認識対象パターンが含まれるであろうことを示す候補として)記憶する(残しておく)ステップと、
    (D)対象画像における複数の特徴点の全てについて、ステップ(A)〜ステップ(C)を繰り返すステップと、
    を含み、
    ステップ(D)が、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの中心とする、方法。
  14. コンピュータに実行させることで、対象画像上に1つ以上の認識対象パターンが含まれているかどうかを判定する方法であって、
    認識対象パターンを含む辞書画像データであって、さらに、その認識対象パターン上の複数の特徴点について、特徴ベクトルの大きさ(Rm)および方向(θm)を含んでおり、かつ、画像中心の座標からその特徴点の座標へのオフセット(Ox、Oy)を含んでいる、辞書画像データと、
    対象画像上の複数の特徴点の座標(Tx、Ty)について、特徴ベクトルの大きさ(Rt)および方向(θt)と、
    対象画像上において、Tx、Ty、Ox、Oy、Rm、Rt、θm、θtから導かれるところの、仮想中心点の座標(Fx、Fy)を計算して提供しておき、
    仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれる、他の仮想中心点の数をカウントするステップと、
    カウントされた仮想中心点の数が所定の閾値(Nc)以上であるかどうかを判断するステップと、
    所定の閾値(Nc)以上であると判断される場合には、その仮想中心点の座標(Fx、Fy)および、カウントされた仮想中心点の数を(認識対象パターンが含まれるであろうことを示す候補として)記憶する(残しておく)ステップであって、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの中心とするステップとを含む、方法。
  15. コンピュータに実行させることで、対象画像上に1つ以上の認識対象パターンが含まれているかどうかを判定するシステムであって、
    認識対象パターンを含む辞書画像データであって、さらに、その認識対象パターン上の複数の特徴点について、特徴ベクトルの大きさ(Rm)および方向(θm)を含んでおり、かつ、画像中心の座標からその特徴点の座標へのオフセット(Ox、Oy)を含んでいる、辞書画像データと、
    対象画像上の複数の特徴点の座標(Tx、Ty)について、特徴ベクトルの大きさ(Rt)および方向(θt)と、
    対象画像上において、Tx、Ty、Ox、Oy、Rm、Rt、θm、θtから導かれるところの、仮想中心点の座標(Fx、Fy)とを保存しておき、
    仮想中心点の座標(Fx、Fy)を中心とした所定の半径(r)内に含まれる、他の仮想中心点の数をカウントすることと、
    カウントされた仮想中心点の数が所定の閾値(Nc)以上であるかどうかを判断することと、
    所定の閾値(Nc)以上であると判断される場合には、その仮想中心点の座標(Fx、Fy)および、カウントされた仮想中心点の数を、カウントされた仮想中心点の数が最大の仮想中心点の座標(Fx、Fy)を認識対象パターンの中心として(認識対象パターンが含まれるであろうことを示す候補として)記憶する(残しておく)ことと、
    を実行する、システム。
JP2014156930A 2014-07-31 2014-07-31 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法 Expired - Fee Related JP5928748B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014156930A JP5928748B2 (ja) 2014-07-31 2014-07-31 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法
US14/806,095 US9704061B2 (en) 2014-07-31 2015-07-22 Accurately determining the position and orientation of each of a plurality of identical recognition target objects in a search target image
US14/865,636 US9483712B2 (en) 2014-07-31 2015-09-25 Method for accurately determining the position and orientation of each of a plurality of identical recognition target objects in a search target image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014156930A JP5928748B2 (ja) 2014-07-31 2014-07-31 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法

Publications (2)

Publication Number Publication Date
JP2016033775A JP2016033775A (ja) 2016-03-10
JP5928748B2 true JP5928748B2 (ja) 2016-06-01

Family

ID=55180364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014156930A Expired - Fee Related JP5928748B2 (ja) 2014-07-31 2014-07-31 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法

Country Status (2)

Country Link
US (2) US9704061B2 (ja)
JP (1) JP5928748B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
JP5928748B2 (ja) 2014-07-31 2016-06-01 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法
CN108399382A (zh) * 2018-02-13 2018-08-14 阿里巴巴集团控股有限公司 车险图像处理方法和装置
US10628686B2 (en) * 2018-03-12 2020-04-21 Waymo Llc Neural networks for object detection and characterization
CN110909580B (zh) * 2018-09-18 2022-06-10 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
CN109377484B (zh) * 2018-09-30 2022-04-22 杭州依图医疗技术有限公司 一种检测骨龄的方法及装置
CN111753796B (zh) * 2020-06-30 2024-03-08 北京爱奇艺科技有限公司 图像中关键点的识别方法、装置、电子设备及存储介质
CN112001889A (zh) * 2020-07-22 2020-11-27 杭州依图医疗技术有限公司 医学影像处理方法、装置及医学影像显示方法
CN112634344B (zh) * 2020-12-15 2022-08-30 西安理工大学 一种基于机器视觉的冷轧带卷轴孔中心位置的检测方法
CN113213054B (zh) * 2021-05-12 2023-05-30 深圳市海柔创新科技有限公司 取放货装置的调整方法、装置、设备、机器人及仓储系统
CN115797964A (zh) * 2021-09-08 2023-03-14 广州视源电子科技股份有限公司 一种行为识别方法、装置、设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2984267B1 (ja) 1998-12-25 1999-11-29 日東精工株式会社 対象物の画像処理方法
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
JP4097255B2 (ja) 2002-12-13 2008-06-11 大日本スクリーン製造株式会社 パターンマッチング装置、パターンマッチング方法およびプログラム
JP2004318627A (ja) 2003-04-18 2004-11-11 Nippon Telegr & Teleph Corp <Ntt> 物体識別装置、方法、プログラムおよびプログラムを記録した媒体
US7623734B2 (en) * 2004-09-30 2009-11-24 Microsoft Corporation Method and system for automatically inscribing noisy objects in scanned image data within a minimum area rectangle
JP4042780B2 (ja) * 2005-11-04 2008-02-06 オムロン株式会社 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置
US8098936B2 (en) 2007-01-12 2012-01-17 Seiko Epson Corporation Method and apparatus for detecting objects in an image
US9269023B2 (en) * 2012-05-31 2016-02-23 Sharp Laboratories Of America, Inc. Edge based location feature index matching
WO2014002554A1 (ja) * 2012-06-29 2014-01-03 日本電気株式会社 画像処理装置、画像処理方法、及びプログラム
JP2014215877A (ja) * 2013-04-26 2014-11-17 株式会社デンソー 物体検出装置
JP5928748B2 (ja) 2014-07-31 2016-06-01 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法

Also Published As

Publication number Publication date
JP2016033775A (ja) 2016-03-10
US20160034781A1 (en) 2016-02-04
US9483712B2 (en) 2016-11-01
US9704061B2 (en) 2017-07-11
US20160034760A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
JP5928748B2 (ja) 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法
Buch et al. Rotational subgroup voting and pose clustering for robust 3d object recognition
Steder et al. Point feature extraction on 3D range scans taking into account object boundaries
US10311596B2 (en) Image processing device, robot, robot system, and marker
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
JP6889865B2 (ja) テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム
do Nascimento et al. On the development of a robust, fast and lightweight keypoint descriptor
Cordes et al. High-resolution feature evaluation benchmark
KR20130127868A (ko) 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템
JP6474210B2 (ja) 大規模画像データベースの高速検索手法
Zhang et al. Discriminative image warping with attribute flow
JP5743935B2 (ja) 対象物検出装置および対象物検出方法
CN105719272B (zh) 保持空间结构的图像特征点匹配方法
KR101528757B1 (ko) 이분된 로컬 영역을 가지는 윤곽선 분할 기반 특징을 이용한 물체 인식 방법
CN110390337A (zh) 一种舰船个体识别方法
Zhao et al. Improved keypoint descriptors based on Delaunay triangulation for image matching
Kang et al. An automatic airborne image mosaicing method based on the SIFT feature matching
EP2993623A1 (en) Apparatus and method for multi-object detection in a digital image
Krajnık et al. Image features for long-term mobile robot autonomy
EP3113077B1 (en) Method for image feature point description
JP2017182600A (ja) 物体認識装置
JP6884546B2 (ja) 属性判定装置、属性判定方法、コンピュータプログラム、及び記録媒体
Xu et al. DFOB: Detecting and describing features by octagon filter bank for fast image matching
JP6668775B2 (ja) 局所特徴量抽出装置
JP6586852B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20160108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160112

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160412

R150 Certificate of patent or registration of utility model

Ref document number: 5928748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees