JP5734000B2 - 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 - Google Patents
物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 Download PDFInfo
- Publication number
- JP5734000B2 JP5734000B2 JP2011018857A JP2011018857A JP5734000B2 JP 5734000 B2 JP5734000 B2 JP 5734000B2 JP 2011018857 A JP2011018857 A JP 2011018857A JP 2011018857 A JP2011018857 A JP 2011018857A JP 5734000 B2 JP5734000 B2 JP 5734000B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- geometric invariant
- geometric
- feature
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図1には、物体識別システム1の一構成例を示す。図1に示すように、物体識別システム1は、識別すべき対象の物体(以下「対象物体」という)および照合用物体を複数視点から撮影した画像データを取得するステレオカメラ10と、画像データからの特徴点位置の抽出や幾何学的不変量の算出や物体識別などを行う物体識別サーバ20と、照合用物体の幾何学的不変量を格納するための照合用データベース30と、物体識別の結果を表示するための表示装置40と、を備えている。
以下、物体識別方法に係る処理として、照合用データベースの作成に係る処理と、対象物体の物体識別に係る処理とを順に説明する。
とおく(ただし、i=(xR,yR)、j=(xL,yL))。
また、この時のヘッセ行列式DetL(j)、DetR(i)も算出する。
ここで、
である。ここで、Dxxはx方向のラプラシアンガウシアンを、Dyyはy方向のラプラシアンガウシアンを、Dxyはガウス関数をx方向とy方向のそれぞれに一次微分したものを、そして,kは正の定数を表す。
そして、ヘッセ行列式(DetL(j)とDetR(i))の大きいもの順に、それぞれをソートする。
との差分ベクトルのユークリッド距離
を算出する。そして、dist(i,j)を最小にする
なる組(imin,jmin)を探索する。
を算出する。ここで、
は、局所領域i∈δiならびにj∈δjでの画素値の平均を表す。この類似度が最小になるときの
を抽出する。
を満たした点を幾何学的不変量算出用の特徴点候補Pkとして抽出する。
と画像の水平ベクトル(1,0)とのなす角の大きさ順に点をソートする。次に、重心Oに最も距離の近い点をCとする。そして、残りの点をなす角の小さい順からA,B,D,E,F,Kと名付ける。
ここで、各点を頂点とする多角形ABCDEFKを考えると、3つの面ABDC、DFEC、CEKAが同一平面にある条件、即ち下記の条件を満たすものを幾何学的不変量が算出可能な7点の組として選択する。
ただし、
は、それぞれ直線ADとBCの交点、直線DEとFCの交点、直線CKとEAの交点を表し、tは正の定数を表す。
また、Gは、
であり、Hは、
である。
ただし、PABCは、点A、B、Cの画像面内での座標をそれぞれ(xA,yA)、(xB,yB)、(xC,yC)である時、下記のように計算される。
この時、7点の組み合わせが左右画像のそれぞれで適切に対応関係がとれていれば、上記の3つの幾何学的不変量は一致するはずであるから、下記の条件を満たすか否かをチェックする。
ここで、Thεは誤差の閾値を表す。
を算出する。
に対し既知の機械学習(ここでは一例としてSVM学習)を行って識別器
を得て、この識別器により、照合用物体がどのカテゴリに識別できるかを学習させる。
ただし、C(n)は、物体識別IDがnの総数を表し、Thctは、物体識別の割合に関する閾値を表す。
Claims (6)
- 複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第1の特徴点抽出手段と、
抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第1の特徴点選択手段と、
選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第1の幾何学的不変量算出手段と、
複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第2の特徴点抽出手段と、
抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第2の特徴点選択手段と、
選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第2の幾何学的不変量算出手段と、
前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別手段と、
を備え、
前記第1の幾何学的不変量算出手段は、前記複数視点のそれぞれの幾何学的不変量が対応している幾何学的不変量を算出する物体識別システム。 - 前記第1の特徴点選択手段は、抽出された前記照合用物体の複数の特徴点から、幾何学的不変量が算出できるための特徴点の配置条件を満たしており、複数視点のそれぞれから抽出された特徴点の対応が正しく取れている特徴点を抽出する、請求項1に記載の物体識別システム。
- 前記第1の幾何学的不変量算出手段は、前記複数視点のそれぞれの幾何学的不変量が対応しているか否かのチェックを行う一致性チェック手段を含む、請求項1又は2に記載の物体識別システム。
- 物体識別システムによって実行される物体識別方法であって、
複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第1の特徴点抽出ステップと、
抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第1の特徴点選択ステップと、
選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第1の幾何学的不変量算出ステップと、
複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第2の特徴点抽出ステップと、
抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第2の特徴点選択ステップと、
選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第2の幾何学的不変量算出ステップと、
前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別ステップと、
を備え、
前記第1の幾何学的不変量算出ステップにおいては、前記複数視点のそれぞれの幾何学的不変量が対応している幾何学的不変量を算出する物体識別方法。 - 複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出手段と、
抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出手段と、
を備える特徴点位置抽出システム。 - 特徴点位置抽出システムによって実行される特徴点位置抽出方法であって、
複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出ステップと、
抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出ステップと、
を備える特徴点位置抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011018857A JP5734000B2 (ja) | 2011-01-31 | 2011-01-31 | 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011018857A JP5734000B2 (ja) | 2011-01-31 | 2011-01-31 | 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012159990A JP2012159990A (ja) | 2012-08-23 |
JP5734000B2 true JP5734000B2 (ja) | 2015-06-10 |
Family
ID=46840480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011018857A Active JP5734000B2 (ja) | 2011-01-31 | 2011-01-31 | 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5734000B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10398386B2 (en) | 2012-09-12 | 2019-09-03 | Heartflow, Inc. | Systems and methods for estimating blood flow characteristics from vessel geometry and physiology |
US10433740B2 (en) | 2012-09-12 | 2019-10-08 | Heartflow, Inc. | Systems and methods for estimating ischemia and blood flow characteristics from vessel geometry and physiology |
US9135381B2 (en) | 2013-05-10 | 2015-09-15 | Stenomics, Inc. | Modeling and simulation system for optimizing prosthetic heart valve treatment |
JP6092012B2 (ja) * | 2013-06-18 | 2017-03-08 | 株式会社Nttドコモ | 物体識別システムおよび物体識別方法 |
US9092743B2 (en) | 2013-10-23 | 2015-07-28 | Stenomics, Inc. | Machine learning system for assessing heart valves and surrounding cardiovascular tracts |
-
2011
- 2011-01-31 JP JP2011018857A patent/JP5734000B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012159990A (ja) | 2012-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | City-scale landmark identification on mobile devices | |
Baatz et al. | Leveraging 3D city models for rotation invariant place-of-interest recognition | |
US8780110B2 (en) | Computer vision CAD model | |
Bao et al. | Semantic structure from motion | |
Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
Zia et al. | Detailed 3d representations for object recognition and modeling | |
Aldoma et al. | OUR-CVFH–oriented, unique and repeatable clustered viewpoint feature histogram for object recognition and 6DOF pose estimation | |
US10210423B2 (en) | Image match for featureless objects | |
US9324151B2 (en) | System and methods for world-scale camera pose estimation | |
US8406532B2 (en) | Image matching using line signature | |
WO2015161816A1 (en) | Three-dimensional facial recognition method and system | |
Taira et al. | Is this the right place? geometric-semantic pose verification for indoor visual localization | |
Mian et al. | Automatic 3d face detection, normalization and recognition | |
US20110273442A1 (en) | Recognition and pose determination of 3d objects in 3d scenes | |
Tombari et al. | Hough voting for 3d object recognition under occlusion and clutter | |
Zia et al. | Revisiting 3d geometric models for accurate object shape and pose | |
JP4709668B2 (ja) | 3次元物体認識システム | |
Hernández-Vela et al. | BoVDW: Bag-of-Visual-and-Depth-Words for gesture recognition | |
JP2023015989A (ja) | 物品識別および追跡システム | |
JP5734000B2 (ja) | 物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法 | |
JP2012043308A (ja) | 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム | |
Shan et al. | Shapeme histogram projection and matching for partial object recognition | |
Hassner et al. | When standard RANSAC is not enough: cross-media visual matching with hypothesis relevancy | |
Sahin et al. | A learning-based variable size part extraction architecture for 6D object pose recovery in depth images | |
JP6092012B2 (ja) | 物体識別システムおよび物体識別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140408 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5734000 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |