JP6935207B2 - 物体判定装置、物体判定方法、およびプログラム - Google Patents
物体判定装置、物体判定方法、およびプログラム Download PDFInfo
- Publication number
- JP6935207B2 JP6935207B2 JP2017037441A JP2017037441A JP6935207B2 JP 6935207 B2 JP6935207 B2 JP 6935207B2 JP 2017037441 A JP2017037441 A JP 2017037441A JP 2017037441 A JP2017037441 A JP 2017037441A JP 6935207 B2 JP6935207 B2 JP 6935207B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- feature amount
- sequence
- comparative
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
また、特許文献1には、三次元モデルから合成された画像を用いて、物体認識分類器のトレーニングを行う技術が開示されている。
本発明の目的は、物体判定の事前準備にかかる時間を削減することができる物体判定装置、物体判定方法、およびプログラムを提供することにある。
〈第1の実施形態〉
図1は、第1の実施形態に係る物体判定システムの構成を示す概略ブロック図である。
物体判定システム100は、撮影装置10、物体判定装置20、表示装置30を備える。物体判定装置20は、撮影装置10が撮影した画像データに写る物体が、既知の複数の物体のいずれに合致するかを判定し、その判定結果を表示装置30に出力する。以下、ある物体が既知の複数の物体のいずれに合致するかを判定することを、「同定」ともいう。また、撮影装置10が撮影した画像データを対象画像データという。
さらに、レンダリング部202は、回転軸の角度を異ならせて、複数の二次元画像データ列を生成する。なお、回転軸は、仮想視点の視線方向に交差する。
出力部210は、判定部209による判定結果を表示装置30に出力する。
物体判定装置20は、物体を同定するために、予め既知の物体に係る情報を記憶しておく必要がある。物体判定装置20は、利用者の操作に従って、既知の物体に係る情報を登録する物体登録処理を実行する。
上記物体登録処理により、物体判定装置20の比較特徴量記憶部204には、図4に示すように、物体の識別情報である物体IDごとに、かつ回転軸の角度ごとに、比較特徴量列が記録される。なお、図4に示す例では、比較特徴量列を構成する各回転角の比較特徴量を二次元画像データで模式的に表しているが、実際には比較特徴量として数値を要素とするベクトルが格納される。
上記物体登録処理により、複数の物体に係る比較特徴量列が比較特徴量記憶部204に記録されると、物体判定装置20は、物体判定処理の実行が可能になる。
これにより、表示装置30は、撮影装置10によって撮影された対象物体の物体IDを表示する。
以下に、本構成の作用について説明する。ある角度から見た既知の物体に係る比較画像特徴量と、他の角度から見た対象物体に係る対象画像特徴量とがたまたま類似する場合、当該比較画像特徴量と当該対象画像特徴量の類似度は高くなる。特徴量列の並び順に関わりなく単に画像特徴量どうしの類似度を算出する場合、既知の物体と対象物体との正しい組み合わせのみならず、上記組み合わせに係る類似度も、高く算出される可能性がある。一方で、上述した特徴量列どうしの類似度を算出することで、比較画像特徴量と対象画像特徴量とがたまたま類似する角度から、既知の物体および対象物体をさらに回転させたときの類似度が、特徴量列どうしの類似度に反映される。したがって、ある角度から見た既知の物体に係る比較画像特徴量と、他の角度から見た対象物体に係る対象画像特徴量とがたまたま類似する場合に、当該比較画像特徴量と当該対象画像特徴量の類似度が高くなることを防ぐことができる。
なお、他の実施形態においては、物体判定装置20は、弾性マッチングによらずに類似度を算出してもよい。例えば、物体判定装置20は、比較特徴量列を構成する比較特徴量と対象特徴量列を構成する対象特徴量とを並べ替えずに一対一に比較することで、特徴量列どうしの類似度を算出してもよい。この場合、比較特徴量列に係る回転角度の幅と対象特徴量列に係る回転角度の幅を揃えることが好ましい。例えば、物体判定装置20の比較特徴量算出部203および対象特徴量算出部207が、隣り合う特徴量どうしの類似度が一定の基準値より低くなるように特徴量列を生成することで、特徴量列どうしの並び順を揃えることができる。例えば、比較特徴量算出部203または対象特徴量算出部207は、ある物体ついて、第1の角度(例えば0度)に係る特徴量と第2の角度(例えば22.5度)に係る特徴量との類似度を比較し、類似度が基準値より高い場合には第2の角度に係る特徴量を特徴量列に含めず、さらに回転角を増加させる。他方、第1の角度に係る特徴量と第2の角度に係る特徴量との類似度が基準値より低い場合には第2の角度に係る特徴量を特徴量列に追加する。上記手順を物体が1周回転するまで実行することで、特徴量列を生成することで、比較特徴量列と対象特徴量列との回転角度の幅を揃えることができる。
なお、他の実施形態においてはこれに限られず、物体判定装置20は、一の回転軸に係る比較特徴量列と対象特徴量列の比較により、既知の物体と対象物体とが一致するかを判定してもよい。この場合、利用者は、対象物体を予め定められた回転方向に回転させる。
例えば、上述した実施形態では、物体判定装置20は、対象物体の物体IDを特定する、すなわち対象物体の同定をするが、これに限られない。他の実施形態に係る物体判定装置20は、対象物体が一の目的物体であるか否かを判定するものであってよい。例えば、ある工場において、製品の組み立てにある目的部品を用いる必要がある場合に、物体判定装置20は撮影された対象物体が目的部品と一致するか否かを判定してもよい。この場合、ステップS103において、比較特徴量取得部205は、目的部品に係る比較特徴量列のみを取得し、類似度算出部208は、当該比較特徴量列について対象特徴量列との類似度を算出すればよい。
コンピュータ90は、CPU91、主記憶装置92、補助記憶装置93、インタフェース94を備える。
上述の物体判定装置20は、コンピュータ90に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置93に記憶されている。CPU91は、プログラムを補助記憶装置93から読み出して主記憶装置92に展開し、当該プログラムに従って上記処理を実行する。また、CPU91は、プログラムに従って、上述した各比較特徴量記憶部204に対応する記憶領域を主記憶装置92または補助記憶装置93に確保する。
10 撮影装置
20 物体判定装置
30 表示装置
201 データ入力部
202 レンダリング部
203 比較特徴量算出部
204 比較特徴量記憶部
205 比較特徴量取得部
206 対象画像取得部
207 対象特徴量算出部
208 類似度算出部
209 判定部
210 出力部
Claims (7)
- 物体の形状を表す三次元図形データを任意の方向から投影するときの原点を示す仮想視点に対する、物体の形状を表す三次元図形データの向きを、前記三次元図形データを中心とする第1回転軸回りに異ならせながら、前記仮想視点から前記三次元図形データを複数回投影することで得られた複数の二次元画像データそれぞれの特徴量である比較特徴量を、前記第1回転軸回りの角度の昇順又は降順に並べた比較特徴量列を取得する比較特徴量取得部と、
視点に対する、判定対象となる対象物体の向きを前記対象物体を中心とする第2回転軸回りに異ならせながら、前記対象物体を前記視点から撮影することで得られる複数の対象画像データを取得する対象画像取得部と、
前記複数の画像データそれぞれの特徴量である対象特徴量を算出し、前記対象特徴量を前記第2回転軸回りの角度の昇順または降順に並べた対象特徴量列を生成する対象特徴量算出部と、
前記比較特徴量列と前記対象特徴量列との類似度を算出する類似度算出部と、
前記類似度に基づいて、前記対象物体と前記比較特徴量列に係る前記物体とが同一の物体であるか否かの判定を行う判定部と
を備える物体判定装置。 - 前記比較特徴量取得部は、前記特徴量を前記三次元図形データの基準方向と前記仮想視点の視線方向とがなす角度の昇順または降順に並べた比較特徴量列を取得し、
前記対象特徴量算出部は、前記特徴量を前記対象画像データの時系列に並べた対象特徴量列を生成し、
前記類似度算出部は、前記比較特徴量列と前記対象特徴量列の類似度を算出する
請求項1に記載の物体判定装置。 - 前記類似度算出部は、前記比較特徴量列と前記対象特徴量列のマッチングを行うことで前記類似度を算出する
請求項2に記載の物体判定装置。 - 前記比較特徴量取得部は、前記比較特徴量を前記三次元図形データの回転軸回りの角度の昇順または降順に並べた比較特徴量列を、前記第1回転軸の角度ごとに取得し、
前記類似度算出部は、前記第1回転軸の角度ごとに、前記比較特徴量列と前記対象特徴量列の類似度を算出する
請求項2または請求項3に記載の物体判定装置。 - 前記比較特徴量取得部は、物体ごとに前記比較特徴量列を取得し、
前記類似度算出部は、前記物体ごとに、前記比較特徴量列と前記対象特徴量列の類似度を算出し、
前記判定部は、前記対象物体と最も高い前記類似度に係る前記物体とが同一の物体であると判定する
請求項1から請求項4の何れか1項に記載の物体判定装置。 - 物体の形状を表す三次元図形データを任意の方向から投影するときの原点を示す仮想視点に対する、物体の形状を表す三次元図形データの向きを、前記三次元図形データを中心とする第1回転軸回りに異ならせながら、前記仮想視点から前記三次元図形データを複数回投影することで得られた複数の二次元画像データそれぞれの特徴量である比較特徴量を、前記第1回転軸回りの角度の昇順又は降順に並べた比較特徴量列を取得することと、
視点に対する、判定対象となる対象物体の向きを前記対象物体を中心とする第2回転軸回りに異ならせながら、前記対象物体を前記視点から撮影することで得られる複数の対象画像データを取得することと、
前記複数の画像データそれぞれの特徴量である対象特徴量を算出し、前記対象特徴量を前記第2回転軸回りの角度の昇順または降順に並べた対象特徴量列を生成することと、
前記比較特徴量列と前記対象特徴量列との類似度を算出することと、
前記類似度に基づいて、前記対象物体と前記比較特徴量列に係る前記物体とが同一の物体であるか否かの判定を行うことと
を含む物体判定方法。 - コンピュータに、
物体の形状を表す三次元図形データを任意の方向から投影するときの原点を示す仮想視点に対する、物体の形状を表す三次元図形データの向きを、前記三次元図形データを中心とする第1回転軸回りに異ならせながら、前記仮想視点から前記三次元図形データを複数回投影することで得られた複数の二次元画像データそれぞれの特徴量である比較特徴量を、前記第1回転軸回りの角度の昇順又は降順に並べた比較特徴量列を取得することと、
視点に対する、判定対象となる対象物体の向きを前記対象物体を中心とする第2回転軸回りに異ならせながら、前記対象物体を前記視点から撮影することで得られる複数の対象画像データを取得することと、
前記複数の画像データそれぞれの特徴量である対象特徴量を算出し、前記対象特徴量を前記第2回転軸回りの角度の昇順または降順に並べた対象特徴量列を生成することと、
前記比較特徴量列と前記対象特徴量列との類似度を算出することと、
前記類似度に基づいて、前記対象物体と前記比較特徴量列に係る前記物体とが同一の物体であるか否かの判定を行うことと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037441A JP6935207B2 (ja) | 2017-02-28 | 2017-02-28 | 物体判定装置、物体判定方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037441A JP6935207B2 (ja) | 2017-02-28 | 2017-02-28 | 物体判定装置、物体判定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142267A JP2018142267A (ja) | 2018-09-13 |
JP6935207B2 true JP6935207B2 (ja) | 2021-09-15 |
Family
ID=63528125
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017037441A Active JP6935207B2 (ja) | 2017-02-28 | 2017-02-28 | 物体判定装置、物体判定方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6935207B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6641396B2 (ja) * | 2018-01-26 | 2020-02-05 | Kpmgコンサルティング株式会社 | 物品分類装置、物品分類システム、物品分類方法及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3101674B2 (ja) * | 1995-12-15 | 2000-10-23 | 岡山大学長 | Cad情報を用いた3次元認識手法及び装置 |
-
2017
- 2017-02-28 JP JP2017037441A patent/JP6935207B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018142267A (ja) | 2018-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11462031B2 (en) | Systems and methods for performing a 3D match search in a 3D database based on 3D primitives and a connectivity graph | |
US9858497B2 (en) | Image-based feature detection using edge vectors | |
CN107810522B (zh) | 实时、基于模型的对象检测及姿态估计 | |
EP3279803B1 (en) | Picture display method and device | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
CN108961149B (zh) | 图像处理方法、装置和系统及存储介质 | |
JP6554900B2 (ja) | テンプレート作成装置及びテンプレート作成方法 | |
KR20190101382A (ko) | 장면의 공동 세그먼테이션 및 3d 복원을 위한 방법 및 디바이스 | |
CN111079565B (zh) | 视图二维姿态模板的构建方法及识别方法、定位抓取系统 | |
JP2010519629A (ja) | 画像内の3次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも1つのキー画像を創出する方法及びデバイス | |
JP6889865B2 (ja) | テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム | |
JP5468824B2 (ja) | 3次元における形状の一致を判定する方法および装置 | |
JP2019114103A (ja) | 物体認識処理装置、物体認識処理方法及びプログラム | |
JP6482130B2 (ja) | 幾何検証装置、プログラム及び方法 | |
JP7033439B2 (ja) | 石垣管理システム、石垣管理方法及びコンピュータプログラム | |
EP3309750B1 (en) | Image processing apparatus and image processing method | |
Maiwald et al. | An automatic workflow for orientation of historical images with large radiometric and geometric differences | |
JP6558803B2 (ja) | 幾何検証装置及びプログラム | |
WO2020151078A1 (zh) | 一种三维重建的方法和装置 | |
JP6935207B2 (ja) | 物体判定装置、物体判定方法、およびプログラム | |
JP2019105992A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
KR20190129433A (ko) | 파노라마 영상 생성 방법 및 그 장치 | |
JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
JP2008204318A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170301 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210825 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6935207 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |