JP6245880B2 - 情報処理装置および情報処理手法、プログラム - Google Patents
情報処理装置および情報処理手法、プログラム Download PDFInfo
- Publication number
- JP6245880B2 JP6245880B2 JP2013159176A JP2013159176A JP6245880B2 JP 6245880 B2 JP6245880 B2 JP 6245880B2 JP 2013159176 A JP2013159176 A JP 2013159176A JP 2013159176 A JP2013159176 A JP 2013159176A JP 6245880 B2 JP6245880 B2 JP 6245880B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- detection
- detection candidate
- measurement region
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/753—Transform-based matching, e.g. Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Description
本発明における第1の実施形態について説明する。本実施形態は山積みされた物体のピッキングタスクを想定しており、本発明における情報処理装置は、山積みされた物体を撮影した画像において、次にピッキングを行う対象物体の位置姿勢を提示する。このときに、撮影された画像に映っている複数の物体のうち、適切に見えている領域が大きい検出候補物体を優先的に提示することを目的とする。
ステップS301では、候補物体検出部110は、検出対象物体が含まれる入力画像3101に対して、分類対象点(計測領域)を設定する。ここで設定する分類対象点は、入力画像上の全ての画素であることが望ましいが、計算量削減のためサンプリングを行ってもよい。また分類対象点は、複数の画素からなる領域であってもよい。
ステップS302では、学習辞書3102を用いて、ステップS301で設定した全ての分類対象点を、分類木集合の各リーフに分類する。図2(c)に示す分類木t1、t2、t3における分類対象点411および、412についての分類結果を図4(b)に示す。
ステップS303では、各分類対象点はそれぞれの分類木で分類されたリーフに含まれる学習画像が持つオフセット位置へ姿勢情報の投票を行う(推定)。
ステップS304では入力画像内の各画素への投票を調べ、投票数が多い画素を検出候補物体の検出位置、投票された姿勢情報をその検出候補物体の姿勢とし、検出候補物体の位置姿勢の情報を出力する。
まず、ステップS501で、検出候補物体に対して分割部分領域情報を設定する。なお、分割部分領域情報は、検出候補物体を検出した後に、それぞれの検出候補物体に対応するあらかじめ用意された姿勢画像に対して設定してもよい。また、あらかじめ用意された検出対象物体における複数の異なる姿勢画像全てに対して事前に設定しておいてもよい。
ステップS502では、候補物体検出部110における、ステップS303で行った投票結果を参照し、各分類対象点の投票先情報として、それぞれの分類対象点が投票した姿勢情報を取得する。
ステップS503では、ステップS501で設定した分割部分領域ごとに、ステップS502で取得した各分類対象点における姿勢情報を参照する。そして、分割部分領域内における検出された姿勢への投票の有無に応じて、各分割部分領域の検出寄与度として、0、または1を設定する。
本発明における第2の実施形態について説明する。本実施形態においては、局所領域からの投票において、投票先に応じた重みづけを行うことで特徴のない領域からの投票結果を有効に利用し、検出信頼度の精度を向上させることが可能となる。
ステップS801では、検出候補物体に対して分割部分領域情報を設定する。ここでの処理は、第1の実施形態におけるステップS501の処理と同様である。
ステップS802の処理については、第1の実施形態におけるステップS502と同様に、検出対象物体上の各分類対象点が投票した姿勢情報を取得する。
ステップS803では、投票先情報に応じて各分割部分領域の部分領域検出尤度を設定する処理を行う。第1の実施形態では正しい姿勢情報へ投票した分類対象点の有無にのみ着目して部分領域検出尤度を設定した。
本発明における第3の実施形態について説明する。
ステップS1101では、検出尤度算出部120で算出した各分割部分領域における投票先情報に基づき、分割部分領域の分布状態を評価する。本実施形態では、分布情報として各分割部分領域の相対座標情報と部分領域検出尤度情報を持つものとする。例えば図10(b)に示す入力画像1010において、分割部分領域1001の位置をワークWAの基準点とすると、分割部分領域1001は相対座標情報(0,0)と検出尤度情報1を、分割部分領域1002は相対座標情報(3,2)と検出尤度情報0を持つ。
、
)としたとき、
ステップS1102では、ステップS1001で算出した分布情報と検出候補物体の正解分布情報とに基づき、検出信頼度を算出する。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態
の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介し
てシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUや
MPU等)がプログラムを読み出して実行する処理である。
Claims (14)
- 複数の検出候補物体を含む画像を入力する入力手段と、
前記複数の検出候補物体に設定される計測領域ごとに、前記検出候補物体の姿勢を推定る推定手段と、
前記計測領域ごとに推定される検出候補物体の姿勢に基づいて、該検出候補物体の姿勢を特定する特定手段と、
前記計測領域ごとに推定される検出候補物体の姿勢と前記特定される検出候補物体の姿勢との対応に基づいて、前記複数の検出候補物体から検出するべき物体を決定する決定手段とを備えることを特徴とする情報処理装置。 - 前記決定手段は、更に、前記計測領域ごとに推定される前記検出候補物体の姿勢と前記特定される検出候補物体の姿勢との対応に基づいて、前記特定される検出候補物体の姿勢に対する信頼度を導出する導出手段とを備え、
前記導出される信頼度に基づいて、前記複数の検出候補物体から検出するべき物体を決定することを特徴とする請求項1に記載の情報処理装置。 - 更に、前記導出手段は、前記計測領域ごとに推定される前記検出候補物体の姿勢と前記特定される前記検出候補物体の姿勢との対応に基づいて、前記計測領域ごとに推定される前記検出候補物体の姿勢に対する尤度を前記計測領域または前記計測領域を含む領域ごとに導出し、該導出される尤度に基づいて前記信頼度を導出することを特徴とする請求項2に記載の情報処理装置。
- 前記導出手段は、前記計測領域または前記計測領域を含む領域ごとに導出される尤度を加算し、該加算された尤度に基づいて前記信頼度を導出することを特徴とする請求項3に記載の情報処理装置。
- 前記導出手段は、前記計測領域または前記計測領域を含む領域の前記物体上における位置に応じて、前記尤度の導出に重みづけを行うことを特徴とする請求項3または4のいずれか1項に記載の情報処理装置。
- 前記重みづけは、前記計測領域または前記計測領域を含む領域が、前記物体のエッジが存在する領域であった場合、前記物体のエッジが存在しない領域であった場合よりも重みを大きくすることにより行われることを特徴とする請求項5に記載の情報処理装置。
- 前記導出手段は、
更に、前記導出される尤度の分布を評価する評価手段を備え、
前記決定手段は、前記信頼度と前記尤度の分布とのうち少なくともいずれか一方に基づいて、前記複数の検出候補物体から検出するべき物体を決定することを特徴とする請求項3乃至6のいずれか1項に記載の情報処理装置。 - 前記推定手段は、テンプレートマッチングまたは決定木により前記検出候補物体の姿勢を推定することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記信頼度は、前記検出候補物体が遮蔽されていないことを示す指標であることを特徴とする請求項2乃至7のいずれか1項に記載の情報処理装置。
- 物体を含む画像を入力する入力手段と、
前記物体上の領域に複数の計測領域を設定する設定手段と、
前記設定される計測領域ごとに、前記物体の姿勢を推定する推定手段と、
前記計測領域ごとに推定される物体の姿勢に基づいて、該物体の姿勢を特定する特定手段と、
前記計測領域ごとに推定される物体の姿勢と前記特定される物体の姿勢との対応に基づいて、前記特定される物体の姿勢に対する信頼度を導出する導出手段と、
前記導出される信頼度に基づいて、検出するべき物体を決定する決定手段とを備えることを特徴とする情報処理装置。 - 前記導出手段は、前記信頼度を複数の物体に対して導出し、
前記決定手段は、前記複数の物体に対して導出された信頼度に基づいて、前記検出するべき物体を決定することを特徴とする請求項10に記載の情報処理装置。 - 複数の検出候補物体を含む画像を入力する入力工程と、
前記複数の検出候補物体に設定される計測領域ごとに、前記検出候補物体の姿勢を推定する推定工程と、
前記計測領域ごとに推定される検出候補物体の姿勢に基づいて、該検出候補物体の姿勢を特定する特定工程と、
前記計測領域ごとに推定される検出候補物体の姿勢と前記特定される検出候補物体の姿勢との対応に基づいて、前記複数の検出候補物体から、検出するべき物体を決定する決定工程とを備えることを特徴とする情報処理方法。 - 物体を含む画像を入力する入力工程と、
前記物体上に設定される計測領域ごとに、前記物体の姿勢を推定する推定手段と、
前記計測領域ごとに推定される物体の姿勢に基づいて、該物体の姿勢を特定する特定工程と、
前記計測領域ごとに推定される物体の姿勢と前記特定される物体の姿勢との対応に基づいて、前記特定される物体の姿勢に対する信頼度を導出する導出工程と、
前記導出される信頼度に基づいて、検出するべき物体を決定する決定工程とを備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載の情報処理装置の各手段として機能させるためのさせるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013159176A JP6245880B2 (ja) | 2013-07-31 | 2013-07-31 | 情報処理装置および情報処理手法、プログラム |
US14/444,939 US10275682B2 (en) | 2013-07-31 | 2014-07-28 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013159176A JP6245880B2 (ja) | 2013-07-31 | 2013-07-31 | 情報処理装置および情報処理手法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015032001A JP2015032001A (ja) | 2015-02-16 |
JP2015032001A5 JP2015032001A5 (ja) | 2016-09-08 |
JP6245880B2 true JP6245880B2 (ja) | 2017-12-13 |
Family
ID=52427729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013159176A Active JP6245880B2 (ja) | 2013-07-31 | 2013-07-31 | 情報処理装置および情報処理手法、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10275682B2 (ja) |
JP (1) | JP6245880B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10318878B2 (en) | 2014-03-19 | 2019-06-11 | Numenta, Inc. | Temporal processing scheme and sensorimotor information processing |
US9721186B2 (en) * | 2015-03-05 | 2017-08-01 | Nant Holdings Ip, Llc | Global signatures for large-scale image recognition |
US9864925B2 (en) | 2016-02-15 | 2018-01-09 | Ebay Inc. | Digital image presentation |
US12008034B2 (en) | 2016-02-15 | 2024-06-11 | Ebay Inc. | Digital image presentation |
JP6796850B2 (ja) * | 2016-04-28 | 2020-12-09 | 国立大学法人電気通信大学 | 物体検出装置、物体検出方法および物体検出プログラム |
DE112017002468T5 (de) | 2016-05-13 | 2019-01-24 | Numenta, Inc. | Schlussfolgern und Lernen basierend auf sensomotorischen Eingabedaten |
CN109923442B (zh) * | 2016-11-08 | 2021-03-12 | 三菱电机株式会社 | 物体检测装置及物体检测方法 |
WO2018175968A1 (en) * | 2017-03-24 | 2018-09-27 | Numenta, Inc. | Location processor for inferencing and learning based on sensorimotor input data |
JP6937995B2 (ja) * | 2018-04-05 | 2021-09-22 | オムロン株式会社 | 物体認識処理装置及び方法、並びに、物体ピッキング装置及び方法 |
US11704087B2 (en) * | 2020-02-03 | 2023-07-18 | Google Llc | Video-informed spatial audio expansion |
WO2022118482A1 (ja) * | 2020-12-04 | 2022-06-09 | 日本電信電話株式会社 | 画像マッチング装置、画像マッチング方法及び画像マッチングプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3300682B2 (ja) * | 1999-04-08 | 2002-07-08 | ファナック株式会社 | 画像処理機能を持つロボット装置 |
JP3654042B2 (ja) | 1999-04-21 | 2005-06-02 | 松下電工株式会社 | 物体特定方法及び装置 |
JP3768174B2 (ja) * | 2002-07-24 | 2006-04-19 | ファナック株式会社 | ワーク取出し装置 |
JP3711105B2 (ja) * | 2002-12-20 | 2005-10-26 | ファナック株式会社 | 3次元計測装置 |
JP4087874B2 (ja) * | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
US7313464B1 (en) * | 2006-09-05 | 2007-12-25 | Adept Technology Inc. | Bin-picking system for randomly positioned objects |
US7957583B2 (en) * | 2007-08-02 | 2011-06-07 | Roboticvisiontech Llc | System and method of three-dimensional pose estimation |
JP5289087B2 (ja) * | 2009-02-10 | 2013-09-11 | ファナック株式会社 | ワーク取り出し装置 |
JP5675214B2 (ja) * | 2010-08-18 | 2015-02-25 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP5685027B2 (ja) * | 2010-09-07 | 2015-03-18 | キヤノン株式会社 | 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム |
US8908913B2 (en) * | 2011-12-19 | 2014-12-09 | Mitsubishi Electric Research Laboratories, Inc. | Voting-based pose estimation for 3D sensors |
DE102012013030A1 (de) * | 2012-06-29 | 2014-04-24 | Liebherr-Verzahntechnik Gmbh | Vorrichtung zum automatischen Entnehmen von in einem Behälter angeordneten Werkstücken |
-
2013
- 2013-07-31 JP JP2013159176A patent/JP6245880B2/ja active Active
-
2014
- 2014-07-28 US US14/444,939 patent/US10275682B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20150036935A1 (en) | 2015-02-05 |
JP2015032001A (ja) | 2015-02-16 |
US10275682B2 (en) | 2019-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6245880B2 (ja) | 情報処理装置および情報処理手法、プログラム | |
US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
CN104123529B (zh) | 人手检测方法及系统 | |
US9576363B2 (en) | Object picking system, object detecting device, object detecting method | |
KR20170030613A (ko) | 터치 분류 | |
JP6278276B2 (ja) | 物体識別装置、物体識別方法、及びプログラム | |
JP2006252162A (ja) | パターン認識装置及びその方法 | |
US10255673B2 (en) | Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis | |
CN111814852B (zh) | 图像检测方法、装置、电子设备和计算机可读存储介质 | |
JP6192088B2 (ja) | 物体検出方法および物体検出装置 | |
JP2018036770A (ja) | 位置姿勢推定装置、位置姿勢推定方法、及び位置姿勢推定プログラム | |
JP2015103188A (ja) | 画像解析装置、画像解析方法及び画像解析プログラム | |
JP2018526754A (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
JP6098498B2 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
JP2021111423A5 (ja) | ||
JP6003367B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN114846513A (zh) | 动作分析系统和动作分析程序 | |
JP6393495B2 (ja) | 画像処理装置および物体認識方法 | |
WO2022137901A1 (ja) | 情報処理装置及び情報処理方法 | |
US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium | |
CN112102397B (zh) | 一种多层零件的定位方法、设备、系统及可读存储介质 | |
CN111275693B (zh) | 一种图像中物体的计数方法、计数装置及可读存储介质 | |
JP2007140729A (ja) | 物品の位置及び姿勢を検出する方法および装置 | |
US20180293467A1 (en) | Method for identifying corresponding image regions in a sequence of images | |
CN114140792B (zh) | 基于动态滑动窗口的微小目标检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160725 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6245880 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |