JP6983524B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP6983524B2
JP6983524B2 JP2017058864A JP2017058864A JP6983524B2 JP 6983524 B2 JP6983524 B2 JP 6983524B2 JP 2017058864 A JP2017058864 A JP 2017058864A JP 2017058864 A JP2017058864 A JP 2017058864A JP 6983524 B2 JP6983524 B2 JP 6983524B2
Authority
JP
Japan
Prior art keywords
holding
manipulator
target object
posture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017058864A
Other languages
English (en)
Japanese (ja)
Other versions
JP2018161692A5 (enExample
JP2018161692A (ja
Inventor
大輔 山田
雅博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017058864A priority Critical patent/JP6983524B2/ja
Priority to US15/927,670 priority patent/US10839261B2/en
Publication of JP2018161692A publication Critical patent/JP2018161692A/ja
Publication of JP2018161692A5 publication Critical patent/JP2018161692A5/ja
Application granted granted Critical
Publication of JP6983524B2 publication Critical patent/JP6983524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1628—Program controls characterised by the control loop
    • B25J9/163—Program controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1656—Program controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Program-controlled manipulators
    • B25J9/16—Program controls
    • B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39295—Learn position correction values to be added to reference values
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39536—Planning of hand motion, grasping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
JP2017058864A 2017-03-24 2017-03-24 情報処理装置、情報処理方法およびプログラム Active JP6983524B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017058864A JP6983524B2 (ja) 2017-03-24 2017-03-24 情報処理装置、情報処理方法およびプログラム
US15/927,670 US10839261B2 (en) 2017-03-24 2018-03-21 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017058864A JP6983524B2 (ja) 2017-03-24 2017-03-24 情報処理装置、情報処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2018161692A JP2018161692A (ja) 2018-10-18
JP2018161692A5 JP2018161692A5 (enExample) 2020-05-07
JP6983524B2 true JP6983524B2 (ja) 2021-12-17

Family

ID=63581131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017058864A Active JP6983524B2 (ja) 2017-03-24 2017-03-24 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10839261B2 (enExample)
JP (1) JP6983524B2 (enExample)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3432099B1 (en) * 2017-07-20 2021-09-01 Siemens Aktiengesellschaft Method and system for detection of an abnormal state of a machine
CN111656883B (zh) * 2018-02-09 2021-07-30 株式会社富士 元件图像识别用学习完成模型生成系统及方法
JP7034971B2 (ja) * 2018-11-08 2022-03-14 株式会社東芝 作動システム、制御装置、およびプログラム
US11396101B2 (en) 2018-11-08 2022-07-26 Kabushiki Kaisha Toshiba Operating system, control device, and computer program product
JP7205752B2 (ja) * 2018-11-09 2023-01-17 オムロン株式会社 ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP7207704B2 (ja) * 2018-11-14 2023-01-18 旭鉄工株式会社 学習システム、及びロボット位置調整システム
JP6915605B2 (ja) * 2018-11-29 2021-08-04 オムロン株式会社 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム
JP7044047B2 (ja) * 2018-12-14 2022-03-30 トヨタ自動車株式会社 ロボット
KR102156231B1 (ko) * 2018-12-20 2020-09-15 한국전자기술연구원 혼재 환경에서의 머니퓰레이터 제어장치, 시스템 및 방법
KR102706776B1 (ko) * 2019-02-22 2024-09-19 덱스테러티, 인크. 비강성 패키지에서 연성 제품의 로봇 취급
KR102158989B1 (ko) * 2019-02-25 2020-09-23 군산대학교 산학협력단 기억 모델을 형성하는 방법 및 장치
JP7384898B2 (ja) * 2019-03-13 2023-11-21 日本電気株式会社 情報処理装置、駆動制御方法およびコンピュータプログラム
WO2020194392A1 (ja) * 2019-03-22 2020-10-01 ｃｏｎｎｅｃｔｏｍｅ．ｄｅｓｉｇｎ株式会社 自律型ロボット用教師データ生成コンピュータ、方法及びプログラム
JP2020166371A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 情報処理方法、情報処理装置、物体検出装置およびロボットシステム
DE102019107969B3 (de) * 2019-03-28 2020-08-06 Franka Emika Gmbh Lagewinkelanzeige beim manuellen Führen eines Robotermanipulators
JP7275759B2 (ja) * 2019-03-28 2023-05-18 セイコーエプソン株式会社 物体検出方法、物体検出装置およびロボットシステム
JP7358808B2 (ja) * 2019-07-08 2023-10-11 株式会社リコー ロボットおよび機械学習方法
US11389957B2 (en) 2019-09-30 2022-07-19 Mitsubishi Electric Research Laboratories, Inc. System and design of derivative-free model learning for robotic systems
JP7342614B2 (ja) * 2019-10-25 2023-09-12 オムロン株式会社 劣化判定装置、劣化判定方法、および制御プログラム
JP7376318B2 (ja) 2019-10-30 2023-11-08 ファナック株式会社 アノテーション装置
JP7358257B2 (ja) * 2020-01-28 2023-10-10 住友重機械工業株式会社 制御プログラム生成装置、制御プログラム生成方法、ロール・ツー・ロール搬送システム
US12217489B2 (en) 2020-02-19 2025-02-04 Fanuc Corporation Learning dataset generation device and learning dataset generation method
DE112021001435B4 (de) * 2020-03-05 2025-08-14 Fanuc Corporation Maschinen-Lern-Vorrichtung
US12053887B2 (en) 2020-03-06 2024-08-06 Embodied Intelligence Inc. Imaging process for detecting failures modes
CN111906782B (zh) * 2020-07-08 2021-07-13 西安交通大学 一种基于三维视觉的智能机器人抓取方法
JP7397208B2 (ja) * 2020-08-20 2023-12-12 ファナック株式会社 ロボット制御システム
WO2022208843A1 (ja) * 2021-04-01 2022-10-06 日本電信電話株式会社 学習データ処理装置、学習データ処理方法及び学習データ処理プログラム
CN117355397B (zh) 2021-05-27 2026-06-12 发那科株式会社 基于由视觉传感器拍摄到的图像来计算三维位置的拍摄装置
WO2023058183A1 (ja) * 2021-10-07 2023-04-13 株式会社Fuji 異物除去システム
JP7805748B2 (ja) * 2021-10-22 2026-01-26 株式会社東芝 ピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法
US20240399570A1 (en) 2021-10-25 2024-12-05 Fanuc Corporation Device for generating learning data, method for generating learning data, and machine learning device and machine learning method using learning data
JP7856591B2 (ja) * 2023-02-06 2026-05-11 株式会社日立製作所 ロボットの制御方法及びシステム
KR102690487B1 (ko) * 2023-11-29 2024-07-31 문성훈 스마트 비젼 기술이 적용된 물류 이송 기능을 제공하는 병렬로봇 시스템
JP7842301B1 (ja) * 2024-10-18 2026-04-07 ファナック株式会社 作業箇所の位置を検出する装置、ロボットシステム、方法、及びコンピュータプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10249767A (ja) * 1997-03-13 1998-09-22 Mitsubishi Electric Corp 移動型物体把持装置及びその制御方法
JP2001019165A (ja) * 1999-07-02 2001-01-23 Murata Mach Ltd ワークピッキング装置
US6859683B2 (en) * 2001-06-04 2005-02-22 Futaba Corporation Of America Integrated robotic cell
JP5361664B2 (ja) * 2009-10-30 2013-12-04 キヤノン株式会社 画像処理装置、画像処理方法
JP5468367B2 (ja) * 2009-11-24 2014-04-09 Ｉｄｅｃ株式会社 ロボット制御方法およびロボット制御システム
JP5812599B2 (ja) * 2010-02-25 2015-11-17 キヤノン株式会社 情報処理方法及びその装置
FI20105732A0 (fi) * 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP2012088787A (ja) 2010-10-15 2012-05-10 Canon Inc 画像処理装置、画像処理方法
JP5743499B2 (ja) * 2010-11-10 2015-07-01 キヤノン株式会社 画像生成装置、画像生成方法、およびプログラム
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP6541397B2 (ja) * 2015-04-06 2019-07-10 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2016203293A (ja) * 2015-04-21 2016-12-08 株式会社豊田自動織機 ピッキング装置およびピッキング方法
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2017039184A (ja) * 2015-08-19 2017-02-23 富士通株式会社 ロボット
JP6572687B2 (ja) * 2015-09-02 2019-09-11 トヨタ自動車株式会社 把持可否判定方法
JP6514171B2 (ja) * 2016-09-27 2019-05-15 ファナック株式会社 最適な物品把持経路を学習する機械学習装置、及び機械学習方法

Also Published As

Publication number Publication date
US10839261B2 (en) 2020-11-17
US20180276501A1 (en) 2018-09-27
JP2018161692A (ja) 2018-10-18

Similar Documents

Publication Publication Date Title
JP2018161692A (ja) 情報処理装置、情報処理方法およびプログラム
JP7154815B2 (ja) 情報処理装置、制御方法、ロボットシステム、コンピュータプログラム、及び記憶媒体
JP7467041B2 (ja) 情報処理装置、情報処理方法及びシステム
JP6771744B2 (ja) ハンドリングシステム及びコントローラ
JP2019188516A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017177294A (ja) ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム
JP6752615B2 (ja) 情報処理装置、情報処理方法、ロボット制御装置及びロボットシステム
JP5806301B2 (ja) ロボットシステムにおける物理的な物体の選択のための方法
JP7191569B2 (ja) 把持装置
JP6541397B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7005388B2 (ja) 情報処理装置及び仕分システム
JP2019084601A (ja) 情報処理装置、把持システムおよび情報処理方法
US12097627B2 (en) Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
JP2018027581A (ja) ピッキングシステム
JP2019508273A (ja) ロボットの把持のための深層機械学習方法および装置
CN111483750A (zh) 机器人系统的控制方法以及控制装置
US11141866B2 (en) Grasping apparatus, grasping determination method and grasping determination program
JP2021146403A (ja) 制御装置及びプログラム
JP2025511010A (ja) 物体をパッキングするためのロボットマニピュレータの制御
JP2010058243A (ja) ピッキング装置
US20230415349A1 (en) Method for controlling a robot for manipulating, in particular picking up, an object
WO2018225827A1 (ja) ワークの認識装置及びワークを認識する方法
JP2015157343A (ja) ロボット、ロボットシステム、制御装置、および制御方法
JP7805748B2 (ja) ピッキングシステム、ピッキング装置、制御装置、プログラム、及び方法
WO2024185232A1 (en) System and method for controlling a robotic manipulator

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211124

R151 Written notification of patent or utility model registration

Ref document number: 6983524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03