JP7467041B2 - 情報処理装置、情報処理方法及びシステム - Google Patents

情報処理装置、情報処理方法及びシステム Download PDF

Info

Publication number
JP7467041B2
JP7467041B2 JP2019131057A JP2019131057A JP7467041B2 JP 7467041 B2 JP7467041 B2 JP 7467041B2 JP 2019131057 A JP2019131057 A JP 2019131057A JP 2019131057 A JP2019131057 A JP 2019131057A JP 7467041 B2 JP7467041 B2 JP 7467041B2
Authority
JP
Japan
Prior art keywords
area
image
target
target object
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019131057A
Other languages
English (en)
Japanese (ja)
Other versions
JP2020055096A5 (enExample
JP2020055096A (ja
Inventor
大輔 山田
一彦 小林
智昭 肥後
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020055096A publication Critical patent/JP2020055096A/ja
Publication of JP2020055096A5 publication Critical patent/JP2020055096A5/ja
Application granted granted Critical
Publication of JP7467041B2 publication Critical patent/JP7467041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39106—Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40532—Ann for vision processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
JP2019131057A 2018-09-27 2019-07-16 情報処理装置、情報処理方法及びシステム Active JP7467041B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018182089 2018-09-27
JP2018182089 2018-09-27

Publications (3)

Publication Number Publication Date
JP2020055096A JP2020055096A (ja) 2020-04-09
JP2020055096A5 JP2020055096A5 (enExample) 2022-07-26
JP7467041B2 true JP7467041B2 (ja) 2024-04-15

Family

ID=69781234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131057A Active JP7467041B2 (ja) 2018-09-27 2019-07-16 情報処理装置、情報処理方法及びシステム

Country Status (4)

Country Link
US (1) US11541545B2 (enExample)
JP (1) JP7467041B2 (enExample)
CN (1) CN110958425B (enExample)
DE (1) DE102019125126B4 (enExample)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6810087B2 (ja) * 2018-03-29 2021-01-06 ファナック株式会社 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
JP6885909B2 (ja) * 2018-10-12 2021-06-16 ファナック株式会社 ロボット制御装置
KR102650494B1 (ko) * 2018-10-30 2024-03-22 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
US11185978B2 (en) * 2019-01-08 2021-11-30 Honda Motor Co., Ltd. Depth perception modeling for grasping objects
JP2020166371A (ja) * 2019-03-28 2020-10-08 セイコーエプソン株式会社 情報処理方法、情報処理装置、物体検出装置およびロボットシステム
WO2021178873A1 (en) * 2020-03-06 2021-09-10 Embodied Intelligance Inc. Imaging process for detecting failure modes
CN111856988A (zh) * 2020-06-05 2020-10-30 哈工大机器人(中山)无人装备与人工智能研究院 一种采血装置的运动控制方法和装置
EP4188652A1 (en) * 2020-07-27 2023-06-07 Cryovac, LLC Targeting for vacuum-based engagement tools
KR102350638B1 (ko) * 2020-08-26 2022-01-17 주식회사 이엠에스 인공지능형 로봇 시스템
CN112082480B (zh) * 2020-09-08 2024-07-30 浙江清华柔性电子技术研究院 芯片的空间取向的测量方法、系统、电子装置和存储介质
US11633862B2 (en) 2020-11-25 2023-04-25 Metal Industries Research & Development Centre Automatic control method of mechanical arm and automatic control system
JP7481247B2 (ja) * 2020-12-11 2024-05-10 ファナック株式会社 ロボット教示システム
JP7621123B2 (ja) * 2021-01-15 2025-01-24 株式会社安川電機 処理システム及び処理方法
US12151383B2 (en) * 2021-02-01 2024-11-26 The Boeing Company Robotic manufacturing systems and methods
DE102021104001B3 (de) 2021-02-19 2022-04-28 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zum automatischen Ergreifen, insbesondere Umsetzen, von Gegenständen
IT202100003821A1 (it) * 2021-02-19 2022-08-19 Univ Pisa Procedimento di interazione con oggetti
US12269164B2 (en) * 2021-05-04 2025-04-08 Mujin, Inc. Method and computing system for performing robot motion planning and repository detection
JP7558115B2 (ja) * 2021-06-02 2024-09-30 株式会社イノアックコーポレーション パッド組付システム、複合パッドの製造ライン及び製造方法
US12290944B2 (en) 2021-08-09 2025-05-06 Mujin, Inc. Robotic system with image-based sizing mechanism and methods for operating the same
JP2023042473A (ja) * 2021-09-14 2023-03-27 セイコーエプソン株式会社 教示方法
JP7730155B2 (ja) * 2022-01-12 2025-08-27 株式会社システック 非接触操作装置
CN114770559B (zh) * 2022-05-27 2022-12-13 中迪机器人(盐城)有限公司 一种机器人的取物控制系统及方法
GB2621371B (en) * 2022-08-10 2024-10-23 Dyson Technology Ltd A method and system for exploring a real-world environment
CN115890679B (zh) * 2022-12-02 2024-02-13 西南交通大学 基于视觉的轨道车辆转向架枕簧缺口定位与夹持方法
CN116216305B (zh) * 2022-12-29 2023-11-07 长园视觉科技(珠海)有限公司 上下料控制方法、控制器、上下料设备及存储介质
TW202433060A (zh) * 2023-02-01 2024-08-16 聯華電子股份有限公司 機台自動對準方法及應用其之流程機器人裝置
JP2024111683A (ja) * 2023-02-06 2024-08-19 株式会社日立製作所 ロボットの制御方法及びシステム
CN120957845A (zh) * 2023-04-11 2025-11-14 发那科株式会社 图像处理装置
DE102023110111B3 (de) * 2023-04-20 2024-06-06 J.Schmalz Gmbh Verfahren zum Ansteuern einer Handhabungsanlage sowie Handhabungsanlage
CN119854608A (zh) * 2024-03-27 2025-04-18 比亚迪股份有限公司 Agv叉取货物方法和agv
CN120735054B (zh) * 2025-09-03 2025-12-02 中国科学院水生生物研究所 用于生物样本转移的机械臂控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200588A (ja) 2000-12-28 2002-07-16 Denso Corp ロボットによる把持可能部品の把持位置検出方法及びその装置
JP2010006590A (ja) 2008-06-30 2010-01-14 Fanuc Ltd 物品整列システム及びロボットハンド
JP2010089238A (ja) 2008-10-10 2010-04-22 Honda Motor Co Ltd ワーク取り出し方法
JP2015123560A (ja) 2013-12-27 2015-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット制御装置、及びロボット制御方法
JP2016060004A (ja) 2014-09-18 2016-04-25 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法
JP2016091053A (ja) 2014-10-29 2016-05-23 キヤノン株式会社 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム
JP2018122945A (ja) 2017-01-30 2018-08-09 株式会社東芝 可変型物品保持装置、移載装置、ロボットハンドリングシステム、および移載装置の制御方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3517529B2 (ja) * 1996-08-21 2004-04-12 株式会社東芝 画像入力型ロボットシステム
EP1675709A2 (de) 2003-10-20 2006-07-05 Isra Vision Systems AG VERFAHREN ZUR EINRICHTUNG EINER BEWEGUNG EINES HANDHABUNGSGERÄTS UND BILDVERARBEITUNG
US7266422B1 (en) * 2004-04-09 2007-09-04 Fanuc Robotics America, Inc. Automated palletizing cases having mixed sizes and shapes
DE102006003859B3 (de) * 2006-01-27 2007-03-01 Robert Bosch Gmbh Verfahren zum Ablegen von Stückgütern in Behälter
DE102009011294B4 (de) * 2009-03-02 2020-12-24 Kuka Roboter Gmbh Palletieren von Paketen mittels eines Manipulators
JP4621789B2 (ja) * 2009-06-02 2011-01-26 ファナック株式会社 物品搬送ロボットシステム
JP2012030320A (ja) * 2010-07-30 2012-02-16 Dainippon Screen Mfg Co Ltd 作業システム、作業ロボット制御装置および作業プログラム
US9227323B1 (en) 2013-03-15 2016-01-05 Google Inc. Methods and systems for recognizing machine-readable information on three-dimensional objects
JP6715565B2 (ja) 2014-09-18 2020-07-01 株式会社安川電機 ロボットシステムおよびワークピッキング方法
JP6576050B2 (ja) 2015-02-27 2019-09-18 キヤノン株式会社 物体移動方法及びシステム
JP6711591B2 (ja) 2015-11-06 2020-06-17 キヤノン株式会社 ロボット制御装置およびロボット制御方法
CN105364927B (zh) 2015-12-15 2018-05-22 天津立德尔智能装备科技有限公司 用于机器人搬运视觉系统中的机器人搬运的快速定位方法
US9751693B1 (en) * 2016-02-01 2017-09-05 Amazon Technologies, Inc. Automated shipment set item consolidation
JP2017189856A (ja) * 2016-04-15 2017-10-19 オムロン株式会社 アクチュエータ制御システム、アクチュエータ制御方法、情報処理プログラム、および記録媒体
TWM531349U (zh) 2016-05-04 2016-11-01 Factory Automation Technology 具有視覺量測之加工裝置
JP6370842B2 (ja) * 2016-06-29 2018-08-08 ファナック株式会社 仮置き部を備えた物品搬送装置
JP6444499B1 (ja) * 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
JP2018203480A (ja) * 2017-06-07 2018-12-27 株式会社東芝 仕分装置および仕分システム
JP2019059004A (ja) * 2017-09-28 2019-04-18 セイコーエプソン株式会社 ロボットシステム
CN107932517A (zh) 2017-11-15 2018-04-20 盐城盈信通科技有限公司 一种芯片机自动化作业系统
CN112218748B (zh) * 2018-06-14 2023-09-05 雅马哈发动机株式会社 机器人系统
JP6856590B2 (ja) * 2018-08-31 2021-04-07 ファナック株式会社 センシングシステム、作業システム、拡張現実画像の表示方法、およびプログラム
WO2020068849A1 (en) * 2018-09-25 2020-04-02 Visual Robotics Systems Inc. Spatially-aware camera and method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002200588A (ja) 2000-12-28 2002-07-16 Denso Corp ロボットによる把持可能部品の把持位置検出方法及びその装置
JP2010006590A (ja) 2008-06-30 2010-01-14 Fanuc Ltd 物品整列システム及びロボットハンド
JP2010089238A (ja) 2008-10-10 2010-04-22 Honda Motor Co Ltd ワーク取り出し方法
JP2015123560A (ja) 2013-12-27 2015-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット制御装置、及びロボット制御方法
JP2016060004A (ja) 2014-09-18 2016-04-25 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法
JP2016091053A (ja) 2014-10-29 2016-05-23 キヤノン株式会社 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム
JP2018122945A (ja) 2017-01-30 2018-08-09 株式会社東芝 可変型物品保持装置、移載装置、ロボットハンドリングシステム、および移載装置の制御方法

Also Published As

Publication number Publication date
US11541545B2 (en) 2023-01-03
CN110958425A (zh) 2020-04-03
CN110958425B (zh) 2021-07-23
US20200101613A1 (en) 2020-04-02
DE102019125126B4 (de) 2020-12-17
JP2020055096A (ja) 2020-04-09
DE102019125126A1 (de) 2020-04-02

Similar Documents

Publication Publication Date Title
JP7467041B2 (ja) 情報処理装置、情報処理方法及びシステム
JP5471355B2 (ja) ３次元視覚センサ
JP5977544B2 (ja) 情報処理装置、情報処理方法
JP7190552B1 (ja) ロボット教示システム
JP2019188516A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018161692A (ja) 情報処理装置、情報処理方法およびプログラム
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2021030407A (ja) 情報処理装置、情報処理方法及びプログラム
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
WO2020022302A1 (ja) 把持装置
CN114670189B (zh) 存储介质、以及生成机器人的控制程序的方法及系统
US20210197391A1 (en) Robot control device, robot control method, and robot control non-transitory computer readable medium
JP2021115693A (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP7681756B2 (ja) ロボット操作システム及び情報処理方法
US20240066694A1 (en) Robot control system, robot control method, and robot control program
US12311541B2 (en) Generation method, computer program, and generation system
CN115213894A (zh) 机器人图像的显示方法、显示系统以及记录介质
CN116419827A (zh) 机器人控制装置以及机器人系统
CN111899629B (zh) 柔性机器人教学系统和方法
Park et al. Robot-based Object Pose Auto-annotation System for Dexterous Manipulation
WO2021149429A1 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP2022042867A (ja) ロボット制御方法
EP4640381A1 (en) Robot control system
WO2019064752A1 (ja) ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム
WO2019064751A1 (ja) ロボット教示システム、ロボット教示方法、制御装置、及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220715

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220715

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240403

R150 Certificate of patent or registration of utility model

Ref document number: 7467041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150