JP5975685B2 - 情報処理装置、情報処理方法 - Google Patents

情報処理装置、情報処理方法 Download PDF

Info

Publication number
JP5975685B2
JP5975685B2 JP2012053685A JP2012053685A JP5975685B2 JP 5975685 B2 JP5975685 B2 JP 5975685B2 JP 2012053685 A JP2012053685 A JP 2012053685A JP 2012053685 A JP2012053685 A JP 2012053685A JP 5975685 B2 JP5975685 B2 JP 5975685B2
Authority
JP
Japan
Prior art keywords
gripping
target object
robot
unit
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012053685A
Other languages
English (en)
Japanese (ja)
Other versions
JP2013184278A5 (enExample
JP2013184278A (ja
Inventor
鈴木　雅博
雅博 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012053685A priority Critical patent/JP5975685B2/ja
Priority to US13/784,684 priority patent/US9102053B2/en
Publication of JP2013184278A publication Critical patent/JP2013184278A/ja
Publication of JP2013184278A5 publication Critical patent/JP2013184278A5/ja
Application granted granted Critical
Publication of JP5975685B2 publication Critical patent/JP5975685B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39508—Reorientation of object, orient, regrasp object
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
JP2012053685A 2012-03-09 2012-03-09 情報処理装置、情報処理方法 Expired - Fee Related JP5975685B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012053685A JP5975685B2 (ja) 2012-03-09 2012-03-09 情報処理装置、情報処理方法
US13/784,684 US9102053B2 (en) 2012-03-09 2013-03-04 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012053685A JP5975685B2 (ja) 2012-03-09 2012-03-09 情報処理装置、情報処理方法

Publications (3)

Publication Number Publication Date
JP2013184278A JP2013184278A (ja) 2013-09-19
JP2013184278A5 JP2013184278A5 (enExample) 2015-03-26
JP5975685B2 true JP5975685B2 (ja) 2016-08-23

Family

ID=49114799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012053685A Expired - Fee Related JP5975685B2 (ja) 2012-03-09 2012-03-09 情報処理装置、情報処理方法

Country Status (2)

Country Link
US (1) US9102053B2 (enExample)
JP (1) JP5975685B2 (enExample)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400503B2 (en) 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
JP5561260B2 (ja) * 2011-09-15 2014-07-30 株式会社安川電機 ロボットシステム及び撮像方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5664629B2 (ja) * 2012-10-19 2015-02-04 株式会社安川電機 ロボットシステムおよび加工品の製造方法
US9238304B1 (en) * 2013-03-15 2016-01-19 Industrial Perception, Inc. Continuous updating of plan for robotic object manipulation based on received sensor data
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US9817922B2 (en) 2014-03-01 2017-11-14 Anguleris Technologies, Llc Method and system for creating 3D models from 2D data for building information modeling (BIM)
US9782936B2 (en) * 2014-03-01 2017-10-10 Anguleris Technologies, Llc Method and system for creating composite 3D models for building information modeling (BIM)
JP6338421B2 (ja) 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
JP6363863B2 (ja) * 2014-04-15 2018-07-25 キヤノン株式会社 情報処理装置および情報処理方法
JP6537332B2 (ja) * 2014-04-28 2019-07-03 キヤノン株式会社 画像処理方法および撮影装置
JP2015226963A (ja) * 2014-06-02 2015-12-17 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
EP2963513B1 (en) * 2014-07-01 2022-08-24 Seiko Epson Corporation Teaching apparatus and robot system
JP6486114B2 (ja) 2015-01-16 2019-03-20 株式会社東芝 荷役装置
JP6335806B2 (ja) * 2015-01-22 2018-05-30 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
JP6122065B2 (ja) * 2015-05-29 2017-04-26 ファナック株式会社 搬送物を吊り下げて搬送するロボットシステム
JP2017020873A (ja) * 2015-07-09 2017-01-26 キヤノン株式会社 被計測物の形状を計測する計測装置
JP2017039189A (ja) * 2015-08-20 2017-02-23 株式会社東芝 配置検出装置およびピッキング装置
US10007827B2 (en) 2015-09-11 2018-06-26 Berkshire Grey, Inc. Systems and methods for identifying and processing a variety of objects
JP6570395B2 (ja) * 2015-09-28 2019-09-04 株式会社富士通アドバンストエンジニアリング ピッキング装置及び復旧プログラム
US10949805B2 (en) 2015-11-06 2021-03-16 Anguleris Technologies, Llc Method and system for native object collaboration, revision and analytics for BIM and other design platforms
US10867282B2 (en) 2015-11-06 2020-12-15 Anguleris Technologies, Llc Method and system for GPS enabled model and site interaction and collaboration for BIM and other design platforms
DE102015014485A1 (de) * 2015-11-10 2017-05-24 Kuka Roboter Gmbh Kalibrieren eines Systems mit einem Fördermittel und wenigstens einem Roboter
CA3107257C (en) 2015-11-13 2023-05-02 Berkshire Grey, Inc. Sortation systems and methods for providing sortation of a variety of objects
US9937532B2 (en) 2015-12-18 2018-04-10 Berkshire Grey Inc. Perception systems and methods for identifying and processing a variety of objects
US12350713B2 (en) 2015-12-18 2025-07-08 Berkshire Grey Operating Company, Inc. Perception systems and methods for identifying and processing a variety of objects
JP6758903B2 (ja) * 2016-05-06 2020-09-23 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6838833B2 (ja) * 2016-09-05 2021-03-03 国立大学法人信州大学 把持装置、把持方法、及びプログラム
JP6450788B2 (ja) * 2017-02-21 2019-01-09 ファナック株式会社 ワーク取出システム
JP6438512B2 (ja) 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
CN110621451B (zh) 2017-04-04 2021-07-06 牧今科技 信息处理装置、拾取系统、物流系统、程序以及信息处理方法
JP6444499B1 (ja) 2017-04-04 2018-12-26 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、及び、制御方法
CN110494259B (zh) 2017-04-04 2020-11-10 牧今科技 控制装置、拾取系统、物流系统、程序、控制方法以及生产方法
JP6258557B1 (ja) 2017-04-04 2018-01-10 株式会社Ｍｕｊｉｎ 制御装置、ピッキングシステム、物流システム、プログラム、制御方法、及び、生産方法
CN110494258B (zh) 2017-04-04 2022-08-09 牧今科技 控制装置、拾取系统、物流系统、程序、控制方法以及生产方法
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
JP7116901B2 (ja) * 2017-08-01 2022-08-12 オムロン株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム
US20190126490A1 (en) * 2017-10-26 2019-05-02 Ca, Inc. Command and control interface for collaborative robotics
JP2019084601A (ja) * 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、把持システムおよび情報処理方法
US10436590B2 (en) * 2017-11-10 2019-10-08 Ankobot (Shanghai) Smart Technologies Co., Ltd. Localization system and method, and robot using the same
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP7097799B2 (ja) * 2018-11-21 2022-07-08 Thk株式会社 画像情報処理装置、把持システム、および画像情報処理方法
JP2020149162A (ja) * 2019-03-11 2020-09-17 富士通株式会社 情報処理装置、画像処理プログラム及び画像処理方法
WO2021046531A1 (en) 2019-09-07 2021-03-11 Embodied Intelligence, Inc. Training artificial networks for robotic picking
US11911903B2 (en) * 2019-09-07 2024-02-27 Embodied Intelligence, Inc. Systems and methods for robotic picking and perturbation
JP7424800B2 (ja) 2019-11-06 2024-01-30 ファナック株式会社 制御装置、その制御方法、及び制御システム
US20210323158A1 (en) * 2020-04-17 2021-10-21 Abb Schweiz Ag Recovery system and method using multiple sensor inputs
DE102020113278B4 (de) * 2020-05-15 2024-07-25 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zur Steuerung des Betriebs eines Industrieroboters, Industrieroboter und Anordnung zur Umsetzung von Objekten
JP7395451B2 (ja) * 2020-09-16 2023-12-11 株式会社東芝 ハンドリング装置、処理装置、コントローラ及びプログラム
WO2022104449A1 (en) * 2020-11-17 2022-05-27 Apera Ai Inc. Pick and place systems and methods
CA3214769A1 (en) 2021-03-26 2022-09-29 Boston Dynamics, Inc. An integrated mobile manipulator robot with accessory interfaces
KR20230162958A (ko) 2021-03-26 2023-11-29 보스턴 다이나믹스, 인크. 통합 모바일 조작기 로봇
KR20230162042A (ko) 2021-03-26 2023-11-28 보스턴 다이나믹스, 인크. 통합 모바일 조작기 로봇을 위한 인식 마스트
WO2022203980A1 (en) 2021-03-26 2022-09-29 Boston Dynamics, Inc. Dynamic mass estimation methods for an integrated mobile manipulator robot
WO2023017413A1 (en) * 2021-08-09 2023-02-16 Mujin, Inc. Systems and methods for object detection
JP7418762B2 (ja) * 2021-08-09 2024-01-22 株式会社Mujin 計算システム、方法及び非一時的コンピュータ可読媒体
CN114888816B (zh) * 2022-07-13 2022-09-27 中迪机器人(盐城)有限公司 一种智能上下料机器人的控制系统及方法
TW202413237A (zh) * 2022-07-29 2024-04-01 日商遠程連接股份有限公司 商品移動裝置、商品移動裝置之控制方法及電腦程式
JP2024111683A (ja) * 2023-02-06 2024-08-19 株式会社日立製作所 ロボットの制御方法及びシステム
CN117067218B (zh) * 2023-10-13 2024-04-05 宁德时代新能源科技股份有限公司 电芯抓取系统及其控制方法、产线模块
CN118163103B (zh) * 2024-03-29 2024-10-11 亿海蓝（北京）数据技术股份公司 机械臂的控制方法及装置、电子设备及存储介质

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4402053A (en) 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
US4412293A (en) 1981-03-30 1983-10-25 Kelley Robert B Robot system which acquires cylindrical workpieces from bins
JPS60200385A (ja) 1984-03-26 1985-10-09 Hitachi Ltd 姿勢判定方式
US4639878A (en) 1985-06-04 1987-01-27 Gmf Robotics Corporation Method and system for automatically determining the position and attitude of an object
US4831549A (en) 1987-07-28 1989-05-16 Brigham Young University Device and method for correction of robot inaccuracy
US5501498A (en) 1988-08-31 1996-03-26 The Trustees Of The University Of Pennsylvania Methods and apparatus for mechanically intelligent grasping
US4942539A (en) 1988-12-21 1990-07-17 Gmf Robotics Corporation Method and system for automatically determining the position and orientation of an object in 3-D space
JP2637546B2 (ja) 1989-03-22 1997-08-06 キヤノン株式会社 Ｘ線露光装置
US4985846A (en) 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
US5325468A (en) * 1990-10-31 1994-06-28 Sanyo Electric Co., Ltd. Operation planning system for robot
US5499306A (en) 1993-03-08 1996-03-12 Nippondenso Co., Ltd. Position-and-attitude recognition method and apparatus by use of image pickup means
JPH0970780A (ja) 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
US5943476A (en) 1996-06-13 1999-08-24 August Design, Inc. Method and apparatus for remotely sensing orientation and position of objects
US5953812A (en) * 1997-07-03 1999-09-21 Schlumberger Technologies, Inc. Misinsert sensing in pick and place tooling
US6101455A (en) 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6757422B1 (en) 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP3377465B2 (ja) 1999-04-08 2003-02-17 ファナック株式会社 画像処理装置
JP3925020B2 (ja) * 1999-12-21 2007-06-06 株式会社明電舎 ロボットの制御装置
JP3556589B2 (ja) 2000-09-20 2004-08-18 ファナック株式会社 位置姿勢認識装置
JP3647376B2 (ja) 2001-01-31 2005-05-11 キヤノン株式会社 視点位置検出装置、視点位置検出方法及び立体画像表示システム
US6730926B2 (en) 2001-09-05 2004-05-04 Servo-Robot Inc. Sensing head and apparatus for determining the position and orientation of a target object
JP2003098215A (ja) 2001-09-26 2003-04-03 Canon Inc 電力変換システムにおける地絡検出のための装置及び方法
AU2002353941A1 (en) 2001-10-31 2003-05-12 Ross-Hime Designs, Incoporated Robotic manipulator
JP4130780B2 (ja) 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
CA2500005C (en) 2002-09-26 2011-12-06 Barrett Technology, Inc. Intelligent, self-contained robotic hand
JP4401728B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
US7739306B2 (en) * 2004-04-14 2010-06-15 Verisign, Inc. Method and apparatus for creating, assembling, and organizing compound media objects
US7868904B2 (en) 2005-04-01 2011-01-11 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4958497B2 (ja) 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
WO2008036354A1 (en) * 2006-09-19 2008-03-27 Braintech Canada, Inc. System and method of determining object pose
JP4226623B2 (ja) 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP5153468B2 (ja) 2008-06-12 2013-02-27 キヤノン株式会社 無線通信装置及びその通信方法
JP4565023B2 (ja) 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
JP5393318B2 (ja) 2009-07-28 2014-01-22 キヤノン株式会社 位置姿勢計測方法及び装置
JP5395615B2 (ja) 2009-10-27 2014-01-22 キヤノン株式会社 無線通信装置、無線通信装置の制御方法及びプログラム
JP5528095B2 (ja) * 2009-12-22 2014-06-25 キヤノン株式会社 ロボットシステム、その制御装置及び方法
JP5460341B2 (ja) 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
JP5229253B2 (ja) * 2010-03-11 2013-07-03 株式会社安川電機 ロボットシステム及びロボット装置並びにワーク取り出し方法
FI20105732A0 (fi) 2010-06-24 2010-06-24 Zenrobotics Oy Menetelmä fyysisten kappaleiden valitsemiseksi robottijärjestelmässä
JP4938115B2 (ja) * 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
JP5787642B2 (ja) 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
US9014857B2 (en) 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for generating grasp patterns for use by a robot
JP6000579B2 (ja) 2012-03-09 2016-09-28 キヤノン株式会社 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
US9102053B2 (en) 2015-08-11
JP2013184278A (ja) 2013-09-19
US20130238125A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
JP5975685B2 (ja) 情報処理装置、情報処理方法
JP5854815B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6000579B2 (ja) 情報処理装置、情報処理方法
JP5977544B2 (ja) 情報処理装置、情報処理方法
JP6021533B2 (ja) 情報処理システム、装置、方法及びプログラム
US11396101B2 (en) Operating system, control device, and computer program product
KR102785170B1 (ko) 다중 카메라 이미지 처리
JP2016099257A (ja) 情報処理装置及び情報処理方法
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
JP7180783B2 (ja) コンピュータビジョンシステムのキャリブレーション方法及びこれに用いる基準立体物
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP6810173B2 (ja) 物体把持システム
US11816754B2 (en) Measurement parameter optimization method and device, and computer control program stored on computer-readable storage medium
JP5544464B2 (ja) 対象物の３次元位置・姿勢認識装置及びその方法
US12222196B2 (en) Measurement system, measurement device, measurement method, and measurement program
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
KR20110095700A (ko) 작업대상물 픽업을 위한 산업용 로봇 제어방법
JP2020075340A (ja) 作動システム、制御装置、およびプログラム
US12097627B2 (en) Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
KR20240165767A (ko) 빈피킹 로봇을 위한 비전 기반 캘리브레이션 방법
JP7415013B2 (ja) ロボットの構成部材の干渉を検出するロボット装置
JP6285765B2 (ja) 情報処理装置、情報処理方法
JP6784991B2 (ja) ワーク検知システム及び衣服検知システム
Irvine NEW APPROACH FOR ROBOTIC GRASPING OF UNKNOWN THREE DIMENSIONAL OBJECTS

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R151 Written notification of patent or utility model registration

Ref document number: 5975685

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees