JP7336678B2 - ピッキング装置 - Google Patents

ピッキング装置 Download PDF

Info

Publication number
JP7336678B2
JP7336678B2 JP2020207554A JP2020207554A JP7336678B2 JP 7336678 B2 JP7336678 B2 JP 7336678B2 JP 2020207554 A JP2020207554 A JP 2020207554A JP 2020207554 A JP2020207554 A JP 2020207554A JP 7336678 B2 JP7336678 B2 JP 7336678B2
Authority
JP
Japan
Prior art keywords
imaging device
unit
work
conveying
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020207554A
Other languages
English (en)
Other versions
JP2022094590A (ja
Inventor
直也 宮地
成孝 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2020207554A priority Critical patent/JP7336678B2/ja
Priority to EP21203678.4A priority patent/EP4015097A1/en
Priority to US17/515,621 priority patent/US20220185599A1/en
Priority to CN202111454657.1A priority patent/CN114632722B/zh
Publication of JP2022094590A publication Critical patent/JP2022094590A/ja
Application granted granted Critical
Publication of JP7336678B2 publication Critical patent/JP7336678B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/905Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/02Measures preceding sorting, e.g. arranging articles in a stream orientating
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/361Processing or control devices therefor, e.g. escort memory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36Sorting apparatus characterised by the means used for distribution
    • B07C5/361Processing or control devices therefor, e.g. escort memory
    • B07C5/362Separating or distributor mechanisms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/34Devices for discharging articles or materials from conveyor 
    • B65G47/42Devices for discharging articles or materials from conveyor  operated by article or material being conveyed and discharged
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C2501/00Sorting according to a characteristic or feature of the articles or material to be sorted
    • B07C2501/0063Using robots
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0233Position of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0266Control or detection relating to the load carrier(s)
    • B65G2203/0283Position of the load carrier
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0266Control or detection relating to the load carrier(s)
    • B65G2203/0291Speed of the load carrier
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39102Manipulator cooperating with conveyor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39106Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40554Object recognition to track object on conveyor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40617Agile eye, control position of camera, active vision, pan-tilt camera, follow object
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Description

本発明は、搬送される選別対象物である複数種のワークから特定のワークをロボットでピッキングし選別するピッキング装置に関するものである。
近年、世の中では様々な業界で、選別対象物である複数種の部品群から特定の部品をロボットによりピッキングし選別するピッキング装置が多く使用されている。たとえば家電リサイクルの分野では、不要となって解体もしくは部品大に粗破砕された解体品又は破砕品から、特定の部品を認識しピッキングすることで選別回収し、リサイクルを行っている。
従来のピッキング装置としては、たとえば特許文献1に開示された装置がある。図4は、特許文献1に記載された従来のピッキング装置を示す図である。
図4において、コンベア101は、コンベア101上に載置された、ワークwを一方向に搬送する。搬送中のワークwを、搬送路111を上部から撮像する2次元の撮像装置103aによって撮像し、撮像した画像に基づいて搬送路111上のワークwを検出するとともに、検出したワークwの保持動作を、撮像装置103aよりも下流側に配置したロボット102に対して指示することで、ワークwを搬送路111から所定の場所へ移動させることができる。
一方で別のピッキング装置としては、たとえば特許文献2に開示された装置がある。図5は、特許文献2に記載されたピッキング装置の図である。
図5において、バラ積み部品箱202にランダムにバラ積みされた部品Pをワークとして3次元ビジョンセンサ201で撮像することで、高さ情報を活用し、部品Pの外形、位置、及び姿勢を計測する。計測した情報から、部品Pを把持するロボット203に指示を出し、部品Pを所定の場所へ移動させることができる。
特許第5464176号公報 特許第5837065号公報
しかしながら、特許文献1の構成では、2次元の撮像装置であるために、3次元の外形、位置及び姿勢の情報は得ることができない。
一方で特許文献2の構成では、3次元の情報は得ることができるが、静止したワークしか撮像することができない。
一般に、3次元撮像装置は、画像の取り込みに時間を要するため、移動しているワークを撮像することで動体ブレが生じてしまうため、正確な画像を取得できない。
以上により、搬送中のワークに対し、3次元の撮像装置によって3次元の外形、位置、及び姿勢のような3次元情報を動体ブレなく取得することができないという課題を従来例は有していた。
本発明は、前記従来の課題を解決するためのもので、移動中のワークであっても3次元の撮像装置を用いてワークの3次元情報を動体ブレなく取得することができるピッキング装置を提供することを目的とする。
前記目的を達成するために、本発明の1つの態様によれば、製品の解体品もしくは破砕品である複数のワークから特定のワークを取出して選別するピッキング装置であって、
前記ワークを一方向の搬送方向に搬送速度で搬送する搬送部と、
前記搬送部の上方に配置され、前記ワークの3次元情報を撮像する撮像装置と、
搬送される前記ワークが前記搬送部の特定の位置を通過したことを検出する物体検出器と、
前記ワークが前記特定の位置を通過したことを前記物体検出器で検出した後の前記搬送部による前記ワークのワーク移動量を計測し、計測信号を発する移動量検出装置と、
前記移動量検出装置からの前記計測信号に基づいて、前記撮像装置を、前記搬送部の前記搬送速度と同期させて前記搬送部の前記搬送方向と平行に前記搬送方向に移動させる移動機構と、
前記撮像装置が撮像して取得した情報を基に画像処理を行って、選別に必要な情報を取得する画像処理部と、
前記画像処理部で取得した前記選別に必要な情報を基に、前記ワークから前記特定のワークを保持して所定の位置へ移動させるロボットと、
前記搬送部の前記搬送速度と前記移動量検出装置からの前記計測信号に基づいて、前記移動機構による前記撮像装置の移動を制御するとともに、前記搬送部の前記搬送速度と前記移動量検出装置からの前記計測信号と前記画像処理部で取得した前記選別に必要な情報とを基に前記ロボットの動作を制御する制御部とを備え、
前記制御部の制御下に、前記移動機構による前記撮像装置の移動を制御するとともに、前記ロボットが前記特定のワークを保持して前記所定の位置へ移動させて選別する一方
前記物体検出器からの検出情報を基に、前記搬送方向に間隔をあけて搬送される前記複数のワークの間隔を演算する演算部を備え、
前記制御部は、演算された間隔を基に、撮像開始前に前記撮像装置を前記搬送方向と逆方向に移動させるように前記移動機構を制御する、
ピッキング装置を提供する。

以上のように、本発明の前記態様にかかるピッキング装置によれば、撮像装置を、ワークを搬送する搬送部に追従して前記撮像装置を前記搬送部の搬送速度と同期させつつ搬送方向に平行移動させながらワークを撮像することができる。そのため、従来取得することができなかった搬送中のワークの3次元情報を、画像の取り込みに時間を要する3次元撮像装置であっても動体ブレなく取得することができ、取得した3次元情報を基に、製品の解体品又は破砕品のような形状が一定でないワークであっても、高精度にピッキングして特定のワークを選別することができる。
本発明の実施の形態1におけるピッキング装置の概略構成図 本発明の実施の形態2におけるピッキング装置の一部を搬送部の上部から見た構成要素を示す概略図 本発明の実施の形態3におけるピッキング装置の一部を搬送部の上部から見た構成要素を示す概略図 特許文献1に記載された従来のピッキング装置の概略構成図 特許文献2に記載された従来のピッキング装置の概略構成図
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1におけるピッキング装置の概略構成図である。
ピッキング装置は、搬送部1と、撮像装置5と、物体検出器3と、移動量検出装置4と、移動機構8と、ロボット6と、画像処理部51と、制御部52とを備え、製品の解体品もしくは破砕品である複数のワーク2から、特定のワーク2aを取出して選別する。
本明細書では、ワーク群60について、製品の解体品もしくは破砕品であるワーク2の搬送方向の位置座標(すなわち、図1のX座標)が互いに重なっている複数のワーク2は、1つのワーク群60として取り扱う。逆に言えば、ワーク2の搬送方向の位置座標(すなわち、図1のX座標)が互いに重なっていない複数のワーク2は、複数のワーク群60として取り扱う。
搬送部1は、複数のワーク2を一方向である搬送方向に例えば一定の搬送速度で搬送する。図1において、搬送部1は、搬送部1上に載置された、製品の解体品などの様々な品種を含む多数のワーク2を一方向の搬送方向(例えば図1の右方向)に搬送速度で搬送する。ここで、複数のワーク2で構成されるワーク群60は、複数のワーク2が等間隔に整列されているワーク群60もあるが、複数のワーク2が等間隔に整列されておらず、複数のワーク2がランダムな間隔で搬送部1に供給されて搬送されているワーク群60もある。搬送部1の一例としては、コンベアであり、コンベアベルトの上にワーク2を載置する。
撮像装置5は、搬送部1の上方に配置され、移動機構8により往復移動可能であり、搬送方向に移動しながら搬送部1の各ワーク2及びワーク群60の位置及び形状などの3次元情報を撮像する。
物体検出器3は、例えば光電センサなどで構成され、搬送部1に取り付けられて、搬送部1上の特定の位置Aを通過する物体すなわち各ワーク2を検出することにより、搬送されるワーク2が搬送部1の特定の位置Aを通過したことを検出する。物体検出器3は、物体を検出している間、継続して検出信号を出力するので、結果として、ワーク2とワーク2との搬送方向の間隔を検出することもできる。なお、物体検出器3は、移動範囲の上流端に位置する撮像装置5の撮像装置視野10の搬送方向の上流端よりも上流側に設置されていることが望ましい。
搬送されるワーク2は、物体検出器3により、搬送部1上の特定の位置Aを通過したタイミングを検出される。特定の位置Aの例としては、図1及び図2に示すように、搬送部1の搬送方向と直交する幅方向沿いの線状でかつ搬送部1の上流端と撮像装置視野の上流端との間の位置である。
移動量検出装置4は、搬送部1に取り付けられており、ワークが特定の位置Aを通過したことを物体検出器3で検出した後の特定の位置Aからの搬送部1によるワーク2のワーク移動量を計測して、ワーク移動量を示す計測信号を発する。移動量検出装置4の例としては、搬送部1がベルトコンベアの場合、ベルトを駆動するモータに取り付けられたエンコーダである。
移動機構8は、移動量検出装置4からの計測信号に基づいて、撮像装置5を、搬送部1のワーク2の搬送速度と同期させて搬送速度と同じ速度で、搬送部1の搬送方向と平行に搬送方向に移動させる。移動機構8の例としては、正逆回転駆動可能なモータと、搬送方向沿いに配置されてモータにより正逆回転可能なボールねじと、ボールねじに螺合しかつ撮像装置5を支持する支持ブラケットとで構成され、モータの正逆回転により、ボールねじを介して支持ブラケットを搬送方向に対して進退させる。
画像処理部51は、撮像装置5が搬送方向に移動しながら撮像して取得した情報を基に画像処理を行って、選別に必要な情報を取得する。すなわち、撮像装置5で撮像されたワーク2の画像情報を画像処理部51が画像認識による処理を行い、ロボット6による選別に必要なワーク2の情報、例えば位置座標、角度、及び品種などを導出する。
ロボット6は、画像処理部51で取得した、選別に必要な情報を基に、搬送されるワーク2を保持し、搬送部1から搬送部1外の所定の位置へ移動させて選別する。
制御部52は、物体検出器3の検出信号と移動量検出装置4からの計測信号とが入力されるとともに、入力情報と搬送部1の搬送速度とに基づいて、撮像装置5と、移動機構8と、ロボット6と、画像処理部51とのそれぞれの動作を制御する。
ここで、搬送部1上でのワーク2の位置の検知の仕方について説明する。
物体検出器3により、搬送部1上の特定の位置Aをワーク2が通過したタイミングを検出する。移動量検出装置4により、搬送部1によるワーク2の移動量を検出して計測信号を出力する。物体検出器3からの信号と移動量検出装置4からの計測信号とを演算部50で演算することで、特定の位置Aよりも下流側の、搬送部1上を搬送されるワーク2の搬送方向の位置を検知することができる。
以上の方法でそれぞれのワーク2の位置を把握することで、搬送部1の上部に搬送部1の搬送面に向かって取り付けられた撮像装置5が、その視野にワーク2が納まったタイミングで撮像を開始するように制御部52で撮像装置5を制御することができる。ここで、「その視野にワーク2が納まったタイミングで撮像を開始する」とは、例えば、撮像装置視野の上流端を観察しているときに、搬送部横断方向にワーク群60を投影したときに1つのワーク群60の影が無くなって、ワーク群60とワーク群60との間に間隔が空いたとき、を意味する。
その後、制御部52が、画像処理部51から取得した、選別に必要なワーク2の情報をロボット6に送るとともに、移動量検出装置4の計測信号もロボット6に送る。これにより、ロボット6は、ワーク2の中から選別したい、特定の品種の特定ワーク2aのみをピックし、搬送部1外の回収箱7に移動するように制御部52でロボット6を制御することで、特定ワーク2aの選別が可能となる。
ここで、撮像装置5として、3次元情報を取得できる3次元撮像装置を使用する場合には、ワーク2の品種判別、位置、及び重なりの特定を容易にすることができ、ロボット6による選別の精度を向上させることができる。
しかし、一般に、3次元撮像装置は画像の取り込みに時間を要するため、搬送部1の上を搬送されているワーク2を撮像すると、搬送部1の搬送速度と撮像装置5の画像取込時間との関係から、動体ブレが生じてしまう。そのため、正確なワーク2の情報が得られず、高精度なピッキングができない。
そこで、撮像装置5を、搬送部1のワーク2の移動と同期して同じ搬送速度で搬送方向に移動させながら撮像することで、この動体ブレを軽減することができる。そのために、移動機構8により、撮像装置5を搬送部1の搬送速度と同期させて同じ搬送速度でかつ搬送部1の搬送方向と平行に搬送方向に撮像装置5を移動させる。ここで、物体検出器3からの信号と、移動量検出装置4からの計測信号と、撮像装置5の現在位置とから、撮像対象のワーク2が撮像装置5の撮像装置視野10内に搬送されるタイミングを演算部50が導出する。次いで、移動機構8が搬送部1と同期しながら撮像装置5を平行移動させるよう制御部52が移動機構8に指示を出し、搬送部1つまり撮像対象のワーク2と撮像装置5との相対速度を軽減する。
ここで、撮像装置5を移動させる移動機構8に備えられた位置検出器(例えば、正逆回転駆動可能なモータのエンコーダ)により、撮像装置5の位置を検出して、撮像装置5の現在位置を取得することができる。
なお、実際には、撮像装置5が搬送部1と同期した速度になるまでの加速時間を考慮したタイミングで、移動機構8が撮像装置5の移動を開始するように制御部52で移動機構8を制御する。
以上のように、制御部52の制御により、撮像装置5を搬送部1と同期して搬送方向に移動しながら撮像装置5で撮像することで、撮像装置5を用いた、搬送中のワーク2の3次元の撮像であっても動体ブレを軽減した撮像が可能となり、その撮像情報に基づいて高精度なピッキングによる選別が可能となる。
しかし、撮像装置5を搬送方向に移動すると、いずれ、搬送方向の下流限8bに撮像装置5が行きついてしまうため、撮像装置5を元位置に戻す動作が必要である。ここで、元位置とは、例えば、移動機構8における撮像装置5の搬送方向の上流限8aである。撮像装置5の元位置に戻す動作は、撮像装置5の非撮像中、つまり、あるワーク群60の撮像が完了してから、次に搬送されるワーク群60の撮像を開始するまでに実施しなければならない。そのために、物体検出器3からの信号と移動量検出装置4からの計測信号とを基にワーク群60の搬送方向のワーク群60同士の間隔と位置とを演算部50が導出する。次いで、演算部50での導出結果を基に、撮像装置5を元位置の方向へ戻すためのタイミング及び戻り量を、制御部52が移動機構8に指示を出す。
なお、ワーク群60のそれぞれが同じ形状かつ搬送部1上を等間隔に搬送される場合は、移動機構8による戻り量は同一、タイミングは一定間隔でもよい。ワーク群60のそれぞれが不定形状又は搬送のタイミングがランダムである場合は、戻り量及びタイミングの調整の制御が必要である。
また同様に、ワーク群60のそれぞれが不定形状又は搬送のタイミングがランダムである場合は、ワーク群60同士の間隔によっては、一度の戻り動作で撮像装置5が元位置まで戻らないこともありうる。つまり、あるワーク群60を撮像するために撮像装置5が移動機構8によって移動しながら撮像し、撮像を完了したのちに、次のワーク群60の撮像を開始するまでに撮像装置5を移動機構8が元位置である上流限8aまで移動させる必要がある。が、撮像装置5の上流限8aまでの移動を完了する前に、次の撮像対象のワーク群60が撮像装置5の撮像装置視野10を通過してしまう位置関係であった場合、上流限8aまで移動が完了する前に次の撮像を開始する必要がある。その場合は、次の撮像タイミングに間に合う戻り量を演算部50が算出し、その戻り量に基づき次の撮像が可能な位置まで撮像装置5が戻り、次の撮像を行う。
ここで、撮像装置5の上流限8aまでの移動を完了する前に、次の撮像対象のワーク群60が撮像装置5の撮像装置視野10を通過してしまう位置関係であった場合か否かは、以下のようにして検出できる。例えば、ワーク群60の現在位置は、物体検出器3と移動量検出装置4とによって検出でき、搬送速度は既知であるため、上流限8aへ戻ろうとする移動機構8に取り付けられた撮像装置5の視野10と搬送されるワーク群60が交わる点とは、計算で取得可能である。その位置まで双方が行ったときには、次の撮像を開始する。
以上の構成により、撮像装置5を搬送部1による搬送動作に同期させて搬送方向に移動しながら撮像を行う場合であっても、撮像装置5が移動機構8の下流限8bに行きついてしまうことなく、繰り返しの撮像が可能となる。なお、上流限8a及び下流限8bは、移動機構8の物理的な端点ではなく、任意の位置に設定してもよい。ただし、上流限8aが下流限8bより上流に存在する必要がある。
このように実施の形態1によれば、撮像装置5を、ワーク2を搬送する搬送部1に追従して撮像装置5を搬送部1の搬送速度と同期させつつ搬送方向に平行移動させながらワーク2を撮像することができる。そのため、従来取得することができなかった搬送中のワーク2の3次元情報を、画像の取り込みに時間を要する3次元撮像装置であっても、動体ブレなく取得することができ、取得した3次元情報を基に、製品の解体品又は破砕品のような形状が一定でないワーク2であっても、高精度にピッキングして特定のワーク2aを選別することができる。
(実施の形態2)
図2は、本発明の実施の形態2におけるピッキング装置の一部を搬送部1の上部から見た構成要素を示す概略図である。図2において、図1と同じ構成要素については同じ符号を用い、説明を省略する。
実施の形態1における移動機構8による撮像装置5の往復動作は、撮像中の撮像装置5の搬送方向への移動と非撮像中の撮像装置5の搬送方向と逆方向への移動との繰り返しであり、非撮像時間が、撮像終了時の撮像装置5の位置から上流限8aまで撮像装置5を移動させる時間よりも短ければ、撮像装置5は上流限8aまで戻ることなく、次のワーク群60の撮像のために撮像装置5が搬送方向へ移動し始める。この移動機構8による撮像装置5の往復動作を効率的にすることで、移動機構8の長さを短く設計することができる。
物体検出器3からの検出信号と移動量検出装置4からの計測信号とを基に複数のワーク2からなりかつ搬送方向に間隔の空いていないワーク群20の位置を演算部50が特定する。そして、当該位置が撮像装置視野10の上流側に納まったタイミングで、移動機構8による撮像装置5の移動を伴う撮像を開始することで、タイムロスを少なく、移動機構8による撮像装置5の往復動作が可能となる。すなわち、このタイミングは、物体検出器3と移動量検出装置4とから得られるワーク群20の搬送方向の位置と撮像装置5の現在位置との関係から撮像装置視野内のワーク群20の位置を演算部50で演算し、かつ演算結果から搬送部横断方向にワーク群20を投影したときに複数のワーク2の影が1つとなるワーク群20のみが撮像装置視野内に納まるタイミングとして演算部50で演算する。制御部52は、前記演算されたタイミングで撮像装置5の移動を開始するように移動機構8を制御する。このようにすれば、タイムロスを少なく、移動機構8による撮像装置5の往復動作が可能となる。
ここで、搬送方向に間隔の空いていないワーク群20とは、搬送部横断方向にワーク群2を投影したときに、複数のワーク2の影が1つとなるワーク群20のことである。つまり、図2のワーク群20を構成する異なる2つのワーク20a、20bのそれぞれにおいて、搬送方向をX軸とし、ワーク20aの搬送方向の下流側の先端をXmax-a、ワーク20aの搬送方向の上流側の後端をXmin-a、ワーク20bの搬送方向の下流側の先端をXmax-b、ワーク20bの搬送方向の上流側の後端をXmin-bとしたとき、以下の2つの関係式(1)及び(2)が成り立つワーク群20を指す。
Xmax-a>Xmax-b>Xmin-a>Xmin-b (1)
Xmax-a>Xmax-b>Xmin-b>Xmin-a (2)
なお、ワーク20aとワーク20bとは搬送方向に対して逆に位置していても構わない。
任意の2つのワーク20a,ワーク20bに対して上記関係式(1)及び(2)が成り立つならば、搬送方向に間隔の空いていないワーク群20の個数に上限はない。
なお、搬送方向に間隔の空いていないワーク群20を成さず、1つのワーク2が搬送されている場合は、そのワーク2が撮像装置視野10の上流側に納まったタイミングで、移動機構8による撮像装置5の移動を伴う撮像を開始すればよい。
以上により、移動機構8による撮像装置5の往復動作を効率的にすることができ、移動機構8の長さを短く設計することができる。
(実施の形態3)
図3は、本発明の実施の形態3におけるピッキング装置の一部を搬送部1の上部から見た構成要素を示す概略図である。図3において、図1、図2と同じ構成要素については同じ符号を用い、説明を省略する。
実施の形態1における移動機構8の往復動作は、撮像中の搬送方向への移動と非撮像中の搬送方向と逆方向への移動との繰り返しであり、非撮像時間が、撮像終了時の撮像装置5の位置から上流限8aまで移動させる時間よりも短ければ、撮像装置5は上流限8aまで戻ることなく、逆方向への移動の途中すなわち戻る途中から、次のワーク群2の撮像のために搬送方向へ移動し始める。画像処理部51は、撮像された画像に存在する未処理のワーク群60を画像処理し、制御部52を経てロボット6に指示を出す。
このように、移動機構8による撮像装置5の往復動作を効率的にすることで、移動機構8の長さを短く設計することができる。
物体検出器3からの信号と移動量検出装置4からの計測信号とを基にワーク群60の搬送方向の位置、ワーク群60同士の搬送方向の間隔、及び、撮像するタイミングまでの待ち時間を演算部50が演算する。また同時に、移動機構8による撮像装置5の往復動作にかかる時間も演算することで、搬送方向にそれぞれ間隔の空いていない複数のワーク群60、すなわち図3の第一のワーク群30及び第二のワーク群31が撮像装置視野10内に納まるのを待つ時間T1と、第一のワーク群30が撮像装置視野10内に納まったタイミングで移動機構8による撮像装置5の往復動作及び撮像を開始し、撮像及び往復動作が終わってから第二のワーク群31を撮像するために移動機構8による撮像装置5の往復動作及び撮像を開始する時間T2を演算することができる。時間T1と時間T2との関係が、T1<T2である場合は、実施の形態2のように第一のワーク群30が撮像装置視野10の上流に納まったタイミングで撮像を開始せず、第二のワーク群31が撮像装置視野10の上流に納まったタイミングまで撮像の開始を待つことで、移動機構8による撮像装置5の往復動作を効率的にすることができ、移動機構8の長さを短く設計することができる。言い換えれば、T1<T2である場合、2つのワーク群30、31を同時に撮像するので、2つのワーク群30、31でそれぞれ往復動作がないために、移動距離が最も小さくなる。具体的には、物体検出器3と移動量検出装置4とから得られるワーク群60の搬送方向の位置と撮像装置5の現在位置との関係から、撮像装置視野内のワーク群60の位置を演算し、撮像装置5の下流への移動距離が最も小さくなる撮像開始タイミングを演算部50で演算する。そして、演算により求められたタイミングで撮像を行う。
なお、前記様々な実施形態又は変形例のうちの任意の実施形態又は変形例を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。また、実施形態同士の組み合わせ又は実施例同士の組み合わせ又は実施形態と実施例との組み合わせが可能であると共に、異なる実施形態又は実施例の中の特徴同士の組み合わせも可能である。
本発明の前記態様にかかるピッキング装置は、3次元情報が必要なワークの高精度なピッキングによる選別をすることが可能であるため、製品の解体品又は破砕品などの形状が一定でないワークの選別回収、又は、果実をその形状又は大きさにより選果する用途にも適用できる。
1 搬送部
2 ワーク
2a 特定ワーク
3 物体検出器
4 移動量検出装置
5 撮像装置
6 ロボット
7 回収箱
8 移動機構
8a 上流限
8b 下流限
10 撮像装置視野
20 ワーク群
30 第一のワーク群
31 第二のワーク群
50 演算部
51 画像処理部
52 制御部
60 ワーク群
A 特定の位置

Claims (5)

  1. 製品の解体品もしくは破砕品である複数のワークから特定のワークを取出して選別するピッキング装置であって、
    前記ワークを一方向の搬送方向に搬送速度で搬送する搬送部と、
    前記搬送部の上方に配置され、前記ワークの3次元情報を撮像する撮像装置と、
    搬送される前記ワークが前記搬送部の特定の位置を通過したことを検出する物体検出器と、
    前記ワークが前記特定の位置を通過したことを前記物体検出器で検出した後の前記搬送部による前記ワークのワーク移動量を計測し、計測信号を発する移動量検出装置と、
    前記移動量検出装置からの前記計測信号に基づいて、前記撮像装置を、前記搬送部の前記搬送速度と同期させて前記搬送部の前記搬送方向と平行に前記搬送方向に移動させる移動機構と、
    前記撮像装置が撮像して取得した情報を基に画像処理を行って、選別に必要な情報を取得する画像処理部と、
    前記画像処理部で取得した前記選別に必要な情報を基に、前記ワークから前記特定のワークを保持して所定の位置へ移動させるロボットと、
    前記搬送部の前記搬送速度と前記移動量検出装置からの前記計測信号に基づいて、前記移動機構による前記撮像装置の移動を制御するとともに、前記搬送部の前記搬送速度と前記移動量検出装置からの前記計測信号と前記画像処理部で取得した前記選別に必要な情報とを基に前記ロボットの動作を制御する制御部とを備え、
    前記制御部の制御下に、前記移動機構による前記撮像装置の移動を制御するとともに、前記ロボットが前記特定のワークを保持して前記所定の位置へ移動させて選別する一方
    前記物体検出器からの検出情報を基に、前記搬送方向に間隔をあけて搬送される前記複数のワークの間隔を演算する演算部を備え、
    前記制御部は、演算された間隔を基に、撮像開始前に前記撮像装置を前記搬送方向と逆方向に移動させるように前記移動機構を制御する、
    ピッキング装置。
  2. 前記演算部は、前記ワークの間隔を基に前記撮像装置の前記搬送方向と逆方向への移動量を演算し、
    前記制御部は、前記演算された移動量だけ、撮像開始前に前記撮像装置を前記搬送方向と逆方向に移動させるように前記移動機構を制御する、請求項に記載のピッキング装置。
  3. 前記物体検出器と前記移動量検出装置とから得られる前記ワークの前記搬送方向の位置と前記撮像装置の現在位置との関係から撮像装置視野内の前記ワークの位置を演算し、かつ演算結果から搬送部横断方向に前記ワークを投影したときに前記複数のワークの影が1つとなるワーク群のみが撮像装置視野内に納まるタイミングを演算する演算部をさらに備えて、
    前記制御部は、前記演算されたタイミングで撮像装置の移動を開始するように前記移動機構を制御する、請求項に記載のピッキング装置。
  4. 前記物体検出器と前記移動量検出装置とから得られる前記ワークの前記搬送方向の位置と前記撮像装置の現在位置との関係から撮像装置視野内の前記ワークの位置を演算し、前記撮像装置の下流への移動距離が最も小さくなる撮像開始タイミングを演算する演算部をさらに備え、
    前記制御部は、前記演算された撮像開始タイミングで前記撮像装置で撮像するように制御する、請求項に記載のピッキング装置。
  5. 前記物体検出器が、移動範囲の上流端に位置する前記撮像装置の撮像装置視野の搬送方向の上流端より前記搬送部の上流側に配置されている、請求項1からのいずれか一項に記載のピッキング装置。
JP2020207554A 2020-12-15 2020-12-15 ピッキング装置 Active JP7336678B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020207554A JP7336678B2 (ja) 2020-12-15 2020-12-15 ピッキング装置
EP21203678.4A EP4015097A1 (en) 2020-12-15 2021-10-20 Picking device
US17/515,621 US20220185599A1 (en) 2020-12-15 2021-11-01 Picking device
CN202111454657.1A CN114632722B (zh) 2020-12-15 2021-12-01 拾取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020207554A JP7336678B2 (ja) 2020-12-15 2020-12-15 ピッキング装置

Publications (2)

Publication Number Publication Date
JP2022094590A JP2022094590A (ja) 2022-06-27
JP7336678B2 true JP7336678B2 (ja) 2023-09-01

Family

ID=78332624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020207554A Active JP7336678B2 (ja) 2020-12-15 2020-12-15 ピッキング装置

Country Status (4)

Country Link
US (1) US20220185599A1 (ja)
EP (1) EP4015097A1 (ja)
JP (1) JP7336678B2 (ja)
CN (1) CN114632722B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4302886A1 (fr) * 2022-07-05 2024-01-10 UniverTpropre Dispositif et procédé pour le tri sélectif autonome de déchets
FR3137594A3 (fr) * 2022-07-05 2024-01-12 Univertpropre dispositif et procédé pour le tri sélectif autonome de déchets

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001122A (ja) 2002-05-31 2004-01-08 Suzuki Motor Corp ピッキング装置
WO2020090941A1 (ja) 2018-10-31 2020-05-07 Jx金属株式会社 電子・電気機器部品屑の組成解析装置、電子・電気機器部品屑の処理装置及び電子・電気機器部品屑の処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5837065B2 (ja) 1977-04-11 1983-08-13 三菱電機株式会社 シ−ム溶接機の電極給電装置
JP3992884B2 (ja) * 1999-06-30 2007-10-17 株式会社メック 欠陥検査装置
DE10354861A1 (de) * 2003-11-20 2005-06-02 Carl Baasel Lasertechnik Gmbh & Co. Kg Verfahren und Einrichtung zum Beobachten einer bewegten Oberfläche eines Werkstücks
JP2006035397A (ja) * 2004-07-29 2006-02-09 Fanuc Ltd 搬送ロボットシステム
JP4864363B2 (ja) * 2005-07-07 2012-02-01 東芝機械株式会社 ハンドリング装置、作業装置及びプログラム
EP1927038A2 (en) * 2005-09-23 2008-06-04 Braintech Canada, Inc. System and method of visual tracking
JP4762351B2 (ja) * 2009-03-30 2011-08-31 パナソニック株式会社 撮像検査装置および撮像検査方法
JP5316563B2 (ja) * 2011-02-15 2013-10-16 オムロン株式会社 画像処理装置および画像処理システム
JP5464176B2 (ja) 2011-06-20 2014-04-09 株式会社安川電機 ピッキングシステム
CN202256176U (zh) * 2011-08-24 2012-05-30 江苏南大尚诚高科技实业有限公司 利用同步机构获取高速移动物体图像的摄像装置
EP2832087B1 (en) * 2012-03-29 2018-10-10 Anteleon Imaging S.à.r.l. Imaging device for capturing images of moving objects
US9200890B2 (en) * 2012-05-22 2015-12-01 Cognex Corporation Machine vision systems and methods with predictive motion control
JP5597783B1 (ja) * 2014-04-03 2014-10-01 株式会社シーアイエス 撮像装置
CN104977306A (zh) * 2014-04-08 2015-10-14 上海微电子装备有限公司 一种表面缺陷检测系统及方法
WO2017154047A1 (ja) * 2016-03-10 2017-09-14 パナソニックIpマネジメント株式会社 撮像装置
JP6722849B2 (ja) * 2016-03-28 2020-07-15 国立大学法人広島大学 間歇的トラッキング撮影装置
DE102016213400A1 (de) * 2016-07-21 2018-01-25 Krones Aktiengesellschaft Vorrichtung und Verfahren zum Umgang mit bewegten Stückgütern, Förder-, Verarbeitungs- und/oder Verpackungsanlage mit einer Vorrichtung zum Umgang mit bewegten Stückgütern
CN106694387A (zh) * 2016-11-30 2017-05-24 重庆速腾机械制造有限公司 精准柱件检测装置
US11102942B2 (en) * 2017-06-14 2021-08-31 Grow Solutions Tech Llc Systems and methods for removing defective seeds and plants in a grow pod
JP6506356B2 (ja) * 2017-07-26 2019-04-24 ファナック株式会社 物品搬送システム及び搬送システム制御装置
CN108169258A (zh) * 2017-12-14 2018-06-15 上海海洋大学 一种用于含骨鱼肉片的检测器移动型检测设备及方法
JP6687591B2 (ja) * 2017-12-26 2020-04-22 ファナック株式会社 物品搬送装置、ロボットシステムおよび物品搬送方法
CN108593669A (zh) * 2018-04-19 2018-09-28 芜湖智为有道信息技术有限公司 随动式视觉检测机构
CN109459441B (zh) * 2019-01-15 2024-08-27 南京中禧智能科技有限公司 一种检测装置、系统及方法
CN209918367U (zh) * 2019-03-22 2020-01-10 湖南正中制药机械有限公司 一种乳化炸药外观质量检测设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004001122A (ja) 2002-05-31 2004-01-08 Suzuki Motor Corp ピッキング装置
WO2020090941A1 (ja) 2018-10-31 2020-05-07 Jx金属株式会社 電子・電気機器部品屑の組成解析装置、電子・電気機器部品屑の処理装置及び電子・電気機器部品屑の処理方法

Also Published As

Publication number Publication date
JP2022094590A (ja) 2022-06-27
EP4015097A1 (en) 2022-06-22
CN114632722B (zh) 2023-12-19
US20220185599A1 (en) 2022-06-16
CN114632722A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN107150032B (zh) 一种基于多图像获取设备的工件识别与分拣装置和方法
CN109249390B (zh) 机器人系统
JP7336678B2 (ja) ピッキング装置
JP5887383B2 (ja) 物品をコンベヤに整列させる物品整列装置
US10442633B2 (en) Robot system
JP2019072792A (ja) 作業システム、物品に対する作業実施方法、およびロボット
JP2019111640A (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
JP6478234B2 (ja) ロボットシステム
US10507990B2 (en) Article transport system and transport system controller
CN110081816B (zh) 物品搬运系统
JP2019126884A (ja) 物品搬送システムおよびロボットシステム
CN109916346B (zh) 一种基于视觉系统的工件平整度的检测装置及检测方法
CN106197273B (zh) 一种随动回转式视觉检测装置
JP6697510B2 (ja) ロボットシステム
CN113386122A (zh) 测量参数的优化方法和装置以及计算机可读存储介质
CN111989540B (zh) 一种工件跟踪方法、系统及机器人
JPH0748018A (ja) 物品移載装置用物品検出装置
CN210625574U (zh) 一种球头销视觉检测系统及球头销检测设备
GB2356699A (en) Providing information of moving objects
JP2020199605A (ja) ロボットシステム
WO2022259387A1 (ja) 生産システム
WO2023026452A1 (ja) 3次元データ取得装置
CN117750204B (zh) 输送线上运动目标的视觉同速跟踪拍摄方法及装置
CN115086536B (zh) 图像获取系统和物品检查系统
WO2005088243A1 (ja) 3次元形状計測システム及び3次元形状計測方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R151 Written notification of patent or utility model registration

Ref document number: 7336678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151