JP7126065B2 - 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 - Google Patents
荷物認識装置、荷物仕分けシステムおよび荷物認識方法 Download PDFInfo
- Publication number
- JP7126065B2 JP7126065B2 JP2019526669A JP2019526669A JP7126065B2 JP 7126065 B2 JP7126065 B2 JP 7126065B2 JP 2019526669 A JP2019526669 A JP 2019526669A JP 2019526669 A JP2019526669 A JP 2019526669A JP 7126065 B2 JP7126065 B2 JP 7126065B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- package
- packages
- background
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C3/00—Sorting according to destination
- B07C3/10—Apparatus characterised by the means used for detection ofthe destination
- B07C3/14—Apparatus characterised by the means used for detection ofthe destination using light-responsive detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C7/00—Sorting by hand only e.g. of mail
- B07C7/005—Computer assisted manual sorting, e.g. for mail
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/137—Storage devices mechanical with arrangements or automatic control means for selecting which articles are to be removed
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Development Economics (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Sorting Of Articles (AREA)
- Warehouses Or Storage Devices (AREA)
Description
また、本開示は、1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記色画像における前記1以上の荷物の領域を推定し、前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、前記プロセッサは、過去のフレームで認識に成功した荷物の色と異なる色を前記背景の色の候補とする。
また、本開示は、1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記色画像における前記1以上の荷物の領域を推定し、前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、前記プロセッサは、更に、背景の色の候補の指定を受け付け、受け付けた候補の範囲内で前記背景の色を切り替える。
また、本開示は、1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記色画像における前記1以上の荷物の領域を推定し、前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、前記プロセッサは、過去のフレームで認識に成功した荷物の色と異なる色を前記背景の色の候補とする。
また、本開示は、1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、前記色画像における前記1以上の荷物の領域を推定し、前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、前記プロセッサは、更に、背景の色の候補の指定を受け付け、受け付けた候補の範囲内で前記背景の色を切り替える。
図1は、実施の形態にかかる荷物仕分けシステムの構成を示すブロック図である。図1に示す荷物仕分けシステム100は、例えば物流センターに設置される。荷物仕分けシステム100は、ラベルリーダ10と、画像センサ20と、投影指示装置30と、プロジェクタ40とを備える。荷物仕分けシステム100は、搬送コンベヤにより搬送されてくる荷物を仕分ける作業員の作業を支援するシステムである。荷物仕分けシステム100は、例えば小売業者、卸売業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形は特に限定はされず、荷物の種類も特に限定されない。なお、荷物仕分けシステムの構成は図1に記載したものに限定されない。例えば、一台のラベルリーダ10に複数の画像センサ20と、投影指示装置30と、プロジェクタ40を接続させるなど、各構成要素の数量は目的に応じて適宜変更させることができる。
図3Aは、荷物仕分けシステム100が物流センターに設置され、稼働している状況を示す概念図である。従来の方法によれば、各作業者Mが、搬送コンベヤ50により矢印X方向に搬送されてくる各荷物Pに貼付されたラベルを目視によりチェックし、作業者自身が配送を担当する荷物が到着したら当該荷物を拾い上げて(ピックアップ)、作業者自身の足元、かご、トラックの荷台等の近傍に一旦置く必要があった。しかしながら、作業者の目視による仕分けの場合、作業者の作業効率には限界があるから、搬送速度を所定の値以下に抑える必要があった。結果として、作業者が単位時間内に仕分けることが可能な荷物の量の限界値は低かった。また、作業者がラベルの目視に際して誤認を行うことにより、仕分けに際して誤りを引き起こす可能性があった。近年、荷物の流通量は増大しており、これらの問題はより注目されつつある。
図5は、本実施形態の投影指示装置30、特に投影指示装置30のプロセッサ34が主として行う動作手順の概要を示すフローチャートである。まず、ラベルリーダ10による荷物のラベルのラベル記録情報の読み取り後、投影指示装置30の入力部32がラベルリーダ10から、ラベル記録情報に対応した荷物特定情報を取得する(ステップS1)。荷物特定情報とは、当該荷物に個別に付与される荷物特定番号、発送人の氏名、住所、電話番号、受取人の氏名、住所、電話番号、荷物の種類、等に類似する情報の少なくとも一つ含む情報である。プロセッサ34は、当該荷物特定情報に対して、当該荷物を特定する荷物特定番号としてのIDを付与し、IDを付与した時刻に対応する時刻情報とともにメモリ36に記録する(ステップS2)。メモリ36に記録するIDは、荷物特定情報に元から記録されていた荷物特定番号でもよいし、投影指示装置30が新しいIDを生成して付与してもよい。
距離画像を取得した荷物の色画像を用いて荷物の認識・追従を行う場合において、荷物が搬送される速度を用いて、次のフレームにおける位置を予測することにより、荷物の認識領域を絞ることができ、認識率の向上が図れる。しかしながら、荷物を認識する認識領域を絞ったとしても、背景の色が認識対象である荷物の色に近かったり、同じであったりした場合、認識対象である荷物の形状を誤ってしまったり、もしくは想定外の方向に移動した場合に認識から外れてしまったりする可能性が高い。すなわち、荷物の追跡精度が劣化してしまう可能性が高い。荷物仕分けシステムにおいては、背景の色は主に搬送コンベヤ50のベルトの色であり、この色に荷物の色が近かったり、同じであったりした場合、荷物の認識が困難となり、さらには荷物の追跡ができなくなる可能性が生じ得る。
20 画像センサ
22 距離画像センサ
24 色画像センサ
30 投影指示装置
32 入力部
34 プロセッサ
36 メモリ
38 出力部
40 プロジェクタ
50 搬送コンベヤ
60 撮像投影装置
100 荷物仕分けシステム
P 荷物
Claims (9)
- 1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
前記色画像における前記1以上の荷物の領域を推定し、
前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、
前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、
前記プロセッサは、前記背景の色を所定周期ごとに切り替える、
荷物認識装置。 - 請求項1に記載の荷物認識装置であって、
前記プロセッサは、前記荷物の認識精度に応じて、前記背景の色を切り替える周期を変更する、
荷物認識装置。 - 1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
前記色画像における前記1以上の荷物の領域を推定し、
前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、
前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、
前記プロセッサは、過去のフレームで認識に成功した荷物の色と異なる色を前記背景の色の候補とする、
荷物認識装置。 - 1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識装置であって、
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
前記色画像における前記1以上の荷物の領域を推定し、
前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、
前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、
前記プロセッサは、更に、
背景の色の候補の指定を受け付け、受け付けた候補の範囲内で前記背景の色を切り替える、
荷物認識装置。 - 請求項1から請求項4のいずれか1項に記載の荷物認識装置であって、
前記プロセッサは、距離画像を用いて、前記色画像における前記1以上の荷物の領域を推定する、
荷物認識装置。 - 請求項1から請求項4のいずれか1項に記載の荷物認識装置を含む投影指示装置と、荷物に貼付されたラベルから荷物特定情報を読み取るラベルリーダと、前記荷物を含む距離画像を取得する距離画像センサと、前記荷物を含む色画像を取得する色画像センサと、仕分け先を示す投影画像を前記荷物に投影する画像投影装置と、を備える荷物仕分けシステム。
- 1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、
プロセッサがメモリと協働して、
前記色画像における前記1以上の荷物の領域を推定し、
前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、
前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、
前記プロセッサは、前記背景の色を所定周期ごとに切り替える、
荷物認識方法。 - 1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、
プロセッサがメモリと協働して、
前記色画像における前記1以上の荷物の領域を推定し、
前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、
前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、
前記プロセッサは、過去のフレームで認識に成功した荷物の色と異なる色を前記背景の色の候補とする、
荷物認識方法。 - 1以上の荷物を含む色画像に基づき、前記荷物を認識する荷物認識方法であって、
プロセッサがメモリと協働して、
前記色画像における前記1以上の荷物の領域を推定し、
前記色画像における前記1以上の荷物の領域を除く領域である背景の色を切り替え、
前記色を切り替えた背景と前記荷物の領域の色とに基づいて、前記1以上の荷物それぞれを認識し、
前記プロセッサは、更に、
背景の色の候補の指定を受け付け、受け付けた候補の範囲内で前記背景の色を切り替える、
荷物認識方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017129574 | 2017-06-30 | ||
JP2017129574 | 2017-06-30 | ||
PCT/JP2018/018943 WO2019003686A1 (ja) | 2017-06-30 | 2018-05-16 | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019003686A1 JPWO2019003686A1 (ja) | 2020-04-23 |
JP7126065B2 true JP7126065B2 (ja) | 2022-08-26 |
Family
ID=64742083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019526669A Active JP7126065B2 (ja) | 2017-06-30 | 2018-05-16 | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11145066B2 (ja) |
EP (1) | EP3647232A4 (ja) |
JP (1) | JP7126065B2 (ja) |
WO (1) | WO2019003686A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BR112021016229A2 (pt) * | 2019-04-10 | 2021-10-19 | Laitram, L.L.C. | Sistema transportador, e método implementado por processador para classificar as embalagens transportadas em um segmento do transportador de alimentação |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007080834A1 (ja) | 2006-01-10 | 2007-07-19 | Matsushita Electric Industrial Co., Ltd. | 色補正処理装置および色補正処理方法、ならびに、動的なカメラ色補正装置およびそれを用いた映像検索装置 |
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SG45100A1 (en) * | 1994-03-07 | 1998-01-16 | Ibm | Improvements in image processing |
EP0749362B1 (en) | 1994-03-07 | 1999-10-20 | International Business Machines Corporation | Improvements in image processing |
US6047889A (en) * | 1995-06-08 | 2000-04-11 | Psc Scanning, Inc. | Fixed commercial and industrial scanning system |
JP2000171215A (ja) * | 1998-12-03 | 2000-06-23 | Techno Wave:Kk | 物流情報読取り装置 |
FR2825817B1 (fr) * | 2001-06-07 | 2003-09-19 | Commissariat Energie Atomique | Procede de traitement d'images pour l'extraction automatique d'elements semantiques |
WO2004079546A2 (en) | 2003-03-04 | 2004-09-16 | United Parcel Service Of America, Inc. | System for projecting a handling instruction onto a moving item or parcel |
JP2011100244A (ja) * | 2009-11-05 | 2011-05-19 | Nippon Telegr & Teleph Corp <Ntt> | 文字色提案装置、文字色提案方法およびプログラム |
WO2011115666A2 (en) * | 2010-03-13 | 2011-09-22 | Carnegie Mellon University | Computer vision and machine learning software for grading and sorting plants |
-
2018
- 2018-05-16 JP JP2019526669A patent/JP7126065B2/ja active Active
- 2018-05-16 EP EP18822731.8A patent/EP3647232A4/en active Pending
- 2018-05-16 US US16/623,667 patent/US11145066B2/en active Active
- 2018-05-16 WO PCT/JP2018/018943 patent/WO2019003686A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007080834A1 (ja) | 2006-01-10 | 2007-07-19 | Matsushita Electric Industrial Co., Ltd. | 色補正処理装置および色補正処理方法、ならびに、動的なカメラ色補正装置およびそれを用いた映像検索装置 |
WO2015145982A1 (ja) | 2014-03-28 | 2015-10-01 | 日本電気株式会社 | 情報処理装置、情報処理システム、物流システム、情報処理方法およびプログラム記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US11145066B2 (en) | 2021-10-12 |
EP3647232A1 (en) | 2020-05-06 |
EP3647232A4 (en) | 2020-11-11 |
WO2019003686A1 (ja) | 2019-01-03 |
JPWO2019003686A1 (ja) | 2020-04-23 |
US20200193612A1 (en) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3689793A1 (en) | Package sorting system, projected instruction device, and package sorting method | |
EP3434623A1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
JP7174898B2 (ja) | 荷物判定装置、荷物仕分けシステムおよび荷物判定方法 | |
JP7129617B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7126066B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
US20200290093A1 (en) | Projection instruction device, package sorting system, and projection instruction method | |
JP7126065B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP7129616B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129614B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
JP7194884B2 (ja) | 荷物仕分けシステム、投影指示装置、投影指示方法 | |
US11348333B2 (en) | Package recognition device, package sorting system and package recognition method | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220317 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7126065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |