JP7317732B2 - 推定装置、物体搬送システム、推定方法、およびプログラム - Google Patents
推定装置、物体搬送システム、推定方法、およびプログラム Download PDFInfo
- Publication number
- JP7317732B2 JP7317732B2 JP2020006887A JP2020006887A JP7317732B2 JP 7317732 B2 JP7317732 B2 JP 7317732B2 JP 2020006887 A JP2020006887 A JP 2020006887A JP 2020006887 A JP2020006887 A JP 2020006887A JP 7317732 B2 JP7317732 B2 JP 7317732B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- unit
- light
- estimating
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
- G01S7/4866—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak by fitting a model or function to the received signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
図1は、第1の実施形態の推定装置の構成の一例を示すブロック図である。推定装置1は、例えば、光源部10と、受光部20と、算出部30と、制御部40と、推定部50と、記憶部60と、を備える。
なお、第1の実施形態の推定装置1では、記憶部60に記憶しておく特性データとして、推定装置1の運用を開始する前に作成したテーブルを記憶している場合について説明した。しかし、記憶部60に記憶しておく特性データは、上述したテーブルに限定されない。例えば、ニューラルネットワークや、ディープニューラルネットワーク、畳み込みニューラルネットワークなどの機械学習の技術を用いて学習した学習済みモデルのネットワーク構造やパラメータを、記憶部60に記憶しておいてもよい。学習済みモデルは、例えば、制御部40が光源部10および受光部20に設定した制御条件の情報と、算出部30により出力された被写体データが表す距離値dとが入力されると、入力された距離値dが表す被写体Sの特性を結果として出力するように機械学習されたモデルである。学習済みモデルが出力する被写体Sの特性の結果は、例えば、距離値dの差を低減させるための補正された距離値dや、被写体Sの材質、色などである。
以下、第2の実施形態の推定装置について説明する。図5は、第2の実施形態の推定装置の構成の一例を示すブロック図である。推定装置2は、例えば、光源部10と、受光部20と、算出部30と、制御部42と、推定部52と、記憶部60と、調整部70と、を備える。
以下、第3の実施形態の推定装置について説明する。第1の実施形態の推定装置1および第2の実施形態の推定装置2では、推定部50または推定部52により出力された推定データの利用については詳細に説明していなかった。第3の実施形態の推定装置では、推定部50により出力された推定データの利用の一例について説明する。以下の説明においては、受光部20が、距離を計測するために反射光RLを受光する画素が二次元の行列状に複数配置されている距離画像センサであり、それぞれの画素により出力された受光データに基づく推定データを用いて、被写体Sの特性を画像として表した特性画像を生成する場合について説明する。
以下、実施形態の推定装置の適用例について説明する。推定装置は、荷物の搬入、搬出を自動で行う物流倉庫における物流用の物体搬送システム(例えば、物流用のハンドリングシステム(ピッキングシステム))や、産業用ロボットシステム、その他のシステムなどに広く適用することができる。以下の説明においては、第1の実施形態の推定装置1を、物流用の物体搬送システムに適用する場合の一例について説明する。
Claims (16)
- 被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定する推定装置であって、
照射光における照射パルスのパルス長と信号レベルとを組み合わせた照射パターンに応じて、前記被写体が存在する空間に前記照射光を照射する光源部と、
前記被写体によって反射された前記照射光の反射光を受光する受光ゲートを有し、前記受光ゲートが前記反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と、前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた受光パターンに応じて前記反射光を受光する受光部と、
複数の前記照射光の照射パターンと複数の前記受光パターンとを組み合わせた複数の制御条件を切り替え、前記複数の制御条件を前記光源部および前記受光部に設定する制御部と、
前記受光部が取得した前記反射光に基づいて、前記被写体までの距離である距離値を含む被写体データを算出する算出部と、
前記複数の制御条件、前記被写体の前記特性および前記距離値の対応関係を定めた特性データを取得し、前記制御条件、前記被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定する推定部と、
を備える推定装置。 - 複数の前記照射パターンは、前記照射光の前記照射パルスの前記パルス長と前記信号レベルとの少なくとも一つが互いに異なるように設定され、
複数の前記受光パターンは、前記ゲートパルスの前記パルス長と、前記相対的時刻差との少なくとも一つが互いに異なるように設定される、
請求項1に記載の推定装置。 - 前記特性データを記憶する記憶部、
をさらに備え、
前記推定部は、前記被写体データを取得する際に用いた前記制御条件に基づいて選択した前記特性データに基づいて、取得した前記被写体データが表す前記被写体の前記特性を推定する、
請求項1または請求項2に記載の推定装置。 - 前記推定部は、取得した前記被写体データが含む前記距離値と、選択した前記特性データに対応付けられた前記距離値との類似度に基づいた重み係数によって、前記特性データに対応付けられた二つ以上の前記距離値を重み付けした和を、前記被写体データが表す前記距離値として推定する、
請求項3に記載の推定装置。 - 前記特性データは、前記受光ゲートが受光した複数の前記反射光の一部または全てを要素とする多次元のベクトルを四則演算した結果を含む、
請求項3または請求項4に記載の推定装置。 - 前記特性データは、前記多次元のベクトルをさらに変換した近似式における少なくとも一つ以上の要素からなる特徴量を含む、
請求項5に記載の推定装置。 - 前記複数の制御条件に基づいて前記被写体の前記特性を推定するニューラルネットワークを記憶する記憶部、
をさらに備え、
前記推定部は、前記被写体データと、当該前記被写体データを取得する際に用いた前記制御条件とを前記ニューラルネットワークに入力して、取得した前記被写体データが表す前記被写体の前記特性を推定する、
請求項1または請求項2に記載の推定装置。 - 前記被写体データにおける時間的または空間的なばらつきに応じて、前記推定部が前記被写体の前記特性を推定する際に用いる前記被写体データの個数を調整する調整部、
をさらに備える、
請求項1から請求項7のうちいずれか1項に記載の推定装置。 - 前記被写体データにおける時間的または空間的なばらつきに応じて、前記推定部が選択する前記特性データの個数、または前記重み係数を調整する調整部、
をさらに備える、
請求項4に記載の推定装置。 - 前記被写体の前記特性は、前記被写体との間の距離を含む、
請求項1から請求項9のうちいずれか1項に記載の推定装置。 - 前記被写体の前記特性は、前記被写体の材質を含む、
請求項1から請求項10のうちいずれか1項に記載の推定装置。 - 前記被写体の前記特性は、前記被写体の前記属性である前記被写体の反射率、屈折率、透過率、減弱係数、吸収係数、散乱断面積、誘電率、密度、および濃度の少なくとも一つ以上を含む、
請求項1から請求項11のうちいずれか1項に記載の推定装置。 - それぞれの前記受光ゲートに対応する前記被写体の前記特性に基づいて前記被写体の特性画像を生成し、生成した前記特性画像に対して前記被写体の材質または前記被写体の前記属性の少なくとも一方に基づいたフィルタ処理を施す画像処理部、
をさらに備える、
請求項11または請求項12に記載の推定装置。 - 請求項1から請求項13のうちいずれか1項に記載の推定装置と、
前記推定装置が推定した前記被写体の前記特性に基づいて認識した物体を保持し、前記物体を所定の位置に移動させる保持機構と、
を備える物体搬送システム。 - 被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定する推定方法であって、
コンピュータが、
前記被写体に照射する照射光における照射パルスのパルス長と信号レベルとを組み合わせた複数の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた複数の受光パターンと、を組み合わせた複数の制御条件を切り替え、
前記複数の制御条件、前記被写体の前記特性および前記被写体までの距離である距離値の対応関係を定めた特性データを取得し、前記制御条件、前記距離値を含む被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定する、
推定方法。 - 被写体を撮影することによって、前記被写体との距離、前記被写体の材質または前記被写体の属性のいずれかを含む前記被写体の特性を推定させるプログラムであって、
コンピュータに、
前記被写体に照射する照射光における照射パルスのパルス長と信号レベルとを組み合わせた複数の照射パターンと、前記照射光が前記被写体で反射された反射光を受光する際の感度に係る時間応答を定めるゲートパルスのパルス長と前記照射パルスの開始時刻から前記ゲートパルスの開始時刻までの相対的時刻差とを組み合わせた複数の受光パターンと、を組み合わせた複数の制御条件を切り替えさせ、
前記複数の制御条件、前記被写体の前記特性および前記被写体までの距離である距離値の対応関係を定めた特性データを取得し、前記制御条件、前記距離値を含む被写体データおよび前記特性データに基づいて、前記被写体の前記特性を推定させる、
プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020006887A JP7317732B2 (ja) | 2020-01-20 | 2020-01-20 | 推定装置、物体搬送システム、推定方法、およびプログラム |
US17/010,986 US20210223364A1 (en) | 2020-01-20 | 2020-09-03 | Estimation device, object conveyance system, estimation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020006887A JP7317732B2 (ja) | 2020-01-20 | 2020-01-20 | 推定装置、物体搬送システム、推定方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021113756A JP2021113756A (ja) | 2021-08-05 |
JP7317732B2 true JP7317732B2 (ja) | 2023-07-31 |
Family
ID=76856985
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020006887A Active JP7317732B2 (ja) | 2020-01-20 | 2020-01-20 | 推定装置、物体搬送システム、推定方法、およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210223364A1 (ja) |
JP (1) | JP7317732B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4330062A (en) | 1978-06-21 | 1982-05-18 | Sunkist Growers, Inc. | Method and apparatus for measuring the surface color of an article |
JP2007114831A (ja) | 2005-10-18 | 2007-05-10 | Omron Corp | 物体検出装置 |
JP2009192217A (ja) | 2008-02-12 | 2009-08-27 | National Maritime Research Institute | ライダー装置及び対象物検出方法 |
JP2011179910A (ja) | 2010-02-26 | 2011-09-15 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
WO2018066698A1 (ja) | 2016-10-07 | 2018-04-12 | 大学共同利用機関法人情報・システム研究機構 | 形状測定装置及び方法 |
WO2018066359A1 (ja) | 2016-10-07 | 2018-04-12 | パイオニア株式会社 | 検査装置、検査方法、コンピュータプログラム及び記録媒体 |
JP2018511785A (ja) | 2015-02-19 | 2018-04-26 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 赤外線レーザ照明装置 |
JP2019124582A (ja) | 2018-01-16 | 2019-07-25 | 株式会社Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6144976B2 (ja) * | 2013-06-26 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、組み付け装置、情報処理方法、及びプログラム |
US9945936B2 (en) * | 2015-05-27 | 2018-04-17 | Microsoft Technology Licensing, Llc | Reduction in camera to camera interference in depth measurements using spread spectrum |
CN117310741A (zh) * | 2017-01-03 | 2023-12-29 | 应诺维思科技有限公司 | 用于检测和分类物体的激光雷达系统和方法 |
US11105925B2 (en) * | 2017-03-01 | 2021-08-31 | Ouster, Inc. | Accurate photo detector measurements for LIDAR |
US11947013B2 (en) * | 2019-03-15 | 2024-04-02 | Trinamix Gmbh | Detector for identifying at least one material property |
-
2020
- 2020-01-20 JP JP2020006887A patent/JP7317732B2/ja active Active
- 2020-09-03 US US17/010,986 patent/US20210223364A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4330062A (en) | 1978-06-21 | 1982-05-18 | Sunkist Growers, Inc. | Method and apparatus for measuring the surface color of an article |
JP2007114831A (ja) | 2005-10-18 | 2007-05-10 | Omron Corp | 物体検出装置 |
JP2009192217A (ja) | 2008-02-12 | 2009-08-27 | National Maritime Research Institute | ライダー装置及び対象物検出方法 |
JP2011179910A (ja) | 2010-02-26 | 2011-09-15 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2018511785A (ja) | 2015-02-19 | 2018-04-26 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 赤外線レーザ照明装置 |
WO2018066698A1 (ja) | 2016-10-07 | 2018-04-12 | 大学共同利用機関法人情報・システム研究機構 | 形状測定装置及び方法 |
WO2018066359A1 (ja) | 2016-10-07 | 2018-04-12 | パイオニア株式会社 | 検査装置、検査方法、コンピュータプログラム及び記録媒体 |
JP2019124582A (ja) | 2018-01-16 | 2019-07-25 | 株式会社Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210223364A1 (en) | 2021-07-22 |
JP2021113756A (ja) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180050451A1 (en) | Picking system and method for controlling picking robot | |
US11209528B2 (en) | Time-of-flight depth image processing systems and methods | |
EP3521705B1 (en) | Heat treatment monitoring system | |
US20200057160A1 (en) | Multi-object tracking based on lidar point cloud | |
US20100328682A1 (en) | Three-dimensional measurement apparatus, measurement method therefor, and computer-readable storage medium | |
US20150253863A1 (en) | Image Processor Comprising Gesture Recognition System with Static Hand Pose Recognition Based on First and Second Sets of Features | |
JP2014229303A (ja) | シーン内の物体を検出する方法 | |
US20210150760A1 (en) | Machine Vision-Based Method and System to Facilitate the Unloading of a Pile of Cartons in a Carton Handling System | |
US20190188841A1 (en) | Image processing system, computer readable recording medium, and image processing method | |
Roy et al. | Pose estimation of texture-less cylindrical objects in bin picking using sensor fusion | |
JP7317732B2 (ja) | 推定装置、物体搬送システム、推定方法、およびプログラム | |
EP4275174A1 (en) | Machine vision-based method and system to facilitate the unloading of a pile of cartons in a carton handling system | |
JP6880457B2 (ja) | 把持方法、把持システム及びプログラム | |
CN115457494A (zh) | 基于红外图像和深度信息融合的物体识别方法及其系统 | |
JP2019060695A (ja) | 3次元物体検出装置、ロボット、及びプログラム | |
US20230120831A1 (en) | Method and System for Manipulating a Multitude of Target Items Supported on a Substantially Horizontal Support Surface One at a Time | |
US20230130353A1 (en) | Method and System for Decanting a Plurality of Items Supported on a Transport Structure at One Time with a Picking Tool for Placement into a Transport Container | |
CN109685002A (zh) | 一种数据集采集方法、系统以及电子装置 | |
US12112468B2 (en) | Method and apparatus for detecting dimension error | |
JP7424800B2 (ja) | 制御装置、その制御方法、及び制御システム | |
CN110398477B (zh) | 材质分类及识别方法 | |
US10859506B2 (en) | Image processing system for processing image data generated in different light emission states, non-transitory computer readable recording medium, and image processing method | |
WO2020116170A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
CN117067208B (zh) | 一种柔性手抓取力的控制方法及控制系统 | |
Palmquist | Detecting defects on cheese using hyperspectral image analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230314 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230719 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7317732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |