JP7452647B2 - 処理装置、処理方法及びプログラム - Google Patents
処理装置、処理方法及びプログラム Download PDFInfo
- Publication number
- JP7452647B2 JP7452647B2 JP2022529198A JP2022529198A JP7452647B2 JP 7452647 B2 JP7452647 B2 JP 7452647B2 JP 2022529198 A JP2022529198 A JP 2022529198A JP 2022529198 A JP2022529198 A JP 2022529198A JP 7452647 B2 JP7452647 B2 JP 7452647B2
- Authority
- JP
- Japan
- Prior art keywords
- product
- image
- evaluation value
- target area
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 57
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000011156 evaluation Methods 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 17
- 239000003550 marker Substances 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 7
- 238000005282 brightening Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 15
- 238000013135 deep learning Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Geometry (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
商品を含む画像を取得する取得手段と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
前記対象領域の画像の評価値を算出する算出手段と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
を有する処理装置が提供される。
コンピュータが、
商品を含む画像を取得し、
観察対象が含まれる領域である対象領域を前記画像から検出し、
前記対象領域の画像の評価値を算出し、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する処理方法が提供される。
コンピュータを、
商品を含む画像を取得する取得手段、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
前記対象領域の画像の評価値を算出する算出手段、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
として機能させるプログラムが提供される。
「概要」
本実施形態の処理装置は、機械学習やディープラーニングにおける学習のために用意された候補画像(認識したい商品を含む画像)の中から、学習用の画像として好ましいもの(所定の基準を満たすもの)を選択し、選択した候補画像を学習用の画像として登録する機能を有する。このように厳選された学習用の画像を用いて学習を行うことで、得られた推定モデルの商品認識の精度が向上する。
次に、処理装置のハードウエア構成の一例を説明する。処理装置の各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図2に、処理装置10の機能ブロック図の一例を示す。図示するように、処理装置10は、取得部11と、検出部12と、算出部13と、登録部14と、記憶部15とを有する。
処理装置10は、機械学習やディープラーニングにおける学習のために用意された候補画像(認識したい商品を含む画像)の中から、学習用の画像として好ましいもの(所定の基準を満たすもの)を選択し、選択した候補画像を学習用の画像として登録することができる。このような処理装置10によれば、用意された候補画像の全てを学習に利用するのでなく、厳選された学習用の画像として好ましい候補画像のみを学習に利用することができる。結果、学習で得られた推定モデルの商品認識の精度が向上する。
図7に示すように、本実施形態の処理装置10は、候補画像を生成するカメラ20及び当該カメラ20の撮影領域を照らす照明30と有線及び/又は無線で接続し、通信可能になっている。例えば、カメラ20は図3乃至図5に示すカメラ2であり、照明30は図3乃至図5に示す枠4に設けられた照明である。
例えば、調整部16は、対象領域の輝度に関する値が所定の数値範囲よりも高い(対象領域の輝度が高すぎる)場合、「照明30を暗くする」、及び、「画像の輝度(明るさ)を低くする方向にカメラ20のパラメータを変更する」の少なくとも一方の調整を実行する。
その他、例えば図3乃至図5に示す例のように複数の照明30でカメラ20の撮影領域を照らす場合、調整部16は、複数の照明30を個別に制御することができる。
その他、例えば図3乃至図5に示す例のように互いに異なる方向から複数のカメラ20で商品を撮影し、取得部11が複数のカメラ20により生成された複数の画像を取得する場合、調整部16は、複数のカメラ20が生成した画像各々における画像内の商品の大きさに基づき1つのカメラ20を選択し、選択結果に基づき、商品を照らす照明30の明るさを調整することができる。例えば、調整部16は、画像内の商品の大きさが最も大きい画像を生成したカメラ20を選択する。この選択は、複数のカメラ20の中からその商品の撮影に最も適しているカメラ20を選択することを意味する。商品を最も大きく撮影できるカメラ20が、その商品の撮影に最も適しているカメラ20として選択されている。
その他、例えば商品陳列棚1の段毎に個別に明るさを調整可能な複数の照明30が設置されてもよい。図9に一例を示す。図示する例では、3段の商品陳列棚1において、個別に明るさを調整可能な6個の照明9-1乃至9-6が設置されている。
1. 商品を含む画像を取得する取得手段と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
前記対象領域の画像の評価値を算出する算出手段と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
を有する処理装置。
2. 前記観察対象は、前記商品、前記商品以外の所定の物体、又は所定のマーカである1に記載の処理装置。
3. 前記観察対象が前記商品である場合、前記評価値は、前記対象領域の輝度に関する値、前記対象領域の大きさに関する値、又は前記対象領域から抽出された特徴点数であり、
前記観察対象が前記商品以外の所定の物体又は前記所定のマーカである場合、前記評価値は、前記対象領域の輝度に関する値又は前記対象領域から抽出された特徴点数である1又は2に記載の処理装置。
4. 前記評価値が基準を満たさない場合、撮影条件を変更する調整手段をさらに有する1から3のいずれかに記載の処理装置。
5. 前記調整手段は、前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさ、及び前記画像を生成するカメラのパラメータの少なくとも一方を変更する4に記載の処理装置。
6. 前記取得手段は、互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
前記調整手段は、
前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、1つの前記カメラを選択し、
選択結果に基づき、前記商品を照らす照明の明るさを調整する5に記載の処理装置。
7. 前記調整手段は、
前記商品を挟んで前記選択したカメラと反対側に位置する照明を暗くする、及び、
前記選択したカメラからみて前記商品よりも手前側に位置する照明を明るくする、
の少なくとも一方を行う6に記載の処理装置。
8. 前記取得手段は、複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
前記商品陳列棚の段毎に照明が設けられており、
前記調整手段は、
前記画像に含まれる前記商品が陳列されていた段を特定し、
特定した段に対応する照明の明るさを調整する請求項5から7のいずれか1項に記載の処理装置。
9. コンピュータが、
商品を含む画像を取得し、
観察対象が含まれる領域である対象領域を前記画像から検出し、
前記対象領域の画像の評価値を算出し、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する処理方法。
10. コンピュータを、
商品を含む画像を取得する取得手段、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
前記対象領域の画像の評価値を算出する算出手段、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
として機能させるプログラム。
Claims (9)
- 商品を含む画像を取得する取得手段と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段と、
を有し、
前記取得手段は、
互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
前記調整手段は、
前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、1つの前記カメラを選択し、
選択結果に基づき、前記商品を照らす照明の明るさを調整する処理装置。 - 前記調整手段は、
前記商品を挟んで前記選択したカメラと反対側に位置する照明を暗くする、及び、
前記選択したカメラからみて前記商品よりも手前側に位置する照明を明るくする、
の少なくとも一方を行う請求項1に記載の処理装置。 - 商品を含む画像を取得する取得手段と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段と、
前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段と、
前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段と、
を有し、
前記取得手段は、
複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
前記商品陳列棚の段毎に照明が設けられており、
前記調整手段は、
前記画像に含まれる前記商品が陳列されていた段を特定し、
特定した段に対応する照明の明るさを調整する処理装置。 - 前記観察対象は、前記商品、前記商品以外の所定の物体、又は所定のマーカである請求項1から3のいずれか1項に記載の処理装置。
- 前記調整手段は、前記評価値が基準を満たさない場合、前記画像を生成するカメラのパラメータをさらに変更する請求項1から4のいずれか1項に記載の処理装置。
- コンピュータが、
商品を含む画像を取得する取得工程と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出工程と、
前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出工程と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録工程と、
前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整工程と、
を実行し、
前記取得工程では、
互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
前記調整工程では、
前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、1つの前記カメラを選択し、
選択結果に基づき、前記商品を照らす照明の明るさを調整する処理方法。 - コンピュータが、
商品を含む画像を取得する取得工程と、
観察対象が含まれる領域である対象領域を前記画像から検出する検出工程と、
前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出工程と、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録工程と、
前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整工程と、
を実行し、
前記取得工程では、
複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
前記商品陳列棚の段毎に照明が設けられており、
前記調整工程では、
前記画像に含まれる前記商品が陳列されていた段を特定し、
特定した段に対応する照明の明るさを調整する処理方法。 - コンピュータを、
商品を含む画像を取得する取得手段、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段、
として機能させ、
前記取得手段は、
互いに異なる方向から前記商品を撮影する複数のカメラが生成した前記画像を取得し、
前記調整手段は、
前記複数のカメラ各々が生成した前記画像各々における前記画像内の前記商品の大きさに基づき、1つの前記カメラを選択し、
選択結果に基づき、前記商品を照らす照明の明るさを調整するプログラム。 - コンピュータを、
商品を含む画像を取得する取得手段、
観察対象が含まれる領域である対象領域を前記画像から検出する検出手段、
前記対象領域から抽出された特徴点数に基づき、前記対象領域の画像の評価値を算出する算出手段、
前記評価値が基準を満たす場合、前記画像を学習用の画像として登録する登録手段、
前記評価値が基準を満たさない場合、前記商品を照らす照明の明るさを変更する調整手段、
として機能させ、
前記取得手段は、
複数段の商品陳列棚から取り出された前記商品を含む前記画像を取得し、
前記商品陳列棚の段毎に照明が設けられており、
前記調整手段は、
前記画像に含まれる前記商品が陳列されていた段を特定し、
特定した段に対応する照明の明るさを調整するプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/021841 WO2021245813A1 (ja) | 2020-06-02 | 2020-06-02 | 処理装置、処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021245813A1 JPWO2021245813A1 (ja) | 2021-12-09 |
JP7452647B2 true JP7452647B2 (ja) | 2024-03-19 |
Family
ID=78830691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022529198A Active JP7452647B2 (ja) | 2020-06-02 | 2020-06-02 | 処理装置、処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230222685A1 (ja) |
JP (1) | JP7452647B2 (ja) |
WO (1) | WO2021245813A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019125144A (ja) | 2018-01-16 | 2019-07-25 | 株式会社富士通アドバンストエンジニアリング | 商品情報管理プログラム、方法及び装置、並びに商品管理プログラム、方法及び装置 |
WO2019188443A1 (ja) | 2018-03-30 | 2019-10-03 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2019201397A (ja) | 2018-05-15 | 2019-11-21 | 大日本印刷株式会社 | 撮影装置及びプログラム |
JP2020008904A (ja) | 2018-07-02 | 2020-01-16 | パナソニックIpマネジメント株式会社 | 学習データ収集装置、学習データ収集システム、及び学習データ収集方法 |
-
2020
- 2020-06-02 JP JP2022529198A patent/JP7452647B2/ja active Active
- 2020-06-02 US US17/928,970 patent/US20230222685A1/en active Pending
- 2020-06-02 WO PCT/JP2020/021841 patent/WO2021245813A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019125144A (ja) | 2018-01-16 | 2019-07-25 | 株式会社富士通アドバンストエンジニアリング | 商品情報管理プログラム、方法及び装置、並びに商品管理プログラム、方法及び装置 |
WO2019188443A1 (ja) | 2018-03-30 | 2019-10-03 | 日本電気株式会社 | 情報処理装置、情報処理システム、制御方法、及びプログラム |
JP2019201397A (ja) | 2018-05-15 | 2019-11-21 | 大日本印刷株式会社 | 撮影装置及びプログラム |
JP2020008904A (ja) | 2018-07-02 | 2020-01-16 | パナソニックIpマネジメント株式会社 | 学習データ収集装置、学習データ収集システム、及び学習データ収集方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2021245813A1 (ja) | 2021-12-09 |
US20230222685A1 (en) | 2023-07-13 |
JPWO2021245813A1 (ja) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9704230B2 (en) | Feedback to user for indicating augmentability of an image | |
US8693731B2 (en) | Enhanced contrast for object detection and characterization by optical imaging | |
JP4991923B2 (ja) | 画像処理方法及び装置 | |
JP6553624B2 (ja) | 計測機器、及びシステム | |
US9454708B2 (en) | Recognition dictionary creation apparatus and method for creating recognition dictionary by the same | |
JP2008529166A (ja) | デジタルカメラ画像におけるシーン距離の判定 | |
US9058655B2 (en) | Region of interest based image registration | |
JP2011039604A (ja) | 画像追尾装置、画像追尾方法、及びコンピュータプログラム | |
JP5279653B2 (ja) | 画像追尾装置、画像追尾方法、及びコンピュータプログラム | |
CN115631291A (zh) | 用于增强现实的实时重光照方法和装置、设备和介质 | |
JP7525022B2 (ja) | 処理装置、処理方法及びプログラム | |
JP2018194346A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP7452647B2 (ja) | 処理装置、処理方法及びプログラム | |
CN111970447B (zh) | 显示装置和移动终端 | |
WO2019043734A1 (en) | SYSTEM AND METHOD FOR GENERATING A VIRTUAL 360 DEGREE VIEW OF A CLOTHING | |
JP7380869B2 (ja) | 処理装置、前処理装置、処理方法、及び前処理方法 | |
JP7396476B2 (ja) | 処理装置、処理方法及びプログラム | |
JP7435771B2 (ja) | 制御装置、制御方法、およびプログラム | |
JP7435758B2 (ja) | 処理システム、処理方法及びプログラム | |
US20230222803A1 (en) | Processing apparatus, processing method, and non-transitory storage medium | |
WO2023175765A1 (ja) | 学習用データ生成装置、商品数確認装置、学習用データ生成方法、商品数確認方法、及び記録媒体 | |
JP7279755B2 (ja) | 情報処理装置、情報処理システム、制御方法、及びプログラム | |
EP4366323A1 (en) | Method and apparatus with hyperlapse video generation | |
JP2022187547A (ja) | 視線推定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7452647 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |