JP7479019B2 - ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム - Google Patents
ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム Download PDFInfo
- Publication number
- JP7479019B2 JP7479019B2 JP2022546235A JP2022546235A JP7479019B2 JP 7479019 B2 JP7479019 B2 JP 7479019B2 JP 2022546235 A JP2022546235 A JP 2022546235A JP 2022546235 A JP2022546235 A JP 2022546235A JP 7479019 B2 JP7479019 B2 JP 7479019B2
- Authority
- JP
- Japan
- Prior art keywords
- pet
- unit
- information
- estimation
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 38
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000001514 detection method Methods 0.000 claims description 116
- 230000008451 emotion Effects 0.000 claims description 48
- 238000003384 imaging method Methods 0.000 claims description 20
- 230000036544 posture Effects 0.000 description 99
- 241000282472 Canis lupus familiaris Species 0.000 description 69
- 210000003128 head Anatomy 0.000 description 60
- 230000006399 behavior Effects 0.000 description 50
- 238000012545 processing Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 20
- 230000015654 memory Effects 0.000 description 19
- 241001465754 Metazoa Species 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 238000013531 bayesian neural network Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010024642 Listless Diseases 0.000 description 1
- 206010038743 Restlessness Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Environmental Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
以下、本実施形態に係るペット状況推定システム1が適用されたシステム(以下、「ペット管理システム200」と呼ぶ)について、図1A~図9を参照しながら詳しく説明する。
ペット管理システム200は、図2に示すように、1又は複数台のペットカメラ100と、1又は複数台の提示装置4と、サーバ7と、を備えている。以下では、ペット管理システム200を利用して、ペット5の管理(見守り)支援のサービスを受ける、ある一人の利用者300(図2参照)に着目して説明する。利用者300は、例えば、ペット5の飼い主であるが、特に限定されない。
ペットカメラ100は、図1Aに示すように、撮像部2及び通信部11に加えて、上述の通り、ペット状況推定システム1として、処理部3、モデル格納部P1及び条件格納部P2を備えている。ペット状況推定システム1は、ペット状況を推定するための「推定処理」を実行する。
以下、本実施形態におけるペット管理システム200の動作について、図8及び図9を参照しながら簡単に説明する。なお、以下の動作説明における順序は、単なる一例であって特に限定されない。特に以下では、ペット検出部X1における、特定領域A1の検出処理とペット情報の生成処理とが、この順で実行される一例を説明するが、これらの処理は、概ね同時に並行して実行されてもよい。
このようにペット状況推定システム1では、推定部34は、ペット情報8に基づいて、ペット5の感情及び行動の少なくとも一方に関するペット状況を推定するため、結果的に、ペットの状況を把握しやすくすることができる。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係るペット状況推定システム1と同様の機能は、ペット状況推定方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
以下、本開示における変形例1について、図10を参照しながら説明する。図10は、本変形例のペット状況推定システム1Aを示す。以下では基本例のペット状況推定システム1と実質的に同じ構成要素については、同じ符号を付与して適宜にその説明を省略する場合がある。
以下、その他の変形例について列記する。
以上説明したように、第1の態様に係るペット状況推定システム(1,1A)は、領域検出部(32)と、情報生成部(33)と、推定部(34)と、を備える。領域検出部(32)は、画像データ(D1)において、被写体(H1)であるペット(5)の容姿の少なくとも一部を示す特定領域(A1)を検出する。情報生成部(33)は、ペット情報を生成する。ペット情報は、ペットの姿勢について画像認識するためにペットの姿勢について学習した学習済みモデル(第1モデルM1)と、画像データ(D1)とに基づくペット(5)の少なくとも姿勢に関する姿勢情報を含む。推定部(34)は、ペット情報に基づいて、特定領域(A1)に示されるペット(5)の感情及び行動の少なくとも一方に関するペット状況を推定する。第1の態様によれば、推定部(34)は、ペット情報に基づいて、ペット(5)の感情及び行動の少なくとも一方に関するペット状況を推定するため、結果的に、ペット(5)の状況を把握しやすくすることができる。
1,1A ペット状況推定システム
2 撮像部
32 領域検出部
33 情報生成部
332 向き判定部
333 距離判定部
34 推定部
35 出力部
36 物体検出部
5 ペット
50 頭部
6 特定物体
7 サーバ
64 食器
9 条件情報
A1 特定領域
A2 頭部領域
B1 物体領域
D1 画像データ
H1 被写体
M1~M4 第1モデル~第4モデル(学習済みモデル)
Claims (16)
- 画像データにおいて、被写体であるペットの容姿の少なくとも一部を示す特定領域を検出する領域検出部と、
ペットの姿勢について画像認識するためにペットの姿勢について学習した学習済みモデルと、前記画像データとに基づく前記ペットの少なくとも姿勢に関する姿勢情報を含むペット情報を生成する情報生成部と、
前記ペット情報に基づいて、前記特定領域に示される前記ペットの感情及び行動の少なくとも一方に関するペット状況を推定する推定部と、
前記画像データにおいて前記ペット以外の特定物体を示す物体領域を検出する物体検出部と、
を備え、
前記情報生成部は、前記物体領域に対する前記ペットの相対的な距離を判定する距離判定部を有し、
前記ペット情報は、前記距離判定部の判定結果を更に含み、
前記推定部は、前記ペット情報と、ペットの特定の行動及び感情の少なくとも一方に関連する条件情報とに基づいて、前記ペット状況を推定し、
前記条件情報は、複数種類の特定物体と、ペット及び特定物体間の距離に関する複数の閾値とがそれぞれ対応付けされた情報を含み、
前記推定部は、前記距離判定部の判定結果と前記複数の閾値との比較により、前記ペット状況を推定する、
ペット状況推定システム。 - 前記領域検出部は、所定の種類のペットについて画像認識するためにその外観要因を学習した学習済みモデルに基づいて、前記特定領域を検出する、
請求項1に記載のペット状況推定システム。 - 前記領域検出部は、所定の種類のペットの頭部について画像認識するためにその外観要因を学習した学習済みモデルに基づいて、前記被写体の頭部を示す頭部領域を検出する、
請求項1又は2に記載のペット状況推定システム。 - 前記情報生成部は、前記特定領域が検出された前記画像データを用いて、前記画像データにおける前記ペットが向いている方向を判定する向き判定部を有し、
前記ペット情報は、前記向き判定部の判定結果を更に含む、
請求項3に記載のペット状況推定システム。 - 前記向き判定部は、少なくとも前記特定領域に対する前記頭部領域の相対的な位置関係から、前記ペットが向いている方向を判定する、
請求項4に記載のペット状況推定システム。 - 前記条件情報は、ペットが向いている複数の方向と、複数のペット状況とがそれぞれ対応付けされた向き情報を含み、
前記推定部は、前記向き判定部の判定結果と前記向き情報とに基づいて、前記ペット状況を推定する、
請求項4又は5に記載のペット状況推定システム。 - 前記推定部の推定結果を出力する出力部を更に備え、
前記出力部は、複数の前記画像データに関する前記推定部の推定結果が、所定回数連続して前記ペットが同じ方向を向いた姿勢であることを示す場合、前記推定部の推定結果の出力を制限する、
請求項4~6のいずれか1項に記載のペット状況推定システム。 - 前記物体検出部は、所定の種類の特定物体について画像認識するためにその外観要因を学習した学習済みモデルに基づいて、前記物体領域を検出する、
請求項1~7のいずれか1項に記載のペット状況推定システム。 - 前記推定部は、前記物体検出部にて検出された前記物体領域に示される前記特定物体が食器であり、かつ、前記距離判定部にて判定された前記距離が所定の閾値以下の場合、前記ペット状況として、前記ペットが食事をしていると推定する、
請求項1~8のいずれか1項に記載のペット状況推定システム。 - 前記推定部の推定結果を、上記推定結果の基となった前記特定領域が検出された前記画像データと紐づけた態様で出力する出力部を更に備える、
請求項1~9のいずれか1項に記載のペット状況推定システム。 - 前記領域検出部は、前記画像データにおいて、ペットの姿勢について画像認識するためにペットの姿勢について学習した前記学習済みモデルに基づいて、特定の姿勢を取っている前記ペットの前記特定領域を検出する、
請求項1~10のいずれか1項に記載のペット状況推定システム。 - 請求項1~11のいずれか1項に記載のペット状況推定システムと、
前記画像データを撮像する撮像部と、
を備える、
ペットカメラ。 - 請求項1~11のいずれか1項に記載のペット状況推定システムにおける前記情報生成部及び前記推定部が設けられたペットカメラと通信可能なサーバであって、
前記領域検出部が設けられている、
サーバ。 - 請求項1~11のいずれか1項に記載のペット状況推定システムにおける前記領域検出部が設けられたペットカメラと通信可能なサーバであって、
前記情報生成部及び前記推定部が設けられている、
サーバ。 - 画像データにおいて、被写体としてのペットの容姿の少なくとも一部を示す特定領域を検出するペット検出ステップと、
ペットの姿勢について画像認識するためにペットの姿勢について学習した学習済みモデルと、前記画像データとに基づく前記ペットの少なくとも姿勢に関する姿勢情報を含むペット情報を生成する情報生成ステップと、
前記ペット情報に基づいて、前記特定領域に示される前記ペットの感情及び行動の少なくとも一方に関するペット状況を推定する推定ステップと、
前記画像データにおいて前記ペット以外の特定物体を示す物体領域を検出する物体検出ステップと、
を含み、
前記情報生成ステップは、前記物体領域に対する前記ペットの相対的な距離を判定する距離判定ステップを有し、
前記ペット情報は、前記距離判定ステップの判定結果を更に含み、
前記推定ステップでは、前記ペット情報と、ペットの特定の行動及び感情の少なくとも一方に関連する条件情報とに基づいて、前記ペット状況を推定し、
前記条件情報は、複数種類の特定物体と、ペット及び特定物体間の距離に関する複数の閾値とがそれぞれ対応付けされた情報を含み、
前記推定ステップでは、前記距離判定ステップの判定結果と前記複数の閾値との比較により、前記ペット状況を推定する、
ペット状況推定方法。 - 1以上のプロセッサに、請求項15に記載のペット状況推定方法を実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147129 | 2020-09-01 | ||
JP2020147129 | 2020-09-01 | ||
PCT/JP2021/030654 WO2022050093A1 (ja) | 2020-09-01 | 2021-08-20 | ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JPWO2022050093A1 JPWO2022050093A1 (ja) | 2022-03-10 |
JPWO2022050093A5 JPWO2022050093A5 (ja) | 2023-05-12 |
JP7479019B2 true JP7479019B2 (ja) | 2024-05-08 |
Family
ID=80490861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022546235A Active JP7479019B2 (ja) | 2020-09-01 | 2021-08-20 | ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230320328A1 (ja) |
JP (1) | JP7479019B2 (ja) |
CN (1) | CN115885313A (ja) |
WO (1) | WO2022050093A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3174258A1 (en) * | 2020-10-14 | 2022-04-21 | One Cup Productions Ltd. | Animal visual identification, tracking, monitoring and assessment systems and methods thereof |
WO2023175931A1 (ja) * | 2022-03-18 | 2023-09-21 | 日本電気株式会社 | 画像分類装置、画像分類方法、及び、記録媒体 |
JP7410607B1 (ja) | 2023-07-24 | 2024-01-10 | 株式会社Eco‐Pork | 飼養管理システム、および飼養管理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019122368A (ja) | 2018-01-12 | 2019-07-25 | デザミス株式会社 | 牛の健康状態管理システム及び管理方法並びに健康状態管理プログラム |
US20200205382A1 (en) | 2018-12-28 | 2020-07-02 | Acer Incorporated | Pet monitoring method and pet monitoring system |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019091233A (ja) * | 2017-11-14 | 2019-06-13 | 株式会社Jvcケンウッド | 通知制御システム、通知制御方法およびプログラム |
JP7290922B2 (ja) * | 2018-07-06 | 2023-06-14 | ユニ・チャーム株式会社 | 動物撮影装置、動物状態判定システム及びプログラム |
JP2020014421A (ja) * | 2018-07-26 | 2020-01-30 | 日本ユニシス株式会社 | 家畜出産予測システム |
-
2021
- 2021-08-20 CN CN202180050178.5A patent/CN115885313A/zh active Pending
- 2021-08-20 JP JP2022546235A patent/JP7479019B2/ja active Active
- 2021-08-20 WO PCT/JP2021/030654 patent/WO2022050093A1/ja active Application Filing
- 2021-08-20 US US18/022,074 patent/US20230320328A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019122368A (ja) | 2018-01-12 | 2019-07-25 | デザミス株式会社 | 牛の健康状態管理システム及び管理方法並びに健康状態管理プログラム |
US20200205382A1 (en) | 2018-12-28 | 2020-07-02 | Acer Incorporated | Pet monitoring method and pet monitoring system |
Also Published As
Publication number | Publication date |
---|---|
CN115885313A (zh) | 2023-03-31 |
WO2022050093A1 (ja) | 2022-03-10 |
US20230320328A1 (en) | 2023-10-12 |
JPWO2022050093A1 (ja) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7479019B2 (ja) | ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム | |
WO2022050092A1 (ja) | ペット状況推定システム、ペットカメラ、サーバ、ペット状況推定方法、及びプログラム | |
US20210170585A1 (en) | Robot reacting on basis of user behavior and control method therefor | |
CN112655019A (zh) | 监控农业围栏中的牲畜 | |
KR102022883B1 (ko) | 애완동물의 행태와 감정을 보여주는 그래픽 사용자 인터페이스 제공 방법 및 장치 | |
US11910784B2 (en) | Animal visual identification, tracking, monitoring and assessment systems and methods thereof | |
WO2023279697A1 (zh) | 宠物看护方法、装置、电子设备及存储介质 | |
KR101714976B1 (ko) | 증강현실 기반의 축사 모니터링 장치 | |
CN110121696B (zh) | 电子设备及其控制方法 | |
JP2010068268A (ja) | 愛玩動物再現システムおよび愛玩動物再現プログラム | |
KR20130007079A (ko) | 동물 상태 원격 관리 방법 및 시스템 | |
CN113986093A (zh) | 互动方法及相关装置 | |
US20140108377A1 (en) | Methods, systems, and computer readable media for locating a lost animal | |
JP2023056040A (ja) | 活動検証のためのシステム及び方法 | |
CN115793483A (zh) | 监控场景构建方法、智能设备及存储介质 | |
KR20220076817A (ko) | 반려동물 융복합 콘텐츠 제공 및 게임 시스템 | |
KR20190133328A (ko) | 현실의 소통대상을 투영하는 가상 메신저 시스템 | |
WO2022181131A1 (ja) | 体重推定システム、及び、体重推定方法 | |
US20240242414A1 (en) | Electronic device and method for creating avatar in virtual space | |
KR102464539B1 (ko) | 영역별 개체 모니터링을 위한 유저 인터페이스 장치 | |
JP6601644B1 (ja) | 画像情報表示装置 | |
US20230055329A1 (en) | Systems and methods for dynamic choice filtering | |
Lee | Wireless Dispenser System: Pet Care | |
CN117952230A (zh) | 宠物行为分析方法、装置、设备及介质 | |
JP2022143047A (ja) | 行動予測モデル生成装置、行動予測装置、行動予測モデル生成システム、行動予測モデル生成方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7479019 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |