JP7170216B1 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP7170216B1 JP7170216B1 JP2022029824A JP2022029824A JP7170216B1 JP 7170216 B1 JP7170216 B1 JP 7170216B1 JP 2022029824 A JP2022029824 A JP 2022029824A JP 2022029824 A JP2022029824 A JP 2022029824A JP 7170216 B1 JP7170216 B1 JP 7170216B1
- Authority
- JP
- Japan
- Prior art keywords
- distance
- subject
- image
- map
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 238000012545 processing Methods 0.000 description 81
- 238000005259 measurement Methods 0.000 description 59
- 238000000034 method Methods 0.000 description 57
- 238000004364 calculation method Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 25
- 239000002131 composite material Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
- H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Image Analysis (AREA)
Abstract
Description
実施形態1では、本開示に係る撮像装置の一例として、2種類の測距法による測距機能を有するデジタルカメラについて説明する。
実施形態1に係るデジタルカメラの構成について、図1,2を用いて説明する。
以上のように構成されるデジタルカメラ100の動作について、以下説明する。
本実施形態のデジタルカメラ100における全体的な動作について、図4を用いて説明する。図4は、デジタルカメラ100の動作を説明するためのフローチャートである。
図4のステップS3における距離マップ合成処理について、図5~6を用いて説明する。
以上のような合成距離マップM3を用いてデジタルカメラ100が被写体の形状を認識していることをユーザに可視化する処理の一例を、図7~8を用いて説明する。以下では、AF枠の表示に合成距離マップM3を用いる処理例を説明する。
以上のように、本実施形態における撮像装置の一例のデジタルカメラ100は、撮像部の一例のイメージセンサ115と、第1の測距部の一例のDFD演算部121と、第2の測距部の一例の位相差演算部122と、制御部135とを備える。イメージセンサ115は、被写体像を撮像して画像データを生成する。DFD演算部121は、画像データが示す画像における被写体と自装置との間の距離を、第1の空間解像度において示す第1の距離情報の一例であるDFD距離マップM1を取得する(S1)。位相差演算部122は、第1の空間解像度とは異なる第2の空間解像度において、画像における距離を示す第2の距離情報の一例である位相差距離マップM2を取得する(S2)。制御部135は、DFD距離マップM1及び位相差距離マップM2に基づいて、画像における領域別に第1又は第2の空間解像度において距離を示す第3の距離情報の一例である合成距離マップM3を取得する(S3)。
以下、本開示の実施形態2について、図9~13を用いて説明する。実施形態1では、2種類の測距技術を用いて撮像画像における被写体領域を認識するデジタルカメラ100について説明した。実施形態2では、画像認識技術と測距技術とを用いて、被写体領域を認識するデジタルカメラについて説明する。
図9は、実施形態2に係るデジタルカメラ100Aの構成を示す。本実施形態のデジタルカメラ100Aは、実施形態1のデジタルカメラ100と同様の構成において、例えば画像処理エンジン120において更に人物検出部123を備える。人物検出部123は、画像認識技術により所定種別の被写体として人物を検出する検出部の一例である。本実施形態のデジタルカメラ100Aにおいては、DFD演算部121と位相差演算部122のうちの一方が省略されてもよい。
図10は、実施形態2のデジタルカメラ100Aの動作を説明するためのフローチャートである。図11は、本実施形態のデジタルカメラ100Aの動作を説明するための図である。以下では、DFD演算部121を省略可能なデジタルカメラ100Aの動作例を説明する。
図10のステップS3Aにおける被写体認識処理について、図12~13を用いて説明する。
以上のように、本実施形態における撮像装置の一例のデジタルカメラ100Aは、撮像部の一例のイメージセンサ115と、測距部の一例の位相差演算部122と、検出部の一例の人物検出部123と、認識部の一例の制御部135とを備える。イメージセンサ115は、被写体像を撮像して画像データを生成する。位相差演算部122は、画像データが示す撮像画像Im(図11(A))における被写体までの距離を示す距離情報の一例として位相差距離マップM2を取得する(S2、図11(C))。人物検出部123は、画像において被写体の一例の人物60~62が位置する領域に関する被写体検出情報の一例として人物確率マップM10を取得する(S1、図11(B))。制御部135は、距離情報及び被写体検出情報に基づいて、画像における被写体に沿った形状を有する被写体領域の一例として人物領域R20~R22を認識する(S3A、図11(D))。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
115 イメージセンサ
121 DFD演算部
122 位相差演算部
123 人物検出部
130 表示モニタ
135 制御部
150 操作部
Claims (4)
- 被写体像を撮像して画像データを生成する撮像部と、
前記画像データが示す画像における被写体までの距離を示す距離情報を取得する測距部と、
前記画像において前記被写体が位置する領域に関する被写体検出情報を取得する検出部と、
前記距離情報及び前記被写体検出情報に基づいて、前記画像における前記被写体に沿った形状を有する被写体領域を認識する認識部とを備え、
前記検出部は、前記被写体検出情報として、前記画像における前記被写体までの距離を、第1の空間解像度において示す第1の距離情報を取得し、
前記測距部は、前記距離情報として、前記第1の空間解像度とは異なる第2の空間解像度において、前記画像における前記被写体までの距離を示す第2の距離情報を取得し、
前記認識部は、前記第1の距離情報及び前記第2の距離情報に基づいて、前記画像における領域別に前記第1又は第2の空間解像度において前記被写体領域を認識する
撮像装置。 - 前記第1の空間解像度は、前記画像に対応する2次元方向において、前記第2の空間解像度よりも高解像度であり、
前記認識部は、
前記第1の距離情報が示す距離が、前記第2の距離情報が示す距離から所定範囲内にある領域では、前記第1の空間解像度において前記被写体領域を認識し、
前記第1の距離情報が示す距離が、前記第2の距離情報が示す距離から前記所定範囲内にない領域では、前記第2の空間解像度において前記被写体領域を認識する
請求項1に記載の撮像装置。 - 被写体像を撮像して画像データを生成する撮像部と、
前記画像データが示す画像における被写体までの距離を示す距離情報を取得する測距部と、
前記画像において前記被写体が位置する領域に関する被写体検出情報を取得する検出部と、
前記距離情報及び前記被写体検出情報に基づいて、前記画像における前記被写体に沿った形状を有する被写体領域を認識する認識部とを備え、
前記測距部は、
前記画像における前記被写体までの距離を、第1の空間解像度において示す第1の距離情報を取得する第1の測距部と、
前記第1の空間解像度とは異なる第2の空間解像度において、前記画像における前記被写体までの距離を示す第2の距離情報を取得する第2の測距部とを含み、
前記認識部は、前記第1の距離情報と前記第2の距離情報と前記被写体検出情報とに基づいて、前記被写体領域を認識する
撮像装置。 - 請求項1~3のいずれか1項に記載の撮像装置として電子機器を機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/859,238 US20230017607A1 (en) | 2021-07-12 | 2022-07-07 | Imaging apparatus |
JP2022151005A JP7369941B2 (ja) | 2021-07-12 | 2022-09-22 | 撮像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021115043A JP7113327B1 (ja) | 2021-07-12 | 2021-07-12 | 撮像装置 |
JP2021115043 | 2021-07-12 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022151005A Division JP7369941B2 (ja) | 2021-07-12 | 2022-09-22 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7170216B1 true JP7170216B1 (ja) | 2022-11-14 |
JP2023011489A JP2023011489A (ja) | 2023-01-24 |
Family
ID=82740475
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021115043A Active JP7113327B1 (ja) | 2021-07-12 | 2021-07-12 | 撮像装置 |
JP2022029824A Active JP7170216B1 (ja) | 2021-07-12 | 2022-02-28 | 撮像装置 |
JP2022151005A Active JP7369941B2 (ja) | 2021-07-12 | 2022-09-22 | 撮像装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021115043A Active JP7113327B1 (ja) | 2021-07-12 | 2021-07-12 | 撮像装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022151005A Active JP7369941B2 (ja) | 2021-07-12 | 2022-09-22 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (2) | US11880991B2 (ja) |
JP (3) | JP7113327B1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013142991A (ja) | 2012-01-10 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 物体領域検出装置、方法、及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6202927B2 (ja) | 2012-08-31 | 2017-09-27 | キヤノン株式会社 | 距離検出装置、撮像装置、プログラム、記録媒体および距離検出方法 |
WO2015128908A1 (ja) | 2014-02-26 | 2015-09-03 | パナソニックIpマネジメント株式会社 | 深さ位置検出装置、撮像素子、及び深さ位置検出方法 |
JP6604760B2 (ja) | 2015-07-10 | 2019-11-13 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
US20170054897A1 (en) | 2015-08-21 | 2017-02-23 | Samsung Electronics Co., Ltd. | Method of automatically focusing on region of interest by an electronic device |
JP6700818B2 (ja) * | 2016-02-03 | 2020-05-27 | キヤノン株式会社 | 画像処理装置、撮像装置、および画像処理方法 |
WO2017169491A1 (ja) | 2016-03-30 | 2017-10-05 | 富士フイルム株式会社 | 撮像装置及びフォーカス制御方法 |
JP6800628B2 (ja) | 2016-06-22 | 2020-12-16 | キヤノン株式会社 | 追跡装置、追跡方法、及びプログラム |
JP6679430B2 (ja) | 2016-06-27 | 2020-04-15 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP2018007082A (ja) | 2016-07-04 | 2018-01-11 | キヤノン株式会社 | 画像再生装置およびその制御方法およびプログラム |
JP2019198008A (ja) | 2018-05-10 | 2019-11-14 | キヤノン株式会社 | 撮像装置およびその制御方法、並びにプログラム |
EP3832600A4 (en) * | 2019-03-14 | 2022-03-09 | OMRON Corporation | IMAGE PROCESSING DEVICE AND THREE-DIMENSIONAL MEASUREMENT SYSTEM |
WO2020235067A1 (ja) * | 2019-05-22 | 2020-11-26 | オムロン株式会社 | 3次元計測システム及び3次元計測方法 |
-
2021
- 2021-07-12 JP JP2021115043A patent/JP7113327B1/ja active Active
-
2022
- 2022-02-28 JP JP2022029824A patent/JP7170216B1/ja active Active
- 2022-07-07 US US17/859,225 patent/US11880991B2/en active Active
- 2022-07-07 US US17/859,238 patent/US20230017607A1/en active Pending
- 2022-09-22 JP JP2022151005A patent/JP7369941B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013142991A (ja) | 2012-01-10 | 2013-07-22 | Nippon Telegr & Teleph Corp <Ntt> | 物体領域検出装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7113327B1 (ja) | 2022-08-05 |
US20230012208A1 (en) | 2023-01-12 |
US11880991B2 (en) | 2024-01-23 |
JP2023011489A (ja) | 2023-01-24 |
US20230017607A1 (en) | 2023-01-19 |
JP2023011279A (ja) | 2023-01-24 |
JP7369941B2 (ja) | 2023-10-27 |
JP2023011552A (ja) | 2023-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20070118036A (ko) | 촬상 장치와 촬상 장치 제어 방법, 및 컴퓨터 프로그램 | |
US20150222810A1 (en) | Image processing apparatus and image processing method | |
US20060188130A1 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
US11682131B2 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
JP6094588B2 (ja) | 撮像制御装置、撮像装置、および、撮像制御装置の制御方法 | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP2018029270A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
CN110995982B (zh) | 图像处理装置及其控制方法、摄像装置、以及记录介质 | |
JP7170216B1 (ja) | 撮像装置 | |
KR101594293B1 (ko) | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
JP6005246B2 (ja) | 撮像装置、ヒストグラムの表示方法、プログラム、画像処理装置 | |
US20200077032A1 (en) | Image processing apparatus and electronic apparatus | |
CN109565544B (zh) | 位置指定装置及位置指定方法 | |
JP2014049895A (ja) | 画像処理方法 | |
US11917293B2 (en) | Imaging device | |
JP2014134723A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7117593B1 (ja) | 撮像装置 | |
JP6044123B2 (ja) | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム | |
JP2017228873A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
JP2021164066A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6827778B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2016062447A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2017175400A (ja) | 画像処理装置、撮像装置、制御方法およびプログラム | |
JP2021069004A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220303 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221018 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7170216 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |