JP7044062B2 - 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム - Google Patents
対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム Download PDFInfo
- Publication number
- JP7044062B2 JP7044062B2 JP2018526367A JP2018526367A JP7044062B2 JP 7044062 B2 JP7044062 B2 JP 7044062B2 JP 2018526367 A JP2018526367 A JP 2018526367A JP 2018526367 A JP2018526367 A JP 2018526367A JP 7044062 B2 JP7044062 B2 JP 7044062B2
- Authority
- JP
- Japan
- Prior art keywords
- change
- state
- captured image
- recognition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本開示の第1の実施の形態について、図面を参照して説明する。図1は、本実施の形態に係る対象物認識システム10の構成の一例を示す図である。図1に示す通り、本実施の形態に係る対象物認識システム10は、検出部11と、撮像部12と、物体13と、制御部14と、特定部15と、認識部16とを備える。
次に、上述した第1の実施の形態を基本とする、本開示の第2の実施の形態について、図面を参照して説明する。まず、図3に本実施の形態に係る対象物認識システム100の構成の一例を示す。図3に示す通り、本実施の形態に係る対象物認識システム100は、検出装置110と、撮像装置120と、光源(130-1、130-2)と、物体制御装置140と、対象物認識装置150とを含む。なお、本実施の形態では、光源は2つであるとして説明を行うが、光源は3以上であってもよい。本実施の形態では、光源(130-1、130-2)の夫々を区別しない場合、または、総称する場合には、これらを光源130と呼ぶ。なお、説明の便宜上、前述した第1の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
第2の実施の形態では、第1の実施の形態における物体13が光源であることを例に説明を行ったが、物体13は光源に限定されない。本変形例では、第2の実施の形態における光源130の代わりに、例えば、撮影範囲90において赤または青を表示させることが可能な機構(切換え機構131と呼ぶ)を適用することについて説明する。なお、切換え機構131は、撮像された撮影画像内において、赤または青の色が含まれるように形成されたものであればよく、その形状は特に限定されない。
第3の実施の形態について説明する。上述した第2の実施の形態では、2つの光源(130-1、130-2)または2つの切換え機構(131-1、131-2)を用いることについて説明したが、光源または切換え機構は、3つ以上であってもよい。本実施の形態では、3つ以上の光源130を用いる場合の対象物認識システム100について説明する。なお、本実施の形態に係る対象物認識システム100の構成は、図3と同様である。なお、本実施の形態では、検出装置110が出力する検出結果に検出装置110と対象物80との距離を表す距離情報が含まれているとする。
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図19に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図19は、各装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901が読み出す。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
認識対象となる移動する対象物を検出する検出手段と、
前記対象物の動画像を撮像する撮像手段と、
前記撮像手段の撮影範囲内において、状態が変化可能な物体と、
前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出手段の出力に基づき、前記物体の状態を制御する制御手段と、
前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定手段と、
前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識システム。
前記物体は、2以上の光源であり、
前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記1に記載の対象物認識システム。
前記物体が、前記撮影画像の認識開始位置になるよう配置されており、
前記特定手段は、前記認識開始位置における前記物体の状態変化を検出する、付記1または2に記載の対象物認識システム。
前記特定手段は、前記撮影画像を特定すると、該特定した撮影画像から所定枚数の撮影画像に対する前記物体の状態変化の検出をスキップする、付記1から3の何れか1つに記載の対象物認識システム。
前記物体の数は、3以上であり、
前記制御手段は、前記3以上の物体の状態変化の組み合わせによって、前記対象物の撮影画像内の位置を表現するように、該3以上の物体の夫々の状態を制御する、付記1から4の何れか1つに記載の対象物認識システム。
認識対象となる移動する対象物の検出結果を受信する受信手段と、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を制御する制御手段であり、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記物体の状態を制御する制御手段と、を備える物体制御装置。
前記物体は、2以上の光源であり、
前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記6に記載の物体制御装置。
撮像された認識対象となる対象物であり、移動する対象物の動画像の撮影範囲内において、状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定手段と、
前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識装置。
前記物体は、2以上の光源であり、
前記特定手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように制御された前記2以上の光源の消点灯を検出して、前記撮影画像を特定する、付記8に記載の対象物認識装置。
検出装置と、撮像装置と、前記撮像装置の撮影範囲内において状態が変化可能な物体と、対象物認識装置と、物体制御装置とを含む対象物認識システムにおける対象物認識方法であって、
前記検出装置が認識対象となる移動する対象物を検出し、
前記撮像装置が前記対象物の動画像を撮像し、
前記物体制御装置が、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出の出力に基づき、前記物体の状態を制御し、
前記対象物認識装置が、前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定し、
前記特定された撮影画像に含まれる前記対象物を認識する、対象物認識方法。
前記物体は、2以上の光源であり、
前記物体制御装置は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記10に記載の対象物認識方法。
認識対象となる移動する対象物の検出結果を受信し、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する、物体制御方法。
前記物体は、2以上の光源であり、
前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、付記12に記載の物体制御方法。
撮像された認識対象となる対象物の動画像の撮影範囲内において状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定し、
前記特定された撮影画像に含まれる前記対象物を認識する、対象物認識方法。
前記物体は、2以上の光源であり、
前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように制御された前記2以上の光源の消点灯を検出して、前記撮影画像を特定する、付記14に記載の対象物認識方法。
認識対象となる対象物の検出結果を受信する受信処理と、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体の状態を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する制御処理と、をコンピュータに実行させるプログラム。
前記物体は、2以上の光源であり、
前記制御処理は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する処理である、付記16に記載のプログラム。
撮像された認識対象となる対象物の動画像の撮影範囲内において状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定処理と、
前記特定された撮影画像に含まれる前記対象物を認識する認識処理と、をコンピュータに実行させるプログラム。
前記物体は、2以上の光源であり、
前記特定処理は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように制御された前記2以上の光源の消点灯を検出して、前記撮影画像を特定する処理である、付記18に記載のプログラム。
11 検出部
12 撮像部
13 物体
14 制御部
15 特定部
16 認識部
80 対象物
90 撮影範囲
100 対象物認識システム
110 検出装置
120 撮像装置
130 光源
131 切換え機構
140 物体制御装置
141 受信部
142 制御部
150 対象物認識装置
151 特定部
152 認識部
153 記憶部
Claims (10)
- 認識対象となる移動する対象物を検出する検出手段と、
前記対象物の動画像を撮像する撮像手段と、
前記撮像手段の撮影範囲内において、状態が変化可能な物体と、
前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出手段の出力に基づき、前記物体の状態を制御する制御手段と、
前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定手段と、
前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識システム。 - 前記物体は、2以上の光源であり、
前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、請求項1に記載の対象物認識システム。 - 前記物体が、前記撮影画像の認識開始位置になるよう配置されており、
前記特定手段は、前記認識開始位置における前記物体の状態変化を検出する、請求項1または2に記載の対象物認識システム。 - 前記特定手段は、前記撮影画像を特定すると、該特定した撮影画像から所定枚数の撮影画像に対する前記物体の状態変化の検出をスキップする、請求項1から3の何れか1項に記載の対象物認識システム。
- 前記物体の数は、3以上であり、
前記制御手段は、前記3以上の物体の状態変化の組み合わせによって、前記対象物の撮影画像内の位置を表現するように、該3以上の物体の夫々の状態を制御する、請求項1から4の何れか1項に記載の対象物認識システム。 - 認識対象となる移動する対象物の検出結果を受信する受信手段と、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体を制御する前記制御手段であり、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記物体の状態を制御する前記制御手段と、を備える物体制御装置を備えた、請求項1から5のいずれか1項に記載の対象物認識システム。 - 前記物体は、2以上の光源であり、
前記制御手段は、前記2以上の光源の消点灯の変化による撮影画像間の光量の変化が一定範囲内に収まるように、前記2以上の光源の消点灯を制御する、請求項6に記載の対象物認識システム。 - 撮像された認識対象となる対象物であり、移動する対象物の動画像の撮影範囲内において、状態が変化可能な物体に対し、該物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する物体制御装置であって、前記対象物の検出結果に基づき前記物体の状態を制御する物体制御装置によって、制御された物体の状態変化を、前記動画像から検出して、認識対象とする撮影画像を特定する特定手段と、
前記特定された撮影画像に含まれる前記対象物を認識する認識手段と、を備える対象物認識装置。 - 検出装置と、撮像装置と、前記撮像装置の撮影範囲内において状態が変化可能な物体と、対象物認識装置と、物体制御装置とを含む対象物認識システムにおける対象物認識方法であって、
前記検出装置が認識対象となる移動する対象物を検出し、
前記撮像装置が前記対象物の動画像を撮像し、
前記物体制御装置が、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように、前記検出の出力に基づき、前記物体の状態を制御し、
前記対象物認識装置が、前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定し、
前記特定された撮影画像に含まれる前記対象物を認識する、対象物認識方法。 - 認識対象となる移動する対象物を検出する検出処理と、
前記対象物の動画像を撮像する撮像処理と、
前記対象物の検出結果を受信する受信処理と、
前記検出結果に基づき、前記対象物の撮影範囲内において、状態が変化可能な物体の状態を、前記物体の状態変化による撮影画像間の光量または色合いの変化が一定範囲内に収まるように制御する制御処理と、
前記動画像に含まれる前記物体の状態変化を検出して、認識対象とする撮影画像を特定する特定処理と、
前記特定された撮影画像に含まれる前記対象物を認識する認識処理と、
をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016132658 | 2016-07-04 | ||
JP2016132658 | 2016-07-04 | ||
PCT/JP2017/024360 WO2018008595A1 (ja) | 2016-07-04 | 2017-07-03 | 対象物認識システム、物体制御装置、対象物認識装置、対象物認識方法、物体制御方法および記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018008595A1 JPWO2018008595A1 (ja) | 2019-04-25 |
JP7044062B2 true JP7044062B2 (ja) | 2022-03-30 |
Family
ID=60912205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018526367A Active JP7044062B2 (ja) | 2016-07-04 | 2017-07-03 | 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11256942B2 (ja) |
JP (1) | JP7044062B2 (ja) |
WO (1) | WO2018008595A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020108038A (ja) * | 2018-12-27 | 2020-07-09 | キヤノン株式会社 | 制御装置、その制御方法、産業用自動化システム、プログラム、および記憶媒体 |
DE102019209152A1 (de) * | 2019-06-25 | 2020-12-31 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009238454A (ja) | 2008-03-26 | 2009-10-15 | Panasonic Electric Works Co Ltd | 照明システム |
JP2012103074A (ja) | 2010-11-09 | 2012-05-31 | Yanmar Co Ltd | 遮光装置及び農作物品質測定装置 |
JP2016105225A (ja) | 2014-12-01 | 2016-06-09 | カシオ計算機株式会社 | 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5332811B2 (ja) | 2009-03-30 | 2013-11-06 | 日本電気株式会社 | カメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システム |
JP6576059B2 (ja) * | 2015-03-10 | 2019-09-18 | キヤノン株式会社 | 情報処理、情報処理方法、プログラム |
CN205175876U (zh) * | 2015-12-07 | 2016-04-20 | 华侨大学 | 一种堆叠骨料的粒度粒形在线检测装置 |
-
2017
- 2017-07-03 JP JP2018526367A patent/JP7044062B2/ja active Active
- 2017-07-03 WO PCT/JP2017/024360 patent/WO2018008595A1/ja active Application Filing
- 2017-07-03 US US16/314,171 patent/US11256942B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009238454A (ja) | 2008-03-26 | 2009-10-15 | Panasonic Electric Works Co Ltd | 照明システム |
JP2012103074A (ja) | 2010-11-09 | 2012-05-31 | Yanmar Co Ltd | 遮光装置及び農作物品質測定装置 |
JP2016105225A (ja) | 2014-12-01 | 2016-06-09 | カシオ計算機株式会社 | 商品注文装置、商品注文方法、商品価格出力装置、商品価格出力方法、価格情報出力装置および価格情報出力方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2018008595A1 (ja) | 2018-01-11 |
US20210232840A1 (en) | 2021-07-29 |
US11256942B2 (en) | 2022-02-22 |
JPWO2018008595A1 (ja) | 2019-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102604336B1 (ko) | 비행시간 센서를 사용하여 노출 추정을 수행하기 위한 방법들 및 장치들 | |
US10154202B2 (en) | Apparatus for illuminating a scene and control method thereof | |
US9081257B2 (en) | Imaging apparatus and lighting control method | |
US9001266B2 (en) | Imaging device and light emission amount control method of the same | |
US10609265B2 (en) | Methods and apparatus for synchronizing camera flash and sensor blanking | |
US10212330B2 (en) | Autofocusing a macro object by an imaging device | |
JP2004206687A (ja) | 光学コード読取方法及び装置 | |
JP7044062B2 (ja) | 対象物認識システム、対象物認識装置、対象物認識方法、及びプログラム | |
KR20190050516A (ko) | 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법 | |
EP3621292B1 (en) | Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof | |
JP7103839B2 (ja) | 電子機器、制御装置、制御方法及び制御プログラム | |
WO2016011861A1 (zh) | 物体运动轨迹的拍摄方法及拍摄终端 | |
JP6335007B2 (ja) | カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム | |
US20190200032A1 (en) | Imaging apparatus, imaging method and storage medium | |
JP6388115B2 (ja) | 撮像装置、撮像制御方法及びプログラム | |
US9706130B2 (en) | Camera having HDR during pre-flash | |
EP3163369B1 (en) | Auto-focus control in a camera to prevent oscillation | |
CN112887593B (zh) | 图像获取方法及装置 | |
CN110245618B (zh) | 3d识别装置及方法 | |
JP2013026656A (ja) | 撮影装置、撮影方法、および撮影プログラム | |
JP2011114363A (ja) | 撮像装置 | |
JP2002260017A (ja) | 3次元形状データ生成方法および装置 | |
JP2007166142A (ja) | 撮像装置 | |
JP6690140B2 (ja) | 撮影装置、撮影方法及びプログラム | |
CN117998211A (zh) | 超延时视频生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210908 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220228 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7044062 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |