JP7459734B2 - 空間画像生成装置及び物体検知装置 - Google Patents
空間画像生成装置及び物体検知装置 Download PDFInfo
- Publication number
- JP7459734B2 JP7459734B2 JP2020150639A JP2020150639A JP7459734B2 JP 7459734 B2 JP7459734 B2 JP 7459734B2 JP 2020150639 A JP2020150639 A JP 2020150639A JP 2020150639 A JP2020150639 A JP 2020150639A JP 7459734 B2 JP7459734 B2 JP 7459734B2
- Authority
- JP
- Japan
- Prior art keywords
- target area
- propagation channel
- channel information
- learning model
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 50
- 238000012549 training Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 8
- 230000000644 propagated effect Effects 0.000 claims description 8
- 230000001902 propagating effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Description
本開示は、無線信号を用いて対象エリアの空間画像を生成する空間画像生成装置、対象エリアでの物体の有無を検知する物体検知装置及び物体検知方法に関する。
無線信号の使用周波数における平均信号強度情報であるＲＳＳＩ（Received Signal Strength Indicator）を応用したサービスの一つとして、無線ＬＡＮシステムで取得したＲＳＳＩを用いた無線端末局の位置提供サービスがある。このサービスでは、無線端末局が複数の無線基地局から送信されるビーコン信号からＲＳＳＩを測定し、取得した複数のＲＳＳＩから無線端末局の位置を推定する（例えば、非特許文献１参照）。他の応用サービスとして、ＲＳＳＩの変動特性から人の行動（呼吸・動作など）を検知する手法も検討されている（例えば、非特許文献２参照）。
現在、検知精度の向上に向けて、直交周波数分割多重（ＯＦＤＭ）を用いるシステムを前提として、ＯＦＤＭ信号の各サブキャリアの伝搬チャネル情報（CSI: Channel State Information）を用いた検知も検討されている。伝搬チャネル情報とは、無線基地局のアンテナと無線端末局のアンテナとの間の伝搬路におけるＯＦＤＭのサブキャリアごとの振幅情報、位相情報、及び各アンテナ間の相対値の情報である。この伝搬チャネル情報ではＲＳＳＩよりも情報量が格段に増加する。このため、伝搬チャネル情報を用いることで、位置推定、活動推定などの検知が大幅に改善されることが報告されている（例えば、非特許文献３参照）。さらに、近年の機械学習の発展によって、さらなる検知精度の向上と応用範囲の拡大が進んでいる。
Navarro Eduardo, 2011."Wi-Fi Localization Using RSSI Fingerprinting", California Polytechnic State University, United States of America. http://digitalcommons.calpoly.edu/cpesp/17/ (17 Aug. 2011)
Wang, Wei, et al. "Understanding and modeling of wifi signal based human activity recognition. " Proceedings of the 21st annual international conference on mobile computing and networking. ACM, 2015.
Yang, Zheng, Zimu Zhou, and Yunhao Liu. "From RSSI to CSI: Indoor localization via channel response. " ACM Computing Surveys (CSUR) 46.2 (2013): 25.
一般的に、無線信号を活用した物体検知システムのサービスを提供する上では、検知精度だけでなく、検知までに要する時間も重要な評価要素となる。しかし、上述の通りＣＳＩはＲＳＳＩと比較して非常に多くの情報量を有し、周波数・時間・空間などの異なる次元の情報から構成されるため、検知に関わる計算負荷が増加する。さらに、機械学習を適用する場合には、学習モデルの作成に大量の教師データが必要になり、モデル作成の計算負荷が増加する。従って、実際に検知を行う装置のスペックによっては、検知精度が劣化し、検知までに時間を要するという問題があった。さらに、検知するためのデータには雑音又は干渉など検知精度を劣化させる要因が多数存在するという問題があった。
本開示は、上述のような課題を解決するためになされたもので、その目的は高精度かつ高速に対象エリアの空間画像を生成することができる空間画像生成装置、高精度かつ高速に対象エリアでの物体の有無を検知することができる物体検知装置及び物体検知方法を得るものである。
本開示に係る空間画像生成装置は、撮影した対象エリアの画像情報と、前記対象エリアを伝搬した無線信号の伝搬チャネル情報とを対とした教師データを生成する教師データ生成部と、前記教師データに基づいて、伝搬チャネル情報に対応する前記対象エリアの空間画像を生成するための学習モデルを生成する学習モデル生成部と、新たな伝搬チャネル情報を前記学習モデルに入力して前記対象エリアの空間画像を生成する画像生成部と、複数の伝搬チャネル情報のうち検知精度が高いものを選別して前記教師データ生成部に出力するデータ選択部とを備えることを特徴とする。
本開示では、撮影した対象エリアの画像情報と、対象エリアを伝搬した無線信号の伝搬チャネル情報とを対とした教師データから学習モデルを生成する。そして、学習モデルに新たな伝搬チャネル情報を入力して対象エリアの空間画像を生成する。これにより、高精度かつ高速に対象エリアの空間画像を生成することができる。さらに、空間画像を画像処理することにより、高精度かつ高速に対象エリアでの物体の有無を検知することができる。
図１は、実施の形態に係る物体検知システムを示す図である。対象エリア１内に送信局２ａ，２ｂと受信局３ａ，３ｂが配置されている。無線信号が送信局２ａ，２ｂから受信局３ａ，３ｂにそれぞれ送信される。これらの無線信号はＯＦＤＭ信号であり、それぞれ対象エリア１に存在する物体４の影響を受ける。カメラ５ａ，５ｂは対象エリア１の画像をそれぞれ別方向から撮影する。受信局３ａ，３ｂ及びカメラ５ａ，５ｂは物体検知装置６に接続されている。物体検知装置６は対象エリア１での物体４の有無を検知する。
なお、図１は送信局と受信局が２組の構成を示しているが、１組又は３組以上の構成でもよい。また、１つの送信局と複数の受信局の組み合わせでもよい。また、カメラが２つの構成を示したが、３つ以上でもよい。また、図１では送信局２ａ，２ｂと受信局３ａ，３ｂがそれぞれ物体４を挟んで対向しているが、物理的に対向している必要はない。
図２は、送信局の構成例を示すブロック図である。図３は、受信局の構成例を示すブロック図である。図４は、実施の形態に係る物体検知装置を示すブロック図である。なお、図２～４では、実施の形態に関係する主要な機能ブロックのみを示し、送信局２ａ，２ｂ、受信局３ａ，３ｂ及び物体検知装置６が有する他の機能ブロックは省略してある。
図２に示すように、送信局２ａ，２ｂの各々は、測定信号生成部７、送信部８、及び複数のアンテナ９を有する。ここで、送信局２ａ，２ｂは、例えば無線ＬＡＮシステムにおける無線基地局に対応する。測定信号生成部７は、受信局３ａ，３ｂが伝搬チャネル情報（ＣＳＩ）を測定するための測定信号として、例えば伝搬路応答を測定するためのトレーニング信号などの既知信号を生成し、送信部８に出力する。送信部８は、測定信号生成部７で生成された測定信号を配下の受信局３ａ，３ｂ宛の例えば無線ＬＡＮ信号に変換し、複数のアンテナ９から送信する。ここで、複数のアンテナ９は、指向性を有していてもよいし、無指向性であってもよい。
図３に示すように、受信局３ａ，３ｂの各々は、複数のアンテナ１０、受信部１１、伝搬チャネル情報測定部１２、及び通知部１３を備える。ここで、受信局３ａ，３ｂは、例えば無線ＬＡＮシステムにおける無線端末局に対応する。複数のアンテナ１０は、送信局２ａ，２ｂから送信された無線ＬＡＮ信号を受信する。なお、アンテナ１０は、指向性を有していてもよいし、無指向性であってもよい。受信部１１は、複数のアンテナ１０で受信した無線ＬＡＮ信号を伝搬チャネル情報測定部１２で扱うことができる測定信号に変換して出力する。
伝搬チャネル情報測定部１２は、受信部１１から入力した測定信号から伝搬チャネル情報として、例えば、アンテナ間を伝搬した無線信号の振幅、位相などの測定を行い、その測定結果を通知部１３に出力する。通知部１３は、伝搬チャネル情報測定部１２から入力する伝搬チャネル情報を物体検知装置６に伝送可能な形式に変換し、物体検知装置６に伝送する。
図４に示すように、物体検知装置６は、学習モデル生成装置１４と画像生成／物体検知装置１５を有する。まず、学習モデル生成期間において、学習モデル生成装置１４は、受信局３ａ，３ｂから伝搬チャネル情報を入力し、カメラ５ａ，５ｂで撮影した画像情報を入力して、機械学習に用いる教師データを生成する。そして、学習モデル生成装置１４は、伝搬チャネル情報から対象エリア１の空間画像を生成するための学習モデルを生成する。次に、物体検知期間において、画像生成／物体検知装置１５は、生成した学習モデルと、新たに入力した伝搬チャネル情報を用いて対象エリア１の空間画像を生成し、この空間画像を画像処理して対象エリア１での物体４の有無を検知する。なお、学習モデル生成期間にはカメラ５ａ，５ｂを用いるが、物体検知期間にはカメラ５ａ，５ｂは用いず、新たな伝搬チャネル情報を学習モデルに入力して対象エリア１の空間画像を生成する。
続いて、学習モデル生成装置１４と画像生成／物体検知装置１５の内部構成について説明する。学習モデル生成装置１４は、取得部１６、データ選択部１７、教師データ生成部１８、学習モデル生成部１９を有する。画像生成／物体検知装置１５は、取得部２０、データ選択部２１、画像生成部２２、物体検知部２３を有する。なお、取得部１６と取得部２０は、便宜的に別々に記載しているが、実際には共通のものである。
学習モデル生成期間において、取得部１６は、受信局３ａ，３ｂから伝搬チャネル情報を取得し、教師データ生成部１８に出力する。データ選択部１７は、機械学習の精度を上げるために、受信局３ａ，３ｂから取得した複数の伝搬チャネル情報のうち、雑音又は干渉などが少なく、検知精度が高いものを選別し、それに対応する画像情報を選別して、それぞれ教師データ生成部１８に出力する。
教師データ生成部１８は、カメラ５ａ，５ｂが撮影した対象エリア１の画像情報と、対象エリア１を伝搬した無線信号の伝搬チャネル情報とを対とした教師データを生成する。学習モデル生成部１９は、この教師データに基づいて、伝搬チャネル情報に対応する対象エリア１の空間画像を生成するための学習モデルを生成する。
このとき、伝搬チャネル情報から、まだ存在しない空間画像を生成して可視化するために、機械学習の生成モデルの一種であるＧＡＮ（Generative Adversarial Network）を用いる。実測データから教師データを作成するだけでなく、計算機上で複製された新たな画像情報を教師データとしてもよい。これにより、大量の教師データを作成することができる。なお、複製された画像情報の伝搬チャネルは元の画像と同一のものを使用する。さらに、ＧＡＮによって生成される画像情報の精度を向上させるために、学習モデル生成部１９は、様々なデータの組み合わせで学習モデルを作成し、最も精度が高い学習モデルを画像生成部２２に出力し、そのデータ組み合わせをデータ選択部２１に出力する。
物体検知期間において、取得部２０は、受信局３ａ，３ｂから伝搬チャネル情報を取得し、データ選択部２１に出力する。データ選択部２１は、学習モデル生成部１９から出力される情報をもとに、学習モデルに使用されている伝搬チャネル情報を選択して画像生成部２２に出力する。画像生成部２２は、学習モデル生成部１９が生成した学習モデルに、データ選択部２１から出力された新たな伝搬チャネル情報を入力して対象エリア１の空間画像を生成する。
物体検知部２３は、画像生成部２２が生成した空間画像を画像処理して物体を検知する。なお、近年の画像処理技術は進化しているため、対象エリアの空間画像から高速に物体を検知することができる。また，雑音又は干渉によって画像が乱れることがある。そのような場合でも、近年の画像処理技術によって高精度に物体を検知することができる。また、物体の検知結果（検知情報）は内部に保持してもよいし、外部に出力してもよい。また、検知手法については、機械学習によるクラスタリングなどの周知技術を用いることができるので、詳細な説明は省略する。
図５は、伝搬チャネル情報を示す図である。伝搬チャネル情報は、ＯＦＤＭ信号の各サブキャリアの伝搬チャネル情報であり、受信局のアンテナ数Ｍ、送信局のアンテナ数Ｎ、サブキャリアの数Ｓ、時間の次元で表される。
このように伝搬チャネル情報は非常に多くの情報量を有し、異なる次元の情報から構成される。このため、伝搬チャネル情報から物体の有無を検知しようとすると、学習モデルの作成の計算負荷が増加し、検知精度が劣化し、検知までに時間を要する。そこで、本実施の形態では、機械学習を利用して、カメラ５ａ，５ｂが撮影した対象エリア１の画像情報と、対象エリア１を伝搬した無線信号の伝搬チャネル情報とを対とした教師データから学習モデルを生成する。そして、学習モデルに新たな伝搬チャネル情報を入力して対象エリア１の空間画像を生成する。これにより、高精度かつ高速に対象エリア１の空間画像を生成することができる。さらに、空間画像を画像処理することにより、高精度かつ高速に対象エリアでの物体の有無を検知することができる。
また、無線信号に含まれる複数の伝搬チャネル情報のうち検知精度が高いものを選別して教師データを生成する。これにより、更に高精度に対象エリア１の空間画像を生成することができる。
図６は、実施の形態に係る物体検知システムの変形例を示す図である。画像撮影装置としてカメラ５ａ，５ｂの代わりに３Ｄレーダ２４ａ，２４ｂを用いて、対象エリアの３次元の画像情報を撮影する。その他の構成は上記の実施の形態と同じであり、同様の効果を得ることができる。
なお、教師データ生成部１８は、伝搬チャネル情報の送信局のアンテナ数、受信局のアンテナ数、サブキャリア数、時間の各要素に対して平均又はソートなどの処理を行って、複数の伝搬チャネル情報の平均値又は中央値を抽出して教師データを生成してもよい。また、複数組の送信局２ａ，２ｂと受信局３ａ，３ｂの間を伝搬した無線信号の伝搬チャネル情報を単純に結合して図５に示す伝搬チャネル情報の行列のサイズを拡大したものから教師データを生成してもよい。また、教師データ生成部１８は、複数の伝搬チャネル情報を重み付けして結合したものから教師データを生成してもよい。これにより、物体検知の精度を向上させることができる。
また、本実施の形態では、受信局３ａ，３ｂで測定した伝搬チャネル情報がそのまま物体検知装置６に通知されるが、伝搬チャネル情報を圧縮して通知してもよい。その場合に、圧縮された情報を物体検知装置６で解凍した後に物体検知を行ってもよいが、学習モデル生成部１９は、圧縮された伝搬チャネル情報に対応する対象エリアの空間画像を生成するための学習モデルを生成してもよい。これにより、画像生成部２２は、圧縮された新たな伝搬チャネル情報を学習モデルに入力して対象エリアの空間画像を直接生成することができる。なお、伝搬チャネル情報の圧縮情報として、ＩＥＥＥ８０２．１１ａｃで用いられている方法及び情報抽出の方法がある。
１ 対象エリア、２ａ，２ｂ 送信局３ａ，３ｂ 受信局、４ 物体、５ａ，５ｂ カメラ、６ 物体検知装置、１４ 学習モデル生成装置、１５ 画像生成／物体検知装置１７ データ選択部、１８ 教師データ生成部、１９ 学習モデル生成部、２２ 画像生成部
Claims (5)
- 撮影した対象エリアの画像情報と、前記対象エリアを伝搬した無線信号の伝搬チャネル情報とを対とした教師データを生成する教師データ生成部と、
前記教師データに基づいて、伝搬チャネル情報に対応する前記対象エリアの空間画像を生成するための学習モデルを生成する学習モデル生成部と、
新たな伝搬チャネル情報を前記学習モデルに入力して前記対象エリアの空間画像を生成する画像生成部と、
複数の伝搬チャネル情報のうち検知精度が高いものを選別して前記教師データ生成部に出力するデータ選択部とを備えることを特徴とする空間画像生成装置。 - 撮影した対象エリアの画像情報と、前記対象エリアを伝搬した無線信号の伝搬チャネル情報とを対とした教師データを生成する教師データ生成部と、
前記教師データに基づいて、伝搬チャネル情報に対応する前記対象エリアの空間画像を生成するための学習モデルを生成する学習モデル生成部と、
新たな伝搬チャネル情報を前記学習モデルに入力して前記対象エリアの空間画像を生成する画像生成部とを備え、
前記教師データ生成部は、複数の伝搬チャネル情報の平均値又は中央値を抽出して前記教師データを生成することを特徴とする空間画像生成装置。 - 撮影した対象エリアの画像情報と、前記対象エリアを伝搬した無線信号の伝搬チャネル情報とを対とした教師データを生成する教師データ生成部と、
前記教師データに基づいて、伝搬チャネル情報に対応する前記対象エリアの空間画像を生成するための学習モデルを生成する学習モデル生成部と、
新たな伝搬チャネル情報を前記学習モデルに入力して前記対象エリアの空間画像を生成する画像生成部とを備え、
前記教師データ生成部は、複数組の送信局と受信局の間を伝搬した無線信号の伝搬チャネル情報を結合したものから前記教師データを生成することを特徴とする空間画像生成装置。 - 撮影した対象エリアの画像情報と、前記対象エリアを伝搬した無線信号の伝搬チャネル情報とを対とした教師データを生成する教師データ生成部と、
前記教師データに基づいて、伝搬チャネル情報に対応する前記対象エリアの空間画像を生成するための学習モデルを生成する学習モデル生成部と、
新たな伝搬チャネル情報を前記学習モデルに入力して前記対象エリアの空間画像を生成する画像生成部とを備え、
前記教師データ生成部は、複数の伝搬チャネル情報を重み付けして結合したものから前記教師データを生成することを特徴とする空間画像生成装置。 - 請求項１～４の何れか１項に記載の空間画像生成装置と、
生成した前記空間画像を画像処理して前記対象エリアでの物体の有無を検知する物体検知部とを備えることを特徴とする物体検知装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020150639A JP7459734B2 (ja) | 2020-09-08 | 2020-09-08 | 空間画像生成装置及び物体検知装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020150639A JP7459734B2 (ja) | 2020-09-08 | 2020-09-08 | 空間画像生成装置及び物体検知装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022045127A JP2022045127A (ja) | 2022-03-18 |
| JP7459734B2 true JP7459734B2 (ja) | 2024-04-02 |
Family
ID=80682156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020150639A Active JP7459734B2 (ja) | 2020-09-08 | 2020-09-08 | 空間画像生成装置及び物体検知装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7459734B2 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111115400A (zh) | 2018-10-30 | 2020-05-08 | 奥的斯电梯公司 | 检测电梯井道中的电梯维护行为的系统和方法 |
-
2020
- 2020-09-08 JP JP2020150639A patent/JP7459734B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111115400A (zh) | 2018-10-30 | 2020-05-08 | 奥的斯电梯公司 | 检测电梯井道中的电梯维护行为的系统和方法 |
Non-Patent Citations (2)
| Title |
|---|
| 加藤 空知，外７名，ＣＳＩ２Ｉｍａｇｅの時間的ロバスト性に関する基礎検討，第８２回（２０２０年）全国大会講演論文集（２）人工知能と認知科学，日本，一般社団法人情報処理学会，2020年02月20日，第２－１２３～２－１２４頁 |
| 岩崎 裕輔，外５名，ＣＳＩとＧＡＮによる電波情報から空間情報の生成手法の基礎検討，電子情報通信学会２０１９年通信ソサイエティ大会講演論文集２，日本，一般社団法人電子情報通信学会，2019年08月27日，第２８３頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022045127A (ja) | 2022-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10904710B2 (en) | User equipment positioning using PRSs from a plurality of TRPs in a 5G-NR network | |
| Kotaru et al. | Spotfi: Decimeter level localization using wifi | |
| US11467248B2 (en) | Position estimation device and communication device | |
| CN111226128A (zh) | 中央控制器使用波束形成动态信息的运动检测 | |
| CN108370551B (zh) | 基于到达时间差定位方法、用户设备及网络设备 | |
| CN107113762B (zh) | 一种定位方法、定位服务器及定位系统 | |
| CN112040394B (zh) | 一种基于ai深度学习算法的蓝牙定位方法及系统 | |
| EP3613244B1 (en) | Fingerprinting enhancement with multi-band aoa measurements | |
| Liu et al. | A research on CSI-based human motion detection in complex scenarios | |
| Cai et al. | Self-deployable indoor localization with acoustic-enabled IoT devices exploiting participatory sensing | |
| CN114729982A (zh) | 用于定位的方法及装置 | |
| WO2021039516A1 (ja) | 空間画像生成装置、物体検知装置および物体検知方法 | |
| Suraweera et al. | Passive through-wall counting of people walking using WiFi beamforming reports | |
| JP7459734B2 (ja) | 空間画像生成装置及び物体検知装置 | |
| JP7209296B2 (ja) | 無線物体検知装置および無線物体検知方法 | |
| Abed et al. | An adaptive K-NN based on multiple services set identifiers for indoor positioning system with an ensemble approach | |
| Colpaert et al. | 3D non-stationary channel measurement and analysis for MaMIMO-UAV communications | |
| JP7349683B2 (ja) | 物体検知システム、物体検知装置、物体検知方法および物体検知プログラム | |
| CA3011868C (en) | Location determination using crowd sourced information | |
| Manjappa et al. | Estimating crowd distribution using smart bulbs | |
| CN108495365A (zh) | 基于窄带物联网时延估计的终端定位方法 | |
| Bouazizi et al. | A Novel Approach for Inter-User Distance Estimation in 5G mmWave Networks Using Deep Learning | |
| WO2024001409A1 (zh) | 通信方法以及通信装置 | |
| WO2023185407A1 (zh) | 一种通信方法及装置 | |
| JP2012215444A (ja) | 方位測定装置、該方位測定装置に用いられる方位測定方法及び方位測定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210319 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240304 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7459734 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |