JP7436290B2 - 識別情報管理システム及び識別情報収集方法 - Google Patents

識別情報管理システム及び識別情報収集方法 Download PDF

Info

Publication number
JP7436290B2
JP7436290B2 JP2020093152A JP2020093152A JP7436290B2 JP 7436290 B2 JP7436290 B2 JP 7436290B2 JP 2020093152 A JP2020093152 A JP 2020093152A JP 2020093152 A JP2020093152 A JP 2020093152A JP 7436290 B2 JP7436290 B2 JP 7436290B2
Authority
JP
Japan
Prior art keywords
signal
identification information
database
signals
provisional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020093152A
Other languages
English (en)
Other versions
JP2021189649A (ja
Inventor
貴裕 須賀
幹也 高野
洋 和島
雅人 木田
亘 村田
大輔 佐藤
隆良 田中
彰浩 大倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Priority to JP2020093152A priority Critical patent/JP7436290B2/ja
Publication of JP2021189649A publication Critical patent/JP2021189649A/ja
Application granted granted Critical
Publication of JP7436290B2 publication Critical patent/JP7436290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Recording Measured Values (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象物を識別する情報をデータベース化して管理する識別情報管理システムと、その識別情報収集方法とに関する。
従来、所定の対象物を発見あるいは監視等するために、センサにより対象物を発見する方法が提案されている。例えば、特許文献1では航空機の識別方法が提案されており、そこでは、レーダ情報をもとにして画像データベースから最適情報を検索し、検索された情報と画像撮像装置情報から抽出された機体特徴量とを照合することで、高確率での航空機識別が可能である、とされている。
また、特許文献2では、監視目標の移動体の周辺に影や光などの外乱があっても、この移動体だけを確実に検出するための移動体監視装置が提案されている。この移動体監視装置は、周期的に入力される画像と背景画像との差分により変化領域を抽出し、この変化領域に移動体が存在するか否かを所定の判定条件に基づいて判定する。そして、移動体が存在すると判定した場合は、その判定に用いた画像データに基づいて移動体に関する情報を取得する。
特開2004-116998号公報 特開2004-208209号公報
ところで、対象物の特徴量等の識別情報を記憶するデータベースを構築する場合、現状では、対象物の発見に寄与した情報、あるいは、対象物を発見してから改めて当該対象物をセンシングして得た情報に基づき、対象物の識別情報を取得し、これをデータベースに登録している。しかし、このような手法では、新たな対象物を発見してから、識別情報をデータベース化するのに時間を要してしまう。
そこで本発明は、対象物を識別する情報をデータベース化して管理する識別情報管理システムと、その識別情報収集方法とであって、データベースの構築に要する時間を削減することのできるシステム及び方法を提供することを目的とする。
本発明に係る識別情報管理システムは、対象物について種類の異なる複数の特徴量を示す信号を検出する複数のセンサと、前記信号を記憶する第1データベース及び第2データベースと、制御部と、を備え、前記制御部は、前記複数のセンサにより前記対象物について検出される複数の信号を経時的に取得し、取得した信号に基づいて前記対象物の存否を判断し、取得した信号のうち前記対象物の位置は特定できないが存在を特定できる信号を暫定信号として前記第1データベースに記憶し、取得した信号の中に前記対象物の位置を特定できる信号である確定信号があった場合には、前記第1データベースに過去に記憶された前記暫定信号の中から、前記確定信号と相関を有する信号を相関信号として抽出し、前記確定信号及び前記相関信号を互いに関連付けて前記第2データベースに登録するよう構成されている。
また、本発明に係る識別情報収集方法は、対象物についての種類の異なる複数の特徴量を、複数のセンサにより検出して収集する特徴量収集方法であって、前記複数のセンサにより前記対象物について検出される複数の信号を経時的に取得する工程と、取得した信号に基づいて前記対象物の位置を判断する工程と、取得した信号のうち前記対象物の位置は特定できないが存在を特定できる信号を暫定信号と定める工程と、取得した信号の中に前記対象物の位置を特定できる信号である確定信号があった場合には、過去に取得された前記暫定信号の中から、前記確定信号と相関を有する信号を相関信号と定める工程と、前記確定信号及び前記相関信号を互いに関連付ける工程と、を備える。
このような識別情報管理システム又は識別情報収集方法によれば、対象物の位置を特定する確定信号と相関を有する、過去にデータベースに記憶された暫定情報を用いて、当該対象物に関する識別情報を取得し、データベースに登録する。そのため、未登録の対象物を発見した場合に、その識別情報を早期に取得してデータベース化することができる。
本発明によれば、データベースを早期に構築することのできる、当該データベースを備える識別情報管理システムと、その識別情報収集方法とを提供することができる。
図1は、本発明の実施の形態に係る識別情報管理システムの構成を示すブロック図である。 図2は、未登録の対象物の識別情報を取得する場合の識別情報管理システムの動作を示すフローチャートである。 図3は、識別情報管理システムの動作の一例を示す模式図である。
(実施の形態)
以下、図面を参照しながら、本発明の実施形態について説明する。
[システムの構成]
図1は、本発明の実施の形態に係る識別情報管理システムの構成を示すブロック図である。図1に示すように、識別情報管理システム100は、例えば航空機1に搭載可能なシステムとなっている。ただし、本発明に係る識別情報管理システムは航空機以外にも搭載可能であり、例えば、車両、船舶、及び人工衛星等の移動体に搭載でき、更には、地上、地中、海上、または海中の固定施設に設置することもできる。
本実施の形態に係る識別情報管理システム100は、制御部10、各種のセンサ21~27、データベース(第1データベース)31~37、及び、登録データベース(第2データベース)40を備え、これらは互いに図示しないインタフェース及びバスを介して接続されている。
制御部10は、CPU(Central Processing Unit)等のプロセッサと、RAM(Random Access Memory)と、HDD(Hard Disk Drive)又はSSD(Solid State Drive)等の補助記憶装置を少なくとも有している。このうち補助記憶装置には、識別情報管理システム100が動作するのに必要なプログラムが格納されている。また、RAMは、識別情報管理システム100が動作する際、プロセッサの作業領域として機能し、プロセッサの指示により各種のデータを一時的に記憶する。
識別情報管理システム100は、上述した各種のセンサとして、例えば、可視光カメラ21、赤外線カメラ22、レーダ23、逆探装置24、アクティブ・ソーナ25、パッシブ・ソーナ26、及び磁気探知装置27を備えている。
可視光カメラ21は、対象物が放射または反射した可視光を測定するセンサであり、対象物の形状、大きさ、及び、色等の識別情報を得ることができる。また、対象物にペイントされた情報から対象物の名前等を得ることもできる。さらに可視光カメラ21の指向方位、及び、事前に知り得ている対象物の大きさから、対象物が存在する方位及び距離(すなわち位置)の情報を得ることができる。
赤外線カメラ22は、対象物が温度に応じて放射する赤外線量を検知するセンサであり、必要に応じて検知した赤外線量の分布を可視化した画像(サーモグラフィ)を出力可能である。この情報からは、対象物の形状、大きさ、及び、稼働状態に関する識別情報を得ることができる。また、赤外線カメラ22の指向方位、及び、事前に知り得ている対象物の大きさから、対象物が存在する方位及び距離(すなわち位置)の情報を得ることができる。
レーダ23は、対象物へ向けて発射した電波の反射波を測定するセンサであり、対象物の形状、及び、大きさ等の識別情報を得ることができる。また、反射波の受信方位と、発信から受信までの時間差とから、対象物が存在する方位及び距離(すなわち位置)の情報を得ることができる。
逆探装置24は、対象物が放射した電波を測定するセンサであり、対象物が搭載する電波発信装置(レーダ又は無線通信装置等)、及び、対象物の大きさに関する識別情報を得ることができる。また、電波の受信方位から、対象物が存在する方位情報を得ることができる。
アクティブ・ソーナ25は、音波または超音波を放射し、対象物から反射してきた反射波を測定するセンサであり、対象物の形状、及び、大きさ等の識別情報を得ることができる。また、反射波の受信方位と、発信から受信までの時間差とから、対象物が存在する方位及び距離(すなわち位置)の情報を得ることができる。
パッシブ・ソーナ26は、対象物が放射した音波を測定するセンサであり、対象物が搭載する振動物体(エンジン等)に関する識別情報を得ることができる。また、音波の受信方位から、対象物が存在する方位情報を得ることができる。
磁気探知装置27は、地磁気の乱れを検知するセンサであり、海面、及び地表近くを移動する金属等の人工物を検出することができる。また、検出位置から、対象物が存在する位置情報を得ることができる。
また、識別情報管理システム100は、センサの数(種類数)に応じたデータベース(第1データベース)31~37と、対象物の識別情報が登録される登録データベース(第2データベース)40とを有している。
データベース31は、可視光カメラ21が検出した可視光に関する情報を含む信号を経時的に蓄積する。
データベース32は、赤外線カメラ22が検出した赤外線に関する情報を含む信号を経時的に蓄積する。
データベース33は、レーダ23が検出した電波の反射波に関する情報を含む信号を経時的に蓄積する。
データベース34は、逆探装置24が検出した電波に関する情報を含む信号を経時的に蓄積する。
データベース35は、アクティブ・ソーナ25が検出した音波または超音波の反射波に関する情報を含む信号を経時的に蓄積する。
データベース36は、パッシブ・ソーナ26が検出した音波に関する情報を含む信号を経時的に蓄積する。
データベース37は、磁気探知装置27が検出した磁気に関する情報を含む信号を経時的に蓄積する。
次に、制御部10の機能的構成についてより詳述すると、制御部10は、第1判断部11、第2判断部12、暫定信号記録部13、相関信号抽出部14、及び登録部15を有している。
このうち第1判断部11は、各センサ21~27からの検出信号に基づき、対象物の位置を判定する。例えば、センサ21~27の検出信号に対し、それぞれ第1条件Th1を予め設定する。そして、検出信号がこの第1条件Th1に合致する場合には対象物の位置が明確に特定できると判断する。また、センサ21~27の検出信号に対し、対象物の存在を判定する。例えば、センサ21~27の検出信号に対し、第2条件Th2を予め設定する。そして、検出信号が第1条件Th1に合致しないが、第2条件に合致する場合は、対象物の位置を特定できないが存在は特定できると判断する。
以下では、各センサ21~27が検出する信号のうち、対象物の位置を特定できる信号、すなわち第1条件に合致する信号を「確定信号」と称する。また、各センサ21~27が検出する信号のうち、対象物の位置は特定できないが存在を特定できる信号、すなわち第1条件に合致せず第2条件に合致する信号を「暫定信号」と称する。なお、上記のような第1判断部11での判定態様は一例であり、これに限定されない。
暫定信号記録部13は、第1判断部11にて認定された暫定信号をデータベース31~37のうち対応するものに記録する。
例えば、可視光カメラ21が検出した信号を第1判断部11が暫定信号と判断した場合、暫定信号記録部13は、当該暫定信号をデータベース31に記録する。同様に、暫定信号記録部13は、赤外線カメラ22で検出された暫定信号はデータベース32に記録し、レーダ23で検出された暫定信号はデータベース33に記録し、逆探装置24で検出された暫定信号はデータベース34に記録し、アクティブ・ソーナ25で検出された暫定信号はデータベース35に記録し、パッシブ・ソーナ26で検出された暫定信号はデータベース36に記録し、磁気探知装置27で検出された暫定信号はデータベース37に記録する。
第2判断部12は、第1判断部11にて対象物の位置が特定できると判断された場合に、当該対象物が、登録データベース40に既に登録されている登録済の対象物か、まだ登録されていない未登録の対象物かを、登録データベース40を参照して判断する。相関信号抽出部14は、第2判断部12にて当該対象物が未登録の対象物であると判断された場合に、この判断の根拠となった確定信号に対し、相関を有する暫定信号をデータベース31~37から抽出する。登録部15は、相関を有する確定信号と暫定信号とを関連付けて、新規の対象物の識別情報として登録データベース40に登録(記録)する。
[識別情報管理システムの動作]
次に、図2のフローチャート及び図3の模式図を参照しつつ、このような識別情報管理システム100の動作、より具体的には、識別情報管理システム100が未登録の対象物の識別情報を収集してデータベースに登録する方法(識別情報収集方法)について説明する。なお、図3は、識別情報管理システム100の動作の一例を示す模式図であり、ここでは航空機1が飛行しているときに海上の対象物に関して識別情報を収集する場合を例示している。
図3に示すように、識別情報管理システム100は、航空機1が海上を飛行しているときに各センサ21~27を動作させ、海上の対象物についてセンシングを開始する(ステップS1)。そして、制御部10は、各センサ21~27にて信号を取得したか否かを判断する(ステップS2)。より具体的には、第1判断部11が、各センサ21~27にて検出した信号が第2条件Th2に合致する信号であるか否かを判断する。
検出信号が第2条件Th2に合致しなければ(S2:NO)、ステップS1からの処理を繰り返す。つまり、第2条件Th2に合致しない検出信号はノイズである可能性が高いため、このような信号はデータベース31~37に記録することなく、破棄する。これに対し、検出信号が第2条件Th2に合致すれば(S2:YES)、当該検出信号が確定信号か否かを判断する(ステップS3)。より具体的には、第1判断部11が更に、当該検出信号が第1条件Th1に合致する信号であるか否かを判断する。ここで、上述した通り、第1条件Th1に合致する信号は対象物の位置を特定できることを意味し、第2条件Th2に合致する信号は対象物の存在を特定できることを意味する。
ステップS3において、検出信号が確定信号ではないと判断した場合は(S3:NO)、当該検出信号を暫定信号として、データベース31~37のうち当該検出信号に対応するデータベースに記録する(ステップS4)。一方、当該検出信号が確定信号である(すなわち、対象物を発見した)と判断した場合は(S3:YES)、第2判断部12が、今回発見した対象物2(図3参照)が登録データベース40に登録済のものか否かを判断する(ステップS5)。そして、登録済であると判断した場合は(S5:YES)このフロー終了した後、適宜ステップS1からの処理を繰り返す。
これに対し、ステップS5にて登録済のものではないと判断した場合は(S5:NO)、今回発見した対象物2は登録データベース40に登録されていない新規の物体ということになる。そこで、過去に各センサ21~27が検出した信号であってデータベース31~37に記録されている暫定信号の中から、今回発見した未登録の対象物2に関する確定信号と相関を有する信号を抽出する(ステップS6)。そして、相関を有する確定信号と暫定信号(相関信号)とを互いに関連付けて、今回発見した新規の対象物2の識別情報として登録データベース40に登録(記録)する(ステップS7)。
ここで、過去に検出されデータベース31~37に記録されている暫定信号の中から、今回検出した確定信号と相関を有する信号を抽出する方法は特に限定されない。例えば、過去の暫定信号に含まれる、第2条件Th2に合致すると判断された特徴点と、今回の確定信号に含まれる、第1条件Th1に合致すると判断された特徴点との間に、経時的な変化を考慮した整合性が見いだされれば、その暫定信号を「相関を有する信号」と特定することができる。より具体的には、赤外線カメラ22で検出した信号(確定信号)により対象物2を発見した場合、その信号が示す対象物2の存在する方向、距離、大きさ等を特定する。そして、逆探装置24によって過去に検出されデータベース34に記録されている暫定信号のうち、同一方向から受信している電波を示す信号を選択し、更に、抽出した暫定信号から予測される対象物2の電波発信装置又は大きさについて整合性の高い信号を抽出する。このようにして抽出した暫定信号を、確定信号と相関を有する信号(相関信号)と認定することができる。もちろん、他の方法によって相関信号を特定してもよい。
以上に説明した識別情報管理システム100によれば、未登録の対象物に関する識別情報を早期に収集してデータベースを構築することができる。すなわち、この識別情報管理システム100では、未登録の対象物を発見する以前においても、対象物の識別情報となり得る可能性のある情報(暫定信号)をデータベース31~37に記録しておく。そして、確定信号の検出により実際に未登録の対象物を発見したときには、これらの暫定情報の中から当該対象物と関連性を有するものを抽出して登録データベース40に登録する。これにより、対象物を発見してから、その識別情報を登録データベースに登録(記録)するまでを、短期間のうちに完了させることができる。
また、確定信号と相関を有する暫定信号の抽出においては、例えば上記のような方法で行うことにより、制御部10において自動的に処理することが可能である。よって、少なくとも登録データベース40を構築する初期段階では、人手を省くこともできる。
なお、上述したようにして登録データベース40を構築した上であっても、登録した対象物の識別情報に不足がある場合などには、適宜その後に各センサ21~27によって検出される信号を追加したり、新たに検出した信号で過去に登録した信号を上書きしたりしてもよい。例えば、図2のフローチャートのステップS5で「登録済」と判断した場合であっても、その際に検出した確定信号と相関信号とを関連付けて、既に登録されている対象物の識別情報として登録データベース40に登録してもよい。
また、以上では、識別情報管理システム100が、データベース31~37と登録データベース40とを互いに独立したハードウェアとして備える態様を説明したが、これに限られない。例えば、これらのうち一部又は全部を1つのハードウェアで構成してもよい。
本発明は、識別情報管理システムと、識別情報収集方法とに適用することができる。
1 航空機
2 対象物
10 制御部
11 第1判定部
12 第2判定部
13 暫定信号記録部
14 相関信号抽出部
15 登録部
21 可視光カメラ(センサ)
22 赤外線カメラ(センサ)
23 レーダ(センサ)
24 逆探装置(センサ)
25 アクティブ・ソーナ(センサ)
26 パッシブ・ソーナ(センサ)
27 磁気探知装置(センサ)
31~37 データベース(第1データベース)
40 登録データベース(第2データベース)
100 識別情報管理システム

Claims (2)

  1. 対象物について種類の異なる複数の特徴量を示す信号を検出する複数のセンサと、前記信号を記憶する第1データベース及び第2データベースと、制御部と、を備え、
    前記制御部は、
    前記複数のセンサにより前記対象物について検出される複数の信号を経時的に取得し、
    取得した信号に基づいて前記対象物の位置を判断し、
    取得した信号のうち前記対象物の位置は特定できないが存在を特定できる信号を暫定信号として前記第1データベースに記憶し、
    取得した信号の中に前記対象物の位置を特定できる信号である確定信号があった場合には、前記第1データベースに過去に記憶された前記暫定信号の中から、前記確定信号と相関を有する信号を相関信号として抽出し、
    前記確定信号及び前記相関信号を互いに関連付けて前記第2データベースに登録するよう構成されている、
    識別情報管理システム。
  2. 対象物についての種類の異なる複数の特徴量を、複数のセンサにより検出して収集する識別情報収集方法であって、
    前記複数のセンサにより前記対象物について検出される複数の信号を経時的に取得する工程と、
    取得した信号に基づいて前記対象物の位置を判断する工程と、
    取得した信号のうち前記対象物の位置は特定できないが存在を特定できる信号を暫定信号と定める工程と、
    取得した信号の中に前記対象物の位置を特定できる信号である確定信号があった場合には、過去に取得された前記暫定信号の中から、前記確定信号と相関を有する信号を相関信号と定める工程と、
    前記確定信号及び前記相関信号を互いに関連付ける工程と、
    を備える、識別情報収集方法。
JP2020093152A 2020-05-28 2020-05-28 識別情報管理システム及び識別情報収集方法 Active JP7436290B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020093152A JP7436290B2 (ja) 2020-05-28 2020-05-28 識別情報管理システム及び識別情報収集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020093152A JP7436290B2 (ja) 2020-05-28 2020-05-28 識別情報管理システム及び識別情報収集方法

Publications (2)

Publication Number Publication Date
JP2021189649A JP2021189649A (ja) 2021-12-13
JP7436290B2 true JP7436290B2 (ja) 2024-02-21

Family

ID=78849742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020093152A Active JP7436290B2 (ja) 2020-05-28 2020-05-28 識別情報管理システム及び識別情報収集方法

Country Status (1)

Country Link
JP (1) JP7436290B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015190896A (ja) 2014-03-28 2015-11-02 川崎重工業株式会社 目標探知支援システムおよびその方法
JP2016085039A (ja) 2014-10-22 2016-05-19 株式会社デンソー 超音波式物体検知装置
WO2016187112A1 (en) 2015-05-15 2016-11-24 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis
WO2018180280A1 (ja) 2017-03-31 2018-10-04 アルプス電気株式会社 入力装置、要素データ構成方法及びプログラム
WO2019181491A1 (ja) 2018-03-22 2019-09-26 日立オートモティブシステムズ株式会社 物体認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015190896A (ja) 2014-03-28 2015-11-02 川崎重工業株式会社 目標探知支援システムおよびその方法
JP2016085039A (ja) 2014-10-22 2016-05-19 株式会社デンソー 超音波式物体検知装置
WO2016187112A1 (en) 2015-05-15 2016-11-24 Airfusion, Inc. Portable apparatus and method for decision support for real time automated multisensor data fusion and analysis
WO2018180280A1 (ja) 2017-03-31 2018-10-04 アルプス電気株式会社 入力装置、要素データ構成方法及びプログラム
WO2019181491A1 (ja) 2018-03-22 2019-09-26 日立オートモティブシステムズ株式会社 物体認識装置

Also Published As

Publication number Publication date
JP2021189649A (ja) 2021-12-13

Similar Documents

Publication Publication Date Title
US10970333B2 (en) Distributed video storage and search with edge computing
US10657660B2 (en) Search assist system, search assist apparatus, and search assist method
JP6885682B2 (ja) 監視システム、管理装置、及び監視方法
CN113487759B (zh) 一种停车巡检方法、装置、移动巡逻设备及巡检系统
US20150356341A1 (en) Fusion of multi-spectral and range image data
CN105844240A (zh) 一种红外测温系统中的人脸检测方法及装置
US20230073717A1 (en) Systems And Methods For Electronic Surveillance
US20070143079A1 (en) Method and apparatus for extracting information from an array of hazardous material sensors
CN110765823A (zh) 一种目标识别方法及装置
CN109374631A (zh) 一种隧道状态评测方法
US20240185371A1 (en) Systems and methods for electronic signature tracking
JP5463875B2 (ja) 航空機位置測定システム、該システムに用いられる応答信号判別方法及び応答信号判別プログラム
JP2017102672A (ja) 地理位置情報特定システム及び地理位置情報特定方法
EP4167193A1 (en) Vehicle data collection system and method of using
CN111935641A (zh) 一种室内自定位的实现方法、智能移动设备和存储介质
EP3618010A1 (en) On-vehicle device, data collection system, data collection method, and data collection apparatus
JP7436290B2 (ja) 識別情報管理システム及び識別情報収集方法
US20170122763A1 (en) Method for ascertaining in a backend, and providing for a vehicle, a data record, describing a landmark, for the vehicle to determine its own position
WO2020255628A1 (ja) 画像処理装置及び画像処理用プログラム
CN116704037B (zh) 一种基于图像处理技术的卫星失锁重定位方法及系统
JP7294323B2 (ja) 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
CN111738185B (zh) 一种目标识别方法、装置及设备
EP2752788A1 (en) Fusion of multi-spectral and range image data
GB2511908A (en) Image processing
WO2020194585A1 (ja) 照合装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150