JP7040827B1 - 捜索支援システムおよび救助支援プログラム - Google Patents
捜索支援システムおよび救助支援プログラム Download PDFInfo
- Publication number
- JP7040827B1 JP7040827B1 JP2021003989A JP2021003989A JP7040827B1 JP 7040827 B1 JP7040827 B1 JP 7040827B1 JP 2021003989 A JP2021003989 A JP 2021003989A JP 2021003989 A JP2021003989 A JP 2021003989A JP 7040827 B1 JP7040827 B1 JP 7040827B1
- Authority
- JP
- Japan
- Prior art keywords
- camera
- drone
- data
- search target
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013473 artificial intelligence Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 30
- 230000001133 acceleration Effects 0.000 claims description 29
- 230000010365 information processing Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 abstract description 16
- 239000004984 smart glass Substances 0.000 description 46
- 238000001514 detection method Methods 0.000 description 38
- 238000004891 communication Methods 0.000 description 36
- 210000004027 cell Anatomy 0.000 description 31
- 238000012545 processing Methods 0.000 description 26
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 239000011521 glass Substances 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000011435 rock Substances 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- ADTDNFFHPRZSOT-PVFUSPOPSA-N ram-330 Chemical compound C([C@H]1N(CC2)C)C3=CC=C(OC)C(OC)=C3[C@]32[C@@]1(O)CC[C@@H](OC(=O)OCC)C3 ADTDNFFHPRZSOT-PVFUSPOPSA-N 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
Abstract
Description
前記ドローンに搭載された第1カメラと、
前記第1カメラによって撮影された画像、前記ドローンの位置、および前記第1カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第1カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有し、
前記端末装置は、
第2カメラと、
前記第2カメラの移動に伴う加速度を計測する加速度センサーと、
前記第2カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第2カメラの撮影方向を算出し、
前記撮影方向および前記第2カメラの画角から、前記第2カメラの撮影範囲を特定して、前記第2カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第2カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第2カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示し、
前記情報処理装置は、前記捜索対象を検出した場合に、前記端末装置に対して前記捜索対象の位置データを送信する、捜索支援システム。
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第1カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、上記(1)~(3)のいずれか一つに記載の捜索支援システム。
(6)前記人工知能は、人の姿勢を検出するための前記訓練画像データによって機械学習されており、前記第1カメラによって撮影された前記画像のデータから、前記人の姿勢を検出して、前記人の姿勢から、救助の緊急性を判断する、上記(5)に記載の捜索支援システム。
(8)前記第1カメラは、赤外線カメラである、上記(5)または(6)に記載の捜索支援システム。
前記ドローンに搭載された第1カメラと、
前記第1カメラによって撮影された画像、前記ドローンの位置、および前記第1カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第1カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第2カメラ、前記第2カメラの移動に伴う加速度を計測する加速度センサー、および前記第2カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記捜索対象の位置情報を前記表示部に表示させる処理をコンピューターに実行させるための捜索支援プログラムであって、
前記情報処理装置であるコンピューターに、前記第1カメラによって撮影された画像のデータから前記捜索対象を検出したか否かを判断させる段階(1a)と、
前記捜索対象を検出した場合に、前記捜索対象の位置のデータを前記端末装置へ出力させる段階(1b)と、を実行させ、
前記端末装置であるコンピューターに、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第2カメラの撮影方向を算出させる段階(2a)と、
前記情報処理装置から前記捜索対象の位置データを取得させる段階(2b)と、
前記撮影方向および前記第2カメラの画角から、前記第2カメラの撮影範囲を特定して、前記第2カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第2カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第2カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示させる段階(2c)と、を実行させるための、捜索支援プログラム。
図1は、本発明の一実施形態に係る捜索支援システム1の概略構成を示す図である。
ドローン100は、無人移動体、無人航空機、および無人飛行体などとも称されている。ドローン100は、機体本体101、機体本体101から延びる4本のローターアーム102、それぞれのローターアーム102に取り付けられた4つのローター103(回転翼)、およびローター103を回転させる4つのモーター104を有する。ドローン100は、モーター104を駆動源としてローター103が回転し、ローター103の回転による揚力によって空中を飛行し、または、空中にホバリングする。モーター104は、各ローター103に個別に接続され、各モーター104によって各ローター103が回転する。なお、ローターアーム102の数は、4本に限定されず、ドローン100の構成によって4本以上の場合もある。なお、図示しないが、ドローン100は、モーター104の原動力となるバッテリーを有する。
サーバー200は、情報処理装置として機能するコンピューターである。サーバー200は、たとえば、災害現場とは異なる場所に設置されたクラウドサーバーである。また、サーバー200は、たとえば、災害が発生した現場に搬送されて、臨時に設置されてもよい。
端末装置300は、表示部が搭載または接続されたコンピューターである。端末装置300は、端末カメラ370によって撮影された画像とともに、位置情報を表示する情報表示装置である。端末装置300は、後述するように、端末カメラ370によって撮影された画像の中に、拡張現実(AR(Augmented Reality))技術、または、複合現実(MR(Mixed Reality))技術によって、様々な情報を表示する。
操縦装置800は、ドローンに100を自律飛行させる飛行ミッションの作成、ドローンへの転送を実行する。また、操縦装置800は、必要な場合に、ドローンを直接操作する。
以下、救助支援の処理手順について説明する。
図5は、救助支援におけるサーバー200の処理手順を示すフローチャートである。サーバー200は、この処理手順に沿って作成された救助支援プログラムを実行する。
図6は、救助支援における端末装置300の処理手順を示すフローチャートである。端末装置300は、この処理手順に沿って作成された救助支援プログラムを実行する。
図7は、要救助者検出時の端末装置300における画面表示例を説明するための説明図である。図7は、水害発生の現場を示している。
要救助者518の検出および位置の特定は、たとえば、特開2019-185689号公報に記載された技術を用いることができる。
P1:その方向に要救助者518が存在していた場合に窺知(検知)となる確率パラメータ(0<P1<1)、
P2:その方向に要救助者518が存在しないが、窺知(検知)となる確率パラメータ(0≦P2<P1)、
pk:確率分布のセル集合からサンプリングされたk番目の確率である。
100 ドローン、
101 機体本体、
102 ローターアーム、
103 ローター、
104 モーター、
108 ドローンカメラ、
110 飛行制御部、
120 衛星測位システム、
130 姿勢方位基準システム、
140 カメラ搭載用ジンバル、
150 通信インターフェース、
200 サーバー、
300 端末装置、
300a 携帯端末、
300b スマートグラス、
300c パソコン、
360 操作表示部、
361 投影表示部、
370 端末カメラ、
371 加速度センサー、
372 方位センサー、
401 ターゲットマーク、
402 人型アイコン、
403 距離情報、
500 災害現場、
502 視点、
503 建物、
518 要救助者、
800 操縦装置。
Claims (10)
- ドローンと、
前記ドローンに搭載された第1カメラと、
前記第1カメラによって撮影された画像、前記ドローンの位置、および前記第1カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第1カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部を有し、前記捜索対象の位置のデータを前記情報処理装置から取得して、前記捜索対象の位置情報を前記表示部に表示する端末装置と、
を有し、
前記端末装置は、
第2カメラと、
前記第2カメラの移動に伴う加速度を計測する加速度センサーと、
前記第2カメラが向いている方位を計測する方位センサーと、を有し、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第2カメラの撮影方向を算出し、
前記撮影方向および前記第2カメラの画角から、前記第2カメラの撮影範囲を特定して、前記第2カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第2カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第2カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示し、
前記情報処理装置は、前記捜索対象を検出した場合に、前記端末装置に対して前記捜索対象の位置データを送信する、捜索支援システム。 - 前記第1カメラは、前記第2カメラで撮影されない範囲を撮影する、請求項1記載の捜索支援システム。
- 前記端末装置は、スマートフォン、タブレットコンピューター、ウェアラブルコンピューター、ノート型コンピューター、デスクトップ型コンピューターよりなる群から選択された少なくともいずれか一つである、請求項1または2に記載の捜索支援システム。
- 前記情報処理装置は、
前記捜索対象を検出するために、あらかじめ複数の訓練画像データを用いて機械学習された人工知能を有し、
前記人工知能は、前記第1カメラによって撮影された前記画像のデータから、前記捜索対象を検出する、請求項1~3のいずれか一つに記載の捜索支援システム。 - 前記人工知能は、人型または人影を検出するための前記訓練画像データによって機械学習されており、前記第1カメラによって撮影された前記画像のデータから、前記人型または人影を検出する、請求項4に記載の捜索支援システム。
- 前記人工知能は、人の姿勢を検出するための前記訓練画像データによって機械学習されており、前記第1カメラによって撮影された前記画像のデータから、前記人の姿勢を検出して、前記人の姿勢から、救助の緊急性を判断する、請求項5に記載の捜索支援システム。
- 前記捜索対象は、人である、請求項1~6のいずれか一つに記載の捜索支援システム。
- 前記第1カメラは、赤外線カメラである、請求項5または6に記載の捜索支援システム。
- 前記情報処理装置は、前記ドローンの飛行経路の位置データを記憶する、請求項1~8のいずれか一つに記載の捜索支援システム。
- ドローンと、
前記ドローンに搭載された第1カメラと、
前記第1カメラによって撮影された画像、前記ドローンの位置、および前記第1カメラの姿勢のデータを取得して、前記画像のデータから捜索対象を検出するとともに、前記ドローンの位置および前記第1カメラの姿勢のデータから、検出した前記捜索対象の位置を特定し、前記捜索対象の位置のデータを出力する情報処理装置と、
表示部、第2カメラ、前記第2カメラの移動に伴う加速度を計測する加速度センサー、および前記第2カメラが向いている方位を計測する方位センサーを有する端末装置と、
を有する捜索支援システムにおいて、前記捜索対象の位置情報を前記表示部に表示させる処理をコンピューターに実行させるための捜索支援プログラムであって、
前記情報処理装置であるコンピューターに、前記第1カメラによって撮影された画像のデータから前記捜索対象を検出したか否かを判断させる段階(1a)と、
前記捜索対象を検出した場合に、前記捜索対象の位置のデータを前記端末装置へ出力させる段階(1b)と、を実行させ、
前記端末装置であるコンピューターに、
前記加速度センサーが計測した加速度および前記方位センサーが計測した方位から前記第2カメラの撮影方向を算出させる段階(2a)と、
前記情報処理装置から前記捜索対象の位置データを取得させる段階(2b)と、
前記撮影方向および前記第2カメラの画角から、前記第2カメラの撮影範囲を特定して、前記第2カメラの撮影範囲と前記捜索対象の位置データとを比較して、前記第2カメラの撮影範囲内に前記捜索対象が存在する場合に、前記第2カメラによって撮影された画像の中に、前記捜索対象の位置情報を重ねて、前記表示部に表示させる段階(2c)と、を実行させるための、捜索支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021003989A JP7040827B1 (ja) | 2021-01-14 | 2021-01-14 | 捜索支援システムおよび救助支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021003989A JP7040827B1 (ja) | 2021-01-14 | 2021-01-14 | 捜索支援システムおよび救助支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7040827B1 true JP7040827B1 (ja) | 2022-03-23 |
JP2022108823A JP2022108823A (ja) | 2022-07-27 |
Family
ID=81214307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021003989A Active JP7040827B1 (ja) | 2021-01-14 | 2021-01-14 | 捜索支援システムおよび救助支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7040827B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115518316A (zh) * | 2022-09-20 | 2022-12-27 | 珠海安擎科技有限公司 | 一种基于无人机、云平台与ar眼镜互联的智慧消防系统 |
CN117405563A (zh) * | 2023-12-14 | 2024-01-16 | 河北师范大学 | 一种燃料燃烧温室效应污染物监测方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004297131A (ja) | 2003-03-25 | 2004-10-21 | Hitachi Ltd | 安否確認システムとそのための装置 |
JP2010520559A (ja) | 2007-03-08 | 2010-06-10 | アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド | 閉ざされた構造内の人員およびセンサの位置を示し、状況認識の増進を提供する、拡張現実ベース型システムおよび方法 |
JP2012203550A (ja) | 2011-03-24 | 2012-10-22 | Nec Corp | 情報処理装置、プログラムならびに方法 |
JP2016195323A (ja) | 2015-03-31 | 2016-11-17 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2019185689A (ja) | 2018-04-17 | 2019-10-24 | 株式会社ロックガレッジ | 検出対象位置特定システム |
JP2020037353A (ja) | 2018-09-05 | 2020-03-12 | 潤一 石原 | 捜索システム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3523967B2 (ja) * | 1996-10-11 | 2004-04-26 | 川崎重工業株式会社 | 災害対策評価装置 |
-
2021
- 2021-01-14 JP JP2021003989A patent/JP7040827B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004297131A (ja) | 2003-03-25 | 2004-10-21 | Hitachi Ltd | 安否確認システムとそのための装置 |
JP2010520559A (ja) | 2007-03-08 | 2010-06-10 | アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド | 閉ざされた構造内の人員およびセンサの位置を示し、状況認識の増進を提供する、拡張現実ベース型システムおよび方法 |
JP2012203550A (ja) | 2011-03-24 | 2012-10-22 | Nec Corp | 情報処理装置、プログラムならびに方法 |
JP2016195323A (ja) | 2015-03-31 | 2016-11-17 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2019185689A (ja) | 2018-04-17 | 2019-10-24 | 株式会社ロックガレッジ | 検出対象位置特定システム |
JP2020037353A (ja) | 2018-09-05 | 2020-03-12 | 潤一 石原 | 捜索システム |
Non-Patent Citations (3)
Title |
---|
宮里太也(外2名) ,多目的自律型ドローンのための俯瞰視点人物検知システムに関する研究,電気学会研究会資料,日本,一般社団法人電気学会 ,2017年09月21日,P .11-16 |
小枝正直 (外2名) ,拡張現実感による支援機能を有する搭乗型救助ビークル,第23回日本ロボット学会学術講演会予稿集CD-ROM,日本,社団法人日本ロボット学会,2005年09月15日,P.1-4 |
細川直史,消防防災分野における拡張現実の活用,映像情報メディア学会誌,日本,一般社団法人映像情報メディア学会,2012年11月01日,第66巻, 第11号,P.928-933 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115518316A (zh) * | 2022-09-20 | 2022-12-27 | 珠海安擎科技有限公司 | 一种基于无人机、云平台与ar眼镜互联的智慧消防系统 |
CN115518316B (zh) * | 2022-09-20 | 2024-02-20 | 珠海安擎科技有限公司 | 一种基于无人机、云平台与ar眼镜互联的智慧消防系统 |
CN117405563A (zh) * | 2023-12-14 | 2024-01-16 | 河北师范大学 | 一种燃料燃烧温室效应污染物监测方法及装置 |
CN117405563B (zh) * | 2023-12-14 | 2024-03-19 | 河北师范大学 | 一种燃料燃烧温室效应污染物监测方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2022108823A (ja) | 2022-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11794890B2 (en) | Unmanned aerial vehicle inspection system | |
US20210072745A1 (en) | Systems and methods for uav flight control | |
US10648809B2 (en) | Adaptive compass calibration based on local field conditions | |
US20210116943A1 (en) | Systems and methods for uav interactive instructions and control | |
CN109596118B (zh) | 一种用于获取目标对象的空间位置信息的方法与设备 | |
EP3783454B1 (en) | Systems and methods for adjusting uav trajectory | |
US20190253611A1 (en) | Systems and methods for controlling an image captured by an imaging device | |
CN108885461A (zh) | 用于静止对象和运动对象的无人机飞行限制的系统和方法 | |
US20220221274A1 (en) | Positioning systems and methods | |
JP6859241B2 (ja) | 飛行体、生体探索システム、生体探索方法、プログラム、及び記録媒体 | |
JP7040827B1 (ja) | 捜索支援システムおよび救助支援プログラム | |
JP7153306B2 (ja) | 検出対象位置特定システム | |
JP2020170213A (ja) | ドローン作業支援システム及びドローン作業支援方法 | |
CN111164958A (zh) | 用于基于姿态信息处理和显示图像数据的系统及方法 | |
KR20230136289A (ko) | 재난재해지역 자동 검출 및 토공량 산정 시스템 | |
CN114867986A (zh) | 航线规划方法、装置、设备、无人机及可读存储介质 | |
Perez-Mato et al. | Real-time autonomous wildfire monitoring and georeferencing using rapidly deployable mobile units | |
Tsai et al. | The development of a direct georeferencing ready UAV based photogrammetry platform | |
Sousa et al. | Isep/inesc tec aerial robotics team for search and rescue operations at the eurathlon 2015 | |
JP2023000992A (ja) | 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム | |
Caballero et al. | An automated UAV-assisted 2D mapping system for First Responders | |
CN112213753A (zh) | 一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法 | |
CN112154389A (zh) | 终端设备及其数据处理方法、无人机及其控制方法 | |
Gademer et al. | Solutions for near real time cartography from a mini-quadrators UAV | |
US11967035B1 (en) | Visualizing area covered by drone camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210114 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210127 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210218 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7040827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |