JP7251798B2 - 水中調査システム - Google Patents

水中調査システム Download PDF

Info

Publication number
JP7251798B2
JP7251798B2 JP2020080898A JP2020080898A JP7251798B2 JP 7251798 B2 JP7251798 B2 JP 7251798B2 JP 2020080898 A JP2020080898 A JP 2020080898A JP 2020080898 A JP2020080898 A JP 2020080898A JP 7251798 B2 JP7251798 B2 JP 7251798B2
Authority
JP
Japan
Prior art keywords
underwater
camera
information
wireless communication
underwater camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020080898A
Other languages
English (en)
Other versions
JP2021176209A (ja
Inventor
竹生 檜山
雅人 田中
Original Assignee
株式会社エイビット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイビット filed Critical 株式会社エイビット
Priority to JP2020080898A priority Critical patent/JP7251798B2/ja
Publication of JP2021176209A publication Critical patent/JP2021176209A/ja
Application granted granted Critical
Publication of JP7251798B2 publication Critical patent/JP7251798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Optical Communication System (AREA)
  • Image Analysis (AREA)

Description

本発明は、海面や海中に存在する物体を水中カメラで撮影し、撮影情報を無線通信手段により、水中調査センタに送信する水中調査システムに関する。
近年、空中ドローンの普及とともに、水中ドローンも商品化されていて、カメラを内蔵し海中の撮影を行うことを目的に、趣味用途のための商品が販売されている例が多い。使い方としては、船やボートに乗った人が操縦桿を持ち、操縦桿とケーブル接続されたドローンを水中に泳がせ、水中カメラの映像を見ながら操縦桿で、ドローンの水中での運動を指示している。ケーブルの長さは100m程度である。
一方、このケーブルを使う替わりに無線通信を利用しケーブルレスにする動きもある。これまで水中での無線通信には音波による方法が一般的であるが、伝送速度は20kbpsのオーダであり、カメラで撮影された映像を直接伝送するには通信速度としては十分でない。このため、特許文献1には、青色LEDを使用した可視光による海中無線通信技術が開示されている。また、ALAN(Aqua Local Area Network:エーラン)コンソーシアムでは、1Gbpsの通信速度を達成しようとしている。
水中の撮影を、趣味の範囲にとどまらず、不審船や不審物や漂流してくるプラスチックごみや死体の発見、あるいは犯罪捜査を目的にするとともに、撮影映像を陸上に設けた水中調査センタにリアルタイムに届けることは、社会的にもより重要になってくる。
特開2017-228889
水中カメラで撮影された映像を、水中無線通信により水中無線通信と陸上無線通信を仲介する中継器に送り、中継器から調査センタに映像を転送し、調査センタの指示により水中カメラの水中での撮影位置などが制御される。また、海底など海中のある個所から海面を眺めた画像から海面に浮かぶ不審物を検知するとともに、不審物の位置についても判定する。
水中カメラに運動制御機構と水中無線通信機能を設け、水面上あるいは陸上の中継器は、水中カメラ情報を陸上無線通信手段により調査センタに転送するとともに、調査センタでは映像を見ながら水中カメラの位置やズーム比率などの撮影パラメータを制御する指示を出す。
また、海底など海中の任意の地点から海面に向けた画像を撮影し、画像を解析し不審物を判定するともに撮影された画像中の太陽光をもとに、不審物のカメラからの位置をカレンダ情報を利用して計算する。
水中(海中)の物体映像から海中に存在する物体を把握でき、不審行為の摘発や犯罪捜査の裏付けが自動化され、ダイバーの負担軽減に貢献できる。また、趣味でダイビングを楽しむ人にとって、迫力ある海中映像を、随時提供でき、さらに漁業従事者は、魚群探知機より有効な情報で漁獲作業を効率化でき、学術研究のための海中、海底調査がより詳細にできるようになる。
本発明による水中調査システムの第1の実施例での全体構成を示す図である。 図1の中継回路のブロック線図を示す図である。 図1の水中カメラの内部構成のブロック線図である。 本発明による水中調査システムの第2の実施例の水中での模様を示す図である。 本発明の第2の実施例の水中カメラのブロック線図である。
以下図面を参照して本発明を説明する。
本発明においては、水中無線通信方式として、音波通信、青色LEDを用いた光通
信などが考えられるが、どの方式を用いてもよく、それぞれの方式での通信速度と通信
距離を考慮しながら、水中調査の目的をもとに必要な通信方式が適宜選択されよう。
本発明の第1の実施例として、カメラが水中のとある位置に載置(浮上している)されているとき、映像信号を通信するケースについて説明する。
図1は、本発明の第1の実施例での全体構成図であり、海面には、中継回路2(中継回路2は、現実には中継器と呼ばれる製品に内蔵される回路であるが、以降の説明では、中継器のことを中継回路と言う)を積んだボートのような船1が浮かんでいる。この船1から水中カメラ4を海中に放つが、水中カメラ4は、水中運動を制御駆動する機構に取り付けられていて、いわゆる水中ドローンともいえるものである。中継回路2は、必要に応じて海中に水中通信プローブ3を垂らし、水中カメラ4と水中無線通信を行う。水中カメラ4で撮影された映像信号は、中継回路2から陸上無線通信網5を経由して調査センタ6に届けられる。
陸上無線通信網5は、4G、5Gと呼ばれる公衆無線通信網の利用が汎用性に富むが、自営の無線通信網でもよい。調査センタ6には水中調査のための調査官がいて、映像信号を見ながら、水中カメラのズーム比率、撮影角度、解像度、水中での移動(上下左右方向への移動)についての制御・指示を行う。また、水中カメラの撮影目的がダイビングなどの趣味目的の場合は、ユーザ7は、調査センタ6にアクセスすることで、水中カメラの動作指示を行うこともできる。このため調査センタ6は、ユーザ7にも通信可能としている。ユーザ7は、所有する携帯電話に、調査アプリをダウンロードしておくことで、調査セン6へ撮影に関す指示を通信できるようにしておくのが便利であろう。ユーザ7は、趣味目的に限らず、漁業従事者や調査センタ6の調査官など調査センタ6を利用するすべての人を対象としている。
水中無線通信としては青色LEDを用いた光通信を利用するが、LED通信の通信距離は100メートル程度である。
図2は中継回路2の内部構成を示す。
中継回路2では、水中無線通信回路21が、水中で水中カメラ4と無線通信された信号を送受する。水中無線通信回路21は上記したようにLEDや音波による送受信回路である。LED通信の場合はLED発光部とLED受光部を有す。水中カメラ4で撮影された映像は、映像信号抜取部25で、調査センタ6が要求する必要な映像信号が抜き取られ、制御信号形成部24を経て陸上無線通信部23から調査センタ6へ届けられる。調査センタ6は映像を見ながら、水中カメラ4の撮影位置やズーム比率などについての指示を行うが、この指示情報は、水中カメラ制御部22から水中カメラ4へ届く。レベル測定部27は、水中無線通信回路21や水中通信プローブ3で受信した水中カメラ映像の受信レベルを計測し、水中カメラ4と、中継回路2が置かれている船との距離を推定するものである。水中カメラ4が移動することで、中継回路2の通信圏内から外れることのないようするため、水中カメラ4は、30秒とかの一定間隔でテスト信号を発信している。中継回路2では、水中カメラ4からの受信電波の強度を、レベル測定部27で測定し、水中カメラ4と中継回路2との距離を推定し、中継回路2は、水中カメラ2での受信強度がある数値より小さくなると、通信可能距離の限界である100メートル近くになると判定し、水中カメラ4に、100メートルより少ない距離に移動することを制御信号形成部24から調査センタ6へ伝え、調査センタ6の判断・指示信号を制御信号形成部24で受け、水中カメラ制御部22へ伝える。水中カメラ4からの電波を受信できないときは、水中カメラ4を通信圏内に入るよう移動させたり、場合によっては、船1を移動させ、水中カメラ4からの電波受信が可能になる場所を見つける。
なお、水中カメラ4と水中無線通信回路22の通信がうまくいかないとき(等価的には、S/N比が悪い時)は、S/N比向上のため、中継回路2は、水中通信プローブ3を有線接続で水中に垂らすことで、水中カメラ4からの水中無線通信信号を直接受信できるようにする。水中通信プローブ3を使用するときは、図2の中継回路2にある水中無線通信回路21はオフにして、水中通信プローブ3の信号が破線で示すように、水中カメラ制御部22と映像信号抜取部25へ届く。
中継回路2にはGPS部26を設け、船のGPS情報を取得している。
表1には、中継回路2、水中カメラ4、調査センタ66との間の通信信号のリストを示す。
Figure 0007251798000001
水中カメラ4が運ばれてきたボートから放たれ、調査目的に応じて水中のとある位置にまで沈むことが、調査センタ6から「水中位置指示」信号によって水中カメラ4に指示される。その後、所定の位置についたら、水中カメラ4は「送信準備完了」信号を、調査センタ6に送る。このとき、深度情報に加え、中継回路2が持つGPS情報を調査センタ6に送る。調査センタ6はその後、「映像信号要求」信号を送る。この映像信号に付随して、表1には「温度等情報」と記している温度計、水圧計、回転計、電池残量、加速度センサ情報を送る。その後、調査センタ6は、必要に応じて「カメラ制御指示」信号を送り、後記する水中カメラ4の運動方向駆動部43やカメラ駆動部44に届く。表1に示す「受信強度テスト」信号は、前記した、一定の時間間隔で送信する信号である。
図3は、水中カメラ4の内部構成を示す。
40は光通信回路で、青色LEDの光を使って水中で無線の送受信を行う回路、41は通信信号を作成、復元するための通信制御部、42は水中カメラの電源として使用する電池の残量を検知する電池残量検知回路である。46は水の温度を測定する温度計、47は水圧を測定する水圧計で、水圧を測定することで、海面からの距離(深度)が分かる。48は回転計で、水流の強さを測定する。49は加速度センサ(3次元加速度センサが望まれる)で、動き量を測定する。電池残量検知回路42、温度計46、水圧計47、回転計48、加速度センサ49の出力は、水中カメラ4が送信を行うときには、その都度通信制御部41がそれらの出力情報を確認し送信する。前記した表1の「水中位置指示」信号には、水中での深度が指示されるが、指示された深度に位置したことに、水圧計47の情報が使用される。水中カメラ4の周辺の温度、水圧、水流の強さ情報は、気象観測の観点からも有益な情報である。加速度センサ情報は、調査センタ6の指示で、水中カメラが移動したことの確認、あるいは、水流によって動かされた移動量を推定するのに必要な情報である。45はカメラ部で、水中で使用するため防水機能を装備したカメラで、4Kとかの高精細度である方が望ましい。水中カメラ4には、水中での位置やカメラのズーム比率、被写体への撮影角度や解像度のような撮影パラパラメータについての指示が、後記する「カメラ制御指示」信号として、調査センタ6より中継回路2を介して届くので、運動方向駆動部43やカメラ駆動部44が、水中カメラの制御を行う。水中カメラ4の運動駆動機構については図示していないが、市販の水中ドローンと同様の機構が使用される。
水中の撮影の目的は、レジャ―業者が、マリンスポーツ愛好者に水中映像を提供するサービス事業、漁業業者に、水中での魚類の生息観察情報の提供、魚群の動き等を提供するサービス事業、海流と魚群の生態の調査などの学術研究、死体などの不審物の発見、犯罪者が、「ナイフは海に捨てた」などと発言した時、それを確認する作業、不審船が漂流している、あるいは不審な船は禁止地域に入り不審な動きをしている等、警察や海上保安のための監視などがあるが、調査センタ6は、撮影目的に応じて、調査官が撮影映像を見ながら、水中カメラ4に動きやカメラへ指示を出す。また、これらの映像解析を人手によらず、物体認識手段として、機械的に行う事も可能である。水中に存在する可能性のある物体のパタン情報を登録し、撮影画像より物体部を抽出し、パタン情報と比較することで物体が何であるかが判別できる。判別できないときは調査官が画像を見て判別し、前記したパタン情報をアップデートする。
撮影目的によっては、上記した中継回路2を搭載した一つのボートを海面に浮かべ目的を達成することもできるが、青色LEDによる光通信の通信範囲が100メートルレベルであるため、広範囲の調査が必要なときは、中継回路2を積んだボートをセルラー状に必要範囲に置くか、1台のボートが水中カメラとともにセル間を移動する、あるいは、海面上を飛行する空中ドローンに中継回路2を積む、あるいは、陸上で海岸線沿いに中継回路2を、必要範囲内に配置するなどの対応が採れる。空中ドローンや海岸線に中継回路2を置く場合は、前記した水中通信プローブ3の使用はS/N比向上の観点から必須となり、水中通信プローブ3と中継回路2の間のケーブル長として100メートル程度は必要になろう。
水中カメラの撮影映像から、調査目的によって、調査センタ6が必要とする画像が動画か静止画か、動画の場合はフレーム数、静止画の場合は静止画の時間間隔が決まるであろう。また、水中カメラ4に画像解析回路を設け、解析した結果情報を調査センタに届けてもよい。水中カメラ4から送られる信号として、動画、静止画、解析結果情報があるが、本発明ではそれらをカメラ情報と総称する。解析結果情報の場合は、水中通信速度としては、10Kbps程度でも十分で、音波通信方式の採用が可能になる。音波通信は通信範囲が数キロメートルと広いので、調査目的によっては有用である。
次の表2は、調査センタ6で水中に配置されているドローンのすべてを管理するための管理テーブルである。
表2では、調査センタ6で管理している全てのドローンに対し、各行に示すように全てのドローンに個別に振られたドローンID、ドローンが活動中(水中動作オン)か休止中(オフ)か、撮影目的が魚群観察か警察捜査か、事業者名として、AA漁協か、BB警察か、中継器が設置されている場所(中継器GPS)、水中無線方式(音波か光か、)カメラの解像度(4Kか2Kか)、画像解析機能を具備するかどうか、活動を開始した水中侵入時刻、ドローンが水中に放たれた場所のGPS(ドローンGPS)、ドローンが具備する水圧計から計算される深度(水中の深さ)、回転計が示す水流強度、温度、電池残量、ドローンが水中活動を終了した引揚時刻などが管理されている。
後記するが、水中カメラ4の画像解析機能の具備や、低解像度での撮影が可能かについての情報も調査センタ6で管理されている。
表2におけるドローンGPSは、水中でのGPS受信は困難なので、第1の実施例では、ボートから水中に放たれたときの中継回路から得られたGPS情報の半径100メートル圏内と考える。調査センタ6は、ドローンGPSと深度情報をもとに水中のドローンの衝突を防止するよう管理している。具体的には、調査官が、自己が操縦管理する水中カメラへの移動を指示するとき、これら二つの情報を注意深く見ながら指示を行う。
Figure 0007251798000002
図4は、本発明による水中調査システムの第2の実施例として、進入禁止海域に侵入してくる不審船を発見するケースでの、海中の模様を示す。海底に置かれたカメラ4aが、広角で上方(水面)を眺め、不審船を見ている模様であり、進入禁止海域に侵入してくる不審船の発見を主たる目的にしている。
水中カメラ4aは、船(ボートでよい)で運ばれ、ボートから海底に向けて水中に放され、海底に沈むような重量にされている。このとき、ボートの位置情報として、ボート操縦者の所有する携帯電話のGPS情報が中継回路2より調査センタ6に送られる。
不審船発見のケースでは、撮影映像は4K動画である必要はなく、40万画素程度の静止画でもよい。水中無線通信方式として音波通信を用いると、音波通信の速度が20kbpsとすると、JPEG静止画1枚の伝送に20秒要すが、1分間隔で不審船をチェックし、静止画が1分に1枚届くということになるが、それでも充分であろう。
このため、調査センタ6は、調査開始時に調査目的に応じてカメラに撮影時の解像度を指示する。カメラが4Kという高解像度のカメラであっても低解像度での撮影モードが具備されている。この指示は表1の「水中位置指示」信号を利用して行う。
調査センタ6には、1分に1枚静止画が届き、静止画を解析し、不審船がいるかどうかを判定するが、同時に静止画に映っている不審船の影情報をカレンダ情報を活用して解析し、不審船のカメラからの角度を計算することでカメラからの距離を求める。
上記したように調査センタ6で物体認識手段を用い不審船の発見や不審船の位置を計算できるが、この機能を水中カメラ2に内蔵することもできる。
図5は、この場合の水中カメラ4aの内部構成を示す。カメラ部45の信号は、画像解析部55で解析を行い、物体判定部52で物体が何であるかを判定する。あわせて、判定された物体の水中カメラ4aより離れている距離が、角度・距離判定部53で推定される。なお、物体判定部52で、認識された物体が影画像と判定されるときは、カレンダ情報部54(A月B日C時D分から分かる太陽光の角度)を利用し、影画像が真の物体と離れている距離を推定する。不審物を発見した時は、前記した判定結果(船発見か死体発見かなど)と距離情報が、音波通信制御部51から中継回路2を介して調査センタ6に送信される。
なお、上記した距離情報を算出するテストとして、水中カメラ4aの設置時に設置用ボートとともに不審船と見立てるためのテストボートも同行し、設置用ボートとの距離が正しく判定されているかのテストを行い、必要ならカメラ部45のズーム比率が、カメラ駆動部44より変更される。本発明の第2の実施例の主目的は、海上に設けた進入禁止エリアに侵入してくる不審船の発見である。そのためには、中継回路2を運んできたボートがその場所にいることは調査目的が達成されない可能性もある。そのため、ボートは水中カメラ4aを放った後は、陸上近くのボート駐船場に退避し、不審船操縦者に気づかれないようにしておくことが必要である。
本発明により、水中ドローンともいうべき監視用水中カメラ、中継回路の需要が高まるとともに、ダイバーの負担軽減に役立つ。特に犯罪捜査のためのダイバーの負担は重く、健康管理面でも有益である。また漁業従事者、学術研究者にとっても有益な情報が提供できるとともに、不法な漁船の摘発にも有用性が高いものである。
1. 船
2. 中継回路
3. 水中通信プローブ
4. 水中カメラ
5. 陸上通信網
6. 調査センタ
7. ユーザ
21. 水中無線通信回路
22. 水中カメラ制御部
23. 陸上無線通信部
24. 制御信号形成部
25. 映像信号抜取部
26. GPS部
27. レベル測定部
40. 光通信回路
41. 通信制御部
42. 電池残量検知回路
43. 運動方向駆動部
44. カメラ駆動部
45. カメラ部
46. 温度計
47. 水圧計
48. 回転計
49. 加速度センサ
50. 音波通信回路
51. 音波通信制御部
52. 物体判定部
53. 角度・距離判定部
54. カレンダ情報部
55. 映像解析部

Claims (2)

  1. カメラ部と水圧計と加速度センサと運動駆動機構を具備し、個別に振られたIDを有する水中カメラと中継回路と陸上無線通信網と調査センタよりなり、前記中継回路は、水中無線通信回路と陸上無線通信部を有し、前記水中無線通信回路は前記水中カメラと水中無線通信を行い、前記陸上無線通信部は、前記陸上無線通信網を介して前記調査センタと陸上無線通信を行い、前記水中カメラより得られた映像信号を、前記調査センタに届け、前記中継回路は、前記水中カメラが定期的に発信するテスト信号の受信強度を測定し、受信強度の値が所定の値より小さい時は、前記調査センタに、前記水中カメラの前記運動駆動機構による移動指示を依頼するとともに、前記調査センタは、前記加速度センサの情報で、前記水中カメラが移動されたことを確認し、前記水圧計の情報で、前記調査センタが所定の位置に移動されたことを確認することを特徴とする水中調査システム。
  2. 請求項1において、前記水中カメラは、回転計、温度計、電池残量検知回路も具備し、水中カメラの撮影画像情報と水中カメラの電池残量情報と配置位置周辺の水圧情報、温度情報、回転計から得られる水流の強さ情報、前記水圧計から得られる深度情報、前記加速度計から得られる前記水中カメラの移動情報と前記中継回路にあるGPS情報が、前記調査センタに送信され、該調査センタでは、水中に配置されているすべてのカメラの情報を前記個別に振られたIDとともに、管理していることを特徴とする水中調査システム。
JP2020080898A 2020-05-01 2020-05-01 水中調査システム Active JP7251798B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020080898A JP7251798B2 (ja) 2020-05-01 2020-05-01 水中調査システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080898A JP7251798B2 (ja) 2020-05-01 2020-05-01 水中調査システム

Publications (2)

Publication Number Publication Date
JP2021176209A JP2021176209A (ja) 2021-11-04
JP7251798B2 true JP7251798B2 (ja) 2023-04-04

Family

ID=78300541

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080898A Active JP7251798B2 (ja) 2020-05-01 2020-05-01 水中調査システム

Country Status (1)

Country Link
JP (1) JP7251798B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024025969A (ja) * 2022-08-15 2024-02-28 株式会社日立製作所 水中監視システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206405A (ja) 2009-03-02 2010-09-16 Secom Co Ltd 画像監視装置
JP2018061160A (ja) 2016-10-06 2018-04-12 富士ゼロックス株式会社 水中移動体及び水中通信システム
JP2019089422A (ja) 2017-11-14 2019-06-13 リュル キム,ドン 水中ドローンを用いた海底探査システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206405A (ja) 2009-03-02 2010-09-16 Secom Co Ltd 画像監視装置
JP2018061160A (ja) 2016-10-06 2018-04-12 富士ゼロックス株式会社 水中移動体及び水中通信システム
JP2019089422A (ja) 2017-11-14 2019-06-13 リュル キム,ドン 水中ドローンを用いた海底探査システム

Also Published As

Publication number Publication date
JP2021176209A (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
US11809179B2 (en) Castable sonar devices and operations in a marine environment
CN106240774B (zh) 一种无人船及系统
US11275371B2 (en) Unmanned vehicle control and operation in a marine environment
KR100734814B1 (ko) 자율운항무인선박
JP2017519487A (ja) デジタルスポーツフィッシング
WO2017140096A1 (zh) 一种无人船及系统
CN106628026B (zh) 一种无人船及无人船系统
CN107231181A (zh) 一种跨介质通信的海空协同监测系统及其使用方法
KR101184587B1 (ko) 수자원 관리용 무인 보트 운용 시스템 및 그 운용 방법
KR101812283B1 (ko) 인명구조용 무선조종보트 및 수상 인명구조 시스템
JP2018176905A (ja) 無人飛行体を用いた水中調査システム及び水中調査方法
CN107092019A (zh) 涉水机器人及水中探测系统
KR20140058877A (ko) 무인선박을 이용한 수상 이동형 하천 퇴적물 채집 및 채수 멀티플 장치
CN109843726A (zh) 飞行体、生物体探测系统、生物体探测方法、程序和记录介质
JP7251798B2 (ja) 水中調査システム
KR20200090565A (ko) 3자 시점 카메라를 갖는 스마트 수중 드론 시스템
CN115396834A (zh) 一种水下应急救援导航指挥系统及方法
JP3851946B2 (ja) 海草藻場の調査装置
US20210088656A1 (en) Fish finder
WO2016122167A1 (ko) 위치추적 방식의 낚시장치
JP4920347B2 (ja) 水中監視システム
WO2023210897A1 (ko) 어장의 수심층별 수산자원 관리용 측정장치
JP2016118995A (ja) 監視システム
JP6738059B2 (ja) 表示装置、探索システム、表示方法、およびプログラム
CN211281412U (zh) 一种智能识别追踪水上救援无人机

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210615

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230315

R150 Certificate of patent or registration of utility model

Ref document number: 7251798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150