JP6765738B1 - 無人飛行体のフライト管理サーバ及びフライト管理システム - Google Patents

無人飛行体のフライト管理サーバ及びフライト管理システム Download PDF

Info

Publication number
JP6765738B1
JP6765738B1 JP2019555056A JP2019555056A JP6765738B1 JP 6765738 B1 JP6765738 B1 JP 6765738B1 JP 2019555056 A JP2019555056 A JP 2019555056A JP 2019555056 A JP2019555056 A JP 2019555056A JP 6765738 B1 JP6765738 B1 JP 6765738B1
Authority
JP
Japan
Prior art keywords
flight
information
unmanned aerial
aerial vehicle
management server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019555056A
Other languages
English (en)
Other versions
JPWO2020255373A1 (ja
Inventor
太郎 吉井
太郎 吉井
智史 岡村
智史 岡村
兼太郎 深見
兼太郎 深見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensyn Robotics Inc
Original Assignee
Sensyn Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensyn Robotics Inc filed Critical Sensyn Robotics Inc
Application granted granted Critical
Publication of JP6765738B1 publication Critical patent/JP6765738B1/ja
Publication of JPWO2020255373A1 publication Critical patent/JPWO2020255373A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】本発明は、様々な作業対象を選択するだけで、最適な飛行ルートを自動で設定すること。【解決手段】本発明によるフライト管理サーバは、ネットワークを介してユーザ端末と無人飛行体と接続されている。フライト管理サーバは、互いに独立した複数の領域のうち少なくとも二以上の領域を含む領域情報を含むフライト依頼を受け付ける受付部と、ユーザ端末からのフライト依頼に基づいて、少なくとも二以上の領域にわたって飛行する飛行ルートを含むフライトミッションを生成する生成部と、生成した前記フライトミッションを無人飛行体に送信する、および、無人飛行体が取得した情報を無人飛行体から受信する通信部と、無人飛行体から取得した情報を領域ごとに仕分ける仕分部と、仕分けられた情報を記憶する記憶部と、を備えている。【選択図】図2

Description

本発明は、無人飛行体のフライト管理サーバ及びフライト管理システムに関する。
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始めている。こうした中で、特許文献1には、風車から点検用のデータを取得する無人機の飛行ルートを、風車の制御状態を反映して作成するシステムが開示されている。
特開2018−21491号公報
しかしながら、上記特許文献1の開示技術では特段考慮されていないが、例えば管理者や番号、ID等で分けられた互いに独立した領域を複数含む対象に対して、領域ごとに1つの飛行ルートを与える場合には、飛行ルートの設定等の準備作業及び飛行自体の回数が増えるために手間や時間が増えることとなるし、複数の領域に対して1つの飛行ルートを与える場合には、その後に手作業でデータを仕分け・管理することになり、人的作業が膨大となることが予想される。また、複数台の飛行体による作業の共有についても特段考慮されていなかった。さらに、点検箇所の経時変化についても特段考慮されていなかった。
本発明はこのような背景を鑑みてなされたものであり、特に、互いに独立した領域を複数含む対象に対する作業において、最適な飛行ルートの設定や高効率な情報の仕分けおよび管理が可能な技術を提供すること、経時変化の確認が可能な技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、互いに独立した複数の領域を少なくとも二以上含む領域情報を含むフライト依頼を受け付ける受付部と、前記ユーザ端末からの前記フライト依頼に基づいて、前記複数の領域を飛行する飛行ルートを含むフライトミッションを生成する生成部と、生成した前記フライトミッションを前記無人飛行体に送信する、および、前記無人飛行体が取得した情報を前記無人飛行体から受信する通信部と、前記無人飛行体から取得した情報を前記領域ごとに仕分ける仕分部と、前記仕分けられた無人飛行体取得情報を記憶する記憶部と、を備える無人飛行体のフライト管理サーバである。
本発明によれば、特に、互いに独立した領域を複数含む対象に対する作業において、最適な飛行ルートの設定や高効率な情報の仕分けおよび管理をすること、経時変化を確認することができる。
本発明の実施の形態による飛行管理システムの構成を示す図である。 図1の管理サーバのハードウェア構成を示すブロック図である。 図1のユーザ端末のハードウェア構成を示すブロック図である。 図1の飛行体のハードウェア構成を示すブロック図である。 図1の管理サーバの機能を示すブロック図である。 図1のユーザ端末の機能を示すブロック図である。 目的別飛行アプリケーションの構成例である。 本発明の一実施の形態による飛行管理システムのフロー図である。 本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。 図9の飛行体により取得された情報の一例である。 図10の情報が仕分けられた後の情報の一例である。 図10の情報が仕分けられた後の情報の一例である。 本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。 本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。 本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。 図15の飛行体により取得された情報の一例である。 図16の情報が仕分けられた後の情報の一例である。 図16の情報が仕分けられた後の情報の一例である。 本発明の一実施の形態による飛行管理システムの利用イメージを示す図である。 本発明の一実施の形態による飛行管理システムのユーザ端末側に表示される画面例である。 本発明の一実施の形態による飛行管理システムのユーザ端末側に表示される画面例である。
本発明の実施形態の内容を列記して説明する。本発明の実施の形態によるフライト管理サーバ及びフライト管理システムは、以下のような構成を備える。
[項目1]
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
互いに独立した複数の領域のうち少なくとも二以上の領域を含む領域情報を含むフライト依頼を受け付ける受付部と、
前記ユーザ端末からの前記フライト依頼に基づいて、前記少なくとも二以上の領域にわたって飛行する飛行ルートを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する、および、前記無人飛行体が取得した情報を前記無人飛行体から受信する通信部と、
前記無人飛行体から取得した情報を前記領域ごとに仕分ける仕分部と、前記仕分けられた情報を記憶する記憶部と、
を備える無人飛行体のフライト管理サーバ。
[項目2]
前記仕分部は、前記互いに独立した複数の領域のそれぞれに関連付けられた参照情報により、前記無人飛行体から取得した情報を前記領域ごとに仕分ける、ことを特徴とする項目1に記載のフライト管理サーバ。
[項目3]
前記記憶部は、前記仕分けられた情報として2次元画像データを記憶する、ことを特徴とする項目2に記載のフライト管理サーバ。
[項目4]
前記記憶部は、前記2次元画像データとして上空からの俯瞰画像を記憶する、ことを特徴とする項目3に記載のフライト管理サーバ。
[項目5]
前記記憶部は、前記仕分けられた情報として3次元画像データを記憶する、ことを特徴とする項目2に記載のフライト管理サーバ。
[項目6]
前記記憶部に記憶された前記仕分けられた情報に基づいてレポートを生成するレポート生成部をさらに備える、項目1乃至5に記載のフライト管理サーバ。
[項目7]
前記レポート生成部は、前記レポートとして少なくとも2つの異なる時点の情報を比較するレポートを生成する、項目6に記載のフライト管理サーバ。
[項目8]
前記レポート生成部は、前記比較のために前記少なくとも2つの異なる時点の情報を互いに近接した位置に並べたレポートを生成する、項目7に記載のフライト管理サーバ。
[項目9]
前記レポート生成部は、前記比較のために前記少なくとも2つの異なる時点の情報を同じ位置に切り替えて表示可能なレポートを生成する、項目7に記載のフライト管理サーバ。
[項目10]
前記レポート生成部は、前記仕分けられた情報をネットワークから取得した地図データに重ね合わせたレポートを生成する、項目6乃至9に記載のフライト管理サーバ。
[項目11]
ネットワークを介して接続されたユーザ端末と無人飛行体とフライト管理サーバとを含む、無人飛行体のフライト管理システムであって、
前記フライト管理サーバは:
互いに独立した複数の領域のうち少なくとも二以上の領域を含む領域情報を含むフライト依頼を受け付け;
前記フライト依頼に基づいて、前記少なくとも二以上の領域にわたって飛行する飛行ルートを含むフライトミッションを生成し;
生成した前記フライトミッションを前記無人飛行体に送信し;
前記フライトミッションの遂行により無人飛行体が取得した情報を受信し;
前記無人飛行体から取得した情報を前記領域ごとに仕分け;
前記仕分けられた情報を記憶する;
無人飛行体のフライト管理システム。
<実施の形態の詳細>
以下、本発明の実施の形態による無人飛行体のフライト管理装置及びフライト管理システムについて、特に、フライト管理システム(以下「本システム」という)の実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<構成>
図1に示されるように、本システムは、管理サーバ1と、複数のユーザ端末2、3と、一以上の飛行体4と、一以上の飛行体格納装置5とを有している。管理サーバ1と、ユーザ端末2、3と、飛行体4と、飛行体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
図示されるように、管理サーバ1は、複数のユーザ端末2、3と、飛行体4、飛行体格納装置5と接続され、本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
送受信部13は、管理サーバ1をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
<ユーザ端末2、3>
図3に示されるユーザ端末2、3もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、各要素の詳細な説明は省略する。
<飛行体4>
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。カメラ42は飛行体4にジンバル43を介して設置される。
フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
<管理サーバの機能>
図5は、管理サーバ1に実装される機能を例示したブロック図である。管理サーバ1は、通信部110、フライトミッション生成部130、レポート生成部150、アプリケーション部170、記憶部190を備えている。フライトミッション生成部130は、ルート生成部132、アプリケーション選定部134、評価部136、補正部138を含む。また、記憶部190は、飛行ルート情報191、目的別飛行アプリケーション193、フライトログ195、インターフェース情報197の各種データベースを含む。
通信部110は、ユーザ端末2や、飛行体4と通信を行う。通信部110は、ユーザ端末2から、少なくとも飛行場所(例えば管理者や番号、ID等の領域情報なども含む)を含むフライト依頼を受け付ける受付部としても機能する。なお、フライト依頼として、飛行目的や飛行体の数を含んでもよい。フライトミッション生成部130は、フライトミッションを生成する。フライトミッションは、飛行ルート及び目的別飛行アプリケーション193から選択されたアプリケーションである。飛行ルートは、飛行ルート情報191を参照してルート生成部132により生成される。飛行アプリケーションは、目的別飛行アプリケーション193を参照して、アプリケーション選定部134により選択され、アプリケーション部170により実行される。なお、飛行ルートは、管理サーバ1により管理された飛行体格納装置5の情報(例えば、位置情報や格納状態情報、格納機情報など)を基に、出発先または帰還先の飛行体格納装置5の位置も含めた飛行ルートとして生成されてもよい。その際、選択されたアプリケーションを実行可能な機体の情報をさらに考慮してもよい。
本実施の形態においては、生成したフライトミッションが適切なものかどうかを評価する評価部136を設けることとしてもよい。評価部136は、例えば、フライトミッションに対するユーザからの操作や、過去に蓄積されたフライトミッションに基づく機械学習等によりその適切さをスコア等によって評価することとしてもよい。スコアが所定の範囲にない場合には、フライトミッションは補正部138により補正される。
本実施の形態においては、飛行体4により取得された情報(静止画、動画、音声その他の情報)はフライトログ195に蓄積される。レポート生成部150はフライトログに基づいてユーザ端末2に送信するためのレポート情報を生成する。本実施の形態によるレポートは、例えば、点検対象施設の点検結果や、警備対象施設の警備結果等が例示できるが、ニーズに応じた各種レポートとしてよい。
インターフェース情報197は、アプリケーション部170と共にユーザ端末2の表示部(ディスプレイ等)に表示するための各種制御情報を格納している。
図6は、ユーザ端末2に実装される機能ブロック図である。ユーザ端末2は、通信部210、記憶部220、入力部240、出力部250、およびアプリケーション部270を含み、相互に作用する。
<目的別飛行アプリケーション>
図7に示されるように、目的別飛行アプリケーション193は、本システムによって作業を行う飛行体4の作業目的(用途)毎に用意される。例示すれば、警備・監視用のアプリケーション1931、設備点検用のアプリケーション1932、測量用のアプリケーション1933、災害対策用のアプリケーション1934が挙げられるがこれに限られない。各アプリケーションには、例えば、目的に適した飛行制御(高度、速度、範囲等)に関する情報や、取得条件(カメラの解像度、撮影角度、オーバーラップ率、フィルタの有無、飛行予定時間、バッテリーの必要量等)、その他目的を遂行するために必要な飛行体4の制御情報が含まれている。
図8を参照して、本システムの処理の流れを説明する。ユーザは、ユーザ端末2からフライト依頼を送信する(SQ101)。フライト依頼は、少なくとも飛行場所(例えば管理者名や番号、ID等の領域情報なども含む)と、飛行目的、飛行体の数に関する情報を含んでいる。管理サーバ1は、記憶部190(図5参照)を参照して(SQ102)、フライトミッションを生成する(SQ104)。生成されたフライトミッションは、飛行体4に対して、直接(又は端末やプロポを経由等して間接的に)送信される(SQ106)。飛行体4はフライトミッション中に取得した情報をリアルタイムで(又は事後に)管理サーバ1に送信(報告)する(SQ108)。管理サーバ1は、飛行体から取得した情報(フライトログ)に基づいてレポートを生成する(SQ110)。なお、飛行体4の飛行開始位置は、例えばユーザが設置した場所でもよいし、管理サーバ1により選択された飛行体格納装置5でもよい。また、飛行体4の飛行終了位置についても同様である。
図9は、太陽光発電施設のフライトミッション(飛行ルート)生成の例である。図示されるように、点検範囲が広い場合には、飛行体の電源(バッテリー)や、点検時間等を考慮して複数台の飛行体による点検を前提としたルートを生成してもよい。図示される例では、例えば管理者名や番号、ID等の領域情報ごとに飛行区域A1およびA2が設定され、飛行区域A1およびA2について、飛行体4a、4bによる飛行ルートR1、R2が生成されている。飛行体4a、4bにより取得された情報(例えば、図10の表1001、表1002参照)は、管理サーバ1側においてそれぞれ取得した情報に紐づく参照情報(例えば、位置情報や時間情報など)、領域情報などに基づいて例えば領域ごとに仕分けられて管理され(例えば、図11の表1101及び図12の表1201参照)、例えば領域ごとにレポート生成に利用される。
なお、例えば、複数の点検対象領域(例えば10個)があった際に、夫々を点検対象としてレポートを作成(即ち、10個の画像レポート)することとしてもよいし、複数の領域をひとまとまりにして(例えば、領域1〜3を一つの単位、領域4〜7を他の一つの単位、領域8〜10を更に他の一つの単位として、合計3つの大きな単位領域として)点検・管理することとしてもよい。
より具体的な情報の仕分けおよび管理の一例は以下のとおりである。情報に紐づく位置情報(例えば、GPS等による座標情報など)や時間情報(例えば、情報を取得した時刻や、飛行開始からの経過時間など)と、領域情報(例えば管理者名や番号、IDなど)またはウェイポイント(WP)情報に紐づく位置情報や時間情報とを対応づけることで、例えば領域ごとに情報の仕分けおよび管理がされる(例えば、図11の表1101及び図12の表1201参照)。
複数台の飛行体の飛行ルートは、例えば、飛行体ごとにフライト依頼が送信されることで生成されてもよい。また、図13で示すように、1台の飛行体4aのフライト依頼に対して生成された飛行ルートR3を基に、図14で示すように飛行体ごと(例えば飛行体4a、4bの2台)の飛行ルートR4、R5が割り当てられてもよい。なお、この場合、例えば飛行ルートR4、R5が同じ領域内(例えば、領域IDがA001として設定された領域)である場合には、飛行体4a、4bにより取得された情報はまとめて管理され、1つの領域のレポートとして生成することができる。
したがって、複数台同時に飛行させて情報を取得することにより、1台の飛行体で実施する場合と比較して必要な作業時間を短縮することが可能となる。
なお、複数台の飛行体の飛行順序として、同時に飛行させてもよいし、時間差を設けることとしてもよい。相互の距離や電波状況等に応じて適宜変更することができる。また、飛行体同士が近接する場合における互いの後流の影響や、(高度が異なる場合には)一方の撮像・検知範囲に他の飛行体が入り込んでしまう可能性等を考慮して飛行制御することができる。この場合、飛行体は常に一定の速度で飛行している必要はなく適宜、ウェイポイント上又はウェイポイント間において互いの近接や通過を待機することとしてもよい。
また、一方の飛行体に不具合が生じ飛行続行不能となった場合などには、他の飛行体が続きの部分を補うこととしてもよい。この場合、一方の飛行体による撮像等の進捗情報が直接又は間接に他方の飛行体に共有されることとすればよい。
さらに、図15に示されるように、本来は2台(複数台)で行う飛行区域A1、A2における複数の飛行ルートについて、1台の飛行体4による一連の飛行ルートR6を生成してもよい。そして、飛行体4により取得された情報(例えば、図16の表1601参照)は、管理サーバ1側においてそれぞれ取得した情報に紐づく参照情報(例えば、位置情報や時間情報など)、領域情報などに基づいて例えば領域ごとに仕分けおよび管理され(例えば、図17の表1701及び図18の表1801参照)、例えば領域ごとのレポート生成に利用される。より具体的な情報の仕分けおよび管理の一例については、上述の対応付けの方法を用いてもよい。これにより、従来のように1台の飛行体を準備した場合であっても、複数の独立した領域にわたって飛行してまとめて取得した情報を、手作業で仕分けおよび管理をする必要がなくなり、より高効率な情報の仕分けおよび管理が可能となる。
また、図19に示されるように、1台の飛行体4による一連の飛行ルートR6は長距離となりバッテリー切れの可能性が高いため、上記飛行ルートR6の途中で、換装用バッテリー5を換装するための飛行ルートR7が設定されてもよい。
以上のように、領域情報や飛行体数、アプリケーションの種類、バッテリー状況などに基づいて、最適な飛行ルート(例えば、図9、13、14、15、19に示される飛行ルートなど)を選択することが可能となる。
図20は、飛行体により取得された静止画情報に基づいて生成されたレポートをユーザ端末2のディスプレイDPに表示した表示例である。図示されるように、予め取得された地図画像M(例えば、別途取得した情報に基づくオルソ画像や、インターネットなどを通じて取得した地図画像)上に、飛行体により取得された静止画像情報P1を、例えばGPS情報などの位置情報を基に重畳することで、該当地点の最新の情報を確認しやすいようにレポートが表示される。なお、レポートとしてユーザ端末2のディスプレイDPに表示される情報は、重畳された静止画像情報に限らず、点検に有用な情報(例えば、日時、飛行体に関する情報、異常個所数、異常個所を示すマークなど)が当該静止画像情報に追加または代替されてもよいし、上空からの俯瞰的な静止画像に代えて、構造物の周囲を撮影して作成された3D画像情報であってもよい。また、地図画像Mは、グレーアウトされたり、線や図形等で簡略化されたりして表示されてもよい。
さらに、図21に示されるように、少なくとも2つ(例示として3つ)の異なる時点の静止画像情報を比較することが可能なレポートを生成し、ユーザ端末2のディスプレイDPに表示した表示例である。図示されるように、比較を行うための処理を実行すると、例えば、最新の静止画像情報P1に加えて、過去の時点の静止画像情報P2およびP3が並べて表示される。これにより、点検対象の経時変化を一度に確認することが可能となる。なお、地図画像Mは、データ取得頻度やユーザ要求等に合わせて、何れのタイミングで取得してもよく、例えば、最新の静止画像情報P1に近い時点であってもよく、静止画像情報P2、P3に近い時点またはさらに過去の時点であってもよい。また、静止画像情報P1−P3と時系列との関係は例示される関係に限らず、ユーザの利便性に合わせて、任意の異なる複数の時点の静止画像情報を表示していればよい。
また、図21では、少なくとも2つの異なる時点の情報を互いに近接した位置に並べたレポートを生成している表示例を図示しているが、本発明はかかる例に限定されない。例えば、ユーザ端末2の入力部240による操作(例えば、時系列のある時点を選択する操作など)に基づいて、少なくとも2つの異なる時点の情報を同じ位置に切り替えて表示可能なレポートが生成され てもよい。これにより、地図画像Mと静止画像情報P1−P3との相対的な位置関係を変えずに点検時に経時変化を確認することが可能となる。
なお、一例として、比較のために用いられる静止画像情報は、前述のように仕分けや管理がされ(例えば、図11、12、17、18参照)、例えば位置情報や時間情報などに基づいて経時変化が確認可能なレポートが生成される。
本発明の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができ、さらに、本発明は、カメラ等を搭載した空撮用の飛行体としても好適に使用することができる他、セキュリティ分野、農業、インフラ監視、測量、ゴルフ場やテニス場などのスポーツ会場点検、工場・倉庫等建物の屋根の点検等の様々な産業にも利用することができる。
また、本発明の実施の形態によるフライト管理サーバ及びフライト管理システムは、本発明が対象とする産業等を考慮して以下のような構成を備えてもよい。
[項目1−1]
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
複数に区分が可能な建物の屋根領域のうち少なくとも二以上の屋根領域を含む領域情報を含むフライト依頼を受け付ける受付部と、
前記ユーザ端末からの前記フライト依頼に基づいて、前記少なくとも二以上の屋根領域にわたって飛行する飛行ルートを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する、および、前記無人飛行体が撮影した屋根の画像を前記無人飛行体から受信する通信部と、
前記無人飛行体から取得した屋根の画像を前記屋根領域ごとに仕分ける仕分部と、前記仕分けられた屋根の画像を記憶する記憶部と、
を備える無人飛行体のフライト管理サーバ。
[項目1−2]
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
複数の田畑領域のうち少なくとも二以上の田畑領域を含む領域情報を含むフライト依頼を受け付ける受付部と、
前記ユーザ端末からの前記フライト依頼に基づいて、前記少なくとも二以上の田畑領域にわたって飛行する飛行ルートを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する、および、前記無人飛行体が撮影した田畑の画像を前記無人飛行体から受信する通信部と、
前記無人飛行体から取得した田畑の画像を前記田畑領域ごとに仕分ける仕分部と、前記仕分けられた田畑の画像を記憶する記憶部と、
を備える無人飛行体のフライト管理サーバ。
[項目1−3]
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
複数のテニスコート領域のうち少なくとも二以上のテニスコート領域を含む領域情報を含むフライト依頼を受け付ける受付部と、
前記ユーザ端末からの前記フライト依頼に基づいて、前記少なくとも二以上のテニスコート領域にわたって飛行する飛行ルートを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する、および、前記無人飛行体が撮影したテニスコートの画像を前記無人飛行体から受信する通信部と、
前記無人飛行体から取得したテニスコートの画像を前記テニスコート領域ごとに仕分ける仕分部と、前記仕分けられたテニスコートの画像を記憶する記憶部と、
を備える無人飛行体のフライト管理サーバ。
[項目1−4]
ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
複数のゴルフホール領域のうち少なくとも二以上のゴルフホール領域を含む領域情報を含むフライト依頼を受け付ける受付部と、
前記ユーザ端末からの前記フライト依頼に基づいて、前記少なくとも二以上のゴルフホール領域にわたって飛行する飛行ルートを含むフライトミッションを生成する生成部と、
生成した前記フライトミッションを前記無人飛行体に送信する、および、前記無人飛行体が撮影したゴルフホールの画像を前記無人飛行体から受信する通信部と、
前記無人飛行体から取得したゴルフホールの画像を前記ゴルフホール領域ごとに仕分ける仕分部と、前記仕分けられたゴルフホールの画像を記憶する記憶部と、
を備える無人飛行体のフライト管理サーバ。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
1 管理サーバ
2 ユーザ端末
4 飛行体


Claims (12)

  1. ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバであって、
    互いに独立した領域情報が設定された複数の領域のうち少なくとも二以上の領域に関する領域情報及び飛行目的を含むフライト依頼を受け付ける受付部と、
    前記ユーザ端末からの前記フライト依頼に基づき、目的別飛行アプリケーション及び飛行ルートを含むフライトミッションを生成する生成部と、
    生成した前記フライトミッションを前記無人飛行体に送信する、および、前記フライトミッションの遂行により前記無人飛行体が取得した情報を前記無人飛行体から受信する通信部と、
    前記無人飛行体から取得した情報を前記領域ごとに仕分ける仕分部と、前記仕分けられた情報を記憶する記憶部と、を備え、
    前記目的別飛行アプリケーションは、前記飛行目的に基づき選択され、前記飛行目的に適した、少なくとも高度を含む飛行制御に関する情報、及び、前記無人飛行体が情報を取得するための条件を含み、
    前記飛行ルートは、前記高度及び前記領域情報に紐づいた領域内の位置情報に基づいて生成される前記少なくとも二以上の領域にわたって飛行する単一の飛行ルートであり、
    前記仕分部は、前記互いに独立した領域情報が設定された複数の領域のそれぞれに関連付けられた位置情報または時間情報の少なくとも何れか一方、前記無人飛行体から取得した情報に紐づく位置情報または時間情報の少なくとも何れか一方とを対応づけることで前記領域ごとに仕分け
    前記飛行目的は、少なくとも太陽光発電施設またはスポーツ会場若しくは建物の屋根を対象とした点検である、
    ことを特徴とするフライト管理サーバ。
  2. 前記記憶部は、前記仕分けられた情報として2次元画像データを記憶する、ことを特徴とする請求項1に記載のフライト管理サーバ。
  3. 前記記憶部は、前記2次元画像データとして上空からの俯瞰画像を記憶する、ことを特徴とする請求項2に記載のフライト管理サーバ。
  4. 前記記憶部は、前記仕分けられた情報として3次元画像データを記憶する、ことを特徴とする請求項1に記載のフライト管理サーバ。
  5. 前記記憶部に記憶された前記仕分けられた情報に基づいてレポートを生成するレポート生成部をさらに備える、請求項1乃至4のいずれかに記載のフライト管理サーバ。
  6. 前記レポート生成部は、前記レポートとして少なくとも2つの異なる時点の情報を比較するレポートを生成する、請求項5に記載のフライト管理サーバ。
  7. 前記レポート生成部は、前記比較のために前記少なくとも2つの異なる時点の情報を互いに近接した位置に並べたレポートを生成する、請求項6に記載のフライト管理サーバ。
  8. 前記レポート生成部は、前記比較のために前記少なくとも2つの異なる時点の情報を同じ位置に切り替えて表示可能なレポートを生成する、請求項6に記載のフライト管理サーバ。
  9. 前記レポート生成部は、前記仕分けられた情報をネットワークから取得した地図データに重ね合わせたレポートを生成する、請求項5乃至8のいずれかに記載のフライト管理サーバ。
  10. ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバとを含む、無人飛行体のフライト管理システムであって、
    互いに独立した領域情報が設定された複数の領域のうち少なくとも二以上の領域に関する領域情報及び飛行目的を含むフライト依頼を受け付ける受付部
    前記ユーザ端末からの前記フライト依頼に基づき目的別飛行アプリケーション及び飛行ルートを含むフライトミッションを生成する生成部
    生成した前記フライトミッションを前記無人飛行体に送信し、前記フライトミッションの遂行により前記無人飛行体が取得した情報を前記無人飛行体から受信する通信部と、
    前記互いに独立した領域情報が設定された複数の領域のそれぞれに関連付けられた位置情報または時間情報の少なくとも何れか一方、前記無人飛行体から取得した情報に紐づく位置情報または時間情報の少なくとも何れか一方とを対応づけることで前記無人飛行体から取得した情報を前記領域ごとに仕分ける仕分部と、
    前記仕分けられた情報を記憶する記憶部と、を備える、
    ことを特徴とする無人飛行体のフライト管理システムであって、
    さらに、前記目的別飛行アプリケーションは、前記飛行目的に基づき選択され、前記飛行目的に適した、少なくとも高度を含む飛行制御に関する情報、及び、前記無人飛行体が情報を取得するための条件を含み、
    前記飛行ルートは、前記高度及び前記領域情報に紐づいた領域内の位置情報に基づいて生成される前記少なくとも二以上の領域にわたって飛行する単一の飛行ルートであり、
    前記飛行目的は、少なくとも太陽光発電施設またはスポーツ会場若しくは建物の屋根を対象とした点検である、
    ことを特徴とする無人飛行体のフライト管理システム。
  11. ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバ用のプログラムであって、
    前記管理サーバを、
    互いに独立した領域情報が設定された複数の領域のうち少なくとも二以上の領域に関する領域情報及び飛行目的を含むフライト依頼を受け付ける受付部と、
    前記ユーザ端末からの前記フライト依頼に基づき、目的別飛行アプリケーション及び飛行ルートを含むフライトミッションを生成する生成部と、
    生成した前記フライトミッションを前記無人飛行体に送信する、および、前記フライトミッションの遂行により前記無人飛行体が取得した情報を前記無人飛行体から受信する通信部と、
    前記無人飛行体から取得した情報を前記領域ごとに仕分ける仕分部と、前記仕分けられた情報を記憶する記憶部、として機能させ、
    前記目的別飛行アプリケーションは、前記飛行目的に基づき選択され、前記飛行目的に適した、少なくとも高度を含む飛行制御に関する情報、及び、前記無人飛行体が情報を取得するための条件を含み、
    前記飛行ルートは、前記高度及び前記領域情報に紐づいた領域内の位置情報に基づいて生成される前記少なくとも二以上の領域にわたって飛行する単一の飛行ルートであり、
    前記仕分部は、前記互いに独立した領域情報が設定された複数の領域のそれぞれに関連付けられた位置情報または時間情報の少なくとも何れか一方と、前記無人飛行体から取得した情報に紐づく位置情報または時間情報の少なくとも何れか一方とを対応づけることで前記領域ごとに仕分け、
    前記飛行目的は、少なくとも太陽光発電施設またはスポーツ会場若しくは建物の屋根を対象とした点検である、
    ことを特徴とするプログラム。
  12. ネットワークを介してユーザ端末と無人飛行体と接続された、無人飛行体のフライト管理サーバによる、無人飛行体のフライト管理方法であって、
    受付部により、互いに独立した領域情報が設定された複数の領域のうち少なくとも二以上の領域に関する領域情報及び飛行目的を含むフライト依頼を受け付け、
    生成部により、前記ユーザ端末からの前記フライト依頼に基づき目的別飛行アプリケーション及び飛行ルートを含むフライトミッションを生成し、
    通信部により、生成した前記フライトミッションを前記無人飛行体に送信し、前記フライトミッションの遂行により前記無人飛行体が取得した情報を前記無人飛行体から受信し、
    仕分部により、前記互いに独立した領域情報が設定された複数の領域のそれぞれに関連付けられた位置情報または時間情報の少なくとも何れか一方と、前記無人飛行体から取得した情報に紐づく位置情報または時間情報の少なくとも何れか一方とを対応づけることで前記無人飛行体から取得した情報を前記領域ごとに仕分け、
    記憶部により、前記仕分けられた情報を記憶する、
    ことを特徴とする無人飛行体のフライト管理方法であって、
    さらに、前記目的別飛行アプリケーションは、前記飛行目的に基づき選択され、前記飛行目的に適した、少なくとも高度を含む飛行制御に関する情報、及び、前記無人飛行体が情報を取得するための条件を含み、
    前記飛行ルートは、前記高度及び前記領域情報に紐づいた領域内の位置情報に基づいて生成される前記少なくとも二以上の領域にわたって飛行する単一の飛行ルートであり、
    前記飛行目的は、少なくとも太陽光発電施設またはスポーツ会場若しくは建物の屋根を対象とした点検である、
    ことを特徴とする無人飛行体のフライト管理方法。
JP2019555056A 2019-06-21 2019-06-21 無人飛行体のフライト管理サーバ及びフライト管理システム Active JP6765738B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/024691 WO2020255373A1 (ja) 2019-06-21 2019-06-21 無人飛行体のフライト管理サーバ及びフライト管理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020106180A Division JP2021002345A (ja) 2020-06-19 2020-06-19 無人飛行体のフライト管理サーバ及びフライト管理システム

Publications (2)

Publication Number Publication Date
JP6765738B1 true JP6765738B1 (ja) 2020-10-07
JPWO2020255373A1 JPWO2020255373A1 (ja) 2021-09-13

Family

ID=72706630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019555056A Active JP6765738B1 (ja) 2019-06-21 2019-06-21 無人飛行体のフライト管理サーバ及びフライト管理システム

Country Status (2)

Country Link
JP (1) JP6765738B1 (ja)
WO (1) WO2020255373A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101001101B1 (ko) * 2009-11-12 2010-12-14 주식회사 지노시스템 공간 정보 조회 시스템 및 방법
JP2017016388A (ja) * 2015-07-01 2017-01-19 株式会社日本総合研究所 地域アルバム生成サーバ及びその生成方法
JP2017015528A (ja) * 2015-06-30 2017-01-19 株式会社トプコン 現場管理システム、飛行検出方法およびプログラム
JP2017078704A (ja) * 2015-07-17 2017-04-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置
US20170374323A1 (en) * 2015-01-11 2017-12-28 A.A.A Taranis Visual Ltd Systems and methods for agricultural monitoring
WO2018003078A1 (ja) * 2016-06-30 2018-01-04 株式会社オプティム 無線航空機の飛行制御システム、無線航空機の飛行制御方法、及び無線航空機の飛行制御プログラム
JP2018041256A (ja) * 2016-09-07 2018-03-15 株式会社Nttドコモ サーバ装置、ドローン、ドローン制御システム、プログラム
WO2018123062A1 (ja) * 2016-12-28 2018-07-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路表示方法、モバイルプラットフォーム、飛行システム、記録媒体及びプログラム
WO2018198281A1 (ja) * 2017-04-27 2018-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
WO2018198313A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム 無人飛行体のアクションプラン作成システム、方法及びプログラム
JP2018182703A (ja) * 2017-04-21 2018-11-15 株式会社Aerial Lab Industries 災害時における情報伝達方法
WO2019230885A1 (ja) * 2018-05-30 2019-12-05 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11813050B2 (en) * 2016-11-22 2023-11-14 The Regents Of The University Of California Selectively sorting aerosol droplets in exhaled human breath based on a mass-size parameter

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101001101B1 (ko) * 2009-11-12 2010-12-14 주식회사 지노시스템 공간 정보 조회 시스템 및 방법
US20170374323A1 (en) * 2015-01-11 2017-12-28 A.A.A Taranis Visual Ltd Systems and methods for agricultural monitoring
JP2017015528A (ja) * 2015-06-30 2017-01-19 株式会社トプコン 現場管理システム、飛行検出方法およびプログラム
JP2017016388A (ja) * 2015-07-01 2017-01-19 株式会社日本総合研究所 地域アルバム生成サーバ及びその生成方法
JP2017078704A (ja) * 2015-07-17 2017-04-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 飛行ルート生成方法、飛行ルート生成プログラム及び飛行ルート表示装置
WO2018003078A1 (ja) * 2016-06-30 2018-01-04 株式会社オプティム 無線航空機の飛行制御システム、無線航空機の飛行制御方法、及び無線航空機の飛行制御プログラム
JP2018041256A (ja) * 2016-09-07 2018-03-15 株式会社Nttドコモ サーバ装置、ドローン、ドローン制御システム、プログラム
WO2018123062A1 (ja) * 2016-12-28 2018-07-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路表示方法、モバイルプラットフォーム、飛行システム、記録媒体及びプログラム
JP2018182703A (ja) * 2017-04-21 2018-11-15 株式会社Aerial Lab Industries 災害時における情報伝達方法
WO2018198281A1 (ja) * 2017-04-27 2018-11-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
WO2018198313A1 (ja) * 2017-04-28 2018-11-01 株式会社オプティム 無人飛行体のアクションプラン作成システム、方法及びプログラム
WO2019230885A1 (ja) * 2018-05-30 2019-12-05 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム

Also Published As

Publication number Publication date
JPWO2020255373A1 (ja) 2021-09-13
WO2020255373A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
CN117795447A (zh) 用于配置无人机机群的系统和方法
JP2020140726A (ja) 無人飛行体のフライト管理サーバ及びフライト管理システム
WO2021199449A1 (ja) 位置算出方法及び情報処理システム
JP2024009938A (ja) 無人飛行体のフライト管理サーバ及びフライト管理システム
JP6807129B1 (ja) 飛行体の飛行経路生成方法及び飛行体予約方法、プログラム、管理サーバ
JP6966810B2 (ja) 管理サーバ及び管理システム、表示情報生成方法、プログラム
JP2023164746A (ja) 作業計画生成システム
JP6730763B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP6765738B1 (ja) 無人飛行体のフライト管理サーバ及びフライト管理システム
JP6800505B1 (ja) 飛行体の管理サーバ及び管理システム
JP6818379B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
WO2022264413A1 (ja) 移動体の移動経路生成方法及びプログラム、管理サーバ、管理システム
WO2021029065A1 (ja) 飛行体の管理サーバ及び管理システム
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
JP6684012B1 (ja) 情報処理装置および情報処理方法
JP6786138B1 (ja) 飛行体の管理サーバ及び管理システム
JP6771253B1 (ja) 飛行体の管理サーバ及び管理システム
JP2021139876A (ja) 飛行体の管理サーバ及び管理システム
JP2021060407A (ja) 飛行体の飛行経路生成方法及び飛行体予約方法、プログラム、管理サーバ
JP6715541B1 (ja) 飛行体の管理サーバ及び管理システム
JP6810498B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP2021015590A (ja) 飛行体の管理サーバ及び管理システム
JP6810497B1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP2021067670A (ja) 飛行体の飛行経路作成方法及び管理サーバ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191010

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200619

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200713

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200911

R150 Certificate of patent or registration of utility model

Ref document number: 6765738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250