JP7108063B1 - 経路生成装置、経路生成方法及びプログラム - Google Patents

経路生成装置、経路生成方法及びプログラム Download PDF

Info

Publication number
JP7108063B1
JP7108063B1 JP2021010637A JP2021010637A JP7108063B1 JP 7108063 B1 JP7108063 B1 JP 7108063B1 JP 2021010637 A JP2021010637 A JP 2021010637A JP 2021010637 A JP2021010637 A JP 2021010637A JP 7108063 B1 JP7108063 B1 JP 7108063B1
Authority
JP
Japan
Prior art keywords
work
route
area
flight
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021010637A
Other languages
English (en)
Other versions
JP2022114357A (ja
Inventor
卓弥 田中
颯 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2021010637A priority Critical patent/JP7108063B1/ja
Priority to US17/411,756 priority patent/US20220238024A1/en
Priority to CN202111005942.5A priority patent/CN114791287A/zh
Application granted granted Critical
Publication of JP7108063B1 publication Critical patent/JP7108063B1/ja
Publication of JP2022114357A publication Critical patent/JP2022114357A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/006Navigation or guidance aids for a single aircraft in accordance with predefined flight zones, e.g. to avoid prohibited zones
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0026Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003Flight plan management
    • G08G5/0034Assembly of a flight plan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】飛行装置が飛行禁止領域に進入することを抑制しつつ、1回の飛行において複数の飛行区域を飛行するための飛行ルートを生成する。【解決手段】飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、飛行装置が複数の作業領域間を移動する領域間ルートを特定するための領域間情報とを取得する取得部231と、作業領域情報に基づいて、飛行装置が複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成し、領域間情報に基づいて、領域間ルートを生成する生成部232と、を備える。【選択図】図3

Description

本発明は、飛行装置が飛行する経路を生成する経路生成装置、経路生成方法及びプログラムに関する。
近年、予め生成された飛行ルートに沿って飛行可能な飛行装置が広く普及している。このような飛行ルートを設定する方法として、測量者が設定した飛行区域内を空撮するための飛行ルートを自律的に生成する技術が提案されている(例えば、特許文献1を参照)。
特開2018-146546号公報
特許文献1に記載された技術では、飛行装置は、1回の飛行では1つの飛行区域しか飛行できない。1回の飛行において複数の飛行区域を飛行させることをユーザが希望する場合には、複数の飛行区域を含む大きな飛行区域を設定することが考えられる。しかしながら、設定された大きな飛行区域に含まれる複数の飛行区域のいずれかが第三者の土地等の飛行禁止領域に近接している場合、飛行装置がこの飛行禁止領域に進入してしまうという問題があった。
本発明は上記の事情に鑑みてなされたものであり、飛行装置が飛行禁止領域に進入することを抑制しつつ、1回の飛行において複数の飛行区域を飛行するための飛行ルートを生成することができる経路生成装置、経路生成方法又はプログラムを提供することを目的とする。
本発明の第1の態様の経路生成装置は、飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、当該飛行装置が当該複数の作業領域間を移動する領域間ルートを特定するための領域間情報とを取得する取得部と、前記作業領域情報に基づいて、前記飛行装置が前記複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成し、前記領域間情報に基づいて、前記領域間ルートを生成する生成部と、を備える。
前記取得部は、前記複数の作業領域において前記飛行装置が作業する順序を示す前記領域間情報を取得し、前記生成部は、前記作業する順序に従って前記複数の作業領域間を移動するための複数の前記領域間ルートを生成してもよい。前記取得部は、前記複数の作業領域間における少なくとも一つの経由点の位置を示す前記領域間情報を取得し、前記生成部は、前記経由点を経由する前記領域間ルートを生成してもよい。
前記生成部は、前記飛行装置が第1の前記作業領域から第2の前記作業領域に移動する前記領域間ルートを生成し、前記飛行装置が第2の前記作業領域から前記第1の作業領域に戻るための帰還ルートを生成してもよい。前記取得部は、前記複数の作業領域の間において前記飛行装置が飛行可能なエリアを示す前記領域間情報を取得し、前記生成部は、前記飛行可能なエリアを通過するように前記領域間ルートを生成してもよい。
前記取得部は、前記複数の作業領域の間において前記飛行装置の飛行が禁止されたエリアを示す前記領域間情報を取得し、前記生成部は、前記飛行が禁止されたエリアを通過しないように前記領域間ルートを生成してもよい。
前記取得部は、第1の前記作業領域内において作業を開始する第1作業開始位置と当該第1の作業領域内の作業を終了する第1作業終了位置とを示す情報を取得し、第2の前記作業領域内において作業を開始する第2作業開始位置と当該第2の作業領域内の作業を終了する第2作業終了位置とを示す情報を取得し、前記生成部は、前記第1作業終了位置と前記第2作業開始位置とを結ぶ前記領域間ルートを生成してもよい。前記取得部は、前記飛行装置が飛行中に実行する作業条件を示す作業条件情報を取得し、前記生成部は、前記取得部が取得した前記作業条件情報に基づいて、前記領域内ルートを生成してもよい。
本発明の第2の態様の経路生成方法は、コンピュータが実行する、飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、当該飛行装置が当該複数の作業領域間を移動する領域間ルートを特定するための領域間情報とを取得するステップと、前記作業領域情報に基づいて、前記飛行装置が前記複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成するステップと、前記領域間情報に基づいて前記領域間ルートを生成するステップと、を有する。
本発明の第3の態様のプログラムは、コンピュータに、飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、当該飛行装置が当該複数の作業領域間を移動する領域間ルートを特定するための領域間情報とを取得するステップと、前記作業領域情報に基づいて、前記飛行装置が前記複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成するステップと、
前記領域間情報に基づいて前記領域間ルートを生成するステップと、を実行させる。
本発明によれば、飛行装置が飛行禁止領域に進入することを抑制しつつ、1回の飛行において複数の飛行区域を飛行するための飛行ルートを生成するという効果を奏する。
実施形態に係る経路生成システムの概要を説明するための図である。 経路入力端末の構成を示す図である。 作業領域を指定するためのユーザの操作の例を示す図である。 経路生成装置の構成を示す図である。 生成部による領域内ルート及び領域間ルートの生成の例を示す。 生成部が生成する帰還ルートの例を示す。 操作端末の構成を示す。 飛行装置の構成を示す。 経路生成システムによる飛行ルートの生成の処理手順を示すシーケンス図である。 変形例の生成部による領域間ルートの生成の例を示す図である。
[経路生成システムの概要]
図1は、本発明の実施形態に係る経路生成システムSの概要を説明するための図である。図1は、経路生成システムSの構成を示す。経路生成システムSは、経路入力端末100と、経路生成装置200と、操作端末300と、飛行装置400とを備える。
経路入力端末100は、無線通信を介して、経路生成装置200と通信する。経路入力端末100は、例えば、タブレット端末である。経路入力端末100は、飛行装置400が飛行中に作業する複数の作業領域を指定するためのユーザの操作を受け付ける。作業領域は、飛行装置400が空中から地上を撮像したり農薬を散布したりする等の作業を実行する範囲を示す。経路入力端末100は、飛行装置400が複数の作業領域間を移動する領域間ルートを特定するためのユーザの操作を受け付ける。
経路生成装置200は、飛行装置400が飛行する飛行ルートを生成する。この飛行ルートは、飛行装置400が作業領域内を飛行する領域内ルートと、領域間ルートとを含む。
操作端末300は、無線通信を介して、経路生成装置200及び飛行装置400と通信する。操作端末300は、例えば、タブレット端末である。飛行装置400は、例えば、ドローンである。飛行装置400は、予め定められた飛行ルートに沿って飛行する。飛行装置400は、飛行中に所定の作業を実行する。例えば、飛行装置400は、空中から農地に農薬を散布したり、地上の農作物や建造物等を撮像したりする。
以下、経路生成システムSによる処理の流れを説明する。経路入力端末100は、ユーザの操作により指定された作業領域を示す作業領域情報と、領域間ルートを特定するための情報である領域間情報とを経路生成装置200へ送信する(図1中の(1))。
経路生成装置200は、経路入力端末100から取得した作業領域情報に基づいて、領域内ルートを生成する。経路生成装置200は、経路入力端末100から取得した領域間情報に基づいて、領域間ルートを生成する。経路生成装置200は、生成した領域内ルート及び領域間ルート等の飛行ルートを示す飛行ルート情報を操作端末300へ送信する(図1中の(2))。
操作端末300は、経路生成装置200から受信した飛行ルート情報が示す飛行ルートを表示する。操作端末300は、飛行ルートを編集、確定するユーザの操作を受け付ける。操作端末300は、飛行ルートを確認したユーザによる確定操作が行われた場合、飛行ルート(編集された場合は編集後の飛行ルート)を示す飛行ルート情報を飛行装置400へ送信する(図1中の(3))。飛行装置400は、受信した飛行ルート情報が示す領域内ルートに沿って作業領域内を飛行する。飛行装置400は、飛行ルート情報が示す領域間ルートに沿って複数の作業領域間を移動する。
経路生成装置200は、飛行装置400が複数の作業領域を飛行するための領域内ルートと、これらの作業領域間を移動する領域間ルートとをそれぞれ生成する。このようにして、経路生成装置200は、1回の飛行において複数の作業領域を飛行するための領域内ルート及び領域間ルートを生成することができる。このとき、経路生成装置200は、領域間情報に基づいて領域間ルートを生成するので、飛行装置400が複数の作業領域間を移動する際に第三者の土地等の飛行禁止領域に進入することを抑制することができる。
[経路入力端末100の構成]
図2は、経路入力端末100の構成を示す図である。経路入力端末100は、タッチパネル11、通信部12、記憶部13及び制御部14を備える。タッチパネル11は、画像又は文字等を表示する表示面に対するユーザの操作を検出する。通信部12は、ネットワークを介して、経路生成装置200と通信するための無線通信モジュールである。
記憶部13は、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む記憶媒体である。記憶部13は、制御部14が実行するプログラムを記憶している。制御部14は、例えば、CPU(Central Processing Unit)である。制御部14は、記憶部13が記憶しているプログラムを実行することにより、操作受付部141及び通信制御部142として機能する。
操作受付部141は、タッチパネル11を介して、ユーザの操作を受け付ける。操作受付部141は、飛行装置400が飛行中に作業する複数の作業領域を指定するためのユーザの操作を受け付ける。図3は、作業領域を指定するためのユーザの操作を受け付ける画面の例を示す図である。図3には、飛行装置400が飛行中に作業を実行する場所の周辺の地図が表示されている。図3の例では、操作受付部141は、作業領域A及びAを指定するために、作業領域A及びAの境界を示す多角形の各頂点(図3中の黒丸)を指定するユーザの操作を受け付ける。
操作受付部141は、指定された作業領域Aにおいて、飛行装置400が作業を開始する第1作業開始位置Sと、作業を終了する第1作業終了位置Gとを指定するユーザの操作を受け付ける。操作受付部141は、指定された作業領域Aにおいて、飛行装置400が作業を開始する第2作業開始位置Sと、作業を終了する第2作業終了位置Gとを指定するユーザの操作を受け付ける。
操作受付部141は、飛行装置400が作業領域Aと作業領域Aとの間を移動する領域間ルートを特定するためのユーザの操作を受け付ける。例えば、操作受付部141は、飛行装置400が領域間ルート上において経由する経由点(図3中の星印)を特定するユーザの操作を受け付ける。操作受付部141は、領域間ルートを特定するためのユーザの操作内容を示す領域間情報を生成する。
領域間情報は、領域間ルートの経由点を特定するものに限定されない。例えば、領域間情報は、複数の作業領域A及びAの間において飛行装置400の飛行が禁止されている飛行禁止エリアBを特定するものであってもよい。また、領域間情報は、複数の作業領域A及びAの間において飛行装置400が飛行可能な飛行可能エリアを特定するものであってもよい。操作受付部141は、生成した領域間情報を通信制御部142へ出力する。
操作受付部141は、飛行中に飛行装置400が実行する作業条件を指定するためのユーザの操作を受け付ける。例えば、作業条件は、飛行装置400が空中から地上を撮像する場合には、撮像装置の撮像画角、飛行装置400の進行方向における撮像画角間の重なりの割合を示すオーバーラップ率、及び飛行装置400の幅方向における撮像画角間の重なりの割合を示すサイドラップ率である。また、作業条件は、飛行装置400が農薬を散布する場合には、農薬の種類や散布方法であってもよい。
また、操作受付部141は、受け付けた作業領域を示す作業領域情報と、領域間情報と、作業条件情報とを通信制御部142へ出力する。
通信制御部142は、通信部12を介して、経路生成装置200と通信する。通信制御部142は、作業領域情報、領域間情報及び作業条件情報を経路生成装置200へ送信する。通信制御部142は、作業開始位置及び作業終了位置を示す情報を経路生成装置200へ送信する。
[経路生成装置200の構成]
図4は、経路生成装置200の構成を示す図である。経路生成装置200は、通信部21、記憶部22及び制御部23を備える。制御部23は、取得部231、生成部232及び通信制御部233を備える。
通信部21は、ネットワークを介して、経路入力端末100及び操作端末300と通信するためのインターフェースである。記憶部22は、ROM及びRAM等を含む記憶媒体である。記憶部22は、制御部23が実行するプログラムを記憶している。制御部23は、例えば、CPUである。制御部23は、記憶部22が記憶しているプログラムを実行することにより、取得部231、生成部232及び通信制御部233として機能する。
取得部231は、通信部21を介して、経路入力端末100から各種の情報を取得する。取得部231は、飛行装置400が飛行中に作業する複数の作業領域を指定するための作業領域情報を取得する。取得部231は、飛行装置400が複数の作業領域間を移動する領域間ルートを特定するための領域間情報を取得する。例えば、取得部231は、複数の作業領域間における少なくとも一つの経由点の位置を示す領域間情報を取得する。取得部231は、複数の作業領域間において飛行装置400の飛行を禁止された飛行禁止エリアを示す領域間情報を経路入力端末100から取得してもよい。取得部231は、複数の作業領域間において飛行装置400が飛行可能なエリアを示す領域間情報を経路入力端末100から取得してもよい。
また、取得部231は、複数の作業領域間において飛行装置400の飛行を禁止された飛行禁止エリアを示す領域間情報、又は、複数の作業領域間において飛行装置400が飛行可能な飛行可能エリアを示す領域間情報を外部装置(不図示)から取得してもよい。外部装置は、飛行禁止エリア又は飛行可能エリアを示す領域間情報と、飛行可能エリア等の位置を示す位置情報とを関連付けて地図データベースとして記憶している。取得部231は、飛行装置400が飛行を開始する飛行開始位置を示す位置情報を外部装置へ送信する。外部装置は、受信した位置情報が示す飛行開始位置から所定範囲内の位置を示す位置情報に地図データベースにおいて関連付けられた領域間情報を特定する。所定範囲は、例えば、飛行装置400が1回の飛行で到達可能な範囲である。所定範囲は、ユーザが予め設定してもよい。取得部231は、特定された領域間情報を外部装置から取得してもよい。
取得部231は、飛行装置400が飛行中に実行する作業条件を示す作業条件情報を取得する。取得部231は、作業開始位置及び作業終了位置を作業領域ごとに示す情報を取得する。例えば、取得部231は、複数の作業領域A及びAのうち、第1の作業領域Aにおいて作業を開始する第1作業開始位置Sと第1の作業領域A内の作業を終了する第1作業終了位置Gとを示す情報を取得する。取得部231は、第2の作業領域A内において作業を開始する第2作業開始位置Sと第2の作業領域A内の作業を終了する第2作業終了位置Gとを示す情報を取得する。取得部231は、取得した作業領域情報と、領域間情報と、作業条件情報と、作業開始位置及び作業終了位置を示す情報とを生成部232へ出力する。
[領域内ルート及び領域間ルートの生成]
生成部232は、取得部231が取得した作業領域情報に基づいて、飛行装置400が複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成する。生成部232は、取得部231が取得した領域間情報に基づいて、飛行装置400が複数の作業領域間を移動する領域間ルートを生成する。
図5は、生成部232による領域内ルート及び領域間ルートの生成の例を示す。図5の例では、飛行装置400は、空中から作業領域内を撮像する作業を実行するものとする。生成部232は、作業領域情報により指定される作業領域A及び作業領域A内を飛行装置400が飛行するための領域内ルート(図5中の細い矢印)を生成する。生成部232は、作業領域Aにおいて取得部231が取得した第1作業開始位置Sから第1作業終了位置Gまで飛行する領域内ルートを生成する。
このとき、生成部232は、取得部231が取得した作業条件情報に基づいて、領域内ルートを生成する。例えば、生成部232は、作業領域A内において地上を撮像する際の撮像画角間のサイドラップ率が作業条件情報において示された値となるように領域内ルートを生成する。同様にして、生成部232は、作業領域Aにおいて取得部231が取得した第2作業開始位置Sから第2作業終了位置Gまで飛行する領域内ルートを生成する。
生成部232は、作業領域Aから作業領域Aへ飛行装置400が移動する領域間ルート(図5中の太い矢印)を生成する。生成部232は、作業領域A内の第1作業終了位置Gと、作業領域A内の第2作業開始位置Sとを結ぶ領域間ルートを生成する。このとき、生成部232は、複数の作業領域A及びA間において領域間情報が示す経由点(図5中の星印)を経由する領域間ルートを生成する。
図5に示すように、作業領域Aと作業領域Aとの間には、飛行禁止エリアBが設定されている。生成部232は、ユーザにより特定された経由点を経由する領域間ルートを生成することにより、飛行禁止エリアBを回避するように領域間ルートを生成することができる。
また、生成部232は、複数の作業領域A及びAの間において飛行装置400の飛行を禁止された飛行禁止領域エリアBを示す領域間情報を取得部231が取得した場合には、飛行禁止エリアを通過しないように領域間ルートを生成してもよい。生成部232は、複数の作業領域A及びAの間において飛行装置400が飛行可能なエリアを示す領域間情報を取得部231が取得した場合には、領域間情報が示す飛行可能なエリアを通過するように領域間ルートを生成してもよい。
生成部232は、経由点と、飛行禁止エリア(又は飛行可能なエリア)との両方を示す領域間情報に基づいて、領域間ルートを生成してもよい。例えば、生成部232は、指定された経由点を経由しつつ、飛行禁止エリアを通過しない領域間ルートを生成してもよい。同様に、生成部232は、経由点と、飛行可能なエリアとの両方を示す領域間情報に基づいて、領域間ルートを生成してもよい。例えば、生成部232は、指定された経由点を経由し、且つ、飛行可能なエリアを通過する領域間ルートを生成してもよい。
[帰還ルートの生成]
生成部232は、第1の作業領域Aから第2の作業領域Aに移動する領域間ルートを生成することに加えて、飛行装置400が第2の作業領域Aにおいて作業の実行を終了した後、第2の作業領域Aから第1の作業領域Aに戻るための帰還ルートを生成してもよい。図6は、生成部232が生成する帰還ルートの例を示す。生成部232は、第2の作業領域A内の第2作業終了位置Gから第1の作業領域A内の第1作業開始位置Sに戻るための帰還ルートを生成する。帰還ルートでは、まず、飛行装置400は、第2の作業領域Aにおいて第2作業終了位置Gから第2作業開始位置Sに最短経路で戻る。
次に、飛行装置400は、帰還ルートにおいて第1の作業領域Aから第2の作業領域Aに移動した領域間ルートと同じ飛行ルートを逆方向に移動して第2作業開始位置Sから第1の作業領域A内の第1作業終了位置Gに戻る。この帰還ルートでは、飛行装置400は、第1の作業領域Aにおいて第1作業終了位置Gから第1作業開始位置Sに最短経路で戻る。生成部232は、第1作業開始位置Sが飛行開始位置でない場合には、第1作業開始位置Sから飛行開始位置へ帰還するまでの帰還ルートを作成する。
生成部232は、第1作業終了位置Gから第2作業開始位置Sに移動する領域間ルートと同じ飛行ルートを逆方向に移動するように帰還ルートを生成する例に限定されない。例えば、生成部232は、第1作業終了位置Gから第2作業開始位置Sに移動する領域間ルートと同じ経由点(図6中の星印)を経由するが、領域間ルートとは異なる飛行ルートを移動する帰還ルートを生成してもよい。生成部232は、第1作業終了位置Gから第2作業開始位置Sに移動する領域間ルートと異なる経由点を経由して第2作業開始位置Sから第1作業終了位置Gに戻る帰還ルートを生成してもよい。
通信制御部233は、通信部21を介して、操作端末300と通信する。通信制御部233は、領域内ルート及び領域間ルート等の飛行ルートを示す飛行ルート情報を操作端末300へ送信する。通信制御部233は、取得部231が取得した作業条件情報を操作端末300へ送信する。通信制御部233は、作業開始位置及び作業終了位置を示す情報を操作端末300へ送信する。
[操作端末300の構成]
図7は、操作端末300の構成を示す。操作端末300は、通信部31、表示部32、タッチパネル33、記憶部34及び制御部35を備える。制御部35は、通信制御部351、表示制御部352、操作受付部353及び飛行管理部354を備える。
通信部31は、ネットワークを介して、経路生成装置200及び飛行装置400と通信するためのインターフェースである。本明細書の例では、通信部31は、中継装置を介して飛行装置400と通信するものとする。表示部32は、画像や文字等を表示する。タッチパネル33は、表示部32に対するユーザの操作を検出する。
記憶部34は、ROM及びRAM等を含む記憶媒体である。記憶部34は、制御部35が実行するプログラムを記憶している。制御部35は、例えば、CPUである。制御部35は、記憶部34が記憶しているプログラムを実行することにより、通信制御部351、表示制御部352、操作受付部353及び飛行管理部354を備える。
通信制御部351は、通信部31を介して、経路生成装置200と通信する。通信制御部351は、経路生成装置200が生成した飛行ルート情報及び作業条件情報を受信する。通信制御部351は、作業開始位置及び作業終了位置を示す情報を受信する。通信制御部351は、受信した飛行ルート情報を表示制御部352、操作受付部353及び飛行管理部354へ出力する。通信制御部351は、受信した作業条件情報を飛行管理部354へ出力する。
表示制御部352は、各種の情報を表示部32に表示する。例えば、表示制御部352は、通信制御部351が受信した飛行ルート情報が示す飛行ルートを表示する。表示制御部352は、飛行ルートをユーザが確定するためのボタン(例えば、OKボタン)及び編集するためのボタンを表示する。
操作受付部353は、タッチパネル33を介して、ユーザの操作を受け付ける。操作受付部353は、飛行ルート情報が示す飛行ルートを確定、又は編集するユーザの操作を受け付ける。操作受付部353は、飛行ルートの編集の終了を指示するユーザの操作を受け付ける。
操作受付部353は、飛行装置400の飛行開始時刻を指定するユーザの操作を受け付ける。操作受付部353は、確定後の飛行ルート(編集された場合は編集後の飛行ルート)を示す飛行ルート情報と、飛行開始時刻を示す時刻情報とを飛行管理部354へ出力する。
飛行管理部354は、通信部31を介して、飛行装置400と通信する。飛行管理部354は、飛行ルート情報を飛行装置400へ送信する。飛行管理部354は、通信制御部351が受信した作業条件情報を飛行装置400へ送信する。飛行管理部354は、時刻情報を飛行装置400へ送信する。飛行管理部354は、作業開始位置及び作業終了位置を示す情報を飛行装置400へ送信する。
[飛行装置400の構成]
図8は、飛行装置400の構成を示す。飛行装置400は、通信部41、飛行機構42、撮像装置43、記憶部44及び制御部45を備える。制御部45は、通信制御部451、飛行制御部452、作業処理部453を備える。
通信部41は、中継装置を介して、操作端末300と無線通信するための通信モジュールである。飛行機構42は、例えば、複数のロータを回転させるためのモータである。撮像装置43は、飛行中の飛行装置400の下方を撮像する。
記憶部44は、ROM及びRAM等を含む記憶媒体である。記憶部44は、制御部45が実行するプログラムを記憶している。制御部45は、例えば、CPUである。制御部45は、記憶部44が記憶しているプログラムを実行することにより、通信制御部451、飛行制御部452及び作業処理部453を備える。
通信制御部451は、通信部41を介して、操作端末300と通信する。通信制御部451は、飛行ルート情報及び作業条件情報を受信する。通信制御部451は、飛行開始時刻を示す時刻情報を受信する。通信制御部451は、作業開始位置及び作業終了位置を示す情報を受信する。通信制御部451は、受信した飛行ルート情報及び時刻情報を飛行制御部452へ出力する。通信制御部451は、受信した飛行ルート情報及び作業条件情報を作業処理部453へ出力する。通信制御部451は、飛行装置400のバッテリ残量等の飛行状態を示す情報を操作端末300へ送信し、飛行状態を操作端末300の表示部32に表示させる。
飛行制御部452は、飛行機構42を駆動するための制御信号を生成することにより、飛行装置400を飛行させる。飛行制御部452は、通信制御部451が受信した時刻情報が示す飛行開始時刻に飛行を開始する。飛行制御部452は、通信制御部451が受信した飛行ルート情報に含まれる領域内ルート、領域間ルート及び帰還ルート等の飛行ルートに沿って飛行する。飛行制御部452は、作業領域内において領域内ルートに沿って飛行する。飛行制御部452は、複数の作業領域間において領域間ルートに沿って飛行する。飛行制御部452は、作業処理部453が最後に作業を実行した作業領域の作業終了位置から飛行開始位置まで帰還ルートに沿って帰還する。
作業処理部453は、飛行制御部452による飛行中に所定の作業を実行する。例えば、作業処理部453は、飛行中に飛行装置400の下方を撮像装置43により撮像する。作業処理部453は、GPS(Global Positioning System)センサ(不図示)により飛行装置400の現在位置を特定し、飛行装置400が作業開始位置に到達したときに作業の実行を開始し、飛行装置400が作業終了位置に到達したときに作業の実行を終了する。例えば、作業処理部453は、撮像装置43の撮像画角間のオーバーラップ率が作業条件情報において示された値となる撮像周期で飛行装置400の下方を撮像する。
[飛行ルートの生成の処理手順]
図9は、経路生成システムSによる飛行ルートの生成の処理手順を示すシーケンス図である。この処理手順は、例えば、経路入力端末100の電源投入時に開始する。経路入力端末100の操作受付部141は、飛行装置400が飛行中に作業する複数の作業領域を指定するユーザの操作を受け付ける。操作受付部141は、飛行中に飛行装置400が実行する作業条件を指定するユーザの操作を受け付ける。操作受付部141は、複数の作業領域間を移動する領域間ルートを特定するためのユーザの操作を受け付ける。
経路入力端末100の通信制御部142は、操作受付部141が受け付けた作業領域を示す作業領域情報と、領域間ルートを特定するためのユーザの操作内容を示す領域間情報と、飛行中に飛行装置400が実行する作業条件を示す作業条件情報とを経路生成装置200へ送信する。経路生成装置200の生成部232は、領域内ルート及び領域間ルート等の飛行ルートを生成する(S11)。
通信制御部233は、生成部232が生成した飛行ルートを示す飛行ルート情報を操作端末300へ送信する。通信制御部233は、取得部231が取得した作業条件情報を操作端末300へ送信する。
操作端末300の操作受付部353は、飛行ルート情報に含まれる飛行ルートを確定、又は編集するユーザの操作を受け付ける。操作受付部353は、飛行装置400の飛行開始時刻を指定するユーザの操作を受け付ける。飛行管理部354は、飛行ルートを確定するユーザの操作を操作受付部353が受け付けたか否かを判定する(S12)。飛行管理部354は、飛行ルートを確定するユーザの操作を操作受付部353が受け付けたと判定した場合に(S12のYES)、確定後の飛行ルートを示す飛行ルート情報と、作業条件を示す作業条件情報と、飛行装置400の飛行開始時刻を示す時刻情報とを中継装置へ送信する。中継装置は、受信した飛行ルート情報、作業条件情報及び時刻情報を飛行装置400へ送信する。
飛行装置400の飛行制御部452は、通信制御部451が受信した時刻情報が示す飛行開始時刻に飛行を開始する(S13)。なお、飛行制御部452は、安全性を考慮して、飛行開始時刻に直ちに飛行を開始しなくてもよい。例えば、飛行制御部452は、飛行開始時刻になると飛行可能な待機状態になり、この待機状態において操作端末300から飛行の開始を指示する飛行開始コマンドを別途受信したことを条件として飛行を開始してもよい。作業処理部453は、飛行装置400が作業開始位置に到達したときに作業条件情報が示す作業の実行を開始する(S14)。作業処理部453は、飛行装置400が作業終了位置に到達したときに作業の実行を終了し(S15)、処理を終了する。飛行管理部354は、S12の判定において飛行ルートを確定するユーザの操作を操作受付部353が受け付けていないと判定した場合に(S12のNO)、S12の判定を繰り返す。
[変形例]
本実施形態では、複数の作業領域間を移動する際に飛行装置400が経由する経由点を示す領域間情報を取得部231が取得する場合の例について説明した。しかしながら、本発明はこれに限定されない。取得部231は、複数の作業領域において飛行装置400の作業の順序を示す領域間情報を取得してもよい。この領域間情報は、例えば、飛行装置400が作業する順序を指定するユーザの操作を受け付けた操作受付部141により生成される。
生成部232は、取得部231が取得した領域間情報が示す作業の順序に従って複数の作業領域間を移動するための複数の領域間ルートを生成する。図10は、本変形例の生成部232による領域間ルートの生成の例を示す図である。図10は、飛行装置400が飛行中に作業を実行する複数の作業領域A~Aの周囲の地図を示す。図10には、複数の作業領域A~Aと、飛行装置400の飛行が禁止された飛行禁止領域Bとを示す。
図10には、作業領域Aの作業開始位置Sと、作業領域Aの作業終了位置Gと、作業領域Aの作業開始位置Sと、作業領域Aの作業終了位置Gと、作業領域Aの作業開始位置Sと、作業領域Aの作業終了位置Gと、作業領域Aの作業開始位置Sと、作業領域Aの作業終了位置Gとをそれぞれ示す。図10中の細い実線の矢印は、生成部232が生成した作業領域A~A内の領域内ルートをそれぞれ示す。
図10の例では、取得部231は、作業領域A、作業領域A、作業領域A、作業領域Aの順に飛行装置400が作業することを示す領域間情報を取得したものとする。このとき、生成部232は、図10の実線の太い矢印で示すように、作業領域Aから作業領域Aへ移動する領域間ルートと、作業領域Aから作業領域Aへ移動する領域間ルートと、作業領域Aから作業領域Aへ移動する領域間ルートと、をそれぞれ生成する。
仮に、生成部232は、作業領域Aから作業領域Aへ移動する領域間ルートを生成したとする(図10中の破線の太い矢印)。この場合、生成部232は、飛行禁止領域Bを通過する領域間ルートを生成してしまうという問題がある。生成部232は、ユーザにより指定された順序で複数の作業領域A~A間を移動する領域間ルートを生成することにより、飛行禁止領域Bを回避するように領域間ルートを生成することができる。
本実施形態の経路生成方法を実現するためのプログラムは、例えば、経路生成装置200において実行されるWEBアプリケーションとして提供される。このアプリケーションにより生成された飛行ルートは、操作端末300のWEBブラウザに表示される。また、本発明の経路生成方法を実現するためのプログラムは、経路入力端末100又は操作端末300において実行されるアプリケーションとして提供されてもよい。
本実施形態では、経路入力端末100と操作端末300とが別の装置である例について説明した。本発明はこれに限定されず、経路入力端末100と操作端末300とが一体の装置であってもよい。経路入力端末100と、経路生成装置200と、操作端末300とのいずれか2つ以上が一体の装置であってもよい。また、本発明は、経路生成装置200と中継装置とが別の装置である例に限定されない。例えば、経路生成装置200と中継装置とは一体の装置であってもよい。
[本実施形態の経路生成装置200による効果]
経路生成装置200においては、生成部232が、飛行装置400が複数の作業領域を飛行するための領域内ルートと、これらの作業領域間を移動する領域間ルートとをそれぞれ生成する。このようにして、生成部232は、1回の飛行において複数の作業領域を飛行するための領域内ルート及び領域間ルートを生成することができる。このとき、生成部232は、取得部231が取得した領域間情報に基づいて、領域間ルートを生成するので、経路生成装置200は、飛行装置400が複数の作業領域間を移動する際に第三者の土地等の飛行禁止領域に進入することを抑制することができる。なお、本発明により、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
11 タッチパネル
12 通信部
13 記憶部
14 制御部
21 通信部
22 記憶部
23 制御部
31 通信部
32 表示部
33 タッチパネル
34 記憶部
35 制御部
41 通信部
42 飛行機構
43 撮像装置
44 記憶部
45 制御部
100 経路入力端末
141 操作受付部
142 通信制御部
200 経路生成装置
231 取得部
232 生成部
233 通信制御部
300 操作端末
351 通信制御部
352 表示制御部
353 操作受付部
354 飛行管理部
400 飛行装置
451 通信制御部
452 飛行制御部
453 作業処理部

Claims (10)

  1. 飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、当該飛行装置が当該複数の作業領域間を移動する際に経由する少なくとも一つの経由点であって、ユーザにより指定された経由点の位置を示す経由点情報と、を取得する取得部と、
    前記作業領域情報に基づいて、前記飛行装置が前記複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成し、前記経由点情報に基づいて、第1の前記作業領域から第2の前記作業領域に前記経由点を経由して移動する領域間ルートを生成し、且つ、前記飛行装置が前記領域間ルートと同じ経路を通り前記第2の作業領域から前記第1の作業領域に戻る経路を含む帰還ルートを生成する生成部と、を備える、
    経路生成装置。
  2. 前記取得部は、前記第2の作業領域内において作業を開始する第2作業開始位置と当該第2の作業領域内の作業を終了する第2作業終了位置とを示す情報を取得し、
    前記生成部は、前記第2の作業領域内の前記第2作業終了位置から前記第2作業開始位置に戻る経路であって、前記領域内ルートにおいて前記第2作業開始位置から前記第2作業終了位置まで移動する経路より短い経路を含む前記帰還ルートを生成する、
    請求項1記載の経路生成装置。
  3. 前記取得部は、前記複数の作業領域内において、作業を開始する作業開始位置と作業を終了する作業終了位置とを示す情報をそれぞれ取得し、
    前記生成部は、前記複数の作業領域内において前記作業終了位置から同じ作業領域内の前記作業開始位置までの最短経路をそれぞれ通る前記帰還ルートを生成する、
    請求項1又は2に記載の経路生成装置。
  4. 前記取得部は、前記複数の作業領域において前記飛行装置が作業する順序を示す情報を取得し、
    前記生成部は、前記作業する順序に従って前記複数の作業領域間を移動するための複数の前記領域間ルートを生成する、
    請求項1から3のいずれか一項に記載の経路生成装置。
  5. 前記取得部は、前記複数の作業領域の間において前記飛行装置が飛行可能なエリアを示す情報を取得し、
    前記生成部は、前記経由点を経由し、かつ、前記飛行可能なエリアを通過するように前記領域間ルートを生成する、
    請求項1からのいずれか一項に記載の経路生成装置。
  6. 前記取得部は、前記複数の作業領域の間において前記飛行装置飛行が禁止されたエリアを示す情報を取得し、
    前記生成部は、前記経由点を経由しつつ、前記飛行が禁止されたエリアを通過しないように前記領域間ルートを生成する、
    請求項1からのいずれか一項に記載の経路生成装置。
  7. 前記取得部は、前記第1の作業領域内において作業を開始する第1作業開始位置と当該第1の作業領域内の作業を終了する第1作業終了位置とを示す情報を取得し、前記第2の作業領域内において作業を開始する第2作業開始位置と当該第2の作業領域内の作業を終了する第2作業終了位置とを示す情報を取得し、
    前記生成部は、前記第1作業終了位置と前記第2作業開始位置とを結ぶ前記領域間ルートを生成する、
    請求項1からのいずれか一項に記載の経路生成装置。
  8. 前記取得部は、前記飛行装置が飛行中に実行する作業条件を示す作業条件情報を取得し、
    前記生成部は、前記取得部が取得した前記作業条件情報に基づいて、前記領域内ルートを生成する、
    請求項1からのいずれか一項に記載の経路生成装置。
  9. コンピュータが実行する、
    飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、当該飛行装置が当該複数の作業領域間を移動する際に経由する少なくとも一つの経由点であって、ユーザにより指定された経由点の位置を示す経由点情報と、を取得するステップと、
    前記作業領域情報に基づいて、前記飛行装置が前記複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成するステップと、
    前記経由点情報に基づいて、第1の前記作業領域から第2の前記作業領域に前記経由点を経由して移動する領域間ルートを生成するステップと、
    前記飛行装置が前記領域間ルートと同じ経路を通り前記第2の作業領域から前記第1の作業領域に戻る経路を含む帰還ルートを生成するステップと、
    を有する経路生成方法。
  10. コンピュータに、
    飛行装置が飛行中に作業する複数の作業領域を指定するための作業領域情報と、当該飛行装置が当該複数の作業領域間を移動する際に経由する少なくとも一つの経由点であって、ユーザにより指定された経由点の位置を示す経由点情報と、を取得するステップと、
    前記作業領域情報に基づいて、前記飛行装置が前記複数の作業領域内をそれぞれ飛行する複数の領域内ルートを生成するステップと、
    前記経由点情報に基づいて、第1の前記作業領域から第2の前記作業領域に前記経由点を経由して移動する領域間ルートを生成するステップと、
    前記飛行装置が前記領域間ルートと同じ経路を通り前記第2の作業領域から前記第1の作業領域に戻る経路を含む帰還ルートを生成するステップと、
    を実行させるためのプログラム。
JP2021010637A 2021-01-26 2021-01-26 経路生成装置、経路生成方法及びプログラム Active JP7108063B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021010637A JP7108063B1 (ja) 2021-01-26 2021-01-26 経路生成装置、経路生成方法及びプログラム
US17/411,756 US20220238024A1 (en) 2021-01-26 2021-08-25 Flight route generation device and flight route generation method
CN202111005942.5A CN114791287A (zh) 2021-01-26 2021-08-30 飞行路线生成装置和飞行路线生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021010637A JP7108063B1 (ja) 2021-01-26 2021-01-26 経路生成装置、経路生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP7108063B1 true JP7108063B1 (ja) 2022-07-27
JP2022114357A JP2022114357A (ja) 2022-08-05

Family

ID=82459468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021010637A Active JP7108063B1 (ja) 2021-01-26 2021-01-26 経路生成装置、経路生成方法及びプログラム

Country Status (3)

Country Link
US (1) US20220238024A1 (ja)
JP (1) JP7108063B1 (ja)
CN (1) CN114791287A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655283A (zh) * 2022-12-28 2023-01-31 中国电子科技集团公司第二十八研究所 一种基于空间网格多空域飞行航路自动生成的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173722A (ja) 2015-03-17 2016-09-29 日本電気株式会社 無人機運用システムおよびその制御方法
JP2018169995A (ja) 2017-03-30 2018-11-01 株式会社スカイマティクス ドローンを用いた作業を支援するシステムおよび方法
JP2021002345A (ja) 2020-06-19 2021-01-07 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180237161A1 (en) * 2017-02-21 2018-08-23 Echostar Technologies L.L.C. Systems and methods for uav docking and recharging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173722A (ja) 2015-03-17 2016-09-29 日本電気株式会社 無人機運用システムおよびその制御方法
JP2018169995A (ja) 2017-03-30 2018-11-01 株式会社スカイマティクス ドローンを用いた作業を支援するシステムおよび方法
JP2021002345A (ja) 2020-06-19 2021-01-07 株式会社センシンロボティクス 無人飛行体のフライト管理サーバ及びフライト管理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115655283A (zh) * 2022-12-28 2023-01-31 中国电子科技集团公司第二十八研究所 一种基于空间网格多空域飞行航路自动生成的方法

Also Published As

Publication number Publication date
JP2022114357A (ja) 2022-08-05
US20220238024A1 (en) 2022-07-28
CN114791287A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
US20200332776A1 (en) Aerial inspection in a movable object environment
JP6811483B2 (ja) ドローンを用いた作業を支援するシステムおよび方法
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
US20160116912A1 (en) System and method for controlling unmanned vehicles
CN105912288A (zh) 一种监控无人机飞行状态的综合处理显示方法及系统
JP2018169995A5 (ja)
JP7044293B2 (ja) 設備点検システム
EP3042151B1 (en) Interactive remote guidance system for seaborne vessels
JP7108063B1 (ja) 経路生成装置、経路生成方法及びプログラム
US20210354846A1 (en) Load control method and device
US9886863B2 (en) Method for generating flight route with which observer can visually observe drone
CN108475074A (zh) 云台随动控制方法及控制设备
WO2019212035A1 (ja) 飛行体の制御に関する情報表示方法
CN110414686A (zh) 一种控制无人机采集图像视频信息量子软件
WO2020179491A1 (ja) 行動制御装置および行動制御方法、並びにプログラム
WO2020090589A1 (ja) 運転経路生成システム、運転経路生成方法、および運転経路生成プログラム、ならびにドローン
JPWO2020085229A1 (ja) 運転経路生成システム、運転経路生成方法、および運転経路生成プログラム、ならびにドローン
WO2019140695A1 (zh) 控制飞行器飞行的方法及设备
JPWO2021079516A1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
JP2020005147A (ja) 情報処理装置、移動体、遠隔制御システム、情報処理方法およびプログラム
WO2021217380A1 (zh) 无人机的控制方法、系统、装置及存储介质
JP6582270B1 (ja) 飛行体の制御に関する情報表示方法
CN111226181A (zh) 一种可移动平台的控制方法、设备及可移动平台
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
US20240019863A1 (en) System for shared remote drone usage

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211102

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220128

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220602

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220609

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220714

R150 Certificate of patent or registration of utility model

Ref document number: 7108063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150