JP7017696B2 - Information processing equipment, information processing equipment control method, unmanned aerial vehicle, unmanned aerial vehicle control method, and program - Google Patents
Information processing equipment, information processing equipment control method, unmanned aerial vehicle, unmanned aerial vehicle control method, and program Download PDFInfo
- Publication number
- JP7017696B2 JP7017696B2 JP2019087768A JP2019087768A JP7017696B2 JP 7017696 B2 JP7017696 B2 JP 7017696B2 JP 2019087768 A JP2019087768 A JP 2019087768A JP 2019087768 A JP2019087768 A JP 2019087768A JP 7017696 B2 JP7017696 B2 JP 7017696B2
- Authority
- JP
- Japan
- Prior art keywords
- unmanned aerial
- aerial vehicle
- vehicle
- position information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 230000010365 information processing Effects 0.000 title claims description 35
- 230000006870 function Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 description 40
- 238000007726 management method Methods 0.000 description 22
- 238000012544 monitoring process Methods 0.000 description 12
- 238000010295 mobile communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Description
本発明は、情報処理装置、情報処理装置の制御方法、無人航空機、無人航空機の制御方法、およびプログラムに関し、特に、無人航空機の飛行可能な範囲を特定し、特定した飛行可能な範囲の情報を用いて通知を行うことで、当該無人航空機のバッテリの残量の低下による落下を低減することが可能な仕組みに関する。 The present invention relates to an information processing device, a control method for the information processing device, an unmanned aerial vehicle, a control method for an unmanned aerial vehicle, and a program, and in particular, specifies a flightable range of the unmanned aerial vehicle and provides information on the specified flightable range. The present invention relates to a mechanism capable of reducing a fall due to a decrease in the remaining battery level of the unmanned aerial vehicle by notifying the unmanned aerial vehicle.
従来、人が搭乗していない航空機である無人航空機が存在する。無人航空機は、大型なものから小型なものまで様々であるが、特に近年では遠隔操縦可能な小型の無人航空機(通称:ドローン)が注目されている(以下、小型の無人航空機を単に無人航空機と称する。)。 Conventionally, there are unmanned aerial vehicles that are unmanned aerial vehicles. Unmanned aerial vehicles vary from large to small, but in recent years, small unmanned aerial vehicles (commonly known as drones) that can be remotely controlled have been attracting attention (hereinafter, small unmanned aerial vehicles are simply referred to as unmanned aerial vehicles). Referred to.).
無人航空機は、クワッドコプターやマルチコプターとも呼ばれ、複数の回転翼を備えており、この回転翼の回転数を増減させることで、無人航空機の前進・後退・旋回・ホバリング等を行う。 An unmanned aerial vehicle, also called a quadcopter or a multicopter, is equipped with a plurality of rotor blades, and by increasing or decreasing the number of rotations of the rotor blades, the unmanned aerial vehicle can move forward, backward, turn, hover, and the like.
こうした無人航空機は、プロポと呼ばれる遠隔操作端末からの動作指示に応じて動作するほか、モニタや入力装置が一体となった操作卓から制御することも可能である。 Such an unmanned aerial vehicle operates in response to an operation instruction from a remote control terminal called a radio, and can also be controlled from an operation console integrated with a monitor and an input device.
特許文献1には、撮影対象物に対して自動で飛行する無人航空機が提案されている。 Patent Document 1 proposes an unmanned aerial vehicle that automatically flies with respect to an object to be photographed.
ところで、無人航空機を車両から飛ばす場合等は、当該無人航空機の飛行を終了するときに、当該車両のところまで無人航空機を戻して、回収することが行われている。しかしながら、無人航空機が当該無人航空機に内蔵されているバッテリで飛行する場合、バッテリの残量が、当該無人航空機が飛行不可能な量まで低下してしまうと、車両で回収する前に墜落し周りに危害を及ぼす危険性があり、また、落下の衝撃で無人航空機自体が故障する恐れがあった。 By the way, when an unmanned aerial vehicle is to be flown from a vehicle, the unmanned aerial vehicle is returned to the vehicle and recovered when the flight of the unmanned aerial vehicle is completed. However, when an unmanned aerial vehicle flies with the battery built into the unmanned aerial vehicle, if the remaining battery level drops to an amount that the unmanned aerial vehicle cannot fly, it will crash before being recovered by the vehicle. There was a risk of harm to the unmanned aerial vehicle itself, and the impact of the fall could damage the unmanned aerial vehicle itself.
また、車両でなく徒歩で無人航空機を回収する場合でも、バッテリの残量が、当該無人航空機が飛行不可能な量まで低下してしまうと、回収する人の手の届かない距離で無人航空機が落下してしまい、落下地点にいる人等に危害を及ぼす危険性があった。 Also, even when collecting an unmanned aerial vehicle on foot instead of a vehicle, if the remaining battery level drops to an amount that the unmanned aerial vehicle cannot fly, the unmanned aerial vehicle will be out of reach of the person who collects it. There was a risk of falling and causing harm to people at the point of fall.
本発明は、無人航空機の飛行可能な範囲の情報に基づいてより好適な通知を行う仕組みを提供することを目的とする。 It is an object of the present invention to provide a mechanism for giving more suitable notification based on information on the flight range of an unmanned aerial vehicle.
本発明は、無人航空機と通信可能な情報処理装置であって、
前記無人航空機が飛行している位置を示す第一の位置情報と、特定の移動体または特定の携帯装置の位置情報である第二の位置情報とを取得する取得手段と、
前記取得手段で取得した前記第一の位置情報と前記第二の位置情報とに基づき、前記無人航空機が飛行可能な範囲と、前記第二の位置情報が示す位置との位置関係を通知するように制御する制御手段と
を備えることを特徴とする。
The present invention is an information processing device capable of communicating with an unmanned aerial vehicle.
An acquisition means for acquiring the first position information indicating the position where the unmanned aerial vehicle is flying and the second position information which is the position information of a specific moving object or a specific portable device .
Based on the first position information and the second position information acquired by the acquisition means, the positional relationship between the range in which the unmanned aerial vehicle can fly and the position indicated by the second position information is passed. With control means to control to know
It is characterized by having .
本発明によると、無人航空機の飛行可能な範囲の情報に基づいてより好適な通知を行う仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism for performing more suitable notification based on information on the flight range of an unmanned aerial vehicle.
以下、図面を参照して、本発明の実施形態を詳細に説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の1つである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The embodiment described below is an example of a specific embodiment of the present invention, and is one of the specific embodiments of the configuration described in the claims.
図1は、本実施形態における無人航空機ナビゲーションシステムのシステム構成を示す図である。 FIG. 1 is a diagram showing a system configuration of an unmanned aerial vehicle navigation system according to the present embodiment.
本実施形態の無人航空機ナビゲーションシステムは、無人航空機101、制御用コンピュータ103(本発明における情報処理装置)が、ネットワーク102を介して通信接続可能に接続されている。ネットワーク102は、本実施形態では無線ネットワークを想定している。
In the unmanned aerial vehicle navigation system of the present embodiment, the unmanned
尚、図1のシステム構成は一例であり、用途や目的に応じて様々な構成例がある。 The system configuration shown in FIG. 1 is an example, and there are various configuration examples depending on the application and purpose.
ドローンや、無人飛行機、UAVとも呼ばれる無人航空機101は、制御用コンピュータ103からの指示に従って自動で飛行する無人の航空機である。制御用コンピュータ103からの指示に応じて、複数の回転翼を動作させて飛行する。
The unmanned
この回転翼の回転数を増減させることで、無人航空機の前進・後退・旋回・ホバリング等を行う。尚、図1に示す無人航空機101の回転翼は4枚であるが、これに限らない。3枚であっても、6枚であっても、8枚であってもよい。
By increasing or decreasing the number of rotations of the rotor blades, the unmanned aerial vehicle can move forward, backward, turn, hover, and so on. The number of rotary wings of the unmanned
また、無人航空機101は、無線で飛行するものと有線で飛行するものとがあるが、本発明では無線で飛行するものとする。
Further, the unmanned
無人航空機101は、カメラを有し、カメラは、その撮影方向を可変させるため、カメラのレンズの向きを左右に動かすパン、上下に動かすチルト、そして、望遠にしたり広角にしたりするズームの機能を有し、遠隔地から操作(PTZ制御)できるようになっている。
The unmanned
なお、無人航空機101は、飛行していないとき(待機時)には、中継車等の移動可能な車両104に格納され、被写体を撮影するときには、車両104から飛行開始し、撮影が終了すると、再び車両104に戻ってくるものとする。
The unmanned
なお、本実施形態では、車両104が中継車で、被写体を撮影するために無人航空機101を用いている仕組みを想定しているが、これに限らず、例えば車両104が宅配の荷物を運ぶための運搬車で、運搬車から無人航空機101を使って配達先に荷物を送る仕組みであっても良い。
In the present embodiment, it is assumed that the
制御用コンピュータ103は、無人航空機101を制御するための機器である。
The
また、制御用コンピュータ103は、操作卓を備えている。この操作卓は、無人航空機101と、無人航空機101に搭載されたカメラとを操作する操作部を備えている。
Further, the
また、制御用コンピュータ103は、GPS受信機を備えており、当該GPS受信機によりGPS衛星からの信号を受信することで制御用コンピュータ103の現在位置を特定することができる。
Further, the
ユーザは、操作部を操作して、無人航空機101への飛行方向や、飛行速度の操作を行う。そして、制御用コンピュータ103は、操作部の操作を受け付けると、無人航空機101に、当該受け付けた操作内容の通りに飛行するように指示を送信して、無人航空機101は、当該指示を受信すると、当該指示の通りに飛行するようにプロペラ213を制御する。このように、制御用コンピュータ103は、操作部で操作された操作指示内容を無人航空機101に送信して、当該無人航空機101の飛行を操作する。
The user operates the operation unit to control the flight direction and flight speed to the unmanned
また、ユーザは、操作部を操作して、無人航空機101に搭載されたカメラのズームイン動作、ズームアウト動作、パン動作の操作を行う。制御用コンピュータ103は、操作部の操作を受け付けると、カメラに、当該受け付けた操作内容の通りに動作するように指示を送信して、カメラは、当該指示を受信すると、当該指示の通りに、動作するようにカメラ内のレンズ等の各部材を動作する部を動作する。このように、制御用コンピュータ103は、操作部で操作された操作指示内容をカメラに送信して、カメラのレンズのズーム動作、撮影方向のパン動作を操作する。
In addition, the user operates the operation unit to perform a zoom-in operation, a zoom-out operation, and a pan operation of the camera mounted on the unmanned
本実施形態では、無人航空機101が飛行中は、無人航空機101に搭載されたカメラにより常に撮影されているものとする。
In the present embodiment, it is assumed that while the unmanned
本実施形態では、制御用コンピュータ103は、車両104内に設置されているものとするが、他の実施形態として、車両104に、GPS受信機を設け、当該GPS受信機によりGPS衛星からの信号を受信することで、当該車両104の現在位置を特定し、さらに特定した現在位置の情報を制御用コンピュータ103に送信できる装置を設置し、当該装置と制御用コンピュータ103が通信して、車両104の位置情報を制御用コンピュータ103が取得できる仕組みであれば、車両104と物理的に距離が離れた遠隔地に設置されていてもよい。
In the present embodiment, it is assumed that the
また、制御用コンピュータ103は、タブレット端末であっても良いし、車両104に備え付けのナビゲーションシステムのような装置であっても良い。
Further, the
また、後述する図9や図10のフローチャートに示す各処理を制御用コンピュータ103で実行し、実行結果を示す図4~8等の画面は、制御用コンピュータ103とは別装置のタブレット端末に表示しても良いし、車両104に備え付けのナビゲーションシステムに表示しても良い。
Further, each process shown in the flowcharts of FIGS. 9 and 10 to be described later is executed by the
次に、図2を用いて、図1に示した無人航空機101のハードウェア構成について説明する。
Next, the hardware configuration of the unmanned
図2は、無人航空機101のハードウェア構成を示す図である。尚、図2に示す無人航空機101のハードウェア構成は一例であり、用途や目的に応じて様々な構成例がある。
FIG. 2 is a diagram showing a hardware configuration of the unmanned
フライトコントローラ200は無人航空機101の飛行制御を行うためのマイクロコントローラであり、CPU201、ROM202、RAM203、周辺バスインタフェース204(以下、周辺バスI/F204という。)を備えている。
The
CPU201は、システムバスに接続される各デバイスを統括的に制御する。また、ROM202あるいは周辺バスI/F304に接続される外部メモリ280には、CPU201の制御プログラムであるBIOS(Basic Input/Output System)やオペレーティングシステムプログラムが記憶されている。
The
また外部メモリ280(記憶手段)には、無人航空機101の実行する機能を実現するために必要な各種プログラム等が記憶されている。RAM203(記憶手段)は、CPU201の主メモリ、ワークエリア等として機能する。
Further, the external memory 280 (storage means) stores various programs and the like necessary for realizing the function executed by the unmanned
CPU201は、処理の実行に際して必要なプログラム等をRAM203にロードして、プログラムを実行することで各種動作を実現するものである。
The
周辺バスI/F204は、各種周辺デバイスと接続するためのインタフェースである。周辺バスI/F204には、PMU210、SIMアダプタ220、無線LAN用BBユニット230、移動体通信用BBユニット240、GPSユニット250、センサ260、GCU270、外部メモリ280が接続されている。
The peripheral bus I /
PMU210はパワーマネジメントユニットであり、無人航空機101が備えるバッテリからESC211への電源供給を制御することができる。ESC211は、エレクトロニックスピードコントローラであり、ESC211に接続されるモータ212の回転数を制御することができる。ESC211によってモータ212を回転させることで、モータ212に接続されるプロペラ213(回転翼)を回転させる。尚、ESC211、モータ212、プロペラ213のセットは、プロペラ213の数に応じて複数備えられている。例えば、クアッドコプターであれば、プロペラ213の数は4枚であるので、このセットが4つ必要となる。
The
無線LAN用BBユニット230は、無線LANを介して通信を行うためのベースバンドユニットである。無線LAN用BBユニット230は、送信したいデータや信号からベースバンド信号を生成して変復調回路へ送出することができる。更に、受信したベースバンド信号から元のデータや信号を得ることができる。
The wireless
また、無線LAN用RFユニット231は、無線LANを介して通信を行うためのRF(Radio Frequency)ユニットである。無線LAN用RFユニット231は、無線LAN用BBユニット230から送出されたベースバンド信号を無線LANの周波数帯に変調してアンテナから送信することができる。更に、無線LANの周波数帯の信号を受信すると、これをベースバンド信号に復調することができる。
Further, the
移動体通信用BBユニット240は、移動体通信網を介して通信を行うためのベースバンドユニットである。移動体通信用BBユニット240は、送信したいデータや信号からベースバンド信号を生成して変復調回路へ送出することができる。更に、受信したベースバンド信号から元のデータや信号を得ることができる。 The mobile communication BB unit 240 is a baseband unit for communicating via a mobile communication network. The mobile communication BB unit 240 can generate a baseband signal from the data or signal to be transmitted and send it to the modulation / demodulation circuit. Further, the original data or signal can be obtained from the received baseband signal.
また、移動体通信用RFユニット241は、移動体通信網を介して通信を行うためのRF(Radio Frequency)ユニットである。移動体通信用RFユニット241は、移動体通信用BBユニット240から送出されたベースバンド信号を移動体通信網の周波数帯に変調してアンテナから送信することができる。更に、移動体通信網の周波数帯の信号を受信すると、これをベースバンド信号に復調することができる。 Further, the mobile communication RF unit 241 is an RF (Radio Frequency) unit for performing communication via a mobile communication network. The mobile communication RF unit 241 can modulate the baseband signal transmitted from the mobile communication BB unit 240 into the frequency band of the mobile communication network and transmit it from the antenna. Further, when a signal in the frequency band of the mobile communication network is received, it can be demodulated into a baseband signal.
GPSユニット250は、グローバルポジショニングシステムにより、無人航空機101の現在位置を取得することの可能な受信機である。GPSユニット250は、GPS衛星からの信号を受信し、現在位置を推定することができる。
The
センサ260は、無人航空機101の傾き、向き、速度や周りの環境を計測するためのセンサである。無人航空機101はセンサ260として、ジャイロセンサ、加速度センサ、気圧センサ、磁気センサ、超音波センサ等を備えている。これらのセンサから取得したデータに基づいて、CPU201が無人航空機101の姿勢や移動を制御する。
The
GCU270はジンバルコントロールユニットであり、カメラ271とジンバル272の動作を制御するためのユニットである。無人航空機101が飛行することにより機体に振動が発生したり、機体が不安定になったりするため、カメラ271で撮影した際にブレが発生しないよう、ジンバル272によって無人航空機101の振動を吸収し水平を維持する。また、ジンバル272によってカメラ271の遠隔操作を行うことも可能である。
The
本発明の無人航空機101が後述する各種処理を実行するために用いられる各種プログラム等は外部メモリ280に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、本発明に係わるプログラムが用いる定義ファイルや各種情報テーブルは外部メモリ280に格納されている。
Various programs and the like used by the unmanned
次に、図3を用いて図1に示した制御用コンピュータ103に適用可能な情報処理装置のハードウェア構成について説明する。
Next, the hardware configuration of the information processing apparatus applicable to the
図3において、301はCPUで、システムバス304に接続される各デバイスやコントローラを統括的に制御する。また、ROM302あるいは外部メモリ311には、CPU301の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
In FIG. 3, 301 is a CPU that comprehensively controls each device and controller connected to the
303はRAMで、CPU301の主メモリ、ワークエリア等として機能する。CPU301は、処理の実行に際して必要なプログラム等をROM302あるいは外部メモリ311からRAM303にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
また、305は入力コントローラで、キーボード(KB)309等のポインティングデバイス等からの入力を制御する。306はビデオコントローラで、CRTディスプレイ(CRT)310等の表示器への表示を制御する。なお、図2では、CRT310と記載しているが、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。
Further, 305 is an input controller, which controls input from a pointing device such as a keyboard (KB) 309.
307はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ311へのアクセスを制御する。
307 is a memory controller, which can be used in an external storage device (hard disk (HD)) for storing boot programs, various applications, font data, user files, edit files, various data, etc., a flexible disk (FD), or a PCMCIA card slot. Controls access to
308は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU301は、例えばRAM303内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、CRT310上での表示を可能としている。また、CPU301は、CRT310上の不図示のマウスカーソル等でのユーザ指示を可能とする。
The
本発明を実現するための後述する各種プログラムは、外部メモリ311に記録されており、必要に応じてRAM303にロードされることによりCPU301によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ311に格納されており、これらについての詳細な説明も後述する。
Various programs described later for realizing the present invention are recorded in the
次に、図4~図8を用いて、本実施形態における無人航空機ナビゲーションシステムで、制御用コンピュータ103のCRT310に表示されるマップの画面について説明する。
Next, with reference to FIGS. 4 to 8, the map screen displayed on the
まず、図4について説明する。図4は、制御用コンピュータ103のCRT310に表示されるマップの画面の一例を示す図である。
First, FIG. 4 will be described. FIG. 4 is a diagram showing an example of a map screen displayed on the
マップ400には、制御用コンピュータ103が設置された車両104の周囲のマップが表示される。
The
そして、無人航空機101に対応するアイコンである無人航空機アイコン401を、無人航空機101が備えるGPSユニット250により受信した信号によって特定される無人航空機101の現在位置に対応するマップ400上の位置に表示する。
Then, the unmanned
また、車両104に対応するアイコンである車両アイコン402を、制御用コンピュータ103が備えるGPS受信機により受信した信号によって特定される車両104(より正確には制御用コンピュータ103)の現在位置に対応するマップ400上の位置に表示する。なお、GPS受信機は、車両104が備えるとしても良い。
Further, the
ユーザは、マップ400を確認することで、無人航空機101と、車両104の現在位置を把握することができる。
By checking the
次に、図5および図6について説明する。図5では、マップ400上に無人航空機101が飛行可能な範囲を示す飛行可能範囲501が表示される。飛行可能範囲501は、無人航空機101のバッテリの電圧等によって特定される。飛行可能範囲501の特定方法については、後程詳しく説明する。
Next, FIGS. 5 and 6 will be described. In FIG. 5, a
飛行可能範囲501は、無人航空機101のバッテリの電圧の低下により移動可能範囲が狭まると、例えば、図6の601のように、飛行可能範囲の円の大きさも小さくなるように表示する。
The flightable range 501 is displayed so that when the movable range is narrowed due to a decrease in the battery voltage of the unmanned
図6の飛行可能範囲601は、無人航空機101のバッテリの電圧の低下により、飛行可能範囲501が、図5の状態から狭まった状態を示している。
The
そして、車両104が、飛行可能範囲501(601)外にいる場合には、飛行可能範囲501外にいる旨の警告、および車両104を飛行可能範囲501(601)内に移動させるように促す通知を含む通知502を行う。
Then, when the
通知502を行うことにより、ユーザは、車両104が無人航空機101を回収できない位置にいることが分かり、それによって、無人航空機101を回収できる地点、つまり飛行可能範囲501(601)内に車両104を移動させて、無人航空機101を回収することができ、無人航空機101が車両104以外の場所に落下して、無人航空機101が故障したり、無人航空機101によって人がケガする恐れを低減したりすることが可能となる。
By performing the
さらに、車両104を移動させる際に、空き地を識別表示(503)したり、駐車場を識別表示(504)したりすることで、ユーザがどこに車両104を移動させれば安全かつ迅速に無人航空機101を回収できるかをすぐ認識させることができ、また、505に示すように無人航空機101の残り飛行可能時間を表示することで、車両104を急いで移動させるべきか、まだ余裕があるのかをユーザに認識させることが出来る。
Further, when the
以上で、図5、および図6の説明を終了し、次に図7について説明する。 This is the end of the description of FIGS. 5 and 6, and then FIG. 7 will be described.
図7は、図5の他の実施形態であり、無人航空機101の飛行可能範囲を特定する際に、無人航空機101周辺の風の影響を考慮した図である。無人航空機101は、風上から風下に向かって飛行する場合には、風の影響を受けることでより遠くまで飛行できるため、図7では、無人航空機101の飛行可能範囲(図7の飛行可能範囲701)を風下の方向だけ広く設定している。図7は、無人航空機101周辺で、風が北西から南東に向かって吹いている場合の例である。
FIG. 7 is another embodiment of FIG. 5, and is a diagram in which the influence of wind around the unmanned
以上で、図7の説明を終了し、次に図8について説明する。 This is the end of the description of FIG. 7, and then FIG. 8 will be described.
図5~図7までは、無人航空機101が飛行を開始してからのマップの画面の表示について説明したが、図8では、無人航空機101が飛行開始する前のマップの画面について説明する。
5 to 7 have described the display of the map screen after the unmanned
図8では、無人航空機101の飛行可能範囲を3パターン(803~805)で表示する。飛行可能範囲805の線上は、現在位置(車両104の停車位置)から無人航空機101が当該線上まで飛行して、その位置で20分ホバリング(待機)しながら撮影したとしても、現在位置まで戻ってくることが出来る位置を示し、飛行可能範囲804の線上は、現在位置(車両104の停車位置)から無人航空機101が当該線上まで飛行して、その位置で10分ホバリングしながら撮影したとしても、現在位置まで戻ってくることが出来る位置を示し、飛行可能範囲803の線上は、現在位置(車両104の停車位置)から無人航空機101が当該線上まで飛行して、その位置でホバリングせずにすぐ引き返せば、現在位置まで戻ってくることが出来る位置を示している。なお、803~805は一例であり、より細かく飛行可能範囲を表示しても良い。
In FIG. 8, the flight range of the unmanned
そして、図8のマップ400上で、ユーザが無人航空機101を飛ばしたい位置を選択すると、その位置が選択状態となり(例えば、801)飛行位置決定ボタン802がユーザにより押下されると、選択状態となっている位置に対応する座標に、無人航空機101が飛行する。以上で図8の説明を終了する。
Then, when the user selects a position on the
次に図9を用いて、本発明における、無人航空機ナビゲーションシステム制御処理の一例を示すフローチャートについて説明する。 Next, with reference to FIG. 9, a flowchart showing an example of the unmanned aerial vehicle navigation system control process in the present invention will be described.
図9および後述する図10、図13に示す各処理は、制御用コンピュータ103のCPU301により実行される処理である。
Each of the processes shown in FIG. 9 and FIGS. 10 and 13 described later is a process executed by the
ステップS901において、制御用コンピュータ103は、ユーザからの指示に従って、無人航空機ナビゲーションシステムを起動する。
In step S901, the
ステップS902において、制御用コンピュータ103は、無人航空機101が格納されている車両104の位置情報を取得する。
In step S902, the
ステップS903において、制御用コンピュータ103は、ステップS902で取得した位置情報によって特定される車両104の現在位置周辺のマップをCRT310に表示する。ステップS903でCRT310に表示されるマップとは例えば、図4に示すマップである。
In step S903, the
なお、マップのデータは制御用コンピュータ103の外部メモリ311にあらかじめ記憶してもよいし、外部のマップ提供サービスを行っているサーバから取得してもよい。
The map data may be stored in advance in the
ステップS904において、制御用コンピュータ103は、無人航空機101の情報を、制御用コンピュータ103の外部メモリ311にあらかじめ記憶する図11(a)の無人航空機管理データベースから取得する。
In step S904, the
ここで、図11(a)に示す、無人航空機管理データベース、および図11(b)に示す車両管理データベースについて説明する。図11(a)に示す、無人航空機管理データベース、および図11(b)に示す車両管理データベースは、制御用コンピュータ103の外部メモリ311に記憶される。なお、後述する図15、図16の実施形態では、図11(a)に示す、無人航空機管理データベース、および図11(b)に示す車両管理データベースは、無人航空機101の外部メモリ280で記憶する。
Here, the unmanned aerial vehicle management database shown in FIG. 11A and the vehicle management database shown in FIG. 11B will be described. The unmanned aerial vehicle management database shown in FIG. 11A and the vehicle management database shown in FIG. 11B are stored in the
図11(a)の無人航空機管理データベースの無人航空機ID1101には、無人航空機101を一意に識別するためのIDが記憶される。現在位置1102には、無人航空機101が備えるGPSユニット250により受信した信号によって特定される無人航空機101の現在位置が記憶される。現在位置1102は、無人航空機101から適宜受信し、更新される。
The unmanned
飛行速度1103には、無人航空機101の飛行速度が記憶される。フル充電時の飛行可能時間1104には、無人航空機101がフルに充電されているときに飛行できる時間が記憶される。
The flight speed of the unmanned
フル充電時のバッテリの電圧1105には、無人航空機101がフルに充電されているときの当該無人航空機101の電圧(バッテリの残量)が記憶される。飛行不可能となるバッテリの電圧1106は、無人航空機101が飛行できなくなる電圧(バッテリの残量)が記憶される。
The
現在のバッテリの電圧1107には、現在の無人航空機101のバッテリの電圧(バッテリの残量)が記憶され、現在のバッテリの電圧1107は、無人航空機101から適宜受信し、更新される。
The
残り飛行可能時間1108は、以下の(1)~(3)までの計算式を順に行うことにより求められ、記憶される。
The remaining
<計算式>
(1)(フル充電時のバッテリの電圧1105-飛行不可能となるバッテリの電圧1106)÷フル充電時の飛行可能時間1104=1分あたりに低下する電圧(バッテリ容量)
<Calculation formula>
(1) (Battery voltage when fully charged 1105-Battery voltage that makes it impossible to fly 1106) ÷ Flyable time when fully charged 1104 = Voltage that drops per minute (battery capacity)
(2)現在のバッテリの電圧1107-飛行不可能となるバッテリの電圧1106=飛行可能なバッテリ残量(電圧) (2) Current battery voltage 1107-Battery voltage that makes it impossible to fly 1106 = Battery remaining amount (voltage) that can fly
(3)飛行可能なバッテリ残量(電圧)÷1分あたりに低下する電圧=残り飛行可能時間1108
対応する車両ID1109には、無人航空機101が格納される車両104の車両ID(車両ID1110)が記憶される。
(3) Remaining battery level (voltage) that can fly ÷ Voltage that drops per minute = Remaining
In the
図11(b)の車両管理データベースの車両ID1110には、車両104を一意に識別するためのIDが記憶される。
The
現在位置1111には、制御用コンピュータ103が備えるGPS受信機により受信した信号によって特定される車両104の現在位置が記憶される。現在位置1111は、制御用コンピュータ103、または車両104から適宜取得し、更新される。
The
対応する無人航空機ID1112には、車両104が格納する無人航空機101の無人航空機ID(無人航空機ID1101)が記憶される。
In the corresponding unmanned
なお、無人航空機ID1101、飛行速度1103、フル充電時の飛行可能時間1104、フル充電時のバッテリの電圧1105、飛行不可能となるバッテリの電圧1106、対応する車両ID1109、車両ID1110、対応する無人航空機ID1112は、ユーザが事前に登録するものとする。
The unmanned
以上で、図11の説明を終了し、図9の説明に戻る。 This completes the explanation of FIG. 11 and returns to the explanation of FIG.
ステップS905において、制御用コンピュータ103は、ステップS903で表示したマップ上に無人航空機101の移動可能範囲(距離)を表示する。マップ上に無人航空機101の移動可能範囲を表示した状態とは、例えば図8に示す状態(具体的には図8の803~805)である。
In step S905, the
なお、移動可能範囲(距離)は、「飛行速度1103×フル充電時の飛行可能時間1104÷2=移動可能範囲(距離)」という計算式で求めることができる。
The movable range (distance) can be calculated by the formula "flying speed 1103 x flightable time at
ステップS906において、制御用コンピュータ103は、マップ上で無人航空機101を飛行させる位置の指定をユーザから受け付ける。
In step S906, the
ステップS907において、制御用コンピュータ103は、無人航空機101の飛行開始指示をユーザから受け付けたかを、図8の飛行位置決定ボタン802がユーザ操作に従って押下されたかにより判定する。
In step S907, the
ステップS908において、ステップS906でユーザから指定を受け付けた位置に無人航空機101を飛行させる。
In step S908, the unmanned
ステップS909において、制御用コンピュータ103は、バッテリ残量監視処理を実行する。ステップS909の処理の詳細は図10を用いて説明する。以上で、図9の説明を終了する。
In step S909, the
次に図10を用いて、図9のステップS909におけるバッテリ残量(容量)監視処理の詳細について説明する。 Next, the details of the battery remaining amount (capacity) monitoring process in step S909 of FIG. 9 will be described with reference to FIG.
図10は、バッテリ残量監視処理の一例を示すフローチャートである。 FIG. 10 is a flowchart showing an example of the battery remaining amount monitoring process.
図10に示す処理は、無人航空機101が飛行を開始してから飛行を終了するまで、所定のタイミングで適宜行われるものとする。
The process shown in FIG. 10 shall be appropriately performed at a predetermined timing from the start of the flight of the unmanned
ステップS1001において、制御用コンピュータ103は、現在の無人航空機101のバッテリの電圧(バッテリの残量)を取得し、取得した値を図11(a)の無人航空機管理データベース中の当該無人航空機101の現在のバッテリの電圧1107に記憶する。
In step S1001, the
ステップS1002において、制御用コンピュータ103は、現在の無人航空機101の位置情報を取得する。取得した位置情報は、図11(a)の無人航空機管理データベース中の当該無人航空機101の現在位置1102に記憶する。
In step S1002, the
ステップS1001、およびステップS1002は、本発明における、前記無人航空機が飛行している位置を示す位置情報と、当該無人航空機のバッテリの残量とを取得する取得手段の一例であり、ステップS1001、ステップS1002、およびステップS1003は、本発明における、前記無人航空機が飛行している位置を示す位置情報と、当該無人航空機のバッテリの残量と、当該無人航空機を回収する車両の位置を特定可能な特定情報とを取得する取得手段の一例である。 Step S1001 and step S1002 are examples of the acquisition means for acquiring the position information indicating the position where the unmanned aerial vehicle is flying and the remaining amount of the battery of the unmanned aerial vehicle in the present invention. In S1002 and step S1003, the position information indicating the position where the unmanned aerial vehicle is flying, the remaining amount of the battery of the unmanned aerial vehicle, and the position of the vehicle for recovering the unmanned aerial vehicle can be specified in the present invention. This is an example of an acquisition means for acquiring information.
ステップS1003において、制御用コンピュータ103は、現在の車両104の位置情報を取得する。取得した位置情報は、図11(b)の車両管理データベース中の当該車両104の現在位置1111に記憶する。
In step S1003, the
ステップS1004において、制御用コンピュータ103は、ステップS1002、ステップS1003で取得した位置情報によって特定される無人航空機101、および車両104の現在位置に対応するマップ上の位置に、無人航空機101、および車両104のアイコン(例えば、図4の無人航空機アイコン401、および車両アイコン402)を表示する。
In step S1004, the
ステップS1005において、制御用コンピュータ103は、無人航空機101の現在位置周辺の風向きや風速の情報を、天気情報を配信するウェブサービスを提供するサーバから取得する。なお、ステップS1005は、本発明において必須の処理ではないが、ステップS1005の処理を実行することで、ステップS1006でマップに無人航空機101の飛行可能範囲を表示する際に、風向きや風速を加味したより正確な飛行範囲を示すことが可能となる。具体的には、例えば、図7の701に示す表示が可能となる。
In step S1005, the
ステップS1006において、制御用コンピュータ103は、マップに現時点での無人航空機101の飛行可能範囲を表示する。具体的には、例えば、図5の飛行可能範囲501、図6の飛行可能範囲601、図7の飛行可能範囲701を特定し、表示する。飛行可能範囲は、当該無人航空機101の現在位置1102と、「飛行速度1103×残り飛行可能時間1108=飛行可能範囲(距離)」の計算式で特定することができる。
In step S1006, the
ステップS1006は、本発明における、前記取得手段で取得した前記無人航空機の前記位置情報と、前記バッテリの残量と、当該無人航空機の飛行速度とを用いて、当該無人航空機が飛行可能な範囲を特定する特定手段の一例であり、また、前記特定手段で特定した前記無人航空機が飛行可能な範囲をユーザに認識させるべく通知する通知手段の一例である。 In step S1006, the range in which the unmanned aerial vehicle can fly is determined by using the position information of the unmanned aerial vehicle acquired by the acquisition means, the remaining amount of the battery, and the flight speed of the unmanned aerial vehicle in the present invention. It is an example of a specific means for specifying, and is also an example of a notification means for notifying the user of the range in which the unmanned aerial vehicle specified by the specific means can fly.
ステップS1007において、制御用コンピュータ103は、ステップS1006で表示した飛行可能範囲内に車両104がいるかを、無人航空機101の現在位置1102、車両104の現在位置1111、および無人航空機101の飛行可能範囲の情報をもとに判定する。制御用コンピュータ103は、飛行可能範囲内に車両104がいると判定された場合には、ステップS1010に処理を移行し、飛行可能範囲内に車両104がいないと判定された場合には、ステップS1008に処理を移行する。
In step S1007, the
ステップS1008において、制御用コンピュータ103は、飛行可能範囲内に車両104がいないことをユーザに報知する。報知の方法は、ユーザが飛行可能範囲内に車両104がいないことを認識できれば良いため、例えば、制御用コンピュータ103が備えるスピーカーから警告音を出したり、図5の通知502に示す通知を行ったりすることが考えられる。
In step S1008, the
ユーザは、制御用コンピュータ103から報知されることによって飛行可能範囲内に車両104がいないことを認識し、飛行可能範囲内に車両104を移動させるといった対応を行うことが可能となる。
The user can recognize that the
ステップS1008は、本発明における、前記特定情報によって特定される前記車両の位置が、前記特定手段で特定した前記無人航空機が飛行可能な範囲外であることを条件に、その旨をユーザに認識させるべく通知する通知手段の一例である。 Step S1008 causes the user to recognize that the position of the vehicle specified by the specific information in the present invention is outside the flight range of the unmanned aerial vehicle specified by the specific means. This is an example of a notification means for notifying.
ステップS1009において、制御用コンピュータ103は、空き地を識別表示(503)したり、駐車場を識別表示(504)したりする。ステップS1010の処理を実行することにより、ユーザがどこに車両104を移動させれば安全かつ迅速に無人航空機101を回収できるかをすぐ認識させることができる。
In step S1009, the
ステップS1010において、制御用コンピュータ103は、ユーザから無人航空機101の飛行終了指示を受け付けたかを判定する。制御用コンピュータ103は、ユーザから無人航空機101の飛行終了指示を受け付けたならば、本処理を終了し、ユーザから無人航空機101の飛行終了指示を受け付けなければ、ステップS1001に処理を戻す。つまり、途中で無人航空機101の充電が行われない限り、ステップS1010から、ステップS1001に処理を戻した後に、ステップS1006で表示される飛行可能範囲はだんだん狭くなるため、ユーザはリアルタイムにより正確な無人航空機101の飛行可能範囲を知ることができる。
In step S1010, the
なお、本実施形態では、制御用コンピュータ103から報知されるとユーザ自身が運転して車両104を移動させることを想定しているが、他の実施形態として、既知の自動運転の技術(例えば、特開2017-1597号に記載の技術)を用いて、ステップS1007で飛行可能範囲内に車両104がいないと判定された場合には、制御用コンピュータ103からの指示に従って、自動で飛行可能範囲内に車両104が移動したり、もしくは、そもそも飛行可能範囲内から車両104が出ないように車両104が自動で移動したりすることも可能である。
In this embodiment, it is assumed that the user himself / herself drives to move the
以上で、図10の説明を終了する。 This is the end of the description of FIG.
次に、図12~図14を用いて、本発明における電池残量監視処理の第2実施形態について説明する。 Next, a second embodiment of the battery remaining amount monitoring process in the present invention will be described with reference to FIGS. 12 to 14.
ステップS1301~ステップS1309の各処理は、それぞれステップS1001~ステップS1009までの各処理と同じ処理であり、ステップS1313は、ステップS1010と同じ処理であるため、説明は省略する。 Since each process of steps S1301 to S1309 is the same process as each process of steps S1001 to S1009, and step S1313 is the same process as step S1010, the description thereof will be omitted.
ステップS1310において、制御用コンピュータ103は、ステップS1306で表示した飛行可能範囲内に、当該無人航空機101が格納されていた車両104以外の他の車両104がいるかを、図14の車両管理データベース中の現在位置1402を参照することにより特定する。制御用コンピュータ103は、飛行可能範囲内に、当該無人航空機101が格納されていた車両104以外の他の車両104がいるのであれば、ステップS1311に処理を移行し、飛行可能範囲内に、当該無人航空機101が格納されていた車両104以外の他の車両104がいないのであればステップS1313に処理を移行する。
In step S1310, the
ステップS1311において、制御用コンピュータ103は、飛行可能範囲内にいる当該無人航空機101が格納されていた車両104以外の他の車両104に対して、回収依頼を行う指示を受け付けたかを判定する。回収依頼を行う指示を受け付けたならば、ステップS1312に処理を移行し、回収依頼を行う指示を受け付けなければ、ステップS1313に処理を移行する。
In step S1311, the
回収依頼の指示は、図12に示すYESボタン1204の押下をユーザから受け付けることにより受け付ける。
The collection request instruction is accepted by accepting the pressing of the
ステップS1312において、制御用コンピュータ103は、飛行可能範囲内にいる当該無人航空機101が格納されていた車両104以外の他の車両104に対して、当該無人航空機101の回収依頼を送信する。
In step S1312, the
ここで、図12について説明する。図12は、電池残量監視処理の第2実施形態において、制御用コンピュータ103のCRT310に表示されるマップの画面の一例を示す図である。
Here, FIG. 12 will be described. FIG. 12 is a diagram showing an example of a map screen displayed on the
飛行可能範囲1201は、無人航空機101の飛行可能範囲を示し、車両アイコン1202は、無人航空機101の飛行可能範囲にいる当該無人航空機101が格納されていた車両104以外の他の車両104を示す。
The
1203は、無人航空機101の回収依頼の指示をユーザから受け付けるためのポップアップであり、YESボタン1204がユーザにより押下されると、車両アイコン1202によって示される車両104に対して、当該無人航空機101の回収依頼を行い、NOボタン1205がユーザにより押下されると、車両アイコン1202によって示される車両104に対して、当該無人航空機101の回収依頼を行なわない。
回収依頼を受けた車両104のCRT310には、マップと、無人航空機101の無人航空機アイコン401と、飛行可能範囲1201が表示され、無人航空機アイコン401によって示される無人航空機101の回収依頼を受けている旨の通知がされる。
The map, the unmanned
ステップS1310~ステップS1312の処理を実行することにより、例えば、無人航空機101が格納されていた車両104が、飛行可能範囲外にいて、当該無人航空機101の飛行可能時間内に飛行可能範囲に移動ができないような場合に、他の車両104に当該無人航空機101の回収を行ってもらうことができ、無人航空機101が飛行不可能となって落下する恐れをより低減することが可能となる。
By executing the processes of steps S1310 to S1312, for example, the
次に、図14について説明する。図14は、電池残量監視処理の第2実施形態における、車両管理データベースの一例である。図14の1401~1403は、図11の1110~1112それぞれと同じであるため説明は省略する。臨時で対応する無人航空機ID1404は、車両104が無人航空機101の回収依頼を受け付けると、当該無人航空機101の無人航空機ID(無人航空機ID1101)が一時的に記憶される。
Next, FIG. 14 will be described. FIG. 14 is an example of the vehicle management database in the second embodiment of the battery remaining amount monitoring process. Since 1401 to 1403 in FIG. 14 are the same as those in 1110 to 1112 in FIG. 11, the description thereof will be omitted. The temporary corresponding unmanned
以上で図12~図14の説明を終了する。 This is the end of the description of FIGS. 12 to 14.
次に図15、図16を用いて、本発明における、無人航空機ナビゲーションシステム制御処理の他の実施形態について説明する。 Next, another embodiment of the unmanned aerial vehicle navigation system control process in the present invention will be described with reference to FIGS. 15 and 16.
図9、図10、図13に示す各処理は、制御用コンピュータ103のCPU301により実行されていたが、本実施形態(図15、図16)では、各処理が、無人航空機101のCPU201により実行される。まず、図15について説明する。
Each process shown in FIGS. 9, 10 and 13 was executed by the
ステップS1501において、無人航空機101は、制御用コンピュータ103を介したユーザからの指示に従って、無人航空機ナビゲーションシステムを起動する。
In step S1501, the unmanned
ステップS1502において、無人航空機101は、当該無人航空機101が格納されている車両104の位置情報を取得する。
In step S1502, the unmanned
ステップS1503において、無人航空機101は、当該無人航空機101の外部メモリ280にあらかじめ記憶する図11(a)の無人航空機管理データベースから当該無人航空機101の情報を取得する。
In step S1503, the unmanned
ステップS1504において、無人航空機101は、ステップS1502で取得した位置情報によって特定される車両104の現在位置周辺のマップであって、無人航空機101の移動可能範囲(距離)を表示したマップの画面を生成する。ステップS1504で生成されるマップとは、例えば、図8に示すマップの画面である。
In step S1504, the unmanned
ステップS1505において、無人航空機101は、ステップS1504で生成したマップの画面を、制御用コンピュータ103に送信する。
In step S1505, the unmanned
ステップS1506において、無人航空機101は、ステップS1505で制御用コンピュータ103に送信した図8のマップの画面上の、飛行位置決定ボタン802がユーザ操作に従って選択されることにより制御用コンピュータ103から送信される、無人航空機101の飛行開始要求を受信する。
In step S1506, the unmanned
ステップS1507において、無人航空機101は、図8のマップの画面上で、ユーザから指定を受け付けた位置に向かって飛行を開始する。
In step S1507, the unmanned
ステップS1508において、無人航空機101は、バッテリ残量監視処理を実行する。ステップS1508の処理の詳細は、図16を用いて説明する。
In step S1508, the unmanned
以上で、図15の説明を終了し、次に図16を用いて、図15のステップS1508におけるバッテリ残量(容量)監視処理の詳細について説明する。 This is the end of the description of FIG. 15, and then the details of the battery remaining amount (capacity) monitoring process in step S1508 of FIG. 15 will be described with reference to FIG.
図16は、バッテリ残量監視処理の一例を示すフローチャートである。 FIG. 16 is a flowchart showing an example of the battery remaining amount monitoring process.
図16に示す処理は、無人航空機101が飛行を開始してから飛行を終了するまで、所定のタイミングで適宜行われるものとする。
The process shown in FIG. 16 shall be appropriately performed at a predetermined timing from the start of the flight of the unmanned
ステップS1601において、無人航空機101は、現在の無人航空機101のバッテリの電圧(バッテリの残量)を取得し、取得した値を図11(a)の無人航空機管理データベース中の当該無人航空機101の現在のバッテリの電圧1107に記憶する。
In step S1601, the unmanned
ステップS1602において、無人航空機101は、現在の無人航空機101の位置情報を取得する。取得した位置情報は、図11(a)の無人航空機管理データベース中の当該無人航空機101の現在位置1102に記憶する。
In step S1602, the unmanned
ステップS1603において、無人航空機101は、現在の車両104の位置情報を取得する。取得した位置情報は、図11(b)の車両管理データベース中の当該車両104の現在位置1111に記憶する。
In step S1603, the unmanned
ステップS1604において、無人航空機101は、無人航空機101の現在位置周辺の風向きや風速の情報を、天気情報を配信するウェブサービスを提供するサーバから取得する。なお、ステップS1604は、本発明において必須の処理ではないが、ステップS1604の処理を実行することで、ステップS1605でマップに無人航空機101の飛行可能範囲を表示する際に、風向きや風速を加味したより正確な飛行範囲を示すことが可能となる。具体的には、例えば、図7の701に示す表示が可能となる。
In step S1604, the unmanned
ステップS1605において、無人航空機101は、ステップS1602、ステップS1603で取得した位置情報によって特定される無人航空機101、および車両104の現在位置に対応するマップ上の位置に、無人航空機101、および車両104のアイコン(例えば、図4の無人航空機アイコン401、および車両アイコン402)を表示し、かつ現時点での無人航空機101の飛行可能範囲を表示したマップを再生成する。飛行可能範囲は、例えば、図5の飛行可能範囲501、図6の飛行可能範囲601、図7の飛行可能範囲701を表示する。飛行可能範囲は、当該無人航空機101の現在位置1102と、「飛行速度1103×残り飛行可能時間1108=飛行可能範囲(距離)」の計算式で特定することができる。
In step S1605, the unmanned
ステップS1606において、無人航空機101は、ステップS1605で再生成したマップを制御用コンピュータ103に送信する。
In step S1606, the unmanned
ステップS1607において、無人航空機101は、無人航空機101の飛行可能範囲内に車両104がいるかを、無人航空機101の現在位置1102、車両104の現在位置1111、および無人航空機101の飛行可能範囲の情報をもとに判定する。無人航空機101は、飛行可能範囲内に車両104がいると判定した場合には、ステップS1609に処理を移行し、飛行可能範囲内に車両104がいないと判定した場合には、ステップS1608に処理を移行する。
In step S1607, the unmanned
ステップS1608において、無人航空機101は、飛行可能範囲内に車両104がいないことを警告すべく制御用コンピュータ103に通知する。通知の方法は、ユーザが飛行可能範囲内に車両104がいないことを認識できれば良いため、例えば、図5の通知502に示す通知を含む画面を無人航空機101から制御用コンピュータ103に送信することが考えられる。
In step S1608, the unmanned
ステップS1609において、無人航空機101は、制御用コンピュータ103を介して、ユーザから無人航空機101の飛行終了指示を受け付けたかを判定する。無人航空機101は、ユーザから無人航空機101の飛行終了指示を受け付けたならば、本処理を終了し、ユーザから無人航空機101の飛行終了指示を受け付けなければ、ステップS1601に処理を戻す。つまり、途中で無人航空機101の充電が行われない限り、ステップS1609から、ステップS1601に処理を戻した後に、ステップS1605で特定される飛行可能範囲はだんだん狭くなるため、ユーザはリアルタイムにより正確な無人航空機101の飛行可能範囲を知ることができる。
In step S1609, the unmanned
以上で、図16の説明を終了し、次に、図17を用いて、無人航空機ナビゲーションシステムのシステム構成の他の実施形態について説明する。 This is the end of the description of FIG. 16, and then, with reference to FIG. 17, another embodiment of the system configuration of the unmanned aerial vehicle navigation system will be described.
図1の実施形態では、車両104内に設置された制御用コンピュータ103と、無人航空機101とが通信するシステムを想定していたが、本実施形態では、制御用コンピュータ103の代わりに、人が持ち歩きながら操作する送信機1703と無人航空機101とが通信する仕組みを想定する。
In the embodiment of FIG. 1, a system in which the
図17は、無人航空機ナビゲーションシステムのシステム構成を示す図である。 FIG. 17 is a diagram showing a system configuration of an unmanned aerial vehicle navigation system.
本実施形態のシステムは、無人航空機101と、無人航空機101の飛行に関する、ユーザからの操作指示を受け付けて、その操作内容を無人航空機101に送信する送信機1703とが、ネットワーク102を介して相互に通信可能に有線又は無線で接続されている。
In the system of the present embodiment, the unmanned
無人航空機101の構成は、図1の無人航空機101と同じであるため説明は省略する。
Since the configuration of the unmanned
送信機1703は、無人航空機101の飛行を制御するためのプロポーショナルシステムである。
The transmitter 1703 is a proportional system for controlling the flight of the unmanned
送信機1703は、無人航空機101の飛行方向の指示をユーザ操作により受け付ける操作指示部1704、操作指示部1705を備えている。
The transmitter 1703 includes an operation instruction unit 1704 and an operation instruction unit 1705 that receive an instruction of the flight direction of the unmanned
また、送信機1703は、スマートフォンやタブレットPC(タブレット端末)などの情報処理装置1701と相互に通信可能に接続されている。この情報処理装置1701には、ディスプレイ1702を備えており、無人航空機101のカメラで撮影された映像をディスプレイ1702に表示することができる。また、ディスプレイ1702には、図4~8、図12に示すマップの画面を表示することができる。
Further, the transmitter 1703 is connected to an information processing device 1701 such as a smartphone or a tablet PC (tablet terminal) so as to be able to communicate with each other. The information processing device 1701 is provided with a display 1702, and an image taken by the camera of the unmanned
また、この情報処理装置1701は、GPS受信機を備えており、当該GPS受信機によりGPS衛星からの信号を受信することで情報処理装置1701の現在位置の情報(緯度、経度)を取得することができる。 Further, the information processing device 1701 is provided with a GPS receiver, and obtains information (latitude, longitude) of the current position of the information processing device 1701 by receiving a signal from a GPS satellite by the GPS receiver. Can be done.
また、情報処理装置1701は、制御用コンピュータ103が行っていた各処理(具体的には図9、図10、図13)を実行することができる。ただし、ステップS902や、ステップS1003、ステップS1303では車両の位置情報を取得していたが、本実施形態では、情報処理装置1701の位置情報を取得し、図4~8、図12に示すマップの画面にも車両の位置ではなく、情報処理装置1701の位置を表示する。また、図15のステップS1502や、図16のステップS1603において、無人航空機101は車両の位置情報を取得していたが、本実施形態では、情報処理装置1701の位置情報を取得する。また、図10のステップS1007、図13のステップS1307、図16のステップS1607で、無人航空機101の飛行可能範囲内に車両104がいるかを判定していたが、本実施形態では、情報処理装置1701が無人航空機101の飛行可能範囲内にいるかを判定する。
Further, the information processing apparatus 1701 can execute each process (specifically, FIGS. 9, 10, and 13) performed by the
図17では、送信機1703と情報処理装置1701とがそれぞれ別筐体として図示しているが、情報処理装置1701の機能を送信機1703に組み込み、送信機1703と情報処理装置1701とをあわせて送信機1703又は情報処理装置1701とすることができる。 In FIG. 17, the transmitter 1703 and the information processing device 1701 are shown as separate housings, but the functions of the information processing device 1701 are incorporated into the transmitter 1703, and the transmitter 1703 and the information processing device 1701 are combined. It can be a transmitter 1703 or an information processing device 1701.
また、無人航空機101も、GPS受信機を備えており、当該GPS受信機によりGPS衛星からの信号を受信することで無人航空機101の現在位置の情報(緯度、経度)を取得することができる。
Further, the unmanned
ユーザは、操作指示部1704、操作指示部1705などの操作部を操作して、無人航空機101への飛行方向や、飛行速度の操作を行う。そして、送信機1703は、操作部の操作を受け付けると、無人航空機101に、当該受け付けた操作内容の通りに飛行するように指示を送信して、無人航空機101は、当該指示を受信すると、当該指示の通りに飛行するようにプロペラ213を制御する。このように、送信機1703は、操作部で操作された操作指示内容を無人航空機101に送信して、無人航空機101の飛行を操作する。
The user operates the operation units such as the operation instruction unit 1704 and the operation instruction unit 1705 to control the flight direction and the flight speed to the unmanned
また、ユーザは、操作部を操作して、無人航空機101に搭載されたカメラのズームイン動作、ズームアウト動作、パン動作の操作を行う。送信機1703は、操作部の操作を受け付けると、カメラに、当該受け付けた操作内容の通りに動作するように指示を送信して、カメラは、当該指示を受信すると、当該指示の通りに、動作するようにカメラ内のレンズ等の各部材を動作する部を動作する。このように、送信機1703は、操作部で操作された操作指示内容をカメラに送信して、カメラのレンズのズーム動作、撮影方向のパン動作を操作する。
In addition, the user operates the operation unit to perform a zoom-in operation, a zoom-out operation, and a pan operation of the camera mounted on the unmanned
以上で図17の説明を終了する。 This is the end of the description of FIG.
以上、本発明によると、無人航空機の飛行可能な範囲を特定し、特定した飛行可能な範囲の情報を用いて通知を行うことで、当該無人航空機のバッテリの残量の低下による落下を低減することができる。 As described above, according to the present invention, by specifying the flightable range of the unmanned aerial vehicle and giving notification using the information of the specified flightable range, the drop due to the decrease in the remaining battery level of the unmanned aerial vehicle is reduced. be able to.
本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、1つの機器からなる装置に適用してもよい。 The present invention can be, for example, an embodiment as a system, an apparatus, a method, a program, a storage medium, or the like, and specifically, may be applied to a system composed of a plurality of devices, or 1 It may be applied to a device consisting of two devices.
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。 The present invention includes a software program that realizes the functions of the above-described embodiment, which is directly or remotely supplied to a system or an apparatus. The present invention also includes cases where the computer of the system or apparatus can also read and execute the supplied program code.
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。 Therefore, in order to realize the functional processing of the present invention on a computer, the program code itself installed in the computer also realizes the present invention. That is, the present invention also includes the computer program itself for realizing the functional processing of the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 In that case, as long as it has a program function, it may be in the form of an object code, a program executed by an interpreter, script data supplied to the OS, or the like.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、MO、CD-ROM、CD-R、CD-RWなどがある。また、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM,DVD-R)などもある。 Examples of the recording medium for supplying the program include a flexible disk, a hard disk, an optical disk, a magneto-optical disk, MO, a CD-ROM, a CD-R, a CD-RW, and the like. There are also magnetic tapes, non-volatile memory cards, ROMs, DVDs (DVD-ROM, DVD-R) and the like.
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。 In addition, as a method of supplying the program, the browser of the client computer is used to connect to the homepage of the Internet. Then, it can also be supplied by downloading the computer program of the present invention itself or a compressed file including an automatic installation function to a recording medium such as a hard disk from the homepage.
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。 It can also be realized by dividing the program code constituting the program of the present invention into a plurality of files and downloading each file from different homepages. That is, the present invention also includes a WWW server that causes a plurality of users to download a program file for realizing the functional processing of the present invention on a computer.
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, and distributed to users, and the key information for decrypting the encryption is downloaded from the homepage to the user who clears the predetermined conditions. Let me. Then, by using the downloaded key information, it is also possible to execute an encrypted program and install it on a computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the function of the above-described embodiment is realized by the computer executing the read program. In addition, based on the instruction of the program, the OS or the like running on the computer performs a part or all of the actual processing, and the function of the above-described embodiment can be realized by the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 Further, the program read from the recording medium is written to the memory provided in the function expansion board inserted in the computer or the function expansion unit connected to the computer. After that, based on the instruction of the program, the function expansion board, the CPU provided in the function expansion unit, or the like performs a part or all of the actual processing, and the function of the above-described embodiment is also realized by the processing.
なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
101 無人航空機
103 制御用コンピュータ
104 車両
1701 情報処理装置
1703 送信機
101 Unmanned
Claims (13)
前記無人航空機が飛行している位置を示す第一の位置情報と、特定の移動体または特定の携帯装置の位置情報である第二の位置情報とを取得する取得手段と、
前記取得手段で取得した前記第一の位置情報と前記第二の位置情報とに基づき、前記無人航空機が飛行可能な範囲と、前記第二の位置情報が示す位置との位置関係を通知するように制御する制御手段と
を備えることを特徴とする情報処理装置。 An information processing device that can communicate with unmanned aerial vehicles
An acquisition means for acquiring the first position information indicating the position where the unmanned aerial vehicle is flying and the second position information which is the position information of a specific moving object or a specific portable device .
Based on the first position information and the second position information acquired by the acquisition means, the positional relationship between the range in which the unmanned aerial vehicle can fly and the position indicated by the second position information is passed. With control means to control to know
An information processing device characterized by being equipped with.
前記無人航空機が飛行している位置を示す第一の位置情報と、特定の移動体または特定の携帯装置の位置情報である第二の位置情報とを取得する取得ステップと、
前記取得ステップで取得した前記第一の位置情報と前記第二の位置情報とに基づき、前記無人航空機が飛行可能な範囲と、前記第二の位置情報が示す位置との位置関係を通知するように制御する制御ステップと
を備えることを特徴とする情報処理装置の制御方法。 It is a control method for information processing devices that can communicate with unmanned aerial vehicles.
The acquisition step of acquiring the first position information indicating the position where the unmanned aerial vehicle is flying and the second position information which is the position information of a specific moving object or a specific portable device .
Based on the first position information and the second position information acquired in the acquisition step , the positional relationship between the range in which the unmanned aerial vehicle can fly and the position indicated by the second position information is passed. A control method for an information processing device, which comprises a control step for controlling to know.
前記無人航空機が飛行している位置を示す第一の位置情報と、特定の移動体または特定の携帯装置の位置情報である第二の位置情報とを取得する取得手段と、
前記取得手段で取得した前記第一の位置情報と前記第二の位置情報とに基づき、前記無人航空機が飛行可能な範囲と、前記第二の位置情報が示す位置との位置関係を通知するように制御する制御手段と
を備えることを特徴とする無人航空機。 It ’s an unmanned aerial vehicle.
An acquisition means for acquiring the first position information indicating the position where the unmanned aerial vehicle is flying and the second position information which is the position information of a specific moving object or a specific portable device .
Based on the first position information and the second position information acquired by the acquisition means, the positional relationship between the range in which the unmanned aerial vehicle can fly and the position indicated by the second position information is determined. An unmanned aerial vehicle characterized by having control means and controls to notify .
前記無人航空機が飛行している位置を示す第一の位置情報と、特定の移動体または特定の携帯装置の位置情報である第二の位置情報とを取得する取得ステップと、
前記取得ステップで取得した前記第一の位置情報と前記第二の位置情報とに基づき、前記無人航空機が飛行可能な範囲と、前記第二の位置情報が示す位置との位置関係を通知するように制御する制御ステップと
を備えることを特徴とする無人航空機の制御方法。 It ’s a control method for unmanned aerial vehicles.
The acquisition step of acquiring the first position information indicating the position where the unmanned aerial vehicle is flying and the second position information which is the position information of a specific moving object or a specific portable device .
Based on the first position information and the second position information acquired in the acquisition step , the positional relationship between the range in which the unmanned aerial vehicle can fly and the position indicated by the second position information is passed. A method of controlling an unmanned aerial vehicle, characterized in that it comprises a control step that controls it to be known.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017033247 | 2017-02-24 | ||
JP2017033247 | 2017-02-24 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017238186A Division JP6521042B2 (en) | 2017-02-24 | 2017-12-13 | Information processing apparatus, control method for information processing apparatus, unmanned aerial vehicle, unmanned aerial vehicle control method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019137398A JP2019137398A (en) | 2019-08-22 |
JP2019137398A5 JP2019137398A5 (en) | 2021-10-21 |
JP7017696B2 true JP7017696B2 (en) | 2022-02-15 |
Family
ID=63526815
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017238186A Active JP6521042B2 (en) | 2017-02-24 | 2017-12-13 | Information processing apparatus, control method for information processing apparatus, unmanned aerial vehicle, unmanned aerial vehicle control method, and program |
JP2019087768A Active JP7017696B2 (en) | 2017-02-24 | 2019-05-07 | Information processing equipment, information processing equipment control method, unmanned aerial vehicle, unmanned aerial vehicle control method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017238186A Active JP6521042B2 (en) | 2017-02-24 | 2017-12-13 | Information processing apparatus, control method for information processing apparatus, unmanned aerial vehicle, unmanned aerial vehicle control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6521042B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111095154A (en) * | 2018-09-25 | 2020-05-01 | 深圳市大疆软件科技有限公司 | Control method, control terminal and storage medium of agricultural unmanned aerial vehicle |
JP7100294B2 (en) * | 2018-10-12 | 2022-07-13 | トヨタ自動車株式会社 | Complex systems and programs |
CN113168777B (en) * | 2018-11-27 | 2023-05-23 | 株式会社尼罗沃克 | Work planning device, control method for work planning device, unmanned aerial vehicle, and computer-readable recording medium |
WO2021065543A1 (en) * | 2019-09-30 | 2021-04-08 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2023152862A1 (en) * | 2022-02-10 | 2023-08-17 | 三菱電機株式会社 | Wind condition learning device, wind condition predicting device, and drone system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150370251A1 (en) | 2014-06-20 | 2015-12-24 | Hti, Ip, L.L.C. | Method and system for drone deliveries to vehicles in route |
US20160257401A1 (en) | 2015-03-02 | 2016-09-08 | Amazon Technologies, Inc. | Landing of unmanned aerial vehicles on transportation vehicles for transport |
WO2016169065A1 (en) | 2015-04-24 | 2016-10-27 | SZ DJI Technology Co., Ltd. | Method, device and system for presenting operation information of a mobile platform |
JP2016535879A (en) | 2014-05-30 | 2016-11-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | System and method for UAV docking |
US20170039424A1 (en) | 2012-08-06 | 2017-02-09 | Cloudparc, Inc. | Tracking a vehicle using an unmanned aerial vehicle |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011155020A1 (en) * | 2010-06-07 | 2011-12-15 | トヨタ自動車株式会社 | Flight control support device |
WO2017013842A1 (en) * | 2015-07-17 | 2017-01-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Unmanned flight vehicle, flight control method, and flight control program |
-
2017
- 2017-12-13 JP JP2017238186A patent/JP6521042B2/en active Active
-
2019
- 2019-05-07 JP JP2019087768A patent/JP7017696B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170039424A1 (en) | 2012-08-06 | 2017-02-09 | Cloudparc, Inc. | Tracking a vehicle using an unmanned aerial vehicle |
JP2016535879A (en) | 2014-05-30 | 2016-11-17 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | System and method for UAV docking |
US20150370251A1 (en) | 2014-06-20 | 2015-12-24 | Hti, Ip, L.L.C. | Method and system for drone deliveries to vehicles in route |
US20160257401A1 (en) | 2015-03-02 | 2016-09-08 | Amazon Technologies, Inc. | Landing of unmanned aerial vehicles on transportation vehicles for transport |
WO2016169065A1 (en) | 2015-04-24 | 2016-10-27 | SZ DJI Technology Co., Ltd. | Method, device and system for presenting operation information of a mobile platform |
Also Published As
Publication number | Publication date |
---|---|
JP2019137398A (en) | 2019-08-22 |
JP2018142302A (en) | 2018-09-13 |
JP6521042B2 (en) | 2019-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7017696B2 (en) | Information processing equipment, information processing equipment control method, unmanned aerial vehicle, unmanned aerial vehicle control method, and program | |
KR102219698B1 (en) | Apparatus and method for controlling unmanned aerial vehicle | |
US20170111617A1 (en) | Identification of recorded image data | |
JP2017174326A (en) | Information processing system, control method thereof, and program and server device, control method thereof, and program | |
JP6575476B2 (en) | Unmanned aircraft control system, control method thereof, and program | |
JP6730585B2 (en) | Unmanned aerial vehicle, system, control method thereof, and program | |
JP2018092237A (en) | Unmanned aircraft control system, and control method and program of the same | |
JP6781375B2 (en) | Unmanned aerial vehicle control system, its control method, and program | |
JP2018070010A (en) | Unmanned aircraft controlling system, controlling method and program thereof | |
WO2022193192A1 (en) | Unmanned aerial vehicle scheduling method, server, base station, system, and readable storage medium | |
JP2018103936A (en) | Unmanned aircraft control system, control method thereof, and program | |
JP2018173960A (en) | Information processing system, control method thereof and program | |
JP2017159753A (en) | Unmanned aircraft, control method for the same and program, and unmanned aircraft control system, control method for the same and program | |
JP2019026121A (en) | Unmanned aircraft control system, control method therefor, and program | |
JP2018090012A (en) | Unmanned aircraft control system, method for controlling unmanned aircraft control system, and program | |
JP6978818B2 (en) | Unmanned aerial vehicle control system, its control method, and program | |
WO2019206044A1 (en) | Information processing device, instruction method for providing notification information, program, and recording medium | |
WO2019241970A1 (en) | Unmanned aerial vehicle speaker control method and device | |
JP6555226B2 (en) | Unmanned aircraft control system, control method thereof, and program | |
JP2018174441A (en) | Unmanned aerial vehicle control system, information processing apparatus, unmanned aerial vehicle, their control methods, and program | |
JP2018142246A (en) | System, and control method and program thereof | |
JP2019064349A (en) | System, and control method, program of the same | |
JP2019046272A (en) | Unmanned aerial vehicle, radio station, unmanned aerial vehicle control system, control method thereof, and program | |
JP6826294B2 (en) | System, its control method, and program | |
JP2018142907A (en) | Information processing apparatus, control method and program of information processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210805 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7017696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |