JP7447820B2 - 移動体、通信方法、およびプログラム - Google Patents

移動体、通信方法、およびプログラム Download PDF

Info

Publication number
JP7447820B2
JP7447820B2 JP2020572156A JP2020572156A JP7447820B2 JP 7447820 B2 JP7447820 B2 JP 7447820B2 JP 2020572156 A JP2020572156 A JP 2020572156A JP 2020572156 A JP2020572156 A JP 2020572156A JP 7447820 B2 JP7447820 B2 JP 7447820B2
Authority
JP
Japan
Prior art keywords
priority
photographed image
data
mobile object
analysis result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572156A
Other languages
English (en)
Other versions
JPWO2020166348A1 (ja
Inventor
象 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020166348A1 publication Critical patent/JPWO2020166348A1/ja
Application granted granted Critical
Publication of JP7447820B2 publication Critical patent/JP7447820B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0226—Traffic management, e.g. flow control or congestion control based on location or mobility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/56—Allocation or scheduling criteria for wireless resources based on priority criteria
    • H04W72/566—Allocation or scheduling criteria for wireless resources based on priority criteria of the information or information source or recipient
    • H04W72/569—Allocation or scheduling criteria for wireless resources based on priority criteria of the information or information source or recipient of the traffic information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32—UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Description

本開示は、移動体、通信方法、およびプログラムに関し、特に、必要なデータを優先的に送信することができるようにする移動体、通信方法、およびプログラムに関する。
従来、自律移動する移動体とコントローラまたはサーバとの間の通信は、データの種類を問わず一律に行われていた。移動体には、自律移動するドローンや車両、船舶、掃除機などの自律移動ロボットに加え、移動体に付属して移動する機器なども含まれる。したがって、移動体の移動には、飛行による移動、陸上や水上（または水中）の移動、屋内の移動などが含まれる。
その中で、特許文献１には、無人航空機（ＵＡＶ）が送信する画像データより高い優先度で、地上端末が飛行制御データを送信することが記載されている。
特表２０１７－５０３３８５号公報
移動体が、移動中にデータを送信する際、例えば、移動が成功しているか否かに応じて、送信するデータの優先順位を設定し、送信判断を行うことが求められる。移動が成功しているか否かは、例えば、所定の経路に沿って移動したか否かによって判断されたり、撮影された画像データの内容によって判断される。
また、既に撮影された画像データについて、再度、撮影する必要があるか否かの判断を早く行うためには、判断に必要な画像データを優先的に送信することが必要となる。
本開示は、このような状況に鑑みてなされたものであり、必要なデータを優先的に送信することができるようにするものである。
本開示の移動体は、移動中に撮影を行うカメラと、自機において取得されたデータに対して処理の優先度を設定する制御部と、設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データを送信する通信部と備え、前記制御部は、前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析を行い、前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度を設定し、前記通信部は、設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する移動体である。
本開示の通信方法は、移動中に撮影を行うカメラを備える移動体が、自機において取得されたデータに対して処理の優先度を設定し、設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データを送信する通信方法であって、前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析を行い、前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度を設定し、設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する通信方法である。
本開示のプログラムは、コンピュータに、移動中に撮影を行うカメラを備える移動体において取得されたデータに対して処理の優先度を設定し、設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データを送信する処理を実行させるためのプログラムであって、前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析を行い、前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度を設定し、設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する処理を実行させるためのプログラムである。
本開示においては、移動中に撮影を行うカメラを備える移動体において取得されたデータに対して処理の優先度が設定され、設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データが送信され、前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析が行われ、前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度が設定され、設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかが送信される。
本開示に係る技術を適用した移動体について説明する図である。 測量・点検システムの概要を説明する図である。 測量・点検システムの概要を説明する図である。 移動体の構成例を示すブロック図である。 クラウドサーバのハードウェアの構成例を示すブロック図である。 クラウドサーバの機能構成例を示すブロック図である。 データ送信処理の流れについて説明するフローチャートである。 優先度について説明する図である。 優先度について説明する図である。 移動体の他の構成例を示すブロック図である。 データ送信処理の流れについて説明するフローチャートである。 送信優先度について説明する図である。 飛行目的毎の識別対象と解析結果の例について説明する図である。 クラウドサーバの動作について説明するフローチャートである。
以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．本開示に係る技術を適用した移動体
２．測量・点検システムの概要
３．移動体およびクラウドサーバの構成
４．データ送信処理の流れ
５．撮影画像の解析を行う例
６．飛行目的毎の識別対象と解析結果の例
７．クラウドサーバの動作
８．その他
＜１．本開示に係る技術を適用した移動体＞
図１に示されるように、本開示に係る技術を適用した移動体１は、自機が取得したデータに対して処理の優先度を設定し、設定された優先度に基づいてデータを送信するように構成される。図１においては、データＡ，Ｂ，Ｃに対して処理の優先度が設定され、設定されたそれぞれの優先度でデータＡ，Ｂ，Ｃが送信されている。
移動体には、自律移動するドローンや車両、船舶、掃除機などの自律移動ロボットに加え、移動体に付属して移動する機器なども含まれる。以下においては、本開示に係る技術を、空中を飛行するドローンに適用した例について説明するが、本開示に係る技術は、ドローンの他、陸上を移動する自律走行車両、水上または水中を移動する自律航行船舶、屋内を移動する自律移動掃除機などの自律移動ロボットに適用することが可能である。
＜２．測量・点検システムの概要＞
図２は、本開示に係る技術（本技術）を適用した移動体を含む測量・点検システムの概要を説明する図である。
図２の測量・点検システムにおいては、ＵＡＶ（Unmanned Aerial Vehicle）による地形の測量や構造物の点検などが行われる。
図２に示されるように、地上には、本技術を適用した移動体の移動経路上であらかじめ設定された位置に配置されるターゲット標識の一例として、対空標識１０が設置されている。ターゲット標識には、対空標識１０の他、交通標識やジオフェンス用標識、建築物、人などが含まれる。対空標識１０は、人手によって設置されたり、ドローンなどの無人航空機や人が操縦する航空機などの飛行体からばらまくことなどによって設置されたりする。また、ドローンの天面に対空標識１０を設置することで、対空標識１０そのものが移動するようにしてもよい。
なお、図示はしないが、地形の測量が行われる際には、地上には、複数の対空標識１０が設置される。
対空標識１０は、所定の図形を印刷した紙やプラスチックなどで構成されてもよいし、所定の形状のプラスチックやゴムなどの平板状の材料を重ねて構成されてもよい。また、対空標識１０は、所定の図形を表示するＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどの表示パネルで構成されてもよいし、レフ板のような、広げて展開する構造を有していてもよい。
対空標識１０は、空撮される。図２の測量・点検システムにおいては、ドローンとして構成される移動体２０にカメラ２１が搭載されており、移動体２０を移動させ、移動体２０に搭載されたカメラ２１により、対空標識１０の撮影（対空標識１０の空撮）が行われる。この例では、移動体２０の移動は、飛行による移動となるが、移動体２０が自律走行車両として構成される場合には、陸上の移動となり、移動体２０が自律航行船舶として構成される場合には、水上または水中の移動となる。また、移動体２０が自律移動掃除機として構成される場合には、屋内の移動となる。
対空標識１０の空撮の方法は、移動体２０を用いる方法に限定されるものではない。すなわち、対空標識１０の空撮は、移動体２０のような無人航空機を用いる以外にも、例えば、人が搭乗して操縦する飛行体や、人工衛星などを用いて行われてもよい。
移動体２０は、ＧＰＳ（Global Positioning System）衛星４０から送信されてくるＧＰＳ情報を受信することで、自機の緯度および経度を表す位置情報（自機位置）を取得する。
また、移動体２０は、カメラ２１により対空標識１０を撮影することにより取得される撮影画像（例えば、静止画像）を、地上に設置される基地局４１を介して、無線通信や有線通信によって、クラウドサーバ３０に送信する。
なお、図３に示されるように、移動体２０は、送信機やＰＣ（Personal Computer）などにより構成される、移動体２０を操縦するためのコントローラ４２を介して、撮影画像をクラウドサーバ３０に送信することもできる。また、移動体２０が、撮影画像を直接、クラウドサーバ３０に送信するようにしてもよい。
クラウドサーバ３０は、カメラ２１からの撮影画像を解析することにより、撮影画像に写る対空標識１０を識別する。また、クラウドサーバ３０は、対空標識１０の解析結果を用いて、地上の地形の３次元モデルを作成する。そして、クラウドサーバ３０は、作成した３次元モデルから地上の地形の測量を行い、その測量結果を出力する。
クラウドサーバ３０が行う処理は、クラウドサーバ３０ではなく、移動体２０で行われてもよいし、移動体２０とクラウドサーバ３０とで分担して行われてもよい。
ところで、上述のような測量・点検システムにおいては、クラウドサーバ３０がカメラ２１からの撮影画像を解析するにあたり、対空標識１０が写っていない撮影画像は必要とされない。
したがって、クラウドサーバ３０が、より早く、地形の測量結果を出力するためには、移動体２０が、飛行中に、対空標識１０が写っている撮影画像を優先的に送信することが必要となる。
そこで、図２の測量・点検システムにおいては、移動体２０が、自機において取得された撮影画像に対して処理の優先度を設定することで、対空標識１０が写っている撮影画像が優先的に送信されるようにする。これにより、移動体２０とクラウドサーバ３０間の通信帯域が狭い場合であっても、より少ない遅延で、地形の測量結果を出力することができる。
＜３．移動体およびクラウドサーバの構成＞
以下においては、上述した測量・点検システムを構成する移動体２０およびクラウドサーバ３０の構成について説明する。
（移動体の構成）
図４は、移動体２０の構成例を示すブロック図である。
移動体２０は、通信部５１、制御部５２、駆動制御部５３、移動機構５４、および記憶部５５を備えている。
通信部５１は、ネットワークインタフェースなどで構成され、クラウドサーバ３０や、移動体２０を操縦するためのコントローラ４２（図３）、その他の任意の装置との間で、無線または有線による通信を行う。例えば、通信部５１は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。また、通信部５１は、ＧＰＳ衛星４０から送信されてくるＧＰＳ情報を受信することで、自機位置を取得する。
制御部５２は、ＣＰＵ（Central Processing Unit）やメモリなどで構成され、所定のプログラムを実行することにより、通信部５１、駆動制御部５３、記憶部５５、およびカメラ２１を制御する。
駆動制御部５３は、専用ＩＣやＦＰＧＡ（Field-Programmable Gate Array）などの回路により構成され、制御部５２の制御に従い、移動機構５４の駆動を制御する。
移動機構５４は、移動体２０を移動させるための機構であり、飛行機構、走行機構、推進機構などが含まれる。この例では、移動体２０はドローンとして構成され、移動機構５４は飛行機構としてのモータやプロペラなどから構成される。また、移動体２０が自律走行車両として構成される場合、移動機構５４は走行機構としての車輪などから構成され、移動体２０が自律航行船舶として構成される場合、移動機構５４は推進機構としてのスクリュープロペラなどから構成される。移動機構５４は、駆動制御部５３の制御に従って駆動し、移動体２０を移動させる。
移動体２０においては、制御部５２が、例えば、通信部５１で受信されたコントローラ４２からの信号に従い、駆動制御部５３を制御することにより、移動機構５４を駆動させる。これにより、移動体２０は、コントローラ４２の操作に従って移動する。
また、制御部５２は、コントローラ４２からの信号に従い、カメラ２１を制御し、撮影を行わせる。
記憶部５５は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部５２の制御に従い、各種の情報を記憶する。例えば、記憶部５５は、移動経路に関するコンテキスト情報として、移動経路上であらかじめ設定された特定位置を記憶（格納）する。特定位置は、例えば、ターゲット標識としての対空標識１０が設置されている設置位置とされる。
制御部５２は、自機において取得されたデータに対して、処理の優先度を設定する。具体的には、制御部５２は、クラウドサーバ３０に送信するデータ（以下、送信データともいう）に対して送信についての優先度を設定したり、データ解析についての優先度を設定する。例えば、制御部５２は、カメラ２１の撮影により撮影画像が取得された時の自機位置と、記憶部５５に格納されているコンテキスト情報（特定位置）とに基づいて、撮影画像を含む送信データに対して優先度を設定する。
そして、通信部５１は、制御部５２により設定された優先度に基づいて、送信データをクラウドサーバ３０に送信する。
（クラウドサーバの構成）
図５は、クラウドサーバ３０のハードウェアの構成例を示すブロック図である。
クラウドサーバ３０は、ＣＰＵ７２を内蔵しており、ＣＰＵ７２には、バス７１を介して、入出力インタフェース８０が接続されている。
ＣＰＵ７２は、入出力インタフェース８０を介して、ユーザ（オペレータ）などによって、入力部７７が操作されることにより指令が入力されると、それに従って、ＲＯＭ（Read Only Memory）７３に格納されているプログラムを実行する。また、ＣＰＵ７２は、ハードディスク７５に格納されたプログラムを、ＲＡＭ（Random Access Memory）７４にロードして実行する。
ＣＰＵ７２は、各種の処理を行うことで、クラウドサーバ３０を所定の機能を有する装置として機能させる。ＣＰＵ７２は、各種の処理の処理結果を、必要に応じて、例えば、入出力インタフェース８０を介して、出力部７６から出力させたり、通信部７８から送信させたり、ハードディスク７５に記録させる。
入力部７７は、キーボードや、マウス、マイクロフォンなどで構成される。出力部７６は、ＬＣＤやスピーカなどで構成される。
ＣＰＵ７２が実行するプログラムは、クラウドサーバ３０に内蔵されている記録媒体としてのハードディスク７５やＲＯＭ７３、リムーバブル記録媒体８１に、あらかじめ記録しておくことができる。
図６は、クラウドサーバ３０の機能構成例を示すブロック図である。
図６に示されるように、クラウドサーバ３０は、通信部９１、制御部９２、および記憶部９３を備えている。
通信部９１は、図５の通信部７８に対応し、移動体２０との間で、無線または有線による通信を行う。例えば、通信部９１は、移動体２０において設定された優先度に基づいて送信されてくる撮影画像などの送信データを受信する。
制御部９２は、図５のＣＰＵ７２やＲＯＭ７３，ＲＡＭ７４に対応し、通信部９１および記憶部９３を制御する。制御部９２は、通信部９１により受信されたデータや、記憶部９３に格納されたデータを用いた処理を行う。
記憶部９３は、例えば、図５のハードディスク７５などに対応し、移動体２０から送信されてくる撮影画像などの各種データを記憶（格納）する。
＜４．データ送信処理の流れ＞
次に、図７のフローチャートを参照して、図４の移動体２０によるデータ送信処理の流れについて説明する。図７の処理は、例えば、移動体２０が、コントローラ４２の操作に従って、複数の対空標識１０が設置されている移動経路（飛行経路）に沿った飛行を開始した後に実行される。
ステップＳ１１において、飛行中の移動体２０に搭載されたカメラ２１は、地上の撮影（空撮）を行う。カメラ２１の撮影により取得された撮影画像は、制御部５２に供給される。
ステップＳ１２において、通信部５１は、カメラ２１の撮影タイミングで、ＧＰＳ衛星４０から送信されてくるＧＰＳ情報を受信することで、自機位置を取得する。
ステップＳ１３において、制御部５２は、通信部５１により取得された自機位置と、記憶部５５に格納されている対空標識１０の設置位置との距離に応じて、撮影画像に対して優先度を設定する。
ここで、図８を参照して、撮影画像に対して設定される優先度について説明する。
図８に示されるように、取得された撮影画像が、対空標識１０付近を撮影した撮影画像である場合、すなわち、自機位置と対空標識１０の設置位置との距離が近い場合、優先度は「高」に設定される。
一方、取得された撮影画像が、対空標識１０付近を撮影した撮影画像ではないその他の撮影画像である場合、すなわち、自機位置と対空標識１０の設置位置との距離が遠い場合、優先度は「低」に設定される。
このように、図８の例では、撮影画像に対して「高」、「低」いずれかの優先度が設定される。
図７のフローチャートに戻り、ステップＳ１４において、制御部５２は、撮影画像に対して設定された優先度が高いか（「高」であるか）否かを判定する。
ステップＳ１４において優先度が「高」であると判定された場合、ステップＳ１５において、制御部５２は、通信部５１を制御することで、撮影画像をクラウドサーバ３０に送信する。
ステップＳ１５において、撮影画像がクラウドサーバ３０へ送信された後、ステップＳ１１に戻り、同様の処理が、一定の時間間隔毎に繰り返される。また、ステップＳ１４において、優先度が「低」であると判定された場合には、撮影画像は送信されずに、ステップＳ１１に戻り、同様の処理が、一定の時間間隔毎に繰り返される。
以上のようにして、移動体２０は、飛行経路に沿って飛行している最中、例えば数分おきなどの周期で地上を空撮し、取得された撮影画像に対して設定した優先度に基づいて、撮影画像をクラウドサーバ３０に送信する。
なお、優先度が「低」に設定された撮影画像は、記憶部５５に格納されるなどして、飛行終了後にまとめて、例えば有線通信によって、クラウドサーバ３０に送信されるようにしてもよい。
また、優先度が「高」に設定された撮影画像が、制御部５２の送信バッファに蓄積されるようにして、一定量の撮影画像が蓄積されたときにまとめて、クラウドサーバ３０に送信されるようにしてもよい。
以上の処理によれば、対空標識１０が写っている可能性の高い撮影画像を優先的に送信する、すなわち、必要なデータを優先的に送信することが可能となる。これにより、移動体２０とクラウドサーバ３０間の通信帯域が狭い場合であっても、より少ない遅延で、地形の測量結果を出力することができる。
以上においては、優先度が「高」に設定された撮影画像そのものが、クラウドサーバ３０に送信されるものとしたが、優先度が「高」に設定された撮影画像の識別子が、クラウドサーバ３０に送信されるようにしてもよい。優先度が「高」に設定された撮影画像そのものは、記憶部５５に格納されるなどして、飛行終了後にまとめて、クラウドサーバ３０に送信されるようにする。
撮影画像の識別子は、撮影画像を特定することが可能な情報であればよく、例えば、撮影画像のファイル名や、別途付与されたＩＤなどとされる。
この場合、撮影画像の識別子と、その撮影画像が取得された時の自機位置（ＧＰＳ情報）とが対応付けられるようにし、そのＧＰＳ情報の位置と対空標識１０の設置位置との距離に応じて、撮影画像の識別子に対して優先度が設定されるようにする。
また、カメラ２１をＧＰＳカメラとして構成することで、撮影画像に含まれるＥｘｉｆ（Exchangeable image file format）情報に、その撮影画像が取得された時のＧＰＳ情報が格納されるようにしてもよい。この場合、そのＧＰＳ情報の位置と対空標識１０の設置位置との距離に応じて、撮影画像に対して優先度が設定されてもよい。
ここで、図９を参照して、撮影画像やその識別子に対して設定される優先度について説明する。
図９に示されるように、取得された撮影画像の識別子に対応付けられたＧＰＳ情報の位置が、対空標識１０の設置位置付近となる場合、その撮影画像の識別子に対する優先度は「高」に設定される。
また、取得された撮影画像の識別子に対応付けられたＧＰＳ情報の位置が、対空標識１０の設置位置から遠い場合、その撮影画像の識別子に対する優先度は「低」に設定される。
このように、撮影画像の識別子が送信される場合、撮影画像そのものが送信される場合より、クラウドサーバ３０に送信されるデータのデータ量が小さくなる。
一方、Ｅｘｉｆ情報に格納されたＧＰＳ情報の位置が、対空標識１０の設置位置付近となる場合、その撮影画像に対する優先度は「高」に設定される。
また、Ｅｘｉｆ情報に格納されたＧＰＳ情報の位置が、あらかじめ設定された対空標識１０の設置位置から遠い場合、その撮影画像に対する優先度は「低」に設定される。
このように、撮影画像そのものが送信される場合、撮影画像の識別子が送信される場合と比べて、クラウドサーバ３０に送信されるデータのデータ量が大きくなる。
図９の例において、データ量の小さい識別子とデータ量の大きい撮影画像とがともに、優先度に応じて送信されるようにした場合には、同じ優先度であってもデータ量の小さいデータが優先的に送信されるようにしてもよい。
以上のようにして、撮影画像の識別子に対応付けられたＧＰＳ情報や、撮影画像に含まれるＧＰＳ情報の位置と、対空標識１０の設置位置との距離に応じて、撮影画像の識別子や撮影画像そのものに対して優先度を設定することができる。
＜５．撮影画像の解析を行う例＞
以下では、移動体２０が、カメラ２１の撮影により取得された撮影画像を解析し、撮影画像に対空標識１０が写っているか否かを判別することで、より確実に、対空標識１０が写っている撮影画像を送信する例について説明する。
（ドローンの構成）
図１０は、移動体２０の他の構成例を示すブロック図である。
図１０の移動体２０は、基本的には、図４の移動体２０と同様に構成されるが、記憶部５５に識別器１２０が記憶（保持）されている点で、図４の移動体２０と異なる。
制御部５２は、記憶部５５に保持されている識別器１２０を用いて、カメラ２１の撮影により取得された撮影画像を解析する。また、制御部５２は、撮影画像と撮影画像の解析結果に対して優先度を設定する。
識別器１２０を構成するアルゴリズム、アルゴリズム内の閾値や繰り返し回数などのパラメータは、地形の測量や構造物の点検などの飛行目的や移動体２０の飛行環境毎に、あらかじめ設定されている。
通信部５１は、設定された優先度に基づいて、撮影画像とその解析結果の少なくともいずれかを、クラウドサーバ３０に送信する。
（データ送信処理）
次に、図１１のフローチャートを参照して、図１０の移動体２０によるデータ送信処理の流れについて説明する。
なお、図１１のフローチャートにおけるステップＳ３１，Ｓ３２の処理は、図７のフローチャートにおけるステップＳ１１，Ｓ１２の処理と同様であるので、その説明は省略する。
ステップＳ３３において、制御部５２は、通信部５１により取得された自機位置と、記憶部５５に格納されている対空標識１０の設置位置との距離に応じて、撮影画像に対して解析優先度を設定する。
解析優先度は、撮影画像の解析についての優先度であり、高い優先度が設定された撮影画像が優先的に解析対象となる。言い換えると、対空標識１０が写っている可能性の高い撮影画像が優先的に解析される。
ステップＳ３４において、制御部５２は、撮影画像に設定された優先度に基づいて、撮影画像を解析する。具体的には、制御部５２は、記憶部５５に保持されている識別器１２０を用いて、撮影画像における特定位置（対空標識１０の設置位置）に対応する被写体、すなわち対空標識１０の識別を行う。
ここでは、撮影画像の解析結果（識別結果）として、例えば、被写体（対空標識１０）の有無、被写体（対空標識１０）の位置情報（座標位置）、解析された撮影画像の識別子、識別対象が被写体（対空標識１０）であることの確度などが得られる。
撮影画像の解析が完了すると、ステップＳ３５に進み、制御部５２は、撮影画像およびその解析結果に対して、送信優先度を設定する。
送信優先度は、クラウドサーバ３０への送信についての優先度であり、高い優先度が設定された撮影画像または解析結果が優先的にクラウドサーバ３０に送信される。
ここで、図１２を参照して、撮影画像および解析結果に対して設定される送信優先度について説明する。この例では、データ量が小さいデータほど高い優先度が設定される。
すなわち、データ量の小さい解析結果（解析された撮影画像の識別子や、対空標識１０の位置情報など）に対する優先度は「高」に設定される。
なお、撮影画像の解析結果として得られる、対空標識１０の有無、対空標識１０の位置情報、解析された撮影画像の識別子、識別対象の確度のそれぞれに対して、個別に優先度が設定されてもよい。
一方、解析結果と比べてデータ量の大きい撮影画像そのもののうち、対空標識１０が写っている撮影画像に対する優先度は「中」に設定され、対空標識１０が写っていない撮影画像に対する優先度は「低」に設定される。
ここで、対空標識１０が写っている撮影画像から、対空標識１０を含む領域を切り出すことで、そのデータ量を中程度に収めることができる。この場合、対空標識１０を含む領域を切り出した画像に対する優先度は、例えば「中」に設定される。
このように、図１２の例では、撮影画像に対して「高」、「中」、「低」いずれかの優先度が設定される。
図１１のフローチャートに戻り、ステップＳ３６において、制御部５２は、撮影画像および解析結果に対して設定された優先度が高いか（「高」であるか）否かを判定する。
ステップＳ３６において優先度が「高」と判定された場合、ステップＳ３７において、制御部５２は、通信部５１を制御することで、撮影画像または解析結果をクラウドサーバ３０に送信する。
ステップＳ３７において、撮影画像または解析結果がクラウドサーバ３０へ送信された後、ステップＳ３１に戻り、同様の処理が、一定の時間間隔毎に繰り返される。また、ステップＳ３６において、優先度が「中」または「低」と判定された場合には、撮影画像は送信されずに、ステップＳ３１に戻り、同様の処理が、一定の時間間隔毎に繰り返される。
以上のようにして、移動体２０は、飛行経路に沿って飛行している最中、例えば数分おきなどの周期で地上を空撮し、取得された撮影画像とその解析結果に対して設定した優先度に基づいて、撮影画像または解析結果をクラウドサーバ３０に送信する。
なお、優先度が「中」や「低」に設定された撮影画像は、記憶部５５に格納されるなどして、飛行終了後にまとめて、例えば有線通信によって、クラウドサーバ３０に送信されるようにする。
また、優先度が「高」に設定された解析結果が、制御部５２の送信バッファに蓄積されるようにして、一定量の解析結果が蓄積されたときにまとめて、クラウドサーバ３０に送信されるようにしてもよい。
以上の処理によれば、対空標識１０が写っている可能性の高い撮影画像の解析結果を優先的に送信する、すなわち、必要なデータを優先的に送信することが可能となる。これにより、移動体２０とクラウドサーバ３０間の通信帯域が狭い場合であっても、より少ない遅延で、地形の測量結果を出力することができる。
＜６．飛行目的毎の識別対象と解析結果の例＞
以上においては、移動体２０の飛行目的は、地形の測量であるものとしたが、構造物の点検であってもよい。構造物の点検には、例えば、地上に設置されたビルなどの建築物の外壁のひび割れやタイル剥がれの検出、ソーラーパネルの損傷の検出などがある。
図１３は、飛行目的毎の、撮影画像の解析における識別対象と解析結果の例について説明する図である。
飛行目的が地形の測量の場合には、図１３上段に示されるように、上述した通り、撮影画像の解析における識別対象（被写体）は、対空標識１０となる。また、その解析結果は、対空標識１０の位置情報などとなる。
飛行目的が建築物の外壁のひび割れやタイル剥がれの検出の場合には、図１３中段に示されるように、撮影画像の解析における識別対象は、外壁のひび割れやタイル剥がれとなる。また、その解析結果は、外壁のひび割れ箇所やタイル剥がれ箇所を表す検出情報となる。
飛行目的がソーラーパネルの損傷の検出の場合には、図１３下段に示されるように、撮影画像の解析における識別対象は、ソーラーパネルの損傷となる。また、その解析結果は、ソーラーパネルの損傷箇所を表す検出情報となる。
このように、移動体２０の飛行目的が、構造物の点検である場合には、識別対象となる構造物の点検対象部分が写っている可能性の高い撮影画像の解析結果を優先的に送信する、すなわち、必要なデータを優先的に送信することが可能となる。これにより、移動体２０とクラウドサーバ３０間の通信帯域が狭い場合であっても、より少ない遅延で、構造物の点検結果を出力することができる。
図１０の構成では、移動体２０が、撮影画像を解析し、その解析結果をクラウドサーバ３０に送信するものとしたが、クラウドサーバ３０が、移動体２０から送信されてくる撮影画像を解析してもよい。
＜７．クラウドサーバの動作＞
ここで、図１４のフローチャートを参照して、クラウドサーバ３０が撮影画像を解析する場合のクラウドサーバ３０の動作について説明する。この場合、クラウドサーバ３０の記憶部９３に識別器１２０が保持されているものとする。
ステップＳ５１において、通信部９１は、移動体２０からの撮影画像を受信する。この撮影画像は、例えば対空標識１０が写っている可能性の高い撮影画像とされる。
ステップＳ５２において、制御部９２は、移動体２０からの撮影画像を解析する。具体的には、制御部９２は、記憶部９３に保持されている識別器１２０を用いて、撮影画像における対空標識１０の識別を行う。
ステップＳ５３において、制御部９２は、移動体２０からの撮影画像とその解析結果を、記憶部９３に格納する。
記憶部９３に格納された解析結果は、地上の地形の３次元モデルの作成に用いられる。クラウドサーバ３０は、作成された３次元モデルから地上の地形の測量を行い、通信部９１を介して、その測量結果を出力する。
＜８．その他＞
（変形例）
撮影画像とその解析結果に対して優先度を設定する構成において、撮影画像の送信中に、その解析結果に対して送信中の撮影画像より高い優先度が設定された場合、通信部５１が、解析結果を割り込んで送信するようにしてもよい。これにより、より確実に、必要なデータを優先的に送信することが可能となる。
また、通信帯域が狭いときなどに、送信バッファに蓄積された未送信のデータの量が所定量を超えた場合（例えば、送信バッファがあふれた場合）、通信部５１は、その未送信のデータを送信しないようにしてもよい。
さらに、以上においては、優先度として「高」、「低」の２パターン、または、「高」、「中」、「低」の３パターンが設定されるものとした。これに限らず、同じ優先度のデータ（撮影画像や解析結果）に対して、さらに詳細な優先順位が付与されてもよい。
具体的には、同じ優先度が設定された複数のデータに対して、例えば、データ量の少ない撮影画像から高い優先順位が付与されたり、識別対象の確度が高い解析結果から高い優先順位が付与されるようにする。
この場合、通信部５１は、優先順位が所定の順位より低いデータを送信しないようにしてもよい。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム記録媒体からインストールされる。
本開示に係る技術の実施の形態は、上述した実施の形態に限定されるものではなく、本開示に係る技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
自機において取得されたデータに対して処理の優先度を設定する制御部と、
設定された前記優先度に基づいて前記データを送信する通信部と
備える移動体。
（２）
前記制御部は、前記データが取得された時の自機位置と、移動経路に関するコンテキスト情報とに基づいて、前記データに対して前記優先度を設定する
（１）に記載の移動体。
（３）
前記移動経路に関するコンテキスト情報は、前記移動経路上であらかじめ設定された特定位置を含む
（２）に記載の移動体。
（４）
移動中に撮影を行うカメラをさらに備え、
送信される前記データは、前記カメラの撮影により取得された撮影画像を含む
（３）に記載の移動体。
（５）
前記制御部は、前記撮影画像が取得された時の前記自機位置と、前記特定位置との距離に応じて、前記撮影画像に対して前記優先度を設定し、
前記通信部は、設定された前記優先度に基づいて前記撮影画像を送信する
（４）に記載の移動体。
（６）
前記制御部は、前記撮影画像の識別子に対応付けられた位置情報で示される位置と、前記特定位置との距離に応じて、前記識別子に対して前記優先度を設定し、
前記通信部は、設定された前記優先度に基づいて前記識別子を送信する
（４）に記載の移動体。
（７）
前記制御部は、前記撮影画像に含まれる位置情報で示される位置と、前記特定位置との距離に応じて、前記撮影画像に対して前記優先度を設定し、
前記通信部は、設定された前記優先度に基づいて前記撮影画像を送信する
（４）に記載の移動体。
（８）
前記制御部は、
前記撮影画像に対して設定された第１の優先度に基づいて前記撮影画像の解析を行い、
前記撮影画像および前記撮影画像の解析結果に対して第２の優先度を設定し、
前記通信部は、設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する
（４）に記載の移動体。
（９）
前記制御部は、前記撮影画像における前記特定位置に対応する被写体の識別を行う
（８）に記載の移動体。
（１０）
前記解析結果は、前記被写体の有無を含む
（９）に記載の移動体。
（１１）
前記解析結果は、前記被写体の位置情報を含む
（９）または（１０）に記載の移動体。
（１２）
前記解析結果は、解析された前記撮影画像の識別子を含む
（９）乃至（１１）のいずれかに記載の移動体。
（１３）
前記解析結果は、識別対象が前記被写体であることの確度を含む
（９）乃至（１２）のいずれかに記載の移動体。
（１４）
前記被写体は、地形の測量に用いられる対空標識である
（９）乃至（１３）のいずれかに記載の移動体。
（１５）
前記被写体は、構造物の点検対象部分である
（９）乃至（１３）のいずれかに記載の移動体。
（１６）
前記カメラは、一定の時間間隔毎に撮影を行い、
前記制御部は、前記一定の時間間隔毎に取得された前記データに対して前記優先度を設定する
（４）乃至（１５）のいずれかに記載の移動体。
（１７）
前記通信部は、第１のデータの送信中に、第２のデータに対して前記第１のデータより高い前記優先度が設定された場合、前記第２のデータを割り込んで送信する
（１）乃至（１６）のいずれかに記載の移動体。
（１８）
前記通信部は、送信バッファに蓄積された未送信の前記データの量が所定量を超えた場合、未送信の前記データを送信しない
（１）乃至（１７）のいずれかに記載の移動体。
（１９）
移動体が、
自機において取得されたデータに対して処理の優先度を設定し、
設定された前記優先度に基づいて前記データを送信する
通信方法。
（２０）
コンピュータに、
移動体において取得されたデータに対して処理の優先度を設定し、
設定された前記優先度に基づいて前記データを送信する
処理を実行させるためのプログラム。
１ 移動体， １０ 対空標識， ２０ 移動体， ２１ カメラ， ３０ クラウドサーバ， ５１ 通信部， ５２ 制御部， ５３ 駆動制御部， ５４ 移動機構， ５５ 記憶部， ９１ 通信部， ９２ 制御部， ９３ 記憶部， １２０ 識別器

Claims (18)

  1. 移動中に撮影を行うカメラと、
    自機において取得されたデータに対して処理の優先度を設定する制御部と、
    設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データを送信する通信部と
    備え、
    前記制御部は、
    前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析を行い、
    前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度を設定し、
    前記通信部は、設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する
    移動体。
  2. 前記制御部は、前記データが取得された時の自機位置と、移動経路に関するコンテキスト情報とに基づいて、前記データに対して前記優先度を設定する
    請求項１に記載の移動体。
  3. 前記移動経路に関するコンテキスト情報は、前記移動経路上であらかじめ設定された特定位置を含む
    請求項２に記載の移動体。
  4. 前記制御部は、前記撮影画像が取得された時の前記自機位置と、前記特定位置との距離に応じて、前記撮影画像に対して前記優先度を設定し、
    前記通信部は、設定された前記優先度に基づいて前記撮影画像を送信する
    請求項３に記載の移動体。
  5. 前記制御部は、前記撮影画像の識別子に対応付けられた位置情報で示される位置と、前記特定位置との距離に応じて、前記識別子に対して前記優先度を設定し、
    前記通信部は、設定された前記優先度に基づいて前記識別子を送信する
    請求項３に記載の移動体。
  6. 前記制御部は、前記撮影画像に含まれる位置情報で示される位置と、前記特定位置との距離に応じて、前記撮影画像に対して前記優先度を設定し、
    前記通信部は、設定された前記優先度に基づいて前記撮影画像を送信する
    請求項３に記載の移動体。
  7. 前記制御部は、前記撮影画像における前記特定位置に対応する被写体の識別を行う
    請求項３から６のいずれかに記載の移動体。
  8. 前記解析結果は、前記被写体の有無を含む
    請求項７に記載の移動体。
  9. 前記解析結果は、前記被写体の位置情報を含む
    請求項７に記載の移動体。
  10. 前記解析結果は、解析された前記撮影画像の識別子を含む
    請求項７に記載の移動体。
  11. 前記解析結果は、識別対象が前記被写体であることの確度を含む
    請求項７に記載の移動体。
  12. 前記被写体は、地形の測量に用いられる対空標識である
    請求項７に記載の移動体。
  13. 前記被写体は、構造物の点検対象部分である
    請求項７に記載の移動体。
  14. 前記カメラは、一定の時間間隔毎に撮影を行い、
    前記制御部は、前記一定の時間間隔毎に取得された前記データに対して前記優先度を設定する
    請求項１に記載の移動体。
  15. 前記通信部は、第１のデータの送信中に、第２のデータに対して前記第１のデータより高い前記優先度が設定された場合、前記第２のデータを割り込んで送信する
    請求項１に記載の移動体。
  16. 前記通信部は、送信バッファに蓄積された未送信の前記データの量が所定量を超えた場合、未送信の前記データを送信しない
    請求項１に記載の移動体。
  17. 移動中に撮影を行うカメラを備える移動体が、
    自機において取得されたデータに対して処理の優先度を設定し、
    設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データを送信する通信方法であって、
    前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析を行い、
    前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度を設定し、
    設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する
    通信方法。
  18. コンピュータに、
    移動中に撮影を行うカメラを備える移動体において取得されたデータに対して処理の優先度を設定し、
    設定された前記優先度に基づいて、前記カメラの撮影により取得された撮影画像を含む前記データを送信する処理を実行させるためのプログラムであって、
    前記撮影画像に対して設定された前記優先度の１つである第１の優先度に基づいて前記撮影画像の解析を行い、
    前記撮影画像および前記撮影画像の解析結果に対して、前記優先度の他の１つである第２の優先度を設定し、
    設定された前記第２の優先度に基づいて、前記撮影画像および前記解析結果の少なくともいずれかを送信する
    処理を実行させるためのプログラム。
JP2020572156A 2019-02-13 2020-01-30 移動体、通信方法、およびプログラム Active JP7447820B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019023215 2019-02-13
JP2019023215 2019-02-13
PCT/JP2020/003341 WO2020166348A1 (ja) 2019-02-13 2020-01-30 移動体、通信方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020166348A1 JPWO2020166348A1 (ja) 2021-12-16
JP7447820B2 true JP7447820B2 (ja) 2024-03-12

Family

ID=72044946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572156A Active JP7447820B2 (ja) 2019-02-13 2020-01-30 移動体、通信方法、およびプログラム

Country Status (4)

Country Link
US (1) US20220141845A1 (ja)
JP (1) JP7447820B2 (ja)
CN (1) CN113396104A (ja)
WO (1) WO2020166348A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252152A (ja) 2001-12-28 2003-09-10 Matsushita Electric Ind Co Ltd 車両情報記録システム
WO2009139111A1 (ja) 2008-05-15 2009-11-19 パナソニック株式会社 無線中継装置及び無線中継方法
JP2010252073A (ja) 2009-04-16 2010-11-04 Sumitomo Electric Ind Ltd 路側通信機及び移動通信機、並びにこれらを備えた路上通信システム
WO2018143398A1 (ja) 2017-02-02 2018-08-09 株式会社Ｎｔｔドコモ ユーザ端末及び無線通信方法
JP2018182430A (ja) 2017-04-06 2018-11-15 株式会社デンソー 無線通信端末

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4306727B2 (ja) * 2004-03-12 2009-08-05 日本電気株式会社 通信料課金システム、通信料課金方法、およびプログラム
JP5727438B2 (ja) * 2012-09-27 2015-06-03 株式会社沖データ 携帯端末、情報処理システム、並びに携帯端末の制御装置および制御プログラム
EP3029920B1 (en) * 2013-08-02 2018-06-06 Ntt Docomo, Inc. Notification device, notification system, notification method, and program
US9305317B2 (en) * 2013-10-24 2016-04-05 Tourmaline Labs, Inc. Systems and methods for collecting and transmitting telematics data from a mobile device
JP2015154243A (ja) * 2014-02-14 2015-08-24 ソニー株式会社 装置、プログラム及び方法
JP6599143B2 (ja) * 2015-06-30 2019-10-30 セコム株式会社 自律移動ロボット
JP6512022B2 (ja) * 2015-08-04 2019-05-15 株式会社デンソー 運転支援装置
TWI557526B (zh) * 2015-12-18 2016-11-11 林其禹 自拍無人飛機系統及其執行方法
JP6564713B2 (ja) * 2016-02-01 2019-08-21 三菱重工業株式会社 自動運転制御装置、車両及び自動運転制御方法
WO2017138428A1 (ja) * 2016-02-08 2017-08-17 株式会社リコー 情報表示装置
EP3415373B1 (en) * 2016-02-10 2020-10-07 Ricoh Company, Ltd. Information providing device
JP6888253B2 (ja) * 2016-07-27 2021-06-16 住友電気工業株式会社 無線通信システム、情報取得端末、コンピュータプログラム、及び提供情報の採用可否の判定方法
US10872456B2 (en) * 2016-07-29 2020-12-22 Sony Corporation Image processing device and image processing method
US10291319B1 (en) * 2016-10-01 2019-05-14 Waymo Llc Devices and methods for optical communication in a rotary platform
CN109791706B (zh) * 2016-10-13 2023-11-28 索尼公司 图像处理装置和图像处理方法
JP2018136803A (ja) * 2017-02-23 2018-08-30 株式会社日立製作所 画像認識システム
US10810806B2 (en) * 2017-03-13 2020-10-20 Renovo Motors, Inc. Systems and methods for processing vehicle sensor data
US11366477B2 (en) * 2017-03-15 2022-06-21 Mitsubishi Electric Corporation Information processing device, information processing method, and computer readable medium
JP6838522B2 (ja) * 2017-08-10 2021-03-03 トヨタ自動車株式会社 画像収集システム、画像収集方法、画像収集装置、および記録媒体
US20200286183A1 (en) * 2017-10-06 2020-09-10 Sony Corporation Information processing apparatus, and information processing method, and program
US20200379487A1 (en) * 2017-10-25 2020-12-03 Rakuten, Inc. Unmanned aerial vehicle control system, unmanned aerial vehicle control method, and program
US11167846B2 (en) * 2017-10-27 2021-11-09 Ntt Docomo, Inc. Information processing apparatus
US10462359B1 (en) * 2018-04-13 2019-10-29 Adobe Inc. Image composition instruction based on reference image perspective
JP7139717B2 (ja) * 2018-06-26 2022-09-21 株式会社デンソー 車両用通信装置、車両用通信方法、及び制御プログラム
JP2020028017A (ja) * 2018-08-10 2020-02-20 パナソニック株式会社 車両等検知システムおよび車両等検知方法
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
EP3906540A1 (en) * 2018-12-31 2021-11-10 Flir Belgium BVBA Image sensor mapping for traffic control systems and methods
WO2021014775A1 (ja) * 2019-07-19 2021-01-28 富士フイルム株式会社 画像表示装置、方法及びプログラム
US11328612B2 (en) * 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003252152A (ja) 2001-12-28 2003-09-10 Matsushita Electric Ind Co Ltd 車両情報記録システム
WO2009139111A1 (ja) 2008-05-15 2009-11-19 パナソニック株式会社 無線中継装置及び無線中継方法
JP2010252073A (ja) 2009-04-16 2010-11-04 Sumitomo Electric Ind Ltd 路側通信機及び移動通信機、並びにこれらを備えた路上通信システム
WO2018143398A1 (ja) 2017-02-02 2018-08-09 株式会社Ｎｔｔドコモ ユーザ端末及び無線通信方法
JP2018182430A (ja) 2017-04-06 2018-11-15 株式会社デンソー 無線通信端末

Also Published As

Publication number Publication date
WO2020166348A1 (ja) 2020-08-20
JPWO2020166348A1 (ja) 2021-12-16
CN113396104A (zh) 2021-09-14
US20220141845A1 (en) 2022-05-05

Similar Documents

Publication Publication Date Title
US11884418B2 (en) Control device, control method, and flight vehicle device
US20220107643A1 (en) Control device, imaging device, control method, imaging method, and computer program
Qi et al. Search and rescue rotary‐wing uav and its application to the lushan ms 7.0 earthquake
US10061470B2 (en) Unmanned aerial vehicle rooftop inspection system
JP6387782B2 (ja) 制御装置、制御方法及びコンピュータプログラム
US20170221241A1 (en) System, method and apparatus for generating building maps
US10313575B1 (en) Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
JP6915683B2 (ja) 制御装置、制御方法およびプログラム
WO2020166350A1 (ja) 無人航空機、通信方法、およびプログラム
EP3868652A1 (en) Information processing system, information processing method, and program
WO2020225979A1 (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP7447820B2 (ja) 移動体、通信方法、およびプログラム
JP2023164746A (ja) 作業計画生成システム
EP3989034A1 (en) Automatic safe-landing-site selection for unmanned aerial systems
US11685558B2 (en) Marker based smart landing pad
JP6807092B1 (ja) 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
Karmokar et al. Inspection of concrete structures by a computer vision technique and an unmanned aerial vehicle
JP2021103108A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020135327A (ja) 飛行体システム、飛行体、位置測定方法、プログラム
US11928973B2 (en) Processing system, aerial vehicle capable of flying unmanned, and dust condition estimation method
WO2021033422A1 (ja) 位置推定システム、位置推定装置、飛行体、位置推定プログラム及び位置推定方法
EP4036017A1 (en) Marker based smart landing pad
CA2919230A1 (en) System, method and apparatus for generating building maps
Suvitie Control of an Autonomous Multicopter Fleet for Search and Rescue Missions
JP2023076166A (ja) 探索装置、自律探索システム、監視装置、探索方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R151 Written notification of patent or utility model registration

Ref document number: 7447820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151