JP6976474B1 - 情報表示装置、情報表示方法及びプログラム - Google Patents

情報表示装置、情報表示方法及びプログラム Download PDF

Info

Publication number
JP6976474B1
JP6976474B1 JP2021114729A JP2021114729A JP6976474B1 JP 6976474 B1 JP6976474 B1 JP 6976474B1 JP 2021114729 A JP2021114729 A JP 2021114729A JP 2021114729 A JP2021114729 A JP 2021114729A JP 6976474 B1 JP6976474 B1 JP 6976474B1
Authority
JP
Japan
Prior art keywords
sensing
information
display
sensing data
acquired
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021114729A
Other languages
English (en)
Other versions
JP2022100205A (ja
Inventor
友明 松木
颯 山崎
恭平 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2021114729A priority Critical patent/JP6976474B1/ja
Application granted granted Critical
Publication of JP6976474B1 publication Critical patent/JP6976474B1/ja
Publication of JP2022100205A publication Critical patent/JP2022100205A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C27/00Rotorcraft; Rotors peculiar thereto
    • B64C27/04Helicopters
    • B64C27/08Helicopters with two or more rotors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】センシングされた情報を視覚的に把握しやすくする。【解決手段】情報表示装置2は、複数のセンシングデータと、複数のセンシングデータそれぞれを取得したときの各センシング位置と、複数のセンシングデータそれぞれを取得したときのセンサ対象の方向を示すための各方向情報とを取得する取得部241と、各センシング位置に関連付けて、各センシング位置においてセンサ対象がセンシングされて取得したセンシングデータと、各センシング位置においてセンサ対象がセンシングされてセンシングデータを取得したときのセンサ対象の方向を示すための方向情報とを表示部22に表示させる表示制御部243と、を有し、表示制御部243は、各センシング位置に対応する地形画像に、各センシング位置においてセンシングされて取得したセンシングデータを重畳させて表示部22に表示させる。【選択図】図3

Description

本発明は、情報を表示する情報表示装置、情報表示方法及びプログラムに関する。
近年、いわゆるドローンの利用が普及しつつある。特許文献1には、飛行型のドローンのカメラによって撮像された画像をデバイスに表示させる技術が開示されている。
特開2016−174360号公報
上記技術を用いることにより、ユーザは、デバイスに表示された画像に含まれる被写体を確認することができる。しかしながら、デバイスに表示された画像に含まれる被写体がどこに存在するものであるかユーザにとって把握しづらい場合があった。そのため、ユーザがドローンのカメラによって撮像された画像(以下、「センシングされた情報」という)を把握しやすくデバイスに表示させることが求められている。
そこで、本発明はこれらの点に鑑みてなされたものであり、センシングされた情報を視覚的に把握しやすくすることができる情報表示装置、情報表示方法及びプログラムを提供することを目的とする。
本発明の第1の態様にかかる情報表示装置は、センサを備える飛行装置が飛行したときに前記センサが共通のセンサ対象をそれぞれ異なる前記飛行装置の飛行位置においてセンシングして取得した複数のセンシングデータと、前記複数のセンシングデータそれぞれを取得したときの各センシング位置と、前記複数のセンシングデータそれぞれを取得したときの前記センサ対象の方向を示すための各方向情報とを取得する取得部と、前記各センシング位置に関連付けて、前記各センシング位置において前記センサ対象がセンシングされて取得した前記センシングデータと、前記各センシング位置において前記センサ対象がセンシングされて前記センシングデータを取得したときの前記センサ対象の方向を示すための方向情報とを表示部に表示させる表示制御部と、を有し、前記表示制御部は、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータを重畳させて前記表示部に表示させる。
前記表示制御部は、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータの前記方向情報をさらに重畳させて前記表示部に表示させてもよい。
前記センシングデータは、前記センサによって撮像された撮像画像であってもよい。
前記センシングデータは、前記センサによって計測された情報であって、前記センサから前記センサ対象までの距離を示す情報であってもよい。
前記取得部は、飛行中の前記飛行装置から、前記センシングデータと前記センシングデータをセンシングしたセンシング位置と前記方向情報とを取得してもよいし、前記表示制御部は、前記取得部が前記センシングデータと前記センシング位置と前記方向情報とを取得したことを契機として、前記センシングデータと前記センシング位置と前記方向情報とを前記表示部に表示させてもよい。
前記表示制御部は、前記複数のセンシングデータのうち、ユーザが設定した特定の前記センサ対象がセンシングされた前記センシングデータを前記表示部に表示させてもよい。
前記取得部は、前記飛行装置が飛行した前記飛行位置を含む飛行ルートを示す情報をさらに取得してもよいし、前記表示制御部は、前記飛行ルートを前記地形画像にさらに重畳して前記表示部に表示させてもよい。
前記表示制御部は、前記飛行ルートを3次元で前記表示部に表示させてもよい。
前記表示制御部は、前記センサ対象に関する情報をさらに前記表示部に表示させてもよい。
前記表示制御部は、前記センシング位置によって示される緯度、経度、及び標高をさらに前記表示部に表示させてもよい。
前記表示制御部は、前記センシングデータが取得されたときの天候及び前記飛行装置の状態のうちの少なくともいずれかをさらに前記表示部に表示させてもよい。
前記取得部は、飛行中の前記飛行装置から、前記センシングデータと前記センシング位置と前記方向情報とを取得してもよいし、前記情報表示装置は、前記センシングデータと前記センシング位置と前記方向情報とを関連付けて記憶部に記憶させる情報管理部をさらに有してもよい。
前記地形画像は、地図データの表示画像、及びコンピュータグラフィックスの表示画像のうちのいずれかであってもよい。
本発明の第2の態様にかかる情報表示方法は、コンピュータが実行する、センサを備える飛行装置が飛行したときに前記センサが共通のセンサ対象をそれぞれ異なる前記飛行装置の飛行位置においてセンシングして取得した複数のセンシングデータと、前記複数のセンシングデータそれぞれを取得したときの各センシング位置と、前記複数のセンシングデータそれぞれを取得したときの前記センサ対象の方向を示すための各方向情報とを取得するステップと、前記各センシング位置に関連付けて、前記各センシング位置において前記センサ対象がセンシングされて取得した前記センシングデータと、前記各センシング位置において前記センサ対象がセンシングされて前記センシングデータを取得したときの前記センサ対象の方向を示すための方向情報とを表示部に表示させるステップと、を有し、前記表示部に表示させるステップにおいて、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータを重畳させて前記表示部に表示させる。
本発明の第3の態様にかかるプログラムは、コンピュータを、センサを備える飛行装置が飛行したときに前記センサが共通のセンサ対象をそれぞれ異なる前記飛行装置の飛行位置においてセンシングして取得した複数のセンシングデータと、前記複数のセンシングデータそれぞれを取得したときの各センシング位置と、前記複数のセンシングデータそれぞれを取得したときの前記センサ対象の方向を示すための各方向情報とを取得する取得部、及び前記各センシング位置に関連付けて、前記各センシング位置において前記センサ対象がセンシングされて取得した前記センシングデータと、前記各センシング位置において前記センサ対象がセンシングされて前記センシングデータを取得したときの前記センサ対象の方向を示すための方向情報とを表示部に表示させる表示制御部、として機能させ、前記表示制御部は、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータを重畳させて前記表示部に表示させる。
本発明によれば、センシングされた情報を視覚的に把握しやすくすることができるという効果を奏する。
情報表示システムの概要を説明するための図である。 情報表示装置が表示する情報を模式的に表した図である。 情報表示装置の構成を示す図である。 情報表示装置が表示する情報を模式的に表した図である。 情報表示システムの処理の流れを示すシーケンス図である。
[情報表示システムSの概要]
図1は、情報表示システムSの概要を説明するための図である。情報表示システムSは、飛行装置が備えるセンサによって取得された情報を表示するためのシステムである。情報表示システムSは、例えば、設備の点検及び監視等に用いられる。情報表示システムSは、飛行装置1と、情報表示装置2とを有する。
飛行装置1は、例えばドローンである。飛行装置1は、センサCを備える。飛行装置1は、1つのセンサCを備えていてもよいし、複数のセンサCを備えていてもよい。センサCは、センシングの対象としたセンサ対象にセンシングを行う機器であり、例えば、カメラ、マイク(例えば指向性のマイク)、又は距離センサ(例えばレーザ)等である。センサ対象は、センサCがカメラである場合、撮像画像の被写体、又はセンサCがマイクである場合、音声の音源、センサCが距離センサである場合、センサCが向いている方向において存在する物体である。飛行装置1は、センサCがセンシングすることによって取得したセンシングデータをはじめとする種々の情報を情報表示装置2に送信する。センシングデータは、例えば、カメラによって撮像された撮像画像、又はマイクによって集音された音声、距離センサによって計測された情報であって、センサCから対象物までの距離を示す情報等である。
情報表示装置2は、例えば、スマートフォン、ディスプレイを備えるコントローラ、又はパーソナルコンピュータ等である。情報表示装置2は、例えば、携帯電話網の基地局3を介して飛行装置1との間で通信し、飛行装置1が送信した情報を表示する。
図2は、情報表示装置2が表示する情報を模式的に表した図である。図2に示す例においては、情報表示システムSを利用する利用者が橋を点検する用途で飛行装置1を飛行させたルートRにおいて、飛行装置1のセンサCがセンシングした情報が表示されている。画像D1は、飛行装置1のセンサCが位置P1において撮像した画像であり、画像D2は、飛行装置1のセンサCが位置P2において撮像した画像である。対象物Tは、センサ対象であり、例えば橋である。対象物Tは、橋の一部(例えば橋脚)であってもよい。画像Gは、地形画像である。地形画像には、建物及び道路等の人工物が含まれる。地形画像は、少なくともセンシングデータが取得された位置を含む範囲の画像である。地形画像は、センサ対象が存在する位置をさらに含む範囲の画像であってもよい。図2においては、対象物Tを含む各画像が撮像された位置を示す情報(各位置を示すカメラマーク)と、各画像がどの方向から撮像されたかを示す情報(カメラマークの向き)が画像Gに重畳して表示されている。
例えば、橋には複数の橋脚が設けられているため、撮像画像だけでは、当該撮像画像に写る橋脚が、複数の橋脚のうちのどの橋脚であるかを把握することができない場合がある。そこで、情報表示システムSは、図2に示すように、撮像画像が撮像された位置を示す情報に加えて、撮像画像がどの方向から撮像されたかを示す情報を、撮像画像とともに表示する。このようにすることで、情報表示システムSを利用する利用者は、撮像画像に写る被写体がどこに存在するものであるかを把握することができる。
図2に示すような情報を表示するために、情報表示装置2は、センシングデータと、センシングデータが取得された取得位置と、センシングデータが取得されたときにセンサCがセンシングの対象としたセンサ対象の方向を示すための方向情報とを飛行装置1から取得する。取得位置は、例えば、位置座標を示す情報である。方向情報は、例えば、センサCが飛行装置1に固定されている機器である場合、飛行装置1の向きを示す情報であり、センサCが左右に駆動する機器である場合、飛行装置1の向きとセンサCの向きとを含む情報である。例えば、飛行装置1が複数のセンサCを備えている場合、方向情報は、複数のセンサCのうち、センシングしたセンサCを識別する情報をさらに含んでもよい。
そして、情報表示装置2は、取得位置に対応する地形画像に対して、センシングデータと取得位置と方向情報とを、方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示する。取得位置に対応する地形画像は、少なくとも取得位置を基準として所定の範囲の地形が表示された画像であってもよいし、飛行装置1が飛行した飛行ルートを含む範囲の地形が表示された画像であってもよい。
図2に示す例において、情報表示装置2は、取得位置を示す位置P1及び位置P2に対応する画像Gに対して、位置P1、位置P1に対応するセンシングデータ(対象物Tを含むセンシングデータ)を示す画像D1、及び位置P1に対応する方向情報に基づく向きで表示されたカメラマークと、位置P2、位置P2に対応するセンシングデータ(対象物Tを含むセンシングデータ)を示す画像D2、及び位置P2に対応する方向情報に基づく向きで表示されたカメラマークとを重畳して表示する。
以下、情報表示装置2の構成について説明する。
[情報表示装置2の構成]
図3は、情報表示装置2の構成を示す図である。情報表示装置2は、通信部21と、表示部22と、記憶部23と、制御部24とを有する。制御部24は、取得部241と、情報管理部242と、表示制御部243と、特定部244とを有する。
通信部21は、基地局3を介して飛行装置1との間で通信するためのインターフェイスである。通信部21は、例えばインターネットに接続するためのLAN(Local Area Network)コントローラを有する。表示部22は、各種の情報を表示するディスプレイである。表示部22は、例えば飛行装置1から受信した情報を表示する。
記憶部23は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等の記憶媒体である。記憶部23は、制御部24が実行するプログラムを記憶している。記憶部23は、少なくとも飛行装置1が飛行する飛行ルートの周囲の地形画像を記憶している。地形画像は、地図データの表示画像、及びコンピュータグラフィックスの表示画像のうちのいずれかである。
制御部24は、例えばCPU(Central Processing Unit)である。制御部24は、記憶部23に記憶されたプログラムを実行することにより、取得部241、情報管理部242、表示制御部243及び特定部244として機能する。
取得部241は、通信部21を介して、飛行装置1が備えるセンサCによって取得されたセンシングデータと、センシングデータが取得された取得位置と、センシングデータが取得されたときにセンサCがセンシングの対象としたセンサ対象の方向を示すための方向情報とを取得する。取得部241は、飛行ルートを飛行中の飛行装置1から上記情報を取得してもよいし、飛行ルートを飛行した後に飛行装置1から上記情報を取得してもよい。
情報管理部242は、取得部241が飛行装置1から取得した情報を管理する。具体的には、情報管理部242は、センシングデータと取得位置と方向情報とを関連付けて記憶部23に記憶させる。情報管理部242は、センシングされた日時をさらに関連付けて記憶部23に記憶させてもよい。
情報管理部242は、飛行中の飛行装置1からリアルタイムで情報を収集してもよい。具体的には、まず、取得部241は、飛行中の飛行装置1から、センシングデータと取得位置と方向情報とを取得する。そして、情報管理部242は、センシングデータと取得位置と方向情報とを関連付けて記憶部23に記憶させる。なお、情報管理部242は、飛行装置1が飛行ルートを飛行した後に、当該飛行装置1が飛行中に蓄積させた情報を収集してもよい。
表示制御部243は、取得位置に関連付けてセンシングデータ及び方向情報を表示部22に表示させる。具体的には、表示制御部243は、取得位置に対応する地形画像に対して、センシングデータと取得位置と方向情報とを、方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示部22に表示させる。
より具体的には、表示制御部243は、取得位置にセンシングデータと方向情報とを対応させて表示部22に表示させる。図2に示す例において、表示制御部243は、取得位置を示す位置P1及び位置P2に対応する画像Gに対して、位置P1、位置P1に対応するセンシングデータ(対象物Tを含むセンシングデータ)を示す画像D1、及び位置P1に対応する方向情報に基づく向きで表示されたカメラマークと、位置P2、位置P2に対応するセンシングデータ(対象物Tを含むセンシングデータ)を示す画像D2、及び位置P2に対応する方向情報に基づく向きで表示されたカメラマークとを重畳して表示する。このようにすることで、情報表示装置2は、センシングされた情報を視覚的に把握しやすくすることができる。
表示制御部243は、取得部241が取得した複数のセンシングデータのうち、特定のセンサ対象がセンシングされたセンシングデータを地形画像上に重畳して表示部22に表示させてもよい。例えば、情報表示装置2には、利用者によって入力された特定のセンサ対象を示す情報が予め設定されている。例えば、特定のセンサ対象は、「橋」であり、取得部241が取得した複数のセンシングデータには、橋を含むセンシングデータと、橋を含まないセンシングデータとが含まれているとする。
この場合において、まず、表示制御部243は、取得部241が取得した複数のセンシングデータのうち、センサ対象である「橋」がセンシングされたセンシングデータを特定する。表示制御部243は、例えば、地形画像上において特定のセンサ対象が存在する位置と、取得位置と、方向情報とに基づいて、特定のセンサ対象を含み得るセンシングデータを特定する。表示制御部243は、各センシングデータに画像解析を行うことにより、特定のセンサ対象が含まれているセンシングデータを特定してもよい。そして、表示制御部243は、特定したセンシングデータに対応する取得位置に対応する地形画像に対して、当該センシングデータと取得位置と方向情報とを、方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示部22に表示させる。このようにすることで、情報表示装置2は、取得した複数のセンシングデータのうち、利用者が表示を所望する特定のセンサ対象を含むセンシングデータを表示することができる。
表示制御部243は、上記情報の他に、様々な情報をさらに表示部22に表示させてもよい。例えば、表示制御部243は、取得位置によって示される緯度、経度、及び標高をさらに表示部22に表示させてもよい。
例えば、表示制御部243は、飛行ルートをさらに重畳して表示部22に表示させてもよい。具体的には、まず、取得部241は、飛行装置1が飛行した飛行ルートを示す情報をさらに取得する。取得部241は、例えば、飛行ルートを飛行している飛行装置1から所定の間隔で飛行装置1が存在する位置を示す情報を取得することにより、飛行ルートを示す情報を取得する。例えば、記憶部23には、飛行装置1に設定した飛行ルートを示す情報が記憶されており、取得部241は、記憶部23に記憶されている情報を読み出すことにより、飛行ルートを示す情報を取得してもよい。そして、表示制御部243は、飛行ルートを地形画像にさらに重畳して表示部22に表示させる。このようにすることで、利用者は、センシングデータが、飛行ルート上のどの位置でセンシングされたデータであるかを容易に把握することができる。
表示制御部243は、飛行ルートを3次元で表示部22に表示させてもよい。具体的には、表示制御部243は、取得位置に対応する3次元の地形画像に対して、センシングデータと取得位置と方向情報と飛行ルートとを、方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示部22に表示させる。
図4は、情報表示装置2が表示する情報を模式的に表した図である。図4に示す例においては、図2に示す情報の一部(位置P2の周囲の情報)が表示されている。図4に示すように、表示制御部243は、センシングデータを示す画像D2と、取得位置を示す位置P2と、方向情報を示す位置P2のカメラマークの向きと、飛行ルートを示すルートRとを3次元の地形画像に重畳して表示部22に表示させる。このようにすることで、情報表示装置2は、センシングされた情報をより把握しやすくすることができる。
図3に戻り、表示制御部243は、表示制御部243は、センサ対象、例えば被写体に関する情報をさらに表示部22に表示させてもよい。被写体に関する情報は、例えば、被写体の名称(例えば、複数の橋脚のうちの特定の橋脚を識別するための名称等)等である。例えば、記憶部23には、飛行ルート上において、被写体となり得る物体に関する情報と、当該物体が存在する位置座標とが関連付けて記憶されている。
この場合において、まず、特定部244は、取得位置と方向情報とに基づいて、撮像画像の撮像範囲を特定する。そして、表示制御部243は、特定部244が特定した撮像範囲に含まれる位置座標に関連付けて記憶部23に記憶されている物体を撮像範囲に存在する物体として特定し、当該物体に関する情報を、被写体に関する情報としてさらに表示部22に表示させる。このようにすることで、利用者は、撮像画像に写っている被写体を容易に把握することができる。
飛行装置1のセンサCが1つの取得位置において複数のセンシングデータを取得した場合、表示制御部243は、1つの取得位置に関連付けて複数のセンシングデータを表示してもよい。具体的には、まず、取得部241は、複数のセンシングデータと、当該複数のセンシングデータに対応する1つの取得位置と、当該複数のセンシングデータそれぞれに対応する複数の方向情報とを取得する。そして、表示制御部243は、取得位置に関連付けて複数のセンシングデータ及び複数の方向情報を表示部22に表示させる。
表示制御部243は、例えば、取得位置に対応する地形画像に対して、複数のセンシングデータと1つの取得位置と複数の方向情報とを、センシングデータごとに、当該センシングデータに対応する方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示部22に表示させる。このようにすることで、利用者は、ある位置において、複数のセンシングデータがセンシングされたことを把握することができる。なお、表示制御部243は、複数のセンシングデータのうちのいずれか1つのセンシングデータを取得位置に関連付けて表示部22に表示させてもよい。
表示制御部243は、センシングデータが取得されたときの天気及び飛行装置1の状態のうちの少なくともいずれかをさらに表示部22に表示させてもよい。センシングデータが取得されたときの天候には、天気、センシングデータが取得されたときの飛行装置1の状態は、例えば、飛行装置1の向き、及び飛行装置1の速度等である。例えば、表示制御部243が天候をさらに表示部22に表示させる場合、まず、取得部241は、センシングデータが取得されたときの天気を示す環境情報を取得する。環境情報は、天気の他に、気温、湿度、気圧等をさらに含んでもよい。取得部241は、センシングデータが取得された時刻及び位置に対応する対応時刻及び対応位置の環境情報を、飛行装置1から環境情報を取得してもよいし、気象予報を公開している不図示のサーバから環境情報を取得してもよい。対応時刻は、例えば、センシングデータが取得された時刻と同じ時刻であり、対応位置は、例えば、センシングデータが取得された位置、又はセンシングデータが取得された位置を含むエリア等である。そして、表示制御部243は、取得部241が取得した環境情報をさらに地形画像に重畳して表示部22に表示させる。このようにすることで、利用者は、センシングデータが取得されたときの天気の状態を把握することができる。
また、例えば、表示制御部243が飛行装置1の状態をさらに表示部22に表示させる場合、まず、取得部241は、センシングデータが取得されたときの飛行装置1の状態を示す状態情報を飛行装置1から取得する。そして、表示制御部243は、取得部241が取得した状態情報をさらに地形画像に重畳して表示部22に表示させる。このようにすることで、利用者は、センシングデータが取得された時の飛行装置1の状態を把握することができる。
表示制御部243は、飛行中に飛行装置1のセンサCがセンシングしたセンシングデータをリアルタイムで表示してもよい。具体的には、表示制御部243は、取得部241がセンシングデータと取得位置と方向情報とを取得したことを契機として、センシングデータを地形画像に重畳して表示部22に表示させる。このようにすることで、利用者は、センシングされた情報をリアルタイムに確認することができる。なお、表示制御部243は、飛行装置1が飛行し終えた後に情報管理部242が記憶部23に記憶させたセンシングデータと取得位置と方向情報とを表示部22に表示させてもよい。
[情報表示システムSの処理]
続いて、情報表示システムSの処理の流れについて説明する。図5は、情報表示システムSの処理の流れを示すシーケンス図である。本処理は、飛行ルートを飛行している飛行装置1のセンサCがセンシングすることによってセンシングデータを取得したことを契機として開始する(S1)。
飛行装置1は、基地局3を介して、センサCが取得したセンシングデータと、当該センシングデータに対応する取得位置と、当該センシングデータに対応する方向情報とを情報表示装置2に送信する(S2)。情報表示装置2において、取得部241が飛行装置1からセンシングデータと取得位置と方向情報とを取得すると、表示制御部243は、取得位置に対応する地形画像に対して、センシングデータと取得位置と方向情報とを、方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示部22に表示させる(S3)。
[本実施の形態における効果]
以上説明したとおり、情報表示装置2は、取得位置に対応する地形画像に対して、センシングデータと取得位置と方向情報とを、方向情報によって特定される地形画像上のセンサ対象の方向が認識可能な態様で重畳して表示する。このようにすることで、情報表示装置2は、センシングされた情報を視覚的に把握しやすくすることができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
1 飛行装置
2 情報表示装置
21 通信部
22 表示部
23 記憶部
24 制御部
241 取得部
242 情報管理部
243 表示制御部
244 特定部
C センサ
S 情報表示システム

Claims (14)

  1. センサを備える飛行装置が飛行したときに前記センサが共通のセンサ対象をそれぞれ異なる前記飛行装置の飛行位置においてセンシングして取得した複数のセンシングデータと、前記複数のセンシングデータそれぞれを取得したときの各センシング位置と、前記複数のセンシングデータそれぞれを取得したときの前記センサ対象の方向を示すための各方向情報とを取得する取得部と、
    前記各センシング位置に関連付けて、前記各センシング位置において前記センサ対象がセンシングされて取得した前記センシングデータと、前記各センシング位置において前記センサ対象がセンシングされて前記センシングデータを取得したときの前記センサ対象の方向を示すための方向情報とを表示部に表示させる表示制御部と、
    を有し、
    前記表示制御部は、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータと前記各センシング位置においてセンシングされて取得した前記センシングデータの前記方向情報とを重畳させて前記表示部に表示させる、
    情報表示装置。
  2. 前記センシングデータは、前記センサによって撮像された撮像画像である、
    請求項1に記載の情報表示装置。
  3. 前記センシングデータは、前記センサによって計測された情報であって、前記センサから前記センサ対象までの距離を示す情報である、
    請求項1に記載の情報表示装置。
  4. 前記取得部は、飛行中の前記飛行装置から、前記センシングデータと前記センシングデータをセンシングしたセンシング位置と前記方向情報とを取得し、
    前記表示制御部は、前記取得部が前記センシングデータと前記センシング位置と前記方向情報とを取得したことを契機として、前記センシングデータと前記センシング位置と前記方向情報とを前記表示部に表示させる、
    請求項1からのいずれか一項に記載の情報表示装置。
  5. 前記表示制御部は、前記複数のセンシングデータのうち、ユーザが設定した特定の前記センサ対象がセンシングされた前記センシングデータを前記表示部に表示させる、
    請求項1からのいずれか一項に記載の情報表示装置。
  6. 前記取得部は、前記飛行装置が飛行した前記飛行位置を含む飛行ルートを示す情報をさらに取得し、
    前記表示制御部は、前記飛行ルートを前記地形画像にさらに重畳して前記表示部に表示させる、
    請求項1からのいずれか一項に記載の情報表示装置。
  7. 前記表示制御部は、前記飛行ルートを3次元で前記表示部に表示させる、
    請求項に記載の情報表示装置。
  8. 前記表示制御部は、前記センサ対象に関する情報をさらに前記表示部に表示させる、
    請求項1からのいずれか一項に記載の情報表示装置。
  9. 前記表示制御部は、前記センシング位置によって示される緯度、経度、及び標高をさらに前記表示部に表示させる、
    請求項1からのいずれか一項に記載の情報表示装置。
  10. 前記表示制御部は、前記センシングデータが取得されたときの天候及び前記飛行装置の状態のうちの少なくともいずれかをさらに前記表示部に表示させる、
    請求項1からのいずれか一項に記載の情報表示装置。
  11. 前記取得部は、飛行中の前記飛行装置から、前記センシングデータと前記センシング位置と前記方向情報とを取得し、
    前記センシングデータと前記センシング位置と前記方向情報とを関連付けて記憶部に記憶させる情報管理部をさらに有する、
    請求項1から10のいずれか一項に記載の情報表示装置。
  12. 前記地形画像は、地図データの表示画像、及びコンピュータグラフィックスの表示画像のうちのいずれかである、
    請求項1から11のいずれか一項に記載の情報表示装置。
  13. コンピュータが実行する、
    センサを備える飛行装置が飛行したときに前記センサが共通のセンサ対象をそれぞれ異なる前記飛行装置の飛行位置においてセンシングして取得した複数のセンシングデータと、前記複数のセンシングデータそれぞれを取得したときの各センシング位置と、前記複数のセンシングデータそれぞれを取得したときの前記センサ対象の方向を示すための各方向情報とを取得するステップと、
    前記各センシング位置に関連付けて、前記各センシング位置において前記センサ対象がセンシングされて取得した前記センシングデータと、前記各センシング位置において前記センサ対象がセンシングされて前記センシングデータを取得したときの前記センサ対象の方向を示すための方向情報とを表示部に表示させるステップと、
    を有し、
    前記表示部に表示させるステップにおいて、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータと前記各センシング位置においてセンシングされて取得した前記センシングデータの前記方向情報とを重畳させて前記表示部に表示させる、
    情報表示方法。
  14. コンピュータを、
    センサを備える飛行装置が飛行したときに前記センサが共通のセンサ対象をそれぞれ異なる前記飛行装置の飛行位置においてセンシングして取得した複数のセンシングデータと、前記複数のセンシングデータそれぞれを取得したときの各センシング位置と、前記複数のセンシングデータそれぞれを取得したときの前記センサ対象の方向を示すための各方向情報とを取得する取得部、及び
    前記各センシング位置に関連付けて、前記各センシング位置において前記センサ対象がセンシングされて取得した前記センシングデータと、前記各センシング位置において前記センサ対象がセンシングされて前記センシングデータを取得したときの前記センサ対象の方向を示すための方向情報とを表示部に表示させる表示制御部、
    として機能させ、
    前記表示制御部は、前記各センシング位置に対応する地形画像に、前記各センシング位置においてセンシングされて取得した前記センシングデータと前記各センシング位置においてセンシングされて取得した前記センシングデータの前記方向情報とを重畳させて前記表示部に表示させる、
    プログラム。
JP2021114729A 2020-12-23 2021-07-12 情報表示装置、情報表示方法及びプログラム Active JP6976474B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021114729A JP6976474B1 (ja) 2020-12-23 2021-07-12 情報表示装置、情報表示方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020213770A JP6913814B1 (ja) 2020-12-23 2020-12-23 情報表示装置、情報表示方法及びプログラム
JP2021114729A JP6976474B1 (ja) 2020-12-23 2021-07-12 情報表示装置、情報表示方法及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020213770A Division JP6913814B1 (ja) 2020-12-23 2020-12-23 情報表示装置、情報表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6976474B1 true JP6976474B1 (ja) 2021-12-08
JP2022100205A JP2022100205A (ja) 2022-07-05

Family

ID=77057584

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020213770A Active JP6913814B1 (ja) 2020-12-23 2020-12-23 情報表示装置、情報表示方法及びプログラム
JP2021114729A Active JP6976474B1 (ja) 2020-12-23 2021-07-12 情報表示装置、情報表示方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020213770A Active JP6913814B1 (ja) 2020-12-23 2020-12-23 情報表示装置、情報表示方法及びプログラム

Country Status (3)

Country Link
US (1) US20220198193A1 (ja)
JP (2) JP6913814B1 (ja)
CN (1) CN114655457A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6913814B1 (ja) * 2020-12-23 2021-08-04 Kddi株式会社 情報表示装置、情報表示方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160297545A1 (en) * 2015-04-07 2016-10-13 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行情報を提供する方法
JP2019211486A (ja) * 2019-08-26 2019-12-12 株式会社センシンロボティクス 検査システム
JP6913814B1 (ja) * 2020-12-23 2021-08-04 Kddi株式会社 情報表示装置、情報表示方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380275B2 (en) * 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US11501104B2 (en) * 2018-11-27 2022-11-15 Here Global B.V. Method, apparatus, and system for providing image labeling for cross view alignment
US11807062B2 (en) * 2019-11-25 2023-11-07 Ford Global Technologies, Llc Collaborative relationship between a vehicle and a UAV

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 飛行情報を提供する方法
US20160297545A1 (en) * 2015-04-07 2016-10-13 Lg Electronics Inc. Mobile terminal and method for controlling the same
JP2019211486A (ja) * 2019-08-26 2019-12-12 株式会社センシンロボティクス 検査システム
JP6913814B1 (ja) * 2020-12-23 2021-08-04 Kddi株式会社 情報表示装置、情報表示方法及びプログラム

Also Published As

Publication number Publication date
JP2022100205A (ja) 2022-07-05
US20220198193A1 (en) 2022-06-23
CN114655457A (zh) 2022-06-24
JP6913814B1 (ja) 2021-08-04
JP2022099774A (ja) 2022-07-05

Similar Documents

Publication Publication Date Title
US10636185B2 (en) Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint
JP6896688B2 (ja) 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
CN109743621A (zh) 多vr/ar设备协同系统及协同方法
US20170153113A1 (en) Information processing apparatus, information processing method, and program
JP6803800B2 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
JP7070683B2 (ja) 劣化診断装置、劣化診断システム、劣化診断方法、プログラム
WO2019073704A1 (ja) 飛行体利用劣化診断システム
KR101880437B1 (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
CN110208739A (zh) 辅助车辆定位的方法、装置、设备和计算机可读存储介质
US11668577B1 (en) Methods and systems for response vehicle deployment
US20200064133A1 (en) Information processing device, aerial photography route generation method, aerial photography route generation system, program, and storage medium
JP2018136191A (ja) 計測装置、健全性判定装置、及び建物管理システム
WO2019230604A1 (ja) 検査システム
JP6976474B1 (ja) 情報表示装置、情報表示方法及びプログラム
JP2023100642A (ja) 検査システム
JP2012242202A (ja) 車載システム
WO2019085945A1 (zh) 探测装置、探测系统和探测方法
CN108012141A (zh) 显示装置、显示系统和显示装置的控制方法
US11947354B2 (en) Geocoding data for an automated vehicle
JP2020016663A (ja) 検査システム
JP7011364B1 (ja) 体験装置、体験システム、及び、表示方法
US20220166917A1 (en) Information processing apparatus, information processing method, and program
KR101440503B1 (ko) 위성영상 기반의 교관석 화면을 제공하는 비행시뮬레이터 장치
CN112154389A (zh) 终端设备及其数据处理方法、无人机及其控制方法
JP2009276266A (ja) ナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211109

R150 Certificate of patent or registration of utility model

Ref document number: 6976474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150