JP7011908B2

JP7011908B2 - 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム

Info

Publication number: JP7011908B2
Application number: JP2017164212A
Authority: JP
Inventors: 陽佐々木
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2017-08-29
Filing date: 2017-08-29
Publication date: 2022-01-27
Anticipated expiration: 2037-08-29
Also published as: JP2019039892A

Description

本発明は、ＵＡＶ等の航空機の監視を行う技術に関する。

無人航空機（ＵＡＶ(Unmanned aerial vehicle)）を撮影や測量等に用いる技術が知られている。この技術では、飛行するＵＡＶを目視で監視する必要がある。飛行するＵＡＶを監視する方法として、ＴＳ（トータルステーション）で飛行するＵＡＶを追尾する方法がある（例えば、特許文献１を参照）。この方法では、ＴＳが備えたターゲットの追尾機能を用いてＵＡＶが追跡され、またＴＳは望遠鏡と画像撮影機能を備えているので、この光学系を用いたＵＡＶの目視での追跡が可能となる。また、ＴＳが備えるレーザー測距機能を用いて飛行するＵＡＶの位置を特定することもできる。

ＵＳ２０１４／０２１０６６３号公報

上記のＴＳでＵＡＶを追尾する方法では、ＴＳが備えるターゲットの自動追尾機能が利用される。この技術では、探索用レーザー光でＵＡＶを捕捉および追尾する。ＵＡＶは、探索用レーザー光を入射方向に反射する反射プリズムを備え、この反射プリズムからの反射光をＴＳ側で検出することで、ＴＳによるＵＡＶの追尾が行われる。

ところで、ＴＳによるＵＡＶの追尾では、ＴＳがＵＡＶを見失うことが問題となる。例えば、ＴＳとＵＡＶの間に鳥、電線、電柱、鉄塔、背の高い木、建物等が入った場合に、ＴＳからの探索用レーザー光（追尾光）が遮られ、ＴＳがＵＡＶを見失う場合がある。

ＴＳがＵＡＶを見失った場合、ＴＳの望遠鏡を用いてＵＡＶを探索する操作が操縦者や監視者によって行われるが、一旦見失ったＵＡＶを望遠鏡の視野に入れるのは困難である。望遠鏡の倍率を下げれば視野を広くできるが、最大で数１００ｍ遠方を飛行するＵＡＶを広い視野の中から探し出すのは困難である。

操縦者がＵＡＶを見失った場合、建物等への衝突や墜落といった事故が発生する可能性があり、そのようなことが発生しないようにすることが望まれる。このような背景において本発明は、飛行するＵＡＶの監視を効果的に行う技術の提供を目的とする。

請求項１に記載の発明は、光学的に無人航空機を追尾しつつ前記無人航空機までの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定部と、前記無人航空機を撮影するカメラと、前記位置測定部が測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出部と、前記飛行状態を示すパラメータおよび前記カメラが撮影した前記無人航空機の撮影画像を透過型の頭部装着型ディスプレイ上に表示する画像を作成する画像作成部とを備える光学情報処理装置である。

請求項２に記載の発明は、請求項１に記載の発明において、前記飛行状態を示すパラメータが、前記無人航空機の飛行方向であることを特徴とする。請求項３に記載の発明は、請求項１または２に記載の発明において、前記飛行状態を示すパラメータが、前記無人航空機の地表面からの高度および速度の一方または両方であることを特徴とする。

請求項４に記載の発明は、請求項１～３のいずれか一項に記載の発明において、前記位置測定部が測定した前記無人航空機の位置と前記無人航空機の飛行空域における三次元地形情報とに基づいて地表面からの高度を算出する高度算出部を備えることを特徴とする。

請求項５に記載の発明は、請求項１～４のいずれか一項に記載の発明において、前記位置測定部が測定した前記無人航空機の位置と前記無人航空機の飛行の障害となる障害物との間の距離を算出する距離算出部を備えることを特徴とする。

請求項６に記載の発明は、請求項１～４のいずれか一項に記載の発明において、前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機と前記障害物との相対位置関係を表示する画像を作成することを特徴とする。

請求項７に記載の発明は、請求項５または６に記載の発明において、前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機と前記障害物との衝突を警告する画像を作成することを特徴とする。

請求項８に記載の発明は、請求項５～７のいずれか一項に記載の発明において、前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機を退避させる方向を示す画像を作成することを特徴とする。

請求項９に記載の発明は、請求項５～８のいずれか一項に記載の発明において、前記無人航空機と前記無人航空機の飛行の障害となる障害物との間の距離が規定の値以下となった場合に、前記無人航空機と前記障害物とが前記透過型の頭部装着型ディスプレイ上に同時に表示されるように前記透過型の頭部装着型ディスプレイにおける表示倍率を調整する表示倍率調整部を備えることを特徴とする。

請求項１０に記載の発明は、請求項５～９のいずれか一項に記載の発明において、点群データを得るためのレーザースキャナを備え、前記レーザースキャナにより前記障害物の三次元データが得られることを特徴とする。

請求項１１に記載の発明は、光学的に無人航空機を追尾しつつ前記無人航空機までの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定ステップと、前記無人航空機をカメラにより撮影する撮影ステップと、前記位置測定ステップで測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出ステップと、前記飛行状態を示すパラメータおよび前記カメラが撮影した前記無人航空機の撮影画像を透過型の頭部装着型ディスプレイ上に表示する画像を作成する画像作成ステップとを備える光学情報処理方法である。

請求項１２に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを光学的に無人航空機を追尾しつつ前記無人航空機までの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定部と、前記位置測定部が測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出部と、前記飛行状態を示すパラメータおよびカメラにより撮影した前記無人航空機の撮影画像を透過型の頭部装着型ディスプレイ上に表示する画像を作成する画像作成部として機能させる光学情報処理用プログラムである。

本発明によれば、飛行するＵＡＶの監視を効果的に行う技術が得られる。

実施形態の概念図である。発明を利用したＴＳ（トータルステーション）のブロック図である。処理の手順の一例を示すフローチャートである。処理の手順の一例を示すフローチャートである。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。実施形態のブロック図である。レチクルの画面上での位置を求める原理を示す原理図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。表示画面の一例を示す図である。後方交会法の原理を示す原理図である。

１．第１の実施形態
（構成）
図１には、発明を利用した位置測定装置の一例であるＴＳ（トータルステーション）のブロック図が示されている。ＴＳ１００は、飛行するＵＡＶ２００を追跡しながら測距光を用いたＵＡＶ２００の三次元位置の測定を行う。ＵＡＶ２００の追跡は、探索光を用いてＵＡＶ２００が備えた反射プリズム２０２を探索することで行われ、ＵＡＶ２００の位置の測定は、測距光を反射プリズム２０２に照射し、その反射光を検出することで行われる。また、ＴＳ１００は、本発明を利用した光学情報処理装置として機能する。この機能により、操縦者５００が掛けたスマートグラスに各種の画像情報が表示される。

ＵＡＶ２００は、操縦者５００により遠隔操作により操縦される。操縦者５００は、コントローラ５０１を用いてＵＡＶ２００の無線操縦を行う。勿論、ＵＡＶ２００を予め定めた飛行計画に従って自律飛行させることも可能である。ＵＡＶ２００は市販されている機種であり、特別なものではない。ＵＡＶ２００は、ＧＮＳＳ位置測定装置、ＩＭＵ、無線通信装置、飛行計画や飛行ログを記憶する記憶装置、高度計を備えている。

ＵＡＶ２００に下部には、ＴＳ１００による測量のターゲットとなる反射プリズム２０２が取り付けられている。また、ＵＡＶ２００はカメラ２０１を搭載しており、空中からの撮影が可能である。操縦者５００は、スマートグラス５０３を掛けており、スマートグラス５０３には、ＴＳ１００で処理された後述する各種の情報が表示される。

ＴＳ１００は、ＧＮＳＳを用いた自身の位置測定装置、測量対象（ＵＡＶ２００）の画像を取得するカメラ、ターゲット（ＵＡＶ２００の反射プリズム２０２）を探索する探索用レーザースキャン機能、測距用レーザー光を用いてターゲット（反射プリズム２０２）までの距離を測距するレーザー測距機能、レーザー測距されたターゲットの方向（水平角と垂直角（仰角または俯角））を測定する機能、ターゲットまでの距離と方向からターゲットの三次元位置を算出する機能、外部の機器との間で通信を行う機能、点群データを得るためのレーザースキャン機能を有する。

ターゲットまでの距離と方向を測定することで、ＴＳ１００に対するターゲットの位置を測定できる。ここで、ＴＳ１００の位置が判っていれば、ターゲット（この場合はＵＡＶ２００）の地図座標系における位置（緯度・経度・高度もしくは直交座標系上のＸＹＺ座標）を知ることができる。この機能は、市販のＴＳが持っている機能であり、特別なものではない。ＴＳに関する技術としては、例えば、特開2009-229192号公報や特開2012-202821号公報等に記載されている。なお、地図座標系というのは、地図情報を扱う座標系（例えば、緯度，経度，高度（標高））であり、例えばＧＮＳＳで得られる位置情報は通常地図座標系で記述される。

以下、本実施形態で利用するＴＳ（トータルステーション）１００の一例を説明する。図２には、ＴＳ１００のブロック図が示されている。ＴＳ１００は、カメラ１０１、ターゲット探索部１０２、測距部１０３、水平・垂直方向検出部１０４、水平・垂直方向駆動部１０５、データ記憶部１０６、位置測定部１０７、通信装置１０８、ターゲット位置算出部１０９、ＵＡＶ追跡制御部１１１、レーザースキャナ１１２、制御用マイコン１１３、画像取得部１１４、画像作成部１１５、飛行高度算出部１１６、飛行速度算出部１１７、障害物までの距離算出部１１９、表示倍率調整部１２０、三次元モデル作成部１２１、外部標定要素算出部１２２、レチクル表示位置算出部１２３、ＵＡＶ方向算出部１２４を備えている。

図２に示す各機能部は、専用のハードウェアで構成してもよいし、マイコンによりソフトウェア的に構成できるものはソフトウェア的に構成してもよい。図２の構成を実現するために利用するハードウェアとしては、各種の電子デバイス(例えば、カメラ１０１を構成するカメラモジュールや通信装置１０８を構成する無線モジュール等)、モータ等を利用した各種の駆動機構、センサ機構、光学部品、各種の電子回路、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等が挙げられる。以上のハードウェアの構成に関しては、ＵＡＶ２００についても同じである。

カメラ１０１は、ＵＡＶ２００やターゲット等の測量対象の動画像または静止画像を撮影する。カメラ１０１は、ＣＣＤやＣＭＯＳセンサを用いたカメラモジュールを利用して構成され、望遠鏡を介して測位対象（例えばＵＡＶ２００）の撮影を行い、その画像データを得る。通常、カメラ１０１が望遠鏡を介して撮影した画像を利用して測量対象となるターゲットの概略の視準が操作者により行われ、その後自動追尾機能による自律動作によりターゲットの精密な視準が行われる。

カメラ１０１の光軸と後述する測距部１０３の光軸（測距用レーザー光の光軸）とは一致しており、位置の特定を行うターゲットは、カメラ１０１の撮影画像の中心に捉えられる。ＴＳ１００は小型のディスプレイ（例えば、液晶ディスプレイ等）を備えており、カメラ１０１が撮影した画像は、そこに表示可能である。カメラ１０１が撮影した画像のデータは、外部に出力可能であり、適当なディスプレイに表示できる。この例では、カメラ１０１が撮影した画像は、ＵＡＶ２００の操縦を行う操縦者５００が掛けるスマートグラス５０２（頭部装着型ディスプレイの機能を有する眼鏡）に表示される。

スマートグラス５０２は、メガネ型ウェアラブル端末とも呼ばれる透過型の頭部装着型ディスプレイであり、ＵＡＶ２００の飛行に係る各種の情報が表示される。スマートグラス５０２は、画面を透かして遠くを見ることもでき、視野の中に見えている背景に重ねてＴＳ１００から出力される画像が表示される。スマートグラスは、メガネのレンズがある位置に小型のディスプレイが搭載されているメガネ型のデバイスである。このディスプレイは透過型であり、ディスプレイを介して向こう側を透かして見ることができる。

スマートグラスを掛けた人間は、眼鏡越しに対象物を見ながら、同時に仮想的に目の前に形成される画面（あたかも画面が目の前数十ｃｍから数ｍ先に展開されるように見える）に通常のディスプレイのように各種の画像が表示される。スマートグラスに表示される画像の規格は、ＰＣやスマートフォン等に表示される画像と同じものが利用可能である。スマートグラスは、複数のメーカから各種のものが販売されている。

カメラ１０１が撮影し、ＴＳ１００装備のディスプレイおよび外部のディスプレイに表示される画像の倍率は可変できる。この画像のズーム機能は、光学的な手法による方法、デジタル処理による方法、両者を複合した方法等によって実現される。カメラ１０１として市販のデジタルカメラを用い、それを外付けでＴＳ１００に装着する形態も可能である。カメラ１０１が撮影した画像のデータは、測距対象に係る測定時刻、測定方向、測定距離、測定対象の位置等のデータと関連付けされて適当な記憶領域に記憶することができる。

ターゲット探索部１０２は、三角錐型または扇形ビームを有した探索用レーザー光を用いたタ－ゲット（ＵＡＶ２００の反射プリズム２０２）の探索を行う。ターゲットの探索は、ＴＳ１００を基準位置として行われる。ＴＳによるターゲット（反射プリズム）の探索および追跡に関しては、例えば日本国特許第５１２４３１９号公報に記載されている。

測距部１０３は、測距用レーザー光を用いたターゲットまでの距離の測定を行う。測距部１０３は、測距用レーザー光の発光素子、照射光学系、受光光学系、受光素子、測距演算部、基準光の光路を備えている。対象物までの距離は、対象物から反射された測距光と基準光の位相差から算出される。距離の算出方法は、通常のレーザー測距と同じである。

水平・垂直方向検出部１０４は、測距部１０３が測距したターゲットの水平方向角と垂直方向角（仰角および俯角）を計測する。ターゲット探索部１０２、測距部１０３の光学系およびカメラ１０１を備えた筐体部分は、水平回転および仰角（俯角）制御が可能であり、水平方向角と垂直方向角は、エンコーダにより計測される。このエンコーダの出力が水平・垂直方向角検出部１０４で検出され、水平方向角と垂直方向角（仰角および俯角）の計測が行われる。

水平・垂直方向駆動部１０５は、ターゲット探索部１０２、測距部１０３の光学系およびカメラ１０１を備えた筐体部分の水平回転および仰角制御（および俯角制御）を行うモータ、該モータの駆動回路、該駆動回路の制御回路を備えている。なお、この筐体部分には後述するレーザースキャナ１１２も配置されている。データ記憶部１０６は、ＴＳ１００の動作に必要な制御プログラム、各種のデータ、測量結果等を記憶する。

位置測定部１０７は、ＧＮＳＳを用いたＴＳ１００の位置の測定を行う。位置測定部１０７は、相対測位と単独測位の両方を行う機能を有する。相対測位を行える環境であれば、相対測位を用いたＴＳ１００の位置の測定が好ましいが、相対測位が困難な場合は単独測位によるＴＳ１００の位置の測定が行われる。ＴＳ１００によるＵＡＶ２００の測位では、ＴＳ１００の地図座標系における位置を既知のデータとして前もって取得する必要がある。実際の運用に当たっては、ＴＳ１００を予め座標が既知の位置に設置する場合と、ＴＳ１００を設置した位置を位置測定部１０７により測位する場合とがある。前者の場合、位置測定部１０７による測位は不要となる。

通信装置１０８は、外部の機器との間で通信を行う。ＴＳ１００は、外部の端末（専用端末、ＰＣ、タブレット、スマートフォン等）による操作が可能であり、この際の通信が通信装置１０８を用いて行われる。また、通信装置１０８は、ＴＳ１００の動作に必要な各種のデータの受け付け、およびＴＳ１００が取得した各種のデータの外部への出力を行う。例えば、ＴＳ１００からインターネット回線を介して地図情報や地形情報を扱うデータサーバにアクセスし、測量に係る各種の情報をＴＳ１００が取得することができる。また、図２に示す機能の一部を外付けの機器で行う構成も可能であり、その場合、通信装置１０８を介して各種のデータのやり取りが行われる。また、通信装置１０８は、コントローラ５０１からＵＡＶ２００の送信される制御信号を受信する、この制御信号に基づき、図５に例示する操縦桿操作指示表示が行われる。

ターゲット位置算出部１０９は、ターゲット（この場合は、ＵＡＶ２００搭載の反射プリズム２０２）までの距離と方向からＴＳ１００に対するターゲットの位置（座標）を算出する。ここで、ターゲットまでの距離は、測距部１０３で得られ、ターゲットの方向は水平・垂直方向検出部１０４で得られる。基準位置となるＴＳ１００の位置は、位置測定部１０７で特定されるので、ＴＳ１００に対するターゲットの位置を求めることで、ターゲットの地図座標系における位置を求めることができる。

ＵＡＶ追跡制御部１１１は、補足したＵＡＶを追尾する制御を行う。すなわち、ターゲット探索部１０２で検出した追尾光（ＵＡＶから反射した追尾光）の入射方向に対応させてＴＳの方向を制御し、空中を移動するＵＡＶに常にＴＳ１００の光軸が向くようにする動的な制御がＵＡＶ追跡制御部１１１で行われる。具体的には、ターゲット（反射プリズム２０２）から反射した追尾光のＴＳ１００に対する入射方向を検出し、それに基づき反射プリズム２０２の位置にＴＳ１００の光軸（測距部１０３からの測距光の光軸）が常に向くように、水平・垂直方向駆動部１０５に制御信号を出力する処理がＵＡＶ追跡制御部１１１で行われる。

レーザースキャナ１１２は、測距用レーザー光をスキャン光として用いて点群データを得る。点群データは、対象物を三次元座標が判明した点の集合として捉えたデータである。この例では、ターゲット探索部１０２とレーザースキャナ１１２は別構成であり、レーザースキャナ１１２は、ターゲット探索部１０２とは別に動作する。ここで、レーザースキャナが扱うレーザー光の波長は、ターゲット探索部１０２が用いるレーザー光と干渉しないように、ターゲット探索部１０２が用いるレーザー光とは別の波長が選択されている。点群データを得るレーザースキャナについては、例えば特開２０１０－１５１６８２号公報、特開２００８―２６８００４号公報、米国特許８７６７１９０号公報、米国特許７９６９５５８号公報等に記載されている。レーザースキャナ１１２としてスキャンを電子式(Solid state optical phased array方式)に行う電子式レーザースキャナを用いることもできる。この技術に関しては、例えば米国公開公報ＵＳ２０１５／０２９３２２４号公報に記載されている。

以下、レーザースキャナ１１２について説明する。レーザースキャナ１１２は、測距用レーザー光の照射部、対象物から反射した測距用レーザー光を受光する受光部、測距用レーザー光の飛行時間に基づき対象物までの距離を検出する測距部、測距用レーザー光の照射方向（測距方向）を検出する測距方向検出部を備える。また、レーザースキャナ１１２は、自身の位置、測距距離および測距方向とに基づき測距用レーザー光の反射点の三次元位置を算出する測距対象点の位置算出部、測距用レーザー光の照射方向とその反射光の受光方向（測距光の光軸）を制御するスキャン制御部を備える。

測距用レーザー光は、特定の繰り返し周波数でパルス出力され、スキャンされながら特定の範囲に点々と照射される。測距用レーザー光の飛行時間から反射点までの距離が計算される。通常は、装置内に設けられた基準光路を飛翔したリファレンス光と対象物に照射されそこから反射された測距光との位相差から対象物までの距離が算出される。測距された距離、測距用レーザー光の照射方向およびとレーザースキャナ１１２の位置から、反射点のレーザースキャナ１１２の位置を原点とした三次元位置が計算される。この反射点の位置を多数測定することで点群データが得られる。ここで、ＴＳ１００におけるレーザースキャナ１１２の位置と向きは、予め既知の情報として取得されており、レーザースキャナ１１２の地図座標系における位置は、位置測定部１０７の測位データに基づき算出される。よって、スキャンされた各点（反射点）の地図座標系における三次元座標を取得できる。

測距用レーザー光が特定の発振周波数でスキャンして照射されることで対象物における多数の反射点それぞれの三次元座標が取得される。この対象物における多数の反射点の集合が点群データとなる。点群データでは、三次元位置が特定された点の集合として対象物が捉えられる。

レーザースキャナ１１２は、反射点のＲＧＢ強度を取得できる。ＲＧＢ強度は、反射光をＲ用フィルタ、Ｇ用フィルタ、Ｂ用フィルタで選別し、各色の光強度を検出することで得られる。よって、得られる点群データ各点のＲＧＢ強度に関するデータも得られる。なお、ＲＧＢに限定されず一または複数の特定の色情報の強度を取得する形態も可能である。また、色情報と別に（または色情報に加えて）スキャン光の反射光の強度を検出する形態も可能である。色強度およびスキャン光の反射強度の少なくとも一方を利用することで、ＵＡＶ２００を鳥等の他の飛行物と区別（識別）できるようにしてもよい。

制御用マイコン１１３は、後述する図３および図４の処理の手順の制御およびＴＳ１００全体の動作の制御を行う。画像取得部１１４は、カメラ１０１が撮影した画像の画像データを取得する。画像作成部１１５は、スマートグラス５０２に表示する画像を作成する。図５～図７、図１０～図１３には、画像作成部１１５で作成され、スマートグラス５０２に表示される画像の一例が示されている。

飛行高度算出部１１６は、ＴＳ１００が測位しているＵＡＶ２００の対地標高度を算出する。ＵＡＶ２００の対地標高度は、ＴＳ２００が測位したＵＡＶ２００の位置の標高からＵＡＶ２００の位置の経度緯度における地表面の標高を差し引くことで求められる。なお、地表面の標高は、地図情報から取得するが、地図情報が得られなければ、ＴＳ１００の設置位置の標高の値を採用する。

飛行速度算出部１１７は、ＴＳ１００が追跡するＵＡＶ２００の速度（速さと向き）を算数する。ＴＳ１００の位置は、刻々と測定されているので、移動経路の接ベクトルを計算することで、速度ベクトルが得られ、この速度ベクトルからＵＡＶ２００の移動方向（θx，θy，θz）と速さ（Ｖx，Ｖy，Ｖz）が得られる。

障害物までの距離算出部１１９は、ＵＡＶ２００の飛行の障害となる障害物がある場合に、ＵＡＶ２００からそこまでの距離を算出する。障害物は、建物、木、鉄塔、鳥等である。障害物に係る三次元データは、既存の三次元データ（例えば、三次元地図座標データ）やレーザースキャナ１１２から得られる点群データから取得する。鳥のデータは、既存のデータからは得られなので、レーザースキャナ１１２から得られる点群データから取得する。

表示倍率調整部１２０は、スマートグラス５０２に表示される画像の表示倍率を調整する。例えば、ＵＡＶ２００が障害物と干渉しそうな場合、両者が視野内に入るように表示倍率が調整される。

三次元モデル作成部１２１は、ＵＡＶ２００と障害物とを三次元的に捉えたモデルを作成する。このモデルは、ＵＡＶ２００と障害物との位置関係をスマートグラスに表示させる場合に利用される。この点は後述する。

レチクル表示位置算出部１２３は、スマートグラス５０２の表示画面におけるレチクル（画面中の位置を示す△、□、○、◎、×等のガイド表示）の表示位置を算出する。レチクルの表示位置は、スマートグラス５０２を透かして彼方に見えるＵＡＶ２００（位置特定対象物）の表示画面における位置である。よって、レチクル表示位置算出部１２３は、スマートグラス５０２を透かして見えるＵＡＶ２００（位置特定対象物）の表示画面における位置を計算する。方向算出部１２４は、スマートグラス５０２の視野から外れたＵＡＶ２００の方向を算出する。レチクル表示位置算出部１２３および方向算出部１２４の処理の詳細については後述する。

ＴＳ１００およびスマートグラス５０２の操作は、専用端末、走査用アプリケーションソフトをインストールしたスマートフォンやタブレットを用いて行う。例えば、後述するスマートグラス５０２の表示される各種の表示の切り替えは、スマートフォンやタブレットを用いて行われる。勿論、専用のコントローラを用意し、ＴＳ１００およびスマートグラス５０２の操作を行っても良い。また、ＵＡＶ２００のコントローラ５０１にＴＳ１００の操作機能を付加する形態、スマートフォンでＵＡＶ２００とＴＳ１００の操作を行う形態等も可能である。

（処理の一例）
以下、ＴＳ１００で行われる処理の一例を説明する。図３および図４は、処理の手順の一例を示すフローチャートである。図３および４の処理を実行するプログラムは、データ記憶部１０６等の適当な記憶領域に記憶され、そこから読み出されて実行される。当該プログラムを適当な記憶媒体やデータサーバ等に記憶させ、そこから読み出して実行する形態も可能である。

まず、ＴＳ１００によりＵＡＶ２００を捕捉し、レーザー測距によりその位置を特定する処理について説明する。図３にこの処理の一例が示されている。この処理では、まずＵＡＶ２００の反射プリズム２０２の探索が行われる（ステップＳ１０１）。この処理は、ターゲット探索部１０２で行われる。また、レーザースキャナ１１２による点群データを取得するためのレーザースキャンが開始される。

例えば、ＵＡＶ２００が飛び立つ前の地上に着陸している状態でＴＳ１００はＵＡＶ２００を捕捉する。そして、捕捉したＵＡＶ２００に対するレーザースキャンがレーザースキャナ１１２により開始され、ＵＡＶ２００およびその周囲の点群データの取得が開始される。その後、ＵＡＶ２００は飛行を開始し、ＴＳ１００によるＵＡＶ２００の追尾が行われ、同時にＵＡＶ２００およびその周囲に対するレーザースキャンが継続して行われる。また、以下の方法でＵＡＶ２００の追尾を行ってもよい。この場合、ＵＡＶ２００の飛行が開始されると、ＵＡＶ２００は最初に地上から規定の高さにまで上昇し、そこで停止する。この停止位置は予め飛行計画上で規定されており、ＴＳ１００の側でも把握されている。そこで、この上昇して停止するＵＡＶ２００の位置に照準してＴＳ１００はＵＡＶ２００の捕捉を行う。また、ＵＡＶ２００をスキャン範囲に収めたレーザースキャンがレーザースキャナ１１２により開始され、ＵＡＶ２００およびその周囲の点群データの取得が開始される。この段階のレーザースキャンの範囲は、例えばＵＡＶ２００を中心とした半径２０～５０ｍ程度の範囲が選択される。

ターゲットとなる反射プリズム２０２を捕捉したら、ＴＳ１００の光軸（測距部１０３の光軸）を反射プリズム２０２に向ける制御が行われる（ステップＳ１０２）。反射プリズム２０２の捕捉後において、測距部１０３の光軸を反射プリズム２０２に向ける制御は、ＵＡＶ追跡制御部１１１で行われる。

次いで、測距部１０３から測距光を反射プリズム２０２に向けて照射し、ＵＡＶ２００の位置の測定を行う（ステップＳ１０３）。ＵＡＶ２００の位置の測定は、ターゲット位置算出部１０９で行われる。

ステップＳ１０１→Ｓ１０２→Ｓ１０３の処理は繰り返し行われ、移動するＵＡＶ２００の追跡が継続して行われる。この結果、ＵＡＶ２００の位置（三次元座標）が刻々と取得され、ＵＡＶ２００の位置および移動経路がＴＳ１００の側で把握される。

ＴＳ１０１によってＵＡＶ２００を追跡している状態で、カメラ１０１によってＵＡＶ２００が撮影される。カメラ１０１によるＵＡＶ２００の撮影画像は、スマートグラス５０２に表示される。以下、スマートグラス５０２に表示される画像に係る処理について説明する。なお、この処理は、スマートフォン，タブレット，ＰＣ等のディスプレイにカメラ１０１が撮影した画像を表示する場合も同じである。

図４にスマートグラス５０２に表示される画像に係る処理の一例を示す。図３の処理が行なわれ、ＴＳ１００によってＵＡＶ２００が捕捉され、その測位が継続的に行われている状態で、図４の処理が実行される。まず、ＵＡＶ２００の対地高度が高度算出部１１６で算出される（ステップＳ１１１）。次に、飛行速度算出部１１７でＵＡＶ２００の速度（方向と速さ）の算出が行われる（ステップＳ１１２）。

次に、スマートグラス５０２の表示画面の中に、カメラ１０１が撮影したＵＡＶ２００の画像を表示する（ステップＳ１１３）。次に、スマートグラス５０２の表示画面上に、この段階で得られているＵＡＶ２００の飛行状態の情報が表示される（ステップＳ１１４）。飛行状態の情報としては、例えば対地高度と速度（飛行方向と飛行の速さ）の情報が挙げられる。飛行状態の情報としては、上昇率、下降率、旋回半径、飛行計画航路からのずれ、ＴＳ１００からの距離等が挙げられる。ステップＳ１１３とＳ１１４の処理は、画像作成部１１５で行われる。ステップＳ１１４の段階で、操縦者５００がスマートグラス５０２越しに見る視界の様子の一例を図５に示す。

次に、ＵＡＶ２００と障害物との間の距離の算出が「障害物との間の距離算出部１１９」で行われる（ステップＳ１１５）。次に、ステープＳ１１５で算出した距離が予め定めた規定値以下（例えば、１５ｍ以下）であるか否かの判定が行われ（ステップＳ１１５）、この距離が規定値以下であれば、ステップＳ１１７に進み、そうでなければステップＳ１１１以下の処理が繰り返される。ステップＳ１１１以下の処理が繰り返されることで、スマートグラス５０２に表示されている高度と速度の情報が刻々と継続して更新される。

ステップＳ１１７では、ＵＡＶ１１７と対象となる障害物との両方が画面上に表示されるようにスマートグラス５０２上での表示倍率の調整が行われる。この処理は、倍率調整部１２０で行われる。この処理の結果得られる表示画面の一例を図６に示す。図６のようにＵＡＶ２００と障害物とを同時に画面上に表示することで、操作者５００は、ＵＡＶ２００と障害物との位置関係を把握できる。

更にＵＡＶ２００と障害物との距離が危険と判定される距離以下（例えば、１０ｍ以下）となると、警告表示画面がスマートグラス５０２上に表示される（ステップＳ１１８）。この処理は、画像作成部１１５で行われる。この表示では、ＵＡＶ２００が障害物に衝突する可能性がある旨の表示が行われ、更に障害物までの距離、方向、予想される接触するまでの時間、回避に適した方向等が表示される。図７にこの際の表示画面の一例を示す。

２．第２の実施形態
ＴＳ１００の光軸上にＵＡＶ２００と障害物が存在する場合、ＴＳ１００のカメラ１０１が得た画像では、ＵＡＶ２００と障害物とが重なり、両者の距離感が判りづらい場合がある。この場合、以下に説明する視点変更表示をスマートグラス５０２上に表示する。視点変更表示は、三次元モデル作成部１２１で作成された三次元モデルに基づき、画像作成部１１５で作成される。

三次元モデル作成部１２１は、ＵＡＶ２００のダミーモデルと障害物の三次元モデルを作成する。ＵＡＶ２００のダミーモデルは、ターゲット位置算出部１０９が算出した三次元位置に配置されたＵＡＶ２００を模した三次元データ化されたダミーモデルである。このダミーモデルの向きは正確でないが、ここでは重要視しない。

障害物の三次元モデルの取得は、三次元地図情報のデータベースから取得する方法やレーザースキャナ１１２から得た点群データから取得する方法がある。ただし、レーザースキャナ１１２から得た点群データは、オクル―ジョンの問題があり、ＴＳ１００から死角となる部分のデータは欠落しているので、欠落した部分はデータを補完する等してモデル化したイメージ画像を作成する。

画像作成部１１５は、上記のＵＡＶ２００と障害物とが含まれた三次元モデルをＵＡＶ２００と障害物とを結ぶ線に垂直または水平方向から見た画像を作成する。この画像において、ＵＡＶ２００はモデル化されており、障害物も場合によってはモデル化され不自然な画像となるが、両者の距離感を把握するための画像であるので、その点は許容する。

ここで、ＵＡＶ２００と障害物の三次元位置は判っているので、両者の離間距離は判る。そこで、上記の画像中に両者の離間距離を表示する。また、ＵＡＶの移動方向やその他図５～７に示す各種の情報も表示する。この画像では、ＴＳ１００の光軸上にＵＡＶ２００と障害物が重なっている場合でもＵＡＶ２００と障害物の位置関係が視覚的に把握できる。

３．第３の実施形態
図５には、スマートグラス５０２の視界、すなわちスマートグラス５０２越しにＵＡＶが小さく見えている状態が示されている。本実施形態では、このスマートグラス５０２越しに見えているＵＡＶの画面上での位置にガイド表示（目印の表示）となるレチクルを表示する。このレチクルが表示されることで、スマートグラスの画面上におけるＵＡＶ２００の位置が示され、またＴＳ１００が当該ＵＡＶ２００を捕捉している旨が表示される。

また図５では、ＵＡＶ２００が見えているが、ＵＡＶ２００の飛行位置が遠い場合、目視ではＵＡＶ２００が見えない（または視認し難い）場合がある。また、鳥と区別し難い場合も有り得る。このような場合、スマートグラス５０２上の操縦者５００が見ている画面上、言い換えるとスマートグラス５０２越しの操縦者５００の視野内に、ＵＡＶ２００の位置をガイド表示するレチクルが表示されると便利である。

図１０にスマートグラス５０２の画面上におけるＵＡＶ２００の位置をガイドするレチクルが表示された例が示されている。図１０の場合、ＵＡＶ２００が比較的大きく見えている例が示されているが、ＵＡＶ２００までの距離が遠く、視認し難い場合や鳥と区別がつき難い場合は、レチクル表示によりスマートグラス５０２越しに見えている視界中でＵＡＶ２００の位置がガイドされることで、ＵＡＶ２００を直接視認しやすくなる。

以下、スマートグラス５０２に図１０の表示を行わせる仕組みについて説明する。スマートグラス５０２に図１０の表示を行わせる処理は、図２のレチクル表示位置算出部１２３で行われる。

レチクル表示位置算出部１２３では、以下の処理が行なわれる。まず、外部標定要素算出部１２２によりスマートグラス５０２の外部標定要素（向きと位置）が算出される。スマートグラス５０２の外部標定要素の算出については後述する。

スマートグラス５０２の向きは、その正面の方向で定義される。スマートグラス５０２の位置は、スマートグラス５０２を掛けている人（この場合は、操縦者５００）の仮想的な視点位置である。この視点位置は、スマートグラス５０２の設計時に設定されているので、その位置を用いる。この位置は、ＴＳ１００で扱われている座標系（例えば、地図座標系）で記述される。

スマートグラス５０２の位置が判れば、ＵＡＶ２００の位置はＴＳ１００で測位され既知であるので、スマートグラス５０２とＵＡＶ２００を結ぶ方向線を設定し、その方向線とスマートグラス５０２の表示画面（操縦者５００の目の前に仮想的に表示される画面）との交点が、レチクル表示位置として求められる。このレチクル表示位置は、仮に視認できれば、そこにＵＡＶ２００が見える位置である。こうしてスマートグラス５０２の視野の中におけるレチクルの位置が算出される。

例えば、図９において、点Ｐ１がＵＡＶ２００の三次元位置であり、点Ｏがスマートグラス５０２を掛けている人間（操縦者５０２）の視点の位置である。ここで、点Ｐ１と点Ｏを結ぶ方向線と仮想的に配置されるスマートグラス５０２の表示画面との交点ｐ１がレチクルの表示位置として算出される。

上記の算出結果に基づき、スマートグラス５０２の画面上にレチクルを表示する処理が画像作成部１１５で行われる。こうして、図１０に例示する画像がスマートグラス５０２上に表示される。

次に、外部標定要素算出部１２２で行われるスマートグラス５０２の外部標定要素の算出について説明する。まず、ＵＡＶ２００の飛行開始時におけるＴＳ１００によるＵＡＶ２００のロックを行う際に、校正処理を行い外部標定要素の初期値を取得する。この際、ＵＡＶ２００は規定の高度で停止し、ＴＳ１００によるＵＡＶ２００のロック（捕捉）が行われる。

この際、スマートグラス５０２の表示を校正モードとし、図１１に示す画面を表示する。図１１の画面では、画面中（視野中）の規定の位置（この場合は中心）に視準用のガイド表示を表示させた例が示されている。操縦者５００は、視準用のガイド表示の中央にＵＡＶ２００が見えるように頭を動かし、視準用のガイド表示の中央にＵＡＶ２００の像を捉える。この状態で校正処理を実行する。この処理は、例えば操作端末して使用されるスマートフォンを操作して行われる。

ここで、操縦者５００は、ＧＮＳＳを利用した位置特定装置３０３を携帯しており（例えば、スマートフォンのＧＰＳ機能が用いられる）その測位データはＴＳ１００に送られる。外部標定要素算出部１２２は、操縦者５００から送られてきた測位データと位置測定部１０７の測位データを用いて相対測位を行い、操縦者５００の視点の三次元位置を算出する。

例えばスマートフォンのＧＰＳ機能を用いる場合、予めスマートフォンを胸ポケットに入れた場合、ズボンの尻ポケットに入れた場合等の補正値を用意しておき、その補正値を用いて、操縦者５００の視点位置を算出する。

こうして、操縦者５００の視点の位置、この視点の位置から見たＵＡＶ２００の位置のデータが得られる。ここで、操縦者５００の視点の位置からＵＡＶ２００の位置に向かう方向がスマートグラス５０２の向きとなる。以上のようにして、スマートグラス５０２の外部標定要素（位置と向き）の初期値が算出される。

この外部標定要素は、操縦者５００が移動および頭を動かすと変化する。この変化に対応したスマートグラス５０２の外部標定要素の修正が外部標定要素算出部１２２で行われる。スマートグラス５０２の外部標定要素の修正は、図８の三次元電子コンパス３０１と三次元加速度センサ３０２の出力に基づいて検出される。

三次元電子コンパス３０１と三次元加速度センサ３０２は、スマートグラス５０２に取り付けられ、スマートグラス５０２の向きの変化を検出する。三次元電子コンパス３０１は、スマートグラス５０２の三次元方向を検出する。三次元加速度センサ３０２は、スマートグラス５０２に加わる加速度の三次元成分を検出する。三次元電子コンパス３０１と三次元加速度センサ３０２は、スマートフォンに利用されている部品を利用している。

三次元電子コンパス３０１と三次元加速度センサ３０２の出力は、ＴＳ１００に入力される。データの伝送は、無線ＬＡＮ回線等が利用される。三次元電子コンパス３０１と三次元加速度センサ３０２の出力を受け、外部標定要素算出部１２２は、スマートグラス５０２の向きを随時修正する。また、操縦者５００が携帯したＧＮＳＳ位置測定装置３０３の測位データの変化から、スマートグラス５０２の位置を随時修正する。こうして、スマートグラス５０２の外部標定要素が随時修正され、この随時修正される外部標定要素を用いて図１０に例示するレチクルの表示に係る処理が行なわれる。

上述したスマートグラス５０２の外部標定要素の修正は、徐々に誤差が累積し、修正が行われてゆく過程で精度が失われてゆく。以下、スマートグラス５０２の外部標定要素の精度を保つ処理について説明する。この処理では、視準目標としてＴＳ１００を用いる。すなわち、図１２に示すように、ＴＳ１００が視準用の十字ガイドの中心に位置するように操縦者５００は頭を動かす。この状態で外部標定要素１２２の再算出を行う。

この際、外部標定要素算出部１２２では以下の処理が行なわれる。この処理では、スマートグラスの位置（操縦者５００の視点位置）およびＴＳ１００の位置の情報を取得し、
スマートグラス５０２の位置からＴＳ１００に向かう方向を算出する。こうして、スマートグラス５０２の外部標定要素を再計算する。スマートグラス５０２の外部標定要素は、操縦者５０２が移動および頭を動かすと変化するが、その修正は上述した方法で随時行われる。

上記のＴＳ１００を視準してのスマートグラス５０２の外部標定要素の算出は、最初の段階での初期値の計算に用いてもよい。また、ＵＡＶ１００が視準し易い位置にある場合は、図１１に関連して説明した方法でスマートグラス５０２の外部標定要素の再計算（校正）を行ってもよい。また、位置を特定したターゲットを操縦者５００から見える範囲に配置し、それを視準することで上記の外部標定要素の再計算（あるいは初期設定）を行ってもよい。

上記のスマートグラス５０２の外部標定要素の再計算を随時行うことで、外部標定要素の精度の低下に伴う図１０のレチクル表示の精度の低下を抑えることができる。スマートグラス５０２にＧＮＳＳ位置特定装置とＩＭＵ（慣性計測装置）を搭載し、スマートグラス５０２の外部標定要素（位置と姿勢）をリアルタイムに計測する形態も可能である。なお、スマートグラス５０２にＧＮＳＳ位置特定装置とＩＭＵを搭載する余裕がない場合、頭部装着型ヘルメットや頭部装着型補助器具にＧＮＳＳ位置特定装置とＩＭＵを取り付け、この頭部装着型ヘルメットや頭部装着型補助器具を頭部に装着し、スマートグラス５０２の外部標定要素の取得を行う形態も可能である。

４．第４の実施形態
スマートグラスにカメラを固定し、このカメラが撮影した画像に基づき、スマートグラスの外部標定要素を算出する方法も可能である。この場合、位置が特定された複数のターゲット、スマートグラスに取り付ける小型のカメラ、画像からターゲットを抽出するターゲット抽出部が必要であり、外部標定要素算出部１２２においてターゲットを用いた後方交会法によるスマートグラスの外部標定要素の算出が行われる。後方交会法を用いたカメラの外部標定要素の算出については、例えば、特開２０１３－１８６８１６号公報に記載されている。

以下、カメラの撮影画像を利用したスマートグラスの外部標定要素の算出について説明する。この場合、スマートグラスに動画を撮影するカメラを装着する。スマートグラスとカメラの位置と向きの関係は既知のデータとして予め取得しておく。また、スマートグラスを装着した人間から見える範囲に、位置（三次元座標）が予め特定された３つ以上の識別可能なターゲットを配置する。この際、人間が動き、また頭の向きを変えても常に３つ以上のターゲットが当該カメラに撮影されるようにターゲットを配置する。ターゲットとしては、数字やカラーコードにより識別する形態が利用できる。カラーコードターゲットとしては、例えば特開２０１１－０５３０３０号公報や特開２０１１－０５３０３１号公報に記載されている。

カメラは、ターゲットの撮影が主目的であるので、ターゲットを効果的に撮影できる向きに設定する。また水平方向におけるカメラの向きもターゲットが効果的に撮影できる向きであれば、スマートグラスの向きに合わせる必要はなく、例えばスマートグラスを装着した人間の側方や後方にカメラを向けてもよい。

外部標定要素の算出に当たっては、まず初期の状態で３つ以上のターゲットを当該カメラで撮影する。そして撮影画像からターゲットを画像処理により識別し抽出する。各ターゲットの三次元座標は既知であるので、後方交会法により当該カメラの外部標定要素が算出できる。スマートグラス（カメラ）が動くと、カメラの外部標定要素は変化するが、３つ以上のターゲットが写っていれば後方交会法によりカメラの外部標定要素が算出できる。こうして、変動するカメラの外部標定要素の算出が継続して行われる。

図１４に後方交会法の原理を示す。この場合、点Ｏはカメラの位置（撮影視点の位置）であり、点Ｐ１，Ｐ２，Ｐ３はターゲットの位置であり、ｐ１，ｐ２，ｐ３はカメラが撮影した画像の画面上におけるターゲット像の位置である。ここで、点Ｐ１，Ｐ２，Ｐ３は予め特定（測位）され既知であり、ｐ１，ｐ２，ｐ３は撮影画像から得られる。そして、Ｐ１とｐ１を結ぶ方向線、Ｐ２とｐ２を結ぶ方向線、Ｐ３とｐ３を結ぶ方向線を設定し、この３本の方向線の交点Ｏを求めることでカメラの位置Ｏが求められる。

また、点Ｏと画面中心とを結ぶ方向線を求めることでカメラの光軸が数学的に求められる。このカメラの光軸を求めることで、点Ｏからの光軸の向きがカメラの向きとして求められる。こうして、スマートグラスに固定されたカメラの位置と向き、つまり外部標定要素が算出される。カメラとスマートグラスとの相対位置関係および向きの関係は既知であるので、カメラの外部標定要素が求まることで、スマートグラスの外部標定要素が求まる。

カメラによる撮影を継続して行い、上記の処理を継続して行うことで、スマートグラスの変動する外部標定要素が逐次計算され、継続して更新され続ける。

例えば、図１のスマートグラス５０２に、操縦者５００の周囲の地表を撮影するカメラを固定する。また、操縦者５００の周囲に複数のターゲットを配置し、その位置を測定しておく。また、スマートグラス５０２とカメラの位置と向きの関係は予め取得しておく。ここで、操縦者５００がＵＡＶ２００の操縦（あるいは監視）を行っている状態で、常に３つ以上のターゲットがカメラに撮影されるように、ターゲットの配置を行う。

操縦者５０２が頭を動かし、スマートグラス５０２の外部標定要素が変動しても、上記のターゲットを用いたスマートグラス５０２の外部標定要素の算出が行われ、その時点でのスマートグラス５０２の外部標定要素が取得される。この処理は継続して行われ、スマートグラス５０２の外部標定要素は、常に更新される。この動的に更新される外部標定要素を用いて、例えば図１０の表示に係る処理が行われる。

この手法の場合、カメラ、撮影画像からターゲットを抽出する画像処理部が必要であり、また事前に複数のターゲットの測位の作業が必要となるが、動的に変動するスマートグラスの外部標定要素を高い精度で取得できる。

本明細書中で説明したスマートグラス５０２の外部標定要素を求める手法は、複数を組み合わせて用いることが可能である。図１０のレチクルの表示には、ＵＡＶ２００の位置のデータが必要であるが、この位置のデータとしてＵＡＶ２００が搭載するＧＮＳＳ位置測定装置の測位データを用いることもできる。

カメラとしてステレオカメラを用い、ステレオ画像から抽出された特徴点の位置を前方交会法により求めて点群データを得、この点群データを標定点としてカメラの外部標定要素（スマートグラスの外部標定要素）を算出することもできる。また、１台のカメラを用い、視点の変更によるステレオ画像の取得を行って上記の場合と同様に点群データを得、この点群データに基づくカメラの外部標定要素（スマートグラスの外部標定要素）の算出も可能である。これらの場合も初期値の取得に位置を特定したターゲットが必要であるが、画像から抽出した点群も標定に用いるので、上述したターゲットのみを用いる場合に比較すればその数を減らすことができる。ステレオ画像から点群データを得る技術、および一つのカメラでステレオ画像を得、そこから点群データを得る技術については特開２０１３－１８６８１６号公報に記載されている。

５．第５の実施形態
ここでは、操縦者５００がＵＡＶ１００を見失った場合に、スマートグラス５０２の表示画面上に操縦者５００から見たＵＡＶ１００の方向をガイドする表示を行う例について説明する。ＴＳ１００がＵＡＶ２００を追跡しているが、操縦者５００がＵＡＶ１００を見失う場合がある。この場合、ＵＡＶ方向算出部１２４の機能により、スマートグラス５０２の表示画面（操縦者５００がスマートグラスを介して視認している視界）中にＵＡＶ１００の方向をガイドする表示が行われる。

図１３にその際の表示画面の一例を示す。この場合、左上の方向に視線を向けると、ＵＡＶ１００が捕捉できる。以下、ＵＡＶ方向算出部１２４の機能について説明する。まず、ＴＳ１００が捕捉し。ターゲット位置算出部１０９で算出されているＵＡＶ２００の位置を取得する。次に、外部標定要素算出部１２２で算出されているスマートグラス５０２の外部標定要素を取得する。

次に、スマートグラス５０２の光軸（正面の方向）と直交し、ＵＡＶ２００に向かうベクトルを求め、このベクトルをスマートグラス５０２の表示面に正射影し、それを矢印としてスマートグラス５０２に表示する。こうして、図１３に示すＵＡＶ２００の方向を示す矢印の表示（ガイド表示）がスマートグラス５０２に表示される。図１３の画像見て、操縦者５０２は矢印の方向に顔を向けることで、ＵＡＶ２００の方向を見、ＵＡＶ２００を捕捉できる。この際、ＵＡＶ２００が視界に入ったところで、図１０に例示するレチクルの表示が行われるので、例えＵＡＶ２００が遠く、視認し難くてもＵＡＶ２００の視認が容易となる。

（その他）
スマートグラス５０２をＵＡＶ２００の操縦者５００以外の人間かかけてもよい。ＵＡＶの表示画面上での位置をガイドする方法として、矢印の表示を行う方法、４分割や９分割された画面中のどの分割画面にＵＡＶが位置しているかを強調表示する方法も可能である。図１０のレチクル表示を行う対象として、ＵＡＶ以外の位置が特定された点や対象物を選択することも可能である。図１０に例示する技術は、位置が特定された対象物の監視、探索、確認等に利用できる。本明細書に開示する発明は、対象物の視認を効果的に行う技術に利用できる。

１００…ＴＳ（トータルステーション）、２００…ＵＡＶ、２０１…カメラ、２００…反射プリズム、５００…ＵＡＶの操縦者、５０１…コントローラ、５０２…スマートグラス。

Claims

光学的に無人航空機を追尾しつつ前記無人航空機までの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定部と、
前記無人航空機を撮影するカメラと、
前記位置測定部が測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出部と、
前記飛行状態を示すパラメータおよび前記カメラが撮影した前記無人航空機の撮影画像を透過型の頭部装着型ディスプレイ上に表示する画像を作成する画像作成部と
を備える光学情報処理装置。
前記飛行状態を示すパラメータが、前記無人航空機の飛行方向である請求項１に記載の光学情報処理装置。
前記飛行状態を示すパラメータが、前記無人航空機の地表面からの高度および速度の一方または両方である請求項１または２に記載の光学情報処理装置。
前記位置測定部が測定した前記無人航空機の位置と前記無人航空機の飛行空域における三次元地形情報とに基づいて地表面からの高度を算出する高度算出部を備える請求項１～３のいずれか一項に記載の光学情報処理装置。
前記位置測定部が測定した前記無人航空機の位置と前記無人航空機の飛行の障害となる障害物との間の距離を算出する距離算出部を備える請求項１～４のいずれか一項に記載の光学情報処理装置。
前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機と前記障害物との相対位置関係を表示する画像を作成する請求項５に記載の光学情報処理装置。
前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機と前記障害物との衝突を警告する画像を作成する請求項５または６に記載の光学情報処理装置。
前記画像作成部は、前記無人航空機と前記障害物との間の距離に基づき、前記無人航空機を退避させる方向を示す画像を作成する請求項５～７のいずれか一項に記載の光学情報処理装置。
前記無人航空機と前記無人航空機の飛行の障害となる障害物との間の距離が規定の値以下となった場合に、前記無人航空機と前記障害物とが前記透過型の頭部装着型ディスプレイ上に同時に表示されるように前記透過型の頭部装着型ディスプレイにおける表示倍率を調整する表示倍率調整部を備える請求項５～８のいずれか一項に記載の光学情報処理装置。
点群データを得るためのレーザースキャナを備え、
前記レーザースキャナにより前記障害物の三次元データが得られる請求項５～９のいずれか一項に記載の光学情報処理装置。
光学的に無人航空機を追尾しつつ前記無人航空機までの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定ステップと、
前記無人航空機をカメラにより撮影する撮影ステップと、
前記位置測定ステップで測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出ステップと、
前記飛行状態を示すパラメータおよび前記カメラが撮影した前記無人航空機の撮影画像を透過型の頭部装着型ディスプレイ上に表示する画像を作成する画像作成ステップと
を備える光学情報処理方法。
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
光学的に無人航空機を追尾しつつ前記無人航空機までの距離を測定することで前記無人航空機の位置を測定する無人航空機の位置測定部と、
前記位置測定部が測定した前記無人航空機の位置に基づき、前記無人航空機の飛行状態を示すパラメーラを算出する飛行状態算出部と、
前記飛行状態を示すパラメータおよびカメラにより撮影した前記無人航空機の撮影画像を透過型の頭部装着型ディスプレイ上に表示する画像を作成する画像作成部と
して機能させる光学情報処理用プログラム。