JPH11291991A

JPH11291991A - 移動体の遠隔操縦システム

Info

Publication number: JPH11291991A
Application number: JP10092023A
Authority: JP
Inventors: Ryoji Otsu; 良司大津
Original assignee: SHINSHAKAI SYSTEM KENKYUSHO KK
Current assignee: SHINSHAKAI SYSTEM KENKYUSHO KK
Priority date: 1998-04-03
Filing date: 1998-04-03
Publication date: 1999-10-26

Abstract

(57)【要約】【課題】簡単な手段で移動体装置の現時点の状況を的
確に把握し、安定かつ正確なコントロールを可能とする
移動体の遠隔操縦システムを提供する。【解決手段】受信した操縦情報に基づいて移動すると
共に、周囲の光景を撮像した撮像映像と、自装置の３次
元位置と、自装置の姿勢とを移動体情報とし送信する移
動体装置と、操縦バーの動きを操縦情報として移動体装
置に送信すると共に、移動体装置からの移動体情報を受
信して解析し、撮像映像を画面に表示すると共に、移動
体装置のＣＧ画像を前記３次元位置及び姿勢に対応させ
て上記画面の撮像映像に重ね表示するコントロール装置
とからなる移動体の遠隔操縦システムが提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、飛翔体を含む移動
体装置の遠隔操縦システムに関する。特に移動体装置が
無人の場合に好適であるが、有人の場合にも適用可能な
システムである。

【０００２】

【従来の技術】従来、飛翔体を含む移動体装置（以下、
総称して「移動体装置」と称する）を遠隔操縦するため
のシステムとしては、移動体装置とは別に、持ち運びが
可能な送信機付きのコントロール装置を用意し、移動体
装置の操縦者は、該コントロール装置を使用して、移動
体装置を操縦するための指令を移動体装置側に送信する
方式が取られ、この方式のシステムが、移動体装置の最
も簡単な遠隔操縦システムとして多用されていた。

【０００３】上記より複雑なシステムとしては、現時点
の移動体装置の状況に関する情報をコントロール装置側
に送信する装置を、上記の指令情報のための送信機とは
別系統の装置として移動体装置内に設置するシステムが
あった。

【０００４】通常、上記の移動体装置の状況に関する情
報は、コントロール装置付属の表示部に表示する方法が
採用されており、また、上記の移動体装置の状況に関す
る情報は、移動体装置内部に固定されたカメラやセンサ
ーにより検出されていた。

【０００５】上記システムでは、移動体装置の操縦者
は、上記のコントロール装置付属の表示部に表示される
移動体装置情報を参照しながら、移動体装置に対する操
縦指令を上記のコントロール装置から発信する形態が取
られていた。

【０００６】図８は、特開平６−１４４３８６号公報に
開示された遠隔操縦装置の構成図である。

【０００７】図８において、無人ヘリコプタを含む無人
飛行機８０１には、位置センサー８０５と、姿勢センサ
ー８０７およびデータ送信用の無線送信機８０３が搭載
されており、地上遠隔装置８１１には、データ受信用の
無線受信機８１３と、地上画像生成用のデータを記憶す
る記憶装置およびＣＧＩ(Computer Generated Image)を
備えたコンピュータ・システム８１５と、計器板８１９
と、位置データおよび姿勢表示器８２１が設置されてい
る。

【０００８】位置センサー８０５と姿勢センサー８０７
の出力情報は、無線送信機８０３とデータ受信用の無線
受信機８１３とを介して計器板８１９に伝達され、計器
板８１９上に示されると共に、コンピュータ・システム
８１５にも送られて、地上画像生成に際して使用され
る。この発明は、地上画像がコンピュータ・システム８
１５によって生成されるので、視界不良の天候において
も運用可能としている。

【０００９】なお、上記の特開平６−１４４３８６号公
報が従来例として引用している従来技術には、上記のコ
ンピュータ・システム８１５による地上画像生成に代え
て、移動体装置に設置された前方監視用のカメラから送
出された撮影映像を使用するシステムが開示されてい
る。

【００１０】

【発明が解決しようとする課題】ところで、前記の従来
技術は、実作業に使用する移動体装置用の遠隔操縦シス
テムとしては、実用上の多くの問題点を有していた。

【００１１】まず、移動体装置情報の送信系統を持たな
い前述の遠隔操縦システムの場合には、移動体装置の操
縦者は、作業現場の地勢と移動体装置との相対的な位置
関係を把握するに際し、実際に移動中の移動体装置の現
物によってそれを確認することとなり、それ以外に他に
有効な手段が与えられていなかった。そのため、コント
ロール装置を、事前に、移動体装置の作業現場近くまで
運び、かつ移動体装置の移動と共に、移動体装置の移動
に合わせて、絶えず移動する必要があり、実用上は不便
であった。

【００１２】また、実際の操縦に際しては、原理的に、
移動体装置が存在する位置と、コントロール装置が存在
する位置との両方の地点を、交互若しくは殆ど同時的に
視野に収めておくべき必要性があり、このことが移動体
装置の操縦作業における安定性と信頼性を著しく損ねて
いた。

【００１３】さらに、移動体装置が何らかの理由によ
り、操縦者の視界から消え去った際には、操縦不能とな
っていた。

【００１４】また、上記の特開平６−１４４３８６号公
報が開示している従来技術については、作業現場の地勢
図等を予めＣＧＩ画像として収録しておかなければなら
ず、又、位置情報の採取に際しては、位置センサーによ
って計測することを開示してはいるが、ＧＰＳ(Global
Positioning System) 受信器を使用することまでは開示
していない。

【００１５】また、移動体装置の下部方向の実時間映像
は撮像されないので、例えば、農地等の、時期的に変化
する地勢に、細かく対応していく必要がある作業現場用
には不向きなシステムであった。

【００１６】さらに、移動体装置が何らかの理由によ
り、ＣＧＩ画像として予め収録されている地勢図から外
れ去った際には、操縦困難となっていた。

【００１７】本発明は、以上のような従来技術における
移動体の遠隔操縦システムにおける問題点に鑑みてなさ
れたものであり、操縦者は遠隔の地にありながらも、簡
単な手段で移動体装置の現時点の状況を的確に把握し、
安定かつ正確なコントロールを可能とする移動体の遠隔
操縦システムを提供することを目的とする。

【００１８】

【課題を解決するための手段】上記課題を解決するため
に、本発明の実施態様は、受信した操縦情報に基づいて
移動すると共に、周囲の光景を撮像した撮像映像と、自
装置の３次元位置と、自装置の姿勢とを移動体情報とし
送信する移動体装置と、操縦バーの動きを前記操縦情報
として前記移動体装置に送信すると共に、前記移動体装
置からの移動体情報を受信して解析し、前記撮像映像を
画面に表示すると共に、前記移動体装置のＣＧ画像を前
記３次元位置及び姿勢に対応させて前記画面の撮像映像
に重ね表示するコントロール装置とからなる移動体の遠
隔操縦システムを提供することを要旨とする。

【００１９】また、前記移動体の遠隔操縦システムにお
ける前記移動体装置は、前記コントロール装置からの操
縦情報を受信し、この操縦情報に基づいて前方、旋回、
後方に移動させる制御信号を自装置の各部に送出する操
縦部と、下方、左方向、右方向、前方、後方をそれぞれ
単独で撮像し、これらの撮像映像を送出する複数のカメ
ラと、自装置の３次元位置を得るＧＰＳ受信器と、自装
置の姿勢を得る小型計量のジャイロと、前記各カメラの
撮像映像と前記ＧＰＳ受信器で得た３次元位置と前記ジ
ャイロで得た姿勢とを一組にして前記移動体情報として
電波で送信する送信部とを有することが可能である。

【００２０】また、前記移動体の遠隔操縦システムにお
ける前記コントローラ装置は、前記移動体装置を操縦す
るための操縦バーと、前記移動体装置からの移動体情報
を受信する受信部と、前記操縦バーの操縦情報を送信す
る送信部と、前記受信部が受信した移動体情報の内で、
選択されたカメラの撮像映像を画面に表示させると共
に、前記３次元位置及び姿勢に対応させて前記ＣＧ画像
を空間座標系に定義し、指定方向のＣＧ画像を前記空間
座標系から得て前記画面に表示されている撮像画像と共
に表示させる制御部とを有することが可能である。

【００２１】また、前記制御部は、前記移動体情報から
下方の撮像映像を画面に表示させる手段と、空間座標系
を備え、前記３次元位置に基づいて前記ＣＧ画像を前記
空間座標系に位置させる手段と、前記ＣＧ画像が前記空
間座標系に位置されたとき、前記移動体情報の姿勢に基
づいて前記空間座標系におけるＣＧ画像を変化させて姿
勢を定義する手段と、前記ＣＧ画像の姿勢が定義された
とき、前記空間座標系を上方向から見たときのＣＧ画像
を前記画面に表示されている撮像画像上に重ね表示する
手段と、前記ＣＧ画像の姿勢が定義されたとき、前記空
間座標系における垂直面を右又は左方向から見たときの
前記ＣＧ画像を前記画面に表示されている撮像画像と共
に前記画面に表示させる手段とを有することが可能であ
る。

【００２２】さらに、前記制御部は、前記ＣＧ画像が前
記空間座標系に位置されたとき、前記移動体情報から前
記移動体情報の姿勢に基づいてコンパスを示すＣＧ画像
を定義し、これを請求項４記載のＣＧ画像に重ねて前記
画面に表示させる手段を有することが可能である。

【００２３】そして、前記制御部は、前記ＣＧ画像が前
記空間座標系に位置されたとき、前記移動体情報から前
記移動体情報の姿勢に基づいて移動体の進行方向を示す
ＣＧ画像を定義し、これを請求項５記載のＣＧ画像に重
ねて前記画面に表示させる手段を有することも可能であ
る。

【００２４】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２５】図１は、本発明の実施の形態に係る移動体
の遠隔操縦システムの全体構成を説明するための説明図
である。まず、図１に示すヘリコプター１０１の構成を
示す。

【００２６】作業現場１００の上空には飛翔体の移動体
装置であるヘリコプター１０１が飛来しており、該ヘリ
コプター１０１には、移動体装置の周囲の光景を撮像す
るためのヘリ搭載カメラ１０３と、移動体装置の３次元
位置を受信するためのＧＰＳ受信器１０５と、該ＧＰＳ
受信器１０５のためのＧＰＳ用アンテナ１０７が搭載さ
れている。また、図示は省略しているが、ヘリコプター
１０１には、この他にも、移動体装置の姿勢を検出する
ための小型軽量のジャイロと、移動体情報を送信し、か
つ操縦情報を受信するためのアンテナを含む送受信部
と、上記操縦情報に従って移動体装置を操縦するための
操縦部が備えられている。

【００２７】ヘリ搭載カメラ１０３は、ヘリコプター１
０１の下方，前方，後方，左右に対応した複数のカメラ
で構成されている。

【００２８】次に、図１に示すコントロール装置１２１
の構成を説明する。

【００２９】上記の作業現場１００とは異なる別の地点
には、コントロール装置１２１が設置されており、該コ
ントロール装置１２１には、ヘリコプター１０１の存在
位置を示すＣＧ(Computer Graphic)画像及びその周囲の
光景並びに補助画面を表示するための表示部１２３と、
該表示部１２３の上に表示される画像情報の種類や編集
の仕方、さらには表示方法等を指示するためのキーボー
ド１２５並びにマウス１２９と、ヘリコプター１０１向
けの操縦情報を入力するためのコントロールバー１２７
と、ヘリコプター１０１に関する移動体情報を受信する
ための受信アンテナ１３１と、ヘリコプター１０１向け
の操縦情報を送信するための送信アンテナが備えられて
いる。また、図示は省略しているが、コントロール装置
１２１には、この他に、上記移動体情報を受信するため
の受信部と、上記操縦情報を送信するための送信部と、
ヘリコプター１０１の存在位置を示すＣＧ画像及びヘリ
コプター１０１の周囲の光景並びに補助画面を定義また
は編集するための制御部と、コントロールバー１２７か
ら入力された信号データを上記ヘリコプター１０１向け
の操縦情報に変換するためのコントロール信号生成部を
内蔵している。これらについては後述する。

【００３０】ヘリコプター１０１の操縦者（図示は省
略）は、作業現場１００とは異なる離れた地点でコント
ロール装置１２１を操作し、これにより、ヘリコプター
１０１を操縦する。コントロール装置１２１の操作地点
は、電波による制御が可能な範囲でありさえすればよ
く、その特別な場合としては、移動体装置であるヘリコ
プター１０１の内部であっても構わない。すなわち、本
発明に係る移動体装置は、有人、無人の区別を問わな
い。

【００３１】なお、表示部１２３に表示される画面の構
成例については後述する。

【００３２】図２は、本発明の実施の形態に係る移動体
の遠隔操縦システムのコントロール装置１２１の構成図
である。

【００３３】まず、移動体情報を受信する系統は、アン
テナ１３１と受信部２２１により、移動体装置から送信
された上記の移動体情報を受信し、該受信情報を制御部
２００に引き渡す。制御部２００は該受信した移動体情
報を解析し、キーボード１２５及びマウス１２９の指示
により、各種の画像を編集して、該編集結果を表示部１
２３に表示する。

【００３４】他方、操縦情報を送信する系統は、コント
ロールバー１２７以下で構成され、コントロールバー１
２７から入力された信号データを、コントロール信号生
成部２６５によって上記ヘリコプター１０１向けの操縦
情報に変換し、該操縦情報を、送信部２６７と送信アン
テナ１３３を介して発信する。

【００３５】次に、図２に示す制御部２００の構成を説
明する。

【００３６】データ抽出部２２３は、受信部２２１から
引き渡された移動体情報を画像データと位置データと姿
勢データにそれぞれ分別する。

【００３７】データ抽出部２２３において、画像データ
抽出部２３１は、ヘリ搭載カメラ１０３が撮影した移動
体装置の周囲の光景に関する画像データを、画像選択指
令部２４３の指示に対応して抽出する。位置データ抽出
部２３３は、ＧＰＳ受信器１０５が受信した移動体装置
の３次元位置に関する位置データを受信部２２１から引
き渡された移動体情報から抽出する。姿勢データ抽出部
２３５は、移動体に搭載されたジャイロにより検出され
た姿勢データを受信部２２１から引き渡された移動体情
報から抽出する。

【００３８】データ収集部２２５は、受信部２２１から
引き渡された上記の移動体情報を時系列で収集し、これ
を記録装置２２７に一括して記録する。

【００３９】表示変換部２３７は、画像データ抽出部２
３１の出力を、表示部１２３向けのビデオレートの信号
に変換する。

【００４０】方向画像生成部２３９は、位置データ抽出
部２３３と姿勢データ抽出部２３５の出力を受けて、移
動体の進行方向を確定し、該進行方向を表示するための
ＣＧ画像を生成する。

【００４１】コンバス画像生成部２１５は、ＧＰＳマッ
プに示されたコンパスを、姿勢データ抽出部２３５の出
力との整合を取って、表示画像上のコンパス画像となる
ＣＧ画像を生成する。

【００４２】ヘリコプター画像作成部２１７は、位置デ
ータ抽出部２３３と姿勢データ抽出部２３５との整合を
取って、表示画像上のヘリコプター画像となるＣＧ画像
を生成する。なお、この際の動作を示す制御フローにつ
いては、後述する。

【００４３】上記の表示変換部２３７，位置データ抽出
部２３３，方向画像生成部２３９，コンバス画像生成部
２１５，ヘリコプター画像作成部２１７から出力された
各画像情報は、それぞれマルチウインドウ制御管理部２
１３に入力される。

【００４４】マルチウインドウ制御管理部２１３は、上
記入力された各画像情報を編集し、重ね合わせ画面と共
に、場合に応じて、マルチウインドウの補助画面を作成
し、表示部１２３の表示画面上に一つの画面として表示
せしめる。上記マルチウインドウ表示の補助画面の具体
例については、後述する。

【００４５】入力制御部２４１は、キーボード１２５と
マウス１２９により入力された編集指令を纏め、該纏め
られた編集指令により、マルチウインドウ制御管理部２
１３を制御すると共に、必要に応じて、画像選択指令部
２４３と姿勢表示選択指令部２４５にそれぞれ対応する
指令情報を送出する。

【００４６】画像選択指令部２４３は、ヘリ搭載カメラ
の撮影方向別の撮像データのいずれか少なくとも１つを
選択し、表示部１２３に表示せしめる指令情報を、それ
ぞれ画像データ抽出部２３１とコンバス画像生成部２１
５とヘリコプター画像作成部２１７に送出する。

【００４７】姿勢表示選択指令部２４５は、表示画像上
のヘリコプター画像となる上記ＣＧ画像がローカルな空
間座標系に生成されるに際し、前記空間座標系を上方向
から見たときのＣＧ画像と、前記空間座標系における垂
直面を右又は左方向から見たときのＣＧ画像との、いず
れかのＣＧ画像を選択せしめる指令情報を、ヘリコプタ
ー画像作成部２１７に送出する。

【００４８】基準ヘリ画像２４７は、ヘリ画像の基準姿
勢に対応するＣＧ画像を記憶しており、これを必要に応
じてヘリコプター画像作成部２１７に送出する。

【００４９】次に、表示部１２３に表示される画面の構
成例について説明する。

【００５０】図３は、本発明の実施の形態に係る移動体
の遠隔操縦システムの表示部１２３に表示される画面の
一例を示す説明図である。

【００５１】図３に示す表示例においては、ヘリ搭載カ
メラ１０３が、移動体装置すなわちヘリコプター１０１
の下部方向を撮影した光景が表示されている。

【００５２】図３に示す表示例の場合は、表示される画
像は、実際の撮像画面であるので、ヘリコプター１０１
を象徴するＣＧ画像３３は、ヘリコプター画像作成部２
１７において定型として生成され、実際の撮像画面のほ
ぼ中央部に、実際の撮像画面に形式的に重ねてコンスタ
ントに表示される。方向を示すＣＧ画像３５も定型とし
て生成され、実際の撮像画面に形式的に重ねてコンスタ
ントに表示される。

【００５３】なお、表示部１２３は、上記表示例に示す
ヘリコプター１０１の下方の光景の他に、ヘリコプター
１０１の前方，後方および左右の光景を、選択的にフル
スクリーン表示することができる。

【００５４】コンパスを示すＣＧ画像Ｎ，Ｓ，Ｅ，Ｗ
は、ジャイロの情報を抽出した姿勢データ抽出部２３５
からの情報に基づいてコンパス画像生成部２１５で定義
され、表示される。補助画面４１３上のコンパスを示す
ＣＧ画像Ｎ，Ｅの表示についても同様である。

【００５５】図４は、本発明の実施の形態に係る移動体
の遠隔操縦システムの表示部１２３に表示される画面の
他の一例を示す説明図である。

【００５６】図４に示す表示例は、図３に示す実際の撮
像画面の画像に、マルチウインドウ表示の補助画面４１
１，４１３，４１５を重ねて表示した画面を示す。

【００５７】図４に示す表示例においては、３つの補助
画面、４１１，４１３，４１５が示されているが、この
ような補助画面の画面数は、表示部１２３のスペースが
許す限りにおいて、必要に応じて、更に増やすことがで
きる。また、このような補助画面の選択は、マウス１２
９とキーボード１２５からの指令によってなされる。

【００５８】上記移動体装置のＣＧ画像には、移動体装
置の位置情報や姿勢情報を含めることができる。上記の
位置情報は、通常のＧＰＳ受信器を備えたカーナビゲー
ション装置と同様に、簡単なマップとの合成画像によっ
て示すことも可能である。

【００５９】また、移動体装置に３次元ＧＰＳ受信器を
搭載しておくことにより、高度情報を表示することも可
能である。

【００６０】図５は、ヘリコプター画像作成部２１７の
ＣＧ画像生成動作を示すフローチャートである。

【００６１】以下、図１，図２，図４を参照しつつ、図
５に示すフローチャートを用いて、ヘリコプター画像作
成部２１７のＣＧ画像選択動作を説明する。

【００６２】ステップＳ５０１では、ＧＰＳ受信器１０
５が受信したＧＰＳ位置座標により、ヘリコプター１０
１の現在位置における緯度，経度，高度を示す位置デー
タＥｉを、ＧＰＳ位置座標系ΣＥ_iに則して読み取る。

【００６３】ステップＳ７０３では、上記読み取った位
置データＥ_iを３次元のローカル座標、すなわちＣＧ画
像に関する空間座標系に変換する。この変換は、図３に
示したヘリ搭載カメラ１０３からの画像は、選択された
カメラ画像の画像空間が表示部１２３の座標空間と常に
１対１対応に固定されてマッピングされる。また、その
原点はカメラ位置に固定されている。これに対し、上記
の移動体装置のＣＧ画像に関する空間座標系は、上記の
カメラ画像の画像空間とは切り離された別個の系であ
り、いわば観測系であるコントロール装置１２１が構成
した絶対空間の座標系である。それ故、上記した補助画
面上の移動体装置のＣＧ画像の定義に際しては、両者の
座標変換が必要となるからである。

【００６４】ステップＳ７０５では、基準ヘリ画像２４
７が格納している基準のＣＧ画像を読み出して参照し、
上記座標系の変換で得られた上記位置データＥ_iに対応
するローカル座標位置を中心にして、ヘリコプター１０
１に対応するＣＧ画像を定義する。

【００６５】ステップＳ５０６では、受信した姿勢デー
タＨｉを読み、ステップＳ５０７ではこの姿勢データＨ
ｉに基づいてローカル座標系のＣＧ画像の姿勢を定義す
る。

【００６６】具体的には、姿勢データ抽出部２３５から
姿勢データを読み込み、これを上記姿勢軸指令で指示さ
れた姿勢軸に対する緯度，経度，水平軸の角度を示す姿
勢データＨ_iに変換して空間座標系におけるＣＧ画像の
姿勢を決定する。

【００６７】図６は、ヘリコプター画像作成部２１７の
ＣＧ画像選択動作を示すフローチャートである。

【００６８】以下、図５を参照しつつ、図６に示すフロ
ーチャートを用いて、ヘリコプター画像作成部２１７の
ＣＧ画像選択動作を説明する。

【００６９】ステップＳ６０１では、ＣＧ画像方向指示
コマンドを読み取る。該ＣＧ画像方向指示コマンドの入
力は、マウス１２９とキーボード１２５によってなされ
る。

【００７０】ステップＳ６０３では、上記読み取ったＣ
Ｇ画像方向指示コマンドに従って、ヘリ画像をＣＧ画像
（立体）に関する空間座標系に投影する際の方向を判定
する。

【００７１】上記の決定により、例えば、図７に示す方
向Ｂが判定された時、ステップＳ６１１に移り、方向Ｂ
から見たヘリ画像をメモリＢに投影し、ステップＳ６１
３において、方向Ｂから見たヘリ画像に対応するヘリＣ
Ｇ画像をメモリＢに格納する。

【００７２】方向Ａ，Ｃ，Ｄ，Ｅが判定された場合につ
いても上記と同様に、対応するヘリＣＧ画像が投影の手
法により生成され、それぞれメモリＡ，Ｃ，Ｄ，Ｅに格
納される。すなわち、遠隔地点において図４に示すよう
に、ヘリコプター１０１の姿勢、及び位置を示すＣＧ画
像が生画像の上に表示されるのでヘリコプター１０１を
目で確認しなくとも画面を見ているだけで確認できる。
このため、画面上を見て操縦が可能である。図４におい
ては、進行方向のカメラの生画像の上にＣＧ画像を表示
していることを示し、後ろから見たときの姿勢と位置と
が分かるように表示されている。

【００７３】前述のＣＧ画像の投影について説明を補足
する。図７は、ヘリコプター１０１の姿勢を示す画像
と、コントロール装置１２１における投影用メモリに格
納される移動体装置ＣＧ画像との対応関係を説明する説
明図である。

【００７４】上記のようにヘリコプター１０１の下方，
前方，後方および左右の光景を選択的に表示することも
できるし、図７に示す空間座標系のＡ，Ｂ，Ｃ，Ｄ，Ｅ
の方向から見たときの移動体装置のＣＧ画像を選択的に
表示することもできるようにするために、図７に示す空
間座標系にＣＧ画像を定義し、指示に基づいてこの空間
座標系における各方向、Ａ，Ｂ，Ｃ，Ｄ，Ｅを投影用メ
モリに格納して表示させている。

【００７５】なお、上記実施の形態では移動体をヘリコ
プターとしたがクレーン、ダンプ、ボート、シールドマ
シン等であってもよい。

【００７６】また、入力指示をマウス、キーボードとし
たが、タッチパネル、音声による入力指示であってもよ
い。

【００７７】

【発明の効果】以上に述べたことにより、本発明の移動
体の遠隔操縦システムによれば、移動体装置の操縦者
は、移動対装置を操縦するに際して、当該移動体装置を
直接的に視認する必要はなく、簡単な手段で当該移動体
装置の現時点の状況を表示画面上で的確に把握すること
ができる。

【００７８】よって、移動体装置を安定かつ正確にコン
トロールすることができ、例えば、時期的に絶えず変化
する地勢に、細かく対応し、かつ、素早い動きが要求さ
れる無人ヘリコプター等の移動体に対して、本発明のシ
ステムを適用すれば、その安定性と信頼性を実用レベル
にまで高めて提供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る移動体の遠隔操縦シ
ステムの全体構成を説明するための説明図である。

【図２】本発明の実施の形態に係る移動体の遠隔操縦シ
ステムのコントロール装置の構成図である。

【図３】本発明の実施の形態に係る移動体の遠隔操縦シ
ステムの表示部に表示される画面の一例を示す説明図で
ある。

【図４】本発明の実施の形態に係る移動体の遠隔操縦シ
ステムの表示部に表示される画面の他の一例を示す説明
図である。

【図５】ヘリコプター画像作成部のＣＧ画像生成動作を
示すフローチャートである。

【図６】ヘリコプター画像作成部のＣＧ画像選択動作を
示すフローチャートである。

【図７】ヘリコプターの姿勢を示す画像と、コントロー
ル装置における投影用メモリに格納される移動体装置Ｃ
Ｇ画像との対応関係を説明する説明図である。

【図８】特開平６−１４４３８６号公報に開示された遠
隔操縦装置の構成図である。

【符号の説明】

１００作業現場１０１ヘリコプター１０３ヘリ搭載カメラ１０５ＧＰＳ受信器１０７ＧＰＳ用アンテナ１２１コントロール装置１２３表示部１２５キーボード１２７コントロールバー１２９マウス１３１受信アンテナ１３３送信アンテナ２００制御部２１３マルチウインドウ制御管理部２１５コンバス画像生成部２１７ヘリコプター画像作成部２２１受信部２２３データ抽出部２２７記録装置２３１画像データ抽出部２３３位置データ抽出部２３５姿勢データ抽出部２３７表示変換部２３９方向画像生成部２４３画像選択指令部２４５姿勢表示選択指令部２４７基準ヘリ画像２６５コントロール信号生成部２６７送信部５００空間座標系のローカル空間

Claims

【特許請求の範囲】

【請求項１】受信した操縦情報に基づいて移動すると
共に、周囲の光景を撮像した撮像映像と、自装置の３次
元位置と、自装置の姿勢とを移動体情報とし送信する移
動体装置と、操縦バーの動きを前記操縦情報として前記移動体装置に
送信すると共に、前記移動体装置からの移動体情報を受
信して解析し、前記撮像映像を画面に表示すると共に、
前記移動体装置のＣＧ画像を前記３次元位置及び姿勢に
対応させて前記画面の撮像映像に重ね表示するコントロ
ール装置とからなる移動体の遠隔操縦システム。
【請求項２】前記移動体装置は、前記コントロール装置からの操縦情報を受信し、この操
縦情報に基づいて前方、旋回、後方に移動させる制御信
号を自装置の各部に送出する操縦部と、下方、左方向、右方向、前方、後方をそれぞれ単独で撮
像し、これらの撮像映像を送出する複数のカメラと、自装置の３次元位置を得るＧＰＳ受信器と、自装置の姿勢を得る小型計量のジャイロと、前記各カメラの撮像映像と前記ＧＰＳ受信器で得た３次
元位置と前記ジャイロで得た姿勢とを一組にして前記移
動体情報として電波で送信する送信部とを有することを
特徴とする請求項１記載の移動体の遠隔操縦システム。
【請求項３】前記コントローラ装置は、前記移動体装置を操縦するための操縦バーと、前記移動体装置からの移動体情報を受信する受信部と、前記操縦バーの操縦情報を送信する送信部と、前記受信部が受信した移動体情報の内で、選択されたカ
メラの撮像映像を画面に表示させると共に、前記３次元
位置及び姿勢に対応させて前記ＣＧ画像を空間座標系に
定義し、指定方向のＣＧ画像を前記空間座標系から得て
前記画面に表示されている撮像画像と共に表示させる制
御部とを有することを特徴とする請求項１又は請求項２
記載の移動体の遠隔操縦システム。
【請求項４】前記制御部は、前記移動体情報から下方の撮像映像を画面に表示させる
手段と、空間座標系を備え、前記３次元位置に基づいて前記ＣＧ
画像を前記空間座標系に位置させる手段と、前記ＣＧ画像が前記空間座標系に位置されたとき、前記
移動体情報の姿勢に基づいて前記空間座標系におけるＣ
Ｇ画像を変化させて姿勢を定義する手段と、前記ＣＧ画像の姿勢が定義されたとき、前記空間座標系
を上方向から見たときのＣＧ画像を前記画面に表示され
ている撮像画像上に重ね表示する手段と、前記ＣＧ画像の姿勢が定義されたとき、前記空間座標系
における垂直面を右又は左方向から見たときの前記ＣＧ
画像を前記画面に表示されている撮像画像と共に前記画
面に表示させる手段とを有することを特徴とする請求項
３記載の移動体の遠隔操縦システム。
【請求項５】前記制御部は、前記ＣＧ画像が前記空間座標系に位置されたとき、前記
移動体情報から前記移動体情報の姿勢に基づいてコンパ
スを示すＣＧ画像を定義し、これを請求項４記載のＣＧ
画像に重ねて前記画面に表示させる手段を有すること、
を特徴とする請求項４記載の移動体の遠隔操縦システ
ム。
【請求項６】前記制御部は、前記ＣＧ画像が前記空間座標系に位置されたとき、前記
移動体情報から前記移動体情報の姿勢に基づいて移動体
の進行方向を示すＣＧ画像を定義し、これを請求項５記
載のＣＧ画像に重ねて前記画面に表示させる手段を有す
ること、を特徴とする請求項５記載の移動体の遠隔操縦
システム。