JP6996820B2

JP6996820B2 - 遠隔操縦用表示装置と遠隔操縦用表示方法

Info

Publication number: JP6996820B2
Application number: JP2017174101A
Authority: JP
Inventors: 暢小林
Original assignee: IHI Corp; IHI Aerospace Co Ltd
Current assignee: IHI Corp; IHI Aerospace Co Ltd
Priority date: 2017-09-11
Filing date: 2017-09-11
Publication date: 2022-01-17
Anticipated expiration: 2037-09-11
Also published as: JP2019049888A

Description

本発明は、人が遠隔操縦装置を操作して移動装置を遠隔操縦する時に、移動装置から見た環境を表示するための遠隔操縦用表示装置と遠隔操縦用表示方法に関する。

無人車両のような移動装置を遠隔操縦するために、例えば、移動装置にカメラが設けられる。このカメラは移動装置から見た領域を撮像して画像を生成する。この画像は、移動装置から遠隔操縦装置の側へ無線通信を利用して送信される。遠隔操縦装置の側では、移動装置から送信された画像を受け、この画像をディスプレイに表示する。人は、表示されたディスプレイを見て遠隔操縦装置を操作する。この操作に応じた動作指令（例えば進行方向についてのステアリング動作指令や、加減速についてのアクセル・ブレーキ動作指令など）が遠隔操縦装置から移動装置へ送信される。移動装置の制御部は、この動作指令を受け、動作指令に従って移動装置の移動を制御する。

特開２００６－２７９６４８号公報特開２０１４－４８８５９号公報

上述の画像が撮像により生成されてからディスプレイに表示されるまでには、画像の通信時間を含む遅延時間がかかる。また、ディスプレイに表示された画像を見て、人が遠隔操縦装置を操作してから当該操作が示す動作指令に従って移動装置が実際に動作するまでに、動作指令の通信時間を含む遅延時間がかかる。このような遅延時間を考慮した状態の画像をディスプレイに表示する技術が特許文献１、２に記載されている。

特許文献１では、移動装置（模型自動車）のカメラが画像を生成した時から、この画像が遠隔操縦装置の側で受信されるまでの遅延時間を求め、この遅延時間、移動装置の速度、動作指令などに基づいて、画像をズームしたり上下左右方向にずらして、ディスプレイに表示している。しかし、人は、このようにして表示された画像を見て移動装置から画像内の各位置までの距離感を掴みにくい可能性がある。

特許文献２では、次のように三次元画像を表示している。移動装置（無人車両）のステレオカメラが三次元画像を生成した時から、この三次元画像が遠隔操縦装置の側で受信されるまでの遅延時間を求める。この遅延時間、車両状態、動作指令などに基づいて、遠隔操縦装置により遠隔操縦される時刻の移動装置の位置を予測する。ディスプレイは、予想した移動装置の位置（車両のボンネットの位置）を三次元画像に重ねて表示する。しかし、表示される三次元画像は、三次元画像を取得した過去の時点の移動装置から見た領域の画像である。すなわち、遠隔操縦装置を操作した場合に、当該操作が示す動作を移動装置が実際に行う時を未来時点として、未来時点における移動装置から見た画像を表示することが望まれる。

そこで、本発明の目的は、遠隔操縦装置を操作した場合に、当該操作が示す動作を移動装置が実際に行う時を未来時点として、未来時点における移動装置から各位置までの距離感を人が掴みやすい画像を表示できる新たな技術を提供することにある。

本発明の遠隔操縦用表示装置は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するための装置であって、
移動装置の進行方向側の環境を表わす環境データに基づいて三次元のＣＧ画像を生成する画像生成装置と、
生成された前記ＣＧ画像を表示するディスプレイと、を備え、
前記画像生成装置は、
移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、
予測した前記未来位置から見た前記ＣＧ画像を生成する。

本発明の遠隔操縦用表示方法は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するための方法では、
（Ａ）移動装置の進行方向側の環境を表わす環境データに基づいて三次元のＣＧ画像を生成し、
（Ｂ）生成された前記ＣＧ画像をディスプレイに表示する。
前記（Ａ）では、
移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、
予測した前記未来位置から見た前記ＣＧ画像を生成する。

本発明によると、画像生成装置は、通信遅延を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、予測した未来位置から見た三次元のＣＧ画像を生成する。したがって、人は遠隔操縦装置を操作した場合に、当該操作に従って移動装置が実際に動作する時を未来時点として、未来時点の移動装置の未来位置から見た三次元ＣＧ画像をディスプレイに表示することができる。よって、遠隔操縦装置を操作する時点と、当該操作により移動装置が実際に動作する未来時点とで、ディスプレイに表示された画像での見え方が異なることを考慮することが不要になるので、人は、表示された画像を見て未来位置の移動装置から各位置までの距離感を掴みやすい。

また、移動装置の未来位置から見た三次元ＣＧ画像は、未来位置から人が実際に見た場合の見え方と同様であるか又は似ている。したがって、人は、このような三次元画像を見て未来位置の移動装置から各位置までの距離感を直感的に掴みやすい。

本発明の実施形態による遠隔操縦用表示装置を含む遠隔操縦システムのブロック図である。移動装置の一例を示す。遠隔操縦用表示装置が生成する三次元ＣＧ画像の説明図である。本発明の実施形態による遠隔操縦用表示方法のフローチャートである。

［実施形態の概要］

（１）本発明の実施形態による遠隔操縦用表示装置は、次のように構成されてよい。遠隔操縦用表示装置は、移動装置の遠隔操縦時に、移動装置から見た環境を表示するためのものである。遠隔操縦用表示装置は、移動装置の進行方向側の環境を表わす環境データに基づいて三次元のＣＧ画像を生成する画像生成装置と、生成された前記ＣＧ画像を表示するディスプレイと、を備える。前記画像生成装置は、移動装置と遠隔操縦装置との通信時間を考慮した遅延時間に基づく未来時点における移動装置の未来位置を予測し、予測した前記未来位置から見た前記ＣＧ画像を生成する。

（２）上記（１）の場合に、次の構成を採用してもよい。前記環境データは、移動装置に設けたレーザスキャナにより計測された点群データであり、該点群データは、移動装置から見た計測範囲における物体表面の各計測点の三次元位置を設定座標系で表わしたデータであり、前記移動装置から送信される。遠隔操縦用表示装置は、前記移動装置から送信された前記点群データを受ける通信部を備える。

このように、移動装置が設けたレーザスキャナが生成した点群データを用いることにより、移動装置の未来位置から見た三次元ＣＧ画像を生成できる。また、ＣＧ画像の生成には、移動装置が備えているレーザスキャナで取得した点群データを使用するので、特殊な装置は不要である。これに対し、上述の特許文献２では、特殊な装置が必要となる。すなわち、特許文献２では、移動装置の側に、ステレオカメラが必要であり、遠隔操縦装置の側に、ステレオカメラが取得した画像を人に立体的に見せるための３Ｄ眼鏡とディスプレイが必要となる。

（３）上記（１）の場合に、次の構成を採用してもよい。遠隔操縦用表示装置は、地図データ（既知の地図データ、または前記点群データから生成した地図データ）を前記環境データとして記憶する記憶部と、前記移動装置から前記移動装置の現在位置として送信される位置情報を受ける通信部と、を備える。前記画像生成装置は、前記移動装置の前記位置情報と前記遅延時間とに基づいて、前記地図データを表わす設定座標系における、前記未来時点の移動装置の前記未来位置を予測する。前記画像生成装置は、予測した前記未来位置から見た前記ＣＧ画像を前記地図データに基づいて生成する。

このように、記憶部に記憶した地図データと、移動装置の現在位置として送信された位置情報を用いることにより、移動装置の未来位置から見た三次元ＣＧ画像を生成できる。また、ＣＧ画像の生成には、地図データを使用するので、特殊な装置は不要である。これに対し、上述の特許文献２では、上述のように特殊な装置が必要となる。

（４）上記（１）～（３）のいずれかの場合に、次の構成を採用してもよい。環境データが点群データまたは地図データである場合に、前記画像生成装置は、前記未来位置を予測する位置予測部を備えてよい。遠隔操縦装置に行われた操作が示す移動装置の速さ、または、移動装置において計測され前記遠隔操縦用表示装置へ送信された移動装置の速さが、前記位置予測部に入力される。前記位置予測部は、入力された前記速さと、前記遅延時間とに基づいて前記未来位置を予測する。

このように、移動装置の速さと遅延時間とに基づいて、移動装置の未来位置を予測できる。

（５）上記（１）～（４）のいずれかの場合に、次の構成を採用してもよい。前記移動装置の時計が計測した時刻を示す時刻情報が、当該時刻の計測時に移動装置から送信される。前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備える。前記遅延時間取得部は、時刻を計測する時計と、計算部とを備える。計算部は、前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、通信時間として計算し、該通信時間を２倍した時間を含む時間を前記遅延時間として求める計算部とを備える。

このように、移動装置から遠隔操縦装置への通信に要する通信時間を計測し、この通信時間を２倍した時間を遅延時間に含ませる。これにより、移動装置と遠隔操縦装置との離間距離または通信状況に応じた遅延時間を取得できる。

（６）上記（１）～（４）のいずれかの場合に、次の構成を採用してもよい。前記移動装置の時計が計測した時刻を示す時刻情報が、当該時刻の計測時に移動装置から送信される。前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備える。前記遅延時間取得部は、時刻を計測する時計と、計算部を備える。計算部は、前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、第１の通信時間として計算する。前記遅延時間取得部の前記時計が計測した時刻を示す時刻情報が、当該時刻の計測時に前記通信部から送信される。前記移動装置が当該時刻情報を受けた時刻と、当該時刻情報が示す前記時刻との差を第２の通信時間として前記移動装置において計算され、前記通信部は、前記第２の通信時間を前記移動装置から受ける。前記計算部は、前記第１の通信時間と前記第２の通信時間との合計を含む時間を前記遅延時間として求める。

このように、移動装置から遠隔操縦装置への通信に要する第１の通信時間を計測し、遠隔操縦装置から移動装置への通信に要する第２の通信時間を計測し、第１および第２の通信時間の合計を遅延時間に含ませる。これによっても、移動装置と遠隔操縦装置との離間距離または通信状況に応じた遅延時間を取得できる。

［実施形態の具体例］
以下において、本発明の実施形態の具体例を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

（遠隔操縦システム１の構成）
図１は、本発明の実施形態による遠隔操縦用表示装置２０Ｂを含む遠隔操縦システム１を示すブロック図である。遠隔操縦システム１は、移動装置１０と遠隔側装置２０を含む。遠隔側装置２０は、遠隔操縦装置２０Ａと遠隔操縦用表示装置２０Ｂとを含む。

遠隔操縦装置２０Ａは、人に操作されることにより、当該操作に応じた動作指令を移動装置１０に送信する。この動作指令に従って移動装置１０は移動する。移動装置１０は、進行方向側の環境を表わす点群データを環境データとして取得して遠隔操縦用表示装置２０Ｂに送信する。遠隔操縦用表示装置２０Ｂは、この点群データに基づく三次元ＣＧ（ｃｏｍｐｕｔｅｒｇｒａｐｈｉｃｓ）画像を表示する。人は、表示された三次元ＣＧ画像を見て、遠隔操縦装置２０Ａを操作する。遠隔操縦用表示装置２０Ｂと遠隔操縦装置２０Ａは、互いに一体的に結合されていてもよいし、互いに分離していてもよい。移動装置１０と遠隔側装置２０との通信は、無線通信により行われてよい。

＜移動装置１０に関する構成＞
図２は、移動装置１０の一例を示す。移動装置１０は、図２のように車輪２を有し、この車輪２が地表面４に接触しながら回転駆動されることにより地表面４を走行する車両であってよい。代わりに、各移動装置１０は、クローラにより地上を走行する走行装置であってもよい。

移動装置１０は、本実施形態では、遠隔操縦装置２０Ａにより遠隔操縦されるように構成されている。したがって、移動装置１０は、遠隔操縦装置２０Ａから受けた動作指令に従って移動する。移動装置１０は、遠隔操縦装置２０Ａから動作指令を受けない時は、例えば、後述するように障害物を回避するように次の経由点に向かって自律移動してよい。

移動装置１０は、レーザスキャナ３、通信部５、速度センサ７、向きセンサ８、地図生成部１１、および制御部１３を備える。

レーザスキャナ３は、移動装置１０から見た計測範囲における物体表面の各計測点の三次元位置（座標）を設定座標系（本実施形態ではスキャナ座標系）で表わした点群データを生成する。すなわち、レーザスキャナ３は、上述の計測範囲に対してレーザ光（例えばパルスレーザ光）を走査して計測範囲へ各射出方向にレーザ光を射出し、各射出方向へのレーザ光が計測点で反射した反射光を受ける。これにより、レーザスキャナ３は、射出方向毎に、当該射出方向とレーザ光の射出時点とレーザ光の反射光の受光時点とに基づいて、計測点の位置を検出する。

点群データを表わす上述のスキャナ座標系は、当該点群データを生成した時の移動装置１０の位置を原点とする三次元座標系である。なお、レーザスキャナ３は、例えばＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎａｎｄＲａｎｇｉｎｇ）またはＬＲＦ（ＬａｓｅｒＲａｎｇｅＦｉｎｄｅｒ）と呼ばれる機器であってよい。レーザスキャナ３は、生成した点群データを通信部５と地図生成部１１に入力する。

通信部５は、レーザスキャナ３から入力された点群データを、遠隔操縦用表示装置２０Ｂへ送信する。

速度センサ７は、移動装置１０の速度の大きさ（速さ）を検出する。速度センサ７は、例えば、車両としての移動装置１０の車輪２の回転速度を計測し、この回転速度から、地表面４に対する移動装置１０の速さを求めるものであってよいが、これに限定されない。例えば、速度センサ７は、衛星航法システムにおける航法衛星からの電波に基づいて移動装置１０の速さを推定する構成（例えば後述のＧＮＳＳ受信装置４１を利用する構成）を有していてもよいし、この構成と上記回転速度を計測する構成とを組み合わせたものであってもよい。

向きセンサ８は、地表面４に固定された後述の地図座標系に対する移動装置１０の向き（すなわち進行方向）を検出する。向きセンサ８は、例えばジャイロセンサを用いて構成されたものであってよいが、これに限定されない。例えば、向きセンサ８は、衛星航法システムにおける航法衛星からの電波に基づいて移動装置１０の向きを推定する構成（例えば後述のＧＮＳＳ受信装置４１を２つ利用する構成）を有していてもよいし、この構成とジャイロセンサを組み合わせたものであってもよい。

位置検出部９は、後述の地図座標系における移動装置１０の現在位置を求める。例えば、位置検出部９は、速度センサ７が計測した速さと、向きセンサ８が検出した向きとに基づいて、移動装置１０の現在位置を求める。すなわち、位置検出部９は、速度センサ７が検出した速さで、向きセンサ８が計測した向きへの移動装置１０が各時点で移動したとして、各時点の当該速さと向きに基づいて移動装置１０の現在位置を求める。なお、この構成の代わり又は追加の構成として、位置検出部９は、衛星航法システムにおける測位衛星からの電波に基づいて移動装置１０の現在位置を求める構成を有していてもよい。

地図生成部１１は、レーザスキャナ３が生成した点群データを地図座標系のデータに変換して、当該変換後の点群データに基づいて、地表面４に固定された地図座標系において、移動可能領域と、障害物の位置を表わした地図データ（例えば局所地図）を生成する。移動可能領域は、凹凸の度合いが閾値以下の地表面４の領域であり、移動装置１０の幅よりも大きい広がりを持つ領域であってよい。障害物は、当該地表面４からの高さが上限値を超える物体であってよい。

点群データの上述の変換は、上述のスキャナ座標系からの座標変換であり、例えば、向きセンサ８が検出した移動装置１０の向きと、位置検出部９が求めた移動装置１０の現在位置とに基づいて行われてよい。レーザスキャナ３は点群データを繰り返し生成し、そのたびに、地図生成部１１は、点群データに基づいて地図データを生成する。

制御部１３は、遠隔操縦装置２０Ａから動作指令を受けない時は、位置検出部９が検出した移動装置１０の現在位置と、地図生成部１１により生成された最新の地図データとに基づいて、障害物に干渉しないように次の経由点に向かう移動経路を設定周期で生成する。次の経由点は、移動装置１０が目標位置へ移動するために通過する複数の経由点のうち、移動装置１０が次に通過する経由点である。目標位置と複数の経由点は予め設定されている。

制御部１３は、生成した移動経路に沿って移動装置１０が移動するように移動装置１０の駆動装置１５を制御する。この駆動装置１５は、例えば、移動装置１０としての車両のアクセル、ブレーキ、ステアリング、変速機などをそれぞれ操作する複数のアクチュエータにより構成されている。

＜遠隔操縦装置２０Ａに関する構成＞
遠隔操縦装置２０Ａは、操作装置１７と指令生成部１９を備える。操作装置１７は、人が操作可能に構成されている。操作装置１７に行える操作は、移動装置１０の進行方向を指定するためのステアリング操作と、移動装置１０の速度に関する加減速操作の一方（例えばステアリング操作、若しくは、加減速操作（アクセルペダル２３ａとブレーキペダル２３ｂの少なくともいずれかの操作））又は両方を含む。

操作装置１７は、ステアリング操作のためのステアリング操作部２１（例えばハンドル）を含んでよい。ステアリング操作部２１には、移動装置１０の進行方向を指定する操作（例えば上述のハンドルを右側または左側に回転させる操作）が可能である。移動装置１０の進行方向は、ステアリング操作部２１の操作方向（例えば上述のハンドルを基準位置から回転させる方向（右回り又は左回り））と、ステアリング操作部２１の操作量（例えば上述のハンドルを基準位置から回転させた量）に従って指定される。移動装置１０の進行方向は、移動装置１０の正面（例えば移動装置１０に固定され移動装置１０の正面を向く基準線）に対する方向として指定される。ステアリング操作部２１の操作が無い状態では（例えば上述のハンドルの回転位置が基準位置にある状態では）、移動装置１０の進行方向は、移動装置１０の正面として指定されてよい。

操作装置１７は、加減速操作のための加減速操作部２３（例えばアクセルペダル２３ａとブレーキペダル２３ｂ）を含んでよい。加減速操作部２３には、加速と減速のいずれを実行させるのかを示す操作（例えば上述のアクセルペダル２３ａとブレーキペダル２３ｂのいずれかの操作）と、加減速量を示す操作（例えば当該加減速量に対応する量だけ上述のアクセルペダル２３ａまたはブレーキペダル２３ｂを押し下げる操作）とが可能である。

指令生成部１９は、操作装置１７に行われた操作に応じた動作指令を生成する。例えば、指令生成部１９は、ステアリング操作部２１の操作により指定された移動装置１０の進行方向を示す動作指令を生成する。また、加減速操作部２３が操作された場合には、指令生成部１９は、加速と減速のいずれを実行させるのかと、加減速量を示す動作指令を生成する。生成された動作指令は、遠隔側装置２０の通信部２５から移動装置１０へ送信され、通信部５を介して制御部１３に入力される。これにより、制御部１３は、入力された動作指令（例えば動作指令が指定する進行方向、または、動作指令が示す加速もしくは減速と加減速量）に従って駆動装置１５を制御する。これにより移動装置１０が動作指令に従って移動の動作を行う。

＜遠隔操縦用表示装置２０Ｂに関する構成＞
遠隔操縦用表示装置２０Ｂは、通信部２５と画像生成装置２７とディスプレイ２９を備える。通信部２５は、移動装置１０の通信部５から送信された点群データを受ける。画像生成装置２７は、通信部２５が受けた点群データに基づいて三次元のＣＧ画像を生成する。ディスプレイ２９は、画像生成装置２７が生成した三次元のＣＧ画像を表示する。人がディスプレイ２９に表示されたＣＧ画像を見ながら操作装置１７を操作できるようにディスプレイ２９と操作装置１７とが配置されている。

レーザスキャナ３が繰り返し生成した点群データが、通信部５，２５を介して繰り返し画像生成装置２７に入力される。画像生成装置２７は、点群データが入力される度に、当該点群データに基づいて、三次元ＣＧ画像を生成する。ディスプレイ２９は、三次元ＣＧ画像が生成される度に、当該三次元ＣＧ画像を表示する。

画像生成装置２７は、移動装置１０と遠隔操縦装置２０Ａとの通信時間を考慮した遅延時間に基づく未来時点における移動装置１０の未来位置を予測し、予測した未来位置から見た三次元ＣＧ画像を生成する。画像生成装置２７は、例えば、遅延時間取得部３１と位置予測部３３と画像生成部３５を備える。

遅延時間取得部３１は、移動装置１０と遠隔操縦装置２０Ａとの通信時間を計測し、この通信時間に基づく遅延時間を求める。遅延時間取得部３１は、時計３１ａと計算部３１ｂとを有する。これに関して、移動装置１０にも時計３７ａが設けられている。移動装置１０の時計３７ａが計測した時刻を示す時刻情報が、当該時刻の計測時に移動装置１０の通信部５から送信される。すなわち、当該時刻が計測された時点と、当該時刻情報を送信した時点とは互いに一致している。計算部３１ｂは、通信部５から送信され通信部２５が受けた時刻情報が示す時刻と、通信部２５が当該時刻情報を受けた時に遅延時間取得部３１の時計３１ａが計測した時刻との差を、第１の通信時間として計算する。

・遅延時間の取得の一例
計算部３１ｂは、第１の通信時間を２倍した時間を含む時間を遅延時間として求める。計算部３１ｂは、求めた遅延時間を位置予測部３３に入力する。ここで、遅延時間は、第１の通信時間を２倍した時間であってもよいし、第１の通信時間を２倍した時間にデータ処理時間を加えた時間であってもよい。データ処理時間は、レーザスキャナ３が点群データを生成するのに要する時間と、遠隔操縦装置２０Ａに操作が行われた時点から当該動作指令を遠隔操縦装置２０Ａが生成するのに要する時間と、制御部１３が、動作指令を受けた時点から当該動作指令に従った動作が移動装置１０において実際に行われるまでの時間とを含んでよい。データ処理時間は、予め推定したものであってよい。

・遅延時間の取得の別例
あるいは、計算部３１ｂは、次のように遅延時間を求めてもよい。移動装置１０には、時計３７ａと計算部３７ｂとを有する通信時間取得部３７が設けられている。遠隔操縦用表示装置２０Ｂの時計３１ａが計測した時刻を示す時刻情報が、当該時刻の計測時に遠隔操縦用表示装置２０Ｂの通信部２５から送信される。すなわち、当該時刻が計測された時点と、当該時刻情報を送信した時点とは互いに一致している。計算部３７ｂは、通信部２５から送信され通信部５が受けた時刻情報が示す時刻と、通信部５が当該時刻情報を受けた時に通信時間取得部３７の時計３７ａが計測した時刻との差を、第２の通信時間として計算する。移動装置１０の通信部５は、第２の通信時間を遠隔操縦用表示装置２０Ｂへ送信する。第２の通信時間は、通信部２５に受けられて計算部３１ｂへ入力される。計算部３１ｂは、上述のように計算した第１の通信時間と、入力された第２の通信時間とを合計した時間を含む時間を遅延時間として求める。計算部３１ｂは、求めた遅延時間を位置予測部３３に入力する。ここで、遅延時間は、第１および第２の通信時間の合計であってもよいし、当該合計に上述のデータ処理時間を加えた時間であってもよい。

・時計３１ａ，３７ａの同期
遠隔操縦用表示装置２０Ｂの時計３１ａと移動装置１０の時計３７ａは、次のように同期させられてよい。遠隔操縦用表示装置２０Ｂと移動装置１０の各々には、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）受信機３９，４１が設けられる。各航法衛星（例えばＧＰＳ衛星）は、電波を送信する。各航法衛星が送信する電波には、当該送信時における当該航法衛星の位置を示す位置情報と、当該航法衛星に設けた時計（例えば原子時計）が当該送信時に計測した時刻を示す時刻情報とが含まれている。

遠隔操縦用表示装置２０ＢのＧＮＳＳ受信装置３９は、複数の航法衛星から電波を受信し、受信した電波に含まれる時刻情報が示す時刻、時計３１ａが当該受信時に計測した時刻との差に基づいて、各航法衛星と自身との距離を求める。これらの距離に基づいて、ＧＮＳＳ受信装置３９は、ＧＮＳＳ受信装置３９の位置を求める。求めた位置および航法衛星からの位置情報と時刻情報に基づいて、当該ＧＮＳＳ受信装置３９は、時計３１ａの時刻を航法衛星の時計の時刻に同期（一致）させる。これと同じ方法で、移動装置１０のＧＮＳＳ受信装置４１も、時計３７ａの時刻を航法衛星の時計に同期させる。これにより、時計の時刻は、航法衛星の時計を介して互いに同期させられている。ただし、他の方法で、時計３１ａ，３７ａの時刻は互いに同期させられてもよい。

・移動装置１０の未来位置の予測
位置予測部３３は、移動装置１０の未来位置を予測する。ここで、未来位置とは、未来時点の移動装置１０の位置である。この未来位置は、設定座標系（本実施形態では、通信部２５が受けた上述の点群データを表わすスキャナ座標系）において表わされる位置である。本実施形態では、この設定座標系における原点は、当該点群データの生成時点における移動装置１０の位置である。当該点群データに基づいて画像生成部３５がＣＧ画像を生成する時点で操作装置１７を人が操作した場合に、当該操作による動作指令が通信部２５から送信されて当該動作指令に従った移動動作が移動装置１０に実際に行われる時点が未来時点である。本実施形態では、点群データの生成時点から上述の遅延時間が経過した時点が未来時点であるとする。

位置予測部３３は、遅延時間取得部３１が求めた遅延時間と、入力された移動装置１０の速さとに基づいて、設定座標系における未来位置を予測する。

ここで、位置予測部３３に入力された移動装置１０の速さは、操作装置１７に行われた操作が示す移動装置１０の速さであってよい。この場合、操作装置１７は、移動装置１０の速さを指定できる構成（例えば速度値を入力する入力部）を含み、操作装置１７の操作で指定された速さは、動作指令として通信部２５から移動装置１０へ送信されるとともに、位置予測部３３に入力される。指定された速度は、移動装置１０の通信部５に受けられて制御部１３に入力され、制御部１３は、指定された速度に移動装置１０の速さが維持されるように駆動装置１５を制御する。位置予測部３３は、未来位置の予測時に入力された当該速さを、当該未来位置の予測に用いてよい。

あるいは、位置予測部３３に入力された移動装置１０の速さは、移動装置１０の速度センサ７が計測した移動装置１０の速さであってもよい。この場合、速度センサ７が計測した移動装置１０の速さは、通信部５，２５を介して位置予測部３３に入力される。なお、速度センサ７が繰り返し計測した速さが、通信部５，２５を介して繰り返し位置予測部３３に入力され、位置予測部３３は、入力された最新の速さを未来位置の予測に用いてよい。

位置予測部３３は、上述の遅延時間と、入力された移動装置１０の速さとを乗算した距離を求め、この距離だけスキャナ座標系の原点から前方へ移行させた位置を未来位置として求める。ここで、「前方」とは、スキャナ座標系の原点から延びている基準線の方向であってよい。基準線は、スキャナ座標系（すなわち移動装置１０）に固定されおり、移動装置１０の正面に一致していてよい。あるいは、「前方」とは、ステアリング操作部２１の操作により指定された移動装置１０の進行方向であってもよい。すなわち、スキャナ座標系において、「前方」とは、上述の基準線を移動装置１０の正面として、ステアリング操作部２１の操作により、当該正面に対して指定された進行方向であってよい。この場合、ステアリング操作部２１の操作により指定された進行方向は、これを示す動作指令として通信部２５から移動装置１０へ送信されるとともに、位置予測部３３に入力される。指定された進行方向は、移動装置１０の制御部１３に通信部２５，５を介して入力され、制御部１３は、指定された進行方向に移動装置１０が移動するように駆動装置１５を制御する。

画像生成部３５は、点群データに基づいて、上述のように位置予測部３３が求めた未来位置から見た三次元ＣＧ画像を生成する。生成された三次元ＣＧ画像における最も手前の位置が未来位置となってよい。なお、位置予測部３３は、遠近法に従った三次元ＣＧ画像を生成してよい。

画像生成部３５は、生成した三次元ＣＧ画像において、上記未来位置の移動装置１０の一部（例えば前端）を示すマーク（例えば後述のマークＭ２）を表示してもよい。

図３（Ａ）は、点群データの生成時点の移動装置１０の位置（すなわち、点群データを表わすスキャナ座標系の原点）から見た三次元ＣＧ画像である。図３（Ａ）において、符号Ｍ１は、点群データの生成時点の移動装置１０の前端を示すマークである。図３（Ａ）において、符号Ｍ２は、未来時点における移動装置１０の前端を示すマーク（細線のマーク）である。図３（Ａ）と後述の図３（Ｂ）において、破線Ｘは、車両１０のボンネットを示す。図３（Ａ）と後述の図３（Ｂ）において太線の枠は、三次元ＣＧ画像の外周縁であってよく、この場合、当該枠はディスプレイ２９の画面の外周縁であってよい。

図３（Ｂ）は、未来時点における移動装置１０の位置（すなわち上述の未来位置）から見た三次元ＣＧ画像である。図３（Ｂ）において、符号Ｍ２は、未来時点の移動装置１０の前端を示すマークである。このように、未来時点の移動装置１０の未来位置から見た三次元ＣＧ画像が例えば図３（Ｂ）のように表示される。したがって、人は、遅延時間を考慮したタイミングで操作装置１７を操作することが不要になるので、操作が容易になる。例えば、移動装置１０を、図３（Ａ）（Ｂ）の交差点Ｐ（一点鎖線で囲んだ部分）で左折させたい場合に、遅延時間を考慮した距離だけ交差点よりも手前側に図３（Ａ）のマークＭ１が到達したタイミングで左折の操作をすることが不要になり、ディスプレイ２９に表示された三次元ＣＧ画像において、移動装置１０に実際に左折を開始させる位置に図３（Ｂ）のマークＭ２が到達した時、左折の操作をステアリング操作部２１に行えばよくなる。

（遠隔操縦用表示方法）
図４は、本発明の実施形態による遠隔操縦用表示方法を示すフローチャートである。遠隔操縦用表示方法は、上述した遠隔操縦用表示装置２０Ｂ、遠隔操縦装置２０Ａ、および移動装置１０を用いて行われる。遠隔操縦用表示方法は、ステップＳ１～Ｓ１３を含む。

＜画像を生成するための処理＞
ステップＳ１において、レーザスキャナ３は、移動装置１０から見た計測範囲に対してレーザ光を走査することにより上述の点群データを生成する。ステップＳ１は、移動装置１０の移動中に繰り返し行われる。ステップＳ１が行われる度に、このステップＳ１で生成された点群データに対してステップＳ２～Ｓ５が行われる。

ステップＳ２において、通信部５は、ステップＳ１で生成された点群データを遠隔操縦用表示装置２０Ｂへ送信する。

ステップＳ３において、遠隔操縦用表示装置２０Ｂにおいて通信部２５が、ステップＳ２で送信された点群データを受け、受けた点群データが画像生成装置２７へ入力される。

ステップＳ４において、画像生成装置２７は、ステップＳ３で入力された点群データに基づいて、移動装置１０の未来位置から、移動装置１０の進行方向側（例えば移動装置１０の正面）を見た三次元ＣＧ画像を生成する。この未来位置は、当該点群データがステップＳ１で生成された時点から遅延時間が経過した未来時点の移動装置１０の位置である。

ステップＳ５において、ディスプレイ２９は、ステップＳ４で生成された三次元ＣＧ画像を表示する。

＜遅延時間を求める処理＞
上述したステップＳ１～Ｓ５の繰り返しに並行して、次のステップＳ６～Ｓ１３が繰り返し行われる。

ステップＳ６では、移動装置１０の通信部５は、移動装置１０の時計３７ａが計測した時刻を示す時刻情報を遠隔操縦用表示装置２０Ｂに送信する。
ステップＳ７では、遠隔操縦用表示装置２０Ｂにおいて、通信部２５は、ステップＳ６で送信された時刻情報を受けるとともに、時計３１ａは、当該時刻情報を通信部２５が受けた時刻を計測する。
ステップＳ８では、遅延時間取得部３１の計算部３１ｂは、ステップＳ７で時計３１ａが計測した時刻と、ステップＳ７で受けた時刻情報が示す時刻との差を第１の通信時間として求める。

ステップＳ９では、遠隔操縦用表示装置２０Ｂの通信部２５は、遠隔操縦用表示装置２０Ｂの時計３１ａが計測した時刻を示す時刻情報を移動装置１０に送信する。
ステップＳ１０では、移動装置１０において、通信部５は、ステップＳ９で送信された時刻情報を受けるとともに、時計３７ａは、当該時刻情報を通信部５が受けた時刻を計測する。
ステップＳ１１では、通信時間取得部３７の計算部３７ｂは、ステップＳ１０で時計３７ａが計測した時刻と、ステップＳ１０で受けた時刻情報が示す時刻との差を第２の通信時間として求める。
ステップＳ１２では、通信部５は、ステップＳ１１で求めた第２の通信時間を遠隔操縦用表示装置２０Ｂへ送信し、通信部２５は、この第２の通信時間を受ける。

ステップＳ１３では、計算部３１ｂは、ステップＳ８で求めた第１の通信時間と、ステップＳ１２で通信部２５が受けた第２の通信時間に基づいて、第１および第２の通信時間の合計を含む時間を上述の遅延時間として求める。なお、ステップＳ１３において、計算部３１ｂは、第１の通信時間を２倍した時間を含む時間を上述の遅延時間として求めてもよい。この場合、上述のステップＳ９～１２は省略される。

ステップＳ６～Ｓ１３の繰り返しにより遅延時間は繰り返し求められてよい。この場合、上述のステップＳ４は、求められた最新の遅延時間に基づいて三次元ＣＧ画像が求められてよい。すなわち、ステップＳ４では、位置予測部３３は、ステップＳ１３で求められた最新の遅延時間と、上述のように入力された移動装置１０の速さとに基づいて、設定座標系における未来位置を予測し、予測した未来位置から見た三次元ＣＧ画像をステップＳ３で受けた点群データに基づいて生成する。

（他の構成例）
上述では、画像生成部３５は、点群データに基づいて三次元ＣＧ画像を生成したが、環境データとしての地図データに基づいて三次元ＣＧ画像を生成してもよい。この場合の構成例を以下で説明するが、以下で説明しない当該構成例の内容は、図面を参照して説明した上述の実施形態の内容と同じであってよい。

遠隔操縦用表示装置２０Ｂは、地図データを記憶する記憶部４３（図１を参照）を備える。
この地図データは、既知の地図データであってもよいし、上述の点群データから地図生成部１１により生成された地図データであってもよい。いずれの場合においても、地図データは、設定座標系において、各障害物（建物や道路の縁石）の位置（座標）を表わしたデータであってよい。設定座標系が水平面に沿った二次元座標である場合には、地図データは、設定座標系において各障害物の二次元位置を表わしたデータと、各障害物の高さのデータを含む。地図データは、三次元の設定座標系において各障害物の三次元位置を表わしたデータであってもよい。なお、地図データが点群データから生成された地図データの場合、設定座標系は上述の地図座標系であってよく、当該地図データは、地図生成部１１から通信部５，２５を介して記憶部４３に入力されてよい。また、この場合、当該地図データは、地図生成部１１により生成される度に、地図生成部１１から通信部５，２５を介して記憶部４３に入力されてよい。

通信部２５は、移動装置１０の通信部５から移動装置１０の現在位置として送信される位置情報を受ける。ここで、移動装置１０の現在位置は、当該送信時に位置検出部９が求めた移動装置１０の位置であってよい。あるいは、移動装置１０の当該現在位置は、位置検出部９により繰り返し求められ通信部５，２５を介して位置予測部３３に繰り返し入力される移動装置１０の現在位置のうち、最新の現在位置であってもよい。

位置予測部３３は、上述の遅延時間と、入力された移動装置１０の速さとを乗算した距離を求め、この距離だけ、設定座標系において、通信部２５が受けた上記位置情報により示される位置（すなわち、移動装置１０の現在位置として通信部５から送信された位置）から前方へ移行させた位置を未来位置として求める。ここで、「前方」とは、ステアリング操作部２１の操作により指定された移動装置１０の進行方向であってよい。

本発明は上述した実施の形態に限定されず、本発明の技術的思想の範囲内で種々変更を加え得ることは勿論である。

１遠隔操縦システム、２車輪、３レーザスキャナ、４地表面、５通信部、７速度センサ、８向きセンサ、９位置検出部、１０移動装置、１１地図生成部、１３制御部、１５駆動装置、１７操作装置、１９指令生成部、２１ステアリング操作部、２３加減速操作部、２３ａアクセルペダル、２３ｂブレーキペダル、
２５通信部、２７画像生成装置、２９ディスプレイ、３１遅延時間取得部、３１ａ時計、３１ｂ計算部、３３位置予測部、３５画像生成部、３７通信時間取得部、３７ａ時計、３７ｂ計算部、３９ＧＮＳＳ受信装置、４１ＧＮＳＳ受信装置、４３記憶部、２０遠隔側装置、２０Ａ遠隔操縦装置、２０Ｂ遠隔操縦用表示装置

Claims

移動装置の遠隔操縦時に、前記移動装置から見た環境を表示するための遠隔操縦用表示装置であって、
前記移動装置は、当該移動装置から見た計測範囲における物体表面の各計測点の三次元位置を設定座標系で表わした点群データを繰り返し生成するレーザスキャナを備え、前記点群データが生成される度に当該点群データを前記遠隔操縦用表示装置へ送信し、
前記遠隔操縦用表示装置は、
前記移動装置から繰り返し送信される前記点群データを受ける通信部と、
前記移動装置から前記点群データが送信される度に、前記通信部を介して当該点群データが入力され当該点群データに基づいて三次元のＣＧ画像を生成する画像生成装置と、
前記ＣＧ画像が生成される度に、当該ＣＧ画像を表示するディスプレイと、を備え、
前記画像生成装置は、前記ＣＧ画像を生成する場合に、当該ＣＧ画像の生成時点よりも未来の未来時点における前記移動装置の未来位置を予測し、予測した前記未来位置から見た当該ＣＧ画像を生成し、
前記未来時点は、前記移動装置の遠隔操縦を行う遠隔操縦装置と前記移動装置との通信時間を考慮した遅延時間に基づく時点である、遠隔操縦用表示装置。
前記未来時点は、前記生成時点で前記遠隔操縦装置を人が操作した場合に当該操作による動作指令に従った移動動作が前記移動装置に行われる時点である、請求項１に記載の遠隔操縦用表示装置。
前記画像生成装置は、前記未来位置を予測する位置予測部を備え、
遠隔操縦装置に行われた操作が示す前記移動装置の速さ、または、前記移動装置において計測され前記遠隔操縦用表示装置へ送信された前記移動装置の速さが、前記位置予測部に入力され、
前記位置予測部は、入力された前記速さと、前記遅延時間とに基づいて前記未来位置を予測する、請求項１又は２に記載の遠隔操縦用表示装置。
前記移動装置の時計が計測した時刻を示す時刻情報が、当該時刻の計測時に前記移動装置から送信され、
前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備え、
前記遅延時間取得部は、
時刻を計測する時計と、
前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、通信時間として計算し、該通信時間を２倍した時間を含む時間を前記遅延時間として求める計算部とを備える、請求項１又は２に記載の遠隔操縦用表示装置。
前記移動装置の時計が計測した時刻を示す時刻情報が、当該時刻の計測時に前記移動装置から送信され、
前記遠隔操縦用表示装置は、前記移動装置と通信を行う通信部を備え、前記画像生成装置は、前記遅延時間を求める遅延時間取得部を備え、
前記遅延時間取得部は、
時刻を計測する時計と、
前記通信部が受けた前記時刻情報が示す時刻と、前記通信部が前記時刻情報を受けた時に前記遅延時間取得部の前記時計が計測した時刻との差を、第１の通信時間として計算する計算部とを備え、
前記遅延時間取得部の前記時計が計測した時刻を示す時刻情報が、当該時刻の計測時に前記通信部から送信され、前記移動装置が当該時刻情報を受けた時刻と、当該時刻情報が示す前記時刻との差を第２の通信時間として前記移動装置において計算され、前記通信部は、前記第２の通信時間を前記移動装置から受け、
前記計算部は、前記第１の通信時間と前記第２の通信時間との合計を含む時間を前記遅延時間として求める、請求項１又は２に記載の遠隔操縦用表示装置。
移動装置の遠隔操縦時に、前記移動装置から見た環境を表示するための遠隔操縦用表示方法であって、
前記移動装置は、当該移動装置から見た計測範囲における物体表面の各計測点の三次元位置を設定座標系で表わした点群データを繰り返し生成するレーザスキャナを備え、前記点群データが生成される度に当該点群データを遠隔操縦用表示装置へ送信するものであり、
前記遠隔操縦用表示装置において、
（Ａ）前記移動装置から繰り返し送信された前記点群データを通信部により受け、
（Ｂ）前記移動装置から前記点群データが送信される度に、前記通信部を介して当該点群データが入力され当該点群データに基づいて三次元のＣＧ画像を生成し、
（Ｃ）前記ＣＧ画像が生成される度に、当該ＣＧ画像をディスプレイに表示し、
前記（Ｂ）では、前記ＣＧ画像を生成する場合に、当該ＣＧ画像の生成時点よりも未来の未来時点における前記移動装置の未来位置を予測し、予測した前記未来位置から見た当該ＣＧ画像を生成し、
前記未来時点は、前記移動装置の遠隔操縦を行う遠隔操縦装置と前記移動装置との通信時間を考慮した遅延時間に基づく時点である、遠隔操縦用表示方法。