JP5178406B2 - 遠隔操縦システム - Google Patents

Description

本発明は、直観的なグラフィカル・インタフェースにより、例えば無人車両等の移動体を遠隔操縦するための遠隔操縦システムに関する。

従来、この種の従来技術として、「ユーザにロボットを遠隔操縦させることができる方法」とした名称で特許文献１に開示されているものがある。
特許文献１に記載された方法は、ロボットの周辺の領域を表す画像情報を供給する段階と、前記画像情報を用いて、前記ロボットの周辺の領域を表すユーザ知覚画像を供給する段階と、ユーザに画像においてロボットが移動すべき方へ一つ以上の目標を指定させることができる段階と、ロボットを前記目標に向けて移動させることができる段階とを具備したことを内容としたものである。
特表２００３−５３２２１８号公報

上記の構成により、ロボットを直感的に遠隔操作しようとしたものではあるが、画像においてロボットが移動すべき方へ目標を指定させることができる前記段階は、ポイント‐アンド‐クリック選択によるものであり、従ってまた、遠隔操作時の通信や画像圧縮することによる遅延時間が生じるために、高い移動速度における直感による遠隔操作を行えないという問題がある。

そこで本発明は、高い移動速度における移動体の遠隔操作を直感的にかつ容易に行える遠隔操縦システムの提供を目的としている。

上記課題を解決するための本発明に係る遠隔操縦システムは、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含むものであり、上記移動体と遠隔操作装置との間における通信遅延時間を推定する遅延時間推定手段と、移動領域の画像を取得した時刻から所要時間経過後までの移動体の移動予定経路、移動速度及び推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する移動体位置推定手段と、操縦部から送出される操縦情報に基づいて、旋回方向とその度合いを指示する移動経路指示曲線を生成する移動経路指示曲線生成手段と、推定した移動体位置に対応する旋回操作基準点及び生成した移動経路指示曲線を、表示部に表示されている画像に重畳表示する重畳表示手段とを設けたことを特徴としている。

本発明によれば、移動体と遠隔操作装置との間における通信遅延時間を推定し、移動領域の画像を取得した時刻から所要時間経過後までの移動体の移動予定経路、及び推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定し、推定した移動体位置に対応する旋回操作基準点を表示部に表示しているので、高い移動速度においても、移動体の遠隔操作を直感的にかつ的確に行うことができる。
また、移動体を、走行経路指示曲線等に沿った走行を行うように制御することができる。

以下に、本発明を実施するための最良の形態について、図面を参照して説明する。図１は、本発明の一実施形態に係る遠隔操縦システムの全体構成を示す説明図、図２は、移動体の概略構成を示す説明図、図３は、移動体に設けた制御回路のブロック図である。

本発明の一実施形態に係る遠隔操縦システムＡは、図１に示すように、移動体の一例である無人車両Ｂと、遠隔操縦装置Ｃとを有している。
無人車両Ｂは、一般の乗用車両のハンドル／アクセル／ブレーキを、下記の車両制御用コンピュータ１０によって操作できるように、各種のアクチュエータを付加した構成のものであり、その詳細は次のとおりである。

すなわち、無人車両Ｂは、ＣＰＵ（Central Processing Unit）やインターフェース回路（いずれも図示しない）等からなる車両制御用コンピュータ１０によって制御されるようになっている。

車両制御用コンピュータ１０には、イーサネット（登録商標）１１を介して無線ＬＡＮ１２，アンテナ１３と撮像部の一例であるオンボードカメラ１４とが、また、ＧＰＳ（Global Positioning System）１５、バーチカルジャイロ１６がそれぞれ接続されている。

車両制御用コンピュータ１０の出力側には、モータドライバ１７を介して、ステアリング用アクチュエータ１８、ブレーキ／アクセル用アクチュエータ１９が、また、車速パルス２０がそれぞれ接続されている。

バーチカルジャイロ１６は、無人車両Ｂ及びオンボードカメラ１４の光軸姿勢(向き)情報を取得するものであり、例えば姿勢角（ロール、ピッチ角度と角速度）、ヨー角速度、及びＸ，Ｙ，Ｚ３軸の加速度を出力するものである。
オンボードカメラ１４は、無人車両Ｂの走行方向に向けて配設されており、移動領域の画像を取得するものである。
ＧＰＳ１５は、無人車両Ｂの位置情報を取得するためのものである。
車速パルス２０は、無人車両Ｂの移動速度をパルス情報として出力するものであり、例えばホール素子等である。

車両制御用コンピュータ１０は、イーサネット（登録商標）１１，無線ＬＡＮ１２及びアンテナ１３を通じて、上記したオンボードカメラ１４、ＧＰＳ１５、バーチカルジャイロ１６で取得した各種の情報を、後述する遠隔操縦装置Ｃに向けて送信する機能の他、その遠隔操縦装置Ｃから送信される各種の情報に基づき、ステアリング用アクチュエータ１８、ブレーキ／アクセル用アクチュエータ１９をモータドライバ０７を介して駆動制御する機能を有している。
すなわち、遠隔操縦装置から送信される走行経路、車速指令情報（後述する）に従って、ステアリング用アクチュエータ１８及びブレーキ／アクセル用アクチュエータ１９を駆動する機能を有している。

次に、遠隔操縦装置について、図４〜６を参照して説明する。図４は、遠隔操縦装置の外観構成を示す説明図、図５は、遠隔操縦装置に設けた制御回路のブロック図、図６（Ａ），（Ｂ）は、表示部に表示される画像を示すそれぞれ説明図である。

遠隔操縦装置Ｃは、装置本体３０と、これと別体にした無線通信用アンテナ４０とを有している。
装置本体３０は、図５に示す遠隔操縦用コンピュータ３１に、無線ＬＡＮ３２、表示部（以下、「ディスプレイ」という。）３３、アクセル／ブレーキレバー３４、ジョイスティック３５を備えた操縦部３６を接続した構成のものである。
操縦部３６からは、アクセル／ブレーキレバー３４やジョイスティック３５の沿う自由操作に従った操縦情報が出力されるようになっており、その詳細は次のとおりである。

アクセル／ブレーキレバー３４は無人車両Ｂの走行速度を増減するためのものであり、そのアクセル／ブレーキレバー３４を前方に傾動操作することにより、無人車両Ｂの走行速度が増加し、また、後方に傾動操作することにより当該無人車両Ｂの走行速度が減少するように設定している。

ジョイスティック３５は、無人車両Ｂを左右に旋回操作するためのものであり、そのジョイスティック３５を左方に傾動操作することにより無人車両Ｂを左方向に旋回させ、また、右方に傾動操作することにより右方向に旋回させられるようにしている。

遠隔操縦用コンピュータ３１は、ＣＰＵ（Central Processing Unit）やインターフェース回路等からなるものであり、所要のプログラムの実行により次の各機能を発揮する。
（１）無人車両（移動体）と遠隔操作装置との間における通信遅延時間を推定する機能。この機能を「遅延時間推定手段３１ａ」という。
本実施形態においては、無人車両Ｂと遠隔操縦装置Ｃの間において、ｐｉｎｇの要領でデータの往復時間を推定している。
また、無人車両Ｂと遠隔操縦装置Ｃ双方にＧＰＳを搭載しておき、そのＧＰＳを用いて双方のコンピュータによって精度の高い時刻同期を行い、受信したデータのタイムスタンプに基づいて遅延時間を推定するようにしてもよい。

（２）移動領域の画像を取得した時刻から所要時間経過後までの無人車両（移動体）の走行予定経路（移動予定経路）、及び推定遅延時間に基づいて、無人車両（移動体）が遠隔操縦装置によって操縦制御される時刻における車両位置（移動体位置）を推定する機能。この機能を「移動体位置推定手段」という。本実施形態においては、「車両位置推定手段３１ｂ」と称する。
「走行予定経路」は、操舵角指令値、速度指令値、車速、ヨーレートに基づいて、時刻の関数若しくは離散的な時刻に対しての位置情報として表現したものであり、オンボードカメラ１４で取得した画像が撮像された時刻から所要時間内のもの、具体的には数秒後までのものである。

上記の位置情報の座標系は、オンボードカメラ１４で取得した画像を撮像した位置を基準とするとともに、路面上に無人車両Ｂの車両重心を投影した点を原点とし、鉛直上向きをＺ方向とした座標系を用いる。以下、この座標系を「車体座標系」と呼称する。

（３）操縦部から送出される操縦情報に基づいて、走行経路指示曲線α１〜７、α１´〜７´を生成する機能。これを「移動経路指示曲線生成手段」という。本実施形態においては、「走行経路指示曲線生成手段３１ｃ」と称する。

（４）推定した車両位置に対応する旋回操作基準点γ，γ´及び操縦部３６から送信される操縦情報に基づく走行経路指示曲線α１〜７、α１´〜７´等を、ディスプレイ３３に表示されている画像３８に重畳表示する機能。この機能を「重畳表示手段３１ｄ」という。

本実施形態に示す旋回操作基準点γ，γ´は「○」で示しているが、他のマークで表示してもよいことは勿論である。また、上記推定した車両位置に対応する大きさにして表示してもよい。

走行経路指示曲線は、ディスプレイ３３の画像３８上において旋回方向とその度合いを指示するために用いられるマークであり、それは、ジョイスティック３５の左右の倒れ角に応じ、図６（Ａ）に示す中立の直線α１から左右の曲線α２〜７や、同図（Ｂ）に示す中立の直線α１´から左右の曲線α２´〜７´を生成して選択するようにしている。
また、本実施形態においては、無人車両（移動体）の幅に対応する幅ゲージβ１〜β３やβ１´〜β３´を、推定した車両位置に対応する大きさにして画像に重畳表示している。これにより、高い移動速度における無人車両Ｂの操縦を、より容易に行うことができる。

無人車両Ｂは、走行経路指示曲線α１〜７等に沿って、換言すると、車両中心がこの曲線の指し示す経路に沿った走行を行うように制御される。
なお、ジョイスティック３５の左右の倒れ角に応じ、中立の直線から左右の曲線を選択するものに限らず、中立直線を左右に屈曲表示するようにしてもよい。

「旋回操作基準点γ，γ´」は、通信の遅延時間を考慮するためのマークである。その旋回操作基準点γ，γ´は、遅延時間の発生下において、遠隔操縦装置Ｃからの指令が無人車両Ｂに到達する時刻を推定し、その時刻における実際の車両位置を示している。上記した走行経路指示曲線は、いずれも旋回操作基準点γ，γ´から遠方側にあたる部分について指示するようにしている。

図６（Ａ）に示すように、通信遅延時間が一定とした場合、車両速度が停止若しくは徐行の場合、遅延の影響は無視できるため、旋回操作基準点γは画像３８の路面３８ａの近傍側に自動的に移動する。
「路面３８ａの近傍側に」とは、図６（Ａ）においては、表示部３３の下縁部３３ａの近くの位置にという意味と同義である。

一方、高速走行時には、図６（Ｂ）に示すように、通信遅延時間の影響を考慮すると、画像３８を受信した後に制御指令を行う時刻においては、実際の車両位置は遠隔操縦装置Ｃに表示される画像３８´上の遠方に移動している。
「画像上の遠方に」とは、ディスプレイ３３の下縁部３３ａから上方に離れた位置にという意味と同義である。
以上のようにして、旋回操作基準点γ，γ´を画像３８，３８´上においてそれに対応する位置に自動的に移動するのである。
また、走行経路指示曲線α１〜７は、その基準点γ，γ´より遠方のみの経路を指示できる。
さらに、下縁部３３ａの中央付近から旋回操作基準点γ，γ´までの曲線は、既に走行が終わっているであろう経路を示す。

（４）操縦部の操作に従って、移動体の移動速度を増減するための車速指令情報を生成する機能。これを「車速指令情報生成手段３１ｅ」という。
具体的には、アクセル／ブレーキレバー３４の倒れ角度に従った車速とする内容の車速指令情報を生成している。
上記車速指令情報によって、無人車両Ｂに配設したブレーキ／アクセル用アクチュエータ１９が駆動制御される。

次に、図７，８を参照して、制御フローチャートについて説明する。図７は、遠隔操縦装置他の制御フローチャート、図８は、無人車両の車両位置と経路との関係を示す模式図である。なお、図７において、左側が車両制御コンピュータ、また、右側が遠隔操縦用コンピュータによる処理をそれぞれ示している。

ステップ１（図中、「ｓｔ１」と略記する。以下、同様。）：車両制御用コンピュータ１０から、オンボードカメラ１４で取得した画像、走行予定経路、走行速度、バーチカルジャイロ１６のデータを用いたオンボードカメラ１４の光軸姿勢(向き)情報を、遠隔操縦装置Ｃに向けて送信する。

オンボードカメラ１４で取得した画像は、レンズ歪み等を除去してピンホールカメラモデルとなるようにキャリブレーションを行ったものとする。また、当該画像には、それが撮像された時刻をタイムスタンプ（Ｔｉｍｇ）として添付している。

ステップ２：無人車両Ｂから送信された上記各種の情報を受信してステップ３に進む。
ステップ３：無人車両Ｂから送信された上記各種の情報に基づいて、車両制御コンピュータ１０から遠隔操縦装置Ｃまでの通信遅延時間を推定して、ステップ４に進む。
なお、このステップにおける処理は、本フローと独立に行ってもよく、このステップの時点で通信遅延時間の推定値が得られていればよい。

ステップ４：ステップ２において受信した走行予定経路と、ステップ３において推定した通信遅延時間に基づいて、実際に無人車両Ｂが制御される時刻における車両位置を推定する。簡単には、通信の往路復路の通信遅延時間と処理時間Ｔｐを考慮し、トータルの遅延時間Ｔａを、
Ｔａ＝２＊Ｔｄ＋Ｔｐ …（１）
とし、無人車両Ｂが走行しているであろう位置（ｄＸ，ｄＹ）Ｔを推定する。

ステップ５：ステップ４において得た車両移動推定値を、ディスプレイ３３の画像上に重畳表示する。
この画像上の点が、旋回操作基準点となる。３次元空間上の点（Ｘ，Ｙ，Ｚ）と画像上の位置（ｕ，ｖ）の関係は、ピンホールカメラモデルを用いると、次式により得られる。

ここで、ｆｘ，ｆｙはそれぞれの方向の焦点距離、ｃｘ，ｃｙはレンズ中心であり、これらはキャリブレーションデータとして既知であるとする。また、ｓは任意のスケールを表す係数である。
ｒ＊＊は、オンボードカメラ１４の光軸姿勢の回転成分、ｔ＊はそのオンボードカメラ１４の光軸姿勢の並進成分であり、ジャイロ情報とオンボードカメラ１４のアライメント情報より生成される。

ここで、（１）式の（Ｘ，Ｙ，Ｚ，１）Ｔに（ｄＸ，ｄＹ，０，１）Ｔを代入することにより、（ｕ，ｖ）Ｔが得られる。
ここで、Ｚ＝０は、前方の路面は水平面であることを仮定している。
また、時刻Ｔａにおける車両位置の画像上の位置が、旋回操作基準点となる。

ステップ６：遠隔操縦装置Ｃのディスプレイ３３に、オンボードカメラ１４からの画像３８を重畳表示し、その上にステップ５において得られた旋回操作基準点γと、走行経路指示曲線α１とをオーバーレイ表示する。

ステップ７：ジョイスティック３５の入力に応じ、画像３８上の走行経路指示曲線α１の再描画を行って、ステップ８に進む。
ステップ８：入力された走行経路指示曲線情報（開始位置／曲率等）と指令速度（車速指令情報）、それを生成するために用いた画像のタイムスタンプＴｉｍｇを無人車両Ｂに向けて送信する。

ステップ９：ステップ８において送信されたデータを無人車両Ｃにおいて受信して、ステップ１０に進む。
ステップ１０：ステップ８において受信した走行経路指示曲線情報を、車体座標系に変換する。前方の路面が水平面であると仮定した場合には、走行経路指示曲線を離散的な点列（ｕｉ，ｖｉ，１）Ｔとし、上記した（２）式に代入して、（Ｘｉ，Ｙｉ，０，１）Ｔについて解く。
「ｒ＊＊」及び「ｔ＊」については、ジャイロ情報とオンボードカメラ１４のアライメント情報より生成される。
また、レーザレンジファインダやステレオ視等、前方の形状を計測する装置が用いられる場合、それらを用いてより精度のよい座標変換が可能となる。
計測点を（Ｘ’ｉ，Ｙ’ｉ，Ｚ’ｉ，１）Ｔとすると、それらは数値的に与えられるため、それらを（２）式に代入し、（ｕ’ｉ，ｖ’Ｉ，１）Ｔを算出し、走行経路指示曲線から得られる点列（ｕｉ，ｖｉ，１）Ｔと比較することにより、対応する（Ｘ’ｉ，Ｙ’ｉ，Ｚ’ｉ，１）Ｔを逆算する。

ステップ１１：車体座標系の走行経路指示曲線の点列（Ｘｉ，Ｙｉ）Ｔを、地上座標系に変換する。
その際、それら点列が生成された画像のタイムスタンプＴｉｍｇに対応する、過去の地上座標系の位置に変換する。ここで地上座標系とは、たとえば走行開始地点を原点とする座標系である。

ステップ１２：ステップ１１において座標変換した経路のうち、現在の車両位置より前方にある経路に沿った走行方向を決定する。
上記のシーケンスを連続的に繰り返すことにより、通信遅延の発生の下においても遠隔操縦を可能とする。

なお、本発明は上述した実施形態に限るものではなく、次のような変形実施が可能である。
・車両に既にドライブ/ブレーキバイワイヤ機構があり、かつ、ＥＣＵからの制御が可能な場合、それらを用いた構成にしてもよい。
・本実施形態においては、移動体として無人車両を例として説明したが、無人偵察機等に準用することができる。

・上述した実施形態においては、旋回操作基準点、走行経路指示曲線及び移動体の幅に対応する幅ゲージを画像に重畳表示した例について説明したが、必ずしも表示する必要はない。また、上記幅ゲージに代えて、無人車両のビハインドビュー（後方視点）を表示するようにしてもよい。

本発明の一実施形態に係る遠隔操縦システムの全体構成を示す説明図である。 移動体の概略構成を示す説明図である。 移動体に設けた制御回路のブロック図である。 遠隔操縦装置の外観構成を示す説明図である。 遠隔操縦装置に設けた制御回路のブロック図である。 （Ａ），（Ｂ）は、表示部に表示される画像を示すそれぞれ説明図である。 遠隔操縦装置の制御フローチャートである。 無人車両の車両位置と経路との関係を示す模式図である。

符号の説明

１４ 撮像部（オンボードカメラ）
３１ａ 遅延時間推定手段
３１ｂ 車両位置推定手段（移動体位置推定手段）
３１ｃ 走行経路指示曲線生成手段（移動経路指示曲線生成手段）
３１ｄ 重畳表示手段
３３ 表示部（ディスプレイ）
３６ 操縦部
３８，３８´ 画像
Ｂ 移動体（無人車両）
Ｃ 遠隔操縦装置
γ，γ´ 旋回操作基準点
α１〜α７、α１´〜α７´ 走行経路指示曲線（移動経路指示曲線）

Claims (2)

1. 移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部、及びその表示部に表示された画像に基づいて移動体を遠隔操縦するための操縦部を備えた遠隔操縦装置とを含む遠隔操縦システムにおいて、
   上記移動体と遠隔操作装置との間における通信遅延時間を推定する遅延時間推定手段と、
   移動領域の画像を取得した時刻から所要時間経過後までの移動体の移動予定経路、移動速度及び推定遅延時間に基づいて、移動体が遠隔操縦装置によって操縦制御される時刻における移動体位置を推定する移動体位置推定手段と、
   操縦部から送出される操縦情報に基づいて、旋回方向とその度合いを指示する移動経路指示曲線を生成する移動経路指示曲線生成手段と、
   推定した移動体位置に対応する旋回操作基準点及び生成した移動経路指示曲線を、表示部に表示されている画像に重畳表示する重畳表示手段とを設けたことを特徴とする遠隔操縦システム。
2. 重畳表示手段は、移動体の幅に対応する幅ゲージを、推定した移動体位置に対応する大きさにして画像に重畳表示することを特徴とする請求項１に記載の遠隔操縦システム。

Images