JP5647905B2 - 無人移動体の制御方法 - Google Patents

無人移動体の制御方法 Download PDF

Info

Publication number
JP5647905B2
JP5647905B2 JP2011009757A JP2011009757A JP5647905B2 JP 5647905 B2 JP5647905 B2 JP 5647905B2 JP 2011009757 A JP2011009757 A JP 2011009757A JP 2011009757 A JP2011009757 A JP 2011009757A JP 5647905 B2 JP5647905 B2 JP 5647905B2
Authority
JP
Japan
Prior art keywords
remote control
unmanned
image
coordinate system
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011009757A
Other languages
English (en)
Other versions
JP2011170844A (ja
Inventor
生川 俊則
俊則 生川
田原 大輔
大輔 田原
裕之 矢代
裕之 矢代
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
IHI Aerospace Co Ltd
Original Assignee
IHI Corp
IHI Aerospace Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp, IHI Aerospace Co Ltd filed Critical IHI Corp
Priority to JP2011009757A priority Critical patent/JP5647905B2/ja
Publication of JP2011170844A publication Critical patent/JP2011170844A/ja
Application granted granted Critical
Publication of JP5647905B2 publication Critical patent/JP5647905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、遠隔操縦用カメラを搭載した無人移動体の移動を遠隔操縦する際に用いるのに好適な無人移動体の制御方法に関するものである。
従来、上記した無人移動体の制御方法としては、例えば、特許文献1に記載された方法が知られており、この無人移動体の制御方法では、ロボットに搭載されたカメラから伝送されてユーザインターフェイスの画面上に映し出されるロボット周辺の画像に対して、ポイント&クリック操作入力することにより、ロボットが移動すべき方向を指示するようにしている。
特表2003-532218号
ところが、上記した無人移動体の制御方法において、屋内を低速度で移動するような小型の無人移動ロボットの制御に適用した場合には、ポイント&クリック操作によって数メートル先の目標を指示するだけで、無人移動ロボットを支障なく移動させることができるが、屋外を30km/h程度の高速度で移動する無人車両型ロボットの場合には、例えば、市街地のような右左折の多い場所において、適切な移動方向の指示を迅速に行うことができないという問題を有しており、この問題を解決することが従来の課題となっていた。
本発明は、上記した従来の課題に着目してなされたもので、低速度で移動する無人移動体に対しては勿論のこと、例えば、右左折の多い場所を高速度で移動する無人移動体に対しても、きめ細かい移動方向の指示を迅速且つ簡単に行うことが可能である無人移動体の制御方法を提供することを目的としている。
本発明の請求項1に係る発明は、移動領域内の画像データを取得する遠隔操縦用カメラを搭載した無人移動体の移動を前記遠隔操縦用カメラによる画像を映し出す表示部を有する遠隔操縦装置を用いてコントロールする無人移動体の制御方法であって、前記無人移動体側の世界座標系と、前記遠隔操縦装置の表示部における画像座標系との間で互いに座標変換処理可能とした無人移動体の制御方法において、前記無人移動体側の世界座標系と、前記遠隔操縦装置の表示部における画像座標系との間で互いに座標変換処理可能とした無人移動体の制御方法において、前記遠隔操縦装置の画像座標系における表示部の画像上のカーソルスティックによる2点以上のポイント&クリック操作入力により、前記無人移動体を旋回させる位置を指示すると共に、この旋回位置における旋回方向及び移動距離ベクトルで指示し、前記無人移動体側において、前記遠隔操縦装置の表示部の画像上で指示した画像座標系による旋回位置及び旋回ベクトルを世界座標系に変換させて、この変換後の世界座標系による旋回位置及び旋回ベクトルの指示に従って世界座標系の該無人移動体を移動させ、分岐路認識機能を有する無人移動体側で分岐路を認識した段階において、前記無人移動体の移動に伴って更新される前記分岐路毎の情報を世界座標系から画像座標系に座標変換してIDとともに前記遠隔操縦装置に送信して、該遠隔操縦装置の表示部に映し出されている画像の前記分岐路上に分岐路候補マークを重ねて表示し、前記遠隔操縦装置のスティック操作により複数の分岐路の中から前記無人移動体を旋回させる位置及びこの旋回位置における旋回方向に合致する分岐路上の前記分岐路候補マークを選択して、この選択した分岐路のIDを前記無人移動体に送信し、この送信されたIDの分岐路に該無人移動体を移動させる構成としたことを特徴としており、この無人移動体の制御方法の構成を前述した従来の課題を解決するための手段としている。
さらにまた、本発明の請求項に係る無人移動体の制御方法において、前記無人移動体は、前記遠隔操縦装置から指示された旋回位置及び旋回方向に基づいて移動経路を計画すると共に、この移動経路に応じた移動速度を計画して、これらの計画した移動経路及び移動速度に従って自律移動する構成としている。
ここで、無人移動体に、移動領域内の測距データを取得する測距部を搭載し、この測距部で取得した測距データから移動領域内の移動可能エリアを抽出する機能を持たせてもよく、この際、抽出した移動可能エリア内の障害物を検出する機能も併せて持たせることが望ましい。
このように、移動可能エリアを抽出する機能及び障害物を検出する機能を併せ持つと、分岐路を認識する機能を有することになる。具体的には、移動領域内の、例えば、道路に引かれた白線や停止線等の特徴物、及び、道路内外の障害物の情報をレーザセンサや自律移動用カメラなどの測距部によって取得し、移動可能エリア抽出機能及び障害物検出機能の両機能によって、通行可能な部分とそれ以外の部分とを分別処理することで、分岐路を認識し得ることとなる。
なお、地図情報が利用可能な場合には、GPS等のセンサより得られた自己位置情報と地図情報を照合することでも、分岐路を認識し得る。
また、遠隔操縦装置に、移動体との間の通信遅延時間を算出して、この算出した通信遅延時間に基づいて、指示した旋回位置での旋回方向及び移動速度に従った移動の可否を判定する機能を持たせてもよく、この場合、上記指示に従った移動が困難であると判定したときに遠隔操縦装置の表示部における指示操作を無効とする機能を持たせることが望ましい。
本発明の請求項1に係る無人移動体の制御方法において、遠隔操縦装置の表示部には、無人移動体の遠隔操縦用カメラで得た画像が映し出されており、この表示部を介して無人移動体に対してその旋回位置と、この旋回位置における旋回方向を指示する。
無人移動体側では、遠隔操縦装置の表示部を介して指示された旋回位置及びこの旋回位置における旋回方向に従って世界座標系で移動する。
つまり、遠隔操縦装置の表示部を介して行う簡単な操作によって、無人移動体の移動方向をきめ細かく指示し得ることとなり、その結果、例えば、市街地のような右左折の多い場所を30km/h程度の高速度で移動している無人移動体に対しても、移動方向を適切に指示し得ることとなる。
また、本発明の請求項に係る無人移動体の制御方法では、無人移動体の遠隔操縦用カメラで得た画像が映し出されている遠隔操縦装置の表示部の画像上において、カーソルスティックによる2点以上のポイント&クリック操作入力を行うことで、無人移動体に対してその旋回位置と、この旋回位置における旋回ベクトル(旋回方向及び移動距離)を指示する。
無人移動体側では、遠隔操縦装置の表示部の画像上で指示された画像座標系による旋回位置及び旋回ベクトルを世界座標系に変換し、この変換後の世界座標系による旋回位置及び旋回ベクトルの指示に従って移動する。
すなわち、無人移動体は、遠隔操縦装置の表示部の画像上でなされたカーソルスティックによる2点以上のポイント&クリック操作に従って移動することとなる。
つまり、無人移動体の移動方向を直感的なしかも簡単な操作によってきめ細かく指示し得ることとなり、その結果、例えば、市街地のような右左折の多い場所を30km/h程度の高速度で移動している無人移動体に対しても、移動方向を適切に指示し得ることとなる。
さらに、本発明の請求項に係る無人移動体の制御方法では、無人移動体の遠隔操縦用カメラで得た画像が映し出されている遠隔操縦装置の表示部の画像上において、遠隔操縦装置のスティック操作により複数の分岐路の中から無人移動体を進ませたい分岐路上の分岐路候補マークを選択するだけで、この選択したIDの分岐路に向けて無人移動体を移動させ得ることとなる。
この分岐路の選択の間、無人移動体は分岐路に時々刻々接近するが、分岐路毎の情報は無人移動体の移動に伴って更新されて、分岐路候補マークは接近する分岐路とともに画像上を移動するため、分岐路の選択を正確且つ短時間で行い得ることとなり、したがって、無人移動体の移動速度を落とす必要がないうえ、操縦性が向上することとなる。
本発明の請求項1に係る無人移動体の制御方法では、上記した構成としているので、遠隔操縦装置の表示部を介して行う簡単な操作によって、無人移動体の移動方向をきめ細かく指示することができ、したがって、例えば、市街地のような右左折の多い場所を高速度で移動している無人移動体に対しても、移動方向を適切に指示することが可能であるという非常に優れた効果がもたらされる。
また、本発明の請求項に係る無人移動体の制御方法では、上記した構成としているので、無人移動体の移動方向を直感的で且つ簡単な操作によってきめ細かく指示することが可能であり、したがって、曲がり角の多い場所を例えば30km/h程度の高速度で移動している無人移動体に対しても、移動方向を適切に指示することができるという非常に優れた効果がもたらされる。
さらに、本発明の請求項に係る無人移動体の制御方法では、上記した構成としているので、分岐路にさしかかった場合には、簡単な操作で分岐路の選択を正確且つ短時間で行うことができ、その結果、移動速度を落とさずに無人移動体を指示した分岐路に向けて向かわせることが可能であるうえ、操縦性の向上をも実現することができる。
加えて、本発明に係る無人移動体の制御方法では、遠隔操縦装置の例えばジョイスティックによる連続的な指示入力ではなく、離散的な入力になることから、無線通信の遅延や途絶にも対応することが可能であるという非常に優れた効果がもたらされる。
本発明の一実施例による無人移動体の制御方法の概要を示すシステム構成説明図である。 図1における無人移動体としての半自律走行車の概略構成説明図である。 図1における無人移動体の制御機器の接続ブロック図である。 図1における無人移動体の制御方法に採用される座標変換の概念を示す説明図である。 図1における無人移動体の車両制御用コンピュータが有する機能を示すブロック図である。 図1における無人移動体としての半自律走行車のディスプレーに映し出されている分岐路認識画像説明図(a)〜(d)である。 図1における無人移動体としての半自律走行車のディスプレーに映し出されている分岐路認識画像説明図(a)〜(c)である。 図1における無人移動体としての半自律走行車のディスプレーに予約右左折入力用の分岐路候補マークが映し出されている分岐路認識画像説明図(a)〜(d)である。
以下、本発明の実施例を図面に基づいて説明する。
図1〜図7は、本発明の一実施例による無人移動体の制御方法を示しており、この無人移動体の制御方法は、図1に示すように、携帯型遠隔操縦装置Aで、無人移動体Bの移動をコントロールするのに用いられるものとなっている。
この実施例において、無人移動体は、自律して走行可能な半自律走行車Bであり、図2及び図3に示すように、車両制御用コンピュータ10及びこの車両制御用コンピュータ10とLAN11を介して接続される自律移動用コンピュータ30によって制御されるようになっている。
車両制御用コンピュータ10の入力側には、アンテナ12と接続する無線LAN13及び遠隔操縦用カメラ14が入出力回路15を介して接続されていると共に、位置情報取得用のGPS16と、姿勢制御用のバーチカルジャイロ17と、移動速度測定用の車速パルス18がシリアル回線を介して接続されている。
また、車両制御用コンピュータ10の出力側には、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23が接続されており、これらのアクチュエータ22,23と車輪24とで駆動ユニット20を構成している。
車両制御用コンピュータ10は、GPS16やバーチカルジャイロ17で取得した各種情報をLAN11,無線LAN13及びアンテナ12を介して携帯型遠隔操縦装置Aに送信する機能を有していると共に、携帯型遠隔操縦装置Aから送信される操作情報に基づいて、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動、停止させる機能を有している。
一方、自律移動用コンピュータ30の入力側には、近距離情報取得に適したレーザセンサ(レーザレンジファインダ)31と、遠距離で且つ広角情報取得に適した自律移動用カメラ32,33が接続されており、この自律移動用コンピュータ30は、取得した近距離情報及び遠距離情報に基づいて、走行可能な経路及び速度を算出し、操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動させて自律走行車Cに自律走行を行わせる。
この実施例において、遠隔操縦用カメラ14から取得した画像データは、入出力回路15を介して車両制御用コンピュータ10に入力されてデータ圧縮処理された後に、無線LAN13及びアンテナ12を介して管制局A及び携帯型遠隔操縦装置Bに送信されるようにしているが、上記画像データは、車両制御用コンピュータ10を介さずに遠隔操縦用カメラ14から直接送信されるようにしてもよい。
携帯型遠隔操縦装置Aは、半自律走行車Bの遠隔操縦用カメラ14で得た画像を映し出すディスプレー(表示部)40と、遠隔操作部50と、車両制御用コンピュータ10及び自律移動用コンピュータ30とLAN11を介してデータのやり取りをする制御部60を具備していて、ディスプレー40は、図示しないCPUやキーボード61やアンテナ62とともに制御部60に組み込まれており、この制御部60は、操作者Pの腰部に装着可能となっている。
一方、遠隔操作部50は、カーソルスティック51と、速度指示レバー52と、制御部60との間で各種情報の送受信を行う図示しない送受信部と、同じく図示しない操作モード切替スイッチを具備しており、この操作モード切替スイッチは、後述するベクトル指示モードと分岐路選択モードとを切り替えるものとなっている。
カーソルスティック51は、ベクトル指示モードにおいて、ディスプレー40の画像上における2点以上のポイント&クリック操作入力により、半自律走行車Bを旋回させる位置を指示すると共に、この旋回位置における旋回方向及び移動距離をベクトルで指示するようになっている。
具体的には、図1に拡大して示すように、ディスプレー40の画面に映し出されている画像上において、半自律走行車Bの現在位置Sと、半自律走行車Bを旋回させる位置Tと、この旋回後に到達する位置Uでのカーソルスティック51によるクリック操作を行うことで、これらの3つの位置S,T,Uを結んだ移動ルートRをベクトルで指示するようになっており、半自律走行車Bの現在位置Sから旋回位置Tに至るまでの走行速度は、速度指示レバー52により周囲の状況を考慮しながら入力されるようになっている。
また、カーソルスティック51は、分岐路選択モードにおいて、ディスプレー40に映し出されている画像上で、後に詳述するように、スティックを倒す操作で分岐路候補マークを選択するようになっている。
この携帯型遠隔操縦装置Aは、操作者Pの頭部に装着されて、制御部60からの画像データを受信して操作者Pの眼前で表示する、いわゆるヘッドマウントディスプレー41を上記ディスプレー40とは別に有しており、このヘッドマウントディスプレー41の画像には、上記ディスプレー40と同様に、ベクトル指示モードでは、カーソルスティック51による3点(S,T,U)を結んだ半自律走行車Bの移動ルートRが重ねて表示され、一方、分岐路選択モードでは、複数の分岐路候補マークが重ねて表示されるようになっている。
この場合、半自律走行車Bに搭載された上記車両制御用コンピュータ10は、座標変換機能を有しており、ベクトル指示モードでは、携帯型遠隔操縦装置Aから送信される操作情報、すなわち、携帯型遠隔操縦装置Aのディスプレー40の画像上で指示した画像座標系による旋回位置及び旋回ベクトル(位置S,T,U)を世界座標系に変換し、この変換後の世界座標系による旋回位置及び旋回ベクトルの指示に基づいて、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動させるようになっている。
一方、分岐路選択モードにおいて、上記車両制御用コンピュータ10は、半自律走行車B側のレーザセンサ31及び自律移動用カメラ32,33で得た分岐路の世界座標系位置情報を携帯型遠隔操縦装置Aのディスプレー40の画像座標系に変換して、携帯型遠隔操縦装置Aに時々刻々伝えるようになっている。
ここで、図4に示すように、半自律走行車Bの向きを軸とした座標系(X:進行方向,Y:左,Z:上)の点(X,Y,Z)、若しくは鳥瞰地図(X,Y,0)上で観測されたデータが、ディスプレー40の画像上のどの画素(x,y)に相当するかは、以下の対応画素計算式で求めることができる。
Figure 0005647905
この際、変数名Aはカメラパラメータであり、画像上の光軸中心Cx,Cy、焦点距離fx,fyにより、以下のように表される。
Figure 0005647905
また、Rは半自律走行車Bの進行軸座標系と遠隔操縦用カメラ14の画像平面座標系(右:x,下:y,手前:z)とを変換する行列式であり、パラメータRx,Ry,Rzにより以下のように求まる。
Figure 0005647905
パラメータRxは半自律走行車Bと遠隔操縦用カメラ14との間のロール方向ずれ角度により、また、パラメータRyは半自律走行車Bからの遠隔操縦用カメラ14の仰角により、さらに、パラメータRzは遠隔操縦用カメラ14の半自律走行車Bからのヨー方向ずれによる回転により、それぞれ以下のようになる。
Figure 0005647905
Figure 0005647905
Figure 0005647905
さらに、tは半自律走行車Bの中心から見た遠隔操縦用カメラ14の設置位置であり、半自律走行車Bの中心からの遠隔操縦用カメラ14の設置位置におけるオフセット位置tx,ty,tzより、以下のように求まる。
Figure 0005647905
なお、必要に応じて、ひずみ除去を撮影後の前処理として実施する。その際、遠隔操縦用カメラ14のひずみパラメータをあらかじめ求めておいてひずみ除去を行う。
また、この実施例において、車両制御用コンピュータ10は、図5に示すように、上記した座標変換機能に加えて、世界座標系に変換された旋回位置及び旋回ベクトルに基づいて移動経路を計画する経路計画機能と、この移動経路に応じた移動速度を計画する速度計画機能と、これらの計画した移動経路及び移動速度に従って自律移動する自律移動機能を有しているほか、レーザセンサ31及び自律移動用カメラ32,33で取得した測距データから移動領域内の移動可能エリアを抽出するエリア抽出機能や、抽出した移動可能エリア内外の障害物を検出する障害物検出機能や、半自律走行車Bが指示された旋回位置に接近したか否かを判定する接近距離判定機能を有している。
このように、エリア抽出機能と障害物検出機能とを併せて有していると、分岐路を認識する機能を有することになる。具体的には、移動領域内の、例えば、道路に引かれた白線や停止線等の特徴物、及び、道路内外の障害物の情報をレーザセンサ31及び自律移動用カメラ32,33によって取得し、移動可能エリア抽出機能及び障害物検出機能の両機能によって、通行可能な部分とそれ以外の部分とを分別処理することで、分岐路を認識し得ることとなる。
なお、地図情報が利用可能な場合には、GPS16のセンサより得られた自己位置情報と地図情報を照合することでも、分岐路を認識し得る。
そして、この実施例において、携帯型遠隔操縦装置Aの制御部60は、携帯型遠隔操縦装置Aと半自律走行車Bとの間の通信遅延時間を算出して、この算出した通信遅延時間に基づいて、指示した旋回位置での旋回ベクトルに従った移動の可否を判定する機能、及び、上記指示に従った移動が困難であると判定したときに携帯型遠隔操縦装置Aのディスプレー40における指示操作を無効とする機能を有している。
加えて、制御部60は、半自律走行車Bが走行する間に、GPS16やバーチカルジャイロ17により算出する自己位置の変化に応じて、ディスプレー40の画像上における旋回位置及び旋回ベクトル(位置S,T,U)、並びに、後述する分岐路候補マークを移動させる機能を有している。
上記した携帯型遠隔操縦装置Aで、半自律走行車Bの移動をベクトル指示モードでコントロールする場合、携帯型遠隔操縦装置Aのディスプレー40には、半自律走行車Bの遠隔操縦用カメラ14で得た画像が映し出されており、この画像上においてカーソルスティック51による3点のポイント&クリック操作入力を行うことで、半自律走行車Bに対して、その現在位置Sと、旋回させる位置Tと、この旋回後に到達する位置Uとを結んだ移動ルートRをベクトルで指示する。
半自律走行車Bの車両制御用コンピュータ10では、携帯型遠隔操縦装置Aから送信される指示、すなわち、携帯型遠隔操縦装置Aのディスプレー40の画像上で指示した画像座標系による旋回位置及び旋回ベクトル(位置S,T,U)を世界座標系に変換し、この変換後の世界座標系による旋回位置及び旋回ベクトルの指示に従って、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動させる。
この半自律走行車Bの走行の間、GPS16やバーチカルジャイロ17により算出する半自律走行車Bの位置の変化に応じて、携帯型遠隔操縦装置Aのディスプレー40の画像上で指定した旋回位置及び旋回ベクトル(位置S,T,U)も移動する。
つまり、半自律走行車Bは、携帯型遠隔操縦装置Aのディスプレー40の画像上でなされたカーソルスティック51による3点のポイント&クリック操作による旋回位置及び旋回ベクトルの指示に従って移動することとなる。
このように、本実施例に係る制御方法では、半自律走行車Bの移動方向を直感的なしかも簡単な操作によってきめ細かく指示し得ることとなり、その結果、例えば、市街地のような右左折の多い場所を30km/h程度の高速度で移動している半自律走行車Bに対して、移動方向を適切に指示し得ることとなる。
一方、上記した携帯型遠隔操縦装置Aで、半自律走行車Bの移動を分岐路選択モードでコントロールする場合、上記車両制御用コンピュータ10のエリア抽出機能と障害物検出機能とを併せて成る分岐路認識機能は、道なり方向のみならず分岐路の世界座標系における位置(分岐路の起点位置及び終点位置)を認識すると共に、この認識した複数の分岐路個々に対して重複しない分岐路IDを付与して、この分岐路IDと分岐路位置から構成される世界座標系の分岐路情報を生成する。この際、走行する半自律走行車Bと、認識した分岐路の相対位置とが時々刻々変化しても、分岐路認識機能により同一の分岐路に対しては付与した同一の分岐路IDが割り当てられる。
そして、半自律走行車Bに搭載された車両制御用コンピュータ10が、レーザセンサ31及び自律移動用カメラ32,33で取得した測距データから分岐路を認識した場合、分岐路の世界座標系における位置を用いて、上記した対応画素計算式(数1)により点(X,Y,Z)から画素(x,y)を演算する処理を行い、分岐路位置を携帯型遠隔操縦装置Aのディスプレー40に表示する画像座標系に変換する。
次いで、車両制御用コンピュータ10は、座標変換を施した後の各分岐路の起点位置(x1,y1)及び終点位置(x2,y2)から分岐路方向θ(=tan−1{(y2−y1)/(x2−x1)})を算出し、認識した全ての分岐路における各分岐路情報、すなわち、分岐路ID,画像座標系に変換後の分岐路起点位置(x1,y1)及び分岐路方向θを携帯型遠隔操縦装置Aに送信する。
この携帯型遠隔操縦装置Aでは、半自律走行車Bに搭載された車両制御用コンピュータ10から画像座標系の分岐路情報を受信しない場合において、この携帯型遠隔操縦装置Aのディスプレー40には、図6(a)に示すように、分岐路に関する情報は何も表示されず、半自律走行車Bは道なりに走行する。
一方、携帯型遠隔操縦装置Aが半自律走行車Bから画像座標系の分岐路情報を受信した場合において、この携帯型遠隔操縦装置Aの制御部60は、図6(b)に示すように、半自律走行車Bの遠隔操縦用カメラ14で得た画像が映し出されているディスプレー40上の分岐路毎に矢羽状の分岐路候補マークMをそれぞれ重ねて表示する。
この際、矢羽状の分岐路候補マークMにおける矢尻部位の座標を画像座標系に変換後の分岐路起点位置(x1,y1)とし、分岐路候補マークMが向く方向を分岐路情報の分岐路方向θとする(図6(b)では、正面方向を0°として、二つの分岐路候補マークM1,M2の向きがそれぞれ約±90°の場合を示している)。
また、矢羽状の分岐路候補マークMの大きさは、図6(c)に示すように、分岐路起点位置が半自律走行車Bからより遠いもの(ディスプレー40の画像上でより上方にあるもの、すなわち分岐路候補マークM3)を小さく表示することにより、ディスプレー40を見る操縦者に対して遠近感を与えるようにしている。
そして、交差点やT字路やY字路や多差路等の一般的な分岐路において、半自律走行車Bを道なり方向と認識する方向以外の道、すなわち、分岐路へ進入させたい場合には、携帯型遠隔操縦装置Aの制御部60において、ディスプレー40の画像上に表示している分岐路候補マークM(M1〜M3)のうち、以下に示すカーソルスティック51の操作によって、所望する分岐路上に重ねて表示されている分岐路候補マークMを選択する。
まず、分岐路選択のためのカーソルスティック51の操作を行っていない場合は、制御部60において、図6(c)に示すように、全ての分岐路候補マークM1〜M3の色が同一の色、例えば白色で表示される。
ここで、図6(d)に示すように、ディスプレー40の最下部中央を原点Oとし、この原点Oから各分岐路候補マークM1〜M3の矢尻部位の起点を結ぶ線と、ディスプレー40の底辺とが成す角をφとした場合において、分岐路候補マークM1〜M3が選択されていない状態から操縦者がカーソルスティック51を図示右方向に倒したときには、図7(a)に示すように、φの値が最も小さい分岐路候補マークM2の色をその他の分岐路候補マークM1,M3の色と異なる色にする強調表示を行うようになっている。
この際、分岐路候補マークM1〜M3が選択されていない状態において、上記とは逆に操縦者がカーソルスティック51を図示左方向に倒したときには、上記φの値が最も大きい分岐路候補マークM1の色を強調表示するようになっている。
つまり、操縦者がカーソルスティック51を右方向に倒す操作を行う度に、φの値が次に大きい分岐路候補マークの色が強調表示され(図7(b)では分岐路候補マークM3の色が分岐路候補マークM2に替わって強調表示され)、操縦者がカーソルスティック51を左方向に倒す操作を行う度に、φの値が次に小さい分岐路候補マークの色が強調表示される。
そして、強調表示された分岐路候補マークMに付されたIDが、現在選択中の分岐路候補となる、すなわち、カーソルスティック51を右方向に倒す操作を行う度に選択中の分岐路候補が反時計回りに移動し、カーソルスティック51を左方向に倒す操作を行う度に選択中の分岐路候補が時計回りに移動する。
上記したカーソルスティック51の倒し操作により、半自律走行車Bを向かわせたい分岐路を選択した時点で、遠隔操作部50の図示しない決定ボタン、あるいは、このカーソルスティック51の押し込みスイッチを押すと、制御部60では、この時点で選択されていた分岐路IDを半自律走行車B側に送信する。
この半自律走行車Bの車両制御コンピュータ10では、携帯型遠隔操縦装置Aから送信された分岐路IDを受信すると、アンサーバック信号として選択決定された分岐路IDを携帯型遠隔操縦装置Aに送信し、指定された分岐路に進入する処理を開始する、すなわち、指示に従って、モータドライバ21を介して操舵用アクチュエータ22及びブレーキ/アクセル用アクチュエータ23を作動させる。
携帯型遠隔操縦装置Aでは、アンサーバック信号を受信すると、例えば、図7(c)に示すように、選択決定した分岐路候補マークM3の色を変化させ、操縦者に決定入力が半自律走行車Bに受領されたことを通知する。
ここで、携帯型遠隔操縦装置Aの遠隔操作部50は、上記したように、携帯型遠隔操縦装置Aのディスプレー40における指示操作を無効とする機能(分岐路キャンセルボタン)を有しているので、操縦者が決定ボタンを押して進入したい分岐路を確定後に、分岐路キャンセルボタンを入力した場合において、制御部60は、一度決定入力した分岐路のキャンセル通知を半自律走行車Bに送信する。この半自律走行車Bは、キャンセル通知を受信した場合、分岐路への進入を開始していなければキャンセルを受け付け、道なり方向を走行するものとする。
このように、遠隔操縦装置Aのディスプレー40の画像上において、上記した簡単なカーソルスティック51の倒し操作という直感的な操作により、複数の分岐路の中から半自律走行車Bを進ませたい分岐路上の分岐路候補マークMを選択するだけで、この選択したIDの分岐路に向けて半自律走行車Bを移動させ得ることとなる。
この分岐路の選択の間、半自律走行車Bは分岐路に時々刻々接近するが、分岐路毎の情報は半自律走行車Bの移動に伴って更新されて、分岐路候補マークMは接近する分岐路とともに画像上を移動するため、分岐路の選択を正確且つ短時間で行い得ることとなり、したがって、半自律走行車Bの移動速度を落とす必要がないうえ、操縦性が向上することとなる。
上記した実施例では、無人移動体が自律して移動可能な半自律走行車Bである場合を示したが、無人移動体が完全手動遠隔操縦により走行する走行車であってもよい。
また、上記した実施例では、車両制御用コンピュータ10が座標変換処理を行っている構成としているが、座標変換処理は車両制御用コンピュータ10とは異なる別のコンピュータにて行ってもよく、携帯型遠隔操縦装置Aの制御部60にて行ってもよい。
さらに、分岐路を選択するためのカーソルスティック51はジョグダイアルとしてもよく、分岐路候補マークMの強調表示の方法は、色を変えることによる方法のみならず、マークの形状を変更したり、マークを点灯させたり、マークを点滅させたりするいずれの方法であってもよい。
さらにまた、車両制御用コンピュータ10のエリア抽出機能と障害物検出機能とを併せて成る分岐路認識機能において、分岐路候補の中に、予約右左折入力用の分岐路IDを割り当てて選択可能としてもよい。予約右左折入力用の分岐路IDには、右折用及び左折用の二つの分岐路IDがあり、右折用の分岐路IDが選択された場合は、半自律走行車Bはその時点で最も直近で右に進入可能な分岐路に進入するものとし、左折用の分岐路IDが選択された場合は、半自律走行車Bはその時点で最も直近で左に進入できる分岐路に進入するものとする。
図8(a)は、予約右左折入力用の分岐路候補マークMrをディスプレー40の画像外の左右に配置した例である。図8(b)は、予約右折入力の分岐路候補マークMrrが選択されている様子を示しており、図8(c)は予約右折が決定ボタンにより入力されて、携帯型遠隔操縦装置Aが半自律走行車Bの車両制御コンピュータ10からアンサーバック信号を受信し、予約右折入力が確定した状態を示す。図8(d)は、この後、半自律走行車Bが走行し、車両制御用コンピュータ10が右折可能な分岐路を認識した際に、自動的にその分岐路が選択された状態を示している。
事前予約右左折入力用の分岐路候補マークMrの選択方法は、遠隔操作部50に専用のボタンを設けてもよいし、カーソルスティック51を最初に右または左に倒したときに選択されるようにしてもよい。なお、予約右左折入力用の分岐路候補マークMrの表示位置は、ディスプレー40の画像内に、予約右左折入力用以外の分岐路候補マークMと重ならない位置に常時表示するようにしてもよい。
さらにまた、上記した実施例では、無人移動体が半自律走行車Bである場合を示したが、これに限定されるものではなく、無人移動体が自律歩行するロボットであったり、自律飛行する航空機であったりしてもよいほか、完全手動遠隔操縦により移動するロボットや航空機であったりしてもよい。
14 遠隔操縦用カメラ
40 ディスプレー(表示部)
51 カーソルスティック
A 携帯型遠隔操縦装置
B 半自律走行車(無人移動体)
M(M1〜M3) 分岐路候補マーク

Claims (2)

  1. 移動領域内の画像データを取得する遠隔操縦用カメラを搭載した無人移動体の移動を記遠隔操縦用カメラによる画像を映し出す表示部を有する遠隔操縦装置を用いてコントロールする無人移動体の制御方法であって、
    前記無人移動体側の世界座標系と、前記遠隔操縦装置の表示部における画像座標系との間で互いに座標変換処理可能とした無人移動体の制御方法において、
    前記遠隔操縦装置の画像座標系における表示部の画像上のカーソルスティックによる2点以上のポイント&クリック操作入力により、前記無人移動体を旋回させる位置を指示すると共に、この旋回位置における旋回方向及び移動距離ベクトルで指示し、
    前記無人移動体側において、前記遠隔操縦装置の表示部の画像上で指示した画像座標系による旋回位置及び旋回ベクトルを世界座標系に変換させて、この変換後の世界座標系による旋回位置及び旋回ベクトルの指示に従って世界座標系の該無人移動体を移動させ
    分岐路認識機能を有する無人移動体側で分岐路を認識した段階において、前記無人移動体の移動に伴って更新される前記分岐路毎の情報を世界座標系から画像座標系に座標変換してIDとともに前記遠隔操縦装置に送信して、該遠隔操縦装置の表示部に映し出されている画像の前記分岐路上に分岐路候補マークを重ねて表示し、前記遠隔操縦装置のスティック操作により複数の分岐路の中から前記無人移動体を旋回させる位置及びこの旋回位置における旋回方向に合致する分岐路上の前記分岐路候補マークを選択して、この選択した分岐路のIDを前記無人移動体に送信し、この送信されたIDの分岐路に該無人移動体を移動させ
    ことを特徴とする無人移動体の制御方法。
  2. 前記無人移動体は、前記遠隔操縦装置から指示された旋回位置及び旋回方向に基づいて移動経路を計画すると共に、この移動経路に応じた移動速度を計画して、これらの計画した移動経路及び移動速度に従って自律移動する請求項1に記載の無人移動体の制御方法。
JP2011009757A 2010-01-20 2011-01-20 無人移動体の制御方法 Active JP5647905B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011009757A JP5647905B2 (ja) 2010-01-20 2011-01-20 無人移動体の制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010009997 2010-01-20
JP2010009997 2010-01-20
JP2011009757A JP5647905B2 (ja) 2010-01-20 2011-01-20 無人移動体の制御方法

Publications (2)

Publication Number Publication Date
JP2011170844A JP2011170844A (ja) 2011-09-01
JP5647905B2 true JP5647905B2 (ja) 2015-01-07

Family

ID=44684855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011009757A Active JP5647905B2 (ja) 2010-01-20 2011-01-20 無人移動体の制御方法

Country Status (1)

Country Link
JP (1) JP5647905B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2669109B1 (de) * 2012-05-30 2015-03-04 Technische Universität Darmstadt Manöverassistenzsystem
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム
JP5969903B2 (ja) * 2012-11-26 2016-08-17 株式会社Ihiエアロスペース 無人移動体の制御方法
JP6233237B2 (ja) * 2014-08-11 2017-11-22 トヨタ自動車株式会社 運転支援装置
JP6421687B2 (ja) * 2015-04-23 2018-11-14 トヨタ自動車株式会社 自動運転装置
CN107016840A (zh) * 2016-11-10 2017-08-04 宁波蓝飞鹂航空科技有限公司 一种基于操控者为基准点的机头一键对准模式的方法
CN106959699A (zh) * 2016-11-10 2017-07-18 宁波蓝飞鹂航空科技有限公司 一种基于操控者为基准点的一键自动返航模式的方法
JP6910023B2 (ja) * 2017-03-03 2021-07-28 株式会社Ihiエアロスペース 無人移動体の制御方法
JP6938303B2 (ja) * 2017-09-20 2021-09-22 株式会社クボタ 作業機
JP6924160B2 (ja) * 2018-02-26 2021-08-25 株式会社Ihi 遠隔操縦システム
CN109032190A (zh) * 2018-07-05 2018-12-18 北京淳中科技股份有限公司 云台转向控制方法、装置、电子设备及存储介质
US11029694B2 (en) * 2018-09-27 2021-06-08 Salesforce.Com, Inc. Self-aware visual-textual co-grounded navigation agent

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2712523B2 (ja) * 1989-04-12 1998-02-16 日産自動車株式会社 自律走行車両
JP2817211B2 (ja) * 1989-06-20 1998-10-30 神鋼電機株式会社 移動ロボットシステムにおけるデータ照合方法
FR2700213B1 (fr) * 1993-01-05 1995-03-24 Sfim Ensemble de guidage.
JP3160434B2 (ja) * 1993-08-31 2001-04-25 アルパイン株式会社 車載用ナビゲーション装置の走行案内画像表示方法
JPH11149315A (ja) * 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd ロボット制御システム
JP2006113858A (ja) * 2004-10-15 2006-04-27 Mitsubishi Heavy Ind Ltd 移動体の遠隔操作支援方法及びシステム
JP2006284218A (ja) * 2005-03-31 2006-10-19 Xanavi Informatics Corp ナビゲーション装置

Also Published As

Publication number Publication date
JP2011170844A (ja) 2011-09-01

Similar Documents

Publication Publication Date Title
JP5647905B2 (ja) 無人移動体の制御方法
US10598505B2 (en) Travel route generation apparatus and method for generating travel route
EP3272586B1 (en) Work vehicle
JP4052198B2 (ja) 車両誘導装置、および経路判定プログラム
US8392036B2 (en) Point and go navigation system and method
JP5473304B2 (ja) 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
EP2881710B1 (en) Camera parameter computation device, navigation system, and camera parameter computation method
JP5187758B2 (ja) 無人移動体システム
JP2018077087A (ja) 情報表示装置、情報表示方法、および情報表示プログラム
JP6674914B2 (ja) ナビゲーションシステム、ナビゲーションプログラム、車載装置
RU2746684C1 (ru) Способ управления парковкой и оборудование управления парковкой
EP3730353B1 (en) Parking control method and parking control device
JP6910023B2 (ja) 無人移動体の制御方法
WO2019230098A1 (ja) 情報処理装置
CN105270399A (zh) 利用车辆通信控制车辆的设备及其方法
JP2010186257A (ja) 駐車支援システム、車載駐車支援装置、情報付マーカー
JP2019014300A (ja) 車両制御システム、車両制御方法、およびプログラム
WO2009089369A1 (en) Point and go navigation system and method
JP2019021197A (ja) 経路決定装置と経路決定方法
WO2022095067A1 (zh) 路径规划方法、路径规划装置、路径规划系统和介质
JP5969903B2 (ja) 無人移動体の制御方法
JP2019021199A (ja) 移動ロボットの制御装置と制御方法
JP2021049839A (ja) 遠隔駐車システム
WO2018179277A1 (ja) 車両制御システム、サーバ装置、車両制御方法、および車両制御プログラム
US20230294288A1 (en) Regulated region management system, mobile body management system, regulated region management method, and non-transitory storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130902

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141022

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141110

R150 Certificate of patent or registration of utility model

Ref document number: 5647905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250