JP6614607B2

JP6614607B2 - 遠隔操縦システムと方法

Info

Publication number: JP6614607B2
Application number: JP2015137720A
Authority: JP
Inventors: 浩明齋藤
Original assignee: IHI Corp; IHI Aerospace Co Ltd
Current assignee: IHI Corp; IHI Aerospace Co Ltd
Priority date: 2015-07-09
Filing date: 2015-07-09
Publication date: 2019-12-04
Anticipated expiration: 2035-07-09
Also published as: JP2017021517A

Description

本発明は、移動体（例えば移動ロボット）を遠隔操縦する遠隔操縦システムと方法に関する。

移動体を遠隔操縦する遠隔操縦システムは、例えば特許文献１〜５に開示されている。

特許文献１の「遠隔操縦システム」は、移動領域の画像を取得する撮像部を搭載した移動体と、その撮像部によって取得した画像を表示する表示部と、その表示部に表示された画像に基づいて移動体を遠隔操縦するための操作部と有する遠隔操縦装置を備える。

特許文献２の「移動ロボットのカメラ視線方向制御方法および移動ロボットシステム」は、移動ロボットから端末にカメラ画像を送信し、端末の画面上にカメラ画像を表示させる。また端末の画面上に表示されるポインタの位置がカメラ画像のエッジから外れたとき、外れた方向にカメラの視野方向を所定量移動させ、新たな周囲環境画像を端末に自動送信する。さらに端末は、ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするポインタ位置を計算して、計算された位置にポインタを表示する。

特許文献３の「経路生成装置と方法および経路生成装置を備える移動装置」は、移動開始位置から目標到達位置までの間に設定され移動経路の生成の指標となる複数の経由位置を記憶した記憶装置と、移動装置の現在位置を検出する位置検出装置とを備える。さらに経路探索装置を備え、移動装置の移動中において、現在位置に基づいて、複数の経由位置のうち移動装置が次に通過する経由位置に向かうための移動経路を探索し生成する。

特許文献４の「作業車両の遠隔操作装置」は、作業車両に設けた複数のビデオカメラで撮像した互いに異なる方向の画像を作業車両から離れた箇所にある１つのモニターで監視しながら、作業車両を遠隔操作して作業する。また、モニターの画面を、その左右方向の中間部を作業車両の複数の種類の運転状態を表示する部分と、その中間部の左右両側を複数のビデオカメラによる互いに異なる方向の画像を表示する部分とで構成し、複数の種類の運転状態を縦に並べて表示する。

特許文献５の「モニタリングシステム」は、遠隔操作可能なロボットが具備する第１のカメラで第１の画像を撮影するステップと、第１の画像の中心である注視点を算出するステップと、注視点の周囲の拡張注視点を算出するステップと、を有する。さらに、このシステムは、拡張注視点を撮影する第２のカメラを選択するステップと、ロボットの操作者用の表示装置に、第１の画像と第２の画像を並べて表示するステップとを有する。拡張注視点は第２の画像の中心であり、第２のカメラはロボットの移動する空間内に設けられている。

特許第５３９３２４０号公報特許第４１３１６７５号公報特許第５６６６３２２号公報特開平９−２７１０１６号公報国際公開第２０１４／１０２９９５号

上述した従来技術において、移動体（例えば移動ロボット）を遠隔操縦する場合には、移動体に搭載したカメラで撮像した画像を、操縦装置の画面に表示してこの画像に基づいて移動体を遠隔操縦する。このような遠隔操縦においては、操縦装置の画面に自車（移動体）の一部と共に、周囲の状況を広く表示することが重要である。また、移動体の速度が上がるにつれ、遠方の路面状況も確認する必要がある。

そのため、移動体を遠隔操縦する遠隔操縦システムでは、周囲の状況を広く表示する画角の広い広角カメラと、遠方の路面状況を高い倍率で表示する高倍率カメラとを同時に用いることが好ましい。

しかし遠方を確認するための高倍率カメラは、高い倍率で表示するため画角が狭い。そのため、遠方の路面状況を確認するには、雲台を制御して確認する位置を正確に撮影するか、或いはデジタルズームによりその位置の画像を拡大する必要がある。
一方、操縦者は、移動体（例えば移動ロボット）の走行中は、その遠隔操縦に集中するため、高倍率カメラの視野方向（すなわち撮像位置）の調整を同時に行うことは困難である。

本発明は上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、走行中の移動体（例えば移動ロボット）の遠隔操縦に集中しながら、同時に遠方の路面状況を適切に確認することができる遠隔操縦システムと方法を提供することにある。

本発明によれば、地上を走行可能な移動体と、前記移動体を遠隔操縦する遠隔操縦装置とを備え、
前記移動体は、その前方を運転用の広画角で撮影する広角カメラと、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを有しており、
前記制御装置は、注視地点算出部、及び画像処理部を有し、
前記注視地点算出部は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点として算出し、
前記画像処理部は、前記広角カメラによる運転用画像と、前記高倍率カメラによる注視用画像を同時に重畳表示する重畳画像を作成し、
前記遠隔操縦装置は、表示部を有し、
前記表示部は、前記運転用画像と前記注視用画像を同時に重畳表示する、ことを特徴とする遠隔操縦システムが提供される。

前記移動体は、前記注視地点を撮影するように前記高倍率カメラの姿勢を制御する雲台を有する。

前記表示部は、前記運転用画像の水平線より上部に、前記注視用画像を重畳表示する。

前記広画角は、前記移動体の遠隔操縦に適した水平画角であり、
前記高倍率の画角は、前記注視地点の路面状況の確認に適した水平画角である。

前記広角カメラは、前記広画角の広角レンズを有し、
前記高倍率カメラは、前記高倍率のズームレンズを有する。

前記雲台は、パン角とチルト角を制御する。

また、本発明によれば、地上を走行可能な移動体と、前記移動体を遠隔操縦する遠隔操縦装置とを準備し、
前記移動体に、その前方を運転用の広画角で撮影する広角カメラと、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを設置し、
前記制御装置の注視地点算出部により、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を前記注視地点として算出し、
前記制御装置の画像処理部により、前記広角カメラによる運転用画像と、前記高倍率カメラによる注視用画像を同時に重畳表示する重畳画像を作成し、
前記遠隔操縦装置の表示部により、前記運転用画像と、前記注視用画像を同時に重畳表示する、ことを特徴とする遠隔操縦方法が提供される。

本発明によれば、遠隔操縦装置が、広角カメラによる運転用画像と、注視用画像を同時に表示する表示部を有するので、操縦者は運転用画像による遠隔操縦に集中しながら、同時に注視用画像により遠方の路面状況を適切に確認することができる。

また制御装置は、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点として算出するので、操縦者は、移動体（例えば移動ロボット）の走行中に、高倍率カメラの視野方向の調整を同時に行う必要がなく、移動体の遠隔操縦に集中することができる。

従って、注視用画像により遠方の路面状況を容易に確認できるため、安全性の向上と共に遠隔操縦による走行速度を高めることができる。

本発明による遠隔操縦システムの全体構成図である。図１のブロック図である。道なりラインと注視地点の説明図である。本発明による表示部の画像の模式図である。

以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明による遠隔操縦システムの全体構成図であり、図２は図１のブロック図である。
図１において、本発明の遠隔操縦システムは、地上を走行可能な移動体１０と、移動体１０を遠隔操縦する遠隔操縦装置３０とを備える。この例において、移動体１０は、例えば移動ロボット、自律走行可能な半自律走行車、遠隔操縦可能な無人作業車、などである。

図１、図２において、移動体１０は、ＬＲＦ１１（レーザレンジファインダ）、ステレオカメラ１２、ＧＰＳ１３、広角カメラ１５、高倍率カメラ１６、雲台１７、車両１８、車載通信機１９、及び制御装置２０を備える。

ＬＲＦ１１（レーザレンジファインダ）は、レーザ光を用いて進行方向における地形の凹凸を検出し、移動体１０の進行方向前方の障害物４の位置を検出する。
ステレオカメラ１２は、進行方向における地形の凹凸を２つのカメラで検出し、移動体１０の進行方向前方の障害物４の位置を検出する。
なお、ＬＲＦ１１とステレオカメラ１２は、移動体１０の進行方向前方の障害物４の位置を検出できる限りで、いずれか一方のみでもよい。

ＧＰＳ１３は、静止衛星と通信して移動体１０の現在位置を検出する。

広角カメラ１５は、移動体１０の前方を運転用の広画角で撮影し、運転用画像Ｇ１を出力する。この広画角は、移動体１０の進行方向前方をほとんど死角なく確認できる画角であるのがよい。
この広画角は、例えば移動体１０の遠隔操縦に適した例えば１２０〜４６度の水平画角である。すなわち、広角カメラ１５は、３５ｍｍ換算で例えば１６ｍｍ〜５０ｍｍの焦点距離の広角レンズ１５ａを有するのがよい。

高倍率カメラ１６は、移動体１０の前方を注視用の高倍率で撮影し、注視用画像Ｇ２を出力する。この高倍率の画角は、注視地点８の路面状況の確認に適した例えば２８〜１８度の水平画角であるのがよい。
すなわち、高倍率カメラ１６は、３５ｍｍ換算で例えば８０ｍｍ〜１３５ｍｍの焦点距離のズームレンズ１６ａを有するのがよい。なおズームレンズ１６ａの焦点距離は、自動又は手動で変化させてもよく、あるいは一定であってもよい。

なお、ズームレンズ１６ａの代わりにデジタルズームを用いてもよい。この場合、高倍率カメラ１６の画像の一部を拡大して注視用画像Ｇ２を出力する。拡大率は、自動又は手動で変化させてもよく、あるいは一定であってもよい。
また、広角カメラ１５の運転用画像Ｇ１の一部を拡大して注視用画像Ｇ２を出力してもよい。この場合、高倍率カメラ１６を省略することができる。

雲台１７は、移動体１０の前方の注視地点８（図３参照）を撮影するように高倍率カメラ１６の姿勢を制御する。雲台１７は、電動で、高倍率カメラ１６のパン角とチルト角を制御する。
なお、デジタルズームを用いる場合には、雲台１７を省略してもよい。

車両１８は、移動速度測定用の車速パルス１８ａ、操舵用アクチュエータ１８ｂ、ブレーキ／アクセル用アクチュエータ１８ｃ、車輪１８ｄを含む。
車両１８は、遠隔操縦装置３０からの指令により走行し、車速パルス１８ａにより車速を検出し、操舵用アクチュエータ１８ｂにより操舵し、ブレーキ／アクセル用アクチュエータ１８ｃにより車速を減速又は加速できるようになっている。
なお、車両１８は、車輪１８ｄの代わりにクローラを備えてもよい。

車載通信機１９は、遠隔操縦装置３０と通信して、移動体１０の情報を発信し、遠隔操縦装置３０からの指令データを受信する。

図２において、制御装置２０は、制御用コンピュータ（ＰＣ）であり、道なり認識部２２、注視地点算出部２４、画像処理部２６、及び走行制御部２８を有する。
制御装置２０は、前方の注視地点８の注視用画像Ｇ２を抽出する。

道なり認識部２２は、図３に示すように、走行可能領域内に位置して走行可能領域２の境界３に接する複数の内接円６の中心を通過する道なりライン５を算出する。道なりライン５は、注視地点算出部２４と車載通信機１９に出力される。

注視地点算出部２４は、図３に示すように、道なりライン５、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点８として算出する。注視地点８は、雲台１７に出力される。

画像処理部２６は、図４に示すように、広角カメラ１５による運転用画像Ｇ１と、高倍率カメラ１６による注視用画像Ｇ２を同時に重畳表示する重畳画像Ｇ３を作成し車載通信機１９に出力する。
なお、画像処理部２６による重畳画像Ｇ３の作成は必須ではない。すなわち、画像処理部２６は、重畳画像Ｇ３を作成せずに、運転用画像Ｇ１と注視用画像Ｇ２を車載通信機１９に出力してもよい。

走行制御部２８は、遠隔操縦装置３０からの指令データに基づき、車両１８の操舵角及び速度を制御する。

上述した車載通信機１９から発信される移動体１０の情報は、移動体１０の現在位置、障害物４の位置、運転用画像Ｇ１、注視用画像Ｇ２、重畳画像Ｇ３、高倍率カメラ１６のパン角とチルト角、車速などの一部又は全部である。

図１、図２において、遠隔操縦装置３０は、表示部３１（ディスプレイ）、ＡＢレバー３２、Ｃレバー３３、遠隔制御部３４、及び遠隔通信機３５を備える。

表示部３１（ディスプレイ）は、広角カメラ１５による運転用画像Ｇ１と、高倍率カメラ１６による注視用画像Ｇ２を同時に重畳表示する。
なお、車載通信機１９から発信される移動体１０の情報に重畳画像Ｇ３が含まれる場合には、重畳画像Ｇ３をそのまま表示してもよい。

ＡＢレバー３２は、アクセル／ブレーキレバーであり、ブレーキ／アクセル用アクチュエータ１８ｃにより移動体１０の走行速度を増減するための操作レバーである。例えば、ＡＢレバー３２を前方に傾動操作すると走行速度が増加し、後方に傾動操作すると走行速度が減少する。

Ｃレバー３３は、操舵用アクチュエータ１８ｂにより移動体１０の進行方向を操作するジョイスティックである。例えば、Ｃレバー３３を左方に傾動操作すると移動体１０が左方向に旋回し、また、右方に傾動操作すると右方向に旋回する。

遠隔制御部３４は、制御用コンピュータ（ＰＣ）であり、ＡＢレバー３２及びＣレバー３３の操作量を指令データに変換し遠隔通信機３５に出力する。また、遠隔制御部３４は、重畳画像Ｇ３を表示部３１（ディスプレイ）に出力する。
なお、車載通信機１９から発信される移動体１０の情報が重畳画像Ｇ３を含まない場合には、遠隔制御部３４は、運転用画像Ｇ１と注視用画像Ｇ２から重畳画像Ｇ３を作成する。

遠隔通信機３５は、移動体１０と通信して、移動体１０の情報を受信し、遠隔操縦装置３０からの指令データを送信する。
遠隔操縦装置３０からの指令データは、例えばＡＢレバー３２及びＣレバー３３の操作量の指令データである。

図３は、道なりライン５と注視地点８の説明図である。
この図は、移動体１０の現在位置近傍の局所地図１である。局所地図１は、移動体１０を下端に含む２次元地図である。

図３において、２は移動体１０の走行可能領域（例えば車道）、３は走行可能領域２の境界（例えば車道の両端）、４は走行可能領域２に存在する障害物である。
なお、この図では走行可能領域２の外側に位置する障害物４（例えば樹木など）は省略している。

図３の局所地図１は、移動体１０の現在位置と、移動体１０に設けたＬＲＦ１１（レーザレンジファインダ）又はステレオカメラ１２により検出した障害物４とに基づいて作成することができる。
また、局所地図１は、カーナビのような地図情報から抽出してもよい。

図３において、道なりライン５は、走行可能領域２において、走行可能領域２の境界３に接する複数の内接円６の中心を通過するライン（実線の折れ線）である。道なりライン５に沿って移動体１０を走行させることで、移動体１０と障害物４との衝突を避けることができる。
一方、この図において、７はカーナビの地図情報から抽出された地図経路（破線の曲線）である。地図経路７は、障害物４の存在を考慮せずに、設定されている。そのため、移動体１０と障害物４との衝突を避けるように遠隔操縦する必要がある。

注視地点８は、道なりライン５、又は、地図情報から抽出された地図経路７上であって、現在の走行速度Ｖで停止可能な地点である。
現在の走行速度Ｖで停止可能な停止距離Ｌは、式（１）で表される。
停止距離Ｌ＝Ｖ×ｔ＋Ｖ^２／（２×μ×Ｇ）・・・（１）

ここで、ｔは制動遅れ時間、μは路面の動摩擦係数、Ｇは重力加速度である。
制動遅れ時間ｔは、移動体１０の制動信号が出力されてから、移動体１０の制動装置（ブレーキ）が作動開始するまでの時間である。
制動遅れ時間ｔは、一定値（例えば０．１〜０．３ｓｅｃ）である。
動摩擦係数μは、例えば０．１〜０．９であり、路面状況により変化する。動摩擦係数μは、自動的に設定しても適宜設定してもよい。また、動摩擦係数μを安全側の一定値に設定してもよい。
また、式（１）において、現在の走行速度Ｖを移動体１０の最高速度に置き換えてもよい。さらに、停止距離Ｌを任意に設定してもよい。

図３において、道なりライン上の注視地点８ａと、地図経路７上の注視地点８ｂとは、位置が相違する。これは、道なりライン５は走行可能領域２に存在する障害物４を考慮して設定されるのに対して、地図経路７は障害物４を考慮していないためである。
なお、本発明では、注視地点８ａ，８ｂは、高倍率カメラ１６で撮影して運転用画像Ｇ１と共に注視用画像Ｇ２として表示部３１に重畳表示されるので、操縦者は障害物４の存在を早期に認識し、障害物４を回避する操作（迂回操作又は停止操作）を確実に行うことができる。

図４は、本発明による表示部３１の画像の模式図である。
上述したように、表示部３１（ディスプレイ）は、広角カメラ１５による運転用画像Ｇ１と、高倍率カメラ１６による注視用画像Ｇ２を同時に重畳表示した重畳画像Ｇ３を表示する。
この場合、図に示すように、表示部３１は、運転用画像Ｇ１の水平線より上部に、注視用画像Ｇ２を重畳表示する、ことが好ましい。
なお、本発明において、「重畳表示」とは、運転用画像Ｇ１の一部に重ねて、その前面に注視用画像Ｇ２を表示することを意味する。その重畳部分は、任意に変更できることが好ましい。また、重畳表示を解除して並列表示してもよい。

本発明による遠隔操縦方法は、上述した移動体１０と遠隔操縦装置３０とを準備し、移動体１０に、上述した広角カメラ１５と制御装置２０を設置する。なお、高倍率カメラ１６と雲台１７も設置することが好ましい。
次いで、遠隔操縦装置３０の表示部３１に、広角カメラ１５による運転用画像Ｇ１と、注視用画像Ｇ２とを同時に表示する。注視用画像Ｇ２は、高倍率カメラ１６による画像であることが好ましいが、広角カメラ１５の運転用画像Ｇ１の一部を拡大して注視用画像Ｇ２を出力してもよい。
また、運転用画像Ｇ１と注視用画像Ｇ２は、運転用画像Ｇ１の水平線より上部に、注視用画像Ｇ２を重畳表示することが好ましいが、並列表示してもよい。

上述した本発明によれば、遠隔操縦装置３０が、広角カメラ１５による運転用画像Ｇ１と、注視用画像Ｇ２を同時に重畳表示する表示部３１を有するので、操縦者は運転用画像Ｇ１による遠隔操縦に集中しながら、同時に注視用画像Ｇ２により遠方の路面状況を適切に確認することができる。

また制御装置２０は、道なりライン上、又は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点８，８ａ，８ｂとして算出するので、操縦者は、移動体１０（例えば移動ロボット）の走行中に、高倍率カメラ１６の視野方向の調整を同時に行う必要がなく、移動体１０の遠隔操縦に集中することができる。

従って、注視用画像Ｇ２により遠方の路面状況を容易に確認できるため、安全性の向上と共に遠隔操縦による走行速度を高めることができる。

なお本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更を加え得ることは勿論である。

Ｇ１運転用画像、Ｇ２注視用画像、Ｇ３重畳画像、Ｌ停止距離、
１局所地図、２走行可能領域、３境界、４障害物、５道なりライン、
６内接円、７地図経路、８，８ａ，８ｂ注視地点、
１０移動体（移動ロボット）、１１ＬＲＦ（レーザレンジファインダ）、
１２ステレオカメラ、１３ＧＰＳ、１５広角カメラ、１５ａ広角レンズ、
１６高倍率カメラ、１６ａズームレンズ、１７雲台、１８車両、
１８ａ車速パルス、１８ｂ操舵用アクチュエータ、
１８ｃブレーキ／アクセル用アクチュエータ、１８ｄ車輪、１９車載通信機、
２０制御装置、２２道なり認識部、２４注視地点算出部、２６画像処理部、
２８走行制御部、３０遠隔操縦装置、３１表示部（ディスプレイ）、
３２ＡＢレバー（アクセル／ブレーキレバー）、
３３Ｃレバー（ジョイスティック）、３４遠隔制御部、３５遠隔通信機

Claims

地上を走行可能な移動体と、前記移動体を遠隔操縦する遠隔操縦装置とを備え、
前記移動体は、その前方を運転用の広画角で撮影する広角カメラと、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを有しており、
前記制御装置は、注視地点算出部、及び画像処理部を有し、
前記注視地点算出部は、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を注視地点として算出し、
前記画像処理部は、前記広角カメラによる運転用画像と、前記高倍率カメラによる注視用画像を同時に重畳表示する重畳画像を作成し、
前記遠隔操縦装置は、表示部を有し、
前記表示部は、前記運転用画像と前記注視用画像を同時に重畳表示する、ことを特徴とする遠隔操縦システム。
前記移動体は、前記注視地点を撮影するように前記高倍率カメラの姿勢を制御する雲台を有する、ことを特徴とする請求項１に記載の遠隔操縦システム。
前記表示部は、前記運転用画像の水平線より上部に、前記注視用画像を重畳表示する、ことを特徴とする請求項１に記載の遠隔操縦システム。
前記広画角は、前記移動体の遠隔操縦に適した水平画角であり、
前記高倍率の画角は、前記注視地点の路面状況の確認に適した水平画角である、ことを特徴とする請求項２に記載の遠隔操縦システム。
前記広角カメラは、前記広画角の広角レンズを有し、
前記高倍率カメラは、前記高倍率のズームレンズを有する、ことを特徴とする請求項２に記載の遠隔操縦システム。
前記雲台は、パン角とチルト角を制御する、ことを特徴とする請求項２に記載の遠隔操縦システム。
地上を走行可能な移動体と、前記移動体を遠隔操縦する遠隔操縦装置とを準備し、
前記移動体に、その前方を運転用の広画角で撮影する広角カメラと、前記前方を注視用の高倍率で撮影する高倍率カメラと、前記前方の注視地点の注視用画像を抽出する制御装置とを設置し、
前記制御装置の注視地点算出部により、地図情報から抽出された地図経路上であって、現在の走行速度で停止可能な地点を前記注視地点として算出し、
前記制御装置の画像処理部により、前記広角カメラによる運転用画像と、前記高倍率カメラによる注視用画像を同時に重畳表示する重畳画像を作成し、
前記遠隔操縦装置の表示部により、前記運転用画像と、前記注視用画像を同時に重畳表示する、ことを特徴とする遠隔操縦方法。