JP6054513B2

JP6054513B2 - 遠隔操作システム

Info

Publication number: JP6054513B2
Application number: JP2015505206A
Authority: JP
Inventors: 亮介中村; 梓網野; 泰士上田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2013-03-15
Filing date: 2013-03-15
Publication date: 2016-12-27
Anticipated expiration: 2033-03-15
Also published as: JPWO2014141479A1; WO2014141479A1; DE112013004341T5; US9317035B2; US20150261218A1

Description

本開示は、遠隔操作システムに関し、例えば遠隔操作により移動を行う移動体の操作者への情報提示装置に適用可能である。

災害地や鉱山において移動体を自動で運用したい場合において、カメラ映像を用いて遠隔地から人間が操作する技術がある。例えば、特開２０１１−２８４９５号公報（特許文献１）記載の様に、移動体に、移動体前方を撮影するためのカメラを取り付け、カメラより取得した映像を無線により遠隔地にある操作者の操作用モニタに表示し、操作者はモニタを見ながら移動体の操作を行うようになっている。また特開平１０−２７５０１５号公報（特許文献２）では伝送される映像の質を高めるために映像の間の補完を行っている。

特開２０１１−２８４９５号公報特開平１０−２７５０１５号公報

移動体を遠隔で操作する場合に、移動体から取得する映像、情報の遅れが問題となる。例えば、取得した映像が１秒前であった場合では、操作者の操作がすぐに移動体に反映する場合においても、飛び出し等を回避するには操作が間に合わない。また実際には操作が即座に移動体に伝わることも期待できない。また、遅延を低減するべく映像データ量を絞り込むことにより、フレームレートや解像度を低下させた場合では他の移動体の動作が把握し辛くなる問題点がある。

特許文献１に記載の技術によれば、映像の遅れに対して他種の遅れの少ないセンサから得られた情報を併用し、映像を補正することで映像信号の伝送遅れによる操縦への悪影響低減を述べている。しかしながら、伝送による遅延は往路、復路共に残留し本質的にはリアルタイムに操作することはできない。

また特許文献２記載の技術では、フレームレートが低下した映像の質を高めるために操作者に対して補完した映像を提供する手法について述べられているが、やはり遅延による影響はデータ量減少分だけ改善することが予想できるが、本質的には解決していない。

本発明の目的は、移動体の操作を移動体に備えられたカメラ映像を伝送し遠隔地から行う場合において、映像遅延による影響を打ち消し、且つ障害物となりうる移動体を安全に回避するための手段を提供することにある。

本開示のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
すなわち、遠隔処理システムは、物体認識部がカメラ画像から物体のモデルと移動速度を認識し、そのモデルに基づき挙動を予測し、予測結果をカメラ画像に重ねて表示する。

上記遠隔操作装置システムによれば、遠隔地から移動体を操作し、その移動体に備えられたカメラやセンサに遅延が存在する場合でも、遅延の影響による不安定、不安全な動作をさせることなく移動体を操作することができる。

実施例に係る移動体と遠隔操作装置の概略構成図である。実施例に係る移動体と遠隔操作装置のシステム構成を表す図である。実施例に係る遠隔操作装置の画像処理を説明するフロー図である。

以下、実施の形態について説明する。
（Ａ）実施の形態に係る遠隔操作システムは、移動体（２）と遠隔操作装置（１）を具備し、移動体（２）は、前方を撮影するカメラ（２１）と、周辺の障害物までの距離を測定する環境センサ（２２）と、移動体の移動速度および旋回速度を計測する移動速度検出部（２３）と、無線装置（１６ｂ）と、を備え、遠隔操作装置（１）は、カメラの映像を表示するモニタ（１７）と、無線装置（１６ａ）を有する計算機（１０）と、を備え、移動体の無線装置（１６ｂ）と遠隔操作装置の無線装置（１６ａ）との間で情報を送受信するようにされ、計算機（１０）は、障害物の画像情報と移動体モデルを記録したデータベース（１２）と、環境センサ（２２）とカメラ（２１）の映像とデータベース（１２）から、カメラ（２１）の映像に映っている障害物と障害物の移動体モデルを認識し、設定された時間後の障害物の位置を予測する障害物動作予測部（１１）と、カメラ（２１）の映像から障害物を取り除いた背景画像に対して、移動体の移動速度と旋回速度から設定された時間後の背景画像を生成する予測画像生成部（１３）と、予測画像生成部（１３）と障害物動作予測部（１１）の出力から、設定された一定時間後の映像を合成する画像出力部（１４）と、を備える。
（Ｂ）上記（Ａ）において、障害物動作予測部（１１）は、設定された一定時間後の１つの障害物の候補として複数の位置と推定強度を出力し、画像出力部（１４）は、１つの障害物の複数の位置候補に対して透明度または明瞭度を推定強度に応じて重み付けし、合成する。
（Ｃ）上記（Ａ）において、障害物動作予測部（１１）は、各障害物に対する類推結果を時系列に沿って記録し、記録された類推結果が次回の推定時に選択されやすくなるように重みを加点する。
（Ｄ）上記（Ａ）において、移動体モデルとして確率過程モデルを採用し、障害物動作予測部（１１）は、障害物の移動予測結果を位置と共分散行列によって表現し、画像出力部（１４）は、出力画像の合成において共分散行列に従い、障害物の画像を暈し、重ね合わせる。
（Ｅ）上記（Ａ）において、移動体（２）は、さらに、車輪駆動装置（２５）と車輪（２６）とを有し、移動速度検出部（２３）は、車輪駆動装置（２５）によって車輪（２６）の回転角速度を得て、移動体（２）の移動速度および旋回速度を計測する。
（Ｆ）上記（Ａ）において、遠隔操作装置（１）は、さらに、操作入力装置（１８）を有し、計算機（１０）は、さらに、操作解釈部（１５）を有し、操作入力装置（１８）は、操作解釈部（１５）に対して移動体（２）の移動命令を生成する。

上記遠隔操作装置システムによれば、遠隔地から移動体を操作し、その移動体に備えられたカメラやセンサからの伝送信号に遅延が存在する場合、および遠隔操作装置から移動体への伝送信号に遅延が存在する場合でも、遅延の影響による不安定、不安全な動作をさせることなく移動体を操作することができる。

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明は省略する。

＜遠隔操作システムの構成＞
本実施例の遠隔操作装置と移動体の構成を図１を参照しながら説明する。
図１（ａ）は実施例に係る遠隔操作装置を説明する図である。図１（ｂ）は実施例に係る移動体の側面図である。図１（ｃ）は実施例に係る移動体の正面図である。遠隔操作装置１は、計算機１０とそれにつながれたモニタ１７、操作入力装置１８から構成される。計算機１０は、移動体２より映像と環境情報を無線により受信し、後述の画像処理を行い、モニタ１７に画像を出力させる。操作入力装置１８は、人間の操作を信号化し、計算機１０へ伝える。

移動体２は、移動のための車輪２６（２６Ｒ、２６Ｌ、２６Ｃ）と、車輪２６Ｒ、２６Ｌを駆動する車輪駆動装置２５と、前方映像を取得するカメラ２１と、環境情報を取得する環境情報センサ２２と、移動体全体を制御する制御装置（移動体制御装置）２０とから構成される。車輪２６Ｃは、例えばキャスタを採用し、全方向を向くことができるようにする。移動体２は、遠隔操作装置１より操作信号を受信し、移動体制御装置２０により車輪駆動装置２５を操作に沿うように動作させる。環境情報センサ２２は、例えば２次元のレーザレンジファインダとする。レーザレンジファインダは、周辺の環境を２次元平面でスキャンし、物体までの平面上での距離と方位角度を得ることができるデバイスである。移動体２は、車輪駆動装置２５により移動し、制御装置２０内にある移動速度検出部２３によって移動速度と旋回角速度が計算される。

次に図２を用いてシステム構成について述べる。
図２は移動体と遠隔操作装置のシステム構成を表す図である。遠隔操作装置１は、モニタ１７、操作入力装置１８、計算機１０から構成されている。計算機１０は、障害物動作予測部１１、移動体モデルデータベース（ＤＢ）１２、予測画像生成部１３、画像出力部１４、操作解釈部１５、無線装置１６ａから構成される。人間は操作入力装置１８に対し操作をくわえることで操作解釈部１５に対して移動体２の移動命令を生成する。無線装置１６ａは移動体２に搭載の無線装置１６ｂとペアであり、相互に情報を送受信することができる。

移動体２は、制御装置２０とカメラ２１、環境センサ２２、車輪駆動装置２５から構成される。制御装置２０は、車輪駆動装置２５を制御し、車輪駆動装置２５より車輪２６Ｒ、２６Ｌの回転角速度を取得する。制御装置２０は、遠隔操作装置１の無線装置１６ａとペアになる無線装置１６ｂ、移動体２の速度を算出する移動速度検出部２３、移動体制御部２４から構成されている。

＜画像処理フロー＞
次に図３を用いて移動体を操作者が移動させるためのモニタに表示させる映像を生成するための画像処理フローについて説明する。図３は実施例に係る遠隔操作装置の画像処理を説明するフロー図である。画像処理は設定された周期で実行され続ける。また各々の細かい処理は後述する。

（ａ）映像と環境情報の取得（ステップＳ３＿１）
ステップＳ３＿１において、計算機１０は無線装置１６を介して移動体２からカメラの映像と環境センサ情報を取得する。

（ｂ）移動障害物の認識（ステップＳ３＿２）
ステップＳ３＿２において、障害物動作予測部１１はステップＳ３＿１で取得したカメラの映像と環境センサ情報から移動障害物を認識する。

（ｃ）移動障害物の切り出し（ステップＳ３＿３）
ステップＳ３＿３において、障害物動作予測部１１は認識した移動障害物のカメラの映像中の位置と形、速度から障害物に相当する画像を切り出し、予測画像生成部１３と移動体モデルＤＢ１２へ通知する。

（ｄ）移動障害物のモデルの決定（ステップＳ３＿４）
ステップＳ３＿４において、移動体モデルＤＢ１２は、ステップＳ３＿３で切り出された障害物に相当する画像と、移動体モデルＤＢ１２が持つ移動体のデータベースと照合することで障害物の移動体モデルを確定する。画像から障害物の移動体モデルを確定させる方法としてはいくつかの既存技術があるが、たとえば類似画像検索技術（特開２００６−１１４０５３号公報）が使える。類似画像検索技術では画像を、画像の色の分布、形状等の画像自体が持つ情報をフィルタにより抽出し、高次元の数値情報として表現した画像特徴量に変換し、画像特徴量同士を比較することで画像間の類似性を判断する。移動体モデルＤＢ１２はデータベースとして複数の移動体画像とそれぞれに関連付けられた移動動作モデルを持つので、類似している画像をキーにデータベースを検索することで障害物の移動動作モデルを確定する。移動体モデルは一般に数式（１）で表される。

ここでＰは障害物の時間ｔ秒後の位置であり、ｇは障害物の位置、ｗは方向、ｖは移動速度、ｕは旋回角速度を表すベクトルである。例えば自転車や自動車などの進行方向が不連続に変化することができない移動体に対して、ｗを時間ｔに対して一定、ｕとｖをｔの関数、として時間ｋ後の位置Ｐは数式（２）の様になる。

移動体モデルデータベースＤＢ１２は確定した移動体モデルと類似度を障害物動作予測部１１に通知する。この時、類似する画像が複数あり、移動体モデルの候補が複数存在する場合は、複数の候補を通知する。

（ｅ）移動障害物の動作の予測（ステップＳ３＿５）
ステップＳ３＿５において、障害物動作予測部１１は移動体モデルとステップＳ３＿３において測定されている障害物の位置、速度に基づいて設定された時間ｑだけ未来の位置を算出する。障害物の移動体モデルが複数ある場合にはそれぞれの場合において障害物の位置を算出する。次にステップＳ３＿４において切り出された障害物の画像と、算出された障害物の未来の位置とその位置を算出する際に用いた類似度（推定強度）を画像出力部１４へ通知する。

（ｆ）背景画像の生成（ステップＳ３＿６）
ステップＳ３＿６において、予測画像生成部１３は、ステップＳ３＿３で切り出された障害物に相当する画像とカメラの映像より、障害物を切り出した静止体とみなせる物体のみが映る背景画像を生成する。障害物が切り出された部分は障害物周辺の画像をもとに補完する。

（ｇ）予測背景画像の生成（ステップＳ３＿７）
ステップＳ３＿７において、予測画像生成部１３は移動体２の移動速度を基に設定された時間ｑだけ未来の背景画像を生成する。未来の背景画像を生成する方法を述べる。移動体２に備えられたカメラ２１の地上からの高さと画角は既知であるとできる。また、映像の移動体２が映り込んでいない最も手前側の色が路面のものだと仮定すると路面領域が認識できる。路面が水平であるとすると画角とカメラ高さを用いることで３角測量の原理により画像中の移動体２から路面までの距離が算出できる。時間ｑ後に移動体２が移動している距離は単純に現在の移動速度とｑの積をＬとすると、Ｌだけ移動体２が進んだ場合の背景画像を距離Ｌ以内の路面と、それに外接する長方形以外の画像を除去することで得ることができる。得られた画像に対して、アフィン変換を行い、画像を拡大することで時間ｑだけ未来の背景画像を生成することができる。得られた予測背景画像は画像出力部１４へ送信される。

（ｈ）出力画像の生成・出力（ステップＳ３＿８）
ステップＳ３＿８において、画像出力部１４は予測背景画像に対して、切り出された障害物が予測位置にあるとして障害物の画像を合成する。合成される障害物の位置が複数ある場合は、その類似度（推定強度）に応じて合成される障害物の透明度を変化させ（重みづけして）、まとめて合成する。これにより予測の正確さに応じて障害物の表示が透明度や明確さで表現できる。合成された画像はモニタ１７に出力し処理を終える。

＜移動障害物の認識方法＞
障害物動作予測部１１による移動障害物の位置と速度、形状の認識方法について述べる。
障害物の算出手法としては例えば以下の方法（特開２００８-６５７５５号公報）がある。この方法ではまず、ある時刻ｔに環境センサ２２であるレーザスキャナから得られた距離値の角度に対する急激な変化点を検出し、連続する点の纏まりごとにデータ列を分割してセグメントとする。これによって、時間ｔにおける各セグメントの重心などの代表位置、形状などの特徴量を得る。次に、時刻ｔ＋Δｔで同様に計算し、各セグメントの特徴量を得る。ここで、時刻ｔで得られたセグメントの特徴量と、時刻ｔ＋Δｔで得られたセグメントの特徴量を比較し、特徴量の近いセグメント同士は同一の障害物であると認識し、代表位置の変化量から、障害物の移動方向と速度を算出する。また環境センサ２２で計測される平面とカメラ２１の映像は事前のキャリブレーションにより対応が取れているとすると、認識した障害物の画像上の位置が明らかになり、障害物の一部がカメラの映像上で距離に応じた折れ線で認識できる。この折れ線の外側を環境色として、環境色に囲まれた部分の画像を切り出すことで障害物の画像を得ることができる。また上記の処理はセグメントごとに実行されるため、複数の障害物に対しても認識できる。以上の処理を行うことにより障害物動作予測部１１は単数または複数の障害物の位置と速度と形状を検出することができる。

＜移動体の速度測定方法＞
移動速度検出部２３による移動体２の速度測定方法について述べる。移動速度検出部２３は車輪駆動装置２５より車輪２６Ｒ、２６Ｌの回転角速度dφ_Ｒ、dφ_Ｌを得る。これと既知である移動体２の車輪間隔Ｔを用いると、移動体２の移動速度Ｖおよび旋回角速度Ｗは数式（３）で与えられる。

以上のように構成された遠隔操作装置１と移動体２は、カメラ映像の伝送に時間がかかり、かつ移動する障害物が存在する場合においても、障害物の移動と移動体２の移動を予測し、予測に基づく映像を現在の映像を基に生成し、操作者にモニタで提示することで、伝送遅れにより発生する不安定さ、危険性を減少せしめ、安全で効果的な操作を可能にできる。

さらに、遠隔操作装置から移動体への操作信号の伝送遅れも考慮して、障害物の移動と移動体２の移動を予測し、予測に基づく映像を現在の映像を基に生成し、操作者にモニタで提示することで、映像および操作信号の伝送遅れにより発生する不安定さ、危険性を減少せしめ、安全で効果的な操作を可能にできる。

＜変形例１＞
障害物の移動体モデルとして確率過程モデルを採用しても良い。確率過程モデルを採用した場合はステップＳ３＿５で出力される障害物の移動予測結果は位置と共分散行列によって表現され、ステップＳ３＿８の出力画像の合成において共分散行列に従い、障害物の画像を暈し、重ね合わせることで操作者に対して障害物の移動予測結果に対する信頼度を直感的に提示することができる。

＜変形例２＞
障害物の移動体モデルを決定する際に障害物の移動情報のみを用いていたが、障害物の移動速度、旋回速度を障害物動作予測部１１が時系列に沿って記録し、時系列に沿った移動速度、旋回速度と移動体モデル候補を比較することで、候補を絞り込んでも良い。また各障害物に対する移動体モデル候補（類推結果）も時系列に沿って記録し、記録された類推結果が次回の推定時に選択されやすくすることにより、直前の移動体モデルと同じ候補に類似度を加点し、移動体モデルが画像処理の各周期で変動することを抑制することができる。

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

１・・・遠隔操作装置、２・・・移動体、１０・・・計算機、２０・・・制御装置、２１・・・カメラ、２２・・・環境センサ、２５・・・車輪駆動装置、２６・・・車輪。

Claims

遠隔操作システムは、移動体と遠隔操作装置を具備し、
前記移動体は、前方を撮影するカメラと、周辺の障害物までの距離を測定する環境センサと、前記移動体の移動速度および旋回速度を計測する移動速度検出部と、無線装置と、を備え、
前記遠隔操作装置は、前記カメラの映像を表示するモニタと、無線装置を有する計算機と、を備え、
前記移動体の無線装置と前記遠隔操作装置の無線装置との間で情報を送受信するようにされ、
前記計算機は、
障害物の画像情報と移動体モデルを記録したデータベースと、
前記環境センサと前記カメラの映像と前記データベースから、前記カメラの映像に映っている障害物と前記障害物の移動体モデルを認識し、設定された時間後の障害物の位置を予測する障害物動作予測部と、
前記カメラの映像から前記障害物を取り除いた背景画像に対して、前記移動体の移動速度と旋回速度から前記設定された時間後の背景画像を生成する予測画像生成部と、
前記予測画像生成部と前記障害物動作予測部の出力から、前記設定された一定時間後の映像を合成する画像出力部と、
を備える。
請求項１の遠隔操作システムにおいて、
前記障害物動作予測部は、前記設定された一定時間後の１つの障害物の候補として複数の位置と推定強度を出力し、
前記画像出力部は、１つの障害物の複数の位置候補に対して透明度または明瞭度を推定強度に応じて重み付けし、合成する。
請求項１の遠隔操作システムにおいて、
前記障害物動作予測部は、各障害物に対する類推結果を時系列に沿って記録し、記録された類推結果が次回の推定時に選択されやすくなるように重みを加点する。
請求項１の遠隔操作システムにおいて、
前記移動体モデルとして確率過程モデルを採用し、
前記障害物動作予測部は、障害物の移動予測結果を位置と共分散行列によって表現し、
前記画像出力部は、出力画像の合成において共分散行列に従い、障害物の画像を暈し、重ね合わせる。
請求項１の遠隔操作システムにおいて、
移動体は、さらに、車輪駆動装置と車輪とを有し、
前記移動速度検出部は、前記車輪駆動装置によって前記車輪の回転角速度を得て、前記移動体の移動速度および旋回速度を計測する。
請求項１の遠隔操作システムにおいて、
前記遠隔操作装置は、さらに、操作入力装置を有し、
前記計算機は、さらに、操作解釈部を有し、
前記操作入力装置は、前記操作解釈部に対して前記移動体の移動命令を生成する。
遠隔操作システムは、移動体と遠隔操作装置を具備し、
前記移動体は、前方を撮影するカメラと、周辺の障害物までの距離を測定する環境センサと、無線装置を有する制御装置と、車輪と、前記車輪を駆動する車輪駆動装置と、を備え、
前記遠隔操作装置は、前記移動体に備えられたカメラの映像を表示するモニタと、無線装置を有する計算機と、を備え、
前記移動体の無線装置と前記遠隔操作装置の無線装置との間で情報を送受信するようにされ、
前記制御装置は、前記車輪駆動装置の情報に基づいて前記移動体の移動速度および旋回角速度を計測する移動速度検出部を有し、
前記計算機は、
障害物の画像情報と移動体モデルを記録したデータベースと、
前記環境センサと前記カメラの映像と前記データベースから、前記カメラの映像に映っている障害物と前記障害物の移動体モデルを認識し、設定された時間後の障害物の位置を予測する障害物動作予測部と、
前記カメラの映像から前記障害物を取り除いた背景画像に対して、前記移動体の移動速度と旋回角速度から前記設定された時間後の背景画像を生成する予測画像生成部と、
前記予測画像生成部と前記障害物動作予測部の出力から、前記設定された一定時間後の映像を合成する画像出力部と、
を備える。
請求項７の遠隔操作システムにおいて、
前記障害物動作予測部は、前記設定された一定時間後の１つの障害物の候補として複数の位置と推定強度を出力し、
前記画像出力部は、１つの障害物の複数の位置候補に対して透明度または明瞭度を推定強度に応じて重み付けし、合成する。
請求項７の遠隔操作システムにおいて、
前記障害物動作予測部は、各障害物に対する類推結果を時系列に沿って記録し、記録された類推結果が次回の推定時に選択されやすくなるように重みを加点する。
請求項７の遠隔操作システムにおいて、
前記移動体モデルとして確率過程モデルを採用し、
前記障害物動作予測部は、障害物の移動予測結果を位置と共分散行列によって表現し、
前記画像出力部は、出力画像の合成において共分散行列に従い、障害物の画像を暈し、重ね合わせる。
請求項７の遠隔操作システムにおいて、
前記遠隔操作装置は、さらに、操作入力装置を有し、
前記計算機は、さらに、操作解釈部を有し、
前記操作入力装置は、前記操作解釈部に対して前記移動体の移動命令を生成する。