JP7052260B2 - カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム - Google Patents

カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム Download PDF

Info

Publication number
JP7052260B2
JP7052260B2 JP2017168680A JP2017168680A JP7052260B2 JP 7052260 B2 JP7052260 B2 JP 7052260B2 JP 2017168680 A JP2017168680 A JP 2017168680A JP 2017168680 A JP2017168680 A JP 2017168680A JP 7052260 B2 JP7052260 B2 JP 7052260B2
Authority
JP
Japan
Prior art keywords
obstacle
information
route information
unit
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017168680A
Other languages
English (en)
Other versions
JP2019046159A (ja
Inventor
訓稔 山本
努 石井
浩和 坪田
英登 野見山
英基 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017168680A priority Critical patent/JP7052260B2/ja
Publication of JP2019046159A publication Critical patent/JP2019046159A/ja
Application granted granted Critical
Publication of JP7052260B2 publication Critical patent/JP7052260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、カメラ付き移動体、カメラ付き移動体制御システム、及びプログラムに関する。
特許文献1には、ロボットの直観的な遠隔操作のための方法が記載されている。ロボットを遠隔操縦するためのユーザインタフェースを供給する段階と、ロボットが備えるイメージング装置を介して、ユーザインタフェースにロボットの周辺の環境を表す画像情報を供給する段階と、画像情報を用いて、ユーザインタフェースにおいてロボットの周辺の環境を表すユーザ知覚画像を供給する段階と、ロボットが移動する方へユーザ知覚画像のある場所に目標を指定する段階と、ユーザインタフェースにおいて、ユーザ知覚画像で指定された目標を、ロボットの環境における目標位置に自動的に変換する段階と、ユーザ知覚画像上の指定された目標の場所に、ロボットの寸法に基づくガイドライン画像を重畳する段階と、環境におけるロボットの現在の位置から、環境の目標位置に移動するために、リアルタイム命令をユーザインタフェースからロボットに供給する段階と、ロボットが目標位置に近づくのに応じてユーザ知覚画像におけるガイドライン画像のサイズを増加させる段階とを具備する。
特許文献2には、記憶された移動パターンを再生することにより移動を行なう移動体の制御を行なう装置の使い勝手を向上させる移動体制御装置が記載されている。ロボットは周囲の環境を把握するための測距センサなどを備え、ロボットの走行においてそれらセンサが用いられることにより走行が行なわれる。記憶された命令から使用されるセンサが特定され、センサの実際の動作状況が記憶された内容と異なるときは、エラーが警告される。
特許文献3には、床面の平面形状がどのようであっても、また中間に種々の障害物が散在していても、任意の走行パターンで学習させることできるとともに、その学習したパターン通りに走行させることができる移動ロボットの制御方法が記載されている。学習モードキーを押して学習モードとし、前進キー、左方向転換キー、右方向転換キーを選択操作して移動ロボットを実際に前進又は左方向転換或いは右方向転換させ、その動作開始からストップキーを押すまでの測定距離とキーで指示した方向とを記憶装置の記憶ブロックに記憶し、これを一操作ごとに繰り返す。自動走行させる場合には、自動モードキーを押して自動走行モードとし、記憶ブロックの内容を順次読み出し、その読み出した方向及び距離と方向測定手段による測定方向及び距離測定手段による測定距離とを比較しながら走行させる。
特許第5306566号 特開平09-269807号公報 特開平06-214645号公報
ロボット等の移動体を遠隔操作により移動させることは一般に困難であり、特に、遠隔であるがゆえに操作に遅延が生じるためにストレスがかかる。一度行った場所までの操作をメモリに記憶させ、単にそれを再生するのみでは、目的地までできるだけ短時間で到達することはできない。他方で、自律移動システムを構築する場合には、必要なセンサの増大や高性能の制御装置を要するためコストが増大する懸念がある。
本発明の目的は、目的地までの全経路を遠隔操作する場合に比べて操作者の操作負担を軽減させ、単に一度行った場所までの操作を記憶させてそれを再生させる場合に比べて短時間に目的地に到達し得る技術を提供することにある。
請求項1に記載の発明は、遠隔操作者に対して撮影画像を提供するカメラと、前記カメラを移動させる車輪部と、前記遠隔操作者が選択した目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶する記憶部と、前記経路情報が存在しない場合に前記遠隔操作者の遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、障害物を検出する障害物検出部と、前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作者に対して通知する通知部と、前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、を備え、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御するカメラ付き移動体である。
請求項2に記載の発明は、前記整形されたオドメトリ情報は、曲線経路の少なくとも一部を直線経路で置換されたオドメトリ情報である請求項1に記載のカメラ付き移動体である。
請求項3に記載の発明は、前記曲線経路のうち、障害物を回避する経路でない曲線経路が直線経路で置換される請求項2に記載のカメラ付き移動体である。
請求項4に記載の発明は、前記障害物を回避する経路は、前記障害物情報が近傍に存在する経路である請求項3に記載のカメラ付き移動体である。
請求項に記載の発明は、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において前記障害物検出部で移動方向の障害物が検出されたときに、前記経路情報による駆動制御を中断して前記遠隔操作者の遠隔操作により前記車輪部を駆動制御する請求項1から請求項4のいずれか一項に記載のカメラ付き移動体である。
請求項に記載の発明は、前記作成部は、作成した前記経路情報を目的地管理装置に送信し、前記記憶部は、前記目的地管理装置から送信された、整形された前記経路情報を記憶する請求項1から請求項5のいずれか一項に記載のカメラ付き移動体である。
請求項に記載の発明は、前記作成部は、前記制御部が前記経路情報により前記車輪部を駆動制御する場合において、前記遠隔操作者の操作により前記経路情報が示す経路から逸脱したときに、前記遠隔操作者からの前記目的地への復帰指示があるまで逸脱により生じた経路情報を作成する請求項1から請求項6のいずれか一項に記載のカメラ付き移動体である。
請求項に記載の発明は、遠隔操作用端末と、目的地管理装置と、カメラ付き移動体と、を備え、前記カメラ付き移動体は、遠隔操作用端末に対して撮影画像を提供するカメラと、前記カメラを移動させる車輪部と、前記遠隔操作用端末により選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を前記目的地管理装置から受信して記憶する記憶部と、前記経路情報が存在しない場合に前記遠隔操作用端末からの遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、障害物を検出する障害物検出部と、前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作用端末に対して通知する通知部と、前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、を備え、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御するカメラ付き移動体制御システムである。
請求項に記載の発明は、遠隔操作用端末と、カメラ付き移動体と、を備え、前記カメラ付き移動体は、遠隔操作用端末に対して撮影画像を提供するカメラと、前記カメラを移動させる車輪部と、前記遠隔操作用端末により選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶する記憶部と、前記経路情報が存在しない場合に前記遠隔操作用端末からの遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、障害物を検出する障害物検出部と、前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作用端末に対して通知する通知部と、前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、を備え、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御するカメラ付き移動体制御システムである。
請求項1に記載の発明は、前記遠隔操作用端末は、前記カメラからの前記撮影画像を表示する第1表示部と、前記カメラ付き移動体が前記経路情報により移動する場合の、前記目的地までの進行度合いを示す第2表示部と、前記カメラ付き移動体を遠隔操作するための操作部とを備える請求項8,9のいずれかに記載のカメラ付き移動体制御システムである。
請求項1に記載の発明は、前記第2表示部は、前記目的地までの進行度合いをバー表示し、前記バー表示の任意の位置に対する操作により、前記遠隔操作用端末から前記カメラ付き移動体に対し、前記位置への移動指示を送信する請求項1に記載のカメラ付き移動体制御システムである。
請求項1に記載の発明は、カメラ付き移動体を制御するためのプログラムであり、前記カメラ付き移動体を制御するプロセッサに、前記カメラで撮影して得られた画像を遠隔操作者に提供するステップと、前記遠隔操作者が選択した目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶部に記憶するステップと、前記経路情報が存在しない場合に前記遠隔操作者の遠隔操作により前記カメラ付き移動体の車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御するステップと、障害物を検出するステップと、前記障害物を検出するステップで移動方向の障害物が検出された場合に前記遠隔操作者に対して通知するステップと、前記車輪部のオドメトリ情報及び前記障害物を検出するステップで検出された障害物情報を用いて経路情報を作成するステップと、を実行させ、前記車輪部を駆動制御するステップでは、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物を検出するステップにて検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、前記経路情報を作成するステップでは、前記車輪部を駆動制御するステップにおいて前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、前記車輪部を駆動制御するステップでは、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御するプログラムである。
請求項1-4,,1に記載の発明によれば、目的地までの全経路を遠隔操作する場合に比べて操作者の操作負担を軽減させ、単に一度行った場所までの操作を記憶させてそれを再生させる場合に比べて短時間に目的地に到達し得る。
請求項1-4,8,9,12に記載の発明によれば、さらに、遠隔操作者は移動方向に障害物が存在することを認識できる。
請求項に記載の発明によれば、さらに、移動方向の障害物が検出されたときに、経路情報による駆動制御を中断して遠隔操作者の遠隔操作により駆動制御できる。
請求項1-4,8,9,12に記載の発明によれば、さらに、車輪部のオドメトリ情報及び障害物情報を用いて経路情報を作成できる。
請求項に記載の発明によれば、さらに、作成した経路情報を目的地管理装置に送信し、目的地管理装置から送信された、整形された経路情報を記憶することができる。
請求項1-4,8,9,12に記載の発明によれば、さらに、経路情報に含まれる障害物情報で示される障害物が障害物検出部で検出されないときに直進駆動することで短時間に目的地に到達することができ、回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成できる。
請求項1-4,8,9,12に記載の発明によれば、さらに、経路情報に一時的障害物の存在情報が含まれている場合に、障害物との衝突の可能性を低減し得る。
請求項に記載の発明によれば、さらに、遠隔操作者の操作により経路情報が示す経路から逸脱したときでも、作成した経路情報を用いて元の経路に復帰し得る。
請求項1に記載の発明によれば、さらに、遠隔操作者は、カメラからの撮影画像及び目的地までの進行度合いを視認することができる。
請求項1に記載の発明によれば、バー表示の任意の位置に対する操作によって、カメラ付き移動体に対して移動指示を送信できる。
実施形態のカメラ付き移動体の外観図である。 実施形態の制御システムのシステム構成図である。 実施形態のオドメトリ情報の整形説明図である 実施形態の目的地リストの説明図である。 実施形態の端末の表示説明図である。 実施形態の処理フローチャート(その1)である。 実施形態の処理フローチャート(その2)である。 実施形態の処理フローチャート(その3)である。 実施形態の寄り道の説明図である。 他の実施形態のシステム構成図である。
以下、図面に基づき本発明の実施形態について説明する。
<実施形態1>
図1は、実施形態におけるカメラ付き移動体10の外観図を示す。カメラ付き移動体10は、本体と車輪部12を備え、本体は表示部14及びカメラ16を備える。
車輪部12は、左右の車輪を回転駆動させることでカメラ付き移動体10を移動させる。左右の車輪速を変化させることで直進走行/旋回走行が可能であり、回転方向を逆転することで前進/後進が可能である。
表示部14は、例えば液晶ディスプレイや有機ELディスプレイ等で構成され、カメラ付き移動体10を操作する操作者の顔画像を表示する。表示部14は、左右あるいは上下方向に可動であってもよい。
カメラ16は、表示部14の所定位置、例えば表示部14の上部に設けられ、カメラ付き移動体10の前方の所定範囲を撮影する。ここで、カメラ付き移動体10の前方とは、表示部14において操作者の顔画像が表示されている側を意味する。また、カメラ16は、マイクを備え、画像とともに周囲の音声を収音してもよい。
操作者(遠隔操作者)は、カメラ付き移動体10から離間した位置に存在し、遠隔操作用の端末を用いてカメラ付き移動体10を遠隔操作する。遠隔操作用の端末には、カメラ16で撮影された画像(通常は動画であるが、静止画であってもよい)が表示され、操作者はこの画像を視認することでカメラ付き移動体10の移動状況を確認し得る。
図において、表示部14の所定位置に、カメラ16とは別にマイクを設けてもよく、さらに操作者からの音声を出力するスピーカを設けてもよい。これにより、カメラ付き移動体10の周囲に存在する人をカメラ16で視認でき、かつマイク及びスピーカを用いて音声によるコミュニケーションを図ることができる。従って、例えば操作者は自身のデスクに着席しつつカメラ付き移動体10を所望の会議室まで遠隔操作で移動させることで、自身は会議室に存在していなくても会議室にいるかのように会議室の様子を把握し、かつ会議の参加者と議論し得る。また、例えば操作者がカメラ付き移動体10を工場内で移動させることで、自身は工場にいなくても工場内の様子を詳しく知り得る(工場視察)。
図2は、カメラ付き移動体10を制御するシステムの全体構成図を示す。制御システムは、カメラ付き移動体10と、遠隔操作用端末20と、目的地管理装置30を備える。カメラ付き移動体10、遠隔操作用端末20及び目的地管理装置30は、通信回線を介して互いにデータ送受信可能に接続される。通信回線は有線/無線を問わないが、遠隔操作用には無線回線が好適である。
カメラ付き移動体10は、操作者のいわば分身として機能し得ることからテレプレゼンスロボット(Tele Presence Robot :TPR)と表現し得る。TPR10は、車輪部12、表示部14、及びカメラ16に加え、無線通信部101、障害物センサ102、ログ生成部103、画像処理部104、経路情報再生部105、経路生成部106、アクチュエータ制御部107、及びアクチュエータ108を備える。
無線通信部101は、通信回線を介して遠隔操作用端末20及び目的地管理装置30とデータを送受信する。無線通信部101は、特に、カメラ16で撮影して得られた画像を遠隔操作用端末20に送信し、遠隔操作用端末20からの各種指示を受信する。各種指示には、遠隔操作の操作指示や目的地までの移動指示が含まれる。また、無線通信部101は、出発地から目的地まで移動したときのTPR10の車輪部12の車輪速データ群(オドメトリ情報)及び障害物情報を経路情報として目的地管理装置30に送信し、他方で、目的地管理装置30からの所望の目的地に到達するまでの経路情報を受信する。TPR10から目的地管理装置30に送信される経路情報は、整形前のオドメトリ情報を含み、目的地管理装置30からTPR10に送信される経路情報は、整形後のオドメトリ情報を含む.オドメトリ情報の整形についてはさらに詳述する。
障害物センサ102は、TPR10の周囲、特に移動方向に存在する障害物を検出する。障害物センサ102は、カメラ16で兼用してもよく、カメラ16とは別個のカメラで構成してもよい。また、障害物センサ102は、ミリ波や赤外線、レーザ光、あるいは超音波を照射することで障害物を検出してもよい。
ログ生成部103は、障害物センサ102で検出された障害物情報と、車輪部12の左右輪を駆動するアクチュエータ108からの信号(車輪速データ)を用いてログデータを生成し、このログデータを経路情報として無線通信部101を介して目的地管理装置30に送信する。
本実施形態では、基本的にオドメトリ情報を用いてTPR10の移動経路を規定する。通常、ロボットの走行経路を制御するには、ロボットの自己位置推定が必要となる。自己位置推定には、GPSやカメラで撮影して得られた画像から推定する手法があるが、これらの手法は複雑な処理が必要となりコストが増大する。これに対し、車輪速(あるいは車輪の回転角)から現在位置を推定するオドメトリによれば、比較的簡易かつ低コストで自己位置推定が可能である。オドメトリでは、左右の車輪の車輪速をそれぞれvr、vlとし、左右の車輪間隔を2L、ロボットの速度及び角速度をv及びωとすると、
v=(vr+vl)/2
ω=(vr-vl)/2L
であり、これを用いて
dx/dt=vcosθ
dy/dt=vsinθ
dθ/dt=ω
を計算することで、ロボットの位置(x、y)及び角度θが算出される。出発地から順次、位置を算出して積算することで、出発地に対するロボットの相対的な位置が算出され、自己位置が推定される。オドメトリ情報として、車輪の回転角及び回転角速度を用いてもよい。オドメトリを用いた移動ロボットの自己位置推定については、例えば特開2015-111336号公報に記載されている。
画像処理部104は、カメラ16で撮影して得られた画像を適宜加工処理(圧縮処理や符号化処理、暗号化処理等)し、無線通信部101を介して遠隔操作用端末20に送信する。TPR10が例えば工場内を移動する場合において、秘匿すべき技術情報が含まれる場合には、通信回線を介して外部に送信するときには所定の暗号化が好適である。
経路情報再生部105は、目的地管理装置30から受信した所望の目的地までの経路情報を再生する。具体的には、圧縮符号化されて送信される経路情報を伸長、復号化して再生する。
経路生成部106は、経路情報再生部105で再生された経路情報を用いてTPR10の移動経路を生成する。目的地管理装置30から受信した経路情報には、整形されたオドメトリ情報と障害物情報が含まれており、生成された移動経路は、基本的に直進経路と障害物を回避するための回避経路から構成される。なお、経路情報再生部105で車輪速データ群及び障害物情報を再生し、これらの情報をアクチュエータ制御部107に供給してもよい。但し、再生した経路情報に障害物情報が含まれているにもかかわらず当該障害物が実際には存在しない場合、経路生成部106では経路情報に含まれる障害物を回避する経路によらずに直進するような経路を作成してアクチュエータ制御部107に供給する。この場合の処理についてはさらに後述する。
アクチュエータ制御部107は、経路生成部106で生成された経路に沿ってTPR10を移動させるための車輪速データ群を生成し、制御指令としてアクチュエータ108に出力して駆動制御する。アクチュエータ108は、TPR10の車輪部12を回転駆動して前進/後進/右旋回/左旋回を実現する。また、アクチュエータ制御部107は、目的地管理装置30からの経路情報が存在しない場合には、遠隔操作用端末20からの遠隔操作に応じてアクチュエータ108を駆動制御する。すなわち、アクチュエータ制御部107は、初めて移動する目的地であって経路情報が存在しない場合には遠隔操作用端末20からの操作により目的地まで駆動制御し、過去に移動したことのある目的地であって経路情報が存在する場合は当該経路情報(整形されたオドメトリ情報を含む)により目的地まで駆動制御する。
画像処理部104、経路情報再生部105、経路生成部106、及びアクチュエータ制御部107は、具体的にはTPR10に内蔵された1又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ROM等のプログラムメモリに記憶された処理プログラムを実行することで各機能を実現する。いくつかの機能をハードウェア回路、例えばASICやFPGA(フィールドプログラマブルゲートアレイ)等で構成してもよい。
遠隔操作用端末(以下、端末という)20は、TPR10の遠隔操作者が操作するパーソナルコンピュータ(PC)やタブレット、スマートフォン等の端末である。端末20は、汎用端末でもよく、TPR10を遠隔操作する専用端末であってもよい。端末20は、遠隔地映像表示部201、目的地選択部202、遠隔操作UI203、及び無線通信部204を備える。
遠隔地映像表示部201は、第1表示部として機能し、TPR10のカメラ16で撮影して得られた画像(ライブ画像)を無線通信部204で受信し表示する。遠隔地映像表示部201は、具体的には液晶パネルや有機ELパネルで構成され、操作者は遠隔地映像表示部201の画像を視認することで、TPR10の前方を含む周囲の状況を確認し得る。
目的地選択部202は、無線通信部204を介して目的地管理装置30に対して目的地リストを要求し、目的地管理装置30から送信された目的地リストを受信して表示部に表示する。この表示部は遠隔地映像表示部201の表示部と同一でもよく、あるいは別個でもよい。操作者は、表示部に表示された目的地リストの中から所望の目的地を選択する。目的地選択部202は、操作者により選択された目的地を目的地管理装置30に送信する。
遠隔操作UI203は、TPR10を遠隔操作するためのユーザインタフェースであり、TPR10を前進/後進/右旋回/左旋回させるための操作部としての操作スイッチを備える。遠隔操作UI203は、無線通信部204を介してこれらのスイッチ操作によりTPR10に移動指令を送信する。操作者は、遠隔地映像表示部201に表示された画像(ライブ画像)を視認しながら遠隔操作UI203を操作してTPR10を所望の目的地まで手動操作(マニュアル操作)する。遠隔操作UI203は、目的地選択部202で所望の目的地を選択しなかった場合に用いられる。また、目的地管理装置30からTPR10に送信された経路情報に沿ってTPR10が移動する場合においても、操作者がTPR10の移動に介入する場合に用いられる。
目的地選択部202及び遠隔操作UI203は、端末20に内蔵された1又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ROM等のプログラムメモリに記憶された処理プログラムを実行することで各機能を実現する。処理プログラムによりプロセッサが実現する主なステップを列挙すると、以下の通りである。
・カメラ16で撮影して得られた画像を端末20に送信する
・端末20で選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を目的地管理装置30から受信する
・受信した経路情報を経路情報記憶部301に記憶する
・経路情報が存在しない場合に端末20からの操作によりアクチュエータ108を駆動制御し、経路情報が存在する場合に経路情報によってアクチュエータ108を駆動制御する
・オドメトリ情報及び障害物情報から経路情報を作成する
・作成した経路情報を目的地管理装置30に送信する
目的地管理装置(以下、GMSという)30は、経路情報記憶部301、経路整形部302、及び無線通信部303を備える。経路情報記憶部301は、無線通信部303を介してTPR10から受信した経路情報(未整形の経路情報)を記憶する。
経路整形部302は、TPR10から送信され経路情報記憶部301に記憶されている経路情報を読み出し、当該経路情報を整形した上で経路情報記憶部301に再度記憶する。ここで、「整形」とは、操作者が遠隔操作UI203でTPR10を遠隔操作したことに伴ってTPR10の経路に生じた無用なふらつきあるいは揺らぎを直線経路に置換する処理をいう。経路整形部302は、経路情報に含まれる無用なふらつきあるいは揺らぎの経路と、操作者が意図的に操作した障害物の回避動作に伴う回避経路とを識別し、回避経路については整形せずにそのまま残存させ、無用なふらつきあるいは揺らぎの経路について直線経路で置換する。経路整形部302は、整形した経路情報とその目的地を関連付けて経路情報記憶部301に記憶する。例えば、
目的地D1:経路情報R1
目的地D2:経路情報R2
目的地D3:経路情報R3
・・・
等である。経路情報R1には、TPR10の出発地(ホームポジション:HP)から目的地に至るまでの時系列の車輪速データ群(オドメトリ情報)及び障害物の位置情報が含まれる。
経路整形部302は、具体的にはGMS30に内蔵された1又は複数のプロセッサ及びメモリで構成され得る。プロセッサは、ROM等のプログラムメモリに記憶された処理プログラムを実行することで経路整形機能を実現する。経路情報記憶部301は、HDDやSSD等の記憶媒体で実現し得る。
GMS30は、端末20から目的地が指定されると、当該目的地に到達するための整形された経路情報を経路情報記憶部301から読み出して無線通信部303,101を介してTPR10に送信する。
図3は、経路整形部302での経路整形処理を模式的に示す。図3(a)は、TPR10から受信した未整形の経路情報で表現される経路50を模式的に示す。経路50には操作者の遠隔操作時の無用なふらつきあるいは揺らぎが生じている。特に、遠隔操作に伴うタイムラグが存在すると、このタイムラグに起因するふらつきが顕在化する。経路整形部302は、経路50を複数の経路要素に細分化し、経路要素についてその曲率が所定値以上ある経路要素を曲線経路要素と判定し、さらに、当該曲線経路要素の位置近傍に障害物情報が存在するか否かを判定する。そして、近傍に障害物情報が存在する曲線経路要素については当該障害物を回避するための回避経路の一部であるとして無用なふらつきでないと判定する。また、近傍に障害物情報が存在しない曲線経路要素については無用なふらつきであるとして直線経路要素で置換する。以上の処理を全ての経路要素で実行する。
図3(b)は、無用なふらつきを直線経路で置換することで整形した経路52を破線で示す。整形後の経路52は、GMS30からTPR10に送信され、TPR10ではこの整形後の経路に沿って目的地まで移動する。無用なふらつきのある経路と比べ、直進で移動できる範囲が増大するので、整形前の経路で移動する場合と比べて目的地までより短時間に到達し得る。また、直進で移動できる範囲では、TPR10の最高速度(アクチュエータ108の性能限界、障害物センサ102による障害物検知限界距離、及び制動距離で決定される最高速度)で移動できるため、この観点からも目的地まで短時間で到達し得る。
他方、図3(c)は、ふらつきが生じている経路部分の近傍に障害物情報が存在する場合を模式的に示す。近傍に障害物54が存在する場合、当該障害物54を回避する経路部分は整形せずにそのまま残存させて整形後の経路56とする。整形後の経路56は、端末20からTPR10に送信され、TPR10ではこの整形後の経路に沿って障害物54を回避しつつ目的地まで移動する。
ここで、経路情報では障害物54が存在していても、その後に実際にTPR10が経路56に沿って目的地まで移動した場合に、当該障害物54がもはや存在していない場合も想定される。経路情報の作成時にTPR10が人と一時的にすれ違った場合や、荷物が一時的に移動方向に置かれていた場合等である。
従って、TPR10は、経路56に沿って目的地まで移動する場合において障害物54を迂回して移動しようとしても、障害物センサ102で当該障害物54を検出しないときには、経路56に沿って回避するのではなく、そのまま直進移動してもよい。すなわち、経路生成部106は、経路情報再生部105で再生された経路情報と、障害物センサ102で検出された障害物情報とを照合し、経路情報に含まれる障害物情報が障害物センサ102で検出されない場合に、経路情報で示す回避経路を直線経路に置換して新たな経路を生成する。図3(c)の経路56を図3(b)の経路52に置換するような処理である。
但し、この場合、TPR10は、一時的に障害物54が存在する可能性がある情報を障害物情報として生成してGMS30に送信する。
さらに、GMS30から受信した経路情報にこのような一時的に障害物54が存在する可能性がある情報が含まれていれば、アクチュエータ制御部107は、たとえ経路としては直線であったとしても最高速度で移動するのではなく、より低速で移動するようにアクチュエータ108を駆動制御する。
図4は、端末20からの要求に応じてGMS30から送信され、端末20の目的地選択部202の表示部に表示される目的地リストの一例を示す。目的地リストには、目的地の画像、目的地の名称、及び出発地(HP)から目的地に到達するまでの移動時間が含まれる。画像は、TPR10が当該目的地に到達したときにカメラ16で撮影して得られた静止画である。この静止画は、ログデータの一部としてログ生成部103で生成され、GMS30に送信される。目的地の名称は、ログ生成部103が自動で付与する他、操作者が入力して付与してもよい。移動時間は、当該目的地に到達した直近の所要時間であり、これもログデータの一部としてログ生成部103で生成され、GMS30に送信される。目的地の静止画が存在しない場合(例えば、カメラ16での撮影が一時的に禁止された場合や何らかの事情により撮影できなかった場合)、画像は未登録として処理される。操作者は、目的地リストから所望の目的地を選択してTPR10に移動を指示する。
図5は、整形後の経路情報に沿ってTPR10が目的地に移動中の端末20の画面表示例を示す。画面上部には、カメラ16で撮影され遠隔地映像表示部201に表示される画像(ライブ画像)204が配置される。画像204の下部には、第2表示部として機能するプログレスバー205が表示され、経路情報の進行度合いあるいは再生率(HPにいる場合が0%、目的地に到達した場合に100%)がバー表示される。
プログレスバー205は、TPR10の移動に伴って順次0%から100%までバーが変化していくことで進行度合いを表示するが、操作者が任意の位置をクリックする等して操作した場合、操作位置までTPR10を移動させる移動指示がTPR10に送信される。例えば、バー表示が50%まで到達しているタイミングにおいて操作者が30%の位置をクリックした場合、端末20からTPR10に経路情報上の30%の位置に移動する移動指示が送信され、TPR10は、経路情報を用いて当該経路情報上の30%に相当する位置まで戻るように移動する。
プログレスバー205の下部には目的地名称及び目的地の画像206が表示され、さらにその下部に目的地までの残り時間と遠隔操作用の操作部としての操作スイッチ207が表示される。操作スイッチ207は、前進/後進/右旋回/左旋回/停止のスイッチから構成される。操作スイッチ207は、タッチスイッチではなくジョグコントローラでもよい。
ある目的地に最初に移動する場合、目的地リストには該当する目的地が存在していないので、操作者は、画像204でTPR10の周囲の状況を確認しつつ、操作スイッチ207を操作してTPR10を移動させる。操作スイッチ207の操作による移動指示は、端末20からTPR10に送信され、アクチュエータ制御部107からアクチュエータ108を制御して車輪部12を回転駆動する。TPR10の移動中は、障害物センサ102で障害物を検出する。また、ログ生成部103で車輪速データを取得し、車輪速データと障害物情報を用いてログデータを生成する。目的地まで最初に移動する場合、プログレスバー205、目的地の画像206、及び残り時間は端末20の画面に表示されない。
TPR10が目的地に到達した場合、ログ生成部103は、目的地までの経路情報としての車輪速データ群(オドメトリ情報)及び障害物情報を経路情報としてGMS30に送信する。目的地の画像及び目的地までの移動時間を付加してGMS30に送信してもよい。
GMS30は、TPR10からの経路情報を経路情報記憶部301に記憶し、経路整形部302で整形後に再び経路情報記憶部301に記憶する。そして、端末20からの要求に応じ、目的地リストを端末20に送信する(図4参照)。なお、このときの移動時間は、整形前の経路に沿ってHPから目的地まで移動するのに要した実際の時間であるから、整形後の経路情報に沿って移動した場合よりも若干長い。整形前の経路長と整形後の経路長の比率を用いて移動時間を調整し、整形後の移動時間を推定して目的地リストとして表示してもよい。具体的には、
推定移動時間=移動時間*(整形後の経路長)/(整形前の経路長)
である。
同じ目的地に再び移動する場合、目的地リストには該当する目的地が存在しているので、操作者は、目的地リストから所望の目的地を選択してTPR10に移動指示する。目的地までの整形後の経路情報はGMS30からTPR10に送信され、TPR10は、受信した整形後の経路情報を再生してアクチュエータ108を制御し、車輪部12を回転駆動して移動する。このとき、画像204、プログレスバー205、目的地の画像206、及び残り時間が端末20に表示される。操作者は、基本的に操作スイッチ207を操作してTPR10を遠隔操作する必要はない。
但し、整形後の経路情報に沿って移動することができない障害物を障害物センサ102で検出した場合、アクチュエータ制御部107は経路情報に沿った移動を中断し、無線通信部101を介して障害物の存在を端末20に通知する。例えば、画像204に重畳表示させて、
「障害物が検出されました。このまま直進することができません。」
等と通知する。このとき、操作者は、操作スイッチ207を操作して画像204を視認しつつ当該障害物を回避する。その後、操作者は引き続いて目的地までTPR10を遠隔操作するが、障害物を回避後、再び整形後の経路情報に沿って移動することが可能であれば、TPR10は再び整形後の経路情報に沿って自動的に目的地まで移動してもよい。TPR10は、自動移動を再開するか否かを端末20に通知し、操作者からの再開指示を受信した場合に自動移動を再開してもよい。
TPR10が目的地に到達した場合、ログ生成部103は、目的地までの経路情報をGMS30に送信する。GMS30は、TPR10からの経路情報を経路情報記憶部301に記憶して更新する。
図6は、実施形態の処理フローチャートを示す。
まず、操作者は、端末20を操作し、TPR10にログインする(S101)。具体的には、操作者は、IDやパスワードを入力してログインする。ログイン時の認証は、TPR10が実行してもよく、あるいはGMS30が実行してもよい。
ログイン後、TPR10のカメラ16が起動し、カメラ16で撮影して得られた画像が、画像処理部104で処理され、無線通信部101を介して端末20に送信される(S102)。端末20の遠隔地映像表示部201は、TPR20から送信された画像204を表示する。なお、カメラ16で撮影して得られた画像に何らかの秘匿情報が含まれている場合、画像処理部104で当該秘匿情報をマスキングした上で端末20に送信してもよい。秘匿情報は、予め処理プログラムに記憶してもよく、あるいは画像処理部104に対して随時マスキング情報を提供してもよい。
次に、端末20の遠隔操作UI203は、操作者の操作に応じてGMS30に対して目的地リストを要求する(S103)。例えば、遠隔操作UI203は、端末20の表示部に目的地ボタンを表示し、操作者が目的地ボタンをタッチ操作した場合に目的地リストをGMS30に要求する。
GMS30は、経路情報記憶部301に記憶された経路情報(整形後の経路情報)を読み出して目的地リストとして端末20に返信する。目的地リストには、目的地の画像、目的地名称、目的地までの移動時間が含まれており、GMS30は、目的地リストを表示するために十分な情報のみ、具体的には目的地名称のみを読み出して端末20に返信してもよく、目的地の画像、目的地名称、目的地までの移動時間の全てを読み出して端末20に返信してもよい。端末20は、GMS30から返信された目的地リストを読み込み(S104)、表示部に表示する(S105)。
操作者は、表示された目的地リストの中から所望の目的地を選択する。所望の目的地があれば(S106でYES)、目的地選択部202を操作して目的地を選択し、GMS30に送信するとともにTPR10に対して目的地までの移動を指示する(S107)。端末20は、選択した目的地をGMS30に送信する際に、TPR10を一意に特定するための情報、例えばTPR10のIPアドレス等をGMS30に送信する。GMS30は、端末20から受信したTPR10を特定する情報を用いて、当該目的地までの経路情報(車輪速データ群及び障害物情報)をTPR10に送信する(S108)。TPR10は、GMS30から受信した整形後の経路情報に沿って目的地まで自動的に移動する。この間、操作者は基本的に端末20に表示される画像204を確認するだけでよく、遠隔操作UI203を操作してTPR10を遠隔操作する必要がない。
整形後の経路情報に沿った移動は、TPR10の最高速度での移動が好適であるがこれに限定されない。また、経路情報に一時的な障害物が存在する可能性の情報が含まれている場合、当該情報の存在する位置では一時的に減速するのが望ましい。
経路情報に沿って移動することができない障害物が存在した場合、TPR10はその旨を端末20に通知して経路情報に沿った自動移動を中断する。この後、操作者の遠隔操作(マニュアル操作)に移行する。
目的地に到達した場合、TPR10からログデータをGMS30に送信し、GMS30の経路情報記憶部301に記憶して当該目的地までの経路情報を更新する。これにより、目的地の画像、移動時間、車輪速データ群、及び障害物情報が更新される。障害物情報には、前回の移動時には存在したものの今回の移動時には存在しなかった一時的障害物の可能性の情報が含まれる。
所望の目的地が存在しない場合(S106でNO)、操作者は、端末20の遠隔操作UI203を用いて手動で目的地までTPR10を遠隔操作する(マニュアル操作)。
図7は、マニュアル操作時の処理フローチャートを示す。
TPR10は、端末20からの移動指示待ち状態に移行し(S201)、操作者であるユーザがTPR10を解放しない(ログイン状態のまま)場合に(S202でNO)、操作者は、端末20に表示される画像204を視認しつつ遠隔操作UI203を操作してTPR10に移動指示を送信する(S203)。端末20からの移動指示は、無線通信部204、101を介して経路生成部106,アクチュエータ制御部107に供給され、アクチュエータ108を駆動してTPR10を移動させる。
TPR10の進行方向に障害物が存在しない場合(S204でNO)、TPR10は移動指示に応じて継続して移動し(S205)、移動時の車輪速データを取得してログデータを生成する(ロギング)。ログ生成部103は、生成したログデータを無線通信部101、303を介してGMS30に送信する(S207)。GMS30は、受信したログデータを整形前の経路情報として経路情報記憶部301に記憶する。その後、S201以降の処理を繰り返す。
他方、TPR10の進行方向に障害物が存在する場合(S204でYES)、障害物センサ102で当該障害物を検知し、無線通信部101を介して端末20に当該障害物の存在を通知する(S208)。通知の内容は、例えば、
「障害物が検出されました。このまま直進することができません。」
等であり、画像204の所定位置、例えば下部に重畳表示する。その後、S201以降の処理を繰り返す。操作者は、遠隔操作UI203を操作してTPR10を回避動作させる。障害物センサ102で検出された障害物情報はログ生成部103に供給される。ログ生成部103は、車輪速データに障害物情報を付加してログデータを生成する。障害物情報は、障害物の位置情報であるが、サイズに関する情報を含んでもよい。
TPR10が目的地に到着した場合、操作者はTPR10の解放操作(ログアウト)を行う(S202でYES)。解放操作は、例えば操作者が遠隔操作UI203のログアウトボタンをタッチ操作する、あるいは遠隔操作終了ボタンをタッチ操作する等である。
図8は、操作者が解放操作を行った場合の処理フローチャートである。
端末20の遠隔操作UI203は、解放操作をトリガとしてGMS30に対してログデータとしての経路情報の整形を指示する(S301)。
GMS30の経路整形部302は、端末20からの指示に応じて経路情報記憶部301に記憶されているログデータとしての経路情報を読み出して整形し(S302)、整形後の経路情報を再び経路情報記憶部301に記憶する。
その後、GMS30は、端末20からの要求に応じてTPR10がホームポジション(HP)に帰還するための経路情報を無線通信部303を介してTPR10に送信する(S303)。例えば、操作者は、所望の目的地においてTPR10を用いて会議を行い、会議が終了してTPR10をHPに帰還させる必要が生じた場合に、端末20の帰還ボタンをタッチ操作してGMS30に要求する。
TPR10は、無線通信部101を介してHPに帰還するための経路情報を受信すると、経路情報再生部105で経路情報を再生し、経路生成部106、アクチュエータ制御部107によりアクチュエータ108を駆動してHPに移動を開始する(S304)。このときも、図5に示されるように,端末20には画像204が表示され、プログレスバー205、画像206、及び残り時間が表示される。但し、この場合のプログレスバー205は、目的地からHPまでの再生率をバーで表示するものであり、画像206はHPの画像であり、残り時間はHPに到達するまでの残り時間である。
TPR10は、移動中に障害物センサ102で障害物を検出すると(S305)、無線通信部101を介して端末10に障害物の存在を通知する(S307)。その後、図7のS201の処理に戻る。障害物が存在せずにHPまで到達した場合(S306でYES)、移動を終了する。ログ生成部103は、生成したログデータをGMS30に送信する。なお、目的地からHPへの帰還時のログデータは生成せず、GMS30に送信しなくてもよい。
また、目的地からHPに帰還するときにGMS30から送信される経路情報は、TPR10がHPから目的地に到達した場合にログ生成部103で生成された経路情報、すなわち往路の経路情報を整形したものであり、TPR10がHPから目的地に到達するために事前に受信した経路情報ではない。前者は後者よりも最新の経路情報であり、前者により後者が更新されているからである。
このように、本実施形態によれば、過去に移動したことのある目的地に再びTPR10を移動させる場合、GMS30に記憶された経路情報をTPR10に供給し、経路情報に沿って自動的に目的地まで移動させるので、HPから目的地まで全てマニュアル操作する場合に比べて操作者の操作負担が軽減される。また、このときに用いる経路情報は、無用なふらつきあるいは揺らぎが整形された経路情報であるから、目的地まで短い距離を移動し短時間で目的地に到達し得る。また、経路情報には障害物情報が含まれているので、障害物情報を用いて無用なふらつきあるいは揺らぎの軌跡と、障害物を回避するための軌跡とを識別して整形の精度を担保し得る。さらに、整形後の経路情報に沿って自動的に移動させる場合において、一時的な障害物が存在する可能性がある位置ではTPR10の移動速度を減速させるので、障害物に衝突する可能性を低減させつつ目的地まで移動し得る。
本実施形態において、整形後の経路情報に沿ってTPR10を目的地まで自動的に移動させる場合、障害物が存在していなくても操作者による遠隔操作UI203の操作によりTPR10を任意の方向に移動させるようにしてもよい。すなわち、自動移動とマニュアル操作による移動が並存する場合、マニュアル操作による移動を優先させる。
<実施形態2>
本実施形態では、整形後の経路情報に沿ってTPR10を目的地まで自動的に移動させている間に、操作者が遠隔操作UI203を操作してTPR10を経路情報の経路から逸脱させた場合の処理について説明する。
図9は、整形後の経路情報が示す経路52から位置Pにおいて操作者の操作によりTPR10が逸脱し、操作者の知り合い60とコミュニケーションを図った場合を模式的に示す。TPR10は、位置Pで経路52を逸脱し、経路58に沿って移動したものとする。
この場合、ログ生成部103は、TPR10が経路52から逸脱したことを検出すると、逸脱後の車輪速データ及び障害物情報をログデータとして生成してメモリに記憶しておく。そして、端末20から目的地への移動の再開指示を受信すると、ログ生成部103は、メモリに記憶された逸脱後のログデータを経路生成部106に供給する。経路生成部106は、ログ生成部103からのログデータを用いて位置Pまで戻る経路を生成し、アクチュエータ制御部107に供給してアクチュエータ108を駆動する。なお、位置Pまでのログデータは必ずしも整形されている必要はないが、経路生成部106で経路整形部302と同様の処理により整形してもよい。TPR10が位置Pまで復帰した後は、元の経路52に沿って自動移動を再開する。
本実施形態によれば、操作者が自身の遠隔操作によりTPR10を所望の位置まで移動させて「寄り道」した場合においても元の経路まで自動的に復帰させるので、操作者の操作負担が軽減される。
なお、ログ生成部103で生成された逸脱時のログデータは、GMS30に送信する必要はなく、ログ生成部103はTPR10が位置Pに復帰した後はメモリから削除してもよい。
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、種々の変形が可能である。以下、変形例について説明する。
<変形例1>
実施形態では、図2に示すように、GMS30は端末20及びTPR10とは別個にネットワーク上に配置されているが、GMS30をTPR10内に組み込んでもよい。
図10は、この場合のシステム構成を示す。TPR10と端末20が通信回線で接続される。TPR10は、カメラ付き移動体とともに目的地管理装置として機能する。端末20は、TPR10に対して目的地リストを要求し、所望の目的地をTPR10に対して指示する。TPR10は、指示された目的地に到達するための整形後の経路情報を経路情報記憶部301から読み出し、経路情報再生部105で再生してアクチュエータ108を駆動する。
TPR10は、1又は複数のプロセッサ、プログラムメモリ、ワーキングメモリ、及びHDDやSSD等の記憶媒体を備え、プロセッサはプログラムメモリに記憶された処理プログラムを読み出して実行することで、画像処理部104、経路情報再生部105、経路生成部106、アクチュエータ制御部107、ログ生成部103、経路整形部302として機能し、記憶媒体が経路情報記憶部301として機能する。
<変形例2>
実施形態では、ログ生成部103で生成されたログデータを経路情報としてGMS30に送信しているが、目的地に到達して操作者がTPR10を解放(ログアウト)した場合に一括してログデータを経路情報としてGMS30に送信してもよく、この場合に、端末20に対して経路情報をGMS30に送信してよいか否かを確認する通知を送信し、端末20からの確認指示を受けた後に経路情報をGMS30に送信するようにしてもよい。また、操作者は、経路情報のGMS30への送信を確認する際に、目的地の名称を入力してTPR10に送信し、ログ生成部103は、入力された目的地の名称を付加してGMS30に送信してもよい。また、目的地の画像206に関しても、操作者が目的地の名称とともに入力してTPR10に送信し、ログ生成部103は、入力された目的地の名称及び画像を付加してGMS30に送信してもよい。
<変形例3>
実施形態では、図2に示すように1台の端末20を例示したが、複数台の端末20がネットワークに接続されていてもよく、GMS30に記憶された整形後の経路情報は複数台の端末20で共有されてもよい。
<変形例4>
実施形態において、経路情報に沿って移動してもTPR10が目的地に到達できない場合もあり得る。特に、オドメトリでは、既述したように出発地からの積算でTPR10の自己位置を推定して目的地まで移動させるので誤差が蓄積されやすい。また、オドメトリは左右の車輪が滑らないことを前提としているので、障害物に当たって車輪が空回りし、あるいはTPR10がドリフトして横滑りが生じた場合等に正確に位置を推定できず、結果として目的地に到達できない場合が生じ得る。この場合、TPR10は、経路情報に沿って移動することが不能である旨を端末20に通知し、操作者に端末20の遠隔操作UI203を用いた遠隔操作を要求してもよい。
端末20に通知しても端末20からの遠隔操作の指示がなく、一定時間が経過した場合には、TPR10は、過去にログインしてTPR10を操作した操作者の端末に対して通知してもよく、過去の操作者のうち、現在の目的地と同じ目的地まで移動した操作者に対して優先的に通知してもよい。TPR10は、端末20から遠隔操作指示を受けるまで通常の動作モードからパワーセーブモードに移行して省電力化を図ってもよい。
<変形例5>
実施形態において、目的地リストに所望の目的地が存在しないものの、所望の目的地近傍の目的地が存在する場合には、操作者は、所望の目的地近傍の目的地を選択してGMS30に送信し、GMS30から所望の目的地近傍の目的地までの経路情報をTPR10に送信してもよい。TPR10は、受信した経路情報に沿って所望の目的地近傍の目的地まで自動的に移動し、その後は、操作者が端末20の遠隔操作UI203を用いてTPR10を移動させ、所望の目的地まで移動させる。この変形例によっても、所望の目的地まで全て遠隔操作する場合に比べて操作者の操作負担が軽減される。
<変形例6>
実施形態2において、図9に示すように操作者からの指示に基づいて位置Pで経路52から逸脱した場合に、端末20の遠隔操作UI203は、操作者に対して当初の目的地に行くことを中止するのか、あるいは寄り道であるのかを確認するメッセージを表示部に表示して操作者の意思を確認してもよい。操作者が寄り道である旨を入力した場合、TPR10は、復帰指示を端末20から受信するまで寄り道の経路58のログデータを生成する。
他方、操作者が当初の目的地に行くことを中止する旨を入力した場合、TPR10は、HPから現在の場所までのログデータを新たな経路情報候補としてログデータの生成を継続する。
<変形例7>
実施形態では、TPR10の車輪部12の時系列車輪速データをオドメトリ情報として用いているが、コスト的に許容される限りにおいてGPS等の位置センサを備え、自己の時系列位置データを補足的に用いてもよい。TPR10は基本的に屋内での使用が想定されるため、WiFi等を用いた位置データを用いてもよい。
10 カメラ付き移動体(TPR)、12 車輪部、14 表示部、16 カメラ、20 遠隔操作用端末(端末)、30 目的地管理装置(GMS)。

Claims (12)

  1. 遠隔操作者に対して撮影画像を提供するカメラと、
    前記カメラを移動させる車輪部と、
    前記遠隔操作者が選択した目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶する記憶部と、
    前記経路情報が存在しない場合に前記遠隔操作者の遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、
    障害物を検出する障害物検出部と、
    前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作者に対して通知する通知部と、
    前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、
    を備え
    前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
    前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
    前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
    カメラ付き移動体。
  2. 前記整形されたオドメトリ情報は、曲線経路の少なくとも一部を直線経路で置換されたオドメトリ情報である
    請求項1に記載のカメラ付き移動体。
  3. 前記曲線経路のうち、障害物を回避する経路でない曲線経路が直線経路で置換される
    請求項2に記載のカメラ付き移動体。
  4. 前記障害物を回避する経路は、前記障害物情報が近傍に存在する経路である
    請求項3に記載のカメラ付き移動体。
  5. 前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において前記障害物検出部で移動方向の障害物が検出されたときに、前記経路情報による駆動制御を中断して前記遠隔操作者の遠隔操作により前記車輪部を駆動制御する
    請求項1から請求項4のいずれか一項に記載のカメラ付き移動体。
  6. 前記作成部は、作成した前記経路情報を目的地管理装置に送信し、
    前記記憶部は、前記目的地管理装置から送信された、整形された前記経路情報を記憶する
    請求項1から請求項5のいずれか一項に記載のカメラ付き移動体。
  7. 前記作成部は、前記制御部が前記経路情報により前記車輪部を駆動制御する場合において、前記遠隔操作者の操作により前記経路情報が示す経路から逸脱したときに、前記遠隔操作者からの前記目的地への復帰指示があるまで逸脱により生じた経路情報を作成する
    請求項1から請求項6のいずれか一項に記載のカメラ付き移動体。
  8. 遠隔操作用端末と、
    目的地管理装置と、
    カメラ付き移動体と、
    を備え、
    前記カメラ付き移動体は、
    遠隔操作用端末に対して撮影画像を提供するカメラと、
    前記カメラを移動させる車輪部と、
    前記遠隔操作用端末により選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を前記目的地管理装置から受信して記憶する記憶部と、
    前記経路情報が存在しない場合に前記遠隔操作用端末からの遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、
    障害物を検出する障害物検出部と、
    前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作用端末に対して通知する通知部と、
    前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、
    を備え、
    前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
    前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
    前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
    カメラ付き移動体制御システム。
  9. 遠隔操作用端末と、
    カメラ付き移動体と、
    を備え、
    前記カメラ付き移動体は、
    遠隔操作用端末に対して撮影画像を提供するカメラと、
    前記カメラを移動させる車輪部と、
    前記遠隔操作用端末により選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶する記憶部と、
    前記経路情報が存在しない場合に前記遠隔操作用端末からの遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、
    障害物を検出する障害物検出部と、
    前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作用端末に対して通知する通知部と、
    前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、
    を備え、
    前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
    前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
    前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
    カメラ付き移動体制御システム。
  10. 前記遠隔操作用端末は、
    前記カメラからの前記撮影画像を表示する第1表示部と、
    前記カメラ付き移動体が前記経路情報により移動する場合の、前記目的地までの進行度合いを示す第2表示部と、
    前記カメラ付き移動体を遠隔操作するための操作部と、
    を備える請求項8,9のいずれかに記載のカメラ付き移動体制御システム。
  11. 前記第2表示部は、前記目的地までの進行度合いをバー表示し、
    前記バー表示の任意の位置に対する操作により、前記遠隔操作用端末から前記カメラ付き移動体に対し、前記位置への移動指示を送信する
    請求項1に記載のカメラ付き移動体制御システム。
  12. カメラ付き移動体を制御するためのプログラムであり、前記カメラ付き移動体を制御するプロセッサに、
    前記カメラで撮影して得られた画像を遠隔操作者に提供するステップと、
    前記遠隔操作者が選択した目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶部に記憶するステップと、
    前記経路情報が存在しない場合に前記遠隔操作者の遠隔操作により前記カメラ付き移動体の車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御するステップと、
    障害物を検出するステップと、
    前記障害物を検出するステップで移動方向の障害物が検出された場合に前記遠隔操作者に対して通知するステップと、
    前記車輪部のオドメトリ情報及び前記障害物を検出するステップで検出された障害物情報を用いて経路情報を作成するステップと、
    を実行させ
    前記車輪部を駆動制御するステップでは、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物を検出するステップにて検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
    前記経路情報を作成するステップでは、前記車輪部を駆動制御するステップにおいて前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
    前記車輪部を駆動制御するステップでは、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
    プログラム。
JP2017168680A 2017-09-01 2017-09-01 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム Active JP7052260B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017168680A JP7052260B2 (ja) 2017-09-01 2017-09-01 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017168680A JP7052260B2 (ja) 2017-09-01 2017-09-01 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019046159A JP2019046159A (ja) 2019-03-22
JP7052260B2 true JP7052260B2 (ja) 2022-04-12

Family

ID=65812878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017168680A Active JP7052260B2 (ja) 2017-09-01 2017-09-01 カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム

Country Status (1)

Country Link
JP (1) JP7052260B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111480131B (zh) 2018-08-23 2024-01-12 日本精工株式会社 自行装置、自行装置的行进控制方法以及行进控制程序
EP3940006A4 (en) 2019-03-13 2022-11-23 Agc Inc. MEMBRANE ELECTRODE ASSEMBLY
KR102192240B1 (ko) * 2019-12-03 2020-12-16 주식회사 코탁스 5g 디지털 통신을 이용한 원격지 커뮤니케이션 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242978A (ja) 2005-02-28 2006-09-14 Mitsubishi Heavy Ind Ltd 移動経路地図作成方法
JP2013206237A (ja) 2012-03-29 2013-10-07 Denso It Laboratory Inc 自律走行ロボット及び自律走行ロボットの走行制御方法
JP2014123200A (ja) 2012-12-20 2014-07-03 Toyota Motor Corp 移動体制御装置、移動体制御方法及び制御プログラム
JP2017152892A (ja) 2016-02-24 2017-08-31 京セラ株式会社 電子機器、制御装置、制御プログラム及び表示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3561547B2 (ja) * 1995-03-02 2004-09-02 綜合警備保障株式会社 自律型移動体の走行制御システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242978A (ja) 2005-02-28 2006-09-14 Mitsubishi Heavy Ind Ltd 移動経路地図作成方法
JP2013206237A (ja) 2012-03-29 2013-10-07 Denso It Laboratory Inc 自律走行ロボット及び自律走行ロボットの走行制御方法
JP2014123200A (ja) 2012-12-20 2014-07-03 Toyota Motor Corp 移動体制御装置、移動体制御方法及び制御プログラム
JP2017152892A (ja) 2016-02-24 2017-08-31 京セラ株式会社 電子機器、制御装置、制御プログラム及び表示方法

Also Published As

Publication number Publication date
JP2019046159A (ja) 2019-03-22

Similar Documents

Publication Publication Date Title
JP7182341B2 (ja) 情報処理装置
KR101857952B1 (ko) 청소로봇을 원격으로 제어하기 위한 원격 제어 장치, 제어 시스템 및 제어 방법
JP2018536950A5 (ja)
JP5550671B2 (ja) 自律走行ロボット及び自律走行ロボットの走行制御方法
KR102104896B1 (ko) 로봇청소기 및 이를 이용한 휴먼 케어방법
JP7052260B2 (ja) カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム
EP3178617B1 (en) Hybrid reality based i-bot navigation and control
US10728505B2 (en) Monitoring system
JP5828088B2 (ja) 遠隔制御システム
KR20180040907A (ko) 공항 로봇
US20190354246A1 (en) Airport robot and movement method therefor
JP7095220B2 (ja) ロボット制御システム
KR20180038884A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
KR20180040255A (ko) 공항 로봇
JP2010064215A (ja) 移動ロボットの操縦システム
JP7372144B2 (ja) 車載処理装置、及び車載処理システム
WO2012096282A1 (ja) コントローラ、模型装置、およびコントロール方法
JP5013995B2 (ja) 監視システム
JP2020098965A (ja) 遠隔監視システム及び監視サーバ
KR101324168B1 (ko) 로봇 청소기, 이의 동작 방법 및 원격 제어 시스템
JP6723126B2 (ja) セキュリティシステム
KR20170002048A (ko) 피사체 이동 제어 장치 및 방법
US20230023560A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP2006173999A (ja) カメラ装置および遠隔装置
WO2024062803A1 (ja) 情報処理方法、情報処理装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220314

R150 Certificate of patent or registration of utility model

Ref document number: 7052260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150