JP7052260B2 - カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム - Google Patents
カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム Download PDFInfo
- Publication number
- JP7052260B2 JP7052260B2 JP2017168680A JP2017168680A JP7052260B2 JP 7052260 B2 JP7052260 B2 JP 7052260B2 JP 2017168680 A JP2017168680 A JP 2017168680A JP 2017168680 A JP2017168680 A JP 2017168680A JP 7052260 B2 JP7052260 B2 JP 7052260B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- information
- route information
- unit
- route
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 28
- 238000007493 shaping process Methods 0.000 description 43
- 238000004891 communication Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 23
- 230000015654 memory Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000004044 response Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
図1は、実施形態におけるカメラ付き移動体10の外観図を示す。カメラ付き移動体10は、本体と車輪部12を備え、本体は表示部14及びカメラ16を備える。
v=(vr+vl)/2
ω=(vr-vl)/2L
であり、これを用いて
dx/dt=vcosθ
dy/dt=vsinθ
dθ/dt=ω
を計算することで、ロボットの位置(x、y)及び角度θが算出される。出発地から順次、位置を算出して積算することで、出発地に対するロボットの相対的な位置が算出され、自己位置が推定される。オドメトリ情報として、車輪の回転角及び回転角速度を用いてもよい。オドメトリを用いた移動ロボットの自己位置推定については、例えば特開2015-111336号公報に記載されている。
・カメラ16で撮影して得られた画像を端末20に送信する
・端末20で選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を目的地管理装置30から受信する
・受信した経路情報を経路情報記憶部301に記憶する
・経路情報が存在しない場合に端末20からの操作によりアクチュエータ108を駆動制御し、経路情報が存在する場合に経路情報によってアクチュエータ108を駆動制御する
・オドメトリ情報及び障害物情報から経路情報を作成する
・作成した経路情報を目的地管理装置30に送信する
目的地D1:経路情報R1
目的地D2:経路情報R2
目的地D3:経路情報R3
・・・
等である。経路情報R1には、TPR10の出発地(ホームポジション:HP)から目的地に至るまでの時系列の車輪速データ群(オドメトリ情報)及び障害物の位置情報が含まれる。
但し、この場合、TPR10は、一時的に障害物54が存在する可能性がある情報を障害物情報として生成してGMS30に送信する。
推定移動時間=移動時間*(整形後の経路長)/(整形前の経路長)
である。
「障害物が検出されました。このまま直進することができません。」
等と通知する。このとき、操作者は、操作スイッチ207を操作して画像204を視認しつつ当該障害物を回避する。その後、操作者は引き続いて目的地までTPR10を遠隔操作するが、障害物を回避後、再び整形後の経路情報に沿って移動することが可能であれば、TPR10は再び整形後の経路情報に沿って自動的に目的地まで移動してもよい。TPR10は、自動移動を再開するか否かを端末20に通知し、操作者からの再開指示を受信した場合に自動移動を再開してもよい。
「障害物が検出されました。このまま直進することができません。」
等であり、画像204の所定位置、例えば下部に重畳表示する。その後、S201以降の処理を繰り返す。操作者は、遠隔操作UI203を操作してTPR10を回避動作させる。障害物センサ102で検出された障害物情報はログ生成部103に供給される。ログ生成部103は、車輪速データに障害物情報を付加してログデータを生成する。障害物情報は、障害物の位置情報であるが、サイズに関する情報を含んでもよい。
本実施形態において、整形後の経路情報に沿ってTPR10を目的地まで自動的に移動させる場合、障害物が存在していなくても操作者による遠隔操作UI203の操作によりTPR10を任意の方向に移動させるようにしてもよい。すなわち、自動移動とマニュアル操作による移動が並存する場合、マニュアル操作による移動を優先させる。
本実施形態では、整形後の経路情報に沿ってTPR10を目的地まで自動的に移動させている間に、操作者が遠隔操作UI203を操作してTPR10を経路情報の経路から逸脱させた場合の処理について説明する。
実施形態では、図2に示すように、GMS30は端末20及びTPR10とは別個にネットワーク上に配置されているが、GMS30をTPR10内に組み込んでもよい。
実施形態では、ログ生成部103で生成されたログデータを経路情報としてGMS30に送信しているが、目的地に到達して操作者がTPR10を解放(ログアウト)した場合に一括してログデータを経路情報としてGMS30に送信してもよく、この場合に、端末20に対して経路情報をGMS30に送信してよいか否かを確認する通知を送信し、端末20からの確認指示を受けた後に経路情報をGMS30に送信するようにしてもよい。また、操作者は、経路情報のGMS30への送信を確認する際に、目的地の名称を入力してTPR10に送信し、ログ生成部103は、入力された目的地の名称を付加してGMS30に送信してもよい。また、目的地の画像206に関しても、操作者が目的地の名称とともに入力してTPR10に送信し、ログ生成部103は、入力された目的地の名称及び画像を付加してGMS30に送信してもよい。
実施形態では、図2に示すように1台の端末20を例示したが、複数台の端末20がネットワークに接続されていてもよく、GMS30に記憶された整形後の経路情報は複数台の端末20で共有されてもよい。
実施形態において、経路情報に沿って移動してもTPR10が目的地に到達できない場合もあり得る。特に、オドメトリでは、既述したように出発地からの積算でTPR10の自己位置を推定して目的地まで移動させるので誤差が蓄積されやすい。また、オドメトリは左右の車輪が滑らないことを前提としているので、障害物に当たって車輪が空回りし、あるいはTPR10がドリフトして横滑りが生じた場合等に正確に位置を推定できず、結果として目的地に到達できない場合が生じ得る。この場合、TPR10は、経路情報に沿って移動することが不能である旨を端末20に通知し、操作者に端末20の遠隔操作UI203を用いた遠隔操作を要求してもよい。
実施形態において、目的地リストに所望の目的地が存在しないものの、所望の目的地近傍の目的地が存在する場合には、操作者は、所望の目的地近傍の目的地を選択してGMS30に送信し、GMS30から所望の目的地近傍の目的地までの経路情報をTPR10に送信してもよい。TPR10は、受信した経路情報に沿って所望の目的地近傍の目的地まで自動的に移動し、その後は、操作者が端末20の遠隔操作UI203を用いてTPR10を移動させ、所望の目的地まで移動させる。この変形例によっても、所望の目的地まで全て遠隔操作する場合に比べて操作者の操作負担が軽減される。
実施形態2において、図9に示すように操作者からの指示に基づいて位置Pで経路52から逸脱した場合に、端末20の遠隔操作UI203は、操作者に対して当初の目的地に行くことを中止するのか、あるいは寄り道であるのかを確認するメッセージを表示部に表示して操作者の意思を確認してもよい。操作者が寄り道である旨を入力した場合、TPR10は、復帰指示を端末20から受信するまで寄り道の経路58のログデータを生成する。
実施形態では、TPR10の車輪部12の時系列車輪速データをオドメトリ情報として用いているが、コスト的に許容される限りにおいてGPS等の位置センサを備え、自己の時系列位置データを補足的に用いてもよい。TPR10は基本的に屋内での使用が想定されるため、WiFi等を用いた位置データを用いてもよい。
Claims (12)
- 遠隔操作者に対して撮影画像を提供するカメラと、
前記カメラを移動させる車輪部と、
前記遠隔操作者が選択した目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶する記憶部と、
前記経路情報が存在しない場合に前記遠隔操作者の遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、
障害物を検出する障害物検出部と、
前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作者に対して通知する通知部と、
前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、
を備え、
前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
カメラ付き移動体。 - 前記整形されたオドメトリ情報は、曲線経路の少なくとも一部を直線経路で置換されたオドメトリ情報である
請求項1に記載のカメラ付き移動体。 - 前記曲線経路のうち、障害物を回避する経路でない曲線経路が直線経路で置換される
請求項2に記載のカメラ付き移動体。 - 前記障害物を回避する経路は、前記障害物情報が近傍に存在する経路である
請求項3に記載のカメラ付き移動体。 - 前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において前記障害物検出部で移動方向の障害物が検出されたときに、前記経路情報による駆動制御を中断して前記遠隔操作者の遠隔操作により前記車輪部を駆動制御する
請求項1から請求項4のいずれか一項に記載のカメラ付き移動体。 - 前記作成部は、作成した前記経路情報を目的地管理装置に送信し、
前記記憶部は、前記目的地管理装置から送信された、整形された前記経路情報を記憶する
請求項1から請求項5のいずれか一項に記載のカメラ付き移動体。 - 前記作成部は、前記制御部が前記経路情報により前記車輪部を駆動制御する場合において、前記遠隔操作者の操作により前記経路情報が示す経路から逸脱したときに、前記遠隔操作者からの前記目的地への復帰指示があるまで逸脱により生じた経路情報を作成する
請求項1から請求項6のいずれか一項に記載のカメラ付き移動体。 - 遠隔操作用端末と、
目的地管理装置と、
カメラ付き移動体と、
を備え、
前記カメラ付き移動体は、
遠隔操作用端末に対して撮影画像を提供するカメラと、
前記カメラを移動させる車輪部と、
前記遠隔操作用端末により選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を前記目的地管理装置から受信して記憶する記憶部と、
前記経路情報が存在しない場合に前記遠隔操作用端末からの遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、
障害物を検出する障害物検出部と、
前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作用端末に対して通知する通知部と、
前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、
を備え、
前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
カメラ付き移動体制御システム。 - 遠隔操作用端末と、
カメラ付き移動体と、
を備え、
前記カメラ付き移動体は、
遠隔操作用端末に対して撮影画像を提供するカメラと、
前記カメラを移動させる車輪部と、
前記遠隔操作用端末により選択された目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶する記憶部と、
前記経路情報が存在しない場合に前記遠隔操作用端末からの遠隔操作により前記車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御する制御部と、
障害物を検出する障害物検出部と、
前記障害物検出部で移動方向の障害物が検出された場合に前記遠隔操作用端末に対して通知する通知部と、
前記車輪部のオドメトリ情報及び前記障害物検出部で検出された障害物情報を用いて経路情報を作成する作成部と、
を備え、
前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物検出部で検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
前記作成部は、前記制御部が前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
前記制御部は、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
カメラ付き移動体制御システム。 - 前記遠隔操作用端末は、
前記カメラからの前記撮影画像を表示する第1表示部と、
前記カメラ付き移動体が前記経路情報により移動する場合の、前記目的地までの進行度合いを示す第2表示部と、
前記カメラ付き移動体を遠隔操作するための操作部と、
を備える請求項8,9のいずれかに記載のカメラ付き移動体制御システム。 - 前記第2表示部は、前記目的地までの進行度合いをバー表示し、
前記バー表示の任意の位置に対する操作により、前記遠隔操作用端末から前記カメラ付き移動体に対し、前記位置への移動指示を送信する
請求項10に記載のカメラ付き移動体制御システム。 - カメラ付き移動体を制御するためのプログラムであり、前記カメラ付き移動体を制御するプロセッサに、
前記カメラで撮影して得られた画像を遠隔操作者に提供するステップと、
前記遠隔操作者が選択した目的地までの、整形されたオドメトリ情報及び障害物情報を含む経路情報を記憶部に記憶するステップと、
前記経路情報が存在しない場合に前記遠隔操作者の遠隔操作により前記カメラ付き移動体の車輪部を駆動制御し、前記経路情報が存在する場合に前記経路情報により前記車輪部を駆動制御するステップと、
障害物を検出するステップと、
前記障害物を検出するステップで移動方向の障害物が検出された場合に前記遠隔操作者に対して通知するステップと、
前記車輪部のオドメトリ情報及び前記障害物を検出するステップで検出された障害物情報を用いて経路情報を作成するステップと、
を実行させ、
前記車輪部を駆動制御するステップでは、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に含まれる前記障害物情報で示される障害物が前記障害物を検出するステップにて検出されないときに前記経路情報が示す前記障害物の回避経路によらずに直進駆動し、
前記経路情報を作成するステップでは、前記車輪部を駆動制御するステップにおいて前記回避経路によらずに直進駆動した場合に、その場所に関連して一時的障害物の存在情報を作成し、
前記車輪部を駆動制御するステップでは、前記経路情報により前記車輪部を駆動制御する場合において、前記経路情報に前記一時的障害物の存在情報が含まれている場合に、前記一時的障害物の存在情報が関連する場所において前記車輪部を減速駆動制御する
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168680A JP7052260B2 (ja) | 2017-09-01 | 2017-09-01 | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017168680A JP7052260B2 (ja) | 2017-09-01 | 2017-09-01 | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019046159A JP2019046159A (ja) | 2019-03-22 |
JP7052260B2 true JP7052260B2 (ja) | 2022-04-12 |
Family
ID=65812878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017168680A Active JP7052260B2 (ja) | 2017-09-01 | 2017-09-01 | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7052260B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111480131B (zh) | 2018-08-23 | 2024-01-12 | 日本精工株式会社 | 自行装置、自行装置的行进控制方法以及行进控制程序 |
EP3940006A4 (en) | 2019-03-13 | 2022-11-23 | Agc Inc. | MEMBRANE ELECTRODE ASSEMBLY |
KR102192240B1 (ko) * | 2019-12-03 | 2020-12-16 | 주식회사 코탁스 | 5g 디지털 통신을 이용한 원격지 커뮤니케이션 시스템 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006242978A (ja) | 2005-02-28 | 2006-09-14 | Mitsubishi Heavy Ind Ltd | 移動経路地図作成方法 |
JP2013206237A (ja) | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | 自律走行ロボット及び自律走行ロボットの走行制御方法 |
JP2014123200A (ja) | 2012-12-20 | 2014-07-03 | Toyota Motor Corp | 移動体制御装置、移動体制御方法及び制御プログラム |
JP2017152892A (ja) | 2016-02-24 | 2017-08-31 | 京セラ株式会社 | 電子機器、制御装置、制御プログラム及び表示方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3561547B2 (ja) * | 1995-03-02 | 2004-09-02 | 綜合警備保障株式会社 | 自律型移動体の走行制御システム |
-
2017
- 2017-09-01 JP JP2017168680A patent/JP7052260B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006242978A (ja) | 2005-02-28 | 2006-09-14 | Mitsubishi Heavy Ind Ltd | 移動経路地図作成方法 |
JP2013206237A (ja) | 2012-03-29 | 2013-10-07 | Denso It Laboratory Inc | 自律走行ロボット及び自律走行ロボットの走行制御方法 |
JP2014123200A (ja) | 2012-12-20 | 2014-07-03 | Toyota Motor Corp | 移動体制御装置、移動体制御方法及び制御プログラム |
JP2017152892A (ja) | 2016-02-24 | 2017-08-31 | 京セラ株式会社 | 電子機器、制御装置、制御プログラム及び表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019046159A (ja) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7182341B2 (ja) | 情報処理装置 | |
KR101857952B1 (ko) | 청소로봇을 원격으로 제어하기 위한 원격 제어 장치, 제어 시스템 및 제어 방법 | |
JP2018536950A5 (ja) | ||
JP5550671B2 (ja) | 自律走行ロボット及び自律走行ロボットの走行制御方法 | |
KR102104896B1 (ko) | 로봇청소기 및 이를 이용한 휴먼 케어방법 | |
JP7052260B2 (ja) | カメラ付き移動体、カメラ付き移動体制御システム、及びプログラム | |
EP3178617B1 (en) | Hybrid reality based i-bot navigation and control | |
US10728505B2 (en) | Monitoring system | |
JP5828088B2 (ja) | 遠隔制御システム | |
KR20180040907A (ko) | 공항 로봇 | |
US20190354246A1 (en) | Airport robot and movement method therefor | |
JP7095220B2 (ja) | ロボット制御システム | |
KR20180038884A (ko) | 공항 로봇 및 그를 포함하는 공항 로봇 시스템 | |
KR20180040255A (ko) | 공항 로봇 | |
JP2010064215A (ja) | 移動ロボットの操縦システム | |
JP7372144B2 (ja) | 車載処理装置、及び車載処理システム | |
WO2012096282A1 (ja) | コントローラ、模型装置、およびコントロール方法 | |
JP5013995B2 (ja) | 監視システム | |
JP2020098965A (ja) | 遠隔監視システム及び監視サーバ | |
KR101324168B1 (ko) | 로봇 청소기, 이의 동작 방법 및 원격 제어 시스템 | |
JP6723126B2 (ja) | セキュリティシステム | |
KR20170002048A (ko) | 피사체 이동 제어 장치 및 방법 | |
US20230023560A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
JP2006173999A (ja) | カメラ装置および遠隔装置 | |
WO2024062803A1 (ja) | 情報処理方法、情報処理装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7052260 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |