JP4131675B2 - 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム - Google Patents

移動ロボットのカメラ視線方向制御方法および移動ロボットシステム Download PDF

Info

Publication number
JP4131675B2
JP4131675B2 JP2003052160A JP2003052160A JP4131675B2 JP 4131675 B2 JP4131675 B2 JP 4131675B2 JP 2003052160 A JP2003052160 A JP 2003052160A JP 2003052160 A JP2003052160 A JP 2003052160A JP 4131675 B2 JP4131675 B2 JP 4131675B2
Authority
JP
Japan
Prior art keywords
camera
mobile robot
robot
image
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003052160A
Other languages
English (en)
Other versions
JP2004255552A (ja
Inventor
有一 村瀬
真司 神田
美和 岡林
桂樹 岡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003052160A priority Critical patent/JP4131675B2/ja
Publication of JP2004255552A publication Critical patent/JP2004255552A/ja
Application granted granted Critical
Publication of JP4131675B2 publication Critical patent/JP4131675B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、携帯電話や携帯端末等の端末から遠隔から操作することにより移動する、カメラを備えた移動ロボットの視線方向制御方法および移動ロボットシステムに関し、特に、携帯電話等の操作ボタンが少ない端末を用いて、移動ロボットを遠隔から制御するに好適な移動ロボットの視線方向制御方法および移動ロボットシステムに関するものである。
【0002】
【従来の技術】
従来から無線により移動ロボットを遠隔制御する技術が種々提案されている。例えば、特許文献1には、ロボットの状態を表示する機能を備えた操作装置と移動ロボットを、通信回線ネットワーク、電話回線を介してを接続し、移動ロボットの近くに操作者が居なくても移動ロボットを操作可能とした移動ロボットの制御システムが開示されている。
また、特許文献2には、LAN上に制御端末と無線接続端末を接続し、ロボット(被制御端末)に無線通信手段を設け、無線接続端末が無線区間でロボット(被制御端末)と通信することにより、制御端末がロボット(被制御端末)をリモートコントロールするようにしたネットワークリモートコントロールシステムが開示されている。
【0003】
【特許文献1】
特開平5−91556号公報
【特許文献2】
特開2000−49800号公報
【0004】
図7は、上記移動ロボットを携帯電話等を用いて遠隔から制御する場合の概念図である。
同図において、1は移動ロボット、2は携帯電話等の端末(以下では携帯電話を例として説明する)、3はインターネット回線等のデータ伝送網であり、移動ロボット1には、無線LANカードや携帯電話、BlueTooth等の無線デバイスが接続されており、ネットワーク接続が可能なように構成されている。
ユーザの携帯電話2には、遠隔からデータ伝送網3経由で移動ロボット1を操作したり、移動ロボット1の状態を知ることができるソフトがインストールされている。
移動ロボット1はカメラ11を備えており、カメラ11により撮影された移動ロボット1の周囲環境画像はデータ伝送網3を介して携帯電話2に伝送され、携帯電話2の表示装置上に表示される。
上記移動ロボット1は、例えば、ユーザの自宅等に置かれており、ユーザは携帯電話2からの指令により移動ロボット1を移動させたり、移動ロボット1に搭載された赤外線受信/発信器により家電機器等を操作したり、また、移動ロボット1に設けられたカメラ等で自宅の状況等を監視する。
【0005】
【発明が解決しようとする課題】
上記移動ロボットシステムにおいて、例えば、操作ボタンの少ない携帯電話等の端末を使ってユーザが移動ロボット1を遠隔から操作するには、移動ロボット1に搭載したカメラの映像を携帯電話2に表示し、この映像を参考に、あらかじめ移動方向などの指定機能を設定し、それを押すことで実施していた。
移動ロボットは図8のようにロボットの周囲環境を撮像するカメラ11、そのカメラの向きを変更するパンチルト部12、ロボットを走行させる移動部13、およびこれをの全体を制御し、画像や携帯電話からの指令データを送受信処理する制御ユニット10よりなる。
ここで、上記移動ロボット1を、携帯電話のように操作ボタンの数が少ない端末2を用いて遠隔制御する場合には、ボタンの機能設定をメニューによって切り替えて、同じ操作ボタンに別の機能を持たせる等の必要がある。従来においては、これが移動ロボットの操作性を悪くしていた。
【0006】
ボタンによる移動機能の設定の例として、図9に示すように携帯電話2の表示画面の画像上にポインタを出すとともに、携帯電話2の特定の操作ボタンに上記ポインタを移動させる機能を割り当て、該操作ボタンでポインタを上下左右に動かし、例えば移動させたい目的地の床の位置を指定する方法がある。
移動ロボット1の移動部13にたいするカメラ11の位置、向きがロボット内部の制御データとして既知であるため、映像上で指示したポインタの位置は床のどの位置を示しているか3角測量の原理で算出できる。
このポインタによる床面位置の指定方法で問題となるのは、ユーザが床面位置を指定できるのは、画像に映っている画像範囲に限られることである。
例えば、図10のように、真にユーザが指定したい位置が画像外の右側にある際は、移動ロボット1に搭載したカメラ11を右に旋廻させる動作コマンドを、携帯電話2から送信する必要がある。
この場合、携帯電話2のボタンが少ないことから、ボタンが意味する機能割り当てを変更する操作が必要になる等でロボットの移動操作性が悪くなっていた。
【0007】
上記のような場合、従来においては例えば以下のような操作の流れとなる。
(i) 画像外に指定したい床面位置が存在する場合、ポインタによる移動位置操作モード終了する。
(ii)カメラ旋廻動作モード選択する。
(iii) カメラ旋廻量を選択する。
(iv)旋廻動作開始。
(v) カメラ画像を取得する。
(vi)カメラ旋廻動作モードを終了する。
(vii) ポインタによる移動位置操作モード選択する。
(viii)床面位置をポインタで選択する。
以上のように、従来においては、携帯電話等のように操作ボタン数の少ない端末を用いて、その表示画面に表示された画像上でポインタを動かして、床面の特定の位置を指定する場合、真に指定したい位置が画面上に表示されていないときの操作が極めて煩雑であり、これが操作性を著しく悪くしていた。
本発明は上記問題点を解決するためになされたものであって、その目的は、真に指定したい床面を常にポインタの位置の移動操作だけで指定できるようにし、操作性を向上させ、ユーザの負担を軽減するとともに、データ通信量の削減を図ることである。
【0008】
【課題を解決するための手段】
本発明は、以下のようにして前記課題を解決する。
移動ロボットに、図1に示すように周囲環境を撮像するカメラ11、そのカメラの向きを変更するパンチルト部12、ロボットを走行させる移動部13、および、これらの全体を制御し、画像や端末からの指令データを送受信処理する制御ユニット10を設け、移動ロボット1から上記カメラの画像を携帯電話等の端末2に送信する。
そして、端末2で移動ロボット1のカメラ画像を受像して、端末2の画面上に、カメラの画像を表示し、該画面上に、周囲環境画像上の特定位置を指定するためのポインタを表示する。
ユーザが上記ポインタを移動させ、ポインタがカメラ画像のエッジから外れる位置まで移動したとき、外れた方向に移動ロボットに搭載したカメラの視線方向を移動させる指令を、端末2から移動ロボット1に送信する。
移動ロボット1は、上記指令に応じて移動ロボット1に搭載したカメラの視線方向を所定量移動させ、新たなロボット周囲環境画像を端末に自動送信する。
例えば、前記図10に示すように、ユーザが指定したい位置が画像外の右側にあり、ユーザが画像の右端からポインタをさらに移動するように指定した場合、カメラ11の視線方向を所定量右に旋廻させて画像を自動に取得し端末2の画像を更新するコマンドを移動ロボット1に送信する。
同様に画像の左や上や下にポインタがはずれる位置にポインタの移動指定があった場合はその方向に応じて移動ロボットにカメラの視線方向を変更する指令を送信する。
移動ロボット1は上記指令に応じてカメラ11の視線方向を変更する。端末2は、移動ロボット1から上記画像を取得し、ユーザはこの画像上でポインタを移動させ、位置を指定して移動ロボット1に送信する。
このようにすることで、ユーザは真に指定したい床面を常にポインタの位置の移動操作だけで指定できるようになり、操作性が向上する。また操作性の向上は、操作ミスの低減に繋がり、データ通信量の削減が期待できユーザにとって通信経費の負担も少なくなる。
また、上記移動ロボットのカメラを移動させる際、移動ロボットのカメラ方向の変更量を、前回撮像した画像も重なる程度にすることで、境界における指定場所の欠落を無くすことができる。
さらに、ポインタが外れた画像位置が、カメラ方向変更後の画像の中心位置になるように、カメラの方向変更量を計算し、カメラの方向を変更すれば、指定したい位置が画像角部近傍の外にあるとき、次の画像で確実に指定した場所を選択できる。
また、上記において、移動ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするようなポインタ位置を計算して、その位置にポインタを表示することで、ユーザは床面の指定位置を連続的に移動操作できるようになり操作性が向上する。例えば、画像右端にあったポインタはカメラを右旋廻した後に取得した画像では画像左よりに変更される。
【0009】
【発明の実施の形態】
図1は本実施例の移動ロボットシステムの機能構成を示すブロック図である。
同図に示すように、移動ロボットの制御ユニット10は、無線デバイス1dに接続される送受信部15と、送受信部15で受信した指令を、移動ロボット1の動作指令として出力する動作指令部16と、動作指令部16の出力に基づきカメラ11のパンチルト角を制御するパンチルト部12と、動作指令部16が出力する動作指令に基づき、赤外線発信/受信機等を備えた操作部14や移動部13の移動用モータを駆動するための駆動制御部17を備えている。
また、上記移動ロボット1にデータ伝送網3を介して接続される携帯電話2は、上記移動ロボットと送受信するための送受信部21と、送受信部21で受信された画像や該画像上にポインタを表示するための表示制御部22と、表示部23と、表示部23に表示されるポインタの位置を動かすためのポインタ位置操作ボタン24と、画面上に表示するポインタの位置を計算するポインタ位置/カメラ視線方向計算部25を備えている。
なお、前記したように、上記ポインタ位置操作ボタン24は、携帯電話が備える各種操作ボタンを兼用して使用することができ、また、送受信部21、表示制御部22、表示部23も携帯電話が本来通話・通信のために備えているものをそのまま用いることができる。
【0010】
図2は、上記移動ロボットの構成例を示す図である。
移動ロボット1は、同図に示すようにCPUを搭載した基板1a、プログラムやデータを記憶するROM1b、周囲の状況を撮影するカメラ11、パンチルト角を操作してカメラ11の視線方向を制御するパンチルト部12、移動用モータ1bを備えた移動部13、家電機器等を操作するための赤外線発信/受信器を備えた操作部14、前記した無線LAN、携帯電話、BlueTooth等の無線デバイス1d、各種データを保存する記憶デバイス(ハードディスクやコンパクトフラッシュなど)1e等から構成される。
また、距離等を計測するセンサ1fといったデバイスが接続されていてもよく、また、マイク1g、スピーカ1hや、液晶ディスプレイ1i、状態等を表示するためのLED1j、移動ロボット1を動作を開始させたり、各種設定を行うための押しボタンスイッチ1kやポインティングデバイス1m、電池1n等が搭載されていてもよい。
【0011】
移動ロボット1は、ユーザが携帯電話2からデータ伝送網3を介して送出する指令を上記無線デバイス1dで受信して、受信した指令に応じて移動し、前記したように家電機器等の操作を行ったり、周囲の状況等を監視する等の作業を行う。例えば、前記したように、携帯電話2の画面上で、ポインタにより位置を床面位置を指定することにより、移動ロボット1を指定した位置まで移動させ、その位置でロボットに所望の操作をさせることができる。また、指定した床面位置を初期位置として記憶させ、その位置から所定の走行経路でロボットを移動させる等を動作をさせることもできる。
上記移動ロボット1の制御は、前記ROM1b等に記憶された制御プログラムをCPU基板1aの搭載されたCPUが実行することにより行われ、ユーザが携帯電話2で指定した床面位置のデータや、移動ロボット1の各種ログ情報等のデータは上記記憶デバイス1eに記憶される。
【0012】
図3は、本実施例の移動ロボットシステムの処理を示すフローチャートである。図3において、携帯電話から移動ロボットにカメラ画像を要求すると(ステップS1)、移動ロボットは、カメラ11で受像した周囲環境画像を、送受信部15、無線デバイス1d、データ伝送網3を介して携帯電話に送信する(ステップT1)。
携帯電話では、移動ロボットから送信されるカメラ画像を送受信部21で受信し、表示制御部22により表示部23に表示するとともに、画像上の所定位置ににポインタを表示する(ステップS2)。ユーザは前記したように携帯電話の操作ボタンを操作して、ポインタを指定に移動させる(ステップS3)。
ここで、ユーザが指定したい位置が画像内で、ポインタが画像外に出ない場合には、ステップS4からステップS9に行き、ポインタ位置を移動ロボットに送信する(ステップS9)。
ポインタ位置を受信した移動ロボットは、ポインタが指す床面の位置計算を行い(ステップT4)、ポインタが指す位置を記憶し(ステップT5)、その位置へ移動ロボットを移動させる等の動作を行う。
【0013】
移動ロボットにおける床面位置の計算は次のように行われる。
前記したように、移動ロボット1の移動部13にたいするカメラ11の位置、向きはロボット内部の制御データとして既知であり、携帯電話の画像上で指示したポインタの位置が、床のどの位置を示しているか3角測量の原理で算出することができる。
例えば図4は床面に垂直で、カメラの視線軸Kを通る面の幾何的説明図である。カメラの撮像素子面Q上のポインタ位置をPとする。床に対するカメラ11の角度T、床からのカメラの高さH、カメラの画角Aはロボットの内部データとして既知の値である。
携帯電話の画像上で指定したポインタの位置Pは床面上のXを指定していることになる。携帯電話の画像上で指定したポインタの位置Pに対応するカメラの視線軸KとポインタPの成す角、データBを移動ロボットに送信すると。移動ロボット側では以下の式(1)を計算することで、携帯電話のポインタが示す床面位置を計算することができる。
X=H×tan(T−B)…(1)
なお、図4はポインタによる画像上の上下位置指定をしめすが、左右方向に対しても同様の原理で床面位置を計算できる。
【0014】
一方、図5(a)に示すように、ユーザが指定したい位置が携帯電話の画像外の場合、ユーザはポインタを同図の矢印ように移動させる。そして、ポインタが移動限界位置を越えると、図3のステップS4からステップS5に行き、ポインタ位置/カメラ視線方向計算部25では、ポインタが画像内に入るカメラの視線方向(パンチルト角)を計算する(ステップS5)。そして、カメラのパンチルト角を移動ロボットに送信する(ステップS6)。
移動ロボットは、上記パンチルト角を受信すると、パンチルト部12によりカメラ11の視線方向(パンチルト角)を操作し(ステップT2)、カメラ11の視線方向を変えた画像を携帯電話に送信する(ステップT3)。
これにより、携帯電話の画面上には、図5(b)に示すように、新たな周囲環境画像が表示される(ステップS8)。
この段階では携帯電話の画面上のポインタ位置は、同図の白抜きで示したポインタのように画像の右端にあるはずであるが、携帯電話のポインタ位置/カメラ視線方向計算部25は、上記カメラの視線方向の動きをキャンセルするポインタ位置を計算し、図5(b)の矢印に示すようにポインタを画面の左端に移動させる(ステップS8)。上記のようにポインタ位置を移動させることにより、ユーザは、前回の画像上においてポインタがあった位置を認識することができ、操作性を向上させることができる。
【0015】
図5では、カメラ11の視線方向を、それまでに表示されていた画像の右隣の画像が携帯電話の画面上に表示されるように変化させているが、例えば、図6(a)に示すように、新たに表示される画像が、今まで表示されていた画像に重なるように、カメラの視線方向を変更するようにしてもよい。
また、図6(b)に示すようにポインタを外れた位置が、新たに表示される画像の中心位置になるように、カメラの視線方向を変更させるようにしてもよい。
上記図6(a)(b)に示す場合にも、カメラの視線方向の動きをキャンセルするようにポインタの位置を移動させれば、ユーザは、前回の画面でポインタがあった位置を認識することができ、操作性を向上させることができる。
【0016】
図5、図6に示すように、携帯電話の画面上に新たな周囲環境画像が表示されたら、ユーザは、その画像上でポインタを指定したい位置に移動させる(ステップS3)。そして、新たな画像上にユーザが指定したい位置があれば、前記したようにポインタ位置を移動ロボットに送信する(ステップS9)。
また、ユーザが指定したい位置が新たな画像上にない場合には、前記したようにポインタを移動限界位置を越える位置まで動かして、携帯電話の画面上に新たな周囲環境画像を表示させる。この操作をユーザが指定したい位置が携帯電話の画面上に表示されるまで繰り返し、ユーザが指定したい位置が画面上に表示されたら、ステップS9でユーザが指定した位置を移動ロボットに送信する。
【0017】
(付記1) 周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これらの全体を制御し、画像や端末からの指令データを送受信処理する制御ユニットを備え、端末のボタン操作により遠隔から操作可能な移動ロボットにおけるカメラ視線方向の制御方法であって、
上記移動ロボットから端末にカメラ画像を送信し、端末の画面上にロボットのカメラの画像を表示させ、
端末の画面上に表示されるポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向にロボットに搭載したカメラの視線方向を所定量移動させ、新たなロボット周囲環境画像を端末に自動送信する
ことを特徴とする移動ロボットにおけるカメラ視線方向制御方法(1)。
(付記2) 端末と、該端末のボタン操作により遠隔から操作可能な移動ロボットから構成される移動ロボットシステムであって、
上記移動ロボットは、周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これらの全体を制御し、画像や端末からの指令データを送受信処理する制御ユニットを備え、
上記端末は、移動ロボットのカメラ画像を受像して、端末の画面上に、カメラの画像を表示し、該画面上に、周囲環境画像上の特定位置を指定するためのポインタを表示し、上記ポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向に移動ロボットに搭載したカメラの視線方向を所定量移動させる指令を移動ロボットに送信し、
上記移動ロボットの制御ユニットは、上記指令に応じて移動ロボットに搭載したカメラの視線方向を所定量移動させ、新たなロボット周囲環境画像を端末に自動送信する
ことを特徴とする端末で遠隔操作可能な移動ロボットシステム(2)。
(付記3) 上記端末は、ロボットのカメラ方向の変更量を、カメラ方向変更前に撮像した画像も重なる程度に変更する指令を移動ロボットに送信する
ことを特徴とする付記2記載の端末で遠隔操作可能な移動ロボットシステム(3)。
(付記4) 上記端末は、ポインタが外れた画像位置が、カメラ方向変更後の画像の中心位置になるように、カメラの方向変更量を計算し、カメラの方向を変更する指令を移動ロボットに送信する
ことを特徴とする付記2または付記3記載の端末で遠隔操作可能な移動ロボットシステム。
(付記5) 上記端末は、ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするようなポインタ位置を計算して、計算された位置にポインタを表示する
ことを特徴とする付記2,3または付記4記載の端末で遠隔操作可能な移動ロボットシステム(4)。
(付記6) 周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これの全体を制御し、画像や携帯電話からの指令データを送受信処理する制御ユニットを備えた移動ロボットのカメラ視線方向を制御するプログラムであって、
上記プログラムは、
上記移動ロボットから送信されるカメラ画像を受信し、端末の画面上にロボットのカメラの画像を表示させるとともに、該画面上に周囲環境画像上の特定位置を指定するためのポインタを表示させる処理と、
ポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向にロボットに搭載したカメラの視線方向を所定量移動させる指令を移動ロボットに送出する処理と、
移動ロボットから送出される新たなロボット周囲環境画像を上記端末で受像し画面上に表示する処理をコンピュータに実行させる
ことを特徴とする移動ロボットのカメラ視線方向制御プログラム(5)。
(付記7) 端末のボタン操作により遠隔から操作可能な移動ロボットから構成される移動ロボットであって、
上記移動ロボットは、周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これらの全体を制御し、画像や端末からの指令データを送受信処理する制御ユニットを備え、
上記制御ユニットは、上記端末に、上記カメラで取得したカメラ画像を送信して、端末の画面上に、カメラの画像を表示させ、
上記画面上に表示される周囲環境画像上の特定位置を指定するためのポインタ位置が、該画面上に表示されるカメラ画像のエッジから外れたときに上記端末から送信されるカメラの視線方向の移動指令に応じて、移動ロボットに搭載したカメラの視線方向を外れた方向に所定量移動させるとともに、新たなロボット周囲環境画像を端末に自動送信する
ことを特徴とする端末で遠隔操作可能な移動ロボット。
(付記8) 周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これの全体を制御し、画像や携帯電話からの指令データを送受信処理する制御ユニットを備えた移動ロボットを遠隔制御する端末であって、
上記端末は、
上記移動ロボットから送信されるカメラ画像を受信し、端末の画面上にロボットのカメラの画像を表示するとともに、該画面上に周囲環境画像上の特定位置を指定するためのポインタを表示する手段と、
ポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向にロボットに搭載したカメラの視線方向を所定量移動させる指令を移動ロボットに送出する手段とを備え、
移動ロボットから送出される新たなロボット周囲環境画像を端末で受像し画面上に表示する
ことを特徴とする移動ロボットを遠隔制御するための端末。
【0018】
【発明の効果】
以上説明したように、本発明においては、ポインタの位置が画像のエッジから外れるまで指定された場合、カメラの視線方向をポインタがエッジから外れる方向に変更し、端末の画面上に新たな画像を表示するようにしたので、ユーザは真に指定したい床面を常にポインタの位置の移動操作だけで指定できるようになり、操作性が向上する、また操作性の向上は、操作ミスの低減に繋がり、データ通信量の削減が期待できユーザにとって通信経費の負担も少なくなる。
【図面の簡単な説明】
【図1】本発明の実施例の移動ロボットシステムの機能ブロック図である。
【図2】本発明の実施例の移動ロボットの内部構成例を示す図である。
【図3】本実施例の移動ロボットシステムの処理を示すフローチャートである。
【図4】ポインタ位置で指示した床面位置の幾何学的関係を説明する図である。
【図5】ポインタが移動限界位置を越えたとき、表示される画像の1例を説明する図である。
【図6】ポインタが移動限界位置を越えたとき、表示される画像の他の例を説明する図である。
【図7】移動ロボットを携帯電話等を用いて遠隔から制御する場合の概念図である。
【図8】移動ロボットの構成例を示す図である。
【図9】携帯電話における画像上のポインタの操作方法の一例を示す図である。
【図10】ポインタ位置指定における床面指示の限界例を説明する図である。
【符号の説明】
1 移動ロボット
2 携帯電話等の端末
3 データ伝送網
10 制御ユニット
11 カメラ
12 パンチルト部
13 移動部
14 操作部
15 送受信部
16 動作指令部
17 駆動制御部
21 送受信部
22 表示制御部
23 表示部
24 ポインタ位置操作ボタン
25 ポインタ位置/カメラ視線方向計算部

Claims (4)

  1. 周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これらの全体を制御し、画像や端末からの指令データを送受信処理する制御ユニットを備え、端末のボタン操作により遠隔から操作可能な移動ロボットにおけるカメラ視線方向の制御方法であって、
    上記移動ロボットから端末にカメラ画像を送信し、端末の画面上にロボットのカメラの画像を表示させ、
    端末の画面上に表示されるポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向にロボットに搭載したカメラの視線方向を所定量移動させ、新たなロボット周囲環境画像を端末に自動送信し、
    上記端末は、ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするようなポインタ位置を計算して、計算された位置にポインタを表示する
    ことを特徴とする移動ロボットにおけるカメラ視線方向制御方法。
  2. 端末と、該端末のボタン操作により遠隔から操作可能な移動ロボットから構成される移動ロボットシステムであって、
    上記移動ロボットは、周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これらの全体を制御し、画像や端末からの指令データを送受信処理する制御ユニットを備え、
    上記端末は、移動ロボットのカメラ画像を受像して、端末の画面上に、カメラの画像を表示し、該画面上に、周囲環境画像上の特定位置を指定するためのポインタを表示し、上記ポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向に移動ロボットに搭載したカメラの視線方向を所定量移動させる指令を移動ロボットに送信し、
    上記移動ロボットの制御ユニットは、上記指令に応じて移動ロボットに搭載したカメラの視線方向を所定量移動させ、新たなロボット周囲環境画像を端末に自動送信し、
    上記端末は、ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするようなポインタ位置を計算して、計算された位置にポインタを表示する
    ことを特徴とする端末で遠隔操作可能な移動ロボットシステム。
  3. 上記端末は、ロボットのカメラ方向の変更量を、カメラ方向変更前に撮像した画像も重なる程度に変更する指令を移動ロボットに送信する
    ことを特徴とする請求項2記載の端末で遠隔操作可能な移動ロボットシステム。
  4. 周囲環境を撮像するカメラ、そのカメラの向きを変更するパンチルト部、ロボットを走行させる移動部、および、これの全体を制御し、画像や携帯電話からの指令データを送受信処理する制御ユニットを備えた移動ロボットのカメラ視線方向を制御する処理をコンピュータに実行させるプログラムであって、
    上記プログラムは、
    上記移動ロボットから送信されるカメラ画像を受信し、端末の画面上にロボットのカメラの画像を表示させるとともに、該画面上に周囲環境画像上の特定位置を指定するためのポインタを表示させる処理と、
    ポインタの位置がカメラ画像のエッジから外れるまで指定されたとき、外れた方向にロボットに搭載したカメラの視線方向を所定量移動させる指令を移動ロボットに送出する処理と、
    移動ロボットから送出される新たなロボット周囲環境画像を上記端末で受像し画面上に表示する処理と、
    ロボットに搭載したカメラの方向を変更した直後に、カメラの方向の変更量をキャンセルするようなポインタ位置を計算して、計算された位置にポインタを表示する処理をコンピュータに実行させる
    ことを特徴とする移動ロボットのカメラ視線方向制御プログラム。
JP2003052160A 2003-02-28 2003-02-28 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム Expired - Fee Related JP4131675B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003052160A JP4131675B2 (ja) 2003-02-28 2003-02-28 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003052160A JP4131675B2 (ja) 2003-02-28 2003-02-28 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム

Publications (2)

Publication Number Publication Date
JP2004255552A JP2004255552A (ja) 2004-09-16
JP4131675B2 true JP4131675B2 (ja) 2008-08-13

Family

ID=33117093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003052160A Expired - Fee Related JP4131675B2 (ja) 2003-02-28 2003-02-28 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム

Country Status (1)

Country Link
JP (1) JP4131675B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6393991B2 (ja) * 2014-01-24 2018-09-26 トヨタ自動車株式会社 ロボット、及びその制御方法
JP7052652B2 (ja) * 2018-09-06 2022-04-12 トヨタ自動車株式会社 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム

Also Published As

Publication number Publication date
JP2004255552A (ja) 2004-09-16

Similar Documents

Publication Publication Date Title
JP5439347B2 (ja) 操作制御装置
JP6035717B2 (ja) 車両制御装置および携帯情報端末用コンピュータプログラム
KR100645379B1 (ko) 로봇 제어 시스템 및 로봇 제어방법
US20180332213A1 (en) Methods and apparatus for continuing a zoom of a stationary camera utilizing a drone
US7139562B2 (en) Remote control device
JP4252333B2 (ja) 移動ロボット
KR20120027696A (ko) 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
US11375162B2 (en) Remote terminal and method for displaying image of designated area received from mobile robot
WO2013137191A1 (ja) 遠隔制御システム、遠隔制御方法、通信装置及びプログラム
EP1761042A2 (en) Remote camera platform system
JP2012029136A (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
JP4765209B2 (ja) 遠隔操作システム
CN105808062A (zh) 一种用于控制智能装置的方法和终端
JP2017227946A (ja) 位置誘導システムおよび飛行体
JP2006139525A (ja) 自律移動型ロボット
CN1578351B (zh) 移动终端及其光标位置通知方法
US9332142B2 (en) Cooperation system, image forming apparatus, portable information device, remote control method, and remote operation method
JP4131675B2 (ja) 移動ロボットのカメラ視線方向制御方法および移動ロボットシステム
JP2004064418A (ja) 無線通信システム及び携帯電話機並びに携帯電話機で実行可能なプログラム
JP5092841B2 (ja) 車載表示装置用の遠隔操作装置および遠隔装置用のプログラム
JPH10322581A (ja) 撮像装置コントローラおよび撮像システム
JP2004356803A (ja) 遠隔機器操作システム,そのシステムにおける操作端末および撮像装置
JP5661905B2 (ja) 操作制御装置
JP3864420B2 (ja) テレビジョン受像機
JP4508998B2 (ja) 遠隔カメラ制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080527

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees