JPWO2003102706A1 - 遠隔操作ロボットおよびロボット自己位置同定方法 - Google Patents
遠隔操作ロボットおよびロボット自己位置同定方法 Download PDFInfo
- Publication number
- JPWO2003102706A1 JPWO2003102706A1 JP2004509527A JP2004509527A JPWO2003102706A1 JP WO2003102706 A1 JPWO2003102706 A1 JP WO2003102706A1 JP 2004509527 A JP2004509527 A JP 2004509527A JP 2004509527 A JP2004509527 A JP 2004509527A JP WO2003102706 A1 JPWO2003102706 A1 JP WO2003102706A1
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- remote control
- remote
- room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004891 communication Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000013515 script Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 28
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0227—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area
- G05D1/0229—Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area in combination with fixed guiding means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明はロボットの制御や利用の技術に関し、特に例えば建物の中に置かれ、遠隔地から例えばインターネットを介して遠隔操作が可能なロボットの制御と利用の技術に関し、またロボットの現在の位置と方向を正確に認識するためのロボット自己位置同定方法に関する。
背景技術
従来において、遠隔地から留守宅などを監視するためにインターネットカメラが用いられている。しかしながらこのインターネットカメラはその設置場所が固定であり、建物の中の各部屋の状態を見たい時には全ての部屋へのカメラの設置が必要であり、また複数のカメラとホストコンピュータとの接続が複雑になり、コストが増大するという問題点があった。
また遠隔地から留守宅用の家庭電気機器を操作するために、LANに接続可能な情報家電が開発されつつあるが、LAN接続できない従来からの電気機器を操作できないという問題点がある。
更に例えば建物の中を移動可能な自律移動型ロボットにおいて、ユーザから指示された作業を行うためにはまず自己の位置を認識する必要がある。また一般にロボットを自律移動させるためには、ロボットが認識しやすい白い線などのランドマークが必要である。
しかしながら一般の住宅などにおいては、特徴的なランドマークを住宅内につけることは不可能であり、また既存の特徴点をランドンマークとして記録しても、ロボットの位置によってカメラの画像上で対象物の大きさが変化することから、ランドマークを画像のみから簡単に判断することは難しいという問題点があった。
本発明の目的は、以上の問題点に鑑み、建物内でロボットが移動すべき目的位置を遠隔地から簡単に指示することができ、また各部屋の状況を遠隔地からモニタしたり、各部屋にある家庭電器機器を操作したりする機能を持つ遠隔操作ロボットを比較的低コスト、かつ簡単な構成で実現することであり、またロボットが自己の位置と向きを正確に固定することができるロボット自己位置同定方法を提供することである。
発明の開示
図1は本発明の遠隔操作ロボットの原理構成ブロック図であり、ロボット1は間取り図格納手段2、通信手段3、および移動制御手段4を備える。
間取り図格納手段2は建物、例えば住宅の間取り図を格納するものであり、通信手段3はその間取り図内で遠隔地側から指示される位置を、例えばネットワークを介して遠隔地側の端末から受け取るものであり、移動制御手段4は指示された位置へのロボットの移動を制御するものである。
発明の実施の形態においては、遠隔操作ロボットは障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を備えることもできる。またロボットは、建物内での現在の位置と方向を同定する自己位置同定手段を更に備え、移動制御手段4がその同定結果に基づいてロボットの移動を制御することもできる。
本発明においては、図1の通信手段3は建物の間取り図内の部屋の指示を遠隔地側の端末から受け取ることもでき、この名場合には移動制御手段4は指定された部屋の、例えば入り口へのロボットの移動を制御する。
また本発明の遠隔操作ロボットは、建物内の画像を撮影する画像撮影手段と、定期的/または不定期的にロボットが建物内を巡回して画像撮影手段によって撮影された画像を、外部からネットワークを介して参照可能なメモリを有する計算機、例えばインターネットに接続されたWebサーバに送る通信手段を備える。あるいはこのような計算機、例えばWebサーバをロボット自体の内部に備えてもよい。
この場合実施の形態において、画像撮影手段による撮影方向を変化させるための旋回手段と、画像撮影手段による撮影方向と並行に機器、例えば家庭電気機器の操作のための赤外線の投光/受光を行う赤外線投光/受光手段を更に備えることもできる。また前述の段差乗り越え手段を備えることもできる。
さらにこの場合、通信手段が外部からインターネットを介して送られるリンガ信号があらかじめ定められた回数だけ着信した時に、前述の計算機、例えばWebサーバの起動を行うこともできる。
次に本発明の遠隔操作ロボットは、ロボットの1つ以上の動作に対応するそれぞれのスクリプトのプログラムを格納するスクリプト格納手段と、格納されているプログラムのいずれかの実行の指示を外部から受け取る通信手段とを備える。
本発明の遠隔操作ロボットは建物内の人間、例えば住宅の居住者から外部に対する緊急時の連絡指示を受け取る指示受け取り手段と、その指示に応じてあらかじめ定められた外部端末に緊急連絡を行う通信手段とを備える。
この場合実施の形態において、ロボットは建物内の画像を撮影する画像撮影手段と、画像撮影手段の撮影方向を変化させるための旋回手段と、外部からの撮影方向の指示に応じて、画像撮影手段によって撮影された画像を外部に送る通信手段とを備えることもできる。
本発明のロボット自己位置同定方法は、画像撮影方向を変化できるカメラを搭載したロボットによって実行されるものであり、あらかじめロボットが移動する可能性のある各部屋のパノラマ画像を撮影し、そのパノラマ画像から複数のブロック画像を切り出して参照画像を作成し、ロボットが存在する位置において撮影されたパノラマ画像内でそのブロック画像と同一の大きさの画像と参照画像とを用いて、相関演算とDPマッチングによってロボットが存在する部屋を識別する方法が用いられる。
この場合実施の形態においては、部屋内であらかじめ撮影されているランドマークの画像を参照テンプレートとして、ロボットが存在する位置で撮影された画像上でのそのランドマークの位置を求め、ランドマークまでの距離をステレオ視により計測して、識別された部屋の中での自己の位置と方向を同定することもできる。
更に実施の形態においては、撮影されているランドマークの画像内の縦線を抽出し、2つのカメラの撮影方向とその縦線の方向とがなす2つの角を用いて、ロボットの位置と方向とを精密に同定することもできる。
以上のように本発明によれば、例えば遠隔地側から建物の間取り図内で、ロボットが移動すべき目的位置や目的の部屋の指示を与えることができる。またロボットが移動する可能性のある各部屋のパノラマ画像を用いることにより、ロボットが存在する部屋の識別が可能となる。
発明を実施するための最良形態
図2は本実施形態における遠隔操作ロボットの構成ブロック図である。同図においてロボットは制御用計算機10、移動機構11、ロボットの周囲を撮影するためのカメラ12、カメラの水平回転角度と仰角、または俯角を調整するためのパンチルト台13、例えばカメラ12と同一の台上に設けられ、カメラ12の撮影方向と並行に赤外線を送信し、リモコンデータを学習するために赤外線を受信する赤外線送受信機14、無線通信部15、入力デバイス16、ポインティングデバイス17、表示デバイス18、各種スイッチ19、および各種センサ20を備えている。
図2において、カメラ12は、例えばビデオカメラであり、赤外線送受信機14はカメラ12の近傍に設置され、その撮影方向と同一の方向に赤外線を送信できるものとする。その台はカメラ旋回機構としてのパンチルト台13によって任意の方向に向けられ、例えば遠隔地から、カメラ12の画像を見ながら、その方向にある家電機器の操作を行うために赤外線を送信することができる。
無線通信部15は、このような遠隔地からの操作を携帯電話、PDA(パーソナル・ディジタル・アシスタント)などの携帯情報端末、またはパーソナルコンピュータなどによって実行可能にするための通信を行うものである。
図3は遠隔地からのロボット操作方式の説明図である。本実施形態においてはネットワーク、例えばインターネットを介して遠隔地からロボットを操作できるものとし、そのためにロボット側にWebサーバを設けるものとする。
図3では、図2のロボット制御用計算機10の内部にWebサーバ21が設けられ、制御操作を実行する操作実行部22との間にCGI(コモン・ゲートウェイ・インタフェース)やISAPI(アイサッピ;インターネット・サーバ・アプリケーション・プログラミング・インタフェース)などのインタフェース23が備えられる。そして遠隔地からはWebブラウザ24、インターネット25を介してWebサーバ21へのアクセスが可能となる。
図3において、Webブラウザ24側からはメニュー選択によってインターネット25への接続が行われ、Webサーバ21ではWebブラウザ24側からの指示に応じてCGI/ISAPI23の呼び出しが行われ、CGI/ISAPI23においてコマンド形式がロボット操作に適した形に変更され、操作実行部22によって指令が実行される。
制御用計算機10側からは、操作実行部22から返送されるステータスや画像データがCGI/ISAPI23に送られ、データ形式が変更され、Webサーバ21によってhtmlファイルとしてインターネット25を介してWebブラウザ24側に提供され、Webブラウザ24側でメニュー表示や画像表示が行われる。
図4は遠隔操作ロボットの外観図である。左側は前面、右側は後面の外観を示す。前面には図2のカメラ12に相当するステレオカメラ31、赤外線送受信機14に相当する家電リモコン送信機32、各種スイッチ19に相当する電源スイッチ33、メニュースイッチ34、障害物検知センサとして用いられるバンパスイッチ35、および後述するように建物の住人が外部に緊急連絡を行うための緊急ボタン36が備えられている。
また移動部37は移動機構11に、モニタ38は表示デバイス18に、近接距離センサ39は各種センサ20に相当し、更にマイク40、スピーカー41、トラックポインタ42が備えられている。後面には図2のパンチルト台13に対応するパンチルトユニット43が備えられている。
図5は遠隔操作ロボット内部構造を示す。同図において図4のステレオカメラ31に相当するUSBカメラ、近接距離センサ39に相当する測距センサ、モニタ38に相当するLCDが示されている。
本実施形態では、ロボットの移動機構11として左右1個ずつのクローラと、1つ以上の回転自由な受動輪(補助輪)とを備えることによって、障害物や段差を乗り越えて、ロボットが移動できる機構を使用した。このクローラは、車輪回転軸の中心に垂直な平面内で旋回できる構造とし、信地旋回時にはクローラの形式よりもあたかも左右2つの車輪であるかのように動作する。また補助輪が点接触で地面に接触することが可能であり、接地点が安定し、ロボット全体の信地旋回中心が安定するため、ロボットの構体底面の高さよりも高い障害物を乗り越えることができる構造となっている。なお段差乗越機構としては、他の公知の技術を用いることも当然可能である。
図6は遠隔操作ロボットの部品構成図である。同図においてCPU基板51上のメインCPU53と、拡張基板52上のMPUコントローラ65が図2の制御用計算機10に相当し、図3に示した制御用計算機10の内部のWebサーバ21は、例えばメインCPU53を中心として構成することができる。あるいは後述するようにWebサーバをロボットとは別に設けることができ、その場合にはロボットとインターネットの間にサーバ計算機が別個に備えられる。
図6においてメインCPU53にはポンティングデバイス54、ユーザ拡張用USB(ユニバーサルシリアルバス)ポート55、マイク56とスピーカ57が接続された音声コーデック58、LCD59が接続されたLCDインタフェース60、それぞれコントロール部を介したCF(コンパクトフラッシュ)メモリ61と通信モジュール62が接続されている。
またMPUコントローラ65およびHUB64にはCMOSカメラ66、図2のパンチルト台13の回転を制御するための2つのモータ67、移動機構11としての図5のクローラおよび受動輪を回転させるための3つのモータ68、LEDや押ボタンスイッチが搭載されたスイッチサブ基板69、距離センサ70、パン(水平回転角)用ポテンショメータ71、チルト(仰俯角)用ポテンショメータ72、赤外線送信機73、赤外線受信機74、ACアダプタ75と電池76が接続されたDC/DC充電回路77が備えられている。
図7は本実施形態において、遠隔地から間取り図に対応する移動先の目的位置の指示を受ける場合の、ロボットの処理の説明図である。同図においては、ロボット側で建物の間取り図をあらかじめメモリ上に格納しておき、遠隔地のクライアントの端末側にその間取り図の画像を送り、クライアントが間取り図上でロボットの移動目的位置をロボット側に指示することによって、ロボットがその目的地に向かって移動するための処理が実行される。
図7において処理が開始されると、まずステップS1でロボットによる自己位置の計測が行われる。この自己位置の計測については後述する。そしてステップS2で遠隔地のクライアント側から、そのクライアント側で、例えば移動端末上で表示可能な画像サイズのデータの送信を受ける。
続いてステップS3で、メモリ上に保持されている間取り図画像のサイズを、クライアント側から送られた画像サイズのデータを用いてそのサイズに変換し、その変換スケールを保存し、ステップS4でステップS1で計測した自己位置の情報を含んだ間取り図の画像をクライアント側に送り、ステップS5でクライアント側から指示された目的地の位置の座標を取得する。
次にステップS6で、ステップS3で保存した変換スケール情報とクライアントから指示された目的位置の座標から、実スケールにおける目的地座標を計算し、ステップS7で目的地までの経路を生成し、ステップS8で目的地に向かって移動を行い、ステップS9で目的地まで移動したか否かを判定し、移動が完了するまではステップS8以降の処理を繰り返し、移動が完了したと判定した時点で処理を終了する。
図8は、図7の処理において遠隔地側のクライアントの携帯電話などの端末における間取り図の表示例である。同図においては表示画面上に間取り図が示され、ロボットの現在位置とその向きが寝室上の三角印で、またクライアントから指示されるロボットの移動目標位置がリビング上のカーソルで表示されている。
図9は、クライアント側から移動目的位置ではなく、移動すべき目的の部屋の名称、または部屋番号などが指示される場合のロボットの処理の説明図である。同図において図7と異なる部分について説明する。
図9において処理が開始されると、ステップS1,S2の処理が行われるが、クライアント側から目的の位置ではなく、部屋の名称などが指示されるため、図7のステップS3での変換スケールの保存は必要なく、直ちにステップS4において自己位置情報を含む間取り画像がクライアントに送信され、図7のステップS5,S6の処理の代わりに、ステップS10でクライアント側から移動すべき目的の部屋名、または部屋番号のデータを受け取り、ステップS11で目的の部屋名、または部屋番号から、あらかじめ登録しておいた各部屋毎の目標位置、例えば部屋の入口の位置を示す対応表を用いて目標位置の座標が得られ、その後図7と同様にステップS7〜S9の処理が実行される。
図10は、図9の処理に対応するクライアント側の端末の表示画面の例である。同図においては、表示画面上に間取り図と移動目標位置を指示するためのメニューが表示され、クライアントはメニュー上で特定の部屋を指示することにより、ロボットはその部屋への移動の処理を実行する。ここでは間取り図が表示画面上に表示されるものとしたが、間取り図の表示自体は必ずしも必要がなく、クライアント側に目的の部屋名などの指示を行わせるだけとすることによって処理が軽減され、処理を高速化することができる。
次に、例えば図7のステップS1におけるロボットの自己位置の取得、すなわち自己位置同定方法について説明する。本実施形態においては、あらかじめロボットによって建物内の各部屋のパノラマ画像を撮影して登録しておき、現在ロボットが存在する部屋で撮影したパノラマ画像と比較することによって、ロボットの存在する部屋、および正確な位置の同定を行うことにする。
図11はあらかじめ建物内の各部屋のパノラマ画像を登録する場合のパノラマ画像撮影方法の説明図である。すなわち準備段階として、各部屋においてロボットを部屋の、例えば中心に設置し、例えば30度のステップでカメラを旋回させて画像を取得、合成し、例えば縮小処理を行うことによって360度のパノラマ画像が作成される。ここで計算などの処理時間を短縮するために、全体を圧縮したり、またあまりに鮮明な画像では位置を同定する際に撮影した画像とのマッチング結果が悪くなる可能性があるため、平均化処理を行う。
図12はロボットの存在する部屋の同定処理のフローチャートであり、図13はその同定処理において用いられる画像相関演算の説明図である。まず図12において処理が開始されると、ステップS20〜S22において、図11で説明した準備段階としてのパノラマ画像の撮影と、実際の位置同定時に使用される参照テンプレートの作成が行われる。
すなわちステップS20でロボットが移動する可能性のあるエリアの各部屋についてパノラマ画像が撮影され、ステップS21でそのパノラマ画像が縮小され、かつ平均化処理が施され、ステップS22でそのパノラマ画像から、例えば等ピッチ、すなわち横方向に等間隔で小ブロックの画像が切り出され、その画像が拡大、あるいは縮小(拡縮)されて、参照テンプレートが作成される。
図13の上の図はこのように小ブロックとして切り出された画像の例である。例えばn個の部屋の登録画像として、それぞれの部屋のパノラマ画像から、k個の小ブロックの画像がそれぞれ切り出される。
図12のステップS23以降の処理は、現在ロボットが存在する部屋の同定処理を示す。まずステップS23でロボットが現在存在する部屋についてパノラマ画像が撮影され、ステップS24でそのパノラマ画像が縮小され、かつ平均化処理が施され、ステップS25以降で参照テンプレートとの比較が行われる。
図13の下の画像はロボットが現在存在する部屋の切り出し画像の例である。現在存在する部屋のパノラマ画像において、切り出しを開始した位置を探索基準位置として、探索範囲としてxrange個の小ブロックの画像を用いて、n個の部屋の登録画像との比較が行われる。
図12のステップS25で登録されている全ての部屋について処理が行われたか否かが判定され、まだ行われていない場合にはステップS26で参照ブロックナンバ、すなわち図13のn個の部屋のそれぞれについて登録されている切り出し画像のk個についてまだ参照が終わっていないか否かが判定される。
終わっていない場合にはステップS27で探索範囲ナンバ、すなわち図13の現在ロボットが存在する部屋のパノラマ画像における探索基準位置からxrange画素の探索範囲についての探索が終わっていないか否かが判定され、終わっていない場合にはステップS28で拡縮ナンバ、すなわちステップS22で切り出された小ブロック画像を拡大または縮小した結果の画像としてのn個の画像のうちで、現在の部屋の画像との比較が行われた画像のナンバがnに達していないか否かが判定される。
まだnに達していない場合にはステップS29で参照テンプレート、すなわち処理の対象となっている部屋の、処理の対象となっている小ブロック画像の、処理の対象となっている拡縮ナンバの参照テンプレートと、探索範囲ナンバによって指定されている現在の部屋のパノラマ画像との相関演算が行われる。そしてステップS30で拡縮ナンバがインクリメントされ、ステップS28以降の処理が繰り返される。
ステップS28で拡縮ナンバがn以下でない、すなわちn個の拡縮ナンバの画像について処理が終了したと判定されると、ステップS31で処理中の探索範囲ナンバの画像について最も相関演算結果が小さい拡縮ナンバの画像がその探索位置における探索結果とされた後に、ステップS32で探索範囲ナンバの値がインクリメントされて、ステップS27以降の処理が繰り返される。なおここでは相関演算として、例えば画像毎の濃度の差の絶対値に相当するディストーションを求めるものとし、その値が小さい程、画像の間のマッチング率が大きくなる。
ステップS27で探索範囲ナンバがxrange以下でないと判定されると、処理中の参照ブロックナンバの画像に対する比較が終了したことになるため、ステップS33で参照ブロックナンバがインクリメントされた後に、ステップS26以降の処理が繰り返される。
ステップS26で参照ブロックナンバがk以下でないと判定されると、処理中の部屋に対する比較が終了したことになるため、ステップS34でその部屋についての相関結果としての小ブロック画像k個と、探索範囲xrangeによって決まる二次元マトリックスが生成され、ステップS35で相関演算の演算結果と距離とをパラメータとして、例えばダイナミックプログラミング(DP)マッチングを行うことによってコストが算出され、処理中の部屋についてのコスト最小値が求められる。
なお前述の小ブロック画像数k個と、探索範囲のxrange個とで行数と列数が決定される2次元マトリックスの各要素は、図13のk個の小ブロック画像を拡縮させたそれぞれn個の参照テンプレートの中で、現在のパノラマ画像の各探索位置の画像との間での相関演算値が最も小さい参照テンプレートに相当するデータとなる。
またDPマッチングにおける距離は図13の下の図で探索基準位置を基準とする横方向の距離、すなわちxrangeの値に相当し、相関演算結果と距離とをパラメータとしてコストを最出する、一般的なDPマッチングを実行することによって、ステップS35で処理中の部屋に対する最小コストの値が求められる。
そしてステップS36で部屋ナンバがインクリメントされ、ステップS25以降の処理が繰り返され、ステップS25で全ての部屋について処理が行われたと判定された時点で、ステップS37で、ステップS35で各部屋について算出されたコストの中でコスト最小の部屋が現在ロボットが存在する部屋と判定されて、処理を終了する。
図14,図15は、図12の処理においてロボットが存在する部屋が同定された後に、その部屋の中でロボットの位置を同定する処理のフローチャートである。図14はロボットの概略位置の同定処理、図15は精密位置の同定処理のフローチャートである。
図14において処理が開始されると、まず実際のロボットの位置の同定に先立って、ステップS40で、図11で説明したようにして撮影され、登録されたパノラマ画像の中でランドマーク、例えば柱が選択され、その画像上の位置と実際の部屋における位置が登録され、ステップS41で柱の画像がパノラマ画像から切り出され、拡縮テンプレートが生成される。
続いて実際のロボットの概略位置の同定処理として、まずステップS42でロボットが現在存在する部屋、すなわち図12の処理によって同定された部屋と同じ部屋の柱の拡縮テンプレートを参照画像として相関演算が行われ、現在のパノラマ画像中の柱の位置が特定され、ステップS43で特定された柱の位置までのロボットからの距離がステレオ視により求められ、ロボットの存在する概略的な位置が同定される。
図16はこのようにして求められたロボットの位置の説明図である。同図においては、例えば部屋の4つの隅の柱からの距離がステップS43で求められ、それぞれの距離に相当する円弧の交点に相当する四角形の内部がロボットの概略的な位置の同定結果として求められる。
図15は、図14において求められたロボットの概略位置から更に精密位置を同定する処理のフローチャートである。同図において処理が開始されると、まずステップS45で柱の画像から縦線、すなわち柱のエッジを抽出するために(1)でエッジの抽出、(2)で二値化、(3)で縦方向に投影したヒストグラムが求められる。縦方向に投影したヒストグラムとは、縦方向に検出されるエッジの中で、例えば机のように高さが低いもののエッジはそのヒストグラムの値が小さくなるため、最大値を持つエッジを柱のエッジとして求めるためのものであり、これによって柱のエッジが抽出される。
続いてステップS46で、抽出された縦線、すなわち柱のエッジと2つのカメラのそれぞれの撮影方向とがなす角度が求められる。
そしてステップS47で、部屋の中でのロボットの存在する位置と方向を精密に求めるために、部屋の中でマトリックス状に仮想的なポイントが設定され、各ポイントでロボットの向きをパラメータとして、そのロボットの位置と姿勢に対応する柱の縦線と2つのカメラの撮影方向がなす角度が求められ、ステップS46で求められた角度の値との差に対応する値がコストとして算出され、ステップS48でそのコストが最小となる位置と方向がロボットの現在の位置と方向の精密な値として求められて処理を終了する。
図16の四角形内の三角形が、図15の処理によって同定されたロボットの現在の精密な位置と方向を示す。このようにして同定されたロボットの位置と方向のデータが、必要に応じて、例えば図2の無線通信部15によってクライアント側に通知される。
次に図10に続いて遠隔操作ロボットに関する実施形態について更に説明する。図17は操作ロボットの遠隔地への緊急連絡処理のフローチャートである。図4で説明したようにロボットは緊急ボタンを備えており、例えば建物の住人が遠隔地に緊急事態を連絡したい場合に緊急ボタンを押すことによって、遠隔地に連絡が行われる。
すなわち図17において処理が開始されると、ステップS50で緊急ボタンが監視され、ステップS51で緊急ボタンが押されたか否かが判定され、押されていない場合にはステップS50以降の処理が繰り返され、押された場合にはステップS52であらかじめ登録された連絡先に電子メール、あるいは電話などの方法により緊急事態が通知されて、処理を終了する。
次に本実施形態において、ロボットによって撮影された建物内、例えば部屋の画像を遠隔地側から確認する方法について、図18、および図19を用いて説明する。図18においては、例えばロボット80が定期的に建物内を巡回し、撮影した各部屋の画像を、無線LANを介してWebサーバを備えるサーバ計算機81に送り、遠隔地側からはこのWebサーバにアクセスすることによって、画像を参照することが可能となる。
すなわちサーバ計算機81の内部には、ロボット80から送られた画像データを受け取るソケットサーバ82と、Webサーバ83が備えられ、ロボット80から送られた画像は、Webサーバ83内で外部から参照可能なフォルダの内部に蓄積される。遠隔地側ではWebブラウザ24によってインターネット25を介して画像取得指令をWebサーバ83に送り、Webサーバ83からインターネット25を介して送られた画像の表示を行うことになる。
なお、この場合例えば図6では通信モジュール62としてLANカードなどがコネクタにさしこまれて使用される。
図19では、図3におけると同様に、ロボット制御用計算機10の内部にWebサーバ21が備えられ、Webブラウザ24はインターネット25を介してWebサーバ21にアクセスすることによって画像を参照することができる。ここでは、例えばPHSカードなどが図6の通信モジュール62としてコネクタにさしこまれることになる。
なおインターネット25を介して、ロボット側にリンガ信号が所定の回数だけ着信した時点で、Webサーバ21を起動し、外部からのアクセスを可能とさせることもできる。
最後に本実施形態において、ロボット側にあらかじめ備えられているスクリプトを遠隔地側から指定して、あらかじめプログラムされている動作をロボットに実行させる方法を図20を用いて説明する。同図において、クライアント側ブラウザ85からの指示(コマンド)に対応して、遠隔操作ロボット86の内部のコマンド解析/実行部87によってそのコマンドが解析され、そのコマンドがスクリプトの選択とその実行を指示するものであれば、スクリプト選択/実行部88によって、あらかじめロボット側に備えられている複数のロボット動作スクリプト891〜89nのいずれかが選択され、その動作が実行される。
以上詳細に説明したように、本発明によれば遠隔地側の端末上に表示された、例えば間取り図の上で移動目的地を指示することにより、遠隔操作ロボットをその目的地に移動させることが可能となる。
また遠隔端末側から建物内の画像を確認したり、あらかじめプログラムされた動きを遠隔地側からロボットに実行させることも、また建物の居住者が緊急連絡を行うことも可能となる。
産業上の利用可能性
本発明はインターネット経由で家庭電気製品を操作したり、留守宅の状況を遠隔地からモニタする機能や、ロボットの自己位置の正確な同定方法を提供するものであり、遠隔操作ロボットを利用する全ての産業、および精密なロボットの自己位置の同定を必要とする産業などに利用することが可能である。具体的には家庭電気産業、ビル管理業など、様々な産業に利用することが可能である。
【図面の簡単な説明】
図1は本発明の遠隔操作ロボットの原理構成ブロック図である。
図2は本実施形態における遠隔操作ロボットの構成ブロック図である。
図3は遠隔地からのロボット操作方式の説明図である。
図4は遠隔操作ロボットの外観図である。
図5は遠隔操作ロボットの内部構造を示す図である。
図6は遠隔操作ロボットの部品構成を示す図である。
図7は移動先目的位置の指示に対するロボットの処理フローチャートである。
図8は図7の処理における遠隔地側端末における間取り図の表示例である。
図9は移動目的の部屋の名称が指示される場合のロボットの処理フローチャートである。
図10は図9の処理に対応する遠隔地側端末における表示画面の例である。
図11は部屋のパノラマ画像撮影方法の説明図である。
図12はロボットの存在する部屋の同定処理のフローチャートである。
図13は同定処理で用いられる画像相関演算の説明図である。
図14は存在する部屋の同定後のロボット位置の概略同定処理のフローチャートである。
図15は存在する部屋の同定後のロボット位置の精密同定処理のフローチャートである。
図16は図14,図15の処理で求められたロボットの位置の説明図である。
図17はロボットによる遠隔地への緊急連絡処理のフローチャートである。
図18はロボットによって撮影された画像を遠隔地側から確認する方法(その1)の説明図である。
図19はロボットによって撮影された画像を遠隔地側から確認する方法(その2)の説明図である。
図20はあらかじめプログラムされている動作をロボットに実行させる方法の説明図である。
Claims (16)
- 遠隔地から操作が可能な遠隔操作ロボットにおいて、
建物の間取り図を格納する、間取り図格納手段と、
該間取り図内の位置の指示を遠隔地の端末側から受け取る通信手段と。
該指定された位置へのロボットの移動を制御する移動制御手段とを備えることを特徴とする遠隔操作ロボット。 - 前記遠隔操作ロボットにおいて、
障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を更に備えることを特徴とする請求項1記載の遠隔操作ロボット。 - 前記遠隔操作ロボットにおいて、
該ロボットが前記建物内での現在の位置と方向を同定する自己位置同定手段を更に備え、
前記移動制御手段が、該同定の結果に基づいて、前記指定された位置への移動を制御することを特徴とする請求項1記載の遠隔操作ロボット。 - 遠隔地から操作が可能な遠隔操作ロボットにおいて、
建物の間取り図を格納する間取り図格納手段と、
該間取り図内の部屋の指示を遠隔地の端末側から受け取る通信手段と、
該指定された部屋へのロボットの移動を制御する移動制御手段とを備えることを特徴とする遠隔操作ロボット。 - 遠隔地から操作が可能な遠隔操作ロボットにおいて、
建物内の画像を撮影する画像撮影手段と、
定期的/または不定期的に該ロボットが建物内を巡回して該画像撮影手段によって得られた画像を、外部からネットワークを介して参照可能なメモリを有する計算機に送る通信手段とを備えること特徴とする遠隔操作ロボット。 - 前記遠隔操作ロボットにおいて、
障害物センサによる段差検知結果に基づいて、建物内に存在する段差を乗り越えるための段差乗り越え手段を更に備えることを特徴とする請求項5記載の遠隔操作ロボット。 - 前記遠隔操作ロボットにおいて、
前記画像撮影手段による撮影方向を変化させるための旋回手段と、
該画像撮影手段による撮影方向と並行に赤外線の投光/受光を行う赤外線投光/受光手段を更に備えることを特徴とする請求項5記載の遠隔操作ロボット。 - 前記通信手段が画像を送るべき計算機がインターネットに接続されたウェブサーバであることを特徴とする請求項5記載の遠隔操作ロボット。
- 遠隔地から操作が可能な遠隔操作ロボットにおいて、
建物内の画像を撮影する画像撮影手段と、
定期的/または不定期的に該ロボットが建物内を巡回して該画像撮影手段によって得られた画像を、外部からネットワークを介して参照可能なメモリに蓄積する計算機とを備えることを特徴とする遠隔操作ロボット。 - 前記遠隔操作ロボットにおいて、
外部からインターネットを介して送られるリンガ信号があらかじめ定められた回数だけ着信した時、前記計算機の起動を行う通信手段をさらに備えることを特徴とする請求項9記載の遠隔操作ロボット。 - 遠隔地から操作が可能な遠隔操作ロボットにおいて、
該ロボットの1つ以上の動作に対応するそれぞれのスクリプトのプログラムを格納するスクリプト格納手段と、
該スクリプト格納手段に格納されているプログラムのいずれかの実行の指示を外部から受け取る通信手段とを備えることを特徴とする遠隔操作ロボット。 - 遠隔地から操作が可能な遠隔操作ロボットにおいて、
建物内の人間からの緊急時の連絡指示を受け取る指示受け取り手段と、
該指示に応じて、あらかじめ定められた遠隔地側の端末に該緊急連絡を行う通信手段とを備えることを特徴とする遠隔操作ロボット。 - 前記遠隔操作ロボットにおいて、
建物内の画像を撮影する画像撮影手段と、
該画像撮影手段の撮影方向を変化させるための旋回手段と、
外部からの撮影方向の指示に応じて、該画像撮影手段によって撮影された画像を外部に送る通信手段とを備えることを特徴とする請求項12記載の遠隔操作ロボット。 - 画像撮影方向を変化できるカメラを搭載したロボットの自己位置同定方法において、
あらかじめ該ロボットが移動する可能性のある各部屋のパノラマ画像を撮影し、
該パノラマ画像から複数のブロック画像を切り出して参照画像を作成し、
ロボットが存在する位置において撮影したパノラマ画像内で該ブロック画像と同一の大きさの画像と、該参照画像とを用いて、相関演算とDPマッチングによってロボットが存在する部屋を識別することを特徴とするロボット自己位置同定方法。 - 前記自己位置同定方法において、
前記識別された部屋内のランドマークのうちで、あらかじめ撮影されているランドマークの画像を参照テンプレートとして、ロボットが存在する位置において撮影された画像との相関演算を行って、該ランドマークの該撮影画像上での位置を求め、
複数のランドマークまでの距離をステレオ視により計測して、該識別された部屋内での自己の位置と方向とを同定することを特徴とする請求項14記載のロボット自己位置同定方法。 - 前記自己位置同定方法において、
前記撮影されているランドマークの画像内の縦線を抽出し、
2つのカメラの撮影方向と該縦線の方向とがなす2つの角と、ロボットの位置と方向を仮定して2つのカメラの撮影方向と該ランドマークの方向とがなす2つの角を計算した結果との間の差に対応するコストを求め、
該仮定した位置と方向を変化させて、該コストが最も小さくなる仮定の位置と方向とをロボットの位置と方向として同定することを特徴とする請求項15記載のロボット自己位置同定方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2002/005370 WO2003102706A1 (fr) | 2002-05-31 | 2002-05-31 | Robot telecommande et procede d'identification automatique de la position de robot. |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2003102706A1 true JPWO2003102706A1 (ja) | 2005-09-29 |
JP4448024B2 JP4448024B2 (ja) | 2010-04-07 |
Family
ID=29606642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004509527A Expired - Fee Related JP4448024B2 (ja) | 2002-05-31 | 2002-05-31 | 遠隔操作ロボットおよびロボット自己位置同定方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7120519B2 (ja) |
EP (1) | EP1510896B1 (ja) |
JP (1) | JP4448024B2 (ja) |
KR (1) | KR100812506B1 (ja) |
CN (1) | CN100451897C (ja) |
AU (1) | AU2002304133A1 (ja) |
WO (1) | WO2003102706A1 (ja) |
Families Citing this family (90)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7330776B1 (en) * | 2000-10-06 | 2008-02-12 | Innovation First, Inc. | System, apparatus, and method for managing and controlling robot competitions |
DE10150423A1 (de) * | 2001-10-11 | 2003-04-30 | Siemens Ag | Verfahren und Anordnung sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Zuweisung einer Teilfläche einer in mehrere Teilflächen aufgeteilten Gesamtfläche an eine von mehreren mobilen Einheiten |
EP2557469A1 (en) * | 2002-10-01 | 2013-02-13 | Fujitsu Limited | Robot |
US7756322B2 (en) * | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
KR100543709B1 (ko) | 2003-12-23 | 2006-01-20 | 삼성전자주식회사 | 이동체의 회전 이동량 이용 방법과 장치 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
EP1741044B1 (en) * | 2004-03-27 | 2011-09-14 | Harvey Koselka | Autonomous personal service robot |
JP2006074207A (ja) * | 2004-08-31 | 2006-03-16 | Toshiba Corp | 移動型情報装置とこの移動方法、及び情報システムと位置推定方法 |
KR20060059006A (ko) * | 2004-11-26 | 2006-06-01 | 삼성전자주식회사 | 이동형 가전기기가 장애물을 회피하며 벽을 따라 이동하는방법 및 장치 |
US7436143B2 (en) * | 2005-04-25 | 2008-10-14 | M-Bots, Inc. | Miniature surveillance robot |
JP4824362B2 (ja) * | 2005-08-01 | 2011-11-30 | 本田技研工業株式会社 | 移動ロボットの制御装置 |
WO2007041295A2 (en) * | 2005-09-30 | 2007-04-12 | Irobot Corporation | Companion robot for personal interaction |
CN101331379B (zh) * | 2005-12-16 | 2012-04-11 | 株式会社Ihi | 自身位置辨认方法和装置以及三维形状的计测方法和装置 |
WO2007069724A1 (ja) * | 2005-12-16 | 2007-06-21 | Ihi Corporation | 三次元形状データの位置合わせ方法と装置 |
DE112006003361T5 (de) * | 2005-12-16 | 2008-10-16 | Ihi Corporation | Verfahren und Vorrichtung für das Aufzeichnen/Anzeigen von dreidimensionalen Formdaten und Verfahren und Vorrichtung für das Messen einer dreidimensionalen Form |
US8884763B2 (en) * | 2006-10-02 | 2014-11-11 | iRobert Corporation | Threat detection sensor suite |
WO2008076192A2 (en) | 2006-11-13 | 2008-06-26 | Raytheon Sarcos Llc | Versatile endless track for lightweight mobile robots |
EP2099672B1 (en) | 2006-11-13 | 2011-08-31 | Raytheon Company | Tracked robotic crawler having a moveable arm |
EP2081814B1 (en) | 2006-11-13 | 2011-04-06 | Raytheon Company | Conformable track assembly for a robotic crawler |
WO2008076194A2 (en) | 2006-11-13 | 2008-06-26 | Raytheon Sarcos Llc | Serpentine robotic crawler |
KR100857603B1 (ko) * | 2007-03-29 | 2008-09-09 | 삼성전자주식회사 | 전자부품 검사 시스템 및 그 제어방법 |
US8002716B2 (en) | 2007-05-07 | 2011-08-23 | Raytheon Company | Method for manufacturing a complex structure |
JP4957799B2 (ja) * | 2007-06-15 | 2012-06-20 | 富士通株式会社 | ロボットおよび案内方法 |
JP2009011362A (ja) * | 2007-06-29 | 2009-01-22 | Sony Computer Entertainment Inc | 情報処理システム、ロボット装置及びその制御方法 |
EP2170683A2 (en) | 2007-07-10 | 2010-04-07 | Raytheon Sarcos, LLC | Modular robotic crawler |
KR101469246B1 (ko) * | 2007-08-07 | 2014-12-12 | 삼성전자주식회사 | 로봇에서 사진 촬영하는 장치 및 방법 |
CN101456183A (zh) * | 2007-12-14 | 2009-06-17 | 鸿富锦精密工业(深圳)有限公司 | 机器人及操控该机器人的无线通讯装置 |
WO2009089369A1 (en) * | 2008-01-08 | 2009-07-16 | Raytheon Sarcos, Llc | Point and go navigation system and method |
JP5201411B2 (ja) * | 2008-11-21 | 2013-06-05 | 株式会社Ihi | バラ積みピッキング装置とその制御方法 |
US8392036B2 (en) | 2009-01-08 | 2013-03-05 | Raytheon Company | Point and go navigation system and method |
WO2010144813A1 (en) | 2009-06-11 | 2010-12-16 | Raytheon Sarcos, Llc | Method and system for deploying a surveillance network |
WO2010144820A2 (en) | 2009-06-11 | 2010-12-16 | Raytheon Sarcos, Llc | Amphibious robotic crawler |
TWI409717B (zh) * | 2009-06-22 | 2013-09-21 | Chunghwa Picture Tubes Ltd | 適用於電腦產品與影像顯示裝置的影像轉換方法 |
JP5542521B2 (ja) * | 2010-05-13 | 2014-07-09 | 株式会社日立製作所 | 自由に設置可能なネットワークカメラ装置 |
CN102960037B (zh) * | 2010-05-19 | 2016-08-10 | 诺基亚技术有限公司 | 物理上约束的无线电地图 |
US9400503B2 (en) | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
US8918213B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US8935005B2 (en) | 2010-05-20 | 2015-01-13 | Irobot Corporation | Operating a mobile robot |
US9906838B2 (en) | 2010-07-12 | 2018-02-27 | Time Warner Cable Enterprises Llc | Apparatus and methods for content delivery and message exchange across multiple content delivery networks |
US9007432B2 (en) | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
US9036001B2 (en) | 2010-12-16 | 2015-05-19 | Massachusetts Institute Of Technology | Imaging system for immersive surveillance |
US8930019B2 (en) | 2010-12-30 | 2015-01-06 | Irobot Corporation | Mobile human interface robot |
KR101855831B1 (ko) | 2011-05-12 | 2018-05-09 | 엘지전자 주식회사 | 청소 장치, 및 복수의 로봇 청소기를 이용한 협동 청소 방법 |
JP5707238B2 (ja) * | 2011-06-02 | 2015-04-22 | 株式会社日立製作所 | 画像検索装置及び画像検索システム |
US8919476B2 (en) | 2011-07-11 | 2014-12-30 | Holland Moving & Rigging Supplies, Inc. | Platform dolly system |
US8958911B2 (en) | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
JP2013242738A (ja) * | 2012-05-22 | 2013-12-05 | Sharp Corp | ロボット装置、端末装置、ロボット装置の遠隔操作システム及びプログラム |
US8393422B1 (en) | 2012-05-25 | 2013-03-12 | Raytheon Company | Serpentine robotic crawler |
JP6052576B2 (ja) * | 2012-05-30 | 2016-12-27 | 日本電気株式会社 | 情報処理システム、情報処理方法、情報処理装置、携帯端末およびその制御方法と制御プログラム |
JP5898022B2 (ja) * | 2012-09-18 | 2016-04-06 | シャープ株式会社 | 自走式機器 |
US9031698B2 (en) | 2012-10-31 | 2015-05-12 | Sarcos Lc | Serpentine robotic crawler |
CN103903219A (zh) * | 2012-12-26 | 2014-07-02 | 联想(北京)有限公司 | 一种信息处理方法及系统 |
US20140249695A1 (en) * | 2013-03-01 | 2014-09-04 | Robotex Inc. | Low latency data link system and method |
CN104183168B (zh) * | 2013-05-28 | 2018-04-27 | 中建八局第一建设有限公司 | 建筑施工4d远程考核系统 |
US9409292B2 (en) | 2013-09-13 | 2016-08-09 | Sarcos Lc | Serpentine robotic crawler for performing dexterous operations |
US9566711B2 (en) | 2014-03-04 | 2017-02-14 | Sarcos Lc | Coordinated robotic control |
US20150283703A1 (en) * | 2014-04-03 | 2015-10-08 | Brain Corporation | Apparatus and methods for remotely controlling robotic devices |
EP2933604B1 (en) * | 2014-04-14 | 2016-11-30 | Softbank Robotics Europe | A method for localizing a robot in a localization plane |
US9821470B2 (en) | 2014-09-17 | 2017-11-21 | Brain Corporation | Apparatus and methods for context determination using real time sensor data |
US9849588B2 (en) | 2014-09-17 | 2017-12-26 | Brain Corporation | Apparatus and methods for remotely controlling robotic devices |
US9860077B2 (en) | 2014-09-17 | 2018-01-02 | Brain Corporation | Home animation apparatus and methods |
CN105741532B (zh) | 2014-12-11 | 2019-08-16 | 华为终端有限公司 | 具有红外遥控功能的终端,以及红外遥控配对方法 |
US10102226B1 (en) * | 2015-06-08 | 2018-10-16 | Jasmin Cosic | Optical devices and apparatuses for capturing, structuring, and using interlinked multi-directional still pictures and/or multi-directional motion pictures |
US10071303B2 (en) | 2015-08-26 | 2018-09-11 | Malibu Innovations, LLC | Mobilized cooler device with fork hanger assembly |
EP3356090B1 (en) * | 2015-09-29 | 2020-12-23 | Koninklijke Philips N.V. | Automatic robotic arm calibration to camera system using a laser |
SG11201805378XA (en) * | 2016-01-04 | 2018-07-30 | Zhejiang Libiao Robots Co Ltd | Method and device for returning robots from site |
CN108885436B (zh) * | 2016-01-15 | 2021-12-14 | 美国iRobot公司 | 自主监视机器人系统 |
CN105446162B (zh) * | 2016-01-26 | 2018-11-20 | 北京进化者机器人科技有限公司 | 一种智能家居系统以及机器人的智能家居控制方法 |
JP6864433B2 (ja) * | 2016-01-29 | 2021-04-28 | 東芝ライフスタイル株式会社 | 電気掃除機 |
CN105867433A (zh) * | 2016-03-31 | 2016-08-17 | 纳恩博(北京)科技有限公司 | 一种移动控制方法、移动电子设备及移动控制系统 |
US10807659B2 (en) | 2016-05-27 | 2020-10-20 | Joseph L. Pikulski | Motorized platforms |
CN106094816A (zh) * | 2016-05-31 | 2016-11-09 | 芜湖智久机器人有限公司 | 一种agv的bs控制系统 |
CN106155059A (zh) * | 2016-08-16 | 2016-11-23 | 邹霞 | 基于视觉的智能无人驾驶系统 |
CN106774315B (zh) * | 2016-12-12 | 2020-12-01 | 深圳市智美达科技股份有限公司 | 机器人自主导航方法和装置 |
DE102016124913A1 (de) * | 2016-12-20 | 2018-06-21 | Miele & Cie. Kg | Verfahren und Vorrichtung zum Erkennen eines Raumes mittels eines Bodenpflegegeräts sowie Bodenpflegegerät |
KR101976424B1 (ko) * | 2017-01-25 | 2019-05-09 | 엘지전자 주식회사 | 이동 로봇 |
JP6809267B2 (ja) * | 2017-02-10 | 2021-01-06 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
JP2018185182A (ja) * | 2017-04-25 | 2018-11-22 | 東京電力ホールディングス株式会社 | 位置特定装置 |
JP7012988B2 (ja) * | 2017-05-31 | 2022-01-31 | ヴイストン株式会社 | 情報通信デバイス |
US10100968B1 (en) | 2017-06-12 | 2018-10-16 | Irobot Corporation | Mast systems for autonomous mobile robots |
CN107314773B (zh) * | 2017-08-18 | 2019-10-01 | 广东宝乐机器人股份有限公司 | 移动机器人的地图创建方法及基于该地图的路径规划方法 |
JP6812325B2 (ja) * | 2017-10-26 | 2021-01-13 | 株式会社日立ビルシステム | ロボット管理システム |
KR102463806B1 (ko) * | 2017-11-09 | 2022-11-07 | 삼성전자주식회사 | 이동이 가능한 전자 장치 및 그 동작 방법 |
US11687092B2 (en) | 2018-04-23 | 2023-06-27 | Sharkninja Operating Llc | Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest |
US11110595B2 (en) | 2018-12-11 | 2021-09-07 | Irobot Corporation | Mast systems for autonomous mobile robots |
CN110658827B (zh) * | 2019-10-25 | 2020-06-23 | 嘉应学院 | 一种基于物联网的运输车自动引导系统及其方法 |
JP7425406B2 (ja) | 2020-03-23 | 2024-01-31 | 東京電力ホールディングス株式会社 | 画像検査装置、学習済みモデル生成装置、画像検査システム、画像検査用プログラム、学習済みモデル生成用プログラム、および学習済みモデル |
CN111738148B (zh) * | 2020-06-22 | 2024-02-20 | 复旦大学 | 一种利用红外巡检拍摄的故障识别方法 |
JP7019865B1 (ja) * | 2020-07-09 | 2022-02-15 | 三菱電機ビルテクノサービス株式会社 | 清掃システム及びプログラム |
CN114721385A (zh) * | 2022-04-07 | 2022-07-08 | 未岚大陆(北京)科技有限公司 | 虚拟边界建立方法、装置、智能终端及计算机存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160331A (ja) * | 1993-12-02 | 1995-06-23 | Fuji Heavy Ind Ltd | 自律走行作業車の自己位置検出方法 |
JPH08247775A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動体の自己位置同定装置および自己位置同定方法 |
JPH10160463A (ja) * | 1996-12-03 | 1998-06-19 | Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko | 全方位視覚センサを用いた位置検出方法 |
JP2000337887A (ja) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | 移動体の自己位置標定装置 |
JP2002085305A (ja) * | 2000-09-12 | 2002-03-26 | Toshiba Tec Corp | ロボットクリーナ及びロボットクリーナシステム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01128152A (ja) * | 1987-11-12 | 1989-05-19 | Mitsubishi Electric Corp | シリアルi/o回路 |
JP3176701B2 (ja) * | 1992-04-15 | 2001-06-18 | 本田技研工業株式会社 | 移動体の現在位置認識処理装置 |
EP2110732A3 (en) * | 1995-02-13 | 2009-12-09 | Intertrust Technologies Corporation | Systems and methods for secure transaction management and electronic rights protection |
US6368177B1 (en) * | 1995-11-20 | 2002-04-09 | Creator, Ltd. | Method for using a toy to conduct sales over a network |
US5809171A (en) * | 1996-01-05 | 1998-09-15 | Mcdonnell Douglas Corporation | Image processing method and apparatus for correlating a test image with a template |
US6154566A (en) * | 1996-05-15 | 2000-11-28 | Omron Corporation | Method and apparatus for determining image similarity and position |
US5999866A (en) * | 1996-11-05 | 1999-12-07 | Carnegie Mellon University | Infrastructure independent position determining system |
KR19980061602A (ko) * | 1996-12-31 | 1998-10-07 | 추호석 | 위치추적장치를 이용한 도장로보트 시스템 및 거리보정방법 |
ES2172936T3 (es) * | 1997-11-27 | 2002-10-01 | Solar & Robotics | Mejoras en los robots moviles y en su sistema de mando. |
JP3387816B2 (ja) * | 1998-03-27 | 2003-03-17 | シャープ株式会社 | 遠隔制御システム |
KR100266986B1 (ko) * | 1998-06-20 | 2000-10-02 | 배길성 | 로봇 청소기의 충전기 추적장치 및 그 방법 |
JP2000202792A (ja) * | 1999-01-14 | 2000-07-25 | Sharp Corp | 掃除ロボット |
JP2000342498A (ja) * | 1999-06-09 | 2000-12-12 | Toyota Autom Loom Works Ltd | 清掃ロボット |
JP3874985B2 (ja) * | 2000-02-18 | 2007-01-31 | 富士通株式会社 | 画像演算装置 |
FR2808644B1 (fr) * | 2000-05-04 | 2003-07-25 | Centre Nat Etd Spatiales | Procede et dispositif interactifs de diffusion d'images emises par une camera video montee sur un robot |
JP2002135259A (ja) * | 2000-10-20 | 2002-05-10 | Ricoh Co Ltd | ネットワークシステムおよび端末装置 |
-
2002
- 2002-05-31 JP JP2004509527A patent/JP4448024B2/ja not_active Expired - Fee Related
- 2002-05-31 CN CNB028290429A patent/CN100451897C/zh not_active Expired - Fee Related
- 2002-05-31 AU AU2002304133A patent/AU2002304133A1/en not_active Abandoned
- 2002-05-31 KR KR1020047017598A patent/KR100812506B1/ko active IP Right Grant
- 2002-05-31 WO PCT/JP2002/005370 patent/WO2003102706A1/ja active Application Filing
- 2002-05-31 EP EP02730841.0A patent/EP1510896B1/en not_active Expired - Fee Related
-
2004
- 2004-11-02 US US10/978,439 patent/US7120519B2/en not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07160331A (ja) * | 1993-12-02 | 1995-06-23 | Fuji Heavy Ind Ltd | 自律走行作業車の自己位置検出方法 |
JPH08247775A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動体の自己位置同定装置および自己位置同定方法 |
JPH10160463A (ja) * | 1996-12-03 | 1998-06-19 | Gijutsu Kenkyu Kumiai Shinjoho Shiyori Kaihatsu Kiko | 全方位視覚センサを用いた位置検出方法 |
JP2000337887A (ja) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | 移動体の自己位置標定装置 |
JP2002085305A (ja) * | 2000-09-12 | 2002-03-26 | Toshiba Tec Corp | ロボットクリーナ及びロボットクリーナシステム |
Also Published As
Publication number | Publication date |
---|---|
JP4448024B2 (ja) | 2010-04-07 |
KR100812506B1 (ko) | 2008-03-11 |
EP1510896A1 (en) | 2005-03-02 |
CN100451897C (zh) | 2009-01-14 |
EP1510896B1 (en) | 2016-03-09 |
US7120519B2 (en) | 2006-10-10 |
AU2002304133A1 (en) | 2003-12-19 |
WO2003102706A1 (fr) | 2003-12-11 |
EP1510896A4 (en) | 2005-12-14 |
CN1628274A (zh) | 2005-06-15 |
KR20050003402A (ko) | 2005-01-10 |
US20050071047A1 (en) | 2005-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4448024B2 (ja) | 遠隔操作ロボットおよびロボット自己位置同定方法 | |
US9674264B2 (en) | Remote control system, remote control method, communication device, and program | |
US7373218B2 (en) | Image distribution system | |
CN104887155A (zh) | 智能扫地机 | |
KR20110119118A (ko) | 로봇 청소기, 및 이를 이용한 원격 감시 시스템 | |
JP7204346B2 (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
CN103369237B (zh) | 用于切换相机观察模式的方法 | |
JP2006139525A (ja) | 自律移動型ロボット | |
KR20110119116A (ko) | 로봇 청소기, 원격 감시 시스템, 및 로봇 청소기를 이용한 원격 감시 방법 | |
US20110063466A1 (en) | Image capturing system, image capturing device, information processing device, and image capturing method | |
JP2016197797A (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
CN115830280A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN115904188A (zh) | 户型图的编辑方法、装置、电子设备及存储介质 | |
JP7379785B2 (ja) | 3dツアーの比較表示システム及び方法 | |
CN115731349A (zh) | 户型图的展示方法、装置、电子设备及存储介质 | |
CN111917904B (zh) | 控制方法及电子装置 | |
KR100642302B1 (ko) | 원격제어 시스템의 원격 제어 방법 | |
KR102196683B1 (ko) | 3d 투어 촬영 장치 및 방법 | |
JP7507964B2 (ja) | 可動ロボットによる棚の位置姿勢の調整のための方法および装置 | |
CN114071003B (zh) | 一种基于光通信装置的拍摄方法和系统 | |
WO2022075683A1 (ko) | 모바일 스캔 객체 모델 스케일링을 통한 증강현실 구현 장치 및 방법 | |
CN115729393A (zh) | 信息处理过程中的提示方法、装置、电子设备及存储介质 | |
CN115810065A (zh) | 房屋信息的编辑方法、装置、电子设备及存储介质 | |
JP2022189552A (ja) | 撮影システム、設置方法、及びコンピュータプログラム | |
CN115908627A (zh) | 房源数据的处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080513 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090914 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100119 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4448024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130129 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140129 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |