JP6732746B2 - 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム - Google Patents
機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム Download PDFInfo
- Publication number
- JP6732746B2 JP6732746B2 JP2017525541A JP2017525541A JP6732746B2 JP 6732746 B2 JP6732746 B2 JP 6732746B2 JP 2017525541 A JP2017525541 A JP 2017525541A JP 2017525541 A JP2017525541 A JP 2017525541A JP 6732746 B2 JP6732746 B2 JP 6732746B2
- Authority
- JP
- Japan
- Prior art keywords
- mobile robot
- camera
- landmark
- robot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims description 19
- 230000004807 localization Effects 0.000 title claims description 13
- 230000003287 optical effect Effects 0.000 claims description 74
- 238000005259 measurement Methods 0.000 claims description 52
- 230000000007 visual effect Effects 0.000 claims description 49
- 230000006399 behavior Effects 0.000 claims description 43
- 230000001154 acute effect Effects 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 108
- 230000008569 process Effects 0.000 description 96
- 230000009471 action Effects 0.000 description 24
- 238000001514 detection method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 17
- 238000004140 cleaning Methods 0.000 description 15
- 230000036544 posture Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 12
- 238000003384 imaging method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004088 simulation Methods 0.000 description 10
- 241000239290 Araneae Species 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241001455214 Acinonyx jubatus Species 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 102000008115 Signaling Lymphocytic Activation Molecule Family Member 1 Human genes 0.000 description 1
- 108010074687 Signaling Lymphocytic Activation Molecule Family Member 1 Proteins 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010407 vacuum cleaning Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
移動ロボット10は、移動ロボット10のナビゲーション及び移動ロボット10を取り囲む環境のマッピングにおいてVSLAMプロセスによって使用される画像データを捕捉することができるカメラ125を有するナビゲーション・システム120を組み込んでいる。移動ロボット10のナビゲーション・システム120で使用される傾斜したカメラ125を図1A〜2Bに示す。特に、図1は移動ロボット10の正面斜視図を示し、図2は、傾斜したカメラ125を含む移動ロボット10の本体100の実質的に中央に配置される凹部130を示す。容易に認識され得るように、カメラ125は、レンズ・カバー135の1つの縁部がレンズ・カバー135の第2の縁部よりも凹部130の開口部により接近しているように構成されるレンズ・カバー135によって保護されている。このようにして、レンズ・カバー135は、カメラ125の光軸155と、移動ロボット10の本体100内の凹形構造130における開口部によって画定される平面とカメラ125の光軸155との間に形成される角度φよりも直角に近い鋭角αをなす。いくつかの実施例では、鋭角αは15から70度の間の範囲であってよく、鋭角φは10から60度の間の範囲であってよい。このようにレンズ・カバー135に角度をつけることは本発明の任意選択の態様であり、レンズ・カバー135は、傾斜したカメラ125を含む移動ロボットの本体100の凹部130内の開口部の平面内、または、移動ロボットの本体100の凹部130内の開口部の平面に平行に、奥まった場所に置かれてよい。移動ロボット10の本体100内の凹部130内の傾斜したカメラ125の構成を以下でさらに考察する。
環境を通ってナビゲートするために、移動ロボット10が、その周囲環境の特徴を確認することを目的として多様な異なる種類のセンサから集められる情報を使用することができる。上述したように、移動ロボット10は、周囲環境の画像を捕捉する1つ又は複数のカメラ125を有するナビゲーション・システム120を使用する。環境内での移動ロボット10の位置の特定及びマッピングで使用されるために、画像がVSLAMプロセスに提供され得る。図2Aは図1Aに示される移動ロボット10の傾斜したカメラ125の上面斜視図を示し、図2Bは断面図を示す。特に、図2A(及び、対応する図2B)は、移動ロボット10の本体100内の凹形構造130内に収容されてレンズ・カバー135によって覆われる傾斜したカメラ125を示す。図2B及び22に示されるように、カメラ125は、移動ロボット10の移動方向を画定する水平軸に対して鋭角φをなす光軸155を備えるカメラ・レンズ140を有する。このようにして、レンズ140は、通常の屋内環境内において、壁、壁・天井の交差部分、及び、低い程度で天井を捕捉するような方向に主に向けられる。例えば、図22に示されるように、フロア表面2205から4インチ以下である頂部表面108を有するロボット10の実装形態では、垂直方向において約50度〜60度の視野角度δを有する円錐台に及ぶ視野と、水平方向から上方に約30度の鋭角φのところにある光軸155とを有する、移動ロボット10の頂部表面108の下に設置されるカメラ125が、概して3〜14フィートの高さのところにある環境内の特徴的形状2215を検出することになる。例えば、このようなカメラの設定を有するこのような寸法の移動ロボット10は、3フィートの距離Dwのところで約6インチから4.5フィートの高さにある対象、5フィートの距離Dwのところで約9インチから7.5フィートの高さにある対象、及び、10フィートの距離Dwのところで約1.2フィートから14フィートの高さにある対象を視認することになる。ドア・フレーム、額縁2215、及び、他の動かない家具、並びに、容易に撮像されるような特徴的形状の幾何形状を有する対象のところで撮像される特徴的形状などの特徴的形状が変化しないところの、多くの特徴的形状を有する領域に、傾斜したカメラ125の歪みのない視野の焦点を合わせることにより、ロボット10は高い信頼性の目印を繰り返し特定し、それにより環境内での位置の特定及びマッピングを正確に且つ効率的に行う。これは特に、ロボット10のミッションを中断させるような誘拐イベントの後で再び位置を特定する場合に有用である。ある位置から別の位置まで移動するか或いは暗い部屋に入るか又は家具の領域の下に入るロボット10は、これらの高さのところにある特徴的形状の特有な組を迅速に特定し、その位置を容易に且つ厳密に知る。変化しない天井、或いは、タイルを用いる落天井又は一様な間隔の照明フィーチャを備える天井などの反復的な特徴的形状を備える天井に向けられるカメラではその位置を容易には知ることにならず、部屋の角部などの、位置を特定すべき特有な特徴的形状を探し出すことを必要とする。したがって、本発明の移動ロボット10は効率的であり、マップ上で目印が認識可能であるような領域まで無造作に移動することを必要とすることなく、有用な位置でその清掃ルーチンを正確に再開する。
図3A〜3Cは、移動ロボット10からレンズ140への機械的応力の伝達を原因としてカメラのレンズ140において起こり得るレンズの変形を防止するレンズ・ホルダ310の実装形態を描いている。図3Aは、カメラのレンズ140を保持するためのレンズ・ホルダ310を示す。レンズ・ホルダ310はスパイダー・リブ330の組によって支持されるねじボス320の組に接続される。図3Bは、レンズ・ホルダ310の側面図を示す。特に、この図は、ねじボス320の底部がレンズ・ホルダの本体310の上方の一定の距離のところに配置されていることを示す。示されているレンズ・ホルダ310では、ねじボス320はレンズ・ホルダの本体310の上方の0.5mmのところに配置されている。レンズ・ホルダの本体310の上方にねじボス320を配置するときの具体的な距離は、通常、所与の用途の要求に依存する。図3Cは、変形のほぼすべてがスパイダー・リブ330のところで起こり(例えば、暗い色の領域に示される応力)、レンズ・ホルダの本体310内では変形がほぼ起こっていないことを示している。スパイダー・リブ330なしでねじボス320に直接にレンズ・ホルダの本体310を接続する設計では、しばしば、レンズ・ホルダの本体310の全体にわたって非常に大きい変形が生じ、それにより、本体310内で保持されるレンズ140が変形することになる。スパイダー・リブ330を使用することにより、レンズ・ホルダ310は、レンズ・ホルダの本体310の構造を維持しながら、レンズ・ホルダ310をスパイダー・レッグ330上にねじ留めすることにより作用する力の方向を変えることができる。図3A〜3Cを参照してスパイダー・リブを備える一定の範囲のレンズ・ホルダのデザインを上で説明したが、レンズ・ホルダの本体に沿った異なる位置にねじボスに対して異なる高さで配置される3つ以上のスパイダー・リブを含めた、多様なスパイダー・リブの設計構成の任意のものが構築され得る。
移動ロボット10は、移動ロボットの本体100の周りに分布される複数のカメラを任意選択で有することができる。特に有利な構成は、前方を向く傾斜したカメラ125及び後方を向く傾斜したカメラ410を使用することを伴う。前方を向く傾斜したカメラ125及び後方を向く傾斜したカメラ410は、任意選択で、移動ロボット10の本体100の頂部108内の個別の凹部130a、130b内に含まれ得、また、図1A及び2A〜2Bを参照して、レンズ・カバー135の後方に単一の凹部130及び傾斜したカメラ125を設置することに関して上で説明した形と同様の形で構成されるレンズ・カバー135a、135bを使用して保護され得る。移動ロボット10の本体100の頂部108内の個別の凹部130a、130b内に含まれる前方を向く傾斜したカメラ125及び後方を向く傾斜したカメラ410を備えるように、且つレンズ・カバー135a、135bを使用して保護されるように構成される移動ロボット10が図4に示されている。特に、図4は、移動ロボット10の前方の環境を捕捉するような方向に向けられる前方を向く傾斜したカメラ125と、移動ロボット10の後方の環境を捕捉するような方向に向けられる後方を向く傾斜したカメラ410とを備えるように構成される移動ロボット10を示す。図22に関連させて上で説明した実施例とほぼ同じように、カメラ125、410は、3〜8フィートの高さの範囲のところに位置する動かない特徴的形状に約50度(例えば、45度、55度)の高い円錐台の視野の焦点を合わせるように、約30度(例えば、25度、35度)の角度をつけられている。実施例では、カメラは、3〜8フィートの高さの範囲のところに位置する動かない特徴的形状に約60度(例えば、55度、65度)の高い円錐台の視野の焦点を合わせている。前方及び後方のカメラ125、410は移動ロボットの本体100内の個別の凹形構造130a、130b内に埋め込まれ、各々が、それぞれのレンズ・カバー135a、135bによって覆われている。各レンズ・カバー135a、135bは、傾斜したカメラ125、410を含むその対応する凹形構造130a、130bの開口部から奥まった場所にあり、凹形構造130a、130bの開口部の平面(例えば、頂部表面108)に対して鋭角αをなすように位置合わせされている。
移動ロボット10の行動は、通常、移動ロボット10の周囲の動作環境の特徴に基づいて及び/又は移動ロボット10の状態に基づいて多数の行動から選択される。多くの実施例では、環境の特徴は、ナビゲーション・システム120によって捕捉される画像から確認され得る。捕捉される画像は、移動ロボット10の周りの環境をマッピングするための及び環境内での移動ロボット10の位置を特定するための1つ又は複数のVSLAMプロセスによって使用され得る。
移動ロボット10は、周囲環境及び/又は移動ロボットの状態に基づいて移動ロボットの行動を決定するために使用される行動制御アプリケーション710を有することができる。移動ロボット10は、特定のセンサ入力によって起動される1つ又は複数の行動と、行動を起動すべきかどうかを決定するアービトレータ(arbitrator)とを有することができる。入力は移動ロボット10を囲む環境の画像を含んでよく、行動は、1つ又は複数の捕捉された画像から確認される環境の特徴に応答して起動され得る。
移動ロボット10は、環境を通ってナビゲートするために、種々のオンボード・センサからの情報を継続的に検出して処理することができる。環境内をナビゲートするために移動ロボット10により任意選択で使用され得るプロセス800が図8に示されている。プロセスがロボットの行動を決定する(805)。ロボットの行動は、種々の検討事項の中でもとりわけ、移動ロボット10を囲む環境の特定の特徴、移動ロボット10の最新の状態、移動ロボットによって実行されている特定の動作、及び、移動ロボット10によって使用される電源の状態、を含めた種々の要因に基づいて、ロボットの制御装置回路605によって決定され得る。移動ロボット10は、行動がロボット10の姿勢の変更を伴うかどうかを決定する(810)。移動ロボット10が姿勢の変更は必要ではないと決定すると、プロセスは行動を完了し、新しい行動を決定する(805)。さもなければ、プロセスは移動ロボット10の駆動装置111を作動させる(815)。いくつかの実施例では、駆動装置111は、表面を横断させるようにロボットを移動させるために2つ以上のホイール113a、113bを使用する。他の実施例では、駆動装置111は、表面に沿うパッド又はキャタピラの回転に基づいて表面を横断させるように移動ロボット10を移動させる1つ又は複数の回転するパッド又は戦車のようなキャタピラを使用することができる。
移動ロボット10は、ナビゲーションを実施するために、視覚的に認識可能である特定の3D構造を有する特徴的形状の集まりである目印を利用することができる。移動ロボット10は、環境の画像を捕捉して画像間での共通の特徴的形状を観測及び統合することにより、目印を作る。画像を重ね合わせ、各々の特徴的形状の間の視差を測定し、画像の捕捉の間での姿勢の変化を推定することにより、既知の速度で移動する移動ロボット10は各々の特徴的形状までの距離を測定することができる。次いで、これらの距離は、目印を定義する特徴的形状の組の3D構造を決定するために利用され得る。上で考察したように、目印を形成するいくつかの又はすべての特徴的形状が引き続いて観測され、特徴的形状の3D構造の情報が、移動ロボット10の相対姿勢を推定するために利用され得る。実装形態では、移動ロボット10は、位置の特定を行うために、移動した距離にわたって2つ以上の画像を取ることができる。
狭い視野及び高い角度分解能を有する傾斜したカメラ125を備えるように移動ロボット10を構成することにより、移動ロボット10が目印の3D構造を決定することができるときの精度と、目印の3D構造の再投影に基づいて決定される相対姿勢の推定の精度とを向上させることができる。さらに、狭い視野のレンズを使用することにより、カメラ125によって獲得された画像を修正することの計算コスト(computational expense)(例えば、時間、処理能力など)なしに、移動ロボット10が画像処理を実施することが可能となる。容易に認識され得るように、処理負荷を低減することにより、移動ロボット10がより高いフレーム率でより多くの画像の処理することを可能とすることができ(それにより移動ロボットがより速く移動することが可能となる)、消費電力を低減することを可能とすることができ(それにより、バッテリの寿命が延びる)、及び/又は、追加の処理能力を用いて移動ロボット10が他の機能を実行することを可能とすることができる。
移動ロボット10のナビゲーション・システム120内の1つ又は複数のカメラ125、140は、移動ロボット10を囲む環境内の要素に対して継続的に露出されていることから機能性の低下を受ける可能性がある。特に、屋内環境では、移動ロボット10が環境を清掃するときに、ダスト、デブリ、指紋、髪の毛、食品粒子、及び、多様な他の対象が、カメラのレンズ・カバー135上に集まってそこに留まる可能性がある。これらの遮蔽物は、VSLAMプロセスで使用されるためのカメラ125によって捕捉される画像の品質を低下させる可能性があり、さらにはそれにより、屋内環境を通る移動ロボット10のナビゲーションの精度を低下させる可能性がある。十分なレベルのナビゲーション性能を維持するために、移動ロボット10は、少なくとも1つのカメラ125の視野の一部又は全体から移動ロボット10が有用な情報を受信していないことが決定された場合に、使用者に通知を行うことができる。
Claims (15)
- 動作環境内をナビゲートするように構成される移動ロボット(10)であって、
水平面を含む頂部表面(108)を有する本体(100)と、
前記本体(100)に設置される駆動装置(111)と、
前記本体(100)の上方から見て略中央において前記頂部表面(108)の平面の下方にある凹形構造(130)と、
前記駆動装置(111)に通信状態にある制御装置回路(605)であって、カメラ・ベースのナビゲーション・システム(120)を使用して環境を通って前記移動ロボット(10)をナビゲートすることを前記駆動装置(111)に指示する、制御装置回路(605)と、
カメラの視野及びカメラの光軸を画定する光学系を含むカメラ(125)であって、
当該カメラ(125)が、前記凹形構造(130)の内側に位置付けられ、前記カメラの光軸が、前記頂部表面(108)の前記水平面から上方に30〜40度の鋭角に位置合わせされ、且つ、前記ロボットの本体(100)の前方駆動方向に向けられるように、傾斜させられ、
当該カメラ(125)の前記視野が垂直方向において45度〜65度の円錐台に及び、
当該カメラ(125)が当該移動ロボット(10)の前記動作環境の画像を捕捉するように構成される、
カメラと、
を備える移動ロボット(10)。 - 前記カメラ(125)が、前記カメラの前記光軸に対して鋭角に位置合わせされるレンズ・カバー(135)によって保護される、請求項1に記載の移動ロボット(10)。
- 前記レンズ・カバー(135)が、前記凹形構造(130)内の前記頂部表面(108)より内側の位置において、前記カメラ(125)の前記光軸に対して鋭角に設置され、前記鋭角は、前記頂部表面(108)によって画定される平面と前記カメラ(125)の前記光軸との間に形成される角度よりも直角に近い、請求項2に記載の移動ロボット(10)。
- 前記鋭角が15から70度の間である、請求項2に記載の移動ロボット(10)。
- 前記頂部表面(108)によって画定される平面と前記カメラ(125)の前記光軸との間に形成される前記角度が10から60度の間の範囲である、請求項3に記載の移動ロボット(10)。
- 前記カメラ(125)の視野が、フロア表面から3フィートから8フィートの範囲であって、3フィートから10フィートの距離のところに位置付けられた静止した特徴に向けられている、請求項1に記載の移動ロボット(10)。
- 前記カメラの画像が1インチ当たり約6〜12ピクセルを含み、前記画像の頂部の特徴が、連続する画像の間で、前記移動ロボットが移動する速度より速く上方に移動し、前記画像の底部の特徴が、連続する画像の間で、前記移動ロボットが移動する速度より遅く下方に移動し、前記制御装置回路(605)が、連続する画像の間の視差を特定するときに、前記移動ロボットの速度及び前記画像内の特徴の位置を決定するように構成される、請求項6に記載の移動ロボット(10)。
- 前記移動ロボット(10)が秒速220mmから秒速450mmの速度で移動し、水平線に対して45度未満の箇所における特徴的形状が秒速約306mm未満で跡を残し、45度を超える箇所における特徴的形状が毎秒306mmを超えて跡を残す、請求項7に記載の移動ロボット(10)。
- 前記本体(100)が、
前記制御装置回路(605)と通信状態にあるメモリ(625)と、
前記駆動装置(111)と通信状態にある走行距離測定センサ・システムと
をさらに含み、
前記メモリが、視覚測定アプリケーション(630)と、同時位置測定マッピング(SLAM)のアプリケーション(635)と、目印データベース(650)と、目印のマップ(640)とをさらに含み、
前記制御装置回路(605)が、
前記駆動装置(111)を作動させて前記走行距離測定センサ・システムを使用して走行距離測定データを捕捉することと、
少なくとも、前記捕捉された走行距離測定情報及び前記捕捉された画像を前記視覚測定アプリケーション(630)に提供することにより視覚測定を獲得することと、
少なくとも、前記走行距離測定情報、及び、前記視覚測定結果を入力として前記SLAMアプリケーション(635)に提供することにより、目印の更新されたマップ内での更新されたロボットの姿勢を決定することと、
前記目印の更新されたマップ内の前記更新されたロボットの姿勢を含む入力に基づいてロボットの行動を決定することと、
をプロセッサ(610)に指示する、
請求項1に記載の移動ロボット(10)。 - 前記目印データベース(650)が、
複数の目印の記述と、
前記複数の目印の各々の目印画像、及び、関連する目印の姿勢であって前記目印画像を捕捉する関連する目印の姿勢と、
所与の目印に関連付けられる複数の特徴の記述であって、当該所与の目印に関連付けられる当該複数の特徴の各々のための3D位置を含む、前記複数の目印からの記述と
を含む、
請求項9に記載の移動ロボット(10)。 - 前記視覚測定アプリケーション(630)が、
入力画像内で特徴を特定することと、
前記目印データベース(650)から目印を特定することであって、前記目印データベース(650)内の当該特定される目印の目印画像に関連付けられる匹敵する特徴に対しての前記入力画像内で特定される前記特徴の類似性に基づいて、前記入力画像内で、前記目印データベース(650)から当該目印を特定することと、
前記入力画像内の前記特定される特徴との類似性が最も高くなるように、前記特定される目印に関連付けられる前記匹敵する特徴の3D構造の剛体変換であって、相対的な姿勢の推定と、前記移動ロボット(10)の移動方向の上方で前記カメラ(125)の前記光軸を位置合わせする前記鋭角とに基づいて決定される剛体変換を決定することにより、最も可能性の高い相対的な姿勢を推定することと、
を前記プロセッサ(610)に指示する、請求項10に記載の移動ロボット(10)。 - 前記入力画像内で目印を特定することが、修正されていない前記入力画像の一部を、前記目印データベース(650)内の目印画像と比較することを含む、請求項11に記載の移動ロボット(10)。
- 前記SLAMアプリケーション(635)が、
前の位置の推定と、走行距離測定データと、少なくとも1つの視覚測定とに基づいて、前記目印のマップ(640)内の前記移動ロボット(10)の前記位置を推定することと、
前記移動ロボット(10)の前記推定された位置と、前記走行距離測定データと、前記少なくとも1つの視覚測定とに基づいて、前記目印のマップ(640)を更新することと、
を前記プロセッサ(610)に指示する、請求項11に記載の移動ロボット(10)。 - 前記視覚測定アプリケーション(630)が、
新しい目印を生成することであって、
一続きの画像の複数の画像内で特徴を検出することと、
前記一続きの画像からの複数の画像内の目印を形成する特徴の組を特定することと、
前記複数の画像の各々が捕捉されるときに、前記複数の画像の各々において前記目印を形成する前記特定された特徴の組を使用して、目印を形成する前記特徴の組の3D構造と、相対的なロボットの姿勢とを推定することと、
前記目印データベース(650)に新しい目印を記録することであって、前記新しい目印を記録することが、前記新しい目印の画像と、少なくとも前記新しい目印を形成する前記特徴の組と、前記新しい目印を形成する前記特徴の組の前記3D構造とを記憶することを含む、前記目印データベース(650)に新しい目印を記録することと、
によって新しい目印を生成することと、
新しい目印の前記生成を前記SLAMアプリケーション(635)に通知することと、
を前記プロセッサ(610)にさらに指示する、請求項9に記載の移動ロボット(10)。 - 前記SLAMアプリケーション(635)が、
前記目印データベース(650)に記憶される前記新しい目印の前記画像が捕捉されるときの前記移動ロボット(10)の前記姿勢として目印の姿勢を決定することと、
前記新しい目印のための前記目印の姿勢を前記目印データベース(650)に記録することと、
をプロセッサ(610)に指示する、請求項14に記載の移動ロボット(10)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020117779A JP6946524B2 (ja) | 2014-11-26 | 2020-07-08 | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム |
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462085031P | 2014-11-26 | 2014-11-26 | |
US201462085025P | 2014-11-26 | 2014-11-26 | |
US62/085,025 | 2014-11-26 | ||
US62/085,031 | 2014-11-26 | ||
US201562116307P | 2015-02-13 | 2015-02-13 | |
US62/116,307 | 2015-02-13 | ||
US14/856,526 US9519289B2 (en) | 2014-11-26 | 2015-09-16 | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
US14/856,497 US9751210B2 (en) | 2014-11-26 | 2015-09-16 | Systems and methods for performing occlusion detection |
US14/856,497 | 2015-09-16 | ||
US14/856,526 | 2015-09-16 | ||
PCT/US2015/061153 WO2016085717A1 (en) | 2014-11-26 | 2015-11-17 | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117779A Division JP6946524B2 (ja) | 2014-11-26 | 2020-07-08 | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017538208A JP2017538208A (ja) | 2017-12-21 |
JP6732746B2 true JP6732746B2 (ja) | 2020-07-29 |
Family
ID=56074897
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017525541A Active JP6732746B2 (ja) | 2014-11-26 | 2015-11-17 | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム |
JP2020117779A Active JP6946524B2 (ja) | 2014-11-26 | 2020-07-08 | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020117779A Active JP6946524B2 (ja) | 2014-11-26 | 2020-07-08 | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3224649B1 (ja) |
JP (2) | JP6732746B2 (ja) |
CN (2) | CN106537186B (ja) |
WO (1) | WO2016085717A1 (ja) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9519289B2 (en) | 2014-11-26 | 2016-12-13 | Irobot Corporation | Systems and methods for performing simultaneous localization and mapping using machine vision systems |
US10043076B1 (en) | 2016-08-29 | 2018-08-07 | PerceptIn, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous tracking |
US10410328B1 (en) | 2016-08-29 | 2019-09-10 | Perceptin Shenzhen Limited | Visual-inertial positional awareness for autonomous and non-autonomous device |
US10571925B1 (en) | 2016-08-29 | 2020-02-25 | Trifo, Inc. | Autonomous platform guidance systems with auxiliary sensors and task planning |
US10402663B1 (en) | 2016-08-29 | 2019-09-03 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous mapping |
US11314262B2 (en) | 2016-08-29 | 2022-04-26 | Trifo, Inc. | Autonomous platform guidance systems with task planning and obstacle avoidance |
US10162362B2 (en) | 2016-08-29 | 2018-12-25 | PerceptIn, Inc. | Fault tolerance to provide robust tracking for autonomous positional awareness |
US10395117B1 (en) | 2016-08-29 | 2019-08-27 | Trifo, Inc. | Visual-inertial positional awareness for autonomous and non-autonomous tracking |
US10453213B2 (en) | 2016-08-29 | 2019-10-22 | Trifo, Inc. | Mapping optimization in autonomous and non-autonomous platforms |
US10571926B1 (en) | 2016-08-29 | 2020-02-25 | Trifo, Inc. | Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance |
DE102016217637A1 (de) | 2016-09-15 | 2018-03-15 | Volkswagen Aktiengesellschaft | Odometrie-Verfahren zum Ermitteln einer Position eines Kraftfahrzeugs, Steuervorrichtung und Kraftfahrzeug |
JP7046506B2 (ja) * | 2017-06-12 | 2022-04-04 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US10444761B2 (en) | 2017-06-14 | 2019-10-15 | Trifo, Inc. | Monocular modes for autonomous platform guidance systems with auxiliary sensors |
US10496104B1 (en) | 2017-07-05 | 2019-12-03 | Perceptin Shenzhen Limited | Positional awareness with quadocular sensor in autonomous platforms |
CN111801717A (zh) * | 2017-07-28 | 2020-10-20 | 高通股份有限公司 | 机器人式运载工具的自动探索控制 |
US20200218279A1 (en) * | 2017-08-30 | 2020-07-09 | Qualcomm Incorporated | Robust Navigation of a Robotic Vehicle |
CN107745381B (zh) * | 2017-09-29 | 2018-10-12 | 南京昱晟机器人科技有限公司 | 一种机器人及其识别路障的方法 |
CN114777685A (zh) * | 2017-10-06 | 2022-07-22 | 先进扫描仪公司 | 生成一个或多个亮度边缘以形成物体的三维模型 |
WO2019086465A1 (en) | 2017-11-02 | 2019-05-09 | Starship Technologies Oü | Visual localization and mapping in low light conditions |
CN108021884B (zh) * | 2017-12-04 | 2020-04-21 | 深圳市无限动力发展有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
WO2019109228A1 (zh) * | 2017-12-04 | 2019-06-13 | 深圳市沃特沃德股份有限公司 | 基于视觉重定位的扫地机断电续扫方法、装置及扫地机 |
CN109101012A (zh) * | 2017-12-12 | 2018-12-28 | 上海魔龙机器人科技有限公司 | 一种基于slam算法的机器人导航系统及导航方法 |
JP7014586B2 (ja) * | 2017-12-13 | 2022-02-01 | 東芝ライフスタイル株式会社 | 自律走行体 |
WO2019035856A1 (en) | 2017-12-15 | 2019-02-21 | Tankbots, Inc. | METHODS OF DRIVING TASKS IN A RESERVOIR CONTAINING HAZARDOUS SUBSTANCES |
US10638906B2 (en) * | 2017-12-15 | 2020-05-05 | Neato Robotics, Inc. | Conversion of cleaning robot camera images to floorplan for user interaction |
CN108107892B (zh) * | 2017-12-22 | 2020-12-25 | 重庆秉为科技有限公司 | 一种智能清扫仪器控制方法 |
CN109955246B (zh) * | 2017-12-26 | 2020-11-24 | 深圳市优必选科技有限公司 | 悬崖检测方法、装置、终端设备及计算机可读存储介质 |
WO2019165998A1 (zh) * | 2018-02-28 | 2019-09-06 | 苏州宝时得电动工具有限公司 | 自移动设备 |
CN108544494B (zh) * | 2018-05-31 | 2023-10-24 | 珠海一微半导体股份有限公司 | 一种基于惯性和视觉特征的定位装置、方法及机器人 |
CN108481327B (zh) * | 2018-05-31 | 2023-11-07 | 珠海一微半导体股份有限公司 | 一种增强视觉的定位装置、定位方法及机器人 |
GB2574418B (en) * | 2018-06-05 | 2022-08-31 | Dyson Technology Ltd | A mobile robot and method of controlling a mobile robot illumination system |
CN110570511B (zh) * | 2018-06-06 | 2023-04-28 | 阿里巴巴集团控股有限公司 | 点云数据的处理方法、装置、系统和存储介质 |
JP7396691B2 (ja) | 2018-07-13 | 2023-12-12 | ラブラドール システムズ インコーポレイテッド | 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション |
WO2020014832A1 (zh) * | 2018-07-16 | 2020-01-23 | 深圳前海达闼云端智能科技有限公司 | 一种地图加载的方法、装置、电子设备和可读存储介质 |
JP7327596B2 (ja) * | 2018-08-10 | 2023-08-16 | カシオ計算機株式会社 | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム |
JP7354528B2 (ja) * | 2018-08-10 | 2023-10-03 | カシオ計算機株式会社 | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム |
CN109717796A (zh) * | 2018-11-21 | 2019-05-07 | 北京石头世纪科技股份有限公司 | 智能清洁设备 |
US11774983B1 (en) | 2019-01-02 | 2023-10-03 | Trifo, Inc. | Autonomous platform guidance systems with unknown environment mapping |
WO2020171811A1 (en) | 2019-02-20 | 2020-08-27 | Tankbots, Inc. | Methods for performing tasks inherently safely in a tank containing hazardous substances |
CN114174011B (zh) * | 2019-07-31 | 2024-04-19 | Lg电子株式会社 | 移动机器人 |
CN111571561B (zh) * | 2019-08-07 | 2021-08-31 | 上海肇观电子科技有限公司 | 移动机器人 |
JP7497436B2 (ja) | 2019-12-27 | 2024-06-10 | ウェイモ エルエルシー | 遮蔽物検出のためのシステムおよび方法 |
CN112101378B (zh) * | 2020-08-20 | 2024-08-02 | 上海姜歌机器人有限公司 | 机器人重定位方法、装置及设备 |
US20230095410A1 (en) * | 2021-09-24 | 2023-03-30 | Zoox, Inc. | System for detecting objects in an environment |
CN116079704B (zh) * | 2022-10-08 | 2024-04-30 | 西北工业大学 | 一种基于鱼眼机器视觉的集群机器人局部定位及通信方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5040116A (en) * | 1988-09-06 | 1991-08-13 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
EP1018467B1 (en) * | 1996-07-25 | 2003-10-22 | Honda Giken Kogyo Kabushiki Kaisha | Gait generating device for leg type moving robot |
US6374155B1 (en) * | 1999-11-24 | 2002-04-16 | Personal Robotics, Inc. | Autonomous multi-platform robot system |
AU2002306803A1 (en) * | 2001-03-21 | 2002-10-08 | Macdermid Colorspan, Inc. | Co-operating mechanical subassemblies for a scanning carriage, digital wide-format color inkjet print engine |
US7145478B2 (en) * | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
US7333113B2 (en) * | 2003-03-13 | 2008-02-19 | Sony Corporation | Mobile motion capture cameras |
US9229540B2 (en) * | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
JP2005211363A (ja) * | 2004-01-30 | 2005-08-11 | Funai Electric Co Ltd | 自走式掃除機 |
JP2006099327A (ja) * | 2004-09-29 | 2006-04-13 | Funai Electric Co Ltd | 自走式掃除機および発光装置 |
US20060209015A1 (en) * | 2005-03-18 | 2006-09-21 | Feldmeier David C | Optical navigation system |
AU2006284577B2 (en) * | 2005-09-02 | 2012-09-13 | Neato Robotics, Inc. | Multi-function robotic device |
CN101680756B (zh) * | 2008-02-12 | 2012-09-05 | 松下电器产业株式会社 | 复眼摄像装置、测距装置、视差算出方法以及测距方法 |
KR101543490B1 (ko) * | 2008-04-24 | 2015-08-10 | 아이로보트 코퍼레이션 | 로봇 가능화 모바일 제품을 위한 위치 측정 시스템, 위치 결정 시스템 및 운전 시스템의 적용 |
JP5412890B2 (ja) * | 2009-03-10 | 2014-02-12 | 株式会社安川電機 | 移動体及び移動体の制御方法並びに移動体システム |
CN101539422B (zh) * | 2009-04-22 | 2011-04-13 | 北京航空航天大学 | 一种单目视觉实时测距方法 |
EP2430392B1 (en) * | 2009-05-15 | 2015-07-22 | Michigan Aerospace Corporation | Range imaging lidar |
US8744665B2 (en) * | 2009-07-28 | 2014-06-03 | Yujin Robot Co., Ltd. | Control method for localization and navigation of mobile robot and mobile robot using the same |
KR101151707B1 (ko) * | 2009-12-30 | 2012-06-15 | 한국기술교육대학교 산학협력단 | Cts를 이용한 물체감지 및 이동로봇 시스템 |
WO2011161846A1 (ja) * | 2010-06-23 | 2011-12-29 | パナソニック株式会社 | ドーム型カメラ |
DE102012201870A1 (de) * | 2012-02-08 | 2013-08-08 | RobArt GmbH | Verfahren zum automatischen Auslösen einer Selbstlokalisierung |
US8958911B2 (en) * | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
JP2013192678A (ja) * | 2012-03-19 | 2013-09-30 | Sharp Corp | ロボット装置、情報提供装置、情報提供システム及びプログラム |
JP6132659B2 (ja) * | 2013-02-27 | 2017-05-24 | シャープ株式会社 | 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法 |
GB2513193B (en) * | 2013-04-19 | 2015-06-03 | Dyson Technology Ltd | Air moving appliance with on-board diagnostics |
CN103901895B (zh) * | 2014-04-18 | 2014-10-29 | 江苏久祥汽车电器集团有限公司 | 一种基于无极FastSLAM算法和匹配优化目标定位方法及机器人 |
CN104062973B (zh) * | 2014-06-23 | 2016-08-24 | 西北工业大学 | 一种基于图像标志物识别的移动机器人slam方法 |
-
2015
- 2015-11-17 JP JP2017525541A patent/JP6732746B2/ja active Active
- 2015-11-17 EP EP15862755.4A patent/EP3224649B1/en active Active
- 2015-11-17 WO PCT/US2015/061153 patent/WO2016085717A1/en active Application Filing
- 2015-11-17 CN CN201580040706.3A patent/CN106537186B/zh active Active
- 2015-11-17 CN CN202111132935.1A patent/CN113916230A/zh active Pending
-
2020
- 2020-07-08 JP JP2020117779A patent/JP6946524B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CN113916230A (zh) | 2022-01-11 |
EP3224649A1 (en) | 2017-10-04 |
CN106537186B (zh) | 2021-10-08 |
EP3224649B1 (en) | 2023-04-05 |
CN106537186A (zh) | 2017-03-22 |
JP2020173847A (ja) | 2020-10-22 |
EP3224649A4 (en) | 2018-10-31 |
JP6946524B2 (ja) | 2021-10-06 |
JP2017538208A (ja) | 2017-12-21 |
WO2016085717A1 (en) | 2016-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6946524B2 (ja) | 機械視覚システムを使用した、同時位置測定マッピングを実施するためのシステム | |
US10611023B2 (en) | Systems and methods for performing occlusion detection | |
US10705535B2 (en) | Systems and methods for performing simultaneous localization and mapping using machine vision systems | |
EP4191358B1 (en) | System for spot cleaning by a mobile robot | |
CN110915208B (zh) | 使用深度传感器的虚拟现实环境边界 | |
US11189078B2 (en) | Automated understanding of three dimensional (3D) scenes for augmented reality applications | |
US10102429B2 (en) | Systems and methods for capturing images and annotating the captured images with information | |
EP3527935B1 (en) | Context-based depth sensor control | |
EP2888603B1 (en) | Robot positioning system | |
EP2571660B1 (en) | Mobile human interface robot | |
CN110801180B (zh) | 清洁机器人的运行方法及装置 | |
CN112739244A (zh) | 移动机器人清洁系统 | |
GB2527207A (en) | Mobile human interface robot | |
AU2011352997A1 (en) | Mobile human interface robot | |
WO2011146259A2 (en) | Mobile human interface robot | |
CN112204345A (zh) | 移动设备的室内定位方法、移动设备及控制系统 | |
AU2015202200A1 (en) | Mobile human interface robot | |
KR20240057297A (ko) | 신경망 모델을 학습시키는 방법 및 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181019 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191226 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200207 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200708 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6732746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |