JP4171459B2 - 移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体 - Google Patents

移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体 Download PDF

Info

Publication number
JP4171459B2
JP4171459B2 JP2004372414A JP2004372414A JP4171459B2 JP 4171459 B2 JP4171459 B2 JP 4171459B2 JP 2004372414 A JP2004372414 A JP 2004372414A JP 2004372414 A JP2004372414 A JP 2004372414A JP 4171459 B2 JP4171459 B2 JP 4171459B2
Authority
JP
Japan
Prior art keywords
movement amount
moving body
posture
rotational movement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004372414A
Other languages
English (en)
Other versions
JP2005182834A (ja
Inventor
營 輔 沈
慶 植 盧
宇 燮 韓
雄 權
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005182834A publication Critical patent/JP2005182834A/ja
Application granted granted Critical
Publication of JP4171459B2 publication Critical patent/JP4171459B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S700/00—Data processing: generic control systems or specific applications
    • Y10S700/90—Special robot structural element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は移動する物体に係り、特に移動する物体の回転移動量を求めてこれを利用する方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体に関する。
一般的に、移動する物体（以下、移動体）を自動的に制御するために、移動体のポスチャ（posture）をリアルタイムで獲得しなければならない。ここで、ポスチャとは、移動体の位置及び姿勢情報を意味する。このようなポスチャを移動体自体に獲得させる従来の一般的な方法は、局所的探索法（local tracking）と大域的探索法（global localization）法とに大別される。このような方法は、非特許文献１に開示されている。
開示された方法のうち、局所的探索法は、オドメトリ（odometry）を利用してポスチャを単純に認識できる。しかし、この方法は、運動学的モデル化誤差（Kinematic Modeling Error）及び非構造的誤差に敏感であるという問題点を有する。これを補完するために開発された多様な形態の誤差モデリング及び補償方法（Error Modeling & Compensation Method）が非特許文献１の１３２ないし１５０ページ、非特許文献２、及び非特許文献３にそれぞれ開示されている。しかし、開示された多様な形態の誤差モデリング及び補償方法は、構造的な誤差（structured error）を数学的に表現できる場合にだけ適用されうるという限界を有する。
従って、線形加速メーターセンサ（Linear Accelerometer）を利用して移動体の位置を推定し、ジャイロ（Gyro）や羅針盤センサ（Compass）を利用して移動体の姿勢情報を推定する。この場合、センシングされた信号からポスチャを堅実に推定するための従来のフィルタ設計方法が存在する。しかし、センシングされた結果を積分してポスチャを推定する従来の方法は、累積される積分誤差によって時間が経過するほどにポスチャであると認識する精度を顕著に低下させるだけではなく、高価なセンサを使用しなければならないという問題点を有する。
これを解決するために、視覚装置（Vision system）を活用し、時間ごとのカメラ映像のフローを利用して移動体の相対的動きを推定する従来の他の方法がある。しかし、このような方法は、単純なシステム構成により処理されるにもかかわらず、イメージフローの処理のための演算時間を長くするという問題点を有する。
"Where am I？ Sensors AND Methods for Mobile Robot Positioning",J.Borenstein, H. R. Everette及びL. Feng.,University of Michigan for the Oak Ridge National Lab． D&D Prograｍ，１９９６年４月出刊，ｐ．１０ "Measurement AND Correction of Systematic Odometry Errors in Mobile Robots",J.Borenstein及びL.Feng,IEEE Transactions on Robotics And Automation,Vol.12，No.6,1996年１２月出刊，pp.869-880 "Relative Localization using Path Odometry Information"，Nakju Lett Doh,Howie Choset及びWan Kyun Chung,IEEE Transactions on Robotics and Automation
本発明が解決しようとする技術的課題は、移動体の線形移動をセンシングした結果を介して獲得した線形移動量から回転移動量を推定し、推定された回転移動量を利用できる移動体の回転移動量利用方法を提供するところにある。
本発明が解決しようとする他の技術的課題は、移動体の線形移動をセンシングした結果を介して獲得した線形移動量から回転移動量を推定し、推定された回転移動量を利用できる移動体の回転移動量利用装置を提供するところにある。
本発明が解決しようとするさらに他の技術的課題は、前述の移動体の回転移動量利用装置を制御するコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体を提供するところにある。
前記課題を解決するための本発明による移動体の回転移動量利用方法は、移動体が移動する経路上の相異なる２地点でイメージを獲得するイメージ獲得部と、前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する座標値生成部と、前記移動体の線形移動を変位センサによりセンシングするセンシング部と、前記センシング結果から線形移動量を生成し、前記イメージ座標値及び前記線形移動量から回転移動量を生成する移動量生成部と、を備える移動体の回転移動量利用装置において、移動体の回転移動量を利用する方法であって、前記イメージ獲得部が、前記移動体が移動する経路上の相異なる２地点でイメージを獲得する段階と、前記座標値生成部が、前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を求める段階と、前記センシング部が、前記移動体の線形移動を変位センサによりセンシングする段階と、前記移動量生成部が、センシング結果を利用して線形移動量を求め、前記イメージ座標値及び前記線形移動量を利用し、前記回転移動量を求める段階と、を含むことが望ましい。
前記他の課題を解決するための本発明による移動体の回転移動量利用装置は、前記移動体が移動する経路上の相異なる２地点でイメージを獲得するイメージ獲得部、前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する座標値生成部、前記移動体の線形移動を変位センサによりセンシングするセンシング部、及び前記センシング結果から線形移動量を生成し、前記イメージ座標値及び前記線形移動量から前記回転移動量を生成する移動量生成部より構成されることが望ましい。
前記さらに他の課題を解決するために、移動体が移動する経路上の相異なる２地点でイメージを獲得するイメージ獲得部と、前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する座標値生成部と、前記移動体の線形移動を変位センサによりセンシングするセンシング部と、前記センシング結果から線形移動量を生成し、前記イメージ座標値及び前記線形移動量から回転移動量を生成する移動量生成部と、を備える移動体の回転移動量利用装置を制御する少なくとも１つのコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体において、前記コンピュータプログラムは、前記回転移動量利用装置を、前記移動体が移動する経路上の相異なる２地点でイメージを獲得する手段、前記獲得したイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する手段、前記移動体の線形移動を変位センサによりセンシングして線形移動量を生成する手段、前記イメージ座標値及び前記線形移動量を利用し、前記回転移動量を生成する手段、として機能することが望ましい。
本発明による移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体は、移動体の線形移動量をセンシングするセンサ及びイメージを獲得するイメージ獲得部、例えばカメラなどの低廉な回路構成で移動体の回転移動量を推定し、地域的にポスチャを認識できるようにし、反復される積分により経時的に誤差を累積させる従来の方法と異なり、回転移動量を推定するにあたって、限定された範囲の誤差を有し、特に移動体が平面で動作する場合、エピポーラ幾何学の解を求めるにおいて、カメラのイメージだけを使用する場合に比べ、探さなければならないマッチング点の個数を１／４ほど減少させることができ、かつ演算時間を短縮させることができ、移動体、例えばロボットのリアルタイム自律走行システムの開発に高い応用性を有する。
以下、本発明による移動体の回転移動量利用方法及びその実施形態を添付図面を参照して次の通り説明する。
図１は、本発明による移動体の回転移動量利用方法の一実施形態を説明するためのフローチャートであり、移動体を初期化させる段階（第１０及び第１２段階）、移動体の線形移動量及び回転移動量を求める段階（第１４ないし第２０段階）、ポスチャを更新する段階（第２２段階）、及び目的位置に達しているか否かを判断する段階（第２４段階）からなる。
本発明による移動体の回転移動量利用方法の一実施形態によれば、移動体の移動を始める（第１０段階）。ここで、移動体は三次元的または二次元的に動く装置、例えば移動ロボット、人工知能型自動車または無人航空機などになる。
第１０段階後に、移動体のポスチャを初期化する（第１２段階）。ここで、移動体のポスチャとは、移動体の位置と姿勢情報とを意味する。ポスチャを初期化するということは、移動体の位置と姿勢情報を、例えば「０」に設定して移動開始点を原点に設定するということを意味する。
第１２段階後に、移動体が移動する経路上の相異なる２地点の第１及び第２位置で２つのイメージを獲得する（第１４段階）。
第１４段階後に、獲得された２つのイメージについてマッチング点を探し、このマッチング点それぞれのイメージ座標値を求めて保存する（第１６段階）。ここで、マッチング点は、必要最小限の数のマッチング点になる。このとき、必要最小限の数のマッチング点の個数は、８個または２個である。または、本発明によれば、イメージ座標を抽出するにあたって引き起こされる誤差、映像ノイズによる誤差またはイメージを獲得するカメラ（図示せず）パラメータの誤差にもかかわらず正確なイメージ座標を抽出するために、マッチング点の個数を必要最小限の数のマッチング点の個数、すなわち８または２の整数倍に設定することもある。
第１６段階後に、移動体の線形移動をセンシングし、センシングされた結果を利用して線形移動量を求める（第１８段階）。ここで、移動体の機構的な特性、例えば移動体が輪を利用して移動するホイールメカニズムを採択したものであるか、または移動体が飛行体であるかによって線形移動量は多様な形態で求められる。このような多様な形態は、“Sensors for Mobile Robots-Theory And Application”という題目でH.R.Everetteにより著述され、A K Peters,Ltd．により１９９５年に出刊された著作の３５ないし６５ページに開示された内容を利用して具現されうる。
本発明の一様態によれば、移動体の線形移動をセンシングした結果から線形移動量を直接的に求めることができる。例えば、加速度センサを利用して移動体の加速度をセンシングし、センシングされた加速度を二回積分して移動体の線形移動量を求めることができる。
本発明の他の様態によれば、移動体の線形移動をセンシングした結果から線形移動量を間接的に求めることもできる。例えば、移動体のホイールの回転速度から移動体中心の線形移動速度を求め、線形移動速度を積分して線形移動量を計算できる。
第１８段階後に、保存されたイメージ座標値及び線形移動量を利用して回転移動量を求める（第２０段階）。このとき、本発明によれば、移動体の回転移動量は次の数式(１)のように求められる回転移動量による変換行列（Ｒ1,2）を利用して求められうる。ここで、変換行列とは、１座標系（Coord.１）で表現されたベクトル成分を２座標系（Coord.２）で表現された成分に変換する行列を意味する（数（１））。
Figure 0004171459
ここで、ｉ＝１，．．．，Ｉ；Ｉは必要最小限の数のマッチング点の個数を表し、ｕｉ，２及びｖｉ，２は第１６段階で求めたイメージ座標値を表し、Ｒ２，１はＲ１，２の逆行列として正規化された行列（Ｎｏｒｍａｌｉｚｅｄ Ｍａｔｒｉｘ）を表し、ｆｓｘ＝ｆ１／ｓｘであり、ｆｓｙ＝ｆ２／ｓｙであり、ｆ１及びｆ２は前述した２つのイメージを求めた２地点での焦点距離をそれぞれ表し、ｓｘ及びｓｙはスケール因子を表し、Ｔは前置行列を表し、ａｉは定数を表す。ここで、正規化された行列とは、行列の各列ベクトルの大きさが１になるようにスケールが調整された行列を意味する。前述した数式（１）に表現された。
Figure 0004171459
は次の数式（２）で示される。
Figure 0004171459
ここで、ｔ1,2は線形移動量を表し、1ｔ1,2は１座標系で表現された線形移動量を表し、ｕi,1及びｖi,1は第１６段階で求めたイメージ座標値を表し、ｓ（）はベクトルの外積（Cross Product）演算を表現するために定義された歪対称（Skew-Symmetric）行列を表す。このとき、1ｔ1,2からｓ（1ｔ1,2）を求める過程は“Image Processing， Analysis And Machine Vision”という題目でSonka,V.Hlavac及びR.Boyleにより著述されてPWS Publishingにより1999年に出刊された著作の４６２ページに開示されている。
このとき、正規化された行列（Ｒ2,1）から回転移動量を抽出する過程は、“Introduction to Robotics”という題目で、John J.Craigにより著述され、Addison-Wesley Publishing Companyにより１９８６年に出刊された著作の５０ページに開示されている。
以下、前述した数式（１）の導出過程について添付された図面を参照して次の通り説明する。
図２は、エピポーラ幾何学（Epipolar Geometry）の概念を説明するための図面である。
図２を参照すれば、前述した数式（１）は、“Image Processing, Analysis and Machine Vision”という題目で、Sonka, V. Hlavac及びR. Boyleにより著述され、PWS Publishingにより１９９９年に出刊された著作の４４８ないし４６５ページに開示されたエピポーラ幾何学に基づく。空間上のある対象２８を撮影するカメラ（図示せず）の焦点を１位置３８に置いて矢印方向３０に光軸（optical axis）を設定してその対象２８を撮影すれば、イメージ平面３４上にその対象２８が投影される。このとき、イメージ平面３４上に投影された対象４２が有するイメージ座標（ｕ1，ｖ1）と空間上での対象２８が有する座標［1Ｐ1＝（Ｘ1，Ｙ1，Ｚ1）］間に次の数式（３）のような関係が成立する。ここで、iＰj（ここで、ｉ＝１または２）はＰj点を対してｉ座標系の観点から記述した座標を表す。
Figure 0004171459
ここで、ｕ1とｖ1それぞれの単位は画素数となる。
これと同様に、空間上の対象２８を撮影するカメラの焦点を他の位置４０に置き、矢印方向３２に光軸を設定して対象２８を撮影すれば、イメージ平面３６上にその対象２８が投影される。このとき、イメージ平面３６上に投影された対象４４が有するイメージ座標（ｕ2，ｖ2）と空間上での対象２８が有する座標［2Ｐ1＝（Ｘ2，Ｙ2，Ｚ2）］間に次の数式(４)のような関係が成立する。
Figure 0004171459
ここで、ｕ2とｖ2それぞれの単位は画素数となる。
このとき、同じ対象に対する座標系（1Ｐ1及び2Ｐ1）間の変換関係式は次の数式（５）に示す通りである。
Figure 0004171459
数式（５）は更に次の数式（６）のように表現することができる。
Figure 0004171459
一般的に、エピポーラ幾何学を利用した自己位置推定（Ｅｇｏ−Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｉｏｎ）問題は、イメージ座標値を利用して線形移動量（ｔ１，２）と行列（Ｒ２，１）とを推定するというものである。従って、前述した数式（６）で、Ｐj点の空間上の座標値項を除去するための拘束条件（Ｃｏｎｓｔｒａｉｎｔｓ）を使用しなければならない。この拘束条件は、図２に図示された空間上の対象Ｐj、エピポール及び投影された対象４２及び４４は、図２に図示された斜線部分に該当するエピポーラ平面４６上にいずれも存在しなければならない、というものである。これは次の数式（７）のように表現することができる。
Figure 0004171459
ここで、●は内積を意味する。
結論的に、求める行列はＱとなる。ここで、行列Ｑは３×３の大きさを有するので、数式（７）を満足する正規化された行列を決定する方程式の個数は８である。これは、行列Ｑを計算するために空間上でマッチング点が８個以上にならねばならないということを意味する。数式（７）を満足する正規化された行列を決定する方程式から行列Ｑの各成分を求める。これについては、“Image Processing,Analysis And Machine Vision”という題目で、Sonka,V.Hlavac及びR.Boyleにより著述されてPWS Publishingにより１９９９年に出刊された著作の４６６〜４７６ページに開示されている。
空間上の１点について２つのイメージ平面でのマッチング点を探すアルゴリズムは、“A Robust Technique for Matching Two Uncalibrated Images through the Recovery of the Unknown Epipolar Geometry”という題目で、Zhang.Z.,Deriche．R.,Faugeras.O.及びLuong０Q０-T.により著述され、１９９５年にArtificial Intelligence JournalによりVol.７８として出刊された著作の８７ないし１１９ページに開示されている。
従って、第１８段階で求めた移動体の線形移動量を数式（７）に代入して再整理すれば、次の数式（８）のようである。このとき、第１８段階で求めた線形移動量（ｔ1,2）を介してベクトル（1ｔ1,2）の成分をあらかじめ計算できる。
Figure 0004171459
ここで、空間上での移動体の回転移動量の３成分（Ｒｏｌｌ，Ｐｉｔｃｈ及びＹａｗ）により決定される行列（Ｒ２，１）は３×３の大きさを有するので、８個の必要最小限の数のマッチング点から求められる。このとき、数式(８)はｉ＝１の場合であり、これを一般的に表現すれば前述した数式(１)になる。
一方、移動体が二次元平面で限定的に動作する場合、移動体の回転移動量は、移動平面に対して垂直方向の回転成分（Ｙａｗ）だけを考慮すればよい。従って、この場合、正規化された行列（Ｒ２，１）を求めるための必要最小限の数のマッチング点の個数は２個に減少されることもある。
第２０段階後に、線形移動量及び回転移動量を利用して移動体のポスチャを更新する（第２２段階）。すなわち、以前に求めた移動体のポスチャ、すなわち移動体の位置Ｔｒｓ’と姿勢情報Ｒｏｔ’とは、次の数式（９）のように新しい移動体のポスチャ、すなわち移動体の位置Ｔｒｓと姿勢情報Ｒｏｔとにより更新される。
Figure 0004171459
ここで、ΔＴｒｓは第１８段階で求めた線形移動量（ｔ1,2）を表し、ΔＲｏｔは第２０段階で求めた回転移動量を表す。
第２２段階後に、移動体が目的位置に達しているか否かを判断する（第２４段階）。もし、移動体が目的位置に達していないと判断された場合、第１４段階に進む。しかし、移動体が目的位置に達していると判断された場合、図１に図示された移動体の回転移動量利用方法を終了する。
本発明によれば、図１に図示された移動体の回転移動量利用方法は、第１０，第１２，第２２及び第２４段階を選択的に設けることができる。
すなわち、図１に図示された移動体の回転移動量利用方法は、第１４，第１６，第１８及び第２０段階のみを設け、第１０，第１２，第２２及び第２４段階を設けないこともある。または、図１に図示された移動体の回転移動量利用方法は、第１４，第１６，第１８，第２０及び第２２段階のみを設け、第１０，第１２及び第２４段階を設けないこともある。
図１に示す回転移動量の利用方法は、移動体が目的位置に達するまで第１４ないし第２２段階を反復的に行って最終的に更新されたポスチャを求める。このとき、最終的に更新されたポスチャを介して移動体のポスチャを認識できる。
一方、前述した図１に示す第１６段階を行う時間が長くなれば、移動体を停止するか、または低速で移動しなければならない。従って、移動体のポスチャが有する誤差を補正する必要性が生じる。このような必要性を満足させるための本発明による回転移動量の利用方法の他の実施形態を添付された図面を参照して次の通り説明する。
図３は、本発明による移動体の回転移動量の利用方法の他の実施形態を説明するためのフローチャートであり、移動体を初期化させる段階（第５０及び第５２段階）、ポスチャを補正しようとする場合に、ポスチャを補正、すなわち更新する段階（第５４ないし６４段階）、目的位置に達しているか否かを判断する段階（第６６段階）、及びポスチャを補正しないときに移動体を移動させる段階（第６８段階）からなる。
図３に図示された第５０及び第５２段階は、図１に図示された第１０及び第１２段階とそれぞれ同じ役割を行い、第５６ないし第６６段階は、第１４ないし第２４段階とそれぞれ同じ役割を行うので、それらについて詳細な説明は省略する。結局、図３に図示された移動体の回転移動量の利用方法は、図１に図示された移動体の回転移動量の利用方法と異なり、第５４及び第６８段階をさらに設ける。
本発明による移動体の回転移動量の利用方法の他の実施形態によれば、第５２段階後にまたは移動体が目的位置に達していないと判断された場合、移動体のポスチャを補正するか否かを判断する（第５４段階）。このために、例えば移動体が移動した時間が所定時間を経たか否かを判断できる。ここで、所定時間は、ポスチャを補正する時間周期としてユーザにより設定される。
移動体のポスチャを補正すると判断された場合、第５６段階に進む。このとき、移動体のポスチャを補正しないと判断された場合、移動体を移動させて第６６段階に進む（第６８段階）。
ただし、図１に図示された移動体の回転移動量の利用方法で、第１６ないし第２２段階が行われる間に移動体は移動してもよい。しかし、図３に図示された移動体の回転移動量の利用方法で、第５８ないし第６４段階が行われる間に移動体は停止することが望ましい。なぜならば、正確に補正されたポスチャを反映して移動体を移動させることが望ましいためである。その上、図１に図示された移動体の回転移動量の利用方法で、２地点が形成する経路は曲線または直線である。しかし、図３に図示された移動体の回転移動量の利用方法で、２地点が形成する経路は直線であることが望ましい。
以下、本発明による移動体の回転移動量利用装置の構成及び動作を添付した図面を参照して次の通り説明する。
図４は、本発明による移動体の回転移動量利用装置の一実施形態のブロック図であり、回転移動量利用装置は、イメージ獲得部１００、座標値生成部１０２、センシング部１０４、移動量生成部１０６、ポスチャ更新部１０８、制御部１１０及び位置検査部１１２より構成される。
図４に図示された回転移動量利用装置は、図１に図示された回転移動量の利用方法を行う役割を果たす。
図１に図示された第１０段階を行うために、制御部１１０は移動制御信号を発生させ、発生した移動制御信号を出力端子ＯＵＴ１を介して出力する。従って、移動体は移動制御信号に応答して移動を始める。
第１２段階を行うために、制御部１１０及びポスチャ更新部１０８が設けられる。すなわち、制御部１１０はポスチャ初期化信号を発生させ、発生したポスチャ初期化信号をポスチャ更新部１０８に出力する。このとき、ポスチャ更新部１０８は、制御部１１０から入力したポスチャ初期化信号に応答し、ポスチャ、すなわち移動体の位置及び移動体の姿勢情報を初期化させる。
第１４段階を行うために、制御部１１０から発生して入力された獲得制御信号に応答し、イメージ獲得部１００は移動体が移動する経路上の相異なる２地点でイメージを獲得し、獲得されたイメージを座標値生成部１０２に出力する。例えば、獲得制御信号を介して移動体の初期化が終了したと認識された場合、イメージ獲得部１００は２つのイメージを獲得する。このために、イメージ獲得部１００は移動体に装着される少なくとも１台のカメラ（図示せず）より具現されうる。このとき、カメラは移動体と共に移動しつつ、相異なる２地点で２つのイメージを獲得する。
第１６段階を行うために、座標値生成部１０２は、獲得されたイメージについてマッチング点を探し、このマッチング点それぞれのイメージ座標値を生成し、生成されたイメージ座標値を移動量生成部１０６に出力する。このとき、座標値生成部１０２で見つけられるマッチング点は、必要最小限の数のマッチング点に該当する。
第１８段階を行うために、センシング部１０４及び移動量生成部１０６が設けられる。ここで、センシング部１０４は移動体の線形移動をセンシングし、センシングされた結果を移動量生成部１０６に出力する。例えば、移動体が輪を利用して移動するホイールメカニズムを採択した場合、センシング部１０４はホイールエンコーダ（図示せず）より具現される。しかし、移動体が飛行体である場合、センシング部１０４は加速度センサ（linear accelerometer）（図示せず）より具現される。このとき、移動量生成部１０６は、センシング部１０４でセンシングされた結果から線形移動量を生成し、生成された線形移動量をポスチャ更新部１０８に出力する。
第２０段階を行うために、移動量生成部１０６は、座標値生成部１０２から入力したイメージ座標値と、生成した線形移動量とから回転移動量を生成し、生成された回転移動量をポスチャ更新部１０８に出力する。
第２２段階を行うために、ポスチャ更新部１０８は、移動量生成部１０６で生成された線形移動量及び回転移動量から移動体のポスチャを更新し、更新された結果を出力端子ＯＵＴ２を介して出力する。
第２４段階を行うために、位置検査部１１２は、更新完了信号に応答し、移動体が目的位置に達しているか否かを検査し、検査された結果をイメージ獲得部１００に出力する。すなわち、ポスチャ更新部１０８から入力した更新完了信号を介してポスチャの更新が完了したと認識された場合、位置検査部１１２は移動体が目的位置に達しているか否かを検査する。
このとき、イメージ獲得部１００は、位置検査部１１２で検査された結果に応答し、イメージを獲得する（第１４段階）。すなわち、位置検査部１１２から入力した検査された結果を介して移動体が目的位置に達していないと認識された場合、移動体が移動する経路上のさらに他の２地点で２つのイメージを獲得する。
図１に図示された移動体の回転移動量の利用方法が前述のように、第１０，第１２，第２２及び第２４段階を選択的に設けたように、図３に図示された移動体の回転移動量利用装置は、ポスチャ更新部１０８及び位置検査部１１２を選択的に設け、第１０及び第１２段階を選択的に行うように制御部１１０の動作を制限できる。
図５は、本発明による移動体の回転移動量利用装置の他の実施形態のブロック図であり、イメージ獲得部１５０、座標値生成部１５２、センシング部１５４、移動量生成部１５６、ポスチャ更新部１５８、補正検査部１６０、制御部１６２及び位置検査部１６４より構成される。
図５に図示された回転移動量利用装置は、図３に図示された回転移動量の利用方法を行う役割をする。図５に図示された座標値生成部１５２、センシング部１５４、移動量生成部１５６及びポスチャ更新部１５８は、図４に図示された座標値生成部１０２、センシング部１０４、移動量生成部１０６及びポスチャ更新部１０８にそれぞれ該当する同じ機能を行うのでそれらについて詳細な説明は省略する。
第５０段階を行うために、制御部１６２は移動制御信号を発生させ、発生した移動制御信号を出力端子ＯＵＴ３を介して出力する。従って、移動体は移動制御信号に応答して移動を始める。
制御部１６２及びポスチャ更新部１５８は、第５２段階を行う役割をする。まず、制御部１６２はポスチャ初期化信号を発生させ、発生したポスチャ初期化信号をポスチャ更新部１５８に出力する。このとき、ポスチャ更新部１５８はポスチャ初期化信号に応答してポスチャを初期化させる。
第５４段階を行うために、制御部１６２から発生した補正制御信号に応答し、補正検査部１６０は移動体のポスチャを補正するか否かを検査し、検査された結果をイメージ獲得部１５０及び制御部１６２にそれぞれ出力する。例えば、補正制御信号を介して移動体の初期化が終了したと認識された後、補正検査部１６０は移動体のポスチャを補正するか否かを検査し始める。
第５６段階を行うために、イメージ獲得部１５０は、補正検査部１６０で検査された結果に応答し、イメージを獲得し、獲得されたイメージを座標値生成部１５２に出力する。すなわち、補正検査部１６０から入力した検査された結果を介してポスチャを補正すると認識された場合、イメージ獲得部１５０は２つのイメージを獲得する。
第６６段階を行うために、位置検査部１６４は、ポスチャ更新部１５８から入力した更新完了信号に応答し、移動体が目的位置に達しているか否かを検査し、検査された結果を補正検査部１６０に出力する。すなわち、更新完了信号を介してポスチャの更新が完了したと認識された場合、位置検査部１６４は、移動体が目的位置に達しているか否かを検査する。
このとき、第５４段階を行うために、補正検査部１６０は、位置検査部１６４で検査された結果に応答し、ポスチャを補正するか否かを検査する。すなわち、位置検査部１６４で検査された結果を介して移動体が目的位置に達していないと認識された場合、補正検査部１６０はポスチャを補正するか否かを検査する。
第６８段階を行うために、制御部１６２は補正検査部１６０で検査された結果に応答し、移動制御信号を発生する。すなわち、補正検査部１６０で検査された結果を介してポスチャを補正しないと認識された場合、制御部１６２は移動体の移動のために移動制御信号を発生し、出力端子ＯＵＴ３を介して出力する。第６８段階を行った後、制御部１６２は、位置検査部１６４が第６６段階を行うように位置検査部１６４を制御する。
以下、前述した回転移動量利用装置を制御する少なくとも１つのコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体について次の通り説明する。
本発明による記録媒体を読取り可能なコンピュータに保存されるコンピュータプログラムは、移動体が移動する経路上の相異なる２地点でイメージを獲得させる段階、獲得されたイメージについてマッチング点を探し、マッチング点それぞれのイメージ座標値を生成させる段階、移動体の線形移動をセンシングして線形移動量を生成させる段階、及びイメージ座標値及び線形移動量を利用して回転移動量を生成させる段階を行う。
このとき、コンピュータプログラムは、線形移動量及び回転移動量を利用して移動体のポスチャを更新させる段階をさらに行うこともある。
その上、記録媒体に保存されるコンピュータプログラムは、移動体のポスチャを補正するか否かを判断する段階をさらに行うことができる。この場合、移動体のポスチャを補正すると判断された場合、イメージを獲得させる段階に進め、さもなければ移動体を移動させる。
前述した本発明による移動体の回転移動量の利用方法とその装置及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体は、移動ロボットの核心技術である自律走行技術、環境認識技術開発、無人飛行システムまたは極限地域探査装備などに有用に適用されることもある。
本発明は、移動する物体、例えば移動ロボット、人工知能型自動車または無人航空機などに効果的に適用できる。
本発明による移動体の回転移動量の利用方法の一実施形態を説明するためのフローチャートである。 エピポーラ幾何学の概念を説明するための図面である。 本発明による移動体の回転移動量の利用方法の他の実施形態を説明するためのフローチャートである。 本発明による移動体の回転移動量利用装置の一実施形態のブロック図である。 本発明による移動体の回転移動量利用装置の他の実施形態のブロック図である。
符号の説明
１００ イメージ獲得部
１０２ 座標値生成部
１０４ センシング部
１０６ 移動量生成部
１０８ ポスチャ更新部
１１０ 制御部
１１２ 位置検査部

Claims (23)

  1. 移動体が移動する経路上の相異なる２地点でイメージを獲得するイメージ獲得部と、
    前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する座標値生成部と、
    前記移動体の線形移動を変位センサによりセンシングするセンシング部と、
    前記センシング結果から線形移動量を生成し、前記イメージ座標値及び前記線形移動量から回転移動量を生成する移動量生成部と、
    を備える移動体の回転移動量利用装置において、
    移動体の回転移動量を利用する方法であって、
    前記イメージ獲得部が、前記移動体が移動する経路上の相異なる２地点でイメージを獲得する段階と、
    前記座標値生成部が、前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を求める段階と、
    前記センシング部が、前記移動体の線形移動を変位センサによりセンシングする段階と、
    前記移動量生成部が、センシング結果を利用して線形移動量を求め、前記イメージ座標値及び前記線形移動量を利用し、前記回転移動量を求める段階と、
    を含むことを特徴とする移動体の回転移動量利用方法。
  2. 請求項１に記載の移動体の回転移動量利用方法は、
    前記移動量生成部で生成された前記線形移動量及び前記回転移動量から前記移動体のポスチャを更新し、更新された結果を出力するポスチャ更新部をさらに備える移動体の回転移動量を利用する装置において、
    前記ポスチャ更新部が、前記線形移動量及び前記回転移動量を利用し、前記移動体のポスチャを更新する段階を含むことを特徴とする移動体の回転移動量利用方法。
  3. 請求項２に記載の移動体の回転移動量利用方法は、
    前記移動体のポスチャを補正するか否かを検査する補正検査部と、
    前記イメージ獲得部は、前記検査された結果に応答し、前記イメージを獲得する機能をさらに備える移動体の回転移動量利用装置において、
    前記補正検査部が、前記移動体のポスチャを補正するか否かを判断する段階と、
    前記イメージ獲得部が、前記補正検査部により前記移動体のポスチャを補正すると判断された場合、前記イメージを獲得する段階に進む段階と、
    を含むことを特徴とする移動体の回転移動量利用方法。
  4. 請求項２に記載の移動体の回転移動量利用方法は、
    前記イメージ座標値を求めるときから前記ポスチャを更新する時まで、前記移動体は、移動中であることを特徴とする移動体の回転移動量利用方法。
  5. 請求項３に記載の移動体の回転移動量利用方法は、
    前記イメージ座標値を求めるときから前記ポスチャを更新するときまで、前記移動体は、停止することを特徴とする移動体の回転移動量利用方法。
  6. 請求項２に記載の移動体の回転移動量利用方法は、
    移動制御信号、ポスチャ初期化信号及び獲得制御信号を出力する制御部と、
    前記ポスチャの更新が完了しているか否かを表し、前記ポスチャ更新部から入力した更新完了信号に応答し、前記移動体が目的位置に達しているか否かを検査する位置検査部とをさらに備え、
    前記移動体は、前記移動制御信号に応答して移動し、
    前記ポスチャ更新部は、前記ポスチャ初期化信号に応答して前記ポスチャを初期化させ、
    前記イメージ獲得部は、前記獲得制御信号または前記位置検査部で検査された結果に応答し、前記イメージを獲得する移動体の回転移動量利用装置において、
    前記移動体が、移動を始める段階と、
    前記ポスチャ更新部が、前記移動体のポスチャを初期化し、前記イメージを獲得する段階に進む段階と、
    前記位置検査部が、前記移動体のポスチャが更新された後に、前記移動体が目的位置に達しているか否かを判断し、前記移動体が前記目的位置に達していないと判断した場合、前記イメージを獲得する段階に進む段階と、
    を含むことを特徴とする移動体の回転移動量利用方法。
  7. 請求項３に記載の移動体の回転移動量利用方法は、
    移動制御信号、ポスチャ初期化信号及び獲得制御信号を出力する制御部と、
    前記ポスチャの更新が完了しているか否かを表し、前記ポスチャ更新部から入力した更新完了信号に応答し、前記移動体が目的位置に達しているか否かを検査する位置検査部をさらに備え、
    前記移動体は、前記移動制御信号に応答して移動し、
    前記ポスチャ更新部は、前記ポスチャ初期化信号に応答して前記ポスチャを初期化させ、
    前記補正検査部は、前記補正制御信号または前記位置検査部で検査された結果に応答して前記ポスチャを補正するか否かを検査する移動体の回転移動量利用装置において、
    前記移動体が、移動を始める段階と、
    前記ポスチャ更新部が、前記移動体のポスチャを初期化し、前記ポスチャを補正するか否かを判断する段階に進む段階と、
    前記位置検査部が、前記移動体のポスチャが更新された後に、前記移動体が目的位置に達しているか否かを判断し、前記移動体が前記目的位置に達していないと判断した場合、前記補正検査部が、前記ポスチャを補正するか否かを判断する段階に進む段階と、
    を含むことを特徴とする移動体の回転移動量利用方法。
  8. 請求項７に記載の移動体の回転移動量利用方法は、
    前記補正検査部は、前記移動体のポスチャを補正しないと判断した場合、前記制御部に前記移動制御信号を出力させて前記移動体を移動させ、前記位置検査部が、前記移動体が前記目的位置に達しているか否かを判断する段階に進む段階をさらに備えることを特徴とする移動体の回転移動量利用方法。
  9. 請求項１または請求項３に記載の移動体の回転移動量利用方法は、
    前記２地点が形成する経路は、直線であることを特徴とする移動体の回転移動量利用方法。
  10. 請求項１に記載の移動体の回転移動量利用方法は、
    前記マッチング点の個数は、必要最小限の数のマッチング点の個数であることを特徴とする移動体の回転移動量利用方法。
  11. 請求項１０に記載の移動体の回転移動量利用方法は、
    前記必要最小限の数のマッチング点は８個であることを特徴とする移動体の回転移動量利用方法。
  12. 請求項１０に記載の移動体の回転移動量利用方法は、
    前記必要最小限の数のマッチング点は２個であることを特徴とする移動体の回転移動量利用方法。
  13. 請求項１１に記載の移動体の回転移動量利用方法は、
    前記マッチング点の個数は、必要最小限の数のマッチング点の個数の整数倍に設定されることを特徴とする移動体の回転移動量利用方法。
  14. 請求項１に記載の移動体の回転移動量利用方法は、
    前記移動体の前記回転移動量は、下記のように求められる変換行列（Ｒ１，２）を利用して求められることを特徴とする移動体の回転移動量利用方法。
    Figure 0004171459
     （ここで、ｉ＝１，．．．，Ｉ；Ｉは必要最小限の数のマッチング点の個数を表し、ｔ１，２は前記線形移動量を表し、１ｔ１，２は１座標系で表現された線形移動量を表し、ｕｉ，１、ｕｉ，２、ｖｉ，１及びｖｉ，２は前記イメージ座標値を表し、ｓ（）はベクトルの外積演算を表現するために定義された歪対称（Ｓｋｅｗ−Ｓｙｍｍｅｔｒｉｃ）行列を表し、Ｒ２，１はＲ１，２の逆行列を表し、ｆｓｘ＝ｆ１／ｓｘであり、ｆｓｙ＝ｆ２／ｓｙであり、ｆ１及びｆ２は前記２地点での焦点距離をそれぞれ表し、ｓｘ及びｓｙはスケール因子を表し、Ｔは前置行列を表し、ａｉは定数を表す）。｝
  15. 移動体の回転移動量を利用する装置において、
    前記移動体が移動する経路上の相異なる２地点でイメージを獲得するイメージ獲得部と、
    前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する座標値生成部と、
    前記移動体の線形移動を変位センサによりセンシングするセンシング部と、
    前記センシング結果から線形移動量を生成し、前記イメージ座標値及び前記線形移動量から前記回転移動量を生成する移動量生成部と、
    を備えることを特徴とする移動体の回転移動量利用装置。
  16. 前記移動体の回転移動量利用装置は、
    前記移動量生成部で生成された前記線形移動量及び前記回転移動量から前記移動体のポスチャを更新し、更新された結果を出力するポスチャ更新部をさらに備えることを特徴とする請求項１５に記載の移動体の回転移動量利用装置。
  17. 前記移動体の回転移動量利用装置は、
    前記移動体のポスチャを補正するか否かを検査する補正検査部をさらに備え、
    前記イメージ獲得部は、前記検査された結果に応答し、前記イメージを獲得することを特徴とする請求項１６に記載の移動体の回転移動量利用装置。
  18. 前記移動体の回転移動量利用装置は、
    移動制御信号、ポスチャ初期化信号及び獲得制御信号を発生する制御部と、
    前記ポスチャの更新が完了しているか否かを表し、前記ポスチャ更新部から入力した更新完了信号に応答し、前記移動体が目的位置に達しているか否かを検査する位置検査部とをさらに備え、
    前記移動体は、前記移動制御信号に応答して移動し、前記ポスチャ更新部は、前記ポスチャ初期化信号に応答して前記ポスチャを初期化させ、前記イメージ獲得部は、前記獲得制御信号または前記位置検査部で検査された結果に応答し、前記イメージを獲得することを特徴とする請求項１６に記載の移動体の回転移動量利用装置。
  19. 前記移動体の回転移動量利用装置は、
    前記移動制御信号、ポスチャ初期化信号及び補正制御信号を発生する制御部と、
    前記ポスチャの更新が完了しているか否かを表し、前記ポスチャ更新部から入力した更新完了信号に応答し、前記移動体が目的位置に達しているか否かを検査する位置検査部をさらに備え、
    前記移動体は、前記移動制御信号に応答して移動し、前記ポスチャ更新部は、前記ポスチャ初期化信号に応答して前記ポスチャを初期化させ、前記補正検査部は、前記補正制御信号または前記位置検査部で検査された結果に応答して前記ポスチャを補正するか否かを検査することを特徴とする請求項１７に記載の移動体の回転移動量利用装置。
  20. 前記制御部は、前記補正検査部で検査された結果に応答して前記移動制御信号を発生させ、前記位置検査部の検査動作を制御することを特徴とする請求項１９に記載の移動体の回転移動量利用装置。
  21. 移動体が移動する経路上の相異なる２地点でイメージを獲得するイメージ獲得部と、
    前記獲得されたイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する座標値生成部と、
    前記移動体の線形移動を変位センサによりセンシングするセンシング部と、
    前記センシング結果から線形移動量を生成し、前記イメージ座標値及び前記線形移動量から回転移動量を生成する移動量生成部と、
    を備える移動体の回転移動量利用装置を制御する少なくとも１つのコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体において、
    前記回転移動量利用装置を、
    前記移動体が移動する経路上の相異なる２地点でイメージを獲得する手段、
    前記獲得したイメージについてマッチング点を探し、前記各マッチング点のイメージ座標値を生成する手段、
    前記移動体の線形移動を変位センサによりセンシングして線形移動量を生成する手段、
    前記イメージ座標値及び前記線形移動量を利用し、前記回転移動量を生成する手段、
    として機能させるためのコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体。
  22. 前記移動量生成部で生成された前記線形移動量及び前記回転移動量から前記移動体のポスチャを更新し、更新された結果を出力するポスチャ更新部をさらに備える請求項２１に記載されたコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体において、
    前記回転移動量利用装置を、
    前記線形移動量及び前記回転移動量を利用し、前記移動体のポスチャを更新する手段として機能させるためのコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体。
  23. 前記移動体のポスチャを補正するか否かを検査する補正検査部と、
    前記イメージ獲得部は、前記検査された結果に応答し、前記イメージを獲得する機能をさらに備える請求項２２に記載されたコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体において、
    前記回転移動量利用装置を、
    前記移動体のポスチャを補正するか否かを判断する手段と、
    前記移動体のポスチャを補正すると判断した場合、前記イメージを獲得する手段として機能させるためのコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体。
JP2004372414A 2003-12-23 2004-12-24 移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体 Expired - Fee Related JP4171459B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030095522A KR100543709B1 (ko) 2003-12-23 2003-12-23 이동체의 회전 이동량 이용 방법과 장치 및 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체

Publications (2)

Publication Number Publication Date
JP2005182834A JP2005182834A (ja) 2005-07-07
JP4171459B2 true JP4171459B2 (ja) 2008-10-22

Family

ID=34545900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004372414A Expired - Fee Related JP4171459B2 (ja) 2003-12-23 2004-12-24 移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体

Country Status (6)

Country Link
US (1) US7747348B2 (ja)
EP (1) EP1548534B1 (ja)
JP (1) JP4171459B2 (ja)
KR (1) KR100543709B1 (ja)
CN (1) CN100394340C (ja)
DE (1) DE602004014586D1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005058312A1 (de) * 2005-12-07 2007-06-14 Dürr Ecoclean GmbH Greifvorrichtung für einen Roboter oder einen Portallader
US7459624B2 (en) 2006-03-29 2008-12-02 Harmonix Music Systems, Inc. Game controller simulating a musical instrument
JP2010531159A (ja) 2007-06-14 2010-09-24 ハーモニックス・ミュージック・システムズ・インコーポレイテッド ロックバンド疑似体験システム及び方法。
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US20110130940A1 (en) * 2008-05-23 2011-06-02 Foundacion Fatronik Wheelchair and method for correcting the guidance of a wheelchair
WO2010006054A1 (en) 2008-07-08 2010-01-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock and band experience
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US10357714B2 (en) 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US8874243B2 (en) 2010-03-16 2014-10-28 Harmonix Music Systems, Inc. Simulating musical instruments
WO2011155958A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
CN103777872A (zh) * 2012-10-24 2014-05-07 中国电信股份有限公司 移动终端及其解锁方法
KR101891980B1 (ko) * 2012-12-11 2018-08-27 한국전자통신연구원 회전체의 회전 특성 측정 방법 및 장치
CN104162894B (zh) * 2013-05-17 2016-03-02 光宝电子(广州)有限公司 清扫机器人及清扫机器人的定位方法
CN104552341B (zh) * 2014-12-29 2016-05-04 国家电网公司 移动工业机器人单点多视角挂表位姿误差检测方法
CN105072402B (zh) * 2015-08-11 2017-11-28 余路 一种机器人巡视监测的方法
US11926038B2 (en) 2018-01-10 2024-03-12 Sony Corporation Information processing apparatus and information processing method
US11029698B2 (en) * 2018-04-17 2021-06-08 AI Incorporated Method for tracking movement of a mobile robotic device

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03290800A (ja) 1990-04-06 1991-12-20 Hitachi Ltd 自走車のナビゲーションシステム
CN1141427A (zh) * 1995-12-29 1997-01-29 西安交通大学 基于图像识别的运动物体测量方法
US5950020A (en) * 1997-01-22 1999-09-07 Polaroid Corporation Folding photographic method and apparatus
AUPP299498A0 (en) * 1998-04-15 1998-05-07 Commonwealth Scientific And Industrial Research Organisation Method of tracking and sensing position of objects
US6292171B1 (en) * 1999-03-31 2001-09-18 Seiko Epson Corporation Method and apparatus for calibrating a computer-generated projected image
JP4028135B2 (ja) * 1999-05-27 2007-12-26 本田技研工業株式会社 物体検出装置
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
JP3760068B2 (ja) * 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP2003178309A (ja) 2001-10-03 2003-06-27 Toyota Central Res & Dev Lab Inc 移動量推定装置
JP3764086B2 (ja) * 2001-10-29 2006-04-05 本田技研工業株式会社 車両用情報提供装置
KR100837776B1 (ko) 2001-12-24 2008-06-13 주식회사 케이티 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법
JP3756452B2 (ja) * 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
JP3983573B2 (ja) * 2002-03-06 2007-09-26 富士重工業株式会社 ステレオ画像特性検査システム
WO2003078110A1 (fr) * 2002-03-18 2003-09-25 Sony Corporation Robot, controleur de robot a jambes et procede correspondant, systeme de capteurs pour robot a jambes, et appareil locomoteur
US20040068416A1 (en) * 2002-04-22 2004-04-08 Neal Solomon System, method and apparatus for implementing a mobile sensor network
KR100812506B1 (ko) * 2002-05-31 2008-03-11 후지쯔 가부시끼가이샤 원격 조작 로봇 및 로봇 자기 위치 추정 방법
WO2004014244A2 (en) * 2002-08-13 2004-02-19 Microbotics Corporation Microsurgical robot system
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP3902109B2 (ja) * 2002-10-02 2007-04-04 本田技研工業株式会社 赤外線カメラ特性確認治具
US7664569B2 (en) * 2002-10-10 2010-02-16 Sony Corporation Robot device operation control device and operation control method
WO2004059900A2 (en) * 2002-12-17 2004-07-15 Evolution Robotics, Inc. Systems and methods for visual simultaneous localization and mapping
JP3987048B2 (ja) * 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US8896660B2 (en) * 2003-05-30 2014-11-25 Alcatel Lucent Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
KR200354360Y1 (ko) 2004-03-31 2004-06-23 주식회사 씨플러스 대차 탑재형 이동식 방수포

Also Published As

Publication number Publication date
DE602004014586D1 (de) 2008-08-07
EP1548534A3 (en) 2006-11-29
KR20050065710A (ko) 2005-06-30
CN100394340C (zh) 2008-06-11
JP2005182834A (ja) 2005-07-07
US7747348B2 (en) 2010-06-29
EP1548534B1 (en) 2008-06-25
CN1637675A (zh) 2005-07-13
EP1548534A2 (en) 2005-06-29
US20050137750A1 (en) 2005-06-23
KR100543709B1 (ko) 2006-01-20

Similar Documents

Publication Publication Date Title
JP4171459B2 (ja) 移動体の回転移動量利用方法とその装置、及びコンピュータプログラムを保存するコンピュータ読取り可能な記録媒体
CN107741234B (zh) 一种基于视觉的离线地图构建及定位方法
CN108827315B (zh) 基于流形预积分的视觉惯性里程计位姿估计方法及装置
CN112985416B (zh) 激光与视觉信息融合的鲁棒定位和建图方法及系统
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
CN112097768B (zh) 机器人位姿的确定方法、装置、机器人及存储介质
US10133278B2 (en) Apparatus of controlling movement of mobile robot mounted with wide angle camera and method thereof
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN112197770B (zh) 一种机器人的定位方法及其定位装置
CN106780608B (zh) 位姿信息估计方法、装置和可移动设备
Lupton et al. Visual-inertial-aided navigation for high-dynamic motion in built environments without initial conditions
KR101214143B1 (ko) 이동체의 위치 및 방향 인식 장치 및 그 방법
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
CN112837352A (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
Zhang et al. Vision-aided localization for ground robots
Dang et al. Tightly-coupled data fusion of VINS and odometer based on wheel slip estimation
Oriolo et al. Vision-based odometric localization for humanoids using a kinematic EKF
CN117490688A (zh) 相机-imu-二维码融合的车间agv导航方法
CN112556681B (zh) 一种基于视觉的果园机械导航定位方法
CN109459046B (zh) 悬浮式水下自主航行器的定位和导航方法
CN109186594A (zh) 利用惯性传感器和深度摄像头传感器获取运动数据的方法
CN114789439B (zh) 斜坡定位校正方法、装置、机器人及可读存储介质
CN111812668B (zh) 绕机检查装置及其定位方法、存储介质
JP7336223B2 (ja) 自己位置推定方法
Deng et al. Data-Driven Based Cascading Orientation and Translation Estimation for Inertial Navigation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080722

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080808

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees