JP5595677B2 - 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法 - Google Patents

物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法 Download PDF

Info

Publication number
JP5595677B2
JP5595677B2 JP2009133125A JP2009133125A JP5595677B2 JP 5595677 B2 JP5595677 B2 JP 5595677B2 JP 2009133125 A JP2009133125 A JP 2009133125A JP 2009133125 A JP2009133125 A JP 2009133125A JP 5595677 B2 JP5595677 B2 JP 5595677B2
Authority
JP
Japan
Prior art keywords
information
corner
patch
plane
remission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009133125A
Other languages
English (en)
Other versions
JP2010107495A (ja
Inventor
俊 基 趙
錬 ▲ほ▼ 金
東 烈 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2010107495A publication Critical patent/JP2010107495A/ja
Application granted granted Critical
Publication of JP5595677B2 publication Critical patent/JP5595677B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Description

本発明は、移動ロボットの位置認識のために周辺物体から特徴情報を抽出し、それを通じて特徴マップを生成させる技術に関する。
移動ロボットに使われるマップは、使用目的によってさまざまであるが、主にグリッドマップ(Grid map)と特徴マップ(Feature map)とが多く使われる。
グリッドマップは、定められたサイズのグリッドを用いて周辺環境と障害物の位置や形状とをそのまま反映して保存する形態のマップであって、非常に直観的でハンドリングしやすいが、ロボットの使用空間が大きくなるほど要求されるメモリが急激に大きくなる短所がある。
一方、特徴マップは、周辺環境と障害物とに対して位置、色などの必要な特徴情報のみを検出して保存する方式であって、要求されるメモリは少ないが、システムの特徴検出性能に比較的依存的である。
このうち、特徴マップを生成させるためにロボットにカメラを装着し、カメラから得られる映像情報を用いて周辺物体の特徴を抽出する方法が多く使われる。
しかし、ロボットの位置を認識するためには、登録された特徴点と現在検出した特徴点との間のマッチングが必ず必要であるが、カメラの映像情報は、特徴点をマッチングする時、照明変化とロボット位置変化とによる映像のスケール、回転、角度(affine)歪曲を保証することが容易ではなくてマッチング性能が低い問題点がある。
したがって、周辺環境変化にあまり敏感ではなく、より効率的に特徴情報を検出する特徴マップ生成方法が要求される。
本明細書では、3D距離センサーを用いて周辺物体に関する距離情報、平面パッチ情報、反射関数などを特徴情報として検出し、それを用いて特徴マップを生成させる装置及び方法が開示される。
本発明の一態様による特徴情報抽出装置は、周辺に光を放出し、周辺物体からの反射光を感知して周辺物体に関する距離情報及びレミッション情報を取得するセンサー部と、レミッション情報を用いて周辺物体に関するコーナー情報を検出するコーナー検出部と、コーナー情報及び当該コーナー周辺の距離情報を用いて平面パッチ情報を検出する平面検出部と、平面パッチに入射される光の角度によるレミッション情報を用いて平面パッチの反射関数を検出する反射関数検出部とを含みうる。
また、本発明の一態様による特徴マップ生成装置は、ロボットに装着されて周辺に光を放出し、周辺物体からの反射光を感知して周辺物体に関する距離情報及びレミッション情報を取得するセンサー部と、距離情報及びレミッション情報から周辺物体に関するコーナー情報、平面パッチ情報及び平面パッチの反射関数を含む特徴情報を抽出し、該抽出された特徴情報を保存して特徴マップを生成させるデータ処理部とを含みうる。
また、本発明の一態様による特徴情報抽出方法は、周辺に光を放出し、周辺物体からの反射光を感知して周辺物体に関する距離情報及びレミッション情報を取得する段階と、レミッション情報に基づいて周辺物体に関するコーナーの位置座標をコーナー情報として検出する段階と、検出されたコーナーの位置座標及び当該コーナー周辺の距離情報を用いてコーナーの位置座標を中心点として有する正六面体を設定し、正六面体内に属する距離情報から平面パッチ情報を検出する段階と、平面パッチに入射される光の角度による前記レミッション情報を用いて平面パッチの反射関数を検出する段階と、コーナー情報、平面パッチまたは反射関数のうち少なくとも一つ以上を特徴情報として抽出して保存する段階と、を含みうる。
また、本発明の一態様による特徴マップ生成方法は、周辺に光を放出し、周辺物体からの反射光を感知して周辺物体に関する距離情報及びレミッション情報を取得する段階と、レミッション情報に基づいて周辺物体に関するコーナーの位置座標をコーナー情報として検出する段階と、検出されたコーナーの位置座標及び当該コーナー周辺の距離情報を用いてコーナーの位置座標を中心点として有する正六面体を設定し、正六面体内に属する距離情報から平面パッチ情報を検出する段階と、平面パッチに入射される光の角度によるレミッション情報を用いて平面パッチの反射関数を検出する段階と、コーナー情報、平面パッチまたは反射関数のうち少なくとも一つ以上を特徴情報として抽出して保存する段階と、現在感知された特徴情報と既保存された特徴情報とをマッチングさせてロボットの位置を補正し、保存された特徴情報をアップデートする段階とを含みうる。
一方、本発明の一態様によって、レミッション情報とは、周辺物体からの反射光量またはこれに基づいて生成された平面イメージになりうる。そして、コーナー情報は、当該コーナーの位置座標になりうる。平面パッチ情報は、当該平面パッチに関する平面式のパラメータになり、反射関数は、当該平面パッチに対する光の入射角によるレミッション情報を表わす関数になりうる。
前述した内容のうち、コーナーは、SIFT(Scale Invariant feature transform)またはハリス(Harris)アルゴリズムに基づいて検出されることが可能である。平面パッチは、検出されたコーナーを中心点として有する正六面体を設定した時、正六面体内に属する距離情報に対してLSM(Least Square Method)を利用した平面検出アルゴリズムを適用して平面式を算出して求めうる。反射関数は、平面パッチに入射される光の角度による前記レミッション情報に対してガウス(Gaussian)関数を利用したカーブフィッティング(curve fitting)を通じて算出される。
本発明は、光を放出する3D距離センサーを用いて取得された情報から反射関数を含む特徴情報を抽出し、これに基づいて特徴マップを生成させるために周辺の環境変化にあまり敏感ではない特徴マップを生成させることができ、特徴マッチング時の成功率を高めうる。
本発明の一実施形態によるロボットを示す図である。 本発明の一実施形態による3D距離センサーを示す図である。 本発明の一実施形態による特徴情報抽出装置を示す図である。 本発明の一実施形態によってレミッション情報からコーナー情報を検出することを示す図である。 本発明の一実施形態によって平面パッチを検出することを示す図である。 本発明の一実施形態による反射関数を示す図である。 本発明の一実施形態によって反射関数を算出することを示す図である。 本発明の一実施形態による特徴情報を示す図である。 本発明の一実施形態による特徴情報抽出方法を示す図である。 本発明の一実施形態による特徴マップ生成装置を示す図である。 本発明の一実施形態によるデータ処理部を示す図である。 本発明の一実施形態による特徴マップ生成方法を示す図である。
以下、添付した図面を参照して、本発明の実施形態による特徴情報抽出装置及び方法、このような特徴情報抽出を利用した特徴マップ生成装置及び方法を詳しく説明する。これを説明するに当って、後述する用語は、さまざまな機能を考慮して定義された用語であって、これは、ユーザの意図または慣例などによって変わりうるので、その定義は、本明細書全般に亘った内容に基づいて下さなければならない。
本実施形態を通じて説明される装置及び方法は、特定地域を調査する探知ロボットまたは家内の掃除のための掃除ロボットのように一定した範囲を移動しながら任務を実行する移動型ロボットに適用可能である。ロボットが一定した範囲を移動しながら任務を実行するためには、自身の位置を認識しなければならないが、この際、位置認識のために周辺情報を有している必要がある。周辺情報の代表的な例が、特徴マップである。したがって、本実施形態を通じて説明される装置及び方法は、移動ロボットに適用されて特徴情報を抽出するための手段または抽出された特徴情報を用いて特徴マップを生成させる手段などとして利用されうる。
例えば、特徴情報抽出装置または特徴マップ生成装置の場合、ロボットに装着されたセンサーと、このセンサーから取得された情報を処理するデータ処理手段とで構成することができる。この際、データ処理手段は、ロボットを制御するためのマイコンまたは制御チップ内にソフトウェア的に具現されても、別途のデータ処理チップで構成しても良い。
図1は、本発明の実施形態による移動ロボット及びこのような移動ロボットの位置を認識するための特徴マップを生成させるために特徴情報を抽出する装置を示す。図1を参照するに、ロボット101は、前述したように一定した範囲を移動しながら特定の任務を実行する。移動のためにはロボット101が自分の位置を認識しなければならないが、このような位置は、特徴マップ保存部104に保存された周辺の特徴マップを用いて認識されることが可能である。したがって、ロボット101が特定の任務を実行する前に、特徴マップがあらかじめ構築されなければならず、この特徴マップはユーザが直接入力をするか、ロボット101が自ら周辺地域を探索しながら特徴マップを生成させることが可能である。
図1では、ロボット101が周辺地域を探索しながら障害物のような物体に関する特徴情報を抽出し、それを通じて特徴マップを構築することを例示した。図1で、センサー部102は、ロボット101に装着されて周辺に光を放出する。またセンサー部102は、周辺物体からの反射光を感知して周辺情報を獲得する。例えば、センサー部102は、レーザを周辺にスキャンして反射されたレーザを検出する3D距離センサーが使われる。
センサー部102によって獲得される周辺情報は、物体に関する距離情報及びレミッション(remission)情報になりうる。距離情報は、光を放出した時間と反射された光が到逹した時間とを用いて算出可能であり、レミッション情報は、反射される光量を測定して得ることが可能である。
特徴情報抽出部103は、センサー部102によって取得された距離情報及びレミッション情報を用いて特徴マップ生成のための周辺物体の特徴情報を抽出する。この際、抽出される情報としては、物体のコーナー情報(例えば、コーナーの位置座標)、平面パッチ情報(例えば、特定の平面に関する平面式のパラメータ)、反射関数(例えば、特定の平面に関する光の入射角による光の反射量)などになりうる。
特徴マップ保存部104は、特徴情報抽出部103によって抽出された特徴情報を保存する。すなわち、特徴情報抽出部103によって抽出された多様な特徴情報の集合が、特徴マップを成すと理解することもできる。
図2は、本発明の実施形態によるセンサー部の一例を表わしたものである。図2を参照するに、センサー部102は、上下左右に回動しながら光を放出し、反射された光を検出することが可能である。例えば、センサー部102は、光を放出するレーザダイオード(LD)と、反射された光を放出し、レーザダイオード(LD)の付近に形成されたフォトダイオード(PD)とで構成することができ、このような構成が回転軸に装着されて形成されることが可能である。したがって、センサー部102から放出される光は、回転軸の回転によって多様な入射角を有するが、便宜上、上下または垂直方向をθ、左右または水平方向をθと指称する。
図3は、本発明の実施形態による特徴情報抽出装置の一例を示す。図3を参照するに、本実施形態による特徴情報抽出装置300は、センサー部301、コーナー検出部302、平面検出部303、反射関数検出部304を含みうる。
センサー部301は、周辺に光を放出し、周辺物体からの反射光を感知して物体に関する距離情報及びレミッション情報を取得する。ここで、距離情報は、物体の各地点とセンサー部301との距離になり、レミッション情報は、物体からの反射光量またはこれに基づいて生成された平面イメージになりうる。この際、センサー部301の構造の一例は、図2のとおりである。
コーナー検出部302は、センサー部301によって取得されたレミッション情報を用いて物体に関するコーナー情報を検出する。
例えば、レミッション情報は、反射される光量に基づいて生成された平面イメージになりうるので、この平面イメージ上の物体で各物体のコーナー(すなわち、物体の角またはエッジ)を検出することが可能である。コーナーを検出するアルゴリズムは、サイズ不変特徴変換(Scale Invariant Feature Transform、SIFT)またはハリス(Harris)技法などが使われる。
また、検出されるコーナー情報は、当該コーナーの位置座標であることが可能である。
図4は、コーナー検出部302が、レミッション情報からコーナー検出アルゴリズムを用いてコーナー情報を検出する方法の一例を表わしたものである。図4で、左側は、ロボット101が1番位置から3番位置に移動することを表わし、右側は、このようにロボット101が移動する時のセンサー部301が取得したレミッション情報を表わす。
図4を参照するに、レミッション情報である2Dイメージを通じて特徴点を検出するので、ロボット101の移動による距離と角度変化に拘わらず比較的に一定にコーナーとが検出されることが分かる。この際、獲得した特徴点のうち反復的によく検出される特徴点を登録特徴として使うことが可能である。
再び図3で、平面検出部303は、コーナー検出部302から検出されたコーナー情報と当該コーナー周辺の距離情報とを用いて平面パッチ情報を検出する。
図5は、本発明の実施形態による平面パッチの一例を表わす。図5で、平面パッチとは、ある物体501から検出されたコーナーの位置座標502を中心点として有する正六面体を設定した時、正六面体内に属する距離情報に対してLSM(Least Square Method)を利用した平面検出アルゴリズムを適用して検出された面(例えば、S1、S2など)になりうる。また、ここで、S1、S2は、平面パッチの平面式を表わすことができ、平面検出部303は、各平面式のパラメータを平面パッチ情報として検出することも可能である。
再び図3で、反射関数検出部304は、平面検出部303から検出された各平面パッチに対する反射関数を検出する。
まず、反射関数について説明する。
図6は、反射関数を説明するためのものであって、これを参照するに、センサー部301から放出される光は、所定の角度に放射されるので、物体に入射される光の入射角は、多様な値を有しうる。例えば、垂直方向の入射角であるθが変化すれば、それによって取得される光の反射量、すなわち、レミッション情報も変わる。図6の右側の絵は、このように入射角を変化させながら取得されたレミッション情報を表わす。このように、反射関数とは、平面パッチに入射される光の角度によるレミッション情報として定義されることができる。
次いで、反射関数検出部304が、このような反射関数を検出する方法を説明する。
図7を参照するに、ロボットが移動しながら検出された平面パッチに対して既定の範囲角度(例えば、約0〜30°のθ)に対するレミッション情報を獲得する。定められた範囲角度に対するレミッション情報がすべて獲得されれば(例えば、獲得された情報は、図6の右側と同じである)、この情報を図7の右側のようにガウス関数を利用したカーブフィッティングを通じて反射関数Rを算出する。
図8は、本発明の実施形態による特徴情報を表わしたものである。これは、図3のような構成を有する特徴情報抽出装置300を通じて得られた情報集合になりうる。図8を参照するに、抽出された特徴情報は、何れか一つのコーナーの位置座標を基準に少なくとも一つ以上の平面パッチ情報が検出され、それぞれの平面パッチに関する反射関数からなりうるということが分かる。
図9は、本発明の実施形態による特徴情報抽出方法の一例を示す。これは、図3の構成を有する特徴情報抽出装置300によって実行されることが可能である。図9の方法を具体的に説明すると、次の通りである。
まず、S901のように、周辺物体に関する距離情報及びレミッション情報を獲得する。この情報は、前述したセンサー部301によって取得されることが可能である。
引き続き、S902のように、コーナー情報を検出する。例えば、コーナー検出部302が、レミッション情報として獲得された平面イメージを対象にSIFTアルゴリズムまたはハリス(Harris)アルゴリズムを実行してコーナーの位置座標を検出することが可能である。
引き続き、S903のように、平面パッチ情報を検出する。例えば、平面検出部303が、S902から検出されたコーナーの位置座標を中心点として有する正六面体を設定し、正六面体内の距離情報から平面パッチを検出する。この際、最小二乗法のような平面検出アルゴリズムが利用され、平面パッチ情報は、各平面パッチの平面式に対するパラメータを意味することができる。
引き続き、S904のように、平面パッチの反射関数を検出する。例えば、反射関数検出部304が、図7のように平面パッチに入射される光の角度によるレミッション情報を収集し、該収集された情報をカーブフィッティングを通じてガウス関数として推定することが可能である。
引き続き、S905のように、それぞれのコーナー情報、平面パッチ情報、反射関数を特徴情報として登録する。
図10は、本発明の実施形態による特徴マップ生成装置の一例を示す。図10で、本実施形態による特徴マップ生成装置400は、移動型ロボットに適用可能であり、図示されたように、センサー部401とデータ処理部402とを含みうる。
センサー部401は、図2で例示されたような3D距離センサーがロボットに装着されて周辺に光を放出することが可能である。またセンサー部401は、周辺物体からの反射光を感知して物体に関する距離情報及びレミッション情報を取得することができる。
データ処理部402は、センサー部401によって取得された情報から周辺物体に関する特徴情報を抽出し、該抽出された特徴情報を保存して特徴マップを生成させることが可能である。この際、特徴情報としては、コーナーの位置座標、コーナー周辺の平面パッチに関する平面式のパラメータ、平面パッチに対する反射関数などになりうる。
図11は、本発明の実施形態によるデータ処理部402の一例を示す。
コーナー検出部403は、センサー部401によって取得されたレミッション情報を用いて物体に関するコーナー情報を検出する。例えば、コーナー情報は、反射される光量に基づいて生成された平面イメージに対してコーナー検出アルゴリズムを実行して当該コーナーの位置座標として検出されることが可能である(図4参照)。
平面検出部404は、コーナー検出部403から検出されたコーナー情報と当該コーナー周辺の距離情報とを用いて平面パッチ情報を検出する。例えば、図5のように、検出されたコーナーを中心点として有する正六面体を設定し、正六面体内の距離情報から平面パッチに検出することが可能であり、この際、平面パッチ情報とは、当該平面式のパラメータからなされうる。平面を検出するためのアルゴリズムは、最小二乗法が利用されうる。
反射関数検出部405は、平面検出部404から検出された各平面パッチに対する反射関数を検出する。例えば、図6及び図7で説明したように、平面パッチに入射される光の角度によるレミッション情報を収集し、該収集された情報をカーブフィッティングしてガウス関数として推定することが可能である。
特徴マップ保存部406は、検出されたコーナー情報、平面パッチ情報、反射関数を特徴情報として保存する。例えば、図8のように、何れか一つのコーナーの位置座標を基準に少なくとも一つ以上の平面パッチ情報と当該平面パッチに関する反射関数とが保存されることが可能である。
アップデート部407は、ロボットが任務を実行しながら感知された現在の特徴情報と特徴マップ保存部406に保存された特徴情報とをマッチングさせてロボットの位置を補正し、保存された特徴情報をアップデートする機能を行う。
図12は、本発明の実施形態による特徴マップ生成方法の一例を示す。これは、図10または図11の構成によって実行される。図12の方法を具体的に説明すると、次の通りである。
まず、S1201のように、周辺に関する特徴情報を抽出する。この抽出方法は、図9で説明した方法が利用されうるので、詳しい説明は省略する。
引き続き、S1202のように、抽出された情報を特徴マップとして保存する。例えば、コーナー情報、平面パッチ情報、反射関数などが特徴情報になりうる。
引き続き、S1203のように、現在の特徴情報と既保存された特徴情報との間のマッチングを実行する。
引き続き、S1204のように、マッチングされた特徴情報に該当するロボットの位置を反映して、その位置を補正する。例えば、現在収集された特徴情報が、既保存された特徴情報のうちAという位置から検出された特徴情報と最も類似しているとすれば、ロボットの位置をAに移動させることができる。
引き続き、S1205のように、ロボットの位置移動によって保存された特徴情報をアップデートする。
以上、本発明の実施形態について説明したが、本発明は、前述した特定の実施形態に限定されない。すなわち、当業者ならば、特許請求の範囲の思想及び範疇を逸脱せずに、本発明に対する多数の変更及び修正が可能であり、そのようなすべての適切な変更及び修正の均等物も、本発明の範囲に属するものと見なされなければならない。
本発明は、物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法関連の技術分野に適用可能である。
101 ロボット
103 特徴情報抽出部
104 特徴マップ保存部
102、301、401 センサー部
300 特徴情報抽出装置
302、403 コーナー検出部
303 平面検出部
304、405 反射関数検出部
501 ある物体
502 位置座標
400 特徴マップ生成装置
402 データ処理部
404 平面検出部
406 特徴マップ保存部
407 アップデート部

Claims (14)

  1. 物体の特徴情報を抽出するための装置において、
    周辺に光を放出し、周辺物体からの反射光を感知して、前記物体に関する距離情報及びレミッション情報を取得するセンサー部と、
    前記レミッション情報を用いて、前記物体に関するコーナー情報を検出するコーナー検出部と、
    前記コーナー情報及び当該コーナー周辺の距離情報を用いて平面パッチに関する平面パッチ情報を検出する平面検出部と、
    前記平面パッチに入射される光の角度による前記レミッション情報を用いて、前記平面パッチの反射関数を検出する反射関数検出部と、を含み、
    前記コーナー情報は、前記物体のコーナーの位置座標を含み、
    前記平面検出部は、
    前記コーナーの位置座標を中心点として有する正六面体を設定し、前記正六面体内の距離情報から一つ以上の平面パッチ情報を検出する、
    ことを特徴とする装置。
  2. 前記検出されたコーナー情報、平面パッチ情報または反射関数のうち少なくとも一つ以上の情報を前記物体の特徴情報として用いることを特徴とする請求項1に記載の装置。
  3. 前記コーナー情報は、当該コーナーの位置座標を含み、
    前記平面パッチ情報は、当該平面パッチの平面式に対するパラメータを含み、
    前記反射関数は、当該平面パッチの反射関数に対するパラメータを含むことを特徴とする請求項2に記載の装置。
  4. 前記反射関数検出部は、
    前記平面パッチに入射される光の角度による前記レミッション情報に対してガウス関数を利用したカーブフィッティングを通じて前記反射関数を算出することを特徴とする請求項1に記載の装置。
  5. 移動型ロボットの位置認識のための特徴マップを生成させる装置において、
    前記ロボットに装着されて周辺に光を放出し、周辺物体からの反射光を感知して、前記物体に関する距離情報及びレミッション情報を取得するセンサー部と、
    前記距離情報及びレミッション情報から前記物体に関するコーナー情報、平面パッチに関する平面パッチ情報及び前記平面パッチの反射関数を含む特徴情報を抽出し、該抽出された特徴情報を保存して特徴マップを生成させるデータ処理部と、を含み、
    前記データ処理部は、
    前記レミッション情報を用いて、前記物体に関するコーナー情報を検出するコーナー検出部と、
    前記コーナー情報及び当該コーナー周辺の距離情報を用いて平面パッチ情報を検出する平面検出部と、
    前記平面パッチに入射される光の角度による前記レミッション情報を用いて、前記平面パッチの反射関数を検出する反射関数検出部と、
    検出されたコーナー情報、平面パッチ情報または平面パッチの反射関数を保存する特徴マップ保存部と、を含み、
    前記コーナー情報は、前記物体のコーナーの位置座標を含み、
    前記平面検出部は、前記コーナーの位置座標を中心点として有する正六面体を設定し、前記正六面体内の距離情報から一つ以上の平面パッチ情報を検出する、
    ことを特徴とする装置。
  6. 前記コーナー情報は、当該コーナーの位置座標を含み、
    前記平面パッチ情報は、当該平面パッチの平面式に対するパラメータを含み、
    前記反射関数は、当該平面パッチの反射関数に対するパラメータを含むことを特徴とする請求項に記載の装置。
  7. 前記データ処理部は、
    現在感知された特徴情報と既保存された特徴情報とをマッチングさせて前記ロボットの位置を補正し、保存された特徴情報をアップデートするアップデート部をさらに含むことを特徴とする請求項に記載の装置。
  8. 前記反射関数検出部は、
    前記平面パッチに入射される光の角度による前記レミッション情報に対してガウス関数を利用したカーブフィッティングを通じて前記反射関数を算出することを特徴とする請求項に記載の装置。
  9. 特徴マップ生成のための特徴情報抽出方法において、
    周辺に光を放出し、周辺物体からの反射光を感知して、前記物体に関する距離情報及びレミッション情報を取得する段階と、
    前記レミッション情報に基づいて、前記物体に関するコーナーの位置座標をコーナー情報として検出する段階と、
    前記検出されたコーナーの位置座標及び当該コーナー周辺の距離情報を用いて、前記コーナーの位置座標を中心点として有する正六面体を設定し、前記正六面体内の距離情報から一つ以上の平面パッチに関する平面パッチ情報を検出する段階と、
    前記平面パッチに入射される光の角度による前記レミッション情報を用いて、前記平面パッチの反射関数を検出する段階と、
    前記コーナー情報、前記平面パッチまたは前記反射関数のうち少なくとも一つ以上を前記特徴情報として抽出して保存する段階と、を含むことを特徴とする方法。
  10. 前記レミッション情報は、
    前記物体からの反射光量または反射される光量に基づいて生成された平面イメージであることを特徴とする請求項に記載の方法。
  11. 前記反射関数は、
    前記平面パッチに入射される光の角度による前記レミッション情報に対してガウス関数を利用したカーブフィッティングを通じて算出されることを特徴とする請求項に記載の方法。
  12. 移動型ロボットの位置認識のための特徴マップを生成させる方法において、
    周辺に光を放出し、周辺物体からの反射光を感知して、前記物体に関する距離情報及びレミッション情報を取得する段階と、
    前記レミッション情報に基づいて、前記物体に関するコーナーの位置座標をコーナー情報として検出する段階と、
    前記検出されたコーナーの位置座標及び当該コーナー周辺の距離情報を用いて、前記コーナーの位置座標を中心点として有する正六面体を設定し、前記正六面体内の距離情報から一つ以上の平面パッチに関する平面パッチ情報を検出する段階と、
    前記平面パッチに入射される光の角度による前記レミッション情報を用いて、前記平面パッチの反射関数を検出する段階と、
    前記コーナー情報、前記平面パッチまたは前記反射関数のうち少なくとも一つ以上を特徴情報として抽出して保存する段階と、
    現在感知された特徴情報と既保存された特徴情報とをマッチングさせて前記ロボットの位置を補正し、保存された特徴情報をアップデートする段階と、を含むことを特徴とする方法。
  13. 前記レミッション情報は、
    前記物体からの反射光量または反射される光量に基づいて生成された平面イメージであることを特徴とする請求項12に記載の方法。
  14. 前記反射関数は、
    前記平面パッチに入射される光の角度による前記レミッション情報に対してガウス関数を利用したカーブフィッティングを通じて算出されることを特徴とする請求項12に記載の方法。
JP2009133125A 2008-11-03 2009-06-02 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法 Active JP5595677B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0108438 2008-11-03
KR1020080108438A KR101591471B1 (ko) 2008-11-03 2008-11-03 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법

Publications (2)

Publication Number Publication Date
JP2010107495A JP2010107495A (ja) 2010-05-13
JP5595677B2 true JP5595677B2 (ja) 2014-09-24

Family

ID=42132435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009133125A Active JP5595677B2 (ja) 2008-11-03 2009-06-02 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法

Country Status (4)

Country Link
US (1) US8352075B2 (ja)
JP (1) JP5595677B2 (ja)
KR (1) KR101591471B1 (ja)
CN (1) CN101726741B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107782311A (zh) * 2017-09-08 2018-03-09 珠海格力电器股份有限公司 可移动终端的移动路径规划方法及装置

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
US8532863B2 (en) * 2009-09-28 2013-09-10 Sri International Audio based robot control and navigation
DE102010017689A1 (de) * 2010-07-01 2012-01-05 Vorwerk & Co. Interholding Gmbh Selbsttätig verfahrbares Gerät sowie Verfahren zur Orientierung eines solchen Gerätes
KR101222624B1 (ko) * 2010-12-17 2013-01-16 한국생산기술연구원 군집 로봇 및 군집 로봇을 이용한 수색 방법
KR20130015146A (ko) * 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
CN104321665B (zh) * 2012-03-26 2017-02-22 罗伯特·博世有限公司 基于多表面模型的跟踪
KR101942288B1 (ko) * 2012-04-23 2019-01-25 한국전자통신연구원 위치 보정 장치 및 방법
KR101400400B1 (ko) * 2012-09-28 2014-05-27 엘지전자 주식회사 로봇 청소기 및 로봇 청소기의 제어방법
WO2014073204A1 (ja) * 2012-11-06 2014-05-15 国立大学法人東京工業大学 特徴量抽出装置及び場所推定装置
US9371622B2 (en) * 2013-10-22 2016-06-21 James Connor Buckley System and method to automatically determine irregular polygon for environmental hazard containment modules
WO2015090397A1 (en) * 2013-12-19 2015-06-25 Aktiebolaget Electrolux Robotic cleaning device
CN104848848A (zh) * 2015-03-30 2015-08-19 北京云迹科技有限公司 基于无线基站和激光传感器的机器人绘制地图和定位的方法及系统
KR101775114B1 (ko) * 2016-01-25 2017-09-05 충북대학교 산학협력단 이동 로봇의 위치 인식 및 지도 작성 시스템 및 방법
CN107041718B (zh) * 2016-02-05 2021-06-01 北京小米移动软件有限公司 清洁机器人及其控制方法
US10386847B1 (en) * 2016-02-19 2019-08-20 AI Incorporated System and method for guiding heading of a mobile robotic device
US10901431B1 (en) * 2017-01-19 2021-01-26 AI Incorporated System and method for guiding heading of a mobile robotic device
US11726490B1 (en) * 2016-02-19 2023-08-15 AI Incorporated System and method for guiding heading of a mobile robotic device
US10293489B1 (en) * 2017-12-15 2019-05-21 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and cleaning robot using the same
EP3711699B1 (en) * 2019-03-21 2024-01-03 Stryker European Operations Limited Technique for transferring a registration of image data of a surgical object from one surgical navigation system to another surgical navigation system
JP7235691B2 (ja) * 2020-03-23 2023-03-08 株式会社日立製作所 自動検査装置
CN111812992A (zh) * 2020-06-17 2020-10-23 三星电子(中国)研发中心 用于网关的智能家居控制方法和装置

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0205628B1 (en) * 1985-06-19 1990-06-13 International Business Machines Corporation Method for identifying three-dimensional objects using two-dimensional images
JPH05297141A (ja) 1992-04-17 1993-11-12 Canon Inc 車載型物体検知装置
JP3149661B2 (ja) * 1993-12-24 2001-03-26 株式会社ダイフク 無人搬送車の位置同定方法
JP3660492B2 (ja) * 1998-01-27 2005-06-15 株式会社東芝 物体検知装置
US6420694B1 (en) * 1999-09-21 2002-07-16 The Boeing Company Steerable retroreflective system and method
JP4141627B2 (ja) 2000-09-11 2008-08-27 富士フイルム株式会社 情報獲得方法、画像撮像装置及び、画像処理装置
JP4150506B2 (ja) * 2000-02-16 2008-09-17 富士フイルム株式会社 画像撮像装置及び距離測定方法
JP4409035B2 (ja) 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
JP4568967B2 (ja) * 2000-07-13 2010-10-27 ソニー株式会社 3次元画像生成システムおよび3次元画像生成方法、並びにプログラム記録媒体
US6959104B2 (en) * 2001-02-05 2005-10-25 National Instruments Corporation System and method for scanning a region using a low discrepancy sequence
US6909801B2 (en) * 2001-02-05 2005-06-21 National Instruments Corporation System and method for generating a low discrepancy curve on an abstract surface
JP2003281686A (ja) 2002-03-20 2003-10-03 Mitsubishi Heavy Ind Ltd 距離画像センサ及び車種判別装置
JP4306183B2 (ja) 2002-05-27 2009-07-29 ソニー株式会社 固体撮像装置及びその駆動方法
CA2397389A1 (en) * 2002-08-09 2004-02-09 Djemel Ziou Image model based on n-pixels and defined in algebraic topology, and applications thereof
US7774158B2 (en) * 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
KR100520078B1 (ko) * 2003-08-04 2005-10-12 삼성전자주식회사 로봇시스템 및 비콘
JP3887377B2 (ja) * 2004-01-19 2007-02-28 株式会社東芝 画像情報取得装置、画像情報取得方法及び画像情報取得プログラム
JP4618247B2 (ja) 2004-03-17 2011-01-26 ソニー株式会社 ロボット装置及びその動作制御方法
US7720554B2 (en) * 2004-03-29 2010-05-18 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
US7831094B2 (en) * 2004-04-27 2010-11-09 Honda Motor Co., Ltd. Simultaneous localization and mapping using multiple view feature descriptors
JP4479372B2 (ja) * 2004-06-25 2010-06-09 ソニー株式会社 環境地図作成方法、環境地図作成装置、及び移動型ロボット装置
JP4218963B2 (ja) 2004-06-28 2009-02-04 株式会社東芝 情報抽出方法、情報抽出装置及び記録媒体
JP4433907B2 (ja) * 2004-07-06 2010-03-17 富士ゼロックス株式会社 3次元形状測定装置および方法
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
JP4438557B2 (ja) 2004-08-10 2010-03-24 ソニー株式会社 撮像装置、情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
JP4501587B2 (ja) * 2004-08-18 2010-07-14 富士ゼロックス株式会社 3次元画像測定装置および方法
KR100754385B1 (ko) * 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
KR100587572B1 (ko) 2004-10-15 2006-06-08 삼성전자주식회사 카메라 픽셀 정보를 이용하여 공간상의 코너 포인트를추출하는 시스템 및 방법, 상기 시스템을 포함하는 이동로봇
KR100657915B1 (ko) * 2004-11-26 2006-12-14 삼성전자주식회사 코너 검출 방법 및 코너 검출 장치
KR100633160B1 (ko) * 2004-12-17 2006-10-11 삼성전자주식회사 비콘을 이용하여 위치 및 방향 인식이 가능한 로봇시스템
KR100776215B1 (ko) * 2005-01-25 2007-11-16 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100698828B1 (ko) 2005-02-28 2007-03-23 한국과학기술원 조명-반사율 모델에 기반한 영상의 왜곡 보정 시스템 및 방법
JP2007040762A (ja) * 2005-08-01 2007-02-15 Toyota Motor Corp 光ジャイロ較正装置、光ジャイロを搭載するロボット及び光ジャイロ較正プログラム
KR100813100B1 (ko) * 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
KR100863245B1 (ko) * 2006-07-18 2008-10-15 삼성전자주식회사 거리측정 기능을 갖는 비컨, 이를 이용한 위치인식시스템및 그 위치인식방법
CN101008571A (zh) * 2007-01-29 2007-08-01 中南大学 一种移动机器人三维环境感知方法
KR101014572B1 (ko) * 2007-08-27 2011-02-16 주식회사 코아로직 영상 왜곡 보정 방법 및 그 보정 방법을 채용한 영상처리장치
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
KR101503903B1 (ko) * 2008-09-16 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107782311A (zh) * 2017-09-08 2018-03-09 珠海格力电器股份有限公司 可移动终端的移动路径规划方法及装置

Also Published As

Publication number Publication date
US20100114374A1 (en) 2010-05-06
CN101726741B (zh) 2013-05-22
CN101726741A (zh) 2010-06-09
KR101591471B1 (ko) 2016-02-04
JP2010107495A (ja) 2010-05-13
KR20100049325A (ko) 2010-05-12
US8352075B2 (en) 2013-01-08

Similar Documents

Publication Publication Date Title
JP5595677B2 (ja) 物体の特徴情報を抽出するための装置と方法、及びそれを利用した特徴マップ生成装置と方法
KR102347015B1 (ko) 창고 환경에서의 차량 추적
US10540821B2 (en) Dynamic item placement using 3-dimensional optimization of space
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
KR101775591B1 (ko) 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
WO2020000737A1 (zh) 移动机器人定位方法、存储介质及计算机设备
CN112013858B (zh) 定位方法、装置、自移动设备和存储介质
US11100602B2 (en) System and method for geometrical user interactions via three-dimensional mapping
JP7252581B2 (ja) 物品検出装置、物品検出方法、及び産業車両
CN108544494B (zh) 一种基于惯性和视觉特征的定位装置、方法及机器人
US20180164898A1 (en) Remote controller
US20220215189A1 (en) Device and method for data capture aiming assistance
JP6701057B2 (ja) 認識装置、プログラム
CN109313822B (zh) 基于机器视觉的虚拟墙构建方法及装置、地图构建方法、可移动电子设备
US9826156B1 (en) Determining camera auto-focus settings
KR20140034996A (ko) 이동로봇 및 상기 이동로봇에 대한 경로학습방법
JP6895074B2 (ja) 物体検出システム及び物体検出プログラム
US20230112666A1 (en) System and Method for Detecting Calibration of a 3D Sensor
KR20120019661A (ko) 객체 추적 로봇 및 그 방법
US11386573B2 (en) Article recognition apparatus
KR102525568B1 (ko) 반사판을 이용한 원거리 라이다 위치 보정 시스템 및 방법
CN116051775B (zh) 语义地图构建方法、移动机器人及存储介质
KR20220066690A (ko) 로봇 및 그 제어 방법
KR20240057297A (ko) 신경망 모델을 학습시키는 방법 및 전자 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140806

R150 Certificate of patent or registration of utility model

Ref document number: 5595677

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250