JP4300199B2 - 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム - Google Patents

移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム Download PDF

Info

Publication number
JP4300199B2
JP4300199B2 JP2005172854A JP2005172854A JP4300199B2 JP 4300199 B2 JP4300199 B2 JP 4300199B2 JP 2005172854 A JP2005172854 A JP 2005172854A JP 2005172854 A JP2005172854 A JP 2005172854A JP 4300199 B2 JP4300199 B2 JP 4300199B2
Authority
JP
Japan
Prior art keywords
marker
mobile robot
boundary line
information
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005172854A
Other languages
English (en)
Other versions
JP2006346767A (ja
Inventor
秀一 中本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005172854A priority Critical patent/JP4300199B2/ja
Priority to US11/396,471 priority patent/US20060293810A1/en
Priority to KR1020060052460A priority patent/KR100794409B1/ko
Publication of JP2006346767A publication Critical patent/JP2006346767A/ja
Application granted granted Critical
Publication of JP4300199B2 publication Critical patent/JP4300199B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Description

この発明は、移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システムに関するものである。
近年、周辺の環境を認識し、自装置の位置の把握や障害物の回避をしながら自律的に移動する移動ロボットが開発されている。このような移動ロボットの自律走行システムでは、自装置の位置を正確に把握することが重要となる。
移動ロボットにおける自己位置の検出方法としては、移動ロボットに搭載したカメラで撮影した画像から、複数のランドマーク（標識）を検出し、ランドマークの見え方と、予めメモリなどの記憶装置に記憶しているランドマークの絶対座標値の情報をもとにして自己位置を検出する方法が提案されている（例えば、特許文献１）。
この方法では、発光素子により構成したマーカをランドマークとし、このマーカを室内に多数配置することによって、様々な環境中から確実にマーカを発見し、ロボットの自己位置を検出している。
特開２００４−２１６５５２号公報
しかしながら、特許文献１の方法のように、マーカからロボットが自分の位置姿勢を検出しようとする場合、複数のマーカを撮影する必要があるため、ロボットが移動する環境中には多数のマーカを設置しなければならず、コストが増大するとともに、外観上も好ましくないという問題があった。
また、マーカの検出時においては複数のマーカを探索するのに時間がかかるという問題や、自己位置を検出する際には多数のマーカの正確な絶対座標値が必要であるため、これを予め与えておかなければならず、この入力作業の負担が大きいという問題があった。
また、マーカは１つの発光素子の点滅周期、点滅周期のパターンなどを検出して識別するが、障害物等が多数存在する複雑な移動環境下では、マーカを誤認識する可能性が高くなるという問題があった。
本発明は、上記に鑑みてなされたものであって、マーカの個数を少なくすることにより設置が容易で、外観上の支障とならないようにするとともに、マーカの個数が少ない場合であっても高精度にマーカを検出し、高精度に自己位置を算出することができる移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、移動ロボットにおいて、移動領域の地図情報と、移動領域内の予め定められた場所に設置されたマーカの位置情報と、前記マーカを一意に識別する識別情報と、移動領域内に存在する複数の物体を区分し前記マーカの近傍に存在する境界線の位置情報と、を対応付けて格納する地図情報記憶手段と、画像を撮影する撮像手段により撮影した画像から前記マーカの位置情報と前記識別情報とを検出するマーカ検出手段と、前記マーカ検出手段が検出した前記マーカの近傍に存在する前記境界線を前記画像から検出する境界線検出手段と、前記境界線検出手段が検出した前記境界線の前記画像中における位置の情報を含む前記境界線のパラメータを算出するパラメータ算出手段と、前記地図情報記憶手段に記憶されている前記境界線の位置情報と、前記パラメータ算出手段が算出した前記パラメータとに基づいて自装置の移動領域内における位置および姿勢を算出する位置姿勢算出手段と、を備えたことを特徴とする。
また、本発明は、移動ロボットの位置姿勢算出方法において、画像を撮影する撮像手段により撮影した画像から、複数の発光素子を予め定められた時間間隔または順序で発光する移動ロボットのためのマーカの位置情報と、前記マーカを一意に識別する識別情報とを検出するマーカ検出ステップと、前記マーカ検出ステップが検出した前記マーカの近傍に存在し、移動領域内に存在する複数の物体を区分する境界線を、前記画像から検出する境界線検出ステップと、前記境界線検出ステップが検出した前記境界線の前記画像中における位置の情報を含むパラメータを算出するパラメータ算出ステップと、移動領域の地図情報と、移動領域内の予め定められた場所に設置されたマーカの位置情報と、前記識別情報と、前記境界線の位置情報と、を対応付けて格納する地図情報記憶手段に記憶されている前記境界線の位置情報と、前記パラメータ算出ステップが検出した前記パラメータとに基づいて自装置の移動領域内における位置および姿勢を算出する位置姿勢算出ステップと、を備えたことを特徴とする。
また、本発明は、移動領域内を移動する移動ロボットと、移動ロボットの移動領域内に配置され、移動ロボットにより検出されて、移動ロボットの位置および姿勢を算出するための移動ロボット用マーカと、を備えた移動ロボットの自律走行システムにおいて、前記移動ロボット用マーカは、複数の発光素子と、マーカを一意に識別させるための識別情報として前記発光素子を予め定められた時間間隔または順序で発光させる駆動手段と、を備え、前記移動ロボットは、移動領域の地図情報と、移動領域内の予め定められた場所に設置されたマーカの位置情報と、前記マーカを一意に識別する識別情報と、移動領域内に存在する複数の物体を区分し前記マーカの近傍に存在する境界線の位置情報と、を対応付けて格納する地図情報記憶手段と、画像を撮影する撮像手段により撮影した画像から前記マーカの位置情報と前記識別情報とを検出するマーカ検出手段と、前記マーカ検出手段が検出した前記マーカの近傍に存在する前記境界線を前記画像から検出する境界線検出手段と、前記境界線検出手段が検出した前記境界線の前記画像中における位置の情報を含む前記境界線のパラメータを算出するパラメータ算出手段と、前記地図情報記憶手段に記憶されている前記境界線の位置情報と、前記パラメータ算出手段が算出した前記パラメータとに基づいて自装置の移動領域内における位置および姿勢を算出する位置姿勢算出手段と、を備えたことを特徴とする。
本発明によれば、障害物等が多数存在する複雑な移動環境下であっても高精度にマーカを識別するとともに、マーカの個数が少ない場合であっても高精度に移動ロボットの位置および姿勢を算出することができる。このため、マーカの設置が容易となり、外観上の見映えを向上することができるという効果を奏する。
以下に添付図面を参照して、この発明にかかる移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システムの最良な実施の形態を詳細に説明する。
本実施の形態にかかる移動ロボットは、カメラなどの撮像装置で撮影した画像中から、発光パターンによって識別可能なマーカと、当該マーカの近傍に存在する境界線を検出し、検出した境界線と、事前に記憶手段に記憶されているマーカや境界線の位置情報を含む地図情報とから自装置の位置および姿勢を算出するものである。
ここで、マーカとは、移動領域内の予め定められた場所に設置された移動ロボットが自己の位置および姿勢を算出するためのランドマークをいう。また、境界線とは、移動領域内に存在する複数の物体を区分する、マーカの近傍に存在する線をいう。
図１は、本実施の形態にかかる移動ロボット１００の構成を示すブロック図である。同図に示すように、移動ロボット１００は、主要なソフトウェア構成として、動作管理部１０１と、移動制御部１０２と、カメラ方向制御部１０３と、地図情報作成部１０４と、自己位置同定部１１０と、を備えている。カメラ方向制御部１０３は、本発明における撮像制御手段に相当する。
また、移動ロボット１００は、主要なハードウェア構成として、カメラ１０５と、距離センサ１０６と、オドメトリ１０７と、タッチパネル１０８と、地図情報記憶部１２０とを備えている。カメラ１０５は、本発明における撮像手段に相当し、タッチパネル１０８は、本発明における表示操作手段に相当する。
マーカ１３０は、移動ロボット１００の移動領域内に配置され、移動ロボット１００により検出されて、移動ロボット１００の位置および姿勢を算出するために利用されるものである。マーカ１３０は、移動領域において床面と平行の境界線、例えば、壁面と天井との境界線、または床面と当該床面に設置された物体との境界線、または複数の物体を区分する境界線などの近傍に設置する。
マーカ１３０は、カメラ１０５で撮影した画像から検出し位置および識別情報が特定できる構成および大きさであればよいので、小型の装置にすることができ、外観上の見映えを損なう可能性を低減することができる。
動作管理部１０１は、移動制御部１０２、カメラ方向制御部１０３、地図情報作成部１０４、自己位置同定部１１０、カメラ１０５、距離センサ１０６、オドメトリ１０７、タッチパネル１０８の処理を制御し、移動ロボット１００の動作の管理を行うものである。
移動制御部１０２は、自己位置同定部１１０により算出された移動ロボット１００の位置情報を参照し、移動機構（図示せず）の動作の制御を行うものである。移動機構とは、例えば、車輪を備えた車輪型移動ロボットであれば当該車輪を駆動する車輪駆動モータをいう。
カメラ方向制御部１０３は、マーカ１３０をカメラ１０５で撮影するため、カメラ１０５の光軸方向を変更する駆動装置（図示せず）を駆動制御するものである。
地図情報作成部１０４は、距離センサ１０６、オドメトリ１０７を用いて移動領域内の壁などの物体に沿って移動することにより取得した情報から、地図情報記憶部１２０に記憶する地図情報を作成するものである。地図情報作成処理の詳細は後述する。
カメラ１０５は、画像を撮影する撮像装置であり、１台の撮像装置から構成されるものでもよいし、複数の撮像装置により構成し、当該複数の撮像装置により取得した画像から撮影対象の位置情報を含む情報を検出可能とするように構成してもよい。カメラ１０５はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの一般的に利用されているあらゆる撮像装置により構成することができる。なお、マーカ１３０として、後述する赤外線ＬＥＤを用いたマーカ１３０を適用する場合は、赤外線領域を検出可能な撮像装置によりカメラ１０５を構成する。
距離センサ１０６は、自装置から周囲の物体までの距離を検出するものであり、超音波センサなどの一般的に利用されているあらゆるセンサにより構成することができる。オドメトリ１０７は、車輪の回転量から移動ロボット１００の自己位置を推定するものである。タッチパネル１０８は、地図情報などの情報を表示するとともに、利用者が指や専用のペンで触れることにより指定した情報の入力を受付けるものである。
自己位置同定部１１０は、移動ロボット１００の位置姿勢を算出するものであり、マーカ検出部１１１と、境界線検出部１１２と、パラメータ算出部１１３と、位置姿勢算出部１１４とを備えている。
マーカ検出部１１１は、カメラ１０５により撮影された画像を取得し、取得した画像からマーカ１３０の３次元座標における位置情報と、マーカ１３０を一意に識別するための識別情報とを検出するものである。
境界線検出部１１２は、移動ロボット１００の移動領域内に存在する複数の物体を区分する線を、カメラ１０５が撮影した画像から検出し、検出した線の中から、マーカ検出部１１１により検出されたマーカ１３０の近傍の線を境界線として検出するものである。
パラメータ算出部１１３は、境界線検出部１１２が検出した境界線の、カメラ画像中における位置、傾きの情報を含むパラメータを算出するものである。
位置姿勢算出部１１４は、パラメータ算出部１１３により算出された境界線のパラメータに含まれる境界線の傾きの情報から、移動ロボット１００が移動する平面に対して垂直方向の軸を中心とした回転角度を算出し、算出した回転角度と、地図情報記憶部１２０に事前に記憶されているマーカ１３０の位置情報に含まれるマーカ１３０の高さの情報とから、移動ロボット１００のマーカ１３０に対する相対位置を算出するものである。
地図情報記憶部１２０は、移動ロボット１００が移動する移動領域の地図情報と、移動領域内のマーカ１３０の位置情報と、マーカ１３０の近傍に存在する境界線の位置情報とを対応付けて格納するものである。地図情報記憶部１２０は、位置姿勢算出部１１４が、移動ロボット１００の位置および姿勢を算出する際に参照される。
図２は、地図情報記憶部１２０に記憶されている地図情報の一例を示した説明図である。同図に示すように、地図情報は、移動領域全体のうち、壁などが存在するため移動ができない領域２０３と、マーカ１３０が存在する領域であるマーカ領域２０２と、マーカ領域２０２の近傍に存在する境界線２０１とを格納している。同図においては、地図情報は、移動ロボット１００が移動する面を上方から見た平面として表されている。
次に、本実施の形態における移動ロボット１００およびマーカ１３０の具体的な構成例について説明する。図３は、移動ロボット１００の構成の一例を示す説明図である。
同図に示すように、移動ロボット１００は、２台の撮像装置により構成されるステレオカメラであるカメラ１０５と、超音波による距離検出を行う５つの距離センサ１０６と、タッチパネル１０８と、車輪３０１とを備えている。なお、同図には図示しないが、移動ロボット１００には、車輪３０１の回転角度を検出して移動ロボット１００の姿勢を算出するオドメトリ１０７が内蔵されている。
車輪３０１は、左右独立に駆動し、左右それぞれの車輪を駆動する２個のモータを制御することによって、直線移動、円弧移動、その場旋回を行うことができる。カメラ１０５は、カメラ方向制御部１０３により、カメラ１０５の光軸を上下方向に回転させるカメラチルト回転軸３１１、左右方向に回転させるカメラパン回転軸３１２の回りを一定角度範囲回転させ、マーカ１３０の方向にカメラ光軸を向けることができる。
また、マーカ１３０を探索する際に、より広い範囲を探索できるようにするため、頭部水平回転軸３１３の回りを頭部全体が回転することにより、２台の撮像装置を同時に左右方向に回転させることができる。
図４は、マーカ１３０の構成の一例を示す説明図である。同図に示すように、マーカ１３０は、発光ＬＥＤ４０１と、駆動回路４０２と、ＬＥＤ光拡散カバー４０３と、電池４０４と、ケース４０５とを備えている。
発光ＬＥＤ４０１は、電流を流すことにより発光するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。マーカ１３０は、複数の発光ＬＥＤ４０１を備えている。
駆動回路４０２は、複数の発光ＬＥＤ４０１を予め定められた時間間隔または順序で発光させ、その発光パターンを、マーカ１３０を一意に識別させるための識別情報として利用できるようにするものである。駆動回路４０２が、本発明における駆動手段に相当する。
ＬＥＤ光拡散カバー４０３は、発光ＬＥＤ４０１から発光された光を拡散させ、移動ロボット１００のカメラ１０５により撮影された画像からマーカ１３０が検出しやすくするものである。
電池４０４は、発光ＬＥＤ４０１、駆動回路４０２へ電力を供給するものである。ケース４０５は、ＬＥＤ光拡散カバー４０３とともに、発光ＬＥＤ４０１、駆動回路４０２、電池４０４を格納するものである。
図５は、図４のように構成されたマーカ１３０の発光パターンの一例を示した説明図である。図５の（ａ）に示すように、例えば、複数の発光ＬＥＤ４０１を右回り、または左回りに順次発光させる発光パターンとすることができる。また、図５の（ｂ）に示すように、複数の発光ＬＥＤ４０１を、上半分および下半分、または左半分および右半分を切り替えて発光させる発光パターンとすることができる。
このように、異なる発光パターンを個々のマーカ１３０にそれぞれ割り当て、移動ロボット１００がその発光パターンを認識することにより、複雑な環境中からでもマーカ１３０を一意に識別することが可能となる。発光パターンが、本発明における識別情報に相当する。
なお、これらの発光パターンは例示であり、複数の発光素子を予め定められた時間間隔または順序で発光させることにより、マーカ１３０を一意に識別させるための識別情報として利用することのできるものであれば、あらゆる発光パターンを用いることができる。
図６は、マーカ１３０の構成の別の例を示す説明図である。同図においては、マーカ１３０は、赤外線ＬＥＤ６０１と、駆動回路４０２と、ＬＥＤ光拡散カバー６０３と、電池４０４と、ケース４０５とを備えている。
赤外線ＬＥＤ６０１は、赤外線を発光する発光ＬＥＤである。ＬＥＤ光拡散カバー６０３は、赤外線ＬＥＤ６０１から発光した赤外線を拡散するためのカバーである。その他の構成は、図４と同様であるのでその説明を省略する。
利用者は、赤外線ＬＥＤ６０１により発光された赤外光を認識できないため、生活の支障にならないという利点がある。また、ＬＥＤを傾斜させて取り付け、さらにＬＥＤ光拡散カバー６０３を取り付けることによって、マーカ１３０の周辺領域に赤外光を拡散させることができる。これにより、暗闇の環境下であってもマーカ１３０およびその近傍の境界線を検出することが可能となる。
図７は、図６のように構成されたマーカ１３０の照光範囲の一例を示した説明図である。同図に示すように、赤外線ＬＥＤにより構成されたマーカ１３０が壁と天井の境界線近傍に設置され、マーカ１３０の周辺のＬＥＤ照光範囲７０１にも赤外光が照光されているため、境界線７０３を検出することが可能となる。
次に、このように構成された本実施の形態にかかる移動ロボット１００による自律走行処理について説明する。図８は、本実施の形態における移動ロボット１００の自律走行処理の全体の流れを示すフローチャートである。
まず、移動ロボット１００の初期位置および姿勢を算出するため、位置姿勢算出処理が実行される（ステップＳ８０１）。位置姿勢算出処理の詳細については後述する。
次に、移動制御部１０２が、位置姿勢算出処理において算出された移動ロボット１００の現在の位置情報と、地図情報記憶部１２０に記憶された地図情報とから、移動先となる目的地までの移動経路を作成する（ステップＳ８０２）。
次に、移動制御部１０２が、生成した経路に沿って移動するように移動機構の制御を行う（ステップＳ８０３）。移動中、動作管理部１０１が、距離センサ１０６により、経路上に障害物が存在するか否かを検知する（ステップＳ８０４）。
障害物が検知された場合は（ステップＳ８０４：ＹＥＳ）、移動制御部１０２は、作成した経路をはずれて障害物を回避するように移動機構を制御する（ステップＳ８０５）。また、移動制御部１０２は、回避した分の移動量を考慮して、生成した経路を更新し、新たな経路を作成する（ステップＳ８０６）。
ステップＳ８０４において、障害物が検知されていない場合は（ステップＳ８０４：ＮＯ）、移動制御部１０２は、地図情報記憶部１２０に記憶されているマーカ１３０の位置情報を参照し、マーカ１３０の近傍の位置に到達したか否かを判断する（ステップＳ８０７）。
マーカ１３０の近傍に到達した場合は（ステップＳ８０７：ＹＥＳ）、位置姿勢算出処理を再度実行する（ステップＳ８０８）。また、移動制御部１０２は、算出した位置および姿勢を考慮して、生成した経路を更新し、新たな経路を作成する（ステップＳ８０９）。これにより、移動時に生じた経路からのずれを補正し、正しく目的地へ到達するように制御することが可能となる。
ステップＳ８０７において、マーカ１３０の近傍に到達していないと判断された場合は（ステップＳ８０７：ＮＯ）、移動制御部１０２は、目的地に到達したか否かを判断する（ステップＳ８１０）。
目的地に到達していない場合は（ステップＳ８１０：ＮＯ）、ステップＳ８０３に戻り移動処理を繰り返す。目的地に到達した場合は（ステップＳ８１０：ＹＥＳ）、自律走行処理を終了する。
次に、ステップＳ８０１およびステップＳ８０８における位置姿勢算出処理の詳細について説明する。図９は、位置姿勢算出処理の全体の流れを示すフローチャートである。
まず、移動制御部１０２が、マーカ１３０を観測できる位置に移動するように移動機構を制御する（ステップＳ９０１）。次に、カメラ方向制御部１０３が、観測するマーカ１３０の方向にカメラ１０５の撮影方向を向けるように制御する（ステップＳ９０２）。
次に、マーカ検出部１１１が、カメラ画像からマーカ１３０の検出処理を行い、マーカ１３０が検出できたか否かを判断する（ステップＳ９０３）。マーカ１３０の検出は、画像から色検出、パターン検出、点滅周期検出、点滅パターン検出などの従来から用いられているあらゆる方法を適用することができる。
図１０は、カメラ画像から検出されたマーカ１３０の一例を示す説明図である。同図において、１つの格子１００１が１画素を示している。同図の（ａ）は、例えば、離れた距離からマーカ１３０を検出した場合に、ノイズや照明条件などの原因により、一部の画素が欠けて検出された状態を表している。
また、同図の（ｂ）は、欠けている画素の隣接する２つ以上の画素がマーカ１３０であると判断できる場合に、欠けている画素もマーカ１３０の一部とする領域結合や、孤立している画素を除去する孤立点除去を行い、マーカ１３０の占める画素の領域(以下、マーカ画素領域という)を特定した結果を表している。同図の（ｂ）においては、左上隅１００２、右上隅１００３、左下隅１００４、右下隅１００５によって囲まれる矩形領域が、マーカ画素領域として特定されている。
同図の（ｃ）は、マーカ１００６の上辺が、壁と天井との境界線１００７と接するようにマーカ１００６が設置されている状態を示している。このような場合は、左上隅１００２、右上隅１００３を通る線を境界線として検出するように境界線検出部１１２を構成することができる。このように、左上隅１００２、右上隅１００３、左下隅１００４、右下隅１００５の情報を、境界線検出の精度を高めるために利用することができる。境界線検出処理については後述する。
ステップＳ９０３において、マーカ１３０を検出できなかった場合は（ステップＳ９０３：ＮＯ）、移動制御部１０２は、観測位置を変更するために移動の制御を行い（ステップＳ９０８）、処理を繰り返す（ステップＳ９０２）。
マーカ１３０を検出した場合は、マーカ検出部１１１は、検出したマーカ１３０が、画像の中央付近に存在するか否かを判断する（ステップＳ９０４）。中央付近に存在しないと判断した場合は（ステップＳ９０４：ＮＯ）、画像の中央付近にマーカ１３０が位置するようにカメラ１０５の方向を制御するため、ステップＳ９０２に戻り処理を繰り返す。
このように画像の中央にマーカ１３０が存在するか否かを判断するのは、マーカ１３０が画像中心に存在するほうが、レンズ歪みの影響を受けにくく、検出位置精度が向上するとともに、境界線の検出精度も向上するためである
ステップＳ９０４において、マーカ１３０が画像の中央付近に存在すると判断した場合は（ステップＳ９０４：ＹＥＳ）、境界線検出部１１２が、カメラ画像から、検出したマーカ１３０の近傍を通る境界線の検出処理を実行する（ステップＳ９０５）。以下に、境界線検出処理の詳細について説明する。
まず、カメラ画像に対してエッジ検出処理を行い、画像中のエッジを検出する。エッジとは、画像中の明るい部分と暗い部分の境界をいう。さらに、検出したエッジに対してＨｏｕｇｈ変換を行い、エッジが直線状に並ぶ線を検出する。
次に、検出された複数の線から、マーカ近傍を通る境界線を検出する。ここで、マーカ近傍を通る境界線とは、マーカ画素領域内を通り、エッジを最も多く含む線をいう。
なお、図１０に示すようなマーカ画素領域の左上隅１００２、右上隅１００３、左下隅１００４、右下隅１００５を利用し、境界線検出の精度を高めることができる。この場合、例えば、図１０（ｃ）のようにマーカ１３０の上辺が壁と天井との境界線１００７に接しているものとすると、左上隅１００２および右上隅１００３を通る線のうち、マーカ画素領域内を通り、エッジを最も多く含む線を境界線として検出すればよい。このように、マーカ１３０をもとにして境界線を検出するので、簡単な処理で確実に境界線を検出できる。
ステップＳ９０５において、境界線の検出処理を実行した後、境界線検出部１１２は、境界線が検出されたか否かを判断する（ステップＳ９０６）。検出されない場合は（ステップＳ９０６：ＮＯ）、移動制御部１０２は、観測位置を変更するために移動の制御を行い（ステップＳ９０８）、処理を繰り返す（ステップＳ９０２）。
境界線が検出された場合は（ステップＳ９０６：ＹＥＳ）、パラメータ算出部１１３が、カメラ画像上における境界線のパラメータを算出する（ステップＳ９０７）。境界線のパラメータとして、画像上のおける境界線の傾きａを算出する。境界線の傾きａは、検出した境界線から２点を取り出し、それぞれのＸ座標の差をｄｘｄ、Ｙ座標の差をｄｙｄとすると、ａ＝ｄｙｄ/ｄｘｄにより算出することができる。
次に、移動ロボット１００の位置および姿勢を算出するため、以下のステップＳ９０９〜ステップＳ９１１までの処理を算出する。
図１１は、移動ロボット１００の位置および姿勢を算出する際に使用する座標系の一例を示した説明図である。同図に示すように、Ｘ軸、Ｚ軸は移動ロボット１００が移動する水平面上に存在し、Ｘ軸は壁の一面と平行であるような座標系をとるものとする。また、基準点Ｏはカメラ焦点とし、カメラ光軸はこの基準点を中心として壁方向から角度θ、水平面から仰角ψの方向を向いているものとする。さらに、マーカ１３０の座標をＰｍ（Ｘｍ、Ｙｍ、Ｚｍ）、マーカ１３０から基準点Ｏまでの距離をＤ、境界線をＰ（Ｘ、Ｙ、Ｚ）、境界線Ｐのカメラ画像上への投影点をＰｄ（Ｘｄ、Ｙｄ）とする。
移動ロボット１００の位置を算出するためには、マーカ１３０の位置に対する基準点（ロボットの存在する位置）Ｏの相対位置、すなわち、Ｘｍ、Ｙｍ、Ｚｍを求める必要がある。また、移動ロボット１００の姿勢を算出するためには、θとψを求める必要があるが、ψはカメラチルト回転軸方向の回転角度と同じであるので、θを求めればよい。
最初に、位置姿勢算出部１１４が、算出した境界線のパラメータから移動ロボット１００の回転角度θを算出する（ステップＳ９０９）。回転角度θの算出は、以下のような手順により実行する。
まず、境界線Ｐ（Ｘ、Ｙ、Ｚ）を画面座標系に座標変換した線をＰ’とすると、以下の（１）式が成立する。ここで、Ｒ(ｘ、θ)はＸ軸回りのθ回転行列を、Ｒ(ｙ、θ)はＹ軸回りのθ回転行列を表す。
Figure 0004300199
また、Ｐｄは、Ｐ’と射影行列Ａとを用いて、以下の（２）式のように表される。
Figure 0004300199
この式により、Ｐｄ（Ｘｄ、Ｙｄ）が、Ｘ、Ｙ、Ｚ、θ、ψを用いて表される。射影行列Ａがカメラ焦点距離ｆを用いて以下の（３）式で表されるとき、境界線の画面上での傾きの計算値ｄｙｄ/ｄｘｄは、以下の（４）式により求めることができる。
Figure 0004300199
Figure 0004300199
（４）式により算出された傾きの計算値が、画像処理により検出された境界線の傾きaと等しいことから、以下の（５）式が成り立つ。
Figure 0004300199
次に、マーカ１３０はカメラ画像中央に存在するため、Ｐｍ（Ｘｍ、Ｙｍ、Ｚｍ）とＤ、θおよびψの関係は、以下の（６）式により表すことができる。
Figure 0004300199
傾きａとψの値は既知であるため、上記（５）式および（６）式から、移動ロボット１００の姿勢を表す角度θを求めることができる。
次に、位置姿勢算出部１１４が、ステップＳ９０９において算出した回転角度とマーカ１３０の高さの情報とから、マーカ１３０までの距離Ｄを算出する（ステップＳ９１０）。天井までの高さ情報Ｚｍを、マーカ１３０の位置情報として地図情報記憶部１２０に記憶しておけば、（６）式からＤを算出することができる。
なお、カメラ１０５がステレオカメラの構成の場合は、ステレオ視の手法により、マーカ１３０までの距離Ｄを求めることができるため、事前に天井までの高さ情報Ｚｍを記憶し、距離Ｄを算出する必要がない。
次に、位置姿勢算出部１１４が、ステップＳ９０９において算出した回転角度θと、ステップＳ９１０において算出したマーカ１３０までの距離Ｄとから、マーカ１３０に対する相対位置（Ｘｍ、Ｙｍ、Ｚｍ）を算出する（ステップＳ９１１）。具体的には、算出した距離Ｄ、回転角度θの値と、既知の値である仰角ψとを、（６）式に代入することにより、相対位置Ｘｍ、Ｙｍ、Ｚｍを求めることができる。
次に、このように構成された本実施の形態にかかる移動ロボット１００による地図情報作成処理について説明する。地図情報作成処理とは、移動ロボット１００の自律走行を実行する前に、移動ロボット１００が自律走行を行う領域である移動領域の地図情報を作成し、地図情報記憶部１２０に記憶するための処理をいう。
図１２は、本実施の形態における移動ロボット１００の地図情報作成処理の全体の流れを示すフローチャートである。まず、移動制御部１０２が、移動ロボット１００を壁の近傍まで移動するように移動機構を制御する（ステップＳ１２０１）。
次に、移動制御部１０２が、壁と予め定められた一定の距離を保ちながら、移動ロボット１００を壁に沿って移動させる（ステップＳ１２０２）。移動に伴い、地図情報作成部１０４は、オドメトリ１０７および距離センサ１０６の情報をもとに地図情報を作成する（ステップＳ１２０３）。
次に、移動制御部１０２が、移動領域を一周したか否かを判断し（ステップＳ１２０４）、一周していない場合は（ステップＳ１２０４：ＮＯ）、移動処理を継続する（ステップＳ１２０２）。一周した場合は（ステップＳ１２０４：ＹＥＳ）、動作管理部１０１が、作成した地図をタッチパネル１０８の表示画面上に表示する（ステップＳ１２０５）。
図１３は、地図情報作成処理における移動ロボット１００の移動軌跡の一例を示す説明図である。同図に示すように、移動ロボット１００が、マーカ１３０が２つ配置されている移動領域の壁沿いに移動し、そのときの軌跡が点線の移動軌跡１３０１により表されている。
なお、このような移動軌跡により作成された地図情報が、図２に示す地図情報である。タッチパネル１０８の表示画面上には、図２に示すような地図情報が表示される。
ステップＳ１２０５において作成した地図を表示した後、動作管理部１０１が、タッチパネル１０８から利用者によるマーカ位置の入力を受付ける（ステップＳ１２０６）。次に、地図情報作成部１０４が、受付けたマーカ位置の情報を地図情報に追加する（ステップＳ１２０７）。
次に、地図情報作成部１０４が、追加したマーカ１３０の近傍に壁などの物体を区分する線が存在するか否かを判断する（ステップＳ１２０８）。線が存在する場合は（ステップＳ１２０８：ＹＥＳ）、地図情報作成部１０４は、この線を、追加したマーカ１３０に対応する境界線として、地図情報に追加する（ステップＳ１２０９）。
図１４は、マーカ１３０の近傍の線を検出する処理の一例を示す説明図である。同図は、図２に示す地図情報の一部を拡大したものである。
表示された地図情報の１つの格子１４０１を利用者が示したとすると（ステップＳ１２０６）、地図情報作成部１０４は、格子１４０１を中心として予め定められた個数の周囲の格子の窓１４０２を地図情報から切り出す。次に、地図情報作成部１０４は、移動ロボット１００が移動できる領域と移動できない領域の境界１４０３を求める。境界１４０３の位置から、最小二乗法などを用いて線１４０４を求め、境界線として地図データに追加する（ステップＳ１２０９）。
ステップＳ１２０８において、線が存在しないと判断された場合は（ステップＳ１２０８：ＮＯ）、動作管理部１０１が、タッチパネル１０８から利用者による境界線位置の入力を受付ける（ステップＳ１２１０）。すなわち、追加したマーカ１３０の近傍から壁などの物体を区分する線が検出できなかった場合は、利用者が手動で境界線を入力することができる。次に、地図情報作成部１０４は、受付けた境界線の位置情報を、地図情報に追加する（ステップＳ１２１１）。
ステップＳ１２０９またはステップＳ１２１１において、地図情報作成部１０４が地図情報を追加した後、動作管理部１０１が、すべてのマーカ位置および境界線位置の入力が完了したか否かを判断し（ステップＳ１２１２）、すべての入力が完了していない場合は（ステップＳ１２１２：ＮＯ）、マーカ位置の入力を再度受付けて処理を繰り返す（ステップＳ１２０６）。すべての入力が完了した場合は（ステップＳ１２１２：ＹＥＳ）、地図情報作成処理を終了する。
このように、本実施の形態にかかる移動ロボット１００は、カメラなどの撮像装置で撮影した画像中から、発光パターンによって識別可能なマーカと、当該マーカの近傍に存在する境界線を検出し、検出した境界線と、事前に記憶手段に記憶されているマーカや境界線の位置情報を含む地図情報とから自装置の位置および姿勢を算出することができる。このため、マーカの個数が少ない場合であっても高精度に移動ロボット１００の位置および姿勢を算出することができ、マーカの設置が容易となり、外観上の見映えを向上することができる。
また、移動ロボット１００が作成して画面上に表示した地図情報上で、少数のマーカの位置情報を指定することにより地図情報を作成することができるため、屋内形状地図の入力やマーカの座標値の入力作業が不要となり、利用者の地図情報作成の負担を軽減することができる。
以上のように、本発明にかかる移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システムは、屋内環境で自己位置を補正しながら目的地へ移動する移動ロボット、当該移動ロボットのためのマーカ、当該移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システムに適している。
本実施の形態にかかる移動ロボットの構成を示すブロック図である。 地図情報記憶部に記憶されている地図情報の一例を示した説明図である。 移動ロボットの構成の一例を示す説明図である。 マーカの構成の一例を示す説明図である。 マーカの発光パターンの一例を示した説明図である。 マーカの構成の別の例を示す説明図である。 マーカの照光範囲の一例を示した説明図である。 本実施の形態における移動ロボットの自律走行処理の全体の流れを示すフローチャートである。 位置姿勢算出処理の全体の流れを示すフローチャートである。 カメラ画像から検出されたマーカの一例を示す説明図である。 移動ロボットの位置および姿勢を算出する際に使用する座標系の一例を示した説明図である。 本実施の形態における移動ロボットの地図情報作成処理の全体の流れを示すフローチャートである。 地図情報作成処理における移動ロボットの移動軌跡の一例を示す説明図である。 マーカの近傍の線を検出する処理の一例を示す説明図である。
符号の説明
１００ 移動ロボット
１０１ 動作管理部
１０２ 移動制御部
１０３ カメラ方向制御部
１０４ 地図情報作成部
１０５ カメラ
１０６ 距離センサ
１０７ オドメトリ
１０８ タッチパネル
１１０ 自己位置同定部
１１１ マーカ検出部
１１２ 境界線検出部
１１３ パラメータ算出部
１１４ 位置姿勢算出部
１２０ 地図情報記憶部
１３０ マーカ
２０１ 境界線
２０２ マーカ領域
２０３ 領域
３０１ 車輪
３１１ カメラチルト回転軸
３１２ カメラパン回転軸
３１３ 頭部水平回転軸
４０１ 発光ＬＥＤ
４０２ 駆動回路
４０３ ＬＥＤ光拡散カバー
４０４ 電池
４０５ ケース
６０１ 赤外線ＬＥＤ
６０３ ＬＥＤ光拡散カバー
７０１ ＬＥＤ照光範囲
７０３ 境界線
１００１ 格子
１００２ 左上隅
１００３ 右上隅
１００４ 左下隅
１００５ 右下隅
１００６ マーカ
１００７ 境界線
１３０１ 移動軌跡
１４０１ 格子
１４０２ 格子の窓
１４０３ 境界
１４０４ 線

Claims (10)

  1. 移動領域の地図情報と、移動領域内の予め定められた場所に設置されたマーカの位置情報と、前記マーカを一意に識別する識別情報と、移動領域内に存在する複数の物体を区分し前記マーカの近傍に存在する境界線の位置情報と、を対応付けて格納する地図情報記憶手段と、
    画像を撮影する撮像手段により撮影した画像から前記マーカの位置情報と前記識別情報とを検出するマーカ検出手段と、
    前記マーカ検出手段が検出した前記マーカの近傍に存在する前記境界線を前記画像から検出する境界線検出手段と、
    前記境界線検出手段が検出した前記境界線の前記画像中における位置の情報を含む前記境界線のパラメータを算出するパラメータ算出手段と、
    前記地図情報記憶手段に記憶されている前記境界線の位置情報と、前記パラメータ算出手段が算出した前記パラメータとに基づいて自装置の移動領域内における位置および姿勢を算出する位置姿勢算出手段と、
    を備えたことを特徴とする移動ロボット。
  2. 前記境界線検出手段は、前記マーカ検出手段が検出した前記マーカが前記画像内で占める領域を算出し、前記画像に含まれる複数の物体を区分する線のうち、算出した前記領域を通過する長さが最大の線を、前記マーカの近傍に存在する前記境界線として検出することを特徴とする請求項１に記載の移動ロボット。
  3. 前記位置姿勢算出手段は、前記パラメータ算出手段が算出した前記パラメータに含まれる境界線の傾きの情報から、自装置が移動する平面に対して垂直方向の軸を中心とした回転角度を自装置の移動領域内における姿勢として算出し、算出した前記回転角度と、前記地図情報記憶手段に記憶されている前記マーカの位置情報に含まれる前記マーカの高さの情報とから、自装置の前記マーカに対する相対位置を自装置の移動領域内における位置として算出することを特徴とする請求項１に記載の移動ロボット。
  4. 前記マーカ検出手段は、画像を撮影する複数の撮像手段によるステレオ視により自装置から前記マーカまでの距離を含む前記マーカの位置情報を算出し、
    前記位置姿勢算出手段は、前記パラメータ算出手段が算出した前記パラメータに含まれる境界線の傾きの情報から、自装置が移動する平面に対して垂直方向の軸を中心とした回転角度を自装置の移動領域内における姿勢として算出し、算出した前記回転角度と、前記マーカ検出手段が検出した前記マーカまでの距離とから、自装置の前記マーカに対する相対位置を自装置の移動領域内における位置として算出することを特徴とする請求項１に記載の移動ロボット。
  5. 移動領域の地図情報を利用者に対して表示するとともに利用者による前記マーカの位置情報の入力を受付ける表示操作手段と、
    前記表示操作手段が利用者による前記マーカの位置情報の入力を受付けたときに、受付けた前記マーカの近傍に存在する前記境界線を前記地図情報から検出し、検出した前記境界線を、前記マーカの位置情報と対応付けて前記地図情報記憶手段に格納する地図情報作成手段と、
    を備えたことを特徴とする請求項１に記載の移動ロボット。
  6. 前記位置姿勢算出手段が算出した自装置の移動領域内における位置および姿勢と、前記地図情報とから、移動の目的地までの経路を算出し、算出した経路に沿って移動を行う移動制御手段をさらに備えたことを特徴とする請求項１に記載の移動ロボット。
  7. 前記位置姿勢算出手段が算出した自装置の移動領域内における位置および姿勢と、前記地図情報とから、検出する前記マーカの位置情報を算出し、算出した位置情報に対する方向を前記撮像手段の撮影方向とする撮像制御手段をさらに備えたことを特徴とする請求項１に記載の移動ロボット。
  8. 前記撮像制御手段は、画像の中央で前記マーカが撮影される方向を前記撮像手段の撮影方向とすることを特徴とする請求項７に記載の移動ロボット。
  9. 画像を撮影する撮像手段により撮影した画像から、複数の発光素子を予め定められた時間間隔または順序で発光する移動ロボットのためのマーカの位置情報と、前記マーカを一意に識別する識別情報とを検出するマーカ検出ステップと、
    前記マーカ検出ステップが検出した前記マーカの近傍に存在し、移動領域内に存在する複数の物体を区分する境界線を、前記画像から検出する境界線検出ステップと、
    前記境界線検出ステップが検出した前記境界線の前記画像中における位置の情報を含むパラメータを算出するパラメータ算出ステップと、
    移動領域の地図情報と、移動領域内の予め定められた場所に設置されたマーカの位置情報と、前記識別情報と、前記境界線の位置情報と、を対応付けて格納する地図情報記憶手段に記憶されている前記境界線の位置情報と、前記パラメータ算出ステップが検出した前記パラメータとに基づいて自装置の移動領域内における位置および姿勢を算出する位置姿勢算出ステップと、
    を備えたことを特徴とする移動ロボットの位置姿勢算出方法。
  10. 移動領域内を移動する移動ロボットと、移動ロボットの移動領域内に配置され、移動ロボットにより検出されて、移動ロボットの位置および姿勢を算出するための移動ロボット用マーカと、を備えた移動ロボットの自律走行システムにおいて、
    前記移動ロボット用マーカは、
    複数の発光素子と、マーカを一意に識別させるための識別情報として前記発光素子を予め定められた時間間隔または順序で発光させる駆動手段と、を備え、
    前記移動ロボットは、
    移動領域の地図情報と、移動領域内の予め定められた場所に設置されたマーカの位置情報と、前記マーカを一意に識別する識別情報と、移動領域内に存在する複数の物体を区分し前記マーカの近傍に存在する境界線の位置情報と、を対応付けて格納する地図情報記憶手段と、
    画像を撮影する撮像手段により撮影した画像から前記マーカの位置情報と前記識別情報とを検出するマーカ検出手段と、
    前記マーカ検出手段が検出した前記マーカの近傍に存在する前記境界線を前記画像から検出する境界線検出手段と、
    前記境界線検出手段が検出した前記境界線の前記画像中における位置の情報を含む前記境界線のパラメータを算出するパラメータ算出手段と、
    前記地図情報記憶手段に記憶されている前記境界線の位置情報と、前記パラメータ算出手段が算出した前記パラメータとに基づいて自装置の移動領域内における位置および姿勢を算出する位置姿勢算出手段と、
    を備えたことを特徴とする移動ロボットの自律走行システム。
JP2005172854A 2005-06-13 2005-06-13 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム Expired - Fee Related JP4300199B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005172854A JP4300199B2 (ja) 2005-06-13 2005-06-13 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム
US11/396,471 US20060293810A1 (en) 2005-06-13 2006-04-04 Mobile robot and a method for calculating position and posture thereof
KR1020060052460A KR100794409B1 (ko) 2005-06-13 2006-06-12 이동 로봇 및 그의 위치 및 자세의 산출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005172854A JP4300199B2 (ja) 2005-06-13 2005-06-13 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム

Publications (2)

Publication Number Publication Date
JP2006346767A JP2006346767A (ja) 2006-12-28
JP4300199B2 true JP4300199B2 (ja) 2009-07-22

Family

ID=37568621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005172854A Expired - Fee Related JP4300199B2 (ja) 2005-06-13 2005-06-13 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム

Country Status (3)

Country Link
US (1) US20060293810A1 (ja)
JP (1) JP4300199B2 (ja)
KR (1) KR100794409B1 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834905B1 (ko) * 2006-12-08 2008-06-03 한국전자통신연구원 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법
KR100883520B1 (ko) * 2007-07-23 2009-02-13 한국전자통신연구원 실내 환경지도 작성 시스템 및 방법
US8915692B2 (en) 2008-02-21 2014-12-23 Harvest Automation, Inc. Adaptable container handling system
US20110301757A1 (en) * 2008-02-21 2011-12-08 Harvest Automation, Inc. Adaptable container handling robot with boundary sensing subsystem
JP5337408B2 (ja) * 2008-05-28 2013-11-06 村田機械株式会社 自律移動体及びその移動制御方法
KR101503904B1 (ko) * 2008-07-07 2015-03-19 삼성전자 주식회사 이동 로봇의 지도 구성 장치 및 방법
KR101538775B1 (ko) * 2008-09-12 2015-07-30 삼성전자 주식회사 전방 영상을 이용한 위치 인식 장치 및 방법
KR101493075B1 (ko) 2008-12-17 2015-02-12 삼성전자 주식회사 이동 로봇의 위치 인식 장치 및 방법
KR101581197B1 (ko) * 2009-01-06 2015-12-30 삼성전자주식회사 로봇 및 그 제어방법
KR101570377B1 (ko) * 2009-03-31 2015-11-20 엘지전자 주식회사 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
US8879426B1 (en) * 2009-09-03 2014-11-04 Lockheed Martin Corporation Opportunistic connectivity edge detection
US20110169923A1 (en) * 2009-10-08 2011-07-14 Georgia Tech Research Corporatiotion Flow Separation for Stereo Visual Odometry
DE102009052629A1 (de) 2009-11-10 2011-05-12 Vorwerk & Co. Interholding Gmbh Verfahren zur Steuerung eines Roboters
JP5255595B2 (ja) * 2010-05-17 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 端末位置特定システム、及び端末位置特定方法
KR20120053713A (ko) * 2010-11-18 2012-05-29 에스엘 주식회사 차량용 카메라의 제어 장치 및 방법
KR101735311B1 (ko) * 2010-12-10 2017-05-15 삼성전자 주식회사 3차원카메라장치 및 3차원카메라장치 제어방법
US8908034B2 (en) * 2011-01-23 2014-12-09 James Bordonaro Surveillance systems and methods to monitor, recognize, track objects and unusual activities in real time within user defined boundaries in an area
BR112013026178A2 (pt) 2011-04-11 2019-10-01 Crown Equipment Ltd método e sistema para coordenar o planejamento de trajeto
FR2977023B1 (fr) * 2011-06-24 2014-02-21 Univ Angers Generation de donnees de carte
AU2015203030B2 (en) * 2011-08-26 2016-10-20 Crown Equipment Corporation Method and apparatus for using unique landmarks to locate industrial vehicles at start-up
US20140058634A1 (en) * 2012-08-24 2014-02-27 Crown Equipment Limited Method and apparatus for using unique landmarks to locate industrial vehicles at start-up
US9147173B2 (en) 2011-10-31 2015-09-29 Harvest Automation, Inc. Methods and systems for automated transportation of items between variable endpoints
US8676425B2 (en) 2011-11-02 2014-03-18 Harvest Automation, Inc. Methods and systems for maintenance and other processing of container-grown plants using autonomous mobile robots
US8937410B2 (en) 2012-01-17 2015-01-20 Harvest Automation, Inc. Emergency stop method and system for autonomous mobile robots
US11127186B2 (en) 2012-03-14 2021-09-21 Tulip.Io Inc. Systems and methods for transmitting and rendering 3D visualizations over a network
US20130317642A1 (en) * 2012-05-28 2013-11-28 Well.Ca Inc. Order processing systems using picking robots
US9545582B2 (en) * 2013-08-23 2017-01-17 Evollve, Inc. Robotic activity system using color patterns
CN107000207B (zh) * 2014-09-24 2021-05-04 三星电子株式会社 清洁机器人和控制清洁机器人的方法
US9788481B2 (en) * 2014-10-28 2017-10-17 Deere & Company Robotic mower navigation system
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US10071891B2 (en) 2015-03-06 2018-09-11 Walmart Apollo, Llc Systems, devices, and methods for providing passenger transport
US9868211B2 (en) 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
WO2016163563A1 (ja) 2015-04-09 2016-10-13 日本電気株式会社 地図生成装置、地図生成方法及びプログラム記録媒体
KR102398330B1 (ko) * 2015-06-12 2022-05-16 엘지전자 주식회사 이동 로봇 및 그 제어방법
US9758305B2 (en) 2015-07-31 2017-09-12 Locus Robotics Corp. Robotic navigation utilizing semantic mapping
JP7147119B2 (ja) 2015-11-02 2022-10-05 スターシップ テクノロジーズ オウ 自律的な自己位置推定のためのデバイス及び方法
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
US11019805B2 (en) 2016-07-20 2021-06-01 Farm Robotics And Automation Sl Robot assisted surveillance of livestock
US10120386B2 (en) * 2016-11-18 2018-11-06 Robert Bosch Start-Up Platform North America, LLC, Series 1 Robotic creature and method of operation
DE102016125358A1 (de) 2016-12-22 2018-06-28 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Reinigungsgerätes sowie ein solches Reinigungsgerät
JP2019046381A (ja) * 2017-09-06 2019-03-22 パナソニックＩｐマネジメント株式会社 自律走行掃除機、および、マップ補正方法
US10839547B2 (en) 2017-09-28 2020-11-17 Samsung Electronics Co., Ltd. Camera pose determination and tracking
US10529074B2 (en) 2017-09-28 2020-01-07 Samsung Electronics Co., Ltd. Camera pose and plane estimation using active markers and a dynamic vision sensor
JP2019102047A (ja) * 2017-11-28 2019-06-24 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
WO2019107164A1 (ja) * 2017-11-28 2019-06-06 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
CN110243360B (zh) * 2018-03-08 2022-02-22 深圳市优必选科技有限公司 机器人在运动区域的地图构建及定位方法
WO2019192721A1 (de) * 2018-04-06 2019-10-10 Alfred Kärcher SE & Co. KG Selbstfahrendes und selbstlenkendes bodenbearbeitungsgerät und verfahren zum betreiben eines bodenbearbeitungsgerätes
WO2019200018A1 (en) 2018-04-10 2019-10-17 Dymesich David Tanner Robot management system
CN110956660B (zh) * 2018-09-26 2023-10-10 深圳市优必选科技有限公司 定位方法、机器人以及计算机存储介质
US11604476B1 (en) * 2018-10-05 2023-03-14 Glydways Inc. Road-based vehicle guidance system
JP7183085B2 (ja) * 2019-03-14 2022-12-05 株式会社東芝 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置
US11347226B2 (en) 2019-04-25 2022-05-31 Lg Electronics Inc. Method of redefining position of robot using artificial intelligence and robot of implementing thereof
US11817194B2 (en) * 2019-04-30 2023-11-14 Pixart Imaging Inc. Smart control system
US11137770B2 (en) * 2019-04-30 2021-10-05 Pixart Imaging Inc. Sensor registering method and event identifying method of smart detection system
CN110347153A (zh) * 2019-06-26 2019-10-18 深圳拓邦股份有限公司 一种边界识别方法、系统及移动机器人
CN112147995B (zh) * 2019-06-28 2024-02-27 深圳市创客工场科技有限公司 机器人的运动控制方法及装置、机器人、存储介质
CN110349207B (zh) * 2019-07-10 2022-08-05 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
KR102359822B1 (ko) * 2020-04-06 2022-02-09 (주)이롭 복수개의 관절을 갖는 보조 협동로봇의 분산제어 방법 및 시스템
US11797020B1 (en) * 2020-10-16 2023-10-24 Amazon Technologies, Inc. System for autonomous mobile device motion control using image data
CN112497218B (zh) * 2020-12-03 2022-04-12 上海擎朗智能科技有限公司 机器人位姿确定方法、装置、设备和介质
CN113029168B (zh) * 2021-02-26 2023-04-07 杭州海康机器人股份有限公司 基于地面纹理信息的地图构建方法和系统及移动机器人
KR20230053430A (ko) * 2021-10-14 2023-04-21 네이버랩스 주식회사 로봇의 자세 측정 방법 및 이를 이용한 로봇 시스템
CN114663316B (zh) * 2022-05-17 2022-11-04 深圳市普渡科技有限公司 确定沿边路径的方法、移动设备及计算机存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4815008A (en) * 1986-05-16 1989-03-21 Denning Mobile Robotics, Inc. Orientation adjustment system and robot using same
US4905151A (en) * 1988-03-07 1990-02-27 Transitions Research Corporation One dimensional image visual system for a moving vehicle
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
US5165064A (en) * 1991-03-22 1992-11-17 Cyberotics, Inc. Mobile robot guidance and navigation system
US5504695A (en) * 1992-11-17 1996-04-02 Nissan Motor Co., Ltd. Apparatus for measuring paint film thickness based on dynamic levelling property of wet paint film surface
KR0168189B1 (ko) * 1995-12-01 1999-02-01 김광호 로보트의 환경인식장치 및 그 제어방법
JP3114668B2 (ja) * 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
EP0952427B1 (en) * 1998-04-24 2004-03-03 Inco Limited Automated guided apparatus
US6339735B1 (en) * 1998-12-29 2002-01-15 Friendly Robotics Ltd. Method for operating a robot
US6338013B1 (en) * 1999-03-19 2002-01-08 Bryan John Ruffner Multifunctional mobile appliance
US6611738B2 (en) * 1999-07-12 2003-08-26 Bryan J. Ruffner Multifunctional mobile appliance
US6629028B2 (en) * 2000-06-29 2003-09-30 Riken Method and system of optical guidance of mobile body
KR100374664B1 (ko) * 2000-12-15 2003-03-04 송동호 발광 휠의 패턴표시 제어회로
SE0100924D0 (sv) * 2001-03-15 2001-03-15 Electrolux Ab Energy-efficient navigation of an autonomous surface treatment apparatus
JP3822468B2 (ja) * 2001-07-18 2006-09-20 株式会社東芝 画像処理装置及びその方法
ATE444404T1 (de) * 2001-08-24 2009-10-15 Young David W Vorrichtung und verfahren zum reinigen von linien auf einer spielfläche
EP1441632B1 (en) * 2001-09-26 2013-05-01 F. Robotics Acquisitions Ltd. Robotic vacuum cleaner
IL145680A0 (en) * 2001-09-26 2002-06-30 Friendly Robotics Ltd Robotic vacuum cleaner
GB0126497D0 (en) * 2001-11-03 2002-01-02 Dyson Ltd An autonomous machine
US6748292B2 (en) * 2002-07-15 2004-06-08 Distrobot Systems, Inc. Material handling method using autonomous mobile drive units and movable inventory trays
JP4304946B2 (ja) * 2002-09-24 2009-07-29 セイコーエプソン株式会社 画像表示装置
KR100506533B1 (ko) * 2003-01-11 2005-08-05 삼성전자주식회사 이동로봇 및 그에 따른 자율주행 시스템 및 방법
JP2005166001A (ja) * 2003-11-10 2005-06-23 Funai Electric Co Ltd 自動集塵装置
JP2005275898A (ja) * 2004-03-25 2005-10-06 Funai Electric Co Ltd 自走式掃除機

Also Published As

Publication number Publication date
KR20060129960A (ko) 2006-12-18
KR100794409B1 (ko) 2008-01-16
JP2006346767A (ja) 2006-12-28
US20060293810A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4300199B2 (ja) 移動ロボット、移動ロボットの位置姿勢算出方法、移動ロボットの自律走行システム
US11803185B2 (en) Systems and methods for initializing a robot to autonomously travel a trained route
JP6772129B2 (ja) 移動ロボットにおける光学式走行距離センサの使用のためのシステム及び方法
US11898848B2 (en) Visual navigation for mobile devices operable in differing environmental lighting conditions
JP5122887B2 (ja) 実写基盤移動機器の制御方法、装置および媒体
US6385331B2 (en) Hand pointing device
US8675913B2 (en) Gesture recognition method and interactive system using the same
CN106537186A (zh) 用于使用机器视觉系统执行同时定位和映射的系统和方法
CN105310604A (zh) 机器人清洁系统以及控制机器人清洁器的方法
KR101842459B1 (ko) 로봇 청소기 및 이의 제어 방법
JP2002182742A (ja) モービルロボット及びその経路補正方法
EP2049308A1 (en) System and method for calculating location using a combination of odometry and landmarks
KR20120021064A (ko) 이동 로봇 및 이의 제어 방법
JP2009169845A (ja) 自律移動ロボット及び地図更新方法
KR20120006407A (ko) 로봇 청소기 및 이의 제어 방법
KR20110091316A (ko) 주행 경로 계획 장치 및 방법
KR20120006408A (ko) 로봇 청소기 및 이의 제어 방법
KR20130099667A (ko) 레이저 스캐너 및 구조물을 이용한 모바일 로봇의 위치추정장치 및 방법
JP2014157051A (ja) 位置検出装置
KR102023699B1 (ko) 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템
KR101333496B1 (ko) 과거 지도 데이터 기반의 이동 로봇 제어 장치 및 방법
KR100906991B1 (ko) 로봇의 비시인성 장애물 탐지방법
KR100500831B1 (ko) 로봇청소기의 회전각도 산출방법
JP2010026727A (ja) 自律移動装置
KR20160090278A (ko) 이동 로봇 및 이의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090331

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090420

R151 Written notification of patent or utility model registration

Ref document number: 4300199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees