JP6462728B2 - 自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法 - Google Patents

自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法 Download PDF

Info

Publication number
JP6462728B2
JP6462728B2 JP2016570989A JP2016570989A JP6462728B2 JP 6462728 B2 JP6462728 B2 JP 6462728B2 JP 2016570989 A JP2016570989 A JP 2016570989A JP 2016570989 A JP2016570989 A JP 2016570989A JP 6462728 B2 JP6462728 B2 JP 6462728B2
Authority
JP
Japan
Prior art keywords
map
pixel
obstacle
value
absence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016570989A
Other languages
English (en)
Other versions
JP2017521761A (ja
Inventor
ガルシア,ニコラス
スシェ,リュカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aldebaran SAS
Original Assignee
SoftBank Robotics Europe SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Robotics Europe SAS filed Critical SoftBank Robotics Europe SAS
Publication of JP2017521761A publication Critical patent/JP2017521761A/ja
Application granted granted Critical
Publication of JP6462728B2 publication Critical patent/JP6462728B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0227Control of position or course in two dimensions specially adapted to land vehicles using mechanical sensing means, e.g. for sensing treated area
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Acoustics & Sound (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Description

本発明はロボットプログラミングシステムの領域に関する。具体的には、本発明は障害物の不在および存在の一方の確率の局所マップの生成に適用される。このようなマップは特に、限定しないが、衝突回避技術へ適用可能である。
ロボットは、当初未知環境内でも高い自立度で行動またはタスクを行うことができる場合に自律的であると見なされ得る。安全に移動し行動を行うためには、自律ロボットは潜在的に危険な障害物を定位しそれに関する情報を収集する必要がある。
したがって、局所障害物に関する情報を自律的に収集する課題はロボットの分野における重大な問題である。
従来技術によると、障害物検出のための最もよく知られている技術は、「同時定位およびマッピング:Simultaneous Localization And Mapping」(SLAM)と呼ばれる方法のカテゴリに属する。これらの方法は障害物の同時検出とその環境に対するロボットの定位とを提供する。SLAM技術は非特許文献1と非特許文献2に開示されている。
ロボットは、いくつかの人間的外観属性:頭、胴、2本の腕、2つの手などを有する瞬間からヒューマノイドと見なされ得る。但しヒューマノイドロボットは多かれ少なかれ高度化され得る。その四肢はより多いまたは少ない関節を有し得る。ヒューマノイドロボットは、恐らく三次元で自身のバランスを静的かつ動的に制御して二足歩行し得る、またはベース上を単に転回し得る。ヒューマノイドロボットは、環境から信号を受信し(「聞く」「見る」「触れる」、「感知する」など)多少なりとも高度な行動に反応し、言葉またはジェスチャのいずれかにより他のロボットまたは人間と相互作用し得る。
このようなロボットは特に人間的相互作用用に設計され得る。しかし、ジェスチャと対話だけでなく顔および感情認識を含むこれらの相互作用は高度にCPU集約的である。これらの相互作用はヒューマノイドロボットの核心である。したがって、ロボット設計者が解決しなければならない1つの課題は、可能な最小CPU使用率で動作する他のすべてのロボット機能を設計することである。これらの他の機能は特には、ロボットの電源が入った瞬間から連続的に行われなければならない定位、衝突回避および障害物検出を含む。
SLAM技術においてロボットにより使用される環境マップのサイズはロボットがその環境の新しい部分を発見すると増加する。SLAM技術はロボット位置を計算するために環境のすべての既知部分を使用するので、障害物検出複雑性としたがって未知のサイズを有する環境においてSLAM技術を使用するCPU使用率とに上限を与えることはほぼ不可能である。さらに、SLAM実施形態は、EKF−SLAM(すなわち拡張カルマンフィルタSLAM:Extended Kalman Filter SLAM)の共分散行列などCPU集約的技術を使用する。SLAM技術はロボット位置だけでなく一組のランドマークの位置も推定する。ロボットがその環境を発見すると、ロボットは新しいランドマークをこのセットへ加える。EKF SLAMでは、各新しいランドマークが状態ベクトルと分散行列へ加えられる。したがって、多くの潜在的ランドマークを有する大きな環境は非常に高い複雑性を生じ得る。したがって、SLAM技術の使用は定位と障害物検出だけのための危機的CPU使用率を生じ得、人間的相互作用のためのCPU利用可能性を脅かす。一方、SLAM技術は、静的ランドマークを使用することにより静的世界内のロボットを定位するように設計される。従って、SLAM技術は可動障害物を検知することにおいては非効率的である。C.C.Wangは非特許文献3の中でSLAMと可動物体追跡(MOT:Mobile Object Tracking)とを同時に使用する方法を開示している。しかし、この技術は基本的に、1つのSLAM制限を克服するためにSLAMとMOTとの同時実行からなり、したがってさらなる複雑性をも加える。
特許文献1は、SLAM技術と比較して低減されたCPU使用率を有する、ロボットの正確な定位をもたらす定位面においてロボットを定位する方法を開示する。
このような方法はロボット定位課題を解決する。しかし、最も複雑でなくかつCPU集約的でなく衝突を回避する十分な信頼性で障害物を検知する必要が依然としてある。
欧州特許出願第14305543.2号明細書
THRUN,S.BURGARD,W.FOX D.Probabilistic Robotic.MIT Press,2005 MONTEMERLO,M.THRUN S.KOLLER D.WEGBREIT B.,FastSLAM:A factored solution to the simultaneous localization and mapping problem,AAAI/IAAI,2002,pages 593〜598
この趣旨で、本発明は、自律ロボットに搭載されたコンピュータにより同ロボットの環境内の障害物の不在および存在の少なくとも一方の確率のピクセルマップを判断するための方法を開示する。前記方法は、自律ロボットの周囲に規定され前記ロボットに実質的に取り付けられた初期マップを同ロボットに搭載されたメモリにおいて初期化する工程であって、前記マップは所定境界を有し、所定寸法のピクセルが敷かれ、各ピクセル内の障害物の不在および存在の少なくとも一方の確率の値が所定値に設定される、工程と、自律ロボットの環境内の障害物の不在および存在の少なくとも一方を表すデータを少なくとも1つの感知手順から取得する工程と、前記データの初期マップの少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を少なくとも更新する手順を初期マップに同時に適用する工程と、前回観察の障害物の不在または存在の確率を所定値に近い値に修正する工程とを含むことを特徴とする。
有利には、初期マップは、ロボットが所定数のピクセル内に留まる限り固定基準座標系において静止しており、同ロボットがこの所定数のピクセルから出ると同ロボットと共に移動する。
有利には、初期マップの限界は、前記ロボットが差し迫った衝突脅威に直面し得る領域の寸法に応じて予め定義される。
有利には、ピクセルの所定寸法は衝突回避距離に応じて選択される。
有利には、初期マップは四角形を画定する。
有利には、前回観察の障害物の不在および存在の一方の確率を修正してマップを初期化するための手順における所定値は、確かに障害物が存在することを表す値と確かに障害物が存在しないことを表す値との平均値である。
有利には、不在の確率のマップが計算され、障害物の不在の確率は0〜1の数であり、0は確かな障害物の存在を、1は確かな障害物の不在を、0.5は障害物の未知存在を表す。
有利には、障害物と未知ピクセルとの境界を定める閾値Tsobsが区間[0;0.5]内の数として定義され、障害物無しピクセルと障害物未知ピクセルとの境界を定める閾値Tsfreeが区間[0.5;1]内の数として定義される。
有利には、障害物の不在の確率を修正するための時間的進展比Rtempは、次式により前記障害物閾値と収束の所定時間Tconvとに従って定義される:Rtemp=exp(ln(1−2.0×Tsobs)/(Τconv×更新頻度))
有利には、前回観察の障害物の不在の確率を修正するための手順は、前回マップ内のその値に従って各ピクセルの値を計算するための幾何学的分布則(geometric distribution law)を使用し、次式を使用する:VC320=Rtemp×(VC310−0.5)+0.5、ここでVC320はピクセルの修正値でありVC310はその前回値である。
有利には、複数の初期マップは複数の補足的感知手順に関し初期化され、複数のマップは融合マップへ同時にマージされる。
有利には、複数の初期マップをマージすることで以下のことを満足する:障害物の不在の確率が初期マップの少なくとも1つにおける閾値Tsobs未満である各ピクセルは融合マップ内の障害物である;融合マップ内の障害物でなくかつ障害物の不在の確率が初期マップの少なくとも1つにおけるTsfreeの閾値を越える各ピクセルは融合マップ内の障害物無しピクセルである。
有利には、複数の初期マップをマージする工程は、第1の事前融合マップ(pre−fused map)と第2の事前融合マップとを生成する工程と、第1の事前融合マップ内のピクセル内の障害物の不在の確率の値を、複数の初期マップ内の同じピクセル内の不在の確率の値の最小値として設定する工程と、第2の事前融合マップ内のピクセル内の障害物の不在の確率の値を、複数の初期マップ内の同じピクセル内の不在の確率の値の最大値として設定する工程と、その値が障害物の閾値Tsobs未満である第1の事前融合マップ内のピクセル内の障害物の不在の確率の値を0に設定する工程と、その値が障害物の閾値Tsobsを越える第1の事前融合マップ内のピクセル内の障害物の不在の確率の値を1に設定する工程と、融合マップ(360)内のピクセル内の障害物の不在の確率の値を第1と第2の事前融合マップ内の同じピクセル内の不在の確率の最小値に設定する工程とを含む。
有利には、複数の初期マップ中の各マップは、同じタイプの障害物を観測するセンサをグループ化した異なる一組のセンサから取得されたデータを使用することにより更新される。
有利には、第1の組のセンサはロボットに搭載されたレーザセンサをグループ化し、第2の組のセンサはロボットに搭載された3Dカメラをグループ化し、第3の組のセンサはロボットに搭載された超音波センサをグループ化し、第4の組のセンサはロボットに搭載された接触センサをグループ化する。
有利には、自律ロボットの環境内の障害物の不在および存在の少なくとも一方を表すデータを少なくとも1つの感知手順から取得する工程は、センサから生データ値を取得する工程と、ロボット運動力学的接合モデル(robot kinematic joint model)と角度関節センサとを使用することにより、センサに関連付けられた6Dセンサ変換を生成する工程と、センサにより観測された障害物を表す一組の3D点を生成するために前記6Dセンサ変換と前記生データとを使用する工程とを含む。
有利には、初期マップ内の少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を更新する工程は、少なくとも1つの3D点が発見されると少なくとも1つの2Dピクセルを確かな障害物の存在を表す値で埋める工程と、前記少なくとも1つのピクセルとセンサの位置との間の各線を確かな障害物の不在を表す値で埋める工程とを少なくとも含む。
本発明はまた、少なくとも複数の距離センサと、ロボット運動力学的接合モデルと、ロボットの周囲に規定された初期マップを格納するオンボードメモリであって、所定境界を有し所定寸法のピクセルが敷かれ、障害物の存在および不在の少なくとも一方の確率の値が格納されるオンボードメモリと、各ピクセルの値を所定値に設定することにより前記マップを初期化するモジュールと、ロボットの環境内の障害物の不在および存在の少なくとも一方を表すデータを前記指向性距離センサの少なくとも1つから取得するモジュールと、少なくとも、前記データから初期マップの少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を少なくとも更新する手順と前回観察の障害物の不在または存在の確率を所定値に近い値に修正する手順とを前記マップに同時に適用するモジュールと、を含む自律ロボットを開示する。
本発明はまた、コンピュータ可読媒体上に格納されたコンピュータプログラム製品を開示する。本コンピュータプログラム製品は、ロボットの環境内の障害物の不在および存在の少なくとも一方の確率のピクセルマップを判断する方法をコンピュータに実施させるコード手段を含む。前記コンピュータプログラム製品は、自律ロボット周囲に規定されるとともに前記ロボットに取り付けられた初期マップをメモリ内において初期化するための少なくとも1つのモジュールであって、前記マップは所定境界を有し、所定寸法のピクセルが敷かれ、各ピクセル内の障害物の不在および存在の少なくとも一方の確率の値が所定値に設定される、モジュールと、自律ロボットの環境内の障害物の不在および存在の少なくとも一方を表すデータを第1のタイプの少なくとも1つの感知手順から取得するモジュールと、少なくとも、前記データから初期マップの少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を少なくとも更新する手順と、前回観察の障害物の不在および存在の確率を所定値に近い値に修正する手順とを前記初期マップに同時に適用するモジュールとを含むことを特徴とする。
本発明は、自律ロボットの近接環境内のすべての脅威と障害物とによりマップを構築する方法を開示する。本方法は本質的にしかしこれだけではないが衝突回避に使用され得る。本方法はまた、軌道計算に使用され得る。
本発明による方法は非常に低いCPU使用率を有する。実際、本方法は、ピクセル値比較および塗りつぶしのような簡単な動作を使用することにより、限定され境界が定められた数のピクセルを有するピクセルマップ上で動作する。
本方法はまた、制限された数およびサイズのマップのおかげで低メモリフットプリントを有する。さらに、本発明による方法のメモリフットプリントは境界が定められる。
本発明はまた、さらなる複雑性無しに可動障害物出現および消滅を検知する。
多くの実施形態では、本発明はまた、すべてのタイプの障害物のより精細な検出を利用するためにロボット内のすべての種類のセンサを活用する。
したがって、本発明による方法は、ヒューマノイドロボットの人間的相互作用のためのCPUおよびメモリを節約する一方で、ロボットと環境(人、周囲物体等)の両方に対する安全性を保証するために十分な信頼性で障害物を検知する。
本発明は多くの例示的実施形態の以下の説明とその添付図面からより良く理解され、その様々な特徴と利点が浮かび上がることになる。
本発明の多くの実施形態におけるヒューマノイドロボットの物理的アーキテクチャを示す。 本発明の多くの実施形態におけるロボットのソフトウェアモジュールの機能アーキテクチャを示す。 本発明の多くの実施形態のグローバルフローチャートを示す。 本発明の多くの実施形態における、1つのセンサからの観測によりセンサファミリーマップを更新するためのフローチャートを示す。 本発明の多くの実施形態における、マップが計算されるピクセル領域の例を提供する。 本発明の多くの実施形態における、障害物の不在の確率の時間的進展の例を提供する。 本発明の多くの実施形態における、未知確率により初期化され単一センサ観測により更新されるセンサファミリーマップの例を示す。 本発明の多くの実施形態における、古い観察の同時更新と新しい観察によるピクセルの修正とによるセンサファミリーマップの進展を示す。 本発明の多くの実施形態における、古い観察の同時更新と新しい観察によるピクセルの修正とによるセンサファミリーマップの進展を示す。 本発明の多くの実施形態における、古い観察の同時更新と新しい観察によるピクセルの修正とによるセンサファミリーマップの進展を示す。 本発明の多くの実施形態における、古い観察の同時更新と新しい観察によるピクセルの修正とによるセンサファミリーマップの進展を示す。 本発明の多くの実施形態における、複数のセンサファミリーマップの融合の例を提供する。 本発明の多くの実施形態における、複数のセンサファミリーマップの融合の例を提供する。 本発明の多くの実施形態における、複数のセンサファミリーマップの融合の例を提供する。
図1は、本発明の多くの実施形態におけるヒューマノイドロボットの物理的アーキテクチャを表す。
図の特定ロボット100は、本発明が実施され得るヒューマノイドロボットの一例と考えられる。図のロボットの下肢は、歩行のためには機能的ではないが、置かれた表面上で転回するそのベース140上で任意の方向に動き得る。本発明は、例えばNao(商標)ロボットとして歩行に適したロボットにおいて容易に実施され得る。一例として、このロボットは、約120cmであり得る身長110、約65cmの奥行120、約40cmの幅130を有する。特定の実施形態では、本発明のロボットは、その環境へメッセージ(音声、映像、ウェブページ)を伝達し得るタブレット150を有する、またはタブレットの触覚インタフェースを介しユーザからエントリを受信し得る。タブレットのプロセッサに加えて、本発明のロボットはまた、それ自身のマザーボードのプロセッサ(例えばIntel(商標)のATOM(商標)Z530であり得る)を使用する。本発明のロボットはまた、特に本発明の実施形態では、有利には、マザーボードと特には磁気回転エンコーダ(MRE:Magnetic Rotary Encoder)を担持するボードとの間のデータフローの取り扱いに専用化されるプロセッサと、四肢内の接合のモータとロボットが車輪として使用するボールとを制御するセンサとを含み得る。モータは、規定接合に必要な最大トルクの大きさに応じて異なるタイプのものであり得る。例えばe−minebea(商標)のブラシDCコアレスモータ(例えばSE24P2CTCA)またはMaxon(商標)のブラシレスDCモータ(例えばEC45_70W)が使用され得る。MREは、12または14ビット精度を有するホール効果を使用するタイプのものが好ましい。
本発明のいくつかの実施形態では、図1に表されるロボットはまた、様々な種類のセンサを含む。それらのいくつかは、ロボットの位置および動作を制御するために使用される。これは例えば、ロボットの胴内に配置された慣性ユニットのケースであり、3軸ジャイロメータおよび3軸加速度計を含む。ロボットはまた、ロボットの額(頂部と底部)上に、5フレーム/秒で5メガピクセル解像度および約57°水平方向および44°垂直方向の視野(FOV:field of view)を有するシステムオンチップ(SOC:System On Chip)タイプの2つの2DカラーRGBカメラ160(Shenzen V−Vision Technology Ltd(商標)(OV5640)など)を含み得る。2Dカメラとほぼ同じFOVを有する20フレーム/秒で0.3メガピクセルの解像度を有するASUS XTION(商標)SOCセンサなどの1つの3Dセンサ170がまた、ロボットの眼の背後に含まれ得る。本発明のロボットはまた、その環境内の物体/生物に対するその相対位置を感知することができるようにレーザ光線発生器(例えば頭内に3個(180a)、ベース内に3個(180b))を備え得る。本発明のロボットはまた、その環境内の音を感知することができるマイクロホンを含み得る。一実施形態では、1kHzにおいて300mV/Pa+/−3dBの感度と300Hz〜12kHz(1kHzに対して−10dB)の周波数範囲とを有する4つのマイクロホンがロボットの頭上に埋め込まれ得る。本発明のロボットはまた、その環境内の物体/人間までの距離を測定するために、恐らくそのベースの前部および後部に位置する2つのソナーセンサ190を含み得る。
ロボットはまた、人間との相互作用を可能にするためにその頭およびその手上に触覚センサを含み得る。ロボットはまた、その経路上で遭遇する障害を感知するためにそのベース上にバンパー1B0を含み得る。
ロボットはまた、計画軌道と実際軌道との差を計算することにより、接触する物体とその上側部材との接触を感知し得る。
その感情を解釈しその環境内の人間とコミュニケーションするために、本発明のロボットはまた、
−例えばその眼、耳内に、およびその肩上にLEDと、
−その耳内に配置される拡声器(例えば2つの)とを含み得る。
本発明のロボットはEthernet RJ45またはWiFi 802.11接続を通して基地局または他のロボットと通信し得る。
本発明のロボットは約400Whのエネルギーを有するリン酸鉄リチウム電池により給電され得る。本発明のロボットは、同ロボットが含む電池のタイプに適した充電ステーションにアクセスし得る。
図2は、その実施形態のいくつかにおいて本発明の実施を可能にする物理的および機能的アーキテクチャの線図である。
NAOなどのロボットに、本発明の一実施形態におけるロボットの機能の操縦を可能にするハイレベルソフトウェアが付与されると有利である。NAOQIと呼ばれるこのタイプのソフトウェアアーキテクチャは、特に2009年10月15日発行の国際公開第2009/124955号パンフレットに開示されている。このアーキテクチャは、ロボットとPCまたは遠隔場所との間の通信を管理するための、そして本発明の実施のために必要なソフトウェアインフラストラクチャを提供するソフトウェアを交換するための、基本機能を含む。
NAOQIはロボット用途に最適化されたフレームワークである。これはいくつかの言語、特にはC++、Python、およびUrbiを支援する。
本発明の文脈では、NAOQIの以下のモジュールが特に役立つ。
−モジュールALMemory210はNAOQIの様々なモジュール間で共有されるメモリを管理する。
−モジュールDCM220は物理的ロボット(モータ、センサ)との通信を管理する。
−モジュールALMotion230は、ロボットの様々な部品の動作としたがって基準のフレームにおけるセンサの位置/配向を計算する、
これらの3つのモジュールはC++でコード化されると有利である。同図はまた、モジュール間のデータフローを示す。
特に、障害物機能の不在および存在の一方の確率のマップの実装に必要な入力は、
−センサ(例えば、足押圧力センサ、レーザ、超音波センサ)の値と、
−ロボットの姿勢、である。
定期的時間間隔で、障害物不在マップ構築機能は、障害物の不在および存在の一方の確率のマップを更新する。そうするために、同機能は、DCMモジュール220からセンサ値を、ALRobotPostureモジュール230からロボット姿勢値を取り出す。
図3は、本発明の多くの実施形態のグローバルフローチャートを示す。
本発明の多くの実施形態では、センサはセンサファミリーにグループ化される。各センサファミリーは1つまたは複数のセンサを含み得る。有利には、各ファミリー内のセンサは同じタイプの障害物を観測するように設計されたセンサを含む。例えば、ロボット100は、3Dカメラセンサ170;3つのレーザ光線発生器180aと3つのレーザ光線発生器180bとを有する第2のファミリー;2つのソナーセンサ190を有する第3のファミリー;触覚センサ、バンパー1BO、および接触を感知する任意のセンサ(計画軌道と実際軌道との差の計算を通して接触を感知する論理センサを含む)を有する第4のファミリーを含み得る。
以下の例では、障害物の不在の確率のマップは[0;1]の範囲で計算される。ここで、1の確率は確かな障害物の不在を、0の確率は確かな障害物の存在を、0.5は障害物の存在の未知確率を表す。本発明は確率のこのような例と表現に限定されない。同業者が障害物の別の表現により本発明を組み込むことは単純明快なタスクである。例えば、その代わりに、1が確かな障害物の存在を表し、0が確かな障害物の不在を表す障害物の存在の確率のマップが計算され得る。確率の区間[0;1]は、百分率、離散値を有する占有状態、障害物の不在または存在を表すブール値、または障害物の不在または存在を表す任意の他のスケールにより置換され得る。
各センサファミリーから、センサファミリーマップ(310、320、330、340)は生成される。本明細書の残りでは、センサファミリーマップは「センサファミリーマップ」または「初期マップ」と呼ばれ得る。融合マップ360は各ファミリーマップ340、350からの情報をマージすることにより形成される。これらのマップのそれぞれは、ロボットに取り付けられ、所定サイズおよびピクセル寸法を有する。本発明の多くの実施形態では、すべてのマップは同じサイズ、ピクセル寸法および原点を有する。従って、所与の座標を有するピクセルは各マップ内の同じ領域を表し、マップピクセル間の比較および操作を非常に容易にする。本明細書の残り部分では、図3を参照することで、手順と、手順の終わりに生成または修正されるマップとの両方を示す。例えば、参照符号330は、更新されたマップだけでなくセンサファミリーマップも更新するための手順を表し得る。所定ピクセル寸法は、最低速度で移動する際のロボットの最小停止距離(例えば10cm)の関数である値に設定され得、その結果、障害物が最近接ピクセル内で検知されるとロボットは停止すべき位置にいる。次に、マップ寸法は、本発明の方法により使用される処理能力に設定される制限(例えば、3mのマップの所定寸法を与える所定10cmサイズの30x30(900)ピクセル)と、ロボットとマップの限界との間の1.5mの距離とに応じて判断され得る。マップの所定寸法はまた、ロボットの環境内のあり得る障害物に応じて最初に判断され得、次に、ピクセル数またはそれらのサイズまたはその両方の組み合わせのいずれかが、本発明の方法に割り当てられる処理能力に応じて判断され得る。これらのトレードオフは、当業者に知られた手順を使用することにより、当業者により判断され、次にロボットのソフトウェアモジュール内にプログラムされ得る。
センサファミリーマップ340、350および融合マップ360は定期的に更新される。ロボット100では、3Dカメラ170、レーザ光線発生器180a、180b、ソナーセンサ190はすべて、それ自身の頻度で測定結果を生成する。有利には、センサファミリーマップおよび融合マップはすべてのセンサの最低頻度で更新される。一実施形態では、センサとマップは10fpsで更新される。この頻度は「更新頻度」と呼ばれる。この例は非限定的であり、任意の更新頻度が選択され得、いかなる新しい測定結果も更新頻度に利用可能でなければ古い測定結果が任意のセンサから使用され得る。
各更新において、センサファミリーマップ340は、このファミリーに属するセンサからの新しい観察結果331、332だけでなくこのファミリーのセンサの前回マップ310も使用することによりファミリー毎に生成される。工程320では、前回マップ310のピクセル値を更新するための手順が適用される。この例では、このような手順は、すべてのピクセル内の値を値0.5近傍にし、したがって前回観察結果にはそれほど価値を与えない。この手順の終わりに、前回マップ310は、低減された確信度でセンサファミリーマップ320に変換される。低減された確信度を有するこのマップ320は、その後工程330において、センサ331、332からの新しい観察結果により更新される。この更新手順は、センサが障害物の不在を観測した各ピクセルを障害物の不在の確率1で、そしてセンサが障害物の存在を観測した各ピクセルを障害物の不在の確率0で埋める。マップ320がそのセンサファミリーに属する各センサからの観測結果により更新されると、同マップは、1ファミリーのセンサからその時に利用可能なすべての情報を含むセンサファミリーマップ340に変換される。
多くの実施形態では、ロボット内のセンサは様々な信頼度を有する。例えば、古いセンサは新しいセンサほど信頼できないと考えられる。したがって、観察結果の信頼性に関する情報は更新330中に更新ピクセルへ加えられる。これは、それほど信頼できないセンサに0.5に近い値を設定することによりまたは障害物の不在の確率に加えて信頼性情報を加えることにより行われ得る。信頼性は、センサのタイプに応じて(例えばロボットの環境に依存して)設定され得る。一例として、レーザ光線発生器は多くのシ−・スルー障害物が存在する環境においてよりエラーを起こし易いということが当業者に知られている。逆に、このタイプの環境では、ソナーセンサがより信頼できる。
グローバル手順の最初の実行に関し、マップ310は所定値によりメモリ内で初期化される。好適な実施形態では、前記所定値は障害物の未知存在を示す。この例では、マップ310は、プロセスの最初の実行時にすべてのそのピクセルにおいて値0.5により初期化される。すべての他の実行に関し、マップ310は前回更新中に生成されたセンサファミリーマップ340である。ロボットの位置が変化した場合、マップのピクセルは平行移動され得る。これは、ロボットがマップの中心にもはや存在しないと発生し得る。例えば、マップのピクセルは、手順の開始時にロボットがマップの中心から数ピクセル離れていれば、またはマップの中心からのその距離がロボットの寸法近傍であれば平行移動され得る。ロボットがマップの中心から所定値(例えば30cm)を越えて離れていればピクセルを平行移動することも可能である。平行移動の場合、マップの原点はロボットの水平方向および/または垂直方向または運動方向に整数のピクセルだけシフトされる。したがって、すべてのピクセルの値はその方向にシフトされる。例えば、ロボットがマップの中心の上30cmに存在し、ピクセルサイズが10cmであれば、マップの位置は固定基準系における垂直軸の一番上において30cmシフトされ得、すべての各ピクセルの値は3ピクセル下に位置する前回ピクセルの値へ設定され得る。いかなる前回値も前回マップ内に発見されないマップ上の境界上に位置するすべてのピクセルは未知値0.5に設定される。
各更新では、センサファミリーマップ340、350は融合マップ360を生成するために融合される。本発明の多くの実施形態では、この融合手順は、障害物をセンサファミリーの少なくとも1つにより検知された状態にするように設計される。この融合マップ360は、前回観察からのすべての情報と、センサファミリー毎の各センサの新しい観察結果とを含む。したがって、この融合マップは、障害物の不在の最も完全な記述を必要とする軌道計算などアプリケーションに使用するのに好適である。
図4は、本発明の多くの実施形態における、1つのセンサからの観測によりセンサファミリーマップを更新するためのフローチャートを示す。
すべてのセンサは、そのタイプの観測結果を表す生データ400を提供する。例えば、レーザセンサ180a、180bは対向方向の最も近い非透明面の距離を提供し、バンパー1B0はその位置における接触の発生を示す。
ロボット座標系におけるセンサの6D位置および配向と固定座標系におけるロボットの6D位置および配向とに関する情報を含むセンサの3D位置および配向は、ロボットの運動力学的接合モデル410と接合の角度センサ420とを使用することで導出される。この情報は、センサにより検知される3D点を固定座標系において表される一組の3D点440に変換する6Dセンサ変換430の生成を可能にする。例えば、レーザセンサ180aから3メートルの距離において観測された障害物は、ロボット運動力学的接合モデル410についての知識と、ロボット座標系におけるセンサの相対位置を示す角度接合センサ420とにより固定3次元座標系において容易に定位され得る。別の例では、バンパー1B0の1つが接触の発生を検知すれば、障害物を表す3D点は、ロボットモデル410と接合センサ420とを使用することによりバンパーの正確な3D位置に配置され得る。
最後に、センサモデル450は、3D点440を使用することにより、工程330中にセンサファミリーマップを更新するために使用される。例えば、レーザセンサ180aのモデルは、障害物がその配向においてレーザセンサにより戻された距離で観測されたということといかなる障害物もレーザセンサとこの障害物との間に観測されていないということとを解釈し得る。したがって、レーザセンサにより戻された3D点障害物は、固定座標系におけるこの3D点に位置するピクセル内の障害物の不在の確率0をマップ330内で最初に設定することによりセンサファミリーマップ330を更新し、固定座標系における3D点とレーザセンサとの間に一直線で配置されたすべてのピクセルにおける障害物の不在の確率1を設定し得る。バンパーセンサ180aを使用する例では、3D点が存在すれば、障害物は、3D点が配置されたマップ330のピクセル内の障害物の不在の確率0を設定することにより配置され得る。いかなる3D点もこのセンサに存在しなければ、いかなる接触もその位置において発生しなかった。したがって、障害物の不在の確率を、バンパーセンサがマップ330内に位置するピクセル内で1に設定することによりマップを更新することが可能である。
図5は、本発明の多くの実施形態における、マップが計算されるピクセル領域の例を提供する。
四角形500はロボットが進化する環境の境界を表す。この環境は単一部屋であり得る。ロボット100は位置520に位置する。多くの実施形態では、この領域は、ロボットが障害物と衝突する差し迫った脅威に直面し得るすべての領域をカバーするように設計される。
有利には、マップは、ロボット520の位置をほぼ中心とする正方形領域510内で計算される。マップはすべてのプロセス中ロボットに実質的に取り付けられたままであるが、ロボット520の位置はマップの中心と若干異なリ得る。実際、ロボットの位置を正確にマップの中心にすることは、ほぼすべてのサイクルにおいて前回マップ310のピクセルを非整数ピクセルシフトで平行移動することを含み、これは望ましくないであろう。したがって、ロボットはマップ510の中心近傍に位置し、マップは、ロボット位置520がマップの中心から所定距離より離れている各サイクルの始めにマップの中心がロボット520の位置近傍となるように平行移動される。
マップ510の幅530とピクセル寸法540はマップサイズと計算複雑性との妥協である。多くの実施形態では、ピクセル寸法は衝突回避距離の関数である。ピクセル寸法は、障害物を感知しロボットを停止するための最小距離の関数であり得る。多くの実施形態では、この最小距離は最小ロボット寸法より数倍小さい。例えば、10cmのピクセル寸法540がロボット100に対して定義され得る。このようなピクセル寸法を使用することにより、ロボットはいくつかのピクセルの面を占める。したがって、ピクセル寸法540は、ピクセルの数を制限する一方でこの種類のロボットの障害物の精細な検出に十分である。マップの幅530は、計算負荷を低減するのに余り大きくならないようにする一方で、ロボットが差し迫った衝突脅威に直面し得る領域をカバーするように設計されるべきである。これは、ロボットが最大速度で数秒内に位置し得るすべての領域をカバーするように設計され得る。ピクセル寸法540だけでなくこの幅530もまた、ロボットモデルに対し予め定義されてもよいし、またはロボット固有アプリケーション用に調整されるようにロボット再販業者により予め定義されてもよい。この例では、ピクセル寸法は10cmに、マップのサイズは30×30ピクセル領域を表す1.5m×1.5mに定義される。したがって、ピクセル寸法540と幅530の適切な規定により、この領域内の障害物の不在の確率の計算は、マップのサイズとしたがってCPUとメモリ使用率を制限する一方で障害物を回避するのに十分である。SLAM技術とは異なり、本発明における障害物の計算は、限定領域と限定数の値に対してだけ発生し、CPUと障害物存在計算のメモリフットプリントとを低減する。さらに、上記計算はSLAM技術とは異なり境界が定められた領域を提供する。
図6は、本発明の多くの実施形態における、障害物の不在の確率の時間的進展の例を提供する。
低減された確信度を有するセンサファミリーマップ320は前回センサファミリーマップ310を使用して生成される。この趣旨で、障害物が既に検知された(障害物の不在の確率<0.5)マップ310内のすべてのピクセルは障害物の不在の確率を増加させ、一方、障害物の不在が検知された(障害物の不在の確率>0.5)ピクセルは障害物の不在の確率を低減させる。グラフ600は、その値が新しい観察により更新されないピクセルの逐次的更新を上回る障害物の不在の確率の進展の例を示す。垂直軸610は障害物の不在の確率0〜1を示す。水平軸620は逐次的更新の回数を示す。二重矢印630は、任意の障害物ピクセルがTsobsより高い障害物の不在の確率を有し、したがって未知呼(unknown call)と考えられるために必要な更新の最大回数を表す。線640は、その元の確率が1であるピクセルの障害物の不在の確率の進展の例を表す。線650は、その元の確率が0であるピクセルの障害物の不在の確率の進展の例を表す。線660は、障害物無し閾値Tsfreeの値が0.5を若干上回れば(例えば0.6)ピクセル内の値が障害物無しと考えられる線を表す。線670は、障害物閾値Tsobsの値が0.5を若干下回れば(例えば0.4)ピクセル内の値が障害物と考えられる線を表す。
障害物の不在の確率は、0または1から値0.5へ収束するために幾何学的分布則に従う。所定収束時間Tconvは、任意の障害物ピクセルが未知のものであると考えられる時間を表す。この時間は、いかなる新しい観測もその中に障害物を観測しなければピクセルを障害物と考えない能力とロボットのセキュリティとの妥協でなければならない。この値は、ロボットの速度またはセンサの更新頻度などのパラメータに従って設定され得る。この値は、ロボットモデルに固定であってもよいし、または特定目的のために最適化されるようにロボット小売り業者により設定されてもよい。この例では、Tconvは5秒に設定される。最大更新回数630は、Tconv(秒で表される)×更新頻度(1秒当たり更新回数で表される)に等しい。Tconv=5秒と1秒当たり20更新頻度とを有する例では最大更新回数630は100である。
幾何学的分布則では、マップ320内の各ピクセルの値はマップ310内のこのピクセルの値に依存する。マップ320内のピクセルの値がVC320としてそしてマップ310内の同じピクセルの値がVC310として定義されれば、工程320において値を修正するための手順は下記式を使用する:VC320=Rtemp×(VC310−0.5)+0.5、ここで、Rtemp比は幾何学的分布の時間的進展を特徴付ける。したがって、このRtemp比は、障害物の不在の初期確率0を有する障害物ピクセルが障害物閾値Tsobsより高い障害物の確率を得るために最大更新回数630が必要となるように、Tconvに従って定義される。幾何学的分布則によると、Rtempは下記式により与えられる:
Figure 0006462728
本発明の他の実施形態では、障害物の不在の確率の時間に伴う進展は線形である。障害物の不在の確率のこの自然な進展はまた、多くの実施形態では、障害物の不在の確率に加えて追加された信頼性情報を低減することにより組み込まれ得る。
図7は、本発明の多くの実施形態における、未知確率により初期化され単一センサ観測により更新されるセンサファミリーマップの例を示す。
本発明の多くの実施形態では、最初の更新に関し、前回センサファミリーマップ310は未知確率により初期化され、すべてのそのピクセルは0.5に設定される。したがって、工程320は効果が無く、その終わりにセンサファミリーマップはすべてのそのピクセル内で0.5の値を依然として有する。マップ400は1つのセンサ311からのデータによる更新後のマップ330の1つを表す。この例では、超音波センサ190の1つのような距離センサが使用される。このセンサは、その視野を表す領域内の遠方障害物を観測する。この例では、視野は円錐であり、全方向において、このセンサは、観測された最も近い点を障害物と考え、センサと障害物との間の線におけるすべての点を障害物無し点と考える。有利には、1つのセンサ331からのデータによる更新は、障害物が観測されたピクセルを障害物の不在の確率0で置換し、黒で表示される障害物ピクセル710を生成する。上記更新はまた、障害物の不在が障害物の不在の確率1により観測されたピクセルを置換し、白で表示される障害物無しピクセル720を生成する。障害物の存在または不在が観測されていないすべてのピクセルはそれらの不在の前回確率値(この例では0.5)を維持する。この例では、これらのピクセルは灰色で表示された障害物未知ピクセル730である。
図8a、図8b、図8cは、3回の逐次的センサファミリーマップ更新手順後のセンサファミリーマップ340の例を示す、ここでセンサファミリーマップはその位置が固定されその視野が回転する単一センサを含む。
図8dは、3回の逐次的更新後のセンサファミリーマップ340の例を示す、ここでセンサファミリーマップは図8a、図8b、図8cと同じ単一センサを含むが、第1と第2のセンサファミリーマップ更新手順間でセンサは追加的に平行移動される。
センサファミリーマップ800aは、第1のセンサファミリーマップ更新手順320、330後のセンサファミリーマップ340の状態を表す。第1のセンサファミリーマップ更新手順に関し、前回センサファミリーマップ310は障害物の不在の確率0.5により初期化される。確率更新手順320後、センサファミリーマップは、すべてのそのピクセル内で障害物の不在の確率0.5を依然として有する。工程330では、単一センサ観測が適用され、障害物の不在または存在が検知されたピクセルは塗りつぶされる。センサは、障害物ピクセル830aを検知してそれらを障害物の不在の確率0で埋め、障害物無しピクセル820aを検出してそれらを障害物の不在の確率1で埋める。センサが何も観測しなかったすべてのピクセル810aは障害物の不在の確率0.5を維持する。
センサファミリーマップ800bは、第2のセンサファミリーマップ更新手順320、330後のセンサファミリーマップ340の状態を表す。したがって、センサファミリーマップ800aは、センサファミリーマップ更新手順の前回センサファミリーマップ310として使用される。センサファミリーマップ手順はすべてのピクセル値を不在の未知確率0.5近傍にする。したがって、前回観測において観察された障害物ピクセル830bは0より若干高い障害物の不在の確率を有し、第1の観測中に観測された障害物無しピクセル820bは1より若干低い障害物の不在の確率を有する。加えて、センサからの第2の観測は新しい障害物ゾーンと障害物無しゾーンとを観測した。したがって、障害物ピクセル840bは障害物の不在の確率0で埋められ、障害物無しピクセル850bは障害物の不在の確率1で埋められる。
センサファミリーマップ800cは第3のセンサファミリーマップ更新手順320、330後のセンサファミリーマップの状態340を表す。したがって、センサファミリーマップ800bはセンサファミリーマップ更新手順の前回センサファミリーマップ310として使用される。センサファミリーマップ手順はすべてのピクセル値を未知不在の確率0.5近傍にする。したがって、第1の観測中に観測された障害物ピクセル830cはピクセル830bより高い障害物の不在の確率を有し、第1の観測中に観測された障害物無しピクセル820cはピクセル830cより高い障害物の不在の確率を有する。一方、第2の観測中に観測された障害物ピクセル840cは0より若干高い障害物の不在の確率を有し、第2の観測中に観測された障害物無しピクセル850cは1より若干低い障害物の不在の確率を有する。加えて、センサからの第3の観測は新しい障害物ゾーンと障害物無しゾーンとを観測した。したがって、障害物ピクセル870cは障害物の不在の確率0で埋められ、障害物無しピクセル860cは障害物の不在の確率1で埋められる。
センサファミリーマップ800dは3回のセンサファミリーマップ更新手順後のセンサファミリーマップ340の状態を表す、ここでセンサはまた、その第1と第2の観測間で変換を行った。このマップでは、障害物無しピクセル820d、850d、860dは、マップ800c内の障害物無しピクセル820c、850c、860cと同じ障害物の不在の確率を有する。一方、障害物ピクセル830d、840d、870dは障害物ピクセル830c、840c、870cと同じ障害物の不在の確率を有する。しかし、センサの平行移動により、第2および第3の観測中のその視野は変化した。したがって、障害物無しピクセル850d、860dはこれら新しい視野内に含まれていたすべての障害物無しピクセルである。
図9a、図9b、図9cは、本発明の多くの実施形態における、センサファミリーマップの融合の例を提供する。図9aは、障害物ピクセル910a、障害物無しピクセル920a、および未知確率を有するピクセル930aを含む第1のセンサファミリーマップ900aを示す。障害物ピクセルと障害物無しピクセル910a、920aは前回更新中に観測された。したがって、ピクセル910aの障害物の不在の確率は0を若干越え、ピクセル920aの障害物の不在の確率は1を若干下回る。図9bは第2のセンサファミリーマップ900bを示す。障害物ピクセル920bと障害物無しピクセル930bは最新更新中に観測された。したがって、障害物ピクセル920bは障害物の不在の確率0を有し、障害物無しピクセル930bは障害物の不在の確率1を有する。図9cは、工程360におけるマップ900a、900bの融合後の最終融合結果マップ900cを示す。有利には、少なくとも1つのセンサファミリーマップ内の障害物の不在の確率が閾値Tsobs未満である各ピクセルは障害物と考えられる。
障害物ピクセル910a、910b内の値はすべてTsobs閾値未満である。したがって、最終融合マップ900c内の障害物ピクセル910cは、障害物の不在の確率の値が0に設定されたすべてのピクセル910a、910bを含む。障害物無しピクセル920a、920b内の障害物の不在の確率はすべてTsfree閾値を越える。したがって、融合マップ900c内の障害物無しピクセル920cは、障害物ピクセルであるピクセル910cを除いてすべての障害物無しピクセル920a、920bを含む。最終融合マップ900c内の未知ピクセル930cは、センサファミリーマップのうちのいかなるものの中の障害物ピクセルでも障害物無しピクセルでもないすべてのピクセルを含む。
多くの実施形態では、融合マップ900cはマップ900a、900bからピクセル毎に計算される。第1の工程は、第1および第2の一時的にまたは予め融合されたマップを生成することである。第1の事前融合マップ内の各ピクセルは、マージすべきすべてのセンサファミリーマップ内の同じピクセルの最小値に設定され、第2の事前融合マップ内の各ピクセルは、マージすべきすべてのセンサファミリーマップ内のこのピクセルの最大値に設定される。次に、手順は、すべてのピクセルから障害物を分離するために第1の事前融合マップに適用される。すなわち、その値がTsobs未満である第1の事前融合マップ内の各ピクセルの値は0に設定され、第1の事前融合マップ内の他のすべてのピクセルの値は1に設定される。このとき、融合マップ内の各ピクセルの値は第1と第2の事前融合マップ間で最小である。
融合のための一般的アルゴリズムは以下のとおりである:
・各源の最小値のマップと最大値のマップとの2つを得る。
・黒と白だけを得るために最小値マップを閾値処理する。
・最大値マップと閾値処理最小値マップ間の最小値を使用する。
このアルゴリズムの実施形態の例示的擬似コードは以下のとおりである:
2つの一時的マップTMPmaxとTMPminを生成する。
##最小最大工程
TMPminのピクセル(i,j)毎に、TMPmin(i,j)=min(900a(i,j)900b(i,j))
TMPmaxのピクセル(i,j)毎に、TMPmax(i,j)=max(900a(i,j)900b(i,j))
##閾値2進工程
次にTMPmin内のピクセル(i,j)毎に、if TMPmin(i,j)<TSobs,TMPmin(i,j)=0 else TMPmin(i,j)=1
##我々はTMPmin内に黒と白だけを有する。
##最小工程
##我々は次のように900cを生成する、
900c内の各ピクセル(i,j)毎に、900c(i,j)=min(TMPmin(i,j)TMPmax(i,j))
このようなピクセル毎ピクセル計算が望ましい結果を生成する。実際、マージすべきセンサファミリーマップ900a、900bの少なくとも一方の中のその値がTsobs未満であるすべてのピクセルは、第1の事前融合マップ内で、したがって融合マップ900c内の障害物の不在の確率0を有する。障害物ピクセルでないすべての他のピクセルは、第1の事前融合マップ内で1の確率を有する。したがって、上記ピクセルは、マージ手順中に第2の事前融合マップから値を得、マージすべきセンサファミリーマップ900a、900bの少なくとも一方の中のこのセルの値がTsfreeを越えれば障害物無しセルの確率を有することになる。上記例は本発明の実施形態の例示として与えられる。これらは、以下の特許請求範囲により規定される本発明の範囲を決して制限するものではない。

Claims (17)

  1. 自律ロボット(100)に搭載されたコンピュータにより前記ロボットの環境内の障害物の不在および存在の少なくとも一方の確率のピクセルマップを判断するための方法であって、前記方法は、
    −前記ロボットの周囲に規定されたピクセルマップ(340、350)の複数の初期マップを前記ロボットに搭載されたメモリにおいて初期化する工程であって、ピクセルマップの前記複数の初期マップは所定境界を有し、所定寸法のピクセルが敷かれ、各ピクセル内の障害物の不在または存在の少なくとも一方の確率の値が所定値に設定される工程(310)と、
    −前記ロボットの環境内の障害物の不在および存在の少なくとも一方を表すデータを複数の相補的な感知手順から取得する工程(331、332)と、
    複数の相補的な感知手順の各1つについて、ピクセルマップの複数の初期マップにおけるピクセルマップの初期マップに次の工程を同時に適用する工程と
    ○障害物の不在および存在の確率の値を所定値に近い値に修正する工程(320)、
    ピクセルマップの初期マップの少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を前記データから更新する工程(330)、
    −更新の後、
    ○障害物の不在の確率がピクセルマップの初期マップ(910a、910b)の少なくとも1つにおける閾値Ts obs 未満である各ピクセルの値を融合マップ(910c)内の障害物を表す値に設定し、
    ○融合マップ(910c)内の障害物ピクセルでなくかつ障害物の不在の確率がピクセルマップの初期マップ(920a、920b)の少なくとも1つにおける閾値Ts free を越える各ピクセルの値を融合マップ(920c)内の障害物無しピクセルを表す値に設定すること、
    によって障害物と未知のピクセルを区切る閾値Ts obs および障害物無しと未知ピクセルを区切る閾値Ts free によってピクセルマップ(340、350)の複数の初期マップをマージする工程とを含むことを特徴とする方法。
  2. ピクセルマップの初期マップは、ロボットが所定数のピクセル内に留まる限り、固定基準座標系において静止したままであり、ロボットがこの所定数のピクセルから出るとロボットと共に移動する、請求項1に記載の方法。
  3. ピクセルマップの初期マップの前記境界は、前記ロボットが、最大速度で移動する場合に所定の期間で位置し得る領域をカバーするように予め定義される(510)、請求項1または2に記載の方法。
  4. 記所定寸法は衝突回避距離に応じて選択される、請求項に記載の方法。
  5. ピクセルマップの初期マップは四角形を画定する(510)、請求項に記載の方法。
  6. 害物の不在および存在の一方の確率を修正する(320)とともにピクセルマップの前記初期マップ(310)を初期化するための前記手順内の所定値は確かな障害物の存在を表す値と確かな障害物の不在を表す値との平均値である、請求項1〜のいずれか一項に記載の方法。
  7. ピクセルマップの前記初期マップは障害物の不在の確率が0〜1のマップであり、0は確かな障害物の存在(710)を、1は確かな障害物の不在(720)を、0.5は障害物の未知存在(730)を表す、請求項1〜のいずれか一項に記載の方法。
  8. 障害物と未知ピクセルを区切る閾値Tsobsは区間[0;0.5]内の数として定義され、障害物無しピクセルと障害物未知ピクセルを区切る閾値は区間[0.5;1]内の数として定義される、請求項に記載の方法。
  9. 障害物の不在の確率を修正するための時間的進展比Rtempは、次式:
    temp=exp(ln(1−2.0×Tsobs)/(Tconv×更新頻度))
    により前記障害物閾値と収束の所定時間Tconvとに従って定義される:、請求項に記載の方法。
  10. 害物の不在の確率を修正する前記手順(320)は、工程310の出力におけるマップ内のこのピクセルの値VC310に従って工程320の出力におけるマップ内のピクセルの値VC320を計算する次の幾何学的分布則:
    VC320=Rtemp×(VC310−0.5)+0.5
    を使用する、請求項に記載の方法。
  11. ピクセルマップの複数の初期マップ(340、350)をマージする工程は、
    −第1の事前融合マップと第2の事前融合マップとを生成する工程と、
    −前記第1の事前融合マップ内のピクセル内の障害物の不在の確率の値を、ピクセルマップの複数の初期マップ(340、350)内の同じピクセル内の不在の確率の値の最小値として設定する工程と、
    −前記第2の事前融合マップ内のピクセル内の障害物の不在の確率の値を、ピクセルマップの複数の初期マップ(340、350)内の同じピクセル内の不在の確率の値の最大値として設定する工程と、
    −その値が閾値Tsobs未満である前記第1の事前融合マップ内のピクセル内の障害物の不在の確率の値を0に設定する工程と、
    −その値が閾値Tsobsを越える前記第1の事前融合マップ内のピクセル内の障害物の不在の確率の値を1に設定する工程と、
    −前記融合マップ(360)内のピクセル内の障害物の不在の確率の値を、前記第1と第2の事前融合マップ内の同じピクセル内の不在の確率の最小値に設定する工程とを含む、請求項に記載の方法。
  12. ピクセルマップの前記複数の初期マップ中の各マップは、同じタイプの障害物を観測するセンサをグループ化した異なる一組のセンサから取得されるデータを使用することにより更新される、請求項11に記載の方法。
  13. −第1の組のセンサは前記ロボットに搭載されたレーザセンサをグループ化すること
    −第2の組のセンサは前記ロボットに搭載された3Dカメラをグループ化すること
    −第3の組のセンサは前記ロボットに搭載された超音波センサをグループ化すること
    −第4の組のセンサは前記ロボットに搭載された接触センサをグループ化すること
    の1つまたは複数を使用する、請求項12に記載の方法。
  14. 前記ロボットの前記環境内の障害物の不在および存在の少なくとも一方を表すデータを少なくとも1つの感知手順から取得する前記工程は、
    −センサから生データ値(400)を取得する工程と、
    −ロボット運動力学的接合モデル(410)と角度関節センサ(420)とを使用することにより、前記センサに関連付けられた6Dセンサ変換(430)を生成する工程と、
    −前記センサにより観測された障害物を表す一組の3D点(440)を生成するために前記6Dセンサ変換(430)と前記生データ(400)とを使用する工程とを含む、請求項1〜13のいずれか一項に記載の方法。
  15. ピクセルマップの初期マップ内の少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を前記データから更新する工程は、
    −少なくとも1つの3D点(440)が発見された少なくとも1つの2Dピクセルを障害物(710、830a、840b、870c、870d)の存在を表す値で埋める工程と、
    −前記少なくとも1つの2Dピクセルと前記センサの位置との間の線内の各ピクセルを障害物(720、820a、850b、860c、860c)の不在を表す値で埋める工程とを少なくとも含む、請求項14に記載の方法。
  16. 自律ロボット(100)であって、少なくとも、
    −複数の指向性距離センサと、
    −ロボット運動力学的接合モデル(410)と、
    −前記ロボットの周囲に規定されたピクセルマップの複数の初期マップを格納する搭載メモリであって、ピクセルマップの前記複数の初期マップは所定境界を有し、所定寸法のピクセルが敷かれ、障害物の存在または不在の少なくとも一方の確率の値が格納される、メモリと、
    −各ピクセルの値を所定値に設定することによりピクセルマップの前記複数の初期マップを初期化するモジュールと、
    −前記ロボットの環境内の障害物の不在および存在の少なくとも一方を表すデータを複数の前記指向性距離センサから取得するモジュールと、
    ピクセルマップの初期マップに次の工程を同時に適用するモジュールと
    ○障害物の不在および存在の確率の値を所定値に近い値に修正する工程(320)、
    ピクセルマップの初期マップの少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を前記データから更新する工程
    −マージするモジュールであって、
    ○障害物の不在の確率がピクセルマップの初期マップ(910a、910b)の少なくとも1つにおける閾値Ts obs 未満である各ピクセルの値を融合マップ(910c)内の障害物を表す値に設定し、
    ○融合マップ(910c)内の障害物ピクセルでなくかつ障害物の不在の確率がピクセルマップの初期マップ(920a、920b)の少なくとも1つにおける閾値Ts free を越える各ピクセルの値を融合マップ(920c)内の障害物無しピクセルを表す値に設定すること、
    によって障害物と未知のピクセルを区切る閾値Ts obs および障害物無しと未知ピクセルを区切る閾値Ts free によってピクセルマップ(340、350)の複数の初期マップをマージするモジュールとを含む、ロボット。
  17. コンピュータ可読媒体上に格納されたコンピュータプログラム製品であって、ロボットの環境内の障害物の不在および存在の少なくとも一方の確率のピクセルマップを判断する方法をコンピュータに実施させるコード手段を含むコンピュータプログラム製品において、少なくとも、
    −自律ロボット周囲に規定されたピクセルマップの複数の初期マップをメモリ内において初期化するためのモジュールであって、ピクセルマップの前記複数の初期マップは所定境界を有し、所定寸法のピクセルが敷かれ、各ピクセル内の障害物の不在および存在の少なくとも一方の確率の値が所定値に設定される、モジュールと、
    −前記ロボットの前記環境内の障害物の不在および存在の少なくとも一方を表すデータを第1のタイプの少なくとも1つの感知手順から取得するモジュールと、
    複数の前記指向性距離センサについて、ピクセルマップの前記複数の初期マップにおけるピクセルマップの初期マップに次の工程を同時に適用するモジュールと
    ○障害物の不在および存在の確率の値を所定値に近い値に修正する工程(320)、
    ピクセルマップの初期マップの少なくとも1つのピクセル内の障害物の不在および存在の少なくとも一方の確率の値を前記データから更新する工程
    −更新の後、
    ○障害物の不在の確率がピクセルマップの初期マップ(910a、910b)の少なくとも1つにおける閾値Ts obs 未満である各ピクセルの値を融合マップ(910c)内の障害物を表す値に設定し、
    ○融合マップ(910c)内の障害物ピクセルでなくかつ障害物の不在の確率がピクセルマップの初期マップ(920a、920b)の少なくとも1つにおける閾値Ts free を越える各ピクセルの値を融合マップ(920c)内の障害物無しピクセルを表す値に設定すること、
    によって障害物と未知のピクセルを区切る閾値Ts obs および障害物無しと未知ピクセルを区切る閾値Ts free によってピクセルマップ(340、350)の複数の初期マップをマージするモジュールとを含むことを特徴とするコンピュータプログラム製品。
JP2016570989A 2014-06-05 2015-06-05 自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法 Active JP6462728B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14305849.3 2014-06-05
EP14305849.3A EP2952993B1 (en) 2014-06-05 2014-06-05 Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
PCT/EP2015/062611 WO2015185741A2 (en) 2014-06-05 2015-06-05 Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot

Publications (2)

Publication Number Publication Date
JP2017521761A JP2017521761A (ja) 2017-08-03
JP6462728B2 true JP6462728B2 (ja) 2019-01-30

Family

ID=51167815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016570989A Active JP6462728B2 (ja) 2014-06-05 2015-06-05 自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法

Country Status (15)

Country Link
US (1) US10328575B2 (ja)
EP (1) EP2952993B1 (ja)
JP (1) JP6462728B2 (ja)
KR (1) KR101999033B1 (ja)
CN (1) CN106662646B (ja)
AU (2) AU2015270461A1 (ja)
BR (1) BR112016028352A2 (ja)
CA (1) CA2950978C (ja)
DK (1) DK2952993T3 (ja)
ES (1) ES2675363T3 (ja)
MX (1) MX2016015833A (ja)
NZ (1) NZ727046A (ja)
RU (1) RU2016151747A (ja)
SG (1) SG11201610131QA (ja)
WO (1) WO2015185741A2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10521960B2 (en) 2017-05-03 2019-12-31 General Electric Company System and method for generating three-dimensional robotic inspection plan
EP2952301B1 (en) 2014-06-05 2019-12-25 Softbank Robotics Europe Humanoid robot with collision avoidance and trajectory recovery capabilities
US10119830B2 (en) * 2016-02-29 2018-11-06 Komatsu Ltd. Control system for work machine, work machine, and management system for work machine
FR3048517B1 (fr) 2016-03-07 2022-07-22 Effidence Robot autonome motorise avec anticipation d'obstacle
CA3022383A1 (en) 2016-04-29 2017-11-02 Softbank Robotics Europe A mobile robot with enhanced balanced motion and behavior capabilities
EP3252658B1 (en) * 2016-05-30 2021-08-11 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method
US11204610B2 (en) * 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
US10160448B2 (en) * 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
US11518051B2 (en) * 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
US20230191635A1 (en) * 2017-01-13 2023-06-22 Clara Vu Dynamic, interactive signaling of safety-related conditions in a monitored environment
US10099372B2 (en) * 2017-02-07 2018-10-16 Veo Robotics, Inc. Detecting and classifying workspace regions for safety monitoring
US11541543B2 (en) * 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
WO2018214825A1 (zh) * 2017-05-26 2018-11-29 杭州海康机器人技术有限公司 一种检测未知位置的障碍物存在概率的方法和装置
EP3460400B1 (en) 2017-09-22 2021-12-22 Softbank Robotics Europe Improved localization of a mobile device based on image and radio words
EP3693825B1 (en) * 2017-10-02 2022-03-23 Sony Group Corporation Environment information update apparatus, environment information update method, and program
CN109959935B (zh) * 2017-12-14 2020-10-23 北京欣奕华科技有限公司 一种地图建立方法、地图建立装置及机器人
US10810427B1 (en) * 2017-12-15 2020-10-20 AI Incorporated Methods for an autonomous robotic device to identify locations captured in an image
US20210205995A1 (en) * 2018-02-06 2021-07-08 Clara Vu Robot end-effector sensing and identification
US20220088787A1 (en) * 2018-02-06 2022-03-24 Clara Vu Workplace monitoring and semantic entity identification for safe machine operation
US11340630B2 (en) * 2018-03-30 2022-05-24 Brain Corporation Systems and methods for robust robotic mapping
US10853561B2 (en) * 2019-04-10 2020-12-01 Fetch Robotics, Inc. System and method for automatically annotating a map
WO2019200018A1 (en) 2018-04-10 2019-10-17 Dymesich David Tanner Robot management system
IT201800006594A1 (it) * 2018-06-22 2019-12-22 "Procedimento per la mappatura dell’ambiente di un veicolo, corrispondenti sistema, veicolo e prodotto informatico"
WO2020017111A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 エージェント、存在確率マップ作成方法、エージェントの行動制御方法、及びプログラム
DE102018118666A1 (de) 2018-08-01 2020-02-06 Carl Zeiss Ag Sensorfusion mit wechselseitiger Korrespondenzanalyse von Sensordaten
DE102018126216A1 (de) * 2018-09-28 2020-04-02 Still Gmbh Verfahren zur Absicherung eines Arbeitsbereichs eines mobilen Logistik-Roboters mittels adaptiver Schutzfelder
EP3739361A1 (en) * 2019-05-13 2020-11-18 Aptiv Technologies Limited Method and system for fusing occupancy maps
CN112179361B (zh) * 2019-07-02 2022-12-06 华为技术有限公司 更新移动机器人工作地图的方法、装置及存储介质
US11994866B2 (en) * 2019-10-02 2024-05-28 Zoox, Inc. Collision avoidance perception system
US11726492B2 (en) * 2019-10-02 2023-08-15 Zoox, Inc. Collision avoidance perception system
WO2021089131A1 (en) * 2019-11-05 2021-05-14 Telefonaktiebolaget Lm Ericsson (Publ) Managing conflicting interactions between a movable device and potential obstacles
CN111161424B (zh) * 2019-12-30 2023-06-02 浙江欣奕华智能科技有限公司 一种三维地图的确定方法及确定装置
KR102169283B1 (ko) * 2019-12-30 2020-10-23 (주)원익로보틱스 자율주행 로봇을 이용한 지도 업데이트 방법 및 시스템
CN111366917B (zh) * 2020-03-13 2022-07-15 北京百度网讯科技有限公司 可行驶区域检测方法、装置、设备及计算机可读存储介质
US11880209B2 (en) * 2020-05-15 2024-01-23 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN112034847B (zh) * 2020-08-13 2021-04-13 广州仿真机器人有限公司 具有双行走模式的分体式仿真机器人的避障方法和装置
CN116194858A (zh) 2020-09-25 2023-05-30 Abb瑞士股份有限公司 使用概率占用栅格控制移动工业机器人的系统和方法
CN112700495A (zh) * 2020-11-25 2021-04-23 北京旷视机器人技术有限公司 位姿确定方法、装置、机器人、电子设备及存储介质
CN112630223B (zh) * 2020-12-07 2023-12-26 杭州申昊科技股份有限公司 一种基于隧道裂纹检测系统及方法
CN113031596A (zh) * 2021-03-01 2021-06-25 深圳市无限动力发展有限公司 扫地机的避障调整方法、装置和计算机设备
CN113110413B (zh) * 2021-03-10 2022-11-08 成都永奉科技有限公司 跟随机器人以及跟随控制方法、跟随控制系统
CN113110417B (zh) * 2021-03-19 2023-06-16 北京小狗吸尘器集团股份有限公司 扫地机器人的地图的优化方法、装置、设备及存储介质
US11927963B2 (en) 2021-03-19 2024-03-12 Amazon Technologies, Inc. System to determine non-stationary objects in a physical space
KR102476420B1 (ko) 2022-03-24 2022-12-12 주식회사 폴라리스쓰리디 이동 로봇 및 이의 장애물 맵 생성 방법
WO2023198286A1 (en) * 2022-04-13 2023-10-19 Volvo Autonomous Solutions AB System and method for controlling an autonomous vehicle using a probabilistic occupancy grid
US11888306B1 (en) 2022-04-22 2024-01-30 Amazon Technologies, Inc. System for in-situ detection of electrical faults
KR102497615B1 (ko) * 2022-09-27 2023-02-08 주식회사 트위니 초음파 센서 기반의 코스트맵 생성 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922632B2 (en) 2002-08-09 2005-07-26 Intersense, Inc. Tracking, auto-calibration, and map-building system
JP2004298975A (ja) * 2003-03-28 2004-10-28 Sony Corp ロボット装置、障害物探索方法
KR100524707B1 (ko) 2003-04-04 2005-11-01 엘지전자 주식회사 이동로봇의 경로자취에 의한 맵핑방법
JP3994950B2 (ja) * 2003-09-19 2007-10-24 ソニー株式会社 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置
JP4256812B2 (ja) * 2004-04-26 2009-04-22 三菱重工業株式会社 移動体の障害物回避方法及び該移動体
JP2006239844A (ja) * 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
US7266477B2 (en) 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
FR2930108B1 (fr) 2008-04-09 2010-07-30 Aldebaran Robotics Systeme et procede de communication distribue comprenant au moins un serveur, au moins un terminal distant, et au moins un terminal mobile capable de communiquer avec le terminal distant relie en reseau audit serveur
US8224516B2 (en) * 2009-12-17 2012-07-17 Deere & Company System and method for area coverage using sector decomposition
DE102011000009A1 (de) * 2011-01-03 2012-07-05 Vorwerk & Co. Interholding Gmbh Verfahren zur gleichzeitigen Bestimmung und Kartenbildung
FR2977023B1 (fr) * 2011-06-24 2014-02-21 Univ Angers Generation de donnees de carte
US8798840B2 (en) 2011-09-30 2014-08-05 Irobot Corporation Adaptive mapping with spatial summaries of sensor data
US9128185B2 (en) * 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
DE102013210263A1 (de) * 2013-06-03 2014-12-04 Robert Bosch Gmbh Belegungskarte für ein Fahrzeug
DK2933604T3 (en) 2014-04-14 2017-03-13 Softbank Robotics Europe PROCEDURE FOR LOCATING A ROBOT IN A LOCATION PLAN
DE102015201706A1 (de) * 2015-02-02 2016-08-04 Bayerische Motoren Werke Aktiengesellschaft Verarbeitung von Sensormessungen eines Fahrzeugumfeldes bei geringer Querauflösung
EP3144765B1 (en) * 2015-09-18 2020-01-08 Samsung Electronics Co., Ltd. Apparatus for localizing cleaning robot, cleaning robot, and controlling method of cleaning robot
JP6559535B2 (ja) * 2015-10-22 2019-08-14 株式会社東芝 障害物マップ生成装置、その方法、及び、そのプログラム
JP6711138B2 (ja) * 2016-05-25 2020-06-17 村田機械株式会社 自己位置推定装置、及び、自己位置推定方法

Also Published As

Publication number Publication date
EP2952993A1 (en) 2015-12-09
CN106662646B (zh) 2019-08-02
US10328575B2 (en) 2019-06-25
RU2016151747A (ru) 2018-07-17
DK2952993T3 (en) 2018-07-30
CN106662646A (zh) 2017-05-10
SG11201610131QA (en) 2017-01-27
EP2952993B1 (en) 2018-04-25
US20170197311A1 (en) 2017-07-13
KR20170042546A (ko) 2017-04-19
KR101999033B1 (ko) 2019-09-27
AU2015270461A1 (en) 2016-12-22
WO2015185741A3 (en) 2016-01-21
BR112016028352A2 (pt) 2017-08-22
NZ727046A (en) 2018-04-27
WO2015185741A2 (en) 2015-12-10
JP2017521761A (ja) 2017-08-03
RU2016151747A3 (ja) 2018-07-17
MX2016015833A (es) 2017-06-28
CA2950978A1 (en) 2015-12-10
CA2950978C (en) 2019-04-23
AU2018271237A1 (en) 2018-12-13
AU2018271237B2 (en) 2020-01-30
ES2675363T3 (es) 2018-07-10

Similar Documents

Publication Publication Date Title
JP6462728B2 (ja) 自律ロボットの障害物の不在および存在の一方の確率のマップを構築する方法
EP2952301B1 (en) Humanoid robot with collision avoidance and trajectory recovery capabilities
KR101913332B1 (ko) 이동 장치 및 이동 장치의 위치 인식 방법
US10197399B2 (en) Method for localizing a robot in a localization plane
US10607079B2 (en) Systems and methods for generating three dimensional skeleton representations
TWI555524B (zh) 機器人的行動輔助系統
Takahashi et al. A mobile robot for transport applications in hospital domain with safe human detection algorithm
Chikhalikar et al. An object-oriented navigation strategy for service robots leveraging semantic information
Dam et al. Person following mobile robot using pedestrian dead-reckoning with inertial data of smartphones
Toda et al. Information visualization based on 3D modeling for human-friendly teleoperation
Hwang et al. A study on robust motion control of humanoid type robot for cooperative working
Sung et al. A study on stable motion control of humanoid robot for unmanned FA
Ki et al. A Stable Walking Control of Two–Legs Biped Robot

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180403

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181227

R150 Certificate of patent or registration of utility model

Ref document number: 6462728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250