JP6901463B2 - ロボット及びロボットデバイスによって見ることができる隠された識別タグ - Google Patents

ロボット及びロボットデバイスによって見ることができる隠された識別タグ Download PDF

Info

Publication number
JP6901463B2
JP6901463B2 JP2018244421A JP2018244421A JP6901463B2 JP 6901463 B2 JP6901463 B2 JP 6901463B2 JP 2018244421 A JP2018244421 A JP 2018244421A JP 2018244421 A JP2018244421 A JP 2018244421A JP 6901463 B2 JP6901463 B2 JP 6901463B2
Authority
JP
Japan
Prior art keywords
robot
mark
labeling
objects
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018244421A
Other languages
English (en)
Other versions
JP2019121393A (ja
Inventor
エム.スミス フレイザー
エム.スミス フレイザー
Original Assignee
サ−コス コーポレイション
サ−コス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サ−コス コーポレイション, サ−コス コーポレイション filed Critical サ−コス コーポレイション
Publication of JP2019121393A publication Critical patent/JP2019121393A/ja
Application granted granted Critical
Publication of JP6901463B2 publication Critical patent/JP6901463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1684Tracking a line or surface by means of sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/06131Constructional details the marking comprising a target pattern, e.g. for indicating the center of the bar code or for helping a bar code reader to properly orient the scanner or to retrieve the bar code inside of an image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06046Constructional details
    • G06K19/0614Constructional details the marking being selective to wavelength, e.g. color barcode or barcodes only visible under UV or IR
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/12Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using a selected wavelength, e.g. to sense red marks and ignore blue marks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/09Closed loop, sensor feedback controls arm movement
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/49Protective device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Toys (AREA)

Description

ロボットに空間を横断させ且つ物体と相互作用させることは困難なタスクであり得る。ロボットは、ロボットを損傷し得る或いはロボットが損傷し得る障害物を区別し得なければならない。加えて、ロボットは、指令を実行するためにロボットが相互作用しなければならない物体を識別し得なければならない。更に、幾つかの物体は、冷凍庫と冷蔵庫ドアとの間の相違又はガスレンジのどのノブがどの火口に対応するか等のような、相互作用に対する困難又は危険を提示し得る。
本発明の構成及び利点は、本発明の構成を一例として共に例示する添付の図面と共に理解されるとき、後続の詳細な記述から明らかである。
ある例に従った、ロボットがナビゲートすることができ且つ相互作用することができる機械ナビゲート可能な環境を定める、機械可読であるが人間知覚不能であるしるしで標識付けられた物体を備える空間の、概略的な斜視図である。
ある例に従った並びに明確性のために見えるように示された、図1の物体を標識付けるための、機械可読であるが人間知覚不能であるラベル又はしるしの、概略的な正面図である。
ある例に従った並びに目に見えないことを示すような方法において例示された図1の物体を標識付けるためのラベル又はしるしの概略的な正面図である。
ある例に従った図1の物体を標識付けるためのラベル又はしるしの概略的な側面図である。
ある例に従った図1の物体を標識付けるためのラベル又はしるしの概略的な側断面図である。
しるしのルックアップ表又はライブラリの概略図である。
ある例に従った図1の物体の概略的な正面図である。
ある例に従った図1の物体の概略的な正面図である。
ある例に従った図1の物体の概略的な正面図である。
図8は、しるしのルックアップ表又はライブラリの概略図である。
ここで例示の説明的な実施形態を参照する。説明的な実施形態を記載するために特定の言語を本明細書において使用する。それにも拘わらず、それによる本発明の範囲の限定は意図されていない。
技術の実施形態の初期的な概要を以下に提示し、次に、具体的な技術の実施形態を後に更に詳細に記載する。この初期的な要約は、読者が本技術をより迅速に理解するのを助けることを意図するが、本技術の鍵となる構成又は本質的な構成を特定することを意図せず、特許請求する主題の範囲を限定することも意図しない。
本明細書に開示するのは、ロボットに知覚可能である又は人間に見えない若しくは実質的に見えないが機械可読である物体(object)を標識付けする(マーキングする)(marking)又は識別する(identifying)システム及び方法である。そのような標識付け(マーキング)(marking)は、ロボットによる識別(特定)(identification)、相互作用(対話)(interaction)及びナビゲーション(操縦)(navigation)を容易にすることができ、ロボットのために機械又はロボットナビゲーション可能な環境を創り出すことができる。一例として、そのような物体は、冷蔵庫のような、器具(appliance)であることができ、ロボットは、品目(例えば、飲料)を取り出すためのようなタスクを完了するために、器具に接近して相互作用する。よって、器具又は冷蔵庫は、機械可読であり、冷蔵庫のような器具、よって、機械が相互作用して品目を取り出す物体を識別することができる、標識(marking)、ラベル(label)、タグ(tag)又はしるし(indicia)を有することができる。本明細書で使用するとき、「しるし(indicia)」という用語は、1つの又は1つよりも多くの「しるし(indicium)」を指す。加えて、しるしは、やはりロボットが相互作用する、ハンドルのような冷蔵庫の部分を識別することもできる。複数の異なる標識、ラベル、タグ又はしるしを使用して、冷蔵庫ハンドル、冷凍庫ハンドル、製氷機ディスペンサ、水ディスペンサ、異なる棚又はビンなどのような、冷蔵庫の複数の異なる部分を区別することができる。更に、しるしは、ロボットがどのように物体と相互作用するかに関して有用なことがある、方向、大きさ又は他のパラメータを示すこともできる。例えば、しるしは、ドアがどの方向に開くか、ドアを開くためにどれぐらいの力が加えられるべきか、及び実行されるべき回転の程度を示すことができる。
機械可読であるしるしは、ロボットによって知覚されることができ且つ解釈されることができるが、補助なしの人間の眼(unaided human eye)には見えない、記号(シンボル)を含むことができる。一例として、ロボットは、画像センサを備えるカメラを利用して、しるしを見ることができる。加えて、しるしは、そのようなしるしが人間に不快な環境を創り出さないで人間にとって審美的に心地良いままであるよう、補助なしの人間の眼には見えないことができ或いは実質的に見えないことができる。例えば、しるしは、UV光を反射することができる一方で、ロボットの画像センサは、そのようなUV光を検出することができる。よって、しるしは、ロボットによって知覚されることができる一方で、環境の審美性を妨げない。
本明細書で使用するとき、「実質的(substantially)」という用語は、作用、特徴、特性、状態、構造、品目、又は結果の完全な又は略完全な程度又は度合いを指す。例えば、「実質的に」取り囲まれる物体は、その物体が完全に取り囲まれるか或いは略取り囲まれることを意味する。全体的な完全性からの逸脱の正確な許容可能な程度は、幾つかの場合、特定の脈絡に依存することがある。しかしながら、一般的に言って、完了の近さは、恰も絶対的な又は全体的な完了が得られたような同じ全体的な結果を有するためである。「実質的に」の使用は、作用、特徴、特性、状態、構造、品目、又は結果の完全な又は略完全な欠乏を指す否定的な含意において使用されるときに等しく適用可能である。
本明細書で使用するとき、「隣接する(adjacent)」という用語は、2つの構造又は要素の近接性を指す。具体的には、「隣接する」ものとして識別される要素は、当接しているか或いは接続されていることがある。そのような要素は、必ずしも互いに接触しないで互いに近いか或いは近接してもよい。近接性の正確な程度は、幾つかの場合、具体的な脈絡に依存することがある。
本明細書で使用するとき、「見える(visible)」という用語は、補助なしの人間の眼に見えること、及び約400〜750ナノメートルの波長を備える可視スペクトル内の光で見えることを指す。
本明細書で使用するとき、「しるし(indicia)」という用語は、他のことが特定されない限り、しるし及び複数のしるしの両方を指す。
図1は、ある例に従った、ロボット22が進み(navigate)且つ相互作用することができる機械ナビゲーション可能な(machine-navigable)環境を定める、機械可読であるが、人間が知覚し得ない、しるし18で標識付けられた、例示的な物体14を備える空間10の概略的な斜視図を描写している。ロボット22は、当業者によって理解されるように、ホイール及びモータを備えるような、移動式及び自走式の、遠隔操作可能な、人間に似たロボットなどであることができる。ロボット22は、物体を掴む或いは物体と係合するグリップ又は指又は同等物を備える、1以上(1つ又はそれよりも多く)のアームを有することができる。加えて、ロボット22は、物体及び環境を見る或いは感知する画像センサを備えるカメラ26を有することができる。1つの態様において、カメラ26又は画像センサは、UVスペクトル内で動作可能であることができ、UV光を見ることができ或いは感知することができる。加えて、ロボット22は、UV光を放射して物体及び環境を照らして反射することができるUV光源30を有することができる。1つの態様において、UV光源30は、380〜200ナノメートルの間の波長を備える近UV光(NUV)を放射することができ、そのUVカメラ26又は画像センサは、そのような近UV光(NUV)を検出することができる。
物体14は、環境又は空間に依存して異なることができる。1つの態様において、環境又は空間10は、家庭又は家庭内のキッチンであることができる。よって、物体は、冷蔵庫14b(refrigerator)、レンジ14c(range)又はガスレンジ(stove)及びレンジ上面(cooktop)、電子レンジ14d(microwave oven)、皿洗い機(dishwasher)、ごみ圧縮機(trash compactor)などのような、組込み式器具を含むことができる。他の態様において、物体は、ミキサ(blender)、炊飯器(rice-cooker)、野菜スチーマ(vegetable steamer)、クロックポット(crockpot)、圧力釜(pressure cooker)などのような、調理台器具を含むことができる。加えて、物体は、ハンドル、ノブ、ボタン、アクチュエータなどのような、インタフェースを有することができる。加えて、物体は、壁14f、カウンタ又はアイランド14gなどのような、ロボットの移動又は行動に対する障害又は物理的境界であることができる或いはそれを提示することができる。加えて、物体は、室外窓14h、オーブン窓、電子レンジ窓、鏡、キャビネットのガラスドアなどのような、ロボットによる物体の損傷に曝される障害又は物理的境界であることができる或いはそれを提示することができる。加えて、物体は、階段などのような、ロボットに危険な障害又は物理的境界であることができる或いはそれを提示することができる。更に、物体は、椅子14i、ドア14jなどのような、頻繁な移動に曝される障害又は物理的境界であることができる或いはそれを提示することができる。しかしながら、物体は、空間内に外向きに面する、冷蔵庫14bの34bによって表される、外側の外向きに面する表面(exterior, outfacing surfaces)を有することができる。
しるし18は、外側の外向きに面する表面などのような、物体14上に配置されることができ且つ物体14によって支持されることができる。1つの態様において、しるし18は、物体、物体とのロボットの相互作用、環境などに関する、情報を含むことができる。例えば、しるし18は、物体、物体のインタフェースの場所を識別することができ、その物理的境界又は障害を示すことができ、或いはその直ぐ上にある特定の相互作用情報を含むことができ、或いはそれは、リンクを提供することによるような、そのような相互作用情報へのアクセス、開放すること若しくは開放させること、又はその情報を含むコンピュータデータベースへのしるしを開始する他のアクセスを容易にする、データベースに関連する或いはデータベースをリンクする情報を含み、ロボット(又はオペレータ)は、コンピュータデータベースと相互作用して、どのように物体、その環境などと相互作用するかにおいてロボットを支援するように設計される情報を得ることができる。これを以下に更に詳細に説明する。
本明細書で使用するとき、「相互作用情報(interaction information)」という語句は、1以上の方法において物体と相互作用するためにロボットによって必要とされる或いはロボットにとって有用な標識付けしるしの読取りによって容易にされてロボットに伝えられる情報を意味することができ、相互作用情報は、ロボットによる物体との効率的で、正確で、有用な相互作用を容易にする。より具体的には、相互作用情報は、物体とのロボットの所定の意図される相互作用に関する情報と、1以上の方法において物体との所定の意図されるロボットの相互作用を実施するのに有用であることができる本開示を読んだ後に当業者に直ちに明らかな任意の他の種類の情報とを含むことができる。相互作用情報は、物体の識別に関する情報(例えば、物体は何か、物体の製造元又はモデル)、物体の特性についての情報(例えば、物体の材料構成、大きさ、形状、構成、向き、重量、構成部品、表面特性、材料特性など)、ロボットが物体又は物体の構成部品又は要素を操作することができる特定の方法に関するコンピュータ可読指令(例えば、物体及び物体がどのように相互作用されることができるかに関するタスクベースの指令又はアルゴリズム(例えば、もしこのタスクなら、これらの指令)、ロボットがどのように物体と相互作用することができるかに関する情報(例えば、方向、大きさ、時間の持続時間など)、それが物体に関するときの相対的な情報(例えば、その環境(例えば、壁からの距離、それが移動させられるべき場所など)又は1以上の他の物体に対する物体についての情報)、その場所についての情報(例えば、GPS又は他のナビゲーション情報に基づく座標)など)、複数の標識付けしるしを利用するタスクについての情報(例えば、シーケンスの識別、次の順序的な標識付けしるしなどを見出すために何処に行くかなど)を含むことができるが、それらに限定されない。相互作用情報の性質、量及び詳細は異なることができ、ロボットが既に何を知っているか、ロボットがどのように操作されるか、例えば、ロボットが自律的に、半自律的に、又はコンピュータプログラム又は人間制御を介した完全な又は部分的な制御の下で機能することが意図されているかなどのような、様々なことに依存することができる。本明細書で記載し且つ特定する相互作用情報は、如何様にも限定的であることを意図しない。実際には、当業者は、しるしを介して、(例えば、オペレータに、仮想環境内で又は仮想環境と共に作動するシステムに利用可能にすることのように)、ロボット又はロボットデバイス又はロボット若しくはロボットデバイスが作動させられるシステムに利用可能にすることができる、他の相互作用情報を認識するであろう。そのような相互作用情報は、任意の所与の物体と相互作用するために、ロボット、ロボットデバイスなどに必要とされることがある或いは望まれることがある、任意のものであり得ることが想定され、よって、本明細書では、全てではない可能なシナリオが特定され且つ議論される。1つの態様において、しるしは、ロボット又はロボットのコンピュータプロセッサによって認識可能であり且つ理解される機械言語を表すことができる。他の態様において、しるしは、ルックアップ表又はライブラリと比較されることができるコード又は数字を表すことができる。よって、ルックアップ表又はライブラリは、相互作用情報と関連付けられるコード又は数字を含むことができる。1つの態様において、ルックアップ表又はライブラリは、ロボットの内部にあることができる。他の態様において、ルックアップ表又はライブラリは、ロボットの外部にあることができ、ロボットは、動作中にそれと通信することができる(例えば、ロボットによってアクセス可能なコンピュータネットワーク又はクラウドベースシステム)。
他の例において、環境又は空間は、オフィスであることができる。よって、物体は、壁、仕切り付き個人用小室、机、コピー機などを含むことができる。他の例において、環境又は空間は、工業又は製造倉庫、工場、造船所などであることができる。その上、物体は、製品、機械類などを含むことができる。本質的には、ロボットが作動し得る任意の着想可能な環境内でラベル又はしるしを利用し得ること、そのような環境内の任意の物体又は品目又は構造的要素でラベル又はしるしを利用し得ること、及びラベル又はしるしが、環境、物体、互いに対するこれらの相互作用などの又はそれらに関する、任意の種類の情報を含み得ることが、本明細書において想定される。
図2aは、ある例に従った物体に適用されるように構成されたしるし18を含むラベルの形態のマーカの概略的な正面図を描写している。よって、マーカは、標識付けしるしを支持する(support)或いは支える(carry)ように動作可能な物理的な媒体又はキャリアを含むことができる。明確性のために、ラベル又はしるし18は、見えるものとして示されているが、そのようなしるしは、補助のない人間の眼に見えないように(人間知覚不能に)構成され、可視光を実質的に通す。図2bは、その上に支持されるラベル及びしるし18の概略的な正面図を描写しているが、補助のない人間の眼には見えないこと及び可視光を実質的に通すことを示すような方法において例示されている。しるし18は、機械可読である。よって、しるし18は、カメラ26又はその画像センサ(若しくは他のセンサ又は検出器)によって知覚されることができ且つロボット22によって認識される記号又はパターン38又はそれらの両方を含むことができる。1つの態様において、しるし18は、特異なコードを提供するよう可変な厚さ若しくは間隔を備える一連の平行線を備える線形の若しくは一次元的なバーコード、又は特異なコードを提供するよう長方形又は正方形のドットのパターンを備える二次元MaxiCode又はQRコード(登録商標)などであることができる或いはそれを含むことができる。他の態様において、しるしは、記号、文字を含むことができ、矢印42又は同等物さえも含むことができる。他の態様において、しるし18は、無線周波数識別(FRID)デバイス又はタグのような、能動的な識別子とは対照的に、受動的であることができる。
加えて、しるし18は、図2bに示すように、人間知覚不能であることができ、或いは補助のない人間の眼には見えないか或いは実質的に見えないことができる。1つの態様において、しるし18は、可視スペクトルにおいて見えないことができ、よって、可視光を実質的に反射しない。1つの態様において、しるし18は、透明又は半透明であることができるので、可視光は、しるしを実質的に通過する。1つの態様において、しるしは、紫外であることができ、太陽のような周囲光源からの又はロボット22のUV光源30から照射されるような、紫外光を反射することができる。よって、しるし18は、UVスペクトル内で見える。従って、しるし18は、物体に適用されることができ、半透明又は透明なもの或いは可視光を通すものとして人間の眼に現れることができ、よって、物体の審美的な外観を維持するよう補助のない人間の眼には実質的に知覚不能であることができる。しかしながら、しるし18は、UVスペクトル内にあるように、ロボット22のカメラ16に見えることができる。
しるしは、可視光スペクトルの外側で見えることができる。1つの態様において、しるしは、蛍光であることができ、或いは赤外又は(近、中及び/又は遠)IRで見える。例えば、物体は、IR反射性であり且つIRスペクトル内で見えるしるしで標識付けられることができ、ロボットは、IRスペクトル内で動作可能な画像センサとIR光源とを備えるカメラを有することができる。他の態様において、しるしは、人間の可聴範囲の外側の波長にある無線周波数又は音であることができる。例えば、物体は、RF反射性のしるしで標識付けられることができ、ロボットは、RFスペクトル内で動作可能なセンサを有することができる。他の例として、ロボットは、超音波エミッタで物体に触れることができ、固有の戻り信号(characteristic return signal)を受信し或いは内部機構を所与の周波数で共振させて識別を提供する音を放射することができる。よって、物体は、超音波波長を放射するしるしで標識付けられることができ、ロボットは、超音波スペクトル内で動作可能なセンサを有することができる。
図1を再び参照すると、レンジ14cの窓又は電子レンジ14dの窓又は外側窓14hのような物体14は、透明部分を有することができる。しるし18は、透明部分に配置されることができ、上述のように透明であることができるので、しるしは、物体又はその透明部分の動作と干渉しない。よって、窓14h又はレンジ14c又は電子レンジ14dの透明部分に適用されるしるし18は、窓又は透明部分を通じたビュー(眺望)を妨げない。
図3は、物体14を標識付けるラベル又はしるし18の概略的な側断面図を描写している。1つの態様において、しるし18は、物体14の仕上げ面46の上に配置されることができる。他の態様において、しるし18は、物体14の最外側の仕上げ面46に取外し可能に配置される或いは適用される取外し可能なラベル又は取外し可能なアップリケ50を含むことができる。例えば、しるし18は、ラベル又はアップリケ50の上に印刷されることができる。アップリケ50は、例えば、解放可能な又は恒久的な接着剤を用いて、物体の仕上げ面46に接着することができる。よって、しるし18は、物体の製造及び空間への物体の輸送後に、既存の空間内で物体14に適用されることができる。しるし18又はラベル50は、既存の空間10及びその中の物体に適用されることができる。
図4は、物体14を標識付けるラベル又はしるし18の概略的な側断面図を描写している。1つの態様において、しるし18は、物体14の最外側の仕上げ面46の下に配置されることができる。例えば、しるし18は、例えば、印刷又は塗装によって、物体の上に直接的に配置されることができ、次に、透明塗装又は同等物のような最外側の仕上げ面46が、しるし18の上に適用されることができる。よって、しるし18は、しるし18の上に配置された外側層46を備える薄層(ラミネート)であり或いはそのような薄層を含むことができる。1つの態様において、外側層46は、透明塗装のように、可視光に対して透明又は半透明であることができる。他の態様において、外側層46は、可視光に対して不透明であることができる。他の態様において、外側層46は、UV光に対して透明又は半透明であることができる。よって、しるし18は、物体の仕上げ外側層46によって覆われているときでさえも、ロボット22又はカメラ26又はその画像センサに見えることができる。よって、物体の審美的な外観を維持することができる。加えて、しるし18は、製造中に、製造場所で、物体に適用されることができる。
他の例では、(例えば、ラベルのような)支持媒体を使用せずに、しるしを物体に直接的に適用することができる。1つの例では、適切なインクを使用して物体に印刷することによって、しるしを適用することができる。特定の波長で蛍光を発するインクのような、多くの異なる種類のインクが利用可能である。
他の態様では、物体の製造中にしるしを塗布し或いは塗装することができる。1つの態様では、蛍光塗料又は被覆で物体全体を塗装することができ、塗装されない或いは被覆されない部分によってしるしを形成することができる。他の態様において、しるし又は物体は、他の化学物質が塗料に適用されるときに蛍光し得るようになる塗料を含むことができる。
他の態様では、蛍光マーカを使用することができる。例えば、蛍光マーカは、携行性にドープされたシリカ及びソルゲル、親水性ポリマ(ヒドロゲル)、疎水性有機ポリマ、半導体ポリマドット、量子ドット、カーボンドット、他の炭素質ナノ材料、アップコンバージョン (upconversion) NP、貴金属NP(主に金及び銀)、様々な他のナノ材料、及びデンドリマ(dendrimers)を含むことができる。
他の態様において、しるしは、取り付けられる部品(piece)の部分であることができる。例えば、しるしは、物体に機械的に締結される或いは化学的に接着させられるハンドル(handle)又はトリム(trim)であることができる。他の例として、しるしをハンドル、トリム又は他の部分のポリマに成形することができる。
図5は、ある例に従った物体、即ち、冷蔵庫14bの概略的な正面図を描写している。物体14bは、1以上のハンドル54、又は1以上のボタン、ノブ又はアクチュエータ58のような、インタフェースを有することができる。加えて、物体14bは、複数のラベル又はしるし18を有することができる。1つの態様において、しるし18は、物体14bを冷蔵庫として識別することができる。他の態様では、他のしるし62及び64が、それぞれ、インタフェース、又はハンドル54若しくはアクチュエータ58の場所を識別することができる。よって、物体54は、単一の物体の異なる部分に異なるしるし18,62,64を有して、単一の物体の異なる部分54及び58並びにどのようにそれらと相互作用するかについての情報を識別することができる。上述のように、しるし18は、インタフェースの場所を示す矢印42(図2a及び図2b)を含むことができる。矢印42がインタフェースに近接するよう、物体のインタフェース又はハンドル54及びアクチュエータ58に隣接してしるし62及び64を配置し或いは位置付けることができる。加えて、しるしは、他の情報を含むことができ、或いはインタフェース若しくはハンドルの動作の方向(例えば、外向き、下向き、右側若しくは左側)、又はインタフェースの動作に必要とされる力の大きさ若しくは限界のような、他の情報(相互作用情報)へのアクセスを容易にすることができる。例えば、図5中のしるし62は、物体14bが冷蔵庫であることを示す情報を示し或いはそのような情報へのアクセスを容易にし、ハンドル54の場所、ドアを開放するために10〜20ポンド(4.54〜9.07キログラム)の力が必要とされること、適用される力が30ポンド(13.61キログラム)を超えてならないこと、ドアが右向きに開くこと若しくはドアの最大回転が120度を超えないこと又はそれらの両方を識別することができる。そのような情報は、計算時間と、ロボットがタスクを完了するのに必要とする計算力とを減少させることができ、(複数の)物体と相互作用するのに有用な又は必要とされる特定の態様を学習する必要を減少させることができる。
しるし18,62,64を物体14cの周辺68(perimeter)又は横方向周辺(lateral perimeter)の内側に位置付ける或いは配置することができる。他の態様では、しるし72を物体14cの周辺68又は横方向周辺に配置して、物体の境界を識別するのを助けることができる。しるし72は、物体の周辺を実質的に囲むことができる。
図6は、ある例に従った、インタフェース、即ち、戸口を通じる開口80を備える、物体、即ち、戸口78の概略的な正面図を描写している。しるし82を壁14fに配置して、壁又は戸口78を識別し、インタフェース又はその開口80及び他の関連情報を示すことができる。開口の周辺で開口80に隣接して又は近接してしるし82を配置することができる。
同様に、図7は、ある例に従った、インタフェース、即ち、ドアノブ88を備える、物体、即ち、ドア86の概略的な正面図を描写している。しるし90をドア86に配置してドアを識別し、インタフェース又はそのドアノブ88及び他の関連情報を示すことができる。そうするために、インタフェース又はドアノブ90にそれぞれ隣接して又は近接してしるし90を配置することができる。再び、しるし90は、物体又はドアの動作の方向(例えば、内向き、外向き、左側、右側)、インタフェース又はドアノブの動作の方向(例えば、時計回り又は反時計回り)、ドア又はドアノブを開放するのに必要とされる力などを示すことができる、情報を示すこともでき、そのような情報へのアクセスを容易にすることもできる。
図8は、しるし18に対応する情報のルックアップ表100又はライブラリの概略図を描写しており、情報のルックアップ表100又はライブラリは、当該技術分野において知られているような1以上の方法を介してロボットによってアクセス可能なコンピュータデータベース内に格納される。上述のように、しるし18は、物体、物体のインタフェースの場所を識別し、或いはそれらの識別を用意にすることができ、物理的境界又はその障害を示すことができ、或いはそれらの表示を容易にすることができ、物体とのロボット相互作用(又は相互作用情報又は指令)に関する情報を含むことができ、或いはそれらの情報へのアクセスを容易にすることができる。
上述のように、1つの態様において、しるし18は、単一の物体上に複数のしるし18を含むことができる。他の態様において、しるし18は、一連の物体又は単一の物体上に一連のしるしを含むことができる。よって、しるし18は、連続内のその位置を示すよう、一連の識別子を含むことができる。一連のしるしは、ロボットが連続して又は順に相互作用しなければならない、一連の物体又は1以上の物体の態様に対応することができる。例えば、第1のしるしは、冷蔵庫ドアと関連付けられることができ、それが一連のしるしのうちの第1のものであることを示すしるしを含むことができるのに対し、第2のしるしは、冷蔵庫内の引出と関連付けられることができ、それが一連のしるしのうちの第2のものであることを示すしるしを含むことができるのに対し、第3のしるしは、引出内の容器と関連付けられることができ、それが一連のしるしのうちの第3のものであることを示すしるしを含むことができる。よって、ロボットが冷蔵庫ドアを開放し、引出を通じて容器を見ることにより、第3のしるしを見るならば、ロボットは、順序において省略があることを知り、ロボットが第2のしるしを探さなければならないことを知るであろう。しるし中のそのような順序は、ロボットが正しいタスクを実行するのを助けることができ、物体及びロボットに安全をもたらすこともできる。
他の態様において、しるしは、更なる指令を提供することができる。例えば、しるしは、物体と相互作用するために必要とされるセンサをオンにするようロボットに指令する指令を表すことができる。
上述のようなロボット22のための機械ナビゲーション可能な環境を創り出す方法は、ロボット22が作動する所望の空間10(例えば、家庭又はキッチン)を識別するステップと、空間10内にある或いは空間10内に配置される1以上の物体14(例えば、冷蔵庫14d)を選択するステップと、機械可読で人間知覚不能なしるし18で1以上の物体を標識付けするステップと、ロボット22を空間10内に導入するステップとを含む。ロボット22は、空間10内で移動することができ、ロボット22は、センサ26を有し、センサ26は、しるし18を知覚することができ、ロボットがタスクを実行するのを助けるその中に含まれる情報を処理することができる。実際には、冷蔵庫14bから飲料を得るためなどのような、ロボット22に付与されるべき1以上の所望の又は起こりそうなタスクを識別することができる。加えて、所望の又は起こりそうなタスクに対応する1以上の物体14bを識別することができる。更に、1以上の物体14bのうちの少なくとも1つを含む指令をロボット22に付与することができる。
図面に例示する例を参照し、図面に例示する例を記載するために特定の言語を本明細書において使用した。それにも拘わらず、それによって技術の範囲の如何なる限定も意図されていないことが理解されるであろう。本明細書に例示する構成の変更及び更なる修正並びに本明細書に例示するような例の追加的な用途は、本記述の範囲内にあると考えられるべきである。
本開示は、本明細書に記載の幾つかの実施形態又は構成を本明細書に記載の他の実施形態又は構成と組み合わせられてよいことを明示的に開示しないことがあるが、この開示は当業者によって実行可能な任意のそのような組み合わせを記載しているものと理解されるべきである。この開示中の「又は」の使用は、本明細書で他のことが示されない限り、非排他的であることを意味する、即ち、「及び/又は」を意味すると理解されるべきである。
更に、記載の構成、構造、又は特徴は、1以上の例において任意の適切な方法において組み合わせられてよい。先行する記述では、記載する技術の例の徹底的な理解をもたらすために、様々な構成の例のような、数多くの具体的な詳細が提供した。しかしながら、本技術は、特定の詳細の1以上の詳細なしに、或いは他の方法、構成要素、デバイスなどを用いて実施されてよいことが認識されるであろう。他の場合には、技術の態様を曖昧にすることを避けるために、よく知られている構造又は動作を詳細に示さないか或いは記載しない。
構造的構成及び/又は動作に特異な言語で主題を記載しているが、添付の請求項において定められる主題は上述の特定の構成及び動作に必ずしも限定されないことが理解されなければならない。むしろ上述の構成及び動作は、請求項を実施する例示的形態として開示されている。記載する技術の精神及び範囲から逸脱せずに、数多くの修正及び代替的構成が考案されることがある。

Claims (50)

  1. ロボットのための機械ナビゲーション可能な環境を創り出す方法であって、
    ロボットが動作する所望の空間を識別するステップと、
    前記空間内にある或いは前記空間内に配置される1つ又はそれよりも多くの物体を選択するステップと、
    機械可読であり且つ人間知覚不能であるしるしで前記1つ又はそれよりも多くの物体を標識付けるステップと、
    前記ロボットを前記空間内に導入するステップとを含み、
    前記ロボットは、前記空間内で移動することができ、前記ロボットは、前記しるしを知覚することができるセンサを有し、
    前記しるしは、前記ロボットが前記物体と相互作用するのを助ける相互作用情報又はコンピュータデータベースに格納される相互作用情報へのアクセスを容易にする情報のうちの少なくとも1つを含み、
    前記相互作用情報は、少なくとも、前記ロボットのタスクのシーケンスの識別に関する情報を含む、
    方法。
  2. 前記1つ又はそれよりも多くの物体をしるしで標識付けるステップは、UV反射性であり且つUVスペクトル内で見えるしるしで前記1つ又はそれよりも多くの物体を標識付けるステップを更に含み、前記ロボットは、前記UVスペクトル内で動作可能な画像センサを備えるカメラと、UV光源とを有する、請求項1に記載の方法。
  3. 前記1つ又はそれよりも多くの物体を標識付けるステップは、前記空間内に面する前記物体の外部の外向きに面する表面に前記しるしを適用するステップを更に含む、請求項1に記載の方法。
  4. 前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体の仕上げ面に前記しるしを適用するステップを更に含む、請求項1に記載の方法。
  5. 前記1つ又はそれよりも多くの物体を標識付けるステップは、前記しるしを備える取外し可能なアップリケを前記物体の最外側の仕上げ面に適用するステップを更に含む、請求項1に記載の方法。
  6. 前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体の最外側の仕上げ面の下にあるよう前記しるしを配置するステップを更に含む、請求項1に記載の方法。
  7. 前記しるしは、前記しるしの上に配置される外側層を備える薄層内に配置され、前記外側層は、可視光を通さない、請求項1に記載の方法。
  8. 前記1つ又はそれよりも多くの物体を標識付けるステップは、可視光を通すしるしで前記1つ又はそれよりも多くの物体を標識付けるステップを更に含む、請求項1に記載の方法。
  9. 前記1つ又はそれよりも多くの物体を選択するステップは、透明な物体を選択するステップを更に含み、前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体の透明性を妨げずに、前記透明な物体の上に前記しるしを適用するステップを更に含む、請求項1に記載の方法。
  10. 前記しるしは、前記物体を識別する、請求項1に記載の方法。
  11. 前記しるしは、前記物体のインタフェースの場所を識別する、請求項1に記載の方法。
  12. 前記しるしは、前記物体のインタフェースの場所と前記インタフェースの動作の方向とを識別する、請求項1に記載の方法。
  13. 前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体の周辺の内側で前記物体を標識付けるステップを更に含む、請求項1に記載の方法。
  14. 前記1つ又はそれよりも多くの物体を標識付けるステップは、物体のインタフェースに隣接して前記物体を標識付けるステップを更に含む、請求項1に記載の方法。
  15. 前記1つ又はそれよりも多くの物体を標識付けるステップは、物体を標識付けて、前記物体の周辺を実質的に取り囲むステップを更に含む、請求項1に記載の方法。
  16. 前記1つ又はそれよりも多くの物体をしるしで標識付けるステップは、前記1つ又はそれよりも多くの物体のうちの単一の物体を前記単一の物体の異なる部分にある複数の異なるしるしで標識付けて、前記単一の物体の前記異なる部分を識別するステップを更に含む、請求項1に記載の方法。
  17. 前記1つ又はそれよりも多くの物体を選択するステップは、前記ロボットの移動又は行動に対する物理的境界又は障害を提示する物体を選択するステップを更に含み、前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体を標識付けて、前記物理的境界又は障害を示すステップを更に含む、請求項1に記載の方法。
  18. 前記1つ又はそれよりも多くの物体を選択するステップは、前記ロボットによる前記物体の損傷に曝される物理的境界又は障害を提示する物体を選択するステップを更に含み、前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体を標識付けて、前記物理的境界又は障害を示すステップを更に含む、請求項1に記載の方法。
  19. 前記1つ又はそれよりも多くの物体を選択するステップは、前記ロボットの損傷に曝される物理的境界又は障害を提示する物体を選択するステップを更に含み、前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体を標識付けて、前記物理的境界又は障害を示すステップを更に含む、請求項1に記載の方法。
  20. 前記1つ又はそれよりも多くの物体を選択するステップは、頻繁な移動に曝される物理的境界又は障害を提示する物体を選択するステップを更に含み、前記1つ又はそれよりも多くの物体を標識付けるステップは、前記物体を標識付けて、前記物理的境界又は障害を示すステップを更に含む、請求項1に記載の方法。
  21. 前記ロボットに与えられるべき所望の又は起こりそうなタスクを識別するステップと、
    該所望の又は起こりそうなタスクに対応する1つ又はそれよりも多くの物体を識別するステップとを更に含む、
    請求項1に記載の方法。
  22. 前記1つ又はそれよりも多くの物体のうちの少なくとも1つを含む前記ロボットに対して指令を与えるステップを更に含む、請求項1に記載の方法。
  23. 前記1つ又はそれよりも多くの物体をしるしで標識付けるステップは、IR反射性であり且つIRスペクトル内で見えるしるしで前記1つ又はそれよりも多くの物体を標識付けるステップを更に含み、前記ロボットは、前記IRスペクトル内で動作可能な画像センサを備えるカメラと、IR光源とを有する、請求項1に記載の方法。
  24. 前記1つ又はそれよりも多くの物体をしるしで標識付けるステップは、RF反射性であるしるしで前記1つ又はそれよりも多くの物体を標識付けるステップを更に含み、前記ロボットは、RFスペクトル内で動作可能なセンサを有する、請求項1に記載の方法。
  25. 前記1つ又はそれよりも多くの物体をしるしで標識付けるステップは、超音波波長を放射するしるしで前記1つ又はそれよりも多くの物体を標識付けるステップを更に含み、前記ロボットは、超音波スペクトル内で動作可能なセンサを有する、請求項1に記載の方法。
  26. 機械ナビゲーション可能な環境を定める空間内でのセンサを備えるロボットとの使用のために構成される物体であって、
    表面と、
    該表面に配置されるしるしであって、前記ロボットの前記センサによって機械可読であり、人間知覚不能である、しるしとを含み、
    前記しるしは、前記物体を識別し、前記しるしは、前記物体との前記ロボットの相互作用に関する情報を含み、
    前記物体との前記ロボットの相互作用に関する前記情報は、少なくとも、前記ロボットのタスクのシーケンスの識別に関する情報を含む、
    物体。
  27. 前記相互作用情報は、後に前記ロボットに伝達されるようコンピュータデータベースに格納される、請求項26に記載の物体。
  28. 前記しるしは、UVスペクトル内で見ることができ、前記ロボットは、前記UVスペクトル内で動作可能な画像センサを備えるカメラと、UV光源とを有する、請求項26に記載の物体。
  29. 前記しるしは、前記物体の仕上げ面に配置される、請求項26に記載の物体。
  30. 前記しるしは、前記物体の最外側の仕上げ面に取外し可能に配置されるアップリケを含む、請求項26に記載の物体。
  31. 前記しるしは、前記物体の最外側の仕上げ面の下に配置される、請求項26に記載の物体。
  32. 前記しるしは、前記しるしの上に配置される外側層を備える薄層を含み、前記外側層は、可視光を通さない、請求項26に記載の物体。
  33. 前記しるしは、可視光を通す、請求項26に記載の物体。
  34. 透明部分を更に含み、前記しるしは、前記透明部分の透明性を妨げずに、前記透明部分に配置される、請求項26に記載の物体。
  35. 前記しるしは、前記物体のインタフェースの場所及び該インタフェースの動作の方向とを識別する、請求項26に記載の物体。
  36. 前記しるしは、前記物体の周辺の内側に配置される、請求項26に記載の物体。
  37. 前記しるしは、前記物体のインタフェースに隣接して配置される、請求項26に記載の物体。
  38. 前記しるしは、前記物体の周辺を実質的に取り囲む、請求項26に記載の物体。
  39. 前記しるしは、単一の物体の異なる部分に複数の異なるしるしを更に含んで、前記単一の物体の前記異なる部分を識別する、請求項26に記載の物体。
  40. 前記物体は、前記ロボットの移動又は行動に対する物理的境界又は障害を提示し、前記しるしは、前記物理的境界又は障害を示す、請求項26に記載の物体。
  41. 前記物体は、前記ロボットによる前記物体の損傷に曝される物理的境界又は障害を提示し、前記しるしは、前記物理的境界又は障害を示す、請求項26に記載の物体。
  42. 前記物体は、前記ロボットの損傷に曝される物理的境界又は障害を提示し、前記しるしは、前記物理的境界又は障害を示す、請求項26に記載の物体。
  43. 前記物体は、頻繁な移動に曝される物理的境界又は障害を提示し、前記しるしは、前記物理的境界又は障害を示す、請求項26に記載の物体。
  44. 前記しるしは、IRスペクトル内で見ることができ、前記ロボットは、前記IRスペクトル内で動作可能な画像センサを備えるカメラと、IR光源とを有する、請求項26に記載の物体。
  45. 前記しるしは、RF反射性であり、前記ロボットは、RFスペクトル内で動作可能なセンサを有する、請求項26に記載の物体。
  46. 前記しるしは、超音波波長を放射し、前記ロボットは、超音波スペクトル内で動作可能なセンサを有する、請求項26に記載の物体。
  47. 人間知覚不能な標識付けしるしを含み、
    該標識付けしるしは、物体に適用されるように構成され、前記物体とのロボット相互作用に関する情報を含み、
    前記ロボット相互作用は、少なくとも、前記しるしをマーキングすることによって識別されるタスクのシーケンス中のタスクを含み、
    前記情報は、前記ロボットが前記物体と相互作用するのを助ける相互作用情報を含む
    機械可読マーカ。
  48. 前記情報は、コンピュータデータベースに格納される相互作用情報にアクセスするのを容易にするリンクを含み、前記相互作用情報は、前記ロボットが前記物体と相互作用するのを助ける、請求項47に記載の機械可読マーカ。
  49. ロボットが動作する環境内で物体と関連付けられる複数の人間知覚不能なしるしであって、リンク情報を含む、複数の人間知覚不能なしるしと、
    前記複数の人間知覚不能なしるしと前記リンク情報とを感知するように動作可能な少なくとも1つのセンサを有するロボットと、
    前記ロボットによってアクセス可能なデータベース内に格納される相互作用情報であって、前記リンク情報と関連付けられ、前記物体との前記ロボットの相互作用のための所定の意図されるタスクのシーケンスに関する、相互作用情報とを含み、
    前記リンク情報は、前記ロボットによる前記データベース及び前記データベース内の前記相互作用情報へのアクセスを容易にするように動作可能であり、前記相互作用情報は、少なくとも、意図される相互作用のための所定のタスクのシーケンスに従って前記物体と相互作用するよう、前記ロボットに指令するように動作可能である、
    ロボットシステム。
  50. ロボットが動作する環境内で物体と関連付けられる人間知覚不能なしるしであって、前記物体との前記ロボットの相互作用のための所定の意図されるタスクのシーケンスに関連する相互作用情報を直接的にその上に含む、人間知覚不能なしるしと、
    該人間知覚不能なしるしと前記相互作用情報とを感知するように動作可能な少なくとも1つのセンサとを含み、前記相互作用情報は、少なくとも、相互作用のための所定の意図されるタスクのシーケンスに従って前記物体と相互作用するよう、記ロボットに指令するように動作可能である、
    ロボットシステム。
JP2018244421A 2017-12-31 2018-12-27 ロボット及びロボットデバイスによって見ることができる隠された識別タグ Active JP6901463B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/859,618 US11413755B2 (en) 2017-12-31 2017-12-31 Covert identification tags viewable by robots and robotic devices
US15/859618 2017-12-31

Publications (2)

Publication Number Publication Date
JP2019121393A JP2019121393A (ja) 2019-07-22
JP6901463B2 true JP6901463B2 (ja) 2021-07-14

Family

ID=65036577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244421A Active JP6901463B2 (ja) 2017-12-31 2018-12-27 ロボット及びロボットデバイスによって見ることができる隠された識別タグ

Country Status (4)

Country Link
US (1) US11413755B2 (ja)
EP (2) EP3508939A1 (ja)
JP (1) JP6901463B2 (ja)
KR (1) KR102244975B1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
US11413755B2 (en) 2017-12-31 2022-08-16 Sarcos Corp. Covert identification tags viewable by robots and robotic devices
US11537137B2 (en) * 2019-06-18 2022-12-27 Lg Electronics Inc. Marker for space recognition, method of moving and lining up robot based on space recognition and robot of implementing thereof
JP7248900B2 (ja) * 2019-06-28 2023-03-30 サミー株式会社 弾球遊技機
JP7248899B2 (ja) * 2019-06-28 2023-03-30 サミー株式会社 弾球遊技機
US11192248B2 (en) * 2019-07-11 2021-12-07 Invia Robotics, Inc. Predictive robotic obstacle detection
US11511423B2 (en) 2020-03-31 2022-11-29 Uvd Robots Aps Method of plotting ultraviolet (UV) radiation for disinfection
KR102194426B1 (ko) * 2020-04-29 2020-12-24 주식회사 트위니 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램
EP4175794A1 (en) * 2020-07-04 2023-05-10 Sarcos Corp. Augmented reality system and method for conveying to a human operator information associated with human-imperceptible indicia within an operating environment of a robot
GB2599159A (en) * 2020-09-28 2022-03-30 Mastercard International Inc Location determination
KR102484692B1 (ko) * 2021-02-08 2023-01-04 네이버랩스 주식회사 로봇 이동을 위한 가이드 장치
DE102022109047A1 (de) 2022-04-13 2023-10-19 B-Horizon GmbH Verfahren zum automatischen Anpassen des Verhaltens eines mobilen Benutzerendgeräts, insbesondere zur Messung von Druck, Gas und/oder Feuchtigkeit auf Basis einer Umgebungsfeuchtigkeit
FR3142112A1 (fr) * 2022-11-23 2024-05-24 Enchanted Tools Dispositif de moyen de préhension universel pour robot

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6062907A (ja) 1983-09-17 1985-04-11 甲陽建設工業株式会社 芝刈りロボツト
JPS63116286A (ja) 1986-11-05 1988-05-20 Nippon Shashin Insatsu Kk 透明バ−コ−ド
WO1992020748A1 (en) 1991-05-17 1992-11-26 Dai Nippon Printing Co., Ltd. Invisible ink composition, invisible printed matter, and invisible printing application system
AU2001284520A1 (en) 2000-09-11 2002-03-26 Kunikatsu Takase Mobile body movement control system
US20020158921A1 (en) 2001-04-30 2002-10-31 Silverstein D. Amnon Method and apparatus for virtual oversized display using a small panel display as a movable user interface
WO2004088905A2 (en) 2003-03-27 2004-10-14 Graphic Security Systems Corporation System and method for authenticating objects
CA2469598A1 (en) * 2004-06-01 2005-12-01 Daniel W. Onischuk Computerized voting system
US7407106B2 (en) * 2004-09-28 2008-08-05 Microsoft Corporation Method and system for hiding visible infrared markings
JP4718987B2 (ja) * 2005-12-12 2011-07-06 本田技研工業株式会社 インターフェース装置およびそれを備えた移動ロボット
JP2007233533A (ja) 2006-02-28 2007-09-13 Dainippon Printing Co Ltd Icタグの取付構造
JP4448497B2 (ja) 2006-03-23 2010-04-07 本田技研工業株式会社 移動体の自己位置検出装置および位置検出システム
JP2007319989A (ja) 2006-06-01 2007-12-13 Matsushita Electric Ind Co Ltd ロボットおよびロボットを用いた扉開閉方法
JP2008264901A (ja) 2007-04-17 2008-11-06 Ihi Corp 移動ロボット及びその自動連結方法、並びにパラレルリンク機構の駆動制御方法
JP5037248B2 (ja) 2007-07-17 2012-09-26 株式会社日立製作所 情報収集システムおよび情報収集ロボット
JP2010176203A (ja) * 2009-01-27 2010-08-12 Panasonic Electric Works Co Ltd 自律移動ロボットシステム
US20110196563A1 (en) 2010-02-09 2011-08-11 Carefusion 303, Inc. Autonomous navigation and ink recognition system
JP5842248B2 (ja) * 2010-12-24 2016-01-13 国立研究開発法人産業技術総合研究所 マーカ
US8718837B2 (en) * 2011-01-28 2014-05-06 Intouch Technologies Interfacing with a mobile telepresence robot
US9323250B2 (en) * 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
JP5879061B2 (ja) 2011-07-15 2016-03-08 株式会社日立産機システム 位置・姿勢推定可能な移動体システム及び自律移動ロボットシステム
US20130106833A1 (en) * 2011-10-31 2013-05-02 Wey Fun Method and apparatus for optical tracking of 3d pose using complex markers
US9538892B2 (en) * 2012-10-05 2017-01-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same
JP6257258B2 (ja) 2013-09-30 2018-01-10 株式会社ソニー・インタラクティブエンタテインメント 画像投影システム
WO2015045834A1 (ja) * 2013-09-30 2015-04-02 独立行政法人産業技術総合研究所 マーカ画像処理システム
KR102130190B1 (ko) 2013-12-19 2020-07-03 에이비 엘렉트로룩스 로봇 청소 장치
US9471912B2 (en) * 2014-02-06 2016-10-18 Verto Analytics Oy Behavioral event measurement system and related method
JP2015225014A (ja) 2014-05-29 2015-12-14 日本電信電話株式会社 位置推定装置、位置推定方法、およびプログラム
KR20170044083A (ko) 2014-06-11 2017-04-24 아싸 아블로이 아베 실질적으로 투명한 정렬 마크를 갖는 중간 전사 필름
US9449295B2 (en) * 2014-06-25 2016-09-20 Amazon Technologies, Inc. Tracking transactions by confluences and sequences of RFID signals
SG10201906739TA (en) 2015-01-30 2019-08-27 Univ Singapore Technology & Design Vehicles, vehicle controller systems, methods for controlling a vehicle, and methods for controlling a plurality of vehicles
US9868211B2 (en) 2015-04-09 2018-01-16 Irobot Corporation Restricting movement of a mobile robot
KR101771643B1 (ko) 2015-07-15 2017-08-25 주식회사 마로로봇 테크 자율주행로봇 및 이의 네비게이션 방법
US9916506B1 (en) 2015-07-25 2018-03-13 X Development Llc Invisible fiducial markers on a robot to visualize the robot in augmented reality
US9971572B2 (en) * 2015-10-30 2018-05-15 International Business Machines Corporation GUI-driven symbol management and code generator
CN108885436B (zh) 2016-01-15 2021-12-14 美国iRobot公司 自主监视机器人系统
JP2017204062A (ja) * 2016-05-10 2017-11-16 株式会社ミツバ 自律搬送システム
US10377042B2 (en) 2016-06-17 2019-08-13 Intel Corporation Vision-based robot control system
US20190224852A1 (en) * 2016-10-11 2019-07-25 Lg Electronics Inc. Assistant robot and operation method thereof
US10207411B2 (en) * 2017-02-01 2019-02-19 Toyota Research Institute, Inc. Systems and methods for servicing a vehicle
US20190080170A1 (en) * 2017-09-14 2019-03-14 Intel Corporation Icon-ize identified objects in a known area to add more context to 3d computer vision
US10649460B2 (en) * 2017-11-14 2020-05-12 Facebook, Inc. Interactive robots positionable for optimal interactions
US11413755B2 (en) 2017-12-31 2022-08-16 Sarcos Corp. Covert identification tags viewable by robots and robotic devices
US11878421B2 (en) 2018-04-23 2024-01-23 Purdue Research Foundation Robot navigation and robot-IoT interactive task planning using augmented reality

Also Published As

Publication number Publication date
US20190202057A1 (en) 2019-07-04
JP2019121393A (ja) 2019-07-22
KR102244975B1 (ko) 2021-04-27
US11413755B2 (en) 2022-08-16
EP4124925A1 (en) 2023-02-01
EP3508939A1 (en) 2019-07-10
KR20190082674A (ko) 2019-07-10

Similar Documents

Publication Publication Date Title
JP6901463B2 (ja) ロボット及びロボットデバイスによって見ることができる隠された識別タグ
JP5140725B2 (ja) パッケージ及び商品化システム
JP4372550B2 (ja) インテリジェント棚システム
CN109789560A (zh) 餐具操纵系统和方法
US20190017831A1 (en) Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US20160103500A1 (en) System and method for a human machine interface utilizing near-field quasi-state electrical field sensing technology
US20060195226A1 (en) Mobile robot system and program for controlling the same
US20110082668A1 (en) Systems and methods for establishing an environmental representation
US20060164236A1 (en) The Use of Radio Frenquency Identification for Navigation and Location Tracking
CN108344442B (zh) 一种物体状态检测识别方法、存储介质及系统
JP7507263B2 (ja) 人間が知覚できない印に関連付けられた情報をロボットの動作環境内で人間オペレータに伝達するための拡張現実システムおよび方法
US20220001538A1 (en) Augmented Reality System and Method for Conveying To a Human Operator Information Associated With Human-Imperceptible Indicia within an Operating Environment of a Robot
CN104395003A (zh) 用于物体表面处理的方法
WO2018118873A1 (en) Shopping cart with assistance unit
CN207992783U (zh) 物料柜控制装置及旋转物料柜
TWI324101B (en) Autonomous robot and position system and method thereof
NL2014213B1 (en) Remote controlled electric pallet jack.
CN202815772U (zh) 触控式显示装置
US20200157846A1 (en) Mechatronic Lock System
US11734525B1 (en) Voice programmable automatic identification and data capture system with reduced physical tags
WO2012177751A1 (en) Method and apparatus for controlling equipment activation
TWM579915U (zh) Trunk structure
DE29917257U1 (de) Aufgeklebtes Warenetikett mit EAN-Nr. in Klarschrift/Barcode und integriertem Folientransponder zur Produktidentifikation
WO2005015467A1 (ja) 生活支援システム
Mastan DESIGN AND DEVELOPMENT OF A MOBILE ROBOT FOR HEALTH CARE AND HAND SANITIZATION TO COMBAT CORONA VIRUS

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210617

R150 Certificate of patent or registration of utility model

Ref document number: 6901463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250