JP6392972B2 - 演算システムによって実施される方法、持続性コンピュータ可読媒体及びシステム - Google Patents

演算システムによって実施される方法、持続性コンピュータ可読媒体及びシステム Download PDF

Info

Publication number
JP6392972B2
JP6392972B2 JP2017501388A JP2017501388A JP6392972B2 JP 6392972 B2 JP6392972 B2 JP 6392972B2 JP 2017501388 A JP2017501388 A JP 2017501388A JP 2017501388 A JP2017501388 A JP 2017501388A JP 6392972 B2 JP6392972 B2 JP 6392972B2
Authority
JP
Japan
Prior art keywords
physical
robotic device
estimated
space
trajectories
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017501388A
Other languages
English (en)
Other versions
JP2017523054A (ja
Inventor
ジェイ. カフナー,ジュニア,ジェイムス
ジェイ. カフナー,ジュニア,ジェイムス
エルヴィング アンダーソン−スプレッカー,ピーター
エルヴィング アンダーソン−スプレッカー,ピーター
Original Assignee
エックス デベロップメント エルエルシー
エックス デベロップメント エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エックス デベロップメント エルエルシー, エックス デベロップメント エルエルシー filed Critical エックス デベロップメント エルエルシー
Publication of JP2017523054A publication Critical patent/JP2017523054A/ja
Application granted granted Critical
Publication of JP6392972B2 publication Critical patent/JP6392972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40196Projecting light on floor to delimit danger zone around robot
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40202Human robot coexistence
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40203Detect position of operator, create non material barrier to protect operator
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/49Protective device

Description

[0001] 本明細書中に指摘のない限り、本章に記載の内容は、本出願の特許請求の範囲に対する先行技術ではなく、また本章に含まれることを理由に先行技術であると認められるものでない。
[0002] ロボットアーム又はその他のロボット装置等のロボットシステムは、種々のサイズの対象の持ち上げ、移動、又は相互作用を含む適用のために使用され得る。このようなロボット装置は、例えば、工場及びその他の産業環境において見出されることもある。これらのロボット装置は、非対応型ロボット装置−多くの場合、高トルクであり、自身の周囲の環境(例えば、移動しているロボット装置の付近を歩行する人)をほとんど又は全く考慮せずに物理的行為を実施するように構成されたロボット装置であることもある。或いはこれらのロボット装置は、対応型ロボット装置−自身の周囲の環境を考慮し、衝突回避システムを採用してもよく、且つ/又は、付近の対象又は人とのさらなる衝突及び損傷の可能性を低減するために、衝突の検出に応じて特別の行為を採ってもよいロボット装置であることもある。
[0003] 本出願は、ロボット装置用仮想セーフティケージに関連する実施形態を開示する。一態様において、本出願は、方法を説明する。この方法は、ロボット装置が占有する物理的環境においてロボット装置が物理的行為を実施するように要請する指示を受信することを含んでもよい。この方法はまた、指示の受信に応じて、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道を判定することを含んでもよく、1つ以上の推定軌道は、ロボット装置が物理的行為を実施する際に1つ以上の物理的構成要素が移動すると推定される1つ以上の軌道であり、1つ以上の推定軌道は、1つ以上の物理的構成要素の1つ以上のパラメータに基づく。この方法は、ロボット装置が物理的行為を実施中に物理的環境において占有すると推定される空間の仮想表現を判定することをさらに含んでもよく、空間は、ロボット装置の1つ以上の物理的空間の1つ以上の推定軌道に基づいて判定される。この方法は、物理的環境に空間の位置の表示を提供することをさらに含んでもよい。
[0004] 他の態様において、本出願は、演算装置によって実行されると演算装置に以下の動作を実施させる指示を記憶する持続性コンピュータ可読媒体を説明する。以下の動作とは、ロボット装置が占有する物理的環境においてロボット装置が物理的行為を実施するように要請する指示を受信することを含んでもよい。この動作はまた、指示の受信に応じて、ロボット装置の1つ以上の構成要素の1つ以上の推定軌道を判定することを含んでもよく、1つ以上の推定軌道は、ロボット装置が物理的行為を実施する際に1つ以上の物理的構成要素が移動すると推定される1つ以上の軌道であり、1つ以上の推定軌道は、1つ以上の物理的構成要素の1つ以上のパラメータに基づく。この方法は、ロボット装置が物理的行為の実施中、物理的環境において占有すると推定される空間の仮想表現を判定することをさらに含んでもよく、空間はロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道に基づいて判定される。この方法は、物理的環境に空間の位置の表示を提供することをさらに含んでもよい。
[0005] さらに他の態様において、本出願は、システムを説明する。このシステムは、ロボット装置と、1つ以上の光学装置と、無線通信インタフェースと、少なくとも1つのプロセッサと、少なくとも1つのプロセッサによって実行可能であり、システムに動作を実施させる指示を備えたデータストレージとを含んでもよい。この動作は、ロボット装置が占有する物理的環境においてロボット装置が物理的動作を実施するように要請する指示を受信することを含んでもよい。この機能はまた、指示の受信に応じて、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道を判定することを含んでもよく、1つ以上の推定軌道は、ロボット装置が物理的行為を実施する際に1つ以上の物理的構成要素が移動すると推定される1つ以上の軌道であり、1つ以上の推定軌道は、1つ以上の物理的構成要素の1つ以上のパラメータに基づく。この動作は、ロボット装置が物理的行為の実施中、物理的環境において占有すると推定される空間の仮想表現を判定することをさらに含んでもよく、この空間は、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道に基づいて判定される。この動作は、無線通信インタフェースと1つ以上の光学装置とのうちの1つ以上によって、物理的環境に空間の位置の表示を提供することもさらに含んでよい。
[0006] さらに他の態様において、ロボット装置が占有する物理的環境においてロボット装置が物理的動作を実施するように要請する指示を受信する手段を含む装置を提供する。このシステムはまた、指示の受信に応じて、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道を判定する手段を含んでもよく、1つ以上の推定軌道は、ロボット装置が物理的行為を実施する際に1つ以上の物理的構成要素が移動すると推定される1つ以上の軌道であり、1つ以上の推定軌道は、1つ以上の物理的構成要素の1つ以上のパラメータに基づく。このシステムは、ロボット装置が物理的行為の実施中、物理的環境において占有すると推定される空間の仮想表現を判定する手段をさらに含んでもよく、この空間は、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道に基づいて判定される。このシステムは、物理的環境に空間の位置の表示を提供する手段もさらに含んでよい。
[0007] 以上の概要は、単なる例示であり、いかなる方法によっても限定を意図するものでない。上述に例示の態様、実施形態、及び特徴に加え、図面及び以下の説明を参照することにより、さらなる態様、実施形態、及び特徴が明らかとなるであろう。
[0008] 一例としての実施形態に係る可動装置に搭載されたロボットアームを示す。 [0009] 一例としての実施形態に係るロボット装置を示す機能ブロック図である。 [0010] 一例としての実施形態に係るロボット装置が動作してもよい一例としてのシステムを示すブロック図である。 [0011] 本明細書に記載の少なくともいくつかの実施形態に係る一例としての方法のフローチャートである。 [0012] 本明細書に記載の少なくともいくつかの実施形態に係る実施中の一例としての方法の一例としての動作を示す。 [0012] 本明細書に記載の少なくともいくつかの実施形態に係る実施中の一例としての方法の一例としての動作を示す。 [0013] 本明細書に記載の少なくともいくつかの実施形態に係る実施中の一例としての方法の一例としての動作を示す。 [0013] 本明細書に記載の少なくともいくつかの実施形態に係る実施中の一例としての方法の一例としての動作を示す。 [0014] 本明細書に記載の少なくともいくつかの実施形態に係る実施中の一例としての方法の一例としての動作を示す。
[0015] ここで一例としての方法及びシステムを説明する。本明細書に記載の一例としての実施形態又は特徴はいずれも、他の実施形態又は特徴より必ずしも好適又は好都合であると解釈されなくてもよい。本明細書に記載の一例としての実施形態は、限定を意味するものでない。本開示のシステム及び方法の特定の態様は、幅広い種々の異なる構成で配置及び組み合わせることができることが容易に理解され、それらはすべてをここで考慮する。
[0016] さらに、図面に示した特定の配置は限定とみなされてはならない。他の実施形態には、与えられた図面に示される各要素以上又は以下の要素が含まれてもよいことが理解されなければならない。さらに、図示の要素の一部は、結合又は省略されてもよい。さらに、一例としての実施形態は、図面に示されない要素を含んでもよい。
[0017] 以下の説明において、「センサ」、「カメラ」又は「光学センサ」という用語を相互交換可能に使用することもあり、3D画像感知、3D深さ感知、2D画像感知、2D深さ感知(すなわち、2D画像と対応深さのマップ)、及び/又は、装置の物理的環境に対するその他の種別の感知を実施するように構成された1つ又は複数の装置(単独配置又はステレオ配置)を言及することもある。
[0018] さらに、以下の説明において、「ロボット装置」及び「ロボット操作部」という用語を、箱等の物理的対象を把持、移動、又は操作するように構成されるか、又は、人、その他のロボット装置、又はその他の種別の物理的対象等、与えられた物理的環境における物理的対象との相互作用を含んでもよいその他の行為を実施するように構成されたロボットアーム等の1つ以上のロボット装置を説明するために、相互交換可能に使用されることもある。さらに、「ロボット操作部」という用語も、可動装置に搭載されたロボットアーム等、複数のロボット装置の組み合わせをまとめて説明するために使用することがある。ロボット操作部は、これらの構成に限定されなくてもよいことを理解しなければならない。
[0019] 検討した通り、ロボット装置によっては対応型ロボット装置であってもよく、或いは非対応型であってもよい。人への傷害のリスクを低減するために、いずれの種別のロボット装置も、人から隔離されてもよい環境において動作してもよい。特に、このような隔離環境には、ロボット装置によって到達可能な空間の体積が含まれてもよく、この体積は、本明細書において「静的セーフティケージ」と称されてもよいものによって包囲される。
[0020] 従って、ロボット装置は、その未来の軌道と、付近の移動中対象及び人の軌道とを連続的に推定することが望ましく、特定の時間制限内にロボット装置の到達可能空間の体積を包囲する「仮想セーフティケージ」を動的に判定/調整することが望ましい。例えば、いくつかの実施形態において、ロボット装置(又は、ロボット装置に関連付けられた演算システム)は、ロボットアームを1箇所から他へ移動させるなど、ロボット装置が占有している物理的環境においてロボット装置が物理的行為を実施するように要請する指示を受信してもよい。その後、ロボット装置は、この指示の受信に応じて、物理的行為の実施に関与するロボット装置の1つ以上の物理的構成要素の1つ以上のパラメータに基づき、物理的行為の1つ以上の推定軌道を判定してもよい。すなわち、1つ以上の推定軌道は、ロボット装置が物理的行為を実施する際に1つ以上の物理的構成要素が移動すると推定されてもよい軌道であってもよい。例では、このような推定軌道は、ロボット装置が物理的行為を実施するために推定軌道に沿って移動する各確率に対応してもよい。例えば、物理的構成要素のパラメータに発生する可能性のある不確実性(例えば、ロボット装置の接合部が摩耗するか、又は他の接合部に比べて信頼性に劣ることがある)により、各々、不確実性の範囲を考慮に入れ、且つ、関連付けられた信頼性スコアを有する、可能な軌道の範囲を推定することができる。
[0021] さらに、ロボット装置は、その後、判定された1つ以上の推定軌道に基づき、ロボット装置が物理的行為の実施中に物理的環境において占有すると推定される空間の仮想表現(すなわち、仮想セーフティケージ)を判定することができる。場合によっては、この仮想表現は、ロボット装置が付近の移動中対象又は人を検出したことに応じて調整することができる。例えば、ロボット装置は、種々の速度及び軌道の人又はその他の対象について過去に判定した動きのデータベースにアクセスしてもよく、このデータベースを使用して、付近の移動中対象又は人の未来の軌道を予測してもよい。対象/人の予測軌道が与えられると、ロボット装置は、その軌道を自らの推定軌道と比較し、以降の所定期間内にロボット装置が占有するであろう進路及び空間の体積が、どの程度、対象/人が同一の期間占有するであろう進路及び体積と交差するかを判定してもよい。ロボット装置は、その後、2つの進路/体積との間の潜在的交差(又はその潜在的不足分)に基づき、その仮想セーフティケージを調整(例えば、拡大又は縮小)することができる。
[0022] さらに、ロボット装置は、判定されたセーフティケージの視覚的及び/又は聴覚的表示等、物理的環境に空間の位置の表示を提供することも望ましいことがある。例えば、この表示は、ロボット装置の周辺環境に投影された色付き及び/又は点滅する警告灯、聴覚的アラーム、又はロボット装置の周囲の床上に投影された仮想セーフティケージを表す2D画像の形を採ってもよい。これらの表示はまた、モバイルフォン、タブレット、ウェアラブル演算装置、及びその他の演算装置等、遠隔のクライアント装置にも提供することができる。さらに、このようなクライアント演算装置は、3Dモデルを表示するように構成されてもよく、このようにして、ロボット装置は、クライアント演算装置に表示するための仮想表現の3Dモデル/マップを提供してもよい。
[0023] 例では、ロボット装置の仮想セーフティケージの判定及び維持は、空間保全の促進等、多数の産業上及びビジネス上の利点を提供することがある。例えば、ロボット装置及び人は、限られた空間内でより効率的に、恐らくは協働的に、存在して作業を行うことができることがある。与えられた瞬間に、所定期間、ロボット装置の到達可能な空間の正確な表現を演算することによって(このような空間が複雑な形状である場合であっても)、人及び/又はその他のロボット装置が互いへの干渉を回避することができるように、或いは共有する物理的環境を効率的に使用できるように、これらの表現を人及び/又はその他のロボット装置に提供することができる。その他の利点も可能である。
[0024] 以下、種々の実施形態の詳細について参照し、その例を添付の図面に示す。以下の詳細な説明において、本開示及び説明の実施形態の完全な理解を提供するために、多数の具体的な詳細を述べる。しかしながら、本開示は、これらの具体的詳細を伴うことなく実施されてもよい。他の例において、実施形態の態様を不要に曖昧にしないように、周知の方法、手順、構成要素、及び回路については詳細に説明しない。
[0025] 種々の実施形態によると、ロボット装置は、ホロノミックカート(例えば、カートをあらゆる方向に移動させるホイールを備えたカート)等、可動装置に搭載されたロボット操作部を備えてもよい。図1は、このようなロボット装置100を描いており、ロボット操作部を含む一例としてのホロノミックカートを含む。すなわち、いくつかの実施形態において、可動ホロノミックカート102は、カートに搭載されたロボットアーム104を含んでもよい。ロボットアーム104は、環境内の対象を把持するか、或いはこれと相互作用するための把持構成要素106を含んでもよい。いくつかの実施形態において、把持構成要素106は、強力磁化グリッパ、ハンド状グリッパ、吸引グリッパ、及び/又は他の種別のグリッパであってもよい。カートは、1つ以上のホイール108を含んでもよく、2つの自由程度で動作するホロノミックホイールであってもよい。他の例において、ロボット装置100は、その他のロボット操作部等、他の構成要素を含んでもよい。さらに他の例において、ロボット操作部は、異なる種別の可動装置に搭載されるか、又は可動ベースに全く搭載されなくてもよい。例えば、ロボット操作部は、工場設定又はその他の設定内の固定位置に搭載されてもよい。
[0026] 図1Bは、図1Aのロボット装置100等、一例としての実施形態に係るロボット装置を示す機能ブロック図である。ロボット装置100は、機械的システム120、感知システム130、制御システム140、及び電源150等、種々のサブシステムを含むことができる。ロボット装置100は、これより多い又は少ないサブシステムを含んでもよく、各サブシステムは、多数の要素を含むことができる。さらに、ロボット装置100のサブシステム及び要素のうちの1つ以上は、ともに相互接続又は一体化することができる。従って、ロボット装置100について記載の動作のうちの1つ以上は、追加の機能的構成要素又は物理的構成要素に分割されてもよく、より少ない数の機能的構成要素又は物理的構成要素に結合されてもよい。さらにいくつかの例において、追加の機能的構成要素及び/又は物理的構成要素は、図1A及び図1Bに示した例に追加されてもよい。さらなる例において、ロボット装置100に含まれるシステムのうちの1つ以上は、ロボット装置から遠隔配置されてもよい。
[0027] 機械的システム120は、ロボットアーム104、グリッパ106、(可動又はホロノミック)カート102、及び1つ以上のホイール108を含む、図1Aを参照して上述した構成要素を含んでもよい。機械的システム120は、ロボット装置100に含まれ、且つ、ともに複数の剛性装置を連結して、種々の接合部、ホイール等、ロボット装置の種々の構成要素を形成するように構成された1つ以上のモータ(図示せず)を追加で含んでもよい。実際、ロボット装置100が特定の行為を実施する旨の指示を受信するとき、各モータは、特定の行為を作り出す各行為を実施する旨の相対的指示を受信するように構成されてもよく、且つ/又は、複数のモータは、行為を実施する同一の指示を受信するように構成されてもよい。従って、各モータは、そのモータに関連付けられた各動作パラメータを有し、その他の可能な動作パラメータの中でも、モータが耐え得る可能なモータトルクの範囲等、モータの特定行為の性能を促進してもよい。さらに、これらのモータは、電力によって動力供給される電気モータであってもよく、又は気体ベース燃料又はソーラパワー等、多数の異なるエネルギー源で動力供給されてもよい。さらに、モータは、電源130から動力を受けるように構成されてもよい。電源130は、ロボット装置100の種々の構成要素に動力を供給してもよく、例えば、再充電可能なリチウムイオン電池又は鉛電池を代表とすることができる。一例としての実施形態において、このようなバッテリの1つ以上のバンクは、電力を提供するように構成することができる。その他の電源の材料及び種別も可能である。
[0028] 感知システム140は、前方ナビゲーションセンサ110及び後方ナビゲーションセンサ112等、ロボット装置100に取り付けられる1つ以上のセンサを使用してもよい。感知システム140はまた、ロボットアームが移動する際にロボットアームの物理的環境について情報を感知してもよいロボットアーム104上に配置されるセンサ等、ロボット装置100の他の箇所に取り付けられる1つ以上の他のセンサ(図示せず)を使用してもよい。前方及び後方ナビゲーションセンサ110、112及びその他のセンサは、直前に記載の方法と同様に、且つ/又は、本明細書に記載の他の任意の方法で機能してもよい。
[0029] 感知システム140は、環境と効率的に相互作用する制御システム150(例えば、コンピュータ走行動作計画ソフトウェア)によって使用可能なロボット装置100の物理的環境についての情報を判定してもよい。例では、感知システム140によって得られた情報は、環境のデジタルモデルを構築するために一体化されてもよい。制御システム150は、この情報を使用して、ロボット装置100の1つ以上の構成要素に特定行為を実施する位置へのナビゲートをさせてもよい。追加の例において、環境をモデル化するために3Dセンサから抽出された情報等、ロボット装置100の物理的環境についての情報を使用して、環境における他の物理的対象との衝突を回避するか、或いはロボット装置のナビゲーションを促進するように、ロボット装置を操作してもよい。さらに、このような情報を環境再構築に使用してもよい。環境再構築は、環境を感知し、簡略化された数学的3D幾何学形態(例えば、平面、円筒、円錐、半球等)の簡略化幾何学モデルにその情報を抽出することによって実施されてもよい。いくつかの例において、このような技術により、動き計画をより容易にし、且つ/又は、モデル違反(例えば、衝突)を検出し易くしてもよい。
[0030] さらに、制御システム150は、その他の情報を使用して、ロボット装置100によって実施可能なナビゲーション及びその他のタスクを促進してもよい。例えば、制御システム150は、機械的システム120からの情報(例えば、モータの動作パラメータ)を感知システム140及び/又は表示システム160からの情報と組み合わせることにより、任意の特定時点でロボット装置の100の未来の移動の仮想表現を判定してもよい。例では、表示システム160は、その後、仮想表現に関連付けられた表示をロボット装置100の周辺環境に提供するように構成されてもよい。従って、表示システム160は、1つ以上のカメラ/プロジェクタ(図1Aに示す光学装置116等)、スピーカ、振動生成器(すなわち、振動を生じる装置)、及び/又は、ロボット装置が占有する物理的環境に空間の表示を提供するように構成されたその他の装置を含んでもよい。例えば、ロボット装置100の軌道が環境内の他の移動中対象の軌道に干渉すると判定されると、光学装置116は、警告灯を点滅するように構成されてもよい。さらなる例において、スピーカは、警告アラームを提供するように構成されてもよい。さらなる例において、振動生成器は、ロボット装置及び/又はロボット装置が占有する物理的環境の一部を振動させるように構成されてもよい。表示システム160は、その他の動作も実施するように構成されてもよい。
[0031] ロボット装置100の動作の多く又はすべては、制御システム150によって制御することができる。制御システム150は、メモリ156等、持続性コンピュータ可読媒体に記憶された指示154を実行する少なくとも1つのプロセッサ152(少なくとも1つのマイクロプロセッサを含み得る)を含んでもよい。制御システム150はまた、分散された状態で、ロボット装置100の個々の構成要素又はサブシステムを制御するように機能してもよい複数の演算装置の代表であってもよい。制御システム150は、ロボット装置100の一部として配置されてもよく、又はロボット装置と遠隔通信してもよい。
[0032] いくつかの実施形態において、メモリ146は、プロセッサ142によって実行可能な指示144(例えば、プログラム論理)を含み、図1A及び図1Bとの関連で上述したものを含む、ロボット装置100の種々の動作を実行してもよい。メモリ146は、機械的システム120、センサシステム130、及び/又は制御システム140のうちの1つ以上に対するデータ送信、データ受信、相互作用、及び/又は制御を行うための指示を含む、追加指示も含んでよい。
[0033] 図2は、一例としての実施形態に係るロボット装置が実施してもよい一例としてのシステム200を示すブロック図である。図示の通り、システム200は、図1A及び図1Bを参照して説明したロボット装置100、第2ロボット装置210、遠隔センサ及び/又はプロジェクタ(又はその他同様の装置)220、遠隔演算装置230、及び中央制御システム240を含んでもよい。一例としての実施形態において、システム200の各実体は、各通信リンク250(例えば、有線接続又は無線接続)を使用して制御システム240と通信する。制御システム240は、図1Bに説明のロボット装置100の局所制御システム150と同様に動作する制御システムであってもよい。制御システム240は、システム200の各実体間のデータ通信の促進に関連した動作等、その他の動作も有してよい。いくつかの実施形態において、システム200の各実体は、各々、各制御システムを有してもよい。
[0034] 通信リンク250は、無線接続として図示されているが、有線接続が使用されてもよい。例えば、通信リンク250の1つ以上は、ユニバーサルシリアルバス等の有線直列バス又は並列バスであってもよい。有線接続は、専有接続であってもよい。通信リンク250は、その他の可能性の中でも、例えば、Bluetooth(登録商標)無線技術、IEEE802.11(任意のIEEE802.11改定を含む)に記載の通信プロトコル、セルラー技術(GSM、CDMA、UMTS、EV−DO、WiMAX、又はLTE等)、Zigbee(登録商標)技術を使用した無線接続であってもよい。例では、遠隔演算装置230は、インターネットを介してアクセス可能であってもよく、特定のウェブサービス(例えば、ソーシャルネットワーキング、写真共有、アドレスブック等)に関連付けられた演算クラスタを含んでもよい。
[0035] さらに、図示の通り、システム200の1つ以上の実体は、プロセッサ、送信機、受信機、アンテナ等の通信リンク250を可能にするハードウェアを含んでもよい。図示はされていないが、システム200の実体のうちの1つ以上は、互いに直接通信してもよい(例えば、ロボット装置100は、制御システム240を介さず、遠隔演算装置230及び遠隔センサ/プロジェクタ220と直接通信してもよい)ことが理解されなければならない。
[0036] 第2ロボット装置210は、図1A及び図1Bを参照して検討したロボット装置100と同様に、又はこれと異なるように構成されるロボット装置であってもよい。第2ロボット装置210は、ロボット操作部又は他の種別のロボット装置の形を採ってもよい。例では、第2ロボット装置210は、その他の可能性の中でも2つのロボット装置の環境と関連付けられたデータ、2つのロボット装置の未来の軌道に関連付けられたデータ、及び診断データ等のデータをロボット装置100と(上述の通り、恐らくは直接、又は制御システム240を介して)交換してもよい。
[0037] いくつかの例において、第2ロボット装置210は、ロボット装置100に近接して、又はロボット装置100から近距離内の他の箇所に配置されてもよい。他の例において、第2ロボット装置210は、ロボット装置100及び/又はシステム200のその他の実体とは異なる環境に配置されてもよい。例では、2つのロボット装置間で通信されたデータ及びシステム200の実体間で通信されたその他のデータは、その他の可能性の中でも、衝突回避、軌道計画、及び/又は各ロボット装置の仮想セーフティケージの判定/投影に関連付けられてもよい。
[0038] この第2ロボット装置210は、制御システム240と通信していてもよい、且つ/又は、システム200の1つ以上の実体と直接通信していてもよい他のロボット装置の代表であってもよいことを理解しなければならない。
[0039] 遠隔センサ/プロジェクタ220は、システム200の実体のうちの1つ以上(すなわち、ロボット装置100、210)から遠隔配置され、本明細書に記載の動作を実施するように動作可能な任意の種別のセンサ又はプロジェクタであってもよい。例えば、本明細書に記載の方法によると、遠隔センサ/プロジェクタ220は、ロボット装置の一部として配置された1つ以上のセンサ又はプロジェクタとともに、ロボット装置の環境に関連付けられたデータを回収し、且つ/又は、ロボット装置の環境に情報を提供し、且つ/又は、遠隔演算装置230に情報を提供するように構成されてもよい。例として、ロボット装置100及び第2ロボット装置210がそれらの各仮想セーフティケージの更新済み境界又はその他の特性を(制御システム240の補助により)判定した後、1つ以上の遠隔プロジェクタ220及び/又はロボット装置付近の1つ以上のプロジェクタは、3Dホログラム又は2D正投影等の仮想セーフティケージの仮想表現を環境に投影してもよい。追加又は代替として、1つ以上の遠隔スピーカ、クラクション等が、仮想セーフティケージに関連付けられた音声表現を提供してもよい。本例に従って、制御システム240は、遠隔演算システム230に視覚的表現及び聴覚的表現のうちの1つ以上も提供してよい。例えば、遠隔演算装置230は、遠隔演算装置のユーザに、仮想セーフティケージの仮想表現を表示してもよい。その他の例も可能である。
[0040] 遠隔演算装置230は、データを受信し、ノート型コンピュータ、モバイルフォン、ウェアラブル演算装置(例えば、ヘッドマウントディスプレイ又はリストマウントディスプレイ)、タブレット演算装置等、データに対応するか、又はこれに関連付けられた情報を表示することができる任意の種別の装置であってもよい。遠隔演算装置230は、プロセッサ及びディスプレイを備えたディスプレイシステムを含んでもよい。ディスプレイは、例えば、光学シースルーディスプレイ、光学シーアラウンドディスプレイ、又はビデオシースルーディスプレイであってもよい。プロセッサは、システム240及び/又はシステム200のその他の実体からデータを受信し、ディスプレイ上への表示のためにデータを構成してもよい。プロセッサは、例えば、マイクロプロセッサ又はデジタルシグナルプロセッサ等、任意の種別のプロセッサであってもよい。
[0041] 遠隔演算装置230は、プロセッサに連結されたメモリ等、オンボードデータストレージをさらに含んでもよい。メモリは、例えば、プロセッサによってアクセス及び実行可能なソフトウェアを記憶してもよい。
[0042] さらに、遠隔演算装置230は、制御システム240等、システム200の1つ以上の実体の代理として動作を実施するように構成されてもよい。例えば、遠隔演算装置230は、ロボット装置100からデータを受信し、ロボット装置100の代理で、且つ/又は、制御システム240の代理で、特定の処理動作を実施することにより、ロボット装置の仮想セーフティケージを判定してもよい。遠隔演算装置230は、その後、結果としてのデータを、システム200内の他の実体に送り返してもよい。この機能を「クラウド」演算と称することもある。
[0043] いくつかの実施形態において、ロボット装置は、ロボット装置が他のロボット装置と経験を共有して、学習した挙動を実施できるようにするために、制御システム240又はサーバ等の他の遠隔演算装置(図示せず)にデータをアップロードしてもよい。例えば、ロボット装置100は、進路を横切り、障害物に遭遇することもあり、障害物の位置を第2ロボット装置210等の他のロボット装置に(例えば、クラウドを通じて)通知することができる。他の例として、ロボット装置100は、遠隔センサ220を介して移動中対象についての情報を取得し、移動中対象の未来の軌道及び速度を推定してもよい。ロボット装置100は、その後、その情報を制御システム240及び/又は第2ロボット装置210と共有してもよい。そして第2ロボット装置210は、移動中対象の未来の軌道及び速度に応じて、特定の行為を採ってもよい。まとめると、ロボット装置100及び210は、より迅速な適合を可能にするために、収集されたデータをシェアするように構成され、各ロボットが前回のロボットが学習した経験の上に構築できるようにしてもよい。さらに、本明細書に記載の種々の実施形態によると、システム200の各実体は、略リアルタイムのデータにアクセスしてもよい。
[0044] 他の例では、システム200は、図2に示す実体のうちの1つに一体化されたセーフティシステム(図示せず)を含んでもよい。セーフティシステムは、本明細書に記載の動作を実施するか、又は仮想セーフティケージに応じた他の動作を実施するように構成されてもよい。
[0045] 図3は、本明細書に記載の少なくともいくつかの実施形態に係る、環境とのロボットの相互作用の検出、再構築、及び促進のための一例としての方法を示すフローチャートである。図3に示す方法300は、例えば、図1A〜図2に示すロボット装置及びシステムとともに使用可能であるか、又は制御システム150及び240のうちの1つ以上等、図1A〜図2のいずれかの構成要素の組み合わせによって実施されてもよい方法の一実施形態を示している。また、このような方法の実施形態は、図4A、4B、5A、5B、及び6に示すシステム及び態様に従って実施することができる。方法300は、ブロック302〜308の1つ以上によって示される1つ以上の動作又は行為を含んでもよい。ブロックを連続的順序で示したが、これらのブロックは、場合によっては、並行して実施されてもよく、且つ/又は、本明細書に記載のものとは異なる順に実施されてもよい。また、種々のブロックは、所望の実装に基づき、より少ない数のブロックに組み合わせられてもよく、追加ブロックに分割されてもよく、且つ/又は削除されてもよい。
[0046] また、方法300並びに本明細書に開示のその他のプロセス及び方法について、フローチャートは、本実施形態の1つの可能な実装の機能及び動作を示している。この点、各ブロックは、プロセス中の特定論理的動作又はステップを実施するためにプロセッサによって実行可能な1つ以上の指示を含む、モジュール、セグメント、又はプログラムコードの一部を表してもよい。プログラムコードは、例えば、ディスク又はハードドライブを含む記憶装置等、任意の種別のコンピュータ可読媒体に記憶されてもよい。コンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、及びランダムアクセスメモリ(RAM)のように短期間データを記憶するコンピュータ可読媒体等の持続性コンピュータ可読媒体を含んでもよい。コンピュータ可読媒体はまた、例えば、読取専用メモリ(ROM)、光学又は磁気ディスク、及びコンパクトディスク読取専用メモリ(CD−ROM)のような2次的又は永続的な長期ストレージ等の持続性媒体も含んでよい。コンピュータ可読媒体はまた、その他任意の揮発性又は不揮発性記憶システムであってもよい。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、有形記憶装置、又はその他の製品と考えられてもよい。
[0047] また、方法300並びに本明細書に開示のその他のプロセス及び方法について、図3の各ブロックは、プロセスの特定論理的動作を実施するために配線された回路を表してもよい。
[0048] 方法300の動作は、演算装置によって完全に実施されてもよく、又は複数の演算装置及び/又はサーバに分散されてもよい。いくつかの例において、演算装置は、演算装置に連結されたセンサ又はその他の構成要素から情報を受信してもよく、演算装置がサーバである場合、情報は、情報を収集する他の装置から受信することができる。例えば、サーバがロボット装置及び移動中対象の蓄積所定軌道及び/又は方法300の性能を促進してもよいその他の情報のデータベースを含んでもよい場合、演算装置はさらに、物理的対象の寸法を判定するためにサーバと通信することができる。
[0049] 方法300は、ブロック302において、ロボット装置が占有する物理的環境においてロボット装置が物理的行為を実施するように要請する指示を受信することを含む。例では、この指示は、実行時、ロボット装置に一連の行為を実施させてもよい1つ以上のサブ指示を備えてもよい。この指示はまた、実行時、ロボット装置の複数の構成要素に各行為を実施させてもよい。例えば、この指示は、ロボット装置が占有する物理的環境においてロボット装置が物理的対象を移動するための指示であってもよい。その場合、指示の実行により、ロボット装置はロボット装置の現在の位置から物理的対象への近接位置まで移動する。そして、移動中、又はその後に物理的対象への近接位置において静止中、ロボット装置は、恐らくは物理的対象の以前の位置から再び離れつつ、ロボットアーム又はその他のロボット操作部を使用して物理的対象を把持及び移動してもよい。その他の例としての指示も可能である。
[0050] 指示は、ロボット自体で、若しくはロボット装置に連結されるか、又はロボット装置から遠隔配置されてロボット装置を制御するように構成された制御システム又はその他の演算装置で受信されてもよい。さらに、方法300の動作のうちの1つ以上は、指示受信の実際の実行前、実行中、又は実行後に実施されてもよいことを理解しなければならない。
[0051] 方法300は、ブロック304において、指示の受信に応じて、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道を(例えば、1つ以上のプロセッサによって)判定することを備え、1つ以上の推定軌道は、ロボット装置が物理的行為を実施する際に1つ以上の物理的構成要素が移動すると推定される1つ以上の軌道であり、1つ以上の推定軌道は、1つ以上の物理的構成要素の1つ以上のパラメータに基づく。物理的行為の実施に関与するロボット装置の1つ以上の物理的構成要素の1つ以上のパラメータには、その他の可能性の中でも、1つ以上の物理的構成要素の最大トルク、1つ以上の物理的構成要素の最大動力出力、1つ以上の物理的構成要素の接合角度、2つ以上の物理的構成要素間の距離、1つ以上の物理的構成要素の有効質量(すなわち、中でも、1つ以上の物理的構成要素がどの程度多いのか、且つその推進力、1つ以上の物理的構成要素の動き範囲)が含まれてもよい。
[0052] 例では、特定の物理的構成要素の特定のパラメータは、物理的構成要素の他のパラメータに優先されてもよい。他の例では、特定の動き範囲を備えた物理的構成要素が、ロボット装置の他の物理的構成要素に優先されてもよい。他の例では、特定の物理的構成要素の特定のパラメータは、同一又はその他の物理的構成要素の他のパラメータに影響を及ぼしてもよく、従って、構成要素間の関係が、1つ以上の推定軌道を判定する際に考慮されてもよい(すなわち、1つの接合部が特定の質量を有してもよく、異なる質量の他の接合部に連結されてもよく、物理的行為の実施時、これが接合部の組み合わせの移動に影響を及ぼしてもよい)。
[0053] 例では、演算装置は、1つ以上の種別のモデル推測制御(例えば、後退水平制御)、又はその他の種別のプロセス制御を採用して、1つ以上の推定軌道を判定し、方法300のその他の動作を実施してもよい。例えば、物理的構成要素のうちの1つ以上の現在の加速度、出力、推進力等、ロボット装置と物理的構成要素の現在の状態が与えられると、演算装置は、ロボット装置及びその構成要素が特定期間内にあってもよいという複数の状態を判定してもよい。従って、演算装置は、指示の実行後の所定期間、指示の受信後、その他の可能な参照時点後等、所定の期間内に物理的構成要素が従うと推定される物理的構成要素の1つ以上の推定軌道を判定してもよい。
[0054] 例では、演算装置は、過去の状態、過去の移動、1つ以上の推定軌道判定時、ロボット装置及び/又はその他のロボット装置に関連付けられた、過去に判定されたその他の情報も考慮に入れてよい。
[0055] 演算装置はまた、不確実性が判定された1つ以上の推定軌道にノイズを生じてしまう場合、ロボット装置の1つ以上の構成要素に関連付けられた不確実性を解析してもよい。このように、1つ以上の推定軌道を解析することは、ロボット装置の1つ以上の物理的構成要素に関連付けられた不確実性に基づいて1つ以上の推定軌道を判定することを含んでもよい。さらに、1つ以上の推定軌道を判定することは、複数の推定軌道を判定することと、その判定された複数の推定軌道に沿って移動するロボット装置に各確率(すなわち、信頼性スコア又はその他の不確実性測定法)を関連付けることとを含んでもよい。例として、物理的行為の実施に関与するロボット装置の1つ以上の物理的構成要素は、行為の実施時、1つの軌道に沿って移動する確率が95%であるが、行為の実施時、異なる軌道に沿って移動する可能性が5%あってもよい。従って、演算装置は、2つの推定軌道をこれらの各確率について判定してもよい。関連する例では、指示の受信に応じて軌道ファミリが判定されてもよく、軌道ファミリの各構成員が関連付けられた信頼性スコアを有する。このような例において、軌道ファミリの構成員は、ともに集計されてもよく、且つ/又は、重畳されてもよい。その他の例も可能である。
[0056] 一例の場合、1つ以上のモータが物理的行為を実施するロボット装置に関与してもよく、演算装置は、モータの維持可能なトルク範囲等、これらのモータの1つ以上のパラメータに基づき、ロボット装置が物理的行為の実施を開始して10秒後に、ロボット装置が空間を占めてもよい軌道を推定してもよい。関連する例として、演算装置は、まず、モータによる前回の軌道、モータパラメータの過去の状態、及び/又はモータに関連付けられたその他の情報のデータベースに問い合わせ、その後、このような情報がモータのうちの1つについて中間レベルの不具合の可能性を示す判定をしてもよい。そして、演算装置は、中間レベルの不具合の可能性を考慮に入れて、物理的行為の実施のために1つ以上のモータに関連付けられた1つ以上の推定軌道を判定してもよい。その他の例も可能であり、本明細書に記載の「不確実性」とは構成要素の不具合に関連付けられた確率に限定されてはならないことを理解しなければならない。むしろ、不確実性とは、ロボット装置による物理的行為の性能に関与する1つ以上の軌道を変更してもよい、ロボット装置の1つ以上の構成要素に関連付けられた任意の因子を表してもよい。
[0057] いくつかの実施形態において、ロボット装置の物理的構成要素の1つ以上の推定軌道は、物理的構成要素のうちの1つ以上の動き範囲の少なくとも一部の形を採ってもよい。推定動き範囲は、所定期間内に物理的構成要素が従うと推定される物理的構成要素の1つ以上の推定軌道の追加又は代替として判定されてもよい。さらに、物理的構成要素のうちの1つ以上に関連付けられた不確実性レベルも判定されてよい。これにより、各物理的構成要素について複数の動き範囲が判定されてもよく、各動き範囲は、各物理的構成要素の1つ以上のパラメータに応じて、その特定の動き範囲が生じる可能性を表す、与えられた確率/不確実性に対応する。
[0058] 例では、1つ以上の推定軌道の判定は、1つ以上の推定軌道を実行するとき、物理的行為の実行に関与する1つ以上の物理的構成要素が占有してもよい空間の耐性を判定し、モータ及び/又はその他の構成要素を同時又は非同時に移動させ、1つ以上の推定軌道に沿って移動しつつ、空間の体積を掃出させることが含まれてもよい。演算装置は、空間の体積を判定するために、1つ以上の物理的構成要素の現在の推進力、1つ以上の物理的構成要素に関連付けられた診断情報、又は1つ以上の物理的構成用の現在の状態と1つ以上の物理的構成要素の過去の状態(又は、ロボット装置の一部として含まれない1つ以上の関連物理的構成要素の過去の状態)との双方に関連付けられた、上述のその他の因子等、種々の因子を考慮に入れてもよい。
[0059] 例では、1つ以上の体積が判定されてもよく、体積のうちの1つ以上は各確率に関連付けられる。判定された推定軌道についての検討に沿って、判定された複数の空間体積が、ともに集計、重ね合わせ、又は重畳されてもよい。例えば、判定された複数の推定軌道の各自推定軌道に対応する複数の空間体積を重ねたものには、ロボット装置が物理的行為を実施するために占有すると推定される、複数の異なる体積の空間が含まれてもよい。
[0060] さらなる例において、演算装置は、物理的行為を実施するための指示をサーバに提供することにより推定軌道を判定してもよく、これが多数のシミュレーションを実行して推定軌道に関連する演算装置パラメータに戻す。
[0061] 方法300は、ブロック306において、ロボット装置が物理的行為の実施中に物理的環境において占有すると推定される空間の仮想表現(すなわち、仮想セーフティケージ)を判定することを含み、この空間は、ロボット装置の1つ以上の物理的構成要素の1つ以上の推定軌道に基づいて判定される。例えば、1つ以上の推定軌道が複数の確率、信頼性スコア、又はその他の測定値に関連付けられた複数の推定軌道であるとき、ロボット装置の物理的環境における空間の仮想表現は、複数の推定軌道に基づいて、さらには各確率に基づいて判定されてもよく、各確率は、判定された複数の推定軌道に沿って移動するロボット装置に関連付けられる(すなわち、ロボット装置の物理的構成要素が与えられた軌道を占有する可能性)。
[0062] いくつかの例において、仮想表現は、未来にロボット装置の物理的構成要素が占有するであろう空間の少なくとも一部を含んでもよい、仮想境界又は仮想全体積の形を採ってもよい。
[0063] 例では、仮想表現は、空間の体積を含む、球状、楕円体状、又は放物状の境界/体積等のより保守的な仮想境界/体積の形を採ってもよい。その他の開放2次曲面又は閉鎖2次曲面(及び/又は、関連体積)も可能である。このような例では、仮想表現は、ロボット装置が経時的に、且つ、物理的に占有するであろう実際の空間を超えて、ロボット装置の物理的環境内のさらなる空間を含んでもよい。他の例では、仮想表現は、ロボット装置の移動をより厳格に束縛する等値面若しくはその他の面又は体積の形を採ってもよい。例えば、複数のロボット装置及び/又は人が互いに近接して作業する環境においては、より保守的でない仮想表現が望ましいこともある。
[0064] 場合によっては、受信した指示が、ロボット装置に物理的対象を持ち上げて移動させるための指示であってもよい。このような場合、演算装置は、例えば、1つ以上の推定軌道及び/又は物理的対象の1つ以上の所定の特性(例えば、サイズ、重量等)に基づいて、ロボット装置が占有するであろう、物理的環境内における空間と、ロボット装置による物理的対象の移動に基づいて物理的対象が占有すると推定される空間との双方の仮想表現を判定してもよい。例えば、演算装置は、このような指示の受信に応じて、ロボット装置によって移動される物理的対象のサイズについての情報を有してもよいデータベースに問い合わせを行ってもよい。そして、演算装置は、1つ以上の推定軌道の判定時、又は仮想表現の判定時に、物理的対象のサイズを考慮に入れてもよい。例えば、演算装置は、ロボット装置上の参照点から最も遠い物理的対象の面上の点を使用して、空間内の探索体積を判定してもよく、この探索体積は、ロボット装置が物理的対象を持ち上げて移動する際に経過するであろう時間の少なくとも一部の間に、ロボット装置及び物理的対象が占有するであろう空間を表す。
[0065] 従って、演算装置により物理的構成要素が所定の期間内に従うと推定される物理的構成要素の1つ以上の推定軌道を判定するいくつかの実施形態において、仮想表現の空間には、所定期間中、ロボット装置が物理的行為を実施するために占有すると推定される空間が含まれてもよい。
[0066] 例では、演算装置によって新たな指示又はサブ指示が受信又は実行される度に、新たな仮想表現が判定されてもよい。従って、仮想表現は、新たな指示が受信されるか、又は推定軌道の修正が判定された際、リアルタイムで変化するアニメーション表現であってもよい。他の例では、演算装置は、調節を実施するためのコマンドを示すユーザ入力又はその他の種別の入力を受信することに応じて、仮想表現を調節(すなわち、調整)するように構成されてもよい。このような例では、仮想表現は、確率及びリスク等、種々の因子に基づいて調整されてもよい。例えば、仮想表現は、より保守的でない仮想セーフティケージからより保守的な仮想セーフティケージまで調整されてもよく、ここでより保守的な仮想セーフティケージには、未来の軌道の確率が低くても、追加の未来の軌道に関連付けられた空間が含まれる。このような保守的調整により、衝突又はその他のハザードのリスクを低減してもよい。代替として、仮想表現は、未来の軌道と高い信頼性スコアを有する空間だけを含むように調整されてもよい。その他の例も可能である。
[0067] さらに他の例では、ロボット装置が第1の位置から移動し、第2の位置において対象を持ち上げ、対象を第3の位置に移動する旨の指示を受信すると、仮想表現は、このタスクを実施するロボット装置に応じて、また以上に検討した所定期間に基づいて、自動又は手動で調整してもよい。例えば、このような指示を受信する前に、仮想表現には、第1の位置におけるロボット装置を包囲する空間のより小さな体積が含まれてもよい。そして、指示を受信すると(又は、受信の幾分後で)、仮想表現は、第2位置と、恐らくは追加として第3位置と、ロボット装置が第1の位置及び第2の位置の間及び第2の位置及び第3の位置の間で進行/占有してもよい1つ以上の可能性のある未来の進路(及び関連する体積)とを含むように拡大してもよい。第2の位置に達するか、又はロボット装置が第2の位置に向かって進行すると、仮想表現は、ロボット装置が第1の位置から第2の位置まで進行するときに前回占有した進路/空間をもはや含むことのないように、縮小すべく動的に調整されてもよい。そして、ロボット装置が第3の位置まで進行するか、又はロボット装置が第3の位置に達すると、同様のさらなる調整が行われてもよい。その他の例も可能である。以上に検討の通り、これらの例及び他の例において、ロボット装置は、短期間又はより長期間のいずれかを問わず、ロボット装置が未来に占有するであろう箇所の表示を提供するように構成されたプロジェクタ又はその他の装置と通信してもよい。
[0068] 従って、方法300は、ブロック308において、空間の位置の表示を物理的環境に提供することを含む。さらに、本明細書に記載の例の少なくとも一部では、この表示は、集計又は重ね合わせられた空間/境界の視覚的表示を含んでもよく、且つ/又は、1つ以上の推定軌道に関連付けられたこのような空間/境界の区別可能な重畳視覚的表示を含んでもよい。さらに、この表示は、ブロック304にて判定された1つ以上の推定軌道に関連付けられた確率、信頼性スコア、又はその他の測定値と、ブロック306にて判定された対応の空間/境界との視覚的表示を含んでもよい。さらに、この表示は、ブロック304にて判定された1つ以上の推定軌道の視覚的表示、/又は聴覚的表示、及び/又はその他の種別の表示を含んでもよい。
[0069] 例では、聴覚的表示には、アラーム、周辺ノイズ、1つ以上の発話、事前記録されたセーフティメッセージ、構造化聴覚的パターン、及び周波数、リズム、ボリューム、音質等が変動する他の種別の聴覚表示を含んでもよい。異なる聴覚的指示は、判定された異なる空間の視覚的表示に合わせて使用されてもよい。追加又は代替として、複数の異なる聴覚的指示は、表示内に含められてもよい。例として、ロボット装置又は外側センサがロボット装置の物理的環境内で移動中対象を検出する時、演算装置は、移動中対象がロボット装置から与えられた距離範囲内にある時に環境内にスピーカを介して音を再生させてもよく、移動中対象がロボット装置から他の距離範囲内にある時、他の異なる音を再生させてもよい(例えば、移動中対象がロボット装置の近接範囲内にあり、ロボット装置と衝突する潜在的リスクがある時、より大きく、より目立つ音が聞こえるようにしてもよい)。他の例として、ロボット装置に関連付けられた現在の仮想表現がより保守的な仮想表現(すなわち、セーフティリスクのより低い、より大きな仮想セーフティケージ)であるとき、環境内において、静かで穏やかなノイズを間欠的又は連続的に再生してもよく、現在の仮想表現がより保守的でない仮想表現であるとき、環境内において、より大きなノイズを間欠的又は連続的に再生してもよく、その逆でもよい。その他の例も可能である。
[0070] この表示には、2D表示及び/又は3D表示が含まれてもよい。例では、ロボット装置に取り付けられるか、又はロボット装置から遠隔配置されたプロジェクタが、空間に関連付けられた光を投影してもよい。例えば、この光は、ロボット装置が未来に占有してもよい空間の下方の床の一部領域又は全領域に投影されてもよく、警告灯として機能してもよい。この光は、ロボット装置の物理的環境における壁部、天井、又はその他の表面等、他の表面上に投影されてもよい。追加又は代替として、この光は、任意の特定表面に向けられることなく、空中に投影されてもよい。この光は、1つ以上の色又は色調として投影されてもよい。例えば、スペースに不確かな領域又は体積が含まれる時、色又は明るさの異なる光を使用して、ロボット装置が未来に占有する可能性の低い領域を示してもよい。その他の例も可能である。
[0071] その他の例では、この表示は、ロボット装置の物理的環境における面上に投影された、空間の2D画像の形を採ってもよい。例えば、2D画像は、3D仮想表現の正投影(例えば、中空3D境界又は完全3D体積)であってもよい。3D仮想表現は、例えば、床又は壁部に正投影されてもよく、上述の光に比べて、より詳細で区別可能な視覚的表示として機能してもよい。他の例として、2D画像は、仮想セーフティケージの現在の状態に関連付けられたハイライト又はその他の表示2D領域を含む、物理的環境のトップダウン又はその他の斜視マップであってもよい。これらの例では、2D画像は、判定された1つ以上の推定軌道を表す1つ以上の2D進路を描いてもよい(例えば、2D画像は、ロボット装置の1つ以上の物理的構成要素の未来の進路を表すトレースラインを含んでもよい)。さらに、2D画像は、ロボット装置の個々の構成要素とそれらの各軌道とも描いてよい。さらに、2D画像は、1つ以上の推定軌道に関連付けられた可能性の数値的又はその他の視覚的表示を含んでもよい。その他の例も可能である。
[0072] さらなる例では、この表示は、レーザ(例えば、プラズマレーザ)の使用、干渉、回折、光の強度、及び/又はホログラフィ分野で既知又は未知のその他のパラメータを変動させることによって達成される、空間のホログラフィ3D表示の形を採ってもよい。このような表示は、少なくともロボット装置が未来に占有するであろう空域を埋めるように投影される、実寸ホログラムであってもよい。追加又は代替として、この表示は、より小さな寸法のホログラムとして投影されてもよい。3Dホログラムは、判定され、ロボット装置が占有する物理的環境における空間内に投影された1つ以上の推定軌道を表す1つ以上の3D進路も描いてよい。例えば、軌道は、ホログラフィ画像として視覚的に表示されてもよく、又は、その他の可能性の中でも、軌道の進路に沿って投影される1つ以上の光(例えば、薄く方向付けられたレーザ)によって示されてもよい。3Dホログラムは、開放2次曲面、閉鎖2次曲面、凸包、等値面、若しくはその他の複雑又は複雑でない表面/体積として投影又は表示されてもよい。
[0073] さらなる例では、この表示は、仮想表現の3Dモデルの形を採ってもよい。3Dモデルは、判定された1つ以上の推定軌道を表す1つ以上の3D進路を描いてもよい。さらに、3Dモデルには、開放2次曲面、閉鎖2次曲面、凸包、等値面、若しくはその他の複雑又は非複雑な表面/体積が含まれてもよい。
[0074] 2D指示と同様に、3D指示は、ロボット装置によって可能な未来の移動のファミリを示すために、集計、重ね合わせ、重畳などを施された複数の空間を含んでもよい。
[0075] さらなる例では、この表示は、受信した指示に関連付けられた物理的対象上に光を投影するプロジェクタ、カメラ、又はその他の光学装置を含んでもよい。例えば、ロボット装置は、ロボット装置が持ち上げるように指示された箱に単一の光線を投影することにより、ロボット装置が箱に向かって移動してそれを持ち上げることを計画する人又はその他のロボット装置を示してもよい。この光は、指示の受信後の何らかの時点で投影されてもよく、所定期間投影されてもよい。
[0076] さらなる例では、この表示は、ロボット装置が占有する物理的環境を修正する振動表示又はその他の種別の表示の形を採ってもよい。例えば、ロボット装置に連結されるか、又はロボット装置から遠隔配置された振動発生器は、物理的環境内の壁、柱、又はその他の物理的対象等、物理的環境の地面の領域又は物理的環境の他の部分を振動させてもよい。他の例において、演算装置は、遠隔演算装置を振動させるモバイルフォン又はその他の無線通信装置等の遠隔演算装置に、通知を提供してもよい。このような振動は、その遠隔演算装置のユーザに、ロボット装置の仮想セーフティケージに入ったこと、又は入りそうなことを警告するように機能してもよい。その他の例も可能である。
[0077] いくつかの実施形態において、演算装置は、図2に示す遠隔演算装置等の遠隔演算装置に表示を提供してもよい。上述の通り、遠隔演算装置は、遠隔演算装置での表示を表示又は提供するように構成された演算装置であってもよい。例えば、演算装置は、ヘッドマウントディスプレイを備えたウェアラブル演算装置に、仮想セーフティケージの動的仮想3Dモデル又はその他の種別の3D表現を提供してもよい。このような表示は、拡張現実能力を備えたその他の演算装置にも提供されてよい。他の例として、演算装置は、タッチスクリーンを備えたタブレット演算装置に3Dモデルを提供してもよく、タブレット演算装置のユーザは、3Dモデル上でズームすることができるか、又は3Dモデルと相互作用することができる。例えば、ユーザは、物理的行為の実施に関与するロボット装置の個々の構成要素を選択し、これらの構成要素の未来の軌道、不確実性レベル、個々の仮想セーフティケージ、及び1つ以上のパラメータ(例えば、出力レベル、現在の速度等)の数値表示等の個々の構成要素に関連付けられたその他の情報を閲覧することができてもよい。1つ以上の推定軌道と、各推定軌道に対応する確率とが表示されてよい。さらに、遠隔演算装置のユーザは、空間の表示を遠隔調整できてもよい。例えば、遠隔演算装置は、ユーザが仮想セーフティケージのサイズを増減するために操作可能なダイアル又はその他の調整可能入力装置を含んでもよい。その他の例も可能である。
[0078] いくつかの実施形態において、この表示は、ロボット装置が物理的行為の少なくとも一部を実施する間、連続的に提供されてもよい。例えば、ロボット装置が1つの箇所から他の箇所へと移動する指示であったとき、3D仮想セーフティケージの境界は、ロボット装置がその1つの箇所から他の箇所へと移動する際に連続的に投影されてもよい。このような例において、仮想セーフティケージは、ロボット装置に沿って、1つの位置から他の位置へと変位されて視覚的に出現する間、そのサイズ及び形状を保持してもよいが、他の例においては、例えば、ロボット装置がロボット装置に接近する移動対象を突然検出した場合等、仮想セーフティケージは、ロボット装置が移動する間にそのサイズ又は形状を変更してもよい。その他の例も可能である。
[0079] 例では、且つ、以上の検討に沿って、ロボット装置は、1つ以上のロボットアーム等、物理的行為の実施に関与する少なくとも1つのロボット操作部を含んでもよい。このように、方法300は、物理的行為の実施に関与する少なくとも1つのロボット操作部の各動き範囲を判定するための動作を含んでもよい。従って、仮想表現を判定することは、少なくとも1つのロボット操作部について判定された各動き範囲に少なくとも一部基づいてもよく、表示は、判定された各動き範囲の仮想表示を含んでもよい。
[0080] 例では、仮想セーフティケージは、その他の可能性の中でも、人、車両、及びその他のロボット装置等、ロボット装置の物理的観桜に検出された移動中対象に基づいて判定及び調整されてもよい。このような例では、演算装置は、移動中対象を特定するために、環境における1つ以上のセンサを使用してもよい。例えば、演算装置は、静的背景減算、又は、Kalmanフィルタ等のより確率的なアプローチを採用して、環境内の静的障害を環境内の動的障害から分離してもよい。
[0081] 移動中対象の特定に応じて、演算装置は、1つ以上のセンサ及び/又はその他の装置を介して、その他の可能性の中でも、移動中対象の現在の速度、現在の加速度、現在の移動方向、及び対象の質量等、移動中対象に関連付けられたパラメータを判定してもよい。そして、演算装置は、移動中対象について判定されたパラメータの少なくとも一部に基づいて、移動中対象が所定期間進行すると推定される移動中対象の推定軌道を判定してもよい。その他の推定軌道は、恐らくは移動中対象に関連付けられた所定の不確実性に基づいて判定してもよい。さらに、この場合の所定期間は、パラメータが判定された時に開始してもよく、又はその他の時点で開始してもよい。さらに、移動中対象について本明細書中で検討した所定期間は、ロボット装置について以上に検討した所定期間と同一であってもよく、異なってもよい。
[0082] 実際、本明細書中で検討した所定期間は、安全停止又はその他の種別の安全操作(例えば、衝突回避)を実行するのに必要な期間と、1つ以上のプロセッサが仮想セーフティケージのパラメータ(例えば、体積)を演算するのに要する期間との合計をいうものであってもよい。
[0083] このような例では、ロボット装置によってより迅速な応答行為が採られることを要求してもよい安全目的のための移動中対象の動き予測(すなわち、近距離予測)は、人ベースの安全基準(例えば、人が最速3メートル/秒で移動可能であると想定する)に関連付けられた均一的な動きの限度に応じて実施されてもよい。近距離予測により、任意の事前に見えなかった障害があったとき、ロボット装置が安全停止をするようにしてもよく、ロボット装置及び移動中対象のうちの1つ以上の保守的動き推定を要求してもよい。さらに、ロボット装置によっては、より迅速度の低い応答を要求し、ロボット装置のスムーズな応答動作を促進してもよい動き予測(すなわち、「長距離予測」)では、高交通量ゾーン(すなわち、経時的に、人又はその他の移動中対象/障害が頻繁に通過するのを観察されているため、領域の中でも確率分配で多くのウェイトを付与されなければならない、歩道等の特定領域)についての過去の学習との組み合わせで、Kalmanフィルタ又は粒子フィルタ等の確率的アプローチを採用してもよい。長距離予測により、より迅速な安全停止の必要性を低減してもよい回避挙動を可能にしてもよく、動き推定に関してより低い確実性で動作してもよい。いくつかの実施形態において、演算装置は、短距離予測と長距離予測の双方を同時に実施してもよい。
[0084] 演算装置は、種々の速度、質量、軌道、及び/又は過去の移動対象の他のパラメータで、人及びその他の移動中対象の所定の動きの局所又は遠隔データベースにアクセスしてもよく、このデータベースを使用して、検出された移動中対象の未来の軌道を予測してもよい。従って、演算装置は、検出された移動中対象と少なくとも部分的に同様である移動中対象の所定のパラメータに部分的に基づいて、少なくとも1つの推定軌道を判定してもよい。例えば、演算装置は、他の移動中対象の所定の動き(又は、場合によっては同一の移動中対象の所定の動き)に基づいて、移動中対象の未来の動きを予想してもよい。
[0085] 次に、演算装置は、移動中対象の推定軌道と、ブロック304で判定されたロボット装置の物理的構成要素の1つ以上の推定軌道とを比較してもよい。例えば、演算装置は、移動中対象の1つ以上の推定軌道がロボット装置の物理的構成要素の1つ以上の推定軌道と交差又は干渉するであろうか否かを判定してもよく、いくつかの実施形態において、恐らくはこの判定を所定期間内に生じることもある交差に限定する。他の例として、演算装置は、移動中対象のパラメータと、移動中対象の1つ以上の推定軌道とを使用して、移動中対象が所定期間内に占有してもよい空間の1つ以上の推定体積を判定してもよく、この空間の1つ以上の推定体積は、相対確率に関連付けられる。そして、演算装置は、移動中対象の空間の1つ以上の推定体積が、ロボット装置が所定期間内に占有してもよい空間の1つ以上の体積と重なるか否かを判定してもよい。さらに他の例として、演算装置により移動中対象がロボット装置の軌道に交差しないであろうと判定した時、演算装置はまただ、ロボット装置及びロボット装置の軌道から移動中対象の軌道までの距離を、ロボット装置の仮想セーフティケージの調整時のロボット装置の軌道と比較してもよい。その他の例も可能である。
[0086] そして、演算装置は、比較の出力に基づき、ロボット装置が占有する物理的環境内の空間の仮想表現を調整し、調整した仮想表現に関連付けられた空間の位置の表示を物理的環境内に提供してもよい。例えば、演算装置により移動中対象がロボット装置の軌道の与えられた距離内に間もなく来るであろうと判定した場合、演算装置は、ロボット装置の軌道又はロボット装置の動きへのその他の制限を調整することにより、仮想セーフティケージを縮小してもよい。従って、この表示は、上述の視覚的表示及び聴覚的表示のうちの1つ以上等、調整された仮想表現によって表される空間の位置の視覚的表示及び聴覚的表示のうちの1つ以上を含んでもよい。さらに、この表示はまた、上述のものと同様の方法等、判定された移動中対象の推定軌道を表す進路を視覚的に描いてもよい。
[0087] さらに、いくつかの例において、演算装置は、本明細書に記載の動作の1つ以上を実施することにより、移動中対象のための仮想セーフティケージを判定してもよい。例えば、演算装置は、移動中対象の1つ以上の推定軌道に基づき、またさらに移動中対象のパラメータに基づいて(且つ、恐らくはさらに過去の移動中対象に関連付けられたデータに基づいて)、ロボット装置の物理的環境における空間の体積の仮想表現を判定してもよく、空間の体積には、移動中対象が占有すると推定される空間が含まれる。
[0088] 演算装置は、上述の比較の出力に応じて、また恐らくは、移動中対象に関して行われた他の判定に応じて、その他の行為も実施してよい。例えば、演算装置は、ロボット装置と移動中対象との衝突を回避するために、ロボット装置に減速、停止、及び/又はその軌道の修正を行うようにロボット装置に指示してもよい。さらに、演算装置は、その他の可能性の中でも、警告灯の投影及び/又はアラームの鳴動により、ロボット装置及び移動中対象の周辺環境に、差し迫った衝突又は潜在的衝突について通信してもよい。さらに、演算装置は、環境内で衝突を回避するか、又は安全に動作するために、ロボット装置が上述の行為のうちの1つ以上を採る「安全移動モード」で動作するようにロボット装置を設定してもよい。
[0089] 例では、ロボット装置の環境内で移動中対象を特定した後のある時点で、演算装置は、ロボット装置の物理的環境内の1つ以上のセンサを介して、移動中対象がロボット装置から閾値距離の外側にあることを特定してもよい。例えば、演算装置は、ロボット装置に移動中対象と衝突又は干渉するリスクがもはやないと判定してもよい。そして、演算装置は、移動中対象が閾値距離の外側にあることを特定したことに応じて、空間が大きくなるように、物理的環境内の空間の仮想表現を拡大してもよい。そして、演算装置は、拡大された仮想表現に関連付けられた表示を提供してもよく、この表示は、拡大された空間の視覚的表示と拡大された空間の聴覚的表示のうちの1つ以上を含む。
[0090] 例では、ロボット装置は、移動中対象が検出されないとき、又は移動中対象が物理的行為を実施するロボット装置に対して閾値低リスクであると判定された(例えば、このような移動中対象がロボット装置から所定距離離れている)時、より高速で移動するように指示されてもよい。さらに、与えられた距離内に人もその他の移動中対象も検出されないとき、演算装置がロボット装置のために維持する仮想セーフティケージは、経時的に拡大又は成長してもよい。逆に、人又はその他の移動中対象について予測された未来の動きがロボットと重なり始めると、若しくは人又はその他の移動中対象がロボット装置に実質的に接近した時、演算装置は、ロボット装置が減速するように指示してもよく、仮想セーフティケージの縮小を徐々に開始してもよい。いくつかの例において、人又はその他の移動中対象が所定の較正可能な閾値距離内にあると検出される場合、ロボット装置は、完全にそのすべての動きを停止してもよく、仮想セーフティケージがゼロに設定されてもよい(すなわち、消える)。その他の例も可能である。
[0091] 実際には、ロボット装置の安全保障とシステム性能との間にはトレードオフが存在することもある旨、理解しなければならない。従って、軌道判定及び仮想セーフティケージ判定へのアプローチを組み合わせることにより、必要時にフェイルセーフを可能にしてもよく、一方で通常の状況下では、ロボット装置の軌道を穏やかに非緊急的に調整すること(例えば、ロボット装置のルート再設定)が好適であってもよい。
[0092] 移動中対象を検出及びモニタリングする動作は、仮想表現を動的に調整し、動的に調整された仮想表現に対応する表示を動的に更新するように、連続的又は間欠的に実施されてもよいことも理解しなければならない。
[0093] この方法の1つ以上の動作は、仮想表現を動的に調整し、動的に調整された仮想表現に対応する表示を動的に更新するように、連続的又は間欠的に実施されてもよいことをさらに理解しなければならない。例では、例えば、ロボット装置の物理的構成要素が与えられた任意の時点で有し得る動きの範囲は、連続的又は頻繁に演算され、その他の人々/装置に提供することができる。また例では、ロボット装置及び/又は関連システムは、仮想セーフティケージを維持するために、ロボット装置の周辺環境を連続的又は頻繁にモニタリングしてもよい。その他の例も可能である。
[0094] 図4A及び図4Bは、本明細書に記載の少なくともいくつかの実施形態に係る、実施中の一例としての方法の一例としての動作を示している。図4Aは、第1の位置402から第2の位置404Aまで第1の軌道406Aに沿って移動するロボット装置400を示しており、一方で図4Bは、第1の位置から異なる第2の位置404Bまで、より長い第2の軌道406Bに沿って移動するロボット装置を示している。従って、演算装置(図示せず)は、第1の軌道406Aに基づいて第1の仮想表現408を判定してもよく、第2の軌道406Bに基づいて第2の仮想表現410も判定してよい。図示の通り、ロボット装置400の物理的構成要素(例えば、図示の接合部、剛性アームセグメント、及びグリッパ)が第2の軌道406Bに沿って移動しつつ、より多くの空間を占有してもよいため、第1の仮想表現408の空間は、第2の仮想表現410の空間より小さい。例では、第1及び第2の仮想表現408及び410は、ロボット装置400の環境内に3Dホログラムとして投影されてもよく、ユーザ、ユーザの演算装置、その他のロボット装置等に表示されてもよい。さらに、これらの各3Dホログラムは、集計されてもよく(第2の仮想表現が第1の仮想表現408のほぼすべてを含むため、この場合、結果として、第2の仮想表現410のホログラムのみとなる)、重ね合わされてもよく、重畳されてもよく、又はともに一体化されてもよい。
[0095] さらなる例では、演算装置は、第1の軌道406Aをより高確率の軌道であると推定してもよく、一方で演算装置は、第2の軌道406Bをより低確率の軌道であると推定してもよく、逆も同様である。例えば、恐らくは過去にロボット装置が移動を指示された箇所を超えてロボット装置を移動させた、ロボット装置400の1つ以上の構成要素での過去に検出されたエラーのために、第1の軌道406Aに関連付けられた96%の確率があってもよく、第2の軌道406Bに関連付けられた付けられた4%の確率があってもよい。その他の例も可能である。
[0096] さらなる例では、演算装置は、ロボットアームの接合部分のうちの1つ以上、ロボットアームの剛性アームセグメントのうちの1つ以上、ロボットアームのグリッパ、及び/又はその他の物理的構成要素の全体的又は部分的な動き範囲を判定してもよい。従って、その後、第1及び第2の仮想表現によって表された第1及び第2の空間の表示は、これらの動き範囲の視覚的表示を含んでもよい。例えば、場合によっては、第2の軌道406Bは、ロボット装置の動き範囲をz方向に伸長したものであってもよい(すなわち、ロボット装置は、第1の位置402と一404Bとの間をz方向に移動するようにのみ設計されてもよい)。
[0097] 図5A及び図5Bは、本明細書に記載の少なくともいくつかの実施形態に係る、実施中の一例としての方法の一例としての動作を示している。図5Aは、等値面シェルと類似した、複雑体積仮想セーフティケージ境界502Aを備えたロボット装置500を示している。仮想セーフティケージ502Aは、例えば、上述の方法300に係る、所定期間内におけるロボット装置500の未来のすべての移動及び動き範囲の境界を示してもよい。仮想セーフティケージ502Aは、その他の可能性の中でも、環境内で人によって視認できてもよく(例えば、ホログラムとして投影)、代わりに、遠隔演算装置上への表示のために提供される3Dモデルとしてのみ視認されてもよい。さらに、ロボット装置500に連結されたプロジェクタ504は、ロボット装置の少なくとも1つの物理的構成要素が所定期間占有してもよい箇所の下方の床状の領域を照明する光506Aを、ロボット装置の環境内の床に投影してもよい。
[0098] 図5Bは、調整された複雑体積仮想セーフティケージ境界502Bを示している。仮想セーフティケージ502Bは、図5Aの仮想セーフティケージ502Aとの比較で拡大されてもよく、ロボット装置が物理的対象508を把持する間の所定期間、ロボット装置500による未来のすべての移動及び動き範囲の境界を示してもよい。このようなケージ502Aはまた、物理的対象508のサイズ及び寸法と、物理的対象508がロボット装置によって移動される時に占有するであろう領域とを考慮に入れてもよい。この場合、プロジェクタ504は、ロボット装置の少なくとも1つの物理的構成要素が物理的対象508を取り扱う間の所定期間占有してもよい箇所の下方の床の領域を照明する異なる光506Bを、ロボット装置の環境内の床に投影してもよい。異なる光506Bは、異なる色であってもよく、反復的にて点滅するように投影されてもよく、又はその他の光506Aが提供されるのとは異なる他の方法で提供されてもよい。
[0099] 図6は、本明細書に記載の少なくともいくつかの実施形態に係る、実施中の一例としての方法の一例としての動作を示している。本例において、演算装置(図示せず)は、次の所定期間(例えば、1秒)、ロボット装置のロボットアーム600が移動中車両606の他の軌道604と交差するであろう軌道602に沿って移動してもよいことを判定してもよい。この判定時又はこの判定前、ロボットアーム600の仮想セーフティケージ608の1つ以上の寸法は、図示の通り、楕円体状の境界を示してもよい。しかしながら、この判定時、演算装置は、ロボットアーム600の軌道を調整してもよく、調整された軌道610は、ロボットアーム600が移動中車両606の軌道604と交差しない位置にて緊急停止するようにする。演算装置はまた、これに従って、仮想セーフティケージを調整してもよく、調整された仮想セーフティケージ612は、図示の通り、1つ以上の寸法で球状の境界を示す。さらに、場合によっては、演算装置はまた、移動中車両606のための仮想セーフティケージ614も判定してよく、調整された仮想セーフティケージが移動中車両の仮想セーフティケージと交差しないように調整された仮想セーフティケージ612を判定してもよい。
[0100] 本明細書に記載の配置は、例示のみを目的としていることを理解しなければならない。このように、当業者は、代わりに他の配置及び他の要素(例えば、機械、インタフェース、動作、命令、及び動作のグループ化等)が使用できることと、いくつかの要素は所望の結果に応じてともに省略されてもよいことを理解するであろう。さらに、記載した要素の多くは、具体的又は分散された構成要素として実装されてもよく、又は任意の好適な組み合わせ及び位置で他の構成要素との連携で実装されてもよい機能的実体であり、或いは独立の構成として記載した他の構成要素が組み合わせられてもよい。
[0101] 本明細書中、種々の態様及び実施形態を開示したが、当業者にとって、その他の態様及び実施形態が明らかであろう。本明細書に開示の種々の態様及び実施形態は、例示を目的とするものであり、限定を意図するものではなく、真の範囲は、以下の特許請求の範囲と、このような特許請求の範囲の同等物の完全な範囲とによって示される。本明細書中で使用した用語は、特定の実施形態を説明することのみを目的とするものであり、限定を意図するものでないことも理解されなければならない。

Claims (19)

  1. 演算システムによって実施される方法であって、
    前記演算システムの1つ以上のプロセッサにより、ロボット装置が占有している物理的環境において前記ロボット装置が物理的行為を実施するように要請する指示を受信することと、
    前記1つ以上のプロセッサにより、前記指示の受信に応じて、前記ロボット装置の1つ以上の物理的構成要素の複数の推定軌道を判定することであって、前記複数の推定軌道は、前記ロボット装置が前記物理的行為を実施する際に前記1つ以上の物理的構成要素が移動すると推定される複数の軌道であり、前記複数の推定軌道は、前記1つ以上の物理的構成要素の1つ以上のパラメータに基づくことと、
    前記1つ以上のプロセッサにより、前記複数の推定軌道に沿って移動する前記ロボット装置に各確率を関連付けることと、
    前記1つ以上のプロセッサにより、前記複数の推定軌道及び前記関連付けられた確率に基づいて、前記物理的行為の実施中、前記物理的環境において前記ロボット装置が占有すると推定される空間の仮想表現を判定することと、
    前記1つ以上のプロセッサにより、前記演算システムに対して通信可能にリンクされた少なくとも1つの投影装置に、前記物理的環境における前記空間の位置の表示を投影させることと、を備え、
    前記表示は、前記複数の推定軌道を視覚的に描いたものである、方法。
  2. 前記表示には、前記物理的環境における表面上に投射された前記空間の2次元(2D)画像が含まれ、前記2D画像は、前記複数の推定軌道を代表する1つ以上の2D進路を描く、請求項1に記載の方法。
  3. 前記表示には、前記空間のホログラフィ3次元(3D)表示が含まれ、前記ホログラフィ3D表示は、前記複数の推定軌道を代表する1つ以上の3D進路を描き、前記ホログラフィ3D表示は、前記物理的環境の前記空間内に提供される、請求項1に記載の方法。
  4. 前記1つ以上のプロセッサにより、前記ロボット装置から遠隔配置された少なくとも1つの演算装置に前記表示を提供することをさらに備え、
    前記表示は、前記空間の3次元(3D)モデルを含み、前記3Dモデルは、前記複数の推定軌道を表す1つ以上の3D進路を描くものである、請求項1に記載の方法。
  5. 前記ロボット装置が前記物理的行為を実施するように要請する前記指示には、前記ロボット装置が物理的対象を移動するように要請する指示が含まれ、
    前記仮想表現によって表される前記空間には、前記ロボット装置が前記物理的対象を移動中、前記物理的対象が占有すると推定される空間が含まれる、請求項1に記載の方法。
  6. 前記ロボット装置が前記物理的対象を移動させるように要請する前記指示の受信後、前記1つ以上のプロセッサにより、前記少なくとも1つの投影装置に、前記物理的対象上へ光を投影させることをさらに備える、請求項5に記載の方法。
  7. 前記空間は、前記複数の推定軌道の各推定軌道に対応する複数の空間の重畳を備え、前記複数の空間は、前記ロボット装置が前記物理的行為の実施中、前記物理的環境において占有すると推定される複数の異なる空間を含む、請求項1に記載の方法。
  8. 演算装置によって実行されると、前記演算装置に以下の機能を実施させる指示を記憶した持続性コンピュータ可読媒体であって、
    ボット装置が占有する物理的環境において前記ロボット装置が物理的行為を実施するように要請する指示を受信することと、
    前記指示の受信に応じて、前記ロボット装置の1つ以上の物理的構成要素の複数の推定軌道を判定することであって、前記複数の推定軌道は、前記ロボット装置が前記物理的行為を実施する際に前記1つ以上の物理的構成要素が移動すると推定される複数の軌道であり、前記複数の推定軌道は、前記1つ以上の物理的構成要素の1つ以上のパラメータに基づくことと、
    前記複数の推定軌道に沿って移動する前記ロボット装置に各確率を関連付けることと、
    前記複数の推定軌道及び前記関連付けられた確率に基づいて、前記ロボット装置が前記物理的行為の実施中、前記物理的環境において占有すると推定される空間の仮想表現を判定することと、
    前記演算装置に対して通信可能にリンクされた少なくとも1つの投影装置に、前記物理的環境における前記空間の位置の表示を前記物理的環境内に投影させることであって、前記表示は、前記複数の推定軌道を視覚的に描くものである、持続性コンピュータ可読媒体。
  9. 前記機能は、
    前記ロボット装置の前記物理的環境における1つ以上のセンサにより、前記物理的環境内の移動中対象を特定することと、
    前記物理環境内の移動中対象を特定することに応じて、前記移動中対象に関連付けられた複数のパラメータを判定することであって、前記複数のパラメータには、少なくとも、前記移動中対象の現在の速度と、前記移動中対象の現在の移動方向とが含まれることと、
    前記判定された移動中対象に関連付けられた複数のパラメータに基づき、前記移動中対象が所定期間進行すると推定される前記移動中対象の推定軌道を判定することであって、前記所定期間は、前記複数のパラメータが判定された時に開始することと、
    前記移動中対象の前記判定された推定軌道と、前記ロボット装置の前記1つ以上の物理的構成要素の前記複数の推定軌道とを比較することと、
    前記比較の出力に基づき、前記空間の前記仮想表現を調整することと、
    前記物理的環境に前記調整した仮想表現に関連付けられた空間の位置の表示を提供することと、をさらに備える請求項8に記載の持続性コンピュータ可読媒体。
  10. 前記移動中対象には人が含まれる、請求項9に記載の持続性コンピュータ可読媒体。
  11. 前記空間の前記仮想表現を調整することは、前記空間の前記仮想表現が減るように、前記空間の前記仮想表現を調整することを備える、請求項9に記載の持続性コンピュータ可読媒体。
  12. 前記表示は、前記移動中対象の前記判定された推定軌道を表す進路を描く、請求項9に記載の持続性コンピュータ可読媒体。
  13. 前記機能は、
    前記ロボット装置の前記物理的環境における1つ以上のセンサにより、前記物理的環境内の移動中対象を特定することと、
    前記1つ以上のセンサにより、前記移動中対象が前記ロボット装置から閾値距離外側にあることを特定することと、
    前記移動中対象が前記ロボット装置から前記閾値距離外側にあることを特定することに応じて、前記空間が増えるように、前記空間の前記仮想表現を拡大することと、
    前記物理的環境に前記増やした空間の位置の表示を提供することと、をさらに備える、請求項8に記載の持続性コンピュータ可読媒体。
  14. 前記機能は、前記仮想表現を動的に調整し、前記動的に調整された仮想表現に対応し前記表示を動的に更新するように連続的に実施される、請求項8に記載の持続性コンピュータ可読媒体。
  15. システムであって、
    ロボット装置と、
    1つ以上の投影装置と、
    無線通信インタフェースと、
    少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサによって実行可能な指示を備え、前記システムに以下の機能を実施させるデータストレージとを備え、前記以下の機能は、
    前記ロボット装置が占有する物理的環境において前記ロボット装置が物理的行為を実施するように要請する指示を受信することと、
    前記指示の受信に応じて、前記ロボット装置の1つ以上の物理的構成要素の複数の推定軌道を判定することであって、前記複数の推定軌道は、前記ロボット装置が前記物理的行為を実施する際に前記1つ以上の物理的構成要素が移動すると推定される複数の軌道であり、前記複数の推定軌道は、前記1つ以上の物理的構成要素の1つ以上のパラメータに基づくことと、
    前記複数の推定軌道に沿って移動する前記ロボット装置に各確率を関連付けることと、
    前記複数の推定軌道及び前記関連付けられた確率に基づいて、前記ロボット装置が前記物理的行為の実施中、前記物理的環境において占有すると推定される空間の仮想表現を判定することと、
    前記1つ以上の投影装置に、前記空間の位置の表示を前記物理的環境内に投影させることであって、前記表示は、前記複数の推定軌道を視覚的に描くものであることと、
    を含む、システム。
  16. 前記ロボット装置の前記1つ以上の物理的構成要素の前記複数の推定軌道を判定することは、前記1つ以上の物理的構成要素が所定期間内に移動すると推定される前記1つ以上の物理的構成要素の複数の推定軌道を判定することを備え、
    前記仮想表現によって表された前記空間には、前記ロボット装置が前記所定期間に前記物理的行為を実施中、前記物理的環境において占有すると推定される空間が含まれる、請求項15に記載のシステム。
  17. 前記ロボット装置は、前記物理的行為の実施に関与する少なくとも1つのロボット操作部を備え、
    前記機能は、前記物理的行為の実施に関与する前記少なくとも1つのロボット操作部のために各動き範囲を判定することをさらに備え、
    前記仮想表現を判定することは、さらに、前記物理的行為の実施に関与する前記少なくとも1つのロボット操作部のために前記判定された各動き範囲に基づき、
    前記指示には、前記判定された各動き範囲の表示が含まれる、請求項15に記載のシステム。
  18. 記物理的行為の実施に関与する前記ロボット装置の前記1つ以上の物理的構成要素の前記1つ以上のパラメータには、前記1つ以上の物理的構成要素の最大トルク、前記1つ以上の物理的構成要素の最大動力出力、及び前記1つ以上の物理的構成要素の推進力とのうちの1つ以上が含まれる、請求項15に記載のシステム。
  19. 前記表示は、開放2次曲面、閉鎖2次曲面、及び等値面を示す仮想表現のうちの1つ以上を備える、請求項15に記載のシステム。
JP2017501388A 2014-07-16 2015-05-12 演算システムによって実施される方法、持続性コンピュータ可読媒体及びシステム Active JP6392972B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/333,173 2014-07-16
US14/333,173 US9283678B2 (en) 2014-07-16 2014-07-16 Virtual safety cages for robotic devices
PCT/US2015/030265 WO2016010614A1 (en) 2014-07-16 2015-05-12 Virtual safety cages for robotic devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018032701A Division JP6436604B2 (ja) 2014-07-16 2018-02-27 演算システムによって実施される方法及びシステム

Publications (2)

Publication Number Publication Date
JP2017523054A JP2017523054A (ja) 2017-08-17
JP6392972B2 true JP6392972B2 (ja) 2018-09-19

Family

ID=53276274

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017501388A Active JP6392972B2 (ja) 2014-07-16 2015-05-12 演算システムによって実施される方法、持続性コンピュータ可読媒体及びシステム
JP2018032701A Active JP6436604B2 (ja) 2014-07-16 2018-02-27 演算システムによって実施される方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018032701A Active JP6436604B2 (ja) 2014-07-16 2018-02-27 演算システムによって実施される方法及びシステム

Country Status (6)

Country Link
US (3) US9283678B2 (ja)
EP (1) EP3169487B1 (ja)
JP (2) JP6392972B2 (ja)
KR (3) KR101859350B1 (ja)
CN (1) CN106660208B (ja)
WO (1) WO2016010614A1 (ja)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011056633A1 (en) 2009-10-27 2011-05-12 Battelle Memorial Institute Semi-autonomous multi-use robot system and method of operation
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9902061B1 (en) 2014-08-25 2018-02-27 X Development Llc Robot to human feedback
US9661477B1 (en) * 2015-03-06 2017-05-23 AI Incorporated Collaborative robotic device work group
US10601658B2 (en) * 2015-04-08 2020-03-24 Cisco Technology, Inc. Maintenance of consumable physical components of a network
GB201509341D0 (en) * 2015-05-29 2015-07-15 Cambridge Medical Robotics Ltd Characterising robot environments
DE102015009048B3 (de) * 2015-07-13 2016-08-18 Kuka Roboter Gmbh Steuern eines nachgiebig geregelten Roboters
US9886035B1 (en) 2015-08-17 2018-02-06 X Development Llc Ground plane detection to verify depth sensor status for robot navigation
US10124491B2 (en) * 2015-08-31 2018-11-13 Avaya Inc. Operational parameters
US10032137B2 (en) 2015-08-31 2018-07-24 Avaya Inc. Communication systems for multi-source robot control
US10350757B2 (en) 2015-08-31 2019-07-16 Avaya Inc. Service robot assessment and operation
US10040201B2 (en) 2015-08-31 2018-08-07 Avaya Inc. Service robot communication systems and system self-configuration
US10000124B2 (en) 2015-11-04 2018-06-19 Zoox, Inc. Independent steering, power, torque control and transfer in vehicles
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9804599B2 (en) 2015-11-04 2017-10-31 Zoox, Inc. Active lighting control for communicating a state of an autonomous vehicle to entities in a surrounding environment
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US10745003B2 (en) 2015-11-04 2020-08-18 Zoox, Inc. Resilient safety system for a robotic vehicle
US9701239B2 (en) 2015-11-04 2017-07-11 Zoox, Inc. System of configuring active lighting to indicate directionality of an autonomous vehicle
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
US9878664B2 (en) 2015-11-04 2018-01-30 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US9958864B2 (en) 2015-11-04 2018-05-01 Zoox, Inc. Coordination of dispatching and maintaining fleet of autonomous vehicles
US9916703B2 (en) 2015-11-04 2018-03-13 Zoox, Inc. Calibration for autonomous vehicle operation
US9517767B1 (en) 2015-11-04 2016-12-13 Zoox, Inc. Internal safety systems for robotic vehicles
US9802661B1 (en) 2015-11-04 2017-10-31 Zoox, Inc. Quadrant configuration of robotic vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9910441B2 (en) 2015-11-04 2018-03-06 Zoox, Inc. Adaptive autonomous vehicle planner logic
US10496766B2 (en) 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
DE102015225844A1 (de) * 2015-12-18 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben einer Datenbrille sowie Datenbrille
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
EP3243609A1 (en) * 2016-05-09 2017-11-15 OpiFlex Automation AB A fenceless industrial robot system
JP6693291B2 (ja) * 2016-06-20 2020-05-13 トヨタ自動車株式会社 移動ロボットの移動経路計画方法
US9868214B2 (en) * 2016-06-20 2018-01-16 X Development Llc Localization of a mobile system
US10956739B2 (en) 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
JP2018008347A (ja) * 2016-07-13 2018-01-18 東芝機械株式会社 ロボットシステムおよび動作領域表示方法
EP3287861A1 (en) * 2016-08-24 2018-02-28 Siemens Aktiengesellschaft Method for testing an autonomous system
EP3287243A1 (en) * 2016-08-24 2018-02-28 Siemens Aktiengesellschaft Method for collision detection and autonomous system
US9829333B1 (en) * 2016-09-13 2017-11-28 Amazon Technologies, Inc. Robotic traffic density based guidance
CN106406312B (zh) * 2016-10-14 2017-12-26 平安科技(深圳)有限公司 导览机器人及其移动区域标定方法
EP3541584A1 (en) * 2016-11-15 2019-09-25 ABB Schweiz AG An industrial robot system comprising a plurality of robots and a plurality of safety sensors
JP6420296B2 (ja) * 2016-12-01 2018-11-07 ファナック株式会社 ロボットの干渉領域を自動で設定するロボット制御装置
US20230191635A1 (en) * 2017-01-13 2023-06-22 Clara Vu Dynamic, interactive signaling of safety-related conditions in a monitored environment
US11518051B2 (en) * 2017-02-07 2022-12-06 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
WO2018148181A1 (en) 2017-02-07 2018-08-16 Veo Robotics, Inc. Workspace safety monitoring and equipment control
US11820025B2 (en) 2017-02-07 2023-11-21 Veo Robotics, Inc. Safe motion planning for machinery operation
US11541543B2 (en) * 2017-02-07 2023-01-03 Veo Robotics, Inc. Dynamic, interactive signaling of safety-related conditions in a monitored environment
JP6866673B2 (ja) * 2017-02-15 2021-04-28 オムロン株式会社 監視システム、監視装置、および監視方法
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
US10766140B2 (en) * 2017-04-13 2020-09-08 Battelle Memorial Institute Teach mode collision avoidance system and method for industrial robotic manipulators
JP6828579B2 (ja) * 2017-04-27 2021-02-10 トヨタ自動車株式会社 環境整備ロボットおよびその制御プログラム
US10423162B2 (en) 2017-05-08 2019-09-24 Nio Usa, Inc. Autonomous vehicle logic to identify permissioned parking relative to multiple classes of restricted parking
DE102017111886B3 (de) * 2017-05-31 2018-05-03 Sick Ag Bestimmen der Bewegung einer abzusichernden Maschine
JP6538760B2 (ja) * 2017-06-22 2019-07-03 ファナック株式会社 複合現実シミュレーション装置及び複合現実シミュレーションプログラム
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
US11065761B2 (en) * 2017-07-25 2021-07-20 Dematic Corp. Robotic picking training technique
JP6633580B2 (ja) * 2017-08-02 2020-01-22 ファナック株式会社 ロボットシステム及びロボット制御装置
JP6687573B2 (ja) * 2017-09-07 2020-04-22 ファナック株式会社 ロボットシステム
US10384346B2 (en) * 2017-09-08 2019-08-20 Niantic, Inc. Collision detection, estimation, and avoidance
JP6606145B2 (ja) 2017-09-25 2019-11-13 ファナック株式会社 ロボットシステム
WO2019080996A1 (en) * 2017-10-24 2019-05-02 Abb Schweiz Ag METHOD FOR MONITORING WORK AREA, ROBOT SYSTEM, AND CONTROL SYSTEM
TWI672207B (zh) * 2017-11-03 2019-09-21 財團法人工業技術研究院 機械設備之定位系統及其方法
JP7180613B2 (ja) * 2017-12-12 2022-11-30 ソニーグループ株式会社 情報処理装置および情報処理方法
US10676022B2 (en) 2017-12-27 2020-06-09 X Development Llc Visually indicating vehicle caution regions
KR102499576B1 (ko) 2018-01-08 2023-02-15 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2019139815A1 (en) 2018-01-12 2019-07-18 Duke University Apparatus, method and article to facilitate motion planning of an autonomous vehicle in an environment having dynamic objects
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
JP7035555B2 (ja) * 2018-01-23 2022-03-15 セイコーエプソン株式会社 教示装置、及びシステム
TWI822729B (zh) 2018-02-06 2023-11-21 美商即時機器人股份有限公司 用於儲存一離散環境於一或多個處理器之一機器人之運動規劃及其改良操作之方法及設備
US20220088787A1 (en) * 2018-02-06 2022-03-24 Clara Vu Workplace monitoring and semantic entity identification for safe machine operation
US20210205995A1 (en) * 2018-02-06 2021-07-08 Clara Vu Robot end-effector sensing and identification
ES2928250T3 (es) 2018-03-21 2022-11-16 Realtime Robotics Inc Planificación del movimiento de un robot para diversos entornos y tareas y mejora del funcionamiento del mismo
JP7126364B2 (ja) * 2018-03-23 2022-08-26 株式会社トヨタプロダクションエンジニアリング 判定装置、判定方法、及び判定プログラム
JP6737827B2 (ja) * 2018-03-29 2020-08-12 ファナック株式会社 協働ロボットの制御装置及び制御方法
EP3546136B1 (de) * 2018-03-29 2021-01-13 Sick Ag Augmented-reality-system
DE102018209870B3 (de) * 2018-06-19 2019-07-04 Kuka Deutschland Gmbh Verfahren und System zum Überführen eines Endeffektors eines Roboters zwischen einer Endeffektorpose und einer weiteren Endeffektorpose
WO2020006144A1 (en) * 2018-06-26 2020-01-02 Fanuc America Corporation Visualization and modification of operational bounding zones using augmented reality
US10325485B1 (en) * 2018-09-11 2019-06-18 Rockwell Automation Technologies, Inc. System or process to detect, discriminate, aggregate, track, and rank safety related information in a collaborative workspace
WO2020056301A1 (en) 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Robot interaction with human co-workers
JP6992719B2 (ja) * 2018-09-27 2022-01-13 オムロン株式会社 制御装置
JP6787966B2 (ja) 2018-10-02 2020-11-18 ファナック株式会社 拡張現実と複合現実を用いたロボット制御装置及び表示装置
JP7028151B2 (ja) 2018-12-14 2022-03-02 トヨタ自動車株式会社 軌道生成装置
DE102018133472B3 (de) * 2018-12-21 2020-03-12 Franka Emika Gmbh Bewegungsüberwachung eines Robotermanipulators
JP7143776B2 (ja) * 2019-01-31 2022-09-29 オムロン株式会社 制御システム、及び、制御システムの制御方法
US11203120B1 (en) * 2019-02-06 2021-12-21 Intrinsic Innovation Llc Mobile robotics frame system
US10940796B2 (en) * 2019-04-05 2021-03-09 Ford Global Technologies, Llc Intent communication for automated guided vehicles
WO2020242487A1 (en) * 2019-05-31 2020-12-03 Siemens Aktiengesellschaft Method for dynamic multi-dimensional spatio-temporal human machine interaction and feedback
US11407117B1 (en) * 2019-08-20 2022-08-09 X Development Llc Robot centered augmented reality system
US11364632B2 (en) * 2019-09-03 2022-06-21 Toyota Motor North America, Inc. Systems and methods for transporting an object into and out of a vehicle
JP7282016B2 (ja) * 2019-11-11 2023-05-26 株式会社日立製作所 ロボットシステム
CN111300491A (zh) * 2019-11-20 2020-06-19 深圳市烨嘉为技术有限公司 基于协作化驱控一体机器人的人机协作安全系统
US11037328B1 (en) * 2019-12-31 2021-06-15 Lyft, Inc. Overhead view image generation
JP7322722B2 (ja) 2020-01-27 2023-08-08 トヨタ自動車株式会社 作業システム
DE102020201375B3 (de) * 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters
DE102020203636A1 (de) 2020-03-20 2021-09-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Ermittlung von Sicherheitsbereichen um eine automatisiert arbeitende Maschine
GB2600123A (en) * 2020-10-21 2022-04-27 Sony Interactive Entertainment Inc Audio personalisation method and system
CN112612273B (zh) * 2020-12-21 2021-08-24 南方电网电力科技股份有限公司 一种巡检机器人避障路径规划方法、系统、设备和介质
AT524808A1 (de) * 2021-03-04 2022-09-15 Christian Norbert Neufeld Dr Verfahren zur festlegung eines sicherheitsbereiches
CN117279746A (zh) * 2021-05-19 2023-12-22 发那科株式会社 机器人系统
CN113545609B (zh) * 2021-06-04 2022-09-30 哈尔滨工业大学 一种图书馆图书上架装置
US20220395979A1 (en) * 2021-06-15 2022-12-15 X Development Llc Automated safety assessment for robot motion planning
SE2151256A1 (en) * 2021-10-13 2023-04-14 Husqvarna Ab Improved navigation for a robotic work tool system
WO2023066460A1 (en) * 2021-10-19 2023-04-27 Abb Schweiz Ag Method of handling safety of industrial robot, control system and robot system
WO2023174873A1 (de) * 2022-03-15 2023-09-21 Kuka Deutschland Gmbh Prüfen einer vorgegebenen bahn eines roboters

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4933864A (en) * 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
US5835684A (en) * 1994-11-09 1998-11-10 Amada Company, Ltd. Method for planning/controlling robot motion
US5548694A (en) * 1995-01-31 1996-08-20 Mitsubishi Electric Information Technology Center America, Inc. Collision avoidance system for voxel-based object representation
KR100449429B1 (ko) * 1995-09-14 2004-12-13 가부시키가이샤 야스가와덴끼 로봇의교시장치
WO2003041790A2 (en) * 2001-11-10 2003-05-22 Arizona Board Of Regents Direct cortical control of 3d neuroprosthetic devices
GB0130986D0 (en) * 2001-12-27 2002-02-13 Prophet Control Systems Ltd Programming robots with offline design
US6678582B2 (en) * 2002-05-30 2004-01-13 Kuka Roboter Gmbh Method and control device for avoiding collisions between cooperating robots
DE10305384A1 (de) * 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
JP4441409B2 (ja) * 2003-03-25 2010-03-31 ローツェ株式会社 ロボットシミュレーション装置、および、シミュレーションプログラム
JP3797986B2 (ja) * 2003-07-03 2006-07-19 ファナック株式会社 ロボットオフラインシミュレーション装置
JP2005081445A (ja) * 2003-09-04 2005-03-31 Fanuc Ltd ロボットの干渉領域確認装置
JP3732494B2 (ja) * 2003-10-31 2006-01-05 ファナック株式会社 シミュレーション装置
US7447593B2 (en) * 2004-03-26 2008-11-04 Raytheon Company System and method for adaptive path planning
JP2008502488A (ja) * 2004-06-15 2008-01-31 エービービー エービー 複数の相互作用ロボットをオフラインでプログラミングする方法及びシステム
JP2006239844A (ja) * 2005-03-04 2006-09-14 Sony Corp 障害物回避装置、障害物回避方法及び障害物回避プログラム並びに移動型ロボット装置
US8930023B2 (en) * 2009-11-06 2015-01-06 Irobot Corporation Localization by learning of wave-signal distributions
JP4375320B2 (ja) * 2005-10-27 2009-12-02 株式会社日立製作所 移動ロボット
DE102005058867B4 (de) * 2005-12-09 2018-09-27 Cine-Tv Broadcast Systems Gmbh Verfahren und Vorrichtung zum Bewegen einer auf einem Schwenk- und Neigekopf angeordneten Kamera entlang einer vorgegebenen Bewegungsbahn
JP4159577B2 (ja) * 2005-12-13 2008-10-01 ファナック株式会社 複数のロボット間のインターロック自動設定装置及び自動設定方法
US7627394B2 (en) * 2005-12-20 2009-12-01 Kuka Roboter Gmbh Robot trajectory control including emergency evacuation path system and method
WO2007121357A2 (en) * 2006-04-13 2007-10-25 Fanuc Robotics America, Inc. Dynamic space check for multi-arm system moving on a rail
US8924021B2 (en) * 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
EP1855194B1 (en) * 2006-05-11 2018-07-04 ABB Schweiz AG Synchronization of a graphical program and a robot program
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
EP2041516A2 (en) * 2006-06-22 2009-04-01 Roy Sandberg Method and apparatus for robotic path planning, selection, and visualization
US8355818B2 (en) * 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
DE502006009264D1 (de) * 2006-09-30 2011-05-19 Abb Technology Ag Verfahren und System zur Auslegung und Überprüfung von Sicherheitsbereichen eines Roboters
JP4550849B2 (ja) * 2007-03-22 2010-09-22 株式会社東芝 アーム搭載移動ロボット
JP4989532B2 (ja) * 2007-03-30 2012-08-01 成均館大学校産学協力団 移動サービスロボットの中央情報処理システム、移動サービスロボットの情報処理方法及び移動サービスロボットの情報処理方法を記録したコンピュータで読み取り可能な記録媒体
EP1978432B1 (en) * 2007-04-06 2012-03-21 Honda Motor Co., Ltd. Routing apparatus for autonomous mobile unit
US20130165945A9 (en) * 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
JP4328819B2 (ja) * 2007-11-30 2009-09-09 本田技研工業株式会社 移動装置およびその制御プログラム
US8315738B2 (en) * 2008-05-21 2012-11-20 Fanuc Robotics America, Inc. Multi-arm robot system interference check via three dimensional automatic zones
JP5329856B2 (ja) * 2008-06-27 2013-10-30 本田技研工業株式会社 行動推定システム
JP5216690B2 (ja) * 2009-06-01 2013-06-19 株式会社日立製作所 ロボット管理システム、ロボット管理端末、ロボット管理方法およびプログラム
JP2010287028A (ja) * 2009-06-11 2010-12-24 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP5440840B2 (ja) * 2009-06-11 2014-03-12 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
DE112010000035B4 (de) * 2009-08-03 2015-04-30 Honda Motor Co., Ltd. Roboter und Regelungs- /Steuerungssystem
WO2011080882A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 動作空間提示装置、動作空間提示方法およびプログラム
CN102686371B (zh) * 2010-01-25 2015-01-14 松下电器产业株式会社 危险提示装置、危险提示系统以及危险提示方法
JP5428965B2 (ja) * 2010-03-15 2014-02-26 オムロン株式会社 表示装置、表示制御方法、プログラム、およびコンピュータ読み取り可能な記録媒体
US8706298B2 (en) * 2010-03-17 2014-04-22 Raytheon Company Temporal tracking robot control system
DE102010017857B4 (de) 2010-04-22 2019-08-08 Sick Ag 3D-Sicherheitsvorrichtung und Verfahren zur Absicherung und Bedienung mindestens einer Maschine
US8723872B2 (en) * 2010-06-09 2014-05-13 Disney Enterprises, Inc. Display with robotic pixels
US20120075072A1 (en) * 2010-09-29 2012-03-29 Ravikanth Pappu Co-located radio-frequency identification fields
CN102085663B (zh) * 2010-12-22 2012-11-14 中国科学院深圳先进技术研究院 遥操作系统及方法
CN103459099B (zh) * 2011-01-28 2015-08-26 英塔茨科技公司 与一个可移动的远程机器人相互交流
JP2012218120A (ja) * 2011-04-12 2012-11-12 Seiko Epson Corp マニピュレーター動作予告装置、ロボットシステム及びマニピュレーター動作予告方法
JP2012236244A (ja) * 2011-05-10 2012-12-06 Sony Corp ロボット装置、ロボット装置の制御方法、並びにロボット装置制御用プログラム
US9744672B2 (en) * 2011-11-16 2017-08-29 University Of South Florida Systems and methods for communicating robot intentions to human beings
US9044857B2 (en) * 2012-02-14 2015-06-02 Jerry Neal Sommerville Control system that guides a robot or articulated device with a laser distance meter for 3D motion, or guides a robot or articulated device with a computer pointing device (such as a mouse) for 2D motion
US9539726B2 (en) * 2012-04-20 2017-01-10 Vanderbilt University Systems and methods for safe compliant insertion and hybrid force/motion telemanipulation of continuum robots
JP5742862B2 (ja) * 2013-03-18 2015-07-01 株式会社安川電機 ロボット装置及び被加工物の製造方法
US20150202770A1 (en) * 2014-01-17 2015-07-23 Anthony Patron Sidewalk messaging of an autonomous robot
US9387589B2 (en) * 2014-02-25 2016-07-12 GM Global Technology Operations LLC Visual debugging of robotic tasks
US9283678B2 (en) * 2014-07-16 2016-03-15 Google Inc. Virtual safety cages for robotic devices
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning

Also Published As

Publication number Publication date
US9821463B2 (en) 2017-11-21
WO2016010614A1 (en) 2016-01-21
KR101859351B1 (ko) 2018-05-18
CN106660208B (zh) 2018-06-26
US9283678B2 (en) 2016-03-15
KR20170014004A (ko) 2017-02-07
US20160207199A1 (en) 2016-07-21
KR101859350B1 (ko) 2018-05-18
JP6436604B2 (ja) 2018-12-12
JP2018086724A (ja) 2018-06-07
US9522471B2 (en) 2016-12-20
US20170043484A1 (en) 2017-02-16
JP2017523054A (ja) 2017-08-17
EP3169487A1 (en) 2017-05-24
KR20170126510A (ko) 2017-11-17
CN106660208A (zh) 2017-05-10
KR101797901B1 (ko) 2017-11-15
EP3169487B1 (en) 2021-12-15
US20160016315A1 (en) 2016-01-21
KR20170126511A (ko) 2017-11-17

Similar Documents

Publication Publication Date Title
JP6436604B2 (ja) 演算システムによって実施される方法及びシステム
US11079897B2 (en) Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world
US11826897B2 (en) Robot to human feedback
US9399294B1 (en) Displaying estimated image data in a user interface
TW201728876A (zh) 自主視覺導航
US8947522B1 (en) Systems and methods to adjust actions based on latency levels
CN106604804B (zh) 碰撞检测
JP2019082999A (ja) クラウドサービスシステムを組み込んだロボットシステム
JP6150429B2 (ja) ロボット制御システム、ロボット、出力制御プログラムおよび出力制御方法
US11618164B2 (en) Robot and method of controlling same
WO2022153669A1 (ja) 分散協調システム、及びタスク実行方法
JP2020004182A (ja) ロボット、ロボット制御プログラムおよびロボット制御方法
Będkowski et al. Methodology of control and supervision of web connected mobile robots with cuda technology application
JP2021163215A (ja) 移動体制御装置、移動体制御プログラム及び移動体
US20220011856A1 (en) Strapless autonomous extended reality viewer
WO2023127096A1 (ja) シミュレーションシステム、シミュレーション方法及びシミュレーションプログラム
Kuiper Agent perception in multi-agent based simulation systems

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170907

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180227

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180320

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180823

R150 Certificate of patent or registration of utility model

Ref document number: 6392972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250