JP7471428B2 - 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体 - Google Patents

製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体 Download PDF

Info

Publication number
JP7471428B2
JP7471428B2 JP2022545801A JP2022545801A JP7471428B2 JP 7471428 B2 JP7471428 B2 JP 7471428B2 JP 2022545801 A JP2022545801 A JP 2022545801A JP 2022545801 A JP2022545801 A JP 2022545801A JP 7471428 B2 JP7471428 B2 JP 7471428B2
Authority
JP
Japan
Prior art keywords
robot
movement
wearable headset
trajectory
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022545801A
Other languages
English (en)
Other versions
JP2023511617A (ja
Inventor
ストーン，クリステン，エム．
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2023511617A publication Critical patent/JP2023511617A/ja
Application granted granted Critical
Publication of JP7471428B2 publication Critical patent/JP7471428B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39451—Augmented reality for robot programming
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40131—Virtual reality control, programming of manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Description

本開示は、概してロボット工学システムを対象とする。より具体的には、本開示は、製造又は産業環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するためのシステム及び方法に関する。
いくつかの環境では、人間とロボットとの協調の試験及び実装は、産業用ロボットによって生成される高速な動き及び大きい力のため、危険になり得る。人間及び産業用ロボットが共通の作業場を共有するときには常に、事故が発生する可能性が高く、ほとんどの場合に常に予測不可能である。これは、人間ロボット協調の方針の開発を妨げており、人間及びロボットが近くでどのように一緒に作業すべきかについての規制を当局が通過させる能力を妨げている。
本開示は、製造又は産業環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するためのシステム及び方法に関する。
第1の実施形態では、方法は、製造環境における産業用ロボットの第1の位置から第2の位置への動きを決定するステップを含む。当該方法はまた、ロボットの動きの軌跡を示す画像をウェアラブルヘッドセットに表示するステップを含む。画像の表示は、ロボットのリアルタイムの実画像に重ねられた軌跡の拡張現実(augmented reality, AR)グラフィカル画像若しくはビデオを表示すること、又は軌跡と共にロボットのグラフィカル表示を示す仮想現実(virtual reality, VR)グラフィカル画像若しくはビデオを表示することのうち少なくとも1つを含む。
第2の実施形態では、システムは、命令を記憶するように構成された少なくとも1つのメモリと、少なくとも1つのメモリに結合された少なくとも1つのプロセッサとを含む。少なくとも1つのプロセッサは、製造環境における産業用ロボットの第1の位置から第2の位置への動きを決定し、ロボットの動きの軌跡を示す画像を表示するようにウェアラブルヘッドセットを制御するように構成される。ウェアラブルヘッドセットの制御は、ロボットのリアルタイムの実画像に重ねられた軌跡のARグラフィカル画像若しくはビデオを表示するようにウェアラブルヘッドセットを制御すること、又は軌跡と共にロボットのグラフィカル表示を示すVRグラフィカル画像若しくはビデオを表示するようにウェアラブルヘッドセットを制御することのうち少なくとも1つを含む。
第3の実施形態では、非一時的コンピュータ読み取り可能媒体は、実行されると、少なくとも1つのプロセッサに、製造環境における産業用ロボットの第1の位置から第2の位置への動きを決定させ、ロボットの動きの軌跡を示す画像をウェアラブルヘッドセットに表示するようにウェアラブルヘッドセットを制御させる命令を含む。ウェアラブルヘッドセットの制御は、ロボットのリアルタイムの実画像に重ねられた軌跡のARグラフィカル画像若しくはビデオを表示するようにウェアラブルヘッドセットを制御すること、又は軌跡と共にロボットのグラフィカル表示を示すVRグラフィカル画像若しくはビデオを表示するようにウェアラブルヘッドセットを制御することのうち少なくとも1つを含む。
他の技術的特徴は、以下の図面、説明及び特許請求の範囲から当業者に容易に明らかになり得る。
本開示のより完全な理解のために、添付の図面と併せて以下の説明に参照が行われる。
本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的なシステムを示す。 本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的なデバイスを示す。 本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的なアーキテクチャを示す。 図３のアーキテクチャでの使用に適したロボットの例を示す。 本開示によるウェアラブルヘッドセットに表示されるロボットの動きの軌跡の例を示す。 本開示によるウェアラブルヘッドセットに表示されるロボットの動きの画像の例を示す。 本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的な方法を示す。
以下に説明する図１～図６、及び本特許文献において本発明の原理を説明するために使用される様々な実施形態は、例示のためのものに過ぎず、決して本発明の範囲を限定するように解釈されるべきではない。当業者は、本発明の原理がいずれかのタイプの適切に配置されたデバイス又はシステムで実施されてもよいことを理解する。
上記のように、人間とロボットとの協調の試験及び実装は、産業用ロボットによって生成される高速な動き及び大きい力のため、危険になり得る。人間及び産業用ロボットが共通の作業場を共有するときには常に、事故が発生する可能性が高く、ほとんどの場合に常に予測不可能である。さらに、一般的な知識不足による技術の普及率の低さ、ロボット工学ソリューションの信頼性の欠如、及びロボットが人間から仕事を奪うという認識を含み、ロボット工学との人間の協調を促進する上での複数のハードルが存在する。これは、人間ロボット協調の方針の開発を妨げており、人間及びロボットが近くでどのように一緒に作業すべきかについての規制を当局が通過させる能力を妨げている。
人間とロボットとの協調の試験及び実装を促進するために、いくつかの既存の製造環境は、プログラミング又は実装のプロセスを通じて作業者及びエンジニアが歩き回る対面訓練を使用する。多くのこのようなシステムは、ロボット経路プログラムを開発するためにコンピュータ支援設計(computer aided design, CAD)に依存する。しかし、このようなプログラミングは、作業者のフィードバック及び製造環境の適切な現実感を提供しない。
これら及び他の問題に対処するために、本開示は、製造環境において人間の作業者と協調ロボットとの間の相互作用を容易にするために、仮想現実又は拡張現実を使用するためのシステム及び方法を提供する。当技術分野において知られているように、仮想現実(virtual reality, VR)は、一般的に、現実世界の環境でもよく或いはそうでなくてもよい、環境の人工的シミュレーション又はレクリエーションを作成する技術を示す。拡張現実(augmented reality, AR)は、一般的に、コンピュータ生成されたコンテンツが現実世界の環境に重ねられる技術を示す。ARでは、デバイスが現実世界シーン上にコンピュータ生成されたグラフィックスを使用してレンダリングされたシーンを単一の結合シーンにオーバレイするために使用されるとき、拡張現実シーンが実現できる。これらのシーンでは、仮想シーンは現実シーンの特徴にマッチし、仮想オブジェクトが現実世界に実際に存在するという幻想を与える。
以下により詳細に説明するように、本明細書に開示のシステム及び方法は、ロボット工学を以前は限られた技術を有する可能性があった環境に加えることで認識性及び快適性を促進するために、協調ロボット工学(例えば、車両及びアーム)のためのロボット軌跡計画を提供する。開示の実施形態は、AR及びVRと、モーションセンサと、ロボット工学とを、人間及びロボット工学が効果的に作業する協調性を促進するようにリンクする。例えば、開示の実施形態は、ロボットの移動前、移動中及び移動後を含み、リアルタイムで多品種製造環境のための軌跡経路及びパターンを示すように、拡張ビューを作業者又はエンジニアに提供する。開示の実施形態は、作業者が、新たな技術で作業する一人称の没入的な経験を有し、当該分野においてロボット工学で効果的に作業する正しい方法を特定することを可能にする。これは、協調ロボットを取り巻く訓練、知識移転、信頼性及び安全性を促進する。
図１は、本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的なシステム100を示す。図１に示すように、システム100は、複数のユーザデバイス102a～102dと、少なくとも1つのネットワーク104と、少なくとも1つのサーバ106と、少なくとも1つのデータベース108とを含む。しかし、コンポーネントの他の組み合わせ及び配置がここで使用されてもよい点に留意する。
この例では、各ユーザデバイス102a～102dは、ネットワーク104に結合されるか或いはネットワーク104上で通信する。各ユーザデバイス102a～102dとネットワーク104との間の通信は、有線又は無線接続を介するもののように、いずれか適切な方法で行われてもよい。各ユーザデバイス102a～102dは、情報をサーバ106又はデータベース108に提供するために、或いは、サーバ106又はデータベース108から情報を受信するために、少なくとも1つのユーザによって使用されるいずれか適切なデバイス又はシステムを表す。
いずれか適切な数及びタイプのユーザデバイス102a～102dがシステム100において使用されてもよい。この特定の例では、ユーザデバイス102aはデスクトップコンピュータを表し、ユーザデバイス102bはラップトップコンピュータを表し、ユーザデバイス102cはスマートフォンを表し、ユーザデバイス102dはタブレットコンピュータを表す。しかし、スマートウォッチ、ウェアラブルセンサ、フィットネストラッカ等のように、いずれか他のタイプ又は更なるタイプのユーザデバイスがシステム100において使用されてもよい。各ユーザデバイス102a～102dは、情報を送信及び/又は受信するように構成されたいずれか適切な構造を含む。
ネットワーク104は、システム100の様々なコンポーネントの間の通信を容易にする。例えば、ネットワーク104は、ネットワークアドレスの間でインターネットプロトコル(Internet Protocol, IP)パケット、フレームリレーフレーム、非同期転送モード(Asynchronous Transfer Mode, ATM)セル又は他の適切な情報を通信してもよい。ネットワーク104は、1つ以上のローカルエリアネットワーク(local area network, LAN)、メトロポリタンエリアネットワーク(metropolitan area network, MAN)、広域ネットワーク(wide area network, WAN)、インターネットのようなグローバルネットワークの全部若しくは一部、又は1つ以上の位置における他の通信システム若しくはシステムを含んでもよい。ネットワーク104はまた、いずれか適切な通信プロトコルに従って動作してもよい。
サーバ106は、ネットワーク104に結合され、データベース108に結合されるか或いはデータベース108と通信する。サーバ106は、データベース108からの情報の検索及びその情報の処理をサポートする。当然に、データベース108は、情報を記憶するためにサーバ106内で使用されてもよく、その場合、サーバ106は、情報自体を記憶してもよい。
とりわけ、サーバ106は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための情報を処理する。サーバ106は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するように構成されたいずれか適切な構造を含む。いくつかの実施形態では、サーバ106は、1つ以上のプロセッサと、1つ以上のメモリと、1つ以上の通信インターフェースとを含む。しかし、サーバ106は、記載の機能を実行するためにいずれか適切な方式で実装されてもよい点に留意する。また、ここではサーバとして記載されるが、サーバ106を実際に実装するデバイスは、1つ以上のデスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ又は他の計算若しくはデータ処理デバイス若しくはシステムを表してもよい点に留意する。
データベース108は、サーバ106及びユーザデバイス102a～102dによって使用、生成又は収集された様々な情報を記憶する。例えば、データベース108は、ロボット動き情報、ロボット命令情報、センサ情報、AR/VR画像及びビデオ等を記憶してもよい。
製造環境において協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための記載の機能を提供するために、システム100を実装するための多くの可能な方法が存在する。例えば、いくつかの実施形態では、サーバ106及びデータベース108は、共通のエンティティによって所有、操作又は管理される。他の実施形態では、サーバ106及びデータベース108は、異なるエンティティによって所有、操作又は管理される。しかし、本開示は、いずれか特定の組織の実装に限定されない点に留意する。
図１は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するためのシステム100の一例を示しているが、図１には様々な変更が行われてもよい。例えば、システム100は、任意の数のユーザデバイス102a～102d、ネットワーク104、サーバ106及びデータベース108を含んでもよい。また、図１は、1つのデータベース108がネットワーク104に結合されることを示しているが、任意の数のデータベース108がサーバ106によってアクセス可能ないずれかの位置に存在してもよく、各データベース108は、サーバ106に直接的又は間接的に結合されてもよい。さらに、図１は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実が使用される1つの例示的な動作環境を示しているが、この機能は、いずれか他の適切なシステムにおいて使用されてもよい。
図２は、本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的なデバイス200を示す。デバイス200の1つ以上のインスタンスは、例えば、図１のサーバ106の機能を少なくとも部分的に実装するために使用されてもよい。しかし、サーバ106の機能は、いずれか他の適切な方式で実装されてもよい。また、図１のユーザデバイス102a～102dのうち1つ以上の機能を少なくとも部分的に実装するために、同じ配置又は同様の配置のコンポーネントが使用されてもよい。しかし、各ユーザデバイス102a～102dの機能は、いずれか他の適切な方式で実装されてもよい。
図２に示すように、デバイス200は、少なくとも1つの処理デバイス202と、少なくとも1つの記憶デバイス204と、少なくとも1つの通信ユニット206と、少なくとも1つの入力/出力(input/output, I/O)ユニット208とを含む計算デバイス又はシステムを示す。処理デバイス202は、メモリ210にロードできる命令を実行してもよい。処理デバイス202は、いずれか適切な数及びタイプのプロセッサ又はいずれか適切な配置の他のデバイスを含む。例示的なタイプの処理デバイス202は、1つ以上のマイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(digital signal processor, DSP)、特定用途向け集積回路(application specific integrated circuit, ASIC)、フィールドプログラマブルゲートアレイ(field programmable gate array, FPGA)又はディスクート回路を含む。
メモリ210及び永続ストレージ212は、情報(データ、プログラムコード及び/又は一時的又は永続的な他の適切な情報等)を記憶し、容易に検索できるいずれかの構造を表す記憶デバイス204の例である。メモリ210は、ランダムアクセスメモリ又はいずれか他の適切な揮発性若しくは不揮発性記憶デバイスを表してもよい。永続ストレージ212は、読み取り専用メモリ、ハードドライブ、フラッシュメモリ又は光ディスクのような、データの長期記憶をサポートする1つ以上のコンポーネント又はデバイスを含んでもよい。
通信ユニット206は、他のシステム又はデバイスとの通信をサポートする。例えば、通信ユニット206は、ネットワーク104のような有線又は無線ネットワーク上の通信を容易にするネットワークインタフェースカード又は無線トランシーバを含むことができる。通信ユニット206は、いずれか適切な物理又は無線通信リンクを通じた通信をサポートしてもよい。
I/Oユニット208は、データの入力及び出力を可能にする。例えば、I/Oユニット208は、キーボード、マウス、キーパッド、タッチスクリーン又は他の適切な入力デバイスを通じてユーザ入力のための接続を提供してもよい。I/Oユニット208はまた、出力をディスプレイ、プリンタ又は他の適切な出力デバイスに送信してもよい。しかし、デバイス200が遠隔からアクセスできるときのように、デバイス200がローカルI/Oを必要としない場合、I/Oユニット208が省略されてもよい点に留意する。
いくつかの実施形態では、処理デバイス202によって実行される命令は、上記のサーバ106の機能を実装する命令を含むことができる。例えば、処理デバイス202によって実行される命令は、以下に説明するように、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための命令を含むことができる。
図２は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するためのデバイス200の一例を示しているが、図２には様々な変更を行われてもよい。例えば、コンピューティングデバイス及びシステムは様々な構成で提供され、図２は、この開示をいずれか特定のコンピューティングデバイス又はシステムに限定しない。
図３は、本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的なアーキテクチャ300を示す。説明を容易にするために、アーキテクチャ300は、図１に示すシステム100の1つ以上のコンポーネントを使用して実装されるものとして記載される。しかし、アーキテクチャ300は、いずれか他の適切なシステムで実装されてもよい。
図３に示すように、アーキテクチャ300は、ロボット305と、作業者310と、ウェアラブルヘッドセット315と、1つ以上のセンサ320と、ワークステーション325と、ネットワーク330とを含む。以下により詳細に説明するように、アーキテクチャ300の使用は、例えば、ロボット305の動きが生じる前、生じている間又は生じた後に、ロボット305の動きの軌跡を見ることによって、作業者310がロボット305と快適になるのを助ける。
ロボット305は、部品を組み立てるためのロボットのように、製造現場において使用される産業用ロボットである。図４は、アーキテクチャ300における使用に適したロボット305の例を示す。図４に示すように、ロボット305は、複数のアームと、延長部と、回転点とを含み、一般的に401～406で示す複数の自由度の動きを可能にする。いくつかの実施形態では、ロボット305は、人間よりも大きくてもよく、動きの自由度401～406のうち1つ以上における突然の急速な動きを可能にすることができ、これは、ロボット305の或る部分が毎秒数フィート又はそれ以上速く動くことを生じることができる。
作業者310は、ロボット305が動作する製造現場で作業タスクを実行する人間の作業者である。本開示によれば、作業者310及びロボット305は、製造タスクに関連する連携動作を実行することによって協調する。例えば、1つのタスクにおいて、ロボット305は、部品を作業者310の近くに移動させ、次いで、作業者310は、部品に対して組み立て動作を実行する。部品が組み立てられると、ロボット305は、更に下流の製造動作のために、組み立てられた部品を作業者310から離すように移動させる。いくつかの環境では、作業者310は、物理的距離又は安全構造(例えば、障壁、壁、ケージ等)によって、ロボット305の少なくともいくつかの動きから保護される。しかし、協調環境では、作業者310とロボット305との間にはほとんど分離が存在しない可能性がある。したがって、ロボットの動きは、作業者310に現実の危険又は認識される危険を示す可能性がある。
ウェアラブルヘッドセット315(AR/VRウェアラブルヘッドセットとも呼ばれる)は、ロボット305との協調運動中に作業者310によって装着されるウェアラブルデバイス(スマートグラス、ヘッドマウントデバイス(head-mounted device, HMD)等)である。以下により詳細に説明するように、ウェアラブルヘッドセット315は、AR、VR又はこれらの2つの組み合わせを使用した効果的な視覚訓練を作業者310に提供する。視覚訓練は、作業者310がどのようにロボット305と協調して作業するかを理解するのを助ける。特に、ウェアラブルヘッドセット315は、異なるシナリオにおけるロボット305の動きの軌跡を示すために、リアルタイムプログラミング視覚フィードバックを提供できる。ウェアラブルヘッドセット315は、AR/VR画像を表示することに関連する情報を送信及び受信するための有線又は無線通信ユニットと、情報を記憶するためのメモリと、情報を処理するための処理デバイスとを含むことができる。いくつかの実施形態では、ウェアラブルヘッドセット315は、図２のデバイス200を表す(或いはこれによって表される)。
センサ320は、アーキテクチャ300内の部品の物理量を測定するか或いは現在の状態を検出し、測定又は検出された情報を電気信号に変換するように構成される。センサ320は、ウェアラブルセンサ、外部センサ又はこれらの2つの組み合わせを含むことができる。ウェアラブルセンサは、スマートウォッチ、フィットネストラッカ等のような、作業者310によって装着されるセンサを含む。外部センサは、作業者の環境(例えば、作業者の近く)にあるが、作業者によって直接装着されないセンサを含む。このようなセンサは、室温、光、ノイズ等を検出して測定するための環境センサと、製品又はプロセスパラメータ(機械速度、タンク圧力、材料量又はスループット等)を測定するための機械センサと、作業者の外部環境における状態を測定するためのいずれか他の適切なセンサを含むことができる。
いくつかの実施形態では、さらに或いは代替として、センサ320は、ジェスチャセンサ、ジャイロスコープ若しくはジャイロセンサ、空気圧センサ、磁気センサ若しくは磁力計、加速度センサ又は加速度計、グリップセンサ、近接センサ、カラーセンサ(赤緑青(red green blue, RGB)センサ等)、生物物理センサ、温度センサ、湿度センサ、照明センサ、紫外線(ultraviolet, UV)センサ、筋電図(electromyography, EMG)センサ、脳波(electroencephalogram, EEG)センサ、心電図(electrocardiogram, ECG)センサ、赤外線(infrared, IR)センサ、超音波センサ、虹彩センサ、オーディオセンサ又は指紋センサを含むことができる。センサ320はまた、1つ以上の加速度計、ジャイロスコープ及び他のコンポーネントを含むことができる慣性測定ユニットを含むことができる。センサ320は、センサのうち少なくとも1つを制御するための制御回路を更に含むことができる。これらのセンサ320のいずれかは、ロボット305又はウェアラブルヘッドセット315のようなアーキテクチャ300の他のコンポーネントの一部でもよく、或いは、その内部に配置されてもよい。
ワークステーション325は、ロボット305の訓練又はプログラミングの間に、作業者310又はエンジニアによって使用できる。ワークステーション325は、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、携帯電話等のようないずれか適切な計算デバイスを含む。いくつかの実施形態では、ワークステーション325は、図１のユーザデバイス102a～102d又はサーバ106のうち1つを表してもよい(或いはこれによって表されてもよい)。
ロボット305、ウェアラブルヘッドセット315、センサ320及びワークステーション325は、ネットワーク330を介して情報を共有するように構成される。ネットワーク330は、アーキテクチャ300のコンポーネントの間での情報通信のためのいずれか適切なネットワーク(無線、有線、又はこれらの2つの組み合わせを含む)を表す。いくつかの実施形態では、ネットワーク330は、図１のネットワーク104を表してもよい(或いはこれによって表されてもよい)。
いくつかの実施形態では、製造環境は、多品種少量生産環境である。このような環境では、作業者310のようなほとんどの作業者は、ロボット305がプログラミングされている生産ハードウェアの全てに精通していない。すなわち、作業者310は、ロボット305(又は製造環境内の他のロボット)のいくつかの側面に精通することがある(或いは精通していないことがある)が、作業者310は、多品種生産のために、全てのロボット構成に精通していない可能性が高い。したがって、作業者が動作前にロボット305の性能を見る能力を有することが有用である。
動作の一側面では、作業者310は、ロボット305との訓練環境にある。いくつかの実施形態では、訓練環境は、ロボット305が製造において使用される実際の作業環境(例えば、工場作業場)とすることができる。他の実施形態では、訓練環境は、ロボット305が訓練目的のために配置される訓練ラボとすることができる。
訓練環境では、作業者310はウェアラブルヘッドセット315を装着し、ウェアラブルヘッドセット315を通じて見ることによって、作業者310は、ロボット305が物体を拾い上げ、物体を異なる位置に移動させ、物体を置く等の単純な動きを実行するのを見ることができる。いくつかの実施形態では、作業者310は、ロボット305を制御する。他の実施形態では、ロボット305の動きは、誰か他の人によって制御されるか或いは予めプログラミングされる。典型的な製造環境では、各ロボットは、複数のタイプの動きのための予め定義された経路を有する。
ロボット305の動きに関して、作業者310によって装着されるウェアラブルヘッドセット315は、ロボットの動きの軌跡のグラフィカル画像を表示する。いくつかの実施形態では、軌跡は、動きの開始点から動きの終了点までのグラフィカルな線として現れることができる。作業者310が投影された軌跡を視覚的に見ることを可能にすることは、真に協調的なロボット工学システムを導入するハードルを除去するのに役立つ。
図５Ａは、本開示によるウェアラブルヘッドセット315に表示されるロボットの動きの軌跡の例を示す。図５Ａに示すように、ロボット305は、第1の位置から第2の位置への複数の動きを実行する。ウェアラブルヘッドセット315は、ロボット305が第1の位置(すなわち、開始点)から第2の位置(すなわち、終了点)までたどる経路を示す1つ以上の軌跡501～503を表示する。AR技術を使用して、軌跡501～503は、ロボット305の実際のビューに重ねられて表示される。図５Ａでは、ロボット305の3つの異なる動きを表す3つの軌跡501～503が表示される。実施形態に依存して、3つの軌跡501～503は、ウェアラブルヘッドセット315に一緒に表示されてもよく(例えば、ロボット305の動きの範囲を示すため)、或いは、ウェアラブルヘッドセット315に一度に1つの軌跡501～503のみが表示されてもよい。ロボットの動きの軌跡501～503を表示することに加えて、ウェアラブルヘッドセット315は、ロボットの経路計画、想定される実行時間、又はロボットの動きへのカウントダウンのような、ロボット305の動きに関連する他の情報を表示でき、作業者310が安全を感じ、ロボット305が作業者の位置に関してどこで移動しているかを確信することを可能にする。
いくつかの実施形態では、ウェアラブルヘッドセット315は、実際のロボット305が移動するのと同じ経路で移動するロボット305のVR画像(例えば、グラフィック表示又は「アニメーション」又はロボット)を表示してもよい。したがって、ウェアラブルヘッドヘッドセット315は、動きを表す線又は矢印だけでなく、ロボット305及びその動きの実際のグラフィック表示も表示する。
図５Ｂは、本開示によるウェアラブルヘッドセット315に表示されるロボットの動きのVR画像の例を示す。図５Ｂに示すように、ウェアラブルヘッドセット315は、ロボット305のグラフィカル画像505と、VR技術を使用したロボットの動きとを示す。したがって、ウェアラブルヘッドセット315を装着する作業者310は、実際のロボット305のリアルタイムのビューを見なくてもよい。ウェアラブルヘッドセット315はまた、グラフィカル画像505の動きを示す軌跡504を示す。図５Ｂに示すVR画像は、ロボット305の実際の動きが生じないとき、作業者310にとって有用になり得る。例えば、作業者310がまさに起きようとしていることに備えるために、VR画像504～505は、ロボット305の実際の動きの前に表示されてもよい。他の例として、VR画像504～505は、ロボット305の実際の動きの後に表示されてもよく、それにより、作業者310は、作業者310がちょうど見たものを再検討できる。
いくつかの実施形態では、作業者310は、ロボット305の周りを動き、異なる角度、位置及び視点からロボット305の動きを見ることができる。このような場合、グラフィカル画像501～505を含むVR又はAR画像は、作業者310の現在の位置及び方向に基づいて生成され、作業者310の位置及び方向が変化するにつれて変化することができる。
いくつかの実施形態では、センサ320は、作業者310がロボット305の位置及び場所を認識することを可能にし、ロボット305が作業者310の位置を認識することを可能にし、作業者310又はロボット305が製造環境の他の特性を認識することを可能にし、或いは、これらの組み合わせを可能にする。例えば、作業者310がロボットの投影軌跡から動いていない場合、作業者310によって装着されたモーションキャプチャセンサ320は、どこに作業者310が位置するかの即座のフィードバックをロボット305に提供できる。これは、作業者310を想定される作業空間内で安全に保つために、ロボット305が作業者310とロボット305との間の分離を維持するように動きを停止すること又はその動きを遅くすることを可能にする。他の例として、ロボット305に接続されたモーションキャプチャセンサ320は、作業者310がロボットの投影軌跡から動いていない場合、どこにロボット305が位置するかの即座のフィードバックを作業者310に提供できる。これは、作業者310がロボット305の経路から移動すること又はロボット305の動きを一時停止することを可能にする。
いくつかの実施形態では、作業者310がウェアラブルヘッドセット315を使用してVR/AR訓練を完了すると、訓練の完了が訓練システムにフィードバックされ、次いで、訓練システムは、作業者310が実際の生産環境でロボット305を使用する権限を与える。
ウェアラブルヘッドセット315を装着している間に作業者310によって実行される訓練はまた、ロボット305の経路プログラミングと組み合わせることもできる。例えば、エンジニアは、どのプログラミングが各シナリオに最も適合するかを特定するために、実際の製造環境シナリオに基づいてCADから経路へのプログラミングの拡張バージョンとして、作業者310によって実行される訓練を使用することができる。
動作の一態様では、エンジニアは、ウェアラブルヘッドセット315を装着した作業者310がロボット305と相互作用する間に、ロボットプログラミングを実行するためにワークステーション325を使用することができる。いくつかの実施形態では、ワークステーション325は、ウェアラブルヘッドセット315に示されるのと同じ情報を表示できる。したがって、作業者310及びエンジニアは、AR又はVRビューにおいてロボット305の軌跡経路を一緒に見ることができる。いくつかの実施形態では、ウェアラブルヘッドセット315は、作業者310にAR又はVR軌跡の表示を含むことができる現実環境での多数のシミュレーションを実行させるように、ゲーミフィケーション(gamification)を作業者310に提供できる。作業者310がシミュレーションを実行する間に、エンジニアはワークステーション325で観察し、したがって、エンジニアがロボット305のCADから経路へのプログラミングをサポートすることを可能にする。
例えば、各シミュレーションは、実際の製造シナリオを模倣することができる。シミュレーションの間に、作業者310は、作業者310が利用できる情報及び訓練に基づいて、特定の決定を行う。数分以内に、作業者310は、各決定がどのように成功したかを知らされることができる。作業者310は、訓練及び認識のためにシミュレーションを実行することができ、シミュレーションにおいて作業者310によって実行された動作は、ロボット305のプログラミングに通知するためにワークステーション325に記録できる。例えば、訓練シミュレーションの間に、エンジニアは、1つ以上の制御又は安全パラメータを修正できる。修正の後に、修正がロボット305の動作にどのように影響するかを試験又は実証するために、シミュレーションが再度実行できる。
いくつかの実施形態では、ロボット305との訓練中に、作業者310の動き及び制限(例えば、垂直方向の到達範囲の制限)が観察されて記録され、ロボット305は、作業者310の能力及び制限(ロボット305が部品を作業者310に渡す場合又はその逆の場合)に適合するように、その動きを変更するようにプログラミングできる。その後、生産環境において、作業者310のバッジ又は他のIDがスキャンされて、作業者310の能力及び限界に適合するようにロボット305の到達範囲及び軌跡プログラムを自動的に変更できる。
いくつかの実施形態では、ウェアラブルヘッドセット315はまた、作業者310への作業指示を表示できる。当技術分野において知られているように、ほとんどの製造施設は、作業者が部品の組立又は製品の検査のような各製造タスクを実行するための標準化されて予め承認された作業指示のセットを有する。本開示によれば、ウェアラブルヘッドセット315に表示される作業指示は、ロボット305の特定の動作にリンクされた情報を含むことができる。例えば、作業指示は、ロボット305の動きのビデオ又は画像を含むことができる。いくつかの実施形態では、作業者310は、ユーザ入力を提供すること等によって(例えば、ウェアラブルヘッドセット315上のコントロールに触れることによって)、ウェアラブルヘッドセット315上の作業指示からロボットシーケンスを開始できる。ユーザ入力に応じて、ロボット305は、その命令に従って動くように進む。
いくつかの実施形態では、ウェアラブルヘッドセット315は、他のタイプの訓練情報を表示できる。例えば、ウェアラブルヘッドセット315は、製造環境における良好な動作手順又は悪い動作手順を示す製造ロボット工学モデルを示す1つ以上のホログラフィック画像を表示できる。ホログラフィック画像は、人間、ロボット自体又はこれらの組み合わせを表すことができる。また、いくつかの実施形態では、ウェアラブルヘッドセット315は、ロボット305に接続されたカメラのリアルタイムフィードを表示して、ロボット305によって動作が適切に実行されたことを検証するための「ロボットビュー」を作業者310に提供できる。
図３は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するためのアーキテクチャの一例を示しているが、図3には様々な変更が行われてもよい。例えば、ロボット、センサ、作業者及びネットワークの数、並びにこれらのコンポーネントが配置されて接続される方式は、図３に示すものとは異なってもよい。一般的に、システムアーキテクチャは、広範囲の構成で行われ、図３は、この開示を、いずれか特定の配置のコンポーネントに限定しない。
図６は、本開示による製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための例示的な方法600を示す。説明を容易にするために、図６の方法600は、図２の1つ以上のデバイス200を使用して実施され得る、図３のアーキテクチャ300を使用して実行されるものとして記載されることがある。しかし、方法600は、いずれか適切なシステムにおけるいずれか適切なデバイス及びアーキテクチャの使用を含んでもよい。
図６に示すように、ステップ602において、製造環境における産業用ロボットの第1の位置から第2の位置への動きが決定される。これは、例えば、ウェアラブルヘッドセット315の処理デバイスがロボット305の第1の位置から第2の位置への動きを決定することを含んでもよい。
ステップ604において、画像がウェアラブルヘッドセットに表示され、画像はロボットの動きの軌跡を示す。これは、例えば、ウェアラブルヘッドセット315がロボット305の動きの軌跡を示すことを含んでもよい。特に、これは、例えば、ウェアラブルヘッドセット315がロボット305のリアルタイムの実画像に重ねられた軌跡501～503のARグラフィック画像若しくはビデオを表示すること、ウェアラブルヘッドセット315が軌跡504と共にロボット305のグラフィック表示505を示すVRグラフィック画像若しくはビデオを表示すること、又はこれらの2つの組み合わせを含んでもよい。いくつかの実施形態では、ロボット305の動きの軌跡は、ロボット305が動くときに表示される。
ステップ606において、ロボットの所望の第2の動きを示すユーザ入力が受信される。これは、例えば、作業者310がウェアラブルヘッドセット315又はワークステーション325上のコントロールに触れることを含んでもよい。
ステップ608において、第2の動きを実行するための命令がロボットに提供される。これは、例えば、ウェアラブルヘッドセット315又はワークステーション325が移動命令をロボット305に送信することを含んでもよい。
ステップ610において、第2の画像がウェアラブルヘッドセットに表示され、第2の画像はロボットの第2の動きの軌跡を示す。これは、例えば、ウェアラブルヘッドセット315がロボット305の第2の動きの軌跡を示す第2のAR又はVRグラフィカル画像を表示することを含んでもよい。
ステップ612において、製造タスクの作業指示がウェアラブルヘッドセットに表示される。作業指示は、製造タスク中のロボットの動きに関するものである。これは、例えば、ウェアラブルヘッドセット315がロボット305の動きに関する作業指示を表示することを含んでもよい。
ステップ614において、ロボットの経路プログラミングのための情報が、製造環境においてウェアラブルヘッドセットからワークステーションに送信される。情報は、ロボットを含む訓練シミュレーション中にウェアラブルヘッドセットを装着する人の1つ以上の行動に関する。これは、例えば、作業者310がロボット305を含む訓練シミュレーションを実行する間に、ウェアラブルヘッドセット315が訓練情報をワークステーション325に送信することを含んでもよい。
図６は、製造環境における協調ロボットとの相互作用のために仮想現実又は拡張現実を使用するための方法600の一例を示しているが、図６には様々な変更が行われてもよい。例えば、一連のステップとして示されているが、図６における様々なステップは重複してもよく、並列に発生してもよく、異なる順序で発生してもよく、或いは任意の回数で発生してもよい。
いくつかの実施形態では、この特許文献に記載の様々な機能は、コンピュータ読み取り可能プログラムコードから形成され且つコンピュータ読み取り可能媒体に具現されたコンピュータプログラムによって実施又はサポートされる。「コンピュータ読み取り可能プログラムコード」という語句は、ソースコード、オブジェクトコード及び実行可能コードを含むいずれかのタイプのコンピュータコードを含む。「コンピュータ読み取り可能媒体」という語句は、読み取り専用メモリ(read only memory, ROM)、ランダムアクセスメモリ(random access memory, RAM)、ハードディスクドライブ、コンパクトディスク(compact disc, CD)、ディジタルビデオディスク(digital video disc, DVD)又はいずれか他のタイプのメモリのような、コンピュータによってアクセス可能ないずれかのタイプの媒体を含む。「非一時的」なコンピュータ読み取り可能媒体は、一時的な電気信号又は他の信号を伝送する有線、無線、光又は他の通信リンクを除外する。非一時的なコンピュータ読み取り可能媒体は、再書き込み可能光ディスク又は消去可能記憶デバイスのように、データを永続的に記憶できる媒体と、データが記憶されて後に上書きできる媒体とを含む。
この特許文献を通じて使用される特定の単語及び語句の定義を示すことは有利になり得る。「アプリケーション」及び「プログラム」という用語は、適切なコンピュータコード(ソースコード、オブジェクトコード又は実行可能コードを含む)における実施に適合された、1つ以上のコンピュータプログラム、ソフトウェアコンポーネント、命令のセット、手順、機能、オブジェクト、クラス、インスタンス、関連データ又はこれらの一部を示す。「通信する」という用語は、その派生形と共に、直接的通信及び間接的通信の双方を包含する。「含む(include)」及び「含む(comprise)」という用語は、これらの派生形と共に、限定のない包含を意味する。「又は」という用語は包含的であり、及び/又はを意味する。「関連する」という語句及びその派生形は、含むこと、含まれること、相互接続すること、包含すること、包含されること、接続すること、結合すること、通信すること、協力すること、交互配置すること、並列すること、近接すること、結び付けられること、有すること、特性を有すること、関係を有すること等を意味してもよい。「少なくとも1つ」という語句は、項目のリストと共に使用されるとき、リストされた項目の1つ以上の異なる組み合わせが使用されてもよく、リスト内の1つの項目のみが必要とされ得ることを意味する。例えば、「A、B及びCの少なくとも1つ」は、A、B、C、A及びB、A及びC、B及びC、並びにA及びB及びCの組み合わせのいずれかを含む。
本出願における説明は、いずれか特定の要素、ステップ又は機能が、特許請求の範囲に含まれなければならない必須又は重要な要素であることを意味するものとして読まれるべきではない。特許される対象物の範囲は、許可される請求項によってのみ定義される。さらに、どの請求項も、特定の請求項において「するための手段」又は「するためのステップ」という正確な語句に続いて機能を特定する特定の語句が明示的に使用されていない限り、特許請求の範囲又は請求項の要素のいずれに関しても35 U.S.C §112(f)を引き起こさないものとする。請求項内の「メカニズム」、「モジュール」、「デバイス」、「ユニット」、「コンポーネント」、「要素」、「部材」、「装置」、「機械」、「システム」、「プロセッサ」又は「コントローラ」のような用語の使用は、請求項自体の特徴によって更に修正又は強化されるものとして、関連技術の当業者に知られた構造を示すことが理解され、意図するものであり、特許法第112条(f)を引き起こすことを意図するものではない。
本開示は、特定の実施形態及び一般的に関連する方法について記載しているが、これらの実施形態及び方法の変更及び順列は、当業者には明らかである。したがって、例示的な実施形態の上記の説明は、本開示を定義又は制限しない。以下の特許請求の範囲によって定義される本開示の真意及び範囲から逸脱することなく、他の変更、置換及び変更も可能である。

Claims (20)

  1. 製造環境における産業用ロボットの第1の位置から第2の位置への動きを決定するステップと、
    前記ロボットの前記動きの軌跡を示す画像をウェアラブルヘッドセットに表示するステップであり、前記ロボットのリアルタイムの実画像に重ねられた前記軌跡の拡張現実(AR)グラフィカル画像若しくはビデオを表示すること、又は前記軌跡と共に前記ロボットのグラフィカル表示を示す仮想現実(VR)グラフィカル画像若しくはビデオを表示することのうち少なくとも1つを含む、ステップと、
    前記ロボットを含む訓練シミュレーション中に前記ウェアラブルヘッドセットを装着する人の1つ以上の行動に関する情報を受信するステップであり、前記情報は前記人の動きの制限を示す、ステップと、
    前記人の前記動きの制限に適合するための前記ロボットの経路プログラミングのために前記情報を前記製造環境におけるワークステーションに送信するステップと
    を含む方法。
  2. 前記ロボットの所望の第2の動きを示すユーザ入力を受信するステップと、
    前記第2の動きを実行するための命令を前記ロボットに提供するステップと、
    前記ロボットの前記第2の動きの軌跡を示す第2の画像を前記ウェアラブルヘッドセットに表示するステップと
    を更に含む、請求項１に記載の方法。
  3. 前記ロボットの前記動きの前記軌跡は、前記ロボットが動くときに表示される、請求項１に記載の方法。
  4. 前記ウェアラブルヘッドセットを装着する前記人の前記ロボットに対する位置又は方向の変化に応じて、前記ロボットの前記動きの前記軌跡を示す前記画像を変化させるステップを更に含む、請求項１に記載の方法。
  5. 製造タスクの作業指示を前記ウェアラブルヘッドセットに表示するステップであり、前記作業指示は、前記製造タスク中の前記ロボットの動きに関する、ステップを更に含む、請求項１に記載の方法。
  6. 少なくとも1つのセンサから、前記ロボット又は前記ウェアラブルヘッドセットを装着する前記人のうち少なくとも1つの位置情報を受信するステップと、
    前記ロボットと前記人との間の分離を維持するために、前記位置情報に基づいて前記ロボットの前記動きを制御するステップと
    を更に含む、請求項１に記載の方法。
  7. 命令を記憶するように構成された少なくとも1つのメモリと、前記少なくとも1つのメモリに結合された少なくとも1つのプロセッサとを含むシステムであって、
    前記少なくとも1つのプロセッサは、前記命令を実行したとき、
    製造環境における産業用ロボットの第1の位置から第2の位置への動きを決定し、
    前記ロボットの前記動きの軌跡を示す画像を表示するようにウェアラブルヘッドセットを制御するように構成され、
    前記制御することは、前記ロボットのリアルタイムの実画像に重ねられた前記軌跡の拡張現実(AR)グラフィカル画像若しくはビデオを表示するように前記ウェアラブルヘッドセットを制御すること、又は前記軌跡と共に前記ロボットのグラフィカル表示を示す仮想現実(VR)グラフィカル画像若しくはビデオを表示するように前記ウェアラブルヘッドセットを制御することのうち少なくとも1つを含み、
    前記ロボットを含む訓練シミュレーション中に前記ウェアラブルヘッドセットを装着する人の1つ以上の行動に関する情報を受信するように構成され、前記情報は前記人の動きの制限を示し、
    前記人の前記動きの制限に適合するための前記ロボットの経路プログラミングのために前記情報を前記製造環境におけるワークステーションに送信するように構成される、システム。
  8. 前記少なくとも1つのプロセッサは、
    前記ロボットの所望の第2の動きを示すユーザ入力を受信し、
    前記第2の動きを実行するための命令を前記ロボットに提供し、
    前記ロボットの前記第2の動きの軌跡を示す第2の画像を表示するように前記ウェアラブルヘッドセットを制御するように更に構成される、請求項７に記載のシステム。
  9. 前記少なくとも1つのプロセッサは、
    前記ロボットが動くときに、前記ロボットの前記動きの前記軌跡を表示するように前記ウェアラブルヘッドセットを制御するように構成される、請求項７に記載のシステム。
  10. 前記少なくとも1つのプロセッサは、
    前記ウェアラブルヘッドセットを装着する前記人の前記ロボットに対する位置又は方向の変化に応じて、前記ロボットの前記動きの前記軌跡を示す前記画像を変化させるように前記ウェアラブルヘッドセットを制御するように更に構成される、請求項７に記載のシステム。
  11. 前記少なくとも1つのプロセッサは、
    製造タスクの作業指示を表示するように前記ウェアラブルヘッドセットを制御するように更に構成され、前記作業指示は、前記製造タスク中の前記ロボットの動きに関する、請求項７に記載のシステム。
  12. 前記少なくとも1つのプロセッサは、
    少なくとも1つのセンサから、前記ロボット又は前記ウェアラブルヘッドセットを装着する前記人のうち少なくとも1つの位置情報を受信し、
    前記ロボットと前記人との間の分離を維持するために、前記位置情報に基づいて前記ロボットの動きを制御するように更に構成される、請求項７に記載のシステム。
  13. 命令を含む非一時的なコンピュータ読み取り可能媒体であって、
    前記命令は、実行されると、少なくとも1つのプロセッサに、
    製造環境における産業用ロボットの第1の位置から第2の位置への動きを決定させ、
    前記ロボットの前記動きの軌跡を示す画像をウェアラブルヘッドセットに表示するように前記ウェアラブルヘッドセットを制御させ、
    前記制御することは、前記ロボットのリアルタイムの実画像に重ねられた前記軌跡の拡張現実(AR)グラフィカル画像若しくはビデオを表示するように前記ウェアラブルヘッドセットを制御すること、又は前記軌跡と共に前記ロボットのグラフィカル表示を示す仮想現実(VR)グラフィカル画像若しくはビデオを表示するように前記ウェアラブルヘッドセットを制御することのうち少なくとも1つを含み、
    前記ロボットを含む訓練シミュレーション中に前記ウェアラブルヘッドセットを装着する人の1つ以上の行動に関する情報を受信させ、前記情報は前記人の動きの制限を示し、
    前記人の前記動きの制限に適合するための前記ロボットの経路プログラミングのために前記情報を前記製造環境におけるワークステーションに送信させる、非一時的なコンピュータ読み取り可能媒体。
  14. 前記命令は、さらに、前記少なくとも1つのプロセッサに、
    前記ロボットの所望の第2の動きを示すユーザ入力を受信させ、
    前記第2の動きを実行するための命令を前記ロボットに提供させ、
    前記ロボットの前記第2の動きの軌跡を示す第2の画像を表示するように前記ウェアラブルヘッドセットを制御させる、請求項１３に記載の非一時的なコンピュータ読み取り可能媒体。
  15. 前記ロボットの前記動きの前記軌跡は、前記ロボットが動くときに表示される、請求項１３に記載の非一時的なコンピュータ読み取り可能媒体。
  16. 前記命令は、さらに、前記少なくとも1つのプロセッサに、
    前記ウェアラブルヘッドセットを装着する前記人の前記ロボットに対する位置又は方向の変化に応じて、前記ロボットの前記動きの前記軌跡を示す前記画像を変化させるように前記ウェアラブルヘッドセットを制御させる、請求項１３に記載の非一時的なコンピュータ読み取り可能媒体。
  17. 前記命令は、さらに、前記少なくとも1つのプロセッサに、
    製造タスクの作業指示を表示するように前記ウェアラブルヘッドセットを制御させ、前記作業指示は、前記製造タスク中の前記ロボットの動きに関する、請求項１３に記載の非一時的なコンピュータ読み取り可能媒体。
  18. 前記命令は、さらに、前記少なくとも1つのプロセッサに、
    少なくとも1つのセンサから、前記ロボット又は前記ウェアラブルヘッドセットを装着する前記人のうち少なくとも1つの位置情報を受信させ、
    前記ロボットと前記人との間の分離を維持するために、前記位置情報に基づいて前記ロボットの動きを制御させる、請求項１３に記載のコンピュータ読み取り可能媒体。
  19. 前記ロボットの前記動きの前記軌跡を示す前記画像は、前記ロボットの前記動きが生じる前に、前記ウェアラブルヘッドセットに表示される、請求項１に記載の方法。
  20. 前記少なくとも1つのプロセッサは、前記ロボットの前記動きが生じる前に、前記ロボットの前記動きの前記軌跡を示す前記画像を表示するように前記ウェアラブルヘッドセットを制御するように構成される、請求項８に記載のシステム。
JP2022545801A 2020-01-30 2020-12-14 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体 Active JP7471428B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202062968075P 2020-01-30 2020-01-30
US62/968,075 2020-01-30
US16/836,569 2020-03-31
US16/836,569 US11529737B2 (en) 2020-01-30 2020-03-31 System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment
PCT/US2020/064903 WO2021154407A1 (en) 2020-01-30 2020-12-14 System and method for using virtual/augmented reality for interaction with collaborative robots in manufacturing or industrial environment

Publications (2)

Publication Number Publication Date
JP2023511617A JP2023511617A (ja) 2023-03-20
JP7471428B2 true JP7471428B2 (ja) 2024-04-19

Family

ID=77061598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022545801A Active JP7471428B2 (ja) 2020-01-30 2020-12-14 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体

Country Status (5)

Country Link
US (1) US11529737B2 (ja)
EP (1) EP4096874A1 (ja)
JP (1) JP7471428B2 (ja)
KR (1) KR20220128655A (ja)
WO (1) WO2021154407A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288883B2 (en) * 2019-07-23 2022-03-29 Toyota Research Institute, Inc. Autonomous task performance based on visual embeddings
EP4399067A1 (en) * 2021-09-08 2024-07-17 Acumino Wearable robot data collection system with human-machine operation interface
US20230311338A1 (en) * 2022-04-05 2023-10-05 General Electric Company Apparatus and Method for Tool Monitoring
CN116363926B (zh) * 2023-03-31 2024-01-05 福建奥瑞斯机器人工程技术有限公司 一种工业机器人应用一体化教学设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019188530A (ja) 2018-04-25 2019-10-31 ファナック株式会社 ロボットのシミュレーション装置
JP2019188531A (ja) 2018-04-25 2019-10-31 ファナック株式会社 ロボットのシミュレーション装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
DE10305384A1 (de) 2003-02-11 2004-08-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen
US7099745B2 (en) 2003-10-24 2006-08-29 Sap Aktiengesellschaft Robot system using virtual world
WO2011160222A1 (en) 2010-06-22 2011-12-29 National Research Council Of Canada Cognitive function assessment in a patient
WO2012065175A2 (en) 2010-11-11 2012-05-18 The Johns Hopkins University Human-machine collaborative robotic systems
CN103702631A (zh) 2011-05-05 2014-04-02 约翰霍普金斯大学 用于分析任务轨迹的方法和系统
WO2013039551A1 (en) 2011-09-15 2013-03-21 Persimmon Technologies Corporation System and method for operation of a robot
US9836987B2 (en) 2014-02-14 2017-12-05 Lincoln Global, Inc. Virtual reality pipe welding simulator and setup
WO2016032807A1 (en) 2014-08-25 2016-03-03 Google Inc. Methods and systems for augmented reality to display virtual representations of robotic device actions
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9643314B2 (en) 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
EP3268949B1 (en) 2015-03-09 2021-05-26 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
US10956739B2 (en) * 2016-06-27 2021-03-23 Autodesk, Inc. Augmented reality robotic system visualization
US10078916B2 (en) 2016-07-01 2018-09-18 Invia Robotics, Inc. Pick to augmented reality
US10866631B2 (en) 2016-11-09 2020-12-15 Rockwell Automation Technologies, Inc. Methods, systems, apparatuses, and techniques for employing augmented reality and virtual reality
US11011077B2 (en) 2017-06-29 2021-05-18 Verb Surgical Inc. Virtual reality training, simulation, and collaboration in a robotic surgical system
US10796486B2 (en) 2017-07-05 2020-10-06 Textron Innovations, Inc. Augmented visualization for manufacturing
US12099344B2 (en) 2017-11-03 2024-09-24 R4N63R Capital Llc Workspace actor selection systems and methods
US11079897B2 (en) 2018-05-24 2021-08-03 The Calany Holding S. À R.L. Two-way real-time 3D interactive operations of real-time 3D virtual objects within a real-time 3D virtual world representing the real world

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019188530A (ja) 2018-04-25 2019-10-31 ファナック株式会社 ロボットのシミュレーション装置
JP2019188531A (ja) 2018-04-25 2019-10-31 ファナック株式会社 ロボットのシミュレーション装置

Also Published As

Publication number Publication date
WO2021154407A1 (en) 2021-08-05
US11529737B2 (en) 2022-12-20
KR20220128655A (ko) 2022-09-21
JP2023511617A (ja) 2023-03-20
US20210237275A1 (en) 2021-08-05
EP4096874A1 (en) 2022-12-07

Similar Documents

Publication Publication Date Title
JP7471428B2 (ja) 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体
US11986963B2 (en) Augmented reality coordination of human-robot interaction
Eswaran et al. Augmented reality-based guidance in product assembly and maintenance/repair perspective: A state of the art review on challenges and opportunities
Gadre et al. End-user robot programming using mixed reality
Matsas et al. Design of a virtual reality training system for human–robot collaboration in manufacturing tasks
JP5246672B2 (ja) ロボットシステム
US10751877B2 (en) Industrial robot training using mixed reality
Solanes et al. Teleoperation of industrial robot manipulators based on augmented reality
Szafir Mediating human-robot interactions with virtual, augmented, and mixed reality
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
CN108228345A (zh) 用于交互式认知任务协助的系统和方法
US20130116828A1 (en) Robot teach device with 3-d display
Huy et al. See-through and spatial augmented reality-a novel framework for human-robot interaction
JP2004209641A (ja) 工業ロボットをプログラミングするための方法およびシステム
Lotsaris et al. AR based robot programming using teaching by demonstration techniques
Bogaerts et al. Connecting the CoppeliaSim robotics simulator to virtual reality
JP6462847B2 (ja) 動作評価装置、動作評価方法、及びプログラム
WO2019120481A1 (en) System and method for determining a transformation representation
Xue et al. Enabling human-robot-interaction for remote robotic operation via augmented reality
CN112262373B (zh) 基于视图的断点
WO2020049999A1 (ja) 製造支援システム，方法，プログラム
Cardenas et al. AARON: assistive augmented reality operations and navigation system for NASA’s exploration extravehicular mobility unit (xEMU)
Qiao et al. Teleoperation of the industrial robot: augmented reality application
Janecký et al. Using Mixed Reality for Control and Monitoring of Robot Model Based on Robot Operating System 2.
JP2024150577A (ja) 人間とロボットの相互作用の拡張現実調整

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240409

R150 Certificate of patent or registration of utility model

Ref document number: 7471428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150