JP6538760B2 - 複合現実シミュレーション装置及び複合現実シミュレーションプログラム - Google Patents
複合現実シミュレーション装置及び複合現実シミュレーションプログラム Download PDFInfo
- Publication number
- JP6538760B2 JP6538760B2 JP2017122450A JP2017122450A JP6538760B2 JP 6538760 B2 JP6538760 B2 JP 6538760B2 JP 2017122450 A JP2017122450 A JP 2017122450A JP 2017122450 A JP2017122450 A JP 2017122450A JP 6538760 B2 JP6538760 B2 JP 6538760B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- real
- unit
- information display
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
- G05B19/4069—Simulating machining process on screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、周辺機器のサイズや周辺機器の設置情報を3次元データとして計測し、ROBOGUIDE(登録商標)のようなシミュレータに取込んでシミュレーションをしたり、工場の機器などのリソースを動作データおよび3次元形状データによってモデル化した仮想工場の機器モデルを用いてシミュレーションしたりする技術が知られている(例えば、特許文献2参照)。
また、構成する部品が大型で大重量のプレス機械のような大型機械の大型部品を分解組立するシミュレーション方法が知られている(例えば、特許文献3参照)。
具体的には、作業者は、コントローラ400のAボタン402を押して、仮想3DオブジェクトIを現実の被配置物Rに対して移動可能なモードにする。そして作業者は、十字キー401の4つのキーのうちのいずれかを押すことにより、そのキーに対応する方向へ仮想3DオブジェクトIを移動させて、ロボットを設置させたい位置にロボットの仮想3DオブジェクトIを配置させる。そして作業者は、コントローラ400のBボタン403を押して、仮想3DオブジェクトIを現実の被配置物Rに対して固定する。
本実施形態では、複合現実シミュレーション装置1は、仮想3DオブジェクトIを、現実の被配置物Rに立体的に重ね合わせて表示するHMD300と、HMD300から現実の被配置物Rまでの距離を計測する距離画像センサ200と、仮想3DオブジェクトIを、HMD300において現実の被配置物Rに対して相対的に移動させて表示させるコントローラ400と、仮想3DオブジェクトIを、HMD300において現実の被配置物Rに立体的に重ね合わせて表示するように、HMD300に対して制御を行い、仮想3DオブジェクトIを、HMD300において現実の被配置物Rに対して相対的に移動させて表示させるように、コントローラ400に対して制御を行う制御装置100と、を備える。
Claims (5)
- 仮想オブジェクトを、現実の被配置物に立体的に重ね合わせて表示する複合情報表示部と、
前記複合情報表示部から前記現実の被配置物までの距離を計測する距離計測部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させる仮想オブジェクト相対移動部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に立体的に重ね合わせて表示するように、前記複合情報表示部に対して制御を行い、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させるように、前記仮想オブジェクト相対移動部に対して制御を行う制御部と、
を備え、
前記仮想オブジェクトは、ロボットと、前記ロボットの動作範囲を示す領域表示とを含む複合現実シミュレーション装置。 - 前記複合情報表示部に前記現実の被配置物と立体的に重ね合わせられて表示された前記仮想オブジェクトと、前記現実の被配置物と、の相対的な位置関係を示す情報を出力可能である請求項1に記載の複合現実シミュレーション装置。
- 前記複合情報表示部は、ヘッドマウントディスプレイにより構成される請求項1又は請求項2に記載の複合現実シミュレーション装置。
- タブレット型の端末により構成される請求項1〜請求項2のいずれかに記載の複合現実シミュレーション装置。
- コンピュータを複合現実シミュレーション装置として機能させるための複合現実シミュレーションプログラムであって、
前記コンピュータを、
ロボットの動作範囲を示す領域表示を含む仮想オブジェクトを、現実の被配置物に立体的に重ね合わせて表示する複合情報表示部と、
前記複合情報表示部から前記現実の被配置物までの距離を計測する距離計測部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示する仮想オブジェクト相対移動部と、
前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に立体的に重ね合わせて表示するように、前記複合情報表示部に対して制御を行い、前記仮想オブジェクトを、前記複合情報表示部において前記現実の被配置物に対して相対的に移動させて表示させるように、前記仮想オブジェクト相対移動部に対して制御を行う制御部と、
を備える複合現実シミュレーション装置として機能させる複合現実シミュレーションプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122450A JP6538760B2 (ja) | 2017-06-22 | 2017-06-22 | 複合現実シミュレーション装置及び複合現実シミュレーションプログラム |
US15/973,798 US20180374265A1 (en) | 2017-06-22 | 2018-05-08 | Mixed reality simulation device and computer readable medium |
DE102018207962.5A DE102018207962A1 (de) | 2017-06-22 | 2018-05-22 | Mischrealitätssimulationsvorrichtung und Mischrealitätssimulationsprogramm |
CN201810631574.7A CN109116807B (zh) | 2017-06-22 | 2018-06-19 | 复合现实模拟装置以及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017122450A JP6538760B2 (ja) | 2017-06-22 | 2017-06-22 | 複合現実シミュレーション装置及び複合現実シミュレーションプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019008473A JP2019008473A (ja) | 2019-01-17 |
JP6538760B2 true JP6538760B2 (ja) | 2019-07-03 |
Family
ID=64567833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017122450A Active JP6538760B2 (ja) | 2017-06-22 | 2017-06-22 | 複合現実シミュレーション装置及び複合現実シミュレーションプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180374265A1 (ja) |
JP (1) | JP6538760B2 (ja) |
CN (1) | CN109116807B (ja) |
DE (1) | DE102018207962A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10712902B2 (en) * | 2017-07-14 | 2020-07-14 | Sst Systems, Inc. | Augmented reality system for conveyor system and method |
JP7443014B2 (ja) * | 2019-10-08 | 2024-03-05 | 大豊精機株式会社 | ロボットアーム試験装置 |
CN115087948A (zh) | 2020-02-19 | 2022-09-20 | 发那科株式会社 | 工业机械的操作系统 |
JP7246530B1 (ja) | 2022-01-18 | 2023-03-27 | Dmg森精機株式会社 | 工作機械、工作機械の制御方法、および工作機械の制御プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10305384A1 (de) * | 2003-02-11 | 2004-08-26 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zur Visualisierung rechnergestützter Informationen |
CN101727508B (zh) * | 2008-10-13 | 2014-05-07 | 机械科学研究总院先进制造技术研究中心 | 一种基于虚拟现实技术的大型装备研发方法 |
WO2011080882A1 (ja) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
JP5439281B2 (ja) * | 2010-05-27 | 2014-03-12 | エヌ・ティ・ティ・コムウェア株式会社 | ユーザ視点空間映像提示装置、ユーザ視点空間映像提示方法及びプログラム |
JP2014174589A (ja) * | 2013-03-06 | 2014-09-22 | Mega Chips Corp | 拡張現実システム、プログラムおよび拡張現実提供方法 |
JP5742862B2 (ja) * | 2013-03-18 | 2015-07-01 | 株式会社安川電機 | ロボット装置及び被加工物の製造方法 |
EP2979446A1 (en) * | 2013-03-26 | 2016-02-03 | Seiko Epson Corporation | Head-mounted display device, control method of head-mounted display device, and display system |
US9256072B2 (en) * | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
US9607437B2 (en) * | 2013-10-04 | 2017-03-28 | Qualcomm Incorporated | Generating augmented reality content for unknown objects |
CN103761996B (zh) * | 2013-10-18 | 2016-03-02 | 中广核检测技术有限公司 | 基于虚拟现实技术的无损检测机器人智能检测方法 |
CN103996322B (zh) * | 2014-05-21 | 2016-08-24 | 武汉湾流科技股份有限公司 | 一种基于增强现实的焊接操作训练模拟方法及系统 |
US9283678B2 (en) * | 2014-07-16 | 2016-03-15 | Google Inc. | Virtual safety cages for robotic devices |
JP6598191B2 (ja) * | 2015-05-15 | 2019-10-30 | 国立大学法人九州大学 | 画像表示システムおよび画像表示方法 |
JP2017010387A (ja) * | 2015-06-24 | 2017-01-12 | キヤノン株式会社 | システム、複合現実表示装置、情報処理方法及びプログラム |
JP6126667B2 (ja) * | 2015-11-12 | 2017-05-10 | 京セラ株式会社 | 表示装置、制御システムおよび制御プログラム |
US10373381B2 (en) * | 2016-03-30 | 2019-08-06 | Microsoft Technology Licensing, Llc | Virtual object manipulation within physical environment |
-
2017
- 2017-06-22 JP JP2017122450A patent/JP6538760B2/ja active Active
-
2018
- 2018-05-08 US US15/973,798 patent/US20180374265A1/en not_active Abandoned
- 2018-05-22 DE DE102018207962.5A patent/DE102018207962A1/de active Pending
- 2018-06-19 CN CN201810631574.7A patent/CN109116807B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
DE102018207962A1 (de) | 2018-12-27 |
CN109116807B (zh) | 2020-06-12 |
US20180374265A1 (en) | 2018-12-27 |
JP2019008473A (ja) | 2019-01-17 |
CN109116807A (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6538760B2 (ja) | 複合現実シミュレーション装置及び複合現実シミュレーションプログラム | |
Tavares et al. | Collaborative welding system using BIM for robotic reprogramming and spatial augmented reality | |
US11220002B2 (en) | Robot simulation device | |
CN103909525B (zh) | 机器人系统显示装置 | |
JP5390813B2 (ja) | 空間情報表示装置及び支援装置 | |
JP2003150219A (ja) | 作業機械のシミュレーション装置 | |
CN107422686B (zh) | 用于允许对一个或更多个装置的远程控制的设备 | |
JP7097251B2 (ja) | 施工管理システム | |
US10614149B2 (en) | Coordinate information conversion device and computer readable medium | |
CN104897091A (zh) | 关节臂坐标测量机 | |
JP2017020972A (ja) | 三次元形状計測装置、三次元形状計測方法、及びプログラム | |
Yap et al. | Virtual reality based support system for layout planning and programming of an industrial robotic work cell | |
US20190329411A1 (en) | Simulation device for robot | |
KR101471852B1 (ko) | 스마트장치, 로봇정보 제공장치, 로봇 궤적 생성 방법 및 로봇 작업교시 방법 | |
US8451267B2 (en) | Pipe installation support apparatus | |
US11538201B2 (en) | Display device and display program | |
WO2022190545A1 (ja) | 安全検証装置、安全検証方法、およびプログラム | |
US11965736B2 (en) | Measurement routine motion represented by 3D virtual model | |
JP2016078142A (ja) | ロボット装置の制御方法、およびロボット装置 | |
JP2022089663A (ja) | 情報処理装置 | |
US20230339103A1 (en) | Information processing system, information processing method, robot system, robot system control method, article manufacturing method using robot system, and recording medium | |
WO2024028953A1 (ja) | プログラミング装置 | |
US20230356401A1 (en) | Method of Controlling a Construction Robot and Construction Robot | |
WO2023089953A1 (ja) | 監視装置、設定支援装置、エリア設定方法、及び設定支援方法 | |
WO2022249295A1 (ja) | ロボットシミュレーション装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190128 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6538760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |