JP6349307B2 - ワーク加工作業支援システムおよびワーク加工方法 - Google Patents
ワーク加工作業支援システムおよびワーク加工方法 Download PDFInfo
- Publication number
- JP6349307B2 JP6349307B2 JP2015513794A JP2015513794A JP6349307B2 JP 6349307 B2 JP6349307 B2 JP 6349307B2 JP 2015513794 A JP2015513794 A JP 2015513794A JP 2015513794 A JP2015513794 A JP 2015513794A JP 6349307 B2 JP6349307 B2 JP 6349307B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- image
- work
- machining
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Description
2 システム本体
3 ヘッド・マウント・ディスプレイ(HMD)
4 作業者
5、5R、5L HMDの撮像部
6、6R、6L HMDの表示部
7 ワーク
7R ワークの現実画像
7L ワークの完成形状の仮想画像
8 マーカー部材
9 マーカー部材の枠部材
10 マーカー部材の支持部
11 マーカー
12 現実画像取得部
13 記憶部
14 マーカー検出部
15 撮像部位置姿勢推定部
16 仮想画像生成部
17 画像合成部
18 保持部材
20 誤差判定部
21 仮想画像位置調整部
22 位置方向計測装置
23 マーカーの法線ベクトル
Claims (13)
- ワークの加工作業を支援するためのワーク加工作業支援システムであって、
作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像するための撮像手段と、
前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得するための位置姿勢情報取得手段と、
前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成するための仮想画像生成手段と、
前記撮像手段により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて、前記作業空間中で加工中の前記ワークと前記ワークの完成形状が重畳された合成画像を生成するための画像合成手段と、
前記合成画像を表示するための表示手段と、を備え、
前記加工作業は、前記ワークに対するプレス成形加工を含む、ワーク加工作業支援システム。 - 前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する所定の相対位置に暫定的に設置される複合現実感用マーカーを有する、請求項1記載のワーク加工作業支援システム。
- 前記位置姿勢情報取得手段は、前記ワーク上の基準点に対する相対位置が前記加工作業に伴って実質的に変化しない箇所に設置された複合現実感用マーカーを有する、請求項1または2に記載のワーク加工作業支援システム。
- 前記複合現実感用マーカーは、加工中の前記ワークを保持する保持部材に設置されている、請求項3記載のワーク加工作業支援システム。
- 前記位置姿勢情報取得手段は、前記作業者の視点位置およびその視線方向、並びに前記ワークの位置を計測するための位置方向計測装置を有する、請求項1乃至4のいずれか一項に記載のワーク加工作業支援システム。
- 前記完成形状を示す前記仮想画像は、前記加工作業における許容加工誤差を含んで生成される、請求項1乃至5のいずれか一項に記載のワーク加工作業支援システム。
- 前記ワークの前記現実画像と、前記完成形状を示す前記仮想画像との不一致箇所を前記表示手段において表示するための誤差判定手段をさらに備えた、請求項1乃至6のいずれか一項に記載のワーク加工作業支援システム。
- 前記ワークの前記現実画像と前記完成形状を示す前記仮想画像との不一致率が最小となるように、前記仮想画像を前記現実画像に対して移動させるための仮想画像位置調整手段をさらに備えた、請求項1乃至7のいずれか一項に記載のワーク加工作業支援システム。
- ワークの加工作業を支援するためのワーク加工作業支援システムを用いたワーク加工方法であって、
前記ワークを加工装置によって加工する加工工程と、
前記加工工程の途中で、作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像する撮像工程と、
前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、
前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成する仮想画像生成工程と、
前記撮像工程により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて、前記作業空間中で加工中の前記ワークと前記ワークの完成形状が重畳された合成画像を生成する画像合成工程と、
前記合成画像を表示する表示工程と、を備え、
前記加工装置は、プレス機であり、
前記加工工程は、前記ワークに対するプレス成形加工を含む、ワーク加工方法。 - 前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含む、請求項9記載のワーク加工方法。
- 前記加工工程において前記ワークの加工が進んで、ある程度まで前記ワークを加工できた段階で、前記マーカー設置工程において、加工途中の前記ワークの所定の位置に前記複合現実感用マーカーを暫定的に設置し、前記表示工程において映し出された前記合成画像に基づいて、前記ワークの完成形状を示す前記三次元の仮想画像に対して前記ワークの前記現実画像が飛び出している箇所があれば、そこを要修正箇所と判断する、請求項10記載のワーク加工方法。
- 複数の前記複合現実感用マーカーを前記ワークの表面に貼り付ける、請求項10または11に記載のワーク加工方法。
- ワークの加工作業を支援するためのワーク加工作業支援システムを用いたワーク加工方法であって、
前記ワークを加工装置によって加工する加工工程と、
前記加工工程の途中で、作業者の視点位置でその視線方向における作業空間を前記ワークと共に撮像する撮像工程と、
前記作業者の視点と、前記作業空間中の前記ワークとの相対的な位置姿勢関係を示す位置姿勢情報を取得する位置姿勢情報取得工程と、
前記位置姿勢情報に基づいて、前記視点位置およびその視線方向における前記ワークの完成形状を示す三次元の仮想画像を生成する仮想画像生成工程と、
前記撮像工程により撮像された前記作業空間の現実画像に前記仮想画像を重畳させて合成画像を生成する画像合成工程と、
前記合成画像を表示する表示工程と、を備え、
前記位置姿勢情報取得工程は、前記ワーク上の基準点に対する所定の相対位置に複合現実感用マーカーを暫定的に設置するマーカー設置工程を含み、
前記加工工程において前記ワークの加工が進んで、ある程度まで前記ワークを加工できた段階で、前記マーカー設置工程において、加工途中の前記ワークの所定の位置に前記複合現実感用マーカーを暫定的に設置し、前記表示工程において映し出された前記合成画像に基づいて、前記ワークの完成形状を示す前記三次元の仮想画像に対して前記ワークの前記現実画像が飛び出している箇所があれば、そこを要修正箇所と判断する、ワーク加工方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013091347 | 2013-04-24 | ||
JP2013091347 | 2013-04-24 | ||
PCT/JP2014/061404 WO2014175324A1 (ja) | 2013-04-24 | 2014-04-23 | ワーク加工作業支援システムおよびワーク加工方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014175324A1 JPWO2014175324A1 (ja) | 2017-02-23 |
JP6349307B2 true JP6349307B2 (ja) | 2018-06-27 |
Family
ID=51791894
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015513794A Active JP6349307B2 (ja) | 2013-04-24 | 2014-04-23 | ワーク加工作業支援システムおよびワーク加工方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10140767B2 (ja) |
JP (1) | JP6349307B2 (ja) |
KR (1) | KR101800949B1 (ja) |
CN (1) | CN105190705B (ja) |
WO (1) | WO2014175324A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
ITUB20154128A1 (it) * | 2015-10-02 | 2017-04-02 | Univ Bologna Alma Mater Studiorum | Dispositivo e metodo di monitoraggio per macchine prototipatrici e simili |
DE102015119806A1 (de) * | 2015-11-16 | 2017-05-18 | Grob-Werke Gmbh & Co. Kg | Verfahren zur Darstellung der Bearbeitung in einer Werkzeugmaschine |
JP6532393B2 (ja) * | 2015-12-02 | 2019-06-19 | 株式会社ソニー・インタラクティブエンタテインメント | 表示制御装置及び表示制御方法 |
CN105538035B (zh) * | 2015-12-24 | 2018-05-29 | 广东省自动化研究所 | 一种金属零件精密加工设备及方法 |
JP6348149B2 (ja) * | 2016-07-08 | 2018-06-27 | ファナック株式会社 | ロボットを用いてレーザ加工を行うレーザ加工ロボットシステム |
JP6866616B2 (ja) * | 2016-11-17 | 2021-04-28 | 富士通株式会社 | 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置 |
JP6392839B2 (ja) * | 2016-12-21 | 2018-09-19 | ファナック株式会社 | 画像表示装置 |
JP2018142109A (ja) * | 2017-02-27 | 2018-09-13 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
JP7193913B2 (ja) * | 2017-10-31 | 2022-12-21 | 株式会社日立製作所 | 検査作業管理システム及び検査作業管理方法 |
US11118733B2 (en) * | 2017-12-13 | 2021-09-14 | China National Offshore Oil Corp. | Three-dimensional layoutlayout method for splicing vault plates of large LNG storage tank |
EP3581425B1 (en) * | 2018-06-12 | 2021-03-17 | Kubota Corporation | Working machine |
JP2020008903A (ja) * | 2018-07-02 | 2020-01-16 | 株式会社ミツトヨ | 測定データ観察装置、測定支援装置、及びプログラム |
JP7180245B2 (ja) * | 2018-09-27 | 2022-11-30 | 日本電産株式会社 | 加工機械用データ処理装置及び加工機械用データ管理システム |
JP7307592B2 (ja) * | 2019-05-24 | 2023-07-12 | キヤノン株式会社 | 計測装置、撮像装置、制御方法及びプログラム |
EP3754119B1 (en) * | 2019-06-17 | 2023-08-09 | Kubota Corporation | Work vehicle with improved control valves controllers |
CA3168638A1 (en) * | 2020-01-23 | 2021-07-29 | Clo Virtual Fashion Inc. | Automatic determination of sewing lines for assembling pattern pieces of garment |
WO2021161530A1 (ja) * | 2020-02-14 | 2021-08-19 | ヤマザキマザック株式会社 | 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム |
CN112879401A (zh) * | 2020-12-30 | 2021-06-01 | 富泰华精密电子(成都)有限公司 | 工件加工方法 |
JP7349651B1 (ja) | 2022-10-25 | 2023-09-25 | 国立大学法人静岡大学 | 作業データ収集方法、作業教示方法、作業実行方法、システム、及びプログラム |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6522312B2 (en) * | 1997-09-01 | 2003-02-18 | Canon Kabushiki Kaisha | Apparatus for presenting mixed reality shared among operators |
JP3450704B2 (ja) * | 1997-09-01 | 2003-09-29 | キヤノン株式会社 | 位置姿勢検出装置及び情報処理方法 |
JP3653196B2 (ja) | 1998-06-30 | 2005-05-25 | 飛島建設株式会社 | 仮想現実感を利用した施工支援情報システム。 |
JP2002006919A (ja) * | 2000-06-20 | 2002-01-11 | Nissan Motor Co Ltd | 作業指示装置における位置検出方法および位置検出装置 |
US7286696B2 (en) * | 2000-10-18 | 2007-10-23 | Erickson Ronald R | Method and apparatus for utilizing representational images in commercial and other activities |
US20020133264A1 (en) * | 2001-01-26 | 2002-09-19 | New Jersey Institute Of Technology | Virtual reality system for creation of design models and generation of numerically controlled machining trajectories |
US6879874B2 (en) * | 2001-09-03 | 2005-04-12 | Siemens Aktiengesellschaft | Evaluating excessive tolerances in NC parts programs |
JP2003150219A (ja) * | 2001-11-12 | 2003-05-23 | Fanuc Ltd | 作業機械のシミュレーション装置 |
JP2003303356A (ja) | 2002-04-09 | 2003-10-24 | Canon Inc | 展示装置 |
JP3944019B2 (ja) * | 2002-07-31 | 2007-07-11 | キヤノン株式会社 | 情報処理装置および方法 |
JP4366165B2 (ja) | 2003-09-30 | 2009-11-18 | キヤノン株式会社 | 画像表示装置及び方法並びに記憶媒体 |
JP4356983B2 (ja) | 2004-02-10 | 2009-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP4537104B2 (ja) | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
DE102005009437A1 (de) * | 2005-03-02 | 2006-09-07 | Kuka Roboter Gmbh | Verfahren und Vorrichtung zum Einblenden von AR-Objekten |
JP4909176B2 (ja) | 2007-05-23 | 2012-04-04 | キヤノン株式会社 | 複合現実感提示装置及びその制御方法、コンピュータプログラム |
JP4963094B2 (ja) * | 2007-09-11 | 2012-06-27 | 独立行政法人産業技術総合研究所 | 作業支援装置 |
JP5384178B2 (ja) | 2008-04-21 | 2014-01-08 | 株式会社森精機製作所 | 加工シミュレーション方法及び加工シミュレーション装置 |
US9221117B2 (en) * | 2009-07-08 | 2015-12-29 | Lincoln Global, Inc. | System for characterizing manual welding operations |
CN101920233A (zh) * | 2010-07-09 | 2010-12-22 | 广东工业大学 | 一种基于虚拟现实技术的喷涂工业机器人综合控制系统及控制方法 |
JP5594088B2 (ja) * | 2010-11-22 | 2014-09-24 | トヨタ自動車株式会社 | 製造ラインの検討システム |
US9345957B2 (en) | 2011-09-30 | 2016-05-24 | Microsoft Technology Licensing, Llc | Enhancing a sport using an augmented reality display |
EP2590040B1 (en) * | 2011-11-04 | 2014-05-28 | Nivora IP B.V. | Method and device for aiding in manual handling of a work piece during machining |
US9679414B2 (en) * | 2013-03-01 | 2017-06-13 | Apple Inc. | Federated mobile device positioning |
US9713852B2 (en) * | 2013-03-15 | 2017-07-25 | Illinois Tool Works Inc. | Welding training systems and devices |
-
2014
- 2014-04-23 CN CN201480023202.6A patent/CN105190705B/zh active Active
- 2014-04-23 WO PCT/JP2014/061404 patent/WO2014175324A1/ja active Application Filing
- 2014-04-23 US US14/787,108 patent/US10140767B2/en active Active
- 2014-04-23 KR KR1020157031985A patent/KR101800949B1/ko active IP Right Grant
- 2014-04-23 JP JP2015513794A patent/JP6349307B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR101800949B1 (ko) | 2017-11-23 |
JPWO2014175324A1 (ja) | 2017-02-23 |
KR20150139608A (ko) | 2015-12-11 |
CN105190705A (zh) | 2015-12-23 |
US20160078681A1 (en) | 2016-03-17 |
US10140767B2 (en) | 2018-11-27 |
CN105190705B (zh) | 2019-05-10 |
WO2014175324A1 (ja) | 2014-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6349307B2 (ja) | ワーク加工作業支援システムおよびワーク加工方法 | |
JP6138566B2 (ja) | 部品取付作業支援システムおよび部品取付方法 | |
JP6344890B2 (ja) | 部品組立作業支援システムおよび部品組立方法 | |
JP5845211B2 (ja) | 画像処理装置、画像処理方法 | |
US7974462B2 (en) | Image capture environment calibration method and information processing apparatus | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
JP6008397B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
US20130342913A1 (en) | System for highlighting targets on head up displays with near focus plane | |
JP2017187667A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
JP2010210458A (ja) | 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ | |
JP7005224B2 (ja) | 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
JP6061334B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
JP5858773B2 (ja) | 3次元計測方法、3次元計測プログラム及びロボット装置 | |
JP6295296B2 (ja) | 複合システム及びターゲットマーカ | |
JP2017102696A (ja) | 頭部装着型表示装置およびコンピュータープログラム | |
JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
CN111372698A (zh) | 作业辅助系统及作业辅助方法 | |
CN114465910B (zh) | 一种基于增强现实技术的机械加工设备校准方法 | |
JP6890524B2 (ja) | 姿勢制御システム | |
JP2016218839A (ja) | Ar情報表示装置 | |
JP2023117824A (ja) | 情報処理方法及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180525 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180604 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6349307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |