TWI788796B - 擴增實境的機械連結作業方法 - Google Patents

擴增實境的機械連結作業方法 Download PDF

Info

Publication number
TWI788796B
TWI788796B TW110107703A TW110107703A TWI788796B TW I788796 B TWI788796 B TW I788796B TW 110107703 A TW110107703 A TW 110107703A TW 110107703 A TW110107703 A TW 110107703A TW I788796 B TWI788796 B TW I788796B
Authority
TW
Taiwan
Prior art keywords
aforementioned
tool
mechanical connection
augmented reality
bolt
Prior art date
Application number
TW110107703A
Other languages
English (en)
Other versions
TW202141405A (zh
Inventor
山口剛二郎
中田祥吾
平井祐輔
楊娜
谷田雄太
岡田智仙
Original Assignee
日商京都機械工具股份有限公司
日商日立製作所股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商京都機械工具股份有限公司, 日商日立製作所股份有限公司 filed Critical 日商京都機械工具股份有限公司
Publication of TW202141405A publication Critical patent/TW202141405A/zh
Application granted granted Critical
Publication of TWI788796B publication Critical patent/TWI788796B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
    • B25B23/00—Details of, or accessories for, spanners, wrenches, screwdrivers
    • B25B23/14—Arrangement of torque limiters or torque indicators in wrenches or screwdrivers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Processing Or Creating Images (AREA)
  • General Factory Administration (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Motors That Do Not Use Commutators (AREA)
  • Manipulator (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本發明之機械連結作業方法，在擴增實境空間中，機械連結部與機械連結部虛擬體是一對一地對應，且工具與工具虛擬體是一對一地對應，產生擴增實境空間的擴增實境系統，具有：拍攝現實空間的攝影機、將以攝影機所拍攝的圖像予以解析來產生擴增實境空間的伺服器、取得機械連結部之鎖放時所觀察的扭矩資訊並收發於伺服器的工具，機械連結作業方法，含有以下步驟：在檢測到工具將機械連結部予以鎖放的扭矩資訊時，確定與機械連結部一對一地對應的機械連結部虛擬體，使確定在虛擬空間的機械連結部虛擬體出現。

Description

擴增實境的機械連結作業方法
本發明，關於擴增實境的機械連結作業方法。
擴增實境(Augmented Reality)，是在人類或攝影機所感知的現實空間，將伺服器(電腦)等所構成的3D-CAD資料或CG(Computer Graphics)等之技術所架構的虛擬空間予以重疊，來擴增人所感知的空間(擴增實境空間)的技術。
以往，已知有作業管理系統，其將經由工具或計測器來取得之螺栓或凸緣等之關於鎖緊的資訊、作業用的工具及計測器資料或作業員等的ID資訊，予以配對來確保可追溯性藉此實現高品質的作業管理(例如，參照專利文獻1)。 又，可追溯性(或亦稱「可追蹤性」)，是指從生產階段到最終消費階段或是廢棄階段為止可追蹤物品的流通路徑的意思。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利第5065851號公報
[發明所欲解決之問題]
專利文獻1所記載的作業管理系統，可針對關於凸緣鎖緊之各自的螺栓連結作業資料，來確保將之予以設定、計測的鎖緊工具或計測器或所使用之螺栓等的可追溯性，而防止人為的失誤所致之設定鎖緊扭矩之目標值或設定鎖緊量之目標值的輸入錯誤，或是實測鎖緊扭矩值或實測鎖緊量的記載錯誤的情況。
但是，專利文獻1所記載的作業管理系統，必須在關於凸緣鎖緊之所有的螺栓具備RFIC標籤。此外，為了收發該等螺栓所具備之RFIC標籤的資訊，必須準備連結工具，該連結工具具有延伸至把持該等之螺栓的頭部為止的天線，故有其運作成本變大的虞慮。
於是，本發明，其目的在於提供運作成本較小且高品質的機械連結作業方法，其不必在連結部附加RFIC標籤等之識別標識，或是在連結部與連結工具之間的資料收發，而是利用擴增實境，紀錄某作業員所實施之機械連結作業的內容來確保可追溯性，藉此促進對其他作業員的繼承等。 [解決問題之技術手段]
為了解決上述課題，代表性之本發明的機械連結作業方法之一，是使用將虛擬空間重疊於現實空間來產生的擴增實境空間的第1作業員所致之機械連結作業方法，前述現實空間，含有：機械連結部、覆蓋於前述機械連結部的工具，前述虛擬空間，含有：模擬前述機械連結部的機械連結部虛擬體、模擬前述工具的工具虛擬體，在前述擴增實境空間中，前述機械連結部與前述機械連結部虛擬體是一對一地對應，且前述工具與前述工具虛擬體是一對一地對應，產生前述擴增實境空間的擴增實境系統，具有：拍攝前述現實空間的攝影機、構成為與前述攝影機連接而將以前述攝影機所拍攝的圖像予以解析來產生擴增實境空間的伺服器、取得前述機械連結部之鎖放時所觀察到的鎖放資訊並收發於前述伺服器的前述工具，前述機械連結作業方法，含有以下步驟：在檢測到前述工具將前述機械連結部予以鎖放的前述鎖放資訊時，確定出與前述機械連結部一對一地對應的前述機械連結部虛擬體，使確定在前述虛擬空間的前述機械連結部虛擬體出現。 [發明之效果]
根據本發明，可提供運作成本較小且高品質的機械連結作業方法，其不必在連結部附加RFIC標籤等之識別標識，或是在連結部與連結工具之間的資料收發，而是利用擴增實境，紀錄某作業員所實施之機械連結作業的內容來確保可追溯性，藉此促進對其他作業員的繼承等。 上述以外的課題、構造及效果，是藉由以下實施形態的說明而明瞭。
以下，參照圖式來針對本發明的實施形態進行說明。又，該實施形態並不用來限定本發明。且，圖式的記載中，對相同部分附上相同符號來表示。
如上述般，本發明，是關於利用擴增實境，來記錄作業員鎖緊或放鬆螺栓等之關於機械連結的作業內容，或是將某作業員所作業過的內容以其他作業員可作業的方式來提出作業指示，並可容易確認並保存作業指示的作業內容已被確實實施的方法。
本說明書的現實空間，是指作業員由自身視覺所得到的影像，或是，攝影機10所拍攝之影像所存在的空間。且，本說明書的虛擬空間，是指由3D-CAD或CG等數位資訊所架構之伺服器(電腦)內的空間。 且，本說明書的機械連結，包含六角螺栓所致之連結、帶六角孔螺栓所致之連結、鉚釘所致之連結等。將六角螺栓所致之連結做為例子，來說明實施本發明的形態。 ＜系統構造＞
首先，參照圖1，針對本發明之實施形態中，關於擴增實境的機械連結作業方法的系統構造進行說明。
圖1，是關於擴增實境的機械連結作業方法的系統100之構造的示意圖。該系統100，是由以下所構成：作業員穿戴於身上的可穿戴裝置7、具有可收發扭矩資訊等之通訊功能的工具RTn、儲存有設計圖式或作業指示書等的網路伺服器26、連接有前述各種機器等的網路5。 [可穿戴裝置7]
可穿戴裝置7，是作業員穿戴於身上的機器。該可穿戴裝置7，例如是作業員穿戴於頭部的機器的情況時，被稱為頭部裝備等。可穿戴裝置7，是由以下所構成：以作業員的視角來取得影像的攝影機10、將攝影機10所拍攝之圖像等予以圖像處理並具有與網路5通訊之功能的擴增實境伺服器12、形成作業員之視野的穿透式螢幕(穿透式螢幕)14。
可穿戴裝置7所具備的穿透式螢幕14，以作業員可確保視野的方式具備穿透性。攝影機10，可拍攝到與作業員透過穿透式螢幕14以視覺捕捉到的影像幾乎相同的影像。擴增實境伺服器12，可將擴增實境伺服器12所創造之虛擬空間的影像重疊於攝影機10所拍攝之現實空間的影像，並將擴增實境空間的影像，投影至該穿透式螢幕14。
可穿戴裝置7所具備之擴增實境伺服器12是電腦，其具有：將創造擴增實境的應用程式軟體或各種資料予以保管的記憶體區域、處理作業員透過可穿戴裝置7來顯示之要求事項的處理部、跟網路5收發資料的通訊部。
擴增實境伺服器12，具備以下功能：將攝影機10所拍攝之現實空間(實體)資訊予以圖像解析，將對應於後述之工具RTn及接頭RTSn的工具虛擬體ITm、對應於螺栓RBn的螺栓虛擬體IBn等予以產生並使之出現在虛擬空間，或是使出現在虛擬空間的物體重疊於現實空間來創造擴增實境空間，或是在虛擬空間判定工具虛擬體ITm與螺栓虛擬體IBn之間的干涉(碰觸)。
擴增實境伺服器12，是在作業員實施螺栓鎖緊作業之際，取得並儲存各螺栓的位置資訊、以工具為起點來顯示螺栓存在之方向的方向資訊等。例如，擴增實境伺服器12，亦可取得並保管以下內容：對作業員教導之鎖緊各螺栓之際相關的鎖緊順序、鎖緊下限扭矩、鎖緊目標扭矩、鎖緊上限扭矩的資料，或是在作業員實際鎖緊螺栓之際所觀察到的鎖緊結束扭矩或鎖緊日期時間等之資訊。
此外，擴增實境伺服器12，亦可具備以下功能：保存第1作業員的作業內容，製作出將第1作業員的作業內容教導於第2作業員時所提供的作業手冊，透過穿透式螢幕14來對第2作業員指示作業內容，並將第2作業員所致之鎖緊作業結果(鎖緊結束扭矩、作業日期時間等之資訊)予以取得並保管。
且，擴增實境伺服器12，亦可經由網路5來取得儲存在網路伺服器26的任意資訊，並投影至穿透式螢幕14來對作業員通知資訊。 又，擴增實境伺服器12，是與攝影機10構成為一體亦可，透過網路5而將擴增實境伺服器12所具有的記憶體區域或處理部設在遠離可穿戴裝置7的場所亦可。 [工具RTn]
工具RTn，是螺栓、螺絲、鉚釘等之將機械連結部予以鎖緊或放鬆的工具。以下，將該等之機械連結部予以鎖緊或是放鬆的動作，有記載成「鎖放」的情況。 又，該工具RTn的「n」，是表示依工具的用途之種類、因螺栓等之機械性連結部之尺寸等來準備之存在複數種類的代表字。且，在本說明書，為了方便說明，是舉例出機械連結部為螺栓或鉚釘的情況，但本發明之機械連結部並不限定於此，為釘子、銷等之任意的固定件亦可。
工具RTn，具有：含有供作業員把持之握把部的工具柄部RTEn、連接於工具柄部RTEn的工具頭部RTHn、將以工具RTn鎖放機械連結部的鎖放資訊收發至網路5並對作業員顯示鎖放之資訊的通訊顯示部RTT。 機械連結部為螺栓或螺絲的情況，鎖放資訊，是在鎖緊螺栓(螺絲)RBn之際所觀察到之從鎖緊起始時到鎖緊結束時為止的鎖緊扭矩資訊(包含發生鎖緊扭矩的時刻歷史資料等)，或是將已鎖緊的螺栓予以放鬆時所計測之殘留扭矩資訊。 且，機械連結部為鉚釘的情況，鎖放資訊，是打鉚釘的鉚釘機所把持之鉚釘的軸破斷時的資訊亦可。
機械連結部為螺栓的情況，工具頭部RHTn，是可將與螺栓尺寸或螺栓種類對應的各種接頭RTSn安裝於工具RTn之頭部RTHn的扭力扳手亦可，為板手形狀或活動扳手形狀等之各種扭力扳手形狀亦可。且，機械連結部為鉚釘的情況，工具頭部RHTn，是含有把持鉚釘的鼻罩的部位亦可。
合併設置於工具RTn的通訊顯示部RTT之顯示部，具備以下功能：將鎖緊目標扭矩值(Tr_Set)教導於作業員，使作業員將螺栓鎖緊成目標扭矩值(Tr_Set)以上且鎖緊上限扭矩值(Tr_Max)以下、以及將已在既定的鎖緊扭矩值結束鎖緊作業的資訊等傳達給作業員。該等之資訊，是顯示於穿透式螢幕14，或是顯示於作業員的手腕等所具備之其他可穿戴終端的顯示部等的構造亦可。 且，機械連結部為鉚釘的情況，通訊顯示部RTT，連接於把持鉚釘的鼻罩，且構成為將相當於工具柄部RTEn的把手部所具備的開關的ON/OFF訊號予以收發亦可。 [網路伺服器26]
網路伺服器26，是將製造物(例如鐵道車輛或汽車等)之製作內容所示之製作作業指示書、保養作業的內容所示之保養作業指示書等予以儲存的伺服器。且，因應擴增實境伺服器12的要求，網路伺服器26，具備：從所儲存的資料之中，僅抽出必要的資料來提供給擴增實境伺服器12的功能。
且，網路伺服器26，具備以下功能：對攝影機10所拍攝之基板及零件(例如圖2所示之基板RD2及零件RD1)、工具RTn或接頭RTSn等之圖像施以邊緣處理等之圖像解析藉此從鎖緊對象物抽出特徵點，對該特徵點分配現實空間原點RO(0、0、0)，而在與現實空間對應的虛擬空間，產生與現實空間原點一對一地對應的虛擬空間原點IO(0、0、0)。 又，此處的圖像解析，例如為坎尼邊緣檢測法、二階導數法、閾值處理及連續處理、卷積神經網路所致之處理等之任意的手法皆可。
且，網路伺服器26，具備以下功能：解析攝影機10所拍攝的圖像，取得工具RTn及接頭RTSn等之主要尺寸等的尺寸資訊，取得工具RTn及接頭RTSn等之現實空間的位置資訊(例如顯示3維位置的座標)，以與現實空間原點RO一對一地對應的虛擬空間原點IO為基準，將現實空間的位置資訊及尺寸資訊轉換成虛擬空間。
且，網路伺服器26亦可構成為，將附加在工具RTn及接頭RTSn等的QR條碼(註冊商標)等的標記予以圖像解析，並讀取儲存在標記的的資訊，來取得上述尺寸資訊或位置資訊。 又，可將上述擴增實境伺服器12之功能(處理)的一部分，或是其幾乎全部給取代成網路伺服器26的功能(處理)。因此，為了方便說明，在此以後的說明，就不區分擴增實境伺服器12的功能(處理)與網路伺服器26的功能(處理)，而是作為擴增實境伺服器12或網路伺服器26之任一者的功能(處理)，來單純記載為伺服器的功能(處理)。 且，如上述般，機械連結部，有螺栓、螺絲、鉚釘等，但在以下作為代表性的機械連結部是舉出鉚釘為例，來說明用以實施的形態。 ＜作業內容＞
接著，參照圖2，來說明本發明之實施形態中，擴增實境的機械連結作業方法的組裝作業。
圖2，是本發明之實施形態中，表示擴增實境的機械連結作業方法之組裝作業200之一例的組裝圖。在此的組裝作業200，是在現實空間中，將圖2所示之零件RD2以4根螺栓RB1~RB4(以下為RBn(n=1~4)或僅記載為RBn)來固定於基板RD1的作業。該基板RD1，具有螺孔RQ1~RQ4，該等螺孔具有供貫通零件RD2的螺栓RBn來螺合的螺紋槽。且，零件RD2，在其4角具備供螺栓RBn於垂直方向貫通的貫通孔RP1~RP4。
接著，參照圖3，來說明本發明之實施形態中，指示將零件安裝於基板的作業的作業指示書。
圖3，是表示指示將零件安裝於基板之作業的作業指示書360之一例的圖。如圖3所示般，於作業指示書360管理有例如圖號、圖式名稱、零件名稱、材質、螺栓尺寸、螺栓拴體長度、螺栓材質、規定鎖緊扭矩值(下限值、目標值、上限值等)、螺栓根數、工具及接頭種類等的資訊。若在事先取得螺栓位置或螺栓周圍或前面有障礙物等之資訊的情況，將螺栓RBn與配合螺栓RBn之接頭RTSn之間的對應關係表記於圖3所示的作業指示書360亦可。
又，在圖3，圖2所示之鎖緊作業用的接頭，是舉出螺栓RB1、RB2、RB4以50mm之接頭長度(D21)的接頭RTS1來鎖緊，螺栓RB3以80mm之接頭長度(D22)的接頭RTS2來鎖緊的情況為例子。
<表示螺栓位置的代表點之定義>
接著，參照圖4，來說明本發明之實施形態中，代表機械連結作業用之螺栓之位置的代表點。
圖4，是表示代表機械連結作業用之螺栓之位置的代表點的示意圖。舉出六角螺栓為例子，來說明代表機械連結作業用之螺栓之位置的代表點之位置。六角螺栓，是由覆蓋接頭RTSn的頭部a、連接於頭部a的圓筒部b、連接於圓頭部b的螺紋部c所成。表示螺栓RBn之位置的螺栓位置(座標)ORBn，是頭部a與圓頭部b連接的面、螺栓RBn的軸Rz，這兩者交錯的點。
表示上述現實空間之螺栓RBn之位置的螺栓位置ORBn，是與表示形成在虛擬空間之虛擬螺栓IBn之位置的虛擬螺栓位置OIBn一對一對應。
之後，對於沒有插入現實空間之螺栓RBn之狀態之零件RD1之螺栓孔RPn將螺栓虛擬體IBn重疊來顯示的情況(擴增實境空間，參照圖14)，螺栓虛擬體IBn的位置OIBn會顯示在零件RD1的表面，而得到作業員可容易掌握螺栓RBn施工之狀態的效果。 又，雖舉出六角螺栓為例子來說明了螺栓位置的定義方式，但即使是取代六角螺栓而為帶六角孔螺栓或螺絲的情況，只要顯示螺栓之位置的代表位置為上述位置的話，可得到同樣的效果。 ＜鎖緊狀態之工具與接頭與螺栓之位置關係的說明＞
接著，參照圖5，說明本發明之實施形態中，以具備接頭的工具來連結螺栓之際之從工具的代表點到螺栓的代表點為止之關係。
圖5，是表示以具備接頭的工具來連結螺栓之際之從工具的代表點到螺栓的代表點為止之關係的示意圖。更具體來說，圖5，是使用由工具頭RTHn與工具柄部RTEn所構成的工具RTn，將用來把零件RD2鎖緊於基板RD1的螺栓RBn，以規定的鎖緊目標扭矩(Tr_Set)來結束鎖緊作業時的示意圖。
將螺栓RBn的代表位置(座標)ORBn，以在圖面內之水平方向的x軸與圖面之法線方向的y軸所成的x-y平面呈垂直的態樣來配置的話，是在z軸(圖面內之鉛直方向的軸)，使工具頭RTH的位置(座標)ORTHn與圓筒狀之接頭RTSn的軸重疊。
將工具頭RTHn的厚度(z方向的尺寸)設為D1n，將接頭RTSn之沿著z軸的高度尺寸設為D2n時，從工具頭RTHn的代表位置(座標)ORTHn到螺栓RBn的位置ORBn為止的工具尺寸h1(以下，有僅記載為尺寸h1的情況)，是成為工具頭厚度尺寸D1n與接頭長度尺寸D2n之總和。 又，在圖5所示之工具頭RTHn的側面與接頭RTSn的側面附上標記，該標記是在攝影機10的拍攝之後供圖像解析用。 ＜工具RTn所觀察到之發生螺栓鎖緊扭矩之樣子的說明＞
接著，參照圖6，說明本發明之實施形態中，以工具鎖緊螺栓之際所觀察到之鎖緊扭矩之趨勢。
圖6，是表示以工具鎖緊螺栓之際所觀察到之鎖緊扭矩值(以下，有僅記載為扭矩的情況)之趨勢的示意圖。一般來說，螺栓為了不使過度鎖緊所致的螺栓破斷、鎖緊不足所致之鬆弛發生，是以螺栓產生的軸力來管理螺栓的鎖緊狀態為佳。但是，直接觀察螺栓的軸力並不容易，故取代螺栓的軸力，而以與螺栓的軸力成比例的鎖緊扭矩來管理螺栓的鎖緊狀態。
圖6的橫軸是表示時間的軸，其縱軸是表示以工具RTn鎖緊螺栓RBn之際，工具RTn所計測之鎖緊扭矩的軸。工具RT所具備的顯示通訊部RTT，透過上述網路(例如圖1所示的網路5)來對網路伺服器(例如圖1所示的網路伺服器26)收發以工具RTn鎖緊螺栓RBn時所取得的鎖緊扭矩資訊(鎖緊扭矩的時刻歷史資料、以及鎖緊扭矩等)。
以工具RTn開始鎖緊螺栓RBn時，工具RTn，在鎖緊起始時刻t_B，觀察鎖緊起始扭矩Tr_B。之後，是將工具RTn往回轉(棘輪的回轉動作)，再次以工具RTn鎖緊螺栓RBn，故會交互觀察到：觀察到鎖緊扭矩的傾斜部、在回轉動作時所觀察到之沒有觀察到鎖緊扭矩的水平部。
特別是，觀察鎖緊起始扭矩Tr_B時當傾斜部的斜率(例如，工具柄部RTEn對各角度之扭矩值的上昇率)超過既定斜率的情況，網路伺服器(例如，圖1所示之網路伺服器26或擴增實境伺服器12)，判斷螺栓RBn發生咬牙(也就是藉由螺栓RBn的螺紋與基板RD1的螺孔RQn之間的摩擦熱，使得螺紋的表面溶融(溶接)於螺孔，讓螺栓RBn無法動彈的情況)，亦即發生「燒印」現象時，可對作業員透過穿透式螢幕14來指示鎖緊處的點檢等。上述的咬牙(燒印)，是以圖7~圖12所說明之流程圖的步驟150及步驟390來檢測。藉由包含該等之步驟，來早期檢測出螺栓的咬牙，可實現具備既定品質的連結作業。
螺栓RBn，設定有：得到既定軸力的鎖緊目標扭矩Tr_Set、以該鎖緊目標扭矩Tr_Set為基準在鎖緊扭矩之不足側可容許之下限的鎖緊下限扭矩Tr_Min、在鎖緊扭矩之過度側可容許之上限的鎖緊上限扭矩Tr_Max。一般來說，鎖緊下限扭矩Tr_Min及鎖緊上限扭矩Tr_Max，是考慮到使用環境等來決定亦可。
＜紀錄第1作業員的作業內容，將所製作的作業手續(手冊)教導給第2作業員的方法＞
接著，參照圖7至圖12，來說明本發明之擴增實境的機械連結作業方法。 圖7至圖12，是表示說明本發明之擴增實境的機械連結作業方法的流程圖之PART1至PART6的圖。且，從步驟10(S10)到步驟220(S220)為止是與第1作業員的作業相關連者，從步驟230(S230)到步驟460(S460)為止是與教導第1作業員之作業內容後之第2作業員的作業相關連者。
在本發明之實施形態之擴增實境的機械連結作業方法，是在3D-CAD模型等之沒有虛擬空間之資訊的情況，將第1作業員的作業內容記錄(確保可追溯性)於擴增實境空間，基於該第1作業員的作業記錄來製作第2作業員用的作業手續(手冊)，可將所製作的作業手續，透過擴增實境空間來教導給第2作業員。 具體來說，本發明之擴增實境的機械連結作業方法，是在擴增實境伺服器12(例如，圖1所示之擴增實境伺服器12或網路伺服器26)保存第1作業員的作業內容之後，利用該保存的資訊來製作作業手續(手冊)，透過第2作業員所穿戴的可穿戴裝置7來將所製作之作業手續教導給第2作業員的方法。 以下，舉出圖2所示之組裝作業為例子，參照圖7~圖12的流程圖，來說明構成擴增實境的機械連結作業方法的各步驟之內容。 ＜第1作業員所致之鎖緊作業＞
步驟10(S10)：開始擴增實境的機械連結作業(方法)。
步驟20(S20)：第1作業員，由組裝圖(圖2)及作業指示書(圖3)等來掌握組裝作業內容。
步驟30(S30)：第1作業員，基於所掌握的作業內容，將零件RD2定位於基板RD1之後，如圖13所示般，將螺栓RBn(n=1~4)插入至零件RD2的貫通孔RPn(n=1~4)之後，手動鎖緊(暫時鎖緊)於基板RD1的螺孔RQn(n=1~4)。 又，螺栓RBn(n=1~4)，是暫時鎖緊的狀態，故螺栓RBn(n=1~4)的頭部a是成為從零件RD2的上面浮起的狀態。
步驟40(S40)：第1作業員，穿戴可穿戴裝置7，打開電源來啟動擴增空間創建應用程式軟體。
步驟50(S50)：伺服器，製作紀錄第1作業員之作業內容的記錄表。該記錄表，是第1作業員鎖緊螺栓之作業前的資料表(參照圖14)。 該資料表，對於鎖緊作業的對象螺栓RBn(n=1~4)具備記載以下內容的欄位：螺栓之代表點(圖4的ORBn(n=1~4))的位置座標(X、Y、Z)、表示以工具RTn上之一點(工具頭代表位置ORTHn)為起點從工具RTn觀看螺栓RBn(n=1~4)存在之方向的單位方向向量(in、jn、kn)(n=1~4，以下有僅記載為方向向量的情況)、螺栓RBn(n=1~4)的鎖緊扭矩下限值Tr_Min(Nm)、鎖緊目標扭矩值Tr_Set(Nm)、鎖緊扭矩上限值Tr_Max(Nm)、實際鎖緊的扭矩值(Tr_rslt)、鎖緊螺栓RBn(n=1~4)的順序(Seq)、作業日期、作業時刻。 又，在S50的時間點，在該資料表(圖14)只有記載：由作業指示書(圖3)等所得到之螺栓RBn(n=1~4)的鎖緊扭矩下限值Tr_Min(Nm)、鎖緊目標扭矩值Tr_Set(Nm)、鎖緊扭矩上限值Tr_Max(Nm)。
步驟60(S60)：伺服器，將攝影機10所捕捉到的作業對象物(以圖13所示的螺栓RBn(n=1~4)暫時鎖緊的基板RD1與零件RD2)予以圖像處理，找出作業對象物的特徵點之後，將現實空間原點RO配置於該特徵點。
步驟70(S70)：伺服器，在虛擬空間，配置與現實空間原點RO一對一地對應的虛擬空間原點IO。
從步驟80(S80)到步驟200(S200)，是第1作業員鎖緊4根螺栓RBn(n=1~4)的重複作業。第1作業員，是以零件RD2的大小或特徵為準並基於自身的經驗來決定鎖緊螺栓RBn(n=1~4)的順序亦可，參照記載有鎖緊螺栓之順序的作業要點書(未圖示)等來決定亦可。 步驟90(S90)：第1作業員，將安裝有接頭RTSn的工具RTn套上被暫時鎖緊之螺栓RB1的頭部a。 可事先掌握螺栓RBn與接頭RTSn的對應，在該對應資訊記載於圖3所示之作業指示書的情況，於S90之後，追加輔助判定第1作業員是否選擇正確的接頭RTSn來鎖緊螺栓RBn亦可。
步驟100(S100)：伺服器，是由攝影機10所取得之圖像來掌握工具基準面TSP內的工具頭位置ORTHn。
步驟110(S110)：伺服器，以工具基準面TSP所包含之工具頭位置ORTHn為起點，朝向工具基準面TSP之攝影機10無法辨識之側的空間，產生工具基準面TSP的單位法線向量NV，來記錄單位法線向量NV的座標(in、jn、kn)(n=1~4)。
單位法線向量NV，表示工具基準面TSP之一方的面與其另一方的面之任一面之側所存在之螺栓RBn(n=1~4)所位在的方向。因此，以下，將單位法線向量NV簡單記載為方向向量NV。
步驟120(S120)：伺服器，在虛擬空間圖像分析工具頭RTHn與接頭RTSn來產生工具虛擬體ITm。
步驟130(S130)：伺服器，從方向向量NV之起點的工具頭位置ORTHn沿著方向向量NV，使工具虛擬體ITm出現。
接著，參照圖15，詳述從步驟90到步驟120為止所記載之伺服器的動作(在虛擬空間，使模擬工具RTn的工具虛擬體ITm出現的手續)。圖15，是本發明之實施形態中，表示使模擬工具的工具虛擬體出現在虛擬空間之樣子的示意圖。 又，實際上，存在於Zm軸上的ITm，是重疊於工具頭RTHn及接頭RTSN，但為了容易理解說明，圖15及後述之圖16、圖17中，是將ITm與工具頭RTHn及接頭RTSn予以分離記載。
首先，第1作業員，透過穿透式螢幕14目視到具有套在螺栓RB1的接頭RTSn的工具RTn。此時，攝影機10亦捕捉到第1作業員所目視到的影像。 又，為了使攝影機10容易掌握工具頭RTHn的特徵，於工具頭RTHn覆蓋具有容易供攝影機10捕捉之特徵的頂蓋等亦可。
伺服器，將攝影機10所捕捉之工具RTn的工具頭RTHn予以圖像處理，而在虛擬空間產生工具基準面TSP。且，與此配合，伺服器，將工具基準面TSP所包含之工具頭位置座標ORTHn轉記於虛擬空間，而在虛擬空間產生工具頭位置OITHn。 伺服器，以虛擬空間的工具頭位置OITHn為起點，在朝向工具基準面TSP之攝影機10無法辨識之側的空間的法線方向產生單位法線向量(方向向量)NV並紀錄方向向量NV的座標(in、jn、kn)(n=1~4)。
且，伺服器，是由以圖像處理所得到之圓筒狀之接頭RTSn的外徑OR、以圖像處理所得到之工具頭厚度尺寸D1n與接頭長度尺寸D2n之總和的尺寸h1，來在虛擬空間產生具有外徑RO與軸方向之長度h1的圓筒之工具虛擬體ITm。 又，在難以藉由伺服器的圖像解析來得到工具頭厚度尺寸D1n、接頭長度尺寸D2n、接頭RTSn之外徑OR的情況，是藉由圖像解析來辨識工具頭RTHn及接頭RTSn的種類亦可。之後，伺服器，取得事先儲存在伺服器且與圖像解析所辨識出之種類做關連的工具頭厚度尺寸D1n、接頭長度尺寸D2n、接頭RTSn之外徑OR，來計算尺寸h1，而產生工具虛擬體ITm亦可。且，在後述的步驟340亦相同。
接著，伺服器，將工具虛擬體代表點OITm，重疊於虛擬空間的工具頭位置OITHn(=現實空間的工具頭位置ORTHn)，並在方向向量NV所朝向的方向，使工具虛擬體OITm出現。
步驟140(S140)：以鎖緊目標扭矩Tr_Set為目標，第1作業員以附接頭RTSn的工具RTn來開始鎖緊(正式鎖緊)螺栓RB1。
步驟150(S150)：伺服器，接收工具RTn所測量之鎖緊起始扭矩Tr_B，將接收鎖緊起始扭矩Tr_B的時刻記錄為鎖緊起始時刻t_B。
步驟160(S160)：第1作業員，使工具RTn觀察到的鎖緊結束扭矩Tr_rslt，接近目標扭矩Tr_Set(例如，事先設定之既定的範圍以內)，且，確認到是在鎖緊下限扭矩Tr_Min到鎖緊上限扭矩Tr_Max之間，而結束螺栓BR1的鎖緊。
步驟170(S170)：伺服器，將工具RTn所送出之鎖緊結束扭矩Tr_rslt、觀察到鎖緊結束扭矩Tr_rslt的時刻，記錄為鎖緊結束時刻t_E。
步驟180(S180)：伺服器，確定出與以工具RTn鎖放之螺栓RBn一對一地對應之圓筒狀的螺栓虛擬體IB1，並在沿著方向向量NV的方向使螺栓虛擬體IB1產生並出現於虛擬空間。
步驟190(S190)：伺服器，將與現實空間之螺栓RB1對應之虛擬螺栓體IB1之代表位置IOB1的座標(x1、y1、z1)、方向向量NV的座標(i1、j1、z1)、作業日期、螺栓RB1的鎖緊結束時刻(觀察到鎖緊結束扭矩Tr_rslt的時刻)，記錄於第1作業表(圖14所示的資料表)。
在此，螺栓虛擬體IB1的座標(x1、y1、z1)、以工具基準面TSP所包含之工具頭位置ORTHn為起點表示螺栓虛擬體IB1所位在之方向的方向向量(i1、j1、z1)，是機械連結部的位置資訊。
此時，在鎖緊螺栓RBn之際所用的接頭RTSn之資訊，亦一起記錄於第1作業表亦可。一般來說，在鎖緊螺栓RBn之際所選擇的接頭RTSn，是依照螺栓RBn的位置、螺栓RBn前有充分的空間或有無障礙物等來選擇。
因此，在第1作業員初次作業的情況，有著難以整理接頭RTSn的資訊來事先記載於第1作業表(圖14)或作業規格書(圖3)的情況。因此，將第1作業員所選擇之接頭RTSn的接頭資訊記錄於第1作業表，將作業內容傳達給第2作業員，並以攝影機10所拍撮的圖像等，例如後述之步驟300等的方式來確認第2作業員的作業中是否選擇適當的接頭RTSn。
步驟200(S200)：以到達螺栓RBn之根數的重複次數(4次)，反覆進行S80至S200的各步驟。
接著，參照圖16，詳述S180至S190所記載之伺服器的動作(螺栓虛擬體IBn的產生與出現、第1作業員所致之將作業記錄於資料表的手續)。圖16，是本發明之實施形態中，表示模擬螺栓的螺栓虛擬體出現在虛擬空間之樣子的示意圖。
首先，伺服器，是藉由圖2的組裝圖，或圖3的作業指示書，或圖像解析所取得之螺栓RBn的螺栓尺寸，來掌握螺栓栓體長度，形成因應該等大小之圓筒狀的螺栓虛擬體IBn。 又，伺服器，在難以藉由圖像解析來掌握螺栓尺寸、螺栓栓體長度等的情況時，是由儲存在伺服器的作業指示書(圖3)來掌握螺栓尺寸、螺栓栓體長度，而形成螺栓虛擬體IBn亦可。 螺栓虛擬體IBn的全長，是螺栓RBn(n=1~4)的頭部a與圓頭部b與螺紋部c之沿著z軸的尺寸的總和，螺栓虛擬體IBn的外徑，是從z軸方向觀看螺栓RBn之頭部a時之頭部a的外徑。
伺服器，取得螺栓虛擬體IBn之z軸方向的尺寸之後，在從螺栓虛擬體IBn的上端部下降有頭部a之沿著z軸的尺寸的位置處，配置螺栓虛擬體代表點OIBn。 且，伺服器，在觀察到鎖緊結束扭矩Tr_rslt時，從工具虛擬體代表點(ITm)沿著方向向量NV的方向，在工具頭厚度尺寸D1n與接頭長度尺寸D2n之總和尺寸h1的點，以螺栓虛擬體代表點OIBn位在該處的方式，使圓筒狀的螺栓虛擬體IBn出現。 此時，圓筒狀的工具虛擬體ITm與圓筒狀的螺栓虛擬體IBn，在包含方向向量NV的共通的軸Zm上，配置工具虛擬體ITm及螺栓虛擬體IBn之各者的軸，並以工具虛擬體ITm的下端部與螺栓虛擬體IBn的上端部重疊的態樣出現在虛擬空間。
在觀察到鎖緊結束扭矩Tr_rslt時，配置螺栓虛擬體代表點OIBn，故可在手動鎖緊所致之暫時鎖緊後的螺栓RBn被工具RTn正式鎖緊藉此反應了下沉之尺寸的位置亦即零件RD2的上面(螺栓之頭部a的下面所抵接的面)，配置螺栓虛擬體代表點OIBn。
利用具備上述之特徵的方法，藉此在利用螺栓虛擬體代表點OIBn的擴增實境空間來對第2作業員顯示螺栓位置之際，螺栓RBn的位置位在零件RD2的上面，故第2作業員感覺上較容易掌握螺栓連結時的狀態，可得到容易理解作業內容的效果。
接著，參照圖17，說明本發明之實施形態中，紀錄第1作業員之螺栓鎖緊作業的資料表。 圖17，是在第1作業員將所有的螺栓RBn(n=1~4)鎖緊結束時(S80到S200重複四次時)，包含記錄第1作業員之作業相關之各種資料的資料的資料表。 又，圖17之作業結束後的資料表，是在圖14之作業前之資料表的空欄處，追加記錄第1作業員鎖緊螺栓RBn(n=1~4)藉此記錄的各種資料者。
更具體來說，圖17，是在圖14所示之資料表追加了以下內容：現實空間之螺栓RBn(n=1~4)的位置座標所對應之虛擬空間的位置座標亦即螺栓虛擬體代表點OIBn的座標(Xn、Yn、Zn)(n=1~4)、以虛擬空間之工具虛擬體ITm的代表點OITm為起點之方向向量NV的座標(in、jn、kn)(n=1~4)、鎖緊結束扭矩(Tr_rslt)、鎖緊的順序(Seq)、作業日期、作業時刻。 又，圖17所示之資料表中，將鎖緊的順序(Seq)、作業日期、作業時刻，統整為「時間資訊」來記載亦可。且，作業時刻，是在鎖緊螺栓RBn(n=1~4)之際使伺服器接收到鎖緊結束扭矩Tr_rslt的時刻t_E，但亦可為螺栓鎖緊起始時刻t_B。
步驟210(S210)：伺服器，從螺栓RBn(n=1~4)的作業時刻，掌握螺栓RBn(n=1~4)被鎖緊的順序(Seq)並記錄於上述的資料表。且，配合此，伺服器在圖14所示之資料表的所有空欄記載資料，藉此不會漏掉鎖緊作業，能再次確認全部的鎖緊對象螺栓RBn(n=1~4)的鎖緊作業已結束。 此外，伺服器，可從螺栓RBn1的鎖緊開始到螺栓RBn4的鎖緊結束為止所需的時間，來容易算出第1作業員的工時。 順序(Seq)，是在每個螺栓RBn(n=1~4)的鎖緊結束之各螺栓的鎖緊結束時刻t_E紀錄順序亦可，在所有螺栓的鎖緊結束的時間點，抽出螺栓鎖緊起始時刻t_B或螺栓鎖緊結束時刻t_E，從舊的時刻排到新的時刻來作為順序亦可。
步驟220(S220)：如圖18所示般，伺服器，在鎖緊全部的螺栓RBn(n=1~4)之後，在含有鎖緊作業對象物的擴增實境空間，在螺栓RBn(n=1~4)之附近將作業結果(作業員ID、作業日期、作業時刻、鎖緊結束扭矩值Tr_rslt)、作業指示書等)作為輸出圖像擷取並保存。藉由保存該擷取圖像，即使是圖17所示之記錄有第1作業員之螺栓鎖緊作業的資料表之一部分資料毀損或遺失的情況，亦可確保關於螺栓之鎖緊作業的證據(可追溯性)。
藉由具備上述各步驟的機械連結作業方法，可確認作業員應實施的螺栓連結作業不會漏掉而確實地進行作業，且記錄作業的結果來確保可追溯性，可提供運作成本小又高品質的機械連結作業方法。 ＜第2作業員所致之鎖緊作業＞
接著步驟230以後的步驟，是關於第2作業員所致之螺栓的鎖緊作業，第2作業員是藉由基於第1作業員之作業內容所產生的作業指示(手冊)，而被教導作業內容。
步驟230(S230)：第1作業員，穿戴可穿戴裝置7，打開電源來啟動擴增空間創建應用程式軟體。
步驟240(S240)：伺服器，從第1作業員的鎖緊作業結束時的第1作業表(圖17)，來製作第2作業表(圖19所示之資料表)，其記錄除了鎖緊結束扭矩Tr_rslt、作業日期、作業時刻之資料以外之第2作業員的螺栓鎖緊作業。此時，第2作業表具有第1作業員所連結過的螺栓RBn之位置資訊。
步驟250(S250)：伺服器，將攝影機10所捕捉到的作業對象物(以圖13所示的螺栓RBn(n=1~4)暫時鎖緊的基板RD1與零件RD2)予以圖像處理，找出作業對象物的特徵點來配置現實空間原點RO。之後，伺服器，在與該現實空間原點RO一對一地對應的虛擬空間原點IO配置虛擬空間。
步驟260(S260)：伺服器，在包含第2作業員之作業對象物的擴增實境空間，讀取出在S210製作的第2作業表，並以在S250配置的虛擬空間原點IO為基準，基於螺栓虛擬體代表點OIBn的座標(Xn、Yn、Zn)(n=1~4)、以工具虛擬體ITm的代表點OITm為起點之方向向量NV的座標(in、jn、kn)(n=1~4)，使螺栓虛擬體IBn(n=1~4)出現在第2作業員之穿透式螢幕14上的擴增實境空間。
接著，參照圖20，說明本發明之實施形態中，第2作業員所致之螺栓的鎖緊作業。
圖20，是在第2作業員之穿透式螢幕所顯示之擴增實境空間的圖像，表示第2作業員即將鎖緊之螺栓之位置的示意圖。 伺服器，從記錄了作業結束之第1作業員之作業履歷的資料表(圖17所示之第1作業表)，留下螺栓位置(Xn、Yn、Zn)、從工具RBn表示螺栓RBn所位在之方向的方向向量NV(in、jn、kn)、鎖緊順序，來製作資料表(圖19所示之第2作業表)，其僅刪除第1作業員所作業之鎖緊結束扭矩Tr_rslt與作業日期與作業時刻。之後，伺服器，可基於該第2作業表，而在第2作業員的穿透式螢幕14，顯示第2作業員即將鎖緊的螺栓位置、螺栓根數、鎖緊螺栓的順序。 其結果，第2作業員，不必閱讀組裝圖(圖2)或作業指示書(圖3)，而可在短時間正確地掌握即將要鎖緊的螺栓位置、螺栓根數、鎖緊螺栓的順序。
此時，螺栓虛擬體IBn，是將螺栓虛擬體IBn的代表位置OIBn定義為圖4所示之螺栓代表位置ORBn，故在螺栓虛擬體IBn(n=1~4)的代表位置OIBn位於零件RD2之表面的態樣，是顯示於第2作業員的穿透式螢幕14，故第2作業員可容易掌握螺栓鎖緊作業結束後的狀態。
將利用記錄了第1作業員之作業履歷的第1作業表(圖17)來製作之第2作業表的資訊，予以投影至擴增實境空間(例如圖1所示之穿透式螢幕14)，藉此可對第2作業員指示螺栓RBn的鎖緊順序。藉由該指示，第2作業員，例如可在零件RD2對於基板RD1維持平行度的狀態下讓第2作業員結束鎖緊作業，在難以藉由零件RD2的形狀或安裝姿勢等來定位的情況，第2作業員可容易將零件RD2固定於零件RD1。
如上述般，螺栓RBn(n=1~4)的鎖緊順序(Seq)，是鎖緊結束的各螺栓在各自鎖緊時記錄的順序亦可，在所有螺栓的鎖緊結束的時間點，抽出螺栓鎖緊起始時刻t_B或螺栓鎖緊結束時刻t_E，從舊的時刻排到新的時刻來作為螺栓的鎖緊順序亦可。 又，對第2作業員教導第1作業員之作業內容(鎖緊螺栓的位置或鎖緊螺栓的順序等)的手段，並不限定於第2作業員穿戴之可穿戴裝置7所具備的穿透式螢幕14，例如，在放置於作業現場的大布幕等，投影出基於第1作業員的動作來製作的作業手續(手冊)，藉此對第2作業員教導作業手續亦可。
接著，回到圖10，說明步驟270以後的步驟。
步驟270(S270)：第2作業員，基於透過穿透式螢幕14來指示的作業內容，將零件RD2定位於基板RD1之後，以重疊於圖20所示之螺栓虛擬體IBn(n=1~4)的態樣，將螺栓RBn(n=1~4)插入至零件RD2的貫通孔RPn(n=1~4)之後，手動鎖緊(暫時鎖緊)於基板RD1的螺孔RQn(n=1~4)。 又，如圖21所示般，螺栓RBn(n=1~4)是暫時鎖緊的狀態，故螺栓RBn(n=1~4)的頭部a是成為從零件RD2的上面浮起的狀態。
從步驟280(S280)到步驟430(S430)為止的步驟，是第2作業員鎖緊4根螺栓RBn(n=1~4)的重複(反覆)作業。步驟290(S290)：第2作業員，將安裝有接頭RTSn的工具RTn套上被暫時鎖緊之螺栓RB1的頭部a。
步驟300(S300)：伺服器，將安裝於接頭RTSn的工具RTn予以圖像解析，判斷第2作業員是否選擇適當的工具RTn及接頭RTSn。若沒選擇適當的工具RTn及接頭RTSn的話則回到S290之前，選擇適當的工具RTn。在有選擇適當的工具RTn及接頭RTSn的情況，前往下個步驟310。
步驟310(S310)：伺服器，從攝影機10所取得之工具RTn及接頭RTSn的圖像來掌握與工具基準面TSP內之工具頭位置ORTHn相對應的虛擬空間之工具頭位置OITHn。
步驟320(S320)：伺服器，從工具頭位置ORTHn朝向工具基準面TSP之攝影機10無法辨識之側的空間的法線方向產生方向向量NV，並記錄方向向量NV的座標(in、jn、kn)(n=1~4)。
步驟330(S330)：伺服器，在虛擬空間圖像分析工具頭RTHn與接頭RTSn來產生工具虛擬體ITm。
步驟340(S340)：伺服器，從方向向量NV之起點的工具頭位置ORTHn沿著方向向量NV，使工具虛擬體ITm出現。
從步驟340(S340)到步驟430(S430)為止的步驟，是第2作業員鎖緊4根螺栓RBn(n=1~4)的重複(反覆)作業。
步驟350(S350)：第2作業員，將安裝有接頭RTSn的工具RTn套上被暫時鎖緊之螺栓RB1的頭部a，以鎖緊目標扭矩Tr_Set為目標，開始螺栓RB1的鎖緊(正式鎖緊)。
步驟360(S360)：伺服器，在虛擬空間內，判定工具虛擬體ITm與一對一地對應於螺栓RB1的螺栓虛擬體IB1有無接觸(干涉)。伺服器，若在虛擬空間中，判定工具虛擬體ITm沒有接觸於螺栓虛擬體IB1的話，本處理是回到S360之前，若判定工具虛擬體ITm接觸於螺栓虛擬體IB1的話，本處理是前往步驟370。
步驟370(S370)：伺服器，判定是否在工具RTn發生鎖緊扭矩。伺服器，若判斷沒有在工具RTn發生鎖緊扭矩的話，回到S370之前，若判斷有發生鎖緊扭矩的話，前往步驟380。
步驟380(S380)：在工具虛擬體ITm接觸於螺栓虛擬體IB1的條件(S360)之下，在工具RTn發生鎖緊扭矩(S370)，故伺服器，判斷與螺栓虛擬體IB1一對一地對應的螺栓RB1被鎖緊。
接著，參照圖22，詳細說明從S350到S380為止的過程。圖22，是在第2作業員以工具鎖緊螺栓之際，表示將以工具連結的螺栓予以特定於虛擬空間中之順序的示意圖。
首先，伺服器，將具備由攝影機10所捕捉之接頭RTSn的工具頭RTHn之圖像予以解析，在掌握工具頭厚度尺寸D1n與接頭長度尺寸D2n之後，取得h1尺寸及外徑OR。之後，伺服器，當攝影機10捕捉到工具RTn時掌握工具RTn的工具基準面RTS，從工具基準面RTS所包含之虛擬工具頭代表點OITHn(=工具虛擬體代表點OITm)使反映出h1尺寸及外徑OR的工具虛擬體ITm出現在虛擬空間。
在現實空間將安裝有接頭RTSn的工具RTn套在螺栓RB1的頭部a時，在虛擬空間，工具虛擬體ITm是位在螺栓虛擬體IB1的上方，但成為兩者的一部分重疊(接觸或干涉)的狀態，在工具RTn觀察到鎖緊結束扭矩Tr_rslt時，工具虛擬體ITm會確實與螺栓虛擬體IB1成為重疊(接觸或干涉)的狀態。
又，在虛擬空間，判定工具虛擬體ITm與螺栓虛擬體IB1接觸(干涉、重疊)的方法，有以下所示之複數種方法。 (1)工具虛擬體ITm與螺栓虛擬體IB1的接觸(干涉、重疊)所致之判定。 (2)判斷工具虛擬體ITm的代表點OITm與螺栓虛擬體IB1的代表點OIB1之間距離比既定值(該情況時為h1)還小之距離所致之判定。 (3)在(2)的判定，加上工具虛擬體ITm的軸方向與螺栓虛擬體IB1的軸方向為一致或不一致的判定的距離、工具虛擬體ITm及螺栓虛擬體IB1之朝向(方向)所致之判定。
此外，在工具虛擬體ITm接觸於螺栓虛擬體IB1的條件下，除了在工具RTn觀察到鎖緊扭矩(圖6的Tr_B至Tr_Max之範圍的扭矩)這件事以外，還確定出與螺栓虛擬體IB1一對一地對應的現實空間之螺栓RB1。
藉由該步驟，例如，若僅以接觸判定來判斷的話，在第2作業員對螺栓RBn(n=2~4之任一個)套上工具RTn的當下，發現到錯誤，而改成對螺栓RB1套上工具RTn的情況等，有著先被套上工具RTn的螺栓RBn被誤判成已鎖緊的可能性。因此，在接觸判定(S360)合併使用扭矩發生條件(S370)，藉此可抑制尚未發生扭矩的螺栓RBn被誤判成已鎖緊的情況。
步驟390(S390)：伺服器，接收工具RTn所測量之鎖緊起始扭矩Tr_B，將接收鎖緊起始扭矩Tr_B的時刻記錄為鎖緊起始時刻t_B。
步驟400(S400)：第2作業員，使工具RTn觀察到的鎖緊結束扭矩Tr_rslt，接近目標扭矩Tr_Set(例如，事先設定之既定的範圍以內)，且，確認到是在鎖緊下限扭矩Tr_Min到鎖緊上限扭矩Tr_Max之間，而結束螺栓BR1的鎖緊。
步驟410(S410)：伺服器，將工具RTn所送出之鎖緊結束扭矩Tr_rslt、觀察到鎖緊結束扭矩Tr_rslt的時刻，記錄為鎖緊結束時刻t_E。
步驟420(S420)：伺服器，將與現實空間之螺栓RB1對應之虛擬螺栓體IB1之代表位置IOB1的座標(x1、y1、z1)、方向向量NV(i1、j1、z1)、作業日期、螺栓RB1的鎖緊結束時刻(觀察到鎖緊結束扭矩Tr_rslt的時刻)記錄於資料表(例如圖23所示之資料表)。
步驟430(S430)：以到達螺栓RBn之根數的重複次數(4次)，反覆進行S280至S430的各步驟。
步驟440(S440)：伺服器，將圖23之資料表的空欄全部填滿，藉此再次確認計畫中應鎖緊之作業的所有螺栓RBn(n=1~4)的鎖緊作業已結束。
步驟450(S450)：伺服器，在鎖緊全部的螺栓RBn(n=1~4)之後，在含有鎖緊作業對象物的擴增實境空間，在螺栓RBn(n=1~4)之附近將作業結果(作業員ID、作業日期、作業時刻、鎖緊結束扭矩值Tr_rslt)、作業指示書等)作為輸出圖像擷取並保存。 在此將擷取圖像(例如參照圖24)予以保存，即使是圖23所示之記錄有第2作業員之螺栓鎖緊作業的資料表之一部分資料毀損或遺失的情況，亦可確保關於螺栓之鎖緊作業的證據(可追溯性)。
步驟460(S460)：結束第2作業員所致之鎖緊作業。
根據以上說明的實施形態，可提供運作成本較小且高品質的機械連結作業方法，其利用擴增實境，紀錄某作業員所實施之機械連結作業的內容來確保可追溯性，藉此促進對其他作業員的繼承等。
且，在以上說明的實施形態，雖說明了本發明之實施形態之擴增實境的機械連結方法，但本發明之實施形態並不限定於此，例如藉由電腦程式或裝置等來實施亦可。
例如，本發明之實施形態的功能，是藉由軟體的程式碼來實現亦可。該情況時，將儲存有用來實施本發明之功能的程式碼的記憶媒體供給至裝置或系統，使搭載於該裝置或系統的計算單元(CPU、MPU等)讀取程式碼來實施亦可。藉由電腦來實行從記憶媒體讀出的程式碼，藉此實現前述實施形態的功能，而讓用來實施該功能的程式碼、記憶媒體、及計算單元自身成為本發明的構成要件。 作為用來記錄程式碼的記憶媒體，例如有磁碟、CD-ROM、DVD-ROM、硬碟、光碟、光磁碟、CD-R、磁帶、非揮發性記憶卡、ROM等。
接著，參照圖25，說明用來實施本發明之實施形態的電腦系統。圖25，是為了實施以上說明之擴增實境的機械連結作業方法的功能而構成之電腦系統的方塊圖。
電腦系統300的主要組成，含有1個以上的處理器302、記憶體304、終端介面312、儲存介面314、I/O(輸入輸出)設備界面316、及網路介面318。該等之組成，是透過記憶體匯流排306、I/O匯流排308、匯流排介面單元309、及I/O匯流排介面單元310，而互相連接亦可。
電腦系統300，含有總稱為處理器302的1個或複數個泛用可程式中央處理裝置(CPU)302A及302B亦可。在某實施形態，電腦系統300具備複數個處理器亦可，或是在其他實施形態，電腦系統300為單一的CPU系統亦可。各處理器302，執行儲存在記憶體304的命令，含有板載快取亦可。
在某實施形態，記憶體304，含有用來儲存資料及程式的隨機存取半導體記憶體、記憶裝置、或記憶媒體(揮發性或非揮發性之任一者)亦可。記憶體304，儲存實施本說明書所說明之功能的程式、模組、及資料構造的全部或一部分亦可。例如，記憶體304，儲存連結作業管理應用程式350亦可。在某實施形態，連結作業管理應用程式350，含有將後述之功能在處理器302上實行的命令或記述亦可。
在某實施形態，連結作業管理應用程式350，亦可取代處理器基底的系統，或是除了處理器基底的系統之外，透過半導體裝置、晶片、邏輯閘、電路、電路卡、及/或其他物理硬體裝置，來以硬體實施。在某實施形態，連結作業管理應用程式350，含有命令或記述以外的資料亦可。在某實施形態，提供成使攝影機、感測器、或其他資料輸入裝置(未圖示)，與匯流排介面單元309、處理器302、或電腦系統300之其他的硬體直接通訊亦可。
電腦系統300，含有進行處理器302、記憶體304、顯示系統324、及I/O匯流排介面單元310之間的通訊的匯流排介面單元309亦可。I/O匯流排介面單元310，與在各種I/O單元之間傳送資料用的I/O匯流排308連結亦可。I/O匯流排介面單元310，透過I/O匯流排308，而與作為I/O處理器(IOP)或I/O適配器(IOA)為人所知的複數個I/O介面單元312、314、316、及318進行通訊亦可。
顯示系統324，含有顯示控制器、顯示記憶體、或其雙方亦可。顯示控制器，可將影片、音效、或其雙方的資料提供給顯示裝置326。且，電腦系統300，亦可含有1個或複數個感測器等的裝置，其構成為收集資料，並對處理器302提供該資料。
例如，電腦系統300，亦可含有：收集心跳數資料或壓力水準資料等的生物識別感測器、收集濕度資料、溫度資料、壓力資料等的環境感測器、及收集加速度資料、運動資料等的動作感測器等。亦可使用除此之外之類型的感測器。顯示系統324，連接於單獨的顯示器畫面、電視、平板、或攜帶型裝置等之顯示裝置326亦可。
I/O介面單元，具備與各種儲存器或I/O裝置通訊的功能。例如，終端介面單元312，可安裝：影片顯示裝置、揚聲器電視等之使用者輸出裝置、或鍵盤、滑鼠、小鍵盤、觸控板、軌跡球、按鈕、光筆、或其他指示裝置等之使用者輸入裝置般的使用者I/O裝置320。使用者，使用使用者介面，來操作使用者輸入裝置，藉此對於使用者I/O裝置320及電腦系統300輸入輸入資料或指示，接收來自電腦系統300的輸出資料亦可。使用者介面，例如透過使用者I/O裝置320，顯示於顯示裝置，或是藉由揚聲器來播放，透過印表機來印刷亦可。
儲存介面314，可安裝1個或複數個碟片驅動器或直接存取儲存裝置322(通常是磁碟驅動器儲存裝置，但為看起來像單一的碟片驅動器所構成之碟片驅動器的陣列或其他的儲存裝置亦可)。在某實施形態，儲存裝置322，是作為任意的二次記憶裝置來實裝亦可。記憶體304的內容，儲存於儲存裝置322，因應必要來從儲存裝置322讀取亦可。I/O設備界面316，提供對印表機、傳真機等之其他I/O裝置的介面亦可。網路介面318，提供通訊路徑，而使電腦系統300與其他裝置可互相通訊亦可。該通訊路徑，例如為網路330亦可。
在某實施形態，電腦系統300，是多用戶大型電腦系統、單用戶系統、或伺服器電腦等之不直接具有使用者介面，而是接收來自其他電腦系統(客戶端)之要求的裝置亦可。在其他實施形態，電腦系統300，是桌上型電腦、攜帶型電腦、筆記型電腦、平板電腦、口袋電腦、電話、智慧型手機、或任意之其他適當的電子機器亦可。
根據上述擴增實境的機械連結作業方法，可提供運作成本較小且高品質的機械連結作業方法，其不必在連結部附加RFIC標籤等之識別標識，或是在連結部與連結工具之間的資料收發，而是利用擴增實境，紀錄某作業員所實施之機械連結作業的內容來確保可追溯性，藉此促進對其他作業員的繼承等。
R0:現實空間原點 IO:虛擬空間原點 RD1:基板 RD2:零件 RPn:貫通孔 RQn:螺孔 RTn:工具(棘輪扳手) RTEn:工具柄部 RTHn:工具頭 ORTHn:工具頭位置(座標) D1n:頭厚度尺寸 RTT:通訊顯示部 RTSn:接頭 D2n:接頭長度尺寸 OR:接頭外徑 RBn:螺栓 ORBn:螺栓位置(座標) a:頭部 b:圓筒部 c:螺紋部 t_B:鎖緊起始時刻 Tr_B:鎖緊起始扭矩 Tr_Min:鎖緊下限扭矩 Tr_Set:鎖緊目標扭矩 Tr_Max:鎖緊上限扭矩 Tr_rslt:鎖緊結束扭矩 t_rslt:鎖緊結束時刻 TSP:工具基準面 ITm:工具虛擬體(圓筒) OITm:工具虛擬體代表點(座標) IBn:螺栓虛擬體(圓筒) OIBn:螺栓虛擬體代表點(座標) NV:(單位)方向向量 5:網路 7:可穿戴裝置(頭部裝備) 10:攝影機 12:擴增實境伺服器 14:穿透式螢幕(HMD) 26:網路伺服器
[圖1]圖1，是本發明之實施形態中，關於擴增實境的機械連結作業方法的系統構造的示意圖。 [圖2]圖2，是本發明之實施形態中，表示擴增實境的機械連結作業方法之組裝作業的組裝圖。 [圖3]圖3，是本發明之實施形態中，表示指示將零件安裝於基板之作業的作業指示書之一例的圖。 [圖4]圖4，是本發明之實施形態中，表示代表機械連結作業用之螺栓之位置的代表點的示意圖。 [圖5]圖5，是本發明之實施形態中，表示以具備接頭的工具來連結螺栓之際之從工具的代表點到螺栓的代表點為止之關係的示意圖。 [圖6]圖6，是本發明之實施形態中，表示以工具鎖緊螺栓之際所觀察到之鎖緊扭矩之趨勢的示意圖。 [圖7]圖7，是本發明之實施形態中，表示說明本發明之擴增實境的機械連結作業方法的流程圖(PART1)的圖。 [圖8]圖8，是本發明之實施形態中，表示說明本發明之擴增實境的機械連結作業方法的流程圖(PART2)的圖。 [圖9]圖9，是本發明之實施形態中，表示說明本發明之擴增實境的機械連結作業方法的流程圖(PART3)的圖。 [圖10]圖10，是本發明之實施形態中，表示說明本發明之擴增實境的機械連結作業方法的流程圖(PART4)的圖。 [圖11]圖11，是本發明之實施形態中，表示說明本發明之擴增實境的機械連結作業方法的流程圖(PART5)的圖。 [圖12]圖12，是本發明之實施形態中，表示說明本發明之擴增實境的機械連結作業方法的流程圖(PART6)的圖。 [圖13]圖13，是本發明之實施形態中，表示第1作業員將插入至既定位置的螺栓予以暫時鎖緊之樣子的示意圖。 [圖14]圖14，是本發明之實施形態中，紀錄第1作業員之螺栓鎖緊作業的資料表，亦即螺栓鎖緊作業前的資料表。 [圖15]圖15，是本發明之實施形態中，表示模擬工具的工具虛擬體出現在虛擬空間之樣子的示意圖。 [圖16]圖16，是本發明之實施形態中，表示模擬螺栓的螺栓虛擬體出現在虛擬空間之樣子的示意圖。 [圖17]圖17，是本發明之實施形態中，紀錄第1作業員之螺栓鎖緊作業的資料表，亦即螺栓鎖緊作業後的資料表。 [圖18]圖18，是本發明之實施形態中，在第1作業員鎖緊所有螺栓之後顯示於擴增實境空間的圖像，是將包含鎖緊後的螺栓、顯示於該等被鎖緊的螺栓附近的鎖緊作業結束資訊的圖像予以擷取的示意圖。 [圖19]圖19，是本發明之實施形態中，基於第1作業員之鎖緊作業來製作之對第2作業員指示鎖緊作業的作業指示書(作業手冊)。 [圖20]圖20，是本發明之實施形態中，在第2作業員之穿透式螢幕所顯示之擴增實境空間的圖像，表示第2作業員即將鎖緊之螺栓之位置的示意圖。 [圖21]圖21，是本發明之實施形態中，基於在第2作業員之穿透式螢幕所顯示之擴增實境空間的圖像(圖5)，表示第2作業員將插入至既定位置的螺栓予以暫時鎖緊之樣子的示意圖。 [圖22]圖22，是本發明之實施形態中，在第2作業員以工具鎖緊螺栓之際，表示將以工具連結的螺栓予以特定於虛擬空間之順序的示意圖。 [圖23]圖23，是本發明之實施形態中，紀錄第2作業員之螺栓鎖緊作業的資料表，亦即螺栓鎖緊作業後的資料表。 [圖24]圖24，是本發明之實施形態中，在第2作業員鎖緊所有螺栓之後顯示於擴增實境空間的圖像，亦即將包含鎖緊後的螺栓、顯示於該等被鎖緊之螺栓附近的鎖緊作業結束資訊的圖像予以擷取的示意圖。 [圖25]圖25，是本發明之實施形態中，為了實施擴增實境的機械連結作業方法的功能而構成的電腦系統的方塊圖。
IO:虛擬空間原點
ITm:工具虛擬體(圓筒)
OITHn:工具頭位置
OITm:工具虛擬體代表點(座標)
ORTHn:工具頭位置(座標)
NV:(單位)方向向量
RB1,RB2,RB3,RB4:螺栓
RD1:基板
RD2:零件
RTHn:工具頭
RTn:工具(棘輪扳手)
RTSn:接頭
RTT:通訊顯示部
RO:現實空間原點
TSP:工具基準面
10:攝影機

Claims (8)

  1. 一種擴增實境的機械連結作業方法，是使用將虛擬空間重疊於現實空間來產生的擴增實境空間的第1作業員所致之機械連結作業方法，其特徵為，前述現實空間，含有：機械連結部、覆蓋於前述機械連結部的工具，前述虛擬空間，含有：模擬前述機械連結部的機械連結部虛擬體、模擬前述工具的工具虛擬體，在前述擴增實境空間中，前述機械連結部與前述機械連結部虛擬體是一對一地對應，前述工具與前述工具虛擬體是一對一地對應，產生前述擴增實境空間的擴增實境系統，具有：拍攝前述現實空間的攝影機、構成為與前述攝影機連接而將以前述攝影機所拍攝的圖像予以解析來產生擴增實境空間的伺服器、取得前述機械連結部之鎖放時所觀察的鎖放資訊並收發於前述伺服器的前述工具，前述機械連結作業方法，含有以下步驟：在檢測到前述工具將前述機械連結部予以鎖放的前述鎖放資訊時，確定與前述機械連結部一對一地對應的前述機械連結部虛擬體，使確定在前述虛擬空間的前述機械連結部虛擬體出現， 該擴增實境的機械連結作業方法，含有以下步驟：製作第1作業表，其基於前述第1作業員之連結作業所產生，且具有前述機械連結部的位置資訊、前述鎖放資訊，將前述第1作業表所具有之前述位置資訊投影至前述擴增實境空間，來對第2作業員教導前述第1作業員的作業內容，前述工具，是由作業員所把持之柄部、連接於前述柄部的工具頭部、安裝於前述工具頭部的接頭部所構成，前述伺服器，將前述攝影機所取得之前述工具頭部予以圖像解析，將含有代表前述工具頭部之位置的工具代表點的工具基準面予以產生，從前述工具基準面在前述攝影機辨識前述工具之方向規定出以前述工具代表點為起點的方向向量，規定出代表前述工具頭部及前述接頭部的工具尺寸，使從前述工具代表點沿著前述方向向量具有前述工具尺寸的前述工具虛擬體產生並出現在前述虛擬空間，前述機械連結部虛擬體，模擬出螺栓，其具有：頂部、連接於前述頂部的軸部、連接於前述軸部的螺紋部，且在前述頂部與前述軸部之間的連接面與前述軸部之軸之間的交點，具有機械連結部虛擬體代表點， 前述伺服器，使前述機械連結部虛擬體，以沿著前述方向向量且在從前述工具代表點分開前述工具尺寸的位置配置前述機械連結部虛擬體代表點的態樣，產生並出現在前述虛擬空間，前述鎖放資訊，是鎖緊下限扭矩值到鎖緊上限扭矩值之間的鎖緊結束扭矩值，前述第1作業表，具有：前述鎖緊下限扭矩值、前述鎖緊上限扭矩值、前述伺服器，具有以下步驟：在檢測到前述鎖放資訊時，將前述機械連結部虛擬體代表點的座標、前述方向向量的座標、前述鎖緊結束扭矩值、前述機械連結部之鎖放時的時間資訊、追加記載於前述第1作業表，來驗證機械連結部的數量，前述伺服器，具有以下步驟：製作第2作業表，其從前述第1作業表排除前述鎖緊扭矩資訊與前述時間資訊，基於前述第1作業表所記載之前述機械連結部虛擬體之前述位置資訊，來將前述機械連結部虛擬體顯示於前述 擴增實境空間，藉此對第2作業員教導前述機械連結部的位置與鎖放的順序。
  2. 如請求項1所述之擴增實境的機械連結作業方法，其中，前述伺服器，當檢測到所觀察之前述機械連結部之鎖緊扭矩之上昇率，超過事先規定之鎖緊扭矩之上昇率時，發出警告。
  3. 如請求項1所述之擴增實境的機械連結作業方法，其中，前述伺服器，具有以下步驟：取得並保存圖像，該圖像在前述機械連結部之附近，將前述鎖緊結束扭矩值、前述時間資訊，顯示於前述擴增實境空間。
  4. 如請求項1所述之擴增實境的機械連結作業方法，其中，前述伺服器，具有以下步驟：在前述擴增實境空間中，在前述第2作業員以前述工具鎖放前述機械連結部之際，將判定前述工具虛擬體干涉於前述機械連結部虛擬體的干涉判定、前述鎖放資訊，予以合併使用，來確定所鎖放之前述機械連結部一對一地對應於前述機械連結部虛擬體。
  5. 如請求項4所述之擴增實境的機械連結作業方法，其中，前述干涉判定，是判定前述虛擬空間中前述工具虛擬體與前述機械連結部虛擬體的重疊。
  6. 如請求項4所述之擴增實境的機械連結作業方法，其中，前述干涉判定，是基於前述虛擬空間之工具虛擬體代表點與前述機械連結部虛擬體代表點之間的距離來判定。
  7. 如請求項1所述之擴增實境的機械連結作業方法，其中，前述伺服器，具有以下步驟：於前述第2作業表，將前述鎖緊結束扭矩值、前述機械連結部之鎖放時的前述時間資訊，予以追加記載，來驗證前述數量。
  8. 如請求項7所述之擴增實境的機械連結作業方法，其中，前述伺服器，取得並保存圖像，該圖像在前述機械連結部附近，將前述鎖緊結束扭矩值、前述時間資訊顯示於前述擴增實境空間。
TW110107703A 2020-03-05 2021-03-04 擴增實境的機械連結作業方法 TWI788796B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/JP2020/009378 2020-03-05
PCT/JP2020/009378 WO2021176645A1 (ja) 2020-03-05 2020-03-05 拡張現実による機械締結作業方法

Publications (2)

Publication Number Publication Date
TW202141405A TW202141405A (zh) 2021-11-01
TWI788796B true TWI788796B (zh) 2023-01-01

Family

ID=77613126

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110107703A TWI788796B (zh) 2020-03-05 2021-03-04 擴增實境的機械連結作業方法

Country Status (6)

Country Link
US (1) US12094067B2 (zh)
EP (1) EP4116914A4 (zh)
JP (1) JP7341441B2 (zh)
CN (1) CN115244565A (zh)
TW (1) TWI788796B (zh)
WO (1) WO2021176645A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121790A1 (ja) * 2018-12-14 2020-06-18 株式会社フジキン 作業管理装置、作業管理方法及び作業管理システム
TWI837986B (zh) * 2022-12-05 2024-04-01 財團法人金屬工業研究發展中心 判定扣件調整結果的方法及互動扳手
CN117932561B (zh) * 2024-03-22 2024-06-11 绵阳师范学院 一种联轴器扭矩数据分析方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI552094B (zh) * 2014-06-04 2016-10-01 松下知識產權經營股份有限公司 控制裝置及利用其之作業管理系統
JP2016189122A (ja) * 2015-03-30 2016-11-04 日本電気株式会社 配線・配管設計装置及び方法
CN106231160A (zh) * 2015-06-02 2016-12-14 株式会社理光 工作指令系统、图像处理设备和信息处理方法
JP2017107349A (ja) * 2015-12-09 2017-06-15 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2017169909A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
WO2017169907A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、作業支援方法および記録媒体
US20180096531A1 (en) * 2016-09-30 2018-04-05 Daqri, Llc Head-mounted display and intelligent tool for generating and displaying augmented reality content
CN108153240A (zh) * 2016-12-06 2018-06-12 发那科株式会社 增强现实模拟装置以及计算机可读介质
JP2018101366A (ja) * 2016-12-21 2018-06-28 トヨタ自動車株式会社 組付作業の評価装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5065851B2 (ja) 2007-10-19 2012-11-07 株式会社日立製作所 作業管理システム
KR101990284B1 (ko) * 2018-12-13 2019-06-18 주식회사 버넥트 음성인식을 이용한 지능형 인지기술기반 증강현실시스템
US20230326096A1 (en) * 2022-04-12 2023-10-12 Kabushiki Kaisha Toshiba Processing device, processing system, head mounted display, processing method, and storage medium

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI552094B (zh) * 2014-06-04 2016-10-01 松下知識產權經營股份有限公司 控制裝置及利用其之作業管理系統
JP2016189122A (ja) * 2015-03-30 2016-11-04 日本電気株式会社 配線・配管設計装置及び方法
CN106231160A (zh) * 2015-06-02 2016-12-14 株式会社理光 工作指令系统、图像处理设备和信息处理方法
JP2017107349A (ja) * 2015-12-09 2017-06-15 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
WO2017169909A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体
WO2017169907A1 (ja) * 2016-03-29 2017-10-05 日本電気株式会社 作業支援装置、作業支援方法および記録媒体
US20180096531A1 (en) * 2016-09-30 2018-04-05 Daqri, Llc Head-mounted display and intelligent tool for generating and displaying augmented reality content
CN108153240A (zh) * 2016-12-06 2018-06-12 发那科株式会社 增强现实模拟装置以及计算机可读介质
JP2018101366A (ja) * 2016-12-21 2018-06-28 トヨタ自動車株式会社 組付作業の評価装置

Also Published As

Publication number Publication date
US20230104917A1 (en) 2023-04-06
TW202141405A (zh) 2021-11-01
WO2021176645A1 (ja) 2021-09-10
EP4116914A4 (en) 2023-11-01
JP7341441B2 (ja) 2023-09-11
US12094067B2 (en) 2024-09-17
JPWO2021176645A1 (zh) 2021-09-10
EP4116914A1 (en) 2023-01-11
CN115244565A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
TWI788796B (zh) 擴增實境的機械連結作業方法
CN106340217B (zh) 基于增强现实技术的制造装备智能系统及其实现方法
JPWO2021176645A5 (zh)
WO2013099373A1 (ja) 作業管理装置および作業管理システム
US20090187276A1 (en) Generating device of processing robot program
JP6912150B2 (ja) 作業支援装置、作業支援方法及びプログラム
US20070202472A1 (en) Device And Method For Simultaneously Representing Virtual And Real Ambient Information
US20160158937A1 (en) Robot system having augmented reality-compatible display
EP3865252B1 (en) Mechanical fastening unit management method using augmented reality
CA2559667A1 (en) A vision-based position tracking system
CN106990836B (zh) 一种头戴式人体学输入设备空间位置及姿态测量方法
JP6902332B2 (ja) 不具合情報取得システム
JP2017107349A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN101751495B (zh) 信息处理装置和信息处理系统
JP7564327B2 (ja) 教示装置
JP6364389B2 (ja) 検査方法及び検査システム
JP2020154434A (ja) 作業管理システム及び作業管理方法
EP4261636A1 (en) Processing device, processing system, head mounted display, processing method, program, and storage medium
CN110428496A (zh) 基于虚实融合的手持工具作业导引方法
Di Pardo et al. Methodology development for ergonomic analysis of work-cells in virtual environment
JP7443014B2 (ja) ロボットアーム試験装置
JP2020187778A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
JP7383999B2 (ja) 協調作業システム、解析装置および解析プログラム
JP2022163836A (ja) ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
Eissa et al. An effective programming by demonstration method for SMEs’ industrial robots