TWI758998B - 基於擴增實境介面的智能化軸連結器辨識方法 - Google Patents

基於擴增實境介面的智能化軸連結器辨識方法 Download PDF

Info

Publication number
TWI758998B
TWI758998B TW109143055A TW109143055A TWI758998B TW I758998 B TWI758998 B TW I758998B TW 109143055 A TW109143055 A TW 109143055A TW 109143055 A TW109143055 A TW 109143055A TW I758998 B TWI758998 B TW I758998B
Authority
TW
Taiwan
Prior art keywords
flange
virtual
interface
operator
augmented reality
Prior art date
Application number
TW109143055A
Other languages
English (en)
Other versions
TW202223735A (zh
Inventor
瞿志行
李慕瑄
陳彥如
陳劭旻
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW109143055A priority Critical patent/TWI758998B/zh
Priority to CN202110084975.7A priority patent/CN114595349A/zh
Priority to US17/218,838 priority patent/US11703992B2/en
Application granted granted Critical
Publication of TWI758998B publication Critical patent/TWI758998B/zh
Publication of TW202223735A publication Critical patent/TW202223735A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Architecture (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種基於擴增實境介面的智能化軸連結器辨識方法包含以下步驟：提供第一介面以讓操作者選取一法蘭的不同視角的即時影像，依據多個即時影像建立虛擬法蘭面；提供第二介面讓操作者選擇對應於法蘭的三個圓周點，以建立具有虛擬外徑的虛擬法蘭模型；提供第三介面讓操作者從第三介面調整虛擬法蘭模型的虛擬孔位圓徑；提供第四介面讓操作者調整虛擬法蘭模型的虛擬厚度；提供第五介面讓操作者輸入螺栓數量；以及依據虛擬法蘭模型的虛擬外徑、虛擬孔位圓徑及虛擬厚度查找資料庫，以獲得查詢結果。

Description

基於擴增實境介面的智能化軸連結器辨識方法
本發明是有關於一種智能化軸連結器辨識方法，且特別是有關於一種基於擴增實境介面的智能化軸連結器辨識方法。
軸連結器，譬如是法蘭(Flange)(或稱法蘭盤)，是指流體輸送設備中，連結閥門與流體管道所使用的元件，常見於半導體、化工、電子產業製造現場，以及醫院與民生用水瓦斯等場域。在保護主義影響下，法蘭的標準規格在各國都不盡相同，主要標準規格可以分成日本(JIS)、歐盟、美國(ANSI)、澳洲(AS)與國際標準(ISO)。不同規格標準的法蘭不能互相通用，因此在更換閥門、檢修設備時，需先確定法蘭盤的規格，才能進行後續的調料、更換與測試復工等作業。
老舊的法蘭盤可能因為生鏽、磨損，而導致外觀上的規格無法被辨識，或是沒有詳細記錄規格時，維修人員必須先將法蘭盤由管路拆卸下來，用測量工具決定其尺寸、形狀以後，才能選擇正確的元件規格下料，待元件到貨後再行更換。若不將法蘭盤拆除進行測量，可能因法蘭盤的部分區域被遮蔽，而無法正確取得尺寸參數。現行的作業方式，將導致整體管線兩次的停工，第一次為測量法蘭規格所造成，第二次則是實際的更換作業。對於科技廠、醫院等有不間斷流體需求的產業，每一次停工都會造成相當程度的損失，甚至於公共安全上的危害。
TWI651661號專利揭露一種用於辨識法蘭規格之電腦程式產品，用於辨識法蘭規格，該電腦程式產品經由電腦載入程式執行資料讀取指令及資料分析指令，資料讀取指令使電腦讀取法蘭資料，資料分析指令使電腦將法蘭資料與法蘭規格標準參考資料進行比對而取得法蘭規格分析結果資料，其中法蘭資料包括第一至第三法蘭尺寸資料，其為關於法蘭規格的特定資料。雖然TWI651661可以辨識法蘭的規格，但是實際操作時需要使用者手動測量並輸入資料，使用上的流暢度不高。雖然TWI651661也提到可以用計算機視覺技術中的深度圖來作處理，但是並沒有揭示其細節。因此，習知技術仍有相當多的改良空間，來提升使用上的流暢度。
因此，本發明的一個目的是提供一種基於擴增實境介面的智能化軸連結器辨識方法，讓現場操作人員可藉手持式電子裝置，在不需要拆卸設備、管線的狀況下，針對水平管線或垂直管線安裝的法蘭進行規格辨識，以利於維修及替換。
為達上述目的，本發明提供一種基於擴增實境介面的智能化軸連結器辨識方法，應用於一電子裝置中，辨識方法包含：一環境深度建立步驟，提供具有代表一法蘭的即時影像的一第一介面，以讓一操作者選取所欲處理的法蘭的不同視角的多個即時影像，依據多個即時影像獲得多組平面特徵點資訊，以依據所述多組平面特徵點資訊建立一虛擬法蘭面；一圓周點選取步驟，提供疊合的虛擬法蘭面與即時影像於一第二介面上，讓操作者從第二介面選擇對應於法蘭的三個圓周點，以依據所述三個圓周點求得一虛擬外徑，以建立具有虛擬外徑及一虛擬孔位圓徑的一虛擬法蘭模型；一孔位圓徑調整步驟，提供疊合的虛擬法蘭模型與即時影像於一第三介面上，讓操作者從第三介面調整虛擬法蘭模型的虛擬孔位圓徑；一法蘭厚度調整步驟，提供疊合的虛擬法蘭模型與即時影像於一第四介面上，讓操作者從第四介面調整虛擬法蘭模型的一虛擬厚度；一螺栓數量輸入步驟，提供一第五介面讓操作者輸入一螺栓數量；以及一查詢步驟，依據虛擬法蘭模型的虛擬外徑、虛擬孔位圓徑及虛擬厚度查找一資料庫，以獲得與虛擬法蘭模型相匹配的實體法蘭的一個或多個查詢結果。
藉由上述的實施例，可以結合擴增實境的介面技術，提供影像處理後的輔助資訊，配合人為空間判斷能力，協助快速取得包含法蘭的外徑、法蘭的孔位圓徑、法蘭的厚度的三個維度的尺寸，自動進行資料庫搜尋，找出最有可能的法蘭的規格，省去將法蘭拆卸與量測的步驟。
為讓本發明的上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
本發明主要是利用擴增實境(Augmented Reality, AR)互動介面，在完全不用拆卸設備、管線的情況下，辨識出法蘭的規格標準，去除第一次停工的必要性，降低停工造成的成本損失。以半導體晶圓廠為例，水資源對其生產品質極為重要，光是在製造工藝上，晶圓片酸洗、有機清洗、黃光顯影後清洗、機械研磨清洗，皆必須用到純水。若是因為停水而影響產能表現，無論是對半導體廠商，或是其下游供應商而言，將產生額外的成本損失。
基於機器視覺辨識尺寸的技術已發展多年，但多半是利用固定的視角，針對單張圖像進行分析，考慮到法蘭通常都安裝在牆壁、地底或天花板上，架設腳架與相機，並對其進行校正，將不是實際可行的方式。此外法蘭與管路之間，或其他裝置的相互遮蔽，造成取得影像上的困難，因此提供不受場域限制、使用簡易的行動量測技術，對於要求高機動性的作業具有其必要性。
AR互動介面技術提供以下幾項優勢，首先是前置作業較少，使用者僅需要數秒鐘的時間，透過智能化應用程式辨識環境，即可建立出相當準確的空間深度資訊。此外，不需要架設相機或進行其校正作業，大量縮短作業時間。再者，安裝在實際場域的法蘭，通常已經固定於管路或設備上，某些部分會被擋住、遮蔽，無法用傳統機器視覺的方式，進行有效的尺寸辨識。在此情況下，即必須停止管路設備的運作，將法蘭拆卸下來，量測其重要尺寸後方能決定其規格。相較之下，本發明透過智慧化虛擬資訊的提示，可以在不需拆卸法蘭的狀態下，配合使用者空間認知的結果，即可快速辨識出法蘭規格。根據先前研究指出，傳統辨識法蘭規格所需參數共有五項，分別為：外徑、孔位圓徑、厚度、螺栓數目、螺栓孔徑，本發明透過資料庫分析，只需要四個必要參數(外徑、孔位圓徑、厚度、螺釘數目)即可辨識出法蘭的規格。孔位圓徑代表的孔位圓的直徑，其中法蘭的多個螺栓孔位於孔位圓上。
在實際應用中法蘭會成對出現，各自出現在管線或是閥門的終端，由數個螺絲或螺栓將兩片法蘭固定，達到連結兩管線或是管線與閥門的效果。管線的方向通常分為「與地面平行安裝」以及「垂直於地面安裝」兩種，無論在哪一種方向，法蘭都會垂直於管線安裝，使管線可以穿過法蘭的中心圓孔。因此，本發明所提供的技術也可以滿足兩種管線的方向的應用。
圖1顯示依據本發明較佳實施例的辨識方法的應用場合的示意圖。圖2顯示依據本發明較佳實施例的辨識方法的流程圖。如圖1與圖2所示，基於擴增實境介面的智能化軸連結器辨識方法可應用於一電子裝置100中，譬如是手機、平板電腦或穿戴裝置的電子裝置100至少包含一中央處理單元(Central Processing unit, CPU)80以及電連接至CPU 80的一顯示屏60、一攝影機70及一資料庫90。當然，資料庫也可以是位於雲端，讓電子裝置100可以透過網路連接到雲端進行查詢。電子裝置100可以安裝並執行應用程式後執行辨識方法，辨識方法包含一環境深度建立步驟S1、一圓周點選取步驟S2、一孔位圓徑調整步驟S3、一法蘭厚度調整步驟S4、一螺栓數量輸入步驟S5以及一查詢步驟S6。當然，為了建立更廣的資料庫起見，辨識方法也可以更包含一存檔步驟S7。
於環境深度建立步驟S1中，如圖3所示，啟動攝影機70進行即時攝影，於顯示屏60上提供具有代表一法蘭200的即時影像210的一第一介面10。因此，一操作者可以通過第一介面10選取所欲處理的法蘭200的不同視角的多個即時影像210，譬如圖4至圖6的三張即時影像210。因此，CPU 80可以依據多個即時影像210獲得多組平面特徵點資訊，以依據所述多組平面特徵點資訊建立一虛擬法蘭面VFS，如圖7所示。
於一非限制例中，如圖3所示，第一介面10的上半部提供即時影像210及一第一中心標記11，第一介面10的中間部分也提供一個水平管線的選項及一個垂直管線的選項，讓操作者點選或核取(於此例中核取垂直管線)。第一介面10的下半部也提供外徑、孔位圓徑、厚度等資訊，也提供設定鍵、重置鍵、一轉盤15與一執行鍵16。第一介面10可以提供信息(譬如十字標記表示置於中心)以指引操作者將第一中心標記11保持於兩螺栓B1與B2之間的位置，或者電子裝置100可以通過揚聲器(未顯示)來指引操作者上述或下述的任何操作。此外，第一介面10亦可指引操作者將電子裝置100三向環繞法蘭200(譬如執行鍵16上所顯示的小圖示)，以獲得所述不同視角的多個即時影像210。上述的三向環繞包含向上環繞、向右環繞及向左環繞。或者，第一介面10的第一中心標記11可以用於指引操作者將電子裝置100三向環繞法蘭200時，使第一中心標記11對準法蘭200的一頂面201上，以獲得所述不同視角的多個即時影像210。虛擬法蘭面VFS實質上與頂面201位於同一平面上。
因此，操作者可以操作電子裝置100的攝影機70的鏡頭，穩定保持第一中心標記11於兩螺栓B1與B2之間區域，並向各方向環繞、移動裝置，蒐集不同視角的平面特徵點資訊(參見圖4至圖6)。此步驟在於讓電子裝置100能偵測真實環境，收集相關的深度資訊，藉以迴歸出空間中的平面位置。待平面特徵點資訊蒐集完畢後，由操作者按下第一介面10的執行鍵16後，將於第一介面10中顯示建立的虛擬法蘭面VFS(圖7)。
於圓周點選取步驟S2中，攝影機70持續啟動著，CPU 80於顯示屏60上提供疊合的虛擬法蘭面VFS與即時影像210於一第二介面20上，如圖8所示，讓操作者從第二介面20選擇對應於法蘭200的三個圓周點P1、P2、P3(圖8、圖9與圖10)。藉此，CPU 80可以依據所述三個圓周點P1、P2、P3求得一虛擬外徑VD1，以建立具有虛擬外徑VD1及一虛擬孔位圓徑VD2的一虛擬法蘭模型VFM，如圖11所示。由於在空間中和在平面上取三點決定一個圓(由圓心及直徑所定義)的數學邏輯是相同的，只是擴展到第三個維度，本領域具有通常知識者可以輕易實施，故於此不作贅述。於圖11中，所提供的虛擬法蘭模型VFM包含相互疊合的一個大圓柱V1與一個小圓柱V2，大圓柱V1具有虛擬外徑VD1，小圓柱V2具有虛擬孔位圓徑VD2。
於一非限制例中，第二介面20具有一第二中心標記21，用來指引操作者將電子裝置100以第二中心標記21對準法蘭200的三個圓周點P1、P2、P3，其中三個圓周點P1、P2、P3與虛擬法蘭面VFS位於同一平面。
因此，操作者透過第二介面20中第二中心標記21作為對準依據，按下執行鍵16進行選取，可以在虛擬法蘭面VFS與即時影像210上的法蘭的邊緣上分次選取三個不同的點，以供決定虛擬法蘭模型所投影的外徑參數，於此所求得的外徑等於305.4mm。
於孔位圓徑調整步驟S3中，提供疊合的虛擬法蘭模型VFM與即時影像210於一第三介面30上，如圖11所示，讓操作者從第三介面30調整虛擬法蘭模型VFM的虛擬孔位圓徑VD2，並且可以選擇性地依據操作者的調整即時更新虛擬法蘭模型VFM，如圖12所示。譬如，使用者可以通過轉盤15調整虛擬孔位圓徑VD2到260.6mm而與所得的即時影像210吻合，透過執行鍵16確定調整結果。值得注意的是，調整孔位圓徑時可以使小圓柱V2的底面的圓周和螺栓/螺栓孔的中心點貼合，以決定虛擬法蘭模型VFM投影的孔位圓徑參數。
於法蘭厚度調整步驟S4中，可以由操作者從接近側面的角度判斷，利用CPU 80、攝影機70及顯示屏60提供疊合的虛擬法蘭模型VFM與即時影像210於一第四介面40上，讓操作者從第四介面40調整虛擬法蘭模型VFM的一虛擬厚度VT，並且可以選擇性地依據操作者的調整即時更新虛擬法蘭模型VFM，如圖13所示。譬如，操作者可以通過轉盤15調整厚度為24.1mm而與所得的即時影像210吻合，透過執行鍵16確定調整結果，以決定虛擬法蘭模型VFM投影的厚度參數。值得注意的是，第一介面10、第二介面20、第三介面30及第四介面40都是擴增實境介面。
於螺栓數量輸入步驟S5中，提供一第五介面50讓操作者輸入一螺栓數量。譬如，使用者透過於第五介面50上滑動操作選取螺栓數量為12。值得注意的是，步驟S4與S5可以移至圖2的任何適當的位置，譬如可以在一開始就進行步驟S4與S5，且步驟S4與S5的順序並沒有特別受到限制。
於查詢步驟S6中，在選取螺栓數量為12後，按下執行鍵16進行查詢，CPU 80依據虛擬法蘭模型VFM的虛擬外徑VD1、虛擬孔位圓徑VD2及虛擬厚度VT查找資料庫90，以獲得與虛擬法蘭模型VFM相匹配的實體法蘭的一個或多個查詢結果，如圖15所示，其中多個查詢結果依據相匹配的分數排名。
於存檔步驟S7中，CPU 80執行控制，以將法蘭200的此些即時影像210的一個或多個，以及所述一個或多個查詢結果儲存至資料庫90中，以便下次查找時可以多出一筆參考資料。
值得注意的是，雖然以上是使用手機當作電子裝置100的例子來說明，但是也可以使用穿戴裝置，穿戴裝置可以追蹤操作者的眼球或頭部轉動，以讓操作者執行選取及調整，同樣可以達到相同的效果。
藉由上述實施例的基於擴增實境介面的智能化軸連結器辨識方法，可以結合擴增實境的介面技術，提供影像處理後的輔助資訊，配合人為空間判斷能力，協助快速取得包含法蘭的外徑、法蘭的孔位圓徑(或稱節圓(Pitch circle)的直徑)、法蘭的厚度的三個維度的尺寸，自動進行資料庫搜尋，找出最有可能的法蘭的規格，省去將法蘭拆卸與量測的步驟。本發明僅使用法蘭最具有鑑別性的四個參數，分別是外徑、孔位圓徑、厚度、螺栓數目，即可從資料庫中，自動決定對應的規格。
在較佳實施例的詳細說明中所提出的具體實施例僅用以方便說明本發明的技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明的精神及申請專利範圍的情況下，所做的種種變化實施，皆屬於本發明的範圍。
B1,B2:螺栓 P1,P2,P3:圓周點 S1:環境深度建立步驟 S2:圓周點選取步驟 S3:孔位圓徑調整步驟 S4:法蘭厚度調整步驟 S5:螺栓數量輸入步驟 S6:查詢步驟 S7:存檔步驟 V1:大圓柱 V2:小圓柱 VD1:虛擬外徑 VD2:虛擬孔位圓徑 VFM:虛擬法蘭模型 VFS:虛擬法蘭面 VT:虛擬厚度 10:第一介面 11:第一中心標記 15:轉盤 16:執行鍵 20:第二介面 21:第二中心標記 30:第三介面 40:第四介面 50:第五介面 60:顯示屏 70:攝影機 80:CPU 90:資料庫 100:電子裝置 200:法蘭 201:頂面 210:即時影像
［圖1］顯示依據本發明較佳實施例的辨識方法的應用場合的示意圖。 ［圖2］顯示依據本發明較佳實施例的辨識方法的流程圖。 ［圖3］至［圖14］顯示［圖2］的辨識方法所提供的多個介面的示意圖。 ［圖15］顯示［圖2］的辨識方法的查詢結果。
S1:環境深度建立步驟
S2:圓周點選取步驟
S3:孔位圓徑調整步驟
S4:法蘭厚度調整步驟
S5:螺栓數量輸入步驟
S6:查詢步驟
S7:存檔步驟

Claims (10)

  1. 一種基於擴增實境介面的智能化軸連結器辨識方法，應用於一電子裝置中，該辨識方法包含： 一環境深度建立步驟，提供具有代表一法蘭的即時影像的一第一介面，以讓一操作者選取所欲處理的該法蘭的不同視角的多個即時影像，依據該多個即時影像獲得多組平面特徵點資訊，以依據所述多組平面特徵點資訊建立一虛擬法蘭面； 一圓周點選取步驟，提供疊合的該虛擬法蘭面與該即時影像於一第二介面上，讓該操作者從該第二介面選擇對應於該法蘭的三個圓周點，以依據所述三個圓周點求得一虛擬外徑，以建立具有該虛擬外徑及一虛擬孔位圓徑的一虛擬法蘭模型； 一孔位圓徑調整步驟，提供疊合的該虛擬法蘭模型與該即時影像於一第三介面上，讓該操作者從該第三介面調整該虛擬法蘭模型的該虛擬孔位圓徑； 一法蘭厚度調整步驟，提供疊合的該虛擬法蘭模型與該即時影像於一第四介面上，讓該操作者從該第四介面調整該虛擬法蘭模型的一虛擬厚度； 一螺栓數量輸入步驟，提供一第五介面讓該操作者輸入一螺栓數量；以及 一查詢步驟，依據該虛擬法蘭模型的該虛擬外徑、該虛擬孔位圓徑及該虛擬厚度查找一資料庫，以獲得與該虛擬法蘭模型相匹配的實體法蘭的一個或多個查詢結果。
  2. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，更包含： 一存檔步驟，將該法蘭的該等即時影像的一個或多個，以及所述一個或多個查詢結果儲存至該資料庫中，其中在該孔位圓徑調整步驟及該法蘭厚度調整步驟中，該虛擬法蘭模型是依據該操作者的調整而即時更新。
  3. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該第一介面指引該操作者將該電子裝置三向環繞該法蘭，以獲得所述不同視角的該多個即時影像。
  4. 如請求項3所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該第一介面具有一第一中心標記，用於指引該操作者將該電子裝置三向環繞該法蘭時，使該第一中心標記對準該法蘭的一頂面上，以獲得所述不同視角的該多個即時影像。
  5. 如請求項4所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該第一介面指引該操作者將該第一中心標記保持於兩螺栓之間的位置。
  6. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該第二介面具有一第二中心標記，指引該操作者將該電子裝置以該第二中心標記對準該法蘭的該三個圓周點。
  7. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該第一介面提供一個水平管線的選項及一個垂直管線的選項。
  8. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該多個查詢結果依據相匹配的分數排名。
  9. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，其中於該第三介面上，該虛擬法蘭模型包含相互疊合的一個大圓柱與一個小圓柱，該大圓柱具有該虛擬外徑，該小圓柱具有該虛擬孔位圓徑。
  10. 如請求項1所述的基於擴增實境介面的智能化軸連結器辨識方法，其中該電子裝置追蹤該操作者的眼球或頭部轉動，以讓該操作者執行選取及調整。
TW109143055A 2020-12-07 2020-12-07 基於擴增實境介面的智能化軸連結器辨識方法 TWI758998B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109143055A TWI758998B (zh) 2020-12-07 2020-12-07 基於擴增實境介面的智能化軸連結器辨識方法
CN202110084975.7A CN114595349A (zh) 2020-12-07 2021-01-21 基于增强现实界面的智能化轴连结器识别方法
US17/218,838 US11703992B2 (en) 2020-12-07 2021-03-31 Method of identifying flange specification based on augmented reality interface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109143055A TWI758998B (zh) 2020-12-07 2020-12-07 基於擴增實境介面的智能化軸連結器辨識方法

Publications (2)

Publication Number Publication Date
TWI758998B true TWI758998B (zh) 2022-03-21
TW202223735A TW202223735A (zh) 2022-06-16

Family

ID=81710797

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143055A TWI758998B (zh) 2020-12-07 2020-12-07 基於擴增實境介面的智能化軸連結器辨識方法

Country Status (3)

Country Link
US (1) US11703992B2 (zh)
CN (1) CN114595349A (zh)
TW (1) TWI758998B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
TWI651661B (zh) * 2017-10-27 2019-02-21 吳仕賢 用於辨識法蘭規格之電腦程式產品及方法
CN110687120A (zh) * 2019-09-18 2020-01-14 浙江工商大学 法兰外观质量检测系统
TW202025011A (zh) * 2018-12-27 2020-07-01 遠傳電信股份有限公司 用於電子設備的管理裝置及其管理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5726688A (en) * 1995-09-29 1998-03-10 Ncr Corporation Predictive, adaptive computer interface
JP2002074322A (ja) * 2000-08-31 2002-03-15 Sony Corp 情報処理装置及び情報処理方法並びにデータ記録媒体
JP4571998B2 (ja) * 2009-03-16 2010-10-27 株式会社ミスミ コンビネーションモジュール提供装置
US20110054486A1 (en) * 2009-08-25 2011-03-03 Active Implants Corporation Devices, Methods, and Systems for Prosthetic Meniscus Selection, Trialing, and Implantation
US20120323726A1 (en) * 2011-06-14 2012-12-20 Michael Wilson F&i menu system
US20160260250A1 (en) * 2015-03-05 2016-09-08 Dejan Jovanovic Method and system for 3d capture based on structure from motion with pose detection tool
US11093661B2 (en) * 2017-08-01 2021-08-17 Ptc Inc. Smart relations of computer aided design (CAD) components
US11176669B2 (en) * 2019-04-14 2021-11-16 Holovisions LLC System for remote medical imaging using two conventional smart mobile devices and/or augmented reality (AR)
US11138757B2 (en) * 2019-05-10 2021-10-05 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
TWI651661B (zh) * 2017-10-27 2019-02-21 吳仕賢 用於辨識法蘭規格之電腦程式產品及方法
TW202025011A (zh) * 2018-12-27 2020-07-01 遠傳電信股份有限公司 用於電子設備的管理裝置及其管理方法
CN110687120A (zh) * 2019-09-18 2020-01-14 浙江工商大学 法兰外观质量检测系统

Also Published As

Publication number Publication date
TW202223735A (zh) 2022-06-16
CN114595349A (zh) 2022-06-07
US11703992B2 (en) 2023-07-18
US20220179541A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US20190139283A1 (en) Collection and validation of data from visual displays
JP2005031085A (ja) 製造部品のキズを解析し、識別するシステム及び方法
CN113222184A (zh) 基于增强现实ar的设备巡检系统及方法
US20240144468A1 (en) Defect detection of a component in an assembly
EP2966652B1 (en) System and method for nuclear fuel assembly deformation measurement
WO2017057780A1 (ja) 表示盤や操作盤のデータ収集装置、方法およびプログラム
US11568551B2 (en) Method and system for obtaining pair-wise epipolar constraints and solving for panorama pose on a mobile device
US11900666B2 (en) Defect detection and image comparison of components in an assembly
WO2023132555A1 (en) Augmented reality-based construction site management method and server
CN110455198A (zh) 基于线结构光视觉的矩形花键轴键宽及直径测量方法
Al-Sabbag et al. Enabling human–machine collaboration in infrastructure inspections through mixed reality
CN109711414A (zh) 基于摄像头图像采集的设备指示灯颜色识别方法及系统
JPH0765152A (ja) 監視装置および監視方法
TWI758998B (zh) 基於擴增實境介面的智能化軸連結器辨識方法
US20220414862A1 (en) Method for creating a digital twin of an infrastructure component
US10791661B2 (en) Board inspecting apparatus and method of compensating board distortion using the same
JP2015158791A (ja) ３次元図面表示システム
KR20200141274A (ko) 스마트 팩토리 가상설계에 따른 설비배치에 대한 설비위치 검증방법
KR20200065909A (ko) Mof 및 고압계량기의 결선상태 진단장치 및 그의 제어방법
JP7279397B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法及び情報収集システム
KR101845423B1 (ko) 구조물 검사 지원 장치 및 방법
TWI695441B (zh) 工件處理裝置、工件輸送系統
JP2010230596A (ja) 地中配管ガスリーク調査方法
JP6736204B2 (ja) 作業支援方法、作業支援プログラム及び作業支援装置
CN109100359A (zh) 一种基于机器视觉的产品缺陷识别方法