TW202046064A - 維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像 - Google Patents

維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像 Download PDF

Info

Publication number
TW202046064A
TW202046064A TW109109420A TW109109420A TW202046064A TW 202046064 A TW202046064 A TW 202046064A TW 109109420 A TW109109420 A TW 109109420A TW 109109420 A TW109109420 A TW 109109420A TW 202046064 A TW202046064 A TW 202046064A
Authority
TW
Taiwan
Prior art keywords
maintenance
area
processed image
aforementioned
maintenance support
Prior art date
Application number
TW109109420A
Other languages
English (en)
Other versions
TWI831951B (zh
Inventor
波部剛士
辻岡典洋
Original Assignee
日商Spp科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商Spp科技股份有限公司 filed Critical 日商Spp科技股份有限公司
Publication of TW202046064A publication Critical patent/TW202046064A/zh
Application granted granted Critical
Publication of TWI831951B publication Critical patent/TWI831951B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

[課題]提供一種可防止維護對象以外的機密資訊等的洩露且拍攝條件的限制較少之維護支援系統等。 [解決手段]維護支援系統具備：可穿戴終端，具備有拍攝機構；第1特定機構，將預定的基準點設為基準而特定出包含維護對象的第1之3維區域；第2特定機構，對於以可穿戴終端已移動之移動後狀態之拍攝機構所取得的拍攝圖像，特定出除了與第1之3維區域相對應的有效像素區域以外的遮罩像素區域；加工圖像生成機構，生成已將遮罩像素區域設為不可見的加工圖像；及通訊機構，將加工圖像發送至維護支援人員側終端。

Description

維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像
本發明是有關於一種用於支援維護對象即產業用機器的維護作業之維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像。本發明特別是有關於一種可防止維護對象即產業用機器以外的機密資訊等的洩露且拍攝條件的限制較少之維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像。
以往，一般而言，在產生有基板處理裝置等之產業用機器的問題時，位於維護對象即產業用機器的設置現場之維護作業人員在確認了問題的狀況後，會利用電話將問題的狀況傳達給維護對象的製造廠商側的維護支援人員，且維護支援人員進行藉由電話來對維護作業人員發出各種指示的應對。 在即使進行上述之電話應對仍然無法解決問題的情況下，會進行以下應對：在製造廠商側的熟練作業人員的排程有空的時間點，將熟練作業人員派遣至維護對象的設置現場。
在上述之電話應對的情況下，因為是口頭之溝通，所以會有問題的狀況未順利地傳達給維護支援人員、或維護支援人員的指示未順利地傳達給維護作業人員，而無法解決問題的情況。雖然也會有因應於需要，讓維護作業人員利用電子郵件等將所取得的維護對象的拍攝圖像發送給維護支援人員，且讓維護支援人員確認拍攝圖像，藉此來掌握問題的狀況之情況，但是會有在狀況掌握上花費較多時間的問題。 又，在派遣上述之熟練作業人員的應對之情況下，會有難以進行即時的應對之問題。
為了解決如上述之問題，已提出有一種維護支援系統，前述維護支援系統是由維護作業人員穿戴具備拍攝機構及顯示器的可穿戴終端(頭戴式顯示器)，並利用此可穿戴終端來拍攝維護對象，且通過網際網路等之電信線路將此拍攝圖像(動態圖)發送至維護支援人員側終端。 但是，在上述之維護支援系統中，若將拍攝圖像直接發送至維護支援人員側終端，會有在拍攝圖像中包含有設置現場的機密資訊之疑慮。若將包含有機密資訊的拍攝圖像發送至維護支援人員側，會讓維護支援人員能夠得知機密資訊而成為問題。
於是，作為可防止機密資訊的洩露之維護支援系統，已提出有例如專利文獻1所記載的維護支援系統(在專利文獻1為圖像處理系統)。 專利文獻1所記載的系統是一種圖像處理系統，其具有：取得部，取得捕捉了原始區域的原始圖像；辨識部，辨識前述原始圖像中的1個以上的識別符；特定部，依據以前述辨識部所辨識出的前述1個以上的識別符來特定出第1圖像部分及第2圖像部分的至少一個圖像部分，前述第1圖像部分是在前述原始區域當中捕捉了第1區域的圖像部分，前述第2圖像部分是捕捉了第2區域的圖像部分，且前述第2區域是從前述原始區域去除了前述第1區域之區域；及生成部，因應於前述特定部之特定結果，來生成包含前述第1圖像部分的處理後圖像(專利文獻1之請求項1)。 根據專利文獻1所記載的系統，可考慮為：可藉由將第1區域設為維護對象，並將第2區域設為維護對象以外的機密資訊等，而防止機密資訊等的洩露。
但是，在專利文獻1所記載的系統中，有在原始圖像中必須包含有識別符之限制。具體而言，在專利文獻1中，列舉有將印刷裝置300的內部區域(被4個識別符30所包圍的矩形區域)設為維護對象的例子，且記載有：雖然因應於穿戴具備有相機170的可穿戴工具100之作業人員10的動作而使得原始區域變動，來取得捕捉了不同的原始區域的原始圖像171a~173a，但是在任一個原始圖像171a~173a中都需要包含識別符30(專利文獻1的段落0063~0065、圖6、圖7等)。 從而，例如若欲接近維護對象來拍攝維護對象的細部，會產生如只能以在原始圖像中包含有識別符的範圍來接近的限制。
又，在專利文獻1所記載的系統中，因為是將識別符設為基準而以2維的方式來特定出第1圖像部分(對應於維護對象的部分)之構成，所以會產生以下的限制：必須從相向於識別符之特定的一個方向來拍攝已貼附有識別符的維護對象。 先前技術文獻 專利文獻
專利文獻1：日本特開2017-211766號公報
發明欲解決之課題
本發明是為了解決上述以往技術的問題點而作成的發明，課題在於提供一種可防止維護對象即產業用機器以外的機密資訊等的洩露且拍攝條件的限制較少之維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像。 用以解決課題之手段
為了解決前述課題，本發明提供一種維護支援系統，其特徵在於具備：可穿戴終端，具備拍攝機構且供維護作業人員穿戴；第1特定機構，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域；第2特定機構，在前述可穿戴終端已移動之移動後狀態下，特定出除了與以前述拍攝機構所取得的拍攝圖像中的前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與前述第2之3維區域相對應的遮罩像素區域；加工圖像生成機構，生成加工圖像，前述加工圖像是對於以前述移動後狀態之前述拍攝機構所取得的拍攝圖像，已將以前述第2特定機構所特定出的前述遮罩像素區域設為不可見之圖像；及通訊機構，將以前述加工圖像生成機構所生成的前述加工圖像發送至維護支援人員所操作的維護支援人員側終端。
根據本發明，可藉由第1特定機構，將以初始狀態的拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了維護對象即產業用機器以外的預定的第2之3維區域。本發明中的「初始狀態的拍攝機構」是指預定的基準點位於拍攝圖像中的狀態之拍攝機構。 具體而言，在例如利用AR游標(cursor)來指定拍攝圖像的任意點，並將此所指定的位置設為基準點的情況下，初始狀態的拍攝機構是指位於可以拍攝利用AR游標所指定之點的位置之拍攝機構。 又，在例如藉由第1特定機構對拍攝圖像施行預定的圖像處理，而提取出與拍攝圖像中的特徵性的部位(例如，維護對象的角部等)相對應的像素區域，且將此像素區域的中心等設為基準點的情況下，初始狀態的拍攝機構是指位於可以拍攝特徵性的部位的位置之拍攝機構。 此外，在例如藉由附在維護對象等的標記來規定基準點的情況下，初始狀態的拍攝機構是指位於可以拍攝此標記的位置之拍攝機構。
又，第1之3維區域及第2之3維區域在例如這些區域為長方體形狀的3維區域之情況下，是成為以將基準點設為基準之3維座標系統所表示的3維區域的8個的各頂點的座標來規定。 在上述的情況下，第1特定機構可藉由例如事先使第1特定機構儲存將基準點設為基準之各頂點的座標、或者利用AR游標來指定各頂點並且利用作為在未知的環境之中建構出感測器的自身位置與周圍的環境地圖之技術而公知之SLAM(即時定位與地圖建構，Simultaneous Localization and Mapping)技術，來特定出第1之3維區域及/或第2之3維區域。
圖10是說明SLAM技術的概要的說明圖。 如圖10所示，在SLAM技術中是執行以下之第1步驟~第4步驟。 (1)第1步驟：首先，在分別於不同的時刻t0、t1拍攝拍攝對象而取得的2個拍攝圖像中，檢測出對應的相同點(特徵點)。在圖10所示的例子中是將拍攝對象的角部檢測為特徵點。 (2)第2步驟：接著，比較2個拍攝圖像中之特徵點的位置，藉此計算出拍攝機構的姿勢的變化量(並行/旋轉成分)。又，從特徵點的組合，藉由三角測量的原理，來求出特徵點在3維空間中的位置。這相當於環境地圖的建構。 (3)第3步驟：在進一步地分別於其他時刻t1、t2拍攝拍攝對象而取得的2個拍攝圖像中，求出特徵點在3維空間中的位置的變化，並且由此變化來推定出拍攝機構的自身位置。 (4)第4步驟：在3維空間上登錄及更新特徵點(環境地圖的更新)。 之後，在SLAM技術中是形成為重複執行第3、第4步驟。 如上述，SLAM技術是交互地重複進行環境地圖的建構(3維形狀的復原)、及拍攝機構的自身位置之推定，而隨時掌握3維空間的技術。 本發明中的基準點是形成為可在建構了此環境地圖(將3維形狀復原，換言之為掌握3維空間)後，在3維空間上任意地設定。 再者，因為SLAM技術的更具體的內容，如例如資訊處理學會研究報告 Vol.2014-CVIM-190 No.40「從移動相機圖像的3維形狀復原/自身位置推定(SLAM)與高密度的3維形狀復原」所記載地為公知，所以在本說明書中省略更加詳細的說明。
接著，根據本發明，藉由第2特定機構，在可穿戴終端已移動之移動後狀態下，特定出除了與以拍攝機構所取得的拍攝圖像中的第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與第2之3維區域相對應的遮罩像素區域。在僅以第1特定機構特定出第1之3維區域的情況下，在第2特定機構中是特定出除了與第1之3維區域相對應的有效像素區域以外的遮罩像素區域。又，在僅以第1特定機構特定出第2之3維區域的情況下，在第2特定機構中是特定出與第2之3維區域相對應的遮罩像素區域。此外，在以第1特定機構特定出第1之3維區域及第2之3維區域的情況下，在第2特定機構中是特定出除了與第1之3維區域相對應的有效像素區域以外的遮罩像素區域以及與第2之3維區域相對應的遮罩像素區域。 如前述，因為將以初始狀態的拍攝機構所取得的拍攝圖像中的基準點設為基準的第1之3維區域及/或第2之3維區域，是藉由第1特定機構來特定，所以在可穿戴終端已移動的移動後狀態下，將以拍攝機構所取得的拍攝圖像中的基準點設為基準的第1之3維區域及/或第2之3維區域，可藉由例如利用SLAM技術來特定。並且，欲在移動後狀態下特定出第1之3維區域及/或第2之3維區域時，不一定在以移動後狀態的拍攝機構所取得的拍攝圖像中包含基準點。
接著，根據本發明，可藉由加工圖像生成機構來生成已將以第2特定機構所特定出的遮罩像素區域(除了與第1之3維區域相對應的有效像素區域以外的遮罩像素區域及/或與第2之3維區域相對應的遮罩像素區域)設為不可見之加工圖像。作為本發明中的「將遮罩像素設為不可見之加工圖像」，可以列舉例如所拍到的區域和拍攝圖像相同但是將拍攝圖像中的遮罩像素區域塗黑之圖像、或從拍攝圖像中僅切出遮罩像素區域以外的像素區域之圖像。 因為在以第2特定機構所特定出的遮罩像素區域為除了與第1之3維區域相對應的有效像素區域以外的遮罩像素區域的情況下，第1之3維區域包含維護對象，且有效像素區域對應於第1之3維區域，所以形成為只要不將第1之3維區域過度地設定得比維護對象大，在將除了有效像素區域以外的遮罩像素區域設為不可見之加工圖像中，即不會包含與維護對象以外的機密資訊等相對應的像素區域。 又，因為在以第2特定機構所特定出的遮罩像素區域為與第2之3維區域相對應的遮罩像素區域的情況下，在第2之3維區域中未包含維護對象，所以形成為藉由設定成使第2之3維區域至少包含維護對象以外的機密資訊等，在將遮罩像素區域設為不可見之加工圖像中，即不會包含與維護對象以外的機密資訊等相對應的像素區域。
最後，根據本發明，可藉由通訊機構，將以加工圖像生成機構所生成的加工圖像，發送至維護支援人員所操作的維護支援人員側終端。從而，在維護支援人員側終端中，即形成為可目視辨識包含於第1之3維區域的維護對象、及/或無法目視辨識包含於第2之3維區域之維護對象以外的機密資訊等，而可防止維護對象以外的機密資訊等的洩露。
如以上所說明，根據本發明，只要在以初始狀態的拍攝機構所取得的拍攝圖像中包含基準點即可，在以可穿戴終端已移動之移動後狀態的拍攝機構所取得的拍攝圖像中並不需要包含基準點。又，根據本發明，為了特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了維護對象即產業用機器以外的預定的第2之3維區域，拍攝機構的拍攝方向不受到限制。從而，可防止維護對象以外的機密資訊等的洩露且拍攝條件的限制較少。 如本發明所述，本發明的發明人們將生成已將遮罩像素區域設為不可見之加工圖像而防止包含於遮罩像素區域之維護對象以外的機密資訊等的洩露之技術，稱為「Virtual Partition(虛擬分區)」技術，其中前述遮罩像素區域是除了與包含維護對象之預定的第1之3維區域相對應的有效像素區域以外的區域及/或與除了維護對象以外之預定的第2之3維區域相對應的區域。
再者，在本發明中的「產業用機器」中包含在一般社團法人日本產業機械工業會中定義為產業機械的礦山機械、化學機械、環境機械、動力傳導機械、儲槽、業務用洗衣機、蒸汽鍋爐發動機、塑膠機械、風水力機械、搬運機械、製鐵機械等。又，從其他觀點來看，在本發明中的「產業用機器」中包含製造有形物的製造裝置。基板處理裝置為產業用機器的一種，在製造處理後基板(例如，已施行蝕刻處理的基板、或已施行成膜處理的基板)之點上，為製造有形物的製造裝置之一種。電子機器透過伺服器所電連接的IT系統，不包含於製造有形物的製造裝置中，也不包含於產業用機器中。 又，在本發明中，「可穿戴終端已移動之移動後狀態」並不是指可穿戴終端已到達其移動終點(例如，維護作業結束時之可穿戴終端的位置)的狀態，而是指在到達移動終點以前的移動過程中，移動到按每個預定的短時間間距的各個位置之狀態。從而，在加工圖像生成機構中，是形成為在到達移動終點以前，可對藉由拍攝機構以即時方式(按每個預定的短時間間距)所取得的全部的拍攝圖像，生成已將遮罩像素區域設為不可見之加工圖像。
在本發明中，亦可設成以下態樣：以不僅在以初始狀態的拍攝機構所取得的拍攝圖像中包含基準點，在以移動後狀態的拍攝機構所取得的拍攝圖像中也始終包含基準點的方式使可穿戴終端移動來進行維護支援。但是，在這種態樣中，會成為以下情形：產生有和專利文獻1所記載的系統同樣的拍攝條件之限制。 根據本發明，可採用以下態樣：在以前述移動後狀態的前述拍攝機構所取得的拍攝圖像中不需要包含前述基準點。換言之，能以拍攝機構從在拍攝機構的視野內基準點所存在的位置移動到不存在的位置之方式，消除可穿戴終端的移動位置的限制來進行維護支援。
在本發明中，例如，前述基準點是由標記所規定。 藉由標記來規定前述基準點的情況下，是例如將前述第1特定機構設為以下構成：利用以前述拍攝機構所取得的拍攝圖像(例如藉由利用了拍攝圖像的SLAM技術)來掌握了3維空間後，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的前述基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域。
較佳的是，前述第2特定機構具備拍攝方向互相不同的複數個第2拍攝機構，且依據前述複數個第2拍攝機構所取得的拍攝圖像，來特定出前述遮罩像素區域。
根據上述之較佳的構成，因為第2特定機構具備拍攝方向互相不同的複數個第2拍攝機構，所以可依據例如以複數個第2拍攝機構所取得的拍攝圖像，來適用使用了所謂的雙眼立體視覺(立體視覺)的SLAM技術。又，可藉由例如按以第2拍攝機構所取得的每個拍攝圖像來適用單眼視覺的SLAM技術並組合這些，而精度良好地特定出遮罩像素區域。
較佳的是，前述可穿戴終端為具備顯示器的頭戴式顯示器，前述頭戴式顯示器是構成為可切換成：在前述顯示器顯示前述拍攝圖像的狀態、與在前述顯示器以可辨識的方式顯示前述加工圖像的狀態。
根據上述之較佳的構成，在顯示器顯示拍攝圖像的狀態下，和顯示例如已將遮罩像素區域塗黑的加工圖像之情況不同，因為沒有將維護作業人員的視野遮住之部分，所以可安全地進行維護作業。再者，上述較佳的構成中的「顯示拍攝圖像的狀態」是指以下概念：除了MR頭戴裝置的形式而在顯示器實際地顯示以拍攝機構所取得的拍攝圖像之狀態(供維護作業人員目視辨識此已顯示的拍攝圖像之狀態)之外，也包含穿透式的AR頭戴裝置的形式，顯示器為穿透式，而讓維護作業人員可以透過沒有顯示任何內容的穿透式顯示器來直接目視辨識維護對象之狀態。 另一方面，根據上述之較佳的構成，將加工圖像以可辨識的方式來顯示於顯示器的狀態下，維護作業人員也可辨識發送至維護支援人員側終端的加工圖像。因此，維護作業人員也可確認以下情形：已防止維護對象以外的機密資訊等的洩露，而可以賦與維護作業人員安心感。再者，在上述之較佳的構成中的「將加工圖像以可辨識的方式來顯示的狀態」中，除了顯示和發送至維護支援人員側終端的加工圖像相同的內容(和拍攝圖像所拍到的區域相同但已將拍攝圖像中的遮罩像素區域塗黑之圖像、或從拍攝圖像中僅切出遮罩像素區域以外的像素區域之圖像等)的狀態以外，也包含將遮罩像素區域與遮罩像素區域以外的像素區域之邊界線重疊而成之圖像顯示在拍攝圖像之狀態、或將加工圖像縮小而顯示在顯示畫面的一部分(例如角落)之狀態等。
較佳的是，前述第1特定機構、前述第2特定機構、前述加工圖像生成機構及前述通訊機構是安裝於前述可穿戴終端。
根據上述之較佳的構成，可將執行生成加工圖像，並將此加工圖像發送到維護支援人員側終端為止之一系列的動作之各機構全部都安裝於可穿戴終端，其中前述加工圖像是將以拍攝機構拍攝維護對象所取得的拍攝圖像中的遮罩像素區域設為不可見之圖像。這是形成為藉由已安裝於可穿戴終端本身的感測器等來檢測出可穿戴終端(拍攝機構)的位置之由內向外(inside-out)方式的構成。使用與可穿戴終端不同的外部設備來檢測可穿戴終端的位置之由外向內(outside-in)方式的構成(例如，使用與可穿戴終端所具備的拍攝機構不同之設置於外部的拍攝機構或感測器等，來檢測可穿戴終端(可穿戴終端所具備的拍攝機構)的位置的構成等)的情況下，雖然有降低可穿戴終端的消耗電力之類的優點，但是會有外部設備與可穿戴終端之間不可存在遮蔽物等之環境面上的限制、或因為變得需要高精度的外部設備而成為高成本之缺點。從而，藉由設為上述之較佳的構成，可以得到低成本、且環境面上的限制較少之類的優點。
較佳的是，本發明具備有前述維護支援人員側終端，前述維護支援人員側終端是構成為可和前述通訊機構雙向地進行資料通訊。
根據上述之較佳的構成，因為維護支援人員側終端與通訊機構可雙向地進行資料通訊，所以不僅可從通訊機構將加工圖像發送至維護支援人員側終端，還可反向地從維護支援人員側終端對通訊機構發送維護作業用的圖像、或發送指示維護作業的內容之聲音資料等，而可僅使用本發明之維護支援系統來進行有效的維護作業。
在上述之較佳的構成中，更佳的是具備有伺服器，前述伺服器是電連接於前述通訊機構及前述維護支援人員側終端，並且儲存有前述維護作業人員的識別資訊即第1識別資訊及前述維護支援人員的識別資訊即第2識別資訊，前述伺服器是構成為：判定從前述通訊機構發送至前述伺服器的識別資訊與已儲存於前述伺服器的前述第1識別資訊是否相符，並且判定從前述維護支援人員側終端發送至前述伺服器的識別資訊與已儲存於前述伺服器的前述第2識別資訊是否相符，又，前述維護支援系統是設成在從前述通訊機構發送至前述伺服器的前述識別資訊與前述第1識別資訊相符，且從前述維護支援人員側終端發送至前述伺服器的識別資訊與前述第2識別資訊相符的情況下，可進行透過前述伺服器之前述通訊機構與前述維護支援人員側終端之雙向的資料通訊。
根據上述之更佳的構成，可藉由伺服器來判定從通訊機構發送至伺服器的識別資訊與已儲存於伺服器的第1識別資訊(維護作業人員的識別資訊)是否相符。換言之，可藉由伺服器來判定利用本發明之維護支援系統的維護作業人員的識別資訊是否已發送至伺服器。又，可藉由伺服器來判定從維護支援人員側終端發送至伺服器的識別資訊與已儲存於伺服器的第2識別資訊(維護支援人員的識別資訊)是否相符。換言之，可藉由伺服器來判定利用本發明之維護支援系統的維護支援人員的識別資訊是否已發送至伺服器。並且，在從通訊機構發送至伺服器的識別資訊與第1識別資訊相符，且從維護支援人員側終端發送至伺服器的識別資訊與第2識別資訊相符的情況下(換言之，已認證為利用本發明之維護支援系統的維護作業人員的識別資訊及維護支援人員的識別資訊之雙方已發送至伺服器的情況下)，成為可進行透過伺服器之通訊機構與維護支援人員側終端之雙向的資料通訊。 根據上述之更佳的構成，因為是在已認證為利用本發明之維護支援系統的維護作業人員的識別資訊及維護支援人員的識別資訊之雙方已發送至伺服器的情況下最後才成為可進行通訊機構與維護支援人員側終端之雙向的資料通訊，所以只有事先決定的維護作業人員及維護支援人員可以利用本發明之維護支援系統，而可更確實地防止維護對象即產業用機器以外的機密資訊等的洩露。
再者，除了上述之較佳的構成或上述之更佳的構成之外，還設成可由維護對象即產業用機器(例如基板處理裝置等)對維護支援人員側終端進行資料通訊的構成，只要將例如在維護對象中得到的程序日誌資料(與維護對象的程序相關的測定值或設定值)發送至維護支援人員側終端，維護支援人員就可以一邊參照此程序日誌資料，一邊指示維護作業的內容，而可進行更有效的維護作業。
再者，為了解決前述課題，本發明也提供一種維護支援方法，其為使用了可穿戴終端之維護支援方法，前述可穿戴終端具備拍攝機構且供維護作業人員穿戴，前述維護支援方法的特徵在於包含以下步驟：第1特定步驟，藉由第1特定機構，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域；第2特定步驟，在前述可穿戴終端已移動之移動後狀態下，藉由第2特定機構特定出除了與以前述拍攝機構所取得的拍攝圖像中的前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與前述第2之3維區域相對應的遮罩像素區域；加工圖像生成步驟，藉由加工圖像生成機構，生成加工圖像，前述加工圖像是對於以前述移動後狀態之前述拍攝機構所取得的拍攝圖像，將在前述第2特定步驟中所特定出的前述遮罩像素區域設為不可見之圖像；及通訊步驟，藉由通訊機構，將在前述加工圖像生成步驟中所生成的前述加工圖像發送至維護支援人員側終端。
又，為了解決前述課題，本發明也提供一種程式，前述程式是用於使前述第1特定機構、前述第2特定機構、前述加工圖像生成機構及前述通訊機構分別執行前述維護支援方法所包含的前述第1特定步驟、前述第2特定步驟、前述加工圖像生成步驟及前述通訊步驟。 再者，也可提供一種儲存媒體，前述儲存媒體儲存有上述之程式且為電腦(CPU)可讀取。
又，為了解決前述課題，本發明也提供一種加工圖像的生成方法，其特徵在於進行：在以維護作業人員穿戴的可穿戴終端具備的拍攝機構所取得的拍攝圖像中，特定出除了與包含維護對象即產業用機器之預定的第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與除了前述維護對象即產業用機器以外之預定的第2之3維區域相對應的遮罩像素區域，且生成將前述遮罩像素區域設為不可見的加工圖像。
又，為了解決前述課題，本發明也提供一種加工圖像的生成方法，其是利用以維護作業人員穿戴的可穿戴終端具備的拍攝機構所取得的拍攝圖像來生成加工圖像的方法，其特徵在於包含以下步驟：第1特定步驟，藉由第1特定機構，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域；第2特定步驟，在前述可穿戴終端已移動之移動後狀態下，藉由第2特定機構特定出除了與以前述拍攝機構所取得的拍攝圖像中的前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與前述第2之3維區域相對應的遮罩像素區域；加工圖像生成步驟，藉由加工圖像生成機構，生成加工圖像，前述加工圖像是對於以前述移動後狀態之前述拍攝機構所取得的拍攝圖像，將在前述第2特定步驟中所特定出的前述遮罩像素區域設為不可見之圖像。
又，為了解決前述課題，本發明也提供一種加工圖像，前述加工圖像是在以維護作業人員穿戴的可穿戴終端具備的拍攝機構所取得的拍攝圖像中，將以下之遮罩像素區域設為不可見：除了與包含維護對象即產業用機器之預定的第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或與除了前述維護對象即產業用機器以外之預定的第2之3維區域相對應的遮罩像素區域。
此外，為了解決前述課題，本發明也提供一種加工圖像，前述加工圖像是藉由前述生成方法所生成，且將以下之遮罩像素區域設為不可見：除了與包含前述維護對象即產業用機器之前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或與除了前述維護對象即產業用機器以外之前述第2之3維區域相對應的遮罩像素區域。 發明效果
根據本發明，可得到可防止維護對象以外的機密資訊等的洩露且拍攝條件的限制較少之效果。
用以實施發明之形態
以下，一面參照附加圖式，一面說明本發明的實施形態之維護支援系統。
＜第1實施形態＞ 圖1是示意地顯示本發明的第1實施形態之維護支援系統的概略構成的圖。圖1(a)是整體構成圖，圖1(b)是顯示可穿戴終端及已安裝於此可穿戴終端的構成要素的圖，圖1(c)是顯示圖1(b)所示的控制訊號處理機構的內部構成之方塊圖。 如圖1(a)所示，本實施形態之維護支援系統100具備有可穿戴終端1、維護支援人員側終端2、及控制訊號處理機構3。又，作為較佳的構成，維護支援系統100宜具備有伺服器6。
可穿戴終端1是處於維護對象(基板處理裝置等之產業用機器)T的設置現場來進行維護作業的維護作業人員所穿戴的終端。 如圖1(b)所示，本實施形態的可穿戴終端1是設為眼鏡型的可穿戴終端(頭戴式顯示器)，且具備維護作業人員戴在耳上的框架11。又，可穿戴終端1在框架11的前側中央(相當於維護作業人員將框架11戴在耳上時維護作業人員的眉間附近的位置)具備拍攝機構12。作為本實施形態的拍攝機構12而使用的是彩色(RGB)相機。並且，拍攝機構12的拍攝方向(視線方向)L1是設定成正對於維護作業人員將框架11戴在耳上時之維護作業人員的眉間的方向。此外，可穿戴終端1具備顯示器13，前述顯示器13是安裝於框架11的前側，且當維護作業人員將框架11戴在耳上時會覆蓋維護作業人員的視野前方。作為本實施形態的顯示器13而使用的是穿透式的顯示器。從而，在顯示器13中沒有顯示任何內容的情況下，可和一般的眼鏡相同地使用。 再者，拍攝機構12也可以因應於需要而作為後述之第2特定機構32的硬體部分來使用。
如圖1(b)所示，在本實施形態的可穿戴終端1中安裝有拍攝方向互相不同的複數個第2拍攝機構32a、32b。具體而言，在本實施形態中，是在框架11的前側之左右的端部安裝有一對第2拍攝機構32a、32b，第2拍攝機構32a的拍攝方向(視線方向)L2與第2拍攝機構32b的拍攝方向(視線方向)L3是設定為互相不同的方向。可以和例如拍攝機構12同樣地使用彩色(RGB)相機來作為第2拍攝機構32a、32b。又，也可以使用例如具備廣角透鏡(包含超廣角透鏡、魚眼透鏡)的廣角相機來作為第2拍攝機構32a、32b。再者，第2拍攝機構32a、32b可以作為後述之第2特定機構32的硬體部分來使用。
如圖1(b)所示，在本實施形態的可穿戴終端1安裝有距離圖像感測器(也稱為深度相機或3D相機)32c，前述距離圖像感測器32c具有和拍攝機構12大致相同的視線方向。具體而言，距離圖像感測器32c是在框架11的前側中央安裝於拍攝機構12的下方。作為距離圖像感測器32c可使用例如以下之距離圖像感測器：藉由TOF(飛時測距，Time Of Flight)方式來測定到視野內的被拍攝體為止的距離，並且取得以各像素的濃度值來表示到被拍攝體為止的距離之距離圖像。再者，距離圖像感測器32c可以作為後述之第2特定機構32的硬體部分來使用。
又，在本實施形態的可穿戴終端1安裝有慣性感測器32d。具體而言，是在框架11的側邊安裝有慣性感測器32d。慣性感測器32d是由例如3軸的加速度感測器、3軸的角速度感測器(陀螺儀感測器)、及3軸的地磁(方位)感測器所構成。再者，慣性感測器32d可以作為後述之第2特定機構32的硬體部分來使用。
此外，在本實施形態的可穿戴終端1之框架11的側邊也安裝有揚聲器4及麥克風5。
具有如以上所說明的構成的可穿戴終端1可以使用例如微軟公司製之智慧眼鏡即「HoloLens」(註冊商標)，並且對其施加改良來構成。
一般而言，維護支援人員側終端2是位於遠離維護對象T的設置現場的位置，且是維護支援人員所操作的終端。維護支援人員側終端2是通過網際網路等之電信線路N而電連接於可穿戴終端1(具體而言是安裝於可穿戴終端1的控制訊號處理機構3)。具體而言，本實施形態的維護支援人員側終端2是透過電連接於電信線路N的伺服器6，而電連接於可穿戴終端1。並且，維護支援人員側終端2是構成為可和後述之通訊機構34雙向地進行資料通訊。作為維護支援人員側終端2，雖然可以使用例如桌上型的電腦，但是並非限定於此，只要可以如後述地顯示加工圖像，可以使用膝上型的電腦、平板型的電腦、智慧型手機等各種的終端。 再者，雖然並非是必須的構成，但本實施形態的維護支援人員側終端2也通過電信線路N和維護對象T電連接。具體而言，在本實施形態中，設置有例如收集維護對象T的程序日誌資料(與維護對象T的程序相關的測定值或設定值)的電腦(在圖1(a)中未圖示)，且將此電腦透過已電連接於電信線路N的伺服器6而電連接到維護支援人員側終端2。並且，構成為將在維護對象T中得到的程序日誌資料逐次發送至維護支援人員側終端2，並儲存於維護支援人員側終端2。藉由設置伺服器6，讓連接於維護支援人員側終端2的可穿戴終端1或維護對象T的識別資訊的管理或利用歷史記錄的管理變得較容易。
控制訊號處理機構3是安裝於可穿戴終端1(框架11的側邊)，且電連接於拍攝機構12、顯示器13、第2拍攝機構32a、32b、距離圖像感測器32c、慣性感測器32d、揚聲器4及麥克風5之各構成要素，並具有控制各構成要素、或處理各構成要素的輸出訊號之功能。 控制訊號處理機構3主要是由CPU、ROM或RAM等之記憶體、儲存於該記憶體且使CPU執行後述之動作之程式所構成。
如圖1(c)所示，控制訊號處理機構3具備：使CPU執行作為第1特定機構31的動作之程式、使CPU執行第2特定機構32的軟體部分32e的動作之程式、及使CPU執行作為加工圖像生成機構33的動作之程式。又，控制訊號處理機構3具備通訊機構34。通訊機構34是由天線或使天線動作的程式等所構成。 再者，如上述之程式的更新，亦可利用USB纜線等直接連接預定的電腦與控制訊號處理機構3來進行，亦可從伺服器6直接更新。
在本實施形態中，是將第1特定機構31、第2特定機構32(拍攝機構12、第2拍攝機構32a、32b、距離圖像感測器32c及慣性感測器32d當中至少任一者、與軟體部分32e)、加工圖像生成機構33及通訊機構34全部都安裝於可穿戴終端1。這是如前述地藉由安裝於可穿戴終端1本身的感測器等來檢測出可穿戴終端1(拍攝機構12)的位置之由內向外(inside-out)方式的構成。
以下，一面參照圖1以及圖2~圖4一面說明具有以上已說明之概略構成的本實施形態之維護支援系統100的動作(維護支援方法)。
最初在利用本實施形態之維護支援系統100時，伺服器6會認證維護作業人員的識別資訊及維護支援人員的識別資訊之雙方。具體而言，是判定維護作業人員的識別資訊及維護支援人員的識別資訊之雙方是否已發送至伺服器6。 維護作業人員的識別資訊即第1識別資訊及維護支援人員的識別資訊即第2識別資訊是在利用維護支援系統100之前事先儲存於伺服器6中。具體而言，是例如維護支援人員使用維護支援人員側終端2的鍵盤等，將已決定利用維護支援系統100的維護作業人員的第1識別資訊(例如ID編號)輸入至維護支援人員側終端2，藉此將已輸入的第1識別資訊通過電信線路N發送並儲存至伺服器6。同樣地進行例如維護支援人員使用維護支援人員側終端2的鍵盤等，將已決定利用維護支援系統100的維護支援人員的第2識別資訊(例如ID編號)輸入至維護支援人員側終端2，藉此將已輸入的第2識別資訊通過電信線路N發送並儲存至伺服器6。或者，亦可設為事先使維護支援人員側終端2儲存有利用維護支援系統100的可能性之維護作業人員的第1識別資訊及維護支援人員的第2識別資訊，並讓維護支援人員使用維護支援人員側終端2的鍵盤等在已儲存於此維護支援人員側終端2的第1識別資訊及第2識別資訊當中，選擇接下來會實際地利用維護支援系統100的維護作業人員的第1識別資訊及維護支援人員的第2識別資訊，藉此將所選擇的第1識別資訊及第2識別資訊通過電信線路N發送並儲存至伺服器6。 再者，在本實施形態中，在使第1識別資訊及第2識別資訊儲存於伺服器6時，也一併使由維護作業人員及維護支援人員所進行之維護支援系統100的利用開始時刻或利用時間儲存於伺服器6。
在已經到了維護支援系統100的利用開始時刻時或已接近利用開始時刻時，從可穿戴終端1的通訊機構34將識別資訊發送至伺服器6。從此通訊機構34所發送的識別資訊為例如事先儲存在可穿戴終端1的控制訊號處理機構3之可穿戴終端1的識別資訊。在此情況下，維護作業人員所穿戴的可穿戴終端1已事先被決定，且可將可穿戴終端1的識別資訊作為維護作業人員的識別資訊(第1識別資訊)來發送至伺服器6。同樣地，在已到維護支援系統100的利用開始時刻時或已接近利用開始時刻時，從維護支援人員側終端2將識別資訊發送至伺服器6。從此維護支援人員側終端2所發送的識別資訊為例如維護支援人員使用維護支援人員側終端2的鍵盤等所輸入之維護支援人員的第2識別資訊。在操作維護支援人員側終端2的維護支援人員已事先決定的情況下，亦可設成將已事先儲存於維護支援人員側終端2之維護支援人員側終端2的識別資訊作為維護支援人員的識別資訊(第2識別資訊)來發送至伺服器6。
伺服器6是如上述地判定從通訊機構34發送至伺服器6的識別資訊與已儲存於伺服器6的第1識別資訊是否相符。同樣地，伺服器6是如上述地判定從維護支援人員側終端2發送至伺服器6的識別資訊與已儲存於伺服器6的第2識別資訊是否相符。並且，設成在從通訊機構34發送至伺服器6的識別資訊與第1識別資訊相符，且從維護支援人員側終端2發送至伺服器6的識別資訊與第2識別資訊相符的情況下(已認證為利用維護支援系統100的維護作業人員的識別資訊及維護支援人員的識別資訊之雙方已發送至伺服器6的情況下)，可在從利用開始時刻到經過利用時間為止，進行透過伺服器6之通訊機構34與維護支援人員側終端2之雙向的資料通訊。 本實施形態之維護支援系統100是如上述地在已認證為維護作業人員的識別資訊及維護支援人員的識別資訊之雙方已發送至伺服器6的情況下之後，才成為可進行通訊機構34與維護支援人員側終端2之雙向的資料通訊。從而，只有已事先決定的維護作業人員及維護支援人員可以利用維護支援系統100，而可更加確實地防止維護對象T以外的機密資訊等的洩露。
再者，如上述，亦可構成為在已成為可進行通訊機構34與維護支援人員側終端2之雙向的資料通訊的時間點下，成為可進行雙向的聲音資料的發送接收，且可將此發送接收的聲音資料儲存至伺服器6及/或維護支援人員側終端2。藉由儲存聲音資料，即可確實地留下維護支援的歷史記錄。 又，也可構成為：在維護作業人員及維護支援人員當中至少任一者欲在利用時間經過之前中止或中斷維護支援系統100的利用之情況下，從可穿戴終端1的通訊機構34及/或維護支援人員側終端2將指示利用的中止或中斷之預定的指示資訊發送至伺服器6，藉此伺服器6將通訊機構34與維護支援人員側終端2之雙向的資料通訊中止或中斷。 此外，在可穿戴終端1為複數個的情況、或維護支援人員側終端2為複數個的情況下，亦可採用以下態樣：在從各終端1、2發送的全部的識別資訊已被伺服器6認證的情況下，才可進行各終端1、2的雙向的所有資料通訊；亦可採用以下態樣：僅可進行已認證的各終端1、2的雙向的資料通訊。
圖2是說明本實施形態之維護支援系統100的概略動作的說明圖。在圖2中省略了穿戴有可穿戴終端1的維護作業人員的圖示。圖3是顯示以初始狀態的拍攝機構12所取得的拍攝圖像及以加工圖像生成機構33所生成的加工圖像之一例的圖。圖3(a)是顯示拍攝圖像之一例，圖3(b)是顯示加工圖像之一例。圖4是顯示以可穿戴終端1移動後之移動後狀態的拍攝機構12所取得的拍攝圖像及以加工圖像生成機構33所生成的加工圖像之一例的圖。圖4(a)是顯示拍攝圖像之一例，圖4(b)是顯示加工圖像之一例。再者，在圖3及圖4中，雖然為了說明的方便，以虛線來圖示第1之3維區域TA的邊界線，但是在實際的拍攝圖像中邊界線並不存在。 如圖2所示，在本實施形態的維護對象T的前表面設置有構件T1~T3。在維護對象T的旁邊配置有與機密資訊相關的裝置S。 首先，穿戴了可穿戴終端1的維護作業人員是例如以能夠藉由可穿戴終端1的拍攝機構12來拍攝維護對象T的方式移動到正對於維護對象T的位置。並且，藉由以此初始狀態的拍攝機構12(在圖2中以實線圖示的可穿戴終端1所具備的拍攝機構12)來拍攝維護對象T，而取得如圖3(a)所示的拍攝圖像(動態圖)。
接著，藉由例如維護作業人員使用AR游標來指定已顯示於顯示器13的拍攝圖像的任意之點，而讓第1特定機構31將上述的已指定之點特定為基準點M，並儲存於第1特定機構31。又，也可藉由第1特定機構31對拍攝圖像施行預定的圖像處理，而提取出與拍攝圖像中的特徵性的部位(例如維護對象T的角部等)相對應的像素區域，並將此像素區域的中心等特定為基準點M來儲存。此外，在維護對象T附有標記(藉由貼附、印刷、刻印等而附有AR標記、QR碼(註冊商標)、條碼等之標記)的情況下，也可藉由第1特定機構31對拍攝圖像施行預定的圖像處理，而提取出與標記相對應的像素區域，並將此像素區域的中心等特定為基準點M。
並且，在本實施形態中，第1特定機構31將基準點M設為基準，並特定出包含維護對象T之預定的第1之3維區域(例如長方體形狀的3維區域)TA。第1之3維區域TA為虛擬空間中的3維區域。具體而言，例如在第1特定機構31中，事先儲存有以將基準點M設為基準的3維座標系統(具有圖2所示的X軸、Y軸及Z軸的3維座標系統)來表示的第1之3維區域TA的各頂點P1~P8的座標，第1特定機構31是使用例如SLAM技術，並依據此各頂點P1~P8的座標來特定出第1之3維區域TA。 又，亦可藉由維護作業人員使用AR游標對已顯示於顯示器13的拍攝圖像來指定第1之3維區域TA的各頂點P1~P8，而使第1特定機構31使用例如SLAM技術來特定出第1之3維區域TA。在此情況下，第1之3維區域TA的各頂點P1~P8由於是在使用AR游標來指定的瞬間，配置到將基準點M設為基準的3維座標系統，因此可決定各頂點P1~P8的座標，且作為結果可以特定出第1之3維區域TA。 此外，在維護對象T附有標記的情況下，亦可為：第1特定機構31運算與標記相對應的像素區域的特徵量，而從此特徵量來特定出標記的識別資訊，並依據和特定出的識別資訊建立關連而儲存於第1特定機構31的各頂點P1~P8的座標，使用例如SLAM技術來特定出第1之3維區域TA。如此，因為在藉由標記來規定基準點M的情況下，各頂點P1~P8的座標已儲存於第1特定機構31，而毋須維護作業人員設定，所以不用花費勞務。在維護對象T的形狀較複雜的情況下，可以事先依據維護對象T的設計圖式等來詳細地設定各頂點P1~P8(或者，比8個更多的頂點)，並先和標記的識別資訊建立關連，而特別有效。 再者，在圖2中已例示有維護作業人員所穿戴的可穿戴終端1在第1之3維區域TA內移動的情況。
接著，藉由穿戴了可穿戴終端1的維護作業人員移動，可穿戴終端1也移動，並在可穿戴終端1已移動之移動後狀態下，以可穿戴終端1所具備的拍攝機構12(在圖2中以虛線圖示的可穿戴終端1所具備的拍攝機構12)來拍攝維護對象T，而取得如圖4(a)所示的拍攝圖像。在此拍攝圖像中並未包含有基準點M。 並且，在上述的移動過程中，可藉由拍攝機構12及第2拍攝機構32a、32b來連續地取得拍攝圖像。又，可藉由距離圖像感測器32c來連續地取得距離圖像。此外，可藉由慣性感測器32d來連續地檢測可穿戴終端1所具備的拍攝機構12的加速度、角速度及地磁(方位)。
第2特定機構32是在可穿戴終端1已移動之移動後狀態下，特定出遮罩像素區域，前述遮罩像素區域是除了與以拍攝機構12所取得的拍攝圖像中的第1之3維區域TA相對應的有效像素區域以外的區域。 具體而言，在第2拍攝機構32a、32b構成第2特定機構32的情況下，是藉由依據移動過程中以第2拍攝機構32a、32b連續地取得的拍攝圖像，且構成第2特定機構32的軟體部分32e使用例如SLAM技術來建構可穿戴終端1(拍攝機構12)的自身位置與周圍的環境地圖，而特定出移動後狀態的拍攝圖像中的第1之3維區域TA。 又，在距離圖像感測器32c構成第2特定機構32的情況下，是依據移動過程中距離圖像感測器32c連續地取得的距離圖像，且構成第2特定機構32的軟體部分32e使用例如SLAM技術，而特定出移動後狀態的拍攝圖像中的第1之3維區域TA。 此外，在拍攝機構12或慣性感測器32d構成第2特定機構32的情況下也是同樣。又，也可考慮將第2拍攝機構32a、32b、距離圖像感測器32c、拍攝機構12及慣性感測器32d當中之任一者組合來構成第2特定機構32的情況，在此情況下也是第2特定機構32使用例如SLAM技術來特定出移動後狀態的拍攝圖像中的第1之3維區域TA。 再者，本實施形態之第2特定機構32在特定出移動後狀態的拍攝圖像中的第1之3維區域TA時，並未使用GPS(如後述，在特定出移動後狀態的拍攝圖像中的第2之3維區域SA的情況下也是同樣)。這是因為GPS除了無法在屋內使用之外，還會產生至少數公尺的位置檢測誤差。
第2特定機構32是如上述地特定出移動後狀態的拍攝圖像中的第1之3維區域TA，並特定出除了與第1之3維區域TA相對應的有效像素區域以外的遮罩像素區域。因為第1之3維區域TA可以藉幾何學運算來特定：拍進在移動後狀態的拍攝機構12的視野內的哪個部分，換言之，與以拍攝機構12所取得的拍攝圖像中的哪個像素區域相對應，所以可特定出與拍攝圖像中的第1之3維區域TA相對應的有效像素區域，並特定出除了有效像素區域以外的遮罩像素區域。
接著，加工圖像生成機構33生成加工圖像(動態圖)，前述加工圖像是對於以移動後狀態之拍攝機構12所取得的拍攝圖像，將以第2特定機構32所特定出的遮罩像素區域設為不可見之圖像。在圖4(b)所示的例子中，生成有已將遮罩像素區域塗黑的圖像來作為加工圖像。但是，作為加工圖像，並不限定於此，也可以設成從拍攝圖像中僅切出有效像素區域(僅遮罩像素區域以外的像素區域)的圖像。又，可以取代將遮罩像素區域塗黑，而施行馬賽克處理或施加霧化，只要可以防止機密資訊等的洩露，可採用各種態樣。
最後，通訊機構34通過電信線路N將以加工圖像生成機構33所生成的加工圖像發送至維護支援人員側終端2。從而，如圖4(a)所示，即使在拍攝圖像中可以目視辨識與機密資訊相關的裝置S之狀態下，在維護支援人員側終端2中，會如圖4(b)所示，只可目視辨識包含於第1之3維區域TA的維護對象T，而可防止維護對象T以外的機密資訊等的洩露。 再者，第2特定機構32、加工圖像生成機構33及通訊機構34也會相對於如圖3(a)所示之以初始狀態的拍攝機構12所取得的拍攝圖像而動作。藉此，在加工圖像生成機構33中，會成為以下情形：即使對以初始狀態的拍攝機構所取得拍攝圖像也生成已將遮罩像素區域設為不可見之如圖3(b)所示的加工圖像，並且發送至維護支援人員側終端2。
再者，當構成第2特定機構32的第2拍攝機構32a、32b等發生了故障或某種不良狀況的情況下，會變得無法正確地特定出移動後狀態的拍攝機構12自初始狀態之後的位置的變化。伴隨於此，會變得無法正確地特定出與以移動後狀態的拍攝機構12所取得的拍攝圖像中的第1之3維區域TA相對應的有效像素區域。其結果，產生以下可能性：在所生成的加工圖像中包含有維護對象T以外的機密資訊等。 從而，較佳的是具有以下功能：在第2拍攝機構32a、32b等發生故障或某種不良狀況的情況下，加工圖像生成機構33生成將全部的像素區域都設為不可見的加工圖像、或者通訊機構34停止加工圖像的發送。又，較佳的是，此時在顯示器13顯示已發生故障或某種不良狀況之內容、或者在揚聲器4以聲音來通知已發生故障或某種不良狀況之內容，以使維護作業人員可以迅速地掌握第2拍攝機構32a、32b等已發生故障或某種不良狀況之情形。
本實施形態的顯示器13是構成為可切換成以下狀態：在顯示器13顯示拍攝圖像之狀態(具體而言，在本實施形態中，在穿透式的顯示器13上沒有顯示任何內容，維護作業人員可以透過沒有顯示任何內容的顯示器13來直接目視辨識維護對象T的狀態)、以及在顯示器13以可辨識的方式顯示加工圖像之狀態。具體而言，可採用例如以下態樣：藉由在框架11設置切換按鈕(未圖示)，並按壓此切換按鈕，而讓控制訊號處理機構3控制成選擇任一狀態。 在顯示器13顯示拍攝圖像的狀態(維護作業人員可以直接目視辨識維護對象T的狀態)下，因為沒有遮住維護作業人員的視野之部分，所以可安全地進行維護作業。 另一方面，將加工圖像以可辨識的方式顯示於顯示器13的狀態下，維護作業人員也可辨識發送至維護支援人員側終端2的加工圖像。因此，維護作業人員也可確認已防止維護對象T以外的機密資訊等的洩露之情形，而可以賦與維護作業人員安心感。再者，作為將加工圖像以可辨識的方式顯示的狀態，除了顯示和發送至維護支援人員側終端2的加工圖像相同的圖像(和拍攝圖像所拍到的區域相同但是已將拍攝圖像中的遮罩像素區域塗黑之圖像、或從拍攝圖像中僅切出有效像素區域之圖像等)的狀態之外，也包含如圖3(a)或圖4(a)所示，顯示將遮罩像素區域與有效像素區域之邊界線(第1之3維區域TA的邊界線)重疊於拍攝圖像之圖像的狀態、或在顯示畫面的一部分將加工圖像縮小而顯示的狀態等。
再者，在本實施形態中，雖然列舉對1個維護對象T特定出1個第1之3維區域TA的情況為例並作了說明，但是本發明並非限定於此。例如，在有複數個維護對象T的情況下，只要按每個維護對象T來設定例如基準點M，並按每個維護對象T來特定出第1之3維區域TA即可。例如，當1個維護對象T為基板處理裝置，且取下基板處理裝置的零件而在預定的作業桌上進行修理等之作業的情況下，只要將另一個維護對象T設定為此作業桌，並且也在作業桌設定基準點M即可。
又，在本實施形態中，雖然作為第1之3維區域TA而列舉具有8個頂點P1~P8的長方體形狀的3維區域為例並作了說明，但是本發明並非限定於此。也可因應於維護對象T的形狀，來設定以比8個更多的點所特定之長方體以外的形狀的第1之3維區域TA。
又，在本實施形態中，雖然列舉將1個可穿戴終端1電連接於維護支援人員側終端2的情況為例並作了說明，但是本發明並非限定於此。也可採用將複數個可穿戴終端1電連接於維護支援人員側終端2的構成。 在此情況下，亦可為複數個可穿戴終端1的拍攝機構12特定出將相同的基準點M設為基準之相同的第1之3維區域TA的構成，亦可採用按每個可穿戴終端1，而將基準點M設為不同的點，或將特定出的第1之3維區域TA設為不同的區域之構成。 又，在維護支援人員側終端2中，可採用將複數個可穿戴終端1發送來的各加工圖像排列並同時地顯示、或者設為可切換欲顯示的加工圖像等各種態樣。 此外，無論可穿戴終端1為1個或為複數個，也可準備複數個可電連接於可穿戴終端1的維護支援人員側終端2。
又，在本實施形態中，如圖2所示，雖然是將包含維護對象T並且包含可穿戴終端1移動的範圍之區域設定為第1之3維區域TA，但是本發明並非限定於此。即使為維護對象T不存在、或可穿戴終端1不移動的區域，針對已事先決定有不存在與機密資訊相關的裝置S之區域，亦可進一步將第1之3維區域TA加大成包含此區域。又，第1之3維區域TA並不限定於相連的1個區域，也可將複數個已分離的區域設定為第1之3維區域TA。
＜第2實施形態＞ 第2實施形態之維護支援系統也具有和參照圖1所說明的第1實施形態之維護支援系統100同樣的概略構成。 但是，第2實施形態之維護支援系統是第1之3維區域TA的設定會和第1實施形態之維護支援系統100不同。以下，針對此點進行說明。
圖5是說明第2實施形態之維護支援系統中的第1之3維區域TA的設定例的說明圖。 如圖5所示，在本實施形態中，是以複數個(在圖5所示的例子中為8個)虛擬的分隔壁W1~W8而構成有第1之3維區域TA。在圖5所示的例子中，是形成為將以8個分隔壁W1~W8所包圍的區域設定作為第1之3維區域TA。分隔壁W1~W8只要例如讓維護作業人員使用AR游標來對已顯示於顯示器13的拍攝圖像指定即可。藉此，第1特定機構31是形成為將以分隔壁W1~W8所包圍的區域特定為第1之3維區域TA。
較佳的是，如圖5所示的分隔壁是設成維護作業人員可自由地指定其位置、尺寸、或個數。藉由此較佳的構成，即使維護對象T的形狀或尺寸改變，由於可以因應於此來自由地變更分隔壁的位置、尺寸或個數，所以除了泛用性較優異之外，由第2特定機構32所進行之遮罩像素區域的特定也較容易。又，例如，當維護對象T不僅是基板處理裝置本體，也包含位於稍微遠離基板處理裝置本體的場所之輔助器具(例如泵或冷卻器(chiller)等)時等，和如圖2之指定尺寸的第1之3維區域TA相較之下，可適當地配置分隔壁來構成第1之3維區域TA(佈置變更較容易)。
再者，各分隔壁之間，只要無法在維護支援人員側終端2目視辨識與機密資訊相關的裝置S(亦即，在加工圖像中形成為不可見)，空出有若干間隙亦無妨。在圖5中，圖示有在分隔壁W1、W2之間、分隔壁W2、W3之間、分隔壁W5、W6之間、分隔壁W6、W7之間，空出有若干間隙的例子。但是，為了形成為確實地使與機密資訊相關的裝置S無法在維護支援人員側終端2中目視辨識，較佳的是，從第1之3維區域TA內的可穿戴終端1之拍攝機構12的拍攝方向(視線方向)L1來觀看，各分隔壁彼此具有重疊的部分。 又，在圖5所示的例子中，雖然在維護對象T所處的場所的天花板部分或地板部分未設置有分隔壁，但是只要讓維護對象T周圍之與機密資訊相關的裝置S無法在維護支援人員側終端2中目視辨識，亦可自由地設定分隔壁。
＜第3實施形態＞ 第3實施形態之維護支援系統也具有和參照圖1所說明的第1實施形態之維護支援系統100同樣的概略構成。 但是，第3實施形態之維護支援系統並不是使用第1之3維區域TA，而是使用第2之3維區域SA，這點和第1實施形態之維護支援系統100是不同的。以下，針對此點進行說明。
在第3實施形態之維護支援系統中是形成為以下構成：第1特定機構31將基準點M設為基準，而特定出除了維護對象T以外之預定的第2之3維區域(例如，如圖6所示，特定出包含與機密資訊相關的裝置S的第2之3維區域SA)，第2特定機構32是特定出與第2之3維區域SA相對應的遮罩像素區域。第2之3維區域SA為虛擬空間中的3維區域。針對特定出第2之3維區域SA的情況，可同樣地適用針對特定出前述的第1之3維區域TA的情況而說明的內容。 第1特定機構31亦可取代於特定出第1之3維區域TA之作法，而特定出第2之3維區域SA，亦可特定出第1之3維區域TA及第2之3維區域SA之雙方。在第1特定機構31取代於特定出第1之3維區域TA之作法而特定出第2之3維區域SA的情況下，第2特定機構32是形成為特定出與第2之3維區域SA相對應的遮罩像素區域。在第1特定機構31特定出第1之3維區域TA及第2之3維區域SA之雙方的情況下，第2特定機構32是形成為特定出除了與第1之3維區域TA相對應的有效像素區域以外的遮罩像素區域，並且特定出與第2之3維區域SA相對應的遮罩像素區域。再者，在特定出雙方的情況下，會有以下的重疊情況：除了與第1之3維區域TA相對應的有效像素區域以外的遮罩像素區域、及與第2之3維區域SA相對應的遮罩像素區域重疊。在此情況下，只要將在至少一者被特定為遮罩像素區域的像素區域全部都設為遮罩像素區域即可。
＜第4實施形態＞ 第4實施形態之維護支援系統也具有和參照圖1所說明的第1實施形態之維護支援系統100同樣的概略構成。 但是，第4實施形態之維護支援系統，為第1之3維區域TA的設定和第1實施形態之維護支援系統100或第2實施形態之維護支援系統不同。以下，針對此點進行說明。再者，在以下的說明中是例示存在有2個與機密資訊相關的裝置(裝置S1、S2)的情況。
圖7是說明第4實施形態之維護支援系統中的第1之3維區域TA的設定例及此時的第2特定機構32的概略動作的說明圖。圖7(a)是顯示第1之3維區域TA的設定例的立體圖。圖7(b)是說明第2特定機構32的概略動作的平面圖，且是顯示以下狀態：可穿戴終端1位於正對於維護對象T的前表面(設置有圖7(a)所示的構件T1~T3之面)的中央(圖7(a)所示的可穿戴終端1的拍攝機構12的拍攝方向L1正交於維護對象T的前表面)的位置。 圖8是說明如圖7所示地設定了第1之3維區域TA時之第2特定機構32的概略動作的平面圖。圖8(a)是顯示可穿戴終端1從圖7(b)所示的狀態到位於已平行移動至裝置S2側的位置之狀態。圖8(b)是顯示可穿戴終端1從圖7(b)所示的狀態到位於已旋轉移動至裝置S2側(於維護對象T的周圍朝逆時針方向移動)的位置之狀態。圖8(c)是顯示可穿戴終端1從圖7(b)所示的狀態到已在該處將方向朝左改變的狀態。 再者，在圖7(b)、圖8中為了方便而以矩形來圖示可穿戴終端1。
在前述的圖2所示的例子中，雖然是將包含維護對象T並且包含可穿戴終端1移動的範圍之區域設定為第1之3維區域TA，但是在圖7(a)所示的例子中，是將第1之3維區域TA設定為和維護對象T相符，且可穿戴終端1在第1之3維區域TA的外部移動。 如圖7(b)所示，在可穿戴終端1位於正對於維護對象T的前表面的中央之狀態下，會成為以可穿戴終端1的拍攝機構來拍攝維護對象T(第1之3維區域TA)時，位於可穿戴終端1的拍攝機構的視野角θ的範圍內的被拍攝體會成像而被取得作為拍攝圖像。換言之，位於圖7(b)所示的可穿戴終端1的拍攝機構的視野角θ的範圍外即拍攝區域外OIA的被拍攝體不會構成拍攝圖像。
第2特定機構32是特定出除了與已取得的拍攝圖像中的第1之3維區域TA相對應的有效像素區域以外的遮罩像素區域。具體而言，是將拍攝圖像中的以下像素區域特定為遮罩像素區域：位於圖7(b)所示的遮罩區域MA的被拍攝體成像而得到的像素區域、或通過遮罩區域MA成像而得到的像素區域。 從可穿戴終端1的拍攝機構來觀看，因為位於第1之3維區域TA(維護對象T)的後方之死角區域BA的被拍攝體，被維護對象T遮住而不會成像，所以不會構成拍攝圖像。其結果，在實質上，和將除了與第1之3維區域TA相對應的有效像素區域以外的像素區域特定為遮罩像素區域之作法，有相同的效果。
又，以可穿戴終端1的拍攝機構來拍攝第1之3維區域TA(維護對象T)時，位於可穿戴終端1與第1之3維區域TA之間且位於拍攝機構的視野角θ的範圍內的區域，雖然原本是第1之3維區域TA以外的區域，但是第2特定機構32是將此區域特定為位於第1之3維區域TA的近前的例外區域EA。並且，第2特定機構32在拍攝圖像中，是將通過此例外區域EA成像而得到的像素區域特定為有效像素區域。加工圖像生成機構33會因為通過此例外區域EA成像而得到的像素區域(亦即，與維護對象T的前表面相對應的像素區域)為有效像素區域，所以不設為不可見。亦即，可進行以可以目視辨識第1之3維區域TA(維護對象T)為優先的處理。
如圖8(a)所示，在可穿戴終端1從圖7(b)所示的狀態已平行移動至裝置S2側的情況下(穿戴了可穿戴終端1的維護作業人員保持正面觀看維護對象T的狀態並朝右側移動的情況下)，和圖7(b)所示的狀態相較，例外區域EA的位置會大幅地變化。在圖8(a)所示的例子中，因為裝置S2位於遮罩區域MA，所以第2特定機構32是將拍攝圖像中的裝置S2成像而得到的像素區域特定為遮罩像素區域，且因為加工圖像生成機構33將此遮罩像素區域設為不可見，所以裝置S2不會照進加工圖像中。但是，根據可穿戴終端1的位置，會有裝置S2進入例外區域EA內的情形。在此情況下，也可以另外設定前述之第2之3維區域SA。
如圖8(b)所示，在可穿戴終端1已從圖7(b)所示的狀態旋轉移動至裝置S2側的情況下(穿戴了可穿戴終端1的維護作業人員已於維護對象T的周圍朝逆時針方向移動的情況下)，也和圖8(a)所示的情況同樣地，會有裝置S2、S1進入例外區域EA的情形。在此情況下，如前所述，可藉由另外設定第2之3維區域SA來應對處理。
如圖8(c)所示，在可穿戴終端1已從圖7(b)所示的狀態在該處將方向朝左改變的情況下(穿戴了可穿戴終端1的維護作業人員在該處將視線方向(頭的方向)朝左方向改變的情況)下，若如圖7(b)所示，裝置S1、S2原本位於死角區域BA內，則即使改變視線方向仍然會形成為照樣位於死角區域BA內之狀態。
以上，如參照圖7及圖8而說明的第4實施形態之維護支援系統所示，在將第1之3維區域TA設定為和維護對象T相符，且可穿戴終端1在第1之3維區域TA的外部移動的情況下，必須防備與機密資訊相關的裝置S(S1、S2)位於例外區域EA內的可能性，而另外設定第2之3維區域SA，但是和前述之圖2所示的情況同樣地，在維護支援人員側終端2中，只可目視辨識第1之3維區域TA(維護對象T)，而可防止維護對象T以外的機密資訊等的洩露。
圖9是顯示如圖7所示地設定第1之3維區域TA並且設定了第2之3維區域SA時，以加工圖像生成機構33所生成的加工圖像之一例的圖。圖9(a)是說明可穿戴終端1的拍攝機構12的拍攝方向(視線方向)L1的圖，圖9(b)是顯示圖9(a)所示的拍攝方向L1時所生成的加工圖像之一例的圖。再者，在圖9(a)中省略了可穿戴終端1的圖示。 如圖9(b)所示，在以維護作業人員所穿戴的可穿戴終端1具備的拍攝機構12所取得的拍攝圖像中，可得到將以下的遮罩像素區域設為不可見(在圖9所示的例子中為塗黑)的加工圖像：除了與包含維護對象T之預定的第1之3維區域TA(在圖9所示的例子中為維護對象T＝第1之3維區域TA)相對應的有效像素區域以外的遮罩像素區域、以及與對圖9(a)所示的裝置S1、S2分別設定的第2之3維區域SA(省略圖示)相對應的遮罩像素區域。 再者，在佈置上，當與機密資訊相關的裝置S不在維護對象T的附近(亦即，在穿戴了可穿戴終端1的作業人員移動的區域與維護對象T之間沒有與機密資訊相關的裝置S)的情況下，僅設定第1之3維區域TA是沒有問題的，而在與機密資訊相關的裝置S位於維護對象T的附近的情況下，就變得還需要第2之3維區域SA。
1:可穿戴終端 2:維護支援人員側終端 3:控制訊號處理機構 4:揚聲器 5:麥克風 6:伺服器 11:框架 12:拍攝機構 13:顯示器 31:第1特定機構 32:第2特定機構 32a,32b:第2拍攝機構 32c:距離圖像感測器 32d:慣性感測器 32e:軟體部分 33:加工圖像生成機構 34:通訊機構 100:維護支援系統 BA:死角區域 EA:例外區域 L1,L2,L3:拍攝方向 M:基準點 MA:遮罩區域 N:電信線路 OIA:拍攝區域外 P1~P8:頂點 S,S1,S2:與機密資訊相關的裝置 SA:第2之3維區域 T:維護對象 T1~T3:構件 TA:第1之3維區域 W1~W8:分隔壁 θ:視野角
圖1是示意地顯示本發明的第1實施形態之維護支援系統的概略構成的圖。 圖2是說明圖1所示的維護支援系統的概略動作的說明圖。 圖3是顯示以圖1所示之初始狀態的拍攝機構所取得的拍攝圖像及以加工圖像生成機構所生成的加工圖像之一例的圖。 圖4是顯示以圖1所示之可穿戴終端移動後之移動後狀態的拍攝機構所取得的拍攝圖像及以加工圖像生成機構所生成的加工圖像之一例的圖。 圖5是說明本發明的第2實施形態之維護支援系統中的第1之3維區域的設定例的說明圖。 圖6是說明在本發明的第3實施形態之維護支援系統中所使用的第2之3維區域的說明圖。 圖7是說明本發明的第4實施形態之維護支援系統中的第1之3維區域的設定例及此時的第2特定機構之概略動作的說明圖。 圖8是說明如圖7所示地設定了第1之3維區域時的第2特定機構之概略動作的平面圖。 圖9是顯示如圖7所示地設定第1之3維區域並且設定了第2之3維區域時，以加工圖像生成機構所生成的加工圖像之一例的圖。 圖10是說明SLAM技術的概要的說明圖。
1:可穿戴終端
2:維護支援人員側終端
3:控制訊號處理機構
4:揚聲器
5:麥克風
6:伺服器
11:框架
12:拍攝機構
13:顯示器
31:第1特定機構
32:第2特定機構
32a,32b:第2拍攝機構
32c:距離圖像感測器
32d:慣性感測器
32e:軟體部分
33:加工圖像生成機構
34:通訊機構
100:維護支援系統
L1,L2,L3:拍攝方向
N:電信線路
T:維護對象

Claims (14)

  1. 一種維護支援系統，其特徵在於具備： 可穿戴終端，具備拍攝機構且供維護作業人員穿戴； 第1特定機構，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域； 第2特定機構，在前述可穿戴終端已移動之移動後狀態下，特定出除了與以前述拍攝機構所取得的拍攝圖像中的前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與前述第2之3維區域相對應的遮罩像素區域； 加工圖像生成機構，生成加工圖像，前述加工圖像是對於以前述移動後狀態之前述拍攝機構所取得的拍攝圖像，將以前述第2特定機構所特定出的前述遮罩像素區域設為不可見之圖像；及 通訊機構，將前述加工圖像生成機構所生成的前述加工圖像發送至維護支援人員所操作的維護支援人員側終端。
  2. 如請求項1之維護支援系統，其中在以前述移動後狀態的前述拍攝機構所取得的拍攝圖像中不需要包含前述基準點。
  3. 如請求項1或2之維護支援系統，其中前述基準點是由標記所規定。
  4. 如請求項1或2之維護支援系統，其中前述第2特定機構具備拍攝方向互相不同的複數個第2拍攝機構，且依據前述複數個第2拍攝機構所取得的拍攝圖像，來特定出前述遮罩像素區域。
  5. 如請求項1或2之維護支援系統，其中前述可穿戴終端為具備顯示器的頭戴式顯示器， 前述頭戴式顯示器是構成為可切換成：在前述顯示器顯示前述拍攝圖像的狀態、與在前述顯示器以可辨識的方式顯示前述加工圖像的狀態。
  6. 如請求項1或2之維護支援系統，其中前述第1特定機構、前述第2特定機構、前述加工圖像生成機構及前述通訊機構是安裝於前述可穿戴終端。
  7. 如請求項1或2之維護支援系統，其具備前述維護支援人員側終端， 前述維護支援人員側終端是構成為可和前述通訊機構雙向地進行資料通訊。
  8. 如請求項7之維護支援系統，其具備伺服器，前述伺服器是電連接於前述通訊機構及前述維護支援人員側終端，且儲存有前述維護作業人員的識別資訊即第1識別資訊及前述維護支援人員的識別資訊即第2識別資訊， 前述伺服器判定從前述通訊機構發送至前述伺服器的識別資訊與已儲存於前述伺服器的前述第1識別資訊是否相符，並且判定從前述維護支援人員側終端發送至前述伺服器的識別資訊與已儲存於前述伺服器的前述第2識別資訊是否相符，又，前述維護支援系統是設成在從前述通訊機構發送至前述伺服器的前述識別資訊與前述第1識別資訊相符，且從前述維護支援人員側終端發送至前述伺服器的識別資訊與前述第2識別資訊相符的情況下，可進行透過前述伺服器之前述通訊機構與前述維護支援人員側終端之雙向的資料通訊。
  9. 一種維護支援方法，是使用了可穿戴終端的維護支援方法，前述可穿戴終端具備拍攝機構且供維護作業人員穿戴，前述維護支援方法的特徵在於包含以下步驟： 第1特定步驟，藉由第1特定機構，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域； 第2特定步驟，在前述可穿戴終端已移動之移動後狀態下，藉由第2特定機構特定出除了與以前述拍攝機構所取得的拍攝圖像中的前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與前述第2之3維區域相對應的遮罩像素區域； 加工圖像生成步驟，藉由加工圖像生成機構，生成加工圖像，前述加工圖像是對於以前述移動後狀態之前述拍攝機構所取得的拍攝圖像，將在前述第2特定步驟中所特定出的前述遮罩像素區域設為不可見之圖像；及 通訊步驟，藉由通訊機構，將在前述加工圖像生成步驟中所生成的前述加工圖像發送至維護支援人員側終端。
  10. 一種程式，用於使前述第1特定機構、前述第2特定機構、前述加工圖像生成機構及前述通訊機構分別執行如請求項9之維護支援方法所包含的前述第1特定步驟、前述第2特定步驟、前述加工圖像生成步驟及前述通訊步驟。
  11. 一種加工圖像的生成方法，其特徵在於進行：在以維護作業人員穿戴的可穿戴終端具備的拍攝機構所取得的拍攝圖像中，特定出除了與包含維護對象即產業用機器之預定的第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與除了前述維護對象即產業用機器以外之預定的第2之3維區域相對應的遮罩像素區域，且生成將前述遮罩像素區域設為不可見的加工圖像。
  12. 一種加工圖像的生成方法，是使用以維護作業人員穿戴的可穿戴終端具備的拍攝機構所取得的拍攝圖像來生成加工圖像的方法，其特徵在於包含以下步驟： 第1特定步驟，藉由第1特定機構，將以初始狀態的前述拍攝機構所取得的拍攝圖像中的預定的基準點設為基準，來特定出包含維護對象即產業用機器之預定的第1之3維區域及/或除了前述維護對象即產業用機器以外之預定的第2之3維區域； 第2特定步驟，在前述可穿戴終端已移動之移動後狀態下，藉由第2特定機構特定出除了與以前述拍攝機構所取得的拍攝圖像中的前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或特定出與前述第2之3維區域相對應的遮罩像素區域；及 加工圖像生成步驟，藉由加工圖像生成機構，生成加工圖像，前述加工圖像是對於以前述移動後狀態之前述拍攝機構所取得的拍攝圖像，將在前述第2特定步驟中所特定出的前述遮罩像素區域設為不可見之圖像。
  13. 一種加工圖像，是在以維護作業人員穿戴的可穿戴終端具備的拍攝機構所取得的拍攝圖像中，將以下之遮罩像素區域設為不可見：除了與包含維護對象即產業用機器之預定的第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或與除了前述維護對象即產業用機器以外之預定的第2之3維區域相對應的遮罩像素區域。
  14. 一種加工圖像，是藉由如請求項12之生成方法所生成，且將以下之遮罩像素區域設為不可見：除了與包含前述維護對象即產業用機器之前述第1之3維區域相對應的有效像素區域以外的遮罩像素區域、及/或與除了前述維護對象即產業用機器以外之前述第2之3維區域相對應的遮罩像素區域。
TW109109420A 2019-03-22 2020-03-20 維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像 TWI831951B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
WOPCT/JP2019/012279 2019-03-22
PCT/JP2019/012279 WO2020194413A1 (ja) 2019-03-22 2019-03-22 保守支援システム、保守支援方法及びプログラム
PCT/JP2019/027986 WO2020194777A1 (ja) 2019-03-22 2019-07-16 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
WOPCT/JP2019/027986 2019-07-16

Publications (2)

Publication Number Publication Date
TW202046064A true TW202046064A (zh) 2020-12-16
TWI831951B TWI831951B (zh) 2024-02-11

Family

ID=72610410

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109420A TWI831951B (zh) 2019-03-22 2020-03-20 維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像

Country Status (7)

Country Link
US (1) US11785184B2 (zh)
EP (2) EP3944201B1 (zh)
JP (4) JP7058798B2 (zh)
KR (2) KR20210142630A (zh)
CN (2) CN113614792A (zh)
TW (1) TWI831951B (zh)
WO (2) WO2020194413A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7377614B2 (ja) * 2019-03-26 2023-11-10 株式会社富士通エフサス ウェアラブル装置および送信制御方法
CN112565658A (zh) * 2020-12-04 2021-03-26 杭州中车数字科技有限公司 一种设备维护辅助方法和系统
JP2023026891A (ja) * 2021-08-16 2023-03-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
CN116468206A (zh) * 2022-01-11 2023-07-21 大金工业株式会社 设备的维护方法、装置及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4383237B2 (ja) * 2004-04-28 2009-12-16 株式会社日立製作所 自己位置検知装置及びそれを用いた炉内検査方法並びに炉内検査装置
JP2011150399A (ja) * 2010-01-19 2011-08-04 Nec Corp 保守システム、保守端末、復旧作業支援方法および復旧作業支援用プログラム
JP5152281B2 (ja) * 2010-09-03 2013-02-27 日本電気株式会社 画像処理装置、方法及びプログラム
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
EP2876608A4 (en) * 2012-07-23 2016-02-10 Fujitsu Ltd PROGRAM, METHOD, AND DISPLAY CONTROL DEVICE
EP3146729A4 (en) * 2014-05-21 2018-04-11 Millennium Three Technologies Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
WO2015189994A1 (ja) * 2014-06-13 2015-12-17 株式会社日立システムズ 作業記録装置、作業記録システム、作業記録プログラムおよび作業記録方法
US9529198B2 (en) * 2014-08-29 2016-12-27 Google Inc. Opto-mechanical system for head-mounted device
JP6524706B2 (ja) * 2015-02-27 2019-06-05 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
JP2017211766A (ja) * 2016-05-24 2017-11-30 株式会社Ｓｃｒｅｅｎホールディングス 画像処理システム、画像処理プログラム、および画像処理方法
JP2018036812A (ja) * 2016-08-31 2018-03-08 株式会社日立システムズ Ｉｔ運用作業遠隔支援システム及び方法
JP2018207271A (ja) * 2017-06-02 2018-12-27 富士通株式会社 端末、画像処理システム、画像処理プログラムおよび画像処理方法
JP2019012971A (ja) * 2017-06-30 2019-01-24 キヤノン株式会社 システム及び情報処理方法

Also Published As

Publication number Publication date
EP3822923A4 (en) 2021-11-24
JPWO2020196276A1 (ja) 2021-10-21
WO2020194413A1 (ja) 2020-10-01
JPWO2020194413A1 (ja) 2021-10-14
WO2020194777A1 (ja) 2020-10-01
JP7058798B2 (ja) 2022-04-22
EP3822923A1 (en) 2021-05-19
JPWO2020194778A1 (ja) 2021-04-08
JP6970858B2 (ja) 2021-11-24
EP3944201A4 (en) 2022-04-13
JP6837603B1 (ja) 2021-03-03
EP3944201B1 (en) 2024-03-13
CN113614792A (zh) 2021-11-05
CN112655027A (zh) 2021-04-13
EP3822923B1 (en) 2024-06-26
KR20210142630A (ko) 2021-11-25
JP2021018815A (ja) 2021-02-15
US11785184B2 (en) 2023-10-10
TWI831951B (zh) 2024-02-11
EP3944201A1 (en) 2022-01-26
US20220165044A1 (en) 2022-05-26
KR20210142084A (ko) 2021-11-24

Similar Documents

Publication Publication Date Title
TWI831951B (zh) 維護支援系統、維護支援方法、程式、加工圖像的生成方法及加工圖像
CA2888943C (en) Augmented reality system and method for positioning and mapping
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP7414395B2 (ja) 情報投影システム、制御装置、及び情報投影制御方法
KR102260193B1 (ko) 3차원 공간에 대한 보안기능을 제공하는 증강현실 원격 통신방법 및 시스템
JP6726016B2 (ja) 情報処理装置、情報処理方法
JP7179583B2 (ja) 画像処理装置および画像処理方法
JP6882147B2 (ja) 操作案内システム
WO2020196276A1 (ja) 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像
JP4689344B2 (ja) 情報処理方法、情報処理装置
WO2021075307A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPWO2018100631A1 (ja) 情報処理装置
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
CN112581630A (zh) 一种用户交互方法和系统
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
CN112053444B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN108090933B (zh) 二维平面标定方法和装置
JP2022070653A (ja) 映像送信システム、映像送信システムの動作方法及び映像送信システムの動作プログラム
JP2022184481A (ja) 画像制限方法、画像制限プログラム、情報処理装置及び支援システム
JP2023000203A (ja) 俯瞰映像提示システム
CN116547115A (zh) 增强现实显示装置以及增强现实显示系统
JP2020170482A (ja) 作業指示システム
KR20210085929A (ko) 다중 사용자 간의 증강현실 커뮤니케이션 방법