WO2024034416A1 - 支援装置、支援システムおよび支援方法 - Google Patents

支援装置、支援システムおよび支援方法 Download PDF

Info

Publication number
WO2024034416A1
WO2024034416A1 PCT/JP2023/027514 JP2023027514W WO2024034416A1 WO 2024034416 A1 WO2024034416 A1 WO 2024034416A1 JP 2023027514 W JP2023027514 W JP 2023027514W WO 2024034416 A1 WO2024034416 A1 WO 2024034416A1
Authority
WO
WIPO (PCT)
Prior art keywords
equipment
support
unit
information
work
Prior art date
Application number
PCT/JP2023/027514
Other languages
English (en)
French (fr)
Inventor
健一 成川
Original Assignee
東京エレクトロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東京エレクトロン株式会社 filed Critical 東京エレクトロン株式会社
Publication of WO2024034416A1 publication Critical patent/WO2024034416A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Definitions

  • the present disclosure relates to a support device, a support system, and a support method.
  • Patent Document 1 describes support information that provides information required by workers such as field engineers who maintain inspection equipment, manufacturing equipment, etc. (hereinafter simply referred to as "equipment") and information that they want to make known to workers.
  • a display method is disclosed.
  • this support information display method first, a camera of a head-mounted display worn by a worker is used to obtain an image of a part of equipment to be maintained. Next, support information regarding the maintenance target site in this video is estimated from the database and converted into an image. Next, by displaying this image on a head-mounted display, the support information can be visually recognized by the worker.
  • the technology according to the present disclosure can appropriately support work when work is performed on equipment.
  • One aspect of the technology according to the present disclosure is a support device that supports work when work is performed on equipment, the support device receiving information transmitted from a device owned by a worker working on the equipment.
  • a receiving section that receives location information regarding the location of equipment; a specifying section that specifies the facility based on the location information received by the receiving section; and a task performed on the facility specified by the specifying section.
  • the apparatus includes a transmitter that transmits support information suitable for supporting the work to the equipment to equipment owned by a worker.
  • FIG. 1 is a schematic diagram schematically showing the configuration of a support system as an embodiment of the technology according to the present disclosure.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a support device included in the support system shown in FIG. 1.
  • FIG. 3 is an example of a virtual space image generated by the support device shown in FIG. 2.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a mobile terminal included in the support system shown in FIG. 1.
  • FIG. 2 is a sequence diagram showing an example of a sequence executed by the support system shown in FIG. 1.
  • Patent Document 1 The technique disclosed in Patent Document 1 described above is based on the premise that a camera of a head-mounted display worn by a worker such as a field engineer is used to acquire an image of a part of equipment to be maintained.
  • the technology according to the present disclosure eliminates the need to acquire images of the equipment when performing maintenance work or the like on the equipment, and can appropriately support the work.
  • FIG. 1 is a schematic diagram schematically showing the configuration of a support system as an embodiment of the technology according to the present disclosure.
  • the support system 1 shown in FIG. 1 includes a support device 2 and a mobile terminal 3 that can communicate with each other via an external information communication network 100.
  • This support system 1 allows a support worker M2 to remotely support a worker M1 such as a field engineer working in the factory 10.
  • the support device 2 is operated by a support member M2.
  • the mobile terminal 3 is a device carried by the worker M1 in the factory 10, and is operated by the worker M1.
  • a plurality of equipment 11 are arranged side by side. Although the number of installed equipment 11 is three in the configuration shown in FIG. 1, it is not limited to this.
  • equipment 11 is, for example, a prober (inspection device) used for electrical inspection of semiconductor devices formed on a wafer.
  • the work performed by the worker M1 in the factory 10 is work on equipment 11A among equipment 11A to equipment 11C.
  • the work for the equipment 11A is, for example, maintenance of the equipment 11A.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of a support device included in the support system shown in FIG. 1.
  • FIG. 3 is an example of a virtual space image displayed by the support system shown in FIG. 1.
  • the support device 2 (support method) can support the worker M1 when the worker M1 performs the work.
  • the support device 2 includes a device main body 21, a display section 22, and a headset 23 that are communicably connected to each other.
  • the device main body 21 includes a CPU 24, a storage section 25, a receiving section 26, a transmitting section 27, and an image generating section 28.
  • a desktop personal computer is used as the device main body 21 (see FIG.
  • the present invention is not limited to this, and for example, a notebook personal computer, a tablet terminal, etc. can be used.
  • the display section 22 is not particularly limited, and for example, an organic EL display, a liquid crystal display, etc. can be used.
  • the CPU 24 is a control unit that controls the storage unit 25, the reception unit 26, the transmission unit 27, the image generation unit 28, the display unit 22, and the headset 23.
  • the storage unit 25 stores in advance support information 251 suitable for supporting work for each piece of equipment 11, location information 252 of each piece of equipment 11 within the factory 10, and specification information 253 indicating the specifications of each piece of equipment 11. ing.
  • the support information 251 is information suitable for maintenance support, and includes at least one of the manual for each equipment 11 and the past maintenance history (history) of each equipment 11. Further, the manual for each piece of equipment 11 includes at least one of a work procedure manual and a specification (design document) for each piece of equipment 11.
  • the maintenance history includes a history of past malfunctions of each facility 11 and a history of remedial measures taken to eliminate the malfunctions.
  • the support worker M2 selects support information 251 that is considered optimal from among the manual and maintenance history of the equipment 11 identified by the identification unit 241, which will be described later. , can be provided to worker M1 (see FIG. 5).
  • the placement information 252 is acquired from a customer who owns the factory 10, for example, when the equipment 11 is delivered to the factory 10.
  • the specification information 253 includes, for example, three-dimensional CAD data as design information for each facility 11.
  • the specification information 253 also includes specification information of the standard equipment 11 and information regarding equipment added or modified for the customer in the equipment 11.
  • the specification information 253 is acquired, for example, from one of the developer, designer, and manufacturer of each facility 11. Note that various programs executed by the CPU 24 are also stored in advance in the storage unit 25.
  • the receiving unit 26 receives position information 30 regarding the position of the equipment 11 (receiving step). This location information 30 is transmitted from the mobile terminal 3 (see FIG. 5). Note that the location information 30 may also include location information of the factory 10. The location information of the factory 10 is obtained, for example, from a map application that is a web mapping platform.
  • the transmitter 27 transmits the support information 251 to the mobile terminal 3 owned by the worker M1 (transmission step). Furthermore, the transmitter 27 can also transmit the virtual space image 281 (see FIGS. 3 and 5) generated by the image generator 28.
  • the CPU 24 has a function as a specifying unit 241 that specifies the equipment 11 to be maintained (specifying step).
  • the equipment 11 to be maintained is equipment 11A.
  • the identifying unit 241 identifies the equipment 11A based on the position information 30 received by the receiving unit 26 and the location information 252 stored in the storage unit 25.
  • the identification unit 241 cannot use the captured image of the equipment 11A to identify the equipment 11A.
  • the equipment 11A will be a large device with a width and depth of about 2000 to 4000 mm. Therefore, in the support system 1, if the worker M1 carrying the mobile terminal 3 is near the equipment 11A, the equipment 11A is sufficiently identified based on the location information 30 from the mobile terminal 3 and the arrangement information 252. (The same applies to equipment 11B and equipment 11C). In this manner, since the support system 1 targets a large-sized device as described above, the characteristic accuracy in the identification unit 241 is ensured in just the right amount using only the position information 30 from the mobile terminal 3.
  • the image generation unit 28 generates a virtual space image 281 (see FIGS. 3 and 5) that imitates the equipment 11 in the actual factory 10 based on the position information 30, the arrangement information 252, and the specification information 253.
  • the image generation unit 28 generates a virtual space image 281 shown in FIG. 3 based on the position information 30, the arrangement information 252, and the specification information 253.
  • a three-dimensional exterior image of the equipment 11A is represented in detail with solid lines.
  • “detail” refers to a detail sufficient to support maintenance work.
  • a simplified three-dimensional exterior image of the equipment 11B is shown, for example, by a two-dot chain line.
  • the virtual space image 281 may display the position of the worker M1.
  • the display unit 22 displays, for example, a virtual space image 281 generated by the image generation unit 28.
  • the support worker M2 can provide the support information 251 to the worker M1 while checking the virtual space image 281.
  • the headset 23 is used by being attached to the head of the support worker M2.
  • the headset 23 includes a headphone 231 and a microphone 232. Thereby, the support worker M2 can have a conversation with the worker M1.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of a mobile terminal included in the support system shown in FIG. 1.
  • the mobile terminal 3 includes a CPU 31, a storage section 32, a display section 33, a microphone 34, a speaker 35, a GPS 36, a terminal receiving section 37, and a terminal transmitting section 38.
  • a mobile terminal 3 is not particularly limited, and for example, a smartphone, a tablet terminal, a notebook personal computer, etc. can be used.
  • the CPU 31 is a control unit that controls the storage unit 32, the display unit 33, the microphone 34, the speaker 35, the GPS 36, the terminal side reception unit 37, and the terminal side transmission unit 38.
  • the storage unit 32 stores in advance various programs to be executed by the CPU 31.
  • the support system 1 uses the position information of the mobile terminal 3 as the position information 30 regarding the position of the equipment 11. This location information of the mobile terminal 3 is location information acquired from the GPS 36. Thereby, the position information 30 can be acquired as accurate position information.
  • the terminal-side transmitter 38 transmits the position information 30 to the receiver 26 of the support device 2.
  • the mobile terminal 3 has a location information transmission application installed therein. Then, on the display unit 33, a transmission operation unit (operation unit) 331 for performing a transmission operation to transmit the position information 30 from the terminal-side transmission unit 38 is displayed as, for example, an icon.
  • the worker M1 can transmit the position information 30 at any timing by operating the transmission operation section 331.
  • the terminal-side receiving unit 37 receives the support information 251 from the transmitting unit 27 of the support device 2. Further, the terminal-side receiving unit 37 can also receive the virtual space image 281 transmitted from the transmitting unit 27.
  • the display unit 33 displays, for example, the support information 251 and the virtual space image 281 received by the terminal-side receiving unit 37.
  • the display unit 33 thus functions as the notification unit 39 that reports the support information 251 as an image.
  • the speaker 35 can, for example, utter the voice of the support person M2 collected by the microphone 232 of the support device 2. Thereby, the worker M1 can hear the voice of the support worker M2. Further, the speaker 35 can also generate the support information 251 received by the terminal-side receiving section 37 in the form of voice. Similar to the display unit 33, the speaker 35 functions as a notification unit 39 that notifies the support information 251 by voice.
  • the notification unit 39 allows the worker M1 to accurately grasp the support information 251.
  • the notification unit 39 is not limited to one that reports the support information 251 in both images and audio, but may be one that reports the support information 251 in at least one of these.
  • the microphone 34 collects, for example, the voice of the worker M1. This voice is emitted from the headphones 231 of the support device 2 and can be heard by the support worker M2.
  • the worker M1 may move not only to one location but also to multiple locations around the equipment 11A, for example.
  • the position information 30 also changes.
  • the equipment 11A in the virtual space image 281 changes its direction in accordance with the movement of the worker M1. Therefore, the mobile terminal 3 may be configured to transmit the position information 30 periodically (for example, every 60 to 120 seconds) from the start of maintenance to the end of maintenance.
  • the support device 2 is configured such that the image generation unit 28 generates a virtual space image 281 that follows the movement of the worker M1 every time the position information 30 is received.
  • the supporter M2 can provide support information 251 according to the maintenance location while checking the virtual space image 281 to be followed.
  • a start operation section that is operated when starting maintenance and an end operation section that is operated when maintenance is finished are provided as icons on the display section 33.
  • FIG. 5 is a sequence diagram showing an example of a sequence executed by the support system shown in FIG. 1.
  • the worker M1 operates the transmission operation section 331 of the mobile terminal 3.
  • the CPU 31 of the mobile terminal 3 activates the terminal-side transmitter 38 to transmit the position information 30 to the support device 2.
  • step S503 the receiving unit 26 of the support device 2 receives the position information 30. Then, the CPU 24 uses the specifying unit 241 to specify the equipment 11 to be maintained, based on the position information 30 received by the receiving unit 26 and the location information 252 in the storage unit 25.
  • equipment 11A the equipment 11 identified by the identifying unit 241 is referred to as equipment 11A.
  • the CPU 24 generates a virtual space image 281 imitating the equipment 11A in the actual factory 10 based on the position information 30, the arrangement information 252, and the specification information 253.
  • step S505 the CPU 24 operates the display unit 22 to display the virtual space image 281 to the support person M2. Thereby, the supporter M2 can understand that the maintenance target is the equipment 11A.
  • step S506 the worker M1 requests support information 251 necessary for maintenance of the equipment 11A from the support worker M2 via the microphone 34 of the mobile terminal 3.
  • step S507 in response to the request from the worker M1 (mobile terminal 3), the support worker M2 considers the most suitable one for the current maintenance of the equipment 11A from among the manuals and maintenance history of all the support information 251. Select the support information 251 that is displayed.
  • step S508 the CPU 24 of the support device 2 operates the transmitter 27 to transmit the support information 251 selected in step S507 and the virtual space image 281 generated in step S504. Note that the support information 251 is transmitted as an image that can be displayed on the mobile terminal 3 or information that can be pronounced.
  • step S509 the CPU 31 of the mobile terminal 3 operates the display unit 33 to display the support information 251 and the virtual space image 281 to the worker M1. generate. Thereby, the worker M1 can obtain the support information 251, and therefore can quickly perform maintenance on the equipment 11A.
  • the support worker M2 can provide advice to supplement the support information 251 to the worker M1 via the microphone 232 of the support device 2.
  • Advice includes, for example, information that is difficult to express in text or drawings. Thereby, the worker M1 can perform maintenance of the equipment 11A more quickly.
  • the support system 1 identifies the equipment 11 that is currently being worked on from among a plurality of equipment 11, without requiring photographed images of the equipment 11, and determines which equipment is suitable for the work on this equipment 11.
  • Support information 251 can be provided to worker M1. Thereby, even if acquisition of images of the equipment 11 in the factory 10 is prohibited, work on the equipment 11 can be appropriately supported.
  • the support system 1 does not require photographed images of the equipment 11 to identify the equipment 11, so it is possible to maintain security within the factory 10, that is, to prevent leakage of confidential information. can. Furthermore, since the effort of photographing a photographed image can be omitted, the support information 251 can be provided quickly.
  • the equipment 11 is a prober in this embodiment, it is not limited thereto, and may be, for example, equipment such as a film forming apparatus or an etching apparatus used for manufacturing semiconductor elements.
  • the work on the equipment 11 is maintenance of the equipment 11 in this embodiment, it is not limited to this, and may be maintenance training that simulates maintenance of the equipment 11, for example.
  • the support system 1 (support device 2) can also be used for maintenance training for the worker M1.
  • the worker M1 can wear VR goggles on which the virtual space image 281 is displayed and perform the maintenance training. Additionally, maintenance tools and the like are additionally displayed in this virtual space image 281.
  • the support information 251 is provided to the worker M1 by operating the support device 2 by the support worker M2 in this embodiment, the present invention is not limited to this.
  • the support device 2 has a built-in artificial intelligence
  • the support information 251 may be provided by operating the support device 2 using this artificial intelligence.
  • the CPU 24 of the support device 2 has a trained model configured to output support information 251 when the specifications, installation environment, current situation, etc. of the equipment 11 are input.
  • the artificial intelligence has an automatic voice recognition function that recognizes the voice of the worker M1. Thereby, the artificial intelligence can determine the content of the request from the worker M1 and provide advice accordingly.
  • information acquired from the GPS 36 of the mobile terminal 3 is used in this embodiment, but the information is not limited to this.
  • the mobile terminal 3 has a built-in acceleration sensor or gyro sensor, can use the information obtained from these sensors.
  • Support system 2 Support device 241 Specification section 251 Support information 26 Receiving section 27 Transmitting section 3 Mobile terminal 30 Location information 37 Terminal side receiving section 38 Terminal side transmitting section 11, 11A, 11B, 11C Equipment M1 Worker (worker)

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)

Abstract

【課題】設備に対して作業が行われる際に、その作業を適切に支援する。 【解決手段】設備に対して作業が行われるのに際して、該作業を支援する支援装置であって、前記設備に対して作業を行う作業者が有する機器から送信された該設備の位置に関する位置情報を受信する受信部と、前記受信部で受信された前記位置情報に基づいて、前記設備を特定する特定部と、前記特定部で特定された前記設備に対して作業を行う作業者が有する機器に、該設備に対する前記作業の支援に適した支援情報を送信する送信部と、を備える、支援装置が提供される。

Description

支援装置、支援システムおよび支援方法
　本開示は、支援装置、支援システムおよび支援方法に関する。
　特許文献１には、検査設備や製造設備等（以下、単に「設備」という）のメンテナンスを行うフィールドエンジニア等の作業者が求める情報や作業者に周知させたい情報を作業者に提供する支援情報表示方法が開示されている。この支援情報表示方法では、まず、作業者が装着するヘッドマウントディスプレイのカメラを用いて、設備のメンテナンス対象部位の映像を取得する。次いで、この映像内のメンテナンス対象部位に関する支援情報をデータベースから推定して、画像化する。次いで、この画像をヘッドマウントディスプレイに表示させることにより、作業者に支援情報を視認させることができる。
特開２０１４－１６４４８２号公報
　本開示に係る技術は、設備に対して作業が行われる際に、その作業を適切に支援することができる。
　本開示に係る技術の一態様は、設備に対して作業が行われるのに際して、該作業を支援する支援装置であって、前記設備に対して作業を行う作業者が有する機器から送信された該設備の位置に関する位置情報を受信する受信部と、前記受信部で受信された前記位置情報に基づいて、前記設備を特定する特定部と、前記特定部で特定された前記設備に対して作業を行う作業者が有する機器に、該設備に対する前記作業の支援に適した支援情報を送信する送信部と、を備える。
　本開示によれば、設備に対して作業が行われる際に、その作業を適切に支援することができる。
本開示に係る技術の一実施の形態としての支援システムの構成を概略的に示す概略図である。 図１に示す支援システムが備える支援装置のハードウェア構成の一例を示すブロック図である。 図２に示す支援装置で生成される仮想空間画像の一例である。 図１に示す支援システムが備える携帯端末のハードウェア構成の一例を示すブロック図である。 図１に示す支援システムで実行されるシーケンスの一例を示すシーケンス図である。
　上述した特許文献１の技術では、フィールドエンジニア等の作業者が装着するヘッドマウントディスプレイのカメラを用いて、設備のメンテナンス対象部位の映像を取得することが前提となる。
　しかしながら、例えば、メンテナンス対象部位を有する設備が顧客の工場に配置されている場合、セキュリティ上、設備のカメラによる映像取得が禁止されている場合がある。この場合、メンテナンス対象部位を推定することができず、結果、支援情報の適切な取得が困難となるおそれがある。
　これに対応して、本開示に係る技術は、設備に対してメンテナンス等の作業を行う際に、設備の映像を取得する必要を無くし、その作業を適切に支援することができる。
　以下、図面を参照して本開示に係る技術の一実施の形態を説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、この構成によって限定されることはない。例えば、この構成に含まれる各部は、同様の機能を発揮し得る任意のものと置換することができる。また、任意の構成物が付加されていてもよい。
　図１は、本開示に係る技術の一実施の形態としての支援システムの構成を概略的に示す概略図である。図１に示す支援システム１は、外部の情報通信網１００を介して互いに通信可能な支援装置２と携帯端末３とを備える。この支援システム１により、工場１０内で作業するフィールドエンジニア等の作業員（作業者）Ｍ１を遠隔で支援員Ｍ２が支援することができる。なお、支援装置２は、支援員Ｍ２によって操作される。一方、携帯端末３は、工場１０内で作業員Ｍ１が携帯する機器であり、この作業員Ｍ１によって操作される。工場１０内には、設備１１が複数台並んで配置されている。設備１１の配置台数は、図１に示す構成では３台であるが、これに限定されない。これら３台の設備１１をそれぞれ図１の紙面手前側から順に「設備１１Ａ」、「設備１１Ｂ」、「設備１１Ｃ」と言うことがある。また、設備１１は、本実施形態では例えばウエハに形成された半導体デバイスの電気的検査に使用されるプローバ（検査装置）である。工場１０内で作業員Ｍ１が行う作業は本実施形態では、設備１１Ａ～設備１１Ｃのうちの設備１１Ａに対する作業である。そして、設備１１Ａに対する作業としては、例えば設備１１Ａのメンテナンスとする。
　図２は、図１に示す支援システムが備える支援装置のハードウェア構成の一例を示すブロック図である。図３は、図１に示す支援システムで表示される仮想空間画像の一例である。支援装置２（支援方法）は、作業員Ｍ１による作業が行われるのに際して、作業員Ｍ１に対し、その作業を支援することができる。図２に示すように、支援装置２は、互いに通信可能に接続された装置本体２１と表示部２２とヘッドセット２３とを備える。装置本体２１は、ＣＰＵ２４、記憶部２５、受信部２６、送信部２７、画像生成部２８を有する。このような装置本体２１としては、本実施形態ではデスクトップ型パーソナルコンピュータが用いられているが（図１参照）、これに限定されず、例えば、ノート型パーソナルコンピュータやタブレット端末等を用いることができる。また、表示部２２としては、特に限定されず、例えば、有機ＥＬディスプレイ、液晶ディスプレイ等を用いることができる。
　ＣＰＵ２４は、記憶部２５、受信部２６、送信部２７、画像生成部２８、表示部２２、ヘッドセット２３を制御する制御部である。
　記憶部２５には、各設備１１に対する作業の支援に適した支援情報２５１と、工場１０内での各設備１１の配置情報２５２と、各設備１１の仕様を示す仕様情報２５３とが予め記憶されている。支援情報２５１は、メンテナンス支援に適した情報であり、各設備１１のマニュアルと、各設備１１の過去のメンテナンス履歴（履歴）とのうちの少なくとも１つが含まれる。また、各設備１１のマニュアルには、各設備１１の作業手順書および仕様書（設計書）のうちの少なくとも１つが含まれる。メンテナンス履歴には、各設備１１の過去の不具合履歴と、この不具合を解消した解消措置の履歴とが含まれる。そして、支援員Ｍ２は、作業員Ｍ１からのリクエスト（要求）に応じて、後述する特定部２４１で特定された設備１１のマニュアルおよびメンテナンス履歴の中から最適と考えられる支援情報２５１を選択して、作業員Ｍ１に提供することができる（図５参照）。
　配置情報２５２は、例えば設備１１を工場１０に納入する際に、工場１０を有する顧客から取得される。仕様情報２５３には、例えば、各設備１１の設計情報としての３次元ＣＡＤデータ等が含まれる。また、仕様情報２５３は、標準仕様の設備１１の仕様情報や、その他、設備１１において顧客向けに追加された装備や改造された内容に関する情報も含む。仕様情報２５３は、例えば、各設備１１の開発元、設計元、製造元のいずれかから取得される。なお、記憶部２５には、ＣＰＵ２４が実行する各種プログラムも予め記憶されている。
　受信部２６は、設備１１の位置に関する位置情報３０を受信する（受信工程）。この位置情報３０は、携帯端末３から送信される（図５参照）。なお、位置情報３０には、工場１０の位置情報も含まれていてもよい。工場１０の位置情報は、例えば、ウェブマッピングプラットフォームである地図アプリケーションから得られる。
　送信部２７は、作業員Ｍ１が有する携帯端末３に支援情報２５１を送信する（送信工程）。また、送信部２７は、画像生成部２８で生成された仮想空間画像２８１（図３、図５参照）の送信も可能である。
　ＣＰＵ２４は、メンテナンス対象の設備１１を特定する特定部２４１としての機能を有する（特定工程）。本実施形態では、メンテナンス対象としての設備１１は設備１１Ａである。特定部２４１は、受信部２６で受信された位置情報３０と、記憶部２５に記憶されている配置情報２５２とに基づいて、設備１１Ａを特定する。
　ところで、前述したように、工場１０内ではセキュリティ上、カメラによる設備１１Ａの映像取得が禁止されている場合がある。この場合、特定部２４１は、設備１１Ａの特定には設備１１Ａを撮影した撮影画像を用いることはできない。また、設備１１Ａは、その種類にもよるが、多数のセル（検査室）を備えるプローバの場合、大きさが幅、奥行きいずれも２０００～４０００ｍｍ程度の大型の装置となる。そのため、支援システム１では、携帯端末３を携帯した作業員Ｍ１が設備１１Ａの近傍にいれば、携帯端末３からの位置情報３０と、配置情報２５２とに基づいて、設備１１Ａを十分に特定することができる（設備１１Ｂ、設備１１Ｃについても同様）。このように支援システム１では、上述したように大型の装置を対象とすることから、携帯端末３からの位置情報３０だけで、特定部２４１での特性精度が過不足なく確保されている。
　画像生成部２８は、位置情報３０と配置情報２５２と仕様情報２５３とに基づいて、実際の工場１０内の設備１１を模した仮想空間画像２８１（図３、図５参照）を生成する。画像生成部２８は、位置情報３０と配置情報２５２と仕様情報２５３とに基づいて、図３に示す仮想空間画像２８１を生成する。仮想空間画像２８１には、設備１１Ａの３次元外観画像が細部にわたって実線で表されている。ここで「細部」とは、メンテナンス作業を支援するのに十分な程度のことを言う。また、仮想空間画像２８１中の設備１１Ａの隣りには、設備１１Ｂの３次元外観画像が簡略されて、例えば、二点鎖線で表されている。また、仮想空間画像２８１には、作業員Ｍ１の位置が表示されていてもよい。
　表示部２２は、例えば画像生成部２８で生成された仮想空間画像２８１等を表示する。これにより、支援員Ｍ２は、仮想空間画像２８１を確認しつつ、作業員Ｍ１に支援情報２５１を提供することができる。ヘッドセット２３は、支援員Ｍ２の頭部に装着して用いられる。ヘッドセット２３は、ヘッドホン２３１、マイク（マイクロホン）２３２を有する。これにより、支援員Ｍ２は、作業員Ｍ１との会話を行うことができる。
　図４は、図１に示す支援システムが備える携帯端末のハードウェア構成の一例を示すブロック図である。図４に示すように、携帯端末３は、ＣＰＵ３１、記憶部３２、表示部３３、マイク（マイクロホン）３４、スピーカ３５、ＧＰＳ３６、端末側受信部３７、端末側送信部３８を備える。このような携帯端末３としては、特に限定されず、例えば、スマートフォン、タブレット端末、ノート型パーソナルコンピュータ等を用いることができる。
　ＣＰＵ３１は、記憶部３２、表示部３３、マイク３４、スピーカ３５、ＧＰＳ３６、端末側受信部３７、端末側送信部３８を制御する制御部である。記憶部３２には、ＣＰＵ３１が実行する各種プログラムが予め記憶されている。支援システム１では、設備１１の位置に関する位置情報３０として、携帯端末３の位置情報を用いる。この携帯端末３の位置情報は、ＧＰＳ３６から取得された位置情報である。これにより、位置情報３０を正確な位置情報として取得することができる。
　端末側送信部３８は、位置情報３０を支援装置２の受信部２６に送信する。携帯端末３には、位置情報送信用アプリケーションがインストールされている。そして、表示部３３には、端末側送信部３８から位置情報３０を送信する送信操作を行うための送信操作部（操作部）３３１が、例えば、アイコンとして表示される。作業員Ｍ１は、送信操作部３３１を操作することにより、任意のタイミングで位置情報３０を送信することができる。
　端末側受信部３７は、支援装置２の送信部２７からの支援情報２５１を受信する。また、端末側受信部３７は、送信部２７から送信された仮想空間画像２８１の受信も可能である。
　表示部３３は、例えば、端末側受信部３７で受信された支援情報２５１や仮想空間画像２８１等を表示する。このように本実施形態では、表示部３３は、支援情報２５１を画像で報知する報知部３９として機能する。スピーカ３５は、例えば、支援装置２のマイク２３２で収集された支援員Ｍ２の音声を発声させることができる。これにより、作業員Ｍ１は、支援員Ｍ２の音声を聞き取ることができる。また、スピーカ３５は、端末側受信部３７で受信された支援情報２５１を音声で発生させることもできる。表示部３３と同様に、スピーカ３５は、支援情報２５１を音声で報知する報知部３９として機能する。報知部３９により、作業員Ｍ１は支援情報２５１を正確に把握することできる。なお、報知部３９は、支援情報２５１を画像および音声の双方で報知するものに限定されず、これらのうちの少なくとも一方で報知するものであればよい。マイク３４は、例えば作業員Ｍ１の音声を収集する。この音声は、支援装置２のヘッドホン２３１から発声されて、支援員Ｍ２が聞き取ることができる。
　また、作業員Ｍ１は、設備１１Ａのメンテナンスを行っている最中は、１箇所にとどまらず、例えば設備１１Ａの周囲の複数箇所に移動する場合もある。この場合、位置情報３０も変化する。このとき仮想空間画像２８１中の設備１１Ａは、作業員Ｍ１の移動に追従して、向きも変化するのが好ましい。そこで、携帯端末３では、メンテナンス開始からメンテナンス終了までの間、位置情報３０が定期的（例えば６０～１２０秒毎）に送信されるように構成されてもよい。このとき、支援装置２は、位置情報３０を受信する毎に、作業員Ｍ１の移動に追従する仮想空間画像２８１が画像生成部２８で生成されるように構成されている。これにより、支援員Ｍ２は、当該追従する仮想空間画像２８１を確認しつつ、メンテナンス箇所に応じた支援情報２５１を提供することができる。なお、携帯端末３は、メンテナンスを開始するときに操作される開始操作部と、メンテナンスが終了したときに操作される終了操作部とが表示部３３にアイコンとして設けられている。
　図５は、図１に示す支援システムで実行されるシーケンスの一例を示すシーケンス図である。図５に示すように、ステップＳ５０１では、作業員Ｍ１が携帯端末３の送信操作部３３１を操作する。これにより、ステップＳ５０２では、携帯端末３のＣＰＵ３１が端末側送信部３８を作動させて、位置情報３０を支援装置２に送信する。
　ステップＳ５０３では、支援装置２の受信部２６が位置情報３０を受信する。そして、ＣＰＵ２４は、受信部２６で受信した位置情報３０と、記憶部２５内の配置情報２５２とに基づいて、メンテナンス対象である設備１１を特定部２４１で特定する。ここでは、特定部２４１で特定された設備１１を設備１１Ａとする。ステップＳ５０４では、ＣＰＵ２４は、位置情報３０と配置情報２５２と仕様情報２５３とに基づいて、実際の工場１０内の設備１１Ａを模した仮想空間画像２８１を生成する。ステップＳ５０５では、ＣＰＵ２４は、表示部２２を作動させて、仮想空間画像２８１を支援員Ｍ２に表示する。これにより、支援員Ｍ２は、メンテナンス対象が設備１１Ａであることを把握することができる。
　ステップＳ５０６では、作業員Ｍ１は、携帯端末３のマイク３４を介して、支援員Ｍ２に対し、設備１１Ａのメンテナンスに必要な支援情報２５１をリクエストする。
　ステップＳ５０７では、支援員Ｍ２は、作業員Ｍ１（携帯端末３）からのリクエスト（要求）に応じて、全支援情報２５１のマニュアルおよびメンテナンス履歴の中から、今回の設備１１Ａのメンテナンスに最適と考えられる支援情報２５１を選択する。ステップＳ５０８では、支援装置２のＣＰＵ２４が送信部２７を作動させて、ステップＳ５０７で選択された支援情報２５１と、ステップＳ５０４で生成された仮想空間画像２８１とを送信する。なお、支援情報２５１は、携帯端末３で表示可能な画像や発音可能な情報として送信される。
　ステップＳ５０９では、携帯端末３のＣＰＵ３１が表示部３３を作動させて、支援情報２５１と仮想空間画像２８１とを作業員Ｍ１に表示し、場合によっては、ＣＰＵ３１がスピーカ３５に支援情報２５１を音声で発生させる。これにより、作業員Ｍ１は、支援情報２５１を得ることができ、よって、設備１１Ａのメンテナンスを迅速に行うことができる。
　なお、必要に応じて、ステップＳ５１０において、支援員Ｍ２は、支援装置２のマイク２３２を介して、作業員Ｍ１に対し、支援情報２５１を補足するアドバイスを提供することができる。アドバイスとしては、例えば、文章や図面では表現しづらい情報等がある。これにより、作業員Ｍ１は、設備１１Ａのメンテナンスをより迅速に行うことができる。
　以上のように、支援システム１では、設備１１を撮影した撮影画像を必要とすること無く、複数の設備１１の中から今回作業対象である設備１１を特定し、この設備１１の作業に適した支援情報２５１を作業員Ｍ１に提供することができる。これにより、工場１０内の設備１１の映像取得が禁止されていても、設備１１に対する作業を適切に支援することができる。
　また、前述したように支援システム１では、設備１１の特定に、設備１１を撮影した撮影画像を要しないため、工場１０内でのセキュリティを維持する、すなわち、機密情報の漏洩を防止することができる。さらに、撮影画像を撮影する手間等を省くことができるため、支援情報２５１を迅速に提供することができる。
　以上、本開示の好ましい実施の形態について説明したが、本開示は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。なお、設備１１としては、本実施形態ではプローバであったが、これに限定されず、例えば、半導体素子の製造に用いられる成膜装置、エッチング装置等の装置であってもよい。
　設備１１に対する作業は、本実施形態では設備１１のメンテナンスであったが、これに限定されず、例えば、設備１１のメンテナンスを模したメンテナンストレーニングであってもよい。これにより、支援システム１（支援装置２）を作業員Ｍ１に対するメンテナンス教育にも用いることができる。支援システム１をメンテナンス教育に用いる場合、作業員Ｍ１は、仮想空間画像２８１が表示されるＶＲゴーグルを装着して、メンテナンストレーニングを行うことができる。また、この仮想空間画像２８１には、メンテナンス用の工具等も追加して表示される。
　作業員Ｍ１への支援情報２５１の提供は、本実施形態では支援員Ｍ２による支援装置２の操作によって行われているが、これに限定されない。例えば支援装置２に人工知能が内蔵されている場合には、この人工知能による支援装置２の操作によって、支援情報２５１の提供が行われてもよい。この場合、例えば、支援装置２のＣＰＵ２４は、設備１１の仕様、設置環境や現在の状況等が入力されると、支援情報２５１を出力するように構成された学習済みモデルを有する。また、人工知能は、作業員Ｍ１の音声を認識する自動音声認識機能を有するのが好ましい。これにより、人工知能は、作業員Ｍ１からのリクエストの内容を判別し、これに応じたアドバイスも提供することができる。
　位置情報３０としては、本実施形態では携帯端末３のＧＰＳ３６から取得された情報を用いているが、これに限定されず、例えば、携帯端末３に加速度センサやジャイロセンサが内蔵されている場合には、これらのセンサから得られた情報を用いることができる。
　本願は、２０２２年８月９日に出願された日本国特許出願特願２０２２－１２７１９０を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。
１　支援システム
２　支援装置
２４１　特定部
２５１　支援情報
２６　受信部
２７　送信部
３　携帯端末
３０　位置情報
３７　端末側受信部
３８　端末側送信部
１１、１１Ａ、１１Ｂ、１１Ｃ　設備
Ｍ１　作業員（作業者）

Claims (17)

  1. 　設備に対して作業が行われるのに際して、該作業を支援する支援装置であって、
    　前記設備に対して作業を行う作業者が有する機器から送信された該設備の位置に関する位置情報を受信する受信部と、
    　前記受信部で受信された前記位置情報に基づいて、前記設備を特定する特定部と、
    　前記特定部で特定された前記設備に対して作業を行う作業者が有する機器に、該設備に対する前記作業の支援に適した支援情報を送信する送信部と、を備える支援装置。
  2. 　前記支援情報は、前記設備に対して作業を行う作業者が有する機器で表示可能な画像として送信される、請求項１に記載の支援装置。
  3. 　前記支援情報が記憶される記憶部を備える、請求項１に記載の支援装置。
  4. 　前記設備は、工場内に複数配置されており、
    　前記記憶部には、前記工場内での前記各設備の配置情報と、前記各設備の仕様を示す仕様情報とが記憶されている、請求項３に記載の支援装置。
  5. 　前記特定部は、前記位置情報と前記配置情報とに基づいて、前記設備を特定する、請求項４に記載の支援装置。
  6. 　前記位置情報と前記配置情報と前記仕様情報とに基づいて、実際の前記工場内の前記設備を模した仮想空間画像を生成する画像生成部を備える、請求項４に記載の支援装置。
  7. 　前記仮想空間画像を表示する表示部を備える、請求項６に記載の支援装置。
  8. 　前記送信部は、前記特定部で特定された前記設備に対して作業を行う作業者が有する機器に前記仮想空間画像を送信する、請求項６に記載の支援装置。
  9. 　前記支援情報には、前記設備の作業手順書および仕様書のうちの少なくとも１つが含まれる前記設備のマニュアルと、前記設備の不具合および該不具合の解消措置の履歴とのうちの少なくとも１つが含まれる、請求項１に記載の支援装置。
  10. 　前記支援情報は、前記設備に対して作業を行う作業者が有する機器からの要求に応じて、前記マニュアルおよび前記履歴の中から選択される、請求項９に記載の支援装置。
  11. 　前記特定部は、前記設備の特定には該設備を撮影した撮影画像を用いない、請求項１に記載の支援装置。
  12. 　前記作業は、前記設備のメンテナンスか、または、該メンテナンスを模したメンテナンストレーニングである、請求項１に記載の支援装置。
  13. 　設備に対して作業が行われるのに際して、該作業を支援する支援装置と、該支援装置と通信可能な携帯端末と、を備える支援システムであって、
    　前記支援装置は、
    　前記設備の位置に関する位置情報を受信する受信部と、
    　前記受信部で受信された前記位置情報に基づいて、前記設備を特定する特定部と、
    　前記特定部で特定された前記設備に対する前記作業の支援に適した支援情報を送信する送信部と、を備え、
    　前記携帯端末は、
    　前記位置情報を前記受信部に送信する端末側送信部と、
    　前記送信部からの前記支援情報を受信する端末側受信部と、
    　前記端末側受信部で受信された前記支援情報を画像および音声のうちの少なくとも一方で報知する報知部と、を備える支援システム。
  14. 　前記携帯端末は、前記端末側送信部から前記位置情報を送信する際、その送信操作を行う操作部を備える、請求項１３に記載の支援システム。
  15. 　前記位置情報として、前記携帯端末の位置情報を用いる、請求項１３に記載の支援システム。
  16. 　前記携帯端末の位置情報は、ＧＰＳから取得された位置情報である、請求項１５に記載の支援システム。
  17. 　設備に対して作業が行われるのに際して、該作業を支援する支援方法であって、
    　前記設備に対して作業を行う作業者が有する機器から送信された該設備の位置に関する位置情報を受信する受信工程と、
    　前記受信工程で受信された前記位置情報に基づいて、前記設備を特定する特定工程と、
    　前記特定工程で特定された前記設備に対して作業を行う作業者が有する機器に、該設備に対する前記作業の支援に適した支援情報を送信する送信工程と、を有する支援方法。
PCT/JP2023/027514 2022-08-09 2023-07-27 支援装置、支援システムおよび支援方法 WO2024034416A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022127190A JP2024024393A (ja) 2022-08-09 2022-08-09 支援装置、支援システムおよび支援方法
JP2022-127190 2022-08-09

Publications (1)

Publication Number Publication Date
WO2024034416A1 true WO2024034416A1 (ja) 2024-02-15

Family

ID=89851570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/027514 WO2024034416A1 (ja) 2022-08-09 2023-07-27 支援装置、支援システムおよび支援方法

Country Status (2)

Country Link
JP (1) JP2024024393A (ja)
WO (1) WO2024034416A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148938A (ja) * 2005-11-29 2007-06-14 Chugoku Electric Power Co Inc:The 機器点検支援システム、方法およびプログラム。
WO2017169276A1 (ja) * 2016-03-30 2017-10-05 日本電気株式会社 プラント管理システム、プラント管理方法、プラント管理装置、および、プラント管理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148938A (ja) * 2005-11-29 2007-06-14 Chugoku Electric Power Co Inc:The 機器点検支援システム、方法およびプログラム。
WO2017169276A1 (ja) * 2016-03-30 2017-10-05 日本電気株式会社 プラント管理システム、プラント管理方法、プラント管理装置、および、プラント管理プログラム

Also Published As

Publication number Publication date
JP2024024393A (ja) 2024-02-22

Similar Documents

Publication Publication Date Title
JP4913913B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN103038599B (zh) 机载超声波频谱和图像生成
KR101650629B1 (ko) 플랜트 감시 서버 및 플랜트 감시 방법
WO2015122294A1 (ja) プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
JP6852729B2 (ja) プラント管理システム、プラント管理方法、プラント管理装置、および、プラント管理プログラム
JP2006172462A (ja) 通信方法および通信システム
CN110770798B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
CA2983357A1 (en) Method for detecting vibrations of a device and vibration detection system
JP2021010101A (ja) 遠隔作業支援システム
WO2024034416A1 (ja) 支援装置、支援システムおよび支援方法
JP2020144776A (ja) 作業支援システム、作業支援装置、及び作業支援方法
US11137600B2 (en) Display device, display control method, and display system
JP2020009276A (ja) 作業支援システム、作業支援システム用のサーバ装置およびプログラム
WO2019164326A1 (ko) 실시간 콘텐트 데이터를 공유하는 전자 장치
JP2018067156A (ja) 通信装置およびその制御方法
JP2022088678A (ja) 遠隔保守支援方法
CN208673383U (zh) 检修辅助装置和系统
JP2018067157A (ja) 通信装置およびその制御方法
US11356788B2 (en) Spatialized audio rendering for head worn audio device in a vehicle
KR20170022272A (ko) 녹음 시스템 및 녹음 방법
US20210256865A1 (en) Display system, server, display method, and device
KR20090003983A (ko) 오피시를 이용한 에이치엠아이 시스템의 원격 감시를 위한화면 전송 방법
JP2018120560A (ja) 点検装置、点検方法および点検システム
EP4006504A1 (en) Evaluation system, evaluation device, evaluation method, and program
CN115225682B (zh) 管理服务器、远程操作系统、远程操作方法以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23852390

Country of ref document: EP

Kind code of ref document: A1