KR20240081619A - Method and device for providing industrial facility management service using extended reality - Google Patents

Method and device for providing industrial facility management service using extended reality Download PDF

Info

Publication number
KR20240081619A
KR20240081619A KR1020220164367A KR20220164367A KR20240081619A KR 20240081619 A KR20240081619 A KR 20240081619A KR 1020220164367 A KR1020220164367 A KR 1020220164367A KR 20220164367 A KR20220164367 A KR 20220164367A KR 20240081619 A KR20240081619 A KR 20240081619A
Authority
KR
South Korea
Prior art keywords
industrial facility
facility management
extended reality
user interface
interface image
Prior art date
Application number
KR1020220164367A
Other languages
Korean (ko)
Inventor
편수빈
Original Assignee
가우스랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가우스랩 주식회사 filed Critical 가우스랩 주식회사
Priority to KR1020220164367A priority Critical patent/KR20240081619A/en
Publication of KR20240081619A publication Critical patent/KR20240081619A/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32128—Gui graphical user interface

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Processing Or Creating Images (AREA)

Abstract

확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 시스템이 개시된다. 본 발명의 일측면에 따른 컴퓨팅 장치에서 수행되는 확장현실을 이용한 산업설비 관리 서비스 제공 방법은, 촬영중인 영상을 분석하여 대상 산업설비를 식별하는 단계; 대상 산업설비의 식별정보를 통신망을 통해 서비스 서버로 전송하여 산업설비 관리 서비스를 요청하는 단계; 서비스 서버로부터 대상 산업설비에 대응하여 관리되는 시설관리정보를 수신하는 단계; 및 시설관리정보에 따른 유저인터페이스 영상을 확장현실을 이용하여 표시하는 단계를 포함한다.A method and system for providing industrial facility management services using extended reality is disclosed. A method of providing an industrial facility management service using extended reality performed on a computing device according to an aspect of the present invention includes the steps of analyzing an image being captured to identify a target industrial facility; Requesting industrial facility management service by transmitting identification information of the target industrial facility to a service server through a communication network; Receiving facility management information managed in response to target industrial equipment from a service server; and displaying a user interface image according to facility management information using extended reality.

Description

확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 장치{Method and device for providing industrial facility management service using extended reality}{Method and device for providing industrial facility management service using extended reality}

본 발명은 확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 장치에 관한 것이다.The present invention relates to a method and device for providing industrial facility management services using extended reality.

각종 산업현장에 배치된 산업설비들은 그 규모가 방대하며, 단 몇 분만 운영을 중단하더라도 천문학적인 금액의 손실이 발생한다. 이러한 손실을 줄이기 위해서는 현장의 작업자들이 각종 설비에 대한 육안 점검(visual test)를 수시로 진행해야 할 필요가 있다.The scale of industrial facilities deployed at various industrial sites is enormous, and even if operations are stopped for just a few minutes, an astronomical amount of money is lost. In order to reduce these losses, field workers need to frequently perform visual tests on various facilities.

그런데 거의 대부분의 산업현장에서는 각종 산업설비와 관련된 자료(설계도, 도면, 점검 일지, 진단 일지, 이력 정보)를 아날로그 형식의 문서로 보관하기 때문에 작업자가 원하는 자료를 찾는 것이 용이하지 않았다.However, in most industrial sites, data related to various industrial facilities (design drawings, drawings, inspection logs, diagnosis logs, history information) are stored in analog documents, making it difficult for workers to find the desired data.

또한, 작업자는 설비 점검 시 아날로그 형식의 점검 일지를 소지하고 다녀야 하며, 점검 일지에 수기로 검사 결과를 작성해야 하므로, 작업 효율이 떨어진다는 문제가 있다. 뿐만 아니라, 설비 점검 중 문제 발생 시, 발생한 문제를 현장에서 즉각 해결하는 것이 쉽지 않고, 관리자의 확인을 받기까지 상당한 시일이 소요된다는 문제가 있다.In addition, workers must carry an analog format inspection log when inspecting equipment, and must write inspection results by hand in the inspection log, which reduces work efficiency. In addition, when a problem occurs during facility inspection, it is not easy to immediately resolve the problem on site, and it takes a considerable amount of time to receive confirmation from the manager.

최근에는 증강현실을 넘어 확장현실(XR : eXtended　Reality)에 대한 활용이 증가하고 있어, 이를 산업현장에 이용하고자 하는 시도가 늘고 있다. 작업자의 업무 효율을 높일 수 있는 확장현실에 기반한 설비 관리 방식이 필요하다.Recently, the use of extended reality (XR: eXtended Reality) has increased beyond augmented reality, and attempts to use it in industrial settings are increasing. A facility management method based on expanded reality that can increase workers’ work efficiency is needed.

대한민국 등록특허 제10-2326507 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템Republic of Korea Registered Patent No. 10-2326507 Method and system for providing extended reality services for industrial facility operation

따라서, 본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 작업하려 하는 산업설비를 정확히 식별하여 관련 정보를 확장현실로서 제공하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 시스템을 제공하기 위한 것이다.Therefore, the present invention was devised to solve the above-mentioned problems, and is intended to provide a method and system for providing industrial facility management services using extended reality, which accurately identifies the industrial facility to be worked on and provides related information as extended reality. will be.

또한, 본 발명은 작업자의 시야에 따라 확장현실 정보를 표시하여 작업자의 시야를 확보하여 원활한 작업을 수행할 수 있도록 하는 확장현실을 이용한 산업설비 관리 서비스 제공 방법 및 시스템을 제공하기 위한 것이다.In addition, the present invention is intended to provide a method and system for providing industrial facility management services using extended reality that displays extended reality information according to the worker's field of view to secure the worker's field of view and enable smooth work.

본 발명의 다른 목적들은 이하에 서술되는 바람직한 실시예를 통하여 보다 명확해질 것이다.Other objects of the present invention will become clearer through the preferred embodiments described below.

본 발명의 일 측면에 따르면, 컴퓨팅 장치에서 수행되는 확장현실을 이용한 산업설비 관리 서비스 제공 방법에 있어서, 촬영중인 영상을 분석하여 대상 산업설비를 식별하는 단계; 상기 대상 산업설비의 식별정보를 통신망을 통해 서비스 서버로 전송하여 산업설비 관리 서비스를 요청하는 단계; 상기 서비스 서버로부터 상기 대상 산업설비에 대응하여 관리되는 시설관리정보를 수신하는 단계; 및 상기 시설관리정보에 따른 유저인터페이스 영상을 확장현실을 이용하여 표시하는 단계를 포함하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법이 제공된다.According to one aspect of the present invention, a method of providing an industrial facility management service using extended reality performed on a computing device includes the steps of analyzing an image being captured to identify a target industrial facility; Requesting industrial facility management service by transmitting identification information of the target industrial facility to a service server through a communication network; Receiving facility management information managed corresponding to the target industrial facility from the service server; A method of providing industrial facility management services using extended reality is provided, including the step of displaying a user interface image according to the facility management information using extended reality.

여기서, GPS위치정보와 근거리 무선통신에 의해 수신되는 주변 무선신호를 분석하여, 상기 산업설비의 식별에 더 이용할 수 있다.Here, GPS location information and surrounding wireless signals received through short-distance wireless communication can be analyzed and further used for identification of the industrial equipment.

또한, 촬영영상을 분석하여 상기 대상 산업설비가 차지하는 설비영역을 제외한 나머지 영역을 표시영역으로 하여, 상기 표시영역에 맞게 상기 유저인터페이스 영상을 표시할 수 있다. In addition, by analyzing the captured video, the remaining area excluding the equipment area occupied by the target industrial equipment can be used as a display area, and the user interface image can be displayed according to the display area.

또한, 상기 표시영역의 사이즈에 상응하여 상기 유저인터페이스 영상의 크기를 조절하거나 표시 방식을 달리 적용할 수 있다.Additionally, the size of the user interface image can be adjusted or a different display method can be applied according to the size of the display area.

또한, 상기 표시영역의 크기가 임계영역 이하이면 상기 유저인터페이스 영상을 비표시처리 또는 특정한 사이즈로 반투명 처리할 수 있다.Additionally, if the size of the display area is less than or equal to the critical area, the user interface image may be non-displayed or translucent to a specific size.

또한, 상기 촬영영상 상에 사용자의 특정한 손모양이 인식되면, 상기 설비영역에도 상기 유저인터페이스 영상이 표시되도록 허용할 수 있다.Additionally, if a user's specific hand shape is recognized on the captured image, the user interface image can be allowed to be displayed in the facility area.

본 발명의 다른 측면에 따르면, 확장현실을 이용한 산업설비 관리 서비스 제공 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 촬영중인 영상을 분석하여 대상 산업설비를 식별하는 단계; 상기 대상 산업설비의 식별정보를 통신망을 통해 서비스 서버로 전송하여 산업설비 관리 서비스를 요청하는 단계; 상기 서비스 서버로부터 상기 대상 산업설비에 대응하여 관리되는 시설관리정보를 수신하는 단계; 및 상기 시설관리정보에 따른 유저인터페이스 영상을 확장현실을 이용하여 표시하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다.According to another aspect of the present invention, there is a computer program stored in a computer-readable medium that performs a method of providing industrial facility management services using extended reality, wherein the computer program causes the computer to perform the following steps, Identifying the target industrial equipment by analyzing the video being shot; Requesting industrial facility management service by transmitting identification information of the target industrial facility to a service server through a communication network; Receiving facility management information managed corresponding to the target industrial facility from the service server; and displaying a user interface image according to the facility management information using extended reality. A computer program stored in a computer-readable medium is provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages in addition to those described above will become apparent from the following drawings, claims and detailed description of the invention.

본 발명에 따르면, 작업하려 하는 산업설비를 정확히 식별하여 관련 정보를 확장현실로서 제공하여 작업의 효율을 높일 수 있다.According to the present invention, work efficiency can be increased by accurately identifying the industrial equipment on which work is to be performed and providing related information as expanded reality.

또한, 본 발명에 따르면 작업자의 시야에 따라 확장현실 정보를 표시함으로써, 작업자의 시야를 확보하여 원활한 작업을 수행할 수 있도록 한다.In addition, according to the present invention, extended reality information is displayed according to the worker's field of view, thereby securing the worker's field of view and enabling smooth work performance.

도 1은 본 발명의 일 실시예에 따른 사용자 단말에서 수행되는 확장현실을 이용한 산업설비 관리 서비스 제공 과정을 도시한 흐름도.
도 2는 본 발명의 일 실시예에 따른 영상분석과 함께 이용되는 산업설비 식별 과정을 도시한 흐름도.
도 3은 본 발명의 일 실시예에 따른 시설관리정보가 표시되는 유저인터페이스 영상을 도시한 예시도.
도 4 및 도 5는 본 발명의 각 실시예에 따른 사용자 시선을 고려한 유저인터페이스 영상의 표시 방식을 도시한 예시도들.
도 6은 본 발명의 일 실시예에 따른 사용자 손모양을 이용한 유저인터페이스 영상의 표시 방식을 도시한 예시도.
도 7은 본 발명의 일 실시예에 따른 드래그 앤 드롭 기능이 적용된 반응형 레이아웃 구동을 도시한 예시도. 1 is a flowchart illustrating a process for providing an industrial facility management service using extended reality performed on a user terminal according to an embodiment of the present invention.
Figure 2 is a flow chart showing an industrial equipment identification process used with image analysis according to an embodiment of the present invention.
Figure 3 is an example diagram showing a user interface image displaying facility management information according to an embodiment of the present invention.
Figures 4 and 5 are exemplary diagrams showing a display method of a user interface image considering the user's gaze according to each embodiment of the present invention.
Figure 6 is an example diagram showing a method of displaying a user interface image using the shape of the user's hand according to an embodiment of the present invention.
Figure 7 is an example diagram illustrating responsive layout operation with a drag and drop function according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all changes, equivalents, and substitutes included in the spirit and technical scope of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 후술될 제1 임계값, 제2 임계값 등의 용어는 실질적으로는 각각 상이하거나 일부는 동일한 값인 임계값들로 미리 지정될 수 있으나, 임계값이라는 동일한 단어로 표현될 때 혼동의 여지가 있으므로 구분의 편의상 제1, 제2 등의 용어를 병기하기로 한다. Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, terms such as first threshold value and second threshold value, which will be described later, may be pre-designated as threshold values that are substantially different or partially the same, but may cause confusion when expressed with the same word threshold. Since there is room, for convenience of classification, terms such as first and second will be used together.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are only used to describe specific embodiments and are not intended to limit the invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that it does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.In addition, the components of the embodiments described with reference to each drawing are not limited to the corresponding embodiments, and may be implemented to be included in other embodiments within the scope of maintaining the technical spirit of the present invention, and may also be included in separate embodiments. Even if the description is omitted, it is natural that a plurality of embodiments may be re-implemented as a single integrated embodiment.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In addition, when describing with reference to the accompanying drawings, identical or related reference numbers will be assigned to identical or related elements regardless of the drawing symbols, and overlapping descriptions thereof will be omitted. In describing the present invention, if it is determined that a detailed description of related known technologies may unnecessarily obscure the gist of the present invention, the detailed description will be omitted.

도 1은 본 발명의 일 실시예에 따른 사용자 단말에서 수행되는 확장현실을 이용한 산업설비 관리 서비스 제공 과정을 도시한 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 영상분석과 함께 이용되는 산업설비 식별 과정을 도시한 흐름도이다.Figure 1 is a flowchart showing a process for providing industrial facility management services using extended reality performed on a user terminal according to an embodiment of the present invention, and Figure 2 is an industrial facility used with image analysis according to an embodiment of the present invention. This is a flowchart showing the equipment identification process.

촬영수단을 구비하고 확장현실 처리 기능을 구비한 컴퓨팅 장치인 사용자 단말에서의 처리 과정을 도시한 도 1을 참조하면, 먼저 촬영중인 영상을 분석하여 대상 산업설비를 식별한다(S10). 통신망을 통해 결합된 서비스 서버(미도시)에 미리 등록된 산업설비 영상들과 비교하여 촬영된 대상 산업설비를 식별한다. 예를 들어, 전체적인 윤곽, 내부 구조물의 형상, 색상 등을 이용하여 대상 산업설비를 식별한다. 이미지 비교 분석 기술은 다양한 산업에서 현재에도 이용되고 있는 기술이므로 더욱 상세한 설명은 생략한다.Referring to Figure 1, which shows the processing process in a user terminal, which is a computing device equipped with a photographing means and an extended reality processing function, first, the image being shot is analyzed to identify the target industrial facility (S10). The captured target industrial facility is identified by comparing it with images of the industrial facility registered in advance on a service server (not shown) connected through a communication network. For example, the target industrial facility is identified using the overall outline, shape of internal structure, and color. Since image comparison analysis technology is still used in various industries, further detailed description will be omitted.

본 실시예에 따르면, 안경 또는 헤드셋과 같은 형태로 구현된 사용자 단말을 착용한 사용자 입장에서는 단순히 대상 산업시설을 바라보는 것만으로(즉, 산업시설을 촬영하는 행위) 자동으로 대상 산업시설을 식별할 수 있어, 별도의 식별을 위한 어떠한 입력 행위를 수행할 필요가 없게 된다.According to this embodiment, a user wearing a user terminal implemented in the form of glasses or a headset can automatically identify the target industrial facility by simply looking at the target industrial facility (i.e., taking pictures of the industrial facility). Therefore, there is no need to perform any input actions for separate identification.

그리고, 일례에 따르면, 촬영영상 분석에 의한 식별방식 외에도, 산업시설에 부착 또는 인쇄된 QR코드와 같은 전자코드 또는 NFC태그 등을 인식하는 방식 등을 더 활용할 수 있다. And, according to one example, in addition to the identification method by analyzing captured images, methods such as recognizing electronic codes such as QR codes or NFC tags attached or printed on industrial facilities can be further utilized.

또한, 다른 일례를 따른 식별 방식을 도시한 도 2를 참조하면, 사용자 단말은 구비된 GPS수신기 등을 이용하여 위치정보를 취득한다(S110). 그리고, 블루투스(bluetooth), 와이파이(wi-fi)와 같은 근거리 무선통신을 이용하여 주변 전자기기로부터 방출된 무선신호를 수신하여 분석한다(S120). 예를 들어, 주변에 구비된 와이파이 액세스포인트(AP : Access Point)로부터의 무선신호를 수신하면, 해당 AP신호와 그 수신세기가 수신되는 곳에 위치한 산업시설을 식별하는 방식을 이용하기 위한 것이다.Additionally, referring to FIG. 2 illustrating another example of an identification method, the user terminal acquires location information using a provided GPS receiver (S110). Then, wireless signals emitted from nearby electronic devices are received and analyzed using short-range wireless communication such as Bluetooth or Wi-Fi (S120). For example, when a wireless signal is received from a nearby Wi-Fi access point (AP), a method is used to identify the industrial facility located where the AP signal and its reception strength are received.

취득된 위치정보와 무선신호에 대한 정보를 이용하여, 해당 위치에 설치된 산업설비가 무엇인지를 판독함으로써 대상 산업시설을 식별하는데 이용한다.Using the acquired location information and information on wireless signals, it is used to identify the target industrial facility by reading what industrial facilities are installed at that location.

다시 도 1을 참조하면, 대상 산업설비의 식별정보를 통신망을 통해 서비스 서버로 전송하여 산업설비 관리 서비스를 요청하고(S200), 서비스 서버로부터 대상 산업설비에 대응하여 관리되는 시설관리정보를 수신한다(S300). 서비스 서버에는 관리되는 모든 산업설비들에 대한 시설관리정보가 저장 관리되며, 사용자 단말로부터 요청되는 대상 산업시설에 대한 시설관리정보를 제공하며, 사용자 단말로부터 다시 수신되는 갱신된 정보를 저장한다. Referring again to FIG. 1, the identification information of the target industrial facility is transmitted to the service server through a communication network to request industrial facility management service (S200), and facility management information managed in response to the target industrial facility is received from the service server. (S300). The service server stores and manages facility management information for all managed industrial facilities, provides facility management information for target industrial facilities requested from the user terminal, and stores updated information received back from the user terminal.

사용자 단말은 수신된 시설관리정보에 상응하는 유저인터페이스 영상을 확장현실을 이용하여 사용자가 확인하도록 출력한다(S400).The user terminal outputs a user interface image corresponding to the received facility management information for the user to check using extended reality (S400).

확장현실(eXtended　Reality) 가상현실(VR)과 증강현실(AR)을 아우르는 혼합현실(MR) 기술을 망라하는 용어이다. 가상현실(VR)이 360도 영상을 바탕으로 새로운 현실을 경험하도록 하는 기술이라면 증강현실(AR)은 실제 사물 위에 컴퓨터그래픽(CG)을 통해 정보와 콘텐츠를 표시한다. 증강현실(AR)과 가상현실(VR)은 별개이지만 이 두 기술은 각자 단점을 보완하며 상호 진화를 하고 있다. 그러나 현 단계에서는 차이가 분명히 드러난다. 가상현실(VR)은 눈 전체를 가리는 헤드셋 형(HMD) 단말기가 필요하고, 증강현실(AR)은 구글 글라스와 같은 안경으로 표현이 가능하다.Extended Reality (eXtended Reality) is a term that encompasses mixed reality (MR) technology that encompasses virtual reality (VR) and augmented reality (AR). While virtual reality (VR) is a technology that allows users to experience a new reality based on 360-degree images, augmented reality (AR) displays information and content through computer graphics (CG) on real objects. Augmented reality (AR) and virtual reality (VR) are separate, but these two technologies are evolving together while complementing each other's shortcomings. However, at this stage, the differences are clearly visible. Virtual reality (VR) requires a headset-type (HMD) terminal that covers the entire eye, and augmented reality (AR) can be expressed with glasses such as Google Glass.

확장현실(XR)은 가상·증강현실(VR·AR) 기술의 개별 활용 또는 혼합 활용을 자유롭게 선택하며, 확장된 현실을 창조한다. 마이크로소프트(MS)가 개발한 홀로 렌즈는 안경 형태의 기기지만 현실 공간과 사물 정보를 파악하여 최적화된 3D 홀로그램을 표시한다는 점에서 확장현실(XR)의 한 형태로 볼 수 있다. 확장현실(XR)은 교육은 물론 헬스케어, 제조업 등 다양한 분야에 적용될 것으로 기대된다. Extended reality (XR) creates expanded reality by freely selecting individual or mixed use of virtual and augmented reality (VR and AR) technologies. HoloLens developed by Microsoft (MS) is a glasses-shaped device, but it can be seen as a form of extended reality (XR) in that it displays an optimized 3D hologram by understanding real space and object information. Extended reality (XR) is expected to be applied to various fields, including education, healthcare, and manufacturing.

이하, 확장현실로서 시설관리정보에 따른 유저인터페이스 영상을 표시하는 방식에 대해 상세히 설명하기로 한다.Hereinafter, a method of displaying a user interface image according to facility management information as extended reality will be described in detail.

도 3은 본 발명의 일 실시예에 따른 시설관리정보가 표시되는 유저인터페이스 영상을 도시한 예시도이고, 도 4 및 도 5는 본 발명의 각 실시예에 따른 사용자 시선을 고려한 유저인터페이스 영상의 표시 방식을 도시한 예시도들이다.Figure 3 is an example diagram showing a user interface image displaying facility management information according to an embodiment of the present invention, and Figures 4 and 5 are display of a user interface image considering the user's gaze according to each embodiment of the present invention. These are examples showing the method.

먼저 도 3을 참조하면, 사용자는 대상 관리시설을 보수하면서 확장현실로 관련 시설관리정보를 바로 확인할 수 있어 작업 효율성을 높일 수 있게 된다. 다만, 도면과 같이 대상 산업시설(320)과 겹치도록 시설관리정보에 따른 유저인터페이스 영상(310, 이하 유저인터페이스 영상이라 칭함)을 표시하게 되면, 사용자의 시선에 유저인터페이스 영상에 의해 대상 산업시설 일부가 가려지게 되어 작업에 불편을 겪을 수 있게 된다.First, referring to Figure 3, the user can immediately check related facility management information through extended reality while repairing the target management facility, thereby improving work efficiency. However, when the user interface image (310, hereinafter referred to as the user interface image) according to the facility management information is displayed to overlap the target industrial facility 320 as shown in the drawing, a portion of the target industrial facility is visible to the user by the user interface image. may be obscured, causing inconvenience in work.

이를 위한 일례에 따른 도 4를 참조하면, 촬영영상을 분석하여 대상 산업설비(430)가 차지하는 설비영역(410)을 제외한 나머지 영역을 표시영역(400)으로 하여, 표시영역에 맞게 유저인터페이스 영상(420)을 표시한다. 즉, 작업에 방해가 되지 않도록 사용자의 시선에 유저인터페이스 영상(420)이 산업시설(430)을 가리지 않도록 하는 것이다.Referring to FIG. 4 according to an example for this, the captured video is analyzed, the remaining area excluding the facility area 410 occupied by the target industrial equipment 430 is set as the display area 400, and a user interface image (user interface image) is displayed according to the display area. 420) is displayed. In other words, the user interface image 420 is prevented from blocking the industrial facility 430 from the user's line of sight so as not to interfere with work.

또한, 표시영역의 사이즈에 상응하여 유저인터페이스 영상의 크기를 조절하거나 표시 방식을 달리 적용할 수 있다. 도 5를 참조하면, 도 4에 비해 표시영역(500)이 넓어지게 되는 경우, 유저인터페이스 영상(520) 자체의 크기를 크게 하거나, 또는 도면과 같이 도 4와 비교하여 다른 방식(예로 항목 추가)으로 유저인터페이스 영상(520)을 표시할 수 있다. Additionally, the size of the user interface image can be adjusted or a different display method can be applied according to the size of the display area. Referring to FIG. 5, when the display area 500 becomes wider compared to FIG. 4, the size of the user interface image 520 itself may be enlarged, or a different method (eg, addition of items) may be used as compared to FIG. 4 as shown in the drawing. The user interface image 520 can be displayed.

본 실시예들에 따르면, 사용자의 시선에 따라 유저인터페이스 영상을 동적으로 변화시켜, 사용자가 작업에 방해가 되지 않도록 할뿐 아니라, 다른 의도에 의하면 사용자가 시선을 돌려 표시영역의 사이즈를 바꿈으로써 원하는 형태 또는 사이즈의 유저인터페이스 영상을 확인하도록 할 수 있게 된다.According to the present embodiments, the user interface image is dynamically changed according to the user's gaze to prevent the user from interfering with the work, and another intention is to change the size of the display area by turning the user's gaze. It is possible to check the user interface image of the shape or size.

도면에는 도시되지 않았으나, 일례에 따르면 표시영역의 크기가 임계영역 이하이면 유저인터페이스 영상을 비표시 처리할 수 있다. 즉, 표시영역의 사이즈가 너무 작으면(반대로 시설영역이 대부분을 차지하면) 작업에 집중하도록 유저인터페이스 영상을 숨김처리하는 것이며, 다시 표시영역이 커지면 숨김을 해제하는 방식이다. Although not shown in the drawing, according to one example, if the size of the display area is less than the critical area, the user interface image may be non-displayed. In other words, if the size of the display area is too small (or, conversely, if the facility area occupies most of the space), the user interface video is hidden to focus on work, and when the display area becomes larger, the hiding is released.

다른 방식에 의하면 표시영역의 크기가 임계영역 이하이면, 유저인터페이스 영상을 특정한 사이즈로 반투명하게 표시되도록 처리할 수 있다. According to another method, if the size of the display area is less than the critical area, the user interface image can be processed to be displayed translucently at a specific size.

도 6은 본 발명의 일 실시예에 따른 사용자 손모양을 이용한 유저인터페이스 영상의 표시 방식을 도시한 예시도이고, 도 7은 본 발명의 일 실시예에 따른 드래그 앤 드롭 기능이 적용된 반응형 레이아웃 구동을 도시한 예시도이다.Figure 6 is an example diagram showing a display method of a user interface image using the user's hand shape according to an embodiment of the present invention, and Figure 7 is a responsive layout operation with a drag and drop function according to an embodiment of the present invention. This is an example diagram showing.

먼저 도 6을 참조하면, 촬영영상 상에 사용자의 특정한 손모양(도면과 같은 검지 손가락 모양 등)이 인식되면, 유저인터페이스 영상을 이용한 특정한 입력작업을 수행하려 하는 경우이므로, 이때에는 설비영역에도 유저인터페이스 영상(610)이 표시되도록 허용한다. First, referring to FIG. 6, when the user's specific hand shape (such as the index finger shape as shown in the drawing) is recognized on the captured image, it is a case of attempting to perform a specific input task using the user interface image. In this case, the user is also present in the facility area. Allow the interface image 610 to be displayed.

그리고, 도 7과 같이 사용자의 손모양을 인식하여 유저인터페이스 영상(610)의 크기를 조절할 수 있도록 한다. 물론 이때에도 유저인터페이스 영상이 설비영역에도 표시될 수 있도록 허용한다.And, as shown in Figure 7, the size of the user interface image 610 can be adjusted by recognizing the shape of the user's hand. Of course, in this case, the user interface video is also allowed to be displayed in the facility area.

상술한 본 발명에 따른 확장현실을 이용한 산업설비 관리 서비스 제공 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다. A computer program stored in a computer-readable medium may be provided to perform the method of providing industrial facility management services using extended reality according to the present invention described above.

또한, 상술한 확장현실을 이용한 산업설비 관리 서비스 제공 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. Additionally, the method of providing industrial facility management services using extended reality described above can be implemented as computer-readable code on a computer-readable recording medium. Computer-readable recording media include all types of recording media storing data that can be deciphered by a computer system. For example, there may be Read Only Memory (ROM), Random Access Memory (RAM), magnetic tape, magnetic disk, flash memory, optical data storage device, etc. Additionally, computer-readable recording media can be distributed to computer systems connected through a computer communication network, and stored and executed as code that can be read in a distributed manner.

또한, 상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In addition, although the present invention has been described above with reference to preferred embodiments, those skilled in the art will understand the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that it can be modified and changed in various ways.

310, 420, 520, 610 : 유저인터페이스 영상
320, 430, : 산업시설
400 : 500 : 표시영역
410, 510 : 시설영역310, 420, 520, 610: User interface video
320, 430, : Industrial facilities
400 : 500 : Display area
410, 510: Facility area

Claims (8)

컴퓨팅 장치에서 수행되는 확장현실을 이용한 산업설비 관리 서비스 제공 방법에 있어서,
촬영중인 영상을 분석하여 대상 산업설비를 식별하는 단계;
상기 대상 산업설비의 식별정보를 통신망을 통해 서비스 서버로 전송하여 산업설비 관리 서비스를 요청하는 단계;
상기 서비스 서버로부터 상기 대상 산업설비에 대응하여 관리되는 시설관리정보를 수신하는 단계; 및
상기 시설관리정보에 따른 유저인터페이스 영상을 확장현실을 이용하여 표시하는 단계를 포함하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법.In a method of providing industrial facility management services using extended reality performed on a computing device,
Analyzing the video being shot to identify the target industrial facility;
Requesting industrial facility management service by transmitting identification information of the target industrial facility to a service server through a communication network;
Receiving facility management information managed corresponding to the target industrial facility from the service server; and
A method of providing industrial facility management services using extended reality, including the step of displaying a user interface image according to the facility management information using extended reality. 청구항 1에 있어서,
GPS위치정보와 근거리 무선통신에 의해 수신되는 주변 무선신호를 분석하여, 상기 산업설비의 식별에 더 이용하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법.In claim 1,
A method of providing industrial facility management services using extended reality that analyzes GPS location information and surrounding wireless signals received through short-distance wireless communication and further uses them to identify the industrial facilities. 청구항 1에 있어서,
촬영영상을 분석하여 상기 대상 산업설비가 차지하는 설비영역을 제외한 나머지 영역을 표시영역으로 하여, 상기 표시영역에 맞게 상기 유저인터페이스 영상을 표시하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법.In claim 1,
A method of providing industrial facility management services using extended reality, which analyzes captured images, uses the remaining area excluding the facility area occupied by the target industrial facility as a display area, and displays the user interface image according to the display area. 청구항 3에 있어서,
상기 표시영역의 사이즈에 상응하여 상기 유저인터페이스 영상의 크기를 조절하거나 표시 방식을 달리 적용하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법.In claim 3,
A method of providing industrial facility management services using extended reality, which adjusts the size of the user interface image or applies a different display method according to the size of the display area. 청구항 3에 있어서,
상기 표시영역의 크기가 임계영역 이하이면 상기 유저인터페이스 영상을 비표시처리 또는 특정한 사이즈로 반투명 처리하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법.In claim 3,
A method of providing industrial facility management services using extended reality, wherein if the size of the display area is less than a critical area, the user interface image is processed to be non-displayed or translucent to a specific size. 청구항 3에 있어서,
상기 촬영영상 상에 사용자의 특정한 손모양이 인식되면, 상기 설비영역에도 상기 유저인터페이스 영상이 표시되도록 허용하는, 확장현실을 이용한 산업설비 관리 서비스 제공 방법.In claim 3,
A method of providing industrial facility management services using extended reality that allows the user interface image to be displayed in the facility area when a specific hand shape of the user is recognized in the captured image. 확장현실을 이용한 산업설비 관리 서비스 제공 방법을 수행하도록 하는 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
촬영중인 영상을 분석하여 대상 산업설비를 식별하는 단계;
상기 대상 산업설비의 식별정보를 통신망을 통해 서비스 서버로 전송하여 산업설비 관리 서비스를 요청하는 단계;
상기 서비스 서버로부터 상기 대상 산업설비에 대응하여 관리되는 시설관리정보를 수신하는 단계; 및
상기 시설관리정보에 따른 유저인터페이스 영상을 확장현실을 이용하여 표시하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer-readable medium that performs a method of providing industrial facility management services using extended reality, wherein the computer program causes a computer to perform the following steps, which steps include:
Analyzing the video being shot to identify the target industrial facility;
Requesting industrial facility management service by transmitting identification information of the target industrial facility to a service server through a communication network;
Receiving facility management information managed corresponding to the target industrial facility from the service server; and
A computer program stored in a computer-readable medium, comprising the step of displaying a user interface image according to the facility management information using extended reality. 청구항 7에 있어서,
촬영영상을 분석하여 상기 대상 산업설비가 차지하는 설비영역을 제외한 나머지 영역을 표시영역으로 하여, 상기 표시영역에 맞게 상기 유저인터페이스 영상을 표시하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.



In claim 7,
A computer program stored in a computer-readable medium that analyzes captured images, uses the remaining area excluding the equipment area occupied by the target industrial equipment as a display area, and displays the user interface image according to the display area.
KR1020220164367A 2022-11-30 2022-11-30 Method and device for providing industrial facility management service using extended reality KR20240081619A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220164367A KR20240081619A (en) 2022-11-30 2022-11-30 Method and device for providing industrial facility management service using extended reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220164367A KR20240081619A (en) 2022-11-30 2022-11-30 Method and device for providing industrial facility management service using extended reality

Publications (1)

Publication Number Publication Date
KR20240081619A true KR20240081619A (en) 2024-06-10

Family

ID=91482264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220164367A KR20240081619A (en) 2022-11-30 2022-11-30 Method and device for providing industrial facility management service using extended reality

Country Status (1)

Country Link
KR (1) KR20240081619A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326507B1 (en) 2020-07-30 2021-11-15 이정근 Method and system for providing extended reality service to operate industrial facilities

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102326507B1 (en) 2020-07-30 2021-11-15 이정근 Method and system for providing extended reality service to operate industrial facilities

Similar Documents

Publication Publication Date Title
JP6441932B2 (en) Eye level scanner and display pointer tracking
US20120046072A1 (en) User terminal, remote terminal, and method for sharing augmented reality service
EP2410493A2 (en) Apparatus and method for providing augmented reality using additional data
US8967456B2 (en) Method for tagging elements in a user interface
US20210375065A1 (en) Method and system for matching conditions for digital objects in augmented reality
US11983307B2 (en) Occlusion detection system
US20180203579A1 (en) Providing augmented reality links to stored files
KR20210149120A (en) Location-Based Augmented-Reality System
US11836634B2 (en) Detecting digital image manipulations
US9135648B2 (en) Method, terminal, server, and system for providing a service
JP5340900B2 (en) Object management apparatus and object management method
CN115221037A (en) Interactive page testing method and device, computer equipment and program product
KR20240081619A (en) Method and device for providing industrial facility management service using extended reality
CN108694394A (en) Translator, method, apparatus and the storage medium of recognition of face
US11621000B2 (en) Systems and methods for associating a voice command with a search image
US11625914B2 (en) Key terrain finder
KR102265259B1 (en) Augmented reality service method and device for reagent location guidance
WO2023074817A1 (en) Content providing device
WO2023210195A1 (en) Identification system
CN111178463B (en) Label management method and system for optical fiber distribution cabinet
JP7373068B2 (en) information processing system
KR102428862B1 (en) Customized marketing contents providing platform using augmented reality technology
WO2023218751A1 (en) Display control device
US20230385895A1 (en) Display control apparatus, display control method, and non-transitory computer-readable medium
US10265618B2 (en) Device, method, computer program, and reader for providing game service