KR102202696B1 - Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things - Google Patents

Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things Download PDF

Info

Publication number
KR102202696B1
KR102202696B1 KR1020200085448A KR20200085448A KR102202696B1 KR 102202696 B1 KR102202696 B1 KR 102202696B1 KR 1020200085448 A KR1020200085448 A KR 1020200085448A KR 20200085448 A KR20200085448 A KR 20200085448A KR 102202696 B1 KR102202696 B1 KR 102202696B1
Authority
KR
South Korea
Prior art keywords
sensor
industrial facility
industrial
share
information
Prior art date
Application number
KR1020200085448A
Other languages
Korean (ko)
Inventor
강진석
노병희
Original Assignee
(주)프론티스
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)프론티스, 아주대학교산학협력단 filed Critical (주)프론티스
Priority to KR1020200085448A priority Critical patent/KR102202696B1/en
Application granted granted Critical
Publication of KR102202696B1 publication Critical patent/KR102202696B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

According to one embodiment of the present invention, an occupancy ratio prediction remote collaboration device may comprise: a receiving unit which receives sensor information measured by a target sensor disposed in an industrial facility and location information measured by a location sensor; a mobility state determination unit which determines a mobility state of the industrial facility based on the direction in which a numerical value of the sensor information changes; an occupancy ratio prediction unit which generates accumulated occupancy ratio information based on accumulated sensor information received from each target sensor, and predicts an occupancy ratio of the industrial facility by applying the mobility state to a hidden Markov model generated based on the accumulated occupancy ratio information; and a control unit which transmits an inspection instruction for an industrial site to a control terminal using the location information of the industrial facility when an occupancy ratio predicted by monitoring the predicted occupancy rate for each of a plurality of industrial facilities exceeds a predetermined threshold. According to the present invention, it is possible to predict a failure of an industrial facility through the application of deep learning.

Description

확장현실과 사물인터넷 연동으로 산업시설물의 제어 및 관리를 위한 이동성 상태 기반 점유율 예측 원격협업 장치 및 방법{APPARATUS AND METHOD FOR PREDICTING USAGE RATE BASED ON STATE OF CHANGE IN ORDER TO CONTROL AND MANAGE INDUSTRIAL FACILITY BY INTERLINKING AUGMENTED REALITY AND INTERNET OF THINGS}A remote collaboration device and method for predicting market share based on mobility status for control and management of industrial facilities by interlocking with extended reality and IoT AND INTERNET OF THINGS}

본 발명은 확장현실과 사물인터넷 연동으로 산업시설물의 제어 및 관리를 위한 이동성 상태 기반 점유율 예측 원격협업 장치 및 방법에 관한 것이다. 산업 시설물의 점유율이 높다는 것은 산업 시설물에 대한 트래픽 또는 사용량이 많다는 것을 의미하며, 점유율은 산업 안전에 있어 사고가 발생할 가능성과 비례하는 관계를 지닌다. 이에 따라, 본 발명은 확장현실과 사물인터넷 기술을 연동하여 이동성 상태에 기반한 산업 시설물의 점유율을 도출하여 시설물의 안전 사고를 예방하는 기술에 관한 것이다. The present invention relates to a remote collaboration device and method for predicting market share based on mobility for controlling and managing industrial facilities through interworking with extended reality and IoT. The high share of industrial facilities means that there is a lot of traffic or use of industrial facilities, and the share has a proportional relationship with the likelihood of an accident in industrial safety. Accordingly, the present invention relates to a technology for preventing safety accidents of facilities by deriving the share of industrial facilities based on mobility status by linking extended reality and IoT technology.

석유화학, 가스, 원자력, 해양 플랜트 등의 산업 시설물은 중요 시설물로 분류되어 있고, 부적절한 운용과 관리 시에는 큰 사고의 위험이 있어 지속적인 관리가 필요하다. 이러한 산업 시설물의 유지 관리를 위해 관리 담당자를 지정하고 있지만, 관리 담당자가 모든 산업 시설물의 기능, 역할, 시스템을 정확하게 관찰하고 사고 위험을 예측하는 것은 어려운 일이다.Industrial facilities such as petrochemical, gas, nuclear, and offshore plants are classified as important facilities, and in case of improper operation and management, there is a risk of a major accident, so continuous management is required. Although a manager is designated for the maintenance of such industrial facilities, it is difficult for managers to accurately observe the functions, roles, and systems of all industrial facilities and predict the risk of accidents.

최근에는, 다양한 IoT(Internet of Things) 센서들이 개발됨에 따라 산업 시설물의 상태를 모니터링 하기 위해 대상 센서를 산업 시설물에 설치하여 계측된 물리량을 통해 산업 시설물의 상태를 관리하고 있다. Recently, as various Internet of Things (IoT) sensors have been developed, target sensors are installed in industrial facilities to monitor the status of industrial facilities, and the state of industrial facilities is managed through measured physical quantities.

한편, 산업 시설물은 장시간에 걸쳐 지속적으로 가동되는 경우가 있으며, 여러 산업 시설물 간의 연동된 상호 작용에 의해 동작되는 경우가 있기 때문에, 하나의 산업 시설물에 대한 실시간 센서 계측 만으로 산업 시설물에 대한 상태 판단이나 사고 위험성을 정확하게 예측하기 어려운 점이 있다. On the other hand, industrial facilities may be continuously operated over a long period of time, and may be operated by interlocked interactions between various industrial facilities. Therefore, only real-time sensor measurement for one industrial facility can be used to determine the status of industrial facilities. It is difficult to accurately predict the risk of an accident.

한국 공개특허공보 제10-2004-0011570호: 기간산업 시설물의 점검용 로봇Korean Patent Application Publication No. 10-2004-0011570: Robot for inspection of infrastructure facilities

본 발명의 실시예에서 해결하고자 하는 과제는 복수의 IoT(Internet of Things) 센서들을 포함하는 대상 센서를 통해 산업 시설물의 이동성 상태를 판별하고, 이동성 상태로부터 점유율에 따른 산업 시설물의 위험 요소에 대응하기 위한 수학적 모델을 생성함으로써, 산업 시설물의 점검 필요성이나 사고 위험성을 정확하게 예측하는 기술을 제공하고자 한다. The problem to be solved in the embodiment of the present invention is to determine the mobility status of industrial facilities through a target sensor including a plurality of Internet of Things (IoT) sensors, and respond to the risk factors of industrial facilities according to the market share from the mobility status. It is intended to provide a technology that accurately predicts the need for inspection of industrial facilities or the risk of accidents by creating a mathematical model for this.

또한, 본 발명의 실시예는 중앙 집중식 분석 방식을 이용하여 각 산업 시설물의 위치 정보를 중앙 시스템에서 수집하여 산업 시설물에 대한 분석, 대응 예측을 수행하고, 대응 지시를 확장현실과 사물인터넷 기반으로 관제 센터 또는 관제 단말에 제공되어 있는 산업현장과 신속하게 대처, 대응할 수 있는 원격협업 기술을 제공하는 것이다. In addition, an embodiment of the present invention uses a centralized analysis method to collect location information of each industrial facility in a central system to perform analysis and response prediction for industrial facilities, and control response instructions based on extended reality and IoT. It is to provide remote collaboration technology that can quickly cope with and respond to industrial sites provided to centers or control terminals.

더하여, 대상 센서 또는 스마트글래스(ex. 홀로렌즈2)가 5G 통신을 사용할 수 없는 경우, 대상 센서 또는 스마트글래스와 연동되면서 5G 통신을 지원하는 게이트웨이를 활용하여 신속한 정보 처리가 가능하도록 하는 기술을 제공하고자 한다. In addition, if the target sensor or smart glass (ex. Holo Lens 2) cannot use 5G communication, it provides a technology that enables rapid information processing by using a gateway that supports 5G communication while interlocking with the target sensor or smart glass. I want to.

다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical problems to be achieved by the embodiments of the present invention are not limited to the above-mentioned problems, and various technical problems may be derived from the contents to be described below within a range that is obvious to a person skilled in the art.

본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치는 산업 시설물에 배치된 대상 센서에 의해 측정된 센서 정보 및 상기 산업 시설물에 배치된 위치 센서에 의해 측정된 위치 정보를 수신하는 수신부; 상기 센서 정보의 수치가 변화하는 방향을 기준으로 상기 산업 시설물의 이동성 상태를 판별하는 이동성 상태 판별부; 복수의 산업 시설물에 배치된 대상 센서 각각으로부터 수신하여 누적된 센서 정보를 기초로 상기 복수의 산업 시설물 각각의 누적 점유율 정보를 생성하고, 상기 누적 점유율 정보에 기초하여 은닉 마르코프 모델(Hidden Markov Model)을 생성하여, 상기 이동성 상태를 상기 은닉 마르코프 모델에 적용하여 산업 시설물에 대한 점유율을 예측하는 점유율 예측부; 및 상기 복수의 산업 시설물 각각에 대해 예측된 점유율을 모니터링하여 상기 예측된 점유율이 기 설정된 임계값을 초과하는 경우, 관제 단말 또는 관제 단말에 상기 기 설정된 비율을 초과하는 산업 시설물의 위치 정보로의 산업현장에 대한 점검 지시를 송신하는 제어부를 포함할 수 있다.According to an embodiment of the present invention, a remote collaboration device for predicting occupancy includes: a receiver configured to receive sensor information measured by a target sensor disposed in an industrial facility and location information measured by a location sensor disposed in the industrial facility; A mobility state determination unit determining a mobility state of the industrial facility based on a direction in which the value of the sensor information changes; Generates accumulated market share information of each of the plurality of industrial facilities based on the accumulated sensor information received from each of the target sensors arranged in a plurality of industrial facilities, and a Hidden Markov model based on the accumulated share information A share prediction unit for predicting a share of industrial facilities by generating and applying the mobility state to the hidden Markov model; And when the predicted market share for each of the plurality of industrial facilities is monitored and the predicted share exceeds a preset threshold, the control terminal or the control terminal as the location information of the industrial facility exceeding the preset ratio. It may include a control unit for transmitting the inspection instruction for the site.

또한, 상기 이동성 상태 판별부는 소정의 시간 범위 마다 상기 센서 정보의 수치를 모니터링하여, 상기 센서 정보의 수치가 기 설정된 범위 내에서 유지되면 중립적 상태(N), 상기 센서 정보의 수치가 기 설정된 범위보다 커지면 신호 생성 상태(I), 상기 센서 정보의 수치가 기 설정된 범위보다 작아지면 신호 소멸 상태(O)인 것으로 산업 시설물의 이동성 상태를 판별할 수 있다. In addition, the mobility state determination unit monitors the value of the sensor information every predetermined time range, and if the value of the sensor information is maintained within a preset range, a neutral state (N), and the value of the sensor information is less than a preset range. When the value becomes larger, the signal generation state (I), and when the value of the sensor information is smaller than the preset range, the signal disappearance state (O), thereby determining the mobility state of the industrial facility.

또한, 상기 이동성 상태 판별부는 상기 시간 범위 마다 상기 이동성 상태가 N에서 N, N에서 I, N에서 O, I에서 I, I에서 N, I에서 O, O에서 O, O에서 N, O에서 I 중 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율을 산업 시설물에 대한 점유율로 판별할 수 있다. In addition, the mobility state determination unit for each of the time range, the mobility state from N to N, N to I, N to O, I to I, I to N, I to O, O to O, O to N, O to I The market share of the preset number according to the change in one of the types can be determined as the share of industrial facilities.

또한, 상기 이동성 상태가 변화하는 형태를 기초로 판별되는 점유율은 상기 이동성 상태가 1차적으로 변화하는 형태에 따라 기 설정되어 있고, 상기 기 설정된 점유율의 수치는 상기 산업 시설물 마다 상이할 수 있다. In addition, the occupancy rate determined based on the form in which the mobility state changes is preset according to the form in which the mobility state changes primarily, and the value of the preset occupancy rate may be different for each industrial facility.

삭제delete

삭제delete

삭제delete

삭제delete

또한, 상기 점유율 예측부는 상기 복수의 산업 시설물 중 적어도 둘 이상의 누적 점유율 정보를 조합하여 생성된 천이 행렬을 이용하여 상기 은닉 마르코프 모델을 생성할 수 있다. In addition, the occupancy prediction unit may generate the hidden Markov model by using a transition matrix generated by combining accumulated occupancy information of at least two of the plurality of industrial facilities.

또한, 상기 점유율 예측부는 제1 산업 시설물의 제1 누적 점유율 정보와 상기 제1 산업 시설물과 인접한 제2 시설물의 제2 누적 점유율 정보를 기초로 생성된 천이 행렬, 또는 상기 제1 산업 시설물의 제1 누적 점유율 정보와 상기 제1 산업 시설물과 연동하여 쓰이는 제3 시설물의 제3 누적 점유율 정보를 기초로 생성된 천이 행렬을 이용하여 상기 은닉 마르코프 모델을 생성할 수 있다. In addition, the market share prediction unit is a transition matrix generated based on the first accumulated share information of the first industrial facility and the second accumulated share information of the second facility adjacent to the first industrial facility, or the first The hidden Markov model may be generated using a transition matrix generated based on cumulative occupancy information and third cumulative occupancy information of a third facility used in connection with the first industrial facility.

또한, 상기 대상 센서는 시간 센서, 온도 센서, 진동 센서 및 열 센서를 포함하고, 상기 센서 정보는 상기 대상 센서에 포함된 각각의 센서에 의해 측정된 통합 센서 정보를 포함할 수 있다. In addition, the target sensor may include a time sensor, a temperature sensor, a vibration sensor, and a thermal sensor, and the sensor information may include integrated sensor information measured by each sensor included in the target sensor.

또한, 상기 센서 정보 및 상기 위치 정보는 작업자가 착용한 스마트글래스에 의해 관측되어 상기 수신부가 수신할 수 있다. In addition, the sensor information and the location information may be observed by the smart glasses worn by the worker and received by the receiver.

또한, 상기 스마트글래스는 WiFi5 (802.11ac) 규격을 통해 상기 센서 정보 및 상기 위치 정보를 5G 통신이 가능한 게이트웨이와 송수신하고, 상기 수신부는 상기 게이트웨이와 무선으로 연결되어 상기 센서 정보를 5G 네트워크 망으로 송수신할 수 있다. 이때 상기 스마트글래스는 홀로렌즈2를 포함할 수 있다. In addition, the smart glass transmits and receives the sensor information and the location information to and from a gateway capable of 5G communication through the WiFi5 (802.11ac) standard, and the receiver is wirelessly connected to the gateway to transmit and receive the sensor information through a 5G network network. can do. In this case, the smart glasses may include a holo lens 2.

본 발명의 일 실시예에 따른 점유율 예측 방법은 산업 시설물에 배치된 대상 센서에 의해 측정된 센서 정보 및 상기 산업 시설물에 배치된 위치 센서에 의해 측정된 위치 정보를 수신하는 단계, 상기 센서 정보의 수치가 변화하는 방향을 기준으로 상기 산업 시설물의 이동성 상태를 판별하는 단계, 복수의 산업 시설물에 배치된 대상 센서 각각으로부터 수신하여 누적된 센서 정보를 기초로 상기 복수의 산업 시설물 각각의 누적 점유율 정보를 생성하고, 상기 누적 점유율 정보에 기초하여 은닉 마르코프 모델(Hidden Markov Model)을 생성하여, 상기 이동성 상태를 상기 은닉 마르코프 모델에 적용하여 산업 시설물에 대한 점유율을 예측하는 단계 및 상기 복수의 산업 시설물 각각에 대해 예측된 점유율을 모니터링하여 상기 예측된 점유율이 기 설정된 임계값을 초과하는 경우, 관제 단말 또는 관제 단말에 상기 기 설정된 비율을 초과하는 산업 시설물의 위치 정보로의 산업현장에 대한 점검 지시를 송신하는 단계를 포함할 수 있다. According to an embodiment of the present invention, a method for predicting a share of the market includes receiving sensor information measured by a target sensor disposed in an industrial facility and location information measured by a location sensor disposed in the industrial facility, and the numerical value of the sensor information Determining the mobility state of the industrial facility based on the direction in which is changed, and generating accumulated share information of each of the plurality of industrial facilities based on the accumulated sensor information received from each of the target sensors arranged in the plurality of industrial facilities And, by generating a hidden Markov model based on the accumulated occupancy information, applying the mobility state to the hidden Markov model to predict the occupancy of industrial facilities and for each of the plurality of industrial facilities When the predicted occupancy is monitored and the predicted occupancy exceeds a preset threshold, transmitting an inspection instruction for the industrial site to the control terminal or the control terminal to the location information of the industrial facility exceeding the preset ratio It may include.

또한, 상기 판별하는 단계는 소정의 시간 범위 마다 상기 센서 정보의 수치를 모니터링하여, 상기 센서 정보의 수치가 기 설정된 범위 내에서 유지되면 중립적 상태(N), 상기 센서 정보의 수치가 기 설정된 범위보다 커지면 신호 생성 상태(I), 상기 센서 정보의 수치가 기 설정된 범위보다 작아지면 신호 소멸 상태(O)인 것으로 산업 시설물의 이동성 상태를 판별하는 단계를 포함할 수 있다. In addition, the step of determining is a neutral state (N) when the value of the sensor information is maintained within a preset range by monitoring the value of the sensor information every predetermined time range, and the value of the sensor information is less than a preset range. It may include determining a mobility state of the industrial facility as a signal generation state (I) when it is increased, and a signal disappearance state (O) when the value of the sensor information is smaller than a preset range.

또한, 상기 판별하는 단계는 상기 시간 범위 마다 상기 이동성 상태가 N에서 N, N에서 I, N에서 O, I에서 I, I에서 N, I에서 O, O에서 O, O에서 N, O에서 I 중 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율을 산업 시설물에 대한 점유율로 판별할 수 있다. In addition, in the determining step, the mobility state is N to N, N to I, N to O, I to I, I to N, I to O, O to O, O to N, O to I for each time range. The market share of the preset number according to the change in one of the types can be determined as the share of industrial facilities.

또한, 상기 이동성 상태가 변화하는 형태를 기초로 판별되는 점유율은 상기 이동성 상태가 1차적으로 변화하는 형태에 따라 기 설정되어 있고, 상기 기 설정된 점유율의 수치는 상기 산업 시설물 마다 상이할 수 있다. In addition, the occupancy rate determined based on the form in which the mobility state changes is preset according to the form in which the mobility state changes primarily, and the value of the preset occupancy rate may be different for each industrial facility.

삭제delete

삭제delete

삭제delete

삭제delete

또한, 상기 예측하는 단계는 상기 복수의 산업 시설물 중 적어도 둘 이상의 누적 점유율 정보를 조합하여 생성된 천이 행렬을 이용하여 상기 은닉 마르코프 모델을 생성하는 단계를 포함할 수 있다. In addition, the predicting may include generating the hidden Markov model using a transition matrix generated by combining information on accumulated occupancy of at least two of the plurality of industrial facilities.

또한, 상기 예측하는 단계는 제1 산업 시설물의 제1 누적 점유율 정보와 상기 제1 산업 시설물과 인접한 제2 시설물의 제2 누적 점유율 정보를 기초로 생성된 천이 행렬, 또는 상기 제1 산업 시설물의 제1 누적 점유율 정보와 상기 제1 산업 시설물과 연동하여 쓰이는 제3 시설물의 제3 누적 점유율 정보를 기초로 생성된 천이 행렬을 이용하여 상기 은닉 마르코프 모델을 생성하는 단계를 포함할 수 있다. In addition, the predicting may include a transition matrix generated based on the first accumulated share information of the first industrial facility and the second accumulated share information of the second facility adjacent to the first industrial facility, or the first industrial facility. 1. The method may include generating the hidden Markov model using a transition matrix generated based on accumulated occupancy information and third accumulated occupancy information of a third facility used in connection with the first industrial facility.

또한, 상기 대상 센서는 시간 센서, 온도 센서, 진동 센서 및 열 센서를 포함하고, 상기 센서 정보는 상기 대상 센서에 포함된 각각의 센서에 의해 측정된 통합 센서 정보를 포함할 수 있다. In addition, the target sensor may include a time sensor, a temperature sensor, a vibration sensor, and a thermal sensor, and the sensor information may include integrated sensor information measured by each sensor included in the target sensor.

또한, 상기 센서 정보 및 상기 위치 정보는 작업자가 착용한 스마트글래스에 의해 관측되어 수신될 수 있다. In addition, the sensor information and the location information may be observed and received by a smart glass worn by a worker.

또한, 상기 스마트글래스는 WiFi5 (802.11ac) 규격을 통해 상기 센서 정보 및 상기 위치 정보를 5G 통신이 가능한 게이트웨이와 송수신하고, 상기 수신하는 단계는 상기 게이트웨이와 무선으로 연결되어 상기 센서 정보를 5G 네트워크 망으로 송수신하는 단계를 포함할 수 있다. 이때 상기 스마트글래스는 홀로렌즈2를 포함할 수 있다.In addition, the smart glasses transmits and receives the sensor information and the location information to and from a gateway capable of 5G communication through the WiFi5 (802.11ac) standard, and the receiving step is wirelessly connected to the gateway to transmit the sensor information to the 5G network network. It may include the step of transmitting and receiving via. In this case, the smart glasses may include a holo lens 2.

본 발명의 실시예에 따르면, 복수의 IoT(Internet of Things) 센서들을 포함하는 대상 센서로부터 산업 시설물의 이동성 상태의 변화에 따라 산업 시설물의 점유율을 판단하고, 누적 관측 데이터와 현재 관측 데이터를 활용하여 지속적인 점유율 추적이 가능한 수학적 모델을 통해 산업 시설물의 점검 필요성이나 사고 위험성을 정확하게 예측할 수 있다. According to an embodiment of the present invention, from a target sensor including a plurality of Internet of Things (IoT) sensors, the occupancy of industrial facilities is determined according to a change in the mobility state of the industrial facilities, and accumulated observation data and current observation data are used. Through a mathematical model that can continuously track the market share, it is possible to accurately predict the need for inspection of industrial facilities or the risk of accidents.

또한, 중앙 집중식 분석 방식을 이용하여 각 산업 시설물의 위치 정보를 중앙 시스템에서 수집하여 산업 시설물에 대한 분석, 대응 예측을 수행하고, 대응 지시를 관제센터 또는 작업자의 스마트글래스에 제공하여 신속하게 대처할 수 있으며, 나아가 5G 통신을 사용하는 게이트웨이를 추가 활용하는 경우 신속한 정보 처리가 가능하다. In addition, by using a centralized analysis method, the location information of each industrial facility is collected in the central system to analyze and predict the response of the industrial facility, and the response instruction is provided to the control center or the operator's smart glasses to quickly respond. Further, when additional gateways using 5G communication are used, rapid information processing is possible.

이에 따라, 상술한 실시예에 따른 발명은 산업 시설 운영 플랫폼(ex. IoT 플랫폼의 오라클 및 Postgress DB 연동 등)과 스마트글래스를 연동하여, 산업 현장의 시설 정비를 위한 실시간 통합관리솔루션을 제공할 수 있으며, 산업 시설 관리에 대한 API 연동과 oneM2M 표준 IoT 플랫폼을 제공하여 정형/비정형 데이터마이닝과 딥러닝 기술 적용을 통해 산업 시설의 고장을 예지 및 예측을 할 수 있다.Accordingly, the invention according to the above-described embodiment can provide a real-time integrated management solution for facility maintenance in industrial sites by linking smart glasses with an industrial facility operating platform (ex.Interlocking with an Oracle and Postgress DB of an IoT platform, etc.). In addition, by providing API interworking for industrial facility management and oneM2M standard IoT platform, it is possible to predict and predict failures of industrial facilities through the application of structured/unstructured data mining and deep learning technology.

또한, 공간기반 관리대상에 대해 사물 증강을 통한 시각화를 수행하여, 산업 시설 현장의 시설물 및 부품 객체의 3D 모델링을 제공하고, 스마트글래스 환경의 뎁스(Depth) 카메라 및 열화상카메라를 통한 사물인식 시각화(Visualization)를 제공하여, 설계 도면 내 대상 산업 시설의 위치기반 영상/IoT 신호의 공간 리소스를 통합 관리가 가능하다. In addition, by performing visualization through object augmentation for spatial-based management targets, 3D modeling of facilities and parts objects at the industrial facility site is provided, and object recognition visualization through depth cameras and thermal imaging cameras in a smart glass environment By providing (Visualization), it is possible to integrate and manage spatial resources of location-based video/IoT signals of target industrial facilities in the design drawing.

더하여, 사물인터넷 이력과 HMD 영상의 조합을 통한 상황 인지와 이의 증강을 통해 산업 현장의 IoT 및 영상 데이터의 산업 현장을 모니터링 및 제어하고, EdgeAI 기반 사물 인식 및 실감 인터페이스에서 XR 디바이스 시각화 기술을 제공하여, 시민감데이터 및 시계열데이터의 상황인지 분석을 통한 3차원 증강 표현 기술을 제공할 수 있다. In addition, it monitors and controls the industrial site of IoT and image data in the industrial site through situational awareness and augmentation through the combination of IoT history and HMD image, and provides XR device visualization technology in EdgeAI-based object recognition and sensory interface. , It is possible to provide 3D augmented expression technology through situational awareness analysis of citizenship data and time series data.

아울러, 확장현실 기반 원격 협업 기술을 통해, 스마트글래스를 통한 산업 현장과 관제센터와의 원격 협업을 가능하게 하고, 스마트글래스를 활용한 현장의 실시간 정비정보 및 숙련도 높은 정비환경 제공하여, 실시간 연계로 고장 예측, 잔여수명, 안전규정 등을 지원할 수 있다. In addition, through extended reality-based remote collaboration technology, it enables remote collaboration with industrial sites and control centers through smart glasses, and provides real-time maintenance information and a highly skilled maintenance environment for sites using smart glasses. It can support failure prediction, remaining life and safety regulations.

이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition to this, various effects that are directly or indirectly identified through this document can be provided.

도 1은 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치를 포함하는 전체 시스템의 아키텍쳐를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치의 기능 블럭도이다.
도 3a 내지 도 3c는 이동성 상태 판별부가 과거의 이동성 상태를 기초로 산업 시설물의 현재 점유율을 판별하는 마르코프 체인에 대한 예시도이다.
도 4는 점유율 예측부가 누적된 센서 정보를 사용하여 생성된 천이 행렬을 사용하는 은닉 마르코프 모델에 대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 산업 시설물의 이동성 상태 기반 점유율 예측 방법의 프로세스를 도시하는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치를 포함하는 시스템의 예시 시나리오 도면이다.
도 7은 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치를 포함하는 포톤 네트워크 레이어의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 관제 단말이 산업 시설물 정보에 대해 제어하고 지시를 전송하는 UI 화면의 예시도이다.
도 9는 본 발명의 일 실시예에 따른 관제 단말과 스마트글래스가 연동하는 동작의 예시도이다.
도 10은 본 발명의 일 실시예에 따른 스마트글래스 환경에서 산업 시설물에 대해 정보를 시각화(Visualization)의 예시도이다.1 is a view showing the architecture of an entire system including a remote collaboration device for predicting occupancy according to an embodiment of the present invention.
2 is a functional block diagram of a remote collaboration device for predicting occupancy according to an embodiment of the present invention.
3A to 3C are exemplary views of a Markov chain in which a mobility state determination unit determines a current share of industrial facilities based on a past mobility state.
4 is an exemplary diagram of a hidden Markov model using a transition matrix generated by using sensor information accumulated by an occupancy prediction unit.
5 is a flowchart illustrating a process of a method for predicting occupancy based on mobility status of an industrial facility according to an embodiment of the present invention.
6 is an exemplary scenario diagram of a system including a remote collaboration device for predicting occupancy according to an embodiment of the present invention.
7 is an exemplary diagram of a photon network layer including an occupancy prediction remote collaboration apparatus according to an embodiment of the present invention.
8 is an exemplary view of a UI screen in which a control terminal controls industrial facility information and transmits an instruction according to an embodiment of the present invention.
9 is an exemplary diagram of an operation in which a control terminal and smart glasses are interlocked according to an embodiment of the present invention.
10 is an exemplary diagram of visualization of information on industrial facilities in a smart glass environment according to an embodiment of the present invention.

본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.Advantages and features of the present invention, 　, and a method of achieving them will become apparent with reference to the embodiments described later in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, 　 only these embodiments make the disclosure of the present invention complete, and 　 those having ordinary knowledge in the technical field to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when actually necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention and may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.

도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are only examples of possible implementations. In other implementations, other functional blocks may be used without departing from the spirit and scope of the detailed description. Also, although one or more functional blocks of the present invention are represented as individual blocks, one or more of the functional blocks of the present invention may be a combination of various hardware and software configurations that perform the same function.

또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression of including certain constituent elements is an open expression and simply refers to the existence of the constituent elements, and should not be understood as excluding additional constituent elements.

나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Further, when a component is connected to or is referred to as being connected to another component, it should be understood that it may be directly connected or connected to the other component, but other components may exist in the middle.

또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. In addition, expressions such as'first, second', etc. are used only for distinguishing a plurality of elements, and do not limit the order or other features between the elements.

이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다. Hereinafter, embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치(100)를 포함하는 전체 시스템(10)의 아키텍쳐를 나타낸 도면이다.1 is a diagram showing the architecture of an entire system 10 including a remote collaboration device 100 for predicting occupancy according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 전체 시스템(10)은 점유율 예측 원격협업 장치(100), 산업 시설물(200), 대상 센서(300), 스마트글래스(400), 게이트웨이(500) 및 관제 단말(600)을 포함할 수 있다. Referring to FIG. 1, the entire system 10 according to an embodiment of the present invention includes a market share prediction remote collaboration device 100, an industrial facility 200, a target sensor 300, a smart glass 400, a gateway 500. ) And a control terminal 600 may be included.

점유율 예측 원격협업 장치(100)는 복수의 IoT(Internet of Things) 센서들을 포함하는 대상 센서(300)를 통해 산업 시설물(200)의 이동성 상태의 변화 방향에 따라 산업 시설물(200)의 점유율을 판단하고, 과거 관측 데이터와 현재 관측 데이터를 활용하여 지속적인 점유율 추적이 가능한 수학적 모델을 통해 산업 시설물(200)의 점검 필요성이나 사고 위험성을 예측하여, 스마트 글래스(400) 또는 관제 단말(600)로 점검 지시를 전송할 수 있다. 점유율 예측 원격협업 장치(100)는 네트워크를 통해 시스템(10)의 구성들과 연결되어 중앙 집중식 분석 방식을 이용하여 각 구성의 정보를 수집하여 산업 시설물(200)의 분석, 대응 예측 및 대응 과정을 연산하여 그 결과를 시스템(10)의 구성에 전송하는 서버로 동작할 수 있다. Market share prediction The remote collaboration device 100 determines the share of the industrial facility 200 according to the change direction of the mobility state of the industrial facility 200 through the target sensor 300 including a plurality of Internet of Things (IoT) sensors. And, by predicting the need to inspect industrial facilities 200 or the risk of accidents through a mathematical model that can continuously track the occupancy rate by using the past observation data and the current observation data, the inspection is instructed by the smart glasses 400 or the control terminal 600 Can be transmitted. The market share prediction remote collaboration device 100 is connected to the components of the system 10 through a network and collects information of each component using a centralized analysis method to analyze the industrial facility 200, predict the response, and conduct a response process. It can operate as a server that calculates and transmits the result to the configuration of the system 10.

산업 시설물(200)은 석유화학, 가스, 원자력, 해양 플랜트 등 다양한 산업 시설의 운용을 위해 사용되는 장비를 포함할 수 있다. 산업 시설물(200)은 상태를 모니터링 하기 위해 대상 센서(300)가 설치되어 위치, 시간, 온도, 진동 및 열 등의 물리량이 계측될 수 있다. The industrial facility 200 may include equipment used for the operation of various industrial facilities such as petrochemical, gas, nuclear, and offshore plants. In the industrial facility 200, a target sensor 300 is installed to monitor the state, and physical quantities such as location, time, temperature, vibration, and heat may be measured.

대상 센서(300)는 산업 시설물(200)에 배치되어 산업 시설물(200)의 시간, 온도, 진동 및 열 등의 물리량을 포함하는 각각의 센서 정보를 점유율 예측 원격협업 장치(100)로 전송할 수 있고, 각각의 센서에 의해 측정된 물리량을 통합하여 데이터화한 통합 센서 정보를 생성하여 점유율 예측 원격협업 장치(100)로 전송할 수 있다. 또한, 대상 센서(300)는 산업 시설물(200)의 위치 정보를 측정하여 점유율 예측 원격협업 장치(100)에 전송할 수 있다. 이를 위해, 대상 센서(300)는 시간 센서, 온도 센서, 진동 센서 및 열 센서, 위치 센서 및 IoT(Internet of Things) 센서(ex. 원격으로 산업 시설물(200)의 동작을 제어하는 기기)를 포함할 수 있다. The target sensor 300 is disposed in the industrial facility 200 to transmit each sensor information including physical quantities such as time, temperature, vibration and heat of the industrial facility 200 to the remote collaboration device 100 for predicting occupancy. , The physical quantity measured by each sensor may be integrated to generate integrated sensor information that is converted into data and transmitted to the remote collaboration device 100 for predicting occupancy. In addition, the target sensor 300 may measure the location information of the industrial facility 200 and transmit it to the remote collaboration device 100 for predicting occupancy. To this end, the target sensor 300 includes a time sensor, a temperature sensor, a vibration sensor and a thermal sensor, a position sensor, and an Internet of Things (IoT) sensor (ex. a device that remotely controls the operation of the industrial facility 200). can do.

스마트 글래스(400)은 산업 시설물(200)의 관리자가 사용하는 단말을 포함할 수 있다. 예를 들어, 스마트 글래스(400)은 홀로렌즈2와 같은 스마트글래스를 포함할 수 있고, 산업 시설물(200)을 비마커 방식으로 인지하여, 증강 현실 기능을 통해 산업 시설물(200)에 대한 정보를 출력할 수 있다. 스마트 글래스(400)은 점유율 예측 원격협업 장치(100) 또는 관제 단말(600)로부터 점검 지시를 전송 받아 점검이 필요한 산업 시설물(200)의 실시간 위치, 점검 방법, 점검 부위 등의 정보를 출력할 수 있다. The smart glass 400 may include a terminal used by the manager of the industrial facility 200. For example, the smart glass 400 may include a smart glass such as HoloLens 2, and by recognizing the industrial facility 200 in a non-marker manner, information on the industrial facility 200 is transmitted through an augmented reality function. Can be printed. The smart glasses 400 may receive an inspection instruction from the remote collaboration device 100 or the control terminal 600 for predicting occupancy and output information such as the real-time location of the industrial facility 200 requiring inspection, an inspection method, and an inspection site. have.

본 발명의 일 실시예에 따른 전체 시스템(10)은 다양한 네트워크 망을 사용할 수 있다. 이때 대상 센서(300)와 스마트 글래스(400)은 직접적으로 네트워크 망을 통해 점유율 예측 원격협업 장치(100)와 연결될 수 있으나, 네트워크 망이 5G 네트워크 망이지만 대상 센서(300)와 스마트 글래스(400)이 5G 통신을 지원하지 않는 경우, 5G를 지원하지 않는 구성에서 생성된 정보가 점유율 예측 원격협업 장치(100)와 송수신 가능하도록 게이트웨이(500)를 사용할 수 있다. 게이트웨이(500)는 WiFi 및 5G 통신이 가능한 장치를 포함할 수 있다. 예를 들어, 게이트웨이(500)는 PC 또는 태블릿 PC를 포함할 수 있고, 대상 센서(300) 및 스마트 글래스(400)과 WiFi5 (802.11ac) 규격을 통해 정보를 송수신할 수 있으며, 점유율 예측 원격협업 장치(100)와 게이트웨이(500)는 5G 네트워크 망을 통해 연결되어 센서 정보 또는 점검 지시 등의 정보를 송수신하여 신속한 정보 처리 및 전달을 수행하도록 할 수 있다. The entire system 10 according to an embodiment of the present invention may use various network networks. At this time, the target sensor 300 and the smart glasses 400 may be directly connected to the remote collaboration device 100 for predicting share through a network network, but the network network is a 5G network network, but the target sensor 300 and the smart glasses 400 When this 5G communication is not supported, the gateway 500 may be used so that information generated in a configuration that does not support 5G can be transmitted and received with the share prediction remote collaboration device 100. The gateway 500 may include a device capable of WiFi and 5G communication. For example, the gateway 500 may include a PC or a tablet PC, transmit and receive information through the target sensor 300 and smart glasses 400 and WiFi5 (802.11ac) standards, and predict market share remote collaboration. The device 100 and the gateway 500 may be connected through a 5G network to transmit and receive information such as sensor information or inspection instruction to perform rapid information processing and delivery.

관제 단말(600)은 점유율 예측 원격협업 장치(100)가 산업 시설물(200)의 이동성 상태의 변화 방향에 따라 산업 시설물(200)의 점유율을 판단하여, 산업 시설물(200)의 점검 필요성이나 사고 위험성을 예측함에 따라, 작업자가 사용하는 스마트 글래스(400)에 점검 지시와 점검에 필요한 정보를 전송할 수 있다. 이를 위해, 관제 단말(600) 점유율 예측 원격협업 장치(100)로부터 수신한 정보에 기반하여 산업 시설물(200) 또는 스마트 글래스(400)에 대해 제어하고 지시를 전송하기 위한 운영 플랫폼(ex. IoT 플랫폼의 오라클 및 Postgress DB 연동)을 포함하여, 작업자의 스마트 글래스(400)에 산업 시설물(200) 정보를 시각화하여 전송 및 공유할 수 있다. The control terminal 600 determines the share of the industrial facility 200 according to the direction of the change in the mobility state of the industrial facility 200 by the remote collaboration device 100 for predicting the market share, and the need to inspect the industrial facility 200 or the risk of an accident. According to the prediction, it is possible to transmit the inspection instruction and information necessary for the inspection to the smart glasses 400 used by the operator. To this end, an operating platform (ex. IoT platform for controlling the industrial facility 200 or smart glasses 400) and transmitting an instruction based on information received from the control terminal 600 share prediction remote collaboration device 100 (ex. IoT platform) Including the linkage of Oracle and Postgress DB), the information of the industrial facility 200 can be visualized on the smart glass 400 of the worker, and transmitted and shared.

도 2는 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치(100)의 기능 블럭도이다.2 is a functional block diagram of a remote collaboration device 100 for predicting occupancy rate according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치(100)는 수신부(110), 이동성 상태 판별부(130), 점유율 예측부(150) 및 제어부(170)를 포함할 수 있다. 2, the occupancy prediction remote collaboration apparatus 100 according to an embodiment of the present invention includes a receiver 110, a mobility state determination unit 130, a occupancy prediction unit 150, and a control unit 170. I can.

수신부(110)는 산업 시설물(200)에 배치된 대상 센서(300)에 의해 측정된 센서 정보 및 산업 시설물(200)에 배치된 위치 센서에 의해 측정된 위치 정보를 수신할 수 있다. 이를 위해, 수신부(110)는 유무선 네트워크로의 접속을 수행하는 통신 모듈을 포함할 수 있다. The receiver 110 may receive sensor information measured by the target sensor 300 disposed on the industrial facility 200 and location information measured by the location sensor disposed on the industrial facility 200. To this end, the receiving unit 110 may include a communication module that performs access to a wired or wireless network.

이동성 상태 판별부(130)는 센서 정보의 수치가 변화하는 방향을 기준으로 산업 시설물(200)의 이동성 상태를 판별할 수 있다. 여기서, 이동성 상태란 산업 시설물(200)의 사용 상태 또는 사용 정도가 어떠한 방향으로 이동하는 지를 의미한다. The mobility state determination unit 130 may determine the mobility state of the industrial facility 200 based on the direction in which the value of the sensor information changes. Here, the mobility state refers to the direction in which the state of use or degree of use of the industrial facility 200 moves.

이동성 상태 판별부(130)는 소정의 시간 범위 마다 대상 센서(300)로부터 수신하는 센서 정보의 수치를 모니터링 하여, 소정의 시간 범위 간격으로 전과 후의 센서 정보를 비교하였을 때, 센서 정보의 수치가 기 설정된 범위 내에서 유지되면 산업 시설물(200)의 사용 정도가 기존과 비슷하게 유지되고 있음을 의미하는 중립적 상태(N), 센서 정보의 수치가 기 설정된 범위보다 커지면 산업 시설물(200)의 사용 정도가 잦아지고 있음을 의미하는 신호 생성 상태(I), 센서 정보의 수치가 기 설정된 범위보다 작아지면 산업 시설물(200)의 사용 정도가 낮아지고 있음을 의미하는 신호 소멸 상태(O)인 것으로 산업 시설물(200)의 이동성 상태를 판별할 수 있다. The mobility state determination unit 130 monitors the value of sensor information received from the target sensor 300 every predetermined time range, and when comparing the sensor information before and after at a predetermined time range interval, the value of the sensor information is recorded. If maintained within the set range, the level of use of the industrial facility 200 is maintained in a neutral state (N), which means that the level of use of the industrial facility 200 is maintained similarly to the existing one.If the value of the sensor information is greater than the preset range, the degree of use of the industrial facility 200 is frequent. When the value of the signal generation state (I), which means that the sensor information is being lost, is smaller than the preset range, the signal is in the state of extinguishing (O), which means that the degree of use of the industrial facility 200 is lowering. )'S mobility status can be determined.

이동성 상태 판별부(130)는 시간 범위 판별되는 이동상 상태의 변화 상태 또는 유지 상태에 따라 산업 시설물(200)의 점유율(또는 가동률이라 칭할 수 있으며, 산업 시설물(200)이 이용되는 정도 또는 과부하 정도를 판별하는 점수)을 판별할 수 있다. 예를 들어, 이동성 상태가 N에서 N, N에서 I, N에서 O, I에서 I, I에서 N, I에서 O, O에서 O, O에서 N, O에서 I 중 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율을 기초로, 산업 시설물(200)의 이동성 상태에 대한 점유율로 판별할 수 있다. 이때 이동성 상태가 변화하는 형태를 기초로 판별되는 점유율은 이동성 상태가 1차적으로 변화하는 형태(ex. 9가지)에 따라 기 설정되어 있을 수 있고, 기 설정된 점유율의 수치는 상기 산업 시설물(200) 마다 상이할 수 있다. 가령, A 산업 시설물(200)의 이동성 상태가 N에서 I로 변하였을 경우의 점유율 초기값(= 한 단위의 이동성 변화 기준의 기 설정된 점유율)은 20% 라고 판별할 수 있다. The mobility state determination unit 130 may be referred to as the share (or operation rate) of the industrial facility 200 according to the state of change or maintenance of the state of the mobile phase determined in a time range, and the degree of use or the degree of overload of the industrial facility 200 The score to be determined) can be determined. For example, depending on the form in which the mobility state changes from N to N, N to I, N to O, I to I, I to N, I to O, O to O, O to N, O to I. Based on the market share of the preset value, it may be determined as the share of the mobility state of the industrial facility 200. At this time, the share determined based on the form in which the mobility state changes may be preset according to the form in which the mobility state changes primarily (ex. 9 types), and the preset share value is the industrial facility 200 Each can be different. For example, when the mobility state of the industrial facility A 200 is changed from N to I, the initial share value (= a preset share of the mobility change standard of one unit) may be determined to be 20%.

한편, 산업 시설물(200)의 이동성 상태는 시설의 운용에 따라 계속하여 다양한 방향으로 변화하기 때문에, 과거의 이동성 상태가 어떻게 변화하였는지를 여러 단계의 이동성 변화를 반영하여야 현재의 점유율을 제대로 판별할 수 있다. On the other hand, since the mobility state of the industrial facility 200 continuously changes in various directions according to the operation of the facility, the current share can be properly determined by reflecting the mobility change in several stages of how the mobility state in the past has changed. .

도 3a 내지 도 3c는 이동성 상태 판별부(130)가 과거의 이동성 상태를 기초로 산업 시설물(200)의 현재 점유율을 판별하는 마르코프 체인에 대한 예시도이다. 3A to 3C are exemplary views of a Markov chain in which the mobility state determination unit 130 determines the current share of the industrial facility 200 based on the past mobility state.

도 3을 참조하면, 이동성 상태 판별부(130)는 시간 t+1에서 산업 시설물(200)의 점유율은 가장 최근 k개의 이동성 상태에 의존한다는 가정 하에 누적 점유율을 판별할 수 있다. 이때 도 3a는 이산 시간에 따라 관측된 o1 내지 o6의 이동성 상태이고 서로 영향을 받지 않는 경우, 도 3b는 이산 시간에 따라 o1 내지 o6은 관측된 이동성 상태이고 바로 전 이동성 상태가 현재 이동성 상태에 영향을 주는 경우, 도 3c는 이산 시간에 따라 o1 내지 o6은 관측된 이동성 상태이고 바로 전 2개의 이동성 상태가 현재 이동성 상태에 영향을 주는 경우를 의미한다. Referring to FIG. 3, the mobility state determination unit 130 may determine the cumulative share on the assumption that the share of the industrial facility 200 at time t+1 depends on the most recent k mobility states. At this time, FIG. 3A shows the mobility states of o1 to o6 observed according to the discrete time, and when they are not affected by each other, FIG. 3B shows the mobility states that o1 to o6 are observed according to the discrete time, and the immediately previous mobility state influences the current mobility state. 3C indicates a case in which o1 to o6 are observed mobility states and the two immediately preceding mobility states affect the current mobility state according to the discrete time.

예를 들어, 바로 전에 관측된 이동성 상태가 현재의 이동성 상태에 영향을 주는 경우를 가정하면, 이동성 상태 판별부(130)는 시간 t+1에서 산업 시설물(200)의 점유율은 바로 전 이동성 상태에 의존한다는 가정 하에 하기 수학식 1과 같이 시간 t+1에서의 누적 점유율을 판별할 수 있다.For example, assuming that the mobility state observed just before affects the current mobility state, the mobility state determination unit 130 determines the share of the industrial facility 200 at the time t+1. The cumulative occupancy rate at time t+1 can be determined as shown in Equation 1 below under the assumption that it depends.

Figure 112020103693604-pat00021

(P는 누적 점유율, t는 이산 시간,
Figure 112020103693604-pat00022
는 t+1 시점의 이동성 상태에 기 설정된 점유율,
Figure 112020103693604-pat00023
는 이산 시간 t-k+1부터 이산 시간 t까지의 k 번의 이동성 상태 변화에 따라 도출된 점유율, k는 t+1 시점의 점유율을 도출하기 위하여 이용되는 과거 이산 시간의 길이)
Figure 112020103693604-pat00021
(P is the cumulative share, t is the discrete time,
Figure 112020103693604-pat00022
Is the pre-set occupancy in the mobility state at the time t+1,
Figure 112020103693604-pat00023
Is the occupancy rate derived from the change in mobility state k times from the discrete time t-k+1 to the discrete time t, and k is the length of the past discrete time used to derive the occupancy at the time t+1)

삭제delete

점유율 예측부(150)는 복수의 산업 시설물(200)에 배치된 대상 센서(300) 각각으로부터 수신하여 누적된 센서 정보를 기초로 복수의 산업 시설물(200) 각각의 누적 점유율 정보를 생성하고, 이하 도 4와 함께 설명될 내용을 참조하여 은닉 마르코프 모델(Hidden Markov Model)을 생성함에 따라, 소정의 이산 시간 이후의 산업 시설물(200)에 대한 점유율을 예측할 수 있다. 이는 도 4와 함께 자세히 후술한다. The share estimation unit 150 generates accumulated share information of each of the plurality of industrial facilities 200 based on the accumulated sensor information received from each of the target sensors 300 disposed in the plurality of industrial facilities 200, and the following By generating a hidden Markov model with reference to the contents to be described with reference to FIG. 4, the share of the industrial facility 200 after a predetermined discrete time can be predicted. This will be described later in detail together with FIG. 4.

점유율 예측부(150)는 산업 시설물(200)의 과거 누적 점유율과 현재 점유율을 기초로 미래의 점유율을 예측할 수 있다. 점유율 예측부(150)는 복수의 산업 시설물(200) 중 적어도 둘 이상의 누적 점유율 정보를 조합하여 생성된 천이 행렬을 이용하여 과거 데이터로부터 미래 데이터를 예측하는 은닉 마르코프 모델을 생성할 수 있다. 예를 들어, 점유율 예측부(150)는 제1 산업 시설물(200)의 제1 누적 점유율 정보와 제1 산업 시설물(200)과 인접한 제2 시설물의 제2 누적 점유율 정보를 기초로 생성된 천이 행렬을 생성할 수 있다. 또한, 점유율 예측부(150)는 제1 산업 시설물(200)의 제1 누적 점유율 정보와 제1 산업 시설물(200)과 연동하여 쓰이는 제3 시설물의 제3 누적 점유율 정보를 기초로 생성된 천이 행렬을 이용하여 은닉 마르코프 모델을 생성할 수 있다. The share prediction unit 150 may predict a future share based on the past accumulated share and the current share of the industrial facility 200. The occupancy prediction unit 150 may generate a hidden Markov model for predicting future data from past data by using a transition matrix generated by combining accumulated occupancy information of at least two of the plurality of industrial facilities 200. For example, the market share prediction unit 150 is a transition matrix generated based on the first accumulated share information of the first industrial facility 200 and the second accumulated share information of the second facility adjacent to the first industrial facility 200 Can be created. In addition, the market share prediction unit 150 is a transition matrix generated based on the first accumulated share information of the first industrial facility 200 and the third accumulated share information of the third facility used in connection with the first industrial facility 200 You can create a hidden Markov model using.

도 4는 점유율 예측부(150)가 누적된 센서 정보를 사용하여 생성된 천이 행렬을 사용하는 은닉 마르코프 모델에 대한 예시도이다. 4 is an exemplary diagram of a hidden Markov model using a transition matrix generated by the occupancy predictor 150 using accumulated sensor information.

도 4를 참조하면, 서로 교번적으로 동작하여 영향을 주고 받는 제1 산업 시설물(200)과 제2 산업 시설물(200)이 존재하고, 제1 산업 시설물(200)의 대상 센서(300)에 의해 특정한 날의 하루 동안 누적하여 측정된 하루 동안의 점유율이 88%라고 가정한다. 또한, 제2 산업 시설물(200)의 대상 센서(300)에 의해 특정한 날의 하루 동안 누적하여 측정된 하루 동안의 점유율이 85%라고 가정하고, 정상적으로 동작하는 경우에는 이러한 점유율이 계속된다고 가정한다. 이와 같은 경우, 제1 산업 시설물(200)의 제1 누적 점유율 정보와 제1 산업 시설물(200)과 인접한 제2 시설물의 제2 누적 점유율 정보를 기초로 아래 수학식 1와 같은 천이 행렬을 생성할 수 있다. Referring to FIG. 4, a first industrial facility 200 and a second industrial facility 200 that are affected by alternating operation with each other exist, and the target sensor 300 of the first industrial facility 200 It is assumed that 88% of the daily occupancy is accumulated and measured during the day of a specific day. In addition, it is assumed that the share of the second industrial facility 200 accumulates and measures 85% of the daily share by the target sensor 300 of the second industrial facility 200 during the day of a specific day, and if it operates normally, it is assumed that this share continues. In this case, based on the first accumulated market share information of the first industrial facility 200 and the second accumulated share information of the second facility adjacent to the first industrial facility 200, a transition matrix as shown in Equation 1 below may be generated. I can.

Figure 112020071960559-pat00004
Figure 112020071960559-pat00004

이때 이동성 상태 판별부(130)가 판별한 현 상태의 제1 산업 시설물(200)의 현재 점유율은 25%로 판별되었다고 가정한다. 그렇다면, 현 상태의 점유율(초기치)는 아래 수학식 2와 같은 행렬로 나타낼 수 있다. At this time, it is assumed that the current share of the first industrial facility 200 in the current state determined by the mobility state determination unit 130 is determined to be 25%. If so, the current occupancy (initial value) can be represented by a matrix as shown in Equation 2 below.

Figure 112020071960559-pat00005
Figure 112020071960559-pat00005

이에 따라, 점유율 예측부(150)는 천이행렬 P를 이용하는 은닉 마르코프 모델을 통해, 현재로부터 이산 시간 t 단위로 제1 산업 시설물(200)의 점유율을 예측해 나갈 수 있다. Accordingly, the share prediction unit 150 may predict the share of the first industrial facility 200 in units of discrete time t from the present through the hidden Markov model using the transition matrix P.

가령 초기치를 t=1로 하였을 때, 시간 t 일 때 제1 산업 시설물(200)의 점유율은 아래 수학식 3과 같이 계산될 수 있다. For example, when the initial value is t=1, the share of the first industrial facility 200 at time t may be calculated as in Equation 3 below.

Figure 112020071960559-pat00006
Figure 112020071960559-pat00006

가령, 점유율 예측부(150)는 t=3 일 때 상술한 예시의 제1 산업 시설물(200)의 점유율을 예측한다면, 아래 수학식 4 및 수학식 5를 통해 계산할 수 있다.For example, if the market share prediction unit 150 predicts the share of the first industrial facility 200 of the above-described example when t=3, it may be calculated through Equations 4 and 5 below.

Figure 112020071960559-pat00007
Figure 112020071960559-pat00007

Figure 112020071960559-pat00008
Figure 112020071960559-pat00008

따라서, 점유율 예측부(150)는 이동성 상태 판별부(130)가 예측한 현재 제1 산업 시설물(200)의 점유율을 천이행렬 P를 이용하는 은닉 마르코프 모델을 통해, 미래(이산 시간 t)의 점유율을 예측할 수 있다. 이때 이산 시간의 간격은 이동성 상태를 측정하는 시간 단위와 동일할 수 있다. Accordingly, the share prediction unit 150 determines the share of the future (discrete time t) through the hidden Markov model using the transition matrix P to determine the current share of the first industrial facility 200 predicted by the mobility state determination unit 130. It is predictable. In this case, the interval of the discrete time may be the same as the time unit for measuring the mobility state.

제어부(170)는 복수의 산업 시설물(200) 각각에 대해 예측된 점유율을 모니터링하여 예측된 점유율이 기 설정된 임계값을 초과하는 경우, 관제 단말(600) 또는 스마트 글래스(400)에 상기 기 설정된 비율을 초과하는 산업 시설물(200)의 위치 정보로의 점검 지시를 송신할 수 있다. 예를 들어, 제어부(170)는 현재의 점유율에서 이산 시간 t=3 이내의 미래 점유율을 계산하였을 때, 임계치를 넘게되는 경우 미리 점검 지시를 송신할 수 있다. 또한, 제어부(170)는 현재의 점유율에서 이산 시간 t=5 이후에 미래 점유율을 계산하였을 때, 임계치를 넘게되는 경우에는 관리자에게 주의를 주고, 다음에 관측되는 이동성 상태에 따른 점유율을 새로 은닉 마르코프 모델에 대입하여 새로 계산되는 점유율이 임계치를 넘는 지 모니터링할 수 있다.The control unit 170 monitors the predicted share of each of the plurality of industrial facilities 200 and, when the predicted share exceeds a preset threshold, the preset ratio to the control terminal 600 or the smart glasses 400 It is possible to transmit an inspection instruction to the location information of the industrial facility 200 in excess of. For example, when calculating the future occupancy within the discrete time t=3 from the current occupancy rate, the controller 170 may transmit an inspection instruction in advance when the threshold is exceeded. In addition, when calculating the future occupancy rate after the discrete time t=5 from the current occupancy, the controller 170 gives attention to the manager when it exceeds the threshold value, and newly hides the occupancy rate according to the mobility state observed next. By substituting into the model, you can monitor whether the newly calculated occupancy exceeds the threshold.

한편 상술한 실시예가 포함하는 수신부(110), 이동성 상태 판별부(130), 점유율 예측부(150) 및 제어부(170)는 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다. Meanwhile, the receiving unit 110, the mobility state determination unit 130, the occupancy prediction unit 150, and the control unit 170 included in the above-described embodiment include a memory including commands programmed to perform their functions, and these commands. It can be implemented by a computing device including a microprocessor to perform.

도 5는 본 발명의 일 실시예에 따른 산업 시설물(200)의 이동성 상태 기반 점유율 예측 방법의 프로세스를 도시하는 흐름도이다. 도 5에 따른 는 본 발명의 일 실시예에 따른 산업 시설물(200)의 이동성 상태 기반 점유율 예측 방법의 각 단계는 도 2를 통해 설명된 는 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.5 is a flowchart illustrating a process of a method of predicting a mobility state-based occupancy rate of an industrial facility 200 according to an embodiment of the present invention. According to FIG. 5, each step of the method for predicting occupancy based on mobility status of an industrial facility 200 according to an embodiment of the present invention is described with reference to FIG. 2. A remote collaboration device for predicting occupancy according to an embodiment of the present invention ( 100), each step will be described as follows.

수신부(110)는 산업 시설물(200)에 배치된 대상 센서(300)에 의해 측정된 센서 정보 및 산업 시설물(200)에 배치된 위치 센서에 의해 측정된 위치 정보를 수신할 수 있다(S510). 이동성 상태 판별부(130)는 센서 정보의 수치가 변화하는 방향을 기준으로 산업 시설물(200)의 이동성 상태를 판별할 수 있다(S520). 점유율 예측부(150)는 복수의 산업 시설물(200)에 배치된 대상 센서(300) 각각으로부터 수신하여 누적된 센서 정보를 기초로 복수의 산업 시설물(200) 각각의 누적 점유율 정보를 생성하고, 누적 점유율 정보에 기초하여 은닉 마르코프 모델을 생성하여, 이동성 상태를 은닉 마르코프 모델에 적용하여 산업 시설물(200)에 대한 점유율을 예측할 수 있다(S530). 제어부(170)는 복수의 산업 시설물(200) 각각에 대해 예측된 점유율을 모니터링하여 예측된 점유율이 기 설정된 임계값을 초과하는 경우, 관제 단말(600) 또는 스마트 글래스(400)에 기 설정된 비율을 초과하는 산업 시설물(200)의 위치 정보로의 점검 지시를 송신할 수 있다. The receiver 110 may receive sensor information measured by the target sensor 300 disposed on the industrial facility 200 and location information measured by the location sensor disposed on the industrial facility 200 (S510). The mobility state determination unit 130 may determine the mobility state of the industrial facility 200 based on the direction in which the value of the sensor information changes (S520). The share prediction unit 150 generates accumulated share information of each of the plurality of industrial facilities 200 based on the accumulated sensor information received from each of the target sensors 300 disposed in the plurality of industrial facilities 200, and accumulated A hidden Markov model may be generated based on the occupancy information, and the mobility state may be applied to the hidden Markov model to predict the occupancy of the industrial facility 200 (S530). The controller 170 monitors the predicted occupancy rate for each of the plurality of industrial facilities 200, and when the predicted occupancy exceeds a preset threshold, the control terminal 600 or the smart glasses 400 determine a preset ratio. It is possible to transmit an inspection instruction to the location information of the excess industrial facility 200.

한편, 상술한 각 단계의 주체인 구성 요소들이 해당 단계를 실시하기 위한 과정은 도 2 내지 도 4와 함께 설명하였으므로 중복된 설명은 생략한다.Meanwhile, a process for performing the corresponding step by the constituent elements that are the subjects of each step described above has been described with reference to FIGS. 2 to 4, and thus a duplicate description will be omitted.

도 6은 본 발명의 일 실시예에 따른 점유율 예측 원격협업 장치(100)를 포함하는 시스템의 예시 시나리오 도면이다.6 is an exemplary scenario diagram of a system including the remote collaboration device 100 for predicting occupancy according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 전체 시스템(10)은 점유율 예측 원격협업 장치(ex.서버, 100), 산업 시설물(200), 대상 센서(300), 스마트글래스(ex. 홀로렌즈, 400), 게이트웨이(500) 및 관제 단말(ex. 관제센터 단말, 600)을 포함할 수 있다. 6, the entire system 10 according to an embodiment of the present invention is a market share prediction remote collaboration device (ex. server, 100), industrial facilities 200, target sensor 300, smart glasses (ex. It may include a holo lens 400, a gateway 500, and a control terminal (ex. a control center terminal, 600).

도 6과 같은 시스템이 구축된 상태에서, 현장_1에 위치하는 작업자는 홀로렌즈(400)를 통해 산업 시설물(200a)에 대해 HMD 영상 촬영을 수행하여 산업 시설물(200a)을 스캔할 수 있다. 이에 따라, 홀로렌즈(400)는 산업 시설물(200a)에 포함된 대상 센서(300)의 정보를 획득하며, 산업 시설물(200a)과 관련된 정보에 대한 음성인식 지원을 수행할 수 있다. In a state in which the system as shown in FIG. 6 is constructed, a worker located at site_1 may scan the industrial facility 200a by performing HMD image capture on the industrial facility 200a through the holo lens 400. Accordingly, the holo lens 400 may acquire information on the target sensor 300 included in the industrial facility 200a and perform voice recognition support for information related to the industrial facility 200a.

이후, 홀로렌즈(400)는 획득한 정보를 서버(100)에 전송할 수 있다. 예를 들어, 홀로렌즈(400)는 서버(100)에 산업 시설물(200a)에 대하여 획득한 포톤 이미지를 전송할 수 있다. 포톤 이미지는 도 7의 레이어 구성에 따른 포톤 네트워크 구성을 통해 포톤 이미지가 홀로렌즈(400), 서버(100), 관제센터 단말(600) 간에 송수신 될 수 있다. 더하여, 홀로렌즈(400)는 산업 시설물(200a)의 위치 정보를 서버(100)에 전송할 수 있다. 예를 들어, 위치 정보는 TCP/IP 기반 산업 시설물에 대한 트래킹 좌표 영상을 포함할 수 있다. 이에 따라, 서버(100)는 딥러닝 기반 사물 영상 매칭을 기초로 홀로렌즈(400)가 전송한 선업 시설물(200a)을 인식하고 산업 시설물(200a)의 공간 좌표를 홀로렌즈(400)에 전송하여 홀로렌즈(400)의 디스플레이 상 보이는 산업 시설물(200a)의 공간 좌표와 매칭시킬 수 있다. Thereafter, the holo lens 400 may transmit the obtained information to the server 100. For example, the holo lens 400 may transmit a photon image obtained for the industrial facility 200a to the server 100. The photon image may be transmitted and received between the holo lens 400, the server 100, and the control center terminal 600 through the photon network configuration according to the layer configuration of FIG. 7. In addition, the holo lens 400 may transmit location information of the industrial facility 200a to the server 100. For example, the location information may include a tracking coordinate image for a TCP/IP based industrial facility. Accordingly, the server 100 recognizes the pre-op facility 200a transmitted by the holo lens 400 based on deep learning-based object image matching, and transmits the spatial coordinates of the industrial facility 200a to the holo lens 400 It may match the spatial coordinates of the industrial facility 200a visible on the display of the holo lens 400.

상술한 과정은 사업장 b의 산업 시설물(200b), 사업장 c의 산업 시설물(200c)에 대해서도 동일하게 수행될 수 있으며, 유니티 DB 연동을 통해 데이터들이 호환 및 저장될 수 있다. The above-described process may be performed in the same manner for the industrial facility 200b of the business site b and the industrial facility 200c of the business site c, and data may be compatible and stored through the Unity DB linkage.

이후, 서버(100)는 홀로렌즈(400)로부터 인식된 산업 시설물(200a)의 정보를 분석하여, 도 1 내지 도 5의 실시예에서 상술한 이동성 기반의 점유율 예측을 수행할 수 있고, 산업 시설물(200a)에 대해 분석한 결과와 포톤 이미지를 관제센터 단말(600)에 전송할 수 있다. 이에 따라, 서버(100)와 관제센터 단말(600)은 송수신한 정보에 대해 DB 데이터를 연동하고, 포톤 이미지에 대해 시각화 매칭을 수신할 수 있다. Thereafter, the server 100 may analyze the information of the industrial facility 200a recognized from the holo lens 400 and perform the mobility-based market share prediction described above in the embodiments of FIGS. 1 to 5, and the industrial facility The result of analyzing (200a) and the photon image may be transmitted to the control center terminal 600. Accordingly, the server 100 and the control center terminal 600 may link DB data with respect to transmitted and received information, and receive visualization matching with respect to the photon image.

관제센터 단말(600)은 서버(100)로부터 수신한 정보에 기반하여 도 8과 같은 인터페이스의 운영 플랫폼(ex. IoT 플랫폼의 오라클 및 Postgress DB 연동)를 통해 산업 시설물(200a) 정보에 대해 제어하고 지시를 전송할 수 있다. 가령, 도 9 및 도 10과 같이 현장_2 또는 현장_3에 위치한 작업자의 홀로렌즈(400)에 현장_1의 산업 시설물(200a) 정보를 시각화하여 전송 및 공유할 수 있다. The control center terminal 600 controls the information of the industrial facility 200a through the operating platform of the interface as shown in FIG. 8 (ex. Oracle and Postgress DB linkage of the IoT platform) based on the information received from the server 100. Can send instructions. For example, as shown in FIGS. 9 and 10, information on the industrial facility 200a of the site_1 may be visualized, transmitted and shared on the holo lens 400 of the worker located at the site_2 or the site_3.

이에 따라, 상술한 실시예에 따른 발명은 산업 시설 운영 플랫폼(ex. IoT 플랫폼의 오라클 및 Postgress DB 연동)과 스마트글래스를 연동하여, 산업 현장의 시설 정비를 위한 실시간 통합관리솔루션을 제공할 수 있으며, 산업 시설 관리에 대한 API 연동과 oneM2M 표준 IoT 플랫폼을 제공하여 정형/비정형 데이터마이닝과 딥러닝 기술 적용을 통해 산업 시설의 고장을 예지 및 예측할 수 있다. Accordingly, the invention according to the above-described embodiment can provide a real-time integrated management solution for facility maintenance in industrial sites by linking smart glasses with an industrial facility operating platform (ex. Oracle and Postgress DB linkage of the IoT platform). , By providing API interworking for industrial facility management and oneM2M standard IoT platform, it is possible to predict and predict failures of industrial facilities through the application of structured/unstructured data mining and deep learning technology.

또한, 공간기반 관리대상에 대해 사물 증강을 통한 시각화를 수행하여, 산업 시설 현장의 시설물 및 부품 객체의 3D 모델링을 제공하고, 스마트글래스를 통한 환경 뎁스(Depth) 및 열화상카메라를 통한 사물인식 시각화를 제공하여, 설계 도면 내 대상 산업 시설의 위치기반 영상/IoT 신호의 공간 리소스를 관리할 수 있다. In addition, by performing visualization through object augmentation for spatial-based management targets, 3D modeling of facilities and parts objects at the industrial facility site is provided, and object recognition visualization through environmental depth and thermal imaging camera through smart glasses. By providing, it is possible to manage spatial resources of a location-based image/IoT signal of a target industrial facility in the design drawing.

더하여, 사물인터넷 이력과 HMD 영상의 조합을 통한 상황 인지와 이의 증강을 통해, 산업 현장의 IoT 및 영상 데이터의 산업 현장을 모니터링 및 제어하고, EdgeAI 기반 사물 인식 및 실감 인터페이스에서 XR 디바이스 시각화 기술을 제공하여, 시민감데이터 및 시계열데이터의 상황인지 분석을 통한 3차원 증강 표현 기술을 제공할 수 있다. In addition, it monitors and controls the industrial site of IoT and image data in the industrial site through situational awareness and enhancement through the combination of IoT history and HMD image, and provides XR device visualization technology in EdgeAI-based object recognition and realism interface Thus, it is possible to provide a three-dimensional augmented expression technology through context-aware analysis of citizenship data and time series data.

아울러, 확장현실 기반 원격 협업 기술을 통해, 스마트글래스를 통한 산업 현장과 관제센터와의 원격 협업을 가능하게 하고, 스마트글래스를 활용한 현장의 실시간 정비정보 및 숙련도 높은 정비환경 제공하여, 실시간 연계로 고장 예측, 잔여수명, 안전규정 등을 지원할 수 있다. In addition, through extended reality-based remote collaboration technology, it enables remote collaboration with industrial sites and control centers through smart glasses, and provides real-time maintenance information and a highly skilled maintenance environment for sites using smart glasses. It can support failure prediction, remaining life, and safety regulations.

상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention can be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.

하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of hardware implementation, the method according to embodiments of the present invention includes one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , Field Programmable Gate Arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, and the like.

펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which software codes and the like are recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor, and may exchange data with the processor through various known means.

또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, combinations of each block of the block diagram attached to the present invention and each step of the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on the encoding processor of a general-purpose computer, special purpose computer or other programmable data processing equipment, the instructions executed by the encoding processor of the computer or other programmable data processing equipment are each block of the block diagram or Each step of the flow chart will create a means to perform the functions described. These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block or flow chart. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.

더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments, the functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. As such, those skilled in the art to which the present invention pertains will be able to understand that the present invention can be implemented in other specific forms without changing the technical spirit or essential features. Therefore, the embodiments described above are illustrative in all respects and should be understood as non-limiting. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. .

Claims (23)

산업 시설물에 배치된 대상 센서에 의해 측정된 센서 정보 및 상기 산업 시설물에 배치된 위치 센서에 의해 측정된 위치 정보를 수신하는 수신부;
소정의 시간 범위 마다 상기 센서 정보의 수치를 모니터링하여, 상기 센서 정보의 수치가 기 설정된 범위 내에서 유지되면 중립적 상태(N), 상기 센서 정보의 수치가 기 설정된 범위보다 커지면 신호 생성 상태(I), 상기 센서 정보의 수치가 기 설정된 범위보다 작아지면 신호 소멸 상태(O)인 것으로 상기 산업 시설물의 이동성 상태를 판별하고, 상기 이동성 상태가 N에서 N, N에서 I, N에서 O, I에서 I, I에서 N, I에서 O, O에서 O, O에서 N, O에서 I 중 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율을 기준으로 상기 소정의 시간 범위 마다 상기 산업 시설물의 이동성 상태에 따른 점유율을 판별하며, 상기 소정의 시간 범위에서 t 시점과 t+1 시점(t는 자연수)에 대해, 상기 t 시점의 이동성 상태에 따른 점유율에 대한 상기 t+1 시점의 이동성 상태에 따른 점유율에 대한 계산을 기초로, 상기 산업 시설물의 운용에 따른 상기 t+1 시점에서의 상기 산업 시설물에 대한 누적 점유율을 판별하는 이동성 상태 판별부;
제1 산업 시설물의 제1 누적 점유율 정보와 제2 산업 시설물의 제2 누적 점유율 정보를 원소로 포함하는 천이 행렬을 사용하는 은닉 마르코프 모델(Hidden Markov Model)을 생성하고, 현 상태의 이동성 상태에 따른 상기 제1 및 제2 산업 시설물의 점유율을 상기 은닉 마르코프 모델에 대입하여 소정의 이산 시간 후 상기 제1 및 제2 산업 시설물에 대한 점유율을 예측하는 점유율 예측부; 및
상기 제1 및 제2 산업 시설물 각각에 대해 예측된 점유율을 모니터링하여 상기 소정의 이산 시간 후 예측된 점유율이 기 설정된 임계값을 초과하는 경우, 관제 단말 또는 관제 단말에 상기 기 설정된 임계값을 초과하는 산업 시설물의 위치 정보로의 산업현장에 대한 점검 지시를 송신하는 제어부를 포함하는,
점유율 예측 원격협업 장치.
A receiver configured to receive sensor information measured by a target sensor disposed in an industrial facility and location information measured by a location sensor disposed in the industrial facility;
Monitoring the value of the sensor information every predetermined time range, and a neutral state (N) when the value of the sensor information is maintained within a preset range, and a signal generation state (I) when the value of the sensor information is greater than a preset range , When the value of the sensor information is smaller than the preset range, the mobility state of the industrial facility is determined as a signal disappearance state (O), and the mobility state is from N to N, from N to I, from N to O, and from I to I. , I to N, I to O, O to O, O to N, O to I based on the market share of the preset value according to any one of the changes in the mobility status of the industrial facility every predetermined time range The share according to the mobility state at the time t+1 is determined for the share according to the mobility state at the time t and for the time t and t+1 (where t is a natural number) in the predetermined time range. A mobility state determination unit determining a cumulative share of the industrial facility at the time t+1 according to the operation of the industrial facility, based on the calculation of?
A Hidden Markov Model using a transition matrix including the first cumulative occupancy information of the first industrial facility and the second cumulative occupancy information of the second industrial facility as elements is generated, and according to the current state of mobility. A share prediction unit for predicting the share of the first and second industrial facilities after a predetermined discrete time by substituting the share of the first and second industrial facilities into the hidden Markov model; And
When the predicted occupancy rate for each of the first and second industrial facilities is monitored and the predicted occupancy rate after the predetermined discrete time exceeds a preset threshold, the control terminal or the control terminal exceeds the preset threshold. Including a control unit for transmitting an inspection instruction for the industrial site to the location information of the industrial facility,
Market share prediction remote collaboration device.
 삭제delete 삭제delete 제1항에 있어서,
상기 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율은,
상기 이동성 상태가 1차적으로 변화하는 형태에 따라 기 설정되어 있고, 상기 기 설정된 점유율의 수치는 상기 산업 시설물 마다 상이한
점유율 예측 원격협업 장치.
The method of claim 1,
The share of the numerical value that is set in advance according to the form changing to any of the above,
The mobility state is pre-set according to the form of the primary change, and the value of the preset share is different for each of the industrial facilities.
Market share prediction remote collaboration device.
 삭제delete 삭제delete 제1항에 있어서,
상기 제2 산업 시설물은,
상기 제1 산업 시설물과 인접한 시설물 또는 상기 제1 산업 시설물과 연동하여 쓰이는 시설물을 포함하는,
점유율 예측 원격협업 장치.
The method of claim 1,
The second industrial facility,
Including a facility adjacent to the first industrial facility or a facility used in connection with the first industrial facility,
Market share prediction remote collaboration device.
 제1항에 있어서,
상기 대상 센서는,
시간 센서, 온도 센서, 진동 센서 및 열 센서를 포함하고,
상기 센서 정보는,
상기 대상 센서에 포함된 각각의 센서에 의해 측정된 통합 센서 정보를 포함하는,
점유율 예측 원격협업 장치.
The method of claim 1,
The target sensor,
Including a time sensor, a temperature sensor, a vibration sensor and a thermal sensor,
The sensor information,
Including integrated sensor information measured by each sensor included in the target sensor,
Market share prediction remote collaboration device.
 제1항에 있어서,
상기 센서 정보 및 상기 위치 정보는,
작업자가 착용한 스마트글래스에 의해 관측되어 상기 수신부가 수신하는,
점유율 예측 원격협업 장치.
The method of claim 1,
The sensor information and the location information,
Observed by the smart glasses worn by the operator and received by the receiver,
Market share prediction remote collaboration device.
 제9항에 있어서,
상기 스마트글래스는,
WiFi5 (802.11ac) 규격을 통해 상기 센서 정보 및 상기 위치 정보를 5G 통신이 가능한 게이트웨이와 송수신하고,
상기 수신부는,
상기 게이트웨이와 무선으로 연결되어 상기 센서 정보를 5G 네트워크 망으로 송수신하는,
점유율 예측 원격협업 장치.
The method of claim 9,
The smart glasses,
Transmitting and receiving the sensor information and the location information with a gateway capable of 5G communication through WiFi5 (802.11ac) standard,
The receiving unit,
Wirelessly connected to the gateway to transmit and receive the sensor information through a 5G network network,
Market share prediction remote collaboration device.
 제10항에 있어서,
상기 스마트글래스는,
홀로렌즈2를 포함하는,
점유율 예측 원격협업 장치.
The method of claim 10,
The smart glasses,
Including a holo lens 2,
Market share prediction remote collaboration device.
 점유율 예측 원격협업 장치가 수행하는 점유율 예측 원격협업 방법에 있어서,
산업 시설물에 배치된 대상 센서에 의해 측정된 센서 정보 및 상기 산업 시설물에 배치된 위치 센서에 의해 측정된 위치 정보를 수신하는 단계;
소정의 시간 범위 마다 상기 센서 정보의 수치를 모니터링하여, 상기 센서 정보의 수치가 기 설정된 범위 내에서 유지되면 중립적 상태(N), 상기 센서 정보의 수치가 기 설정된 범위보다 커지면 신호 생성 상태(I), 상기 센서 정보의 수치가 기 설정된 범위보다 작아지면 신호 소멸 상태(O)인 것으로 상기 산업 시설물의 이동성 상태를 판별하고, 상기 이동성 상태가 N에서 N, N에서 I, N에서 O, I에서 I, I에서 N, I에서 O, O에서 O, O에서 N, O에서 I 중 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율을 기준으로 상기 소정의 시간 범위 마다 상기 산업 시설물의 이동성 상태에 따른 점유율을 판별하며, 상기 소정의 시간 범위에서 t 시점과 t+1 시점(t는 자연수)에 대해, 상기 t 시점의 이동성 상태에 따른 점유율에 대한 상기 t+1 시점의 이동성 상태에 따른 점유율에 대한 계산을 기초로, 상기 산업 시설물의 운용에 따른 상기 t+1 시점에서의 상기 산업 시설물에 대한 누적 점유율을 판별하는 단계;
제1 산업 시설물의 제1 누적 점유율 정보와 제2 산업 시설물의 제2 누적 점유율 정보를 원소로 포함하는 천이 행렬을 사용하는 은닉 마르코프 모델(Hidden Markov Model)을 생성하고, 현 상태의 이동성 상태에 따른 상기 제1 및 제2 산업 시설물의 점유율을 상기 은닉 마르코프 모델에 대입하여 소정의 이산 시간 후 상기 제1 및 제2 산업 시설물에 대한 점유율을 예측하는 단계; 및
상기 복수의 산업 시설물 각각에 대해 예측된 점유율을 모니터링하여 상기 소정의 이산 시간 후 예측된 점유율이 기 설정된 임계값을 초과하는 경우, 관제 단말 또는 관제 단말에 상기 기 설정된 임계값을 초과하는 산업 시설물의 위치 정보로의 산업현장에 대한 점검 지시를 송신하는 단계를 포함하는,
점유율 예측 원격협업 방법.
In the market share prediction remote collaboration method performed by the share prediction remote collaboration device,
Receiving sensor information measured by a target sensor disposed in an industrial facility and location information measured by a location sensor disposed in the industrial facility;
Monitoring the value of the sensor information every predetermined time range, and a neutral state (N) when the value of the sensor information is maintained within a preset range, and a signal generation state (I) when the value of the sensor information is greater than a preset range , When the value of the sensor information is smaller than the preset range, the mobility state of the industrial facility is determined as a signal disappearance state (O), and the mobility state is from N to N, from N to I, from N to O, and from I to I. , I to N, I to O, O to O, O to N, O to I based on the market share of the preset value according to any one of the changes in the mobility status of the industrial facility every predetermined time range The share according to the mobility state at the time t+1 is determined for the share according to the mobility state at the time t and for the time t and t+1 (where t is a natural number) in the predetermined time range. Determining a cumulative share of the industrial facility at the time t+1 according to the operation of the industrial facility, based on the calculation for?
A Hidden Markov Model using a transition matrix including the first cumulative occupancy information of the first industrial facility and the second cumulative occupancy information of the second industrial facility as elements is generated, and according to the current state of mobility. Predicting the share of the first and second industrial facilities after a predetermined discrete time by substituting the share of the first and second industrial facilities into the hidden Markov model; And
When the predicted occupancy rate for each of the plurality of industrial facilities is monitored and the predicted occupancy rate after the predetermined discrete time exceeds a preset threshold value, the control terminal or the control terminal of the industrial facility exceeding the preset threshold value Including the step of transmitting an inspection instruction for the industrial site to the location information,
Market share prediction remote collaboration method.
 삭제delete 삭제delete 제12항에 있어서,
상기 어느 하나로 변화하는 형태에 따라 기 설정되어 있는 수치의 점유율은,
상기 이동성 상태가 1차적으로 변화하는 형태에 따라 기 설정되어 있고, 상기 기 설정된 점유율의 수치는 상기 산업 시설물 마다 상이한
점유율 예측 원격협업 방법.
The method of claim 12,
The share of the numerical value that is set in advance according to the form changing to any of the above,
The mobility state is pre-set according to the form of the primary change, and the value of the preset share is different for each of the industrial facilities.
Market share prediction remote collaboration method.
 삭제delete 삭제delete 제12항에 있어서,
상기 제2 산업 시설물은,
상기 제1 산업 시설물과 인접한 시설물 또는 상기 제1 산업 시설물과 연동하여 쓰이는 시설물을 포함하는,
점유율 예측 원격협업 방법.
The method of claim 12,
The second industrial facility,
Including a facility adjacent to the first industrial facility or a facility used in connection with the first industrial facility,
Market share prediction remote collaboration method.
 제12항에 있어서,
상기 대상 센서는,
시간 센서, 온도 센서, 진동 센서 및 열 센서를 포함하고,
상기 센서 정보는,
상기 대상 센서에 포함된 각각의 센서에 의해 측정된 통합 센서 정보를 포함하는,
점유율 예측 원격협업 방법.
The method of claim 12,
The target sensor,
Including a time sensor, a temperature sensor, a vibration sensor and a thermal sensor,
The sensor information,
Including integrated sensor information measured by each sensor included in the target sensor,
Market share prediction remote collaboration method.
 제12항에 있어서,
상기 센서 정보 및 상기 위치 정보는,
작업자가 착용한 스마트글래스에 의해 관측되어 수신되는,
점유율 예측 원격협업 방법.
The method of claim 12,
The sensor information and the location information,
Observed and received by the smart glasses worn by the operator,
Market share prediction remote collaboration method.
 제20항에 있어서,
상기 스마트글래스는,
WiFi5 (802.11ac) 규격을 통해 상기 센서 정보 및 상기 위치 정보를 5G 통신이 가능한 게이트웨이와 송수신하고,
상기 수신하는 단계는,
상기 게이트웨이와 무선으로 연결되어 상기 센서 정보를 5G 네트워크 망으로 송수신하는 단계를 포함하는,
점유율 예측 원격협업 방법.
The method of claim 20,
The smart glasses,
Transmitting and receiving the sensor information and the location information with a gateway capable of 5G communication through WiFi5 (802.11ac) standard,
The receiving step,
Including the step of wirelessly connected to the gateway to transmit and receive the sensor information through a 5G network,
Market share prediction remote collaboration method.
 제21항에 있어서,
상기 스마트글래스는,
홀로렌즈2를 포함하는,
점유율 예측 원격협업 방법.
The method of claim 21,
The smart glasses,
Including a holo lens 2,
Market share prediction remote collaboration method.
 제12항, 제15항, 및 제18항 내지 제22항 중 어느 하나의 방법을 프로세서가 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록매체.A computer-readable recording medium on which a computer program including instructions for causing a processor to perform any one of claims 12, 15, and 18 to 22 is recorded.
KR1020200085448A 2020-07-10 2020-07-10 Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things KR102202696B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200085448A KR102202696B1 (en) 2020-07-10 2020-07-10 Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200085448A KR102202696B1 (en) 2020-07-10 2020-07-10 Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things

Publications (1)

Publication Number Publication Date
KR102202696B1 true KR102202696B1 (en) 2021-01-13

Family

ID=74142551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200085448A KR102202696B1 (en) 2020-07-10 2020-07-10 Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things

Country Status (1)

Country Link
KR (1) KR102202696B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393285B1 (en) * 2021-11-01 2022-05-09 (주)에이에스티홀딩스 System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040011570A (en) 2004-01-09 2004-02-05 한국유지관리 주식회사 Robot for visual inspection of infrastructures ; Bridges, Tunnels, Nuclear power plants, etc
JP5489085B2 (en) * 2009-05-15 2014-05-14 日本電気株式会社 Failure cause estimation system, failure cause estimation method, and failure cause estimation program
KR101906560B1 (en) * 2018-03-27 2018-10-11 (주)프론티스 Server, method, wearable device for supporting maintenance of military apparatus based on correlation data between object in augmented reality
KR20200037816A (en) * 2017-08-02 2020-04-09 스트롱 포스 아이오티 포트폴리오 2016, 엘엘씨 Methods and systems for detection in an industrial Internet of Things data collection environment with large data sets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040011570A (en) 2004-01-09 2004-02-05 한국유지관리 주식회사 Robot for visual inspection of infrastructures ; Bridges, Tunnels, Nuclear power plants, etc
JP5489085B2 (en) * 2009-05-15 2014-05-14 日本電気株式会社 Failure cause estimation system, failure cause estimation method, and failure cause estimation program
KR20200037816A (en) * 2017-08-02 2020-04-09 스트롱 포스 아이오티 포트폴리오 2016, 엘엘씨 Methods and systems for detection in an industrial Internet of Things data collection environment with large data sets
KR101906560B1 (en) * 2018-03-27 2018-10-11 (주)프론티스 Server, method, wearable device for supporting maintenance of military apparatus based on correlation data between object in augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102393285B1 (en) * 2021-11-01 2022-05-09 (주)에이에스티홀딩스 System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud

Similar Documents

Publication Publication Date Title
US10445944B2 (en) Augmented reality safety automation zone system and method
KR102073135B1 (en) Abnormal status monitoring system for equipment
US11087053B1 (en) Method, electronic device, and computer program product for information display
CN1993718B (en) Internet facilitated fire alarm monitoring, control system
CN104750768B (en) Method and system for identification, monitoring and ranking event from social media
CN106127324B (en) A kind of remote visualization monitoring method for unmanned getting working face
CA3066091A1 (en) System and method for aiding responses to an event detected by a monitoring system
US20070222585A1 (en) System and method for visual representation of a catastrophic event and coordination of response
US11729597B2 (en) Digital twin disaster management system customized for underground public areas
KR102371336B1 (en) Smart factory monitoring system using 3 Dimention integrated monitoring and Augmented Reality and Virtual Reality
CN113865587A (en) Method, electronic device and computer program product for monitoring a field device
CN110533790A (en) Inspection realization method and system based on piping lane BIM
CN110633540A (en) Metal mine ventilation three-dimensional visual simulation aided decision control system and method
KR102202696B1 (en) Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things
KR20090025844A (en) Three dimension unified building management system
Katika et al. Exploiting Mixed Reality in a Next-Generation IoT ecosystem of a construction site
CN117043825A (en) Real-time control visual twin factory system
CN106354105A (en) Systems and methods for location-based control of equipment and facility resources
JP7282186B2 (en) situational awareness surveillance
KR101002428B1 (en) Remote supervisory system using video and controlling method thereof
Chronopoulos et al. Towards a holistic, self-organised safety framework for construction
KR101753349B1 (en) User position prediction method using physical coordinate of smart device linked object recognition sensor and emergency evacuation route guidance and information delivery systems using the same
CN111680402A (en) Shield door fault visualization method, system, device and storage medium
KR20200119359A (en) Apparatus for Monitoring Facilities with Mixed Reality
CN115346303A (en) Visual campus management system based on internet of things node and GIS

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant