KR102393285B1 - System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud - Google Patents
System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud Download PDFInfo
- Publication number
- KR102393285B1 KR102393285B1 KR1020210147757A KR20210147757A KR102393285B1 KR 102393285 B1 KR102393285 B1 KR 102393285B1 KR 1020210147757 A KR1020210147757 A KR 1020210147757A KR 20210147757 A KR20210147757 A KR 20210147757A KR 102393285 B1 KR102393285 B1 KR 102393285B1
- Authority
- KR
- South Korea
- Prior art keywords
- scalar
- range
- observation
- information
- remote collaboration
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000010801 machine learning Methods 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 16
- 239000004984 smart glass Substances 0.000 claims description 14
- 230000009471 action Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/26—Special purpose or proprietary protocols or architectures
Abstract
Description
엣지 클라우드와 단말이 협업하는 SW 플랫폼 기술 및 이기종 하드웨어 환경에서 끊김없는 서비스를 지원하는 엣지 디바이스 지원 SW 플랫폼 기술이다.It is a software platform technology that collaborates with edge cloud and terminals, and an edge device support software platform technology that supports seamless services in a heterogeneous hardware environment.
이에, 본 발명은 엣지 클라우드에서 현장 경계와 지휘 통제 간 실감 콘텐츠 기반의 원격 협업 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 주둔지 현장, 산업 시설물 현장, 선박 시설물 현장 등의 관측 대상에서 센싱되는 데이터를 분산 처리하도록 엣지 컴퓨팅을 이용하여 구성된 시스템에 관한 것이다. Accordingly, the present invention relates to a remote collaboration system and method based on realistic content between field boundaries and command and control in the edge cloud, and more specifically, data sensed from observation objects such as garrison sites, industrial facility sites, and ship facility sites. It relates to a system configured using edge computing for distributed processing.
최근 3차원 그래픽을 활용한 가상, 증강 및 혼합현실 기반의 실감 콘텐츠 시각화 기술이 대두되면서 CCTV, IP 카메라, 스마트글래스를 통한 디바이스 연동을 통해, 군사 주둔지, 산업 시설물, 선박 시설물 등의 운용에 대한 안전성과 유지 보수의 신뢰도를 보장할 수 있는 자동화된 감시 및 제어 시스템이 요구되고 있다. As virtual, augmented and mixed reality-based immersive content visualization technology using 3D graphics has emerged recently, safety in the operation of military bases, industrial facilities, ship facilities, etc. through device linkage through CCTV, IP camera, and smart glass There is a need for an automated monitoring and control system that can guarantee reliability and maintenance reliability.
또한, 실감콘텐츠에서 CCTV, IP 카메라와의 스마트글래스 연동은 대용량의 데이터와 사물인식 그리고 실시간 데이터 처리와 상호 연동을 위해서는 탈중앙 클라우드를 통하여 서비스들의 실시간성을 보장하고 서로 다른 환경으로 사용자 및 서비스의 끊임없는 이동을 지원하는 강화된 엣지 클라우드 컴퓨팅 기술이 요구되고 있다.In addition, smart glass linkage with CCTV and IP cameras in immersive content ensures real-time performance of services through a decentralized cloud for large-capacity data, object recognition, and real-time data processing and interworking Enhanced edge cloud computing technology that supports constant mobility is required.
이는 엣지 환경에서의 트래픽과 처리비용 절감, 저지연, 보안위험 감소 등을 위해 엣지 단말에서의 자율적이고 지능적인 데이터 판단처리 기능을 가진 지능형 데이터 처리 기술이 보장되어야 한다.In order to reduce traffic and processing costs in the edge environment, low latency, and reduce security risks, intelligent data processing technology with autonomous and intelligent data judgment processing function in edge terminals must be guaranteed.
다만, 현재의 군사 지휘 계통, 산업 시설물, 선박 시설물 등의 감시 및 제어는 여전히 운용자의 경험적 판단에 크게 의존하고 있으며, 더불어 관리 요소의 증가 및 수요가 날로 확대됨에 따라 오직 운용자의 경험에만 의존하는 것이 점차 어려워지고 있다. However, the current monitoring and control of military command systems, industrial facilities, ship facilities, etc. still largely depend on the operator's empirical judgment, and as the number of management factors increases and demand expands day by day, relying only on the operator's experience is It is becoming increasingly difficult.
이에, 군사 주둔지 현장, 산업 시설물 현장, 선박 시설물 현장 등의 통제 시스템에서 가상/증강/혼합 현실 기술을 통해 획득한 정보를 기반으로, 실시간 기계 학습이나 빅데이터를 이용한 분석 방법이 도입되고 있으나, 실시간 기계 학습 등의 방법은 관측 대상으로부터 센싱되는 많은 데이터를 네트워크를 통해 중앙 서버로 전송하고, 전송된 데이터를 분석하여 다시 각 장비로 상태 및 조치 정보를 전송하는 과정이 요구된다.Accordingly, based on information obtained through virtual/augmented/mixed reality technology in control systems such as military garrison sites, industrial facility sites, and ship facility sites, real-time machine learning or analysis methods using big data are being introduced. Methods such as machine learning require a process of transmitting a lot of data sensed from an observation target to a central server through a network, analyzing the transmitted data, and transmitting status and action information back to each device.
이에 따라, 발생되는 모든 데이터를 송수신하여 분석하는데 현재의 네트워크 기술과 중앙 서버의 연산만으로는 과부하가 발생됨은 물론이고, 실시간으로 변동되는 조건에 부응하는 응답을 제공하지 못하는 한계가 있다.Accordingly, there is a limitation in that, in transmitting and receiving all the generated data and analyzing it, only the current network technology and the operation of the central server cause overload, and it is not possible to provide a response corresponding to the conditions changing in real time.
도 1을 참조하면, 상술한 배경 기술의 기존 시스템은 도 1의 (a)와 같이, 각 클라이언트 단말로부터 수집되는 관측 대상의 데이터를 중앙 서버가 직접 관리 및 분석을 수행하고 있기 때문에, 하나의 서버가 처리할 수 있는 연산량에 한계가 있으며, 트래픽 부하량 증가로 인한 컨텐츠 품질 저하가 발생한다. Referring to FIG. 1, in the conventional system of the above-described background art, as shown in FIG. 1 (a), since the central server directly manages and analyzes the data of the observation object collected from each client terminal, one server There is a limit to the amount of computation that can be processed, and the content quality deteriorates due to an increase in traffic load.
이에 따라, 본 발명의 실시예는 도 1의 (b)와 같이, 클라이언트 단말과 중앙 서버를 직접 연결하지 않고, 클라이언트 단말과 중앙 서버 사이에 배치한 엣지 단말을 통해 관측 대상의 데이터에 대한 분석을 미리 수행하고 필요한 상황에만 중앙 서버에 연결하는 방식을 구성하여, 전체 네트워크의 트래픽을 감소시키고 서버의 컴퓨팅 리소스 부담을 저하시키는 기술을 제공하고자 한다. Accordingly, the embodiment of the present invention does not directly connect the client terminal and the central server, as shown in FIG. It is intended to provide a technology that reduces the traffic of the entire network and lowers the burden of computing resources on the server by configuring a method that is performed in advance and connected to the central server only when necessary.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.However, the technical tasks to be achieved by the embodiments of the present invention are not limited to the tasks mentioned above, and various technical tasks may be derived from the contents to be described below within the scope obvious to those skilled in the art.
본 발명의 일 실시예에 따른 원격 협업 시스템은 주둔지 현장 또는 시설물 현장의 관측 대상을 센싱하여 관측 데이터를 생성하는 클라이언트 단말; 상기 클라이언트 단말로부터 수신한 관측 데이터를 기초로 스칼라 정보를 추출하여 상기 스칼라 정보를 기초로 상기 관측 대상의 정상 또는 이상 상태를 판별하여 이상 상태인 경우에 상기 관측 데이터를 중앙 서버로 전송하는 엣지 단말; 상기 엣지 단말로부터 수신한 상기 관측 데이터를 기초로 상기 관측 대상의 상황을 판별한 상황 정보를 관제 서버에 전송하는 중앙 서버; 및 상기 상황 정보에 따라 기 정해진 프로토콜을 수행하는 관제 서버를 포함할 수 있다. A remote collaboration system according to an embodiment of the present invention includes: a client terminal for generating observation data by sensing an object to be observed at a garrison site or facility site; an edge terminal that extracts scalar information based on the observation data received from the client terminal, determines a normal or abnormal state of the observation object based on the scalar information, and transmits the observation data to a central server in case of an abnormal state; a central server for transmitting situation information that determines the situation of the observation target based on the observation data received from the edge terminal to a control server; and a control server that performs a predetermined protocol according to the context information.
또한, 상기 관측 데이터는 상기 관측 대상으로부터 취득되는 정형 데이터 또는 비정형 데이터를 포함할 수 있다.Also, the observation data may include structured data or unstructured data obtained from the observation object.
또한, 상기 클라이언트 단말은 스마트글래스를 포함할 수 있다.In addition, the client terminal may include a smart glass.
또한, 상기 스마트글래스는 사용자가 VR 화면의 소정 영역을 드래그한 부분의 이미지를 캡쳐하여 공간 데이터를 생성할 수 있다.In addition, the smart glasses may generate spatial data by capturing an image of a portion where the user drags a predetermined area of the VR screen.
또한, 상기 엣지 단말은 상기 공간 데이터의 특징값을 추출하고 상기 특징값을 연산하여 스칼라 정보를 생성할 수 있다.Also, the edge terminal may generate scalar information by extracting a feature value of the spatial data and calculating the feature value.
또한, 상기 엣지 단말은 상기 공간 데이터로부터 특징값을 추출하여 하나의 스칼라 정보를 생성하도록 소정의 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘을 기초로 학습된 제1 모델을 저장할 수 있다.In addition, the edge terminal may store a first model learned based on a predetermined ML (Machine Learning) or DL (Deep Learning) algorithm to extract a feature value from the spatial data to generate one scalar information.
또한, 상기 소정의 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘은 yolo-tiny 알고리즘을 포함할 수 있다.In addition, the predetermined machine learning (ML) or deep learning (DL) algorithm may include a yolo-tiny algorithm.
또한, 상기 엣지 단말은 상기 모델의 연산을 수행하는 Edge TPU(Tensor Processing Unit)를 포함할 수 있다.In addition, the edge terminal may include an edge TPU (Tensor Processing Unit) for performing the operation of the model.
또한, 상기 엣지 단말은 통상의 예측 스칼라 범위를 한정한 제1 범위, 최빈값에 해당하는 스칼라 범위를 한정한 제2 범위, 예외값에 해당하는 스칼라 범위를 한정한 제3 범위를 저장하고, 상기 스칼라 정보를 상기 제1, 제2, 및 제3 범위 중 어느 하나의 범위로 판별하며, 상기 스칼라 정보가 어느 하나의 범위에 속하지 않는 경우 이상 상태로 판별할 수 있다.In addition, the edge terminal stores a first range defining a normal prediction scalar range, a second range defining a scalar range corresponding to a mode, and a third range defining a scalar range corresponding to an exception value, and the scalar Information may be determined as any one of the first, second, and third ranges, and when the scalar information does not belong to any one of the ranges, it may be determined as an abnormal state.
또한, 상기 중앙 서버는 상기 관측 데이터로부터 상기 관측 대상의 상황 및 필요 조치를 판별하도록 학습된 제2 모델을 저장할 수 있다.In addition, the central server may store a second model learned to determine the situation and necessary actions of the observation object from the observation data.
또한, 상기 엣지 단말은 상기 프로토콜이 발동되면 상기 프로토콜에 따라 상기 제1 범위, 상기 제2 범위, 상기 제3 범위를 재설정하여 상기 프로토콜의 수행 여부를 판별할 수 있다. In addition, when the protocol is invoked, the edge terminal may determine whether to perform the protocol by resetting the first range, the second range, and the third range according to the protocol.
본 발명의 일 실시예에 따른 원격 협업 방법은 클라이언트 단말이 주둔지 현장 또는 시설물 현장의 관측 대상을 센싱하여 관측 데이터를 생성하는 단계; 엣지 단말이 상기 클라이언트 단말로부터 수신한 관측 데이터를 기초로 스칼라 정보를 추출하여 상기 스칼라 정보를 기초로 상기 관측 대상의 정상 또는 이상 상태를 판별하여 이상 상태인 경우에 상기 관측 데이터를 중앙 서버로 전송하는 단계; 중앙 서버가 상기 엣지 단말로부터 수신한 상기 관측 데이터를 기초로 상기 관측 대상의 상황을 판별한 상황 정보를 관제 서버에 전송하는 단계; 및 관제 서버가 상기 상황 정보에 따라 기 정해진 프로토콜을 수행하는 단계를 포함할 수 있다.A remote collaboration method according to an embodiment of the present invention includes the steps of: generating, by a client terminal, observation data by sensing an object to be observed at a garrison site or facility site; The edge terminal extracts scalar information based on the observation data received from the client terminal, determines the normal or abnormal state of the object to be observed based on the scalar information, and transmits the observation data to the central server in case of an abnormal state step; transmitting, by the central server, situation information for determining the situation of the observation target based on the observation data received from the edge terminal to a control server; and performing, by the control server, a predetermined protocol according to the context information.
본 발명의 실시예에 따르면, 주둔지 현장, 산업 시설물 현장, 선박 시설물 현장 등의 CCTV, IP 카메라, 스마트글래스 등의 클라이언트 단말 장비를 통해 획득된 영상/음성 신호 등의 실감 콘텐츠에 대한 분석을 엣지 단말이 미리 분석을 수행하고 필요한 상황에만 중앙 서버에 연결하는 엣지 컴퓨팅 기술이 접목된 시스템을 구성하여, 관측 대상에 대한 다양한 예측 및 제어를 수행할 수 있다. 이에 따라, 전체 네트워크의 트래픽을 감소시키고 서버의 컴퓨팅 리소스 부담을 저하시킨 자동화된 지휘 통제 시스템을 구축할 수 있다. According to an embodiment of the present invention, analysis of immersive content such as video/audio signals acquired through client terminal equipment such as CCTV, IP camera, smart glass, etc. at garrison sites, industrial facility sites, and ship facility sites is analyzed at the edge terminal By configuring a system incorporating edge computing technology that performs this analysis in advance and connects to a central server only in necessary situations, various predictions and control of observations can be performed. Accordingly, it is possible to build an automated command and control system that reduces the traffic of the entire network and reduces the burden of computing resources on the server.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.In addition, various effects directly or indirectly identified through this document may be provided.
도 1은 기존의 원격 협업 시스템과 본 발명의 실시예에 따른 원격 협업 시스템의 차이를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 원격 협업 시스템의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 관측 데이터의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 엣지 단말이 스칼라 정보를 기초로 관측 대상의 정상 또는 이상 상태를 판별하는 동작의 예시도이다.
도 5는 본 발명의 일 실시예에 따른 원격 협업 시스템을 구성하는 장치(ex. 클라이언트 단말, 엣지 단말, 중앙 서버 및 관제 서버)의 기능 블럭도이다.
도 6은 본 발명의 일 실시예에 따른 원격 협업 방법의 프로세스를 도시하는 흐름도이다. 1 is a conceptual diagram for explaining a difference between an existing remote collaboration system and a remote collaboration system according to an embodiment of the present invention.
2 is a block diagram of a remote collaboration system according to an embodiment of the present invention.
3 is an exemplary diagram of observation data according to an embodiment of the present invention.
4 is an exemplary diagram of an operation in which an edge terminal determines a normal or abnormal state of an observation target based on scalar information according to an embodiment of the present invention.
5 is a functional block diagram of an apparatus (eg, a client terminal, an edge terminal, a central server, and a control server) constituting a remote collaboration system according to an embodiment of the present invention.
6 is a flowchart illustrating a process of a remote collaboration method according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and can be implemented in various forms, only these embodiments make the disclosure of the present invention complete, and with ordinary knowledge in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the present invention is only defined by the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of well-known functions or configurations will be omitted except when it is actually necessary to describe the embodiments of the present invention. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.The functional blocks shown in the drawings and described below are merely examples of possible implementations. Other functional blocks may be used in other implementations without departing from the spirit and scope of the detailed description. Also, although one or more functional blocks of the present invention are represented as separate blocks, one or more of the functional blocks of the present invention may be combinations of various hardware and software configurations that perform the same function.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.In addition, the expression including certain components is an open expression and merely refers to the existence of the corresponding components, and should not be construed as excluding additional components.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. Furthermore, when it is mentioned that a component is connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in the middle.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. In addition, expressions such as 'first, second', etc. are used only for distinguishing a plurality of components, and do not limit the order or other characteristics between the components.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다. Hereinafter, embodiments of the present invention will be described with reference to the drawings.
도 1은 기존의 원격 협업 시스템과 본 발명의 실시예에 따른 원격 협업 시스템(10)의 차이를 설명하기 위한 개념도이다.1 is a conceptual diagram for explaining a difference between an existing remote collaboration system and a
도 1을 참조하면, 기존의 시스템은 도 1의 (a)와 같이, 각 클라이언트 단말로부터 수집되는 군사 주둔지의 데이터를 중앙 서버가 직접 관리 및 분석을 수행하고 있기 때문에, 하나의 서버가 처리할 수 있는 연산량에 한계가 있으며, 트래픽 부하량 증가로 인한 컨텐츠 품질 저하가 발생하였다. Referring to Figure 1, in the conventional system, as shown in Figure 1 (a), since the central server directly manages and analyzes the data of the military bases collected from each client terminal, one server can process it. There is a limit to the amount of computation, and the content quality deteriorated due to an increase in traffic load.
이에 따라, 본 발명의 실시예는 도 1의 (b)와 같이, 클라이언트 단말과 중앙 서버를 직접 연결하지 않고, 클라이언트 단말과 중앙 서버 사이에 배치한 엣지 단말을 통해 군사 주둔지의 데이터에 대한 분석을 미리 수행하고 필요한 상황에만 중앙 서버에 연결하는 방식을 구성하여, 전체 네트워크의 트래픽을 감소시키고 서버의 컴퓨팅 리소스 부담을 저하시키는 기술을 제공하고자 한다. Accordingly, the embodiment of the present invention does not directly connect the client terminal and the central server as shown in FIG. 1 (b), but analyzes the data of the military base through the edge terminal disposed between the client terminal and the central server. It is intended to provide a technology that reduces the traffic of the entire network and lowers the burden of computing resources on the server by configuring a method that is performed in advance and connected to the central server only when necessary.
이하, 도 2 내지 도 6과 함께 본 발명의 실시예에 따른 원격 협업 시스템(10)을 설명한다. Hereinafter, a
도 2는 본 발명의 일 실시예에 따른 원격 협업 시스템(10)의 구성도이다. 2 is a block diagram of a
도 2를 참조하면, 본 발명의 일 실시예에 따른 원격 협업 시스템(10)은 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400)를 포함할 수 있다. Referring to FIG. 2 , the
클라이언트 단말(100)은 군사 주둔지 현장, 산업 시설물 현장, 선박 시설물 현장의 관측 대상을 센싱하여 관측 데이터를 생성하고, 관측 데이터를 엣지 단말(200)에 송신할 수 있다. The
군사 주둔지 현장은 무기 시설물, 군수 장비 시설물, 정찰 대상 공간, 감시 대상 공간 등을 포함할 수 있다. 산업 시설물 현장 또는 선박 시설물 현장은 석유화학, 가스, 원자력, 해양 플랜트 등 다양한 산업 시설의 운용을 위해 사용되는 장비를 포함할 수 있다. 군사 주둔지 현장, 산업 시설물 현장, 선박 시설물 현장에는 장비 또는 공간의 상태를 모니터링 하기 위해 대상 센서가 설치되어 위치, 시간, 온도, 진동 및 열 등의 물리량이 계측될 수 있다. 관측 대상은 정상 상태 또는 이상 상태를 모니터링할 공간 또는 객체를 포함할 수 있다. 예를 들어, 관측 대상은 무기 시설물, 군수 장비 시설물, 정찰 대상 공간, 감시 대상 공간 등을 포함할 수 있다. The military garrison site may include a weapon facility, a military equipment facility, a reconnaissance target space, a surveillance target space, and the like. The industrial facility site or the ship facility site may include equipment used for the operation of various industrial facilities, such as petrochemical, gas, nuclear power, and offshore plants. At military garrison sites, industrial facility sites, and ship facility sites, target sensors are installed to monitor the condition of equipment or space, and physical quantities such as location, time, temperature, vibration and heat can be measured. The observation object may include a space or object for monitoring a normal state or an abnormal state. For example, the observation target may include a weapon facility, a military equipment facility, a reconnaissance target space, a monitoring target space, and the like.
클라이언트 단말(100)은 관측 대상, 또는 관측 대상에 구비된 대상 센서에서 움직임, 진동, 음성, 영상 정보를 취득하는 기기를 포함할 수 있다. 예를 들어, 클라이언트 단말(100)은 CCTV, IP 카메라, 음성 센서, 진동 센서, 움직임 센서, 스마트글래스(ex. 홀로렌즈2) 등을 포함할 수 있다. The
스마트글래스는 관측 대상의 관리자가 착용하는 HMD(Head Mounted Display)를 포함할 수 있다. 예를 들어, 스마트글래스는 홀로렌즈2와 같은 스마트글래스를 포함할 수 있고, 스마트글래스는 관측 대상을 마커 또는 비마커 방식으로 인지하여 증강 현실 기능을 통해 도 3과 같이 관측 대상에 대한 정보를 획득할 수 있다. The smart glasses may include a Head Mounted Display (HMD) worn by the manager of the observation object. For example, the smart glass may include a smart glass such as
도 3은 본 발명의 일 실시예에 따른 관측 데이터의 예시도이다. 3 is an exemplary diagram of observation data according to an embodiment of the present invention.
도 3을 참조하면, 관측 데이터는 관측 대상으로부터 취득되는 정형 데이터 또는 비정형 데이터를 포함할 수 있다. 예를 들어, 도 3의 (a)를 참조하면 관측 데이터는 진동 데이터, 음성 데이터, 기 설정된 장비의 이미지를 캡쳐한 데이터 등의 정형/비정형 데이터를 포함할 수 있다. 예를 들어, 도 3의 (b)를 참조하면, 관측 데이터는 스마트글래스의 사용자가 VR 화면의 소정 영역을 임의로 드래그한 부분의 이미지를 캡쳐하여 생성된 공간 데이터 등의 정형/비정형 데이터를 포함할 수 있다. Referring to FIG. 3 , observation data may include structured data or unstructured data obtained from an observation object. For example, referring to FIG. 3A , observation data may include structured/unstructured data such as vibration data, voice data, and data obtained by capturing an image of a preset device. For example, referring to (b) of FIG. 3 , the observation data may include structured/unstructured data such as spatial data generated by capturing an image of a portion where the user of the smart glass arbitrarily dragged a predetermined area of the VR screen. can
엣지 단말(200)은 클라이언트 단말(100)로부터 수신한 관측 데이터를 기초로 스칼라 정보를 추출하고, 스칼라 정보를 기초로 관측 대상의 상태(ex. 정상 상태, 이상 상태)를 미리 판별하여, 관측 대상의 상태가 소정 상태가 아닌 경우(ex. 이상 상태인 경우)로 판별된 경우에 수신한 관측 데이터를 중앙 서버(300)로 전송할 수 있다. The
일 예로, 엣지 단말(200)은 엣지 컴퓨팅 연산을 수행하기 위해 프로세서를 포함할 수 있다. 예를 들어, 엣지 단말(200)은 ML(Machine Learning) 또는 DL(Deep Learning) 기반의 모델 연산을 수행하는 Edge TPU(Tensor Processing Unit)를 포함할 수 있다. As an example, the
일 예로, 엣지 단말(200)은 수신한 관측 데이터(ex. 공간 데이터)에서 특징값을 추출하고 추출한 특징값을 연산하여 스칼라 정보를 생성할 수 있다. 이 경우, 엣지 단말(200)은 공간 데이터로부터 특징값을 추출하여 하나의 스칼라 정보를 생성하도록 소정의 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘을 기초로 학습된 제1 모델을 저장할 수 있다. 예를 들어, 소정의 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘은 엣지단(ex. 엣지 단말)에서 수행할 연산량의 처리 속도에 특화된 yolo-tiny 알고리즘을 포함할 수 있다. For example, the
도 4는 본 발명의 일 실시예에 따른 엣지 단말(200)이 스칼라 정보를 기초로 관측 대상의 정상 또는 이상 상태를 판별하는 동작의 예시도이다. 4 is an exemplary diagram of an operation in which the
도 4를 참조하면, 엣지 단말(200)은 관측 대상으로부터 획득되는 통상의 예측 스칼라 범위를 한정한 제1 범위(도 4의 예측값), 제1 범위에 해당하지 않으나 시간 당 관측되는 빈도가 소정의 확률 이상으로 관측되는 값의 범위에 해당하는 스칼라 범위를 한정한 제2 범위(도 4의 최빈값), 제1 범위 및 제2 범위에 해당하지 않으나 기 설정된 특별 상황에서 관측되는 값으로 정의한 값에 해당하는 스칼라 범위를 한정한 제3 범위(도 4의 예외판단)를 저장할 수 있다. 엣지 단말(200)은 도 4의 흐름도에 따라 관측 대상으로부터 획득된 스칼라 정보를 제1 범위, 제2 범위 및 제3 범위 중 어느 하나의 범위로 판별할 수 있다. 엣지 단말(200)은 획득된 스칼라 정보가 제1 내지 제3의 범위 중 어느 하나의 범위에 속하지 않는 경우를 이상 상태로 판별할 수 있다. 제1 내지 제3 범위 각각의 수치는 각 관측 대상 별로 운용자가 미리 설정할 수 있다. Referring to FIG. 4 , the
중앙 서버(300)는 관측 데이터를 수신하여 관측 대상의 상황을 판별하는 연산을 수행하고, 관측 대상의 상황을 판별한 상황 정보를 관제 서버(400)에 전송하는 서버이다. 예를 들어, 중앙 서버(300)는 일 실시예의 시스템(10)에서 클라우드 서버 방식으로 구성될 수 있다. The
일 예로, 중앙 서버(300)는 엣지 단말(200)로부터 이상 상태로 판별된 관측 데이터를 수신하는 경우, 관측 데이터를 2차 분석하여 관측 대상의 상황 및 필요 조치를 판별할 수 있다. 예를 들어, 중앙 서버(300)는 수신한 관측 데이터를 기초로 관측 대상의 상황을 판별하고 필요한 조치를 판별하는 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘을 기초로 학습된 제2 모델을 저장할 수 있다. As an example, when the
관제 서버(400)는 중앙 서버(300)가 판별한 상황 정보에 따라 기 정해진 프로토콜을 수행할 수 있다. The
일 예로, 관제 서버(400)는 기 정해진 프로토콜에 따라 특정 지시 정보를 클라이언트 단말(100)에 전송할 수 있다. 예를 들어, 기 정해진 프로토콜이 발동되면, 클라이언트 단말(100)은 다시 관측 대상의 관측 데이터를 수집하고, 관측 데이터를 수신한 엣지 단말(200)은 해당 프로토콜에 따라 기 정해진 제1 범위, 제2 범위, 제3 범위를 재설정하여 프로토콜의 정상 수행 여부를 판별할 수 있다. For example, the
한편, 본 발명의 일 실시예에 따른 원격 협업 시스템(10)을 구성하는 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400)는 다양한 네트워크 망을 사용하여 데이터를 송수신 할 수 있다. 또한, 본 발명의 일 실시예에 따른 원격 협업 시스템(10)을 구성하는 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400)는 도 5와 같이 이들의 기능을 수행하도록 프로그램된 명령어를 포함하는 메모리, 및 이들 명령어를 수행하는 마이크로프로세서를 포함하는 컴퓨팅 장치에 의해 구현될 수 있다. On the other hand, the
도 5는 본 발명의 일 실시예에 따른 시스템(10)을 구성하는 장치(ex. 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400))의 기능 블럭도이다.5 is a functional block diagram of an apparatus (eg, a
도 5를 참조하면, 본 발명의 일 실시예에 따른 시스템(10)을 구성하는 장치는 메모리(110), 프로세서(220) 및 통신 모듈(330)을 포함할 수 있다. Referring to FIG. 5 , an apparatus constituting the
메모리(110)는 프로세서(220)의 동작을 수행시킬 수 있는 명령어들을 저장할 수 있다. 예를 들어, 메모리(110)는 후술할 프로세서(220)가 소정의 동작을 수행하도록 하는 컴퓨터 코드를 저장할 수 있다.The
프로세서(220)는 일 실시예에 따른 원격 협업 시스템(10)을 구성하는 각 장치(ex. 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400))의 전반적인 동작을 제어한다. 프로세서(220)는 메모리(110)에 저장된 명령어들을 실행해 실시예에 따른 동작을 구동시킬 수 있다.The
통신 모듈(330)은 일 실시예에 따른 원격 협업 시스템(10)을 구성하는 각 장치(ex. 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400))들이 서로 정보를 송수신 할 수 있게 한다. The
도 6은 본 발명의 일 실시예에 따른 원격 협업 방법의 프로세스를 도시하는 흐름도이다. 도 6의 실시예에 따른 원격 협업 방법의 각 단계는 도 2를 통해 설명된 원격 협업 시스템에 포함된 구성(ex. 클라이언트 단말(100), 엣지 단말(200), 중앙 서버(300) 및 관제 서버(400))에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.6 is a flowchart illustrating a process of a remote collaboration method according to an embodiment of the present invention. Each step of the remote collaboration method according to the embodiment of FIG. 6 is a configuration included in the remote collaboration system described with reference to FIG. 2 (eg, the
S1010 단계에서, 클라이언트 단말(100)은 관측 대상의 관측 대상을 센싱하여 관측 데이터를 생성할 수 있다. In step S1010, the
S1020 단계에서, 엣지 단말(200)이 클라이언트 단말(100)로부터 수신한 관측 데이터를 기초로 스칼라 정보를 추출하여 스칼라 정보를 기초로 관측 대상의 정상 또는 이상 상태를 판별하여 이상 상태인 경우에 관측 데이터를 중앙 서버(300)로 전송할 수 있다.In step S1020, the
S1030 단계에서, 중앙 서버(300)가 엣지 단말(200)로부터 수신한 관측 데이터를 기초로 관측 대상의 상황을 판별한 상황 정보를 관제 서버(400)에 전송할 수 있다.In step S1030 , the
S1040 단계에서, 관제 서버(400)가 상황 정보에 따라 기 정해진 프로토콜을 수행할 수 있다.In step S1040, the
한편, 상술한 각 단계의 주체인 구성 요소들이 해당 단계를 실시하기 위한 과정은 도 2 내지 도 5와 함께 설명하였으므로 중복된 설명은 생략한다.On the other hand, since the process for the constituent elements, which are the subject of each step described above, to perform the corresponding step has been described along with FIGS. 2 to 5 , a redundant description will be omitted.
상술한 실시예들에 따르면, 본 발명의 실시예에 따르면, 주둔지 현장, 산업 시설물 현장, 선박 시설물 현장 등의 CCTV, IP 카메라, 스마트글래스 등의 클라이언트 단말 장비를 통해 획득된 영상/음성 신호 등의 실감 콘텐츠에 대한 분석을 엣지 단말이 미리 분석을 수행하고 필요한 상황에만 중앙 서버에 연결하는 엣지 컴퓨팅 기술이 접목된 시스템을 구성하여, 관측 대상에 대한 다양한 예측 및 제어를 수행할 수 있다. 이에 따라, 전체 네트워크의 트래픽을 감소시키고 서버의 컴퓨팅 리소스 부담을 저하시킨 자동화된 지휘 통제 시스템을 구축할 수 있다. According to the above-described embodiments, according to an embodiment of the present invention, video / audio signals obtained through client terminal equipment such as CCTV, IP camera, smart glass, etc. By configuring a system incorporating edge computing technology that analyzes sensory content in advance, the edge terminal performs analysis and connects to the central server only in necessary situations, it is possible to perform various predictions and control on the object to be observed. Accordingly, it is possible to build an automated command and control system that reduces the traffic of the entire network and reduces the burden of computing resources on the server.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.The above-described embodiments of the present invention may be implemented through various means. For example, embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.In the case of implementation by hardware, the method according to embodiments of the present invention may include one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.In the case of implementation by firmware or software, the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above. A computer program in which a software code or the like is recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor. The memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.
또한 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Also, combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in the encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or Each step of the flowchart creates a means for performing the functions described. These computer program instructions may also be stored in a computer-usable or computer-readable memory which may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing a function described in each block of the block diagram or each step of the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and in each step of the flowchart.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. As such, those skilled in the art to which the present invention pertains will understand that the present invention may be embodied in other specific forms without changing the technical spirit or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The scope of the present invention is indicated by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. .
10: 원격 협업 시스템
100: 클라이언트 단말
200: 엣지 단말
300: 중앙 서버
400: 관제 서버
110: 메모리
220: 프로세서
330: 통신 모듈10: Remote Collaboration System
100: client terminal
200: edge terminal
300: central server
400: control server
110: memory
220: processor
330: communication module
Claims (12)
상기 클라이언트 단말로부터 수신한 관측 데이터를 기초로 스칼라 정보를 추출하여 상기 스칼라 정보를 기초로 상기 관측 대상의 정상 또는 이상 상태를 판별하여 이상 상태인 경우에 상기 관측 데이터를 중앙 서버로 전송하는 엣지 단말;
상기 엣지 단말로부터 수신한 상기 관측 데이터를 기초로 상기 관측 대상의 상황을 판별한 상황 정보를 관제 서버에 전송하는 중앙 서버; 및
상기 상황 정보에 따라 기 정해진 프로토콜을 수행하는 관제 서버를 포함하고,
상기 엣지 단말은,
통상의 예측 스칼라 범위를 한정한 제1 범위, 최빈값에 해당하는 스칼라 범위를 한정한 제2 범위, 예외값에 해당하는 스칼라 범위를 한정한 제3 범위를 저장하고,
상기 스칼라 정보를 상기 제1, 제2, 및 제3 범위 중 어느 하나의 범위로 판별하며, 상기 스칼라 정보가 어느 하나의 범위에 속하지 않는 경우 이상 상태로 판별하고,
상기 프로토콜이 발동되면 상기 프로토콜에 따라 상기 제1 범위, 상기 제2 범위, 상기 제3 범위를 재설정하여 상기 프로토콜의 수행 여부를 판별하는,
원격 협업 시스템.
a client terminal for generating observation data by sensing an observation object;
an edge terminal that extracts scalar information based on the observation data received from the client terminal, determines a normal or abnormal state of the observation object based on the scalar information, and transmits the observation data to a central server in case of an abnormal state;
a central server for transmitting situation information that determines the situation of the observation target based on the observation data received from the edge terminal to a control server; and
Including a control server that performs a predetermined protocol according to the context information,
The edge terminal,
storing a first range defining a normal prediction scalar range, a second range defining a scalar range corresponding to a mode, and a third range defining a scalar range corresponding to an exception value;
Determine the scalar information as any one of the first, second, and third ranges, and if the scalar information does not belong to any one of the ranges, it is determined as an abnormal state;
When the protocol is invoked, determining whether to perform the protocol by resetting the first range, the second range, and the third range according to the protocol,
remote collaboration system.
상기 관측 데이터는,
상기 관측 대상으로부터 취득되는 정형 데이터 또는 비정형 데이터를 포함하는,
원격 협업 시스템.
According to claim 1,
The observation data is
Including structured data or unstructured data obtained from the observation object,
remote collaboration system.
상기 클라이언트 단말은,
스마트글래스를 포함하는,
원격 협업 시스템.
According to claim 1,
The client terminal is
including smart glasses,
remote collaboration system.
상기 스마트글래스는,
사용자가 VR 화면의 소정 영역을 드래그한 부분의 이미지를 캡쳐하여 공간 데이터를 생성하는,
원격 협업 시스템.
4. The method of claim 3,
The smart glass,
Creating spatial data by capturing an image of a part where a user drags a predetermined area of the VR screen,
remote collaboration system.
상기 엣지 단말은,
상기 공간 데이터의 특징값을 추출하고 상기 특징값을 연산하여 스칼라 정보를 생성하는,
원격 협업 시스템.
5. The method of claim 4,
The edge terminal,
extracting a feature value of the spatial data and calculating the feature value to generate scalar information,
remote collaboration system.
상기 엣지 단말은,
상기 공간 데이터로부터 특징값을 추출하여 하나의 스칼라 정보를 생성하도록 소정의 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘을 기초로 학습된 제1 모델을 저장하는,
원격 협업 시스템.
6. The method of claim 5,
The edge terminal,
Storing a first model learned based on a predetermined ML (Machine Learning) or DL (Deep Learning) algorithm to extract a feature value from the spatial data to generate one scalar information,
remote collaboration system.
상기 소정의 ML(Machine Learning) 또는 DL(Deep Learning) 알고리즘은,
yolo-tiny 알고리즘을 포함하는,
원격 협업 시스템.
7. The method of claim 6,
The predetermined ML (Machine Learning) or DL (Deep Learning) algorithm,
including the yolo-tiny algorithm,
remote collaboration system.
상기 엣지 단말은,
상기 모델의 연산을 수행하는 Edge TPU(Tensor Processing Unit)를 포함하는,
원격 협업 시스템.
7. The method of claim 6,
The edge terminal,
Including an Edge TPU (Tensor Processing Unit) that performs the calculation of the model,
remote collaboration system.
상기 중앙 서버는,
상기 관측 데이터로부터 상기 관측 대상의 상황 및 필요 조치를 판별하도록 학습된 제2 모델을 저장하는,
원격 협업 시스템.
According to claim 1,
The central server,
Storing a second model trained to determine the situation and necessary actions of the observation object from the observation data,
remote collaboration system.
엣지 단말이 상기 클라이언트 단말로부터 수신한 관측 데이터를 기초로 스칼라 정보를 추출하여 상기 스칼라 정보를 기초로 상기 관측 대상의 정상 또는 이상 상태를 판별하여 이상 상태인 경우에 상기 관측 데이터를 중앙 서버로 전송하는 단계;
중앙 서버가 상기 엣지 단말로부터 수신한 상기 관측 데이터를 기초로 상기 관측 대상의 상황을 판별한 상황 정보를 관제 서버에 전송하는 단계; 및
관제 서버가 상기 상황 정보에 따라 기 정해진 프로토콜을 수행하는 단계를 포함하고,
상기 엣지 단말은,
통상의 예측 스칼라 범위를 한정한 제1 범위, 최빈값에 해당하는 스칼라 범위를 한정한 제2 범위, 예외값에 해당하는 스칼라 범위를 한정한 제3 범위를 저장하고,
상기 스칼라 정보를 상기 제1, 제2, 및 제3 범위 중 어느 하나의 범위로 판별하며, 상기 스칼라 정보가 어느 하나의 범위에 속하지 않는 경우 이상 상태로 판별하고,
상기 프로토콜이 발동되면 상기 프로토콜에 따라 상기 제1 범위, 상기 제2 범위, 상기 제3 범위를 재설정하여 상기 프로토콜의 수행 여부를 판별하는,
원격 협업 방법.generating, by the client terminal, observation data by sensing the object to be observed;
The edge terminal extracts scalar information based on the observation data received from the client terminal, determines the normal or abnormal state of the observation object based on the scalar information, and transmits the observation data to the central server when the abnormal state is step;
transmitting, by the central server, situation information for determining the situation of the observation target based on the observation data received from the edge terminal to a control server; and
Comprising the step of the control server performing a predetermined protocol according to the context information,
The edge terminal,
storing a first range defining a normal prediction scalar range, a second range defining a scalar range corresponding to a mode, and a third range defining a scalar range corresponding to an exception value;
Determine the scalar information as any one of the first, second, and third ranges, and if the scalar information does not belong to any one of the ranges, it is determined as an abnormal state;
When the protocol is invoked, determining whether to perform the protocol by resetting the first range, the second range, and the third range according to the protocol,
Remote collaboration method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210147757A KR102393285B1 (en) | 2021-11-01 | 2021-11-01 | System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210147757A KR102393285B1 (en) | 2021-11-01 | 2021-11-01 | System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102393285B1 true KR102393285B1 (en) | 2022-05-09 |
Family
ID=81583122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210147757A KR102393285B1 (en) | 2021-11-01 | 2021-11-01 | System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102393285B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116367108A (en) * | 2023-05-31 | 2023-06-30 | 标格达精密仪器（广州）有限公司 | Workshop safety monitoring system based on cloud computing |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010097859A (en) * | 2000-04-26 | 2001-11-08 | 이동호 | The service method of bazar-information through the internet |
| KR20110109621A (en) * | 2010-03-31 | 2011-10-06 | (주)티엘씨테크놀로지 | Safety management system and method |
| KR101619307B1 (en) | 2014-07-09 | 2016-05-10 | 임진강 | Protection system of guard post for military |
| KR20200034468A (en) * | 2018-09-21 | 2020-03-31 | 김승진 | Integrated space information management platform using virtual reality video and operation method thereof |
| KR102202696B1 (en) * | 2020-07-10 | 2021-01-13 | (주)프론티스 | Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things |
| KR20210126523A (en) * | 2020-04-10 | 2021-10-20 | 코그넥스코오포레이션 | Inspection method based on edge field and deep learning |
-
2021
- 2021-11-01 KR KR1020210147757A patent/KR102393285B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010097859A (en) * | 2000-04-26 | 2001-11-08 | 이동호 | The service method of bazar-information through the internet |
| KR20110109621A (en) * | 2010-03-31 | 2011-10-06 | (주)티엘씨테크놀로지 | Safety management system and method |
| KR101619307B1 (en) | 2014-07-09 | 2016-05-10 | 임진강 | Protection system of guard post for military |
| KR20200034468A (en) * | 2018-09-21 | 2020-03-31 | 김승진 | Integrated space information management platform using virtual reality video and operation method thereof |
| KR20210126523A (en) * | 2020-04-10 | 2021-10-20 | 코그넥스코오포레이션 | Inspection method based on edge field and deep learning |
| KR102202696B1 (en) * | 2020-07-10 | 2021-01-13 | (주)프론티스 | Apparatus and method for predicting usage rate based on state of change in order to control and manage industrial facility by interlinking augmented reality and internet of things |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116367108A (en) * | 2023-05-31 | 2023-06-30 | 标格达精密仪器（广州）有限公司 | Workshop safety monitoring system based on cloud computing |
| CN116367108B (en) * | 2023-05-31 | 2023-08-15 | 标格达精密仪器（广州）有限公司 | Workshop safety monitoring system based on cloud computing |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210406556A1 (en) | Total Property Intelligence System | |
| US10516857B2 (en) | Method and apparatus of secured interactive remote maintenance assist | |
| AU2017436901B2 (en) | Methods and apparatus for automated surveillance systems | |
| US20220223022A1 (en) | Proximity-based personnel safety system and method | |
| EP3754592B1 (en) | Image acquisition device and method of controlling the same | |
| US20210279603A1 (en) | Security systems and methods | |
| CN109495533A (en) | A kind of intelligent things network management system and method | |
| CN112650183B (en) | Industrial Internet platform | |
| US10769448B2 (en) | Surveillance system and surveillance method | |
| US20070008408A1 (en) | Wide area security system and method | |
| KR20190096307A (en) | Artificial intelligence device providing voice recognition service and operating method thereof | |
| CN112950400A (en) | Data processing platform | |
| KR102393285B1 (en) | System and method for remote collaboration based on realistic content between field boundaries and command control in edge cloud | |
| KR20220059210A (en) | System and method for vision managing of workplace and computer-readable recording medium thereof | |
| CN115880631A (en) | Power distribution station fault identification system, method and medium | |
| CN114665608A (en) | Intelligent sensing inspection system and method for transformer substation | |
| CN113748389A (en) | Method and device for monitoring industrial process steps | |
| Valentín et al. | A cloud-based architecture for smart video surveillance | |
| JP7282186B2 (en) | situational awareness surveillance | |
| KR102393289B1 (en) | System and method of extended reality for collaboration between field boundaries and command control in unstructured data mining with improved visual perception based on edge cloud | |
| KR102292276B1 (en) | System Operating Method For Broadcast Control And System of Thereof | |
| CN117940968A (en) | Dynamic geofence enabled physiological risk monitoring system in physical and mixed reality environments | |
| US11890424B2 (en) | Augmented reality enabled motion sickness reduction | |
| KR20220063865A (en) | System and method for vision managing of workplace and computer-readable recording medium thereof | |
| WO2022242827A1 (en) | Information aggregation in a multi-modal entity-feature graph for intervention prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |