KR102289745B1 - System and method for real-time monitoring field work - Google Patents

System and method for real-time monitoring field work Download PDF

Info

Publication number
KR102289745B1
KR102289745B1 KR1020190179754A KR20190179754A KR102289745B1 KR 102289745 B1 KR102289745 B1 KR 102289745B1 KR 1020190179754 A KR1020190179754 A KR 1020190179754A KR 20190179754 A KR20190179754 A KR 20190179754A KR 102289745 B1 KR102289745 B1 KR 102289745B1
Authority
KR
South Korea
Prior art keywords
field
image
camera
real
site
Prior art date
Application number
KR1020190179754A
Other languages
Korean (ko)
Other versions
KR20210086072A (en
Inventor
하태진
김재인
Original Assignee
주식회사 버넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 버넥트 filed Critical 주식회사 버넥트
Priority to KR1020190179754A priority Critical patent/KR102289745B1/en
Publication of KR20210086072A publication Critical patent/KR20210086072A/en
Application granted granted Critical
Publication of KR102289745B1 publication Critical patent/KR102289745B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23203
    • H04N5/23299

Abstract

실시예에 따른 실시간 현장 작업 모니터링 방법은, 원격 관리자의 컴퓨팅 디바이스에서 수행하는 실시간 현장 작업 모니터링 방법으로서, 상기 현장의 물리적 공간에 대응된 3차원 가상공간을 나타내는 현장 트윈모델을 출력하는 단계; 상기 현장의 카메라 시스템의 실제 카메라에 대응된 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계; 상기 가상 카메라 이미지에 대응된 실제 카메라의 현장영상을 수신하고, 수신된 현장영상을 상기 현장 트윈모델과 매칭하여 출력하는 단계; 및 상기 가상 카메라 이미지를 기초로 상기 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하는 단계를 포함한다. A real-time field work monitoring method according to an embodiment is a real-time field work monitoring method performed by a computing device of a remote manager, comprising: outputting a field twin model representing a three-dimensional virtual space corresponding to the physical space of the field; displaying a virtual camera image corresponding to a real camera of the on-site camera system on the on-site twin model; receiving a field image of a real camera corresponding to the virtual camera image, and outputting the received field image by matching with the field twin model; and providing a remote camera control interface for remotely controlling the real camera based on the virtual camera image.

Description

실시간 현장 작업 모니터링 방법 및 시스템 {SYSTEM AND METHOD FOR REAL-TIME MONITORING FIELD WORK}Real-time field work monitoring method and system {SYSTEM AND METHOD FOR REAL-TIME MONITORING FIELD WORK}

본 발명은 실시간 현장 작업 모니터링 방법 및 시스템에 관한 것이다. 보다 상세히, 현장을 3차원 가상공간에 매칭시킨 디지털 트윈을 통해 현장에 배치된 카메라 시스템을 제어하여 실시간으로 현장 작업을 모니터링하는 방법에 관한 것이다. The present invention relates to a method and system for real-time field work monitoring. In more detail, it relates to a method of monitoring field work in real time by controlling a camera system placed on the site through a digital twin that matches the site to a three-dimensional virtual space.

제조공정의 디지털화가 점점 더 늘어나는 상황에서, 작업현장에 대해 실시간에 가깝게 실제 사물 혹은 프로세스의 디지털 이미지를 만드는 디지털 트윈(digital twin)이라는 개념이 주목을 받고 있다. 디지털 트윈은 제품의 설계 및 개발부터 제품 라이프사이클의 끝까지 제품 전반에 대한 디지털 발자취를 보유할 수 있게 해준다. 이를 활용하면 설계대로의 제품 그 자체뿐만 아니라 제품을 제조하는 시스템 및 현장에서 어떻게 제품이 사용되는지를 이해할 수 있다. With the increasing digitization of manufacturing processes, the concept of a digital twin that creates a digital image of a real object or process in near real-time on the job site is attracting attention. Digital twins allow you to have a digital footprint of the entire product, from design and development to the end of the product lifecycle. By using this, you can understand not only the product itself as designed, but also how the product is used in the system and field that manufactures it.

디지털 트윈은 사업 실적의 최적화에 도움을 주는 물리적 물체나 프로세스의 과거와 현재 활동이 기록된 진화하는 디지털 프로필로 정의된다. 디지털 트윈은 여러 차원에 걸친 대규모의 누적된 실시간, 실세계 데이터 측정값에 기반한다. 기업은 이런 측정값을 바탕으로 물체 혹은 프로세스에 대한 진화하는 디지털 프로필을 만들어, 시스템 성능에 대한 인사이트를 얻거나 제품 설계 혹은 제조 공정의 변경과 같은 물리적 대응을 수행할 수 있다. A digital twin is defined as an evolving digital profile of the past and present activity of a physical object or process that helps optimize business performance. Digital twins are based on large-scale, accumulated real-time, real-world data measurements that span multiple dimensions. Based on these measurements, companies can create evolving digital profiles of objects or processes to gain insight into system performance or to take physical actions, such as changes to product design or manufacturing processes.

디지털 트윈의 진정한 위력과 중요성은 물리적 세계와 디지털 세계 간의 거의 실시간에 가까운 종합적인 연결을 제공하는 데 있다. 이를 통해 기존의 방법으로는 불가능한 근본적인 설계 및 공정 변화가 가능해지는 장점이 있다. The true power and importance of digital twins lies in providing a comprehensive, near real-time connection between the physical and digital worlds. This has the advantage of enabling fundamental design and process changes that are not possible with conventional methods.

한편, 공장과 같은 작업 현장에는, 전방위 카메라, PTZ 카메라, 적외선 카메라 등의 다양한 이미지 센서가 배치될 수 있다. Meanwhile, various image sensors such as an omnidirectional camera, a PTZ camera, and an infrared camera may be disposed at a work site such as a factory.

그러나 현재 현장을 원격으로 모니터링 하기 위해, 현장에 배치된 수많은 이미지 센서에서 촬영된 영상들을 단순 나열하여 표시하는 원격 모니터링 시스템만이 구축되어, 원격 관리자가 모니터링 하고자 하는 영역이나 상황을 상기 원격 모니터링 시스템만으로는 확인하기 어려운 실정이다. However, in order to remotely monitor the current site, only a remote monitoring system that simply lists and displays the images captured by numerous image sensors placed on the site is built, so that the area or situation that the remote manager wants to monitor can be monitored using the remote monitoring system alone. It is difficult to ascertain.

또한, 다양한 종류의 수많은 카메라를 소수의 원격 관리자가 효과적으로 제어하기 위한 인터페이스가 필요하다. In addition, there is a need for an interface for effectively controlling a large number of cameras of various types by a small number of remote administrators.

KR 10- 2055085 B1KR 10- 2055085 B1

본 발명은 원격 관리자가 현장 상황 및 작업자의 작업 현황을 디지털 트윈을 통해 실시간으로 정확하게 모니터링할 수 있는 실시간 현장 작업 모니터링 방법 및 시스템을 제공하고자 한다. An object of the present invention is to provide a real-time on-site job monitoring method and system by which a remote manager can accurately monitor the on-site situation and the worker's work status in real time through a digital twin.

또한, 본 발명은 디지털 트윈을 통해 현장의 카메라 시스템 및 카메라 시스템에서 촬영된 현장영상을 확인하고 제어하여, 모니터링이 필요한 현장영역을 정확하게 모니터링할 수 있는 실시간 현장 작업 모니터링 방법 및 시스템을 제공하는 것을 목적으로 한다. In addition, an object of the present invention is to provide a real-time field work monitoring method and system that can accurately monitor a field area requiring monitoring by checking and controlling a field image captured by a field camera system and a camera system through a digital twin do it with

또한, 본 발명은 현장영상을 기초로 현장의 실제객체에 대한 작업 가이드나 알림을 증강현실 환경을 통해 현장 작업자에게 제공할 수 있는 실시간 현장 작업 모니터링 방법 및 시스템을 제공하는 것을 목적으로 한다.In addition, an object of the present invention is to provide a real-time field work monitoring method and system that can provide a work guide or a notification for a real object in the field to field workers through an augmented reality environment based on a field image.

실시예에 따른 실시간 현장 작업 모니터링 방법은, 원격 관리자의 컴퓨팅 디바이스에서 수행하는 실시간 현장 작업 모니터링 방법으로서, 상기 현장의 물리적 공간에 대응된 3차원 가상공간을 나타내는 현장 트윈모델을 출력하는 단계; 상기 현장의 카메라 시스템의 실제 카메라에 대응된 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계; 상기 가상 카메라 이미지에 대응된 실제 카메라의 현장영상을 수신하고, 수신된 현장영상을 상기 현장 트윈모델과 매칭하여 출력하는 단계; 및 상기 가상 카메라 이미지를 기초로 상기 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하는 단계를 포함한다. A real-time field work monitoring method according to an embodiment is a real-time field work monitoring method performed by a computing device of a remote manager, comprising: outputting a field twin model representing a three-dimensional virtual space corresponding to the physical space of the field; displaying a virtual camera image corresponding to a real camera of the on-site camera system on the on-site twin model; receiving a field image of a real camera corresponding to the virtual camera image, and outputting the received field image by matching with the field twin model; and providing a remote camera control interface for remotely controlling the real camera based on the virtual camera image.

이때, 상기 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계는, 전방위 카메라에 대응된 제 1 가상 카메라 이미지를 상기 전방위 카메라의 실제좌표에 매칭된 상기 현장 트윈모델의 가상좌표 상에 표시하는 단계와, 상기 전방위 카메라의 촬영영역에 대응된 가상 촬영영역을 상기 현장 트윈모델 상에 표시하는 단계를 포함할 수 있다. In this case, the step of displaying the virtual camera image on the on-site twin model includes displaying the first virtual camera image corresponding to the omnidirectional camera on the virtual coordinates of the on-site twin model matched with the real coordinates of the omnidirectional camera and displaying a virtual photographing area corresponding to the photographing area of the omnidirectional camera on the on-site twin model.

또한, 상기 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계는, 제어 카메라에 대응된 제 2 가상 카메라 이미지를 상기 제어 카메라의 실제좌표에 매칭된 상기 현장 트윈모델의 가상좌표 상에 표시하는 단계와, 상기 제어 카메라의 촬영영역에 대응된 가상 촬영영역을 상기 현장 트윈모델 상에 표시하는 단계를 포함할 수 있다.In addition, the displaying of the virtual camera image on the on-site twin model may include displaying a second virtual camera image corresponding to the control camera on the virtual coordinates of the on-site twin model matched with the real coordinates of the control camera. and displaying a virtual photographing area corresponding to the photographing area of the control camera on the on-site twin model.

또한, 상기 가상 카메라 이미지를 기초로 상기 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하는 단계는, 상기 가상 카메라 이미지에 기초하여 가상 촬영영역, 촬영방향 또는 줌 거리를 변경하는 사용자 입력을 수신하는 단계와, 상기 사용자 입력에 따라서 상기 가상 카메라 이미지를 변경하는 단계와, 상기 가상 카메라 이미지의 변경에 따라서 상기 실제 카메라에 대한 제어신호를 생성하고, 생성된 제어신호를 상기 카메라 시스템에 송신하여 상기 제어 카메라를 원격 제어하는 단계를 포함할 수 있다.In addition, the providing of a remote camera control interface for remotely controlling the real camera based on the virtual camera image may include receiving a user input for changing a virtual photographing area, a photographing direction, or a zoom distance based on the virtual camera image. changing the virtual camera image according to the user input, generating a control signal for the real camera according to the change of the virtual camera image, and transmitting the generated control signal to the camera system for the control It may include the step of remotely controlling the camera.

또한, 상기 현장영상을 기초로 작업 대상인 실제객체를 이미지 학습하는 단계와, 상기 학습된 실제객체에 작업영역을 설정하는 단계와, 상기 작업영역을 촬영한 현장영상을 검출하는 단계와, 상기 검출된 현장영상을 실시간으로 출력하는 단계를 더 포함할 수 있다. In addition, the steps of image-learning a real object as a work target based on the field image, setting a work area on the learned real object, detecting a field image obtained by photographing the work area, and the detected It may further include the step of outputting the field image in real time.

또한, 상기 출력된 현장영상에 기초하여 증강현실 구축을 위한 작업 가이던스를 생성하는 단계와, 상기 실제객체에 인접한 현장 작업자의 컴퓨팅 디바이스에 상기 생성된 작업 가이던스를 송신하는 단계를 더 포함할 수 있다. In addition, the method may further include generating work guidance for building augmented reality based on the output field image, and transmitting the generated work guidance to a computing device of a field worker adjacent to the real object.

또한, 상기 현장 트윈모델에 기 설정된 위험구역에 현장 작업자의 진입을 감지하는 단계와, 상기 현장 작업자 및 위험구역 내 기 설정된 위험영역을 촬영하는 현장영상을 추출하는 단계와, 상기 추출된 현장영상에 기초하여 상기 현장 작업자가 상기 위험영역으로 소정의 거리 내로 접근함을 감지하는 단계와, 상기 현장 작업자의 컴퓨팅 디바이스에 자동 위험 알림을 송신하는 단계를 포함할 수 있다. In addition, the steps of detecting the entry of a field worker into the danger zone preset in the field twin model, extracting a field image for photographing the field worker and the danger zone preset in the danger zone, and the extracted field image It may include detecting that the field worker approaches the danger area within a predetermined distance based on the step, and transmitting an automatic danger notification to the computing device of the field worker.

본 발명의 실시예에 따른 실시간 현장 작업 모니터링 방법은, 원격 관리자가 현장 상황 및 작업자의 작업 현황을 현장 트윈모델 및 카메라 시스템의 현장영상을 통해 정확하고 다양한 관점에서 모니터링할 수 있다. In the real-time on-site job monitoring method according to an embodiment of the present invention, a remote manager can accurately and variously monitor the on-site situation and the operation status of the worker through the on-site twin model and the on-site image of the camera system.

또한, 본 발명의 실시예에 따른 실시간 현장 작업 모니터링 방법은, 현장 트윈모델에 기초하여 카메라 시스템의 정보를 나타내어, 원격 관리자가 현장영상이 촬영된 물리적 공간의 촬영영역을 직관적으로 이해하도록 제공할 수 있다.In addition, the real-time field work monitoring method according to an embodiment of the present invention can provide information of the camera system based on the field twin model, so that the remote manager can intuitively understand the shooting area of the physical space where the field image is captured. there is.

또한, 본 발명의 실시예에 따른 실시간 현장 작업 모니터링 방법은, 카메라 시스템의 각 실제 카메라를 나타내는 현장 트윈모델 상의 가상 카메라 이미지를 통해 실제 카메라를 원격 제어하거나, 실제 카메라의 현장영상을 실시간으로 출력하도록 제어하는 등의 인터페이스를 제공할 수 있다In addition, the real-time field work monitoring method according to an embodiment of the present invention is to remotely control a real camera through a virtual camera image on a field twin model representing each real camera of a camera system, or to output a field image of a real camera in real time. It can provide an interface to control, etc.

또한, 본 발명의 실시예에 따른 실시간 현장 작업 모니터링 방법은, 작업 대상인 실제객체 및 실제객체 내 작업영역을 기 설정하여, 상기 실제객체 작업영역에 대한 현장 작업자의 작업 수행시, 상기 작업영역을 촬영하는 현장영상을 추출하여 작업 현황을 모니터링 하도록 제공할 수 있다. 이를 통해, 현장 작업자의 이탈 행위나, 위험영역 진입 등을 빠르게 모니터링 할 수 있다. In addition, in the real-time field work monitoring method according to an embodiment of the present invention, a real object as a work target and a work area within the real object are preset, and when a field worker performs a work on the real object work area, the work area is photographed It can be provided to monitor the status of work by extracting on-site images. Through this, it is possible to quickly monitor the departure behavior of the field worker or the entry into the hazardous area.

또한, 본 발명의 실시예에 따른 실시간 현장 작업 모니터링 방법은, 현장영상 또는 현장 트윈모델을 통해 현장 작업자 시야에서 벗어난 물리적 공간에 대응하여 작업 가이던스를 생성하고 현장 작업자 컴퓨팅 디바이스)에 송신하여 상기 작업 가이던스를 증강현실 환경에서 제공할 수 있다.In addition, the real-time field work monitoring method according to an embodiment of the present invention generates work guidance in response to a physical space out of the field worker's field of view through a field image or field twin model and transmits the work guidance to the field worker computing device) can be provided in an augmented reality environment.

도 1은 본 발명의 실시예에 따른 디지털 트윈을 이용한 실시간 현장 작업 모니터링 시스템의 개념도의 일례이다.
도 2는 본 발명의 실시예에 따른 현장의 물리적 공간의 설치된 현장센서 시스템을 설명하기 위한 컨셉의 일례이다.
도 3은 본 발명의 실시예에 따른 현장 트윈모델을 설명하기 위한 컨셉의 일례이다.
도 4는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스를 통해 증강현실 환경을 경험하는 일례를 나타낸다.
도 5는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다.
도 6은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스를 통해 확장현실 환경을 경험하는 일례를 나타낸다.
도 7은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다.
도 8은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스를 통해 현장 트윈 모델을 제공하는 모습의 일례이다.
도 9는 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다.
도 10은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스를 통해 증강현실 커뮤니케이션을 경험하는 일례이다.
도 11은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다.
도 12는 본 발명의 실시예에 따른 실시간 현장 작업 모니터링 방법을 설명하기 위한 흐름도의 일례이다.
도 13은 본 발명의 실시예에 따른 현장 트윈모델 상의 가상 카메라를 통해 카메라 시스템을 확인하고 원격 제어하는 컨셉의 일례이다.
도 14는 본 발명의 실시예에 따른 실제객체 주변의 현장 작업자를 모니터링하는 과정을 나타내는 컨셉의 일례이다.
도 15는 본 발명의 실시예에 따른 카메라 시스템의 현장영상을 통해 작업 가이드를 가상 컨텐츠로 생성하는 컨셉의 일례이다.
도 16은 본 발명의 실시예에 따른 실제객체의 작업영역에 위치한 현장 작업자에게 증강현실 환경에 기초하여 작업 가이드를 제공하는 컨셉의 일례이다.
도 17은 본 발명의 실시예에 따른 현장 트윈모델을 통해 위험구역에 진입한 현장 작업자를 모니터링하는 컨셉의 일례이다.
1 is an example of a conceptual diagram of a real-time field work monitoring system using a digital twin according to an embodiment of the present invention.
2 is an example of a concept for explaining an installed field sensor system in a physical space of a field according to an embodiment of the present invention.
3 is an example of a concept for explaining an on-site twin model according to an embodiment of the present invention.
4 shows an example of experiencing an augmented reality environment through a wearable type computing device according to an embodiment of the present invention.
5 is an example of an internal block diagram of a wearable type computing device according to an embodiment of the present invention.
6 illustrates an example of experiencing an extended reality environment through a mobile type computing device according to an embodiment of the present invention.
7 is an example of an internal block diagram of a mobile type computing device according to an embodiment of the present invention.
8 is an example of a state in which a field twin model is provided through a desktop type computing device according to an embodiment of the present invention.
9 is an example of an internal block diagram of a desktop type computing device according to an embodiment of the present invention.
10 is an example of experiencing augmented reality communication through a table-top type computing device according to an embodiment of the present invention.
11 is an example of an internal block diagram of a table top type computing device according to an embodiment of the present invention.
12 is an example of a flowchart for explaining a real-time field work monitoring method according to an embodiment of the present invention.
13 is an example of a concept for checking and remote control of a camera system through a virtual camera on a twin model on-site according to an embodiment of the present invention.
14 is an example of a concept illustrating a process of monitoring a field worker around a real object according to an embodiment of the present invention.
15 is an example of a concept of generating a work guide as virtual content through a field image of a camera system according to an embodiment of the present invention.
16 is an example of a concept of providing a work guide based on an augmented reality environment to a field worker located in a work area of a real object according to an embodiment of the present invention.
17 is an example of a concept for monitoring a field worker entering a danger zone through a field twin model according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. Effects and features of the present invention, and a method of achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various forms. In the following embodiments, terms such as first, second, etc. are used for the purpose of distinguishing one component from another, not in a limiting sense. Also, the singular expression includes the plural expression unless the context clearly dictates otherwise. In addition, terms such as include or have means that the features or elements described in the specification are present, and do not preclude the possibility that one or more other features or elements will be added. In addition, in the drawings, the size of the components may be exaggerated or reduced for convenience of description. For example, since the size and thickness of each component shown in the drawings are arbitrarily indicated for convenience of description, the present invention is not necessarily limited to the illustrated bar.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, and when described with reference to the drawings, the same or corresponding components are given the same reference numerals, and the overlapping description thereof will be omitted. .

<실시간 현장 작업 모니터링 시스템><Real-time field work monitoring system>

실시간 현장 작업 모니터링 시스템은, 작업 현장의 물리적 공간에 실시간으로 대응되는 현장 트윈모델과, 현장에 배치된 카메라 시스템을 통해 실시간으로 현장 작업자의 작업 현황을 정확하게 모니터링 할 수 있다. The real-time field work monitoring system can accurately monitor the work status of field workers in real time through the on-site twin model that responds to the physical space of the work site in real time and the camera system placed on the site.

여기서, 현장 트윈모델이란, 현장의 물리적 공간을 스캔한 데이터(예컨대, 영상 및 깊이 정보)를 기초로 물리적 공간을 3차원 가상공간에 맵핑하여 생성된 3차원 가상 모델일 수 있다. 따라서, 실제 현장의 3차원 공간좌표와 3차원 가상공간의 가상좌표가 매칭될 수 있으며, 3차원 공간의 실제객체는 실제객체의 실제좌표에 매칭된 상기 3차원 가상공간의 가상좌표에 가상객체로 현장 트윈모델에 포함될 수 있다. Here, the on-site twin model may be a three-dimensional virtual model generated by mapping a physical space to a three-dimensional virtual space based on data (eg, image and depth information) scanned in the physical space of the site. Accordingly, the 3D space coordinates of the real site and the virtual coordinates of the 3D virtual space can be matched, and the real object of the 3D space is a virtual object with the virtual coordinates of the 3D virtual space matched with the real coordinates of the real object. It can be included in the field twin model.

특히, 실시간 현장 작업 모니터링 시스템은, 카메라 시스템에 대한 정보를 나타내고 원격으로 카메라 시스템을 제어할 수 있는 가상 카메라 이미지를 현장 트윈모델 상에 제공하여, 원격 관리자가 원하는 작업 현장을 촬영한 현장영상을 출력할 수 있다. In particular, the real-time field work monitoring system displays information about the camera system and provides a virtual camera image that can remotely control the camera system on the site twin model, and outputs the field image captured at the work site desired by the remote manager can do.

또한, 실시간 현장 작업 모니터링 시스템은, 작업 대상인 실제객체/실제객체에 대한 작업영역을 기 설정한 후 상기 실제객체를 촬영한 현장영상을 검출하고 출력하여, 원격 관리자가 실제객체에 대한 작업 현황을 모니터링하도록 제공할 수 있다. In addition, the real-time field work monitoring system detects and outputs a field image photographed of the real object after presetting a work area for the real object/real object as the work target, so that the remote manager monitors the work status of the real object can be provided to do so.

또한, 실시간 현장 작업 모니터링 시스템은, 현장 트윈모델 또는 카메라 시스템의 현장영상을 통해 현장 작업자의 시야 외의 물리적 공간에 대응한 작업 가이던스를 생성하는 인터페이스를 제공할 수 있다. In addition, the real-time field work monitoring system may provide an interface for generating work guidance corresponding to a physical space other than the field of view of the field worker through the field image of the field twin model or the camera system.

여기서, 원격 관리자란, 작업이 진행되는 현장으로부터 원격의 위치에서 현장 트윈모델을 통해 현장상황을 모니터링하고, 현장 작업자에게 증강현실 커뮤니케이션에 기초해 작업을 지시 또는 보조하는 작업 가이던스(guidance)를 가상 컨텐츠로 제공하는 자를 의미한다. Here, the remote manager is a virtual content that monitors the on-site situation through the on-site twin model at a location remote from the site where the work is being performed, and instructs or assists the field worker with the work based on augmented reality communication. means the person providing

또한, 현장 작업자란, 작업 현장에서 수신된 작업 가이던스를 통해 제공된 증강현실 환경을 기반으로 작업과 관련된 정보를 제공받는 자를 의미한다. In addition, the field worker means a person who is provided with information related to work based on the augmented reality environment provided through the work guidance received at the work site.

<실시간 현장 작업 모니터링 시스템의 세부구성><Detailed configuration of real-time field work monitoring system>

이하, 이러한 실시간 현장 작업 모니터링 시스템을 이루는 세부적인 구성에 대해 먼저 상세히 설명하기로 한다. Hereinafter, the detailed configuration constituting the real-time field work monitoring system will be described in detail first.

도 1은 본 발명의 실시예에 따른 실시간 현장 작업 모니터링 시스템의 개념도의 일례이다. 1 is an example of a conceptual diagram of a real-time field work monitoring system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 일 예시의 실시간 현장 작업 모니터링 시스템은, 현장 작업자 컴퓨팅 디바이스(100:101, 102. 200), 원격 관리자 컴퓨팅 디바이스(301: 300, 600), 현장센서 시스템(400) 및 서버 시스템(500)을 포함한다. Referring to FIG. 1 , an exemplary real-time field work monitoring system according to an embodiment of the present invention includes field worker computing devices 100: 101, 102. 200, remote manager computing devices 301: 300, 600, and field workers. It includes a sensor system 400 and a server system 500 .

이러한 도 1의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 , 현장 작업자 컴퓨팅 디바이스, 원격 관리자 컴퓨팅 디바이스, 현장센서 시스템(400) 및 서버 시스템(500) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, UWB(Ultra Wide Band) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등의 다양한 유무선 네트워크를 포함할 수 있으나, 이에 한정되지는 않는다.Each of these components of FIG. 1 may be connected through a network. The network refers to a connection structure in which information can be exchanged between each node, such as a field worker computing device, a remote manager computing device, a field sensor system 400 and a server system 500, and the like, and an example of such a network includes 3GPP (3rd Generation Partnership Project) network, LTE (Long Term Evolution) network, WIMAX (World Interoperability for Microwave Access) network, Internet, LAN (Local Area Network), Wireless LAN (Wireless Local Area Network), WAN (Wide) Area Network), PAN (Personal Area Network), Bluetooth (Bluetooth) network, UWB (Ultra Wide Band) network, satellite broadcasting network, analog broadcasting network, DMB (Digital Multimedia Broadcasting) network, etc. , but is not limited thereto.

- 서버 시스템(500)- Server system (500)

서버 시스템(500)은, 현장의 물리적 공간을 3차원 스캔한 데이터를 기초로 가상의 3차원 현장 트윈모델을 모델링하고, 모델링된 현장 트윈모델에 상기 현장의 물리적 공간의 실제객체나 현장 작업자에 대한 정보를 실시간 반영하는 프로세스를 수행할 수 있다. 이러한 프로세스 중 적어도 일부는 서버 시스템(500)에서 수행될 수 있고 나머지는 원격 관리자의 컴퓨팅 디바이스(301: 300, 600)에서 수행될 수 있다. The server system 500 models a virtual three-dimensional on-site twin model based on three-dimensionally scanned data of the physical space of the site, and provides the modeled site twin model with respect to real objects or field workers in the physical space of the site. The process of reflecting information in real time can be performed. At least some of these processes may be performed on the server system 500 and the rest may be performed on the remote administrator's computing devices 301 : 300 , 600 .

또한, 서버 시스템(500)은, 원격 관리자의 컴퓨팅 디바이스(301: 300, 600)와 현장 작업자의 컴퓨팅 디바이스(100) 사이에 증강현실 커뮤니케이션 데이터 교환을 중계하여, 상호간 증강현실 커뮤니케이션을 수행하도록 제공할 수 있다. In addition, the server system 500 relays the augmented reality communication data exchange between the remote manager's computing device (301: 300, 600) and the field worker's computing device 100 to provide to perform mutual augmented reality communication. can

이러한 서버 시스템(500)은, 트윈모델 모델링 서버(510), 현장 모니터링 서버(520), 가상 컨텐츠 데이터베이스(530) 및 현장공간 데이터베이스(540)를 포함할 수 있다. The server system 500 may include a twin model modeling server 510 , a field monitoring server 520 , a virtual content database 530 , and a field space database 540 .

자세히, 트윈모델 모델링 서버(510)는, 현장의 물리적 공간을 3차원 스캔한 데이터를 기초로 가상의 3차원 공간에 상기 현장의 물리적 공간과 대응되는 현장 트윈모델을 생성할 수 있다. In detail, the twin model modeling server 510 may generate an on-site twin model corresponding to the physical space of the site in a virtual three-dimensional space based on three-dimensional scan data of the physical space of the site.

예를 들어, 트윈모델 모델링 서버(510)는, 현장의 물리적 공간을 촬영한 영상과, 물리적 공간 내 위치한 실제객체들의 위치를 스캔한 공간정보(예컨대, 깊이 데이터)들을 기초로 3차원 가상공간에 물리공간의 실제객체들에 대응되는 가상객체들을 모델링한 현장 트윈모델을 생성할 수 있다. For example, the twin model modeling server 510 is a three-dimensional virtual space based on an image of the physical space of the field and spatial information (eg, depth data) scanned on the positions of real objects located in the physical space. It is possible to create an on-site twin model that models virtual objects corresponding to real objects in physical space.

또한, 트윈모델 모델링 서버(510)는, 원격 관리자의 컴퓨팅 디바이스(301: 300, 600)로부터 원격 관리자의 입력을 반영하면서 현장 트윈모델을 생성할 수 있다. In addition, the twin model modeling server 510 may generate an on-site twin model while reflecting the remote manager's input from the remote manager's computing devices 301 : 300 , 600 .

현장 모니터링 서버(520)는, 물리적 공간의 실제객체 및 현장 작업자들에 대한 정보를 현장센서 시스템(400) 또는/및 현장 작업자의 컴퓨팅 디바이스(100)로부터 수신하고, 현장 트윈모델에 실시간으로 업데이트할 수 있다. The field monitoring server 520 receives information about real objects and field workers in the physical space from the field sensor system 400 and/or the computing device 100 of field workers, and updates the field twin model in real time. can

예를 들어, 현장 모니터링 서버(520)는, 현장센서 시스템(400)으로부터 실제객체를 측정한 센서 데이터를 실시간으로 수신하고, 수신된 센서 데이터를 가상 컨텐츠로 변환한 후 현장 트윈모델의 가상객체 이미지 주변에 상기 가상 컨텐츠를 삽입한 현장 트윈모델을 생성함으로써, 생성된 현장 트윈모델을 통해 원격 관리자가 효과적으로 상기 현장 상황을 모니터링할 수 있다. For example, the on-site monitoring server 520 receives the sensor data measured by the real object from the on-site sensor system 400 in real time, converts the received sensor data into virtual content, and then a virtual object image of the on-site twin model. By creating a field twin model in which the virtual content is inserted in the vicinity, a remote manager can effectively monitor the field situation through the generated field twin model.

또한, 현장 모니터링 서버(520)는, 현장센서 시스템(400)으로부터 적어도 하나 이상의 현장 작업자에 대한 위치정보 및 현장영상을 실시간으로 수신하고, 수신된 실시간 현장 작업자의 위치정보에 대응되는 현장 트윈모델 상의 가상 위치에 상기 현장 작업자를 나타내는 가상 컨텐츠를 삽입한 현장 트윈모델을 생성함으로써, 생성된 현장 트윈모델을 통해 원격 관리자가 현장 작업자의 위치를 파악하도록 제공할 수 있다. In addition, the on-site monitoring server 520 receives the location information and the on-site image of at least one on-site worker from the on-site sensor system 400 in real time, and on the on-site twin model corresponding to the received real-time location information of the on-site operator. By creating a field twin model in which virtual content representing the field worker is inserted in a virtual location, it is possible to provide a remote manager to identify the location of the field worker through the generated field twin model.

또한, 현장 모니터링 서버(520)는, 현장 작업자의 작업에 따른 작업 이력을 현장 트윈모델에 대응되는 가상객체 또는/및 현장 작업자에 매칭된 가상 컨텐츠에 기록하고 저장함으로써, 현장 작업자 및 실제객체에 대한 작업이력을 모니터링할 수 있다. In addition, the site monitoring server 520 records and stores the work history according to the work of the field worker in a virtual object corresponding to the field twin model and/or virtual content matched to the field worker, thereby providing information about field workers and real objects. You can monitor the work history.

또한, 현장 모니터링 서버(520)는, 현장 작업자가 기 설정된 위험구역에 진입함을 현장센서 시스템(400)으로부터 감지할 수 있다. 이때, 현장 작업자 컴퓨팅 디바이스(100)에게 증강현실 환경에 기초한 알림을 제공할 수 있으며, 원격 관리자 컴퓨팅 디바이스(301: 300, 600)에는 현장 트윈모델, 증강현실 커뮤니케이션 또는/및 증강현실 환경에 따른 현장 작업자 위험 모니터링을 제공할 수 있다. In addition, the field monitoring server 520 may detect from the field sensor system 400 that the field worker enters a preset dangerous area. At this time, it is possible to provide a notification based on the augmented reality environment to the field worker computing device 100, and the remote manager computing device (301: 300, 600) has a field twin model, augmented reality communication or / and field according to the augmented reality environment. Can provide worker risk monitoring.

또한, 현장 모니터링 서버(520)는, 데이터 중계를 위한 통신설비, 컴퓨팅 장치 등을 포함할 수 있으며, 유무선 통신 네트워크를 통해 커뮤니케이션 데이터를 컴퓨팅 디바이스 간에 송수신하도록 중계함으로써, 컴퓨팅 디바이스 간 증강현실 커뮤니케이션을 수행하는 환경을 제공할 수 있다. 예를 들어, 현장 모니터링 서버(520)는, 원격 관리자 컴퓨팅 디바이스(301: 300, 600)와 현장 작업자 컴퓨팅 디바이스(100) 간에 송수신되는 커뮤니케이션 데이터를 중계하는 역할을 수행할 수 있다. In addition, the on-site monitoring server 520 may include a communication facility for data relay, a computing device, etc., and relay communication data to and from the computing devices through a wired/wireless communication network, thereby performing augmented reality communication between computing devices. environment can be provided. For example, the field monitoring server 520 may serve to relay communication data transmitted and received between the remote manager computing devices 301 : 300 and 600 and the field worker computing device 100 .

가상 컨텐츠 데이터베이스(530)에는, 증강현실 환경이나, 혼합현실 환경을 구현하기 위한 가상 컨텐츠 데이터가 저장되어 있을 수 있다. 이러한 가상 컨텐츠 데이터베이스(530)는, 상기 가상 컨텐츠를 실제객체(예컨대, 마커)나 공간좌표에 매칭시켜 가상 컨텐츠로 저장할 수 있다. Virtual content data for implementing an augmented reality environment or a mixed reality environment may be stored in the virtual content database 530 . The virtual content database 530 may store the virtual content as virtual content by matching the virtual content with a real object (eg, a marker) or spatial coordinates.

또한, 가상 컨텐츠는 현장 트윈모델의 3차원 가상공간의 가상좌표에 매칭시켜 가상 컨텐츠로 저장될 수 있다. In addition, the virtual content may be stored as virtual content by matching the virtual coordinates of the three-dimensional virtual space of the on-site twin model.

그리고 가상 컨텐츠 데이터베이스(530)는, 컴퓨팅 디바이스 요청시 상기 컴퓨팅 디바이스의 주변 물리적 공간에 매칭된 가상 컨텐츠를 전달하는 가상 컨텐츠 소스 역할을 수행할 수 있다. In addition, the virtual content database 530 may serve as a virtual content source for delivering virtual content matched to the surrounding physical space of the computing device upon request of the computing device.

또한, 가상 컨텐츠 데이터베이스(530)는, 현장 트윈모델을 구축하는 가상객체를 모델링한 3차원 가상 이미지와, 상기 가상객체에 대한 현장센서 데이터를 정보화한 가상 컨텐츠 등을 더 포함할 수 있다. In addition, the virtual content database 530 may further include a three-dimensional virtual image modeling a virtual object for constructing a field twin model, virtual content obtained by informatizing field sensor data for the virtual object, and the like.

또한, 현장공간 데이터베이스(540)는, 현장 물리적 공간을 스캔하거나 3차원 공간 모델링하여 물리적 공간에 대한 정보 데이터를 저장할 수 있다. 또한, 물리적 공간 내에 실제객체, 마커 등을 이미지 학습하여 획득된 특징 정보들이 더 저장될 수 있으며, 특징 정보들은 공간 정보와 매칭되어 저장될 수 있다. In addition, the site space database 540 may scan the site physical space or perform 3D space modeling to store information data on the physical space. In addition, characteristic information obtained by image-learning a real object, a marker, etc. in a physical space may be further stored, and the characteristic information may be matched with spatial information and stored.

즉, 서버 시스템(500)은, 컴퓨팅 디바이스의 주변 물리적 공간에 대한 가상 컨텐츠 데이터와 공간정보 데이터를 함께 송신하여, 상기 컴퓨팅 디바이스를 통해 증강현실 환경을 제공하거나 현장 트윈모델을 통해 제공할 수 있다. That is, the server system 500 may transmit virtual content data and spatial information data for the surrounding physical space of the computing device together, and provide the augmented reality environment through the computing device or through the on-site twin model.

이러한 서버 시스템(500)은, 적어도 하나 이상의 컴퓨팅 서버, 컴퓨팅 장치, 데이터베이스 서버로 구성될 수 있으며, 데이터 처리를 위한 프로세서들과, 커뮤니케이션 중계 서비스 제공을 위한 명령어들을 저장하는 메모리들을 포함할 수 있다. The server system 500 may include at least one computing server, a computing device, and a database server, and may include processors for data processing and memories for storing instructions for providing a communication relay service.

- 현장센서 시스템(400)- Field sensor system (400)

현장센서 시스템(400)은, 현장의 물리적 공간에 대한 다양한 정보(예컨대, 환경, 기계설비, 현장 작업자의 정보)를 감지하여 측정하는 다양한 센서들을 포함할 수 있다. The field sensor system 400 may include various sensors that detect and measure various information (eg, environment, mechanical equipment, and field worker information) on the physical space of the field.

예를 들어. 현장센서 시스템(400)은, 현장에 배치된 온도 센서, 습도 센서, 압력 센서, 유량 센서, 자기 센서, 광 센서, 음향 센서, 이미지 센서, 전류 센서 및 가스 센서 중 적어도 하나 이상의 센서를 포함할 수 있다. E.g. The on-site sensor system 400 may include at least one of a temperature sensor, a humidity sensor, a pressure sensor, a flow sensor, a magnetic sensor, an optical sensor, an acoustic sensor, an image sensor, a current sensor, and a gas sensor disposed in the field. there is.

실시예에서, 현장센서 시스템(400)은, 측위센서 시스템(410), 카메라 시스템(420), 장치센서 시스템(430) 및 게이트 웨이(440)를 포함한다. In an embodiment, the field sensor system 400 includes a positioning sensor system 410 , a camera system 420 , a device sensor system 430 , and a gateway 440 .

측위센서 시스템(410)은, 현장 작업자의 위치정보를 실시간으로 감지할 수 있다. The positioning sensor system 410 may sense the location information of the field worker in real time.

이러한 측위센서 시스템(410)은, 광전자 센서, 초음파 센서, 게이트형 센서, 열감지 센서, 레이저 센서, 라이다 센서, Wi-Fi 센서, 비콘(Beacon) 센서, UWB(Ultra wide band) 센서, 블루투스 센서, 이미지 분석형 센서, RFID 센서, PDR, GPS 등의 기술에 기초하여 현장 작업자의 위치정보를 감지할 수 있다. The positioning sensor system 410 is an optoelectronic sensor, an ultrasonic sensor, a gate-type sensor, a thermal sensor, a laser sensor, a lidar sensor, a Wi-Fi sensor, a beacon sensor, an ultra wide band (UWB) sensor, and a Bluetooth sensor. It is possible to detect the location information of field workers based on technologies such as sensors, image analysis sensors, RFID sensors, PDRs, and GPS.

실시예에서, 측위센서 시스템(410)은, 작업현장을 정밀하게 모니터링하거나, 위험구역에 위치한 현장 작업자의 세밀한 움직임을 감지하기 위해 정밀도가 높은 UWB 기반 실시간 측위센서 시스템(410)일 수 있다. In an embodiment, the positioning sensor system 410 may be a high-precision UWB-based real-time positioning sensor system 410 to precisely monitor a work site or detect a detailed movement of a field worker located in a hazardous area.

자세히, 측위센서 시스템(410)은, 현장 작업자가 가진 태그(UWB Tag)에서 발생되는 무선신호를 수신하는 물리적 공간에 다수 설치된 앵커(UWB Anchor)를 포함할 수 있다. In detail, the positioning sensor system 410 may include a plurality of anchors (UWB Anchors) installed in a physical space for receiving a radio signal generated from a tag (UWB Tag) possessed by a field worker.

상기 현장 작업자의 태그는, 현장유저가 별도 무선신호 송출장치 형태로 가질 수 있으나, 실시예에서는 현장 작업자의 컴퓨팅 디바이스(100)에 포함된 것으로 설명한다. The tag of the field worker may be provided by the field user in the form of a separate wireless signal transmission device, but in the embodiment, it will be described as being included in the computing device 100 of the field worker.

태그에서 발생되는 무선신호는, 현장유저의 신원정보(ID, identification) 및 타임 스탬프(time stamp)를 나노초 또는 밀리초 단위로 송출되는 UWB 무선신호일 수 있다. The radio signal generated from the tag may be a UWB radio signal that transmits the identification information (ID, identification) and time stamp of the on-site user in nanoseconds or milliseconds.

UWB에 기반한 측위 기법은 IEEE 802.15.3a와 IEEE 802.15.4a에서 상업적 이용을 위한 표준화가 시작되어 되었으므로, 상기 표준화 통신 기법을 사용하는 것으로 설명한다. Since the UWB-based positioning technique has been standardized for commercial use in IEEE 802.15.3a and IEEE 802.15.4a, it will be described as using the standardized communication technique.

자세히, IR-UWB(Impulse-Radio Ultra Wide Band)는 전송 방식에 따라 3.1~10.6 GKHZ 대역에서 100Mpbs 이상의 고속으로 데이터 전송 또한 가능하며 낮은 전력으로 수십 cm부터 이내의 정밀도 높은 위치추적이 가능한 장점이 있다. In detail, IR-UWB (Impulse-Radio Ultra Wide Band) can also transmit data at a high speed of 100Mpbs or more in the 3.1~10.6 GKHZ band depending on the transmission method, and has the advantage of high-precision location tracking within tens of cm with low power. .

물리적 공간에 소정의 간격을 두고 배치된 복수의 앵커는, 태그의 무선신호를 수신하여, 태그의 위치(예컨대, 현장 작업자의 위치)를 파악하기 위한 측위센서 데이터를 서버 시스템(500)으로 송신하거나 직접 태그 위치를 산출할 수 있다. A plurality of anchors arranged at predetermined intervals in a physical space receive a radio signal of the tag and transmit positioning sensor data for identifying the position of the tag (eg, the position of a field worker) to the server system 500 or The tag position can be calculated directly.

실시예에서, 서버 시스템(500)은 시간 동기화된 앵커들로부터 수신된 태그의 무선신호 도달 시간에 기초하여 태그의 위치를 산출하는 TDoA(Time Difference of Arrival) 방식 또는 RTT(Round Trip Time)를 계산하고 계산된 RTT를 거리로 환산하는 TWR(Two-Way Ranging) 방식 중 적어도 하나의 방식을 통해 측위센서 시스템(410)을부터 수신된 측위센서 데이터를 통해 현장 작업자의 실시간 위치정보(현장 작업자 식별정보 및 위치)를 정밀하게 산출할 수 있다. In an embodiment, the server system 500 calculates a TDoA (Time Difference of Arrival) method or RTT (Round Trip Time) for calculating a location of a tag based on the arrival time of a radio signal of the tag received from time-synchronized anchors and real-time location information (field worker identification information) of the field worker through the positioning sensor data received from the positioning sensor system 410 through at least one of the TWR (Two-Way Ranging) methods of converting the calculated RTT into a distance and position) can be precisely calculated.

측위센서 시스템(410)은, 물리적 공간의 소정의 높이의 원레이어(예컨대, 한층)에 기설정된 크기 이상의 물체가 위치한 경우, 앵커의 음영영역이 생기지 않기 위한 앵커 배치 구조를 가질 수 있다. The positioning sensor system 410 may have an anchor arrangement structure so that a shadow area of an anchor is not generated when an object of a predetermined size or more is located in a one layer (eg, one layer) of a predetermined height in a physical space.

예를 들어, 도 2를 참조하면, 예시적인 측위센서 시스템(410)은, 물리적 공간의 원레이어의 외곽에 소정의 간격을 두고 앵커들을 배치시킬 수 있다. 이때, 원레이어의 외곽의 모서리의 변곡지점에 배치된 제 1 앵커(411)들을 포함할 수 있다.For example, referring to FIG. 2 , the exemplary positioning sensor system 410 may arrange anchors at a predetermined interval on the outside of one layer in a physical space. In this case, the first anchors 411 disposed at the inflection point of the edge of the outer layer may be included.

또한, 측위센서 시스템(410)은, 제 1 앵커(411)들 사이의 최외곽에 등간격으로 배치된 제 2 앵커(412)들을 포함할 수 있다. In addition, the positioning sensor system 410 may include second anchors 412 arranged at equal intervals on the outermost side between the first anchors 411 .

또한, 측위 센서들은, 제 1 앵커(411) 및 제 2 앵커(412) 사이의 원레이어 내에 소정의 위치에 배치된 제 3 앵커(413)를 포함할 수 있다. In addition, the positioning sensors may include a third anchor 413 disposed at a predetermined position in a single layer between the first anchor 411 and the second anchor 412 .

또한, 측위센서 시스템(410)은, 기설정된 크기 이상의 물체(A)가 위치한 경우, 물체의 복수의 수직 모서리에 각각 배치된 제 4 앵커(414)들을 포함할 수 있다. Also, the positioning sensor system 410 may include fourth anchors 414 respectively disposed at a plurality of vertical corners of the object when the object A of a predetermined size or larger is located.

또한, 측위센서 시스템(410)은, 상기 제 4 앵커에 마주보는 원레이어의 외곽 모서리에 대응되는 위치에 배치된 제 5 앵커(415)들을 포함할 수 있다. In addition, the positioning sensor system 410 may include fifth anchors 415 disposed at positions corresponding to the outer corners of the one layer facing the fourth anchor.

이러한 측위센서 시스템(410)의 앵커 배치구조를 통해, 기설정된 크기 이상의 물체가 물리적 공간 내에 배치된 경우에도 음영지역 없이 태그의 무선신호를 감지하여, 다중경로(multi-path) 및/또는 LoS(Line of Sight) 문제가 발생하지 않을 수 있다. Through the anchor arrangement structure of the positioning sensor system 410, even when an object of a predetermined size or larger is disposed in a physical space, the wireless signal of the tag is detected without a shadow area, and multi-path and/or LoS (LoS) Line of Sight) problems may not occur.

또한, 현장센서 시스템(400)은, 현장 물리적 공간의 일영역을 촬영하여 현장영상을 획득하는 복수의 카메라를 가지는 카메라 시스템(420)을 포함할 수 있다. In addition, the on-site sensor system 400 may include a camera system 420 having a plurality of cameras that acquire a field image by photographing a region of the on-site physical space.

카메라 시스템(420)은, 설치된 위치로부터 전방위를 촬영하는 전방위 카메라(예컨대, 360도 카메라) 또는/및 원격 관리자의 제어에 따라서 촬영영역을 변경 가능한 적어도 하나 이상의 원격제어 카메라(예컨대, PTZ 카메라)를 포함할 수 있다. The camera system 420 includes at least one remote control camera (eg, PTZ camera) capable of changing the shooting area according to the control of a remote manager and/or an omnidirectional camera (eg, a 360-degree camera) that shoots omnidirectionally from an installed position. may include

카메라 시스템(420)은, 현장 내에 소정의 간격을 두고 배치된 전방위 카메라를 포함할 수 있으며, 전방위 카메라는 배치 위치에서 360도를 촬영하여 전방위 현장영상을 획득할 수 있다.The camera system 420 may include an omnidirectional camera disposed at a predetermined interval in the field, and the omnidirectional camera may acquire an omnidirectional field image by photographing 360 degrees at the placement position.

또한, 카메라 시스템(420)은, 현장 내에 배치된 촬영방향 및 확대/축소를 원격으로 제어할 수 있는 원격제어 카메라를 포함할 수 있다. 원격제어 카메라는, 자동 또는 원격 관리자의 제어에 따라 촬영방향 및 확대/축소된 촬영영역에 대한 현장영상을 획득할 수 있다. In addition, the camera system 420 may include a remote control camera that can remotely control the shooting direction and enlargement/reduction in the field. The remote control camera may acquire a field image for a shooting direction and an enlarged/reduced shooting area automatically or under the control of a remote manager.

장치센서 시스템(430)은, 현장에 배치된 장치의 다양한 정보를 감지하는 센서들을 포함할 수 있다. The device sensor system 430 may include sensors that detect various information of devices disposed in the field.

자세히, 장치센서 시스템(430)은, 장치에 배치된 IOT 센서, 장치 및 장치 주변 환경을 감지하기 위한 센서들을 포함하여, 장치 관련 정보를 획득할 수 있다. In detail, the device sensor system 430 may acquire device-related information, including an IOT sensor disposed in the device, and sensors for sensing the device and the device surrounding environment.

이와 같은 현장센서 시스템(400)을 통해 획득된 센서 데이터는 적어도 하나 이상의 엑세스 포인트를 포함하는 게이트 웨이(440)로 전송될 수 있다. The sensor data acquired through the on-site sensor system 400 may be transmitted to the gateway 440 including at least one or more access points.

게이트 웨이(440)는, 현장센서 시스템(400)으로부터 획득된 센서 데이터를 취합할 수 있으며, 취합된 센서 데이터를 서버 시스템(500)으로 송신하는 역할을 수행할 수 있다. The gateway 440 may collect sensor data obtained from the on-site sensor system 400 , and may serve to transmit the collected sensor data to the server system 500 .

이를 위해, 게이트 웨이(440)는, 현장센서 시스템(400)들과 다양한 유무선 통신방식을 통해 데이터를 교환할 수 있다. To this end, the gateway 440 may exchange data with the on-site sensor systems 400 through various wired/wireless communication methods.

- 컴퓨팅 디바이스 - Computing device

실시예에서 컴퓨팅 디바이스는, 현장에 위치한 현장 작업자의 컴퓨팅 디바이스(100)(이하, “현장 컴퓨팅 디바이스”)와, 원격으로 현장 상황을 모니터링하는 원격 관리자의 컴퓨팅 디바이스(301: 300, 600)(이하, “원격 컴퓨팅 디바이스”)로 구분될 수 있다. In an embodiment, the computing device includes a computing device 100 (hereinafter, “field computing device”) of a field worker located in the field, and computing devices 301: 300, 600 of a remote manager who remotely monitors the field situation (hereinafter, referred to as “field computing device”) (hereinafter referred to as “field computing device”). , “remote computing device”).

원격 컴퓨팅 디바이스(301: 300, 600)는, 설치된 모니터링 어플리케이션의 제어에 따라서 현장 물리적 공간을 반영한 현장 트윈모델을 통해 현장을 원격으로 모니터링을 수행할 수 있다. The remote computing devices 301 : 300 , 600 may remotely monitor the site through the site twin model reflecting the site physical space according to the control of the installed monitoring application.

도 3을 참조하면, 예시적으로 원격 컴퓨팅 디바이스(301: 300, 600)는 실제현장의 물리적 공간(10)에 대응되는 가상의 현장 트윈모델(50)을 생성하고 출력할 수 있다. Referring to FIG. 3 , for example, the remote computing devices 301 : 300 , 600 may generate and output the virtual site twin model 50 corresponding to the physical space 10 of the real site.

상기 현장 트윈모델(50)은, 실제객체에 대응되는 가상객체 이미지가 표시될 수 있으며, 실제객체에서 측정된 센서 데이터를 기초로 생성된 가상 컨텐츠가 상기 가상객체 이미지 주변에 표시하여, 실제객체에 대한 실시간 모니터링을 수행할 수 있다. In the on-site twin model 50, a virtual object image corresponding to a real object may be displayed, and virtual content generated based on sensor data measured from the real object is displayed around the virtual object image, and the virtual object image is displayed on the real object. real-time monitoring can be performed.

또한, 현장 트윈모델(50)은, 현장센서 시스템(400)의 센서 데이터를 기초로 현장 작업자의 실시간 위치정보를 가상 컨텐츠(VR)로 표시할 수 있으며, 가상 컨텐츠(VR)에는 현장 작업자가 입력하거나 센서 데이터를 통해 확인된 작업 이력, 작업 정보 등이 더 포함될 수 있다. In addition, the field twin model 50 may display real-time location information of field workers based on the sensor data of the field sensor system 400 as virtual contents (VR), and the field workers input to the virtual contents (VR) Alternatively, work history and work information confirmed through sensor data may be further included.

또한, 원격 컴퓨팅 디바이스(301: 300, 600)는, 현장 트윈모델(50)을 기초로 현장 컴퓨팅 디바이스와 증강현실 커뮤니케이션을 수행하여, 음성, 실제객체에 매칭된 가상 컨텐츠를 통해 작업 지시나 작업 가이던스 등을 제공할 수 있다. In addition, the remote computing device 301: 300, 600 performs augmented reality communication with the on-site computing device based on the on-site twin model 50, and provides work instructions or work guidance through virtual content matched to voice and real objects. etc. can be provided.

또한, 원격 컴퓨팅 디바이스(301: 300, 600)는, 현장 작업자가 위험구역을 진입함을 현장 트윈모델(50)을 통해 모니터링하고 증강현실 커뮤니케이션을 통해 위험상황에 대한 커뮤니케이션을 수행할 수 있다. In addition, the remote computing device 301: 300, 600 may monitor that the field worker enters the danger zone through the on-site twin model 50 and communicate about the danger situation through augmented reality communication.

실시예에 따라서, 현장에 위치한 원격 관리자가 원격 컴퓨팅 디바이스(301: 300, 600)를 통해 현장을 모니터링할 수 있으나, 이하 설명에서는 원격 관리자는 현장의 외부에 위치한 것을 기준으로 설명한다. According to an embodiment, the remote manager located at the site may monitor the site through the remote computing devices 301 : 300 , 600 , but in the following description, the remote manager will be described based on being located outside the site.

현장 컴퓨팅 디바이스(100)는, 설치된 증강현실 어플리케이션의 제어에 따라서 물리적 공간의 실제객체에 매칭된 가상 컨텐츠를 통해 작업 가이드와 작업 이력 등을 증강현실 환경 상에서 입력하는, 증강현실 기반 작업 보조 인터페이스를 수행할 수 있다. The on-site computing device 100 performs an augmented reality-based task assistance interface in which a work guide and work history are input in an augmented reality environment through virtual content matched to a real object in a physical space according to the control of the installed augmented reality application. can do.

또한, 현장 컴퓨팅 디바이스(100)의 증강현실 어플리케이션은, 원격 컴퓨팅 디바이스와 증강현실 커뮤니케이션을 수행하여, 작업 지시나 작업 가이드를 증강현실 환경에서 원격 관리자로부터 제공받을 수 있다. In addition, the augmented reality application of the field computing device 100 may perform augmented reality communication with the remote computing device to receive a work instruction or a work guide from a remote manager in an augmented reality environment.

또한, 현장 컴퓨팅 디바이스(100)의 증강현실 어플리케이션은, 위험구역 진입 시 위험상황에 대한 다각화된 알림을 증강현실 환경을 통해 제공할 수 있다. In addition, the augmented reality application of the field computing device 100 may provide a diversified notification of a dangerous situation when entering the danger zone through the augmented reality environment.

이러한 컴퓨팅 디바이스는, 증강현실 어플리케이션 또는/및 모니터링 어플리케이션이 설치된 다양한 타입(예컨대, 웨어러블 타입, 모바일 타입, 데스크 탑 타입 또는 테이블 탑 타입)의 컴퓨팅 디바이스를 포함할 수 있다. Such a computing device may include various types of computing devices (eg, wearable type, mobile type, desktop type, or table top type) in which an augmented reality application and/or a monitoring application is installed.

이하 설명에서는 현장 컴퓨팅 디바이스(100)는 웨어러블 타입 컴퓨팅 디바이스와 모바일 타입 컴퓨팅 디바이스를 포함하는 것을 기준으로 설명하고, 원격 컴퓨팅 디바이스는 데스크 탑 타입 컴퓨팅 디바이스와 테이블 탑 타입 컴퓨팅 디바이스를 포함하는 것으로 설명한다. In the following description, the field computing device 100 will be described as including a wearable type computing device and a mobile type computing device, and the remote computing device will be described as including a desktop type computing device and a table top type computing device.

다만, 원격 컴퓨팅 디바이스에 웨어러블 타입이나 모바일 타입 컴퓨팅 디바이스가 포함되는 실시예도 가능할 것이다. However, an embodiment in which a wearable type or a mobile type computing device is included in the remote computing device may also be possible.

1. 웨어러블 타입의 컴퓨팅 디바이스(100)1. Wearable type computing device 100

도 4는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(100)를 통해 증강현실 환경을 경험하는 개념도이고, 도 5는 본 발명의 실시예에 따른 웨어러블 타입의 컴퓨팅 디바이스(100)의 내부 블록도이다. 4 is a conceptual diagram of experiencing an augmented reality environment through a wearable type computing device 100 according to an embodiment of the present invention, and FIG. 5 is an internal block of a wearable type computing device 100 according to an embodiment of the present invention. It is also

실시예에 따른 컴퓨팅 디바이스(100)는, 스마트 글래스(smart glasses display)나 헤드 마운티드 디스플레이(HMD)와 같은 웨어러블 타입의 컴퓨팅 디바이스(100)를 포함할 수 있다. The computing device 100 according to an embodiment may include a wearable type computing device 100 such as a smart glasses display or a head mounted display (HMD).

스마트 글라스 타입의 컴퓨팅 디바이스(101)는, 착용되는 동안 사용자가 주변 물리적 공간을 볼 수 있도록 광을 투과하면서 사용자의 시야 상에 가상 컨텐츠(예컨대, 가상객체 이미지)를 표시하는 글라스를 포함하는 디스플레이 시스템을 포함할 수 있다.The smart glass type computing device 101 is a display system including glasses that display virtual content (eg, virtual object image) on the user's field of vision while transmitting light so that the user can see the surrounding physical space while worn. may include.

자세히, 실시예의 컴퓨팅 디바이스(101)는, 주변 물리적 공간으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다. Specifically, the computing device 101 of an embodiment may include a transparent glass display that transmits light from the surrounding physical space to reach the user's eyes, while at the same time reflecting the virtual content displayed by the display system towards the user's eyes. can

예를 들어, 도 4를 참조하면, 컴퓨팅 디바이스(101)의 증강현실 어플리케이션(111)은, 주변 물리적 공간(10)에서 실제객체(RO)와 실제객체 내 마커(MK) 등을 이미지 인식할 수 있으며, 인식된 마커(MK)에 대응되는 사용자의 시야에 가상 컨텐츠(VC1)을 표시하도록 제어할 수 있다. For example, referring to FIG. 4 , the augmented reality application 111 of the computing device 101 may recognize an image of a real object (RO) and a marker (MK) within the real object in the surrounding physical space 10 . In addition, it is possible to control to display the virtual content VC1 in the user's field of view corresponding to the recognized marker MK.

또한, 증강현실 어플리케이션(111)은, 학습된 실제객체를 인식할 수 있으며, 인식된 실제객체의 위치에 대응되는 사용자의 시야에 가상 컨텐츠(VC2)를 표시하도록 제어할 수 있다. In addition, the augmented reality application 111 may recognize the learned real object, and may control to display the virtual content VC2 in the user's field of view corresponding to the position of the recognized real object.

또한, 증강현실 어플리케이션(111)은, 학습된 실제객체나 마커(MK)를 통해 물리적 공간을 인식할 수 있으며, 인식된 공간의 특정 위치에 매칭된 가상 컨텐츠를 사용자의 시야의 대응되도록 표시할 수 있다. In addition, the augmented reality application 111 may recognize a physical space through a learned real object or marker (MK), and display virtual content matched to a specific location in the recognized space to correspond to the user's field of view. there is.

이러한 가상 컨텐츠는 컴퓨팅 디바이스에서 사용자 시야의 일부분에 디스플레이 될 수 있는 이미지 또는 영상과 같은 시각 컨텐츠를 포함할 수 있다. 예를 들어, 가상 컨텐츠는 물리적 공간의 다양한 부분을 오버레이하는 가상객체 이미지들을 포함할 수 있다. 이러한 가상객체 이미지는 2D 이미지 또는 3D 이미지로 렌더링 될 수 있다. Such virtual content may include visual content, such as an image or video, that may be displayed in a portion of the user's field of view on the computing device. For example, the virtual content may include virtual object images overlaying various parts of a physical space. This virtual object image may be rendered as a 2D image or a 3D image.

헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101)는, 디스플레이 시스템에 의해서만, 디스플레이된 이미지를 볼 수 있도록 주변 물리적 공간에 대한 광을 차단할 수 있다. 이러한 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스는, 3차원 장면을 인식시키기 위해 좌안과 우안 디스플레이 각각에 시차에 오프셋을 둔 서로 다른 이미지를 출력함으로써, 3차원 영상을 출력할 수 있다. The head mounted display type computing device 101 may block light to the surrounding physical space so that the displayed image can be viewed only by the display system. Such a head-mounted display type computing device may output a 3D image by outputting different images with an offset in parallax to each of the left eye and right eye displays in order to recognize a 3D scene.

그리고 헤드 마운티드 디스플레이 타입의 컴퓨팅 디바이스(101) 또한, 주변 물리적 공간을 촬영한 영상 및 상기 촬영한 영상을 기초로 생성된 가상 컨텐츠를 3차원 영상으로 출력함으로써, 증강현실 환경을 제공할 수 있다. In addition, the head-mounted display type computing device 101 may also provide an augmented reality environment by outputting an image of the surrounding physical space and virtual content generated based on the captured image as a 3D image.

이하에서는, 이러한 웨어러블 타입 디바이스 중 스마트 글라스 타입의 컴퓨팅 디바이스(101)를 중심으로 구체적인 구성요소를 설명하기로 한다. Hereinafter, specific components will be described focusing on the smart glass type computing device 101 among these wearable type devices.

도 5를 참조하면, 예시적인 구현에 따른 컴퓨팅 디바이스(101)는, 증강현실 어플리케이션(111)을 포함하는 메모리(110), 프로세서 어셈블리(120), 통신 모듈(130), 인터페이스 모듈(140), 입력 시스템(150), 센서 시스템(160) 및 디스플레이 시스템(170)을 포함할 수 있다. 또한, 상기 구성요소들은 컴퓨팅 디바이스(101)의 하우징 내에 포함되도록 구현될 수 있다. Referring to FIG. 5 , a computing device 101 according to an exemplary implementation includes a memory 110 including an augmented reality application 111 , a processor assembly 120 , a communication module 130 , an interface module 140 , It may include an input system 150 , a sensor system 160 , and a display system 170 . In addition, the components may be implemented to be included in a housing of the computing device 101 .

메모리(110)에는, 증강현실 어플리케이션(111)이 저장되며, 증강현실 어플리케이션(111)에는 증강현실 환경을 제공하기 위한 가상 컨텐츠, 이미지 버퍼, 위치 엔진, 가상 컨텐츠 디스플레이 엔진 등이 포함될 수 있다. 즉, 메모리(110)는 증강현실 환경을 생성하기 위해 사용될 수 있는 명령 및 데이터를 저장할 수 있다. The memory 110 stores the augmented reality application 111 , and the augmented reality application 111 may include virtual content for providing an augmented reality environment, an image buffer, a location engine, a virtual content display engine, and the like. That is, the memory 110 may store commands and data that can be used to create an augmented reality environment.

실시예에서 증강현실 어플리케이션(111)은, 증강현실 환경에 기초하여 커뮤니케이션을 수행하는 위한 커뮤니케이션 어플리케이션을 포함할 수 있다. 커뮤니케이션 어플리케이션은, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스를 제공하기 위한 각종 어플리케이션, 엔진, 데이터 및 명령어를 포함할 수 있다. In an embodiment, the augmented reality application 111 may include a communication application for performing communication based on the augmented reality environment. The communication application may include various applications, engines, data and commands for providing a network speed responsive augmented reality communication service.

또한, 증강현실 어플리케이션(111)은, 위험구역 진입 시 위험상황에 대한 알림을 증강현실 환경을 기반으로 제공하는 위험 알림 어플리케이션을 포함할 수 있다. In addition, the augmented reality application 111 may include a danger notification application that provides a notification of a dangerous situation when entering the danger zone based on the augmented reality environment.

또한, 메모리(110)는, 적어도 하나 이상의 비일시적 컴퓨터 판독 가능 저장매체와, 일시적 컴퓨터 판독 가능 저장매체를 포함할 수 있다. 예를 들어, 메모리(110)는, ROM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 메모리(110)의 저장 기능을 수행하는 웹 스토리지(web storage)를 포함할 수 있다. In addition, the memory 110 may include at least one or more non-transitory computer-readable storage media and a temporary computer-readable storage medium. For example, the memory 110 may be various storage devices such as ROM, EPROM, flash drive, hard drive, and the like, and web storage that performs a storage function of the memory 110 on the Internet. may include.

프로세서 어셈블리(120)는, 증강현실 환경을 생성하기 위한 다양한 작업을 수행하기 위해, 메모리(110)에 저장된 증강현실 어플리케이션(111)의 명령들을 실행할 수 있는 적어도 하나 이상의 프로세서를 포함할 수 있다. The processor assembly 120 may include at least one processor capable of executing instructions of the augmented reality application 111 stored in the memory 110 to perform various tasks for generating an augmented reality environment.

실시예에서 프로세서 어셈블리(120)는, 증강현실 작업 가이드, 증강현실 커뮤니케이션, 위험 알림 서비스를 제공하기 위하여 메모리(110)의 증강현실 어플리케이션(111)을 통해 구성요소의 전반적인 동작을 컨트롤할 수 있다. In an embodiment, the processor assembly 120 may control the overall operation of the components through the augmented reality application 111 of the memory 110 in order to provide the augmented reality work guide, augmented reality communication, and risk notification service.

예를 들어, 프로세서 어셈블리(120)는, 이미지 센서를 기반으로 획득된 영상으로부터 실제객체를 인식할 수 있고, 인식된 실제객체에 가상 컨텐츠를 매칭한 증강현실 영상을 생성하고 표시하도록 컴퓨팅 디바이스(101)의 구성요소들을 제어할 수 있다. For example, the processor assembly 120 may recognize a real object from an image acquired based on the image sensor, and generate and display an augmented reality image matching the recognized real object with virtual content. ) can be controlled.

이러한 프로세서 어셈블리(120)는, 중앙처리장치(CPU) 및/또는 그래픽 프로세서 장치(GPU)를 포함할 수 있다. 또한, 프로세서 어셈블리(120)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 포함하여 구현될 수 있다. The processor assembly 120 may include a central processing unit (CPU) and/or a graphics processor unit (GPU). In addition, the processor assembly 120, ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), controllers (controllers) ), micro-controllers, microprocessors, and other electrical units for performing other functions.

통신 모듈(130)은, 다른 컴퓨팅 장치(예컨대, 서버 시스템(500))와 통신하기 위한 하나 이상의 장치를 포함할 수 있다. 이러한 통신 모듈(130)은, 무선 네트워크를 통해 통신할 수 있다. Communication module 130 may include one or more devices for communicating with other computing devices (eg, server system 500 ). The communication module 130 may communicate through a wireless network.

자세히, 통신 모듈(130)은, 증강현실 환경을 구현하기 위한 가상 컨텐츠 소스를 저장한 컴퓨팅 장치와 통신할 수 있으며, 사용자 입력을 받은 컨트롤러와 같은 다양한 사용자 입력 컴포넌트와 통신할 수 있다. In detail, the communication module 130 may communicate with a computing device storing a virtual content source for implementing an augmented reality environment, and may communicate with various user input components such as a controller that has received a user input.

실시예에서 통신 모듈(130)은, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스와 관련된 커뮤니케이션 데이터를 서버 시스템(500) 및/또는 다른 컴퓨팅 디바이스와 송수신할 수 있다. In an embodiment, the communication module 130 may transmit and receive communication data related to the network speed responsive augmented reality communication service with the server system 500 and/or other computing devices.

이러한 통신 모듈(130)은, 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced),5G NR(New Radio), WIFI) 또는 근거리 통신방식 등을 수행할 수 있는 통신장치를 통해 구축된 이동 통신망 상에서 기지국, 외부의 단말, 임의의 서버 중 적어도 하나와 무선으로 데이터를 송수신할 수 있다.Such a communication module 130, the technical standards or communication methods for mobile communication (eg, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), 5G NR (New Radio), WIFI) Alternatively, data may be wirelessly transmitted/received with at least one of a base station, an external terminal, and an arbitrary server on a mobile communication network constructed through a communication device capable of performing a short-range communication method or the like.

센서 시스템(160)은, 이미지 센서(161), 위치 센서(IMU, 163), 오디오 센서(165), 거리 센서, 근접 센서, 접촉 센서 또는 태그(167) 등 다양한 센서를 포함할 수 있다. The sensor system 160 may include various sensors such as an image sensor 161 , a position sensor (IMU) 163 , an audio sensor 165 , a distance sensor, a proximity sensor, a contact sensor, or a tag 167 .

태그(167)는, 현장 작업자의 신원정보 및 실시간 타임 정보를 포함하는 무선신호를 일정간격 단위로 송출할 수 있다. The tag 167 may transmit a wireless signal including identification information and real-time time information of a field worker at regular intervals.

상기 태그(167)는, 별도의 무선신호 송출장치로 현장유저가 가질 수 있으나, 실시예에서는 현장 작업자의 컴퓨팅 디바이스에 포함된 것으로 설명한다.The tag 167 may be a separate wireless signal transmitting device and may be possessed by a field user, but in the embodiment, it will be described as being included in the field worker's computing device.

자세히, 태그(167)는, 현장유저의 신원정보(ID, identification) 및 타임 스탬프(time stamp)를 나노초 또는 밀리초 단위로 송출되는 UWB 무선신호일 수 있다. In detail, the tag 167 may be a UWB radio signal that transmits identification information (ID, identification) and time stamp of a field user in nanoseconds or milliseconds.

UWB에 기반한 측위 기법은 IEEE 802.15.3a와 IEEE 802.15.4a에서 상업적 이용을 위한 표준화가 시작되어 되었으므로, 상기 표준화 통신 기법을 사용하는 것으로 설명한다. Since the UWB-based positioning technique has been standardized for commercial use in IEEE 802.15.3a and IEEE 802.15.4a, it will be described as using the standardized communication technique.

자세히, IR-UWB(Impulse-Radio Ultra Wide Band)는 전송 방식에 따라 3.1~10.6 GKHZ 대역에서 100Mpbs 이상의 고속으로 데이터 전송 또한 가능하며 낮은 전력으로 수십 cm부터 이내의 정밀도 높은 위치추적이 가능한 장점이 있다. In detail, IR-UWB (Impulse-Radio Ultra Wide Band) can also transmit data at a high speed of 100Mpbs or more in the 3.1~10.6 GKHZ band depending on the transmission method, and has the advantage of high-precision location tracking within tens of cm with low power. .

이미지 센서(161)는, 컴퓨팅 디바이스(101) 주위의 물리적 공간(10)에 대한 이미지 및/또는 영상을 캡처할 수 있다. The image sensor 161 may capture images and/or images of the physical space 10 around the computing device 101 .

실시예에서 이미지 센서(161)는, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스에 관련된 영상을 촬영하여 획득할 수 있다.In an embodiment, the image sensor 161 may capture and acquire an image related to a network speed responsive augmented reality communication service.

또한, 이미지 센서(161)는, 컴퓨팅 디바이스(101)의 전면 또는/및 후면에 배치되어 배치된 방향측을 촬영하여 영상을 획득할 수 있으며, 컴퓨팅 디바이스(101)의 외부를 향해 배치된 카메라를 통해 작업 현장과 같은 물리적 공간(10)을 촬영할 수 있다. In addition, the image sensor 161 is disposed on the front or / and rear of the computing device 101 to obtain an image by photographing the disposed direction side, and a camera disposed toward the outside of the computing device 101 . Through this, it is possible to photograph a physical space 10 such as a work site.

이러한 이미지 센서(161)는, 이미지 센서(161)와 영상 처리 모듈을 포함할 수 있다. 자세히, 이미지 센서(161)는, 이미지 센서(161)(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. The image sensor 161 may include an image sensor 161 and an image processing module. Specifically, the image sensor 161 may process a still image or a moving image obtained by the image sensor 161 (eg, CMOS or CCD).

또한, 이미지 센서(161)는, 영상 처리 모듈을 이용하여 이미지 센서(161)를 통해 획득된 정지영상 또는 동영상을 가공해 필요한 정보를 추출하고, 추출된 정보를 프로세서에 전달할 수 있다.In addition, the image sensor 161 may process a still image or a moving image obtained through the image sensor 161 using an image processing module to extract necessary information, and transmit the extracted information to the processor.

이러한 이미지 센서(161)는, 적어도 하나 이상의 카메라를 포함하는 카메라 어셈블리일 수 있다. 카메라 어셈블리는, 가시광선 대역을 촬영하는 일반 카메라를 포함할 수 있으며, 적외선 카메라, 스테레오 카메라 등의 특수 카메라를 더 포함할 수 있다. The image sensor 161 may be a camera assembly including at least one camera. The camera assembly may include a general camera that captures a visible light band, and may further include a special camera such as an infrared camera or a stereo camera.

IMU(163)는 컴퓨팅 디바이스(101)의 움직임 및 가속도 중 적어도 하나 이상을 감지할 수 있다. 예를 들어, 가속도계, 자이로스코프, 자력계와 같은 다양한 위치 센서의 조합으로 이루어 질 수 있다. 또한, 통신 모듈(130)의 GPS와 같은 위치 통신 모듈(130)과 연동하여, 컴퓨팅 디바이스(101) 주변의 물리적 공간(10)에 대한 공간 정보를 인식할 수 있다. The IMU 163 may sense at least one of a motion and an acceleration of the computing device 101 . For example, it may consist of a combination of various position sensors such as an accelerometer, a gyroscope, and a magnetometer. In addition, by interworking with the location communication module 130 such as GPS of the communication module 130 , spatial information about the physical space 10 around the computing device 101 may be recognized.

또한, IMU(163)는, 검출된 위치 및 방향을 기초로 사용자의 시선 방향 및 머리 움직임을 검출 및 추적하는 정보를 검출할 수 있다. Also, the IMU 163 may detect information for detecting and tracking the user's gaze direction and head movement based on the detected position and direction.

또한, 일부 구현들에서, 증강현실 어플리케이션(111)은 이러한 IMU(163) 및 이미지 센서(161)를 사용하여 물리적 공간(10) 내의 사용자의 위치 및 방향을 결정하거나 물리적 공간(10) 내의 특징 또는 객체를 인식할 수 있다.Further, in some implementations, the augmented reality application 111 uses such an IMU 163 and an image sensor 161 to determine the location and orientation of a user within the physical space 10 or to determine a feature or object can be recognized.

오디오 센서(165)는, 컴퓨팅 디바이스(101) 주변의 소리를 인식할 수 있다. The audio sensor 165 may recognize a sound around the computing device 101 .

자세히, 오디오 센서(165)는, 컴퓨팅 디바이스(101) 사용자의 음성 입력을 감지할 수 있는 마이크로폰을 포함할 수 있다. Specifically, the audio sensor 165 may include a microphone capable of detecting a voice input of a user of the computing device 101 .

실시예에서 오디오 센서(165)는 증강현실 커뮤니케이션 서비스를 통해 전송할 커뮤니케이션 데이터의 음성 데이터를 사용자로부터 입력 받을 수 있다.In an embodiment, the audio sensor 165 may receive voice data of communication data to be transmitted through the augmented reality communication service from the user.

인터페이스 모듈(140)은, 컴퓨팅 디바이스(101)를 하나 이상의 다른 장치와 통신 가능하게 연결할 수 있다. 자세히, 인터페이스 모듈(140)은, 하나 이상의 상이한 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 장치를 포함할 수 있다. The interface module 140 may communicatively couple the computing device 101 with one or more other devices. Specifically, the interface module 140 may include wired and/or wireless communication devices that are compatible with one or more different communication protocols.

이러한 인터페이스 모듈(140)을 통해 컴퓨팅 디바이스(101)는, 여러 입출력 장치들과 연결될 수 있다. The computing device 101 may be connected to various input/output devices through the interface module 140 .

예를 들어, 인터페이스 모듈(140)은, 헤드셋 포트나 스피커와 같은 오디오 출력장치와 연결되어, 오디오를 출력할 수 있다. For example, the interface module 140 may be connected to an audio output device such as a headset port or a speaker to output audio.

예시적으로 오디오 출력장치가 인터페이스 모듈(140)을 통해 연결되는 것으로 설명하였으나, 컴퓨팅 디바이스(101) 내부에 설치되는 실시예도 포함될 수 있다. Although it has been described that the audio output device is connected through the interface module 140 by way of example, an embodiment in which the audio output device is installed inside the computing device 101 may also be included.

이러한 인터페이스 모듈(140)은, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리(110) 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port), 전력 증폭기, RF 회로, 송수신기 및 기타 통신 회로 중 적어도 하나를 포함하여 구성될 수 있다. The interface module 140 is a device equipped with a wired/wireless headset port, an external charger port, a wired/wireless data port, a memory 110 card port, and an identification module. port to connect to, audio I/O (Input/Output) port, video I/O (Input/Output) port, earphone port, power amplifier, RF circuit, transceiver and It may be configured to include at least one of other communication circuits.

입력 시스템(150)은 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스와 관련된 사용자의 입력(예를 들어, 제스처, 음성 명령, 버튼의 작동 또는 다른 유형의 입력)을 감지할 수 있다. The input system 150 may detect a user's input (eg, gesture, voice command, operation of a button, or other type of input) related to the network speed responsive augmented reality communication service.

자세히, 입력 시스템(150)은 버튼, 터치 센서 및 사용자 모션 입력을 수신하는 이미지 센서(161)를 포함할 수 있다. Specifically, the input system 150 may include a button, a touch sensor, and an image sensor 161 that receives user motion input.

또한, 입력 시스템(150)은, 인터페이스 모듈(140)을 통해 외부 컨트롤러와 연결되어, 사용자의 입력을 수신할 수 있다. Also, the input system 150 may be connected to an external controller through the interface module 140 to receive a user's input.

디스플레이 시스템(170)은, 컴퓨팅 디바이스(101) 주변 물리적 공간(10)으로부터의 광이 사용자의 눈에 도달하도록 투과함과 동시에, 디스플레이 시스템(170)에 의해 표시된 가상 컨텐츠를 사용자의 눈을 향해 반사시키는 투명한 글래스 디스플레이를 포함할 수 있다. The display system 170 transmits light from the physical space 10 surrounding the computing device 101 to reach the user's eyes, while reflecting the virtual content displayed by the display system 170 towards the user's eyes. It may include a transparent glass display.

이러한 디스플레이 시스템(170)은, 컴퓨팅 디바이스(101)를 착용한 사용자의 좌안에 대응되는 좌측 디스플레이(171)와, 우안에 대응되는 우측 디스플레이(172)를 포함할 수 있으며, 좌측 디스플레이(171)와 우측 디스플레이(172)는 시차에 오프셋을 둔 서로 다른 이미지를 가상 컨텐츠로 출력함으로써, 사용자는 가상 컨텐츠를 3차원 이미지로 인식할 수 있다. The display system 170 may include a left display 171 corresponding to the left eye of the user wearing the computing device 101 and a right display 172 corresponding to the right eye of the user wearing the computing device 101 , and the left display 171 and The right display 172 outputs different images with an offset to the parallax as virtual content, so that the user may recognize the virtual content as a 3D image.

실시예에서 디스플레이 시스템(170)은, 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스와 관련된 다양한 정보를 그래픽 이미지로 출력할 수 있다. In an embodiment, the display system 170 may output various information related to the network speed responsive augmented reality communication service as a graphic image.

이러한 디스플레이는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다. Such displays include a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display. , a three-dimensional display (3D display), may include at least one of the electronic ink display (e-ink display).

이러한 웨어러블 타입 컴퓨팅 디바이스(101)는, 작업 현장과 같은 물리적 공간(10)에 위치한 현장 작업자가 현장 작업을 수행하며 착용하여 사용할 수 있다. The wearable type computing device 101 may be worn by a field worker located in a physical space 10 such as a work site while performing field work.

2. 모바일 타입 컴퓨팅 디바이스(200)2. Mobile type computing device 200

도 6은 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스를 통해 증강현실 환경을 경험하는 개념도이고, 도 7은는 본 발명의 실시예에 따른 모바일 타입의 컴퓨팅 디바이스의 내부 블록도이다. 6 is a conceptual diagram of experiencing an augmented reality environment through a mobile-type computing device according to an embodiment of the present invention, and FIG. 7 is an internal block diagram of a mobile-type computing device according to an embodiment of the present invention.

다른 예시에서 컴퓨팅 디바이스(200)는, 증강현실 어플리케이션(211)이 설치된 스마트 폰이나 테블릿 PC와 같은 모바일 장치일 수 있다. 이러한 모바일 타입 컴퓨팅 디바이스(200)는, 이미지 센서로 주변 물리적 공간(10)의 영상을 캡처하고, 디스플레이 시스템을 통해 캡처된 영상과 물리적 공간(10)에 매칭되어 표시되는 가상 컨텐츠를 표시하여 증강현실 환경을 사용자에게 제공할 수 있다. In another example, the computing device 200 may be a mobile device such as a smart phone or a tablet PC on which the augmented reality application 211 is installed. The mobile type computing device 200 captures an image of the surrounding physical space 10 with an image sensor, and displays the virtual content displayed by matching the captured image and the physical space 10 through the display system to augment reality. environment can be provided to users.

예를 들어, 컴퓨팅 디바이스는 스마트 폰(smart phone), 휴대폰, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC(tablet PC), 등이 포함될 수 있다. For example, the computing device may include a smart phone, a mobile phone, a digital broadcasting terminal, personal digital assistants (PDA), a portable multimedia player (PMP), a tablet PC, and the like.

도 6을 참조하면, 모바일 타입 컴퓨팅 디바이스(200)의 증강현실 어플리케이션(211)은, 주변 물리적 공간(10)에서 실제객체(RO)와 마커(MK) 등을 이미지 캡처하고 디스플레이 시스템을 제어하여 표시할 수 있다. 또한, 증강현실 어플리케이션(211)은, 인식된 마커(MK)에 대응되는 위치에 가상 컨텐츠(VC1)을 표시하도록 제어할 수 있다. 또한, 증강현실 어플리케이션(211)은, 특정 실제객체를 학습하여 인식할 수 있으며, 인식된 특정 실제객체의 위치에 대응되는 사용자의 시야에 가상 컨텐츠(VC2)를 표시하도록 제어할 수 있다. Referring to FIG. 6 , the augmented reality application 211 of the mobile type computing device 200 captures images of real objects (RO) and markers (MK) in the surrounding physical space 10 and displays them by controlling the display system. can do. Also, the augmented reality application 211 may control to display the virtual content VC1 at a position corresponding to the recognized marker MK. In addition, the augmented reality application 211 may learn and recognize a specific real object, and may control to display the virtual content VC2 in the user's field of view corresponding to the recognized location of the specific real object.

도 7을 참조하면, 예시적인 구현에 따른 모바일 타입 컴퓨팅 디바이스(200)는, 메모리(210), 프로세서 어셈블리(220), 통신 모듈(230), 인터페이스 모듈(240), 입력 시스템(250), 센서 시스템(260) 및 디스플레이 시스템(270)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(200)의 하우징 내에 포함되도록 구성될 수 있다. Referring to FIG. 7 , a mobile type computing device 200 according to an exemplary implementation includes a memory 210 , a processor assembly 220 , a communication module 230 , an interface module 240 , an input system 250 , and a sensor. may include a system 260 and a display system 270 . These components may be configured to be included within a housing of the computing device 200 .

모바일 타입 컴퓨팅 디바이스(200)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.In the description of the components of the mobile type computing device 200, the overlapping contents will be replaced with the description of the components of the wearable type computing device 101. Hereinafter, the differences with the wearable type computing device 101 will be described. explained in the center.

이러한 모바일 타입 컴퓨팅 디바이스(200)의 하우징 내에는 상기 구성요소들이 배치될 수 있으며, 사용자 인터페이스는 사용자 터치 입력을 수신하도록 구성된 디스플레이(271) 상에 터치 센서(273)를 포함할 수 있다. The above components may be disposed within the housing of this mobile type computing device 200 , and the user interface may include a touch sensor 273 on a display 271 configured to receive user touch input.

자세히, 디스플레이 시스템(270)은, 이미지를 출력하는 디스플레이(271)와, 사용자의 터치 입력을 감지하는 터치 센서(273)를 포함할 수 있다.In detail, the display system 270 may include a display 271 that outputs an image and a touch sensor 273 that detects a user's touch input.

예시적으로 디스플레이(271)는 터치 센서(273)와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린으로 구현될 수 있다. 이러한 터치 스크린은, 컴퓨팅 디바이스(200)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부로써 기능함과 동시에, 컴퓨팅 디바이스(200)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.Exemplarily, the display 271 may be implemented as a touch screen by forming a layer structure with the touch sensor 273 or being integrally formed therewith. Such a touch screen may function as a user input unit that provides an input interface between the computing device 200 and the user, and may provide an output interface between the computing device 200 and the user.

또한, 센서 시스템(260)은, 이미지 센서(261)를 포함하며, 예시적으로 이미지 센서(261)는 컴퓨팅 디바이스(200)의 하우징에 일측 면과 타측 면에 배치될 수 있다. Also, the sensor system 260 includes an image sensor 261 , and for example, the image sensor 261 may be disposed on one side and the other side of the housing of the computing device 200 .

이때, 일측 면의 이미지 센서가 물리적 공간(10)을 향해 배향되어 물리적 공간(10)을 촬영한 영상을 캡처할 수 있으며, 타측 면의 이미지 센서는 사용자 측을 향해 배향되어 사용자 시야, 제스처 등을 촬영할 수 있다. At this time, the image sensor on one side is oriented toward the physical space 10 to capture an image photographed in the physical space 10, and the image sensor on the other side is oriented toward the user side to control the user's view, gestures, etc. can be filmed

이러한 모바일 타입 컴퓨팅 디바이스(200)는, 작업 현장과 같은 물리적 공간(10)에 위치한 현장 작업자에게 적합할 수 있다. This mobile type computing device 200 may be suitable for a field worker located in a physical space 10 such as a job site.

3. 데스크 탑 타입 컴퓨팅 디바이스(300)3. Desktop type computing device (300)

도 8은 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스를 통해 현장 트윈모델을 제공하는 모습의 일례이고, 도 9는 본 발명의 실시예에 따른 데스크 탑 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다. 8 is an example of a state of providing an on-site twin model through a desktop-type computing device according to an embodiment of the present invention, and FIG. 9 is an internal block diagram of a desktop-type computing device according to an embodiment of the present invention. This is an example.

데스크 탑 타입 컴퓨팅 디바이스의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(101)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 웨어러블 타입 컴퓨팅 디바이스(101)와의 차이점을 중심으로 설명한다.In the description of the above components of the desktop type computing device, the overlapping contents will be replaced with the description of the components of the wearable type computing device 101 . Hereinafter, the differences with the wearable type computing device 101 will be mainly Explain.

이러한 데스크 탑 타입 컴퓨팅 디바이스는, 현장 트윈모델(50)에 기초하여 현장을 모니터링하기 위한 모니터링 어플리케이션이 설치될 수 있다. In such a desktop type computing device, a monitoring application for monitoring the field based on the field twin model 50 may be installed.

도 8을 참조하면, 데스크 탑 타입 컴퓨팅 디바이스(300)의 모니터링 어플리케이션은, 디스플레이 장치(370)를 제어하여 물리적 공간에 대응되는 가상의 현장 트윈모델(50)을 출력할 수 있고, 현장 트윈모델에는 가상 컨텐츠(VR)가 표시도리 수 있다. Referring to FIG. 8 , the monitoring application of the desktop type computing device 300 may control the display device 370 to output a virtual field twin model 50 corresponding to a physical space, and the field twin model includes Virtual content (VR) may be displayed.

상기 현장 트윈모델(50)은, 실제객체에 대응되는 가상객체 이미지가 표시될 수 있으며, 실제객체에서 측정된 센서 데이터를 기초로 생성된 가상 컨텐츠가 상기 가상객체 이미지 주변에 표시하여, 실제객체에 대한 실시간 모니터링을 수행할 수 있다.In the on-site twin model 50, a virtual object image corresponding to a real object may be displayed, and virtual content generated based on sensor data measured from the real object is displayed around the virtual object image, and the virtual object image is displayed on the real object. real-time monitoring can be performed.

또한, 데스크 탑 타입 컴퓨팅 디바이스(300)의 모니터링 어플리케이션은, 현장 트윈모델(50), 현장영상 또는/및 현장 작업자의 촬영영상에 기초하여 현장의 물리적 공간에 대응되는 가상 컨텐츠를 생성하는 인터페이스를 제공할 수 있으며, 이와 같이 생성된 가상 컨텐츠는 물리적 공간에 대응되는 위치에 생성되어 표시될 수 있다. In addition, the monitoring application of the desktop type computing device 300 provides an interface for generating virtual content corresponding to the physical space of the field based on the on-site twin model 50, the on-site image or/and the photographed image of the field worker. In this way, the generated virtual content may be generated and displayed at a location corresponding to the physical space.

도 9를 참조하면, 다른 예시에서 컴퓨팅 디바이스(300)는, 모니터링 어플리케이션(311)이 설치된 고정형 데스크 탑 PC, 노트북 컴퓨터(laptop computer), 울트라북(ultrabook)과 같은 퍼스널 컴퓨터 등과 같이 유/무선 통신을 기반으로 네트워크 속도 반응형 증강현실 커뮤니케이션 서비스를 실행하기 위한 프로그램이 설치된 장치를 더 포함할 수 있다.Referring to FIG. 9 , in another example, the computing device 300 provides wired/wireless communication such as a fixed desktop PC, a laptop computer, and a personal computer such as an ultrabook in which the monitoring application 311 is installed. Based on the network speed may further include a device installed with a program for executing the responsive augmented reality communication service.

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 타 사용자의 컴퓨팅 디바이스(300)에서 주변 물리적 공간을 촬영한 영상을 수신하고, 수신된 영상 및 상기 물리적 공간에 매칭된 가상 컨텐츠를 증강하여 표시함으로써, 증강현실 환경을 사용자에게 제공할 수 있다. The desktop-type computing device 300 receives an image captured in the surrounding physical space from the computing device 300 of another user, and augments and displays the received image and virtual content matched to the physical space, A real environment may be provided to the user.

또한, 데스크 탑 타입 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 포함하여, 사용자 입력(예컨대, 터치 입력, 마우스 입력, 키보드 입력, 제스처 입력, 가이드 도구를 이용한 모션 입력 등)을 수신할 수 있다. In addition, the desktop type computing device 300 includes the user interface system 350 to receive user input (eg, touch input, mouse input, keyboard input, gesture input, motion input using a guide tool, etc.). can

예시적으로, 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 다양한 통신 프로토콜로 마우스(351), 키보드(352), 제스처 입력 컨트롤러, 이미지 센서(361)(예컨대, 카메라) 및 오디오 센서(365) 등 적어도 하나의 장치와 연결되어, 사용자 입력을 획득할 수 있다. Illustratively, the computing device 300 uses the user interface system 350 with various communication protocols such as a mouse 351 , a keyboard 352 , a gesture input controller, an image sensor 361 (eg, a camera), and an audio sensor ( 365), etc., may be connected to at least one device to obtain a user input.

또한, 데스크 탑 타입의 컴퓨팅 디바이스(300)는, 유저 인터페이스 시스템(350)을 통해 외부 출력 장치와 연결될 수 있으며, 예컨대, 디스플레이 장치(370), 오디오 출력 장치 등에 연결될 수 있다. Also, the desktop type computing device 300 may be connected to an external output device through the user interface system 350 , for example, the display device 370 , an audio output device, or the like.

예시적인 구현으로, 데스크 탑 컴퓨팅 디바이스(300)의 모니터링 어플리케이션(311)은, 디스플레이 장치(370)를 통해 타유저의 컴퓨팅 디바이스(300)의 영상을 획득하여 출력할 수 있으며, 상기 영상이나 현장 트윈모델(50)에 대응한 사용자 입력을 수신하고 수신된 사용자 입력에 따라 영상 또는 현장 트윈모델(50)에 대응되는 가상 컨텐츠를 생성할 수 있다. In an exemplary implementation, the monitoring application 311 of the desktop computing device 300 may obtain and output an image of the computing device 300 of another user through the display device 370, and may output the image or the scene twin A user input corresponding to the model 50 may be received, and an image or virtual content corresponding to the on-site twin model 50 may be generated according to the received user input.

또한, 모니터링 어플리케이션(311)은, 영상의 물리적 공간 내 센서 시스템(260)이나 기 매칭된 가상 컨텐츠 소스로부터 데이터를 수신하고, 수신된 데이터를 영상과 매칭된 가상 컨텐츠로 생성할 수 있다. Also, the monitoring application 311 may receive data from the sensor system 260 or a previously matched virtual content source in the physical space of the image, and generate the received data as virtual content matched with the image.

또한, 모니터링 어플리케이션(311)은, 이와 같이 생성된 가상 컨텐츠를 디스플레이 장치에서 출력되는 촬영영상, 현장영상 또는 현장 트윈모델(50)에 오버레이하여 출력함으로써, 사용자에게 증강현실 환경을 제공할 수 있다. In addition, the monitoring application 311 may provide an augmented reality environment to the user by overlaying the generated virtual content on the captured image, the on-site image, or the on-site twin model 50 output from the display device.

또한, 모니터링 어플리케이션(311)은, 통신 모듈(330)을 통해 생성된 가상 컨텐츠를 커뮤니케이션 데이터로 송신하여, 음성, 화상과 더불어 물리적 공간(10)에 대응된 가상 컨텐츠를 의사소통을 위한 매개로 활용할 수 있다. In addition, the monitoring application 311 transmits the virtual content generated through the communication module 330 as communication data, and utilizes the virtual content corresponding to the physical space 10 along with voice and image as a communication medium. can

예시적인 구현에 따른 데스크 탑 타입 컴퓨팅 디바이스(300)는, 메모리(310), 프로세서 어셈블리(320), 통신 모듈(330), 유저 인터페이스 시스템(350) 및 입력 시스템(340)을 포함할 수 있다. 이러한 구성요소들은 컴퓨팅 디바이스(300)의 하우징 내에 포함되도록 구성될 수 있다. The desktop type computing device 300 according to the example implementation may include a memory 310 , a processor assembly 320 , a communication module 330 , a user interface system 350 , and an input system 340 . These components may be configured to be included within a housing of the computing device 300 .

데스크 탑 타입 컴퓨팅 디바이스(300)의 상기 구성요소에 대한 설명 중 중복되는 내용은 웨어러블 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 한다. In the description of the above components of the desktop type computing device 300 , the overlapping contents will be replaced with the description of the components of the wearable type computing device 300 .

이러한 데스크 탑 타입 컴퓨팅 디바이스(300)는, 현장 작업자의 컴퓨팅 디바이스(300)와 연동하여 원격으로 지시나 필요한 정보를 전달하는 원격 관리자가 사용하기 유리할 수 있다. The desktop type computing device 300 may be advantageously used by a remote manager who remotely transmits instructions or necessary information in conjunction with the computing device 300 of a field worker.

4. 테이블 탑 타입 컴퓨팅 디바이스(600)4. Table Top Type Computing Device (600)

예시적 구현에 따르면 테이블 탑 타입의 컴퓨팅 디바이스(600)는, 기존 데스크 탑 타입의 컴퓨팅 디바이스(300)와 다른 새로운 형상과 구조의 테이블 탑(Tabletop) 형상으로 구현될 수 있고, 이러한 경우 테이블 탑 내에 포함된 시스템을 통해 증강현실 환경에 기초한 입출력 인터페이스를 제공할 수 있다. According to an exemplary implementation, the tabletop type computing device 600 may be implemented in a new shape and structure different from the existing desktop type computing device 300 , and in this case, the tabletop type computing device 600 may be An input/output interface based on the augmented reality environment can be provided through the included system.

테이블 탑 타입 컴퓨팅 디바이스(600)의 상기 구성요소에 대한 설명 중 중복되는 내용은 데스크 탑 타입 컴퓨팅 디바이스(300)의 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 데스크 탑 타입 컴퓨팅 디바이스(300)와의 차이점을 중심으로 설명한다.In the description of the components of the table-top type computing device 600 , the overlapping contents will be replaced with the description of the components of the desktop type computing device 300 . Hereinafter, the desktop type computing device 300 . The difference between and will be explained.

도 10은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스를 통해 증강현실 커뮤니케이션을 경험하는 일례이고, 도 11은 본 발명의 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스의 내부 블록도의 일례이다. 10 is an example of experiencing augmented reality communication through a table-top type computing device according to an embodiment of the present invention, and FIG. 11 is an example of an internal block diagram of a table-top type computing device according to an embodiment of the present invention .

테이블 탑(Tabletop) 타입 컴퓨팅 디바이스(600)란, 원격 관리자가 현장 작업자의 컴퓨팅 디바이스(100)로부터 수신되는 영상을 용이하게 확인하고, 해당 영상에 표시되는 객체에 대한 작업 가이던스를 가상 컨텐츠를 기반으로 수월하게 입력하도록 하는 입출력 인터페이스를 제공하는 장치일 수 있다. The tabletop type computing device 600 is a remote manager that easily checks an image received from the computing device 100 of a field worker, and provides operation guidance for an object displayed on the image based on virtual content. It may be a device that provides an input/output interface for easy input.

또한, 테이블 탑 타입 컴퓨팅 디바이스(600)는, 원격 관리자가 현장 트윈모델(50)에 표시되는 객체 이미지에 대한 작업 가이던스를 가상 컨텐츠를 기반으로 수월하게 입력하도록 하는 입출력 인터페이스 시스템을 제공하는 장치일 수 있다.In addition, the table-top type computing device 600 may be a device that provides an input/output interface system that allows a remote administrator to easily input operation guidance for an object image displayed on the on-site twin model 50 based on virtual content. there is.

즉, 테이블 탑 타입 컴퓨팅 디바이스(600)는, 타 유저의 컴퓨팅 디바이스로부터 획득되는 영상 상에, 현재 위치에서 획득되는 영상의 실재객체를 기반으로 생성되는 가상 컨텐츠를 표시한 증강/혼합현실 영상을 생성 및 제공하는 시스템일 수 있다. That is, the tabletop type computing device 600 generates an augmented/mixed reality image in which virtual content generated based on a real object of an image acquired at a current location is displayed on an image acquired from a computing device of another user. And it may be a system that provides.

도 10 및 도 11을 참조하면, 예시적인 테이블 탑 타입 컴퓨팅 디바이스(600)는, 메모리(610), 프로세서 어셈블리(620), 통신 모듈(630), 인터페이스 모듈(640), 입력 시스템(650), 센서 시스템(660) 및 디스플레이 시스템(670)을 포함할 수 있다. 10 and 11 , an exemplary table top type computing device 600 includes a memory 610 , a processor assembly 620 , a communication module 630 , an interface module 640 , an input system 650 , It may include a sensor system 660 and a display system 670 .

이러한 구성요소들은 컴퓨팅 디바이스(600)의 하우징 내에 포함되도록 구성될 수 있다. 테이블 탑 타입 컴퓨팅 디바이스(600)의 상기 구성요소에 대한 설명 중 중복되는 내용은 상기 기술한 구성요소에 대한 설명으로 대체하기로 하며, 이하에서는 차이점을 중심으로 설명한다.These components may be configured to be included within a housing of the computing device 600 . In the description of the components of the table-top type computing device 600 , the overlapping contents will be replaced with the description of the above-described components, and below, the differences will be mainly described.

도 10을 보면, 예시의 테이블 탑 타입 컴퓨팅 디바이스(600)는, 디스플레이 시스템(670)을 통해 타 컴퓨팅 디바이스에서 촬영된 촬영영상(또는, 현장 트윈모델(50))과, 상기 촬영영상(또는, 현장 트윈모델(50))에 연관된 가상 컨텐츠를 출력하여 증강현실 환경을 사용자에게 제공할 수 있다. Referring to FIG. 10 , an exemplary table-top type computing device 600 includes a captured image (or on-site twin model 50) captured by another computing device through a display system 670, and the captured image (or, The augmented reality environment may be provided to the user by outputting virtual content related to the on-site twin model 50).

또한, 테이블 탑 타입 컴퓨팅 디바이스(600)는, 디스플레이 시스템(670)의 디스플레이(671) 상에 터치 센서(673)를 통해 촬영영상(또는, 현장 트윈모델(50))에 대한 사용자의 포인팅, 드래그 등의 터치 입력을 받는 입출력 인터페이스를 제공할 수 있다. In addition, the table-top type computing device 600 is the user's pointing and dragging on the captured image (or the on-site twin model 50) through the touch sensor 673 on the display 671 of the display system 670 . It is possible to provide an input/output interface for receiving a touch input, such as a touch input.

또한, 테이블 탑 타입 컴퓨팅 디바이스(600)는, 디스플레이 시스템(670) 상에 배치된 센서 시스템(660)(예컨대, 이미지 센서(661))를 통해 사용자의 손(LH, RH)의 제스처 입력을 받을 수 있으며, 가이드 도구(Guide tool, GT)에 따른 동작 입력을 받을 수 있다. 이러한 제스처 입력과 가이드 도구의 동작 입력 또한 디스플레이(671)에 촬영영상(또는, 현장 트윈모델(50))에 대응하여 입력될 수 있으며, 컴퓨팅 디바이스(600)는 촬영영상(또는, 현장 트윈모델(50))에 표시된 실제객체 이미지에 매칭하여 상기 사용자 입력을 감지할 수 있다. In addition, the table top type computing device 600 may receive a gesture input of the user's hands LH and RH through the sensor system 660 (eg, the image sensor 661 ) disposed on the display system 670 . and may receive a motion input according to a guide tool (GT). Such gesture input and operation input of the guide tool may also be input to the display 671 in response to the captured image (or the on-site twin model 50), and the computing device 600 may display the captured image (or the on-site twin model ( 50))), the user input can be detected by matching the real object image.

즉, 실시예에 따른 테이블 탑 타입의 컴퓨팅 디바이스(600)의 모니터링 어플리케이션(611)은, 센서 시스템(660)을 통해 획득된 사용자 입력 기반으로 가상 컨텐츠를 시각화하여 제공하는 서비스를 구현하기 위한 일련의 프로세스를 실행할 수 있다. 이때, 사용자 입력은 디스플레이에 표시된 촬영영상(또는, 현장 트윈모델(50))에 대응하여 수행되기 때문에, 입출력 인터페이스를 함께 제공함으로써, 사용자는 좀더 직관적으로 촬영영상(또는, 현장 트윈모델(50))에 대한 사용자 입력이 가능할 수 있다. That is, the monitoring application 611 of the tabletop type computing device 600 according to the embodiment is a series of services for implementing a service provided by visualizing virtual content based on a user input obtained through the sensor system 660 . process can be run. At this time, since the user input is performed in response to the captured image (or the on-site twin model 50) displayed on the display, by providing an input/output interface together, the user more intuitively the captured image (or the on-site twin model 50) ) may be input by the user.

<실시간 현장 작업 모니터링 방법><Real-time field work monitoring method>

이하, 원격 관리자의 컴퓨팅 디바이스(이하, 원격 컴퓨팅 디바이스(301))의 모니터링 어플리케이션(311, 611)이 실시간으로 현장 작업을 모니터링하는 방법을 도 12 내지 도 17를 참조하여 상세히 설명한다. Hereinafter, a method in which the monitoring applications 311 and 611 of the remote manager's computing device (hereinafter, the remote computing device 301 ) monitor the field work in real time will be described in detail with reference to FIGS. 12 to 17 .

여기서의 모니터링 어플리케이션(311, 611)은 원격 컴퓨팅 디바이스(301) 중 하나인 데스크 탑 타입의 컴퓨팅 디바이스(300)의 모니터링 어플리케이션(311) 및/또는 테이블 탑 타입의 컴퓨팅 디바이스(600)의 모니터링 어플리케이션(611)을 의미한다. 실시예에 따라서, 모바일 타입의 컴퓨팅 디바이스(200) 또는/및 웨어러블 타입의 컴퓨팅 디바이스(101, 102) 또한 모바일 어플리케이션이 설치되어, 실시간으로 현장 모니터링할 수 있다. Here, the monitoring applications 311 and 611 are the monitoring applications 311 of the desktop-type computing device 300 that is one of the remote computing devices 301 and/or the monitoring applications of the table-top-type computing device 600 ( 611). According to an embodiment, the mobile type computing device 200 and/or the wearable type computing devices 101 and 102 may also have a mobile application installed, so that field monitoring may be performed in real time.

이하, 설명에서는, 데스크 탑 타입의 컴퓨팅 디바이스(300)의 모니터링 어플리케이션(311)을 기준으로 실시간 현장 작업을 모니터링 하는 방법을 수행하는 과정을 상세히 설명한다. Hereinafter, a process of performing a method of monitoring real-time field work based on the monitoring application 311 of the desktop type computing device 300 will be described in detail.

원격 컴퓨팅 디바이스(300)의 모니터링 어플리케이션(311)은, 카메라 시스템(420)의 카메라 정보를 나타내는 가상 컨텐츠를 포함한 현장 트윈모델(50)을 출력할 수 있다. (S101)The monitoring application 311 of the remote computing device 300 may output the on-site twin model 50 including virtual content representing camera information of the camera system 420 . (S101)

모니터링 어플리케이션(311)은, 현장의 물리적 공간을 3차원 가상 공간에 대응한 현장 트윈모델(50)을 서버 시스템(500) 또는/및 메모리(310)로부터 수신하여, 디스플레이 장치(370)를 통해 출력할 수 있다. The monitoring application 311 receives the site twin model 50 corresponding to the three-dimensional virtual space of the physical space of the site from the server system 500 and/or the memory 310, and outputs it through the display device 370 can do.

여기서, 현장 트윈모델(50)은, 현장의 물리적 공간을 스캔한 데이터(예컨대, 영상 및 깊이 정보)를 기초로 물리적 공간을 3차원 가상공간에 맵핑하여 생성된 3차원 가상 모델일 수 있다. 따라서, 실제 현장의 3차원 공간좌표와 3차원 가상공간의 가상좌표가 매칭될 수 있으며, 3차원 공간의 실제객체는 실제객체의 실제좌표에 매칭된 상기 3차원 가상공간의 가상좌표에 가상객체로 현장 트윈모델(50)에 포함될 수 있다. Here, the site twin model 50 may be a three-dimensional virtual model generated by mapping a physical space to a three-dimensional virtual space based on data (eg, image and depth information) scanned in the physical space of the site. Accordingly, the 3D space coordinates of the real site and the virtual coordinates of the 3D virtual space can be matched, and the real object of the 3D space is a virtual object with the virtual coordinates of the 3D virtual space matched with the real coordinates of the real object. It may be included in the field twin model 50 .

모니터링 어플리케이션(311)은, 현장센서 시스템(400)이 현장의 물리적 공간을 촬영한 현장영상과, 물리적 공간 내 위치한 실제객체들의 위치를 스캔한 공간정보(예컨대, 실제객체의 깊이 데이터)들을 기초로 3차원 가상공간에 물리공간의 실제객체들에 대응되는 가상객체들을 3차원 모델링한 현장 트윈모델(50)을 생성할 수 있다.The monitoring application 311 is based on the field image in which the field sensor system 400 captures the physical space of the field, and spatial information (eg, depth data of the actual object) that scans the locations of real objects located in the physical space. It is possible to create a scene twin model 50 in which virtual objects corresponding to real objects in physical space are three-dimensionally modeled in a three-dimensional virtual space.

또한, 모니터링 어플리케이션(311)은, 현장을 카메라 시스템(420)에서 촬영된 현장영상으로 감시하기 위하여, 현장 트윈모델(50) 상에 카메라 시스템(420)에 대응되는 가상 카메라 이미지를 생성하여 출력할 수 있다. In addition, the monitoring application 311 generates and outputs a virtual camera image corresponding to the camera system 420 on the on-site twin model 50 in order to monitor the scene as a field image taken by the camera system 420. can

자세히, 모니터링 어플리케이션(311)은, 현장 카메라 시스템(420)에 포함된 카메라의 실제위치에 대응되는 3차원 가상공간의 가상위치에 가상 카메라 정보를 나타내는 가상 카메라 이미지를 삽입한 현장 트윈모델(50)을 출력할 수 있다. In detail, the monitoring application 311 is an on-site twin model 50 in which a virtual camera image representing virtual camera information is inserted into a virtual location in a three-dimensional virtual space corresponding to the actual location of the camera included in the on-site camera system 420 . can be printed out.

상기 가상 카메라 이미지는, 카메라의 종류(예컨대, 전방위인지, 원격제어가 가능한 제어 카메라인지 등), 카메라 촬영영역, 카메라 촬영방향 및 카메라의 가능한 촬영영역 중 적어도 하나 이상의 정보를 나타낼 수 있다. The virtual camera image may indicate information about at least one of a camera type (eg, omnidirectional or a remote-controllable control camera, etc.), a camera photographing area, a camera photographing direction, and a possible photographing area of the camera.

도 13을 참조하면, 현장 트윈모델(50)에는, 현장 물리적 공간에 전방위 카메라에 대응하는 제 1 가상 카메라 이미지(421i)가 표시될 수 있다. 예를 들어, 제 1 가상 카메라 이미지(421i)는 전방위 카메라를 나타내는 픽토그램으로 표시될 수 있다. Referring to FIG. 13 , in the on-site twin model 50 , a first virtual camera image 421i corresponding to an omnidirectional camera may be displayed in the on-site physical space. For example, the first virtual camera image 421i may be displayed as a pictogram representing an omnidirectional camera.

또한, 제 1 가상 카메라 이미지(421i)는, 전방위 카메라가 촬영하는 촬영영역(SA1)을 표시할 수 있다. Also, the first virtual camera image 421i may display the capturing area SA1 captured by the omnidirectional camera.

또한, 모니터링 어플리케이션(311)은, 현장 트윈모델(50) 상의 제 1 가상 카메라 이미지(421i)에 대응하는 실제 방위 카메라가 촬영한 일영역의 현장영상을 현장 트윈모델과 연계하여 출력 수 있다. 이때, 제 1 가상 카메라 이미지(421i)는, 상기 현장영상이 나타내는 3차원 가상공간 상의 표시영역(AA1)을 나타내어, 원격 관리자가 현장영상이 표시하는 물리적 공간의 위치를 직관적으로 이해하도록 제공할 수 있다. In addition, the monitoring application 311 may output a field image of a region captured by a real azimuth camera corresponding to the first virtual camera image 421i on the field twin model 50 in connection with the field twin model. At this time, the first virtual camera image 421i represents the display area AA1 on the three-dimensional virtual space indicated by the on-site image, so that the remote manager can intuitively understand the location of the physical space displayed by the on-site image. there is.

즉, 제 1 가상 카메라 이미지(421i)는, 전방위 카메라가 촬영하는 전방위 촬영영역에 대응하는 가상 촬영영역(SA1)과, 전방위 촬영영역에서 원격 관리자에게 표시된 현장영상에 대한 가상의 표시영역(AA1)을 포함할 수 있다. That is, the first virtual camera image 421i includes a virtual photographing area SA1 corresponding to the omnidirectional photographing area photographed by the omnidirectional camera, and a virtual display area AA1 for the on-site image displayed to the remote manager in the omnidirectional photographing area. may include.

또한, 도 13을 참조하면, 현장 트윈모델(50)에는, 현장 물리적 공간의 제어 카메라에 대응하는 제 2 가상 카메라 이미지(423i)가 표시될 수 있으며, 제 2 가상 카메라 이미지(423i)는 원격 제어 카메라를 상징하는 픽토그램으로 표시될 수 있다. In addition, referring to FIG. 13 , in the on-site twin model 50 , a second virtual camera image 423i corresponding to a control camera in the on-site physical space may be displayed, and the second virtual camera image 423i may be remotely controlled It may be displayed as a pictogram symbolizing the camera.

이때, 제 2 가상 카메라 이미지(423i)는, 현재 제어 카메라가 촬영하는 촬영영역(SA2)을 나타낼 수 있고, 촬영방향(D) 및 렌즈 줌 거리(L) 등을 추가로 표시할 수 있다. In this case, the second virtual camera image 423i may indicate a photographing area SA2 that is currently photographed by the control camera, and may additionally display a photographing direction D, a lens zoom distance L, and the like.

또한, 제 2 가상 카메라 이미지(423i)는, 제어 카메라를 원격 제어함에 따라 촬영 가능한 영역(CA)을 전체를 표시할 수도 있다. Also, the second virtual camera image 423i may display the entire imageable area CA when the control camera is remotely controlled.

또한, 모니터링 어플리케이션(311)은, 사용자가 제 2 가상 카메라 이미지(423i)를 선택하는 경우, 제 2 가상 카메라에 대응하는 실제 제어 카메라에서 촬영된 현장영상을 현장 트윈모델과 연계하여 출력할 수 있으며, 이때, 현장 트윈모델(50)에 상기 현장영상에 대한 촬영영역에 대응하는 가상 촬영영역(SA2)을 표시하여, 원격 관리자가 현장영상이 촬영된 물리적 공간의 촬영영역을 직관적으로 이해하도록 제공할 수 있다.In addition, when the user selects the second virtual camera image 423i, the monitoring application 311 may output an on-site image captured by a real control camera corresponding to the second virtual camera in connection with the on-site twin model, , At this time, by displaying the virtual shooting area SA2 corresponding to the shooting area for the on-site image on the on-site twin model 50, the remote manager can intuitively understand the shooting area of the physical space where the on-site image is captured. can

모니터링 어플리케이션(311)은, 가상 카메라 이미지가 표시된 현장 트윈모델(50)을 통해 카메라 시스템(420)을 원격 제어하는 인터페이스를 제공할 수 있다. (S103)The monitoring application 311 may provide an interface for remotely controlling the camera system 420 through the on-site twin model 50 on which the virtual camera image is displayed. (S103)

자세히, 모니터링 어플리케이션(311)은, 카메라 시스템(420)의 각 실제 카메라를 나타내는 가상 카메라 이미지를 통해 실제 카메라를 원격 제어하거나, 실제 카메라의 현장영상을 실시간으로 출력하도록 제어하는 등의 인터페이스를 제공할 수 있다. In detail, the monitoring application 311 provides an interface such as remotely controlling a real camera through a virtual camera image representing each real camera of the camera system 420, or controlling to output an on-site image of the real camera in real time. can

예를 들어, 모니터링 어플리케이션(311)은, 복수의 가상 카메라 이미지 중 적어도 하나의 가상 카메라를 현장 트윈모델(50) 상에서 선택하는 사용자 입력을 수신하면, 사용자 입력에 선택된 가상 카메라에 대응하는 실제 카메라의 현장영상을 출력할 수 있다. For example, when the monitoring application 311 receives a user input for selecting at least one virtual camera among a plurality of virtual camera images on the on-site twin model 50, the real camera corresponding to the virtual camera selected in the user input is displayed. Field images can be printed.

전술한 바와 같이, 이때, 상기 실제 카메라가 촬영한 촬영영역을 실제좌표에 대응하여 3차원 가상공간의 가상좌표에 매칭하여, 상기 실제 촬영영역에 대한 가상 촬영영역을 현장 트윈모델(50)에 표시할 수 있다. As described above, at this time, by matching the photographing area photographed by the real camera to the virtual coordinates of the three-dimensional virtual space corresponding to the actual coordinates, the virtual photographing area for the actual photographing area is displayed on the on-site twin model 50 can do.

도 13을 참조하면, 모니터링 어플리케이션(311)은, 전방위 카메라에 대응되는 제 1 가상 카메라 이미지(421i)가 선택된 경우, 제 1 가상 카메라 이미지(421i)를 통해 전체 촬영영역(SA1) 및 현재 원격 관리자에게 표시되는 현장영상에 대응되는 표시영역(AA1)을 나타낼 수 있다. 이때, 모니터링 어플리케이션(311)은, 가상 촬영영역(SA1) 내에서 표시영역(AA1)을 변경하는 사용자 입력을 통해 변경된 표시영역(AA1)을 현장 트윈모델(50) 상에 표시하고, 변경된 표시영역(AA1)에 대응되는 전방위 카메라의 현장영상을 현장 트윈모델(50)에 연계하여 표시할 수 있다. 13, the monitoring application 311, when the first virtual camera image 421i corresponding to the omnidirectional camera is selected, the entire shooting area SA1 and the current remote manager through the first virtual camera image 421i A display area AA1 corresponding to the on-site image displayed to may be displayed. At this time, the monitoring application 311 displays the changed display area AA1 through a user input for changing the display area AA1 within the virtual photographing area SA1 on the on-site twin model 50, and the changed display area The field image of the omnidirectional camera corresponding to (AA1) can be displayed in connection with the field twin model 50 .

또한, 모니터링 어플리케이션(311)은, 제어 카메라에 대응된 제 2 가상 카메라 이미지(423i)를 선택하고, 상기 가상 카메라에 대응한 실제 카메라가 촬영영역(SA2)을 원격 제어하는 인터페이스를 제공할 수 있다. Also, the monitoring application 311 may select the second virtual camera image 423i corresponding to the control camera and provide an interface in which the real camera corresponding to the virtual camera remotely controls the capturing area SA2. .

예를 들어, 모니터링 어플리케이션(311)은, 제어 카메라의 제 2 가상 카메라 이미지(423i)를 선택하는 경우, 현장 트윈모델(50)에 현재 촬영영역(SA2), 촬영방향(D) 또는/및 줌거리(L)를 상기 촬영가능영역(CA) 내에서 상기 제 2 가상 카메라 이미지(423i)를 기초로 변경할 수 있는 유저 인터페이스를 제공할 수 있다. For example, when the monitoring application 311 selects the second virtual camera image 423i of the control camera, the current shooting area SA2, the shooting direction D, or/and zoom in the on-site twin model 50 A user interface capable of changing the distance L in the photographable area CA based on the second virtual camera image 423i may be provided.

자세히, 원격 관리자는, 상기 제 2 가상 카메라 이미지(423i)를 선택 및 변경하는 사용자 입력을 수신하여, 현재 촬영영역(SA2), 촬영방향(D) 또는/및 줌거리(L) 중 적어도 하나를 변경할 수 있다. In detail, the remote manager receives a user input for selecting and changing the second virtual camera image 423i, and selects at least one of the current shooting area SA2, the shooting direction D, and/or the zoom distance L. can be changed

모니터링 어플리케이션(311)은, 사용자 입력에 따라 제 2 가상 카메라 이미지(423i)를 변경하고, 변경된 제 2 가상 카메라 이미지(423i)에 따른 가상 카메라 제어 정보를 실제 카메라 제어신호로 변환할 수 있다. 이후, 모니터링 어플리케이션(311)은, 변환된 제어신호를 현장센서 시스템(400)에 전송하여, 실시간으로 제 2 가상 카메라 이미지(423i) 변경에 따라서 실제 제어 카메라가 원격 제어되는 유저 인터페이스를 제공할 수 있다. The monitoring application 311 may change the second virtual camera image 423i according to a user input and convert virtual camera control information according to the changed second virtual camera image 423i into an actual camera control signal. Thereafter, the monitoring application 311 transmits the converted control signal to the on-site sensor system 400 to provide a user interface in which the actual control camera is remotely controlled according to the change of the second virtual camera image 423i in real time. there is.

예를 들어, 사용자가 제 2 가상 카메라 이미지(423i)를 드래그하여 회전시키면, 가상 카메라 이미지의 회전각에 대응하여 실제 제어 카메라가 회전하도록 원격 제어될 수 있다. 이때, 모니터링 어플리케이션(311)은, 실제 제어 카메라의 회전에 따라 변경된 촬영영역에 대응하는 가상 촬영영역(SA2)을 실시간으로 동기화하여 현장 트윈모델(50) 상에 표시할 수 있다. 또한, 모니터링 어플리케이션(311)은, 회전된 제어 카메라에서 촬영된 현장영상을 표시하도록 제어할 수 있다. For example, if the user drags and rotates the second virtual camera image 423i, the actual control camera may be remotely controlled to rotate in response to the rotation angle of the virtual camera image. In this case, the monitoring application 311 may synchronize the virtual imaging area SA2 corresponding to the photographing area changed according to the rotation of the actual control camera in real time and display it on the on-site twin model 50 . In addition, the monitoring application 311 may control to display a field image captured by the rotated control camera.

또한, 모니터링 어플리케이션(311)은, 사용자 입력에 따라서 제 2 가상 카메라 이미지(423i)의 가상 줌거리(L)를 변경시키면, 가상 카메라의 줌거리(L) 변화에 대응하여 실제 제어 카메라가 렌즈를 제어함으로써 촬영영역을 확대/축소하도록 원격 제어할 수 있다. In addition, when the monitoring application 311 changes the virtual zoom distance L of the second virtual camera image 423i according to the user input, the real control camera moves the lens in response to the change in the zoom distance L of the virtual camera. By controlling it, it can be remotely controlled to enlarge/reduce the shooting area.

또한, 모니터링 어플리케이션(311)은, 제 2 가상 카메라 이미지(423i)에서 가상 촬영영역(SA2)을 직접 지정하는 인터페이스를 통해, 제어 카메라를 원격 제어할 수도 있다. Also, the monitoring application 311 may remotely control the control camera through an interface that directly designates the virtual capturing area SA2 in the second virtual camera image 423i.

예를 들어, 현장 트윈모델(50) 상에서 제 2 가상 카메라 이미지(423i)의 가상 촬영영역(SA2)을 촬영가능영역(CA) 내에서 지정하는 가상 촬영영역 지정 입력을 받을 수 있다. 모니터링 어플리케이션(311)은, 입력에 따라 재설정된 제 2 가상 촬영영역을 현장 트윈모델(50) 상에 표시하고, 상기 제 2 가상 촬영영역을 촬영하기 위한 현장 물리적 공간의 실제영역을 산출할 수 있다. 그리고 모니터링 어플리케이션(311)은, 산출된 실제영역을 촬영하기 위한 제어정보(pan-tilt-zoom 값)을 산출하고, 제어정보를 카메라 시스템(420)에 송신하여, 제어 카메라가 제 2 가상 촬영영역에 대응되는 실제 촬영영역을 촬영하도록 제어할 수 있다. For example, on the on-site twin model 50 , a virtual photographing area designation input for designating the virtual photographing area SA2 of the second virtual camera image 423i within the photographing available area CA may be received. The monitoring application 311 may display the second virtual shooting area reset according to the input on the on-site twin model 50, and calculate the actual area of the on-site physical space for photographing the second virtual shooting area. . Then, the monitoring application 311 calculates control information (pan-tilt-zoom value) for photographing the calculated real area, and transmits the control information to the camera system 420 , so that the control camera performs the second virtual photographing area It is possible to control to photograph an actual photographing area corresponding to .

이와 같이, 모니터링 어플리케이션(311)은, 카메라 시스템(420)에 대응되는 현장 트윈모델(50) 상의 가상 카메라 이미지를 통해 직관적으로 현장의 실제 카메라를 원격 제어할 수 있는 현장 트윈모델(50) 기반 원격 카메라 제어 인터페이스를 제공할 수 있다. In this way, the monitoring application 311 is based on the on-site twin model 50 that can intuitively remotely control the real camera in the field through the virtual camera image on the on-site twin model 50 corresponding to the camera system 420 . A camera control interface may be provided.

또한, 모니터링 어플리케이션(311)은, 카메라 시스템(420)을 통해 실제객체 주변영역을 감시할 수 있다. (S105)Also, the monitoring application 311 may monitor the area around the real object through the camera system 420 . (S105)

자세히, 모니터링 어플리케이션(311)은, 작업 대상인 실제객체의 위치를 설정하고, 설정된 위치의 실제객체를 카메라 시스템(420)을 통해 감시할 수 있다. In detail, the monitoring application 311 may set the position of the real object as the work target, and monitor the real object at the set position through the camera system 420 .

실시예에서, 모니터링 어플리케이션(311)은, 카메라 시스템(420)에서 촬영된 현장영상을 통해 작업 대상의 실제객체를 학습하여, 실시간으로 수신되는 현장영상에서 학습된 실제객체를 검출할 수 있다. In an embodiment, the monitoring application 311 may learn the real object of the work target through the field image captured by the camera system 420 , and detect the learned real object from the field image received in real time.

또한, 모니터링 어플리케이션(311)은, 학습된 실제객체에 대한 작업영역을 설정할 수 있다. 예를 들어, 실제객체에 특정영역에 대해 작업이 수행되는 경우, 현장영상을 통해 실제객체의 특정영역을 작업영역으로 설정할 수 있다. 예를 들어, 모니터링 어플리케이션(311)은, 작업 대상인 실제객체를 촬영한 현장영상을 사용자에게 표시하고, 현장영상 내에서 작업영역을 설정하는 인터페이스를 제공하여, 작업영역을 설정하도록 제공할 수 있다. Also, the monitoring application 311 may set a work area for the learned real object. For example, when a work is performed on a specific area of a real object, a specific area of the real object may be set as the work area through a field image. For example, the monitoring application 311 may display a field image obtained by photographing a real object, which is a work target, to the user, and provide an interface for setting a work area within the field image to set the work area.

또한, 모니터링 어플리케이션(311)은, 상기 실제객체에 대응되는 가상객체를 표시하는 현장 트윈모델(50)을 통해 가상객체에 대해 작업영역을 설정하는 인터페이스를 제공하여, 실제객체에 대한 작업영역을 설정할 수 있다. In addition, the monitoring application 311 provides an interface for setting a work area for a virtual object through the on-site twin model 50 that displays a virtual object corresponding to the real object to set the work area for the real object. can

이와 같이 작업 대상인 실제객체와, 실제객체에 대한 작업영역이 설정되면, 이에 기초하여 현장 작업자에 대한 작업을 카메라 시스템(420)을 통해 감시할 수 있다. (S107)As described above, when the real object as the work target and the work area for the real object are set, the work of the field worker may be monitored through the camera system 420 based on the set. (S107)

자세히, 모니터링 어플리케이션(311)은, 현장 작업자의 위치를 측위센서 시스템(410)을 통해 검출하고, 검출된 현장 작업자의 위치가 상기 실제객체로부터 소정의 거리 내이거나, 상기 작업영역의 소정의 거리 내이면, 상기 실제객체에 대한 작업을 수행함을 확인할 수 있다. In detail, the monitoring application 311 detects the position of the field worker through the positioning sensor system 410, and the detected position of the field worker is within a predetermined distance from the real object, or within a predetermined distance of the work area. In this case, it can be confirmed that the operation is performed on the real object.

또한, 모니터링 어플리케이션(311)은, 확인된 현장 작업자의 실제객체에 대한 작업수행을 현장 트윈모델(50)의 가상 컨텐츠를 통해 표시하여, 원격 관리자가 현장 작업을 모니터링하도록 제공할 수 있다. In addition, the monitoring application 311 may provide a remote manager to monitor the field work by displaying the confirmed work performance on the real object of the field worker through the virtual content of the field twin model 50 .

또한, 모니터링 어플리케이션(311)은, 현장 작업자의 작업수행이 시작되면 작업 대상인 실제객체를 카메라 시스템(420)에서 촬영된 현장영상을 분석하여 검출할 수 있다. In addition, the monitoring application 311 may detect a real object as a work target by analyzing a field image captured by the camera system 420 when the field worker starts performing the work.

자세히, 모니터링 어플리케이션(311)은, 카메라 시스템(420)에서 전송되는 복수의 현장영상을 이미지 처리하여, 기 학습된 실제객체의 특징정보를 포함하는 현장영상을 검출하며, 실제객체를 촬영한 현장영상을 추출할 수 있다. In detail, the monitoring application 311 processes a plurality of field images transmitted from the camera system 420, detects a field image including characteristic information of a pre-learned real object, and captures the real object. can be extracted.

또한, 모니터링 어플리케이션(311)은, 기 설정된 작업영역을 촬영하도록 카메라 시스템(420)을 자동 제어함으로써, 실제객체의 작업영역을 촬영한 현장영상을 획득하고, 획득된 현장영상을 현장 트윈모델(50)의 가상 카메라 이미지에 대응하여 표시하도록 제어할 수 있다. In addition, the monitoring application 311 automatically controls the camera system 420 to shoot a preset work area, thereby obtaining a field image of a real object's work area, and using the obtained field image as a field twin model 50 ) can be controlled to be displayed corresponding to the virtual camera image.

그리고 모니터링 어플리케이션(311)은, 작업영역을 촬영한 현장영상을 실시간으로 표시하도록 제어하여, 현장 작업자의 작업 상황을 모니터링할 수 있다. And the monitoring application 311, by controlling to display the field image captured in the work area in real time, it is possible to monitor the work situation of the field worker.

또한, 모니터링 어플리케이션(311)은, 작업영역에 대한 현장영상 및 현장 작업자의 위치를 실시간으로 현장 트윈모델(50) 상에 동기화하여, 작업자의 이탈행위나, 잘못된 작업행위를 검출할 수 있다.In addition, the monitoring application 311 may synchronize the on-site image for the work area and the location of the field worker on the field twin model 50 in real time, to detect the worker's deviation or erroneous operation.

현장 모니터링 서버는, 현장센서 시스템(400)으로부터 적어도 하나 이상의 현장 작업자에 대한 위치정보 및 현장영상을 실시간으로 원격 컴퓨팅 디바이스로 송신할 수 있다. 위치정보 및 현장영상을 수신한 모니터링 어플리케이션(311)은 수신된 실시간 현장 작업자의 위치정보를 산출하고, 산출된 현장 작업자의 위치정보에 대응되는 현장 트윈모델(50)에 가상 위치에 상기 현장 작업자를 나타내는 가상 컨텐츠(예컨대, 아이콘)를 포함하는 현장 트윈모델(50)을 출력하도록 제어할 수 있다. The on-site monitoring server may transmit location information and on-site images of at least one on-site worker from the on-site sensor system 400 to a remote computing device in real time. The monitoring application 311 that has received the location information and the field image calculates the received real-time location information of the field worker, and places the field worker at a virtual location in the field twin model 50 corresponding to the calculated location information of the field worker. It is possible to control to output the scene twin model 50 including the virtual content (eg, icon) represented.

또한, 모니터링 어플리케이션(311)은, 실제객체에 대응하는 가상객체 및 작업영역에 대응하는 가상 작업영역을 현장 트윈모델(50) 상에 표시할 수 있다. In addition, the monitoring application 311 may display a virtual object corresponding to the real object and a virtual work area corresponding to the work area on the site twin model 50 .

예를 들어, 도 14를 참조하면, 현장 트윈모델(50)은, 실제객체에 대응된 가상객체(Ai)와, 가상 작업영역(WS)을 표시할 수 있으며, 상기 가상 작업영역(WS)에 대한 실제 작업영역을 촬영하는 실제 카메라에 대한 가상 카메라 이미지도 표시할 수 있다. 이때, 모니터링 어플리케이션(311)은, 상기 가상 카메라 이미지에 대응하는 카메라의 현장영상을 현장 트윈모델(50) 주변에 표시하도록 제어하여, 원격 관리자가 현장 트윈모델(50)에서의 현장 작업자의 위치 및 작업상황을 정확하게 모니터링하도록 제공할 수 있다. For example, referring to FIG. 14 , the on-site twin model 50 may display a virtual object Ai corresponding to a real object and a virtual work area WS, and in the virtual work area WS It is also possible to display a virtual camera image of a real camera that shoots a real working area for the . At this time, the monitoring application 311 controls to display the on-site image of the camera corresponding to the virtual camera image around the on-site twin model 50, so that the remote manager can control the location of the field worker in the on-site twin model 50 and It can be provided to accurately monitor the working status.

또한, 전술한 바와 같이, 모니터링 어플리케이션(311)은, 상기 가상 카메라 이미지에 기초하여 현장영상의 촬영영역을 변경할 수 있는 원격 카메라 제어 인터페이스를 제공하므로, 원격 관리자는 원하는 작업영역을 손쉽게 선택하여 더욱 정밀하게 모니터링할 수 있다. In addition, as described above, the monitoring application 311 provides a remote camera control interface that can change the shooting area of the on-site image based on the virtual camera image, so that the remote manager can easily select the desired work area to be more precise. can be closely monitored.

또한, 현장센서 시스템(400)으로부터 위치정보 및 현장영상을 수신한 모니터링 어플리케이션(311)은 수신된 실시간 현장 작업자의 위치정보를 산출하고, 산출된 현장 작업자의 위치정보에 대응되는 현장 트윈모델(50)에 가상 위치에 상기 현장 작업자를 나타내는 가상 컨텐츠(예컨대, 아이콘)를 오버레이한 현장 트윈모델(50)을 출력하도록 제어할 수 있다.In addition, the monitoring application 311 that has received the location information and the field image from the field sensor system 400 calculates the received real-time location information of the field worker, and the field twin model 50 corresponding to the calculated location information of the field worker ) can be controlled to output the on-site twin model 50 overlaid with virtual content (eg, icon) representing the on-site worker at a virtual location.

이러한 현장 트윈모델(50) 및 작업영역을 촬영한 현장영상을 통해, 원격 관리자는 현장 작업자의 이탈과 같은 행위를 모니터링 할 수 있다. Through the on-site twin model 50 and the on-site image of the work area, the remote manager can monitor actions such as departure of the on-site worker.

또한, 모니터링 어플리케이션(311)은, 현장 작업자에게 현장 트윈모델(50) 또는/및 현장영상에 기초하여 작업 가이던스를 전송할 수 있다. (S109)In addition, the monitoring application 311 may transmit work guidance to the field worker based on the field twin model 50 and/or the field image. (S109)

여기서, 작업 가이던스는, 기 생성된 실제객체에 대한 작업에 대한 매뉴얼, 현장영상에 대한 드로잉 입력, 포인팅 입력 등으로 생성된 가상 이미지로서, 상기 가상 이미지는 현장 물리적 공간의 실제좌표와 매칭되어 현장 작업자 컴퓨팅 디바이스(100)에게 전송될 수 있다. Here, the work guidance is a virtual image generated by a manual for work on a previously created real object, a drawing input for an on-site image, a pointing input, etc., and the virtual image is matched with the real coordinates of the on-site physical space and field workers may be transmitted to the computing device 100 .

또한, 작업 가이던스는, 현장 트윈모델에 가상좌표에 매칭시켜 사용자의 입력에 따라 저작된 체크 리스트, 운영 정보 등을 포함할 수 있다. In addition, the work guidance may include a checklist, operation information, etc. that are written according to a user's input by matching the virtual coordinates to the on-site twin model.

이러한 현장 작업자 컴퓨팅 디바이스(100)에서 상기 작업 가이던스를 요청하면, 요청된 실제좌표에 대한 현장 트윈모델의 가상좌표에 저장된 작업 가이던스가 현장 작업자 컴퓨팅 디바이스(100)에 실제좌표에 오버레이되어 표시됨으로써, 증강현실 환경에 기초한 가상 컨텐츠로 작업 가이던스가 제공될 수 있다. When the work guidance is requested from the field worker computing device 100, the work guidance stored in the virtual coordinates of the field twin model for the requested real coordinates is displayed overlaid on the real coordinates on the field worker computing device 100, thereby augmented Working guidance may be provided as virtual content based on a real environment.

현장 작업자 컴퓨팅 디바이스(100)는 물리적 공간의 위치나 실제객체에 연관된 작업 관련 가상 컨텐츠를 수신하면, 현장 작업자의 주변 물리적 공간의 상기 위치나 실제객체에 대응되어 상기 가상 컨텐츠가 삽입된 증강현실 영상을 표시할 수 있다. When the field worker computing device 100 receives the work-related virtual content related to the location of the physical space or the real object, it corresponds to the location or the real object in the physical space around the field worker and generates an augmented reality image in which the virtual content is inserted. can be displayed

이러한 작업 가이던스를 생성하기 위해, 모니터링 어플리케이션(311)은 가상 카메라 이미지에 대응한 현장영상을 표시하도록 제어하고, 상기 현장영상에 대한 사용자 입력에 따라서 상기 작업 가이던스를 생성할 수 있다. In order to generate such work guidance, the monitoring application 311 may control to display a field image corresponding to a virtual camera image, and generate the work guidance according to a user input for the field image.

도 15를 참조하면, 모니터링 어플리케이션(311)은, 카메라 시스템(420)의 제어 카메라(423)를 가상 카메라 이미지를 통해 제어하여, 가상 촬영영역에 대한 실제 촬영영역(SA)의 현장영상(70)을 실시간으로 획득하고, 현장 트윈모델(50) 옆에 표시할 수 있다. Referring to FIG. 15 , the monitoring application 311 controls the control camera 423 of the camera system 420 through a virtual camera image, and a field image 70 of an actual photographing area SA for the virtual photographing area. can be acquired in real time and displayed next to the on-site twin model 50 .

그리고 모니터링 어플리케이션(311)은, 표시된 현장영상(70) 상에 위험영역을 지정하는 사용자 입력을 받아, 위험영역을 표시하는 제 30 작업 가이던스(VR30)를 생성할 수 있다. In addition, the monitoring application 311 may receive a user input for designating a danger area on the displayed field image 70 to generate a thirtieth operation guidance VR30 for displaying the danger area.

또한, 모니터링 어플리케이션(311)은, 표시된 현장영상(70)에 실제객체에 대한 작업 매뉴얼을 나타내는 가상 컨텐츠를 현장영상(70)의 특정객체에 연관시켜서 제작하는 AR 제작 인터페이스를 제공하여, 사용자 입력에 따른 제 40 작업 가이던스(VR40)를 생성할 수 있다. In addition, the monitoring application 311 provides an AR production interface that produces virtual content representing a work manual for a real object on the displayed field image 70 with a specific object of the field image 70, and responds to user input. It is possible to generate the 40th work guidance VR40 according to the

또한, 모니터링 어플리케이션(311)은, 현장 트윈모델(50) 상에 작업 가이던스를 입력하여 가상 컨텐츠를 생성하는 인터페이스 창과, 상기 인터페이스 창을 통해 입력된 작업 가이던스를 현장 트윈모델(50)에서 선택된 가상 공간의 위치와 연관시키는 입출력 인터페이스를 제공하여, 상기 작업 가이던스를 생성하고 상기 현장 작업자 컴퓨팅 디바이스(100)로 송신할 수 있다. In addition, the monitoring application 311, the interface window for generating virtual content by inputting the work guidance on the site twin model 50, and the work guidance input through the interface window is selected from the field twin model 50 in the virtual space By providing an input/output interface associating with the location of , the work guidance may be generated and transmitted to the field worker computing device 100 .

또한, 모니터링 어플리케이션(311)은, 선택된 가상 공간의 위치를 실제 현장의 공간좌표에 대응시킨 후 인터페이스 창을 통해 생성된 가상 컨텐츠를 매칭하여, 작업 가이던스를 생성할 수 있다. In addition, the monitoring application 311 may generate work guidance by matching the virtual content generated through the interface window after the location of the selected virtual space corresponds to the spatial coordinates of the actual site.

이와 같이 생성된 작업 가이던스는, 현장 작업자 컴퓨팅 디바이스(100)로 송신될 수 있다. The generated work guidance may be transmitted to the field worker computing device 100 .

현장 작업자 컴퓨팅 디바이스(100)는, 수신한 작업 가이던스에 기초하여 증강현실 환경에서 작업 가이드를 나타내는 가상 컨텐츠를 출력할 수 있다. The field worker computing device 100 may output virtual content representing the work guide in the augmented reality environment based on the received work guidance.

도 16을 참조하면, 현장 작업자가 웨어러블 타입의 컴퓨팅 디바이스(100)를 통해 작업영역을 포함하는 실제 물리적 공간(30)을 바라보면, 상기 제 30 작업 가이던스(VR30)에 해당하는 영역에 감전 우려가 있다는 빨간색의 반투명의 제 31 가상 이미지(VR31)가 오버레이된 증강현실 환경을 제공할 수 있다. Referring to FIG. 16 , when the field worker looks at the actual physical space 30 including the work area through the wearable type computing device 100 , there is a risk of electric shock in the area corresponding to the 30th work guidance VR30 It is possible to provide an augmented reality environment overlaid with a red, translucent, 31st virtual image VR31.

또한, 현장 작업자가 웨어러블 타입의 컴퓨팅 디바이스(100)를 통해 작업영역을 바라보면, 작업 메뉴얼인 제 40 작업 가이던스(VR40)를 나타내는 제 41 가상 컨텐츠(VR41)를 작업을 수행해야 하는 실제객체 주변에 오버레이된 증강현실 환경이 현장 작업자에게 제공될 수 있다. In addition, when the field worker looks at the work area through the wearable-type computing device 100, the 41st virtual content VR41 representing the 40th job guidance VR40, which is the job manual, is placed around the real object to perform the job. An overlaid augmented reality environment may be provided to field workers.

또한, 증강현실 어플리케이션 관련 다양한 인터페이스를 수행하기 위한 메뉴가 현장 작업자 시야 상단에 표시되어, 현장 작업자 선택에 따라 추가 가상 컨텐츠들이 관련 실제객체 주변에 오버레이되어 표시될 수 있다. In addition, a menu for performing various interfaces related to the augmented reality application may be displayed at the top of the field worker's field of view, and additional virtual contents may be displayed overlaid around the relevant real object according to the field worker's selection.

이와 같이, 모니터링 어플리케이션(311)은, 현장영상(70) 또는 현장 트윈모델(50)을 통해 현장 작업자 시야에서 벗어난 물리적 공간에 대응하여 작업 가이던스를 생성하여, 현장 작업자 컴퓨팅 디바이스(100)에 송신하여 상기 작업 가이던스를 증강현실 환경에서 제공할 수 있다. In this way, the monitoring application 311 generates work guidance in response to the physical space out of the field worker's field of view through the field image 70 or the field twin model 50, and transmits it to the field worker computing device 100. The work guidance may be provided in an augmented reality environment.

작업영역이 위험구역에 위치한 경우, 위험구역에 현장 작업자 진입을 감지한 모니터링 어플리케이션(311)은, 상기 현장 작업자의 위험상황을 원격 모니터링할 수 있다. (S111)When the work area is located in the danger zone, the monitoring application 311 that detects the entry of the field worker into the danger zone may remotely monitor the dangerous situation of the field worker. (S111)

자세히, 모니터링 어플리케이션(311)은, 현장 트윈모델(50)에 위험구역에 진입한 현장 작업자의 위치를 나타내는 가상 컨텐츠를 하이라이트하여, 현장 작업자의 위험지역 진입을 원격 관리자에게 알림 할 수 있다.In detail, the monitoring application 311 may highlight virtual content indicating the location of the field worker who entered the danger zone in the field twin model 50 to notify the remote manager of the entry of the field worker into the danger zone.

또한, 모니터링 어플리케이션(311)은, 진입한 현장 작업자의 컴퓨팅 디바이스(100)로부터 촬영영상을 실시간으로 수신하고 현장 트윈모델(50) 주변에 표시하여, 현장 작업자의 위험상황을 지속적으로 좀더 자세히 모니터링하도록 제공할 수 있다. In addition, the monitoring application 311 receives the captured image from the computing device 100 of the field worker who entered the field in real time and displays it around the field twin model 50, so that the dangerous situation of the field worker is continuously monitored in more detail. can provide

또한, 모니터링 어플리케이션(311)은, 현장 트윈모델(50)에서 지정된 위험구역(또는, 위험영역)과 현장 작업자를 포함하는 영역을 촬영한 촬영영상을 현장의 카메라 시스템(420)으로부터 수신하고, 현장 트윈모델(50) 내외에 표시하여, 현장 작업자의 위험상황을 외부 뷰 포인트에서 모니터링 할 수 있다. In addition, the monitoring application 311 receives, from the camera system 420 of the field, a photographed image of the area including the danger area (or danger area) and the field worker designated in the field twin model 50, and the field By displaying inside and outside the twin model 50, the dangerous situation of field workers can be monitored from an external viewpoint.

이때, 모니터링 어플리케이션(311)은, 전술한 바와 같이, 상기 카메라 시스템(420)을 나타내는 가상 카메라 이미지 제어를 통해 원하는 위험구역 내 촬영영역을 선택하여, 더욱 정밀하게 위험상황을 모니터링 할 수 있다. In this case, as described above, the monitoring application 311 may select a desired imaging area within the danger zone through virtual camera image control representing the camera system 420, and monitor the dangerous situation more precisely.

예를 들어, 모니터링 어플리케이션(311)은, 카메라 시스템(420)의 전방위 카메라에 촬영된 현장영상(70)에서 현장 작업자 및 위험구역(예컨대, 위험구역 내 위험영역) 촬영하는 영역을 분리함으로써, 위험상황을 외부 뷰 포인트에서 모니터링하도록 제공할 수 있다. For example, the monitoring application 311 separates the area to be photographed by the field worker and the danger zone (eg, the danger zone within the danger zone) from the field image 70 taken by the omnidirectional camera of the camera system 420, so that the risk It can be provided to monitor the situation from an external point of view.

또한, 모니터링 어플리케이션(311)은, 카메라 시스템(420)의 원격제어 카메라(423)를 제어하여, 현장 작업자 및 위험구역을 촬영하도록 촬영방향을 변경하고 확대 또는 축소를 통해 현장 작업자 및 위험구역을 모두 촬영하는 현장영상(70)을 획득하도록 제어할 수 있다. In addition, the monitoring application 311 controls the remote control camera 423 of the camera system 420, changes the shooting direction to photograph the field worker and the danger zone, and enlarges or reduces both the field worker and the danger zone It can be controlled to acquire the field image 70 to be photographed.

모니터링 어플리케이션(311)은, 이와 같이 촬영된 외부 뷰 포인트의 현장영상(70)을 현장 트윈모델(50) 주변에 표시할 수 있으며, 이때, 현장 트윈모델(50)에서 설정된 위험영역을 하이라이트 하는 가상 컨텐츠를 상기 위험영역에 매칭시켜 현장영상(70)에 표시함으로써, 증강현실 환경에 기초하여 위험상황을 모니터링하도록 제공할 수 있다. The monitoring application 311 may display the on-site image 70 of the external point of view taken in this way around the on-site twin model 50, and at this time, a virtual highlighting the danger area set in the on-site twin model 50 By matching the content to the danger area and displaying it on the on-site image 70, it is possible to provide to monitor the dangerous situation based on the augmented reality environment.

또한, 모니터링 어플리케이션(311)은, 위험구역에 진입한 현장 작업자와 증강현실 커뮤니케이션을 수행할 수 있다. In addition, the monitoring application 311 may perform augmented reality communication with the field worker entering the danger zone.

위험구역에 진입함을 감지하면, 모니터링 어플리케이션(311)은, 현장 작업자 컴퓨팅 디바이스(100)와 자동으로 증강현실 커뮤니케이션이 수행시킬 수 있다. 이때, 현장 작업자와의 커뮤니케이션 요청과 수락 단계는 생략되고, 자동으로 수행될 수 있다. Upon detecting entering the danger zone, the monitoring application 311 may automatically perform augmented reality communication with the field worker computing device 100 . In this case, the step of requesting and accepting communication with the field worker is omitted and may be performed automatically.

즉, 현장 트윈모델(50)에 기초한 현장 작업자의 위치와 위험영역의 위치를 확인하고, 현장영상(70) 또는/및 촬영영상을 통해 여러 시점에서 현장 작업자의 위험구역 내 작업상황을 모니터링하고 있는 원격 관리자가 증강현실 커뮤니케이션을 통해 작업에 대한 피드백을 실시간으로 현장 작업자에게 전달할 수 있다. That is, the location of the field worker and the location of the danger area based on the field twin model 50 are checked, and the work situation of the field worker in the hazardous area is monitored at multiple points through the field image 70 or / and the captured image. Augmented reality communication allows remote managers to provide real-time feedback on tasks to field workers.

여기서 증강현실 커뮤니케이션은, 원격으로 화상, 음성 및 물리적 공간에 매칭된 가상 컨텐츠를 통해 의사소통을 진행시키는 통신방식으로, 원격 관리자가 위험영역에 대한 경고와 위험구역 내에서 작업 가이드를 효율적으로 현장 작업자에게 전달시킬 수 있다. Here, augmented reality communication is a communication method that remotely communicates through video, voice, and virtual content matched to physical space. can be passed on to

따라서, 모니터링 어플리케이션(311)은, 원격 관리자가 위험구역 내 작업을 모니터링함과 동시에 실시간 증강현실 커뮤니케이션을 통해 음성 또는/및 가상 컨텐츠를 현장 작업자에게 제공함으로써, 위험구역 내 안전한 작업을 진행시킬 수 있다. Therefore, the monitoring application 311 allows the remote manager to monitor the work in the danger area and at the same time provide voice or / and virtual content to the field worker through real-time augmented reality communication, so that safe work in the danger area can be progressed. .

자세히, 도 17을 참조하면, 모니터링 어플리케이션(311)은, 현장 트윈모델(50) 상에 위험 가상객체(Ai) 주변인 위험구역(DZ) 내에 위치한 현장 작업자의 위치를 가상 컨텐츠(useri)를 통해 표시할 수 있다. In detail, referring to FIG. 17 , the monitoring application 311 displays the location of the field worker located in the danger zone DZ around the dangerous virtual object Ai on the field twin model 50 through virtual content (useri). can do.

여기서, 위험 실제객체 주변은 현장 트윈모델(50)에 3차원 가상공간 좌표에 매칭되어 가상 위험구역(DZ)으로 설정되어 있을 수 있으며, 현장 트윈모델(50)에 실시간으로 동기화되는 현장 작업자의 가상 위치좌표에 대응시켜, 현장 작업자가 위험구역(DZ) 내 진입함을 감지할 수 있다. Here, the periphery of the real danger object may be set as a virtual danger zone (DZ) by matching the three-dimensional virtual space coordinates on the field twin model 50, and the virtual field workers synchronized with the field twin model 50 in real time. Corresponding to the location coordinates, it is possible to detect that the field worker enters the danger zone (DZ).

또한, 모니터링 어플리케이션(311)은, 현장 트윈모델(50)의 가상 카메라 이미지를 제어하여 위험영역 및 현장 작업자를 동시에 촬영할 수 있는 영역을 지정하고, 카메라 시스템을 제어하여 위험영역 및 현장 작업자를 촬영하는 촬영영상을 획득하여, 출력시킬 수 있다. In addition, the monitoring application 311 controls the virtual camera image of the on-site twin model 50 to designate an area in which the danger area and the field worker can be simultaneously photographed, and controls the camera system to photograph the danger area and the field worker. A captured image can be acquired and outputted.

또한, 모니터링 어플리케이션(311)은, 현장 작업자가 촬영한 촬영영상을 수신하여, 현장 트윈모델(50)과 매칭시켜 표시할 수 있다. In addition, the monitoring application 311 may receive the captured image taken by the field worker, match it with the field twin model 50 and display it.

이와 같이, 모니터링 어플리케이션(311)은, 현장 트윈모델(50)을 기초로 현장 작업자가 위험구역(DZ) 내에서 작업 시 다각적인 모니터링 및 증강현실 커뮤니케이션을 제공하여, 안전한 작업을 유도할 수 있다.As such, the monitoring application 311 provides multi-faceted monitoring and augmented reality communication when a field worker works in the danger zone (DZ) based on the field twin model 50 to induce safe work.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. A hardware device may be converted into one or more software modules to perform processing in accordance with the present invention, and vice versa.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific implementations described in the present invention are only examples, and do not limit the scope of the present invention in any way. For brevity of the specification, descriptions of conventional electronic components, control systems, software, and other functional aspects of the systems may be omitted. In addition, the connection or connection members of the lines between the components shown in the drawings exemplarily represent functional connections and/or physical or circuit connections, and in an actual device, various functional connections, physical connections that are replaceable or additional may be referred to as connections, or circuit connections. In addition, unless there is a specific reference such as “essential” or “importantly”, it may not be a necessary component for the application of the present invention.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.In addition, although the detailed description of the present invention has been described with reference to a preferred embodiment of the present invention, those skilled in the art or those having ordinary knowledge in the art will appreciate the spirit of the present invention described in the claims to be described later. And it will be understood that various modifications and variations of the present invention can be made without departing from the technical scope. Accordingly, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

Claims (7)

원격 관리자의 컴퓨팅 디바이스에서 수행하는 실시간 현장 작업 모니터링 방법으로서,
상기 현장의 물리적 공간에 대응된 3차원 가상공간을 나타내는 현장 트윈모델을 출력하는 단계;
상기 현장의 카메라 시스템의 실제 카메라에 대응된 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계;
상기 가상 카메라 이미지에 대응된 실제 카메라의 현장영상을 수신하고, 수신된 현장영상을 상기 현장 트윈모델과 매칭하여 출력하는 단계; 및
상기 가상 카메라 이미지를 기초로 상기 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하는 단계를 포함하고,
상기 현장영상을 기초로 작업 대상인 실제객체를 이미지 학습하는 단계와, 상기 학습된 실제객체에 작업영역을 설정하는 단계와, 상기 작업영역을 촬영한 현장영상을 검출하는 단계와, 상기 검출된 현장영상을 실시간으로 출력하는 단계를 더 포함하는
실시간 현장 작업 모니터링 방법.
A method for monitoring real-time field operations performed by a remote administrator's computing device, the method comprising:
outputting a site twin model representing a three-dimensional virtual space corresponding to the physical space of the site;
displaying a virtual camera image corresponding to a real camera of the on-site camera system on the on-site twin model;
receiving a field image of a real camera corresponding to the virtual camera image, and outputting the received field image by matching with the field twin model; and
providing a remote camera control interface for remotely controlling the real camera based on the virtual camera image,
image learning of a real object as a work target based on the field image, setting a work area on the learned real object, detecting a field image obtained by photographing the work area, and the detected field image Further comprising the step of outputting in real time
How to monitor real-time field work.
제 1 항에 있어서,
상기 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계는,
전방위 카메라에 대응된 제 1 가상 카메라 이미지를 상기 전방위 카메라의 실제좌표에 매칭된 상기 현장 트윈모델의 가상좌표 상에 표시하는 단계와,
상기 전방위 카메라의 촬영영역에 대응된 가상 촬영영역을 상기 현장 트윈모델 상에 표시하는 단계를 포함하는
실시간 현장 작업 모니터링 방법.
The method of claim 1,
The step of displaying the virtual camera image on the on-site twin model comprises:
Displaying the first virtual camera image corresponding to the omnidirectional camera on the virtual coordinates of the on-site twin model matched to the real coordinates of the omnidirectional camera;
Displaying a virtual photographing area corresponding to the photographing area of the omnidirectional camera on the on-site twin model
How to monitor real-time field work.
제 1 항에 있어서,
상기 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하는 단계는,
제어 카메라에 대응된 제 2 가상 카메라 이미지를 상기 제어 카메라의 실제좌표에 매칭된 상기 현장 트윈모델의 가상좌표 상에 표시하는 단계와,
상기 제어 카메라의 촬영영역에 대응된 가상 촬영영역을 상기 현장 트윈모델 상에 표시하는 단계를 포함하는
실시간 현장 작업 모니터링 방법.
The method of claim 1,
The step of displaying the virtual camera image on the on-site twin model comprises:
displaying a second virtual camera image corresponding to the control camera on the virtual coordinates of the on-site twin model matched with the real coordinates of the control camera;
Displaying a virtual photographing area corresponding to the photographing area of the control camera on the on-site twin model
How to monitor real-time field work.
제 3 항에 있어서,
상기 가상 카메라 이미지를 기초로 상기 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하는 단계는,
상기 가상 카메라 이미지에 기초하여 가상 촬영영역, 촬영방향 또는 줌 거리를 변경하는 사용자 입력을 수신하는 단계와,
상기 사용자 입력에 따라서 상기 가상 카메라 이미지를 변경하는 단계와,
상기 가상 카메라 이미지의 변경에 따라서 상기 실제 카메라에 대한 제어신호를 생성하고, 생성된 제어신호를 상기 카메라 시스템에 송신하여 상기 제어 카메라를 원격 제어하는 단계를 포함하는
실시간 현장 작업 모니터링 방법.
4. The method of claim 3,
Providing a remote camera control interface for remotely controlling the real camera based on the virtual camera image,
Receiving a user input for changing a virtual shooting area, a shooting direction, or a zoom distance based on the virtual camera image;
changing the virtual camera image according to the user input;
generating a control signal for the real camera according to a change in the virtual camera image, and transmitting the generated control signal to the camera system to remotely control the control camera
How to monitor real-time field work.
현장의 물리적 공간에 대응된 3차원 가상공간을 나타내는 현장 트윈모델을 출력하는 디스플레이;
모니터링 어플리케이션을 저장하는 메모리;
상기 메모리의 모니터링 어플리케이션을 통해 상기 현장 트윈모델을 통해 상기 현장의 물리적 공간을 모니터링하도록 상기 디스플레이를 제어하는 프로세서를 포함하고,
상기 모니터링 어플리케이션은,
상기 현장의 물리적 공간에 대응된 3차원 가상공간을 나타내는 현장 트윈모델을 출력하도록 제어하는 명령어와,
상기 현장의 카메라 시스템의 실제 카메라에 대응된 가상 카메라 이미지를 상기 현장 트윈모델 상에 표시하도록 제어하는 명령어와,
상기 가상 카메라 이미지에 대응된 실제 카메라의 현장영상을 수신하고, 수신된 현장영상을 상기 현장 트윈모델과 매칭하여 출력하도록 제어하는 명령어와,
상기 가상 카메라 이미지를 기초로 상기 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하도록 제어하는 명령어와,
상기 현장영상을 기초로 작업 대상인 실제객체를 이미지 학습하고, 상기 학습된 실제객체에 작업영역을 설정하고, 상기 작업영역을 촬영한 현장영상을 검출하고, 상기 검출된 현장영상을 실시간으로 출력하도록 제어하는 명령어를 포함하는
실시간 현장 작업 모니터링 시스템.
a display for outputting a site twin model representing a three-dimensional virtual space corresponding to the physical space of the site;
a memory for storing monitoring applications;
A processor for controlling the display to monitor the physical space of the site through the site twin model through the monitoring application of the memory,
The monitoring application is
a command for controlling to output a site twin model representing a three-dimensional virtual space corresponding to the physical space of the site;
Commands for controlling to display a virtual camera image corresponding to the real camera of the on-site camera system on the on-site twin model;
a command for receiving a field image of a real camera corresponding to the virtual camera image, and controlling the received field image to be matched with the field twin model and output;
Commands for controlling to provide a remote camera control interface for remotely controlling the real camera based on the virtual camera image;
Image learning of a real object as a work target based on the field image, setting a work area in the learned real object, detecting a field image photographed in the work area, and controlling to output the detected field image in real time containing the command
Real-time field work monitoring system.
제 1 항에 있어서,
상기 출력된 현장영상에 기초하여 증강현실 구축을 위한 작업 가이던스를 생성하는 단계와, 상기 실제객체에 인접한 현장 작업자의 컴퓨팅 디바이스에 상기 생성된 작업 가이던스를 송신하는 단계를 더 포함하는
실시간 현장 작업 모니터링 방법.
The method of claim 1,
Generating work guidance for building augmented reality based on the output field image, and transmitting the generated work guidance to a computing device of a field worker adjacent to the real object
How to monitor real-time field work.
제 1 항에 있어서,
상기 현장 트윈모델에 기 설정된 위험구역에 현장 작업자의 진입을 감지하는 단계와, 상기 현장 작업자 및 위험구역 내 기 설정된 위험영역을 촬영하는 현장영상을 추출하는 단계와, 상기 추출된 현장영상에 기초하여 상기 현장 작업자가 상기 위험영역으로 소정의 거리 내로 접근함을 감지하는 단계와, 상기 현장 작업자의 컴퓨팅 디바이스에 자동 위험 알림을 송신하는 단계를 포함하는
실시간 현장 작업 모니터링 방법.


The method of claim 1,
Detecting the entry of a field worker into the danger zone preset in the on-site twin model, extracting a field image for photographing the field worker and a preset danger zone in the danger zone, and based on the extracted on-site image Detecting that the field worker approaches within a predetermined distance to the danger area, and transmitting an automatic hazard notification to the computing device of the field worker
How to monitor real-time field work.


KR1020190179754A 2019-12-31 2019-12-31 System and method for real-time monitoring field work KR102289745B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190179754A KR102289745B1 (en) 2019-12-31 2019-12-31 System and method for real-time monitoring field work

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190179754A KR102289745B1 (en) 2019-12-31 2019-12-31 System and method for real-time monitoring field work

Publications (2)

Publication Number Publication Date
KR20210086072A KR20210086072A (en) 2021-07-08
KR102289745B1 true KR102289745B1 (en) 2021-08-13

Family

ID=76894109

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190179754A KR102289745B1 (en) 2019-12-31 2019-12-31 System and method for real-time monitoring field work

Country Status (1)

Country Link
KR (1) KR102289745B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482129B1 (en) * 2022-07-20 2023-01-02 (주)하이브시스템 Artificial intelligence based noxious gas leak detection system and operating method there of
KR102601819B1 (en) 2022-12-19 2023-11-14 주식회사 코탁스 Control system for remote helmet based on augmented reality using real-time sharing of visual information

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230038961A (en) 2021-09-13 2023-03-21 주식회사 수산아이앤티 Work monitoring system
KR102421983B1 (en) * 2021-10-19 2022-07-19 주식회사 넥스트코어테크놀로지 Systems and methods for monitoring worker safety management based on 3d position
KR102449823B1 (en) * 2021-11-11 2022-09-30 위즈코어 주식회사 Method for tagging images of construction site and server and system for performing the same
KR102532269B1 (en) * 2022-04-05 2023-05-11 이준희 Digital twin based equipment control simulation system and education contents providing method using the same
KR102527771B1 (en) * 2022-11-11 2023-05-02 주식회사 인텔리빅스 System and Method for Monitoring Behavior Observation and Abnormal Behavior of the Elderly Living alone by Using TOF Camera and Digital Twin Technology

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101162703B1 (en) * 2010-07-07 2012-07-05 건국대학교 산학협력단 Method, terminal and computer-readable recording medium for remote control on the basis of 3d virtual space

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101273531B1 (en) * 2010-04-21 2013-06-14 동서대학교산학협력단 Between Real image and CG Composed Animation authoring method and system by using motion controlled camera
KR101914228B1 (en) * 2017-02-17 2018-11-02 주식회사 영신 IOT Based Safety Management System for Construction Site Using the RTLS and Video Control Technology
KR102055085B1 (en) 2019-03-22 2019-12-12 신미희 System for detecting indoor position using mixed reality and ultra wide band
KR20190100133A (en) * 2019-08-19 2019-08-28 에스케이텔레콤 주식회사 Apparatus and method for providing augmented reality contents

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101162703B1 (en) * 2010-07-07 2012-07-05 건국대학교 산학협력단 Method, terminal and computer-readable recording medium for remote control on the basis of 3d virtual space

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102482129B1 (en) * 2022-07-20 2023-01-02 (주)하이브시스템 Artificial intelligence based noxious gas leak detection system and operating method there of
KR102601819B1 (en) 2022-12-19 2023-11-14 주식회사 코탁스 Control system for remote helmet based on augmented reality using real-time sharing of visual information

Also Published As

Publication number Publication date
KR20210086072A (en) 2021-07-08

Similar Documents

Publication Publication Date Title
KR102366293B1 (en) System and method for monitoring field based augmented reality using digital twin
KR102289745B1 (en) System and method for real-time monitoring field work
US9746913B2 (en) Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
KR101354688B1 (en) System and method for supervision of construction site
US20170270362A1 (en) Responsive Augmented Content
KR20120038316A (en) User equipment and method for providing ar service
JP2019153274A (en) Position calculation device, position calculation program, position calculation method, and content addition system
CN114140528A (en) Data annotation method and device, computer equipment and storage medium
KR102418994B1 (en) Method for providng work guide based augmented reality and evaluating work proficiency according to the work guide
KR102190743B1 (en) AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF
US11395102B2 (en) Field cooperation system and management device
KR102347586B1 (en) Method for providing augmented reality user interface
JP2016184294A (en) Display control method, display control program, and information processing apparatus
KR20220010356A (en) System and method for augmented reality content-based work management
KR101036107B1 (en) Emergency notification system using rfid
KR102260193B1 (en) Remote augmented reality communication method and system that provides security for 3d-space
KR101572800B1 (en) System for controlling camera on the 3d virtual modeling
KR102467017B1 (en) Method for augmented reality communication between multiple users
KR102245760B1 (en) Table top devices and table top systems
KR102221898B1 (en) Method for visualization in virtual object based on real object
WO2022121606A1 (en) Method and system for obtaining identification information of device or user thereof in scenario
JP7000935B2 (en) Information processing equipment, information processing system, information processing method and program
EP4102325A1 (en) Method and system for collecting field operation situation and facility information
KR102538056B1 (en) Building management system using augmented reality
KR102420166B1 (en) Method and system for customzing network transmssion prameter

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant