KR20210042483A - Remote consoltation system and method for road pavement construction using AR and VR - Google Patents

Remote consoltation system and method for road pavement construction using AR and VR Download PDF

Info

Publication number
KR20210042483A
KR20210042483A KR1020190125097A KR20190125097A KR20210042483A KR 20210042483 A KR20210042483 A KR 20210042483A KR 1020190125097 A KR1020190125097 A KR 1020190125097A KR 20190125097 A KR20190125097 A KR 20190125097A KR 20210042483 A KR20210042483 A KR 20210042483A
Authority
KR
South Korea
Prior art keywords
terminal
information
site
server
augmented reality
Prior art date
Application number
KR1020190125097A
Other languages
Korean (ko)
Inventor
이준휘
Original Assignee
주식회사 크레넷
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 크레넷 filed Critical 주식회사 크레넷
Priority to KR1020190125097A priority Critical patent/KR20210042483A/en
Publication of KR20210042483A publication Critical patent/KR20210042483A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08—Construction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a system and method for a road pavement construction remote advisory using augmented reality and virtual reality. According to one embodiment of the present invention, in the system for road pavement construction remote advisory using the augmented reality and virtual reality, the system comprises: a VR camera that collects 360-degree image information around a road pavement construction site; a server that allows streaming by adding figure and audio information to the image information collected from the VR camera; a site terminal that displays the image, audio, figure, and various sensor information received from the server on a display, processes the audio, figure, and various sensor information in real-time, and transmits it to the server; and a remote terminal. Therefore, the present invention is capable of having the effect of reducing time and economic loss.

Description

증강현실 및 가상현실을 이용한 도로포장 시공 원격자문 시스템 및 방법 {Remote consoltation system and method for road pavement construction using AR and VR }Remote consoltation system and method for road pavement construction using AR and VR}

본 발명의 실시예들은 증강현실 및 가상현실을 이용한 도로시공 원격자문 시스템 및 방법과 관련된다.Embodiments of the present invention relate to a road construction remote consulting system and method using augmented reality and virtual reality.

가상현실(Virtual Reality, VR)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 이때, 만들어진 가상의(상상의) 환경이나 상황 등은 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 상상의 경계를 자유롭게 드나들게 한다. 또한 사용자는 가상현실에 단순히 몰입할 뿐만 아니라 실제하는 디바이스를 이용해 조작이나 명령을 가하는 등 가상현실 속에 구현된 것들과 상호작용이 가능하다. 또 가상현실은 사용자와 상호작용이 가능하고 사용자의 경험을 창출한다는 점에서 일방적으로 구현된 시뮬레이션과는 구분된다.　Virtual Reality (VR) refers to a specific environment or situation or the technology itself that is similar to reality created by artificial technology using computers, etc., but not real. At this time, the created virtual (imaginary) environment or situation stimulates the user's five senses and allows them to experience spatial and temporal similarities to the real world, allowing them to freely enter the boundary between reality and imagination. In addition, users can not only immerse themselves in virtual reality, but also interact with things implemented in virtual reality, such as manipulating or applying commands using real devices. In addition, virtual reality is distinguished from unilateral simulation in that it can interact with users and create user experiences.

본 발명은 도로포장 시공현장에 대한 자문 방법에 있어서 자문위원이 시공 현장과 지리적으로 멀리 떨어져 있을 경우 직접 현장에 방문 하지 않고도 효과적으로 자문 결과를 제공할 수 있는 시스템을 제공하는데 있다.The present invention is to provide a system capable of effectively providing an advisory result without visiting the site directly when an advisory committee member is geographically far away from the construction site in a method of consulting on a road pavement construction site.

상기와 같은 목적을 달성하기 위하여, 본 발명인 증감현실 및 가상현실을 이용한 도로시공 원격자문 시스템 및 그 방법은 현장의 주변 상황을 입체적으로 확인할 수 있도록 360도 VR카메라를 통해 수집된 영상 정보를 원격지에 있는 자문위원의 원격 단말로 제공, 해당 내용을 헤드마운트 디스플레이(HMD) 혹은 PC의 디스플레이 및 스피커를 통해 재생해 주고,In order to achieve the above object, the present inventors a road construction remote advisory system using augmented reality and virtual reality, and the method thereof, transmits image information collected through a 360-degree VR camera to a remote location so that the surrounding situation of the site can be checked three-dimensionally. Provided to a remote terminal of a member of the advisory board, and the content is played back through the head mounted display (HMD) or the display and speaker of a PC,

현장 담당자가 원격에 있는 자문위원이 상호간에 의사소통을 원활히 하기 위해서 현장 단말과 원격 단말은 서버의 중계를 통해 음성, 도형, 각종 센서 정보를 조합해서 증강 현실 컨텐츠를 서로 주고 받으며,The on-site terminal and the remote terminal exchange augmented reality contents by combining voice, figure, and various sensor information through the relay of the server in order for the on-site person in charge to communicate with each other smoothly.

현장 단말기 및 원격 단말기는 서버로부터 수신한 증강 현실 컨텐츠를 사용자가 효과적으로 인지할 수 있도록 시각화, 청각화 하는 것을 특징으로 한다. The on-site terminal and the remote terminal are characterized by visualizing and auditing the augmented reality content received from the server so that the user can effectively recognize the augmented reality content.

이상에서 살펴본 본 발며인 증강현실 및 가상현실을 이용한 도로시공 원격자문 시스템 및 방법은 공간적으로 멀리 떨어져 있는 시공 현장과 자문위원을 증강 현실 및 가상 현실 기술을 사용해 현장에 있는 것처럼 자문을 위해 필요한 정보를 얻을 수 있도록 하며, 이로 인해 자문위원에 현장에 방문하면서 발생하는 시간적, 경제적 손실을 줄이는 효과가 있다.The road construction remote advisory system and method using augmented reality and virtual reality, which was discussed above, is to obtain necessary information for consultation with construction sites and advisors that are spatially distant as if they were at the site using augmented reality and virtual reality technology. This has the effect of reducing the time and economic losses that occur when visiting the site of the advisory committee.

도 1 은 본 발명에 따른 증강현실 및 가상현실을 이용한 도로시공 원격자문 시스템 구성 개념도..
도 2 는 본 발명에 따른 현장 단말(120) 및 원격 단말(150)에 표시되는 디스플레이 구현예시.
도 3 은 본 발명에 따른 서버(140)의 구성도.1 is a conceptual diagram of the construction of a road construction remote advisory system using augmented reality and virtual reality according to the present invention.
2 is an example of a display displayed on the on-site terminal 120 and the remote terminal 150 according to the present invention.
Figure 3 is a configuration diagram of the server 140 according to the present invention.

상기와 같이 구성된 본 발명의 바람직한 실시예를 첨부한 도면을 참조하면서 상세히 설명하면 다음과 같음과 같다.A preferred embodiment of the present invention configured as described above will be described in detail with reference to the accompanying drawings as follows.

도 1은 본 발명에 따른 증강현실 및 가상현실을 이용한 도로시공 원격자문 시스템의 전체 구성을 나타내는 도면이고, 도 2는 현장 단말(120)및 원격 단말(150)에 표시되는 증강현실 컨텐츠의 디스플레이 구현예시 이며, 도3은 서버(140)의 작동을 설명하기 위한 도면이다.1 is a diagram showing the overall configuration of a road construction remote advisory system using augmented reality and virtual reality according to the present invention, and FIG. 2 is a display implementation of augmented reality content displayed on the on-site terminal 120 and the remote terminal 150 It is an example, and FIG. 3 is a diagram for explaining the operation of the server 140.

상기 도 1 의 도시를 보면 우선 도로포장 시공현장에는 VR 카메라(110) 및 현장 단말(120)이 설치되어 있으며, 원격지에는 자문을 담당하는 자문위원의 위치한 곳에 원격 단말(150)이 설치 되어 있으며, 서버(140)는 네트워크를 통해서 VR 카메라(110), 현장 단말(120), 원격 단말(150)과 연결이 되어 있다.Referring to the city of FIG. 1, first, a VR camera 110 and an on-site terminal 120 are installed at the road pavement construction site, and a remote terminal 150 is installed at the location of the advisor in charge of consulting at the remote site, and the server 140 is connected to the VR camera 110, the on-site terminal 120, and the remote terminal 150 through a network.

상기 VR 카메라(110)는 이동이 가능한 장치에 장착되어 있거나 현장 담당자가 직접 들고 다닐 수 있으며, VR 카메라(110)을 통해 촬영되는 360도 가상 영상 정보는 즉시 서버(140)로 전송한다.The VR camera 110 is mounted on a movable device or can be carried by a person in charge of the field, and 360-degree virtual image information photographed through the VR camera 110 is immediately transmitted to the server 140.

상기 현장 단말(120)은 스마트폰이나 HMD(헤드마운트 디스플레이) 형태로 구성되며, 위치, 온도, 기울기 등 도로포장 시공 현장에 대한 평가에 필요한 각종 센서를 포함하고 있거나 외부에 있는 센서와 근거리 통신 네트워크를 통해 연결되어 있는 기기이며, 사용자의 음성을 입력 받을 수 있는 마이크가 설치되어 있고, 증강현실 환경에서 현장 담당자가 도형을 입력할 수 있도록 터치스크린이나 별도의 컨트롤러를 제공하며, 상기한 센서 정보, 음성 정보, 도형 정보를 증강현실 및 가상현실을 이용한 도로시공 원격자문 시스템에서 요구하는 형식으로 인코딩 할 수 있는 처리장치 및 이를 네트워크로 전송할 수 있는 네트워크 어댑터로 이루어 진다.The on-site terminal 120 is configured in the form of a smartphone or HMD (head mount display), and includes various sensors necessary for evaluation of the road pavement construction site such as location, temperature, and slope, or a short-range communication network with external sensors. It is a device that is connected through and has a microphone that can receive user's voice input, and provides a touch screen or a separate controller so that field personnel can input figures in an augmented reality environment, and the above sensor information, It consists of a processing device that can encode voice information and figure information into a format required by a road construction remote advisory system using augmented reality and virtual reality, and a network adapter that can transmit the same to the network.

상기 원격 단말(150)은 스마트폰이, PC 혹은 HMD형태로 구성되며, 사용자의 음성을 입력 받을 수 있는 마이크가 설치되어 있고, 증강현실 환경에서 현장 담당자가 도형을 입력할 수 있도록 터치스크린이나 마우스 등 별도의 컨트롤러를 제공하며, 상기한 센서 정보, 음성 정보, 도형 정보를 증강현실을 이용한 도로시공 원격자문 시스템에서 요구하는 형식으로 인코딩 할 수 있는 처리장치 및 이를 네트워크로 전송할 수 있는 네트워크 어댑터로 이루어 진다.The remote terminal 150 is composed of a smartphone, a PC or HMD, and a microphone capable of receiving a user's voice is installed, and a touch screen or a mouse so that a person in charge of the field can input a figure in an augmented reality environment. It provides a separate controller, and consists of a processing device that can encode the sensor information, voice information, and figure information in the format required by the road construction remote advisory system using augmented reality, and a network adapter that can transmit it to the network. Lose.

도 3 은 서버(140)의 작동 방법을 설명하고 있는 구성도 이며, 이를 자세히 설명하면 다음과 같다.3 is a configuration diagram illustrating a method of operating the server 140, and this is described in detail as follows.

상기 도 3 을 보면 서버 내부는 VR 영상 수신기(141), 가상현실 스트리밍 서비스(142), 메타데이터 수신기(143), 음성 신호 수신기(144), 센서 정보 처리기(145), 도형 정보 처리기(146), 음성 신호 처리기(148), 증강현실 스트리밍 서비스(149) 등으로 이루어 진다.3, the inside of the server includes a VR image receiver 141, a virtual reality streaming service 142, a metadata receiver 143, a voice signal receiver 144, a sensor information processor 145, and a figure information processor 146. , A voice signal processor 148, an augmented reality streaming service 149, and the like.

상기 VR 영상 수신기(141)은 VR 카메라(110)으로부터 수신된 360도 가상 영상을 수신하는 수신대상으로서 VR 영상이 현재 원격 자문이 이루어 지고 있는 유효한 작업 현장에서 수신된 것인지 체크한 후에 해당 현장에 해당하는 가상현실 스트리밍 서비스(142) 세션으로 정보를 전달한다.The VR image receiver 141 is a reception target for receiving a 360-degree virtual image received from the VR camera 110, and corresponds to the corresponding site after checking whether the VR image has been received at a valid work site where remote consultation is currently being performed. The information is delivered to the virtual reality streaming service 142 session.

상기 가상현실 스트리밍 서비스(142)는 VR 영상 수신기(143)으로부터 수신된 유효 360도 가상 영상 정보를 적합한 단수 혹은 복수의 원격 단말기(150)으로 전송하며, 이때 원격 단말의 디코딩 가능한 코덱 종류, 네트워크 대역폭 등을 고려하여 적당한 트랜스코딩을 실시하여 전송한다.The virtual reality streaming service 142 transmits the effective 360-degree virtual image information received from the VR image receiver 143 to a suitable single or multiple remote terminals 150, and at this time, the decoding codec type and network bandwidth of the remote terminal Transcoding is performed appropriately in consideration of the like and transmitted.

상기 메타데이터 수신기(143)는 현장 단말기(120)로부터 수신된 위치, 온도, 기울기 등의 센서 정보와 현장 담당자가 현장 단말기(120)을 통해 입력한 도형 정보를 수신하며, 수신된 정보를 파싱하여 센서 정보와 도형 정보로 분류하고 이를 각각 센서 정보 처리기(145)와 도형 정보 처리기(146)로 전달한다.The metadata receiver 143 receives sensor information such as location, temperature, and inclination received from the field terminal 120 and graphic information input through the field terminal 120 by a field person in charge, and parses the received information. They are classified into sensor information and figure information, and are transmitted to the sensor information processor 145 and the figure information processor 146, respectively.

상기 음성 신호 수신기(144)는 현장 단말기(120)혹은 원격 단말기(150)으로부터 수집된 음성 정보를 수신하는 수신 대상으로서 음성 정보가 현재 원격 자문이 이루어 지고 있는 유효한 작업 현장에서 수신된 것인지 체크한 후에 정보를 음성 신호 처리기(148)로 전달한다.The voice signal receiver 144 is a reception target for receiving voice information collected from the on-site terminal 120 or the remote terminal 150, and after checking whether the voice information is received at a valid work site where remote consultation is currently being performed. It passes the information to the speech signal processor 148.

상기 센서 정보 처리기(145)는 메타데이터 수신기(143)로부터 수신된 센서 정보를 처리하는 장치로, 센서로부터 수집된 텍스트 및 수치 형태로 전달받은 정보를 가상 공간 표시에 적합하도록 처리하는 장치이며, 각 센서가 그 측정 대상으로 삼은 객체를 가상 공간에 함께 표시 할 수 있도록 정보를 가공해서 증강현실 컨텐츠의 구성 요소로 제공한다.The sensor information processor 145 is a device that processes sensor information received from the metadata receiver 143, and processes information received in text and numerical form collected from the sensor to be suitable for display in a virtual space. The information is processed and provided as a component of the augmented reality content so that the sensor can display the object as the measurement target together in a virtual space.

상기 도형 정보 처리기(146)은 메타데이터 수신기(143)로부터 수신된 도형 정보를 처리하는 장치로, 현장 단말기(120) 혹은 원격 단말기(150)에 현장 담당자 및 자문위원이 입력한 도형 정보를 가상공간의 좌표계의 형태로 변환하고, 이를 증강현실 컨텐츠의 구성 요소로 제공한다.The figure information processor 146 is a device that processes figure information received from the metadata receiver 143, and transfers figure information input by field personnel and advisors to the on-site terminal 120 or the remote terminal 150 in a virtual space. It converts into a coordinate system and provides it as a component of augmented reality content.

상기 음성 신호 처리기(148)는 음성 신호 수신기(144)로부터 수신된 음성 정보를 처리하는 장치로, 음성 신호 수신기(144)로부터 수신한 음성 정보를 증강현실 컨텐츠의 구성 요소로 제공한다.The voice signal processor 148 is a device that processes voice information received from the voice signal receiver 144 and provides voice information received from the voice signal receiver 144 as a component of augmented reality content.

상기 증강현실 스트리밍 서비스(149)는 상기 센서 정보 처리기(145), 상기 도형 정보 처리기(146) 및 상기 음성 신호 처리기(148)로부터 생산된 증강현실 컨텐츠를 단수 혹은 복수의 현장 단말(120) 및 원격 단말(150)에 전송해 주는 장치로, 증강현실 정보를 각 단말의 상황에 맞춰 지능적으로 스트리밍 할 수 있도록 도형 정보의 정밀도 조정, 음성 신호의 트랜스 코딩 등을 제공한다.The augmented reality streaming service 149 includes augmented reality content produced from the sensor information processor 145, the figure information processor 146, and the voice signal processor 148 in a single or multiple field terminals 120 and remotely. As a device that transmits to the terminal 150, it provides precision adjustment of figure information and transcoding of voice signals so that augmented reality information can be intelligently streamed according to the situation of each terminal.

상기 현장 단말(120)및 원격 단말(150)은 증강현실 스트리밍 서비스를 통해 증강현실 컨텐츠를 전달받아 도 2 와 같이 표현해 주며, 특히 센서 정보를 자문위원에게 효과적으로 전달하기 위해서 현장 및 장비에 대한 정보는 텍스트로 상단에 표시해 주며, 기온 및 작업 속도 등은 상단에 기울기 및 온도에 대한 정보는 가상 공간 좌표를 활용하여 해당 위치에 증강현실로 표현한다.The on-site terminal 120 and the remote terminal 150 receive augmented reality content through an augmented reality streaming service and express it as shown in FIG. 2. The information on the slope and temperature is displayed at the top of the furnace, and the temperature and working speed are displayed at the top in augmented reality using virtual space coordinates.

Claims (6)

360도 영상을 촬영하는 VR 카메라(110); 및
상기 VR 카메라(110)로부터 수신되는 360도 가상 현실 영상을 원격 단말(150)에 전송해 주고, 현장 단말(120) 및 원격 단말(150)으로부터 수신된 음성, 도형 및 각종 센서 정보를 처리하여 증강 현실 컨텐츠 정보를 생산하고 이를 현장 단말 및 원격 단말에 네트워크를 통해 송신하는 서버(140)를 포함하며,
현장 단말(120)은,
단말 사용자인 현장 담당자로부터 입력된 음성 신호, 도형 정보 및 단말에 연결된 각종 센서를 통해 취득한 정보를 서버에 전송하고,
서버(140)로부터 수신된 증강 현실 컨텐츠 정보를 디스플레이 및 음성 신호를 스피커를 통해 재생해 주는 장치,
원격 단말(150)은,
단말 사용자인 자문위원으로부터 입력된 자문 음성 신호, 도형 정보를 서버(140)에 전송하고,
서버(140)로부터 수신된 360도 가상 현실 영상 및 증강 현실 컨텐츠 정보를 디스플레이 및 음성 신호를 스피커를 통해 재생해 주는 시스템.
VR camera 110 for capturing a 360-degree image; And
The 360-degree virtual reality image received from the VR camera 110 is transmitted to the remote terminal 150, and the voice, figure, and various sensor information received from the on-site terminal 120 and the remote terminal 150 are processed and augmented. It includes a server 140 that produces real content information and transmits it to an on-site terminal and a remote terminal through a network,
On-site terminal 120,
Transmits the voice signal, graphic information, and information acquired through various sensors connected to the terminal to the server, input from the person in charge of the field who is the terminal user,
A device that displays the augmented reality content information received from the server 140 and reproduces the audio signal through a speaker,
The remote terminal 150,
Transmitting the advisory voice signal and graphic information input from the advisory member, who is a terminal user, to the server 140,
A system that displays 360-degree virtual reality images and augmented reality content information received from the server 140 and reproduces audio signals through a speaker.
 청구항 1에 있어서,
상기 증강 현실 콘텐츠 정보는,
단말로부터 수신된 음성 신호, 도형 정보 및 각종 센서 정보를 취합하여 이를 재생 가능한 형태로 처리하는 증강현실을 이용한 도로포장 시공 원격자문 시스템.
The method according to claim 1,
The augmented reality content information,
A road pavement construction remote advisory system using augmented reality that collects voice signals, graphic information, and various sensor information received from a terminal and processes them in a reproducible form.
 청구항 1에 있어서,
상기 현장 단말(120)은,
현장 담당자의 음성 정보 취득 및 증강 현실을 통해 도로포장 시공 현장 상의 특정 가상 좌표에 도형을 배치하며, 현장 단말에 연결된 위치, 온도, 기압, 거리, 기울기 센서 등 도로포장 시공현장의 자문에 필요한 정보를 수집하여 서버(140)로 전송하고, 서버(140)로부터 수집된 증강 현실 컨텐츠 정보를 디스플레이 및 스피커를 통해 재생해 주는 시스템.
The method according to claim 1,
The field terminal 120,
Through the acquisition of voice information from the person in charge of the site and augmented reality, the figure is placed at a specific virtual coordinate on the road pavement construction site, and information necessary for consultation of the road pavement construction site such as the location, temperature, pressure, distance, and inclination sensor connected to the site terminal is provided. A system that collects and transmits to the server 140, and reproduces the augmented reality content information collected from the server 140 through a display and a speaker.
 청구항 1에 있어서,
상기 원격 단말(150)은,
도로포장 시공 현장으로부터 원격지에 있는 자문위원의 음성 정보 취득 및 가상 현실을 통해 시공 현장 상의 특정 가상 좌표에 도형을 배치하고 이를 서버(140)로 전송하며, 서버(140)로부터 수신된 360도 가상 현실 영상 및 수신된 증강 현실 컨텐츠 정보를 디스플레이 및 스피커를 통해 재생해 주는 시스템.
The method according to claim 1,
The remote terminal 150,
Acquisition of voice information from advisors in a remote location from the road pavement construction site and arranging a figure at a specific virtual coordinate on the construction site through virtual reality and transmitting it to the server 140, and a 360-degree virtual reality image received from the server 140 And a system for reproducing the received augmented reality content information through a display and a speaker.
 청구항 1에 있어서,
상기 서버(140)는,
상기 VR 카메라(110)를 통해 수집된 도로포장 시공현장의 360도 영상 정보를 원격 단말(120)에 전송하고, 현장 단말(120)로부터 수집된 음성, 도형 및 센서 정보를 정해진 방법에 따라 처리하여 증강 현실 컨텐츠 정보를 생성하고 이를 원격 단말(150)및 현장 단말(120)로 전송해 주는 시스템.
The method according to claim 1,
The server 140,
The 360-degree image information of the road pavement construction site collected through the VR camera 110 is transmitted to the remote terminal 120, and the voice, figure, and sensor information collected from the on-site terminal 120 are processed according to a predetermined method. A system that generates augmented reality content information and transmits it to the remote terminal 150 and the on-site terminal 120.
 청구항 5에 있어서 증강 현실 컨텐츠 정보를 처리하는 방법은,
상기 현장 단말(120) 및 상기 원격 단말(150)로부터 수신된 음성 정보를 합성하여 하나의 오디오 신호로 합성하고,
상기 현장 단말(120) 및 상기 원격 단말(150)로부터 수신된 도형 졍보를 각 단말로부터 수신된 XYZ각도 정보를 사용해 하나의 가상 좌표계에 배치하고,
상기 현장 단말(120)로부터 수신된 위치, 온도, 기압, 거리, 기울기 정보를 메타정보 형태로 가공하여 연결되어 있는 현장 단말(120)및 원격 단말(150)에 전송하는 방법


The method of claim 5, wherein the method of processing augmented reality content information,
The voice information received from the on-site terminal 120 and the remote terminal 150 is synthesized into one audio signal,
Arrange the graphic record received from the on-site terminal 120 and the remote terminal 150 in one virtual coordinate system using XYZ angle information received from each terminal,
Method of processing the location, temperature, air pressure, distance, and inclination information received from the on-site terminal 120 in the form of meta-information and transmitting it to the connected on-site terminal 120 and the remote terminal 150
KR1020190125097A 2019-10-10 2019-10-10 Remote consoltation system and method for road pavement construction using AR and VR KR20210042483A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190125097A KR20210042483A (en) 2019-10-10 2019-10-10 Remote consoltation system and method for road pavement construction using AR and VR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190125097A KR20210042483A (en) 2019-10-10 2019-10-10 Remote consoltation system and method for road pavement construction using AR and VR

Publications (1)

Publication Number Publication Date
KR20210042483A true KR20210042483A (en) 2021-04-20

Family

ID=75743075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190125097A KR20210042483A (en) 2019-10-10 2019-10-10 Remote consoltation system and method for road pavement construction using AR and VR

Country Status (1)

Country Link
KR (1) KR20210042483A (en)

Similar Documents

Publication Publication Date Title
JP7170736B2 (en) interactive augmentation or virtual reality device
CN107103801B (en) Remote three-dimensional scene interactive teaching system and control method
US10359988B2 (en) Shared experience of virtual environments
WO2018165041A8 (en) Mixed reality viewer system and method
CN109089057B (en) Glass fragmentation special effect experience system, method and device
WO2021184952A1 (en) Augmented reality processing method and apparatus, storage medium, and electronic device
WO2018112695A1 (en) Image display method and mobile terminal
US20180336069A1 (en) Systems and methods for a hardware agnostic virtual experience
US20220301270A1 (en) Systems and methods for immersive and collaborative video surveillance
CN210090827U (en) Portable AR glasses implementation system
CN107240317A (en) A kind of utilization AR realizes the method and apparatus of long-distance education
CN107426508A (en) A kind of method that long-range security inspection is realized using AR
CN110740285A (en) telematics method and device
EP3465631B1 (en) Capturing and rendering information involving a virtual environment
CN118338237A (en) Method and apparatus for providing audio content in immersive reality
KR101784095B1 (en) Head-mounted display apparatus using a plurality of data and system for transmitting and receiving the plurality of data
CN108932055B (en) Method and equipment for enhancing reality content
EP3665656B1 (en) Three-dimensional video processing
KR101295976B1 (en) 3d video conference system
CN112558761A (en) Remote virtual reality interaction system and method for mobile terminal
KR20210042483A (en) Remote consoltation system and method for road pavement construction using AR and VR
KR20200143293A (en) Metohd and appartus for generating augumented reality video for real-time multi-way ar broadcasting
CN110262662A (en) A kind of intelligent human-machine interaction method
KR20200056893A (en) Media server that control hmd wirelessly and hmd control method using it
WO2021078182A1 (en) Playback method and playback system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application