KR102259350B1 - Remote support system based on augmented reality and operation method thereof - Google Patents

Remote support system based on augmented reality and operation method thereof Download PDF

Info

Publication number
KR102259350B1
KR102259350B1 KR1020190174132A KR20190174132A KR102259350B1 KR 102259350 B1 KR102259350 B1 KR 102259350B1 KR 1020190174132 A KR1020190174132 A KR 1020190174132A KR 20190174132 A KR20190174132 A KR 20190174132A KR 102259350 B1 KR102259350 B1 KR 102259350B1
Authority
KR
South Korea
Prior art keywords
manager
image information
input
information
image
Prior art date
Application number
KR1020190174132A
Other languages
Korean (ko)
Inventor
정우락
Original Assignee
주식회사 브이알미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이알미디어 filed Critical 주식회사 브이알미디어
Priority to KR1020190174132A priority Critical patent/KR102259350B1/en
Application granted granted Critical
Publication of KR102259350B1 publication Critical patent/KR102259350B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227—Providing Remote input by a user located remotely from the client device, e.g. at work
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

The present invention provides an AR-based remote support system, which includes: an operator terminal for displaying real-time captured images of a workspace and image information generated based on workspace coordinates in real time; and a manager terminal for transmitting manager input information including first location coordinates of the target object image and manager input contents input based on the target object image of the image information to the operator terminal in real time. The AR-based remote support system for augmenting and displaying the manager input contents in real time on the operator terminal based on a coordinate recognition basis using the first location coordinates and an image recognition basis using the target object image.

Description

AR 기반 원격 지원 시스템 및 그 동작 방법{Remote support system based on augmented reality and operation method thereof}AR-based remote support system and its operation method {Remote support system based on augmented reality and operation method thereof}

본 발명은 AR 기반 원격 지원 시스템 및 그 동작방법에 관한 것으로, 특히 작업자의 단말기에 촬영되어 디스플레이되는 영상에, 관리자 단말기를 통하여 입력되는 내용을 실시간으로 증강하여 표시할 수 있는 AR 기반 원격 지원 시스템 및 그 동작 방법에 관한 것이다.The present invention relates to an AR-based remote support system and an operating method thereof, and in particular, an AR-based remote support system capable of augmenting and displaying content input through a manager terminal in real time on an image captured and displayed on a terminal of an operator; It's about how it works.

최근 들어, 산업이 발전하면서 제품들을 대량생산하기 위해 고도화된 제조시설을 갖춘 대규모의 공장들을 운영하는 기업들이 늘어나고 있다. 이와 같은 대규모의 공장들을 운영하기 위해서는 현장에서 이를 전문적으로 관리할 수 있는 전문인력들이 충분히 투입되어야 하나, 기업의 입장에서는 여러가지 여건 상 투입할 수 있는 전문인력의 인원은 한계가 있어, 많은 기업에서는 일부 전문인력들을 관리자로 두어 현장의 많은 수의 비전문인력들을 관리하도록 하고 있다.In recent years, as industry develops, more and more companies are operating large-scale factories equipped with advanced manufacturing facilities to mass-produce products. In order to operate such a large-scale factory, enough professional manpower to manage it on site is required, but from the point of view of a company, there is a limit to the number of professional manpower that can be put in under various conditions. Professionals are employed as managers to manage a large number of non-professionals in the field.

이처럼 소수의 관리자들이 현장에 근무하는 다수의 비전문인력들의 작업을 지도하거나 문제사항을 해결하는 방법으로 화상 통화 등을 이용하는 방법이 있다. 화상 통화를 통하여 관리자들은 현장에 있는 작업자 또는 작업현장의 실시간 영상을 보면서 작업자에게 업무지시를 내리거나 작업 중 발생하는 문제상황을 해결한다.As such, there is a method of using video calls, etc. as a way for a small number of managers to guide the work of a large number of non-professionals working in the field or to solve problems. Through video calls, managers view real-time images of workers or worksites in the field and give work instructions to workers or solve problems that occur during work.

그러나 이경우, 화상 통화만으로는 의사 소통을 하는데 있어 상호 간에 이해의 차이가 있을 수 있으며, 이는 자칫하면 중대한 사고로 이어질 수 있다는 문제점이 있다.However, in this case, there may be a difference in understanding between each other in communicating only through video calls, which may lead to a serious accident.

한국공개특허 제10-2012-0006676호 (공개일자, 2012.01.19.)Korea Patent Publication No. 10-2012-0006676 (published date, 2012.01.19.)

본 발명이 이루고자 하는 기술적 과제는 관리자가 작업자의 업무를 지원함에 있어서 관리자와 작업자 간에 직관적이고 쉽게 이해할 수 있는 의사 소통을 가능하게 하는 AR 기반 원격 지원 시스템을 제공하고자 한다.The technical problem to be achieved by the present invention is to provide an AR-based remote support system that enables intuitive and easily understandable communication between the manager and the operator when the manager supports the worker's work.

이러한 과제를 해결하기 위하여 본 발명의 실시예에 따른 AR 기반 원격 지원 시스템은 작업공간의 실시간 촬영 영상 및 작업공간 좌표를 기초로 생성되는 영상정보를 실시간으로 디스플레이하는 작업자 단말기; 및 상기 영상정보의 타겟 오브젝트 이미지를 기초로 입력된 관리자 입력내용과 상기 타겟 오브젝트 이미지의 제1 위치 좌표를 포함하는 관리자 입력정보를 상기 작업자 단말기로 실시간 전송하는 관리자 단말기를 포함하고, 상기 제1 위치 좌표를 이용한 좌표인식기반과 상기 타겟 오브젝트 이미지를 이용한 이미지인식기반을 기초로 상기 작업자 단말기에 상기 관리자 입력내용을 실시간 증강 표시한다.In order to solve this problem, an AR-based remote support system according to an embodiment of the present invention includes: a worker terminal for displaying real-time captured images of a workspace and image information generated based on workspace coordinates in real time; and a manager terminal for transmitting manager input information including manager input information input based on the target object image of the image information and the first location coordinates of the target object image to the worker terminal in real time, the first location Based on a coordinate recognition basis using coordinates and an image recognition basis using the target object image, the manager input is displayed in real time on the operator terminal.

또한, 상기 제1 위치 좌표를 이용한 좌표인식기반을 기초로 상기 관리자 입력내용을 실시간 증강 표시하되, 상기 타겟 오브젝트 이미지가 상기 제1 위치 좌표를 벗어나면 상기 타겟 오브젝트 이미지를 이용한 이미지인식기반을 기초로 상기 관리자 입력내용을 실시간 증강 표시할 수 있다.In addition, real-time augmentation and display of the manager input based on a coordinate recognition basis using the first location coordinates, if the target object image deviates from the first location coordinates, based on an image recognition basis using the target object image It is possible to augment and display the manager input in real time.

또한, 상기 작업자 단말기는 상기 작업공간의 실시간 촬영 영상을 획득하는 촬영부; 상기 작업공간 좌표를 도출하는 센서부; 상기 실시간 촬영 영상에 상기 작업공간 좌표를 매핑하여 상기 영상정보를 생성하는 영상정보 생성부; 상기 영상정보를 디스플레이하는 제1 화면부; 및 통신망을 통하여 상기 관리자 단말기와 교신하는 제1 통신부를 포함할 수 있다.In addition, the worker terminal may include: a photographing unit for acquiring a real-time photographed image of the workspace; a sensor unit for deriving the work space coordinates; an image information generating unit for generating the image information by mapping the workspace coordinates to the real-time captured image; a first screen unit for displaying the image information; and a first communication unit communicating with the manager terminal through a communication network.

또한, 상기 관리자 단말기는 상기 통신망을 통하여 상기 작업자 단말기와 교신하는 제2 통신부; 상기 작업자 단말기로부터 수신된 상기 영상정보를 디스플레이하는 제2 화면부; 상기 타겟 오브젝트 이미지의 제1 위치 좌표에 상기 관리자 입력내용을 입력받는 내용 입력부; 및 상기 관리자 입력내용에 상기 제1 위치 좌표를 매핑하여 상기 관리자 입력정보를 생성하는 입력정보 생성부를 포함할 수 있다.In addition, the manager terminal may include a second communication unit communicating with the operator terminal through the communication network; a second screen unit for displaying the image information received from the operator terminal; a content input unit for receiving the manager's input to the first location coordinates of the target object image; and an input information generator configured to generate the manager input information by mapping the first location coordinates to the manager input.

또한, 상기 영상정보 생성부는 상기 영상정보의 상기 작업공간 좌표에 상기 관리자 입력정보의 상기 제1 위치 좌표를 정합하여, 상기 제1 화면부에서 실시간 디스플레이되는 상기 영상정보의 상기 제1 위치 좌표 상에 상기 관리자 입력내용을 증강 표시할 수 있다.In addition, the image information generating unit matches the first position coordinates of the manager input information with the workspace coordinates of the image information, and is displayed on the first position coordinates of the image information displayed in real time on the first screen unit. It is possible to augment and display the administrator input.

또한, 상기 영상정보 생성부는 상기 제1 위치 좌표가 상기 제1 화면부에서 실시간 디스플레이되는 상기 영상정보의 작업공간 좌표에 포함되는지 여부에 따라 상기 관리자 입력내용이 상기 제1 화면부에 증강 표시 여부를 결정할 수 있다.In addition, the image information generating unit determines whether the manager input is augmented or displayed on the first screen unit according to whether the first location coordinates are included in the workspace coordinates of the image information displayed in real time on the first screen unit. can decide

또한, 상기 내용 입력부는 상기 제1 위치 좌표가 선택되면, 자동적으로 인공지능 엔진이 상기 제1 위치 좌표 상의 상기 타겟 오브젝트 이미지를 분석하여, 데이터베이스로부터 상기 타겟 오브젝트 이미지와 상응하는 타겟 오브젝트 정보를 상기 관리자 입력내용으로 입력받을 수 있다.In addition, when the first location coordinates are selected, the content input unit automatically analyzes the target object image on the first location coordinates, and retrieves target object information corresponding to the target object image from the database. It can be entered as input.

또한, 상기 입력정보 생성부는 상기 영상정보의 전체 이미지 정보 및 상기 타겟 오브젝트 이미지의 오브젝트 이미지 정보를 획득하여 상기 관리자 입력정보에 더 포함할 수 있다.In addition, the input information generating unit may obtain the entire image information of the image information and the object image information of the target object image and further include in the manager input information.

또한, 상기 영상정보 생성부는 상기 영상정보의 상기 제1 위치 좌표 상에 상기 오브젝트 이미지 정보가 미확인되면, 상기 영상정보에서 상기 전체 이미지 정보와 미일치하는 영역 내에서 상기 오브젝트 이미지 정보를 검색하여, 발견된 상기 타겟 오브젝트 이미지의 제2 위치 좌표로 상기 관리자 입력정보의 상기 제1 위치 좌표를 변경하고, 상기 변경된 제1 위치 좌표 상에 상기 관리자 입력내용을 실시간 증강 표시할 수 있다.In addition, when the object image information is not confirmed on the first position coordinate of the image information, the image information generating unit searches for the object image information in an area that does not match the entire image information in the image information, and finds it The first location coordinates of the manager input information may be changed to the second location coordinates of the target object image, and the manager input content may be augmented and displayed on the changed first location coordinates in real time.

또한, 상기 통신망을 통하여 상기 작업자 단말기와 상기 관리자 단말기 간의 파일 전송 및 음성 통화 기능을 수행할 수 있다.In addition, it is possible to perform file transmission and voice call functions between the worker terminal and the manager terminal through the communication network.

또한, 상기 관리자 단말기는 전용펜 또는 손동작 제스처 중 적어도 하나를 통해 상기 관리자 입력내용을 입력받을 수 있다.Also, the manager terminal may receive the manager input through at least one of a dedicated pen and a hand gesture.

한편, 본 발명의 실시예에 따른 AR 기반 원격 지원 시스템의 동작 방법은 작업자 단말기가 작업공간의 실시간 촬영 영상 및 작업공간 좌표를 획득하는 단계; 작업자 단말기가 상기 실시간 촬영 영상에 상기 작업공간 좌표를 매핑하여 영상정보를 생성하는 단계; 작업자 단말기가 상기 영상정보를 통신망을 통해 관리자 단말기로 전송하는 단계; 관리자 단말기가 상기 영상정보의 타겟 오브젝트 이미지를 기초로 관리자 입력내용을 입력받는 단계; 관리자 단말기가 상기 관리자 입력내용에 상기 타겟 오브젝트 이미지의 제1 위치 좌표를 매핑하여 관리자 입력정보를 생성하고, 상기 영상정보의 전체 이미지 정보 및 상기 타겟 오브젝트 이미지의 오브젝트 이미지 정보를 획득하여 관리자 입력정보에 더 포함하는 단계; 상기 관리자 단말기가 상기 관리자 입력정보를 상기 통신망을 통하여 상기 작업자 단말기로 전송하는 단계; 상기 작업자 단말기가 상기 영상정보의 작업공간 좌표의 제1 위치 좌표 상에 상기 타겟 오브젝트 이미지가 위치하는지 여부를 확인하는 단계; 및 상기 제1 위치 좌표 상에 상기 타겟 오브젝트 이미지가 확인되면, 상기 작업자 단말기가 상기 제1 위치 좌표 상에 상기 관리자 입력내용을 실시간 증강 표시하고, 상기 제1 위치 좌표 상에 상기 타겟 오브젝트 이미지가 미확인되면, 상기 작업자 단말기가 상기 영상정보에서 상기 전체 이미지 정보와 미일치하는 영역 내에서 상기 오브젝트 이미지 정보를 검색하여, 발견된 상기 타겟 오브젝트 이미지의 제2 위치 좌표로 상기 관리자 입력정보의 상기 제1 위치 좌표를 변경하고, 상기 변경된 제1 위치 좌표 상에 상기 관리자 입력내용을 실시간 증강 표시하는 단계를 포함한다.On the other hand, the operation method of the AR-based remote support system according to an embodiment of the present invention comprises the steps of: acquiring, by a worker terminal, a real-time captured image of a workspace and coordinates of the workspace; generating, by a worker terminal, image information by mapping the coordinates of the workspace to the real-time captured image; transmitting, by a worker terminal, the image information to a manager terminal through a communication network; receiving, by the manager terminal, manager input contents based on the target object image of the image information; The manager terminal generates manager input information by mapping the first location coordinates of the target object image to the manager input, and obtains the entire image information of the image information and the object image information of the target object image to the manager input information further comprising; transmitting, by the manager terminal, the manager input information to the worker terminal through the communication network; checking, by the worker terminal, whether the target object image is located on a first location coordinate of the workspace coordinates of the image information; and when the target object image is confirmed on the first location coordinates, the operator terminal augments and displays the manager input on the first location coordinates in real time, and the target object image is not confirmed on the first location coordinates , the operator terminal searches for the object image information in an area that does not match the entire image information in the image information, and the first position of the manager input information is the second position coordinate of the found target object image. and changing the coordinates, and augmenting and displaying the manager input in real time on the changed first location coordinates.

위에서 언급된 본 발명의 기술적 과제 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the technical problems of the present invention mentioned above, other features and advantages of the present invention will be described below, or will be clearly understood by those skilled in the art from such description and description.

이상과 같은 본 발명에 따르면 다음과 같은 효과가 있다.According to the present invention as described above, there are the following effects.

본 발명은 관리자가 작업자가 위치한 작업공간을 방문하지 않고서도 관리자 단말기를 통하여 작업자가 위치한 작업공간에서 발생하는 일들을 실시간으로 확인하고, 실시간으로 작업자를 지원할 수 있다.According to the present invention, the manager can check in real time events occurring in the workspace where the worker is located through the manager terminal without visiting the workspace where the worker is located, and can support the worker in real time.

또한, 본 발명은 관리자가 작업자와 의사 소통함에 있어서, 작업자 단말기에 좌표인식기반과 이미지인식기반의 장단점으로 보완할 수 있는 시스템으로 증강현실을 구현하여 의사 소통의 효율성을 높일 수 있다.In addition, the present invention can improve communication efficiency by implementing augmented reality as a system that can supplement the advantages and disadvantages of coordinate recognition-based and image recognition-based in the operator terminal when the manager communicates with the operator.

또한, 본 발명은 관리자의 가이드 내용을 작업자 단말기에 증강현실을 구현함에 있어서, 타겟 오브젝트와 동일한 복수의 동일한 오브젝트들이 존재하거나 타겟 오브젝트의 위치가 변경되는 경우에도 관리자가 원하는 타겟 오브젝트에 정확하게 증강 표시되도록 하여, 의사 소통의 정확성을 높일 수 있다.In addition, the present invention, in implementing the augmented reality of the manager's guide content on the worker terminal, even when a plurality of identical objects identical to the target object exist or the location of the target object is changed, augmented display accurately on the target object desired by the manager Thus, the accuracy of communication can be improved.

이 밖에도, 본 발명의 실시 예들을 통해 본 발명의 또 다른 특징 및 이점들이 새롭게 파악될 수도 있을 것이다.In addition, other features and advantages of the present invention may be newly recognized through embodiments of the present invention.

도 1은 본 발명의 일 실시예에 따른 AR 기반 원격 지원 시스템의 개략적인 블록도이다.
도 2의 (a)는 도 1에 있어서, 관리자 입력내용이 좌표인식기반을 기초로 증강 표시되는 것을 예시적으로 나타낸 도면이고, 도2의 (b)는 관리자 입력내용이 이미지인식기반을 기초로 증강 표시되는 것을 예시적으로 나타낸 도면이다.
도 3은 도 1에 있어서, 작업자 단말기와 관리자 단말기의 구성을 도시한 개략적인 블록도이다.
도 4의 (a) 및 도 4의 (b)는 도 1에 있어서, 관리자 입력내용이 영상정보의 제1 위치 좌표 상에 증강 표시되는 것을 예시적으로 나타낸 도면이다.
도 5의 (a) 및 도 5의 (b)는 도 1에 있어서, 영상정보의 작업공간 좌표에 제1 위치 좌표가 포함되는지 여부에 따라 관리자 입력내용이 제1 화면부에 증강 표시되는 여부가 결정되는 것을 예시적으로 나타낸 도면이다.
도 6은 도 1에 있어서, 제1 위치 좌표가 선택되면 자동적으로 타겟 오브젝트 정보가 입력내용으로 입력되는 것을 예시적으로 나타낸 도면이다.
도 7의 (a) 및 도 7의 (b)는 도 1에 있어서, 타겟 오브젝트 이미지의 위치가 변경됨에 따라 제1 위치 좌표가 제2 위치 좌표로 변경되고, 이에 따라 관리자 입력내용의 위치가 변경되어 증강 표시되는 것을 예시적으로 나타낸 도면이다.
도 8은 도 7의 (a) 및 도 7의 (b)에 있어서, 영상정보에서 위치가 변경된 타겟 오브젝트 이미지를 검색하는데 사용되는 영역을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 AR 기반 원격 지원 시스템의 동작 방법을 도시한 흐름도이다.1 is a schematic block diagram of an AR-based remote assistance system according to an embodiment of the present invention.
Fig. 2 (a) is a diagram exemplarily showing that the manager input is augmented and displayed based on the coordinate recognition base in Fig. 1, and Fig. 2 (b) is the manager input content based on the image recognition base It is a diagram exemplarily showing augmented display.
3 is a schematic block diagram illustrating the configuration of a worker terminal and an administrator terminal in FIG. 1 .
4 (a) and 4 (b) are views exemplarily showing that the administrator input is augmented and displayed on the first position coordinates of the image information in FIG. 1 .
5(a) and 5(b) show whether the administrator input is augmented and displayed on the first screen unit according to whether the first location coordinates are included in the workspace coordinates of the image information in FIG. It is a diagram exemplarily showing what is determined.
FIG. 6 is a diagram exemplarily showing that target object information is automatically input as input content when a first location coordinate is selected in FIG. 1 .
7(a) and 7(b) show that in FIG. 1, as the location of the target object image is changed, the first location coordinates are changed to the second location coordinates, and accordingly, the location of the manager input is changed It is a diagram exemplarily showing the augmented display.
FIG. 8 is a diagram for explaining a region used to search for a target object image whose position has been changed in image information in FIGS. 7A and 7B .
9 is a flowchart illustrating a method of operating an AR-based remote assistance system according to an embodiment of the present invention.

본 명세서에서 각 도면의 구성 요소들에 참조번호를 부가함에 있어서 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다.In the present specification, it should be noted that, in adding reference numbers to the components of each drawing, the same numbers are used only for the same components even though they are indicated on different drawings.

한편, 본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in this specification should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하는 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다.The singular expression is to be understood as including the plural expression unless the context clearly defines otherwise, and the scope of rights should not be limited by these terms.

"포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It should be understood that terms such as “comprise” or “have” do not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

"적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및 제3 항목 중에서 적어도 하나"의 의미는 제1 항목, 제2 항목 또는 제3 항목 각각 뿐만 아니라 제1 항목, 제2 항목 및 제3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.The term “at least one” is to be understood as including all possible combinations from one or more related items. For example, the meaning of “at least one of the first, second, and third items” means each of the first, second, or third items as well as two of the first, second and third items. It means a combination of all items that can be presented from more than one.

이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, the present invention will be described in more detail with reference to the drawings. And, in describing the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to intentions or relationships of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 AR 기반 원격 지원 시스템의 개략적인 블록도이다.1 is a schematic block diagram of an AR-based remote assistance system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예들에 따른 AR 기반 원격 지원 시스템(10)은 작업자 단말기(100) 및 관리자 단말기(300)를 포함하며, 작업자 단말기(100)에서 작업공간(WS)을 실시간으로 촬영하여 생성된 영상정보(VI)를 작업자 단말기(100)와 관리자 단말기(300)에서 실시간으로 확인하고, 관리자 단말기(300)에서 입력되는 관리자 입력내용(INC)이 작업자 단말기(100)에서 실시간으로 디스플레이되는 영상정보(VI) 상의 작업공간(WS) 또는 작업공간(WS)에 위치한 오브젝트 이미지 상에 실시간으로 증강현실로 증강되어 표시된다.Referring to FIG. 1 , the AR-based remote support system 10 according to embodiments of the present invention includes a worker terminal 100 and a manager terminal 300 , and a workspace WS in the worker terminal 100 . The image information (VI) generated by shooting in real time is checked in real time by the operator terminal 100 and the manager terminal 300 , and the manager input contents (INC) input from the manager terminal 300 is transferred from the operator terminal 100 to the operator terminal 100 . The image information VI displayed in real time is augmented and displayed in real-time augmented reality on the work space WS or the object image located in the work space WS.

증강현실을 구현하기 위한 작업자 단말기(100)와 관리자 단말기(300)는 예를 들어, '증강현실 어플리케이션(Application)' 또는 '증강현실 프로그램'이 실행되는 모바일 클라이언트가 될 수 있으며, 예를 들어, WCDMA, LTE와 같은 이동 통신망을 이용하는 통상의 스마트폰, 스마트패드, VR(Virtual Reality), AR(Augmented Reality) 장치, PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer), 단말 장치, 휴대폰, 이동 단말, 모바일 단말, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치를 포함하는 개념으로 해석될 수 있다.The worker terminal 100 and the manager terminal 300 for implementing augmented reality may be, for example, a mobile client in which an 'augmented reality application' or an 'augmented reality program' is executed, for example, A typical smartphone, smart pad, VR (Virtual Reality), AR (Augmented Reality) device, PC (Personal Computer), notebook computer, tablet PC (Tablet Personal Computer), terminal device, Cell Phone, Mobile Terminal, Mobile Terminal, Terminal, MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type) It can be interpreted as a concept including a communication) device, a machine-to-machine (M2M) device, and a device-to-device (D2D) device.

이 때, 증강현실 어플리케이션 또는 증강현실 프로그램은, 증강현실 서비스의 운영자가 다양한 증강현실 서비스의 제공을 목적으로 하여 배포하는 것으로서, 예를 들어, 통상의 앱 스토어 서버를 통해 배포할 수 있다. 어플리케이션 또는 프로그램은 모바일 OS제조사에서 제공하는 개발언어를 이용하여 해당 모바일 기기에서만 동작되는 응용 프로그램을 말한다. 어플리케이션 또는 프로그램의 경우, 장치가 제공하는 하드웨어적 기능을 지원받아 다양한 기능의 구현이 가능하다.In this case, the augmented reality application or augmented reality program is distributed by the operator of the augmented reality service for the purpose of providing various augmented reality services, and may be distributed through, for example, a typical app store server. An application or program refers to an application program that operates only on the corresponding mobile device using the development language provided by the mobile OS manufacturer. In the case of an application or program, various functions can be implemented by supporting the hardware functions provided by the device.

본 발명의 실시예들에 따른 AR 기반 원격 지원 시스템(10)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위해 간략한 구성만을 포함하고 있다.AR-based remote assistance system 10 according to embodiments of the present invention includes only a simple configuration to clearly explain the technical idea to be proposed.

증강현실(Augmented Reality: AR)은 사용자가 눈으로 보는 현실세계에 증강현실 컨텐츠(또는 가상의 오브젝트)를 겹쳐 보여주는 시뮬레이션을 의미한다.Augmented reality (AR) refers to a simulation showing augmented reality content (or virtual object) overlaid on the real world that a user sees with their eyes.

증강현실을 구현하는 방법은 좌표인식기반을 기초로 하는 방법과 이미지인식기반을 기초로 하는 방법이 있을 수 있다. 좌표인식기반을 기초로 하는 방법은 모바일 단말기 등에 장착된 다양한 MEMS센서 등의 센서 값을 인식하여 단말기의 위치 및 주위의 위치를 파악하고, 그 위치를 이용하여 카메라로 촬영되는 영상 위에 증강현실 컨텐츠를 오버레이하는 방법일 수 있다. 이미지인식기반을 기초로 하는 방법은 컴퓨터 비전 및 영상처리 기술을 활용하여 카메라로 촬영되는 영상의 오브젝트를 직접 인식하거나 이미지 인식을 도와주는 표식인 마커를 통해 간접 인식한 후, 카메라로 촬영되는 영상 위에 증강현실 컨텐츠를 오버레이하는 방법일 수 있다.A method for implementing augmented reality may include a method based on coordinate recognition and a method based on image recognition. The method based on coordinate recognition recognizes sensor values such as various MEMS sensors mounted on mobile terminals to determine the location and surroundings of the terminal, and uses the location to display augmented reality content on the image captured by the camera. It may be a method of overlaying. The method based on image recognition uses computer vision and image processing technology to directly recognize an object in an image captured by a camera or indirectly recognizes it through a marker that helps image recognition, and then puts it on the image captured by the camera. It may be a method of overlaying augmented reality content.

작업자 단말기(100)와 관리자 단말기(300)는 통신망(500)을 통하여 서로 교신할 수 있다. 통신망(500)의 종류는 제한되지 않으며, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망뿐만 아니라 단말기들 간의 근거리 무선 통신망 역시 포함될 수 있다. 예를 들어, 통신망(500)은 PAN(Personal Area Network), LAN(Local Area Network), CAN(Campus Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), BBN(Broad Band Network), 인터넷 등의 통신망(500) 중 하나 이상의 임의의 통신망(500)을 포함할 수 있다.The worker terminal 100 and the manager terminal 300 may communicate with each other through the communication network 500 . The type of the communication network 500 is not limited, and may include a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network, as well as a short-range wireless communication network between terminals. For example, the communication network 500 may include a Personal Area Network (PAN), a Local Area Network (LAN), a Campus Area Network (CAN), a Metropolitan Area Network (MAN), a Wide Area Network (WAN), and a Broad Band Network (BBN). , may include one or more arbitrary communication networks 500 among the communication networks 500 such as the Internet.

AR 기반 원격 지원 시스템(10)의 주요동작을 살펴보면 다음과 같다.The main operations of the AR-based remote support system 10 are as follows.

작업자 단말기(100)는 작업공간(WS)의 실시간 촬영 영상(LV) 및 작업공간 좌표(WSC)를 기초로 생성되는 영상정보(VI)를 실시간으로 디스플레이한다.The worker terminal 100 displays the image information VI generated based on the real-time captured image LV of the workspace WS and the workspace coordinates WSC in real time.

관리자 단말기(300)는 영상정보(VI)의 타겟 오브젝트 이미지(TOF)를 기초로 입력된 관리자 입력내용(INC)과 타겟 오브젝트 이미지(TOF)의 제1 위치 좌표를 포함하는 관리자 입력정보(INI)를 작업자 단말기(100)로 실시간 전송한다.The manager terminal 300 includes the manager input information INC input based on the target object image TOF of the image information VI and the manager input information INI including the first location coordinates of the target object image TOF. is transmitted in real time to the operator terminal 100 .

AR 기반 원격 지원 시스템(10)은 제1 위치 좌표를 이용한 좌표인식기반과 타겟 오브젝트 이미지(TOF)를 이용한 이미지인식기반을 기초로 작업자 단말기(100)에 관리자 입력내용(INC)을 실시간 증강 표시한다.AR-based remote support system 10 is based on the coordinate recognition base using the first location coordinates and the image recognition base using the target object image (TOF) based on the operator input (INC) real-time augmentation display on the operator terminal 100 .

보다 자세하게, 작업자 단말기(100)는 작업자에 의해 작업자가 위치한 작업공간(WS) 및/또는 타겟 오브젝트(TO)를 실시간 촬영하여 실시간 촬영 영상(LV)을 획득하고, 촬영된 실시간 촬영 영상(LV)을 디스플레이할 수 있다.In more detail, the operator terminal 100 acquires a real-time captured image (LV) by photographing the workspace WS and/or the target object TO in which the operator is located in real time by the operator, and the captured real-time captured image LV. can be displayed.

타겟 오브젝트(TO)는 작업공간(WS) 내의 오브젝트 중 작업자 또는 관리자가 선택하는 오브젝트일 수 있다.The target object TO may be an object selected by a worker or an administrator among objects in the workspace WS.

작업공간(WS)은 작업자가 작업을 진행하는 장소일 수 있으며, 작업자는 작업공간(WS) 및 작업공간(WS)에 위치한 오브젝트를 촬영한 실시간 촬영 영상(LV)을 관리자와 실시간으로 공유하고 이를 이용하여 상호 간의 의사 소통을 진행할 수 있다.The workspace (WS) may be a place where the worker performs work, and the worker shares the real-time captured image (LV) of the workspace (WS) and objects located in the workspace (WS) with the manager in real time, It can be used to communicate with each other.

작업공간 좌표(WSC)는 작업공간(WS)의 각각의 위치에 대한 3차원 좌표일 수 있다.The workspace coordinates WSC may be three-dimensional coordinates for each location of the workspace WS.

작업공간 좌표(WSC)는 좌표인식기반으로 기초로 증강현실을 구현하기 위해 사용되는 좌표일 수 있다.Workspace coordinates (WSC) may be coordinates used to implement augmented reality based on coordinate recognition.

예를 들어, 작업공간 좌표(WSC)는 작업공간(WS) 상의 특정 위치를 기준 좌표 또는 마커로 활용하여, 작업공간(WS) 각각의 위치에 대한 작업공간 좌표(WSC)를 파악할 수 있다. 작업공간(WS) 상의 특정 위치는 작업자 단말기(100) 또는 임의의 선택된 위치일 수 있다.For example, the workspace coordinates WSC may use a specific location on the workspace WS as reference coordinates or markers to determine the workspace coordinates WSC for each location of the workspace WS. The specific location on the workspace WS may be the operator terminal 100 or any selected location.

작업자 단말기(100)는 작업공간(WS)의 실시간 촬영 영상(LV)을 획득함과 동시에, GPS 센서, 가속도 센서, 자이로 센서 등의 다양한 MEMS센서(Micro Electro-Mechanical Systems sensor)를 구비하여 촬영되는 작업공간(WS)의 작업공간 좌표(WSC)를 획득할 수 있다.The operator terminal 100 acquires a real-time captured image (LV) of the workspace WS, and is equipped with various MEMS sensors (Micro Electro-Mechanical Systems sensor) such as a GPS sensor, an acceleration sensor, and a gyro sensor. It is possible to obtain the workspace coordinates (WSC) of the workspace (WS).

가속도 센서는 지면을 중심으로 상기 증강현실 장치가 얼마만큼 기울어져 있는지를 측정할 수 있다.The acceleration sensor may measure how much the augmented reality device is inclined with respect to the ground.

가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS 기술의 발달과 더불어 널리 사용되고 있으며, 가속도 센서는 중력가속도의 변화를 인식하는 중력 센서를 포함할 수 있다.An acceleration sensor is a device that converts a change in acceleration in one direction into an electrical signal, and is widely used with the development of MEMS technology, and the acceleration sensor may include a gravity sensor that recognizes a change in gravitational acceleration.

가속도 센서는 액티브센싱(Active Sensing)이 가능한 블루투스 4.2와 같이 블루투스 4.0 이후의 비콘(BLE)을 함께 사용할 경우, 임의의 객체의 특정한 움직임이 있을 경우, 해당 객체가 얼마의 속도로 특정한 움직임을 수행하고 있는 지를 알 수 있게 되어, 이동과 관련하여 정확한 시간 측정 또한 가능할 수 있다.When using a beacon (BLE) after Bluetooth 4.0, such as Bluetooth 4.2 with Active Sensing, the accelerometer sensor performs a specific motion at a certain speed when there is a specific motion of an arbitrary object. It is possible to know whether there is an accurate time measurement in relation to movement.

자이로 센서는 각속도 또는 회전력을 측정하는 것이 가능한 센서로서, 자이로스코프의 원리를 이용한다. 이 때, 자이로스코프는 중앙의 회전체가 외부의 회전력이 주어졌을 때 자동으로 회전 중심을 세우는 원리를 보여주는 장치로서, 회전체의 복원력은 외부에서 준 회전력과 일치하므로 각속도를 감지할 수 있다.The gyro sensor is a sensor capable of measuring angular velocity or rotational force, and uses the principle of a gyroscope. At this time, the gyroscope is a device that shows the principle of automatically setting the rotational center when the rotating body in the center is given an external rotational force. Since the restoring force of the rotating body coincides with the external rotational force, the angular velocity can be detected.

자이로 센서를 이용하여 증강현실 장치의 각속도 또는 회전력을 측정할 수 있으며, 이를 통해 증강현실 장치가 수평 상태 또는 수직 상태인지 등 어느 정도 기울임을 가지고 있는 상태인지를 측정하는 것이 가능하며, 이를 통해 정확한 좌표를 측정하는 것이 가능하다.The gyro sensor can be used to measure the angular velocity or rotational force of the augmented reality device, and through this, it is possible to measure whether the augmented reality device has a degree of inclination, such as whether it is horizontal or vertical. It is possible to measure

작업자 단말기(100)는 작업자에 의해 촬영된 실시간 촬영 영상(LV)과 실시간 촬영 영상(LV)의 각 위치에 작업공간 좌표(WSC)를 매칭한 영상정보(VI)를 통신망(500)을 이용하여 관리자 단말기(300)로 실시간 전송할 수 있다.The operator terminal 100 uses the communication network 500 to use the image information VI that matches the workspace coordinates (WSC) to each position of the real-time captured image (LV) and the real-time captured image (LV) captured by the operator. It can be transmitted in real time to the manager terminal 300 .

관리자는 작업자 단말기(100)로부터 영상정보(VI)를 전송받아 관리자 단말기(300)에서 실시간으로 디스플레이할 수 있고, 작업자의 작업공간(WS)에서 발생하는 일들을 확인할 수 있다.The manager may receive the image information VI from the worker terminal 100 and display it in real time on the manager terminal 300 , and check events occurring in the worker's workspace WS.

관리자는 관리자 단말기(300)에 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력내용(INC)을 입력할 수 있다.The manager may input the manager input contents INC into the image information VI displayed in real time on the manager terminal 300 .

관리자 입력내용(INC)은 관리자가 작업자에게 전달하고자 하는 내용일 수 있으며, 관리자는 관리자 단말기(300)에 이를 입력할 수 있다.The manager input content INC may be content that the manager wants to deliver to the operator, and the manager may input it to the manager terminal 300 .

관리자는 관리자 단말기(300)에 사용하는 전용펜(700) 또는 손동작 제스처로 관리자 입력내용(INC)을 관리자 단말기(300)에 입력할 수 있다.The manager may input the manager input contents INC into the manager terminal 300 using a dedicated pen 700 used in the manager terminal 300 or a hand gesture.

예를 들어, 관리자는 전용펜(700)을 사용하여 관리자 단말기(300)에서 디스플레이되는 영상정보(VI)의 특정 위치에 문자, 부호 또는 그림을 그리거나 마킹 표시가 나타나도록 마킹을 할 수 있다. 관리자는 관리자 단말기(300)에 손동작 제스처로 관리자 입력내용(INC)을 입력할 수 있으며, 이 경우 관리자 단말기(300)는 손동작 제스처를 입력받을 수 있는 터치패널을 포함할 수 있다.For example, the manager may use the dedicated pen 700 to draw characters, symbols, or pictures at a specific position of the image information VI displayed on the manager terminal 300 , or to mark so that a marking mark appears. The manager may input the manager input contents INC as a hand gesture to the manager terminal 300 , and in this case, the manager terminal 300 may include a touch panel through which the hand gesture can be input.

작업자 단말기(100)에서 촬영되는 영상정보(VI)에는 타겟 오브젝트 이미지(TOF)가 포함될 수 있다.The image information VI photographed by the worker terminal 100 may include a target object image TOF.

타겟 오브젝트 이미지(TOF)는 실시간 촬영 영상(LV)이 획득될 때 영상에서 확인될 수 있는 오브젝트 이미지 중 하나일 수 있다. 또한 타겟 오브젝트 이미지(TOF)는 영상에서 확인될 수 있는 영상 상의 특정 위치일 수 있다. 예를 들어, 작업자가 자동차의 사이드 미러를 조립하는 경우, 타겟 오브젝트 이미지(TOF)는 작업자가 촬영하는 실시간 촬영 영상(LV) 안의 나타나는 자동차의 사이드 미러의 이미지일 수 있다. 또한 실시간 촬영 영상(LV) 안에 나타나는 자동차 사이드 미러의 이미지로부터 소정 간격 거리에 위치한 위치일 수 있다.The target object image TOF may be one of object images that can be identified in the image when the real-time captured image LV is acquired. In addition, the target object image TOF may be a specific position on the image that can be identified in the image. For example, when the operator assembles the side mirror of the vehicle, the target object image TOF may be an image of the side mirror of the vehicle that appears in the real-time captured image LV captured by the operator. Also, it may be a location located at a predetermined distance from the image of the vehicle side mirror that appears in the real-time captured image LV.

관리자는 실시간으로 디스플레이되는 영상정보(VI) 안의 타겟 오브젝트 이미지(TOF)를 기초로하여 관리자 입력내용(INC)을 입력할 수 있다. 이 때, 제1 위치 좌표는 관리자 입력내용(INC)이 입력되는 위치이거나 입력되기 위해 선택된 위치일 수 있다. 제1 위치 좌표는 디스플레이되는 영상정보(VI)에 매핑된 작업공간 좌표(WSC) 상에서 관리자 입력내용(INC)이 입력되는 위치의 좌표일 수 있다.The administrator may input the administrator input contents INC based on the target object image TOF in the image information VI displayed in real time. In this case, the first location coordinates may be a location at which the manager input INC is input or a location selected to be input. The first location coordinates may be coordinates of a location where the manager input INC is input on the workspace coordinates WSC mapped to the displayed image information VI.

즉, 관리자는 관리자 단말기(300)를 통해 디스플레이되는 영상정보(VI)에서 타겟 오브젝트 이미지(TOF) 위에 관리자 입력내용(INC)을 입력하거나, 타겟 오브젝트 이미지(TOF)와 일정 간격 떨어진 위치에 관리자 입력내용(INC)을 입력할 수 있다.That is, the manager inputs the manager input content INC on the target object image TOF in the image information VI displayed through the manager terminal 300 , or the manager inputs the manager input at a location spaced apart from the target object image TOF by a predetermined distance. Content (INC) can be entered.

예를 들어, 관리자 단말기(300)에서 실시간으로 디스플레이되는 영상정보(VI)에서 타겟 오브젝트 이미지(TOF)가 현재 작업자가 조립하고 있는 자동차의 좌측 사이드 미러 이미지인 경우, 관리자는 관리자 단말기(300)에서 디스플레이되는 자동차 좌측 사이드 미러 이미지를 포함하는 제1 위치 영역(PA1)을 제1 위치로 선택하여 지정하면 제1 위치 영역(PA1)의 작업공간 좌표(WSC)가 제1 위치 좌표가 되고, 해당 위치에 관리자 입력내용(INC)을 입력할 수 있다.For example, when the target object image TOF in the image information VI displayed in real time in the manager terminal 300 is the left side mirror image of the car currently being assembled by the operator, the manager in the manager terminal 300 When the first location area PA1 including the displayed left side mirror image of the vehicle is selected and designated as the first location, the workspace coordinates WSC of the first location area PA1 become the first location coordinates, and the corresponding location You can enter administrator input (INC) in .

즉, 제1 위치 좌표는 제1 위치 영역(PA1)에 대응하는 작업공간 좌표(WSC)일 수 있고, 제1 위치 좌표는 관리자 단말기(300)에서 디스플레이되는 자동차 좌측 사이드 미러 이미지 상에 또는 자동차 좌측 사이드 미러 이미지를 포함하는 제1 위치 영역(PA1)의 좌표일 수 있다.That is, the first location coordinates may be workspace coordinates WSC corresponding to the first location area PA1 , and the first location coordinates are on the left side mirror image of the vehicle displayed in the manager terminal 300 or the left side of the vehicle. It may be the coordinates of the first location area PA1 including the side mirror image.

관리자 단말기(300)는 관리자 입력내용(INC)과 관리자 입력내용(INC)이 입력된 위치의 좌표인 제1 위치 좌표를 포함하여 관리자 입력정보(INI)를 생성할 수 있다. 즉, 관리자 입력정보(INI)는 관리자 입력내용(INC)과 영상정보(VI)의 작업공간 좌표(WSC) 상에 관리자 입력내용(INC)이 입력된 제1 위치 좌표를 포함할 수 있다.The manager terminal 300 may generate the manager input information INI including the manager input information INC and the first location coordinates that are coordinates of the location where the manager input content INC is input. That is, the manager input information INI may include the manager input content INC and the first position coordinates in which the manager input content INC is input on the workspace coordinates WSC of the image information VI.

관리자가 관리자 단말기(300)에서 실시간으로 디스플레이되는 영상정보(VI) 상에 관리자 입력내용(INC)을 입력하면, 관리자 단말기(300)는 관리자 입력내용(INC)과 제1 위치 좌표가 매핑되어 생성된 관리자 입력정보(INI)를 통신망(500)을 통하여 작업자 단말기(100)로 전송할 수 있다.When the manager inputs the manager input (INC) on the image information (VI) displayed in real time in the manager terminal 300, the manager terminal 300 is generated by mapping the manager input (INC) and the first location coordinates The manager input information INI may be transmitted to the operator terminal 100 through the communication network 500 .

작업자 단말기(100)는 통신망(500)을 통하여 관리자 단말기(300)로부터 관리자 입력정보(INI)를 전송받아, 작업자 단말기(100)에서 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력정보(INI)를 증강하여 표시할 수 있다.The worker terminal 100 receives the manager input information (INI) from the manager terminal 300 through the communication network 500, and includes the manager input information (INI) in the image information (VI) displayed in real time in the worker terminal 100 . can be augmented and displayed.

작업자 단말기(100)는 관리자 입력내용(INC)을 실시간 디스플레이되는 영상정보(VI)에 증강 표시할 때, 제1 위치 좌표를 이용한 좌표인식기반을 기초로 증강하여 표시하거나 타겟 오브젝트 이미지(TOF)를 이용한 이미지인식기반을 기초로 증강하여 표시할 수 있다.When the operator terminal 100 augments and displays the manager input (INC) on the real-time displayed image information (VI), augmented display based on the coordinate recognition base using the first position coordinates or the target object image (TOF) Based on the image recognition base used, it can be augmented and displayed.

예를 들어, 관리자 단말기(300)에서 관리자 입력정보(INI)가 생성될 때, 관리자 입력정보(INI)는 영상정보(VI)의 작업공간 좌표(WSC) 상의 제1 위치 좌표에 입력될 수 있다. 이 때, 제1 위치 좌표는 영상정보(VI)에 포함된 작업공간 좌표(WSC)를 기반으로 하여 형성될 수 있다. 즉, 관리자 입력정보(INI)가 작업자 단말기(100)에서 실시간으로 디스플레이되는 영상정보(VI)에 증강 표시될 때, 작업공간 좌표(WSC)를 기준으로 제1 위치 좌표에 증강하여 표시될 수 있다.For example, when the manager input information INI is generated in the manager terminal 300 , the manager input information INI may be input to the first position coordinates on the workspace coordinates WSC of the image information VI. . In this case, the first position coordinates may be formed based on the work space coordinates WSC included in the image information VI. That is, when the manager input information (INI) is augmented and displayed on the image information (VI) displayed in real time on the worker terminal 100, it may be augmented and displayed on the first position coordinates based on the work space coordinates (WSC). .

또한, 관리자 단말기(300)에서 관리자 입력정보(INI)가 생성될 때, 관리자 입력정보(INI)는 영상정보(VI) 상의 타겟 오브젝트 이미지(TOF)와 대응하여 소정 위치에 입력될 수 있다. 그러므로, 관리자 입력정보(INI)는 작업자 단말기(100)에서 실시간으로 디스플레이되는 영상정보(VI)에 증강 표시될 때, 영상정보(VI) 상에서 실시간으로 위치가 가변하는 타겟 오브젝트 이미지(TOF)를 트래킹하여, 가변된 타겟 오브젝트 이미지(TOF)의 위치에 대응하여 소정 위치에 증강하여 표시될 수 있다.Also, when the manager input information INI is generated in the manager terminal 300 , the manager input information INI may be input to a predetermined position corresponding to the target object image TOF on the image information VI. Therefore, when the manager input information INI is augmented and displayed on the image information VI displayed in real time in the operator terminal 100, tracking the target object image TOF whose position is variable in real time on the image information VI Accordingly, the display may be augmented and displayed at a predetermined position corresponding to the changed position of the target object image TOF.

또한, 작업자 단말기(100)와 관리자 단말기(300)는 통신망(500)으로 통하여 상호 간에 파일 전송 및 음성 통화 기능을 수행할 수 있다. 예를 들어, 작업자 단말기(100)와 관리자 단말기(300)를 통하여 작업자와 관리자는 파일을 주고받거나 통화를 할 수 있다.In addition, the worker terminal 100 and the manager terminal 300 may perform file transmission and voice call functions between each other through the communication network 500 . For example, through the operator terminal 100 and the manager terminal 300, the operator and the manager can exchange files or make a call.

도 2의 (a)는 도 1에 있어서, 관리자 입력내용이 좌표인식기반을 기초로 증강 표시되는 것을 예시적으로 나타낸 도면이고, 도2의 (b)는 관리자 입력내용이 이미지인식기반을 기초로 증강 표시되는 것을 예시적으로 나타낸 도면이다.Fig. 2 (a) is a diagram exemplarily showing that the manager input is augmented and displayed based on the coordinate recognition base in Fig. 1, and Fig. 2 (b) is the manager input content based on the image recognition base It is a diagram exemplarily showing augmented display.

도 2의 (a) 및 도 2의 (b)를 참조하면, AR 기반 원격 지원 시스템(10)은 작업자 단말기(100)에서 제1 위치 좌표를 이용한 좌표인식기반을 기초로 관리자 입력내용(INC)을 실시간 증강 표시하되, 타겟 오브젝트 이미지(TOF)가 제1 위치 좌표를 벗어나면 타겟 오브젝트 이미지(TOF)를 이용한 이미지인식기반을 기초로 관리자 입력내용(INC)을 실시간 증강 표시할 수 있다.2 (a) and 2 (b), the AR-based remote support system 10 is based on the coordinate recognition base using the first location coordinates in the operator terminal 100, the administrator input (INC) However, when the target object image TOF deviates from the first position coordinates, it is possible to augment and display the manager input INC in real time based on image recognition based on the target object image TOF.

예를 들어, 도 2의 (a) 및 도 2의 (b)에서처럼 관리자 단말기(300)에서 생성되는 관리자 입력정보(INI)에는 관리자 입력내용(INC), 제1 위치 영역(PA1)에 대한 제1 위치 좌표 및 타겟 오브젝트 이미지(TOF)에 관한 정보가 포함될 수 있다. 즉, 관리자 단말기(300)의 화면에서 관리자 입력내용(INC)은 좌상단에 위치한 자동차의 동그라미 마킹된 부분이고, 제1 위치 영역(PA1)은 관리자 입력내용(INC)이 입력된 동그라미 마킹된 부분을 포함한 부분이고, 제1 위치 좌표는 제1 위치 영역(PA1)에 해당하는 작업공간 좌표(WSC)이고, 타겟 오브젝트 이미지(TOF)는 관리자 입력내용(INC)이 입력된 위치에 있는 자동차일 수 있다.For example, in the manager input information INI generated in the manager terminal 300 as shown in FIGS. 2A and 2B , the manager input information INC, the first location area PA1 Information about the 1 position coordinates and the target object image (TOF) may be included. That is, on the screen of the manager terminal 300 , the manager input (INC) is a circled portion of the car located at the upper left, and the first location area (PA1) is a circled marked portion where the manager input (INC) is input. part included, the first location coordinates are workspace coordinates WSC corresponding to the first location area PA1, and the target object image TOF may be a car at a location where the manager input INC is input. .

그리고, 도 2의 (a)에서와 같이, 우선적으로 작업자 단말기(100)는 관리자 단말기(300)로부터 관리자 입력정보(INI)를 전송받아, 실시간으로 디스플레이되는 영상정보(VI) 상에서 제1 위치 좌표와 대응하는 위치에 관리자 입력내용(INC)을 실시간으로 증강하여 표시하는, 좌표인식기반을 기초로하는 방법으로 관리자 입력내용(INC)을 표시할 수 있다.And, as shown in (a) of Figure 2, preferentially, the operator terminal 100 receives the manager input information (INI) from the manager terminal 300, the first position coordinates on the image information (VI) displayed in real time It is possible to display the manager input (INC) in a method based on a coordinate recognition base, which displays the augmented and displayed manager input content (INC) in real time at a location corresponding to .

그러나, 도 2의 (b)에서와 같이, 작업자 단말기(100)에서 실시간으로 디스플레이되는 영상정보(VI) 상에서 타겟 오브젝트 이미지(TOF)의 위치가 변경되어 제1 위치 영역(PA1)의 제1 위치 좌표를 벗어난 경우, 작업자 단말기(100)는 영상정보(VI) 상의 제1 위치 좌표에 관리자 입력내용(INC)을 표시하지 않고, 실시간 디스플레이되는 영상정보(VI) 상에서 타겟 오브젝트 이미지(TOF)를 검색한다. 이를 통해 검색된 타겟 오브젝트 이미지(TOF)를 트래킹하여, 타겟 오브젝트 이미지(TOF)의 변경된 위치인 제2 위치 영역(PA2)의 제2 위치 좌표에 관리자 입력내용(INC)을 실시간 증강 표시한다. 이 경우 제1 위치 좌표는 제2 위치 좌표로 갱신될 수 있다.However, as shown in (b) of FIG. 2 , the position of the target object image TOF is changed on the image information VI displayed in real time by the operator terminal 100 to change the first position of the first position area PA1 If the coordinates are out of range, the operator terminal 100 does not display the manager input INC in the first location coordinates on the image information VI, and searches for the target object image TOF on the real-time displayed image information VI. do. Through this, the searched target object image TOF is tracked, and the administrator input INC is displayed in real time on the second position coordinates of the second position area PA2 that is the changed position of the target object image TOF. In this case, the first location coordinates may be updated with the second location coordinates.

도 3은 도 1에 있어서, 작업자 단말기와 관리자 단말기의 구성을 도시한 개략적인 블록도이다.3 is a schematic block diagram illustrating the configuration of a worker terminal and an administrator terminal in FIG. 1 .

도 3을 참조하면, 작업자 단말기(100)는 촬영부(110), 센서부(130), 영상정보 생성부(150), 제1 화면부(170) 및 제1 통신부(190)를 포함할 수 있고, 관리자 단말기(300)는 제2 통신부(310), 제2 화면부(330), 내용 입력부(350) 및 입력정보 생성부(370)를 포함할 수 있다.Referring to FIG. 3 , the operator terminal 100 may include a photographing unit 110 , a sensor unit 130 , an image information generating unit 150 , a first screen unit 170 , and a first communication unit 190 . In addition, the manager terminal 300 may include a second communication unit 310 , a second screen unit 330 , a content input unit 350 , and an input information generation unit 370 .

촬영부(110)는 작업공간(WS)의 실시간 촬영 영상(LV)을 획득할 수 있고, 실시간 촬영 영상(LV)을 영상정보 생성부(150)로 전달할 수 있다.The photographing unit 110 may acquire a real-time photographed image LV of the workspace WS, and may transmit the real-time photographed image LV to the image information generating unit 150 .

보다 자세하게, 작업자는 작업자 단말기(100)를 사용하여 작업자가 위치하는 작업공간(WS) 및 작업공간(WS) 내의 오브젝트를 실시간으로 촬영할 수 있고, 이 경우, 촬영부(110)를 통하여 작업공간(WS) 및 작업공간(WS) 내의 오브젝트를 실시간 촬영할 수 있으며, 예를 들어, 촬영부(110)는 영상 카메라를 포함할 수 있다.In more detail, the operator can photograph the work space WS where the operator is located and the object in the work space WS in real time by using the operator terminal 100 , in this case, through the photographing unit 110 , the work space ( WS) and objects in the workspace WS may be photographed in real time, for example, the photographing unit 110 may include an image camera.

센서부(130)는 작업공간 좌표(WSC)를 도출할 수 있고, 도출된 작업공간 좌표(WSC)를 영상정보 생성부(150)로 전달할 수 있다.The sensor unit 130 may derive the work space coordinates (WSC), and may transmit the derived work space coordinates (WSC) to the image information generation unit 150 .

보다 자세하게, 센서부(130)는 GPS 센서, 가속도 센서, 자이로 센서 등의 다양한 MEMS센서를 포함하여 작업공간(WS) 각각의 위치의 작업공간 좌표(WSC)를 계산하여 획득할 수 있다.In more detail, the sensor unit 130 may calculate and obtain the work space coordinates WSC of each location of the work space WS, including various MEMS sensors such as a GPS sensor, an acceleration sensor, and a gyro sensor.

영상정보 생성부(150)는 촬영되는 실시간 촬영 영상(LV)에 작업공간 좌표(WSC)를 매핑하여 영상정보(VI)를 생성할 수 있고, 생성된 영상정보(VI)를 제1 화면부(170) 및 제1 통신부(190)에 전달할 수 있다.The image information generating unit 150 may generate the image information VI by mapping the workspace coordinates (WSC) to the real-time captured image LV to be captured, and use the generated image information VI to the first screen unit ( 170 ) and the first communication unit 190 .

보다 자세하게, 영상정보 생성부(150)는 촬영되는 실시간 촬영 영상(LV)의 각각 위치에 이에 대응하는 작업공간 좌표(WSC)를 매핑한 영상정보(VI)를 생성할 수 있다. 그러므로, 영상정보(VI) 상의 특정 위치를 선택하는 경우, 해당 위치에 대응하는 작업공간 좌표(WSC)가 특정될 수 있다.In more detail, the image information generating unit 150 may generate the image information VI by mapping the workspace coordinates WSC corresponding to the respective positions of the real-time captured images LV to be captured. Therefore, when a specific position on the image information VI is selected, the work space coordinates WSC corresponding to the corresponding position may be specified.

제1 화면부(170)는 실시간으로 촬영되는 실시간 촬영 영상(LV)을 포함한 영상정보(VI)를 디스플레이할 수 있다.The first screen unit 170 may display image information VI including a real-time captured image LV captured in real time.

보다 자세하게, 제1 화면부(170)는 영상정보 생성부(150)로부터 영상정보(VI)를 전달받아, 실시간으로 디스플레이할 수 있다. 이 경우, 제1 화면부(170)에서 작업자에게 보여지는 내용은 실시간 촬영 영상(LV)일 수 있고, 실시간 촬영 영상(LV)에 매핑된 작업공간 좌표(WSC)는 작업자에게 보이지 않을 수 있다.In more detail, the first screen unit 170 may receive the image information VI from the image information generation unit 150 and display it in real time. In this case, the content shown to the operator on the first screen unit 170 may be a real-time captured image LV, and the workspace coordinates WSC mapped to the real-time captured image LV may not be visible to the operator.

제1 통신부(190)는 통신망(500)을 통하여 관리자 단말기(300)와 교신할 수 있다.The first communication unit 190 may communicate with the manager terminal 300 through the communication network 500 .

보다 자세하게, 제1 통신부(190)는 작업자 단말기(100)의 다양한 정보들을 통신망(500)을 통하여 관리자 단말기(300)로 전송하거나 관리자 단말기(300)로부터 다양한 정보들을 전송받을 수 있고, 특히, 영상정보 생성부(150)에서 생성되는 영상정보(VI)를 실시간으로 관리자 단말기(300)로 전송할 수 있고, 관리자 단말기(300)에서 생성되는 관리자 입력정보(INI)를 실시간으로 전송받을 수 있다.In more detail, the first communication unit 190 may transmit various information of the operator terminal 100 to the manager terminal 300 through the communication network 500 or receive various information from the manager terminal 300 , in particular, the image The image information VI generated by the information generating unit 150 may be transmitted to the manager terminal 300 in real time, and the manager input information INI generated from the manager terminal 300 may be transmitted in real time.

제2 통신부(310)는 통신망(500)을 통하여 작업자 단말기(100)와 교신할 수 있다.The second communication unit 310 may communicate with the operator terminal 100 through the communication network 500 .

보다 자세하게, 제2 통신부(310)는 관리자 단말기(300)의 다양한 정보들을 통신망(500)을 통하여 작업자 단말기(100)로 전송하거나 작업자 단말기(100)로부터 다양한 정보들을 전송받을 수 있고, 특히, 작업자 단말기(100)로부터 생성되는 영상정보(VI)를 실시간으로 전송받을 수 있고, 생성되는 관리자 입력정보(INI)를 실시간으로 작업자 단말기(100)로 전송할 수 있다.In more detail, the second communication unit 310 may transmit various information of the manager terminal 300 to the operator terminal 100 through the communication network 500 or receive various information from the operator terminal 100 , in particular, the operator The image information VI generated from the terminal 100 may be transmitted in real time, and the generated manager input information INI may be transmitted to the operator terminal 100 in real time.

제2 화면부(330)는 작업자 단말기(100)로부터 수신된 영상정보(VI)를 실시간으로 디스플레이할 수 있다.The second screen unit 330 may display the image information VI received from the operator terminal 100 in real time.

보다 자세하게, 제2 화면부(330)는 제2 통신부(310)로부터 영상정보(VI)를 전달받아 실시간으로 디스플레이함으로써, 관리자는 작업자 단말기(100)에서 실시간으로 촬영되는 실시간 촬영 영상(LV)을 관리자 단말기(300)에서 실시간으로 확인할 수 있다. 이 경우, 제2 화면부(330)에서 관리자에게 보여지는 내용은 작업자 단말기(100)에서 촬영된 실시간 촬영 영상(LV)일 수 있고, 실시간 촬영 영상(LV)에 매핑된 작업공간 좌표(WSC)는 관리자에게 보이지 않을 수 있다.In more detail, the second screen unit 330 receives the image information VI from the second communication unit 310 and displays it in real time, so that the manager can view the real-time captured image LV captured in real time by the operator terminal 100 . It can be confirmed in real time in the manager terminal 300 . In this case, the content shown to the manager on the second screen unit 330 may be a real-time captured image (LV) captured by the worker terminal 100, and a workspace coordinate (WSC) mapped to the real-time captured image (LV). may not be visible to the administrator.

내용 입력부(350)는 타겟 오브젝트 이미지(TOF)를 기초로 제1 위치 좌표에 관리자 입력내용(INC)을 입력받을 수 있다. 제1 위치 좌표는 타겟 오브젝트 이미지(TOF)의 영역 상의 작업공간 좌표(WSC)이거나 타겟 오브젝트 이미지(TOF)로부터 일정 간격 이격된 위치의 작업공간 좌표(WSC)일 수 있다. 즉, 관리자는 관리자 입력내용(INC)을 입력하는 경우, 화면상에 나타나는 특정한 오브젝트의 위치를 고려하여 제1 위치 좌표를 선택하고, 제1 위치 좌표에 관리자 입력내용(INC)을 입력할 수 있다.The content input unit 350 may receive the administrator input content INC to the first location coordinates based on the target object image TOF. The first location coordinates may be workspace coordinates WSC on the area of the target object image TOF or workspace coordinates WSC of a location spaced apart from the target object image TOF by a predetermined interval. That is, when the administrator inputs the administrator input contents INC, the administrator may select the first position coordinates in consideration of the position of a specific object appearing on the screen, and input the administrator input contents INC into the first position coordinates. .

예를 들어, 내용 입력부(350)는 제2 화면부(330)의 화면상에 터치패널 등으로 형성되어 있을 수 있다. 관리자는 제2 화면부(330)를 통하여 실시간 촬영 영상(LV)을 확인하고, 필요에 따라 작업자에게 지시할 내용이나 작업자에게 필요한 정보 등을 관리자 입력내용(INC)으로써 내용 입력부(350)에 입력할 수 있다. 이 때, 관리자는 전용펜(700) 또는 손동작 제스처 등을 사용하여 관리자 입력내용(INC)을 내용 입력부(350)에 입력할 수 있다.For example, the content input unit 350 may be formed as a touch panel or the like on the screen of the second screen unit 330 . The manager checks the real-time captured image (LV) through the second screen unit 330, and inputs the contents to be instructed to the operator or information necessary for the operator as the manager input contents (INC) into the contents input unit 350 as necessary. can do. In this case, the administrator may input the administrator input contents INC into the contents input unit 350 using the dedicated pen 700 or a hand gesture.

보다 자세하게, 제2 화면부(330)의 화면 상에 작업자 단말기(100)에서 실시간으로 촬영되는 실시간 촬영 영상(LV)이 포함된 영상정보(VI)가 디스플레이된다. 이 때, 관리자는 실시간 촬영 영상(LV)에서 나타나는 다양한 오브젝트 이미지 중 하나와 관련된 위치를 선택한다(이 때 오브젝트 이미지는 실시간 촬영 영상(LV)에 나타나는 물체이거나 특정 공간일 수 있다. 예를 들어, 실시간 촬영 영상(LV) 상에 나타나는 자동차 좌측 사이드 미러의 이미지이거나 자동차 좌측 사이드 미러의 이미지로부터 상측방향으로 소정 간격 이격되어 위치하는 공간일 수 있다.).In more detail, the image information VI including the real-time captured image LV captured in real time by the operator terminal 100 is displayed on the screen of the second screen unit 330 . In this case, the manager selects a location related to one of various object images appearing in the real-time captured image LV (in this case, the object image may be an object or a specific space appearing in the real-time captured image LV. For example, It may be an image of the left side mirror of the vehicle appearing on the real-time captured image LV, or a space located at a predetermined distance upward from the image of the left side mirror of the vehicle).

이 경우, 관리자 단말기(300)에서 실시간으로 디스플레이되는 실시간 촬영 영상(LV)에서 관리자가 선택한 위치에 있는 오브젝트 이미지가 타겟 오브젝트 이미지(TOF)가 되며, 선택한 위치의 작업공간 좌표(WSC)가 제1 위치 좌표가 된다.In this case, the object image at the location selected by the manager in the real-time captured image LV displayed in real time on the manager terminal 300 becomes the target object image TOF, and the workspace coordinates WSC of the selected location is the first position coordinates.

그리고, 관리자에 의해 제1 위치 좌표가 선택되면, 관리자는 전용펜(700) 또는 손동작 제스처를 사용하여 관리자 입력내용(INC)을 입력할 수 있으며, 내용 입력부(350)는 입력되는 내용을 관리자 입력내용(INC)으로써 입력받는다.And, when the first location coordinates are selected by the manager, the manager may input the manager input contents INC using the dedicated pen 700 or a hand gesture, and the contents input unit 350 inputs the input contents to the manager It is input as content (INC).

입력정보 생성부(370)는 관리자 입력내용(INC)에 제1 위치 좌표를 매핑하여 관리자 입력정보(INI)를 생성할 수 있다.The input information generator 370 may generate the manager input information INI by mapping the first location coordinates to the manager input information INC.

보다 구체적으로, 내용 입력부(350)에 입력된 관리자 입력내용(INC)이 작업자 단말기(100)의 실시간 디스플레이되는 실시간 촬영 영상(LV)의 동일한 위치에 증강되어 표시되도록, 관리자 입력내용(INC)에 관리자 입력내용(INC)이 표시되는 기준점을 제1 위치 좌표로써 매핑하여 관리자 입력정보(INI)를 생성할 수 있다.More specifically, so that the manager input content INC input to the content input unit 350 is augmented and displayed at the same position of the real-time captured image LV displayed in real time of the operator terminal 100, the manager input content INC The manager input information INI may be generated by mapping the reference point at which the manager input information INC is displayed as the first location coordinates.

도 4의 (a) 및 도 4의 (b)는 도 1에 있어서, 관리자 입력내용이 영상정보의 제1 위치 좌표 상에 증강 표시되는 것을 예시적으로 나타낸 도면이다.4 (a) and 4 (b) are views exemplarily showing that the manager input is augmented and displayed on the first position coordinates of the image information in FIG. 1 .

도 4의 (a) 및 도 4의 (b)를 참조하면, 영상정보 생성부(150)는 영상정보(VI)의 작업공간 좌표(WSC)에 관리자 입력정보(INI)의 제1 위치 좌표를 정합하여, 제1 화면부(170)에서 실시간 디스플레이되는 영상정보(VI)의 제1 위치 좌표 상에 관리자 입력내용(INC)을 증강 표시할 수 있다.4 (a) and 4 (b), the image information generating unit 150 is the first position coordinates of the manager input information (INI) to the work space coordinates (WSC) of the image information (VI) By matching, the administrator input contents INC may be augmented and displayed on the first location coordinates of the image information VI displayed in real time on the first screen unit 170 .

보다 구체적으로, 관리자 단말기(300)는 작업자 단말기(100)로부터 영상정보(VI)를 실시간으로 전송받아 디스플레이하고, 디스플레이되는 영상정보(VI) 상의 제1 위치 좌표에 입력된 관리자 입력내용(INC)을 매핑하여 관리자 입력정보(INI)를 생성하고, 이를 실시간으로 작업자 단말기(100)에 전송할 수 있다.More specifically, the manager terminal 300 receives and displays the image information VI from the operator terminal 100 in real time, and the manager input contents INC input to the first position coordinates on the displayed image information VI. to generate manager input information (INI), and transmit it to the operator terminal 100 in real time.

그러면, 영상정보 생성부(150)는 영상정보(VI)에 관리자 입력내용(INC)이 실시간으로 증강되어 표시되도록 영상정보(VI)에 관리자 입력정보(INI)를 정합하고, 이를 제1 화면부(170)로 전달하여 실시간으로 디스플레이되도록 한다.Then, the image information generating unit 150 matches the manager input information (INI) to the image information (VI) so that the manager input information (INC) is augmented and displayed in the image information (VI) in real time, and uses this information on the first screen unit It is transmitted to 170 so that it is displayed in real time.

이 때, 영상정보 생성부(150)는 관리자가 관리자 단말기(300)를 통하여 입력하였던 관리자 입력내용(INC)이 작업자 단말기(100)에서 디스플레이되는 영상정보(VI) 상에서 동일한 위치에 표시되도록, 작업공간 좌표(WSC)와 관리자 입력정보(INI)의 제1 위치 좌표와 이에 대응되는 영상정보(VI)의 작업공간 좌표(WSC)를 정합할 수 있다.At this time, the image information generation unit 150 so that the manager input (INC) input through the manager terminal 300 is displayed at the same position on the video information (VI) displayed on the operator terminal 100, the operation, The spatial coordinates WSC and the first position coordinates of the manager input information INI may be matched with the workspace coordinates WSC of the image information VI corresponding thereto.

예를 들어, 도 4의 (a)에서와 같이, 작업공간(WS)을 촬영하는 작업자 단말기(100)의 촬영 위치 및 방향이 동일한 경우, 관리자 단말기(300)에서 영상정보(VI) 상의 제1 위치 좌표에 관리자 입력내용(INC)을 입력되면, 작업자 단말기(100)의 제1 화면부(170) 상에서 화면의 동일한 위치에 표시되는 것으로 나타나 보이며, 또한 실시간으로 디스플레이되는 영상정보(VI) 상의 작업공간 좌표(WSC)의 동일한 제1 위치 좌표에 관리자 입력내용(INC)이 증감되어 표시된다.For example, as in (a) of FIG. 4 , when the photographing position and direction of the operator terminal 100 for photographing the workspace WS are the same, the first on the image information VI in the manager terminal 300 When the manager input (INC) is input to the location coordinates, it appears to be displayed at the same location on the screen on the first screen unit 170 of the operator terminal 100, and also the operation on the image information VI displayed in real time In the same first position coordinates of the spatial coordinates (WSC), the administrator input contents (INC) are increased and decreased and displayed.

반면, 도 4의 (b)에서와 같이, 작업공간(WS)을 촬영하는 작업자 단말기(100)의 촬영 위치 및 방향이 변경된 경우에, 관리자 단말기(300)에서 영상정보(VI) 상에 제1 위치 좌표에 관리자 입력내용(INC)이 입력되면, 작업자 단말기(100)의 제1 화면부(170) 상에서는 화면의 동일한 위치에 표시되지 않는 것으로 나타나 보이고, 실시간으로 디스플레이되는 영상정보(VI) 상의 작업공간 좌표(WSC)의 동일한 제1 위치 좌표에 관리자 입력내용(INC)이 증감되어 표시된다.On the other hand, as shown in (b) of Figure 4, when the photographing position and direction of the operator terminal 100 for photographing the workspace WS is changed, the first on the image information VI in the manager terminal 300 When the manager input (INC) is input to the location coordinates, it appears that it is not displayed on the first screen unit 170 of the operator terminal 100 and does not appear to be displayed at the same location on the screen, and the operation on the image information VI displayed in real time In the same first position coordinates of the spatial coordinates (WSC), the administrator input contents (INC) are increased and decreased and displayed.

(즉, 작업자 단말기(100)의 촬영 위치 및 방향이 변경되더라도, 관리자 입력내용이 입력되는 당시, 관리자가 의도했던 위치에 관리자 입력내용(INC)이 표시된다.) (That is, even if the shooting position and direction of the operator terminal 100 is changed, at the time the manager input is input, the manager input (INC) is displayed at the location intended by the manager.)

도 5의 (a) 및 도 5의 (b)는 도 1에 있어서, 영상정보의 작업공간 좌표에 제1 위치 좌표가 포함되는지 여부에 따라 관리자 입력내용이 제1 화면부에 증강 표시되는 여부가 결정되는 것을 예시적으로 나타낸 도면이다.5(a) and 5(b) show whether the administrator input is augmented and displayed on the first screen unit according to whether the first location coordinates are included in the workspace coordinates of the image information in FIG. It is a diagram exemplarily showing what is determined.

도 5의 (a) 및 도 5의 (b)를 참조하면, 영상정보 생성부(150)는 제1 위치 좌표가 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)의 작업공간 좌표(WSC)에 포함되는지 여부에 따라 관리자 입력내용(INC)이 제1 화면부(170)에 증강 표시 여부를 결정할 수 있다.Referring to FIGS. 5A and 5B , the image information generating unit 150 is a workspace of image information VI in which first position coordinates are displayed in real time on the first screen unit 170 . Depending on whether the coordinates WSC are included, it may be determined whether the manager input INC is augmented on the first screen unit 170 .

보다 구체적으로, 영상정보 생성부(150)는 관리자 입력내용(INC)이 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)의 작업공간 좌표(WSC) 중 관리자 입력정보(INI)에 포함된 제1 위치 좌표와 대응되는 위치에 동일하게 증강되어 표시되도록, 작업공간 좌표(WSC)와 제1 위치 좌표를 정합할 수 있다.More specifically, the image information generating unit 150 includes the administrator input information (INI) among the workspace coordinates (WSC) of the image information VI displayed in real time on the first screen unit 170 in which the administrator input contents (INC) are displayed in real time. The work space coordinates (WSC) and the first position coordinates may be matched so as to be displayed in the same augmentation at a position corresponding to the first position coordinates included in the .

그리고, 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력내용(INC)을 증강하여 표시하는 경우, 영상정보 생성부(150)는 제1 위치 좌표와 대응되는 작업공간 좌표(WSC)가 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)의 작업공간 좌표(WSC) 내에 포함되는지 여부를 판단하여, 포함되지 않는 경우에는 제1 화면부(170)에 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력내용(INC)이 표시되지 않도록 하고, 포함되는 경우에는 제1 화면부(170)의 화면에서 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력내용(INC)이 표시되도록 할 수 있다.And, when the manager input content INC is augmented and displayed on the image information VI displayed in real time on the first screen unit 170 , the image information generating unit 150 is a workspace corresponding to the first location coordinates. It is determined whether the coordinates WSC are included in the working space coordinates WSC of the image information VI displayed in real time on the first screen unit 170 , and if not included, the coordinates WSC are displayed on the first screen unit 170 . Prevents the manager input contents (INC) from being displayed in the video information (VI) displayed in real time, and when included, the manager input contents (in the video information (VI) displayed in real time on the screen of the first screen unit 170 ) INC) may be displayed.

예를 들어, 도 5의 (a)에서와 같이, 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)의 작업공간 좌표(WSC) 내에 관리자 입력정보(INI)에 포함된 제1 위치 좌표와 대응되는 작업공간 좌표(WSC)가 존재하지 않는 경우, 입력정보 생성부(370)는 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력내용(INC)이 표시되지 않도록 제어할 수 있다.For example, as shown in (a) of FIG. 5 , first included in the manager input information INI within the workspace coordinates WSC of the image information VI displayed in real time on the first screen unit 170 . When the work space coordinates (WSC) corresponding to the position coordinates do not exist, the input information generating unit 370 includes the manager input contents INC in the image information VI displayed in real time on the first screen unit 170 . You can control it not to be displayed.

반면, 도 5의 (b)에서와 같이, 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)의 작업공간 좌표(WSC) 내에 관리자 입력정보(INI)에 포함된 제1 위치 좌표와 대응되는 작업공간 좌표(WSC)가 존재하는 경우, 입력정보 생성부(370)는 제1 화면부(170)에서 실시간으로 디스플레이되는 영상정보(VI)에 관리자 입력내용(INC)이 표시되도록 제어할 수 있다.On the other hand, as shown in FIG. 5B , the first position coordinates included in the manager input information INI within the workspace coordinates WSC of the image information VI displayed in real time on the first screen unit 170 . When there is a workspace coordinate (WSC) corresponding to , the input information generating unit 370 controls so that the manager input contents INC are displayed on the image information VI displayed in real time on the first screen unit 170 . can do.

도 6은 도 1에 있어서, 제1 위치 좌표가 선택되면 자동적으로 타겟 오브젝트 정보가 입력내용으로 입력되는 것을 예시적으로 나타낸 도면이다.FIG. 6 is a diagram exemplarily showing that target object information is automatically input as input content when a first location coordinate is selected in FIG. 1 .

도 6을 참조하면, 내용 입력부(350)는 관리자 단말기(300)에서 디스플레이되는 영상정보(VI) 상에서 제1 위치 좌표가 선택되면, 자동적으로 인공지능 엔진이 제1 위치 좌표 상의 타겟 오브젝트 이미지(TOF)를 분석하여, 데이터베이스로부터 타겟 오브젝트 이미지(TOF)와 상응하는 타겟 오브젝트 정보(TOI)를 관리자 입력내용(INC)으로 입력받을 수 있다. 이 경우, AR 기반 원격 지원 시스템(10)은 인공지능 엔진 및 데이터베이스를 더 포함할 수 있다. 인공지능 엔진 및 데이터베이스는 관리자 단말기(300) 내에 위치하거나 관리자 단말기(300)와 통신망(500)으로 연결되는 외부 네트워크에 위치할 수 있다.Referring to FIG. 6 , when the first location coordinates are selected on the image information VI displayed on the manager terminal 300 , the content input unit 350 automatically activates the AI engine on the target object image (TOF) on the first location coordinates. ), the target object image TOF and target object information TOI corresponding to the database may be input as administrator input INC. In this case, the AR-based remote assistance system 10 may further include an artificial intelligence engine and a database. The artificial intelligence engine and database may be located in the manager terminal 300 or in an external network connected to the manager terminal 300 and the communication network 500 .

예를 들어, 내용 입력부(350)의 인공지능 엔진은 영상정보(VI)로부터 오브젝트의 종류와 3차원 기하학적 정보를 동시에 추출할 수 있다. 인공지능 엔진은 데이터베이스에 저장된 작업공간(WS)에 위치하는 오브젝트와 유관한 정보들을 딥러닝 방식으로 학습하여 실시간으로 촬영되어 디스플레이되는 영상정보(VI)에 포함된 타겟 오브젝트 이미지(TOF)를 분석할 수 있다.For example, the artificial intelligence engine of the content input unit 350 may simultaneously extract the type of object and 3D geometric information from the image information VI. The artificial intelligence engine learns the information related to the object located in the workspace (WS) stored in the database in a deep learning method to analyze the target object image (TOF) included in the image information (VI) that is captured and displayed in real time. can

즉, 인공지능 엔진은 관리자로부터 영상정보(VI) 상의 제1 위치 좌표가 선택되면, 선택된 제1 위치 좌표의 영역에 위치한 타겟 오브젝트 이미지(TOF)를 분석할 수 있다. 그리고, 인공지능 엔진은 분석된 타겟 오브젝트 이미지(TOF)의 정보에 기초하여, 작업공간(WS)과 유관한 복수의 오브젝트들의 정보가 저장된 데이터베이스로부터 타겟 오브젝트 이미지(TOF)와 상응하는 타겟 오브젝트 정보(TOI)를 추출할 수 있다. 추출된 타겟 오브젝트 정보(TOI)는 선택된 제1 위치 좌표에 관리자 입력내용(INC)으로 자동적으로 입력될 수 있다. 예를 들어, 추출된 타겟 오브젝트 정보(TOI)는 타겟 오브젝트의 증강현실 정보 등 다양한 정보일 수 있다.That is, when the first position coordinates on the image information VI are selected by the manager, the AI engine may analyze the target object image TOF located in the region of the selected first position coordinates. And, the artificial intelligence engine based on the analyzed target object image (TOF) information, the target object information (TOF) and corresponding target object information (TOF) from a database in which information of a plurality of objects related to the workspace (WS) is stored. TOI) can be extracted. The extracted target object information TOI may be automatically input as an administrator input INC to the selected first location coordinates. For example, the extracted target object information (TOI) may be various information such as augmented reality information of the target object.

예를 들어, 도 6에서와 같이, 관리자 단말기(300)는 작업자 단말기(100)로부터 영상정보(VI)를 전송받아서 이를 디스플레이한다.For example, as shown in FIG. 6 , the manager terminal 300 receives the image information VI from the operator terminal 100 and displays it.

다음으로, 관리자가 전용펜(700) 등을 사용하여 영상정보(VI) 내의 디스플레이되는 영상정보(VI) 상의 자동차 좌측앞바퀴 이미지가 위치한 제1 위치 영역(PA1)을 선택하면, 내용 입력부(350)는 인공지능 엔진을 통하여 제1 위치 영역(PA1)의 제1 위치 좌표 상에 위치하는 자동차 좌측앞바퀴 이미지를 타겟 오브젝트 이미지(TOF)로 판단하고 이를 분석한다.Next, when the manager selects the first location area PA1 in which the left front wheel image of the vehicle is located on the displayed image information VI in the image information VI using the dedicated pen 700, the content input unit 350 determines the left front wheel image of the vehicle located on the first position coordinates of the first position area PA1 as the target object image TOF through the artificial intelligence engine and analyzes it.

다음으로, 분석결과에 따라 타겟 오브젝트 이미지(TOF)인 자동차 좌측앞바퀴 이미지와 상응하는 타겟 오브젝트 정보(TOI)인 자동차 좌측앞바퀴 이미지의 증강현실 정보를 추출한다.Next, according to the analysis result, augmented reality information of the left front wheel image of the vehicle, which is the target object information (TOI) corresponding to the left front wheel image of the vehicle as the target object image (TOF) is extracted.

다음으로, 타겟 오브젝트 정보(TOI)인 자동차 좌측앞바퀴 이미지의 증강현실 정보를 제1 위치 좌표 상에 관리자 입력내용(INC)으로 입력한다.Next, the augmented reality information of the left front wheel image of the vehicle, which is the target object information (TOI), is input as the manager input content (INC) on the first location coordinates.

다음으로, 작업자 단말기(100)에서 실시간 디스플레이되는 영상정보(VI) 상의 제1 위치 좌표와 대응되는 위치에 타겟 오브젝트 정보(TOI)인 자동차 좌측앞바퀴 이미지의 증강현실 정보를 증강하여 표시한다.Next, augmented reality information of the left front wheel image of the vehicle, which is the target object information (TOI), is augmented and displayed at a position corresponding to the first position coordinates on the image information VI displayed in real time in the operator terminal 100 .

도 7의 (a) 및 도 7의 (b)는 도 1에 있어서, 타겟 오브젝트 이미지의 위치가 변경됨에 따라 제1 위치 좌표가 제2 위치 좌표로 변경되고, 이에 따라 관리자 입력내용의 위치가 변경되어 증강 표시되는 것을 예시적으로 나타낸 도면이고, 도 8은 도 7의 (a) 및 도 7의 (b)에 있어서, 영상정보에서 위치가 변경된 타겟 오브젝트 이미지를 검색하는데 사용되는 영역을 설명하기 위한 도면이다.7(a) and 7(b) show that in FIG. 1, as the location of the target object image is changed, the first location coordinates are changed to the second location coordinates, and accordingly, the location of the manager input is changed It is a view exemplarily showing the augmented display, and FIG. 8 is for explaining a region used to search for a target object image whose location has been changed in the image information in FIGS. 7 (a) and 7 (b). It is a drawing.

도 7의 (a), 도 7의 (b) 및 도 8을 참조하면, 입력정보 생성부(370)는 영상정보(VI)의 전체 이미지 정보 및 타겟 오브젝트 이미지(TOF)의 오브젝트 이미지 정보를 획득하여 상기 관리자 입력정보(INI)에 더 포함할 수 있다. 또한, 영상정보 생성부(150)는 영상정보(VI)의 제1 위치 좌표 상에 오브젝트 이미지 정보가 미확인되면, 영상정보(VI)에서 전체 이미지 정보와 미일치하는 영역(MMA) 내에서 오브젝트 이미지 정보를 검색하여, 발견된 타겟 오브젝트 이미지(TOF)의 제2 위치 좌표로 관리자 입력정보(INI)의 제1 위치 좌표를 변경하고, 변경된 제1 위치 좌표 상에 관리자 입력내용(INC)을 실시간 증강 표시할 수 있다.Referring to FIGS. 7A, 7B and 8 , the input information generating unit 370 obtains the entire image information of the image information VI and the object image information of the target object image TOF. Thus, it may be further included in the manager input information INI. Also, when the object image information on the first position coordinates of the image information VI is unconfirmed, the image information generating unit 150 generates an object image within an area MMA that does not match the entire image information in the image information VI. Searching for information, changing the first location coordinates of the manager input information INI to the second location coordinates of the found target object image TOF, and real-time augmentation of the manager input information INC on the changed first location coordinates can be displayed

예를 들어, 입력정보 생성부(370)는 관리자 단말기(300)에서 디스플레이되는 영상정보(VI)에 관한 전체 이미지 정보를 획득할 수 있다. 이 경우, 입력정보 생성부(370)는 디스플레이되는 영상정보(VI)를 세부구역으로 분류하여 각각의 세부구역에 대한 세부구역 이미지 정보를 모두 포함한 전체 이미지 정보를 획득할 수 있다.For example, the input information generating unit 370 may obtain entire image information regarding the image information VI displayed on the manager terminal 300 . In this case, the input information generating unit 370 may classify the displayed image information VI into sub-regions to obtain full image information including all image information of the sub-regions for each sub-region.

더불어, 입력정보 생성부(370)는 관리자 단말기(300)에서 디스플레이되는 영상정보(VI) 중 제1 위치 영역(PA1)에 위치한 타겟 오브젝트 이미지(TOF)의 오브젝트 이미지 정보를 획득할 수 있다.In addition, the input information generator 370 may acquire object image information of the target object image TOF located in the first location area PA1 among the image information VI displayed on the manager terminal 300 .

그리고, 입력정보 생성부(370)는 획득된 전체 이미지 정보와 오브젝트 이미지 정보를 관리자 입력내용(INC) 및 제1 위치 좌표와 함께 포함하여 관리자 입력정보(INI)를 생성하고, 생성된 관리자 입력정보(INI)는 통신망(500)을 통하여 실시간으로 작업자 단말기(100)로 전송된다.Then, the input information generating unit 370 generates the manager input information (INI) by including the obtained entire image information and the object image information together with the manager input contents (INC) and the first location coordinates, and the generated manager input information (INI) is transmitted to the operator terminal 100 in real time through the communication network 500.

영상정보 생성부(150)는 관리자 입력내용(INC)이 실시간으로 촬영되는 영상정보(VI)의 작업공간 좌표(WSC) 중 관리자 입력정보(INI)에 포함된 제1 위치 좌표와 대응되는 위치에 동일하게 증강되어 표시되도록, 작업공간 좌표(WSC)와 제1 위치 좌표를 정합한다.The image information generating unit 150 is located at a position corresponding to the first position coordinates included in the manager input information INI among the workspace coordinates WSC of the image information VI in which the manager input information INC is captured in real time. The work space coordinates (WSC) and the first position coordinates are matched so that they are displayed in the same augmentation.

이 때, 영상정보 생성부(150)는 관리자 입력정보(INI)에 포함된 제1 위치 좌표와 대응되는 영상정보(VI)의 제1 위치 좌표 상에 오브젝트 이미지 정보가 존재하는지 확인한다.In this case, the image information generating unit 150 checks whether object image information exists on the first position coordinates of the image information VI corresponding to the first position coordinates included in the manager input information INI.

도 7의 (a)에서와 같이, 작업자 단말기(100)에서 디스플레이되는 영상정보(VI) 상에서 타겟 오브젝트 이미지(TOF)의 위치가 변경되어 영상정보(VI)의 제1 위치 좌표에 대응되는 위치 상에 타겟 오브젝트 이미지(TOF)가 존재하지 않는 경우, 영상정보 생성부(150)는 관리자 입력내용(INC)을 표시하지 않고, 영상정보(VI) 내에서 관리자 입력정보(INI)에 포함된 오브젝트 이미지 정보를 검색한다.As shown in (a) of Figure 7, the position of the target object image (TOF) is changed on the image information (VI) displayed on the operator terminal (100) on the position corresponding to the first position coordinates of the image information (VI) When the target object image TOF does not exist in , the image information generating unit 150 does not display the manager input information INC, and an object image included in the manager input information INI in the image information VI. Search for information.

이 때, 도 8에서와 같이, 영상정보 생성부(150)는 관리자 입력정보(INI)에 포함된 전체 이미지 정보와 영상정보(VI)를 비교 검토하여 전체 이미지 정보와 일치하는 영역(MA)과 전체 이미지 정보와 미일치하는 영역(MMA)으로 분류하고, 전체 이미지 정보와 미일치하는 영역(MMA)에 대하여만 검색 작업을 수행한다.At this time, as shown in FIG. 8 , the image information generating unit 150 compares and examines the entire image information and the image information VI included in the manager input information INI to determine the area MA matching the entire image information. It is classified as an area (MMA) that does not match the entire image information, and a search operation is performed only on the area (MMA) that does not match the entire image information.

그리고, 도 7의 (b)에서와 같이, 전체 이미지 정보와 미일치하는 영역(MMA)에서 위치가 변경된 타겟 오브젝트 이미지(TOF)를 발견되면, 영상정보 생성부(150)는 타겟 오브젝트 이미지(TOF)가 위치한 제2 위치 영역(PA2)에 대응하는 제2 위치 좌표로 관리자 입력정보(INI)의 제1 위치 좌표를 변경하고, 변경된 제1 위치 좌표 상에 관리자 입력내용(INC)을 증강하여 표시한다.And, as shown in (b) of FIG. 7 , when a target object image TOF whose location has been changed is found in the area MMA that does not match the entire image information, the image information generator 150 generates the target object image TOF. ) changes the first location coordinates of the manager input information INI to the second location coordinates corresponding to the second location area PA2 in which the location is located, and augments and displays the manager input information INC on the changed first location coordinates. do.

예를 들어, 영상정보(VI)에 포함된 실시간 촬영 영상에는 외관상 동일한 오브젝트가 다수 존재할 수 있다. 이 경우, 위치가 변경된 타겟 오브젝트 이미지(TOF)를 찾기 위해 이미지인식기반에 기초하여 검색을 진행하면, 타겟 오브젝트 이미지(TOF) 뿐만 아니라 외관이 타겟 오브젝트 이미지(TOF)와 동일한 비타겟 오브젝트 이미지(NOF)까지 검색되어, 찾고자 하는 타겟 오브젝트 이미지(TOF)에 대한 검색결과가 부정확할 수 있다. 그러므로, 영상정보 중 전체 이미지 정보와 일치하는 영역(MA)을 제외하고, 전체 이미지 정보와 미일치하는 영역(MMA)에서만 검색을 진행하면, 위치가 변경되지 않는 비타겟 오브젝트 이미지(NOF)는 검색에서 제외되어 검색의 정확성을 높일 수 있다.For example, a plurality of apparently identical objects may exist in a real-time captured image included in the image information VI. In this case, if a search is performed based on image recognition to find a target object image (TOF) whose location has been changed, not only the target object image (TOF) but also the non-target object image (NOF) having the same appearance as the target object image (TOF) ), the search result for the target object image (TOF) to be found may be inaccurate. Therefore, if the search is performed only in the area (MMA) that does not match the entire image information, excluding the area (MA) that matches the entire image information among the image information, the non-target object image (NOF) whose position does not change is searched can be excluded from the search to increase the accuracy of the search.

도 9는 본 발명의 일 실시예에 따른 AR 기반 원격 지원 시스템의 동작 방법을 도시한 흐름도이다.9 is a flowchart illustrating a method of operating an AR-based remote assistance system according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일 실시예에 따른 AR 기반 원격 지원 시스템의 동작 방법은 작업자 단말기가 작업공간의 실시간 촬영 영상 및 작업공간 좌표를 획득하는 단계, 작업자 단말기가 실시간 촬영 영상에 작업공간 좌표를 매핑하여 영상정보를 생성하는 단계, 작업자 단말기가 영상정보를 통신망을 통해 관리자 단말기로 전송하는 단계, 관리자 단말기가 영상정보의 타겟 오브젝트 이미지를 기초로 관리자 입력내용을 입력받는 단계, 관리자 단말기가 관리자 입력내용에 타겟 오브젝트 이미지의 제1 위치 좌표를 매핑하여 관리자 입력정보를 생성하고, 영상정보의 전체 이미지 정보 및 타겟 오브젝트 이미지의 오브젝트 이미지 정보를 획득하여 관리자 입력정보에 더 포함하는 단계, 관리자 단말기가 관리자 입력정보를 통신망을 통하여 작업자 단말기로 전송하는 단계, 작업자 단말기가 영상정보의 작업공간 좌표의 제1 위치 좌표 상에 타겟 오브젝트 이미지가 위치하는지 여부를 확인하는 단계, 및 제1 위치 좌표 상에 타겟 오브젝트 이미지가 확인되면, 작업자 단말기가 제1 위치 좌표 상에 관리자 입력내용을 실시간 증강 표시하고, 제1 위치 좌표 상에 타겟 오브젝트 이미지(가 미확인되면, 작업자 단말기가 영상정보에서 전체 이미지 정보와 미일치하는 영역 내에서 오브젝트 이미지 정보를 검색하여, 발견된 타겟 오브젝트 이미지의 제2 위치 좌표로 관리자 입력정보의 제1 위치 좌표를 변경하고, 변경된 제1 위치 좌표 상에 관리자 입력내용을 실시간 증강 표시하는 단계를 포함한다. Referring to FIG. 9 , the operation method of the AR-based remote support system according to an embodiment of the present invention includes the steps of, by the operator terminal, acquiring a real-time captured image and workspace coordinates of a workspace, and the operator terminal displaying the real-time captured image on the workspace Creating image information by mapping the coordinates, the operator terminal transmitting the image information to the manager terminal through the communication network, the manager terminal receiving the manager input based on the target object image of the video information, the manager terminal Creating manager input information by mapping the first position coordinates of the target object image to the manager input, acquiring the entire image information of the image information and the object image information of the target object image, and further including it in the manager input information, manager terminal transmitting the manager input information to the operator terminal through the communication network, the operator terminal confirming whether the target object image is located on the first location coordinates of the workspace coordinates of the image information, and on the first location coordinates When the target object image is confirmed, the operator terminal augments and displays the manager input on the first location coordinates in real time, and on the first location coordinates, the target object image (if unconfirmed, the operator terminal displays the entire image information and the image information in the image information) Searching for object image information within a matching area, changing the first location coordinates of the manager input information to the second location coordinates of the found target object image, and augmenting and displaying the manager input on the changed first location coordinates in real time includes steps.

작업공간의 실시간 촬영 영상 및 작업공간 좌표를 획득하는 단계(S110)에서는 작업자가 작업자 단말기를 사용하여 작업공간을 촬영하여 실시간 촬영 영상을 획득하고, 촬영시 작업자 단말기에 구비된 MEMS센서 등을 통하여 좌표인식기반을 기초로 하는 방법으로 작업공간 각 위치의 작업공간 좌표를 획득할 수 있다.In the step (S110) of acquiring the real-time photographed image and workspace coordinates of the workspace, the worker acquires the real-time photographed image by photographing the workspace using the operator terminal, and coordinates through the MEMS sensor provided in the operator terminal when photographing In a recognition-based method, it is possible to obtain the workspace coordinates of each location in the workspace.

영상정보를 생성하는 단계(S130)에서는 작업자 단말기가 촬영된 실시간 촬영 영상에 획득된 작업공간 좌표를 매칭하여 매핑하여 영상정보를 생성할 수 있다.In the step of generating the image information ( S130 ), the image information may be generated by matching the coordinates of the workspace obtained by the operator terminal to the real-time captured image and mapping it.

영상정보를 관리자 단말기로 전송하는 단계(S150)에서는 생성된 영상정보가 통신망을 통해서 작업자 단말기에서 관리자 단말기로 실시간으로 전송할 수 있다.In the step of transmitting the image information to the manager terminal (S150), the generated image information may be transmitted from the operator terminal to the manager terminal through a communication network in real time.

관리자 입력내용을 입력받는 단계(S170)에서는 관리자 단말기가 영상정보에서 타겟 오브젝트 이미지 상의 위치 또는 타겟 오브젝트 이미지와 소정 간격 이격된 공간의 위치에 관리자 입력내용을 입력받을 수 있다.In the step of receiving the manager input (S170), the manager terminal may receive the manager input at a location on the target object image or a space spaced apart from the target object image by a predetermined distance in the image information.

관리자 입력정보를 생성하는 단계(S190)에서는 관리자 단말기가 관리자 입력내용에 타겟 오브젝트 이미지의 제1 위치 좌표를 매핑한 관리자 입력정보를 생성할 수 있으며, 관리자 입력정보에 영상정보로부터 획득한 영상정보의 전체 이미지 정보 및 타겟 오브젝트 이미지의 오브젝트 이미지 정보를 더 포함할 수 있다.In the step of generating the manager input information (S190), the manager terminal may generate manager input information in which the first location coordinates of the target object image are mapped to the manager input contents, and the manager input information is the image information obtained from the video information in the manager input information. It may further include object image information of the entire image information and the target object image.

관리자 입력정보를 작업자 단말기로 전송하는 단계(S210) 에서는 관리자 단말기가 통신망을 통하여 작업자 단말기로 관리자 입력정보를 전송할 수 있다.In the step of transmitting the manager input information to the operator terminal (S210), the manager terminal may transmit the manager input information to the operator terminal through a communication network.

영상정보의 제1 위치 좌표 상에 타겟 오브젝트 이미지가 위치하는지 여부를 확인하는 단계(S230)에서는 작업자 단말기가 영상정보 상의 작업공간 좌표와 관리자 입력정보 상의 제1 위치 좌표를 확인하여 정합하고, 영상정보의 제1 위치 좌표 상에 타겟 오브젝트 이미지가 위치하는지 여부를 확인할 수 있다.In the step of confirming whether the target object image is located on the first position coordinates of the image information (S230), the operator terminal checks and matches the workspace coordinates on the image information and the first position coordinates on the manager input information, and the image information It may be checked whether the target object image is located on the first location coordinates of .

작업자 단말기에 관리자 입력내용을 실시간 증강 표시하는 단계(S250)에서는 작업자 단말기가 제1 위치 좌표 상에 타겟 오브젝트 이미지가 확인하면, 제1 위치 좌표 상에 관리자 입력내용을 실시간 증강하여 표시하고, 제1 위치 좌표 상에 타겟 오브젝트 이미지가 미확인되면, 영상정보에서 전체 이미지 정보와 미일치하는 영역 내에서만 오브젝트 이미지 정보를 검색하여, 발견된 타겟 오브젝트 이미지의 제2 위치 좌표로 관리자 입력정보의 제1 위치 좌표를 변경하고, 변경된 제1 위치 좌표 상에 관리자 입력내용을 실시간 증강하여 표시할 수 있다.In the step (S250) of real-time augmentation display of the manager input on the worker terminal, when the worker terminal confirms the target object image on the first location coordinates, the manager input is augmented and displayed on the first location coordinates in real time, and the first If the target object image is not confirmed on the location coordinates, the object image information is searched only within the area that does not match the entire image information in the image information, and the first location coordinates of the manager input information are the second location coordinates of the found target object image. can be changed and displayed by augmenting the manager input in real time on the changed first location coordinates.

또한, AR 기반 원격 지원 시스템의 동작 방법은, 도 1 내지 도 10을 통해 앞에서 설명한 AR 기반 원격 지원 시스템(10)이 동일하게 적용될 수 있으므로, 자세한 설명은 생략하기로 한다.In addition, since the AR-based remote support system 10 described above with reference to FIGS. 1 to 10 may be applied to the operation method of the AR-based remote support system, a detailed description thereof will be omitted.

본 발명의 실시예들에 따르면, 관리자가 입력한 입력내용이 좌표인식기반을 기초로 증강 표시되는 방법과 이미지인식기반으로 기초로 증강 표시되는 방법을 토대로 하여 작업자 단말기(1에 실시간으로 증강되어 표시될 수 있다. 즉, 좌표인식기반에 기초한 증강 표시 방법과 이미지인식기반에 기초한 증강 표시 방법의 장단점을 서로 보완하여 증강현실을 구현할 수 있다.According to the embodiments of the present invention, based on a method in which the input content input by the administrator is augmented and displayed based on a coordinate recognition basis and an augmented display method based on an image recognition basis, augmented and displayed on the worker terminal 1 in real time That is, augmented reality can be implemented by complementing the strengths and weaknesses of the augmented display method based on coordinate recognition and the augmented display method based on image recognition.

이상에서 설명한 본 발명이 전술한 실시예 및 첨부된 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지로 치환, 변형 및 변경이 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is in the technical field to which the present invention pertains that various substitutions, modifications, and changes are possible within the scope without departing from the technical spirit of the present invention. It will be clear to those of ordinary skill in the art.

10: AR 기반 원격 지원 시스템 100: 작업자 단말기
110: 촬영부 130: 센서부
150: 영상정보 생성부 170: 제1 화면부
190: 제1 통신부 300: 관리자 단말기
310: 제2 통신부 330: 제2 화면부
350: 내용 입력부 370: 입력정보 생성부
500: 통신망10: AR-based remote support system 100: operator terminal
110: photographing unit 130: sensor unit
150: image information generating unit 170: first screen unit
190: first communication unit 300: manager terminal
310: second communication unit 330: second screen unit
350: content input unit 370: input information generation unit
500: network

Claims (12)

작업공간의 실시간 촬영 영상 및 작업공간 좌표를 기초로 생성되는 영상정보를 실시간으로 디스플레이하는 작업자 단말기; 및
상기 영상정보의 타겟 오브젝트 이미지를 기초로 입력된 관리자 입력내용과 상기 타겟 오브젝트 이미지의 제1 위치 좌표를 포함하는 관리자 입력정보를 상기 작업자 단말기로 실시간 전송하는 관리자 단말기를 포함하고,
상기 제1 위치 좌표를 이용한 좌표인식기반과 상기 타겟 오브젝트 이미지를 이용한 이미지인식기반을 기초로 상기 작업자 단말기에 상기 관리자 입력내용을 실시간 증강 표시하고,
상기 제1 위치 좌표를 이용한 좌표인식기반을 기초로 상기 관리자 입력내용을 실시간 증강 표시하되, 상기 타겟 오브젝트 이미지가 상기 제1 위치 좌표를 벗어나면 상기 타겟 오브젝트 이미지를 이용한 이미지인식기반을 기초로 상기 관리자 입력내용을 실시간 증강 표시하고,
상기 작업자 단말기는,
상기 작업공간의 실시간 촬영 영상을 획득하는 촬영부; 상기 작업공간 좌표를 도출하는 센서부; 상기 실시간 촬영 영상에 상기 작업공간 좌표를 매핑하여 상기 영상정보를 생성하는 영상정보 생성부; 상기 영상정보를 디스플레이하는 제1 화면부; 및 통신망을 통하여 상기 관리자 단말기와 교신하는 제1 통신부를 포함하고,
상기 관리자 단말기는,
상기 통신망을 통하여 상기 작업자 단말기와 교신하는 제2 통신부; 상기 작업자 단말기로부터 수신된 상기 영상정보를 디스플레이하는 제2 화면부; 상기 타겟 오브젝트 이미지의 제1 위치 좌표에 상기 관리자 입력내용을 입력받는 내용 입력부; 및 상기 관리자 입력내용에 상기 제1 위치 좌표를 매핑하여 상기 관리자 입력정보를 생성하는 입력정보 생성부를 포함하고,
상기 입력정보 생성부는,
상기 영상정보의 전체 이미지 정보 및 상기 타겟 오브젝트 이미지의 오브젝트 이미지 정보를 획득하여 상기 관리자 입력정보에 더 포함하고,
상기 영상정보 생성부는,
상기 영상정보의 상기 제1 위치 좌표 상에 상기 오브젝트 이미지 정보가 미확인되면, 상기 관리자 입력정보에 포함된 상기 전체 이미지 정보와 상기 영상정보를 비교하여 전체 이미지 정보와 일치하는 영역과 전체 이미지 정보와 미일치하는 영역으로 분류하고, 상기 영상정보에서 상기 전체 이미지 정보와 미일치하는 영역 내에서만 상기 오브젝트 이미지 정보를 검색하여, 발견된 상기 타겟 오브젝트 이미지의 제2 위치 좌표로 상기 관리자 입력정보의 상기 제1 위치 좌표를 변경하고, 상기 변경된 제1 위치 좌표 상에 상기 관리자 입력내용을 실시간 증강 표시하는 AR 기반 원격 지원 시스템.an operator terminal for displaying real-time captured images of the workspace and image information generated based on the coordinates of the workspace in real time; and
and a manager terminal for transmitting manager input information including first location coordinates of manager input content and the target object image input based on the target object image of the image information to the worker terminal in real time,
Based on the coordinate recognition base using the first location coordinates and the image recognition base using the target object image, the manager input is displayed in real time on the operator terminal,
Augmented display of the manager input contents in real time based on a coordinate recognition basis using the first location coordinates, but if the target object image deviates from the first location coordinates, the manager based on an image recognition basis using the target object image Real-time augmented display of input contents,
The worker terminal,
a photographing unit for acquiring a real-time photographed image of the workspace; a sensor unit for deriving the work space coordinates; an image information generating unit for generating the image information by mapping the workspace coordinates to the real-time captured image; a first screen unit for displaying the image information; and a first communication unit communicating with the manager terminal through a communication network,
The manager terminal,
a second communication unit communicating with the worker terminal through the communication network; a second screen unit for displaying the image information received from the operator terminal; a content input unit for receiving the manager's input to the first location coordinates of the target object image; and an input information generator configured to generate the manager input information by mapping the first location coordinates to the manager input,
The input information generating unit,
Obtaining the entire image information of the image information and the object image information of the target object image and further including it in the manager input information,
The image information generating unit,
When the object image information is not confirmed on the first position coordinates of the image information, the entire image information included in the manager input information is compared with the image information to compare the image information with the region matching the entire image information and the entire image information. Classify into a matching area, search for the object image information only within an area that does not match the entire image information in the image information, and use the found second location coordinates of the target object image as the first of the manager input information. An AR-based remote support system that changes location coordinates and augments and displays the manager's input on the changed first location coordinates in real time. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 영상정보 생성부는,
상기 영상정보의 상기 작업공간 좌표에 상기 관리자 입력정보의 상기 제1 위치 좌표를 정합하여, 상기 제1 화면부에서 실시간 디스플레이되는 상기 영상정보의 상기 제1 위치 좌표 상에 상기 관리자 입력내용을 증강 표시하는 AR 기반 원격 지원 시스템.The method of claim 1,
The image information generating unit,
By matching the first position coordinates of the manager input information with the workspace coordinates of the image information, the manager input contents are augmented and displayed on the first position coordinates of the image information displayed in real time on the first screen unit AR-based remote support system. 제5항에 있어서,
상기 영상정보 생성부는,
상기 제1 위치 좌표가 상기 제1 화면부에서 실시간 디스플레이되는 상기 영상정보의 작업공간 좌표에 포함되는지 여부에 따라, 상기 제1 화면부에 상기 관리자 입력내용의 증강 표시 여부를 결정하는 AR 기반 원격 지원 시스템.The method of claim 5,
The image information generating unit,
AR-based remote support for determining whether to augment display of the administrator input on the first screen unit according to whether the first location coordinates are included in the workspace coordinates of the image information displayed in real time on the first screen unit system. 제5항에 있어서,
상기 내용 입력부는
상기 제1 위치 좌표가 선택되면, 자동적으로 인공지능 엔진이 상기 제1 위치 좌표 상의 상기 타겟 오브젝트 이미지를 분석하여, 데이터베이스로부터 상기 타겟 오브젝트 이미지와 상응하는 타겟 오브젝트 정보를 상기 관리자 입력내용으로 입력받는 AR 기반 원격 지원 시스템.The method of claim 5,
The content input section
When the first location coordinates are selected, the AI engine automatically analyzes the target object image on the first location coordinates, and AR receives target object information corresponding to the target object image from the database as the manager input based remote support system. 삭제delete 삭제delete 제1항에 있어서,
상기 통신망을 통하여 상기 작업자 단말기와 상기 관리자 단말기 간의 파일 전송 및 음성 통화 기능을 수행하는 AR 기반 원격 지원 시스템.The method of claim 1,
AR-based remote support system for performing file transfer and voice call functions between the worker terminal and the manager terminal through the communication network. 제1항에 있어서,
상기 관리자 단말기는,
전용펜 또는 손동작 제스처 중 적어도 하나를 통해 상기 관리자 입력내용을 입력받는 AR 기반 원격 지원 시스템.The method of claim 1,
The manager terminal,
An AR-based remote support system that receives the manager input through at least one of a dedicated pen or a hand gesture. 작업자 단말기가 작업공간의 실시간 촬영 영상 및 작업공간 좌표를 획득하는 단계;
상기 작업자 단말기가 상기 실시간 촬영 영상에 상기 작업공간 좌표를 매핑하여 영상정보를 생성하는 단계;
상기 작업자 단말기가 상기 영상정보를 통신망을 통해 관리자 단말기로 전송하는 단계;
상기 관리자 단말기가 상기 영상정보의 타겟 오브젝트 이미지를 기초로 관리자 입력내용을 입력받는 단계;
상기 관리자 단말기가 상기 관리자 입력내용에 상기 타겟 오브젝트 이미지의 제1 위치 좌표를 매핑하여 관리자 입력정보를 생성하고, 상기 영상정보의 전체 이미지 정보 및 상기 타겟 오브젝트 이미지의 오브젝트 이미지 정보를 획득하여 상기 관리자 입력정보에 더 포함하는 단계;
상기 관리자 단말기가 상기 관리자 입력정보를 상기 통신망을 통하여 상기 작업자 단말기로 전송하는 단계;
상기 작업자 단말기가 상기 영상정보의 작업공간 좌표의 제1 위치 좌표 상에 상기 타겟 오브젝트 이미지가 위치하는지 여부를 확인하는 단계; 및
상기 제1 위치 좌표 상에 상기 타겟 오브젝트 이미지가 확인되면, 상기 작업자 단말기가 상기 제1 위치 좌표 상에 상기 관리자 입력내용을 실시간 증강 표시하고, 상기 제1 위치 좌표 상에 상기 타겟 오브젝트 이미지가 미확인되면, 상기 관리자 입력정보에 포함된 상기 전체 이미지 정보와 상기 영상정보를 비교하여 전체 이미지 정보와 일치하는 영역과 상기 전체 이미지 정보와 미일치하는 영역으로 분류하고, 상기 작업자 단말기가 상기 영상정보에서 상기 전체 이미지 정보와 미일치하는 영역 내에서만 상기 오브젝트 이미지 정보를 검색하여, 발견된 상기 타겟 오브젝트 이미지의 제2 위치 좌표로 상기 관리자 입력정보의 상기 제1 위치 좌표를 변경하고, 상기 변경된 제1 위치 좌표 상에 상기 관리자 입력내용을 실시간 증강 표시하는 단계를 포함하는 AR 기반 원격 지원 시스템의 동작 방법.obtaining, by a worker terminal, a real-time captured image of the workspace and coordinates of the workspace;
generating, by the worker terminal, image information by mapping the workspace coordinates to the real-time captured image;
transmitting, by the worker terminal, the image information to a manager terminal through a communication network;
receiving, by the manager terminal, manager input contents based on a target object image of the video information;
The manager terminal generates manager input information by mapping the first location coordinates of the target object image to the manager input, and obtains the entire image information of the image information and the object image information of the target object image to input the manager further including in the information;
transmitting, by the manager terminal, the manager input information to the worker terminal through the communication network;
checking, by the worker terminal, whether the target object image is located on a first location coordinate of the workspace coordinates of the image information; and
When the target object image is confirmed on the first location coordinates, the operator terminal augments and displays the manager input on the first location coordinates in real time, and when the target object image is not confirmed on the first location coordinates , by comparing the entire image information and the image information included in the manager input information to classify an area consistent with the entire image information and an area not matching the entire image information, and the operator terminal selects the entire image information from the image information. Searching for the object image information only within a region that does not match the image information, changing the first position coordinates of the manager input information to the second position coordinates of the found target object image, and on the changed first position coordinates A method of operating an AR-based remote support system comprising the step of augmenting and displaying the administrator input in real time.
KR1020190174132A 2019-12-24 2019-12-24 Remote support system based on augmented reality and operation method thereof KR102259350B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190174132A KR102259350B1 (en) 2019-12-24 2019-12-24 Remote support system based on augmented reality and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190174132A KR102259350B1 (en) 2019-12-24 2019-12-24 Remote support system based on augmented reality and operation method thereof

Publications (1)

Publication Number Publication Date
KR102259350B1 true KR102259350B1 (en) 2021-06-01

Family

ID=76375679

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190174132A KR102259350B1 (en) 2019-12-24 2019-12-24 Remote support system based on augmented reality and operation method thereof

Country Status (1)

Country Link
KR (1) KR102259350B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404623B1 (en) * 2021-10-07 2022-06-02 주식회사 벤타브이알 VR video management method and system for simultaneous training of multiple users
WO2024005472A1 (en) * 2022-06-30 2024-01-04 주식회사 와이엠엑스 Real-time vr conference system and method capable of sharing memo linked to specific location on 3d object in virtual space
WO2024005473A1 (en) * 2022-06-30 2024-01-04 주식회사 와이엠엑스 Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120006676A (en) 2010-07-13 2012-01-19 엘지전자 주식회사 Video conference device and method for providing a video conference service
KR101978740B1 (en) * 2012-02-15 2019-05-15 삼성전자주식회사 Tele-operation system and control method thereof
KR20190095849A (en) * 2018-02-07 2019-08-16 임진국 Real time and multi local cross remote control system and method using Mixed Reality Device
KR102051309B1 (en) * 2019-06-27 2019-12-03 주식회사 버넥트 Intelligent technology based augmented reality system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120006676A (en) 2010-07-13 2012-01-19 엘지전자 주식회사 Video conference device and method for providing a video conference service
KR101978740B1 (en) * 2012-02-15 2019-05-15 삼성전자주식회사 Tele-operation system and control method thereof
KR20190095849A (en) * 2018-02-07 2019-08-16 임진국 Real time and multi local cross remote control system and method using Mixed Reality Device
KR102051309B1 (en) * 2019-06-27 2019-12-03 주식회사 버넥트 Intelligent technology based augmented reality system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102404623B1 (en) * 2021-10-07 2022-06-02 주식회사 벤타브이알 VR video management method and system for simultaneous training of multiple users
WO2023059142A1 (en) * 2021-10-07 2023-04-13 주식회사 벤타브이알 Vr video management method and system for enabling simultaneous training of multiple users
WO2024005472A1 (en) * 2022-06-30 2024-01-04 주식회사 와이엠엑스 Real-time vr conference system and method capable of sharing memo linked to specific location on 3d object in virtual space
WO2024005473A1 (en) * 2022-06-30 2024-01-04 주식회사 와이엠엑스 Real-time vr conference system and method capable of sharing specific location indication on 3d object in virtual space

Similar Documents

Publication Publication Date Title
KR102259350B1 (en) Remote support system based on augmented reality and operation method thereof
US10650223B2 (en) Techniques for built environment representations
US11062510B2 (en) Facilitating body measurements through loose clothing and/or other obscurities using three-dimensional scans and smart calculations
CN111815675B (en) Target object tracking method and device, electronic equipment and storage medium
US9661470B1 (en) Methods and systems for locating an actor within an environment
US10264207B2 (en) Method and system for creating virtual message onto a moving object and searching the same
KR102289745B1 (en) System and method for real-time monitoring field work
JP2023153815A (en) 3d mapping of process control environment
US11212639B2 (en) Information display method and apparatus
JP2020534198A (en) Control methods, equipment and systems for mobile objects
CN111272172A (en) Unmanned aerial vehicle indoor navigation method, device, equipment and storage medium
KR20190100133A (en) Apparatus and method for providing augmented reality contents
US10606886B2 (en) Method and system for remote management of virtual message for a moving object
US20140292636A1 (en) Head-Worn Infrared-Based Mobile User-Interface
KR20140140442A (en) Information System based on mobile augmented reality
US10620717B2 (en) Position-determining input device
KR20200122754A (en) Smart glass system for providing augmented reality image
CN108896035B (en) Method and equipment for realizing navigation through image information and navigation robot
KR20220062473A (en) Electronic device for location-based ar linking of object-based augmentation contents and operating method thereof
CN112528699B (en) Method and system for obtaining identification information of devices or users thereof in a scene
US20230089061A1 (en) Space recognition system, space recognition method, information terminal, and server apparatus
KR20190048810A (en) Apparatus and method for providing augmented reality contents
CN113192139A (en) Positioning method and device, electronic equipment and storage medium
CN112581630A (en) User interaction method and system
CN110958608B (en) Wireless network connection method, device, storage medium and computer equipment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant