KR20240039628A

KR20240039628A - Augmented reality-based remote control system and method thereof

Info

Publication number: KR20240039628A
Application number: KR1020220117662A
Authority: KR
Inventors: 장민; 오주병
Original assignee: 주식회사 코이노
Priority date: 2022-09-19
Filing date: 2022-09-19
Publication date: 2024-03-27

Abstract

증강현실 기반 원격제어 시스템 및 그 방법이 개시된다. 일 실시 예에 따른 증강현실 기반 원격제어 시스템은, 현장에서 현장 작업자가 휴대 가능하며, 현장 작업자의 현실세계를 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며 인식된 실제 객체를 추적하면서 실제 객체에 증강현실(Augmented　Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 출력하는 현장 디바이스와, 현장 디바이스로부터 원격으로 촬영영상 화면을 수신하여 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하며, 검색된 작업대상에 대한 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 원격 서비스 제공장치를 포함한다.An augmented reality-based remote control system and method are disclosed. The augmented reality-based remote control system according to an embodiment is portable for field workers in the field, acquires real-time captured images of the field worker's real world, and identifies work objects that require remote monitoring or repair from the obtained captured images. An on-site device recognizes the recognized real object as an object and tracks the recognized real object, overlaying and outputting an Augmented Reality (AR) object on the real object, and remotely receives the captured video screen from the on-site device. Recognize real objects in the captured video screen, search for work objects that match the recognized real objects, and sequentially provide multiple AR objects to the shot video screen where the actual objects are visible to solve problems with the searched work objects. It includes a remote service provision device that provides primary guidance to field devices by providing AR control information including actions using AR objects.

Description

Augmented reality-based remote control system and method thereof}

본 발명은 원격제어 기술에 관한 것이다.The present invention relates to remote control technology.

장치의 제어, 원격수리, 유지관리 등의 작업을 하기 위해서는 수년간의 경험이 필요하고, 숙련자라 할지라도 신규 장치 도입 시 이를 숙지하는데 오랜 시간이 소요된다. 또한, 아무리 숙련자라 할지라도 모든 작업 절차를 숙지하고 있을 수가 없고, 언제 어떤 작업 요구가 발생할지 예측하기가 어렵다. 이에 따라, 현장 작업자들은 작업을 위한 매뉴얼을 항상 휴대하여, 작업 업무를 수행하여 왔다.Several years of experience is required to perform tasks such as device control, remote repair, and maintenance, and even for experienced users, it takes a long time to become familiar with new devices. In addition, no matter how skilled a person is, it is impossible to be familiar with all work procedures, and it is difficult to predict when and what work demands will arise. Accordingly, field workers have always carried a manual for work and performed work tasks.

이러한 문제는 비단 산업현장에만 한정되는 것은 아니다. 예를 들어, 가정집에서 냉장고가 고장이 난 경우 소비자는 스스로 고칠 수 없는 경우가 대부분이어서, 별도의 전문가를 불러 수리해야 하는 경우가 많다. 이때, 문제 해결까지 시간, 비용 등이 많이 소요되어 비효율적이다.These problems are not limited to industrial sites. For example, when a refrigerator breaks down at home, consumers are often unable to fix it themselves, so they often have to call a separate expert to repair it. At this time, it is inefficient because it takes a lot of time and money to solve the problem.

일 실시 예에 따라, 복잡한 구조의 장치일지라도 또는 숙련된 현장 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있도록 하고, 현장 작업자가 작업 매뉴얼 없이도 작업이 가능하고, 현장 디바이스를 통해 손이 자유로우며, 증강현실 객체를 재활용하여 증강현실 기반 원격제어 서비스의 효율성을 높일 수 있는 증강현실 기반 원격제어 시스템 및 그 방법을 제안한다.According to one embodiment, even if it is a device with a complex structure or not a skilled field worker, it is possible to work quickly and easily, field workers can work without a work manual, hands are free through field devices, and augmented reality objects are used. We propose an augmented reality-based remote control system and method that can increase the efficiency of augmented reality-based remote control services by recycling.

일 실시 예에 따른 증강현실 기반 원격제어 시스템은, 현장에서 현장 작업자가 휴대 가능하며, 현장 작업자의 현실세계를 실시간 촬영한 영상을 획득하고 획득된 촬영영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며 인식된 실제 객체를 추적하면서 실제 객체에 증강현실(Augmented　Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 출력하는 현장 디바이스와, 현장 디바이스로부터 원격으로 촬영영상 화면을 수신하여 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하며, 검색된 작업대상에 대한 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 원격 서비스 제공장치를 포함한다.The augmented reality-based remote control system according to an embodiment is portable for field workers in the field, acquires real-time captured images of the field worker's real world, and identifies work objects that require remote monitoring or repair from the obtained captured images. An on-site device recognizes the recognized real object as an object and tracks the recognized real object, overlaying and outputting an Augmented Reality (AR) object on the real object, and remotely receives the captured video screen from the on-site device. Recognize real objects in the captured video screen, search for work objects that match the recognized real objects, and sequentially provide multiple AR objects to the shot video screen where the actual objects are visible to solve problems with the searched work objects. It includes a remote service provision device that provides primary guidance to field devices by providing AR control information including actions using AR objects.

AR 객체는 손 모양, 툴 및 방향 중 적어도 하나를 포함하는 AR 지도도구(AR Direction tool)를 포함할 수 있다.The AR object may include an AR direction tool including at least one of a hand shape, tool, and direction.

원격 서비스 제공장치는, 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체에 대한 AR 제어정보를 함께 제공하는 1차 가이드 시 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장하고 있다가, 추후 저장된 정보를 이용하여 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공하는 2차 가이드를 지원할 수 있다.The remote service providing device stores the AR object, the work position on the screen, and the AR control information during the first guidance, providing multiple AR objects sequentially and providing AR control information for each AR object together, and later Using the saved information, it is possible to support a secondary guide that rearranges AR objects to the working position on the screen and provides AR control information again.

2차 가이드는 소정의 작업단계를 반복하여 다시 보여주는 기능을 포함할 수 있고, 반복하여 다시 보여줄 때 소정의 빠르기로 제공하되, 소정의 빠르기는 기본값으로 설정되거나 사용자에 의해 설정될 수 있다.The secondary guide may include a function to repeat and re-show a predetermined work step, and provide a predetermined speed when repeatedly re-showing, but the predetermined speed can be set as default or set by the user.

2차 가이드는 객체 단위로 복수의 단계로 분할한 뒤, 소정의 작업단계로 접근하여 다시 제공하는 기능을 포함할 수 있으며, 소정의 작업단계로의 접근 기능은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 처음 작업단계로의 이동 또는 다른 작업단계로의 이동 중 적어도 하나를 포함할 수 있다.The secondary guide may include a function to divide the object into a plurality of steps and then provide it again by accessing a predetermined work step. The access function to a predetermined work step is to move in the reverse direction based on the current work step. It may include at least one of moving to a work step, moving to a work step in the forward direction, moving to the first work step, or moving to another work step.

원격 서비스 제공장치는, 1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공하는 2차 가이드를 지원할 수 있다.When the remote service providing device receives the voice of a field worker after providing the first guide, it additionally recognizes the AR object, work location, and worker action in the voice, and identifies the recognized AR object at the recognized work position in the captured video screen. It can support a secondary guide that approaches the scene and provides AR control information again according to the recognized operator action.

원격 서비스 제공장치는, AR 객체 및 실제 객체를 기계학습을 통해 인식할 수 있다.The remote service providing device can recognize AR objects and real objects through machine learning.

원격 서비스 제공장치는, 복수의 전문가 명령을 함께 수신하면 해당하는 전문가 간에 협의하도록 중개할 수 있다. When receiving commands from multiple experts together, the remote service providing device can mediate consultation between the relevant experts.

다른 실시 예에 따른 원격 서비스 제공장치를 이용한 증강현실 기반 원격제어 방법은, 현장 디바이스로부터 원격지원 요청을 수신하는 단계와, 현장 디바이스로부터 원격으로 촬영영상 화면을 수신하는 단계와, 촬영영상 화면 내 실제 객체를 인식하고, 인식된 실제 객체와 매칭되는 작업대상을 검색하는 단계와, 검색된 작업대상에 대한 문제를 확인하는 단계와, 확인된 문제 해결을 위해 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스를 1차 가이드 하는 단계를 포함한다.An augmented reality-based remote control method using a remote service providing device according to another embodiment includes the steps of receiving a remote support request from an on-site device, receiving a captured video screen remotely from the on-site device, and the steps of receiving a captured video screen remotely from the on-site device, and A step of recognizing an object and searching for a work object that matches the recognized real object, a step of checking a problem with the searched work object, and a plurality of AR objects on a captured video screen where the actual object is visible to solve the identified problem. It includes the step of first guiding the field device by providing AR control information including actions using each AR object sequentially.

증강현실 기반 원격제어 방법은, 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체에 대한 AR 제어정보를 함께 제공하는 1차 가이드 시 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장하는 단계와, 추후 저장된 정보를 이용하여 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 단계를 더 포함할 수 있다.The augmented reality-based remote control method includes the steps of providing a plurality of AR objects sequentially and simultaneously providing AR control information for each AR object, along with storing the AR object, the work location on the screen, and AR control information during the first guide. , It may further include the step of rearranging the AR object to the working position within the screen using the stored information and supporting a secondary guide that provides AR control information again.

증강현실 기반 원격제어 방법은, 1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하는 단계와, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공하는 2차 가이드를 지원하는 단계를 더 포함할 수 있다.The augmented reality-based remote control method includes the steps of additionally recognizing the AR object, work location, and worker action in the voice when the voice of the field worker is received after providing the first guide, and the recognized work position in the captured video screen. A step of supporting a secondary guide that approaches a scene with an AR object and provides AR control information again according to the recognized operator action may be further included.

일 실시에 따른 증강현실 기반 원격제어 시스템은, 현장 내 복잡한 구조의 장치일지라도 또는 숙련된 현장 작업자가 아닐지라도 쉽고 빠르게 작업할 수 있도록 하고, 현장 작업자가 작업 매뉴얼 없이도 작업이 가능하다.In one implementation, an augmented reality-based remote control system allows workers to work quickly and easily even on devices with complex structures in the field or even if they are not skilled field workers, and field workers can work without a work manual.

또한, 현장 디바이스를 통해 현장 작업자의 손이 자유로우며, 전문가의 도움이 필요할 때 전문가로부터 기술을 지원받을 수 있다.In addition, field workers' hands are free through field devices, and they can receive technical support from experts when they need help.

나아가, 증강현실 객체를 재활용함에 따라 증강현실 기반 원격제어 서비스의 효율성을 높일 수 있다. 예를 들어, 전문가의 1차 가이드 시 현장 작업자가 익숙하지 않아 다시 질문하는 경우에도 증강현실 객체를 재활용하는 전문가의 2차 가이드(예를 들어, 빠르게 다시 보여주기, 단계 별 보여주기 등)를 통해 현장 작업자의 작업을 도와줄 수 있다. 교육이 필요한 초보자에게도 쉽게 적용할 수 있어 유지보수 교육 등에도 활용 가능하다.Furthermore, the efficiency of augmented reality-based remote control services can be increased by recycling augmented reality objects. For example, even if field workers ask questions again because they are not familiar with the expert's primary guidance, the expert's secondary guidance that recycles the augmented reality objects (e.g., showing them again quickly, showing them step by step, etc.) Can help field workers with their work. It can be easily applied even to beginners who need training, so it can be used for maintenance training, etc.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격제어 시스템(이하 '시스템'이라 칭함)의 구성을 도시한 도면,
도 2는 본 발명의 일 실시 예에 따른 현장 디바이스의 구성을 도시한 도면,
도 3은 본 발명의 일 실시 예에 따른 원격 서비스 제공장치의 구성을 도시한 도면,
도 4는 본 발명의 일 실시 예에 따른 객체 인식 단계의 프로세스를 도시한 도면,
도 5는 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에 따른 1차 가이드 프로세스를 도시한 도면,
도 6은 본 발명의 일 실시 예에 따른 1차 가이드 시 현장 디바이스 화면을 도시한 도면,
도 7은 본 발명의 일 실시 예에 따른 2차 가이드 프로세스를 도시한 도면이다.1 is a diagram illustrating the configuration of an augmented reality-based remote control system (hereinafter referred to as “system”) according to an embodiment of the present invention;
Figure 2 is a diagram showing the configuration of a field device according to an embodiment of the present invention;
Figure 3 is a diagram showing the configuration of a remote service providing device according to an embodiment of the present invention;
4 is a diagram illustrating a process of an object recognition step according to an embodiment of the present invention;
5 is a diagram illustrating a primary guide process according to an embodiment of the present invention, according to an embodiment of the present invention;
Figure 6 is a diagram showing an on-site device screen during the first guide according to an embodiment of the present invention;
Figure 7 is a diagram illustrating a secondary guide process according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The advantages and features of the present invention and methods for achieving them will become clear by referring to the embodiments described in detail below along with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms. The present embodiments are merely provided to ensure that the disclosure of the present invention is complete and to provide common knowledge in the technical field to which the present invention pertains. It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이며, 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is judged that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description will be omitted, and the terms described below will be used in the embodiments of the present invention. These are terms defined in consideration of the function of , and may vary depending on the intention or custom of the user or operator. Therefore, the definition should be made based on the contents throughout this specification.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램인스트럭션들(실행 엔진)에 의해 수행될 수도 있으며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다.The combination of each block in the attached block diagram and each step in the flow chart may be performed by computer program instructions (execution engine), and these computer program instructions can be installed on a processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment. Since it can be mounted, the instructions executed through a processor of a computer or other programmable data processing equipment create a means of performing the functions described in each block of the block diagram or each step of the flow diagram.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.These computer program instructions may also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular manner, so that the computer-usable or computer-readable memory The instructions stored in can also produce manufactured items containing instruction means that perform the functions described in each block of the block diagram or each step of the flow diagram.

그리고 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명되는 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.In addition, computer program instructions can be mounted on a computer or other programmable data processing equipment, so a series of operation steps are performed on the computer or other programmable data processing equipment to create a process that is executed by a computer or other programmable data processing equipment. Instructions that perform data processing equipment may also provide steps for executing functions described in each block of the block diagram and each step of the flow diagram.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능들을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있으며, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하며, 또한 그 블록들 또는 단계들이 필요에 따라 해당하는 기능의 역순으로 수행되는 것도 가능하다.Additionally, each block or each step may represent a module, segment, or portion of code containing one or more executable instructions for executing specified logical functions, and in some alternative embodiments, the blocks or steps referred to in the blocks or steps may represent a portion of code. It should be noted that it is possible for functions to occur out of order. For example, it is possible for two blocks or steps shown in succession to be performed substantially at the same time, and it is also possible for the blocks or steps to be performed in the reverse order of the corresponding functions, if necessary.

이하, 첨부 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다. 그러나 다음에 예시하는 본 발명의 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시 예에 한정되는 것은 아니다. 본 발명의 실시 예는 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공된다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the embodiments of the present invention illustrated below may be modified into various other forms, and the scope of the present invention is not limited to the embodiments detailed below. Examples of the present invention are provided to more completely explain the present invention to those skilled in the art.

도 1은 본 발명의 일 실시 예에 따른 증강현실 기반 원격제어 시스템(이하 '시스템'이라 칭함)의 구성을 도시한 도면이다.Figure 1 is a diagram showing the configuration of an augmented reality-based remote control system (hereinafter referred to as 'system') according to an embodiment of the present invention.

도 1을 참조하면, 시스템(1)은 현장 디바이스(1), 네트워크(2) 및 원격 서비스 제공장치(3)를 포함한다.Referring to FIG. 1, the system 1 includes a field device 1, a network 2, and a remote service provider 3.

시스템(1)은 현장 작업자가 현장 디바이스(1)를 통해 작업현장의 실제세계를 실시간으로 촬영한 영상에서 원격 모니터링 또는 수리가 필요한 작업대상을 실제 객체로 인식하며, 인식한 실제 객체에 증강현실(Augmented Reality: AR, 이하 'AR'이라 칭함) 객체를 오버레이 하여 AR 가이드 화면을 제공한다. 이에 따라, 현장 작업자가 AR 객체를 따라 스스로 작업할 수 있다. AR 객체는 현장 작업자가 문제가 발생한 작업대상을 조작하기 위해 작업 정보를 제공하는 가상의 AR 콘텐츠이다. 예를 들어, 텍스트 형태의 작업순서, 작업대상과 동일한 형태의 이미지, 화살표나 숫자, 색상, 영상 등으로 다양하게 표현될 수 있다. 또한, AR 객체는 손 모양, 작업 툴(Tool)을 포함하는 AR 지도도구(Direction Tool)를 포함할 수 있다. 작업 툴은 예를 들어, 니퍼, 펜치, 톱, 니퍼 등이 있다.The system (1) recognizes work objects that require remote monitoring or repair as real objects from images captured in real time of the real world of the work site by field workers through the field device (1), and displays the recognized real objects in augmented reality (augmented reality). Augmented Reality: AR (hereinafter referred to as 'AR') provides an AR guide screen by overlaying objects. Accordingly, field workers can work on their own by following AR objects. AR objects are virtual AR content that provides work information to help field workers manipulate problematic work objects. For example, it can be expressed in various ways, such as a text-type work order, an image in the same form as the work object, arrows, numbers, colors, images, etc. Additionally, the AR object may include an AR direction tool including a hand shape and a work tool. Work tools include, for example, nippers, pliers, saws, nippers, etc.

현장 작업자는 AR 가이드를 통해 작업대상에 대해 숙련된 전문가의 도움 없이도, 작업 매뉴얼을 직접 가지고 있지 않더라도 쉽고 간편하게 작업을 수행할 수 있다.Through the AR guide, field workers can easily and conveniently perform work without the help of experts skilled in the work subject or even without the work manual themselves.

작업대상은 작업현장에 설치된 장비, 기계, 설비 등을 포함하며, 하나의 장치를 구성하는 부품, 모듈 등을 포함할 수 있다. 예를 들어, 작업대상은 OS를 탑재한 장치, 스마트 IoT 기기일 수 있다. 작업대상은 스마트 기기, 스마트 빌딩, 스마트 팩토리 등에서 사용하는 복수의 IoT 기기들을 포함할 수 있다. IoT 기기는 디지털 사이니지(digital signage), 스마트 TV, 스마트 워치, 스마트 CE, 드론(drone) 등일 수 있다. 다른 실시 예에 따른 시스템(1)은 IoT 센싱 능력이 없는 IoT 시대 이전에 제작된 레거시 기기(legacy device)를 대상으로 AR 기반 원격 가이드를 제공할 수도 있다. 예를 들어, 시스템(1)은 디바이스에 내장 또는 장착되는 IoT 센서가 없어서 디바이스와 그 주변환경의 정보를 센싱할 수 없는 레거시 기기를 대상으로도 현장 디바이스(1)를 이용한 AR 기반 원격 가이드를 제공할 수 있다.Work objects include equipment, machines, and facilities installed at the work site, and may include parts and modules that make up one device. For example, the work target may be a device equipped with an OS or a smart IoT device. Work targets may include multiple IoT devices used in smart devices, smart buildings, smart factories, etc. IoT devices may be digital signage, smart TV, smart watch, smart CE, drone, etc. The system 1 according to another embodiment may provide AR-based remote guidance to legacy devices manufactured before the IoT era without IoT sensing capabilities. For example, the system (1) provides AR-based remote guidance using the field device (1) even for legacy devices that cannot sense information about the device and its surroundings because there are no IoT sensors built into or mounted on the device. can do.

작업현장은 공장(스마트 팩토리)이나 빌딩(스마트 빌딩)과 같은 산업현장이 될 수도 있으며, 가정집(스마트 홈)이 될 수도 있다. 산업현장을 예로 들면, 공장 내 에어컨, 환기, 공조기, 팬, 보일러, 냉각탑, 펌프, 온/습도센서, 냉동기, 조명기기, 전력기기, 화재 시스템을 대상으로 AR 기반 원격 가이드를 제공할 수 있다. 원격 서비스 제공장치(3)를 통해 건물 전체의 상황을 종합적으로 제어 및 감시하면서 기계설비, 조명, 전력, 출입통제, 방재, 주차관리, 시설관리가 가능하며, 모니터링 중에 작업이 필요한 경우 이를 현장 작업자에게 알리며, 현장 작업자는 AR 기반 원격 가이드 정보를 이용하여 전문가의 도움 없이도 원활하게 작업을 수행할 수 있다.The work site can be an industrial site such as a factory (smart factory) or building (smart building), or it can be a home (smart home). Taking industrial sites as an example, AR-based remote guidance can be provided for air conditioners, ventilation, air conditioners, fans, boilers, cooling towers, pumps, temperature/humidity sensors, refrigerators, lighting devices, power devices, and fire systems in factories. Through the remote service provision device (3), it is possible to comprehensively control and monitor the entire building situation while managing mechanical equipment, lighting, power, access control, disaster prevention, parking management, and facility management. If work is necessary during monitoring, it can be done by field workers. In addition, field workers can use AR-based remote guide information to perform tasks smoothly without expert help.

작업은 제어, 원격수리, 정비, 시스템 유지보수, 조정, 조작 등을 포함한다. 예를 들어, 작업은 문제가 발생한 장치에 대한 정비나, 문제가 발생할 가능성이 있는 장치에 대해 문제 발생 이전에 이를 조치하는 것일 수 있다.Tasks include control, remote repair, maintenance, system maintenance, coordination, and operation. For example, the task may be maintenance of a device that has a problem, or taking action on a device that may have a problem before the problem occurs.

현장 디바이스(1)는 작업현장에서 작업하는 현장 작업자가 휴대 가능한 사용자 단말이다. 현장 디바이스(1)는 마이크로소프트 홀로 렌즈, 구글 글래스 등과 같은 스마트 글래스일 수 있다. 현장 디바이스(1)는 현장의 상황을 촬영할 수 있는 카메라를 장착하고, 촬영 영상 내 실제 객체에 AR 객체를 오버레이 할 수 있는 화면을 제공한다. 현장 디바이스(1)는 현장 작업자가 두 손으로 잡고 확인할 수 있는 스마트 기기일 수 있고, 현장 작업자의 두 손을 자유롭게 할 수 있는 웨어러블 디바이스일 수 있다.The field device 1 is a user terminal that can be carried by field workers working at a work site. The field device 1 may be smart glasses such as Microsoft HoloLens, Google Glass, etc. The field device (1) is equipped with a camera that can capture the situation in the field and provides a screen that can overlay AR objects on real objects in the captured video. The field device 1 may be a smart device that a field worker can hold and check with both hands, or it may be a wearable device that can free the field worker's hands.

작업대상에 대한 증강현실 매뉴얼이 작성되어 있을 경우, 현장 작업자는 현장 디바이스(1)를 통해 이를 다운로드하여 셀프로 작동법을 확인하거나 반복 숙달할 수도 있다.If an augmented reality manual for the work object has been written, field workers can download it through the field device (1) and check the operation method on their own or repeatedly master it.

일반적인 시스템은 원격 서버가 원격으로 현장 디바이스에 접속하여 현장의 촬영화면을 보면서 가이드 할 때, 화이트 보드 기반의 그리기 도구를 사용하므로 카메라가 이동하면 그리기 도구가 다른 곳을 지시하게 되는 단점이 있다. 이에 비해, 일 실시 예에 따른 현장 디바이스(1)는 증강현실 기술을 적용하여 사물을 인식하고 객체를 추적(tracking) 할 수 있으므로 현장 작업자에 정확한 지시 및 의견 전달이 가능하다. 증강현실 기술 적용방법으로는 손 모양이나 툴(예: 드라이버, 니퍼) 및 방향 등을 제시하는 방법 등이 있다.A typical system uses a whiteboard-based drawing tool when a remote server remotely connects to a field device and guides the user by viewing the field shooting screen, so when the camera moves, the drawing tool points to a different location, which has the disadvantage. In contrast, the field device 1 according to one embodiment can recognize objects and track objects by applying augmented reality technology, making it possible to deliver accurate instructions and opinions to field workers. Methods of applying augmented reality technology include methods such as presenting hand shapes, tools (e.g. screwdrivers, nippers), and directions.

현장 디바이스(1)는 원격 서비스 제공장치(3)로부터 수신된 제어명령을 수행하는 에이전트(Agent) 이다. 현장 디바이스(1)는 원격 가이드를 위해 앱(App)을 실행할 수 있다. 이때, 서로 상이한 OS, 예를 들어, 안드로이드, iOS, 윈도우 등 각종 OS를 모두 지원할 수 있는 형태를 가진다.The field device (1) is an agent that executes control commands received from the remote service providing device (3). The field device 1 can run an app for remote guidance. At this time, it has a form that can support all different OSs, such as Android, iOS, and Windows.

원격 서비스 제공장치(3)는 원격에 모니터링하거나 수리가 필요한 작업대상의 상태를 수집하고 작업대상의 정보를 축적 및 분석한다. 원격 서비스 제공장치(3)는 작업대상에 문제가 발생할 때 이를 단계별로 현장의 현장 작업자에 전달한다.The remote service provision device 3 collects the status of a work object requiring remote monitoring or repair, and accumulates and analyzes information on the work object. When a problem occurs with a work object, the remote service provision device (3) relays it step by step to field workers on site.

원격 서비스 제공장치(3)가 원격에 존재하는 작업대상의 문제해결을 위해, 현장 작업자가 사용하는 현장 디바이스(1)와 연결되어, 현장 디바이스(1)를 통해 화면의 실제 객체에 AR 객체를 오버레이 하는 AR 가이드 화면을 제공하여 실재감을 증강시킨다.In order to solve problems with work objects that exist remotely, the remote service provider (3) is connected to the field device (1) used by field workers and overlays AR objects on the actual objects on the screen through the field device (1). It provides an AR guide screen that enhances the sense of presence.

원격 서비스 제공장치(3)를 통해 전문가가 원격으로 현장 작업자를 지도할 수 있다. 이때, 전문가는 단일의 전문가 또는 복수의 전문가일 수 있고, 복수의 전문가의 경우, 서로 간의 협업을 지원할 수 있다. 전문가는 각 분야의 전문가뿐만 아니라, 제조 설비사의 기술 엔지니어를 포함한다. 복수의 전문가 간에 협업하여 현장 디바이스(1)에 대한 스마트 원격지원이 가능하다. 이를 위해, 전문가 간에 현장 작업자의 작업에 대한 기술 지원을 공유할 수 있다. 전문가가 현장 작업자에게 AR 영상과 함께 음성 등을 제공하는 원격 가이드를 통해 심도 높은 기술 지원도 가능하다.Through the remote service provision device (3), experts can remotely guide field workers. At this time, the expert may be a single expert or multiple experts, and in the case of multiple experts, collaboration between them may be supported. Experts include technical engineers from manufacturing facilities as well as experts in each field. Smart remote support for field devices (1) is possible through collaboration between multiple experts. To this end, technical support for the work of field workers can be shared between experts. In-depth technical support is also possible through remote guidance, where experts provide AR video and audio to field workers.

현장 디바이스(1) 및 원격 서비스 제공장치(3)는 객체 인식을 협업할 수 있다. 예를 들어, 현장 디바이스(1)는 AR 기반 객체인식을 통해 작업대상의 윤곽을 인식하고 원격 서비스 제공장치(3)로부터 수신된 기계학습 기반 객체인식 결과를 수신하여 작업대상인 부품 및 모듈을 추가로 인식할 수 있다.The field device 1 and the remote service provider 3 can collaborate in object recognition. For example, the field device (1) recognizes the outline of the work object through AR-based object recognition and receives the machine learning-based object recognition results received from the remote service provision device (3) to add parts and modules that are the work target. It can be recognized.

원격 서비스 제공장치(3)는 AR 기반 원격 가이드를 가정 환경에서 제공할 수 있다. 예를 들어, 원격 서비스 제공장치(3)는 가정 내 TV, 에어컨, 냉장고 같은 가전제품이나 수도, 전기, 냉난방과 같은 에너지 소비장치나, 도어락, 감시 카메라 등과 같은 보안기기나, 고가의 자동차와 전기 자동차 등의 기기를 모니터링 및 제어하면서, 원격으로 조정 가능하다. 또한, 해당 가정기기에 문제가 발생한 경우, 소비자가 현장 디바이스(1)만 가지고 있으면 문제 해결을 위한 AR 기반 원격 가이드를 제공받을 수 있으므로 쉽게 기기의 문제를 해결할 수 있다. 이 경우, 소비자는 소비자 센터에 연락하여 전문가를 부르거나 출장 비용을 별도로 부담할 필요도 없으며, 시간 낭비도 방지할 수 있다.The remote service provision device 3 can provide AR-based remote guidance in a home environment. For example, the remote service provision device 3 is home appliances such as TVs, air conditioners, and refrigerators, energy consumption devices such as water, electricity, and air conditioning, security devices such as door locks and surveillance cameras, and expensive automobiles and electric vehicles. It can be adjusted remotely while monitoring and controlling other devices. Additionally, if a problem occurs with the relevant home device, the consumer can easily resolve the device problem because he or she can receive AR-based remote guidance for troubleshooting as long as he or she has the on-site device (1). In this case, the consumer does not need to contact the consumer center to call an expert or bear separate travel costs, and can avoid wasting time.

전술한 구성요소들은 네트워크(2)를 통해 통신할 수 있으며, 네트워크는 근거리 통신망(Local Area Network: LAN), 광역 통신망(Wide Area Network: WAN) 또는 부가가치 통신망(Value Added Network: VAN) 등과 같은 유선 네트워크나, 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The aforementioned components can communicate through a network (2), which is a wired network such as a Local Area Network (LAN), Wide Area Network (WAN), or Value Added Network (VAN). It can be implemented as any type of wireless network, such as a network, mobile radio communication network, or satellite communication network.

도 2는 본 발명의 일 실시 예에 따른 현장 디바이스의 구성을 도시한 도면이다.Figure 2 is a diagram showing the configuration of a field device according to an embodiment of the present invention.

도 1 및 도 2를 참조하면, 현장 디바이스(1)는 데이터 획득부(20), 입력부(21), 제어부(22), 출력부(23), 통신부(24) 및 저장부(25)를 포함한다.1 and 2, the field device 1 includes a data acquisition unit 20, an input unit 21, a control unit 22, an output unit 23, a communication unit 24, and a storage unit 25. do.

데이터 획득부(20)는 작업현장에서 현장 작업자가 작업대상을 바라보는 현재시점을 기준으로 실시간으로 실제세계를 촬영한 촬영영상을 획득한다. 데이터 획득부(20)는 카메라로부터 촬영영상을 획득할 수 있다. 데이터 획득부(20)는 획득된 촬영 영상을 제어부(22)에 전달한다. 데이터 획득부(20)는 현장 디바이스(1) 내 설치된 앱(App)을 통해 원격 가이드를 이용할 수 있고, 이 경우 앱 카메라를 통해 실시간 촬영영상을 획득할 수 있다. 현장 작업자가 AR 기반 원격 가이드를 이용하는 동안에 실시간으로 촬영영상이 들어온다.The data acquisition unit 20 acquires captured images of the real world in real time based on the current point in time when the field worker is looking at the work object at the work site. The data acquisition unit 20 can acquire captured images from a camera. The data acquisition unit 20 transmits the acquired captured image to the control unit 22. The data acquisition unit 20 can use remote guidance through an app installed in the field device 1, and in this case, real-time captured images can be acquired through the app camera. While field workers use the AR-based remote guide, footage is received in real time.

입력부(21)는 사용자 조작신호를 입력 받는다. 사용자 조작신호는 사용자의 화면 터치 신호, 키(key) 입력신호, 음성신호 및 생체 신호 등이 있다. 입력부(21)는 입력 받은 사용자 조작신호를 제어부(22)에 전달한다.The input unit 21 receives a user manipulation signal. User manipulation signals include the user's screen touch signal, key input signal, voice signal, and biometric signal. The input unit 21 transmits the received user manipulation signal to the control unit 22.

출력부(23)는 제어부(22)를 통해 처리된 정보를 화면에 출력한다. 출력되는 정보는 실제 객체와 AR 객체가 있다. 출력부(23)는 실제 객체에 AR 객체를 오버레이 하여 현장 작업자의 작업을 가이드 할 수 있다. 제어부(22)는 움직이는 실제 객체를 트래킹부(222)를 통해 트래킹 하여 트래킹된 실제 객체의 위치에 맞게 AR 객체를 오버레이 하므로 정확한 지시 및 의견 전달이 가능하다.The output unit 23 outputs information processed through the control unit 22 on the screen. The information output includes real objects and AR objects. The output unit 23 can guide the work of field workers by overlaying AR objects on real objects. The control unit 22 tracks the moving real object through the tracking unit 222 and overlays the AR object according to the location of the tracked real object, making it possible to deliver accurate instructions and opinions.

출력의 예로는 화면에 영상을 표시할 수 있고, 스피커를 통해 음성을 출력할 수도 있다.Examples of output include displaying an image on a screen or outputting audio through a speaker.

실시간으로 촬영되는 실제화면은 계속 움직인다. 따라서, 출력부(23)는 AR 객체 역시 움직이는 실제 객체에 맞추어 이동한다.The actual screen shot in real time continues to move. Accordingly, the output unit 23 moves the AR object in accordance with the actual object that is also moving.

출력부(23)는 작업대상의 제어 상태, 고장 상태, 동작 상태, 시간정보, 장치 내 작업이 필요한 제어 파라미터 등 장치에 관한 각종 상태정보를 표시할 수 있다. 이때, 작업대상의 품번, 수명주기, 최근 교체 내역, 고장 내역 등을 포함하는 세부설명이 화면에 표시될 수 있다. 제어 파라미터의 예를 들면, 장치가 공기 조화기인 경우, 제어 파라미터는 목표 온도(또는 설정 온도), 상한 온도, 하한 온도, 풍량, 운전, 정지 여부 등이 될 수 있다. 장치가 조명 설비인 경우, 제어 파라미터는 조명 밝기 등이 될 수 있다. 출력부(23)는 작업이 필요한 장치를 대상으로 자동으로 상태정보를 표시할 수 있지만, 현장 작업자의 요청에 따라 상태정보를 표시할 수도 있다. 예를 들어, 현장 작업자가 화면 내에서 소정의 장치를 선택하면, 선택된 장치에 대한 각종 상태정보를 화면에 표시할 수 있다.The output unit 23 can display various status information about the device, such as the control status of the work object, failure status, operation status, time information, and control parameters required for work within the device. At this time, a detailed description including the product number, life cycle, recent replacement history, and failure history of the work object may be displayed on the screen. For example, if the device is an air conditioner, the control parameters may be target temperature (or set temperature), upper limit temperature, lower limit temperature, air volume, operation, stop status, etc. If the device is a lighting fixture, the control parameter may be lighting brightness, etc. The output unit 23 can automatically display status information for devices requiring work, but can also display status information upon request from field workers. For example, when a field worker selects a certain device on the screen, various status information about the selected device can be displayed on the screen.

출력부(23)는 작업에 필요한 도구를 포함하는 AR 객체를 화면에 표시할 수 있다. 작업 도구는 예를 들어, 망치, 드라이버, 손 등이 있다. 출력부(23)는 복수의 작업단계로 구성된 AR 객체를 대상으로 단계 상태를 파악할 수 있도록 하는 프로세스 마커를 화면에 표시할 수 있다. 프로세스 마커는 AR 객체 별 식별자 정보와, AR 객체 내 각 작업단계 별 식별자 정보와, 사용자가 원하는 작업단계로의 접근을 위해 현재 작업단계를 기준으로 적어도 하나의 작업단계 식별자에 할당되는 마커 정보를 포함한다.The output unit 23 can display AR objects including tools necessary for work on the screen. Work tools include, for example, hammers, screwdrivers, hands, etc. The output unit 23 can display a process marker on the screen that allows the user to determine the status of an AR object composed of a plurality of work steps. Process markers include identifier information for each AR object, identifier information for each work step within the AR object, and marker information assigned to at least one work step identifier based on the current work step to access the user's desired work step. do.

통신부(24)는 원격 서비스 제공장치(3)와 네트워크 연결되어, 유무선 통신을 수행한다. 현장 디바이스(1)는 통신부(24)를 통해 원격 서비스 제공장치(3)와 전용의 네트워크를 통해 연결되거나 인터넷 등의 범용 네트워크를 통해 연결될 수 있다.The communication unit 24 is connected to a network with the remote service providing device 3 and performs wired and wireless communication. The field device 1 may be connected to the remote service provision device 3 through the communication unit 24 through a dedicated network or a general-purpose network such as the Internet.

일 실시 예에 따른 통신부(24)는 데이터 획득부(20)를 통해 획득된 촬영영상을 원격 서비스 제공장치(3)에 전송하여 공유한다. 그리고 객체 인식결과를 원격 서비스 제공장치(3)와 교환할 수 있다. 예를 들어, 현장 디바이스(1)의 AR 기반 영상분석을 통한 객체인식 결과를 원격 서비스 제공장치(3)에 전송하며, 원격 서비스 제공장치(3)로부터 AI 기반 객체인식 결과를 수신할 수 있다.The communication unit 24 according to one embodiment transmits and shares the captured video acquired through the data acquisition unit 20 to the remote service providing device 3. And the object recognition results can be exchanged with the remote service providing device 3. For example, the object recognition result through AR-based image analysis of the field device 1 may be transmitted to the remote service providing device 3, and the AI-based object recognition result may be received from the remote service providing device 3.

저장부(25)는 각종 데이터를 저장한다. 데이터는 작업현장의 장치들의 고유정보, 위치정보, 장치들의 도면, 작업 매뉴얼 정보, 장치 내 부품정보, 작업 스케줄 정보 등일 수 있다. 이러한 정보는 원격 서비스 제공장치(3)로부터 다운로드 받아 저장될 수도 있고, 입력부(21)를 통해 사용자로부터 입력 받을 수도 있다.The storage unit 25 stores various data. Data may be unique information of devices at a work site, location information, drawings of devices, work manual information, parts information within the device, work schedule information, etc. This information may be downloaded and stored from the remote service providing device 3, or may be input from the user through the input unit 21.

제어부(22)는 전술한 각 구성의 동작을 제어한다. 일 실시 예에 따른 제어부(22)는 데이터 획득부(20)를 통해 획득된 촬영영상을 대상으로 객체 인식→객체 트래킹→객체 렌더링의 순차적인 프로세스를 반복적으로 수행하여 촬영영상에 AR 객체를 연동시킨다.The control unit 22 controls the operation of each of the components described above. The control unit 22 according to one embodiment repeatedly performs the sequential process of object recognition → object tracking → object rendering on the captured image acquired through the data acquisition unit 20 to link the AR object to the captured image. .

일 실시 예에 따른 제어부(22)는 영상 인식부(220), 트래킹부(222) 및 렌더링부(224), 원격제어 처리부(226) 및 디바이스 제어부(228)를 포함한다.The control unit 22 according to one embodiment includes an image recognition unit 220, a tracking unit 222, a rendering unit 224, a remote control processing unit 226, and a device control unit 228.

영상 인식부(220)는 촬영영상에서 AR 및 인공지능(Artificial Intelligence: AI, 이하 'AI'라 칭함)에 기반하여 작업대상에 해당하는 실제 객체를 인식한다. 트래킹부(222)는 영상 인식부(220)를 통해 인식된 실제 객체를 트래킹 한다. 카메라를 통해 포착된 촬영영상은 고정된 것이 아니라 현장 작업자의 움직임 등으로 인해 계속 움직이므로, 트래킹부(222)는 촬영영상 내에서 인식된 객체의 움직임을 계속 따라가는 작업을 수행한다. 렌더링부(224)는 실제 객체 및 AR 객체와의 상호작용을 계산하고 계산결과를 반영하여 작업대상에 대한 작업을 돕기 위한 AR 객체를 실제 객체에 정합 한 후 렌더링하거나, AR 객체를 렌더링한 후 실제 객체에 정합 한다. 이때, 촬영영상에서 AR 객체 위치를 선정하여 배치할 수 있다.The image recognition unit 220 recognizes the actual object corresponding to the work target based on AR and artificial intelligence (AI, hereinafter referred to as 'AI') in the captured image. The tracking unit 222 tracks the actual object recognized through the image recognition unit 220. Since the captured image through the camera is not fixed but continuously moves due to the movement of field workers, etc., the tracking unit 222 continuously performs the task of following the movement of the recognized object in the captured image. The rendering unit 224 calculates the interaction with the real object and the AR object, reflects the calculation results, matches the AR object to the real object to help work on the work object, and then renders it, or renders the AR object and then renders the actual object. Matches to the object. At this time, the location of the AR object can be selected and placed in the captured image.

일 실시 예에 따른 영상 인식부(220)는 객체 인식을 위해 AR 기반 영상분석과 AI 기반 기계학습을 이용한다. 영상분석은 획득된 촬영영상 내에서 실제 객체를 인식하는 일반적인 알고리즘을 사용할 수 있다. 예를 들어, 영상 내 점 군 정보(Point Cloud), 깊이 정보, 컬러 정보 등을 이용하여 객체를 인식한다. 영상분석 기반 객체 인식은 이미 공지된 기술이므로 상세한 설명은 생략한다. 이때, 영상 처리, 예를 들어, 영상에 대한 이진화, 에지 블랜딩(edge blending), 마스킹(masking) 등을 처리하여 객체 인식률을 높일 수 있다.The image recognition unit 220 according to one embodiment uses AR-based image analysis and AI-based machine learning to recognize objects. Image analysis can use general algorithms that recognize real objects within acquired captured images. For example, objects are recognized using point cloud information, depth information, and color information in the image. Since object recognition based on image analysis is already a known technology, detailed description will be omitted. At this time, the object recognition rate can be increased by processing the image, for example, binarization, edge blending, and masking of the image.

기계학습은 AI에서 사용되는 방식 중 하나로서, 수많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하여 학습시키는 기술이다. 예를 들어, 저장된 개 사진과 비슷한 사진이 입력되면, 이를 개 사진이라고 컴퓨터가 분류하도록 하는 것이다. 기계학습을 통해 축적된 학습 데이터를 이용하여 영상 내 객체를 인식할 수 있다. 기계학습은 SVM(Support Vector Machines), 딥 러닝(Deep Learning) 기법 등을 이용할 수 있다.Machine learning is one of the methods used in AI, and is a technology that learns by inputting numerous data into a computer and classifying similar items. For example, when a photo similar to a saved dog photo is entered, the computer classifies it as a dog photo. Objects in images can be recognized using learning data accumulated through machine learning. Machine learning can use SVM (Support Vector Machines) and deep learning techniques.

영상 인식부(220)는 이러한 AI 기반 객체 인식을 AR 기반 영상분석의 보조수단으로 활용함에 따라 객체 인식의 정확성을 높이고자 한다. 예를 들어, 영상 인식부(220)는 현장 디바이스(1)을 통한 AR 기반 객체 인식결과에, 현장 디바이스(1)을 통한 AI 기반 객체 인식결과 또는 통신부(24)를 통해 수신된 원격 서비스 제공장치(3)의 AI 기반 객체 인식결과를 반영하여 객체 인식 정확도를 높인다.The image recognition unit 220 seeks to increase the accuracy of object recognition by using this AI-based object recognition as an auxiliary means for AR-based image analysis. For example, the image recognition unit 220 may receive an AR-based object recognition result through the field device 1, an AI-based object recognition result through the field device 1, or a remote service providing device received through the communication unit 24. By reflecting the AI-based object recognition results in (3), object recognition accuracy is improved.

원격제어 처리부(226)는 원격 제어 요청 메시지를 생성하여 통신부(23)를 통해 원격 서비스 제공장치(3)에 전송하여 원격제어를 요청한다. 이때, 원격 서비스 제공장치(3)의 제어에 따라 원격으로 AR 가이드 화면을 공유할 수 있다. 원격제어 처리부(226)는 현장 작업자가 자신의 현장 디바이스(1)에 제공되는 AR 객체에 따라 작업을 진행하는 도중에 현장 작업자가 전문가의 도움을 받아야 되는 상황이 발생한 경우, 원격 서비스 제공장치(3)를 통해 원격 서비스 제공장치(3)에 기술 지원을 요청할 수 있다.The remote control processing unit 226 generates a remote control request message and transmits it to the remote service providing device 3 through the communication unit 23 to request remote control. At this time, the AR guide screen can be shared remotely under the control of the remote service providing device 3. If a situation arises in which a field worker needs to receive help from an expert while the field worker is working according to the AR object provided to his/her field device (1), the remote control processing unit (226) provides the remote service provision device (3). You can request technical support from the remote service provision device (3) through .

디바이스 제어부(228)는 원격 서비스 제공장치(3)의 원격 제어명령을 처리한다. 원격 제어명령은 원격 서비스 제공장치(3)로부터 전달받는 기술 지원을 위한 전문가 명령일 수 있다.The device control unit 228 processes remote control commands of the remote service providing device 3. The remote control command may be an expert command for technical support received from the remote service providing device 3.

도 3은 본 발명의 일 실시 예에 따른 원격 서비스 제공장치의 구성을 도시한 도면이다.Figure 3 is a diagram showing the configuration of a remote service providing device according to an embodiment of the present invention.

도 1 및 도 3을 참조하면, 원격 서비스 제공장치(3)는 객체 인식부(300), 모니터링부(302), 1차 가이드부(304), 2차 가이드부(306), 협업 지원부(308), 네트워크 연결부(310), 클라이언트 관리부(312), 데이터 분석부(314), 프로토콜 처리부(316) 및 저장부(318)를 포함한다.Referring to Figures 1 and 3, the remote service providing device 3 includes an object recognition unit 300, a monitoring unit 302, a primary guide unit 304, a secondary guide unit 306, and a collaboration support unit 308. ), a network connection unit 310, a client management unit 312, a data analysis unit 314, a protocol processing unit 316, and a storage unit 318.

객체 인식부(300)는 네트워크 연결부(310)를 통해 현장 디바이스(1)로부터 수신된 촬영영상을 대상으로 학습 데이터에 기반하여 기계학습을 통해 객체를 인식한다. 기계학습 기반 객체인식 결과는 네트워크 연결부(310)를 통해 현장 디바이스(1)에 전달된다. 객체는 실제 객체, AR 객체를 포함한다.The object recognition unit 300 recognizes objects through machine learning based on learning data for captured images received from the field device 1 through the network connection unit 310. The machine learning-based object recognition results are delivered to the field device (1) through the network connection unit (310). Objects include real objects and AR objects.

객체 인식부(300)는 저장부(318)에 저장된 작업대상 카테고리 모델을 검색하여, 인식된 객체와 동일한 작업대상 카테고리 모델을 선택할 수 있다.The object recognition unit 300 may search the work target category model stored in the storage unit 318 and select the work target category model that is the same as the recognized object.

모니터링부(302)는 현장 작업자의 현장 디바이스(1) 화면을 모니터링하여 AR 객체의 동작상태를 파악한다. 이때, AR 객체가 정상적으로 동작하는지 여부를 확인할 수 있다.The monitoring unit 302 monitors the screen of the field worker's field device 1 to determine the operating state of the AR object. At this time, it is possible to check whether the AR object is operating normally.

1차 가이드부(304)는 현장 작업자의 요청에 따라 또는 현장 작업자가 전문가에 의한 기술 지원이 필요한지 여부를 파악한 후 기술 지원이 필요하면 원격으로 현장 디바이스(1)에 원격제어 기술을 지원한다.The primary guide unit 304 supports remote control technology to the field device 1 remotely at the request of a field worker or when technical support is needed after determining whether the field worker needs technical support by an expert.

일 실시 예에 따른 1차 가이드부(304)는 실제 객체가 보이는 현장 디바이스 화면에 복수의 AR 객체를 순차적으로 제공하면서, 해당하는 AR 객체를 이용한 전문가 액션을 포함하는 AR 제어정보를 함께 제공하여 현장 디바이스(1)를 원격 제어하는 1차 가이드를 제공한다. 예를 들어, 전문가가 현장 작업자에게 업무를 지시하기 위해, AR 객체를 화면에 표시할 때 정해진 화면 내 작업위치에 1)니퍼 -> 2) 펜치 -> 3) 톱 -> 4)드라이버 순으로 복수의 AR 객체를 배치할 수 있다. AR 객체는 손 모양, 툴 및 방향 중 적어도 하나를 포함하는 AR 지도도구(AR Direction tool)를 포함할 수 있다. 전문가 액션은 작업 내용을 설명하는 전문가의 동작, 음성, 텍스트 등을 포함한다. 음성의 예를 들면, “니퍼를 아래쪽에 놓고 꼭지를 잘라내세요”와 같이, 작업 내용을 설명하는 것일 수 있다. 현장 작업자는 자신의 현장 디바이스(1)에 제공되는 AR 객체 및 AR 제어정보에 따라 작업을 진행하게 된다.The primary guide unit 304 according to an embodiment sequentially provides a plurality of AR objects on the field device screen where the actual object is visible, and also provides AR control information including expert actions using the corresponding AR objects, thereby providing the field Provides a primary guide for remotely controlling the device (1). For example, when an expert displays an AR object on the screen to instruct a field worker to do work, multiple items are placed at the designated work location on the screen in the following order: 1) Nipper -> 2) Pliers -> 3) Saw -> 4) Driver. AR objects can be placed. The AR object may include an AR direction tool including at least one of a hand shape, tool, and direction. Expert actions include the expert's movements, voice, and text that explain the work. An example of a voice could be describing a task, such as “Put the nippers down and cut off the top.” Field workers proceed with work according to the AR objects and AR control information provided to their field device (1).

일 실시 예에 따른 1차 가이드부(304)는 모니터링부(302)를 통해 파악된 AR 객체 동작상태, 클라이언트 관리부(312)를 통해 파악된 현장 디바이스 상태 및 데이터 분석부(314)를 통해 파악된 현장 작업자 상태 중 적어도 하나를 이용하여 전문가의 기술 지원 여부를 판단하고, 기술 지원을 요청할 전문가를 선택할 수 있다.According to one embodiment, the primary guide unit 304 determines the AR object operation status identified through the monitoring unit 302, the field device status identified through the client management unit 312, and the data analysis unit 314. At least one of the field worker statuses can be used to determine whether technical support is available from an expert and to select an expert to request technical support.

1차 가이드부(304)는 복수의 AR 객체를 순차적으로 제공하면서 AR 제어정보를 함께 제공하는 1차 가이드 시, 2차 가이드부(306)의 2차 가이드를 위해 AR 객체와 화면 내 작업위치 및 AR 제어정보를 함께 저장부(318)에 저장할 수 있다.When the primary guide unit 304 provides a plurality of AR objects sequentially and provides AR control information together, the AR object and the work position within the screen are used for the secondary guidance of the secondary guide unit 306. AR control information can be stored in the storage unit 318 together.

2차 가이드부(306)는 1차 가이드부(304)를 통한 1차 가이드 시 저장부(318)에 저장된 정보를 재사용 하여 2차 가이드를 현장 디바이스(1)에 제공할 수 있다. 재사용 시, 화면 내 작업위치에 AR 객체를 재배치하고 AR 제어정보를 다시 제공할 수 있다. 정보를 다시 제공하므로 재활용하는 개념이다.The secondary guide unit 306 can provide a secondary guide to the field device 1 by reusing the information stored in the storage unit 318 when providing primary guidance through the primary guide unit 304. When reusing, AR objects can be rearranged to the working position on the screen and AR control information can be provided again. It is a concept of recycling because information is provided again.

2차 가이드는 소정의 작업단계를 반복하여 보여주는 기능을 포함할 수 있다. 반복하여 보여주는 기능은 빠르기 제어기능을 함께 제공할 수 있다. 예를 들어, 소정의 빠르기로 반복하여 제공할 수 있는데, 소정의 빠르기는 기본값으로 설정되거나 사용자에 의해 설정될 수 있다.The secondary guide may include a function that repeatedly shows certain work steps. Functions that are shown repeatedly can also be provided with a speed control function. For example, it can be provided repeatedly at a predetermined speed, and the predetermined speed can be set as default or set by the user.

2차 가이드는 객체 단위로 복수의 단계로 분할한 뒤, 소정의 작업단계로의 접근하는 기능을 포함할 수 있다. 소정의 작업단계로의 접근 기능은, 현재 작업단계를 기준으로 역방향으로의 작업단계 이동, 순방향으로의 작업단계 이동, 처음 작업단계로의 이동 또는 다른 작업단계로의 이동 중 적어도 하나를 포함할 수 있다.The secondary guide may include a function to divide the object into a plurality of steps and then access a predetermined work step. The access function to a predetermined work step may include at least one of moving to the work step in the reverse direction, moving to the work step in the forward direction, moving to the first work step, or moving to another work step based on the current work step. there is.

2차 가이드부(306)는 1차 가이드 제공 이후 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공할 수 있다. 예를 들어, 전문가(예를 들어, 기술창구의 기술 엔지니어)가 현장 작업자의 음성(예를 들어, "니퍼, 보일러 전면, 장면 다시!")을 청취하면, 작업자 음성으로부터 작업 위치(보일러)와 AR 객체(니퍼)를 인식하여 '보일러' 전면에 '니퍼'가 있는 장면으로 이동하고, 작업자 액션(장면 다시)에 따라 해당 장면의 전문가 액션(예를 들어, 설명 음성)을 다시 제공한다.When the secondary guide unit 306 receives the voice of a field worker after providing the primary guide, it additionally recognizes the AR object, work location, and worker action in the voice, and recognizes the AR object at the recognized work position in the captured video screen. By accessing the scene where there is, AR control information can be provided again according to the recognized operator action. For example, when an expert (e.g. a technical engineer at a technical desk) listens to a field worker's voice (e.g. "Nippers, front of boiler, scene again!"), the operator's voice determines the work location (boiler) and The AR object (nipper) is recognized and moves to the scene where the 'nipper' is in front of the 'boiler', and the expert action (e.g., explanation voice) of the scene is provided again according to the operator's action (scene again).

2차 가이드부(306)가 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하기 위해, 객체 인식부(300)의 기계학습을 통해 AR 객체 및 실제 객체를 인식하여, '보일러' 전면에 '니퍼'가 있는 장면으로 접근할 수 있다.In order to approach the scene where the recognized AR object is located at the recognized work position within the captured video screen, the secondary guide unit 306 recognizes the AR object and the real object through machine learning of the object recognition unit 300, You can access the scene where there is a ‘nipper’ in front of the ‘boiler’.

객체 인식부(300)가 AR 객체 및 실제 객체를 기계학습을 통해 인식한 경우, 2차 가이드부(306)는 인식된 화면 내 작업위치에 AR 객체가 있는 화면으로 이동할 수 있다.When the object recognition unit 300 recognizes the AR object and the real object through machine learning, the secondary guide unit 306 can move to the screen where the AR object is located at the working position within the recognized screen.

1차 가이드부(305)를 통한 전문가의 1차 가이드 시 현장 작업자가 익숙하지 않아 다시 질문하는 경우에도 2차 가이드부(306)의 2차 가이드(예를 들어, 빠르게 다시 보여주기, 단계 별 보여주기 등)가 유용하게 사용이 가능하다. 교육이 필요한 초보자에게도 쉽게 적용할 수 있어 유지보수 교육 등에도 활용 가능하다.Even if field workers ask questions again because they are not familiar with the expert's first guidance through the first guide unit 305, the second guide from the second guide unit 306 (e.g., quick re-show, step-by-step guidance) is provided. cycle, etc.) can be usefully used. It can be easily applied even to beginners who need training, so it can be used for maintenance training, etc.

협업 지원부(308)는 복수의 전문가 간 기술 지원 협업을 중계한다. 예를 들어, 협업 지원부(308)는 복수의 전문가가 동시에 참여 가능한 원격회의 기능을 제공한다. 이때, 협업 지원부(308)는 원격회의 시에 각 전문가의 영상과 함께 음성을 수신하여 이를 현장 디바이스(1)에 전달할 수 있다.The collaboration support unit 308 relays technical support collaboration between multiple experts. For example, the collaboration support unit 308 provides a remote meeting function in which multiple experts can participate simultaneously. At this time, the collaboration support unit 308 may receive audio and video from each expert during a remote meeting and transmit them to the field device 1.

네트워크 연결부(310)는 네트워크의 종류와 관계없이 네트워크 연결의 항상성을 유지한다. 일 실시 예에 따른 네트워크 연결부(310)는 현장 작업자의 현장 디바이스(1)와 정보를 송수신한다. 예를 들어, 네트워크 연결부(310)는 현장 디바이스(1)로부터 촬영영상을 포함하여 원격지원 요청을 수신하고, 현장 디바이스(1)의 AR에 기반한 영상분석을 통해 인식된 객체정보를 수신하며, 기계학습 기반 객체 인식결과를 현장 디바이스(1)에 전송한다. 네트워크 연결부(310)는 현장 디바이스(1)로부터 원격제어 요청을 수신하면 현장 디바이스(1)의 화면을 공유하며, 원격제어 명령을 네트워크 연결부(310)를 통해 현장 디바이스(1)에 전송한다.The network connection unit 310 maintains homeostasis of network connection regardless of the type of network. The network connection unit 310 according to one embodiment transmits and receives information to and from the field device 1 of the field worker. For example, the network connection unit 310 receives a remote support request including a captured video from the field device 1, receives object information recognized through video analysis based on AR of the field device 1, and receives object information recognized through video analysis based on AR of the field device 1. The learning-based object recognition results are transmitted to the field device (1). When the network connection unit 310 receives a remote control request from the field device 1, it shares the screen of the field device 1 and transmits a remote control command to the field device 1 through the network connection unit 310.

클라이언트 관리부(312)는 클라이언트의 실시간 상태정보를 수신하여 클라이언트의 상태를 확인한다. 클라이언트가 정상적으로 작동하는지, 작동하지 않으면 어떤 문제가 있는지 파악 후 처리한다. 클라이언트는 현장 디바이스(1), 현장 디바이스(1)에서 실행되는 앱, 작업현장 내 각종 장치일 수 있다. 일 실시 예에 따른 클라이언트 관리부(312)는 작업현장 내 장치들을 모니터링하여 에러를 사전에 예측하고 에러가 발생하기 이전에, 해당 장치에 대한 에러를 처리하기 위한 작업 명령을 생성한다. 생성된 작업 명령은 네트워크 연결부(310)를 통해 현장 작업자의 현장 디바이스(1)에 전송된다.The client management unit 312 receives real-time status information of the client and checks the status of the client. Determine whether the client is operating normally and, if not, what the problem is and then deal with it. The client may be a field device (1), an app running on the field device (1), or various devices in the work site. The client management unit 312 according to one embodiment monitors devices in the work site, predicts errors in advance, and generates work commands to handle errors for the corresponding devices before errors occur. The generated work command is transmitted to the field worker's field device 1 through the network connection unit 310.

데이터 분석부(314)는 현장 작업자의 현장 디바이스(1)에 대한 사용정보를 분석하여 현장 작업자 상태를 파악한다. 예를 들어, 현장 작업자가 현장 디바이스(1)을 사용한 정보로부터 앱 사용빈도 및 현장 작업자의 작업에 대한 숙달 여부를 알 수 있다.The data analysis unit 314 analyzes the field worker's usage information about the field device 1 and determines the field worker's status. For example, the frequency of app use and the field worker's proficiency in tasks can be determined from information on how the field worker uses the field device (1).

프로토콜 처리부(316)는 클라이언트의 정상신호를 수신하여 파싱하고 이를 처리하기 위한 통신규약을 구현해주는 소프트웨어 모듈이다.The protocol processing unit 316 is a software module that receives and parses normal signals from the client and implements communication protocols for processing them.

저장부(318)는 1차 가이드부(304)를 통해 복수의 AR 객체를 순차적으로 제공하면서 AR 제어정보를 함께 제공하는 1차 가이드 시, 2차 가이드부(306)에 의해 AR 객체와 화면 내 작업위치 및 AR 제어정보가 함께 저장되며, 2차 가이드부(306)의 요청에 따라 해당 정보를 제공한다.The storage unit 318 sequentially provides a plurality of AR objects through the primary guide unit 304 and provides AR control information together with the primary guide, and uses the secondary guide unit 306 to guide the AR objects and the screen. The work position and AR control information are stored together, and the corresponding information is provided upon request from the secondary guide unit 306.

도 4는 본 발명의 일 실시 예에 따른 객체 인식 단계의 프로세스를 도시한 도면이다.Figure 4 is a diagram illustrating a process of an object recognition step according to an embodiment of the present invention.

도 1 및 도 4를 참조하면, 원격 서비스 제공장치(3)는 현장 디바이스(1)로부터 원격지원 요청을 수신(410) 하여, 요청에 응답하면, 현장 디바이스(1)로부터 촬영 영상을 포함한 디바이스 화면을 수신한다(420).Referring to FIGS. 1 and 4, the remote service providing device 3 receives a remote support request from the field device 1 (410), and when responding to the request, displays a device screen including a captured image from the field device 1. Receive (420).

이어서, 원격 서비스 제공장치(3)는 기계학습을 통해 학습 모델을 인식한다(430). 그리고 작업대상 카테고리 모델을 검색(440) 하여, 인식된 학습 모델과 동일한 작업대상 카테고리 모델을 선택한다(450).Next, the remote service providing device 3 recognizes the learning model through machine learning (430). Then, the work target category model is searched (440), and the work target category model that is the same as the recognized learning model is selected (450).

도 5는 본 발명의 일 실시 예에 따른 본 발명의 일 실시 예에 따른 1차 가이드 프로세스를 도시한 도면이고, 도 6은 본 발명의 일 실시 예에 따른 1차 가이드 시 현장 디바이스 화면을 도시한 도면이다.Figure 5 is a diagram illustrating a primary guide process according to an embodiment of the present invention, and Figure 6 is a diagram illustrating an on-site device screen during primary guidance according to an embodiment of the present invention. It is a drawing.

도 1, 도 5 및 도 6을 참조하면, 원격 서비스 제공장치(3)가 도 4의 객체 인식 프로세스에 따라 객체를 인식한 후, 실제 객체가 보이는 촬영영상 화면에 복수의 AR 객체를 순차적으로 제공하면서 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공한다.Referring to FIGS. 1, 5, and 6, after the remote service providing device 3 recognizes an object according to the object recognition process of FIG. 4, a plurality of AR objects are sequentially provided on a captured video screen where the actual object is visible. while providing AR control information including actions using each AR object.

예를 들어, 도 5 및 도 6에 도시된 바와 같이, 증상 수집, 데이터 확인, 문제원인 파악, 화면/대화 확인(510)을 거쳐, 문제 A를 인식하면, 인식된 문제 A에 따라 AR 객체를 순차적으로 제공하면서, 각 AR 객체를 이용한 액션을 포함하는 AR 제어정보를 함께 제공하는 1차 가이드를 지원한다.For example, as shown in Figures 5 and 6, if problem A is recognized through symptom collection, data confirmation, problem cause identification, and screen/dialogue confirmation (510), an AR object is created according to the recognized problem A. It is provided sequentially and supports a primary guide that also provides AR control information including actions using each AR object.

도 5의 실시 예에서는, 원격 서비스 제공장치(3)가 AR 객체 1(니퍼)을 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 1(니퍼)를 확인된 작업위치에 생성하고 AR 객체 1(니퍼)을 이용한 작업자 액션(예를 들어, '음성 작업설명: 니퍼를 아래쪽에 놓고 꼭지를 잘라내세요)을 제공한다(520).In the embodiment of Figure 5, the remote service providing device 3 confirms the work position (x, y, z) in the space where AR object 1 (nipper) is to be created, and moves AR object 1 (nipper) to the confirmed work position. and provide a worker action (e.g., 'Voice task description: Place the nipper at the bottom and cut off the top) using AR object 1 (nipper) (520).

이어서, 원격 서비스 제공장치(3)가 AR 객체 2(펀치)를 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 2(펀치)를 확인된 작업위치에 생성하고 AR 객체 2(펀치)를 이용한 작업자 액션(예를 들어, '음성 작업설명)을 제공한다(530).Subsequently, the remote service providing device 3 confirms the work position (x, y, z) in the space where AR object 2 (punch) is to be created, creates AR object 2 (punch) at the confirmed work position, and AR object 2 (punch) is created at the confirmed work position. Provides worker action (e.g., 'voice job description') using 2 (punch) (530).

이어서, 원격 서비스 제공장치(3)가 AR 객체 3(톱)를 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 3(톱)를 확인된 작업위치에 생성하고 AR 객체 3(톱)를 이용한 작업자 액션(예를 들어, '음성 작업설명)을 제공한다(540).Subsequently, the remote service providing device 3 confirms the work position (x, y, z) in the space where AR object 3 (top) is to be created, creates AR object 3 (top) at the confirmed work position, and AR object 3 (top) is created at the confirmed work position. Provides worker actions (e.g., 'voice job description') using 3 (top) (540).

이어서, 원격 서비스 제공장치(3)가 AR 객체 4(드라이버)를 생성할 공간 내 작업위치(x, y, z)를 확인하고, AR 객체 4(드라이버)를 확인된 작업위치에 생성하고 AR 객체 4(드라이버)를 이용한 작업자 액션(예를 들어, '음성 작업설명)을 제공한다(550).Subsequently, the remote service providing device 3 confirms the work position (x, y, z) in the space where AR object 4 (driver) will be created, creates AR object 4 (driver) at the confirmed work position, and creates the AR object 4 (driver) at the confirmed work position. Provides worker actions (e.g., 'voice job description') using 4 (driver) (550).

원격 서비스 제공장치(3)는 1차 가이드 지원 시, 각 단계(520, 530, 540, 550)에서 AR 객체와 화면 내 작업 위치 및 AR 제어정보를 함께 저장한다(560).When supporting the first guide, the remote service providing device 3 stores the AR object, the task location on the screen, and AR control information at each step 520, 530, 540, and 550 (560).

이어서, 원격 서비스 제공장치(3)가 문제 A가 발생한 작업대상이 정상적으로 가동하여 문제 A가 해결되었는지 여부를 확인(570) 하고, 해결이 되면 작업을 종료하고, 해결되지 않으면 재분석을 수행한다(580).Next, the remote service provision device 3 checks whether the work object in which problem A occurred operates normally and whether problem A has been solved (570). If solved, the work is terminated, and if not solved, reanalysis is performed (580). ).

도 6은 도 5의 단계 520, 530, 540, 550에 따라 현장 디바이스(1)의 촬영영상 화면 내 각각의 작업 위치에 AR 객체 1(니퍼), AR 객체 2(펜치) AR 객체 3(톱), AR 객체 4(드라이버)가 순차적으로 생성되는 것을 보여주고 있다.FIG. 6 shows AR Object 1 (nipper), AR Object 2 (pliers), and AR Object 3 (saw) at each work position in the captured video screen of the field device 1 according to steps 520, 530, 540, and 550 of FIG. 5. , it shows that AR object 4 (driver) is created sequentially.

도 7은 본 발명의 일 실시 예에 따른 2차 가이드 프로세스를 도시한 도면이다.Figure 7 is a diagram illustrating a secondary guide process according to an embodiment of the present invention.

도 1 및 도 7을 참조하면, 원격 서비스 제공장치(3)는 도 5를 참조로 하여 전술한 1차 가이드 제공 이후, 현장 작업자의 음성을 수신하면, 음성 내 AR 객체, 작업 위치 및 작업자 액션을 추가로 인식(700) 하여, 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하여 인식된 작업자 액션에 따라 AR 제어정보를 다시 제공할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 전문가(예를 들어, 기술창구의 기술 엔지니어)가 현장 작업자의 음성(예를 들어, "니퍼, 보일러 전면, 장면 다시!")을 청취하면, 작업자 음성으로부터 작업 위치(보일러)와 AR 객체(니퍼)를 인식하여 '보일러' 전면에 '니퍼'가 있는 장면(AR 객체 1)으로 이동(710) 하여 AR 객체 1을 다시 생성(520) 하고, 작업자 액션(장면 다시)에 따라 해당 장면의 전문가 액션(AR 객체 1 액션: 설명 음성)을 다시 제공한다.Referring to FIGS. 1 and 7 , when the remote service providing device 3 receives the voice of a field worker after providing the first guide described above with reference to FIG. 5, the AR object, work location, and worker action in the voice are displayed. Through additional recognition (700), the scene where the recognized AR object is located at the recognized work position within the captured video screen is accessed, and AR control information can be provided again according to the recognized operator action. For example, as shown in Figure 7, when an expert (e.g., a technical engineer at a technical desk) listens to a field worker's voice (e.g., "Nipper, boiler front, scene again!"), the worker Recognize the work location (boiler) and AR object (nipper) from the voice, move to the scene (AR object 1) with the 'nipper' in front of the 'boiler' (710), recreate AR object 1 (520), and Depending on the action (scene again), the expert action (AR object 1 action: explanation voice) of the scene is provided again.

원격 서비스 제공장치(3)가 촬영영상 화면 내 인식된 작업위치에 인식된 AR 객체가 있는 장면으로 접근하기 위해, 기계학습을 통해 AR 객체 및 실제 객체를 인식하여, '보일러' 전면에 '니퍼'가 있는 장면으로 접근할 수 있다.In order to access the scene where the recognized AR object is located at the recognized work location within the captured video screen, the remote service provision device (3) recognizes the AR object and the actual object through machine learning and places a 'nipper' on the front of the 'boiler'. You can access the scene with .

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been examined focusing on its embodiments. A person skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from an illustrative rather than a restrictive perspective. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the equivalent scope should be construed as being included in the present invention.

Claims

It is portable for field workers in the field, acquires real-time captured images of the field worker's real world, recognizes work objects that require remote monitoring or repair as real objects from the obtained captured images, and tracks recognized real objects to create real-time objects. A field device that overlays and outputs Augmented Reality (AR, hereinafter referred to as 'AR') objects; and
Receives a captured video screen remotely from an on-site device, recognizes the actual object in the captured video screen, searches for a work object that matches the recognized real object, and provides a shot video screen showing the actual object to solve problems with the searched work object. A remote service providing device that provides primary guidance to field devices by sequentially providing a plurality of AR objects and providing AR control information including actions using each AR object;
An augmented reality-based remote control system comprising:

According to claim 1,
An augmented reality-based remote control system wherein the AR object includes an AR direction tool including at least one of a hand shape, a tool, and a direction.

The method of claim 1, wherein the remote service providing device is
During the first guide, which provides multiple AR objects sequentially and also provides AR control information for each AR object, the AR objects, the work position within the screen, and AR control information are stored together, and the saved information is later used to control the screen. An augmented reality-based remote control system that supports a secondary guide that relocates AR objects to my work location and provides AR control information again.

According to claim 3,
The secondary guide includes a function that repeatedly shows certain work steps,
An augmented reality-based remote control system that provides a predetermined speed when repeatedly displayed, and the predetermined speed is set as default or set by the user.

According to claim 3,
The secondary guide includes the function of dividing the object into a plurality of steps and then providing it again by approaching a certain work step.
The access function to a predetermined work step includes at least one of moving to the work step in the reverse direction, moving to the work step in the forward direction, moving to the first work step, or moving to another work step based on the current work step. Features an augmented reality-based remote control system.

The method of claim 3, wherein the remote service providing device is
After providing the first guide, when the field worker's voice is received, the AR object, work location, and worker action in the voice are additionally recognized, and the recognized work location approaches the scene with the recognized AR object in the captured video screen. An augmented reality-based remote control system characterized by supporting a secondary guide that provides AR control information again according to operator actions.

The method of claim 3, wherein the remote service providing device is
An augmented reality-based remote control system characterized by recognizing AR objects and real objects through machine learning.

The method of claim 1, wherein the remote service providing device is
An augmented reality-based remote control system that mediates consultation between the relevant experts when multiple expert commands are received together.

In an augmented reality-based remote control method using a remote service provision device,
Receiving a remote support request from a field device;
Receiving a captured video screen remotely from an on-site device;
Recognizing a real object in a captured video screen and searching for a work object that matches the recognized real object;
Checking problems with the searched work object; and
In order to solve the identified problem, a plurality of AR objects are sequentially provided on a captured video screen where actual objects are visible, and AR control information including actions using each AR object is provided to initially guide the field device;
An augmented reality-based remote control method comprising:

The method of claim 9, wherein the augmented reality-based remote control method is
A step of sequentially providing a plurality of AR objects while simultaneously providing AR control information for each AR object, storing the AR objects, the work position on the screen, and the AR control information together; and
Later, using the stored information, rearranging the AR object to the working position on the screen and supporting a secondary guide that provides AR control information again;
An augmented reality-based remote control method further comprising:

The method of claim 9, wherein the augmented reality-based remote control method is
Upon receiving the voice of a field worker after providing the first guide, additionally recognizing the AR object, work location, and worker action in the voice; and
Approaching a scene with a recognized AR object at a recognized work position within the captured video screen and providing AR control information again according to the recognized operator action;
An augmented reality-based remote control method further comprising: