KR20190100133A - Apparatus and method for providing augmented reality contents - Google Patents

Apparatus and method for providing augmented reality contents Download PDF

Info

Publication number
KR20190100133A
KR20190100133A KR1020190101373A KR20190101373A KR20190100133A KR 20190100133 A KR20190100133 A KR 20190100133A KR 1020190101373 A KR1020190101373 A KR 1020190101373A KR 20190101373 A KR20190101373 A KR 20190101373A KR 20190100133 A KR20190100133 A KR 20190100133A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality
space
virtual
work instruction
Prior art date
Application number
KR1020190101373A
Other languages
Korean (ko)
Inventor
송형주
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020190101373A priority Critical patent/KR20190100133A/en
Publication of KR20190100133A publication Critical patent/KR20190100133A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

According to an embodiment of the present invention, an apparatus for providing content for an augmented reality comprises: a communication unit for communicating with a virtual reality apparatus for storing a virtual space obtained by mapping a real space; a photographing unit for acquiring a real image by photographing the real space; a simultaneous localization and mapping unit for determining a current location of the real space by an apparatus for providing content for an augmented reality on the basis of the real image; and an image display unit for displaying a work instruction on the real image on the basis of the current location and a display location when the work instruction generated by the virtual reality apparatus and the display location where the work instruction is to be displayed in an augmented reality scheme are received in the virtual space through the communication unit.

Description

증강현실용 컨텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS}Apparatus and method for providing content for augmented reality {APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS}

본 발명은 증강현실용 컨텐츠 제공 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for providing content for augmented reality.

가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황이나 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다. 가상현실은 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해준다.Virtual reality is the interface between a human and a computer that makes a particular environment or situation into a computer and makes it look as if the person using it is interacting with the actual surroundings or environment. Virtual reality allows people to see and manipulate things as if they were in the environment without having to first-hand experience an environment that is difficult for them to experience everyday.

이와 달리, 증강현실은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.In contrast, augmented reality is a technology that superimposes a virtual object on the real world seen by the user. It is also called Mixed Reality (MR) because it combines the virtual world with additional information in real time into one image.

한편, 슬램(Simultaneous Localization And Mapping, SLAM)은 미지의 환경에서 카메라의 위치 및/또는 배향을 결정하거나 또는 이러한 미지의 환경의 맵을 생성하기 위한 기술이다. 이러한 SLAM은 미지의 환경에서 전술한 증강현실과 결합됨으로써 다양한 서비스의 구현을 가능하게 한다.On the other hand, Slam (Simultaneous Localization And Mapping, SLAM) is a technique for determining the position and / or orientation of the camera in an unknown environment or to generate a map of such unknown environment. Such SLAM enables the implementation of various services by combining with the above-described augmented reality in the unknown environment.

한국특허공개공보, 제 10-2017-0112113호 (2017.10.12. 공개)Korean Patent Publication No. 10-2017-0112113 (published Oct. 12, 2017)

본 발명이 해결하고자 하는 과제는, 가상현실과 증강현실 및 슬램을 이용하여서, 원격지에 있는 작업 관리자(마스터)로부터 작업지시가 수신되면, 슬램을 이용하여서 해당 작업지시를 작업자에게 증강현실 방식으로 증강시켜서 제공하는 기술을 제공하는 것이다.The problem to be solved by the present invention, using a virtual reality and augmented reality and slam, when a work order is received from a work manager (master) in a remote place, by using a slam augmented the work order to a worker in augmented reality method It is to provide the technology to provide.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problem to be solved of the present invention is not limited to those mentioned above, another problem to be solved is not mentioned can be clearly understood by those skilled in the art from the following description. will be.

일 실시예에 따른 증강현실용 컨텐츠 제공 장치는 현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치와 통신을 수행하는 통신부와, 상기 현실공간을 촬영하여 현실영상을 획득하는 촬영부와, 상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 슬램(Simultaneous Localization And Mapping)부와, 상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치가 상기 통신부를 통해 수신되면, 상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 표시하는 영상 표시부를 포함한다.An apparatus for providing augmented reality content according to an embodiment may include: a communication unit configured to communicate with a virtual reality device storing a virtual space mapped with a real space; a photographing unit configured to obtain a real image by photographing the real space; A slam (Simultaneous Localization And Mapping) unit for determining a current position of the augmented reality content providing device in the real space based on a real image, a work instruction generated by the virtual reality device in the virtual space and the When the display position to display the work order in the augmented reality method is received through the communication unit, based on the current position and the display position comprises a video display unit for displaying the work order on the reality image.

일 실시예에 따른 증강현실용 컨텐츠 제공 방법은 증강현실용 컨텐츠 제공 장치에 의해 수행되며, 현실공간을 촬영하여 현실영상을 획득하는 단계와, 상기 현실영상을 기초로 상기 증강현실용 컨텐츠 제공 장치가 상기 현실공간에서 갖는 현재위치를 결정하는 단계와, 상기 현실공간을 맵핑한 가상공간을 저장하는 가상현실용 장치로부터, 상기 가상공간에서 상기 가상현실용 장치에 의해 생성된 작업지시 및 상기 작업지시가 증강현실 방식으로 표시될 표시위치를 수신하는 단계와, 상기 현재위치와 상기 표시위치를 기반으로 상기 현실영상에 상기 작업지시를 표시하는 단계를 포함한다.Augmented reality content providing method according to an embodiment is performed by a content providing device for augmented reality, the step of obtaining a real image by photographing the real space, and the augmented reality content providing apparatus based on the reality image Determining a current position in the real space, and from the virtual reality device storing the virtual space to which the real space is mapped, a work instruction generated by the virtual reality apparatus in the virtual space and the work instruction Receiving a display position to be displayed in an augmented reality method, and displaying the work instruction on the reality image based on the current position and the display position.

일 실시예에 따른 가상현실용 장치는 현실공간에 배치된 증강현실용 컨텐츠 제공 장치와 통신을 수행하는 통신부와, 상기 현실공간을 맵핑한 가상공간을 저장하는 저장부와, 상기 가상공간을 가상현실 방식으로 표시하는 가상영상 표시부와, 상기 표시된 가상공간에서 상기 증강현실용 컨텐츠 제공 장치에게 전달할 작업지시를 생성하는 작업지시 생성부를 포함한다. 이 때, 작업지시는 상기 통신부를 통해 상기 증강현실용 컨텐츠 제공 장치에게 송신될 수 있다.According to an embodiment, a virtual reality device may include a communication unit configured to communicate with an apparatus for providing content for augmented reality arranged in a real space, a storage unit storing a virtual space mapped with the real space, and a virtual reality of the virtual space. The virtual image display unit to display in a manner, and a work instruction generation unit for generating a work instruction to be delivered to the augmented reality content providing device in the displayed virtual space. At this time, the work instruction may be transmitted to the apparatus for providing contents for augmented reality through the communication unit.

일 실시예에 따른 메모리에는, 본 발명의 실시예에 따른 증강현실용 컨텐츠 제공 방법이 수행되도록 프로그램된 명령어가 저장될 수 있다.In the memory according to an embodiment, instructions programmed to perform the method for providing augmented reality content according to an embodiment of the present invention may be stored.

일 실시예에 따른 명령어는 본 발명의 실시예에 따른 증강현실용 컨텐츠 제공 방법이 수행되도록 프로그램된 것으로서, 메모리에 저장될 수 있다.The command according to an embodiment is programmed to be performed by the method for providing augmented reality content according to an embodiment of the present invention, and may be stored in a memory.

일 실시예에 따르면 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.According to an embodiment, a remote work manager may generate a work order using a virtual reality device in a virtual space modeling a real space, and an operator in the real space (site) may use the work order for augmented reality. Can be provided in a manner. Accordingly, the operator can understand the work instructions more intuitively, the accuracy, speed or efficiency in performing the work can be improved.

도 1은 일 실시예에 증강현실용 컨텐츠 제공 장치와 가상현실용 장치에 대해 도시하고 있다.
도 2는 도 1에 도시된 증강현실용 컨텐츠 제공 장치의 구성을 도시하고 있다.
도 3은 도 2에 도시된 영상 표시부에서, 작업지시가 증강되어 표시되는 방식을 도시하고 있다.
도 4는 도 2에 도시된 영상 표시부에서, 작업지시가 증강되어 표시되는 방식을 도시하고 있다.
도 5는 도 1에 도시된 가상현실용 장치의 구성을 도시하고 있다.
도 6은 일 실시예에 따른 증강현실용 컨텐츠 제공 장치가 원격지의 가상현실용 장치로부터 작업지시를 전달받은 뒤 이를 증강시켜서 표현하는 과정을 도시하고 있다.1 illustrates an apparatus for providing content for augmented reality and a device for virtual reality according to an embodiment.
FIG. 2 illustrates a configuration of an apparatus for providing content for augmented reality shown in FIG. 1.
FIG. 3 illustrates a method in which a work order is augmented and displayed in the image display unit shown in FIG. 2.
FIG. 4 illustrates a method in which a work order is augmented and displayed in the image display unit illustrated in FIG. 2.
FIG. 5 is a block diagram of the virtual reality device shown in FIG. 1.
6 illustrates a process of augmented reality content providing apparatus according to an embodiment receiving a work order from a virtual reality device at a remote location and augmenting it to express it.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but can be implemented in various different forms, and only the embodiments make the disclosure of the present invention complete, and the general knowledge in the art to which the present invention belongs. It is provided to fully inform the person having the scope of the invention, which is defined only by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, terms to be described below are terms defined in consideration of functions in the embodiments of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the contents throughout the specification.

도 1은 일 실시예에 따른 증강현실용 컨텐츠 제공 장치와 가상현실용 장치에 대해 도시하고 있다.1 illustrates an apparatus for providing augmented reality contents and a device for virtual reality according to an exemplary embodiment.

도 1을 참조하면, 증강현실용 컨텐츠 제공 장치(100)는 현실공간에서 작업자에게 제공되는 장치이다. 여기서 현실공간이란 작업자 및 작업자의 작업 대상이 존재하는 공간을 의미하며, 작업자는 이러한 현실공간에서 작업 대상에 대해 작업을 수행하는 사람을 의미한다. 작업 대상에는 예컨대 조립이나 분해의 대상이 되는 기계 또는 배치되어야 할 가구 등 다양한 것들이 있을 수 있다.Referring to FIG. 1, an apparatus 100 for providing augmented reality content is a device provided to a worker in a real space. Here, the real space means a space in which the worker and the worker's work object exist, and the worker means a person who performs work on the work object in the real space. There may be a variety of things to work with, such as machines to be assembled or disassembled or furniture to be placed.

작업자는 작업지시를 참조하여서 작업 대상에 작업을 수행할 수 있다. 이러한 작업지시는 원격지에 있는 가상현실용 장치(200)에 의해 생성된 뒤 그로부터 전달받은 것이며, 증강현실용 컨텐츠 제공 장치(100)에 의해 증강현실 방식으로 표시될 수 있다. 증강현실 방식으로 표시되는 작업지시에 대해 살펴보면, 텍스트의 형태로 작업지시의 내용이 증강되어서 표시되는 형태 또는 작업지시의 대상이 되는 객체의 형상을 기반으로 증강되어서 표시되는 형태 등이 있을 수 있으나 이에 한정되는 것은 아니다. 예컨대 작업지시에는 현실공간에서는 조립이 완료되지 않은 작업 대상이 현실영상에서 조립이 완료된 상태로 증강되어서 표시되는 경우, 현실공간에서는 A라는 위치에 배치된 작업 대상이 현실영상에서는 B라는 위치에 배치된 상태로 증강되어서 표시되는 경우 등이 있을 수 있다. The worker can perform work on the work target by referring to the work order. The work order is generated by the virtual reality device 200 in a remote place and received therefrom, and may be displayed in augmented reality by the augmented reality content providing device 100. Looking at the work order displayed in the augmented reality method, there may be a form in which the content of the work order is displayed in the form of text is displayed augmented or augmented based on the shape of the object of the work order. It is not limited. For example, when a work object that is not assembled in the real space is augmented and displayed in the state where the assembly is completed in the work space, the work object that is disposed in the position A in the real space is placed in the position B in the real image. There may be a case where the display is augmented with a state.

한편, 가상현실용 장치(200)는 가상공간에서 작업 관리자에게 제공되는 장치이다. 여기서 가상공간이란 전술한 현실공간이 모델링된, 현실공간과 매칭되는 가상의 공간을 의미한다. 가상현실용 장치(200)에 저장된 가상공간은 현실공간에 대한 스캔 영상을 기초로 생성된 것일 수 있다. 여기서 현실공간에 대한 스캔 영상은 증강현실용 컨텐츠 제공 장치(100)에 의해 스캔되어서 이러한 증강현실용 컨텐츠 제공 장치(100)로부터 전달받은 것이거나, 또는 도면에는 도시되지 않은 외부의 서버 등으로부터 전달받은 것일 수 있으나 이에 한정되는 것은 아니다.Meanwhile, the virtual reality device 200 is a device provided to a task manager in a virtual space. Herein, the virtual space means a virtual space that matches the real space in which the above-described real space is modeled. The virtual space stored in the virtual reality device 200 may be generated based on a scan image of the real space. The scanned image of the real space is scanned by the augmented reality content providing apparatus 100 and received from the augmented reality content providing apparatus 100, or received from an external server not shown in the drawing. It may be, but is not limited thereto.

가상현실용 장치(200)는 현실공간과는 이격된, 원격지의 공간에 배치될 수 있다. 원격지에 있는 작업 관리자는 가상현실용 장치(200)에 포함된 헤드 마운티드 디스플레이(head mounted display, HMD)를 이용하여서 현실공간과 매칭되는 가상공간을 인지할 수 있다. 또한 작업 관리자는 가상현실용 장치(200)에 포함된, 가상현실용 컨텐츠 제작을 위한 구성(예컨대, 가상공간에서 텍스트를 입력하거나 그림을 그리는데 사용되는 펜, 가상공간에서 작업 관리자의 손이나 발 등의 움직임을 인식하고 이를 가상공간에 반영할 수 있는 모션 인식 장치 등)을 이용하여서 작업지시가 생성되도록 할 수 있다. 여기서, 가상공간에서 작업지시가 생성되는 기술 자체는 이미 공지된 기술이므로 이에 대한 설명은 생략하기로 한다.The virtual reality device 200 may be disposed in a space of a remote place, spaced apart from the real space. The remote job manager may recognize a virtual space that matches the real space using a head mounted display (HMD) included in the virtual reality device 200. In addition, the task manager is included in the virtual reality device 200, a configuration for creating virtual reality content (for example, a pen used for inputting or drawing text in a virtual space, a hand or a foot of a task manager in a virtual space, etc.). Can be generated by using a motion recognition device that can recognize the movement of the camera and reflect it in the virtual space. Here, since the technology itself that the work order is generated in the virtual space is already known technology, a description thereof will be omitted.

한편, 증강현실용 컨텐츠 제공 장치(100)는 자신의 현실공간에서의 현재위치 또는 현재 시선 방향 등을 나타내는 현재정보를 슬램(Simultaneous Localization And Mapping, SLAM)을 이용하여서 획득할 수 있다. 이러한 현재정보는 가상현실용 장치(200)에게 전달될 수 있으며, 이 경우 작업 관리자의 가상현실용 장치(200)에 포함된 HMD에는 이러한 현재정보가 표시될 수 있다. 따라서, 작업 관리자는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 현재 현실공간에서 어느 위치에 있는지 그리고 시선이 어디를 향하고 있는지를 파악할 수 있으며, 작업지시를 생성하는데에 있어서 이와 같이 파악된 정보를 활용할 수 있다.Meanwhile, the apparatus 100 for providing augmented reality content may obtain current information indicating a current position or a current line of sight in a real space using a slam (Simultaneous Localization And Mapping, SLAM). Such current information may be delivered to the virtual reality device 200. In this case, the current information may be displayed on the HMD included in the virtual reality device 200 of the task manager. Accordingly, the task manager may determine which position the augmented reality content providing apparatus 100 (or worker) is currently in the real space and where the gaze is facing, and thus, in generating the work instruction, Information is available.

또한, 현재정보는 증강현실용 컨텐츠 제공 장치(100)가 작업지시를 증강시켜서 표시할 때 활용될 수 있다. 예컨대, 작업 관리자가 가상공간에서 A라는 위치에 배치된 객체를 가상공간에서 B라는 위치로 옮긴 경우, 작업지시는 해당 객체가 가상공간에서 B라는 위치로 옮겨진 결과를 나타내는 영상일 수 있다. 이러한 작업지시가 증강현실용 컨텐츠 제공 장치(100)에게 전달되면 해당 작업지시는 현실공간을 촬영한 현실영상에서 A라는 위치 또는 B라는 위치에 표시될 수 있는데, 이를 위해서는 현실공간을 촬영한 현실영상에서 A라는 위치 또는 B라는 위치가 인식될 수 있어야 하며, 이를 위해 슬램의 결과물인 현재정보가 활용될 수 있다.In addition, the current information may be utilized when the augmented reality content providing apparatus 100 augments and displays the work order. For example, when the work manager moves an object disposed at a position A in a virtual space to a position B in a virtual space, the work instruction may be an image indicating a result of the object being moved to a position B in the virtual space. When such a work order is delivered to the apparatus 100 for augmented reality content, the work order may be displayed at a position A or B in a reality image photographing a real space. The position A or the position B must be able to be recognized. For this purpose, the current information that is the result of the slam may be utilized.

이상에서 살펴본 바와 같이, 일 실시예에 따르면 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.As described above, according to an embodiment, the work manager in a remote location may generate a work order using a virtual reality device in a virtual space modeling a real space, and the worker in the real space (site) may Work orders can be provided in augmented reality. Accordingly, the operator can understand the work instructions more intuitively, the accuracy, speed or efficiency in performing the work can be improved.

이하에서는 도 1에 도시된 증강현실용 컨텐츠 제공 장치(100)의 구성에 대해 도 2를 기초로 살펴보기로 한다.Hereinafter, the configuration of the apparatus 100 for providing augmented reality content shown in FIG. 1 will be described based on FIG. 2.

도 2는 도 1에 도시된 증강현실용 컨텐츠 제공 장치(100)의 구성을 도시하고 있다. 다만, 도 2는 예시적인 것에 불과하므로, 증강현실용 컨텐츠 제공 장치(100)의 구성이 도 2에 도시된 것으로 한정해석되지는 않는다.FIG. 2 illustrates a configuration of the apparatus 100 for providing augmented reality content shown in FIG. 1. However, since FIG. 2 is merely exemplary, the configuration of the apparatus 100 for providing augmented reality content is not limited to that illustrated in FIG. 2.

도 2를 참조하면, 증강현실용 컨텐츠 제공 장치(100)는 통신부(110), 촬영부(120), 슬램부(130) 및 영상 표시부(140)를 포함하며, 실시예에 따라서 제어부(150) 또는 관성 센서부(160)를 더 포함할 수 있다.Referring to FIG. 2, the apparatus 100 for providing augmented reality content includes a communication unit 110, a photographing unit 120, a slam unit 130, and an image display unit 140, and according to an embodiment, the controller 150. Alternatively, the inertial sensor unit 160 may be further included.

통신부(110)는 가상현실용 장치(200) 또는 도면에는 도시되지 않은 외부의 서버와 데이터를 주고받는 무선 통신 모듈로 구현 가능하다.The communication unit 110 may be implemented as a virtual communication device 200 or a wireless communication module that exchanges data with an external server (not shown).

촬영부(120)는 현실공간을 촬영하여서 현실영상을 생성하는 구성이다. 현실영상은 통신부(110)를 통해 가상현실용 장치(200)에게 제공되어서 가상공간의 생성에 사용될 수 있다. 또는, 현실영상은 후술할 슬램부(130)에 제공되어서 증강현실용 컨텐츠 제공 장치(100)가 현재공간에서 갖는 현재위치 또는 현재의 시선 방향을 결정하는데에 사용될 수 있다. 이러한 촬영부(120)는 양안 카메라, 깊이(depth) 카메라 등으로 구현 가능하다.The photographing unit 120 is configured to generate a real image by photographing a real space. The real image may be provided to the virtual reality device 200 through the communication unit 110 and used to generate a virtual space. Alternatively, the reality image may be provided to the slam unit 130 to be described later, and may be used to determine a current position or a current gaze direction of the augmented reality content providing apparatus 100 in the current space. The photographing unit 120 may be implemented as a binocular camera, a depth camera, or the like.

슬램부(130)는 촬영부(120)에 의해 촬영된 현실영상을 분석하여서, 증강현실용 컨텐츠 제공 장치(100)의 현재위치 또는 현재의 시선 방향 등에 대한 현실정보를 결정하는 구성이다. 이러한 슬램부(130)는 전술한 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다. 여기서, 슬램부(130)가 현실공간을 촬영한 현실영상을 분석하여서 전술한 현실정보를 결정 내지는 추출하는 기술 자체는 슬램 분야에서 이미 공지된 것이므로 이에 대한 설명은 생략하기로 한다. The slam unit 130 is a component that analyzes the reality image photographed by the photographing unit 120 and determines reality information about a current position or a current gaze direction of the apparatus 100 for augmented reality content. The slam portion 130 may be implemented by a memory that stores instructions programmed to perform the above-described functions, and a microprocessor that executes the instructions. Here, since the slam part 130 analyzes the real image photographing the real space and determines or extracts the above-mentioned real information, the technology itself is already known in the slam field, and thus description thereof will be omitted.

슬램부(130)에 의해 결정된 현실정보는 통신부(110)를 통해 가상현실용 장치(200)에게 제공될 수 있다. 또는, 작업지시가 가상현실용 장치(200)로부터 수신된 경우, 현실영상에서 이러한 작업지시를 표시할 위치를 결정하는데에 이러한 현실정보가 사용될 수 있다.The reality information determined by the slam unit 130 may be provided to the virtual reality device 200 through the communication unit 110. Alternatively, when the work order is received from the virtual reality device 200, the reality information may be used to determine a position to display the work order in the reality image.

영상 표시부(140)는 촬영부(120)에 의해 촬영된 현실영상에 작업지시를 증강현실 방식으로 표시하는 구성이며, 이는 디스플레이에 의해 구현 가능하다. 여기서, 작업지시에는 해당 작업지시가 현실영상에서 표시될 위치에 대한 정보가 포함될 수 있다. 도 3은 영상 표시부(140)가 작업지시(142)를 표시 위치에 대한 정보를 기초로 현실영상에 증강현실 방식으로 표시한 것을 예시적으로 도시하고 있다. 도 3을 참조하면, 현실영상에는 현실에 있는 현실 객체(141)가 배치될 수 있으며, 작업지시(142)는 이러한 현실영상에 증강현실 방식으로 표시될 수 있다. 여기서, 영상 표시부(140)가 현실영상에 해당 작업지시를 해당 작업지시가 표시될 위치에 대한 정보를 기초로 증강현실 방식으로 표시하는 기술 그 자체는 이미 공지된 것이므로, 이에 대한 설명은 생략하기로 한다.The image display unit 140 is configured to display a work instruction on the reality image captured by the photographing unit 120 in an augmented reality method, which can be implemented by a display. Here, the work order may include information on the position where the work order is displayed in the real image. FIG. 3 exemplarily illustrates that the image display unit 140 displays the work order 142 in the augmented reality method on the real image based on the information on the display position. Referring to FIG. 3, a reality object 141 in reality may be disposed in the reality image, and the work order 142 may be displayed on the reality image in an augmented reality manner. Here, since the image display unit 140 displays a corresponding work instruction in the augmented reality method on the basis of information on the position at which the work instruction is to be displayed on the real image, the description thereof will be omitted. do.

다만, 가상현실용 장치(200)로부터 전달받은 작업지시의 표시 위치가, 영상 표시부(140)가 현재 표시하고 있는 현실영상의 범위를 벗어날 수 있다. 예컨대, 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 A라는 위치에 있는데, A와는 이격되어 있으면서 현재의 촬영부(120)가 촬영하고 있지 않은 B라는 위치에 배치될 작업지시가 수신된 경우가 있을 수 있다. 또는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)는 위치 A에 있고 이러한 위치 A에서 촬영된 현실영상에는 객체 a가 있는데, 객체 a를 현재의 촬영부(120)가 촬영하고 있지 않은 B라는 위치로 옮기는 작업지시가 수신된 경우가 있을 수 있다. 이러한 경우들은, 슬램부(130)에 의해 결정된 증강현실용 컨텐츠 제공 장치(100)의 현재위치나 현재 시선을, 가상현실용 장치(200)로부터 전달받은 작업지시의 표시 위치와 비교함으로써 판단 가능하다.However, the display position of the work order received from the virtual reality device 200 may be out of the range of the reality image currently displayed by the image display unit 140. For example, the augmented reality content providing device 100 (or worker) is located in the position A, but the work order to be received at a position B that is spaced apart from the current photographing unit 120 is not being photographed. There may be cases. Alternatively, the augmented reality content providing apparatus 100 (or a worker) is located at position A, and there is object a in the real image photographed at the position A, and the object a is not captured by the current photographing unit 120. There may be cases where a work order to move to a location has been received. These cases can be determined by comparing the current position or the current line of sight of the augmented reality content providing apparatus 100 determined by the slam unit 130 with the display position of the work instruction received from the virtual reality device 200. .

이 경우, 영상 표시부(140)는 이러한 작업지시 자체를 표시할 수는 없지만, 현재영상에 이러한 작업지시가 표시될 방향을 표시할 수 있다. 도 4는 이러한 상황을 도시하고 있다. 도 4를 참조하면, 영상 표시부(140)에는 현실에 있는 현실객체(141)가 배치될 수 있는데, 작업지시는 도 4의 영상 표시부(140)가 표시하고 있는 현실영상의 범위를 벗어난 곳에 배치될 수 있다. 이 경우, 영상 표시부(140)는 화살표(143) 등을 이용해서 작업지시가 표시될 위치를 표시할 수 있으며, 따라서 작업자는 이러한 화살표를 참조로 작업지시가 표시될 위치를 향해 이동하거나 고개를 돌림으로써 해당 작업지시를 인식할 수 있다.In this case, the image display unit 140 may not display such a work order itself, but may display a direction in which the work order will be displayed in the current image. 4 illustrates this situation. Referring to FIG. 4, the image display unit 140 may include a real object 141 in reality, and the work order may be disposed outside the range of the real image displayed by the image display unit 140 of FIG. 4. Can be. In this case, the image display unit 140 may display the position at which the work order is to be displayed by using the arrow 143 or the like, and thus the worker moves or turns his head toward the position at which the work order is to be displayed with reference to the arrow. Can recognize the work order.

한편, 실시예에 따라서 증강현실용 컨텐츠 제공 장치(100)는 제어부(150)를 더 포함할 수 있다. 제어부(150)는 이하에서 설명할 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다. Meanwhile, according to an exemplary embodiment, the apparatus 100 for providing augmented reality content may further include a controller 150. The controller 150 may be implemented by a memory for storing instructions programmed to perform a function to be described below, and a microprocessor that executes the instructions.

제어부(150)는 작업자로부터 요청이 있는 경우 또는 기 정의된 시간 등에 가상현실용 장치(200)에게 작업지시가 통신부(110)를 통해 요청되도록 제어할 수 있다. 이 때 제어부(150)는 작업지시에 대한 요청과 함께 슬램의 결과물, 즉 증강현실용 컨텐츠 제공 장치(100)의 현재위치 또는 증강현실용 컨텐츠 제공 장치(100)의 현재 시선 방향 등이 가상현실용 장치(200)에게 통신부(110)를 통해 전달되도록 제어할 수 있다. 작업 관리자의 가상현실용 장치(200)에 포함된 HMD에는 이러한 현실영상에 대한 정보가 표시될 수 있다. 이를 통해, 작업 관리자는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 현재 현실공간에서 어느 위치에 있는지 그리고 시선이 어디를 향하고 있는지를 파악할 수 있다.The controller 150 may control the work order to be requested through the communication unit 110 to the virtual reality device 200 when there is a request from a worker or at a predefined time. At this time, the control unit 150, together with the request for the work instruction, the result of the slam, that is, the current position of the content providing apparatus 100 for augmented reality or the current gaze direction of the content providing apparatus 100 for augmented reality, etc. The device 200 may be controlled to be transmitted through the communication unit 110. Information on the reality image may be displayed on the HMD included in the virtual reality device 200 of the task manager. Through this, the task manager may grasp the position where the augmented reality content providing apparatus 100 (or worker) is currently located in the real space and where the gaze is directed.

또한, 증강현실용 컨텐츠 제공 장치(100)는 실시예에 따라서 관성 센서부(160)를 더 포함할 수 있다. 관성 센서부(160)는 증강현실용 컨텐츠 제공 장치(100)의 움직임, 예컨대 가속도, 각속도 등을 측정할 수 있는 관성 측정 센서(inertial measurement unit, IMU)에 의해 구현 가능하다. 이 경우, 슬램부(130)는 촬영부(120)에 의해 촬영된 현실영상을 관성 센서부(160)에 의해 감지된 움직임에 대한 정보와 결합하여서 증강현실용 컨텐츠 제공 장치(100)의 현재위치 또는 현재의 시선 방향을 결정할 수 있다.In addition, the apparatus 100 for providing augmented reality content may further include an inertial sensor unit 160 according to an exemplary embodiment. The inertial sensor unit 160 may be implemented by an inertial measurement unit (IMU) capable of measuring the movement of the augmented reality content providing apparatus 100, for example, an acceleration and an angular velocity. In this case, the slam unit 130 combines the real image photographed by the photographing unit 120 with the information about the motion detected by the inertial sensor unit 160 to present the current position of the apparatus 100 for augmented reality content. Alternatively, the current gaze direction may be determined.

이상에서 살펴본 바와 같이, 일 실시예에 따르면 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.As described above, according to an embodiment, the work manager in a remote location may generate a work order using a virtual reality device in a virtual space modeling a real space, and the worker in the real space (site) may Work orders can be provided in augmented reality. Accordingly, the operator can understand the work instructions more intuitively, the accuracy, speed or efficiency in performing the work can be improved.

도 5는 도 1에 도시된 가상현실용 장치(200)의 구성을 도시한 도면이다. 다만 도 5는 예시적인 것에 불과하므로, 가상현실용 장치(200)의 구성이 도 5에 도시된 것으로 한정해석되지는 않는다.FIG. 5 is a diagram illustrating a configuration of the virtual reality device 200 shown in FIG. 1. However, since FIG. 5 is merely an example, the configuration of the virtual reality device 200 is not limited to that illustrated in FIG. 5.

먼저, 가상현실용 장치(200)는 개인용 컴퓨터(personal computer)나 서버 등에서 구현 가능하다.First, the virtual reality device 200 may be implemented in a personal computer or a server.

도 5를 참조하면, 가상현실용 장치(200)는 통신부(210), 가상공간 생성부(220), 저장부(230), 가상영상 표시부(240) 및 작업지시 생성부(250)를 포함할 수 있다.Referring to FIG. 5, the virtual reality device 200 may include a communication unit 210, a virtual space generation unit 220, a storage unit 230, a virtual image display unit 240, and a work order generation unit 250. Can be.

통신부(210)는 증강현실용 컨텐츠 제공 장치(100) 또는 도면에는 도시되지 않은 외부의 서버와 데이터를 주고받는 무선 통신 모듈로 구현 가능하다.The communicator 210 may be implemented as a wireless communication module that exchanges data with an augmented reality content providing apparatus 100 or an external server (not shown).

가상공간 생성부(220)는 현실공간을 모델링한 가상공간을 생성하는 구성이며, 이러한 기능을 수행하도록 프로그램된 명령어를 저장하는 메모리 및 이러한 명령어를 실행하는 마이크로프로세서에 의해 구현 가능하다.The virtual space generation unit 220 is a component that generates a virtual space modeling a real space, and may be implemented by a memory that stores instructions programmed to perform such a function and a microprocessor that executes the instructions.

가상공간 생성부(220)는 현실공간에 대해 스캔된 영상을 기초로 가상공간을 생성할 수 있는데, 현실공간에 대해 스캔된 영상을 기초로 가상공간을 생성하는 기술 그 자체는 이미 공지된 것이므로 이에 대한 설명은 생략하기로 한다. 여기서, 현실공간에 대해 스캔된 영상은 통신부(210)를 통해서 증강현실용 컨텐츠 제공 장치(100) 또는 도면에는 도시되지 않은 외부의 서버로부터 전달받은 것일 수 있다. The virtual space generator 220 may generate a virtual space based on the scanned image of the real space. Since the technology for generating the virtual space based on the scanned image of the real space is known in advance, The description will be omitted. Here, the image scanned for the real space may be received from the augmented reality content providing apparatus 100 or an external server not shown in the drawing through the communication unit 210.

저장부(230)는 데이터를 저장하는 메모리 등으로 구현 가능하다. 저장부(230)가 저장하는 데이터에는 예컨대 가상공간에 대한 정보가 있을 수 있다. 여기서, 가상공간은 가상공간 생성부(220)에 의해 생성된 것이거나 또는 외부로부터 전달받은 것일 수 있다.The storage unit 230 may be implemented as a memory for storing data. The data stored by the storage unit 230 may include information about the virtual space, for example. Here, the virtual space may be generated by the virtual space generation unit 220 or received from the outside.

가상영상 표시부(240)는 저장부(220)에 저장된 가상공간의 정보를 기초로, 가상공간을 표시하는 구성이다. 이러한 가상영상 표시부(240)는 헤드 마운티드 디스플레이(head mounted display, HMD) 등에 의해 구현 가능하다. 가상영상 표시부(240)에는 가상공간 뿐만 아니라 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 갖는 현재위치 또는 현실공간에서의 시선 방향 등이 가상공간에서 함께 표시될 수 있다.The virtual image display unit 240 is configured to display the virtual space based on the information of the virtual space stored in the storage unit 220. The virtual image display unit 240 may be implemented by a head mounted display (HMD). The virtual image display unit 240 may display not only the virtual space but also the current position of the augmented reality content providing apparatus 100 in the real space or the direction of the gaze in the real space together in the virtual space.

작업지시 생성부(250)는 작업지시를 가상현실 컨텐츠 타입으로 생성하는 구성이다. 이러한 작업지시 생성부(250)는 예컨대 가상공간에서 텍스트를 입력하거나 그림을 그릴 수 있는 펜, 가상공간에서 작업 관리자의 손이나 발 등의 움직임을 표현할 수 있는 모션 인식 장치 등으로 구현 가능하다. The work order generating unit 250 is a component for generating a work order as a virtual reality content type. The work order generation unit 250 may be implemented as, for example, a pen that can input text or draw a picture in a virtual space, or a motion recognition device that can express a movement of a hand or a foot of a work manager in a virtual space.

작업지시 생성부(250에 의해 생성된 작업지시의 종류에는 예컨대 조립되지 않은 기계를 조립된 상태로 보여주는 것, 작업지시의 내용이 텍스트나 도면의 형태로 표시된 것, 가상공간에서 어느 한 위치에 있는 객체를 다른 위치로 옮기는 것 등이 있을 수 있으나 이에 한정되는 것은 아니다.The type of work order generated by the work order generating unit 250 includes, for example, showing an unassembled machine in an assembled state, the content of the work order being displayed in the form of text or drawings, and at any position in the virtual space. It may include moving an object to another location, but is not limited thereto.

도 6은 일 실시예에 따른 증강현실용 컨텐츠를 제공하는 방법의 절차를 도시한 도면이다. 도 6에 도시된 방법은 도 2에 도시된 증강현실용 컨텐츠 제공 장치(100)에 의해 수행될 수 있다. 아울러, 도 2에 도시된 방법의 절차는 예시적인 것에 불과하므로, 도 2에 도시된 것에 한정해석되는 것은 아니다.6 is a flowchart illustrating a method of providing augmented reality content according to an exemplary embodiment. The method illustrated in FIG. 6 may be performed by the apparatus 100 for providing augmented reality contents shown in FIG. 2. In addition, since the procedure of the method illustrated in FIG. 2 is merely exemplary, the present disclosure is not limited to the example illustrated in FIG. 2.

도 6을 참조하면, 증강현실용 컨텐츠 제공 장치(100)의 촬영부(120)는 현실공간을 스캔한다(S100). 여기서, 현실공간을 스캔하는 주체가 증강현실용 컨텐츠 제공 장치(100)의 촬영부(120)가 아닌 별도로 마련된 스캔 장치일 수도 있다.Referring to FIG. 6, the photographing unit 120 of the apparatus 100 for providing augmented reality content scans a real space (S100). Here, the subject scanning the real space may be a scanning device provided separately from the photographing unit 120 of the apparatus 100 for providing augmented reality content.

단계 S100에서 스캔된 영상은 증강현실용 컨텐츠 제공 장치(100)의 통신부(110)를 통해 가상현실용 장치(200)에게 전송한다(S110). 여기서, 실시예에 따라서 스캔된 영상은 가상현실용 장치(200)가 아닌 별도로 마련된 서버(도면에는 미도시)에게 전송될 수도 있다.The image scanned in step S100 is transmitted to the virtual reality device 200 through the communication unit 110 of the augmented reality content providing device 100 (S110). In this case, the scanned image may be transmitted to a server (not shown) provided separately from the virtual reality device 200.

가상현실용 장치(200)는 단계 S110에서 전송받은 영상을 기초로 현실공간을 모델링한 가상공간을 생성하고 저장한다(S200). 다만, 실시예에 따라서 가상현실용 장치(200)는 별도의 서버로부터 현실공간의 스캔 영상을 전달받은 뒤 이를 기초로 가상공간을 생성하고 저장할 수도 있다.The virtual reality device 200 generates and stores a virtual space modeling the real space based on the image received in step S110 (S200). However, according to an exemplary embodiment, the virtual reality device 200 may generate and store a virtual space based on the received scan image of the real space from a separate server.

증강현실용 컨텐츠 제공 장치(100)는 슬램을 수행한다(S300). 슬램에 의해 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 갖는 현재위치 또는 현재의 시선 방향 등에 대한 현실 정보가 결정될 수 있다.The augmented reality content providing apparatus 100 performs a slam (S300). The slam may determine reality information about the current location or the current line of sight of the augmented reality content providing apparatus 100 in the real space.

증강현실용 컨텐츠 제공 장치(100)는 가상현실용 장치(200)에게 작업지시를 요청하며, 이 경우 실시예에 따라서 단계 S300에서 수행된 슬램의 결과물, 즉 증강현실용 컨텐츠 제공 장치(100)가 현실공간에서 갖는 현재위치 또는 현재의 시선 방향 등에 대한 현실 정보가 작업지시와 함께 가상현실용 장치(200)에게 전송될 수 있다(S310). 다만, 단계 S310은 실시예에 따라서 수행되지 않을 수도 있다.The augmented reality content providing apparatus 100 requests a work instruction from the virtual reality device 200, and in this case, the result of the slam performed in step S300, that is, the augmented reality content providing apparatus 100 is determined. Real information on the current location or the current line of sight in the real space may be transmitted to the virtual reality device 200 with the work instruction (S310). However, step S310 may not be performed depending on the embodiment.

가상현실용 장치(200)는 단계 S310에서 전송받은 슬램의 결과물을 가상공간에 표시한다(S400). 이를 통해 가상현실용 장치(200)를 착용한 작업 관리자는 증강현실용 컨텐츠 제공 장치(100)(또는 작업자)가 현실공간에서 어디에 위치해 있는지 또는 시선이 어느 방향인지 등에 대한 정보를 획득할 수 있으며, 이를 작업지시를 생성하는데에 활용할 수 있다.The virtual reality device 200 displays the result of the slam received in step S310 in the virtual space (S400). Through this, the task manager wearing the virtual reality device 200 may obtain information about where the augmented reality content providing device 100 (or worker) is located in the real space or in which direction the gaze is located. This can be used to generate work orders.

작업 관리자는 가상현실용 장치(200)를 이용하여서 가상공간에서 작업지시가 생성되도록 할 수 있다(S410). 이 때, 작업 관리자는 가상현실용 장치(200)에 포함된 HMD를 착용한 상태로, 가상현실용 장치(200)에 포함된 가상현실용 컨텐츠 제작을 위한 구성(예컨대, 가상공간에서 텍스트를 입력하거나 그림을 그릴 수 있는 펜, 가상공간에서 작업 관리자의 손이나 발 등의 움직임을 표현할 수 있는 모션 인식 장치 등)을 이용하여서 작업지시가 생성되도록 할 수 있다. 작업 지시의 종류에는 조립되지 않은 기계를 조립된 상태로 보여주는 것, 작업지시의 내용이 텍스트나 도면의 형태로 표시된 것, 가상공간에서 어느 한 위치에 있는 객체를 다른 위치로 옮기는 것 등이 있을 수 있으나 이에 한정되는 것은 아니다.The task manager may use the virtual reality device 200 to generate a work order in the virtual space (S410). At this time, the task manager is wearing the HMD included in the virtual reality device 200, the configuration for producing the virtual reality content included in the virtual reality device 200 (for example, input text in the virtual space) Or a drawing pen, or a motion recognition device that can express the movement of a task manager's hand or foot in a virtual space. Types of work orders may include showing an unassembled machine in an assembled state, displaying the contents of a work order in the form of text or drawings, or moving an object from one location to another in virtual space. However, it is not limited thereto.

단계 S410에서 생성된 작업지시는 그 작업지시가 현실영상에서 표시될 위치와 함께 증강현실용 컨텐츠 제공 장치(100)에게 전송된다(S420). The work order generated in step S410 is transmitted to the augmented reality content providing apparatus 100 together with the position where the work order is to be displayed in the real image (S420).

그러면, 증강현실용 컨텐츠 제공 장치(100)의 영상 표시부(140)는 해당 작업지시를 해당 작업지시에 대한 표시위치를 기초로 증강현실 방식으로 표시한다(S500). 만약, 작업지시의 표시위치가 현재 영상 표시부(140)가 표시하고 있는 현실영상의 범위를 벗어난다면, 영상 표시부(140)는 작업지시의 표시위치의 방향을 화살표 등의 영상으로 표시할 수 있다.Then, the image display unit 140 of the content providing device for augmented reality 100 displays the work order in augmented reality method based on the display position for the work order (S500). If the display position of the work order is out of the range of the real image currently displayed by the video display unit 140, the image display unit 140 may display the direction of the display position of the work order as an image such as an arrow.

이상에서 살펴본 바와 같이, 원격지에 있는 작업 관리자는 현실공간을 모델링한 가상공간에서 가상현실용 장치를 이용하여 작업지시를 생성할 수 있고, 현실공간(현장)에 있는 작업자는 이러한 작업지시를 증강현실용 방식으로 제공받을 수 있다. 이에 따라, 작업자는 보다 직관적으로 작업지시를 이해할 수 있는 바, 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.As described above, a work manager in a remote place can generate a work order using a device for virtual reality in a virtual space modeling a real space, and a worker in a real space (site) augments the work order. Can be provided in the Accordingly, the operator can understand the work instructions more intuitively, the accuracy, speed or efficiency in performing the work can be improved.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential quality of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas that fall within the scope of equivalents should be construed as being included in the scope of the present invention.

일 실시예에 따르면 작업자는 보다 직관적으로 작업지시를 이해할 수 있으며, 따라서 작업 수행에 있어서의 정확성, 신속성 또는 효율성 등이 향상될 수 있다.According to one embodiment, the operator can understand the work instructions more intuitively, and thus the accuracy, speed, or efficiency in performing the work can be improved.

100: 증강현실용 컨텐츠 제공 장치
200: 가상현실용 장치100: augmented reality content providing device
200: virtual reality device

Claims (9)

증강현실용 컨텐츠 제공 장치로서,
현실 공간을 촬영하는 촬영부와,
상기 촬영된 현실 공간에 대응하는 영상을 기초로 상기 증강현실용 컨텐츠 제공 장치의 현재 위치 또는 현재의 시선 방향 중 적어도 하나를 포함하는 현실 정보를 결정하는 슬램(Simultaneous Localization And Mapping)부와,
상기 촬영된 현실 공간에 대응하는 상기 영상을 가상 현실용 장치로 전송하며, 지정된 작업 지시 요청 및 상기 현실 정보를 상기 가상 현실용 장치로 전송하며, 상기 가상 현실용 장치로부터 상기 작업 지시 요청에 대응하는 작업 지시 및 상기 촬영된 현실 공간에 대응하는 상기 영상에서 상기 작업 지시가 표시될 위치를 수신하는 통신부와,
상기 수신된 작업 지시를 증강 현실 방식으로 표시하는 영상 표시부를 포함하는
증강현실용 컨텐츠 제공 장치.As a content providing device for augmented reality,
With a filming unit to shoot the real space,
A slam (Simultaneous Localization And Mapping) unit for determining reality information including at least one of a current position or a current gaze direction of the apparatus for providing augmented reality content based on an image corresponding to the captured reality space;
Transmitting the image corresponding to the captured reality space to a virtual reality device, transmitting a specified work instruction request and the reality information to the virtual reality device, and responding to the work instruction request from the virtual reality device. A communication unit which receives a work order and a position where the work order is to be displayed in the image corresponding to the photographed real space;
An image display unit for displaying the received work instruction in an augmented reality method
Augmented reality content providing device. 제 1 항에 있어서,
상기 영상 표시부는,
상기 통신부를 통해 상기 촬영된 현실 공간에 대응하는 상기 영상에 대한 정보가 상기 가상 현실용 장치로 전송되도록 제어하는 제어부를 더 포함하는
증강현실용 컨텐츠 제공 장치.The method of claim 1,
The video display unit,
The controller may further include a controller configured to transmit information about the image corresponding to the photographed reality space to the virtual reality device through the communication unit.
Augmented reality content providing device. 제 1 항에 있어서,
상기 작업 지시는,
상기 작업 지시의 대상이 되는 객체의 형상을 기초로 표시되는
증강현실용 컨텐츠 제공 장치.The method of claim 1,
The work instruction,
Displayed based on the shape of the object that is the target of the work order
Augmented reality content providing device. 제 1 항에 있어서,
상기 증강현실용 컨텐츠 제공 장치의 가속도값 또는 각속도값 중 적어도 하나를 측정하는 관성 센서부를 더 포함하고,
상기 슬램부는,
상기 현재위치를 상기 가속도값 또는 상기 각속도값 중 적어도 하나와 상기 현실영상을 기초로 결정하는
증강현실용 컨텐츠 제공 장치.The method of claim 1,
Further comprising an inertial sensor unit for measuring at least one of the acceleration value or the angular velocity value of the apparatus for providing content for augmented reality,
The slam portion,
The current position is determined based on at least one of the acceleration value or the angular velocity value and the real image.
Augmented reality content providing device. 증강현실용 컨텐츠 제공 장치에 의해 수행되는 증강현실용 컨텐츠 제공 방법으로서,
현실공간을 촬영하는 단계와;
상기 촬영된 현실 공간에 대응하는 영상을 가상 현실용 장치로 전송하는 단계와;
상기 촬영된 현실 공간에 대응하는 상기 영상을 기초로 상기 증강현실용 컨텐트 제공 장치의 현재 위치 또는 현재의 시선 방향 중 적어도 하나를 포함하는 현실 정보를 결정하는 단계와;
지정된 작업 지시 요청 및 상기 현실 정보를 상기 가상 현실용 장치로 전송하는 단계와;
상기 가상 현실용 장치로부터 상기 작업 지시 요청에 대응하는 작업 지시 및 상기 촬영된 현실 공간에 대응하는 상기 영상에서 상기 작업 지시가 표시될 위치를 수신하는 단계와;
상기 수신된 작업 지시를 증강 현실 방식으로 표시하는 단계를 포함하는
증강현실용 컨텐츠 제공 방법.An augmented reality content providing method performed by an apparatus for providing augmented reality content,
Photographing the real space;
Transmitting an image corresponding to the captured reality space to a device for virtual reality;
Determining reality information including at least one of a current position and a current gaze direction of the apparatus for providing augmented reality content based on the image corresponding to the captured reality space;
Transmitting a specified work instruction request and the reality information to the virtual reality device;
Receiving a work instruction corresponding to the work instruction request from the virtual reality device and a position where the work instruction is to be displayed in the image corresponding to the photographed reality space;
Displaying the received work instruction in an augmented reality manner;
Augmented reality content providing method. 제 5 항에 있어서,
상기 촬영된 현실 공간에 대응하는 상기 영상에 대한 정보를 상기 가상현실용 장치에게 송신하는 단계를 더 포함하는
증강현실용 컨텐츠 제공 방법.The method of claim 5,
The method may further include transmitting information about the image corresponding to the captured reality space to the virtual reality device.
Augmented reality content providing method. 제 5 항에 있어서,
상기 작업 지시가 표시될 위치가, 상기 작업 지시를 표시하려는 시점에서 촬영된 현실 공간에 대응하는 상기 영상의 범위를 벗어나는 경우, 상기 작업 지시가 표시될 위치의 방향을 표시하는 단계를 더 포함하는
증강현실용 컨텐츠 제공 방법.The method of claim 5,
If the position at which the work instruction is to be displayed is out of the range of the image corresponding to the photographed real space at the point of time at which the work instruction is to be displayed, displaying the direction of the position at which the work instruction is to be displayed;
Augmented reality content providing method. 제 5 항 내지 제 7 항 중 어느 한 항에 따른 방법이 수행되도록 프로그램된 명령어를 저장하는 메모리.A memory for storing instructions programmed to carry out the method according to any one of claims 5 to 7. 제 5 항 내지 제 7 항 중 어느 한 항에 따른 방법이 수행되도록, 메모리에 저장된 프로그램된 명령어.
A programmed instruction stored in a memory such that the method according to any one of claims 5 to 7 is performed.
KR1020190101373A 2019-08-19 2019-08-19 Apparatus and method for providing augmented reality contents KR20190100133A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190101373A KR20190100133A (en) 2019-08-19 2019-08-19 Apparatus and method for providing augmented reality contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190101373A KR20190100133A (en) 2019-08-19 2019-08-19 Apparatus and method for providing augmented reality contents

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144033A Division KR20190048810A (en) 2017-10-31 2017-10-31 Apparatus and method for providing augmented reality contents

Publications (1)

Publication Number Publication Date
KR20190100133A true KR20190100133A (en) 2019-08-28

Family

ID=67775659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190101373A KR20190100133A (en) 2019-08-19 2019-08-19 Apparatus and method for providing augmented reality contents

Country Status (1)

Country Link
KR (1) KR20190100133A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210029391A (en) * 2019-09-06 2021-03-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 Mixed reality device support apparatus using environment information capture and method thereof
KR20210086072A (en) * 2019-12-31 2021-07-08 주식회사 버넥트 System and method for real-time monitoring field work
WO2022159586A1 (en) * 2021-01-22 2022-07-28 POS8 Limited Indoor positioning and tracking using spatial features
WO2023055000A1 (en) * 2021-09-29 2023-04-06 삼성전자 주식회사 Method by which augmented reality device displays content, and augmented reality device for displaying content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112113A (en) 2016-03-30 2017-10-12 주식회사 버드나무 Method and system for providing virtual reality and augmented reality based on items

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112113A (en) 2016-03-30 2017-10-12 주식회사 버드나무 Method and system for providing virtual reality and augmented reality based on items

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210029391A (en) * 2019-09-06 2021-03-16 재단법인 다차원 스마트 아이티 융합시스템 연구단 Mixed reality device support apparatus using environment information capture and method thereof
KR20210086072A (en) * 2019-12-31 2021-07-08 주식회사 버넥트 System and method for real-time monitoring field work
WO2022159586A1 (en) * 2021-01-22 2022-07-28 POS8 Limited Indoor positioning and tracking using spatial features
WO2023055000A1 (en) * 2021-09-29 2023-04-06 삼성전자 주식회사 Method by which augmented reality device displays content, and augmented reality device for displaying content

Similar Documents

Publication Publication Date Title
US11557134B2 (en) Methods and systems for training an object detection algorithm using synthetic images
KR20190100133A (en) Apparatus and method for providing augmented reality contents
US7487468B2 (en) Video combining apparatus and method
JP5966510B2 (en) Information processing system
CN110888428B (en) Mobile robot, remote terminal, computer readable medium, control system, and control method
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
KR20120069654A (en) Information processing device, information processing method, and program
KR20120038316A (en) User equipment and method for providing ar service
CN110362193A (en) With hand or the method for tracking target and system of eyes tracking auxiliary
JP2017027206A (en) Information processing apparatus, virtual object operation method, computer program, and storage medium
KR20110037053A (en) The user interface apparatus and method for 3d space-touch using multiple imaging sensors
JP6409861B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2018142090A (en) Character image generating device, character image generating method, program, recording medium and character image generating system
JP2016122392A (en) Information processing apparatus, information processing system, control method and program of the same
JPH07271546A (en) Image display control method
KR20190048810A (en) Apparatus and method for providing augmented reality contents
KR102200115B1 (en) System for providing multi-view 360 angle vr contents
CN113853569A (en) Head-mounted display
JP6982203B2 (en) Character image generator, character image generation method and program
JP2021131490A (en) Information processing device, information processing method, and program
JP6376251B2 (en) Information processing apparatus, information processing system, control method thereof, and program
JP2015121892A (en) Image processing apparatus, and image processing method
WO2022172335A1 (en) Virtual guide display device, virtual guide display system, and virtual guide display method
KR20190108924A (en) Hologram projection device and method thereof
JP2019040357A (en) Image processing system, image processing method and computer program

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X091 Application refused [patent]
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101000467; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20200212

Effective date: 20201104

E902 Notification of reason for refusal
AMND Amendment
S601 Decision to reject again after remand of revocation
X091 Application refused [patent]
S601 Decision to reject again after remand of revocation