KR20210055381A - Apparatus, method and computer program for providing augmented reality contentes through smart display - Google Patents
Apparatus, method and computer program for providing augmented reality contentes through smart display Download PDFInfo
- Publication number
- KR20210055381A KR20210055381A KR1020190141748A KR20190141748A KR20210055381A KR 20210055381 A KR20210055381 A KR 20210055381A KR 1020190141748 A KR1020190141748 A KR 1020190141748A KR 20190141748 A KR20190141748 A KR 20190141748A KR 20210055381 A KR20210055381 A KR 20210055381A
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- reality content
- target object
- information
- objects
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims description 52
- 238000004590 computer program Methods 0.000 title claims description 15
- 230000008859 change Effects 0.000 claims description 16
- 238000002716 delivery method Methods 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 241000251468 Actinopterygii Species 0.000 description 9
- 241000894007 species Species 0.000 description 7
- 208000002173 dizziness Diseases 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 241000029091 Acanthurus coeruleus Species 0.000 description 1
- 241000334163 Amphiprion percula Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to an apparatus, a method, and a computer program for providing augmented reality content through a smart display.
증강 현실(AR, Augmented Reality)이란 현실의 이미지나 배경에 3차원의 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술을 말한다. 증강 현실은 현실과 가상을 혼합된 영상으로 제공함으로써, 실제 환경 보다 나은 현실감과 부가 정보를 사용자에게 제공한다는 장점을 가지고 있다. Augmented Reality (AR) refers to a technology that displays a single image by superimposing a 3D virtual image on a real image or background. Augmented reality has the advantage of providing a user with a better sense of reality and additional information than the real environment by providing a mixed image of reality and virtual.
이러한 증강 현실 서비스와 관련하여, 선행기술인 한국공개특허 제 2017-0054146호는 증강 현실 제공 방법을 개시하고 있다. In relation to such augmented reality service, Korean Patent Publication No. 2017-0054146, which is a prior art, discloses a method of providing an augmented reality.
증강 현실을 구현하기 위해서는 카메라로부터 수신된 영상의 어느 곳에 증강 현실 컨텐츠를 증강시킬 것인지를 결정해야 한다. 증강 현실은 증강 현실을 생성하기 위한 기준 정보에 기초하여 선택된 객체에 증강되며, 동일한 기준 정보를 가진 객체가 복수개인 경우, 복수개의 객체 중 어느 객체에 증강 현실 컨텐츠를 증강해야 하는지 결정하기 어려운 문제점이 있다. In order to implement the augmented reality, it is necessary to determine where to augment the augmented reality content in the image received from the camera. Augmented reality is augmented on an object selected based on reference information for generating augmented reality, and when there are a plurality of objects having the same reference information, it is difficult to determine which object of the plurality of objects to augment the augmented reality content. have.
스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하여 대상 공간 내에 위치하는 복수의 객체를 분석하여 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하는 증강 현실 컨텐츠 제공 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다. To provide an augmented reality content providing apparatus, method, and computer program that captures a target space located inside a smart display and analyzes a plurality of objects located within the target space to obtain reference information for each object required for the creation of augmented reality content. do.
기준 정보에 기초하여 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하여 대상 객체에 대한 증강 현실 컨텐츠를 제공받고, 대상 공간 상에 오버레이되도록 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 스마트 디스플레이를 통해 표시하는 증강 현실 컨텐츠 제공 장치, 방법 및 컴퓨터 프로그램을 제공하고자 한다.Based on the reference information, a target object to which augmented reality content is to be mapped is selected from among a plurality of objects to receive augmented reality content for the target object, and a smart display of the augmented reality content for the target object provided to be overlaid on the target space An augmented reality content providing apparatus, a method, and a computer program displayed through the present invention are provided.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. However, the technical problem to be achieved by the present embodiment is not limited to the technical problems as described above, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 카메라를 통해 상기 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하는 촬영부, 상기 촬영된 영상으로부터 상기 대상 공간 내에 위치하는 복수의 객체를 분석하여 상기 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하는 획득부, 상기 획득한 기준 정보에 기초하여 상기 복수의 객체 중 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 대상 객체 선택부, 상기 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 상기 컨텐츠 제공 서버로부터 상기 대상 객체에 대한 증강 현실 컨텐츠를 제공받는 제공부 및 상기 대상 공간 상에 오버레이되도록 상기 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 상기 스마트 디스플레이를 통해 표시하는 표시부를 포함하는 증강 현실 컨텐츠 제공 장치를 제공할 수 있다. As a means for achieving the above-described technical problem, an embodiment of the present invention provides a photographing unit for photographing a target space located inside the smart display through a camera, and a plurality of devices located within the target space from the captured image. An acquisition unit that analyzes an object of and obtains reference information for each object necessary for generating the augmented reality content, a target object that selects a target object to map the augmented reality content from among the plurality of objects based on the acquired reference information A selection unit, a providing unit that transmits reference information on the selected target object to a content providing server, and receives augmented reality content for the target object from the content providing server, and the provided target object to be overlaid on the target space It is possible to provide an augmented reality content providing device including a display unit for displaying the augmented reality content for the smart display.
본 발명의 다른 실시예는, 카메라를 통해 상기 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하는 단계, 상기 촬영된 영상으로부터 상기 대상 공간 내에 위치하는 복수의 객체를 분석하여 상기 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하는 단계, 상기 획득한 기준 정보에 기초하여 상기 복수의 객체 중 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 단계, 상기 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 상기 컨텐츠 제공 서버로부터 상기 대상 객체에 대한 증강 현실 컨텐츠를 제공받는 단계 및 상기 대상 공간 상에 오버레이되도록 상기 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 상기 스마트 디스플레이를 통해 표시하는 단계를 포함하는 증강 현실 컨텐츠 제공 방법을 제공할 수 있다. In another embodiment of the present invention, capturing a target space located inside the smart display through a camera, analyzing a plurality of objects located in the target space from the captured image to generate the augmented reality content Obtaining necessary reference information for each object, selecting a target object to which the augmented reality content is to be mapped from among the plurality of objects based on the obtained reference information, and transmitting reference information on the selected target object to a content providing server Transmitting and receiving an augmented reality content for the target object from the content providing server, and displaying an augmented reality content for the provided target object through the smart display so as to be overlaid on the target space A method of providing augmented reality content may be provided.
본 발명의 또 다른 실시예는, 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 카메라를 통해 상기 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하고, 상기 촬영된 영상으로부터 상기 대상 공간 내에 위치하는 복수의 객체를 분석하여 상기 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하고, 상기 획득한 기준 정보에 기초하여 상기 복수의 객체 중 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하고, 상기 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 상기 컨텐츠 제공 서버로부터 상기 대상 객체에 대한 증강 현실 컨텐츠를 제공받고, 상기 대상 공간 상에 오버레이되도록 상기 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 상기 스마트 디스플레이를 통해 표시하도록 하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다. In another embodiment of the present invention, when a computer program is executed by a computing device, a camera captures a target space located inside the smart display, and a plurality of objects located in the target space from the captured image To obtain reference information for each object required for generating the augmented reality content, select a target object to map the augmented reality content from among the plurality of objects based on the obtained reference information, and to the selected target object Transmitting reference information for the content providing server, receiving augmented reality content for the target object from the content providing server, and displaying the augmented reality content for the provided target object to be overlaid on the target space by displaying the smart display. A computer program stored in a medium including a sequence of instructions to be displayed through may be provided.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present invention. In addition to the above-described exemplary embodiments, there may be additional embodiments described in the drawings and detailed description of the invention.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 3차원으로 구성된 대상 공간에서 이동성을 가진 다중 객체에 대해 관람자의 관람 조건에 최적화된 대상 객체를 선택하고, 선택된 대상 객체에 대한 증강 현실 컨텐츠를 스마트 디스플레이 상에 오버레이되도록 표시함으로써, 관람자에게 몰입감 높은 서비스 관람 경험과 증강 현실을 통한 간접 상호 작용이 극대화되도록 하는 증강 현실 컨텐츠 제공 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.According to any one of the above-described problem solving means of the present invention, for multiple objects having mobility in a three-dimensional target space, a target object optimized for the viewing condition of the spectator is selected, and augmented reality content for the selected target object is provided. By displaying so as to be overlaid on a smart display, an augmented reality content providing apparatus, a method, and a computer program can be provided for spectators to maximize an immersive service viewing experience and indirect interaction through augmented reality.
동일한 기준 정보를 가진 객체가 복수개인 경우, 종래에는 복수개의 객체에 대한 증강 현실 컨텐츠가 중복되어 표시됨으로써, 관람자의 관람 경험을 저해하거나, 스마트 디스플레이의 영역을 과도하게 차지하거나 중첩됨으로써, 관람자가 필요 정보를 인지하기 어려웠던 점을 개선할 수 있도록 하는 증강 현실 컨텐츠 제공 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.When there are a plurality of objects with the same reference information, augmented reality contents for the plurality of objects are displayed in duplicate, which hinders the viewing experience of the viewer, or excessively occupies or overlaps the area of the smart display, so that the viewer is required. It is possible to provide an augmented reality content providing apparatus, a method, and a computer program to improve the difficulty of recognizing information.
이동성을 가지는 객체의 경우, 움직이는 객체에 대해 증강된 증강 현실 컨텐츠로 인해, 관람자가 어지러움증을 느끼거나 정보의 인지에 어려움이 따랐으나, 이를 해결할 수 있도록 하는 증강 현실 컨텐츠 제공 장치, 방법 및 컴퓨터 프로그램을 제공할 수 있다.In the case of an object having mobility, an augmented reality content providing apparatus, method, and computer program that enable viewers to feel dizziness or perceive information were difficult due to augmented reality content augmented with respect to the moving object. Can provide.
도 1은 본 발명의 일 실시예에 따른 증강 현실 컨텐츠 제공 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 복수의 객체의 위치 좌표를 획득하는 과정을 설명하기 위한 예시적인 도면이다.
도 3a 내지 도 3f는 본 발명의 일 실시예에 따른 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 과정을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 대상 객체에 대한 증강 현실 컨텐츠가 스마트 디스플레이를 통해 표시되는 과정을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 컨텐츠 제공 장치에서 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 방법의 순서도이다. 1 is a block diagram of an augmented reality content providing apparatus according to an embodiment of the present invention.
2 is an exemplary diagram for describing a process of acquiring position coordinates of a plurality of objects according to an embodiment of the present invention.
3A to 3F are exemplary diagrams for explaining a process of selecting a target object to which augmented reality content is to be mapped from among a plurality of objects according to an embodiment of the present invention.
4 is an exemplary diagram for explaining a process of displaying an augmented reality content for a target object through a smart display according to an embodiment of the present invention.
5 is a flowchart of a method of providing augmented reality content through a smart display in an augmented reality content providing device according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. Throughout the specification, when a part is said to be "connected" with another part, this includes not only "directly connected" but also "electrically connected" with another element interposed therebetween. . In addition, when a part "includes" a certain component, it means that other components may be further included, and one or more other features, not excluding other components, unless specifically stated to the contrary. It is to be understood that it does not preclude the presence or addition of any number, step, action, component, part, or combination thereof.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.In the present specification, the term "unit" includes a unit realized by hardware, a unit realized by software, and a unit realized using both. Further, one unit may be realized by using two or more hardware, or two or more units may be realized by one piece of hardware.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.In this specification, some of the operations or functions described as being performed by the terminal or device may be performed instead in a server connected to the terminal or device. Likewise, some of the operations or functions described as being performed by the server may also be performed by a terminal or device connected to the server.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다. Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 증강 현실 컨텐츠 제공 장치의 구성도이다. 도 1을 참조하면, 촬영부(110), 획득부(120), 대상 객체 선택부(130), 제공부(140) 및 표시부(150)를 포함할 수 있다. 1 is a block diagram of an augmented reality content providing apparatus according to an embodiment of the present invention. Referring to FIG. 1, a photographing
촬영부(110)는 카메라를 통해 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영할 수 있다. 예를 들어, 촬영부(110)는 카메라를 통해 스마트 디스플레이의 내측에 위치하는 아쿠아리움의 내부 공간을 촬영할 수 있다. The photographing
획득부(120)는 촬영된 영상으로부터 대상 공간 내에 위치하는 복수의 객체를 분석하여 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득할 수 있다.The
여기서, 대상 공간 내에 위치하는 복수의 객체는 아쿠아리움 내에서 이동하는 수중 동물일 수 있으며, 객체별 기준 정보는 어종 정보일 수 있다. 예를 들어, 획득부(120)는 컨텐츠 제공 서버(미도시)로 객체별 이미지 정보를 요청하고, 컨텐츠 제공 서버(미도시)로부터 수신된 객체별 이미지 정보 및 촬영된 영상에 포함된 복수의 객체에 대한 객체별 이미지 정보를 비교하여 객체별 기준 정보(예를 들어, 흰동가리, 블루탱 등)를 획득할 수 있다. Here, the plurality of objects located in the target space may be underwater animals moving in the aquarium, and the reference information for each object may be fish species information. For example, the
획득부(120)는 대상 공간에 대해 설정된 공간 좌표에 기초하여 복수의 객체가 위치한 위치 좌표 및 객체별 개체 수 정보를 획득할 수 있다. 복수의 객체가 위치한 위치 좌표를 획득하는 과정에 대해서는 도 2를 통해 상세히 설명하도록 한다. The
도 2는 본 발명의 일 실시예에 따른 복수의 객체의 위치 좌표를 획득하는 과정을 설명하기 위한 예시적인 도면이다. 도 2를 참조하면, 대상 공간(200)은 x축(201), y축(202), z축(203)의 3차원 공간 좌표로 구성될 수 있다. 2 is an exemplary diagram for describing a process of acquiring position coordinates of a plurality of objects according to an embodiment of the present invention. Referring to FIG. 2, the
획득부(120)는 대상 공간(200)에 대해 설정된 공간 좌표에 기초하여 복수의 객체가 위치한 위치 좌표를 획득할 수 잇다. 예를 들어, 대상 객체 획득부(120)는 제 1 객체(210)의 위치 좌표를 (x1, y1, z1)로 획득하고, 제 2 객체(220)의 위치 좌표를 (x2, y2, z3)으로 획득할 수 있다. The
다시 도 1로 돌아와서, 대상 객체 선택부(130)는 획득한 기준 정보에 기초하여 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택할 수 있다. 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 과정에 대해서는 도 3a 내지 도 3f를 통해 상세히 설명하도록 한다. Returning to FIG. 1 again, the target
도 3a 내지 도 3f는 본 발명의 일 실시예에 따른 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 과정을 설명하기 위한 예시적인 도면이다. 3A to 3F are exemplary diagrams for explaining a process of selecting a target object to which augmented reality content is to be mapped from among a plurality of objects according to an embodiment of the present invention.
대상 객체 선택부(130)는 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하기 위해 복수의 객체 중 기준 정보가 동일한 객체가 적어도 둘 이상인지 여부를 판단할 수 있다. The target
대상 객체 선택부(130)는 기준 정보가 동일한 객체가 적어도 둘 이상인 경우, 기설정된 대상 객체 선택 조건 정보에 기초하여 동일한 둘 이상의 객체 중 적어도 어느 하나를 증강 현실 컨텐츠를 매핑할 대상 객체로 선택할 수 있다. 여기서, 대상 객체 선택 조건 정보는 디스플레이와 객체 간의 직선 거리 정보, 객체 면적 넓이 정보, 디스플레이 상에서의 객체 위치 정보, 객체 이동 속도 정보, 객체 이동 속도 변화량 정보 등을 포함할 수 있다. When there are at least two objects having the same reference information, the target
도 3a는 본 발명의 일 실시예에 따른 복수의 객체 중 디스플레이와 객체 간의 직선 거리 정보를 도출하는 과정을 설명하기 위한 예시적인 도면이다. 도 2 및 도 3a를 참조하면, 대상 객체 선택부(130)는 증강 현실 컨텐츠가 표시될 스마트 디스플레이(300)로부터 각각의 객체 간의 직선 거리 정보를 도출할 수 있다. 3A is an exemplary diagram illustrating a process of deriving linear distance information between a display and an object among a plurality of objects according to an embodiment of the present invention. 2 and 3A, the target
예를 들어, 대상 공간(200)에 기준 정보가 동일한 객체로 A 어종(301~303)이 3마리, B 어종(311~313)이 3마리가 존재한다고 가정하자. For example, suppose that there are 3 fish species A (301 to 303) and 3 fish species B (311 to 313) as objects having the same reference information in the
대상 객체 선택부(130)는 스마트 디스플레이(300)로부터 A 어종(301~303) 각각에 대한 직선 거리 정보를 도출할 수 있다. 여기서, 직선 거리 정보는 도 2에서 획득된 각 객체의 위치 좌표 중 z값에 해당하며, 대상 객체는 스마트 디스플레이(300)로부터 객체에 대한 직선 거리 정보는 z값이 작을수록 선택될 확률이 높아질 수 있다. The target
예를 들어, 대상 객체 선택부(130)는 A 어종(301~303) 중 스마트 디스플레이(300)로부터 A1 객체(301)의 직선 거리 정보를 'z2'(322), A2 객체(302)의 직선 거리 정보를 'z3'(323), A3 객체(303)의 직선 거리 정보를 'z6'(336)으로 도출할 수 있다. For example, the target
다른 예를 들어, 대상 객체 선택부(130)는 B 어종(311~313) 중 스마트 디스플레이(300)로부터 B1 객체(311)의 직선 거리 정보를 'z1'(321), B2 객체(312)의 직선 거리 정보를 'z4'(324), B3 객체(313)의 직선 거리 정보를 'z5'(325)로 도출할 수 있다. For another example, the target
도 3b는 본 발명의 일 실시예에 따른 객체 면적 넓이 정보를 도출하는 과정을 설명하기 위한 예시적인 도면이다. 도 3b를 참조하면, 대상 객체 선택부(130)는 관람자가 스마트 디스플레이(300)를 정면으로 바라봤을 때의 스마트 디스플레이 화면 상에서 각각의 객체가 차지하는 면적 넓이를 도출할 수 있다. 여기서, 각각의 객체 면적 넓이는 객체 가로폭(width) * 객체 높이(height)에 기초하여 도출될 수 있으며, 대상 객체는 단일 객체 면적 넓이 값이 클수록 선택될 확률이 높아질 수 있다. 3B is an exemplary diagram for explaining a process of deriving object area area information according to an embodiment of the present invention. Referring to FIG. 3B, the target
예를 들어, 대상 객체 선택부(130)는 A 어종(301~303) 중 A1 객체(301), A2 객체(302), A3 객체(303)의 면적 넓이 정보를 각각 도출할 수 있다. 여기서, A 어종(301~303)의 면적 넓이는 A3 객체(303) > A1 객체(301) > A2 객체(302) 순일 수 있다. For example, the target
다른 예를 들어, 대상 객체 선택부(130)는 B 어종(311~313) 중 B1 객체(311), B2 객체(312), B3 객체(313)의 면적 넓이 정보를 각각 도출할 수 있다. 여기서, B 어종(311~313)의 면적 넓이는 B3 객체(313) > B2 객체(312) > B1 객체(311) 순일 수 있다. For another example, the target
도 3c는 본 발명의 일 실시예에 따른 디스플레이 상에서의 객체 위치 정보를 도출하는 과정을 설명하기 위한 예시적인 도면이다. 도 2 및 도 3c를 참조하면, 객체 위치 정보는 대상 공간(200)의 객체가 스마트 디스플레이 상에서 보여지는 화면상의 좌표 위치를 의미할 수 있다. 예를 들어, 스마트 디스플레이의 가로 길이를 x축, 세로 길이를 y축으로 하는 경우, 객체가 가지는 위치 좌표는 (x, y)일 수 있다. 3C is an exemplary diagram for explaining a process of deriving object location information on a display according to an embodiment of the present invention. Referring to FIGS. 2 and 3C, the object location information may mean a coordinate location on a screen in which an object of the
스마트 디스플레이는 가시성과 UX를 고려하여 관리자에 의해 증강 현실 컨텐츠 출력 영역(330) 및 증강 현실 컨텐츠 미출력 영역(331)이 설정될 수 있다. 여기서, 증강 현실 출력 영역(330)은 증강 현실 컨텐츠가 매핑되는 영역 범위를 나타내고, 증강 현실 컨텐츠 미출력 영역(331)은 증강 현실 컨텐츠가 매핑되지 않은 영역 범위를 나타낼 수 있다. 증강 현실 컨텐츠의 미출력 영역(331)은 스마트 디스플레이의 면적, 모양, 대상 공간의 내부 객체 배치 환경에 따라 UX 관점에서 증강 현실 컨텐츠를 출력하기에 적합하지 않은 영역으로, 영역의 범위 및 위치는 스마트 디스플레이의 면적, 모양, 대상 공간의 내부 배치 상황에 따라 유연하게 설정될 수 있다. In the smart display, an augmented reality
대상 객체 선택부(130)는 복수의 객체가 위치한 각각의 위치 좌표가 디스플레이 상에서의 증강 현실 컨텐츠의 출력 영역(330) 또는 증강 현실 컨텐츠의 미출력 영역(331) 중 어느 하나에 포함되었는지 여부에 기초하여 객체 위치 정보로 결정할 수 있다. 여기서, 객체의 위치 좌표가 증강 현실 컨텐츠의 미출력 영역(331)에 포함되는 경우, 최소 충족치가 미충족됨에 따라 대상 객체의 선택에서 제외될 수 있다. The target
도 3d는 본 발명의 일 실시예에 따른 복수의 객체의 이동 속도 정보를 산출하는 과정을 설명하기 위한 예시적인 도면이다. 도 3d를 참조하면, 대상 객체 선택부(130)는 소정 시간 동안 복수의 객체가 위치한 각각의 위치 좌표의 변화에 기초하여 객체 이동 속도 정보를 산출할 수 있다. 3D is an exemplary diagram for explaining a process of calculating movement speed information of a plurality of objects according to an embodiment of the present invention. Referring to FIG. 3D, the target
예를 들어, 이동 속도가 빠른 객체에 증강 현실 컨텐츠를 매핑할 경우, 관람자가 증강 현실 컨텐츠의 인지하는데 어려움이 있으며, 증강 현실 컨텐츠의 증강에 의해 어지러움증을 느낄 수 있다. 여기서, 대상 객체는 이동 속도 값이 작을수록 대상 객체로 선택될 확률이 높아질 수 있으며, 이동 속도 값이 임계값을 초과하는 경우, 최소 충족치가 미충족됨에 따라 대상 객체의 선택에서 제외될 수 있다. For example, when augmented reality content is mapped to an object with a high moving speed, it is difficult for the viewer to recognize the augmented reality content, and dizziness may be felt by the augmentation of the augmented reality content. Here, the smaller the movement speed value of the target object, the higher the probability of being selected as the target object. When the movement speed value exceeds the threshold value, the target object may be excluded from the selection of the target object as the minimum satisfactory value is not satisfied.
예를 들어, 대상 객체 선택부(130)는 A 어종(301~303) 중 A1 객체(301)의 이동 속도: 0.5m/min(341), A2 객체(302)의 이동 속도: 1.2m/min(342), A3 객체(303)의 이동 속도: 5m/min(343)으로 산출할 수 있다. 다른 예를 들어, 대상 객체 선택부(130)는 B 어종(311~313) 중 B1 객체(311)의 이동 속도: 3.2m/min(344), B2 객체(312)의 이동 속도: 10m/min(345), B3 객체(313)의 이동 속도: 0.8m/min(346)으로 산출할 수 있다. For example, the target
또한, 대상 객체 선택부(130)는 다음의 수학식 1을 이용하여 객체 이동 속도 변화량 정보를 산출할 수 있다. In addition, the target
수학식 1을 참조하면, 대상 객체 선택부(130)는 소정 시간(예를 들어, n분) 동안 대상 공간의 객체의 속도 변화량의 절대값을 산출하여 객체 이동 속도 변화량 정보를 산출할 수 있다. Referring to Equation 1, the target
이 때, 측정 종료 시간은 증강 현실 컨텐츠의 각각의 러닝 타임, 서비스 도메인 및 기타 전시 관람 상황 등을 복합적으로 고려하여 관리자에 의해 설정될 수 있다. In this case, the measurement end time may be set by the administrator in consideration of the respective running time of the augmented reality content, the service domain, and other exhibition viewing conditions.
대상 객체 선택부(130) 속도 변화가 급격한 객체에 증강 현실 컨텐츠를 매핑하는 경우, 객체의 위치 좌표와 증강 현실 컨텐츠가 출력되는 위치 좌표 간의 괴리가 발생할 수 있으므로, 이로 인해 관람자가 증강 현실 컨텐츠를 인지하는데 어려움이 따를 수 있다. When the target
따라서, 대상 객체는 객체 이동 속도 변화량 정보의 절대값이 작을수록 선택될 확률이 높아질 수 있으며, 객체 이동 속도 변화량이 임계값 이상을 초과하는 경우, 최소 충족치가 미충족됨에 따라 대상 객체의 선택에서 제외될 수 있다. Therefore, the smaller the absolute value of the object movement speed change amount information, the higher the probability of selection of the target object may increase.If the object movement speed change amount exceeds the threshold value, the target object will be excluded from selection as the minimum satisfactory value is not satisfied. I can.
도 3e는 본 발명의 일 실시예에 따른 대상 객체를 선택하기 위해 고려되는 최소 충족치 및 가중치를 도시한 예시적인 도면이다. 도 3e를 참조하면, 대상 객체 선택부(130)는 증강 현실 컨텐츠를 제공하는 서비스의 도메인 및 서비스의 제공 상황에 따라 대상 객체 선택 조건 정보 각각에 대해 부여된 최소 충족치 및 가중치에 기초하여 증강 현실 컨텐츠를 매핑할 대상 객체를 선택할 수 있다. 3E is an exemplary diagram showing a minimum satisfactory value and a weight considered to select a target object according to an embodiment of the present invention. Referring to FIG. 3E, the target
최소 충족치(356)는 대상 객체 선택 조건 정보 중 디스플레이 상에서의 객체 위치 정보(353), 객체 이동 속도 정보(354), 객체 이동 속도 변화량 정보(355)에 대해 설정될 수 있다. The minimum
가중치(357)는 대상 객체 선택 조건 정보 중 디스플레이와 객체 간의 직선 거리 정보(351), 객체 면적 넓이 정보(352), 객체 이동 속도 정보(354) 및 객체 이동 속도 변화량 정보(355)에 대해 설정될 수 있다. The
도 3f는 본 발명의 일 실시예에 따른 최소 충족치 및 가중치를 반영하여 대상 객체를 선택하는 과정을 설명하기 위한 예시적인 도면이다. 도 3f를 참조하면, 대상 객체 선택 조건에 포함된 각각의 항목은 최소 충족치(356) 및 가중치(357)가 설정될 수 있다. 3F is an exemplary diagram for explaining a process of selecting a target object by reflecting a minimum satisfaction value and a weight according to an embodiment of the present invention. Referring to FIG. 3F, for each item included in the target object selection condition, a minimum
예를 들어, 디스플레이와 객체 간의 직선 거리 정보(351)에 대해 최소 충족치(356): 2m미만, 가중치(357): 5가 설정되고, 객체 면적 넓이 정보(352)에 대해 최소 충족치(356): 0.3m2, 가중치(357): 3이 설정되고, 디스플레이 상에서의 객체 위치 정보(353)에 대해 최소 충족치(356): 증강 현실 컨텐츠 미출력 영역(x<200, y<350)이 설정되고, 객체 이동 속도 정보(354)에 대해 최소 충족치(356): 5/min 미만, 가중치(357): 2가 설정되고, 객체 이동 속도 변화량 정보(355)에 대해 최소 충족치(356): 2m/min 미만, 가중치(357): 2가 설정될 수 있다. For example, a minimum satisfying value 356: less than 2m, weight 357: 5 is set for the
대상 객체 선택부(130)는 복수의 객체에 대해 최소 충족치를 만족하는지 여부를 판단할 수 있다. 이 때, 최소 충족치가 미충족된 객체에 대해서는 후보 대상 객체에서 제외되도록 할 수 있다. The target
예를 들어, 대상 객체 선택부(130)는 객체 2(362)가 디스플레이와 객체 간의 직선 거리 정보(351)의 최소 충족치를 미충족하고, 객체 3(363)이 디스플레이 상에서의 객체 위치 정보(353)의 최소 충족치를 미충족하므로, 객체 2(362) 및 객체 3(363)을 후보 대상 객체에서 제외(370)시킬 수 있다. For example, the target
이후, 대상 객체 선택부(130)는 가중치(357)에 기초하여 대상 객체에 대한 적합도를 산출할 수 있다. Thereafter, the target
수학식 2를 참조하면, 대상 객체 선택부(130)는 기정의된 가중치와 정규화된 대상 객체 선택 조건을 1차 다항식으로 계산하여 적합도를 산출할 수 있다. 이 때, 대상 객체 선택부(130)는 디스플레이와 객체 간의 직선 거리 정보(351), 객체 이동 속도 정보(354), 객체 이동 속도 변화량 정보(355)와 같이 값이 낮을수록 좋은 결과를 나타내는 경우, '1-(정규화된 값)'으로 적합도를 산출할 수 있다. Referring to
예를 들어, 대상 객체 선택부(130)는 객체 1(361)의 적합도가 '2.2608'이고, 객체 4(364)의 적합도가 '0.9975'로 산출되어, '객체 1'(361)을 최종 대상 객체(371)로 선택할 수 있다. For example, the target
다시 도 1로 돌아와서, 제공부(140)는 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버(미도시)로 전송하고, 컨텐츠 제공 서버(미도시)로부터 대상 객체에 대한 증강 현실 컨텐츠를 제공받을 수 있다. Returning to FIG. 1 again, the providing
표시부(150)는 대상 공간 상에 오버레이되도록 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 스마트 디스플레이를 통해 표시할 수 있다. 대상 객체에 대한 증강 현실 컨텐츠를 스마트 디스플레이를 통해 표시하는 과정에 대해서는 도 4를 통해 상세히 설명하도록 한다. The
도 4는 본 발명의 일 실시예에 따른 대상 객체에 대한 증강 현실 컨텐츠가 스마트 디스플레이를 통해 표시되는 과정을 설명하기 위한 예시적인 도면이다. 도 2 및 도 4를 참조하면, A 어종의 대상 객체로 'A3 객체'(401)가 선택된 경우, A 어종에 대한 증강 현실 컨텐츠(410)를 'A3 객체'(401)의 위치와 대응되는 위치에 오버레이하여 표시할 수 있다. 또한, B 어종의 대상 객체로 'B3 객체'(402)가 선택된 경우, B 어종에 대한 증강 현실 컨텐츠(411)를 'B3 객체'(402)의 위치와 대응되는 위치에 오버레이하여 표시할 수 있다. 4 is an exemplary diagram for explaining a process of displaying an augmented reality content for a target object through a smart display according to an embodiment of the present invention. 2 and 4, when the'A3 object' 401 is selected as the target object of the species A, the
이러한 과정을 통해 관람자(400)는 이동성을 지니는 수중 동물에 대해 증강된 증강 현실 컨텐츠를 인지하는데 어지러움증을 느끼지 않고, 필요 정보를 인지하는데 어려움이나 불편함을 느끼지 않게 된다는 장점을 제공할 수 있다. Through this process, the
이러한 증강 현실 컨텐츠 제공 장치(100)는 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 명령어들의 시퀀스를 포함하는 매체에 저장된 컴퓨터 프로그램에 의해 실행될 수 있다. 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 카메라를 통해 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하고, 촬영된 영상으로부터 대상 공간 내에 위치하는 복수의 객체를 분석하여 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하고, 획득한 기준 정보에 기초하여 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하고, 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 컨텐츠 제공 서버로부터 대상 객체에 대한 증강 현실 컨텐츠를 제공받고, 대상 공간 상에 오버레이되도록 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 스마트 디스플레이를 통해 표시하도록 하는 명령어들의 시퀀스를 포함할 수 있다. The augmented reality
도 5는 본 발명의 일 실시예에 따른 증강 현실 컨텐츠 제공 장치에서 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 방법의 순서도이다. 도 5에 도시된 증강 현실 컨텐츠 제공 장치(100)에서 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 방법은 도 1 내지 도 4에 도시된 실시예에 따라 증강 현실 컨텐츠 제공 장치(100)에 의해 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 4에 도시된 실시예에 따른 증강 현실 컨텐츠 제공 장치(100)에도 적용된다. 5 is a flowchart of a method of providing an augmented reality content through a smart display in an augmented reality content providing device according to an embodiment of the present invention. A method of providing augmented reality content through a smart display in the augmented reality
단계 S510에서 증강 현실 컨텐츠 제공 장치(100)는 카메라를 통해 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영할 수 있다. In step S510, the augmented reality
단계 S520에서 증강 현실 컨텐츠 제공 장치(100)는 촬영된 영상으로부터 대상 공간 내에 위치하는 복수의 객체를 분석하여 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득할 수 있다. In operation S520, the augmented reality
단계 S530에서 증강 현실 컨텐츠 제공 장치(100)는 획득한 기준 정보에 기초하여 복수의 객체 중 증강 현실 컨텐츠를 매핑할 대상 객체를 선택할 수 있다. In operation S530, the augmented reality
단계 S540에서 증강 현실 컨텐츠 제공 장치(100)는 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버(미도시)로 전송하고, 컨텐츠 제공 서버(미도시)로부터 대상 객체에 대한 증강 현실 컨텐츠를 제공받을 수 있다. In step S540, the augmented reality
단계 S550에서 증강 현실 컨텐츠 제공 장치(100)는 대상 공간 상에 오버레이되도록 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 스마트 디스플레이를 통해 표시할 수 있다. In step S550, the augmented reality
상술한 설명에서, 단계 S510 내지 S550은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.In the above description, steps S510 to S550 may be further divided into additional steps or may be combined into fewer steps, according to an embodiment of the present invention. In addition, some steps may be omitted as necessary, and the order between steps may be switched.
도 1 내지 도 5를 통해 설명된 증강 현실 컨텐츠 제공 장치에서 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 5를 통해 설명된 증강 현실 컨텐츠 제공 장치에서 스마트 디스플레이를 통해 증강 현실 컨텐츠를 제공하는 방법은 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다. A method of providing augmented reality content through a smart display in the augmented reality content providing apparatus described with reference to FIGS. 1 to 5 includes a computer program stored in a medium executed by a computer or a recording medium including instructions executable by a computer. It can also be implemented in a form. In addition, the method of providing augmented reality content through a smart display in the augmented reality content providing apparatus described with reference to FIGS. 1 to 5 may be implemented in the form of a computer program stored in a medium executed by a computer.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include a computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다. The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative and non-limiting in all respects. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention. do.
100: 증강 현실 컨텐츠 제공 장치
110: 촬영부
120: 획득부
130: 대상 객체 선택부
140: 제공부
150: 표시부100: augmented reality content providing device
110: filming department
120: acquisition unit
130: target object selection unit
140: providing unit
150: display
Claims (19)
카메라를 통해 상기 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하는 촬영부;
상기 촬영된 영상으로부터 상기 대상 공간 내에 위치하는 복수의 객체를 분석하여 상기 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하는 획득부;
상기 획득한 기준 정보에 기초하여 상기 복수의 객체 중 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 대상 객체 선택부;
상기 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 상기 컨텐츠 제공 서버로부터 상기 대상 객체에 대한 증강 현실 컨텐츠를 제공받는 제공부; 및
상기 대상 공간 상에 오버레이되도록 상기 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 상기 스마트 디스플레이를 통해 표시하는 표시부
를 포함하는, 증강 현실 컨텐츠 제공 장치.
In the device for providing augmented reality content through a smart display,
A photographing unit for photographing a target space located inside the smart display through a camera;
An acquisition unit that analyzes a plurality of objects located in the target space from the captured image to obtain reference information for each object necessary for generating the augmented reality content;
A target object selection unit for selecting a target object to which the augmented reality content is to be mapped from among the plurality of objects based on the acquired reference information;
A providing unit that transmits reference information on the selected target object to a content providing server, and receives augmented reality content for the target object from the content providing server; And
A display unit that displays augmented reality content for the provided target object to be overlaid on the target space through the smart display
Containing, augmented reality content providing device.
상기 대상 객체 선택부는 상기 복수의 객체 중 상기 기준 정보가 동일한 객체가 적어도 둘 이상인지 여부를 판단하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 1,
Wherein the target object selection unit determines whether at least two or more objects having the same reference information among the plurality of objects are determined.
상기 대상 객체 선택부는 상기 기준 정보가 동일한 객체가 적어도 둘 이상인 경우, 기설정된 대상 객체 선택 조건 정보에 기초하여 상기 동일한 둘 이상의 객체 중 적어도 어느 하나를 상기 증강 현실 컨텐츠를 매핑할 대상 객체로 선택하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 2,
The target object selection unit selects at least one of the two or more identical objects as a target object to which the augmented reality content is to be mapped, based on preset target object selection condition information, when there are at least two or more objects having the same reference information. In, augmented reality content providing device.
상기 대상 객체 선택 조건 정보는 디스플레이와 상기 객체 간의 직선 거리 정보, 객체 면적 넓이 정보, 상기 디스플레이 상에서의 객체 위치 정보, 객체 이동 속도 정보, 객체 이동 속도 변화량 정보 중 적어도 하나를 포함하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 3,
The target object selection condition information includes at least one of linear distance information between a display and the object, object area area information, object location information on the display, object movement speed information, and object movement speed change amount information. Content providing device.
상기 획득부는 상기 대상 공간에 대해 설정된 공간 좌표에 기초하여 상기 복수의 객체가 위치한 위치 좌표를 획득하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 4,
The apparatus for providing an augmented reality content, wherein the acquisition unit acquires position coordinates at which the plurality of objects are located based on spatial coordinates set for the target space.
상기 대상 객체 선택부는 상기 복수의 객체가 위치한 각각의 위치 좌표가 상기 디스플레이 상에서의 상기 증강 현실 컨텐츠의 출력 영역 또는 상기 증강 현실 컨텐츠의 미출력 영역 중 어느 하나에 포함되었는지 여부에 기초하여 상기 객체 위치 정보로 결정하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 5,
The target object selection unit uses the object position information based on whether the position coordinates of the plurality of objects are included in either the output area of the augmented reality content or the non-output area of the augmented reality content on the display. To determine, augmented reality content providing device.
상기 대상 객체 선택부는 소정 시간 동안 상기 복수의 객체가 위치한 각각의 위치 좌표의 변화에 기초하여 상기 객체 이동 속도 정보를 산출하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 5,
The target object selection unit to calculate the object movement speed information based on a change in the coordinates of each of the plurality of objects are located for a predetermined time, augmented reality content providing apparatus.
상기 대상 객체 선택부는 상기 증강 현실 컨텐츠를 제공하는 서비스의 도메인 및 상기 서비스의 제공 상황에 따라 상기 대상 객체 선택 조건 정보 각각에 대해 부여된 가중치에 기초하여 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 4,
The target object selection unit selects a target object to map the augmented reality content based on a weight assigned to each of the target object selection condition information according to the domain of the service providing the augmented reality content and the service provision situation. That, augmented reality content providing device.
상기 획득부는 상기 컨텐츠 제공 서버로 객체별 이미지 정보를 요청하고, 상기 객체별 이미지 정보 및 상기 촬영된 영상에 포함된 상기 복수의 객체에 대한 객체별 이미지 정보를 비교하여 상기 객체별 기준 정보를 획득하는 것인, 증강 현실 컨텐츠 제공 장치.
The method of claim 1,
The acquisition unit requests image information for each object from the content providing server, and obtains the reference information for each object by comparing the image information for each object and image information for each object of the plurality of objects included in the captured image. That, augmented reality content providing device.
카메라를 통해 상기 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하는 단계;
상기 촬영된 영상으로부터 상기 대상 공간 내에 위치하는 복수의 객체를 분석하여 상기 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하는 단계;
상기 획득한 기준 정보에 기초하여 상기 복수의 객체 중 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 단계;
상기 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 상기 컨텐츠 제공 서버로부터 상기 대상 객체에 대한 증강 현실 컨텐츠를 제공받는 단계; 및
상기 대상 공간 상에 오버레이되도록 상기 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 상기 스마트 디스플레이를 통해 표시하는 단계
를 포함하는, 증강 현실 컨텐츠 제공 방법.
In a method of providing augmented reality content through a smart display in an augmented reality content providing device,
Photographing a target space located inside the smart display through a camera;
Analyzing a plurality of objects located in the target space from the captured image to obtain reference information for each object necessary for generating the augmented reality content;
Selecting a target object to which the augmented reality content is to be mapped from among the plurality of objects based on the acquired reference information;
Transmitting reference information on the selected target object to a content providing server, and receiving augmented reality content for the target object from the content providing server; And
Displaying an augmented reality content for the provided target object to be overlaid on the target space through the smart display
Containing, augmented reality content providing method.
상기 대상 객체를 선택하는 단계는,
상기 복수의 객체 중 상기 기준 정보가 동일한 객체가 적어도 둘 이상인지 여부를 판단하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 10,
The step of selecting the target object,
And determining whether there are at least two or more objects having the same reference information among the plurality of objects.
상기 대상 객체를 선택하는 단계는,
상기 기준 정보가 동일한 객체가 적어도 둘 이상인 경우, 기설정된 대상 객체 선택 조건 정보에 기초하여 상기 동일한 둘 이상의 객체 중 적어도 어느 하나를 상기 증강 현실 컨텐츠를 매핑할 대상 객체로 선택하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 11,
The step of selecting the target object,
In the case where the reference information is at least two or more identical objects, selecting at least one of the two or more identical objects as a target object to which the augmented reality content is to be mapped, based on preset target object selection condition information. , A method of providing augmented reality content.
상기 대상 객체 선택 조건 정보는 디스플레이와 상기 객체 간의 직선 거리 정보, 객체 면적 넓이 정보, 상기 디스플레이 상에서의 객체 위치 정보, 객체 이동 속도 정보, 객체 이동 속도 변화량 정보 중 적어도 하나를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 12,
The target object selection condition information includes at least one of linear distance information between a display and the object, object area area information, object location information on the display, object movement speed information, and object movement speed change amount information. How to provide content.
상기 객체별 기준 정보를 획득하는 단계는,
상기 대상 공간에 대해 설정된 공간 좌표에 기초하여 상기 복수의 객체가 위치한 위치 좌표를 획득하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 13,
Acquiring the reference information for each object,
A method for providing an augmented reality content comprising the step of obtaining position coordinates at which the plurality of objects are located based on spatial coordinates set for the target space.
상기 대상 객체를 선택하는 단계는,
상기 복수의 객체가 위치한 각각의 위치 좌표가 상기 디스플레이 상에서의 상기 증강 현실 컨텐츠의 출력 영역 또는 상기 증강 현실 컨텐츠의 미출력 영역 중 어느 하나에 포함되었는지 여부에 기초하여 상기 객체 위치 정보로 결정하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 14,
The step of selecting the target object,
And determining the object location information based on whether the position coordinates of each of the plurality of objects are included in either an output area of the augmented reality content or a non-output area of the augmented reality content on the display. That is, augmented reality content providing method.
상기 대상 객체를 선택하는 단계는,
소정 시간 동안 상기 복수의 객체가 위치한 각각의 위치 좌표의 변화에 기초하여 상기 객체 이동 속도 정보를 산출하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 14,
The step of selecting the target object,
Comprising the step of calculating the object movement speed information on the basis of the change in the coordinates of each position in which the plurality of objects are located for a predetermined time, augmented reality content providing method.
상기 대상 객체를 선택하는 단계는,
상기 증강 현실 컨텐츠를 제공하는 서비스의 도메인 및 상기 서비스의 제공 상황에 따라 상기 대상 객체 선택 조건 정보 각각에 대해 부여된 가중치에 기초하여 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 14,
The step of selecting the target object,
Including the step of selecting a target object to map the augmented reality content based on a weight assigned to each of the target object selection condition information according to the domain of the service providing the augmented reality content and the service providing situation In, augmented reality content delivery method.
상기 객체별 기준 정보를 획득하는 단계는,
상기 컨텐츠 제공 서버로 객체별 이미지 정보를 요청하는 단계;
상기 객체별 이미지 정보 및 상기 촬영된 영상에 포함된 상기 복수의 객체에 대한 객체별 이미지 정보를 비교하여 상기 객체별 기준 정보를 획득하는 단계를 포함하는 것인, 증강 현실 컨텐츠 제공 방법.
The method of claim 10,
Acquiring the reference information for each object,
Requesting image information for each object from the content providing server;
And obtaining reference information for each object by comparing the image information for each object and the image information for each object included in the captured image.
카메라를 통해 상기 스마트 디스플레이의 내측에 위치하는 대상 공간을 촬영하고,
상기 촬영된 영상으로부터 상기 대상 공간 내에 위치하는 복수의 객체를 분석하여 상기 증강 현실 컨텐츠의 생성에 필요한 객체별 기준 정보를 획득하고,
상기 획득한 기준 정보에 기초하여 상기 복수의 객체 중 상기 증강 현실 컨텐츠를 매핑할 대상 객체를 선택하고,
상기 선택된 대상 객체에 대한 기준 정보를 컨텐츠 제공 서버로 전송하고, 상기 컨텐츠 제공 서버로부터 상기 대상 객체에 대한 증강 현실 컨텐츠를 제공받고,
상기 대상 공간 상에 오버레이되도록 상기 제공받은 대상 객체에 대한 증강 현실 컨텐츠를 상기 스마트 디스플레이를 통해 표시하도록 하는 명령어들의 시퀀스를 포함하는, 매체에 저장된 컴퓨터 프로그램.A computer program stored in a medium including a sequence of instructions for providing augmented reality content through a smart display,
Shooting a target space located inside the smart display through a camera,
Analyzing a plurality of objects located in the target space from the captured image to obtain reference information for each object necessary for generating the augmented reality content,
Selecting a target object to which the augmented reality content is to be mapped from among the plurality of objects based on the acquired reference information,
Transmitting reference information on the selected target object to a content providing server, receiving augmented reality content for the target object from the content providing server,
A computer program stored in a medium comprising a sequence of instructions for displaying, through the smart display, augmented reality content for the provided target object to be overlaid on the target space.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190141748A KR20210055381A (en) | 2019-11-07 | 2019-11-07 | Apparatus, method and computer program for providing augmented reality contentes through smart display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190141748A KR20210055381A (en) | 2019-11-07 | 2019-11-07 | Apparatus, method and computer program for providing augmented reality contentes through smart display |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210055381A true KR20210055381A (en) | 2021-05-17 |
Family
ID=76158128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190141748A KR20210055381A (en) | 2019-11-07 | 2019-11-07 | Apparatus, method and computer program for providing augmented reality contentes through smart display |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210055381A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023096339A1 (en) * | 2021-11-29 | 2023-06-01 | 삼성전자 주식회사 | Electronic device for providing content in association with external display device and content providing method thereof |
-
2019
- 2019-11-07 KR KR1020190141748A patent/KR20210055381A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023096339A1 (en) * | 2021-11-29 | 2023-06-01 | 삼성전자 주식회사 | Electronic device for providing content in association with external display device and content providing method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2683262C2 (en) | Information processing device, information processing method and program | |
JP5093053B2 (en) | Electronic camera | |
CN111627116A (en) | Image rendering control method and device and server | |
KR102402580B1 (en) | Image processing system and method in metaverse environment | |
US20140181630A1 (en) | Method and apparatus for adding annotations to an image | |
US9392248B2 (en) | Dynamic POV composite 3D video system | |
CN105284108B (en) | Image monitoring system, monitoring arrangement | |
US20140192055A1 (en) | Method and apparatus for displaying video on 3d map | |
KR20170086203A (en) | Method for providing sports broadcasting service based on virtual reality | |
US20170359562A1 (en) | Methods and systems for producing a magnified 3d image | |
WO2014094874A1 (en) | Method and apparatus for adding annotations to a plenoptic light field | |
JPWO2016002656A1 (en) | Gaze measurement system, gaze measurement method, and program | |
US20230056459A1 (en) | Image processing device, method of generating 3d model, learning method, and program | |
KR20180120456A (en) | Apparatus for providing virtual reality contents based on panoramic image and method for the same | |
CN114449303B (en) | Live broadcast picture generation method and device, storage medium and electronic device | |
US11087527B2 (en) | Selecting an omnidirectional image for display | |
CN109978945B (en) | Augmented reality information processing method and device | |
JP2019016862A (en) | Information processing device, information processing system, information processing device control method, and program | |
KR20210055381A (en) | Apparatus, method and computer program for providing augmented reality contentes through smart display | |
CN113870213A (en) | Image display method, image display device, storage medium, and electronic apparatus | |
US11825066B2 (en) | Video reproduction apparatus, reproduction method, and program | |
JP2016103248A (en) | Image providing system and image providing method | |
JP6719945B2 (en) | Information processing apparatus, information processing method, information processing system, and program | |
JPWO2018173207A1 (en) | Information processing device | |
KR20130118761A (en) | Method and system for generating augmented reality scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal |