KR20210124131A - Method for automatically arranging augmented reality contents - Google Patents

Method for automatically arranging augmented reality contents Download PDF

Info

Publication number
KR20210124131A
KR20210124131A KR1020210129926A KR20210129926A KR20210124131A KR 20210124131 A KR20210124131 A KR 20210124131A KR 1020210129926 A KR1020210129926 A KR 1020210129926A KR 20210129926 A KR20210129926 A KR 20210129926A KR 20210124131 A KR20210124131 A KR 20210124131A
Authority
KR
South Korea
Prior art keywords
content
virtual content
posture
preset
polygons
Prior art date
Application number
KR1020210129926A
Other languages
Korean (ko)
Other versions
KR102479834B1 (en
Inventor
조익환
강상철
송형주
전진수
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210129926A priority Critical patent/KR102479834B1/en
Publication of KR20210124131A publication Critical patent/KR20210124131A/en
Application granted granted Critical
Publication of KR102479834B1 publication Critical patent/KR102479834B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention is a computer program stored in a computer recording medium for performing an automatic AR content placement method for generating augmented reality (AR) content by placing virtual content in a three-dimensional space and includes instructions for causing a processor to perform a method comprising: a step of locating the virtual content partitioned by a surface composed of a plurality of second polygons in the three-dimensional space partitioned by a surface composed of a plurality of first polygons; a step of detecting a proximal plane having the closest distance to the virtual content from among planes formed by a preset number of first polygons or more among the first polygons when a preset first condition is satisfied; and a step of determining whether to activate an automatic posture change mode of the virtual content in which movement is performed based on a second preset condition. Accordingly, the virtual content can be placed in a natural position and posture.

Description

AR 컨텐츠 자동 배치 방법 {METHOD FOR AUTOMATICALLY ARRANGING AUGMENTED REALITY CONTENTS}How to automatically place AR content {METHOD FOR AUTOMATICALLY ARRANGING AUGMENTED REALITY CONTENTS}

본 발명은 AR(Augmented Reality) 컨텐츠에서 가상 컨텐츠를 자동으로 배치하는 방법에 관한 것이다. 보다 자세하게는 AR 컨텐츠 내의 3차원 공간 및 가상 컨텐츠의 공간 정보에 근거하여 가상 컨텐츠를 자연스러운 위치와 자세로 자동 배치함으로써, 수동 배치에 의한 부자연스러움을 방지할 수 있는 AR 컨텐츠 자동 배치 방법에 관한 것이다. The present invention relates to a method for automatically arranging virtual content in AR (Augmented Reality) content. More particularly, it relates to a method for automatically arranging AR content that can prevent unnaturalness due to manual arrangement by automatically arranging virtual content in a natural position and posture based on spatial information of a three-dimensional space in AR content and virtual content.

근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 일반적인 가상 현실(virtual reality)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(augmented reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다. In recent years, various contents implemented using virtual information, such as virtual reality or augmented reality, have been proposed. BACKGROUND ART A general virtual reality (virtual reality) is a virtual space created by artificial technology using a computer or the like, and has characteristics that are similar to the real world but are not real. Augmented reality (AR) is a field of virtual reality, and refers to a technique capable of recognizing virtual information as a part of reality by synthesizing virtual information with a real object that a user sees.

최근에는 모바일 관련 기술의 발달에 따라, AR 기술이 적용된 휴대용 전자 기기들이 상용화되고 있다. 예컨대, 스마트폰(smartphone) 등과 같이 촬영 기능을 가진 휴대용 전자 기기의 디스플레이에, 사용자가 촬영하는 실제의 영상에 가상의 정보를 오버랩하여 출력하는 기능은 현재 대중화되어 비교적 흔하게 체험할 수 있다. 여기서 가상의 정보라 함은 특정한 사람이나 동물, 혹은 건물이나 장소 등 실제의 사물에 대한 텍스트 정보나 이미지 정보 등이 될 수 있으며, 경우에 따라서는 음악 등 비 시각적 정보를 포함할 수도 있다. 이러한 AR 기술은 사용자에게 현실의 객체와 가상의 정보가 융합된 실감나는 컨텐츠를 제공할 수 있다는 장점을 갖는다.Recently, with the development of mobile-related technologies, portable electronic devices to which AR technology is applied are being commercialized. For example, a function of overlapping and outputting virtual information on an actual image photographed by a user on the display of a portable electronic device having a photographing function, such as a smart phone, etc. is now popular and can be experienced relatively commonly. Here, the virtual information may be text information or image information about a specific person or animal, or a real object such as a building or place, and in some cases may include non-visual information such as music. Such AR technology has the advantage of providing users with realistic content in which real objects and virtual information are fused.

이러한 AR 컨텐츠를 제작하거나 제작된 AR 컨텐츠를 재생하기 위해서는, 실제의 사물인 객체를 모델링한 3차원 공간 내의 일정 위치에 가상 컨텐츠를 일정 자세로 배치하는 작업이 필수적으로 요구된다. 기존의 배치 방법에 의하면, AR 컨텐츠 제작 시에 저작자가 3차원 공간 내에 가상 컨텐츠를 수동으로 배치하게 된다. 하지만 이러한 방법은 정확히 배치하기가 매우 번거로울 뿐만 아니라, 잘못 배치할 경우 가상 컨텐츠가 3차원 공간의 벽 혹은 사물과 겹쳐 보이게 될 수도 있으며, 심지어 벽 혹은 사물의 뒤에 위치하게 될 수도 있다. 게다가, 가상 컨텐츠의 자세를 수동으로 설정할 경우, 가상 컨텐츠가 현실에서는 자연스럽게 나오기 어려운, 매우 어색하거나 불안정한 자세를 취하게 될 수 있다.In order to produce such AR content or to reproduce the produced AR content, it is essential to arrange the virtual content at a certain position in a three-dimensional space modeling an object, which is a real thing, in a certain posture. According to the existing arrangement method, the author manually arranges the virtual content in the 3D space when AR content is produced. However, this method is not only very cumbersome to accurately place, but if it is incorrectly placed, the virtual content may appear overlapping a wall or object in a 3D space, or even be located behind the wall or object. In addition, if the posture of the virtual content is manually set, the virtual content may take a very awkward or unstable posture that is difficult to appear naturally in reality.

이러한 가상 컨텐츠의 배치와 관련된 난점들은 AR 컨텐츠를 제작할 때뿐만 아니라 재생할 때에도 문제가 될 수 있다. 기존의 방법에 의하면, 입력된 현실의 객체가 데이터베이스 내의 학습된 3차원 공간과 매칭(matching)될 경우, 객체가 입력된 카메라 등의 입력 수단의 위치 및 자세 정보를 바탕으로 가상 컨텐츠를 증강하여 AR 컨텐츠를 재생하게 된다. 하지만, 이 때에도 실제 입력된 객체에 학습된 3차원 공간과의 차이점이 존재하는 경우 가상 컨텐츠가 부자연스럽게 배치될 수 있다는 문제가 발생한다.Difficulties related to the arrangement of such virtual content may be a problem not only when producing AR content but also when playing it. According to the existing method, when an inputted real object is matched with a learned three-dimensional space in a database, AR is augmented with virtual content based on the position and posture information of an input means such as a camera into which the object is input. content will be played. However, even in this case, if there is a difference between the actual input object and the learned 3D space, there is a problem that the virtual content may be arranged unnaturally.

이와 관련하여, 선행기술문헌 중 특허문헌 1은 모바일 기기의 위치를 기초로, 가상 공간에 멀티미디어 컨텐츠를 배치할 배치 영역을 설정하고, 설정된 영역에 멀티미디어 컨텐츠를 AR 컨텐츠로서 표시하는 기술을 개시하고 있다. 하지만 본 선행기술 역시 배치 영역이 잘못 설정된 경우 어색하게 보일 수 있으며, 컨텐츠의 위치가 아닌 자세로부터 발생할 수 있는 문제는 해결하기가 곤란하다는 문제가 있다.In this regard, Patent Document 1 among the prior art documents discloses a technique for setting an arrangement area for arranging multimedia content in a virtual space based on the location of a mobile device, and displaying the multimedia content as AR content in the set area. . However, this prior art also has a problem that it may look awkward when the arrangement area is set incorrectly, and it is difficult to solve a problem that may arise from an attitude other than the position of the content.

따라서, AR 컨텐츠 제작 및 재생 시에 있어 쉽고 정확하게 가상 컨텐츠의 자연스러운 위치와 자세를 결정할 수 있는 새로운 기술의 개발이 요구된다. Accordingly, development of a new technology capable of easily and accurately determining the natural position and posture of virtual content in AR content production and reproduction is required.

한국등록특허공보, 10-1372099 (2005.07.07.공개)Korean Patent Publication No. 10-1372099 (published on July 7, 2005)

본 발명의 해결하고자 하는 과제는 AR 컨텐츠에서 가상 컨텐츠를 3차원 공간 내에 배치하는 과정에 있어서, 부자연스러운 위치 혹은 자세로 배치되는 것을 방지할 수 있는 방법을 제공하는 것이다. SUMMARY OF THE INVENTION An object of the present invention is to provide a method for preventing the arrangement of virtual content in an unnatural position or posture in a process of arranging virtual content in a three-dimensional space in AR content.

다만, 본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.However, the problems to be solved of the present invention are not limited to those mentioned above, and other problems to be solved that are not mentioned can be clearly understood by those of ordinary skill in the art to which the present invention belongs from the following description. will be.

본 발명은 3차원 공간에 가상 컨텐츠를 배치하여 증강 현실(AR) 컨텐츠를 생성하기 위한 AR 컨텐츠 자동 배치 방법을 수행하는 컴퓨터 기록매체에 저장된 컴퓨터 프로그램으로서, 복수 개의 제 1 폴리곤(polygon)으로 구성되는 표면에 의해 구획된 상기 3차원 공간 내부에, 복수 개의 제 2 폴리곤으로 구성되는 표면에 의해 구획된 상기 가상 컨텐츠가 위치하도록 하는 단계와, 기 설정된 제 1 조건이 만족되면, 상기 복수 개의 제 1 폴리곤 중 기 설정된 수 이상의 제 1 폴리곤에 의해 형성되는 평면 중, 상기 가상 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 단계와, 기 설정된 제2 조건을 기초로 이동이 수행된 상기 가상 컨텐츠의 자동 자세 변경 모드의 활성화 여부를 결정하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.The present invention is a computer program stored in a computer recording medium for performing an automatic arrangement method of AR content for generating augmented reality (AR) content by arranging virtual content in a three-dimensional space, comprising a plurality of first polygons positioning the virtual content partitioned by a surface consisting of a plurality of second polygons in the three-dimensional space partitioned by the surface; and when a preset first condition is satisfied, the plurality of first polygons Among the planes formed by a preset number of first polygons or more, detecting a plane having the closest distance to the virtual content from among planes, and automatic posture of the virtual content in which movement is performed based on a preset second condition and instructions for causing the processor to perform a method including determining whether to activate the change mode.

상기 기 설정된 제 1 조건은 상기 평면 중, 상기 가상 컨텐츠와의 거리가 기 설정된 값 이하인 평면이 존재하는 것일 수 있다.The preset first condition may be that, among the planes, a plane having a distance from the virtual content equal to or less than a preset value exists.

상기 기 설정된 제 1 조건은 상기 가상 컨텐츠에 대해 상기 가상 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 단계 및 상기 가상 컨텐츠의 이동을 수행하는 단계가 자동으로 수행되도록 하는 자동 평면 부착 모드가 활성화된 것일 수 있다.The preset first condition is that the automatic plane attaching mode is activated so that the steps of detecting a plane having the closest distance from the virtual content to the virtual content and performing the movement of the virtual content are automatically performed. it could be

상기 가상 컨텐츠의 이동을 수행하는 단계는 상기 가상 컨텐츠의 이동 중에 상기 복수 개의 제 1 폴리곤 중 어느 하나와 상기 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력하는 단계를 포함하도록 프로그램될 수 있다.The moving of the virtual content includes outputting a preset notification when any one of the plurality of first polygons and any one of the plurality of second polygons come into contact with each other during the movement of the virtual content. can be programmed.

상기 자동 자세 변경 모드의 활성화 여부를 결정하는 단계에서, 기 설정된 제2 조건을 만족하면, 상기 자동 자세 변경 모드를 활성화시켜 상기 가상 컨텐츠의 자세를 안정적인 자세로 변경하고, 상기 안정적인 자세는, 상기 근접 평면과 상기 가상 컨텐츠 간의 거리가 0인 상태 중, 상기 복수 개의 제 1 폴리곤으로 둘러싸인 공간 및 상기 가상 컨텐츠가 밀도가 균일하고 변형되지 않는 기 정해진 크기의 강체(rigid body)로 이루어진 복수 개의 3차원 화소(voxel)로 채워져 있고, 상기 복수 개의 3차원 화소 각각에 상기 3차원 공간의 수직 아래 방향으로 일정한 힘이 작용한다고 가정할 경우, 상기 가상 컨텐츠가 움직이지 않는 상태이며, 상기 기 설정된 제 2 조건은 상기 가상 컨텐츠에 대해 상기 가상 컨텐츠의 자세를 안정적인 자세로 변경하는 단계가 자동으로 수행되도록 하는 것일 수 있다.In the step of determining whether to activate the automatic posture change mode, if a preset second condition is satisfied, the automatic posture change mode is activated to change the posture of the virtual content to a stable posture, and the stable posture is In a state in which the distance between the plane and the virtual content is 0, a space surrounded by the plurality of first polygons and a plurality of 3D pixels including a rigid body of a predetermined size in which the virtual content is uniform in density and not deformed (voxel), and assuming that a constant force is applied to each of the plurality of 3D pixels in a vertical downward direction in the 3D space, the virtual content is in a stationary state, and the preset second condition is The step of changing the posture of the virtual content to a stable posture with respect to the virtual content may be performed automatically.

상기 제 4 단계는 상기 가상 컨텐츠의 자세를, 상기 안정적인 자세 중, 자동 자세 변경모드의 활성화 여부를 판단하는 단계를 수행하는 과정에서 상기 복수 개의 3차원 화소 각각의 움직인 거리의 총합이 최소가 되는 자세로 변경하는 단계를 포함하도록 프로그램될 수 있다.In the fourth step, the sum of the distances moved by each of the plurality of 3D pixels is the minimum in the process of determining whether the automatic posture change mode is activated among the stable postures for the posture of the virtual content. It can be programmed to include changing posture.

본 발명의 일 실시예에 따르면, AR 컨텐츠 내의 3차원 공간 및 가상 컨텐츠의 공간 정보에 근거하여 가상 컨텐츠를 자연스러운 위치와 자세로 배치할 수 있다. 이에 따라 종래의 수동 배치 방법에서 발생할 수 있는, 가상 컨텐츠의 어색하거나 불안정한 위치 및 자세로 인해 AR 컨텐츠가 부자연스럽게 느껴지는 문제점을 해결할 수 있다.According to an embodiment of the present invention, the virtual content may be arranged in a natural position and posture based on the 3D space in the AR content and the spatial information of the virtual content. Accordingly, it is possible to solve the problem that AR content feels unnatural due to the awkward or unstable position and posture of the virtual content, which may occur in the conventional manual arrangement method.

도 1은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법을 개념적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 자동 자세 설정 과정을 개념적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 3차원의 물체를 3차원 화소로 분할하는 것을 개념적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 자동 배치 장치의 구성을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 재생 장치의 구성을 도시한 도면이다.
1 is a diagram conceptually illustrating a method for automatically arranging AR content according to an embodiment of the present invention.
2 is a diagram illustrating a sequence of a method for automatically arranging AR content executed in an apparatus for automatically arranging AR content according to an embodiment of the present invention.
3 is a diagram conceptually illustrating an automatic posture setting process in a method for automatically arranging AR content according to an embodiment of the present invention.
4 is a diagram conceptually illustrating division of a three-dimensional object into three-dimensional pixels in the method for automatically arranging AR content according to an embodiment of the present invention.
5 is a diagram illustrating a sequence of a method for automatically arranging AR content executed in an AR content reproducing apparatus according to an embodiment of the present invention.
6 is a diagram illustrating a configuration of an apparatus for automatically arranging AR content for executing a method for automatically arranging AR content according to an embodiment of the present invention.
7 is a diagram illustrating a configuration of an AR content reproducing apparatus for executing a method for automatically arranging AR content according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법을 개념적으로 도시한 도면이다. 도 1을 참조하면, AR 컨텐츠는 하나 이상의 물체를 포함하는 객체의 영상을 외부로부터 입력받아 3차원 모델링하여 생성된 3차원 공간(10)에, 가상 컨텐츠를 3차원 모델링하여 생성된 3차원 컨텐츠(20)를 배치함으로써 생성될 수 있다. 상기 3차원 모델링에 의해, 3차원 공간(10)은 복수 개의 제 1 폴리곤(polygon)으로 구성된 표면에 의해 구획될 수 있으며, 3차원 컨텐츠(20)는 복수 개의 제 2 폴리곤으로 구성된 표면에 의해 구획될 수 있다. 상기 3차원 모델링의 상세한 과정은 당업자에게 자명한 사항이므로 더 이상의 자세한 설명을 생략한다.1 is a diagram conceptually illustrating a method for automatically arranging AR content according to an embodiment of the present invention. Referring to FIG. 1 , AR content receives an image of an object including one or more objects from the outside and is generated by three-dimensional modeling in a three-dimensional space 10 generated by three-dimensional modeling of virtual content ( 20) can be created by placing By the 3D modeling, the 3D space 10 may be partitioned by a surface comprised of a plurality of first polygons, and the 3D content 20 may be partitioned by a surface comprised of a plurality of second polygons. can be Since the detailed process of the 3D modeling is obvious to those skilled in the art, further detailed description will be omitted.

만일 3차원 컨텐츠(20)가 3차원 공간(10) 내의 아무 물체와도 접하지 않는 허공에 해당하는 영역에 배치될 경우, 이는 사용자에게 부자연스러운 상황으로 받아들여질 수 있다. 이러한 문제를 해결하기 위해, 3차원 공간(10) 내의 표면 중 평면을 추출하여, 3차원 컨텐츠(20)가 그 위에 위치하도록 할 수 있다. 여기에서 평면은 기 설정된 수 이상의 제 1 폴리곤에 의해 형성되는 것으로 제한할 수 있으며, 경우에 따라서는 일정 곡률 이하의 곡면도 평면에 포함될 수 있다. 바람직하게는, 3차원 공간(10) 내의 다수 개의 평면 중 3차원 컨텐츠(20)에 가장 가까이 있는 근접 평면(30)에 3차원 컨텐츠(20)가 위치하도록 할 수 있다.If the 3D content 20 is disposed in an area corresponding to an empty space that does not come into contact with any object in the 3D space 10 , this may be perceived as an unnatural situation for the user. In order to solve this problem, a plane among the surfaces in the 3D space 10 may be extracted, and the 3D content 20 may be positioned thereon. Here, the plane may be limited to being formed by more than a preset number of first polygons, and in some cases, a curved surface of less than a certain curvature may also be included in the plane. Preferably, the 3D content 20 may be located in the proximal plane 30 closest to the 3D content 20 among a plurality of planes in the 3D space 10 .

다만, 3차원 컨텐츠(20)를 수동으로 평면 위에 위치시킬 경우 위치 및 자세 면에서 부자연스러울 수 있음은 위에서 살펴본 바와 같으므로, 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에서는 3차원 컨텐츠(20)의 위치 및 자세 결정을 자동으로 수행하게 되며, 그 자세한 과정에 대해서는 후술한다.However, as described above, when the 3D content 20 is manually positioned on a plane, it may be unnatural in terms of position and posture. 20) will automatically determine the position and posture, and the detailed process will be described later.

도 2는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다. 다만, 이러한 도 2의 AR 컨텐츠 자동 배치 방법은 본 발명의 일 실시예에 불과하므로, 도 2를 통해 본 발명의 사상이 한정 해석되는 것은 아니다. 2 is a diagram illustrating a sequence of a method for automatically arranging AR content that is executed in an apparatus for automatically arranging AR content according to an embodiment of the present invention. However, since the method for automatically arranging AR contents of FIG. 2 is only an embodiment of the present invention, the spirit of the present invention is not limitedly interpreted through FIG. 2 .

AR 컨텐츠 자동 배치 장치는 AR 컨텐츠의 저작자가 AR 컨텐츠의 저작을 위해 사용할 수 있는 장치로서, PC(personal computer), Server 등의 컴퓨터(Computer) 혹은 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistant) 등의 핸드헬드(handheld) 기반의 장치가 될 수 있다. AR 컨텐츠 자동 배치 장치의 예시적인 구성에 대해서는 후술하도록 한다.The AR content automatic arrangement device is a device that the author of AR content can use for the authoring of AR content. It may be a handheld-based device such as a tablet PC (PC) or a personal digital assistant (PDA). An exemplary configuration of the AR content automatic arrangement device will be described later.

이하에서는 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 대해 설명하도록 한다. 우선 3차원 공간(10)에 3차원 컨텐츠(20)를 위치시킨다(S110). 그리고 기 설정된 제 1 조건이 만족되면(S120), 복수 개의 제 1 폴리곤에 의해 형성되는 평면 중, 3차원 컨텐츠(20)와의 거리가 가장 가까운 근접 평면(30)을 검출한다(S130). 여기에서 기 설정된 제 1 조건은, 상기 평면 중에 3차원 컨텐츠(20)와의 거리가 기 설정된 값 이하인 평면이 존재하는 것일 수 있다. 이는 3차원 컨텐츠(20)로부터 일정 거리 내에 평면이 존재하는 경우에만 자동 부착 과정이 수행되게 하기 위한 것으로, 따라서 임의의 평면으로부터 일정 거리 밖에 있을 때에는 저작자가 수동으로 3차원 컨텐츠(20)의 위치를 변경할 수 있다.Hereinafter, a method for automatically arranging AR content executed in an apparatus for automatically arranging AR content according to an embodiment of the present invention will be described with reference to FIGS. 1 and 2 . First, the 3D content 20 is positioned in the 3D space 10 (S110). And when the preset first condition is satisfied ( S120 ), a proximal plane 30 having the closest distance to the 3D content 20 from among planes formed by the plurality of first polygons is detected ( S130 ). Here, the preset first condition may be that, among the planes, a plane in which the distance from the 3D content 20 is equal to or less than a preset value exists. This is to ensure that the automatic attachment process is performed only when a plane exists within a certain distance from the three-dimensional content 20. Therefore, when it is outside a certain distance from an arbitrary plane, the author manually determines the location of the three-dimensional content 20 can be changed

다음으로, 자동 위치 변경 과정이 수행된다. 구체적으로, 근접 평면(30)과 3차원 컨텐츠(20) 간의 거리가 0이 될 때까지 3차원 컨텐츠(20)의 이동을 수행한다(S140). 지금까지 설명된 근접 평면(30)을 비롯한 3차원 공간 내의 평면에 있어서, 3차원 컨텐츠(20)와의 거리는 3차원 컨텐츠(20)의 표면을 구성하는 복수 개의 제 2 폴리곤 중 평면에 가장 가까이 있는 제 2 폴리곤과의 거리로 정의될 수 있다.Next, an automatic repositioning process is performed. Specifically, the 3D content 20 is moved until the distance between the proximity plane 30 and the 3D content 20 becomes 0 ( S140 ). In the plane in the three-dimensional space including the proximity plane 30 described so far, the distance from the three-dimensional content 20 is the second polygon closest to the plane among the plurality of second polygons constituting the surface of the three-dimensional content 20 . 2 It can be defined as the distance from the polygon.

또한 상기 3차원 컨텐츠(20)를 이동시키는 단계는, 상기 3차원 컨텐츠의 이동 중에 3차원 공간(10)의 표면을 구성하는 복수 개의 제 1 폴리곤 중 어느 하나와 3차원 컨텐츠(20)의 표면을 구성하는 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력할 수 있다. 기 설정된 알림은 저작자가 시각 혹은 청각 등을 통해 지각할 수 있는 형태의 알림으로, 서로 간의 접촉이 발생한 제 1 폴리곤 및 제 2 폴리곤에 대한 정보를 포함할 수 있다. 이러한 접촉이 발생한다는 것은 3차원 공간(10)에 존재하는 물체와 3차원 컨텐츠(20) 간의 공간적 중첩이 발생한다는 의미이므로, 부자연스러운 배치를 야기할 수 있기 때문에 저작자에게 이를 알리도록 하는 것이다.In addition, the step of moving the 3D content 20 includes any one of a plurality of first polygons constituting the surface of the 3D space 10 and the surface of the 3D content 20 during the movement of the 3D content. A preset notification may be output when any one of the plurality of second polygons constituting the second polygon is in contact with each other. The preset notification is a type of notification that the author can perceive through sight or hearing, and may include information on the first polygon and the second polygon in which contact has occurred. The occurrence of such contact means that a spatial overlap between the object and the 3D content 20 in the 3D space 10 occurs, and this may cause an unnatural arrangement, so that the author is informed of this.

다음으로, 자동 자세 변경 과정이 수행된다. 자동 자세 변경 과정은 기 설정된 제 2 조건이 만족된 경우(S150) 3차원 컨텐츠의 자세를 안정적인 자세로 변경하는(S160) 선택적인 과정으로 구성될 수 있다. 상기 기 설정된 제 2 조건은 3차원 컨텐츠(20)의 자세를 안정적인 자세로 변경하는 단계(S160)이 자동으로 수행되도록 하는 자동 자세 변경 모드가 활성화된 것이 될 수 있다. 즉, 저작자는 활성화 여부를 결정함으로써 자동 자세 변경 과정의 수행 여부를 결정할 수 있으므로, AR 컨텐츠 저작 과정에 있어서 저작자의 선택의 폭이 넓어질 수 있다.Next, an automatic posture change process is performed. The automatic posture change process may be configured as an optional process of changing the posture of the 3D content to a stable posture (S160) when a preset second condition is satisfied (S150). The preset second condition may be that an automatic posture change mode in which the step ( S160 ) of changing the posture of the three-dimensional content 20 to a stable posture is automatically performed may be activated. That is, since the author can determine whether to perform the automatic posture change process by determining whether to activate it, the author's choice of AR content creation process can be broadened.

도 3은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 자동 자세 설정 과정을 개념적으로 도시한 도면이다. 도 3을 참조하면, 3차원 컨텐츠(20)를 안정적인 자세로 두는 것은 AR 컨텐츠를 열람하는 사용자에게 자연스러운 느낌을 주기 위해 필요할 수 있다. 예컨대, 연필과 같은 기다랗고 끝이 뾰족한 물체가 있다고 가정할 때, 뾰족한 끝 부분이 바닥면에 접한 채로 서 있는 것은 매우 부자연스럽다. 현실에서는 연필이, 연필에 돌림힘(torque)으로서 작용하는 중력에 의해, 연필의 측면이 바닥면에 닿을 때까지 바닥면에 접한 끝 부분을 축으로 하여 회전 운동을 하기 때문이다. 이와 같은 상황에서 연필의 안정적인 자세는 회전 운동을 멈춘 채로 측면이 바닥면에 닿아 있는 상태가 된다. 이와 유사하게, 도 3의 3차원 컨텐츠(20) 역시 근접 평면(30) 상에서 안정적인 자세를 취하도록 할 수 있다.3 is a diagram conceptually illustrating an automatic posture setting process in a method for automatically arranging AR content according to an embodiment of the present invention. Referring to FIG. 3 , placing the 3D content 20 in a stable posture may be necessary to give a natural feeling to a user reading the AR content. For example, assuming that there is a long, pointed object such as a pencil, it is very unnatural to stand with the pointed end in contact with the floor. This is because, in reality, the pencil rotates about the end of the pencil in contact with the floor surface as an axis until the side surface of the pencil touches the floor surface by gravity acting as a torque on the pencil. In such a situation, the stable posture of the pencil is a state in which the side is in contact with the floor while the rotational movement is stopped. Similarly, the 3D content 20 of FIG. 3 may also take a stable posture on the proximity plane 30 .

3차원 컨텐츠(20)의 안정적인 자세는, 근접 평면(30)과 상기 3차원 컨텐츠(20) 간의 거리가 0인 상태 중, 복수 개의 제 1 폴리곤으로 둘러싸인 공간 및 3차원 컨텐츠(20)가 밀도가 균일하고 변형되지 않는 기 정해진 크기의 강체(rigid body)로 이루어진 복수 개의 3차원 화소(voxel)로 채워져 있고, 상기 복수 개의 3차원 화소 각각에 3차원 공간(10)의 수직 아래 방향으로 일정한 힘이 작용한다고 가정할 경우, 3차원 컨텐츠(20)가 움직이지 않는 상태로 정의할 수 있다. 이는 다시 말해, 3차원 공간(10)과 3차원 컨텐츠(20)를 현실 공간으로 옮겨 놓았다고 가정할 때, 3차원 컨텐츠(20)가 중력에 의한 회전 운동을 하지 않는 상태를 가리킨다. The stable posture of the three-dimensional content 20 is a space surrounded by a plurality of first polygons and the three-dimensional content 20 is dense in a state in which the distance between the proximity plane 30 and the three-dimensional content 20 is 0. It is filled with a plurality of 3D pixels (voxel) composed of a rigid body of a uniform and non-deformable size, and a constant force in the vertical downward direction of the 3D space 10 is applied to each of the plurality of 3D pixels. Assuming that it works, it can be defined as a state in which the 3D content 20 does not move. In other words, assuming that the three-dimensional space 10 and the three-dimensional content 20 are moved to the real space, the three-dimensional content 20 does not rotate due to gravity.

상기 안정적인 자세의 정의에 대해 보다 구체적으로 설명하면 다음과 같다. 해석의 용이함을 위해, 3차원 컨텐츠(20)를 밀도가 균일하며, 압축이나 인장 등에 의한 변형이 발생하지 않는 강체로 가정할 수 있다. 이렇듯 강체로 가정된 3차원 컨텐츠(20)의 움직임을 해석하기 위해, 강체를 미소(微小) 부피를 갖는 단위 강체로 분할하고, 각 단위 강체에 중력이 적용된다고 보는 역학(力學)에서의 해석 방법과 유사한 방법을 사용할 수 있다. 따라서, 3차원 컨텐츠(20) 내부의 공간을 기 설정된 크기를 갖는 3차원 화소로 분할할 수 있으며, 각각의 3차원 화소에 대해서는 3차원 공간(10)의 수직 아래 방향으로의 힘, 즉 현실 세계의 중력에 대응되는 힘이 작용한다고 가정할 수 있다. 이에 대해서는 도 4를 참조하여 예시적으로 설명하도록 한다.The definition of the stable posture will be described in more detail as follows. For ease of analysis, it may be assumed that the three-dimensional content 20 has a uniform density and is a rigid body that does not deform due to compression or tension. In order to analyze the movement of the three-dimensional content 20 assumed as a rigid body, the rigid body is divided into a unit rigid body having a micro volume, and an analysis method in mechanics that considers that gravity is applied to each unit rigid body A method similar to that can be used. Therefore, the space inside the 3D content 20 can be divided into 3D pixels having a preset size, and for each 3D pixel, the force in the vertical downward direction of the 3D space 10, that is, the real world It can be assumed that a force corresponding to the gravitational force of This will be described by way of example with reference to FIG. 4 .

도 4는 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법에 있어, 3차원의 물체를 3차원 화소로 분할하는 것을 개념적으로 도시한 도면이다. 도 4를 참조하면, 왼쪽의 물체(40)는 오른쪽과 같이 3차원 화소의 집합(41)으로 모델링될 수 있으며, 개개의 3차원 화소에 일정한 방향과 크기로 힘이 가해진다고 가정하고 각 3차원 화소의 거동을 해석하면 물체(40)의 회전 운동을 모델링할 수 있다. 해석의 정확도를 높이기 위해서는, 3차원 화소의 크기를 가능한 한 작게 할 것이 요구된다. 4 is a diagram conceptually illustrating division of a three-dimensional object into three-dimensional pixels in the method for automatically arranging AR content according to an embodiment of the present invention. Referring to FIG. 4 , the object 40 on the left can be modeled as a set 41 of three-dimensional pixels as shown on the right, and it is assumed that force is applied to each three-dimensional pixel in a certain direction and size, and each three-dimensional By analyzing the behavior of the pixel, the rotational motion of the object 40 can be modeled. In order to increase the accuracy of the analysis, it is required to make the size of the three-dimensional pixel as small as possible.

다시 도 3으로 돌아와서 설명하면, 상기와 같은 가정들이 적용된 3차원 컨텐츠(20)가 더 이상의 회전 운동을 하지 않는 경우의 자세를 3차원 컨텐츠(20)의 안정적인 자세로 정의할 수 있다. 3차원 컨텐츠(20)뿐 아니라 3차원 공간(10) 내의 모델링된 물체들도 모두 강체로 가정하게 되므로, 3차원 컨텐츠(20)가 3차원 공간(10) 내의 모델링된 물체들과 공간적으로 서로 중첩되는 일은 발생하지 않게 된다.Referring back to FIG. 3 , a posture when the 3D content 20 to which the above assumptions are applied does not rotate any more may be defined as a stable posture of the 3D content 20 . Since not only the 3D content 20 but also the modeled objects in the 3D space 10 are assumed to be rigid bodies, the 3D contents 20 spatially overlap with the modeled objects in the 3D space 10 . things don't happen.

다만, 현실의 세계에서는 하나의 물체에 대해 안정적인 자세가 복수 개 있을 수 있다. 예컨대, 직육면체의 형상을 갖는 물체의 경우, 여섯 개의 면 중 어떤 것을 바닥면에 접촉시켜도 물체는 회전 운동 없이 안정적으로 서 있을 수 있다. 따라서, 3차원 컨텐츠(20) 역시 복수 개의 안정적인 자세를 가질 수 있으며, 경우에 따라서는 이들 중 적절한 자세를 선택해야 할 필요가 있을 수 있다.However, in the real world, there may be a plurality of stable postures for one object. For example, in the case of an object having a rectangular parallelepiped shape, even if any of the six surfaces is brought into contact with the floor surface, the object can stand stably without rotational movement. Accordingly, the 3D content 20 may also have a plurality of stable postures, and in some cases, it may be necessary to select an appropriate posture among them.

이러한 선택은 다양한 기준을 통해 이루어질 수 있는데, 한 가지 예로서, 3차원 컨텐츠(20)가 안정적인 자세를 취하는 과정에서 상기 복수 개의 3차원 화소 각각의 움직인 거리의 총합이 최소가 되는 자세를 선택할 수 있다. 이에 의해, 자동 자세 변경 과정에서의 물체의 움직임을 한층 자연스럽게 보이도록 할 수 있다.Such selection may be made through various criteria. As an example, a posture in which the sum of the distances moved by each of the plurality of three-dimensional pixels is the minimum in the process of the three-dimensional content 20 taking a stable posture may be selected. have. Accordingly, it is possible to make the movement of the object appear more natural during the automatic posture change process.

전술한 바와 같은 AR 컨텐츠 자동 배치 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 의해, AR 컨텐츠 내의 3차원 공간에 3차원 컨텐츠(20), 즉 가상 컨텐츠를 자연스러운 위치와 자세로 배치할 수 있다. 이에 따라 종래의 수동 배치 방법에서 발생할 수 있는, 가상 컨텐츠의 어색하거나 불안정한 위치 및 자세로 인해 AR 컨텐츠가 부자연스럽게 느껴지는 문제점을 해결할 수 있다. According to the automatic AR content arrangement method executed in the AR content automatic arrangement apparatus as described above, the three-dimensional content 20, that is, the virtual content, can be arranged in a natural position and posture in a three-dimensional space within the AR content. Accordingly, it is possible to solve the problem that AR content feels unnatural due to the awkward or unstable position and posture of the virtual content, which may occur in the conventional manual arrangement method.

도 5는 본 발명의 일 실시예에 따른 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법의 순서를 도시한 도면이다. 다만, 이러한 도 5의 AR 컨텐츠 자동 배치 방법은 본 발명의 일 실시예에 불과하므로, 도 5를 통해 본 발명의 사상이 한정 해석되는 것은 아니다. 5 is a diagram illustrating a sequence of a method for automatically arranging AR content executed in an AR content reproducing apparatus according to an embodiment of the present invention. However, since the method for automatically arranging AR contents of FIG. 5 is only an embodiment of the present invention, the spirit of the present invention is not limitedly interpreted through FIG. 5 .

AR 컨텐츠 자동 배치 장치는 AR 컨텐츠를 열람하는 사용자가 AR 컨텐츠의 재생(증강)을 위해 사용할 수 있는 장치로서, 일반적으로 스마트폰 혹은 스마트 패드 등과 같은 외부 객체의 영상을 입력받을 수 있는 모바일 기기를 통해 구현될 수 있지만 이에 한정되지는 않는다. AR 컨텐츠 재생 장치의 예시적인 구성에 대해서는 후술하도록 한다.The AR content automatic arrangement device is a device that a user who reads AR content can use to play (enhance) AR content, and is generally used through a mobile device that can receive an image of an external object such as a smartphone or a smart pad. It may be implemented, but is not limited thereto. An exemplary configuration of the AR content reproducing apparatus will be described later.

이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 대해 설명하도록 한다. 도 1 내지 도 4와 겹치는 부분에 대한 설명은 생략될 수 있다.Hereinafter, a method for automatically arranging AR content executed in an AR content reproducing apparatus according to an embodiment of the present invention will be described with reference to FIG. 5 . A description of a portion overlapping with FIGS. 1 to 4 may be omitted.

우선, 입력받은 현실의 객체에 대한 영상을 3차원 모델링하여 3차원 공간을 생성한다(S210). 이 과정에서, 3차원 뎁스 센서(3D depth sensor) 등을 통해 획득된 3차원 뎁스 데이터가 이용될 수 있다. 다음으로, 생성된 3차원 공간이 데이터베이스에 저장된, 사전에 학습된 3차원 공간과 일치할 경우(S220) 3차원 공간에 3차원 컨텐츠를 위치시킨다(S230). 이 과정에서, 현실의 객체에 대한 영상을 입력받은 카메라의 포즈(pose)에 관한 데이터가 사용될 수 있다. First, a three-dimensional space is generated by three-dimensional modeling of an image of an inputted real object (S210). In this process, 3D depth data obtained through a 3D depth sensor or the like may be used. Next, when the generated 3D space matches the previously learned 3D space stored in the database (S220), the 3D content is placed in the 3D space (S230). In this process, data regarding a pose of a camera receiving an image of a real object may be used.

전술한 과정들은 보통의 AR 컨텐츠 재생 과정에서 일반적으로 수행되는 과정들이다. 다만, AR 컨텐츠 저작 과정에서 3차원 컨텐츠의 위치와 자세를 자연스럽게 조절했다 하더라도, 입력받은 객체를 모델링한 3차원 공간이 사전에 학습된 3차원 공간과 다소 상이할 경우 3차원 컨텐츠가 어색하게 보일 수 있다. 따라서, AR 컨텐츠 재생 과정에서도 이하의 단계의 수행이 필요할 수 있다.The above-described processes are generally performed in a normal AR content reproduction process. However, even if the position and posture of the 3D contents are naturally adjusted during the AR contents authoring process, the 3D contents may look awkward if the 3D space in which the input object is modeled is somewhat different from the 3D space learned in advance. have. Accordingly, it may be necessary to perform the following steps in the AR content reproduction process.

이에 따라, 상기 3차원 컨텐츠에 대해 자동 위치 변경이 수행되도록 하는 자동 평면 부착 모드가 활성화되어 있을 경우(S240), 3차원 공간에 포함된 평면 중 3차원 컨텐츠에 가장 가까운 평면인 근접 평면을 검출한다(S250). 그리고 근접 평면과 3차원 컨텐츠 간의 거리가 0이 될 때까지 3차원 컨텐츠의 이동을 수행함으로써 3차원 컨텐츠를 근접 평면에 붙인다(S260). 이 과정에서, 3차원 컨텐츠의 이동 중에 3차원 공간의 표면을 구성하는 복수 개의 제 1 폴리곤 중 어느 하나와 3차원 컨텐츠의 표면을 구성하는 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력할 수 있다.Accordingly, when the automatic plane attachment mode for automatically changing the position of the three-dimensional content is activated (S240), a proximal plane that is the closest plane to the three-dimensional content among the planes included in the three-dimensional space is detected. (S250). Then, the 3D content is attached to the proximity plane by moving the 3D content until the distance between the adjacent plane and the 3D content becomes 0 (S260). In this process, when any one of the plurality of first polygons constituting the surface of the 3D space and any one of the plurality of second polygons constituting the surface of the 3D content come into contact with each other during the movement of the 3D content, the preset You can print notifications.

다음으로, 3차원 컨텐츠에 대해 자동 위치 변경이 수행되도록 하는 자동 자세 변경 모드가 활성화된 경우(S270) 3차원 컨텐츠의 자세를 안정적인 자세로 변경한다. 상기 안정적인 자세에 대해서는 도 1 내지 4를 통해 설명된 바 있으므로, 여기에서는 더 이상의 자세한 설명을 생략한다.Next, when the automatic posture change mode for automatically changing the position of the three-dimensional content is activated (S270), the posture of the three-dimensional content is changed to a stable posture. Since the stable posture has been described with reference to FIGS. 1 to 4 , further detailed description thereof will be omitted herein.

지금까지 설명한 AR 컨텐츠 재생 장치에서 실행되는 AR 컨텐츠 자동 배치 방법에 의해, AR 컨텐츠 내의 3차원 공간에 3차원 컨텐츠(20), 즉 가상 컨텐츠를 자연스러운 위치와 자세로 배치할 수 있다. 이에 따라 입력받은 객체를 모델링한 3차원 공간이 사전에 학습된 3차원 공간과 다소 상이할 경우 AR 컨텐츠가 부자연스럽게 느껴지는 문제점을 해결할 수 있다. According to the method for automatically arranging AR content executed in the AR content reproducing apparatus described so far, the three-dimensional content 20, ie, the virtual content, can be arranged in a natural position and posture in the three-dimensional space within the AR content. Accordingly, when the three-dimensional space in which the input object is modeled is somewhat different from the three-dimensional space learned in advance, it is possible to solve the problem that the AR content feels unnatural.

전술한 본 발명의 방법에 관한 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능한 기록 매체를 포함한다. 또한, 본 발명의 방법에 관한 실시예들은 상기 방법의 각 단계를 수행하기 위해 컴퓨터 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램을 포함한다.The above-described embodiments of the method of the present invention include a computer-readable recording medium including program instructions for performing various computer-implemented operations. In addition, the embodiments of the method of the present invention include a computer program stored in a computer-readable recording medium for performing each step of the method.

도 6은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 자동 배치 장치의 구성을 도시한 도면이다. 도 6의 AR 컨텐츠 자동 배치 장치(100)는 입력부(110), 제어부(120) 및 출력부(130)를 포함할 수 있다. 6 is a diagram illustrating a configuration of an apparatus for automatically arranging AR content for executing a method for automatically arranging AR content according to an embodiment of the present invention. The apparatus 100 for automatically arranging AR content of FIG. 6 may include an input unit 110 , a control unit 120 , and an output unit 130 .

입력부(110)는 AR 컨텐츠의 저작자로부터 일정한 명령을 수행할 것을 요청하는 입력을 받을 수 있으며, 키보드(keyboard), 마우스(mouse) 혹은 터치 패드(touch pad) 등의 입력 장치를 통해 구현될 수 있다. The input unit 110 may receive an input requesting to perform a predetermined command from the author of the AR content, and may be implemented through an input device such as a keyboard, a mouse, or a touch pad. .

제어부(120)는 객체를 모델링한 3차원 공간 및 가상 컨텐츠를 모델링한 3차원 컨텐츠를 로딩하고, 3차원 컨텐츠를 3차원 공간 내에 위치시킬 수 있다. 또한 제어부(120)는 수동 배치 방법에 의해 입력부(110)가 받은 입력에 근거하여 3차원 공간 내에서 3차원 컨텐츠의 위치를 변경할 수 있으며, 전술한 바와 같은 자동 배치 방법에 의해 3차원 컨텐츠의 위치 혹은 자세를 변경할 수도 있다. 수동 배치 방법과 자동 배치 방법 간의 전환은 저작자가 입력부(110)를 통해 입력한 바에 근거하여 이루어질 수 있다. 이러한 제어부(120)는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.The controller 120 may load a 3D space modeling an object and 3D content modeling a virtual content, and may place the 3D content in the 3D space. In addition, the control unit 120 may change the position of the 3D content in the 3D space based on the input received by the input unit 110 by the manual arrangement method, and the position of the 3D content by the automatic arrangement method as described above. Or you can change your posture. Switching between the manual placement method and the automatic placement method may be performed based on an input by the author through the input unit 110 . The control unit 120 may be implemented by an arithmetic device including a microprocessor.

출력부(130)는 상기 3차원 공간과, 3차원 공간 내에 위치한 3차원 컨텐츠를 저작자가 시각적으로 인식할 수 있도록 출력할 수 있으며, 3차원 컨텐츠가 위치 혹은 자세를 변경하는 과정도 출력하여 보여줄 수 있다. 이러한 출력부(130)는 LCD(liquid crystal display), OLED(organic light emitting diode) 등의 통상적인 디스플레이 장치를 통해 구현될 수 있다.The output unit 130 may output the three-dimensional space and three-dimensional content located in the three-dimensional space so that the author can visually recognize it, and output and show the process of changing the position or posture of the three-dimensional content. have. The output unit 130 may be implemented through a typical display device such as a liquid crystal display (LCD) or an organic light emitting diode (OLED).

도 7은 본 발명의 일 실시예에 따른 AR 컨텐츠 자동 배치 방법의 실행을 위한 AR 컨텐츠 재생 장치의 구성을 도시한 도면이다. 도 7의 AR 컨텐츠 재생 장치(200)는 객체 입력부(210), 사용자 입력부(220), 제어부(230) 및 출력부(240)를 포함할 수 있다. 7 is a diagram illustrating a configuration of an AR content reproducing apparatus for executing a method for automatically arranging AR content according to an embodiment of the present invention. The AR content reproducing apparatus 200 of FIG. 7 may include an object input unit 210 , a user input unit 220 , a control unit 230 , and an output unit 240 .

*객체 입력부(210)는 AR 컨텐츠 재생 장치 외부로부터 객체의 영상을 입력받을 수 있으며, 일반적인 카메라 혹은 3차원 뎁스 카메라 등의 영상 입력 장치를 통해 구현될 수 있다.* The object input unit 210 may receive an image of an object from outside the AR content playback device, and may be implemented through an image input device such as a general camera or a 3D depth camera.

사용자 입력부(220)는 AR 컨텐츠를 열람하는 사용자로부터 일정한 명령을 수행할 것을 요청하는 입력을 받을 수 있으며, 터치 스크린 등의 입력 장치를 통해 구현될 수 있다. The user input unit 220 may receive an input requesting to perform a predetermined command from a user viewing AR content, and may be implemented through an input device such as a touch screen.

제어부(230)는 객체 입력부(210)가 입력받은 객체의 영상에 근거하여 3차원 공간을 추출할 수 있으며, 추출된 3차원 공간이 데이터베이스에 기 저장된, 기존에 학습된 3차원 공간과 매칭될 경우 3차원 컨텐츠를 3차원 공간 내에 위치시킬 수 있다. 또한 제어부(230)는 전술한 바와 같은 자동 배치 방법에 의해 3차원 컨텐츠의 위치 혹은 자세를 변경할 수 있다. 제어부(230)의 자동 배치 방법의 실행은 사용자가 사용자 입력부(220)를 통해 입력한 바에 근거하여 이루어질 수 있다. 즉, 사용자가 자동 배치 방법을 실행할 것을 선택한 경우 제어부(230)가 자동 배치 방법을 실행하도록 할 수 있다. 이러한 제어부(230)는 마이크로프로세서를 포함하는 연산 장치에 의해 구현될 수 있다.The control unit 230 may extract a 3D space based on the image of the object received by the object input unit 210, and when the extracted 3D space matches the previously learned 3D space stored in the database 3D content may be located in 3D space. Also, the controller 230 may change the position or posture of the 3D content by the automatic arrangement method as described above. Execution of the automatic arrangement method of the control unit 230 may be performed based on a bar input by the user through the user input unit 220 . That is, when the user selects to execute the automatic placement method, the controller 230 may execute the automatic placement method. The control unit 230 may be implemented by a computing device including a microprocessor.

출력부(240)는 상기 3차원 공간과, 3차원 공간 내에 위치한 3차원 컨텐츠로 구성된 AR 컨텐츠를 사용자가 시각적으로 인식할 수 있도록 출력할 수 있다. 상기 3차원 컨텐츠는 제어부(230)의 자동 배치 방법의 실행에 의하여 설정된 위치 및 자세로 출력될 수 있다. 이러한 출력부(240)는 LCD(liquid crystal display), OLED(organic light emitting diode) 등의 통상적인 디스플레이 장치를 통해 구현될 수 있다.The output unit 240 may output the 3D space and AR contents including 3D contents located in the 3D space so that the user can visually recognize them. The 3D content may be output in a position and posture set by the execution of the automatic arrangement method of the controller 230 . The output unit 240 may be implemented through a typical display device such as a liquid crystal display (LCD) or an organic light emitting diode (OLED).

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.Combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions. These computer program instructions may be embodied in a processor of a general-purpose computer, special-purpose computer, or other programmable data processing equipment, such that the instructions executed by the processor of the computer or other programmable data processing equipment may be configured in the respective blocks in the block diagram or in the flowchart. Each step creates a means for performing the described functions. These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular manner, and thus the computer-usable or computer-readable memory. The instructions stored in the block diagram may also produce an item of manufacture containing instruction means for performing the functions described in each block in the block diagram or in each step in the flowchart. The computer program instructions may also be mounted on a computer or other programmable data processing equipment, such that a series of operational steps are performed on the computer or other programmable data processing equipment to create a computer-executed process to create a computer or other programmable data processing equipment. It is also possible that instructions for performing the processing equipment provide steps for carrying out the functions described in each block of the block diagram and each step of the flowchart.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step may represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function(s). It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications and variations will be possible without departing from the essential quality of the present invention by those skilled in the art to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

본 발명의 일 실시예에 따르면, AR 컨텐츠 내의 3차원 공간 및 가상 컨텐츠의 공간 정보에 근거하여 가상 컨텐츠를 자연스러운 위치와 자세로 배치함으로써, AR 컨텐츠가 부자연스럽게 느껴지는 것을 방지할 수 있다.According to an embodiment of the present invention, it is possible to prevent the AR content from feeling unnatural by arranging the virtual content in a natural position and posture based on the three-dimensional space in the AR content and the spatial information of the virtual content.

100: AR 컨텐츠 자동 배치 장치
110: 입력부
120: 제어부
130: 출력부
200: AR 컨텐츠 재생 장치
210: 객체 입력부
220: 사용자 입력부
230: 제어부
240: 출력부
100: AR content automatic placement device
110: input unit
120: control unit
130: output unit
200: AR content playback device
210: object input unit
220: user input unit
230: control unit
240: output unit

Claims (7)

3차원 공간에 가상 컨텐츠를 배치하여 증강 현실(AR) 컨텐츠를 생성하기 위한 AR 컨텐츠 자동 배치 방법을 수행하는 컴퓨터 기록매체에 저장된 컴퓨터 프로그램으로서,
복수 개의 제 1 폴리곤(polygon)으로 구성되는 표면에 의해 구획된 상기 3차원 공간 내부에, 복수 개의 제 2 폴리곤으로 구성되는 표면에 의해 구획된 상기 가상 컨텐츠가 위치하도록 하는 단계;
기 설정된 제 1 조건이 만족되면, 상기 복수 개의 제 1 폴리곤 중 기 설정된 수 이상의 제 1 폴리곤에 의해 형성되는 평면 중, 상기 가상 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 단계; 및
기 설정된 제2 조건을 기초로 상기 가상 컨텐츠의 자동 자세 변경 모드의 활성화 여부를 결정하는 단계를 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램.
A computer program stored in a computer recording medium for performing an AR content automatic arrangement method for generating augmented reality (AR) content by arranging virtual content in a three-dimensional space,
positioning the virtual content partitioned by a surface consisting of a plurality of second polygons in the three-dimensional space partitioned by a surface consisting of a plurality of first polygons;
detecting a plane having the closest distance to the virtual content from among planes formed by a preset number or more of the plurality of first polygons when a preset first condition is satisfied; and
A computer program comprising instructions for causing a processor to perform a method comprising determining whether to activate an automatic posture change mode of the virtual content based on a second preset condition.
제 1 항에 있어서,
상기 기 설정된 제 1 조건은
상기 평면 중, 상기 가상 컨텐츠와의 거리가 기 설정된 값 이하인 평면이 존재하는 것인
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The preset first condition is
Among the planes, there is a plane in which the distance to the virtual content is less than or equal to a preset value.
A computer program stored on a computer recording medium.
제 1 항에 있어서,
상기 기 설정된 제 1 조건은
상기 가상 컨텐츠에 대해 상기 가상 컨텐츠와의 거리가 가장 가까운 근접 평면을 검출하는 단계 및 상기 가상 컨텐츠의 이동을 수행하는 단계가 자동으로 수행되도록 하는 자동 평면 부착 모드가 활성화된 것인
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The preset first condition is
The automatic plane attachment mode for automatically performing the steps of detecting a plane having the closest distance to the virtual content with respect to the virtual content and moving the virtual content is activated
A computer program stored on a computer recording medium.
제 1 항에 있어서,
상기 가상 컨텐츠의 이동을 수행하는 단계는
상기 가상 컨텐츠의 이동 중에 상기 복수 개의 제 1 폴리곤 중 어느 하나와 상기 복수 개의 제 2 폴리곤 중 어느 하나가 서로 접촉할 경우 기 설정된 알림을 출력하는 단계를 포함하도록 프로그램된
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
The step of moving the virtual content includes:
and outputting a preset notification when any one of the plurality of first polygons and any one of the plurality of second polygons come into contact with each other during the movement of the virtual content.
A computer program stored on a computer recording medium.
제 1 항에 있어서,
상기 자동 자세 변경 모드의 활성화 여부를 결정하는 단계에서,
기 설정된 제2 조건을 만족하면, 상기 자동 자세 변경 모드를 활성화시켜 상기 가상 컨텐츠의 자세를 안정적인 자세로 변경하고,
상기 안정적인 자세는, 상기 근접 평면과 상기 가상 컨텐츠 간의 거리가 0인 상태 중, 상기 복수 개의 제 1 폴리곤으로 둘러싸인 공간 및 상기 가상 컨텐츠가 밀도가 균일하고 변형되지 않는 기 정해진 크기의 강체(rigid body)로 이루어진 복수 개의 3차원 화소(voxel)로 채워져 있고, 상기 복수 개의 3차원 화소 각각에 상기 3차원 공간의 수직 아래 방향으로 일정한 힘이 작용한다고 가정할 경우, 상기 가상 컨텐츠가 움직이지 않는 상태이며,
상기 기 설정된 제 2 조건은
상기 가상 컨텐츠에 대해 상기 가상 컨텐츠의 자세를 안정적인 자세로 변경하는 단계가 자동으로 수행되도록 하는 것인
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
The method of claim 1,
In the step of determining whether to activate the automatic posture change mode,
When the preset second condition is satisfied, the automatic posture change mode is activated to change the posture of the virtual content to a stable posture,
The stable posture includes a space surrounded by the plurality of first polygons and a rigid body of a predetermined size in which the density is uniform and the virtual content is not deformed while the distance between the proximity plane and the virtual content is 0 When it is assumed that a constant force is applied to each of the plurality of 3D pixels in the vertical downward direction of the 3D space, the virtual content does not move,
The preset second condition is
Changing the posture of the virtual content to a stable posture with respect to the virtual content is automatically performed
A computer program stored on a computer recording medium.
제 5 항에 있어서,
상기 가상 컨텐츠의 자세를, 상기 안정적인 자세 중, 자동 자세 변경모드의 활성화 여부를 판단하는 단계를 수행하는 과정에서 상기 복수 개의 3차원 화소 각각의 움직인 거리의 총합이 최소가 되는 자세로 변경하는 단계를 포함하도록 프로그램된
컴퓨터 기록매체에 저장된 컴퓨터 프로그램.
6. The method of claim 5,
Changing the posture of the virtual content to a posture in which the sum of the distances of each of the plurality of 3D pixels is minimized in the process of determining whether an automatic posture change mode is activated among the stable postures programmed to contain
A computer program stored on a computer recording medium.
컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은,
제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능한 기록매체.
As a computer-readable recording medium storing a computer program,
The computer program is
A computer-readable recording medium comprising instructions for causing a processor to perform the method according to any one of claims 1 to 6.
KR1020210129926A 2015-11-09 2021-09-30 Method for automatically arranging augmented reality contents KR102479834B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210129926A KR102479834B1 (en) 2015-11-09 2021-09-30 Method for automatically arranging augmented reality contents

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150156768A KR102325297B1 (en) 2015-11-09 2015-11-09 Method for automatically arranging augmented reality contents
KR1020210129926A KR102479834B1 (en) 2015-11-09 2021-09-30 Method for automatically arranging augmented reality contents

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150156768A Division KR102325297B1 (en) 2015-11-09 2015-11-09 Method for automatically arranging augmented reality contents

Publications (2)

Publication Number Publication Date
KR20210124131A true KR20210124131A (en) 2021-10-14
KR102479834B1 KR102479834B1 (en) 2022-12-21

Family

ID=59048803

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020150156768A KR102325297B1 (en) 2015-11-09 2015-11-09 Method for automatically arranging augmented reality contents
KR1020210129926A KR102479834B1 (en) 2015-11-09 2021-09-30 Method for automatically arranging augmented reality contents

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020150156768A KR102325297B1 (en) 2015-11-09 2015-11-09 Method for automatically arranging augmented reality contents

Country Status (1)

Country Link
KR (2) KR102325297B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403038B (en) * 2017-07-05 2020-10-30 同济大学 Intelligent automobile virtual rapid test method
KR102549980B1 (en) * 2020-12-23 2023-06-30 주식회사 어반베이스 Apparatus and method for providing model for arrangement of object of interior service based on reinforcement learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100090719A (en) * 2008-01-11 2010-08-16 가부시키가이샤 코나미 데지타루 엔타테인멘토 Image processing device, image processing method, information recording medium, and program
JP2011258117A (en) * 2010-06-11 2011-12-22 Sony Computer Entertainment Inc Image processing device, image processing method, computer program, record medium and semiconductor device
KR101372099B1 (en) 2012-10-17 2014-03-07 에스케이씨앤씨 주식회사 System and method for spatial disposition of multimedia contents
JP2014528104A (en) * 2011-08-08 2014-10-23 セムズ ゲームズ カンパニー, リミテッドSems Games Co., Ltd. 3D model assembly apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100090719A (en) * 2008-01-11 2010-08-16 가부시키가이샤 코나미 데지타루 엔타테인멘토 Image processing device, image processing method, information recording medium, and program
JP2011258117A (en) * 2010-06-11 2011-12-22 Sony Computer Entertainment Inc Image processing device, image processing method, computer program, record medium and semiconductor device
JP2014528104A (en) * 2011-08-08 2014-10-23 セムズ ゲームズ カンパニー, リミテッドSems Games Co., Ltd. 3D model assembly apparatus and method
KR101372099B1 (en) 2012-10-17 2014-03-07 에스케이씨앤씨 주식회사 System and method for spatial disposition of multimedia contents

Also Published As

Publication number Publication date
KR20170054068A (en) 2017-05-17
KR102479834B1 (en) 2022-12-21
KR102325297B1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
Linowes et al. Augmented reality for developers: Build practical augmented reality applications with unity, ARCore, ARKit, and Vuforia
US11651563B1 (en) Dockable billboards for labeling objects in a display having a three dimensional perspective of a virtual or real environment
US11043031B2 (en) Content display property management
KR20210046591A (en) Augmented reality data presentation method, device, electronic device and storage medium
CN107957774B (en) Interaction method and device in virtual reality space environment
CN105637564B (en) Generate the Augmented Reality content of unknown object
CN107957775B (en) Data object interaction method and device in virtual reality space environment
CN101751219B (en) Terminal apparatus, display control method, and display control program
US20180321798A1 (en) Information processing apparatus and operation reception method
US20170153787A1 (en) Injection of 3-d virtual objects of museum artifact in ar space and interaction with the same
US20150341616A1 (en) Parallax based monoscopic rendering
KR20210047977A (en) Surface modeling systems and methods
KR102479834B1 (en) Method for automatically arranging augmented reality contents
CN111610998A (en) AR scene content generation method, display method, device and storage medium
KR102433857B1 (en) Device and method for creating dynamic virtual content in mixed reality
CN105278826A (en) Augmented reality system
CN108205431A (en) Show equipment and its control method
CN109644235B (en) Method, apparatus, and computer-readable medium for providing mixed reality images
CN108459704A (en) Stroke for 3-dimensional digital content operates prediction
CN114514493A (en) Reinforcing apparatus
US11449189B1 (en) Virtual reality-based augmented reality development system
CN108885348B (en) Apparatus and method for portable image device for generating application image
JP6022709B1 (en) Program, recording medium, content providing apparatus, and control method
KR20180062867A (en) Display apparatus and controlling method thereof
US20220326967A1 (en) Devices, methods, systems, and media for an extended screen distributed user interface in augmented reality

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)