KR20240045049A - An electronic apparatus and a method thereof - Google Patents
An electronic apparatus and a method thereof Download PDFInfo
- Publication number
- KR20240045049A KR20240045049A KR1020220180885A KR20220180885A KR20240045049A KR 20240045049 A KR20240045049 A KR 20240045049A KR 1020220180885 A KR1020220180885 A KR 1020220180885A KR 20220180885 A KR20220180885 A KR 20220180885A KR 20240045049 A KR20240045049 A KR 20240045049A
- Authority
- KR
- South Korea
- Prior art keywords
- projection
- electronic device
- object content
- space
- content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 75
- 230000033001 locomotion Effects 0.000 claims description 98
- 230000008859 change Effects 0.000 claims description 48
- 238000010586 diagram Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 21
- 210000000887 face Anatomy 0.000 description 21
- 238000012937 correction Methods 0.000 description 20
- 230000009471 action Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 230000009191 jumping Effects 0.000 description 9
- 241000283153 Cetacea Species 0.000 description 8
- 239000003086 colorant Substances 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 4
- 230000009184 walking Effects 0.000 description 4
- 241000255749 Coccinellidae Species 0.000 description 3
- 230000009193 crawling Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009183 running Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 241000270322 Lepidosauria Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000009187 flying Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
투사부, 하나 이상의 인스트럭션을 저장하는 메모리 및 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함하고, 하나 이상의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하고, 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득하고, 투사 공간에 대응하는 모델링 정보에 기반하여, 투사 오브젝트 콘텐츠의 동작을 결정하고, 투사부를 통해, 투사 공간에, 결정된 동작을 수행하는 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사하는, 전자 장치가 개시된다. It includes a projection unit, a memory for storing one or more instructions, and one or more processors for executing one or more instructions stored in the memory, wherein the one or more processors execute one or more instructions to create a projection space corresponding to the projection space from modeling information about the surrounding space. Obtain modeling information, correct the shape of the standard object content based on the modeling information corresponding to the projection space, obtain projection object content, and determine the operation of the projection object content based on the modeling information corresponding to the projection space. An electronic device is disclosed that projects projection content including projection object content that performs a determined operation into a projection space through a projection unit.
Description
개시된 다양한 실시 예들은 전자 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로 콘텐츠를 투사하는 전자 장치 및 그 동작 방법에 관한 것이다.Various disclosed embodiments relate to an electronic device and a method of operating the same, and more specifically, to an electronic device that projects content and a method of operating the same.
현실세계에 가상의 이미지가 겹쳐지는 기술을 증강현실(Argumented Reality)이라고 한다. 증강현실은 가상의 이미지를 물리적인 현실세계에 중첩시켜 보여준다는 점에서 가상의 공간에서 사용자가 주변환경과 상호작용하는 가상현실과 구별된다. The technology that overlaps virtual images on the real world is called augmented reality. Augmented reality is different from virtual reality, where users interact with the surrounding environment in a virtual space, in that it displays virtual images overlaid on the physical real world.
광학 기술의 발달로 다양한 형태의 프로젝터가 개발되고 있다. 프로젝터는 소정 공간이나 평면에 빛을 투사하여 영상을 비추는 전자 장치로, 가상의 이미지를 현실세계에 투사하여 증강현실 기술을 구현할 수 있다. With the development of optical technology, various types of projectors are being developed. A projector is an electronic device that projects images by projecting light onto a certain space or plane, and can implement augmented reality technology by projecting virtual images into the real world.
실시 예에 따른 전자 장치는 투사부, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서를 포함할 수 있다. An electronic device according to an embodiment may include a projection unit, a memory that stores one or more instructions, and one or more processors that execute one or more instructions stored in the memory.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득할 수 있다. , In an embodiment, the one or more processors may obtain modeling information corresponding to the projection space from modeling information about the surrounding space by executing the one or more instructions. ,
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득할 수 있다.In an embodiment, the one or more processors may acquire projection object content by executing the one or more instructions, thereby correcting the shape of standard object content based on modeling information corresponding to the projection space.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다.In an embodiment, the one or more processors may determine an operation of the projection object content based on modeling information corresponding to the projection space by executing the one or more instructions.
실시 예에서, 상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 투사부를 통해, 상기 투사 공간에, 상기 결정된 동작을 수행하는 상기 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사할 수 있다.In an embodiment, the one or more processors may project projection content including the projection object content that performs the determined operation into the projection space through the projection unit by executing the one or more instructions.
실시 예에 따른 전자 장치의 동작 방법은 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하는 단계를 포함할 수 있다.A method of operating an electronic device according to an embodiment may include obtaining modeling information corresponding to the projection space from modeling information about the surrounding space.
실시 예에 따른 전자 장치의 동작 방법은 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득하는 단계를 포함할 수 있다.A method of operating an electronic device according to an embodiment may include obtaining projection object content by correcting the shape of standard object content based on modeling information corresponding to the projection space.
실시 예에 따른 전자 장치의 동작 방법은 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계를 포함할 수 있다. A method of operating an electronic device according to an embodiment may include determining an operation of the projection object content based on modeling information corresponding to the projection space.
실시 예에 따른 전자 장치의 동작 방법은 상기 투사 공간에, 상기 결정된 동작을 수행하는 상기 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사하는 단계를 포함할 수 있다. A method of operating an electronic device according to an embodiment may include projecting projection content including the projection object content that performs the determined operation into the projection space.
실시 예에 따른 기록 매체는 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. A recording medium according to an embodiment is a computer-readable program on which a program capable of executing a method of operating an electronic device, including the step of acquiring modeling information corresponding to the projection space from modeling information about the surrounding space, is recorded. It may be a recording medium.
실시 예에서, 기록 매체는 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. In an embodiment, the recording medium may perform a method of operating an electronic device by a computer, including obtaining projection object content by correcting the shape of standard object content based on modeling information corresponding to the projection space. It may be a computer-readable recording medium on which a program is recorded.
실시 예에서, 기록 매체는 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다. In an embodiment, the recording medium records a program capable of performing, by a computer, a method of operating an electronic device, including determining an operation of the projection object content based on modeling information corresponding to the projection space. It may be a computer-readable recording medium.
실시 예에서, 기록 매체는 상기 투사 공간에, 상기 결정된 동작을 수행하는 상기 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사하는 단계를 포함하는, 전자 장치의 동작 방법을 컴퓨터에 의해 수행할 수 있는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.In an embodiment, the recording medium includes a program that can perform a method of operating an electronic device by a computer, including the step of projecting projection content including the projection object content that performs the determined operation into the projection space. It may be a recorded, computer-readable recording medium.
도 1은 실시 예에 따라, 전자 장치가 가상 콘텐츠를 현실세계에 투사하는 것을 설명하기 위한 도면이다.
도 2는 실시 예에 따른 전자 장치(100)의 내부 블록도이다.
도 3은 실시 예에 따른 전자 장치(100)의 내부 블록도이다.
도 4는 실시 예에 따른 전자 장치(100) 내부의 프로세서(101)의 동작 모듈을 나타내는 도면이다.
도 5는 실시 예에 따라, 전자 장치(100)가 회전하는 것을 설명하기 위한 도면이다.
도 6은 실시 예에 따라, 전자 장치(100)가 주변에 대한 모델링 정보를 획득하는 것을 설명하기 위한 도면이다.
도 7은 실시 예에 따라, 전자 장치(100)가 투사 방향을 식별하는 것을 설명하기 위한 도면이다.
도 8은 실시 예에 따라, 전자 장치(100)가 투사 공간에 대응하는 모델링 정보에 기반하여 오브젝트 콘텐츠의 형상을 보정하는 것을 설명하기 위한 도면이다.
도 9는 실시 예에 따라, 전자 장치(100)가 투사 공간에 대응하는 모델링 정보에 기반하여 오브젝트 콘텐츠의 형상을 보정하는 것을 설명하기 위한 도면이다.
도 10은 실시 예에 따라, 전자 장치(100)가 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠의 형태를 보정하는 것을 설명하는 도면이다.
도 11은 실시 예에 따라, 전자 장치(100)가 투사 공간에 따라 오브젝트 콘텐츠의 이동 동작을 결정하는 것을 설명하는 도면이다.
도 12는 실시 예에 따라, 전자 장치(100)가 투사 공간의 변화량을 인식하고 그에 맞게 투사 오브젝트 콘텐츠의 동작을 제어하는 것을 설명하는 도면이다.
도 13은 실시 예에 따라, 전자 장치(100)가 배경 콘텐츠의 크기를 조절하는 것을 설명하는 도면이다.
도 14는 실시 예에 따라, 주변 공간에 대한 모델링 정보를 획득하는 방법을 도시한 순서도이다.
도 15는 실시 예에 따른 전자 장치(100)의 동작 방법을 도시한 순서도이다.
도 16은 실시 예에 따라, 투사 공간의 뎁스 값 차이에 기반하여 투사 오브젝트 콘텐츠의 동작을 다르게 제어하는 것을 도시하는 순서도이다.FIG. 1 is a diagram illustrating how an electronic device projects virtual content onto the real world, according to an embodiment.
Figure 2 is an internal block diagram of the
Figure 3 is an internal block diagram of the
FIG. 4 is a diagram illustrating an operation module of the
FIG. 5 is a diagram for explaining rotation of the
FIG. 6 is a diagram to explain how the
FIG. 7 is a diagram for explaining how the
FIG. 8 is a diagram for explaining how the
FIG. 9 is a diagram for explaining how the
FIG. 10 is a diagram illustrating how the
FIG. 11 is a diagram explaining how the
FIG. 12 is a diagram explaining how the
FIG. 13 is a diagram explaining how the
Figure 14 is a flowchart illustrating a method of obtaining modeling information about surrounding space, according to an embodiment.
FIG. 15 is a flowchart illustrating a method of operating the
FIG. 16 is a flowchart illustrating controlling the operation of projection object content differently based on a difference in depth value of the projection space, according to an embodiment.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.In the present disclosure, the expression “at least one of a, b, or c” refers to “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b and c", or variations thereof.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Below, with reference to the attached drawings, embodiments of the present disclosure will be described in detail so that those skilled in the art can easily implement the present disclosure. However, the present disclosure may be implemented in many different forms and is not limited to the embodiments described herein.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.The terms used in this disclosure are described as general terms currently used in consideration of the functions mentioned in this disclosure, but may mean various other terms depending on the intention or precedents of those skilled in the art, the emergence of new technologies, etc. You can. Accordingly, the terms used in this disclosure should not be interpreted only by the name of the term, but should be interpreted based on the meaning of the term and the overall content of this disclosure.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. Additionally, the terms used in the present disclosure are merely used to describe specific embodiments and are not intended to limit the present disclosure.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. Throughout the specification, when a part is said to be "connected" to another part, this includes not only the case where it is "directly connected," but also the case where it is "electrically connected" with another element in between. .
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.As used in this specification, particularly in the patent claims, “the” and similar indicators may refer to both the singular and the plural. Additionally, unless there is a description clearly designating the order of steps describing the method according to the present disclosure, the steps described may be performed in any suitable order. The present disclosure is not limited by the order of description of the steps described.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.Phrases such as “in some embodiments” or “in one embodiment” that appear in various places in this specification do not necessarily all refer to the same embodiment.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions. For example, the functional blocks of the present disclosure may be implemented by one or more microprocessors, or may be implemented by circuit configurations for certain functions. Additionally, for example, functional blocks of the present disclosure may be implemented in various programming or scripting languages. Functional blocks may be implemented as algorithms running on one or more processors. Additionally, the present disclosure may employ conventional technologies for electronic environment setup, signal processing, and/or data processing. Terms such as “mechanism,” “element,” “means,” and “configuration” may be used broadly and are not limited to mechanical and physical components.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다. Additionally, connection lines or connection members between components shown in the drawings merely exemplify functional connections and/or physical or circuit connections. In an actual device, connections between components may be represented by various replaceable or additional functional connections, physical connections, or circuit connections.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In addition, terms such as "... unit" and "module" used in the specification refer to a unit that processes at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. .
또한, 명세서에서 “사용자”라는 용어는 전자 장치를 이용하는 사람을 의미하며, 소비자, 평가자, 시청자, 관리자 또는 설치 기사를 포함할 수 있다. Additionally, the term “user” in the specification refers to a person who uses an electronic device and may include a consumer, evaluator, viewer, administrator, or installer.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.Hereinafter, the present disclosure will be described in detail with reference to the attached drawings.
도 1은 실시 예에 따라, 전자 장치가 가상 콘텐츠를 현실세계에 투사하는 것을 설명하기 위한 도면이다. FIG. 1 is a diagram illustrating how an electronic device projects virtual content onto the real world, according to an embodiment.
도 1을 참조하면, 전자 장치(100)는 영상을 출력할 수 있는 전자 장치일 수 있다. 일 예에 따라 전자 장치(100)는 영상을 투사 공간에 투사하는 프로젝터일 수 있다. 전자 장치(100)는 고정형 또는 이동형일 수 있다. Referring to FIG. 1, the
도 1은, 일 예에 따라, 전자 장치(100)가 천장에 장착되어 주변으로 투사 콘텐츠를 투사하는 경우를 도시한다. 예컨대, 전자 장치(100)는 연결 부재를 통해 천장에 연결될 수 있다. FIG. 1 illustrates a case where the
실시 예에서, 전자 장치(100)는 회전이 가능한 형태일 수 있다. 예컨대, 전자 장치(100)는 회전 가능한 형태로 연결 부재에 연결되어 회전할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사부를 포함할 수 있다. 실시 예에서, 투사부는 투사 콘텐츠를 투사할 수 있다.In an embodiment, the
도 1에서, 전자 장치(100)가 천장에 장착되어 바닥 면으로 투사 콘텐츠를 투사한다고 가정하면, 바닥 면이 투사 공간이 된다. 투사 방향과 투사 공간이 직각을 이룰 때 투사 공간의 중앙으로 투사되는 빛의 투사 방향 또는 빛의 투사 반대 방향을 z축으로 정의할 수 있다. 또한, z축과 수직인 평면, 즉, 바닥 면에 평행한 평면 상의 서로 수직인 두 축을 각각 x축, y축이라고 정의할 수 있다. In FIG. 1, assuming that the
실시 예에서, 전자 장치(100)는 x축, y축, z축 각각을 기준으로 회전할 수 있다. 예컨대, 전자 장치(100)가 x축, y축, z축을 기준으로 회전하는 회전 각도는 각각 롤 각(Roll 각, φ), 피치 각(Pitch 각, θ), 요우 각(Yaw 각, ψ)으로 호칭될 수 있다. 실시 예에서, 전자 장치(100)가 x축, y축, z축을 기준으로 회전하는 회전 각도는 전자 장치(100)의 구조나 고정면에 연결된 상태 등에 따라 달라질 수 있다. 예컨대, 도 1에서 전자 장치(100)는 y축을 따라 180도만큼 회전할 수 있고, x축과 z축을 따라서 360도만큼 회전할 수 있으나, 이에 한정되지 않는다. In an embodiment, the
또는, 전자 장치(100) 전체가 다 회전하는 것이 아니라, 전자 장치(100)에 포함된 일부 구성 요소만 회전할 수도 있다. 예컨대, 전자 장치(100)는 회전 가능한 회전 부재를 포함할 수 있다. 회전 부재에는 투사부, 카메라 센서, 뎁스 센서 등의 구성 요소가 배치되어, 회전 부재가 회전함에 따라 투사부, 카메라 센서, 뎁스 센서 등의 구성 요소도 함께 회전할 수 있다. Alternatively, the entire
실시 예에서, 전자 장치(100)는 이미지 센서 및 뎁스 센서를 포함할 수 있다. 실시 예에서, 이미지 센서와 뎁스 센서는 별개의 센서로 구현될 수도 있으나, 이에 한정되는 것은 아니고, 하나의 센서로도 구현될 수 있다. 예컨대, 이미지 센서가 뎁스 기능을 갖는 뎁스 센서일 수도 있다. In an embodiment, the
실시 예에서, 이미지 센서 및 뎁스 센서는 전자 장치(100)의 회전에 따라, 또는 회전 부재의 회전에 따라 회전하면서, 주변 공간에 대한 정보를 획득할 수 있다. In an embodiment, the image sensor and the depth sensor may acquire information about the surrounding space while rotating according to the rotation of the
실시 예에서, 이미지 센서는 카메라를 포함할 수 있다. 실시 예에서, 이미지 센서는 회전하면서 주변 공간을 촬영하여 주변 공간 이미지를 획득할 수 있다. In embodiments, the image sensor may include a camera. In an embodiment, the image sensor may acquire an image of the surrounding space by photographing the surrounding space while rotating.
실시 예에서, 뎁스 센서는 회전하면서 주변 공간의 뎁스 정보를 획득할 수 있다. In an embodiment, the depth sensor may acquire depth information of the surrounding space while rotating.
실시 예에서, 전자 장치(100)는 주변 공간 이미지 및 주변 공간 뎁스 정보에 기초하여, 주변 공간에 대한 모델링 정보를 획득할 수 있다. 전자 장치(100)가 회전하면서 이동하면, 축 별 회전 각도가 달라지게 되고, 전자 장치(100)는 그 각도에서 획득한 주변 공간 이미지 및 주변 공간의 뎁스 정보에 따라 그 지점에서의 모델링 정보를 생성할 수 있다. In an embodiment, the
실시 예에서, 모델링(modeling)은 주변의 삼차원 공간을 닮은 가상공간을 만들어 내는 것을 의미할 수 있다. 실시 예에서, 모델링 정보는 전자 장치(100) 또는 회전 부재 중 적어도 하나의 축 별 회전 각도에 따른 색상 정보, 휘도 정보, 및 뎁스 정보를 포함할 수 있다. In an embodiment, modeling may mean creating a virtual space that resembles a surrounding three-dimensional space. In an embodiment, the modeling information may include color information, luminance information, and depth information according to the rotation angle for each axis of at least one axis of the
실시 예에서, 전자 장치(100)는 투사 공간을 식별할 수 있다. 실시 예에서, 투사 공간은 투사 콘텐츠를 투사하는 공간 내지 영역을 의미할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자 방향을 기준으로 투사 공간을 식별할 수 있다. 실시 예에서, 전자 장치(100)는 이미지 센서를 이용하여 사용자를 촬영할 수 있다. 실시 예에서, 전자 장치(100)는 사용자를 촬영하여 획득한 사용자 이미지로부터 사용자 특징점을 식별할 수 있다. 실시 예에서, 사용자 특징점은 사용자의 신체의 일부를 식별하기 위한 정보일 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자 이미지에서 획득한 사용자 특징점을 기반으로 사용자의 신체 지점을 식별할 수 있다. 예컨대, 전자 장치(100)는 사용자 이미지에서 사용자의 머리 뒷면, 귀, 목, 어깨, 이마, 코 등과 같이, 기 정의된 사용자 특징점을 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 식별된 사용자 특징점을 연결하여 사용자의 신체 일부에 대응하는 입체 도형을 생성할 수 있다. 예컨대, 전자 장치(100)는 특징점들을 연결하여 사용자의 머리에 핏(fit) 되는 입체 도형을 생성할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 입체 도형을 기반으로 사용자의 얼굴 위치를 식별할 수 있다. 실시 예에서, 전자 장치(100)는 입체 도형의 기울어진 정도를 측정하고, 기울어진 정도에 따라 사용자의 얼굴이 향하는 방향을 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자의 얼굴이 향하는 방향을 기준으로 투사 공간을 식별할 수 있다. 예컨대, 전자 장치(100)는 사용자의 얼굴이 향하는 방향이 주변 공간과 만나는 지점을 중심으로 할 때, 그 중심으로부터 소정 간격을 갖는 영역을 투사 공간으로 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득할 수 있다. 실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보 중에, 사용자의 얼굴이 향하는 방향에 위치한 투사 공간에 대한 모델링 정보를 식별하고, 이를 투사 공간에 대응하는 모델링 정보로 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠를 획득할 수 있다. 실시 예에서, 표준 오브젝트 콘텐츠는 콘텐츠 제작사 등에 의해 생성된 콘텐츠로, 제작사가 설정한 표준 색상, 밝기, 형상, 크기 등을 가질 수 있다. 실시 예에서, 표준 오브젝트 콘텐츠는 기 정해진 표준 값의 색상, 밝기, 공간 구조 등을 갖는 투사 공간에 투사될 때 일정한 크기, 형상, 색상, 밝기 등을 갖도록 제작될 수 있다.In an embodiment, the
실시 예에서, 표준 오브젝트 콘텐츠는 배우나 영화 캐릭터, 애니메이션, 또는 현실 세계에 존재하거나 또는 상상 속의 동물 등을 모방한, 가상의 이미지일 수 있다. In embodiments, standard object content may be a virtual image that imitates an actor, movie character, animation, or animal that exists in the real world or is imaginary.
실시 예에서, 전자 장치(100)는 통신망을 통해 외부 서버로부터 다양한 종류 및 다양한 형태의 표준 오브젝트 콘텐츠를 수신할 수 있다. 또는, 실시 예에서, 전자 장치(100)는 내부 메모리에 기 저장된 표준 오브젝트 콘텐츠 중에 사용자로부터 하나 이상을 선택 받을 수 있다. 또는, 실시 예에서, 전자 장치(100)가 표준 오브젝트 콘텐츠를 생성할 수 있는 경우, 전자 장치(100)는 사용자가 입력한 이미지에 포함된 사람이나 동물, 물건 등에 대해 표준 오브젝트 콘텐츠를 새로 생성할 수도 있다.In an embodiment, the
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠를 모델링 정보에 기반하여 보정할 수 있다. In an embodiment, the
표준 오브젝트 콘텐츠는 기 정해진 표준 값의 색상, 밝기, 공간 구조 등을 갖는 투사 공간에 투사될 때 일정한 크기, 형상, 색상, 밝기 등을 갖도록 제작되었기 때문에 투사 공간의 색상이나 밝기, 공간 구조 등이 표준 값을 갖지 않는 경우, 그러한 투사 공간에 투사된 표준 오브젝트 콘텐츠의 크기나 형상, 색상이나 밝기 또한 표준 오브젝트 콘텐츠와는 다른 형태를 갖게 된다. Standard object content is produced to have a certain size, shape, color, brightness, etc. when projected into a projection space with predetermined standard values of color, brightness, spatial structure, etc., so the color, brightness, spatial structure, etc. of the projection space are standard. If it does not have a value, the size, shape, color, or brightness of the standard object content projected into such projection space will also have a different form from the standard object content.
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠의 색상, 밝기, 형상, 크기 등을 투사 공간에 대응하는 모델링 정보에 기반하여 보정할 수 있다. 실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠의 색상, 밝기, 형상, 크기 등을 보정함으로써, 투사 공간이 기 정해진 표준 값을 갖는 공간이 아닌 경우에도 투사 오브젝트 콘텐츠가 표준 오브젝트 콘텐츠의 크기나 색상, 밝기, 형상 등을 갖도록 할 수 있다. In an embodiment, the
투사 공간에 대응하는 모델링 정보가 영역 별로 다른 색상이나 밝기 등을 갖는 경우, 실시 예에서, 전자 장치(100)는 투사되는 오브젝트 콘텐츠를 이루는 부분 영역들의 색상, 밝기, 형상, 크기 등을 투사 공간에 대응하는 모델링 정보에 기반하여 각각 보정할 수 있다. 예컨대, 전자 장치(100)는 표준 오브젝트 콘텐츠를 이루는 복수 영역들 각각에 대하여, 예컨대, 각각의 픽셀 별로 색상, 밝기, 형상, 크기 등을 보정할 수 있다. When modeling information corresponding to the projection space has different colors, brightness, etc. for each region, in an embodiment, the
실시 예에서, 전자 장치(100)는 사용자와 투사 공간 사이의 거리에 따라, 표준 오브젝트 콘텐츠의 전체 크기를 조절할 수 있다. In an embodiment, the
사용자와 투사 공간이 가까운 경우와 먼 경우에 표준 오브젝트 콘텐츠가 동일한 크기로 보일 경우 현실감이 떨어지게 된다. If standard object content appears to be the same size when the user is close to the projection space and when it is far away, realism is reduced.
실시 예에서, 전자 장치(100)는 사용자까지의 뎁스 정보와 투사 공간까지의 뎁스 정보를 각각 획득할 수 있다. 실시 예에서, 전자 장치(100)는 사용자까지의 뎁스 정보와 투사 공간까지의 뎁스 정보의 차이 값을 구하여 사용자와 투사 공간 사이의 거리를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자와 투사 공간 사이의 거리에 기반하여 표준 오브젝트 콘텐츠의 전체 크기를 조절할 수 있다. 예컨대, 전자 장치(100)는 사용자와 투사 공간의 거리가 표준 거리인 경우에는 표준 오브젝트 콘텐츠가 표준 크기대로 보이도록 하고, 사용자와 투사 공간의 거리가 표준 거리보다 짧은 경우에는 사용자에게 표준 오브젝트 콘텐츠가 표준 크기보다 더 커 보이도록 표준 오브젝트 콘텐츠의 크기를 보정할 수 있다. 또한, 전자 장치(100)는 사용자와 투사 공간의 거리가 표준 거리보다 먼 경우에는 사용자에게 표준 오브젝트 콘텐츠가 표준 크기보다 더 작아 보이도록 표준 오브젝트 콘텐츠의 크기를 보정할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 보정된 색상, 밝기, 형상, 크기 등을 갖는 표준 오브젝트 콘텐츠를 투사 공간에 투사할 수 있다. In an embodiment, the
본 개시에서 전자 장치(100)가 투사 공간에 투사하기 위해 표준 오브젝트 콘텐츠를 보정하여 획득한 콘텐츠를 투사 오브젝트 콘텐츠로 호칭하기로 한다. In the present disclosure, content obtained by the
전자 장치(100)는 표준 오브젝트 콘텐츠를 투사 공간에 대응하는 모델링 정보에 기반하여 보정함으로써 투사 오브젝트 콘텐츠를 획득하고, 이를 투사 공간에 투사할 수 있다. The
실시 예에서, 전자 장치(100)는 배경 콘텐츠를 생성할 수 있다. 실시 예에서, 배경 콘텐츠는 투사 오브젝트 콘텐츠 주변의 콘텐츠일 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 배경 콘텐츠를 생성할 수 있다. 예컨대, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보의 색상 및 밝기 중 적어도 하나에 기반하여 배경 콘텐츠의 색상 및 밝기 중 적어도 하나를 결정할 수 있다. In an embodiment, the
또는, 전자 장치(100)는 배경 콘텐츠의 밝기를 최소 값으로 결정함으로써, 투사된 배경 콘텐츠가 투사 공간에서 잘 인식되지 않도록 할 수 있다. Alternatively, the
실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠 및 배경 콘텐츠를 포함하는 투사 콘텐츠를 생성할 수 있다. 실시 예에서, 전자 장치(100)는 투사 콘텐츠(110)를 투사 공간에 투사할 수 있다. In an embodiment, the
도 1에서는 투사 콘텐츠(100)에 포함된 투사 오브젝트 콘텐츠가 강아지인 경우를 도시한다. 도 1에 도시된 바와 같이 투사 오브젝트 콘텐츠가 현실 세계에 존재하는 동물을 모방한 가상의 이미지인 경우, 투사 오브젝트 콘텐츠는 일종의 가상의 사이버 동물로 취급될 수 있다. 사용자는 전자 장치(100)가 투사 공간에 투사한 가상의 사이버 동물을 키우거나 함께 노는 등 다양한 형태로 사이버 동물과 상호 작용을 함으로써 오브젝트 콘텐츠를 이용할 수 있다. FIG. 1 shows a case where the projection object content included in the
실시 예에서, 투사 오브젝트 콘텐츠는 움직임을 갖는 가상의 이미지일 수 있다. 실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠의 움직임을 제어할 수 있다. 실시 예에서, 전자 장치(100)는 기 설정된 주기, 랜덤한 주기, 및 이벤트 발생 중 적어도 하나에 기반하여 투사 오브젝트 콘텐츠의 움직임을 제어할 수 있다. In an embodiment, the projected object content may be a virtual image with movement. In an embodiment, the
실시 예에서, 전자 장치(100)는 기 설정된 주기마다, 예컨대 5초마다 투사 오브젝트 콘텐츠의 움직임을 제어할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 기 정의된 순서대로 투사 오브젝트 콘텐츠가 동작하도록 제어할 수 있다. 예컨대, 전자 장치(100)는 투사 오브젝트 콘텐츠가 앉아있는 동작을 수행하도록 제어하고 5초가 경과하면 투사 오브젝트 콘텐츠가 걷는 동작을 수행하도록 제어할 수 있다. 전자 장치(100)는 또 다시 5초가 지나면 투사 오브젝트 콘텐츠가 바닥을 냄새 맡는 동작을 수행하도록 제어할 수 있다. In an embodiment, the
또는, 실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠가 랜덤한 동작을 수행하도록 제어할 수 있다. 예컨대, 전자 장치(100)는 투사 오브젝트 콘텐츠가 앉아있는 동작을 수행하도록 제어한 후 임의의 시간, 예컨대, 3초가 경과하면, 이전과는 다른 임의의 동작, 예컨대 투사 오브젝트 콘텐츠가 바닥을 냄새 맡는 동작을 수행하도록 제어하고, 다시 임의의 시간, 예컨대 7초가 경과하면, 또 다른 임의의 동작, 예컨대 투사 오브젝트 콘텐츠가 걷는 동작을 수행하도록 제어할 수 있다. Alternatively, in an embodiment, the
실시 예에서, 전자 장치(100)는 이벤트가 발생할 때마다 투사 오브젝트 콘텐츠의 움직임을 제어할 수 있다. 실시 예에서, 이벤트 발생은 사용자 얼굴 방향이 임계치 이상 변경되어 투사 공간의 위치 또한 임계치 이상 변경되는 경우를 포함할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자 얼굴 방향이 임계치 이상 변경되는 경우, 사용자 얼굴이 향하는 방향으로 투사 공간을 다시 결정할 수 있다. 실시 예에서, 전자 장치(100)는 투사 공간이 변경되는 경우, 투사 오브젝트 콘텐츠의 움직임을 다시 결정할 수 있다. In an embodiment, when the direction of the user's face changes by more than a threshold, the
실시 예에서, 이벤트 발생은 사용자로부터 투사 오브젝트 콘텐츠 동작 제어 신호를 수신하는 것을 포함할 수 있다. 실시 예에서, 사용자는 특정 제스쳐(gesture)를 취하거나, 또는 특정 단어를 발화하는 방법 등을 이용하여 전자 장치(100)에 투사 오브젝트 콘텐츠 동작 제어 신호를 입력할 수 있다. In embodiments, generating an event may include receiving a projection object content operation control signal from a user. In an embodiment, a user may input a projection object content operation control signal to the
실시 예에서, 전자 장치(100)는 사용자가 기 정의된 특정 동작을 수행하거나, 또는 기 정의된 특정 단어를 발화하는 경우, 이를 투사 오브젝트 콘텐츠 동작 제어 신호로 수신하고, 이에 기반하여 투사 오브젝트 콘텐츠의 움직임을 제어할 수 있다. In an embodiment, when the user performs a predefined specific action or utters a predefined specific word, the
실시 예에서, 전자 장치(100)는 외부 서버로부터 표준 오브젝트 콘텐츠를 수신할 때, 그 표준 오브젝트 콘텐츠가 수행하는 동작을 나타내는 동작 정보도 함께 수신할 수 있다. 또한, 전자 장치(100)의 내부 메모리에 표준 오브젝트 콘텐츠가 저장되어 있는 경우, 메모리에는 표준 오브젝트 콘텐츠 별 동작 정보도 함께 저장되어 있을 수 있다. In an embodiment, when the
실시 예에서, 동작 정보는 표준 오브젝트 콘텐츠의 다양한 특성이나 동작 등을 표시하는 정보일 수 있다. 예컨대, 동작 정보는 오브젝트 종류에 따라 해당 오브젝트가 통상 수행하는 동작을 나타내는 정보일 수 있다. In an embodiment, the motion information may be information indicating various characteristics or motions of standard object content. For example, operation information may be information indicating operations normally performed by the corresponding object depending on the object type.
실시 예에서, 콘텐츠 프로바이더는 오브젝트 종류를 기반으로 그 종류에 속하는 오브젝트가 일반적으로 수행할 수 있는 다양한 동작을 동작 정보로 생성할 수 있다. 예컨대, 오브젝트가 강아지인 경우, 콘텐츠 프로바이더는 일반적인 강아지가 수행하는 다양한 형태의 동작, 예컨대, 꼬리를 흔드는 동작, 혀를 내밀고 숨쉬는 동작, 웅크리고 앉아있는 동작, 걷거나 뛰는 동작, 배를 드러내고 눕는 동작 등을 동작 정보로 생성할 수 있다. In an embodiment, a content provider may generate operation information based on an object type, various operations that an object belonging to that type can generally perform. For example, if the object is a dog, the content provider may provide various types of movements performed by a typical dog, such as wagging its tail, breathing with its tongue out, crouching, walking or running, and lying down with its belly exposed. etc. can be generated as motion information.
또는, 콘텐츠 프로바이더는 해당 오브젝트가 수행할 수 없는 동작도 동작 정보로 생성할 수도 있다. 예컨대, 콘텐츠 프로바이더는, 오브젝트가 강아지임에도 불구하고 도마뱀처럼 벽면을 기는 동작을 동작 정보로 생성할 수 있다.Alternatively, the content provider may also generate operations that the corresponding object cannot perform as operation information. For example, a content provider can generate the motion of an object crawling on a wall like a lizard as motion information even though the object is a dog.
또는, 동작 정보는 그 오브젝트만의 고유 습관 등을 나타내는 정보일 수도 있다. 예컨대, 콘텐츠 프로바이더는 오브젝트가 습관적으로 고개를 갸우뚱하는 동작을 동작 정보로 생성할 수 있다. Alternatively, the motion information may be information representing the object's unique habits, etc. For example, a content provider can generate the habitual movement of an object tilting its head as motion information.
사용자가 전자 장치(100)에 기 저장되어 있는 표준 오브젝트 콘텐츠 중에 하나를 선택하거나, 선택된 표준 오브젝트 콘텐츠를 수정하여 새로 표준 오브젝트 콘텐츠를 생성한 경우, 사용자는 선택하거나 생성한 표준 오브젝트 콘텐츠가 어떤 동작을 수행하도록 할지도 선택하거나, 또는 특정 동작을 수행하도록 함으로써 동작 정보가 새로 생성되도록 할 수도 있다. When the user selects one of the standard object contents already stored in the
실시 예에서, 전자 장치(100)는 동작 정보에 따라 표준 오브젝트 콘텐츠의 움직임을 제어할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간에 따라 투사 오브젝트 콘텐츠가 서로 다르게 움직이도록 제어할 수 있다. In an embodiment, the
실시 예에서, 투사 공간에 대응하는 모델링 정보는 투사 공간 구조 정보를 포함할 수 있다. 실시 예에서, 투사 공간 구조 정보는 투사 공간 상의 구조물의 배치나 위치에 대한 정보, 및/또는 투사 공간 상의 구조물의 배치나 위치에 따른 공간 변화 정보를 포함할 수 있다. In an embodiment, modeling information corresponding to the projection space may include projection space structure information. In an embodiment, the projection space structure information may include information about the arrangement or position of the structure in the projection space, and/or spatial change information according to the arrangement or position of the structure in the projection space.
실시 예에서, 전자 장치(100)는 투사 공간 구조 정보에 대응하는 동작으로 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. 예컨대, 전자 장치(100)는 투사 오브젝트 콘텐츠가 소파 근처에 있는 경우, 투사 오브젝트 콘텐츠가 소파에 앉도록 제어할 수 있다. 또는, 전자 장치(100)는 투사 오브젝트 콘텐츠가 침대 근처에 있는 경우, 침대 밑에서, 또는 침대 위로 올라가 웅크리고 눕는 동작을 수행하도록 제어할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간에 구조물이 있는 경우, 투사 오브젝트 콘텐츠가 구조물과 충돌하지 않도록 투사 오브젝트 콘텐츠의 이동 방향이나 동작을 결정할 수 있다. 예컨대, 전자 장치(100)는 투사 공간에 냉장고가 있는 경우, 투사 오브젝트 콘텐츠가 냉장고 주변을 돌아서 걸어가도록 제어할 수 있다. In an embodiment, when there is a structure in the projection space, the
실시 예에서, 전자 장치(100)는 공간 변화 정도에 따라 투사 오브젝트 콘텐츠의 동작을 다르게 제어할 수 있다. 실시 예에서, 전자 장치(100)는 임계치 이하의 공간 변화가 있는 투사 공간과 임계치를 넘는 공간 변화가 있는 투사 공간에서 투사 오브젝트 콘텐츠의 동작을 다르게 제어할 수 있다. In an embodiment, the
실시 예에서, 임계치 이상의 공간 변화가 있는 투사 영역은, 공간 변화가 x축, y축, z축 중 적어도 하나의 축을 따라 일정 크기 이상 차이가 나는 공간을 의미할 수 있다. In an embodiment, a projection area in which there is a spatial change greater than a threshold may mean a space in which the spatial change differs by a certain amount or more along at least one of the x-axis, y-axis, and z-axis.
실시 예에서, 전자 장치(100)는 임계치 이하의 공간 변화가 있는 투사 공간에서 투사 오브젝트 콘텐츠의 동작을 제1 동작으로 제어할 수 있다. 예컨대, 전자 장치(100)는 일반적인 투사 공간에서는 투사 오브젝트 콘텐츠가 제1 움직임 방식에 따라 움직이도록 제어할 수 있다. In an embodiment, the
반면, 실시 예에서, 전자 장치(100)는 임계치를 넘는 공간 변화가 있는 투사 공간에서 투사 오브젝트 콘텐츠의 동작을 제1 동작과는 다른 제2 동작으로 결정할 수 있다. 제1 동작과 달리, 제2 동작은 변화가 큰 공간에서 투사 오브젝트 콘텐츠가 수행할 수 있는 특정한 움직임 방식일 수 있다. On the other hand, in an embodiment, the
예컨대, 도 1에 도시된 바와 같이, 오브젝트 콘텐츠가 강아지인 경우, 제1 동작은 기어 다니기, 기지개 펴기, 웅크리기, 꼬리 흔들기 등과 같은 동작일 수 있다. 또한, 제2 동작은 뛰어 오르기, 뛰어 내리기, 점프하기 등과 같은 동작일 수 있다. For example, as shown in FIG. 1, when the object content is a dog, the first motion may be a motion such as crawling, stretching, crouching, or wagging the tail. Additionally, the second motion may be an motion such as jumping up, jumping down, or jumping.
이와 같이, 실시 예에 의하면, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 형상을 보정할 수 있다. As such, according to the embodiment, the
또한, 실시 예에 의하면, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. 따라서, 사용자는 가상의 이미지가 현실세계에 실제 존재하는 것처럼 자연스럽게 겹쳐진 증강 현실을 체험할 수 있다. Additionally, according to an embodiment, the
도 2는 실시 예에 따른 전자 장치(100)의 내부 블록도이다.Figure 2 is an internal block diagram of the
도 2를 참조하면, 전자 장치(100)는 프로세서(101), 메모리(103) 및 투사부(105)를 포함할 수 있다. Referring to FIG. 2 , the
실시 예에 따른 메모리(103)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(103)는 프로세서(101)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한 메모리(103)는 전자 장치(100)로 입력되거나 전자 장치(100)로부터 출력되는 데이터를 저장할 수 있다.The
메모리(103)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The
실시 예에서, 메모리(103)에는 주변 공간에 대한 모델링 정보를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, one or more instructions for obtaining modeling information about the surrounding space may be stored in the
실시 예에서, 메모리(103)에는 주변 공간 이미지 및 주변 공간 뎁스 정보에 기초하여, 주변 공간에 대한 모델링 정보를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, one or more instructions for obtaining modeling information about the surrounding space may be stored in the
실시 예에서, 메모리(103)에는 사용자 특징점을 기반으로 사용자 얼굴이 향하는 방향을 식별하고, 사용자 얼굴이 향하는 방향에 위치한 공간을 투사 공간으로 식별하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, the
실시 예에서, 메모리(103)에는 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다. In an embodiment, one or more instructions for obtaining modeling information corresponding to the projection space from modeling information about the surrounding space may be stored in the
실시 예에서, 메모리(103)에는 표준 오브젝트 콘텐츠를 획득하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment,
실시 예에서, 메모리(103)에는 다양한 종류의 표준 오브젝트 콘텐츠 및 표준 오브젝트 콘텐츠의 동작 정보가 저장되어 있을 수 있다. In an embodiment, the
실시 예에서, 메모리(103)에는 입력된 이미지로부터 객체를 인식하고, 인식된 객체에 대해 표준 오브젝트 콘텐츠 및 표준 오브젝트 콘텐츠의 동작 정보를 생성하기 위한 하나 이상의 인스트럭션이 저장될 수 있다. In an embodiment, the
실시 예에서, 메모리(103)에는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠를 보정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, the
실시 예에서, 메모리(103)에는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 색상, 밝기, 형상 및 크기 중 적어도 하나를 보정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다. In an embodiment, the
실시 예에서, 메모리(103)에는 투사 공간 뎁스 정보 및 사용자 뎁스 정보를 이용하여, 투사 오브젝트 콘텐츠의 크기를 보정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, one or more instructions for correcting the size of projection object content may be stored in the
실시 예에서, 메모리(103)에는 투사 오브젝트의 콘텐츠의 동작을 투사 공간 구조 정보에 대응하는 동작으로 결정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, the
실시 예에서, 메모리(103)에는 임계치 이하의 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 제1 동작으로 결정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment,
실시 예에서, 메모리(103)에는 임계치를 넘는 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 제1 동작과 다른 제2 동작으로 결정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment,
실시 예에서, 메모리(103)에는 투사 공간에 대응하는 모델링 정보의 색상 및 밝기 중 적어도 하나에 기반하여 배경 콘텐츠의 색상 및 밝기 중 적어도 하나를 결정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, the
실시 예에서, 메모리(103)에는 배경 콘텐츠의 밝기를 최소 값으로 결정하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment,
실시 예에서, 메모리(103)에는 투사 오브젝트 콘텐츠와 배경 콘텐츠를 포함하는 투사 콘텐츠를 투사 공간에 투사하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, the
실시 예에서, 메모리(103)에는 기 설정된 주기, 랜덤한 주기, 및 이벤트 발생 중 적어도 하나에 기반하여 오브젝트 콘텐츠의 움직임을 제어하기 위한 하나 이상의 인스트럭션이 저장될 수 있다.In an embodiment, one or more instructions for controlling the movement of object content may be stored in the
실시 예에 따른 프로세서(101)는 전자 장치(100)의 전반적인 동작 및 전자 장치(100)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다. The
실시 예에서, 프로세서(101)는 메모리(103)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 전자 장치(100)가 기능하도록 제어할 수 있다. In an embodiment, the
실시 예에서, 프로세서(101)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. In embodiments,
실시 예에서, 프로세서(101)는 하나이거나 또는 복수 개일 수 있다. 예컨대, 프로세서(101)는 복수의 프로세서들을 포함할 수 있다. 이 경우, 프로세서(101)는 메인 프로세서(main processor) 및 서브 프로세서(sub processor)로 구현될 수 있다.In an embodiment, there may be one or
또한, 프로세서(101)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시 예에서, 프로세서(101)는 CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 실시 예에서, 프로세서(101)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.Additionally, the
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득할 수 있다. In an embodiment, one or
실시 예에서, 프로세서(101)는 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠를 보정하여 투사 오브젝트 콘텐츠를 획득할 수 있다. In an embodiment, the
실시 예에서, 프로세서(101)는 투사 공간에 대응하는 모델링 정보에 기반하여, 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. In an embodiment, the
실시 예에서, 프로세서(101)는 투사부(105)를 제어하여, 투사 공간에, 결정된 동작을 수행하는 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사할 수 있다. In an embodiment, the
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 투사 오브젝트 콘텐츠의 동작을 투사 공간 구조 정보에 대응하는 동작으로 결정할 수 있다. In an embodiment, one or
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 임계치 이하의 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 제1 동작으로 결정할 수 있다. In an embodiment, one or
실시 예에서, 프로세서(101)는 임계치를 넘는 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 제1 동작과 다른 제2 동작으로 결정할 수 있다. In an embodiment, the
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 기 설정된 주기, 랜덤한 주기, 및 이벤트 발생 중 적어도 하나에 기반하여 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. In an embodiment, one or
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 색상, 밝기, 형태 및 크기 중 적어도 하나를 보정할 수 있다. In an embodiment, one or
실시 예에서, 투사 공간에 대응하는 모델링 정보는 투사 공간 뎁스 정보를 포함할 수 있다. In an embodiment, modeling information corresponding to the projection space may include projection space depth information.
실시 예에서, 프로세서(101)는 사용자 뎁스 정보를 획득할 수 있다. In an embodiment,
실시 예에서, 프로세서(101)는 투사 공간 뎁스 정보 및 사용자 뎁스 정보를 이용하여, 표준 오브젝트 콘텐츠의 크기를 보정할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 x축, y축, 및 z축 중 적어도 하나의 축을 기준으로 회전 가능할 수 있다. In an embodiment, the
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 주변 공간 이미지 및 주변 공간 뎁스 정보를 획득할 수 있다. 실시 예에서, 프로세서(101)는 주변 공간 이미지 및 주변 공간 뎁스 정보에 기초하여, 주변 공간에 대한 모델링 정보를 획득할 수 있다.In an embodiment, one or
실시 예에서, 주변 공간에 대한 모델링 정보는 전자 장치(100)의 축 별 회전 각도에 따른 색상 정보 및 뎁스 정보를 포함할 수 있다. In an embodiment, modeling information about the surrounding space may include color information and depth information according to the rotation angle for each axis of the
실시 예에서, 프로세서(101)는 사용자 이미지를 획득하고, 사용자 이미지로부터 사용자 특징점을 식별할 수 있다. In an embodiment, the
실시 예에서, 프로세서(101)는 사용자 특징점을 기반으로 사용자 얼굴이 향하는 방향을 식별할 수 있다. 실시 예에서, 프로세서(101)는 사용자 얼굴이 향하는 방향에 위치한 공간을 투사 공간으로 식별할 수 있다. In an embodiment, the
실시 예에서, 투사 콘텐츠는 배경 콘텐츠를 더 포함할 수 있다. In embodiments, the projected content may further include background content.
실시 예에서, 하나 이상의 프로세서(101)는 하나 이상의 인스트럭션을 실행함으로써, 투사 공간에 대응하는 모델링 정보의 색상 및 밝기 중 적어도 하나에 기반하여 배경 콘텐츠의 색상 및 밝기 중 적어도 하나를 결정할 수 있다. In an embodiment, the one or
실시 예에서, 프로세서(101)는 배경 콘텐츠의 밝기를 최소 값으로 결정할 수 있다. In an embodiment, the
실시 예에 따른 투사부(105)는 영상을 표현하기 위한 광을 외부로 투사하는 구성 요소로, 프로젝션부로도 호칭될 수 있다. 투사부(105)는 광원, 프로젝션 렌즈, 반사체 등 다양한 세부 구성을 포함할 수 있다.The
투사부(105)는 다양한 투사 방식, 예를 들어, CRT(cathode-ray tube) 방식, LCD(Liquid Crystal Display) 방식, DLP(Digital Light Processing) 방식, 레이저 방식 등으로 영상을 투사할 수 있다. The
투사부(105)는 다양한 유형의 광원을 포함할 수 있다. 예를 들어, 투사부(105)는 램프, LED, 레이저 중 적어도 하나의 광원을 포함할 수 있다.The
투사부(105)는 전자 장치(100)의 용도 또는 사용자의 설정 등에 따라 4:3 화면비, 5:4 화면비, 16:9 와이드 화면비로 이미지를 출력할 수 있고, 화면비에 따라 WVGA(854*480), SVGA(800*600), XGA(1024*768), WXGA(1180*720), WXGA(1180*800), SXGA(1180*1024), UXGA(1600*1100), Full HD(1920*1080) 등의 다양한 해상도로 이미지를 출력할 수 있다.The
투사부(105)는 프로세서(101)의 제어에 의해 출력 이미지를 조절하기 위한 다양한 기능을 수행할 수 있다. 예를 들어, 투사부(105)는 줌, 키스톤, 렌즈 시프트 등의 기능을 수행할 수 있다. The
투사부(105)는 사용자의 제어에 따라, 또는 사용자 제어 없이 자동으로 주변 환경 및 프로젝션 환경을 분석하여, 줌 기능, 키스톤 보정 기능, 포커스 조절 기능 등을 수행할 수 있다. The
도 3은 실시 예에 따른 전자 장치(100)의 내부 블록도이다. Figure 3 is an internal block diagram of the
도 3을 참조하면, 실시 예에서, 전자 장치(100)는 프로세서(101), 메모리(103), 및 투사부(105) 외에, 센싱부(106), 통신부(107) 및 사용자 입력부(108)를 더 포함할 수 있다. Referring to FIG. 3, in the embodiment, the
실시 예에서, 센싱부(106)는 센서를 포함할 수 있다. 센서는 전자 장치(100)의 상태 또는 전자 장치(100) 주변의 상태를 감지하여 로우 데이터를 획득하고, 이를 프로세서(101)로 전달할 수 있다. In an embodiment, the
실시 예에서, 센싱부(106)는 이미지 센서(106-1)를 포함할 수 있다. 실시 예에서, 이미지 센서(106-1)는 카메라를 포함할 수 있다. 이미지 센서(106-1)는 CCD나 CMOS 등의 센서 및 렌즈를 포함하고, 피사체를 촬영하여 화면에 맺힌 이미지를 획득할 수 있다. 이미지 센서(106-1)는 빛으로 맺힌 피사체에 대한 정보를 전기적인 신호로 변환할 수 있다. 또한, 이미지 센서(106-1)는 촬영한 영상에 대해 AE(Auto Exposure), AWB(Auto White Balance), Color recovery, correction, Sharpening, Gamma, Lens shading correction 중 하나 이상의 신호 처리를 수행할 수 있다. In an embodiment, the
실시 예에서, 센싱부(106)는 뎁스 센서(106-2)를 포함할 수 있다. 실시 예에 따른 뎁스 센서(106-2)는 피사체를 향해 방사한 빛이 피사체로부터 반사되어 되돌아오는 시간을 이용하여 카메라와 피사체 간의 거리를 계산하고, 피사체가 위치한 공간에 대한 정보 등을 획득할 수 있다. 실시 예에서, 뎁스 센서(106-2)는 스테레오 타입, ToF(Time-Of-Flight) 방식, Structured Pattern 방식 중 하나의 방식으로 3차원 뎁스를 인식할 수 있다. In an embodiment, the
도 3에서는 뎁스 센서(106-2)가 이미지 센서(106-1)와 분리된 모듈 내지 블록으로 전자 장치(100)에 포함된 경우를 개시하나, 이에 한정되는 것은 아니고, 뎁스 센서(106-2)는 이미지 센서(106-1)에 포함될 수 있다. 예컨대, 뎁스 센서(106-2)는 카메라 중에 뎁스 기능을 갖는 카메라에 포함되어, 피사체에 대한 이미지가 획득될 때 피사체에 대한 거리를 함께 획득할 수 있다. 3 discloses a case where the depth sensor 106-2 is included in the
센싱부(106)는, 이미지 센서(106-1) 및 뎁스 센서(106-2) 외에도, 가속도 센서(Acceleration sensor) 및/또는 위치 센서(예컨대, GPS)를 더 포함할 수 있다. 가속도 센서 및 위치 센서는 전자 장치(100)의 회전 각도를 추정하기 위한 로우 데이터를 획득할 수 있다. 실시 예에서, 프로세서(101)는 센싱부(106)를 통해 획득한 로우 데이터를 기반으로 3축, 즉, x축, y축, z축에 대한 전자 장치(100)의 회전 각도를 추정할 수 있다. The
실시 예에 따른 통신부(107)는 다른 디바이스와의 통신을 수행하기 위한 구성 요소를 포함할 수 있다. 예를 들어, 통신부(107)는, 근거리 통신부 및 이동 통신부를 포함할 수 있다. The
실시 예에서, 근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. In an embodiment, the short-range wireless communication unit includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ray communication unit. (IrDA, infrared Data Association) communication unit, WFD (Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant+ communication unit, etc., but is not limited thereto.
실시 예에서, BLE 통신부는 상시, 또는 주기적으로, 또는 랜덤한 시간 간격으로, 또는 기 설정된 시점 마다 BLE 신호를 주변에 송신할 수 있다. In an embodiment, the BLE communication unit may transmit a BLE signal to the surroundings at all times, periodically, at random time intervals, or at preset time points.
실시 예에서, 이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.In an embodiment, the mobile communication unit transmits and receives wireless signals to at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to voice call signals, video call signals, or text/multimedia message transmission and reception.
실시 예에서, 통신부(107)는 외부 서버 등으로부터 표준 오브젝트 콘텐츠 및 동작 정보를 수신할 수 있다. 표준 오브젝트 콘텐츠의 동작 정보는 표준 오브젝트 콘텐츠가 수행할 수 있는 다양한 형태의 동작을 가리키는 정보일 수 있다. In an embodiment, the
실시 예에 따른 사용자 입력부(108)는, 전자 장치(100)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 입력부(108)는 사용자의 터치를 감지하는 터치 패널, 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 조그 휠, 조그 스위치, 키보드(key board), 키 패드(key pad), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 전자 장치(100)가 원격 제어 장치(remote controller)(미도시)에 의해서 조작되는 경우, 사용자 입력부(109)는 원격 제어 장치로부터 수신되는 제어 신호를 수신할 수도 있다.The
실시 예에서, 사용자 입력부(108)는 사용자로부터 제어 신호를 입력 받을 수 있다. 사용자는 사용자 입력부(108)를 이용하여 오브젝트 콘텐츠를 투사하라는 제어 신호를 입력할 수 있다. 오브젝트 콘텐츠를 투사하라는 제어 신호는 사용자가 전자 장치(100)가 위치한 공간 주변에 진입하는 경우이거나 또는 사용자가 특정 모션을 취하는 경우이거나 또는 사용자가 오브젝트 콘텐츠를 음성으로 호출하는 경우 등과 같이 다양한 형태로 구현될 수 있다.In an embodiment, the
또한, 사용자는 오브젝트 콘텐츠의 동작을 제어하기 위한, 투사 오브젝트 콘텐츠 동작 제어 신호를 입력할 수 있다. 실시 예에서, 사용자는 특정 제스쳐(gesture)를 취하거나, 또는 특정 단어를 발화하는 방법 등을 이용하여 전자 장치(100)에 투사 오브젝트 콘텐츠 동작 제어 신호를 입력할 수 있다. 예컨대, 사용자가 손을 좌우로 흔드는 동작을 하는 경우와 같이 특정 동작을 수행하면, 전자 장치(100)는 사용자의 모션을 투사 오브젝트 콘텐츠 동작 제어하는 제어 신호로 입력 받을 수 있다. 또는 사용자가 "뛰어!", "발 내밀어"와 같이 특정 동작을 수행하라는 음성 명령어를 발화하면, 전자 장치(100)는 음성 명령어를 오브젝트 콘텐츠의 동작을 제어하는 제어 신호로 입력 받을 수 있다. 전자 장치(100)는 사용자의 모션이나 음성 발화에 따른 제어 신호에 상응하여 투사 오브젝트 콘텐츠가 특정 동작을 수행하도록 제어할 수 있다.Additionally, the user can input a projection object content operation control signal to control the operation of the object content. In an embodiment, a user may input a projection object content operation control signal to the
도 4는 실시 예에 따른 전자 장치(100) 내부의 프로세서(101)의 동작 모듈을 나타내는 도면이다.FIG. 4 is a diagram illustrating an operation module of the
도 4를 참조하면, 프로세서(101)는 표준 오브젝트 콘텐츠 획득부(410), 모델링 정보 획득부(420), 투사 공간 식별부(430), 및 투사 콘텐츠 생성부(440)를 포함할 수 있다.Referring to FIG. 4 , the
실시 예에서, 전자 장치(100)는 콘텐츠 프로바이더들(contents providers)이 제공하는 다양한 형태의 콘텐츠를 출력할 수 있다. 콘텐츠는 정지 영상, 동영상 등의 비디오, 오디오, 자막, 기타 부가 정보 등을 포함할 수 있다. 콘텐츠 프로바이더는 소비자에게 각종 콘텐츠를 제공하는 콘텐츠 제작자일 수 있다. 콘텐츠 프로바이더는 IPTV (Internet Protocol Television) 서비스 제공자나 OTT (Over the Top) 서비스 제공자, 지상파 방송국이나 케이블 방송국, 위성 방송국, 등을 포함할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 외부 기기나 외부 서버 등을 통해 콘텐츠 프로바이더에 의해 생성된 다양한 콘텐츠를 수신하여 출력할 수 있다. 예컨대, 외부 기기는 PC, 셋톱 박스, 블루레이 디스크 플레이어, 휴대폰, 게임기, 홈 씨어터, 오디오 플레이어, USB 등과 같이 다양한 형태의 소스 장치로 구현될 수 있다.In an embodiment, the
실시 예에서, 표준 오브젝트 콘텐츠 획득부(410)는 외부 기기나 외부 서버 등으로부터 콘텐츠 프로바이더가 제공하는 표준 오브젝트 콘텐츠를 수신할 수 있다. In an embodiment, the standard object
또는 전자 장치(100)의 메모리(103)에는 기 생성된 표준 오브젝트 콘텐츠가 저장되어 있고, 사용자가 이 중 하나를 선택한 경우, 표준 오브젝트 콘텐츠 획득부(410)는 사용자 선택에 기반하여 메모리(103)에 기 저장되어 있는 표준 오브젝트 콘텐츠를 획득할 수 있다. Alternatively, pre-generated standard object content is stored in the
또는, 사용자는 전자 장치(100)를 이용하여 직접 표준 오브젝트 콘텐츠를 생성할 수도 있다. 예컨대, 사용자는 전자 장치(100)를 이용하여 특정 사이즈나 색상을 갖는 특정 형태의 캐릭터나 아바타 등의 이미지를 직접 그리거나, 또는 사람이나 사물을 촬영하여 이미지를 획득하고, 이미지를 전자 장치(100)에 입력시켜, 전자 장치(100)가 이미지로부터 표준 오브젝트 콘텐츠를 생성하도록 할 수 있다. Alternatively, the user may directly create standard object content using the
또는 사용자는 전자 장치(100)의 메모리(103) 등에 기 저장된 표준 오브젝트 콘텐츠를 원하는 형태로 일부 수정하여 이를 표준 오브젝트 콘텐츠로 이용할 수도 있다. Alternatively, the user may partially modify the standard object content already stored in the
실시 예에서, 표준 오브젝트 콘텐츠 획득부(410)는 외부 기기나 외부 서버, 또는 전자 장치(100)의 메모리(103) 등으로부터 획득하거나 또는 사용자가 입력한 이미지로부터 획득한 표준 오브젝트 콘텐츠를 투사 콘텐츠 생성부(440)로 전달할 수 있다. In an embodiment, the standard object
실시 예에서, 모델링 정보 획득부(420)는 주변 공간에 대한 모델링 정보를 획득할 수 있다. In an embodiment, the modeling
실시 예에서, 전자 장치(100)는 이미지 센서(106-1)를 통해 주변 공간 이미지를 획득할 수 있다. 실시 예에서, 전자 장치(100)는 x, y, z축 각각으로 소정 각도 이상 회전 가능하기 때문에, 전자 장치(100)에 장착된 이미지 센서(106-1) 또한 전자 장치(100)와 함께 회전하면서 주변 공간에 대한 복수 앵글에서의 영상들을 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 뎁스 센서(106-2)를 통해 주변 공간 뎁스 정보를 획득할 수 있다. 실시 예에서, 주변 공간 뎁스 정보는 주변 공간의 환경이나 구조물까지의 거리 정보를 의미할 수 있다. In an embodiment, the
실시 예에서, 모델링 정보 획득부(420)는 이미지 센서(106-1)를 통해 획득한 주변 공간 이미지 및 뎁스 센서(106-2)를 통해 획득한 주변 공간 뎁스 정보에 기초하여 주변 공간에 대한 모델링 정보를 획득할 수 있다.In an embodiment, the modeling
실시 예에서, 모델링 정보 획득부(420)는 주변 공간의 환경이나 주변 공간에 배치된 물체의 표면이나 물체의 위치, 기하학적 정보 등을 점이나 선, 면 등으로 연결하여 주변 공간의 형태를 형상화할 수 있다. 실시 예에서, 모델링 정보 획득부(420)는 주변 공간의 환경이나 물체에 대해 생성된 수많은 선이나 점 등에 대해 렌더링(rendering)을 수행하여 실제의 환경이나 실제의 물체와 비슷한 색상이나 양감, 질감을 갖도록 할 수 있다. In an embodiment, the modeling
실시 예에서, 주변 공간에 대한 모델링 정보는 전자 장치(100)의 축 별 회전 각도에 따른 색상 정보 및 뎁스 정보를 포함할 수 있다. In an embodiment, modeling information about the surrounding space may include color information and depth information according to the rotation angle for each axis of the
실시 예에서, 모델링 정보 획득부(420)는 주변 공간에 대한 모델링 정보를 투사 콘텐츠 생성부(440)로 전달할 수 있다.In an embodiment, the modeling
실시 예에서, 투사 공간 식별부(430)는 투사 공간을 식별할 수 있다. 실시 예에서, 투사 공간 식별부(430)는 사용자 이미지로부터 사용자 특징점을 검출할 수 있다. 사용자 특징점은 사용자의 머리나 귀, 목, 어깨, 얼굴 등과 같이 사용자의 신체 일부를 식별하기 위한 정보일 수 있다. In an embodiment, the projection
실시 예에서, 투사 공간 식별부(430)는 이미지로부터 검출된 사용자 특징점을 연결하여 사용자 신체를 모형화한 도형을 생성할 수 있다. 예컨대, 투사 공간 식별부(430)는 사용자의 머리 뒷면을 중앙에 포함하고 사용자의 양쪽 귀를 도형의 끝에 포함하는 육면체 도형을 생성할 수 있다. 실시 예에서, 투사 공간 식별부(430)는 사용자 신체를 모형화한 도형을 기반으로 사용자의 얼굴이 향하는 방향을 식별할 수 있다. 또한, 실시 예에서, 투사 공간 식별부(430)는 사용자 신체를 모형화한 도형이 어느 축으로 얼만큼 기울어졌는지를 식별하고, 이에 따라 사용자의 얼굴이 향하는 방향이 어느 축으로 얼만큼 기울어졌는지를 식별할 수 있다. In an embodiment, the projection
실시 예에서, 투사 공간 식별부(430)는 사용자 얼굴이 향하는 방향에 위치한 공간을 투사 공간으로 식별할 수 있다. 실시 예에서, 투사 공간은 전자 장치(100)의 축 별 회전 각도 범위로 표시될 수 있다. 또는, 실시 예에서, 투사 공간은 식별된 투사 공간의 고유 좌표 값 범위로 표시될 수도 있다.In an embodiment, the projection
실시 예에서, 투사 공간 식별부(430)는 투사 공간을 나타내는 정보를 투사 콘텐츠 생성부(440)로 전달할 수 있다. In an embodiment, the projection
실시 예에서, 투사 콘텐츠 생성부(440)는 투사부(105)를 통해 투사할 투사 콘텐츠를 생성할 수 있다. 실시 예에서, 투사 콘텐츠 생성부(440)는 모델링 정보 획득부(420)로부터 수신한 주변 환경에 대한 모델링 정보 중에, 투사 공간 식별부(430)로부터 수신한 투사 공간에 대응하는 모델링 정보를 식별할 수 있다. In an embodiment, the projection
실시 예에서, 투사 콘텐츠 생성부(440)는 오브젝트 콘텐츠 형상 보정부(441), 오브젝트 콘텐츠 동작 결정부(443) 및 배경 콘텐츠 생성부(445)를 포함할 수 있다. In an embodiment, the
실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠 획득부(410)로부터 받은 표준 오브젝트 콘텐츠의 형상을 보정할 수 있다. 실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 표준 오브젝트 콘텐츠의 색상, 밝기, 형태, 크기 등의 형상을 투사 공간에 대응하는 모델링 정보에 기반하여 보정할 수 있다. In an embodiment, the object content
실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 표준 오브젝트 콘텐츠를 구성하는 복수의 서브 영역 별로 색상, 밝기, 형태, 크기 등을 독립적으로 보정할 수 있다. 실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠를 복수의 서브 영역으로 분할할 수 있다. 예컨대, 오브젝트 콘텐츠 형상 보정부(441)는 투사 공간에서 색상이 구분되는 영역 별로, 표준 오브젝트 콘텐츠 또한 복수의 서브 영역으로 구분하고, 구분된 서브 영역을 투사 공간의 색상에 따라 다르게 보정할 수 있다. In an embodiment, the object content
투사 공간에 주변보다 어두운 영역이 있는 경우, 어두운 투사 공간에 투사되는 오브젝트 콘텐츠의 영역은 투사 오브젝트 콘텐츠의 다른 영역보다 상대적으로 어둡게 보이게 된다. 또한, 투사 공간에 주변 주변보다 밝은 영역이 있는 경우, 밝은 투사 공간에 투사되는 오브젝트 콘텐츠의 영역은 투사 오브젝트 콘텐츠의 다른 영역보다 상대적으로 밝아 보이게 된다. 즉, 투사 공간에 어두운 영역과 밝은 영역이 함께 있는 경우, 동일한 밝기의 오브젝트 콘텐츠를 투사하여도, 투사 공간의 밝기에 따라 오브젝트 콘텐츠가 일부는 밝게, 일부는 어둡게 보이는 현상이 나타나게 된다. If there is an area in the projection space that is darker than the surrounding area, the area of the object content projected to the dark projection space appears relatively darker than other areas of the projected object content. Additionally, if there is an area in the projection space that is brighter than the surrounding surroundings, the area of the object content projected in the bright projection space appears relatively brighter than other areas of the projected object content. In other words, when a dark area and a bright area exist together in the projection space, even if object content of the same brightness is projected, the object content appears partly bright and partly dark depending on the brightness of the projection space.
유사하게, 동일한 오브젝트 콘텐츠라 하더라도, 색상 대비 등의 현상 때문에, 투사 공간의 색상에 따라, 오브젝트 콘텐츠의 색상이나 명도 등이 다르게 보일 수 있다. Similarly, even if the object content is the same, the color or brightness of the object content may appear different depending on the color of the projection space due to phenomena such as color contrast.
또한, 동일한 오브젝트 콘텐츠라 하더라도, 투사 공간의 뎁스 정보에 따라 오브젝트의 크기나 형태가 서로 다르게 왜곡되어 보일 수 있다. 예컨대, 투사 공간이 돌출된 평면을 포함하는 경우, 돌출된 평면으로 투사되는 오브젝트 콘텐츠 영역은 돌출되지 않은 영역으로 투사되는 오브젝트 콘텐츠 영역보다 더 크게 보이게 된다. Additionally, even if the object content is the same, the size or shape of the object may appear differently distorted depending on the depth information of the projection space. For example, when the projection space includes a protruding plane, the object content area projected onto the protruding plane appears larger than the object content area projected onto the non-protruding area.
또한, 투사 공간이 매끄러운 평면이 아니라 울퉁불퉁한 경우, 울퉁불퉁한 공간으로 투사된 오브젝트 콘텐츠는 형태가 왜곡되어 보이게 된다. Additionally, if the projection space is not a smooth plane but is uneven, the object content projected onto the uneven space appears distorted.
이에, 실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 투사 공간의 서로 다른 밝기나 색상, 뎁스 정보 등에 따라, 하나의 오브젝트 콘텐츠를 구성하는 부분들이 서로 다른 색상이나 밝기, 크기, 형태 등으로 왜곡되어 보이는 것을 막기 위해, 투사 공간에 대한 모델링 정보에 기반하여 표준 오브젝트 콘텐츠의 각 영역을 서로 다르게 보정할 수 있다. Accordingly, in the embodiment, the object content
실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 표준 오브젝트 콘텐츠의 각 픽셀 별로, 색상, 밝기, 형태, 크기 등을 다르게 조절할 수 있다.In an embodiment, the object content
실시 예에서, 오브젝트 콘텐츠 형상 보정부(441)는 복수의 서브 영역 별로 색상, 밝기, 형태, 크기 등을 다르게 보정함으로써, 보정되어 투사된 오브젝트 콘텐츠의 전체 색상, 밝기, 형태, 크기 등이 통일된 색상, 밝기, 크기, 형태 등으로 보이도록 할 수 있다. In an embodiment, the object content
실시 예에서, 오브젝트 콘텐츠 동작 결정부(443)는 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. 실시 예에서, 오브젝트 콘텐츠 동작 결정부(443)는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. 실시 예에서, 투사 공간에 대응하는 모델링 정보는 투사 공간 구조 정보를 포함할 수 있다. In an embodiment, the object content
실시 예에서, 오브젝트 콘텐츠 동작 결정부(443)는 투사 오브젝트 콘텐츠의 동작을 투사 공간 구조 정보에 대응하는 동작으로 결정할 수 있다. In an embodiment, the object content
실시 예에서, 투사 공간 구조 정보는 공간 변화 정보를 포함할 수 있다. In an embodiment, the projected spatial structure information may include spatial change information.
실시 예에서, 오브젝트 콘텐츠 동작 결정부(443)는 임계치 이하의 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 제1 동작으로 결정하고, 임계치를 넘는 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 제1 동작과 다른 제2 동작으로 결정할 수 있다. In an embodiment, the object content
예컨대, 오브젝트 콘텐츠 동작 결정부(443)는 투사 공간의 뎁스 값 차이를 기반으로, 임계치 이상의 뎁스 값 차이를 갖는 영역과 임계치보다 작은 뎁스 값 차이를 갖는 영역에서 투사 오브젝트 콘텐츠가 서로 다른 동작을 수행하도록 제어할 수 있다. For example, based on the depth value difference in the projection space, the object content
실시 예에서, 콘텐츠 프로바이더는 표준 오브젝트 콘텐츠를 생성할 때, 표준 오브젝트 콘텐츠의 색상, 디자인, 크기, 종류 등을 결정하면서, 표준 오브젝트 콘텐츠가 수행할 수 있는 동작의 종류, 즉, 동작 정보도 함께 결정할 수 있다. 예컨대, 표준 오브젝트 콘텐츠가 무당벌레인 경우, 콘텐츠 프로바이더는 무당벌레가 기어가는 동작을 표준 오브젝트 콘텐츠가 수행할 수 있는 동작으로 결정할 수 있다. 또한, 콘텐츠 프로바이더는 투사 공간의 뎁스 값 차이가 임계치보다 큰 영역에서 표준 오브젝트 콘텐츠가 수행할 수 있는 동작도 미리 결정할 수 있다. 예컨대, 위 예에서, 콘텐츠 프로바이더는 무당벌레 뎁스 값 차이가 임계치보다 큰 영역을 이동할 때는 날개를 펴서 나는 동작을 수행하도록 결정할 수 있다. In an embodiment, when creating standard object content, the content provider determines the color, design, size, type, etc. of the standard object content, while also determining the types of operations that the standard object content can perform, that is, motion information. You can decide. For example, if the standard object content is a ladybug, the content provider may determine the crawling motion of the ladybug as an motion that the standard object content can perform. Additionally, the content provider may determine in advance the operations that standard object content can perform in an area where the difference in depth values of the projection space is greater than the threshold. For example, in the above example, the content provider may decide to perform a flying motion by spreading its wings when the ladybug moves through an area where the difference in depth values is greater than a threshold.
실시 예에서, 오브젝트 콘텐츠 동작 결정부(443)는 표준 오브젝트 콘텐츠가 수행할 수 있는 기 결정된 동작들에 대한 동작 정보를 이용하여 오브젝트 콘텐츠의 동작을 결정할 수 있다. In an embodiment, the object content
실시 예에서, 배경 콘텐츠 생성부(445)는 배경 콘텐츠를 생성할 수 있다. 실시 예에서, 배경 콘텐츠는 투사 콘텐츠에서 투사 오브젝트 콘텐츠를 제외한 나머지 영역을 의미할 수 있다. 실시 예에서, 배경 콘텐츠 생성부(445)는 모델링 정보 획득부(420)로부터 수신한 주변 환경에 대한 모델링 정보 중에, 투사 공간 식별부(430)로부터 수신한 투사 공간에 대응하는 모델링 정보를 식별할 수 있다.In an embodiment, the
실시 예에서, 배경 콘텐츠 생성부(445)는 투사 공간에 대응하는 모델링 정보에 기반하여 배경 콘텐츠를 생성할 수 있다. 실시 예에서, 배경 콘텐츠 생성부(445)는 투사 공간에 대응하는 모델링 정보의 색상 및 밝기 중 적어도 하나에 기반하여 배경 콘텐츠의 색상 및 밝기 중 적어도 하나를 결정할 수 있다. 예컨대, 배경 콘텐츠 생성부(445)는 투사 공간의 색상 및 밝기와 동일한 색상 및 동일한 밝기로 배경 콘텐츠를 생성할 수 있다. 이 경우, 실제 공간과 유사한 색상 및 밝기로 배경 콘텐츠가 투사되므로, 사용자는 배경 콘텐츠가 투사되어도 이를 실제 공간과 잘 구분하지 못하게 된다.In an embodiment, the
실시 예에서, 배경 콘텐츠 생성부(445)는 배경 콘텐츠의 밝기를 최소 값을 결정할 수 있다. 배경 콘텐츠가 최소의 밝기로 투사될 경우, 잘 식별되지 못하므로, 투사 오브젝트 콘텐츠만 투사되는 것과 같은 효과를 가질 수 있다. In an embodiment, the
실시 예에서, 투사 콘텐츠 생성부(440)는 오브젝트 콘텐츠 형상 보정부(441)가 생성한, 보정된 형상의 오브젝트 콘텐츠, 즉, 투사 오브젝트 콘텐츠와, 배경 콘텐츠 생성부(445)가 생성한, 배경 콘텐츠를 포함하는 투사 콘텐츠를 생성하고, 이를 투사 공간에 투사할 수 있다. In an embodiment, the
실시 예에서, 투사 콘텐츠에 포함된 투사 오브젝트 콘텐츠는 오브젝트 콘텐츠 동작 결정부(443)가 결정한 동작을 수행할 수 있다. In an embodiment, projection object content included in projection content may perform an operation determined by the object content
도 5는 실시 예에 따라, 전자 장치(100)가 회전하는 것을 설명하기 위한 도면이다. FIG. 5 is a diagram for explaining rotation of the
도 5를 참조하면, 전자 장치(100)는 벽이나 천장, 스탠드 등의 고정면(500)에 장착될 수 있다. 실시 예에서, 전자 장치(100)는 지지부(510)를 통해 고정면(500)에 장착될 수 있다. 지지부(510)는 전자 장치(100)를 특정 위치에 고정하기 위해 사용되는 부품일 수 있다. 실시 예에서, 지지부(510)는 브라켓 (bracket, 520)과 연결될 수 있다. 브라켓(520)은 마운트(mount)로도 호칭될 수도 있다. 브라켓은 지지부(510)와 전자 장치(100)를 연결시켜주는 부품일 수 있다. 실시 예에서, 전자 장치(100)는 브라켓(520)과 회전 가능한 형태로 연결될 수 있다. Referring to FIG. 5 , the
실시 예에서, 전자 장치(100)의 일단에는 투사부(530)가 배치될 수 있다. In an embodiment, the
도 5를 참조하면, 투사부(530)가 투사 콘텐츠를 투사하는 투사 방향과 직교하는 투사면이 있다고 가정할 때, 투사면에 수직으로 투사되는 빛의 투사 방향 또는 빛의 투사 반대 방향을 z축으로 정의할 수 있다. 또한, 투사면과 평행하면서 z축과 수직인 방향을 y축으로 정의하고, 투사면과 평행하면서 z축 및 y축과 직교하는 방향을 x축이라고 정의할 수 있다. Referring to FIG. 5, assuming that there is a projection surface perpendicular to the projection direction in which the
실시 예에서, 전자 장치(100)는 각 축을 따라 회전할 수 있다. 예컨대, 전자 장치(100)는 고정면(500)과 평행한 x축 및 y축을 따라서 180도까지 회전할 수 있다. 또한, 실시 예에서, 전자 장치(100)는 z축을 따라서는 360도까지 회전할 수 있다. In an embodiment, the
도 6은 실시 예에 따라, 전자 장치(100)가 주변에 대한 모델링 정보를 획득하는 것을 설명하기 위한 도면이다.FIG. 6 is a diagram to explain how the
도 6을 참조하면, 전자 장치(100)는 벽면이나 천장 등에 회전 가능한 형태로 배치되어 회전할 수 있다. 다만, 이는 하나의 예로, 전자 장치(100)는 바닥에 배치될 수도 있고, 특정 위치에 고정된 형태가 아닌, 이동형일 수도 있다. Referring to FIG. 6, the
실시 예에서, 전자 장치(100)가 각 축을 따라 회전하면, 전자 장치(100)에 포함된 이미지 센서(106-1) 및 뎁스 센서(106-2) 또한 축을 따라 회전하게 된다. In an embodiment, when the
실시 예에서, 전자 장치(100)는 전자 장치(100)에 구비된 이미지 센서(106-1)를 이용하여 주변의 환경이나 물체 등을 촬영하여 주변에 대한 이미지를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 전자 장치(100)에 구비된 뎁스 센서(106-2)를 이용하여 주변의 환경이나 물체까지의 뎁스 정보를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 주변에 대한 이미지 및 주변에 대한 뎁스 정보를 이용하여 주변 공간을 모델링할 수 있다. In an embodiment, the
도 6에 도시된 바와 같이, 전자 장치(100)는 실제 주변 공간(610, 620)을 모델링하여 주변 공간에 대한 모델링 정보(615, 625)를 획득할 수 있다. As shown in FIG. 6, the
실시 예에서, 전자 장치(100)는 다양한 방식으로 주변 공간을 모델링할 수 있다. 실시 예에서, 전자 장치(100)는 입체를 선으로 표현하는 방식인 Wireframe Modeling 방식을 이용하여 주변 공간의 형상을 점, 직선, 원, 호 등의 기본적인 기하학적인 요소로 표현할 수 있다. Wireframe Modeling 방식은 물체의 특징선(wireframe)과 끝 점으로 형상을 표현하는 방식으로, 선과 점의 수정을 통해 모델의 형상을 수정할 수 있다. 실시 예에서, 전자 장치(100)는 Wireframe Modeling 방식을 이용하여 주변 공간을 모델링하고 선들이 만나서 생기는 면에 색상을 입히는 렌더링 동작을 수행하여 실제감 있는 화상을 생성할 수 있다. In embodiments, the
또는, 실시 예에서, 전자 장치(100)는 Surface Modeling 방식을 이용하여 입체를 면으로 표현할 수 있다. Surface Modeling 방식은 Wireframe Modeling 기법에 면에 대한 정보를 추가하여 복잡한 곡면의 표현이 가능하도록 하는 기법이다. 이 모델링 방식은 3차원의 물체를 2차원 면의 구성 요소로 분해하여 다루는 기법으로, 다수의 면을 조합하여 3차원 형상을 생성할 수 있다. 이 방식에 의할 경우 물체의 내부에 대한 정보 없이 표면 데이터만이 획득되게 된다. 물체의 내부에 대한 정보를 고려하지 않으므로 연산 속도와 메모리 용량을 적게 사용할 수 있다. Alternatively, in an embodiment, the
실시 예에서, 전자 장치(100)는 주변 공간을 이루는 점들의 좌표, 선을 표현하는 곡선 방정식 리스트, 곡면 방정식의 리스트, 점, 선, 곡면 간의 연관성 정보 등을 획득하고, 이를 기반으로 Surface Modeling 방식을 이용하여 주변 공간을 모델링할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 Surface Modeling 방식 중 하나인 Polygon Modeling 방식을 이용하여 공간을 모델링할 수 있다. Polygon Modeling 방식은 점(vertex)을 기본 단위로 이용하여 점과 점이 연결된 선(edge), 선과 선을 연결한 면(face) 들의 결합으로 입체적인 형태를 만드는 방식이다. 폴리곤 모델링 방법에 의할 경우 다각형 모양의 폴리곤이 여러 개가 모여서 하나의 캐릭터나 오브젝트를 형성하게 된다. 다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 Surface Modeling 방식 중 Nurbs(Non-Uniform Rational B-Spline Modeling) 모델링 방식을 이용하거나 Subdivision Surface Modeling 방식을 이용하여 주변 공간에 대한 모델링 정보를 획득할 수도 있다. In an embodiment, the
도 7은 실시 예에 따라, 전자 장치(100)가 투사 방향을 식별하는 것을 설명하기 위한 도면이다. FIG. 7 is a diagram for explaining how the
실시 예에서, 전자 장치(100)는 이미지 센서(106-1)를 이용하여 사용자를 촬영할 수 있다. 예컨대, 사용자가 전자 장치(100)를 바라보는 것이 아니고 그 반대 방향을 바라보는 경우, 이미지 센서(106-1)는 사용자의 뒷면에서 사용자를 촬영하여 사용자 이미지를 획득할 수 있다. 이 때 획득되는 사용자 이미지에는 사용자의 머리 뒷면, 사용자의 양쪽 귀 뒷면, 사용자의 뒷목, 어깨 등이 포함되어 있을 수 있다.In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자를 촬영하여 획득한 사용자 이미지를 분석할 수 있다. 실시 예에서, 전자 장치(100)는 사용자 이미지로부터 사용자 특징점을 검출할 수 있다. 사용자 특징점은 신체의 부위를 식별하기 위한 부위 별 키 포인트일 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 식별된 사용자 특징점을 연결하고 사용자 특징점을 연결하는 도형을 생성할 수 있다. 사용자 특징점을 연결한 도형은 2차원 평면도형일수도 있고, 3차원 입체도형일 수도 있다. In an embodiment, the
도 7에는, 전자 장치(100)가 사용자 이미지로부터 검출된 사용자 특징점을 연결하여 육면체 도형을 생성한 것을 도시한다. 다만, 이는 하나의 실시 예로, 전자 장치(100)는 사용자 특징점을 기반으로 다양한 형태의 도형을 생성할 수 있다. FIG. 7 shows that the
실시 예에서, 전자 장치(100)는 사용자 특징점을 연결하여 생성한 도형의 기울어진 정도를 식별할 수 있다. 사용자가 정면을 똑바로 바라보고 있는 상태에서 사용자 이미지가 획득된 경우, 사용자 특징점들을 연결하여 생성한 입체 도형은 기울어짐 없이 똑바로 세워진 기준 도형 형태일 수 있다. In an embodiment, the
사용자가 정면을 똑바로 바라보지 않고 고개를 좌우 중 하나의 방향으로 약간 기울거나 또는 얼굴을 들어 천장을 바라보는 경우, 사용자 특징점을 연결하여 생성한 입체 도형은 기준 도형과 달리 어느 한 방향으로 기울어진 형태일 수 있다. If the user does not look straight ahead but slightly tilts his head to either the left or right or raises his face to look at the ceiling, the three-dimensional figure created by connecting the user's feature points is tilted in one direction, unlike the reference figure. It can be.
실시 예에서, 전자 장치(100)는 사용자 특징점을 연결하여 생성한 입체 도형과 기준 도형을 비교하여, 입체 도형의 전면이 향하는 방향 및 입체 도형이 기울어진 방향을 식별할 수 있다. 실시 예에서, 전자 장치(100)는 입체 도형의 기울어진 방향에 따라 사용자의 얼굴 방향이 어디인지를 식별할 수 있다.In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자 얼굴이 향하는 방향을 투사 방향으로 식별하고, 사용자 얼굴이 향하는 방향에 위치한 공간을 투사 공간으로 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자 얼굴이 향하는 방향에 위치한 투사 공간으로 투사 콘텐츠를 투사할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자가 바라보는 방향이 임계치 이상 변경되는 경우, 투사 방향을 다시 식별할 수 있다. 예컨대, 전자 장치(100)는 사용자가 공간 내의 제1 벽을 바라보다가 얼굴을 돌려 제1 벽과 마주보는 제2 벽을 바라보는 경우, 사용자 이미지를 새로 획득하고, 이로부터 획득한 사용자 특징점에 기반하여 사용자 얼굴이 향하는 방향을 다시 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자 얼굴이 향하는 제2 벽에 위치한 공간을 새로운 투사 공간으로 식별할 수 있다. 전자 장치(100)는 투사 공간이 변경되는 경우, 기 정의된 순서로 투사 오브젝트 콘텐츠가 동작하도록 제어할 수 있다. 예컨대, 투사 오브젝트 콘텐츠가 고래인 경우, 전자 장치(100)는 새로운 투사 공간에서 고래가 물을 뿜는 동작을 수행하도록 제어할 수 있다. In an embodiment, the
도 8은 실시 예에 따라, 전자 장치(100)가 투사 공간에 대응하는 모델링 정보에 기반하여 오브젝트 콘텐츠의 형상을 보정하는 것을 설명하기 위한 도면이다. FIG. 8 is a diagram for explaining how the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보를 획득할 수 있다. 실시 예에서, 전자 장치(100)는 사용자 얼굴이 향하는 방향을 식별하고, 사용자 얼굴이 향하는 방향에 위치한 공간을 투사 공간으로 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보 중에, 사용자 얼굴이 향하는 공간인 투사 공간에 대응하는 모델링 정보를 식별할 수 있다 In an embodiment, the
도 8의 도면 부호 810은 투사 공간에 투사 오브젝트 콘텐츠가 투사된 도면을 나타낸다. 도 8은 일 예로, 투사 오브젝트 콘텐츠가 고양이인 경우를 도시한다. 실시 예에서, 전자 장치(100)는 고양이 형상을 갖는 표준 오브젝트 콘텐츠를 획득할 수 있다. 실시 예에서, 표준 오브젝트 콘텐츠는, 도면 부호 820에 도시된 바와 같이, 너비(width), 높이(height), 길이(length)를 갖는 3차원 입체 형상으로 표현될 수 있다. 또한, 표준 오브젝트 콘텐츠는 각 픽셀 별로 색상 정보와 휘도 정보를 갖는 것으로 표현될 수 있다.
실시 예에서, 투사 공간에 대응하는 모델링 정보는 전자 장치(100)의 축 별 회전 각도에 따른 색상 정보 및 휘도 정보를 포함할 수 있다. 예컨대, 도면 부호 810의 투사 공간 상에서 A로 표기된 일 영역에 포함된 두 투사 지점을 각각 제1 지점(831), 제2 지점(832) 이라고 하면, 도면 부호 830과 같이, 제1 지점(831)과 제2 지점(832)은 각각 색상 정보(r, g, b)와 휘도 정보(Y)로 표현될 수 있다. 제1 지점(831)은 (r, g, b, Y)가 (200, 180, 195, 200)이고, 제2 지점(832)은 (r, g, b, Y)가 (50, 40, 32, 48)과 같이 표현될 수 있다.In an embodiment, modeling information corresponding to the projection space may include color information and luminance information according to the rotation angle for each axis of the
투사 지점 중에 제1 지점(831)은 하얀색에 가까운 색상을 갖고 밝기 또한 밝은 반면에, 제2 지점(832)은 제1 지점(831)과 달리 진하고 어두운 색상과 휘도를 갖는 것을 알 수 있다. Among the projection points, the
실시 예에서, 전자 장치(100)는 투사 공간 상의 투사 지점에 투사되는 표준 오브젝트 콘텐츠의 대응 지점을 식별할 수 있다. 예컨대, 전자 장치(100)는 투사 지점인 제1 지점(831) 및 제2 지점(832)에 각각 투사되는 표준 오브젝트 콘텐츠의 대응 지점인 제1 지점(841) 및 제2 지점(842)을 식별할 수 있다. In an embodiment, the
실시 예에서, 표준 오브젝트 콘텐츠는 투사 공간의 색상이나 휘도, 뎁스 정보 등이 표준 값을 가질 때를 기준으로 생성된 콘텐츠이므로, 투사 공간의 색상이나 밝기, 공간 구조 등이 표준 값을 갖지 않는 경우, 그러한 투사 공간에 투사된 표준 오브젝트 콘텐츠의 크기나 형상, 색상이나 밝기 또한 표준 오브젝트 콘텐츠와는 다른 형태를 갖게 된다. In an embodiment, standard object content is content created based on when the color, brightness, depth information, etc. of the projection space have standard values, so when the color, brightness, spatial structure, etc. of the projection space do not have standard values, The size, shape, color, and brightness of the standard object content projected into such a projection space also have a different form from the standard object content.
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠가 투사되는 투사 공간의 색상 및 휘도가 표준 색상 및 표준 휘도인 경우, 표준 오브젝트 콘텐츠의 색상이나 휘도를 보정하지 않고, 표준 오브젝트 콘텐츠 그대로를 투사할 수 있다. 그러나, 투사 공간의 색상이나 휘도가 표준 색상 및 표준 휘도가 아닌 경우, 전자 장치(100)는 표준 오브젝트 콘텐츠의 색상이나 휘도를 투사 공간의 색상이나 휘도에 따라 보정함으로써 결과적으로 투사 공간에 투사된 투사 오브젝트 콘텐츠가 표준 오브젝트 콘텐츠의 색상이나 휘도를 갖도록 할 수 있다.In an embodiment, when the color and luminance of the projection space where the standard object content is projected are standard color and standard luminance, the
표준 오브젝트 콘텐츠가 투사되는 투사 공간에 서로 다른 색상이나 휘도를 갖는 영역이 포함된 경우, 표준 오브젝트 콘텐츠의 색상이나 휘도를 보정하지 않고 표준 오브젝트 콘텐츠를 그대로 투사할 경우, 투사 공간의 서로 다른 색상이나 휘도를 갖는 영역에 걸쳐서 투사되는 표준 오브젝트 콘텐츠는 하나의 표준 오브젝트임에도 불구하고 투사 영역의 서로 다른 색상이나 휘도로 인해, 투사 오브젝트 콘텐츠의 영역들도 서로 다른 색상이나 휘도를 갖는 것처럼 보이게 된다. If the projection space where standard object content is projected includes areas with different colors or luminance, and if the standard object content is projected as is without correcting the color or luminance of the standard object content, the different colors or luminance of the projection space Even though the standard object content projected over the area is one standard object, the areas of the projected object content also appear to have different colors or luminance due to the different colors or luminance of the projection area.
예컨대, 위 예에서, 투사 지점 중 제1 지점(831)의 색상이 하얀색이고 밝기가 밝은 반면 제2 지점(832)의 색상은 진하고 어두운 밝기를 갖기 때문에, 제1 지점(831)과 제2 지점(832)에 투사되는 투사 오브젝트 콘텐츠의 제1 지점(841)과 제2 지점(842)의 색상과 휘도가 동일하더라도, 투사 공간에 투사될 경우, 표준 오브젝트 콘텐츠의 제1 지점(841)이 제2 지점(842)보다 더 하얗고 밝게 표현되고 제2 지점(842)은 더 진하고 어둡게 표현되게 된다. For example, in the example above, the color of the
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 색상, 밝기, 형태, 크기 등을 보정할 수 있다. 실시 예에서, 전자 장치(100)는 투사 공간의 투사 지점의 색상 정보와 휘도 정보를 이용하여, 투사 지점에 투사되는, 표준 오브젝트 콘텐츠의 대응 지점의 색상 정보와 휘도 정보를 보정하여 투사 오브젝트 콘텐츠를 생성할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠의 제1 지점(841)과 제2 지점(842)의 색상 정보와 휘도 정보가 동일한 값을 갖는 경우에도, 투사 지점의 색상 정보와 휘도 정보에 따라 표준 오브젝트 콘텐츠의 대응 지점의 색상 정보와 휘도 정보를 서로 다른 값으로 보정할 수 있다. In an embodiment, the
예컨대, 표준 오브젝트 콘텐츠의 제1 지점(841)과 제2 지점(842)은 색상 정보와 휘도 정보가 동일한 값을 갖는다고 가정하면, 실시 예에서, 전자 장치(100)는 투사 지점인 제1 지점(831)의 색상 정보와 휘도 정보를 이용하여, 제1 지점(831)에 투사되는 표준 오브젝트 콘텐츠의 제1 지점(841)의 색상 정보와 휘도 정보를 (80, 60, 10, 40)과 같이 보정할 수 있다. 또한, 전자 장치(100)는 투사 지점인 제2 지점(832)의 색상 정보와 휘도 정보를 이용하여, 제2 지점(832)에 투사되는 표준 오브젝트 콘텐츠의 제2 지점(842)의 색상 정보와 휘도 정보를 (120, 80, 15, 65)와 같이 보정할 수 있다. For example, assuming that the first point 841 and the
즉, 실시 예에서, 전자 장치(100)는 투사 지점 중에 색상이 하얀색이고 밝기가 밝은 제1 지점(831)에 투사되는 표준 오브젝트 콘텐츠의 제1 지점(841)의 색상과 휘도를 더 진하고 어두운 색으로 보정하고, 색상이 진하고 어두운 제2 지점(832)에 투사되는 투사 오브젝트 콘텐츠의 제2 지점(842)의 색상과 휘도를 더 하얗고 밝게 보정함으로써, 투사 공간에 투사된 투사 오브젝트 콘텐츠의 제1 지점(841)과 제2 지점(842)이 통일된 색상과 휘도로 표현되도록 할 수 있다. That is, in the embodiment, the
마찬가지로, 도면 부호 810의 투사 공간 상에서 B로 표기된 일 영역에 포함된 투사 지점은 각각 색상 정보(r, g, b)와 휘도 정보(Y)로 표현될 수 있다. 실시 예에서, B로 표기된 영역은 위와 아래 영역이 서로 다른 휘도 정보를 갖는 것을 알 수 있다. 실시 예에서, 전자 장치(100)는 B 영역에 포함된 위 영역과 아래 영역에 걸쳐 표준 오브젝트 콘텐츠를 투사하는 경우, 투사 지점에 따라 표준 오브젝트 콘텐츠의 각 지점의 휘도 정보를 다르게 보정할 수 있다. Likewise, a projection point included in an area indicated by B in the projection space of
실시 예에서, 전자 장치(100)는 투사 지점 중에 상대적으로 더 밝은 지점에 투사되는 투사 오브젝트 콘텐츠의 지점의 휘도가 더 어두운 휘도를 갖도록 보정하고, 투사 지점 중에 더 어두운 지점에 투사되는 투사 오브젝트 콘텐츠의 지점의 휘도가 더 밝은 휘도를 갖도록 보정함으로써, 투사 공간에 투사된 투사 오브젝트 콘텐츠의 서로 다른 지점이 동일한 휘도를 갖는 것처럼 표현되도록 할 수 있다. In an embodiment, the
도 9는 실시 예에 따라, 전자 장치(100)가 투사 공간에 대응하는 모델링 정보에 기반하여 오브젝트 콘텐츠의 형상을 보정하는 것을 설명하기 위한 도면이다. FIG. 9 is a diagram for explaining how the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보 중에, 투사 공간에 대응하는 모델링 정보를 식별할 수 있다 In an embodiment, the
실시 예에서, 투사 공간에 대응하는 모델링 정보는 뎁스 정보를 포함할 수 있다. 실시 예에서, 전자 장치(100)는 투사 공간의 뎁스 정보를 이용하여 표준 오브젝트 콘텐츠의 크기를 조절할 수 있다. In an embodiment, modeling information corresponding to the projection space may include depth information. In an embodiment, the
도 9는 도 8의 도면 부호 810에 도시된 투사 공간에 포함된 두 영역인, A 영역과 B 영역을 각각 도시한다.FIG. 9 shows two areas, area A and area B, respectively, included in the projection space indicated by
실시 예에서, A 영역과 B 영역에 포함된 각 지점은 서로 다른 뎁스 값을 가질 수 있다. 예컨대, A 영역은 위의 벽면 영역과 아래의 바닥면 영역을 포함할 수 있다. 실시 예에서, A 영역에 포함된 벽면 영역과 바닥면 영역은 서로 다른 뎁스 값을 가질 수 있다. 즉, 전자 장치(100)로부터 벽면까지의 거리가 전자 장치(100)로부터 바닥면까지의 거리보다 더 멀기 때문에 벽면 영역이 더 큰 뎁스 값을 갖게 된다. 또한, 바닥면 영역은 벽면 영역과의 경계 지점으로 갈수록 더 큰 뎁스 값을 갖고 경계 지점에서 멀어질수록 더 작은 뎁스 값을 갖게 된다. In an embodiment, each point included in area A and area B may have different depth values. For example, area A may include an upper wall area and a lower floor area. In an embodiment, the wall area and the floor area included in area A may have different depth values. That is, because the distance from the
표준 오브젝트 콘텐츠가 투사되는 투사 공간에 서로 다른 뎁스 값을 갖는 영역이 포함되어 있음에도, 표준 오브젝트 콘텐츠의 크기를 보정하지 않고 그대로 투사할 경우, 투사 공간의 서로 다른 뎁스 값을 갖는 영역에 걸쳐서 투사되는 표준 오브젝트 콘텐츠는 하나의 표준 오브젝트임에도 불구하고 투사 영역의 서로 다른 뎁스 값으로 인해 영역 별로 크기가 다르게 왜곡되어 보일 수 있다. Even though the projection space where standard object content is projected includes areas with different depth values, if the standard object content is projected as is without correcting its size, the standard object content is projected across areas with different depth values in the projection space. Even though object content is a single standard object, it may appear distorted and have different sizes for each area due to different depth values of the projection area.
예컨대, 위 예에서, 벽면의 뎁스 값이 더 크고 바닥면의 뎁스 값이 더 작음에도 불구하고 벽면과 바닥면에 표준 오브젝트 콘텐츠를 그대로 투사할 경우, 벽면과의 거리 때문에 벽면에 투사되는 표준 오브젝트 콘텐츠의 투사 지점은 더 작은 값을 갖는 것으로 표현되게 된다. For example, in the above example, when standard object content is projected on the wall and floor as is even though the depth value of the wall is larger and the depth value of the floor is smaller, the standard object content projected on the wall is due to the distance from the wall. The projection point of is expressed as having a smaller value.
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 크기를 보정할 수 있다. 실시 예에서, 전자 장치(100)는 투사 공간의 투사 지점의 뎁스 값을 이용하여, 투사 지점에 투사되는, 표준 오브젝트 콘텐츠의 대응 지점의 크기를 보정할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 큰 뎁스 값을 갖는 지점으로 투사되는 표준 오브젝트의 대응 지점의 크기를 더 크게 조절하고, 작은 뎁스 값을 갖는 대응 지점의 크기를 더 작게 조절할 수 있다. 즉, 위 예에서, 전자 장치(100)는 벽면 영역으로 투사되는 표준 오브젝트 콘텐츠의 크기를 더 크게 보정할 수 있다. 또한, 전자 장치(100)는 바닥면으로 투사되는 표준 오브젝트 콘텐츠의 크기를 뎁스 값에 따라 다르게 보정하여, 바닥면에서 벽면과의 경계 지점으로 갈수록 그 지점으로 투사되는 표준 오브젝트 콘텐츠의 크기를 더 크게 보정하고, 벽면과의 경계 지점에서 멀어지는 지점으로 갈수록 그 지점으로 투사되는 표준 오브젝트 콘텐츠의 크기를 더 작게 보정할 수 있다. In an embodiment, the
마찬가지로, 전자 장치(100)는 B 영역에서 서로 다른 뎁스 값을 갖는 지점으로 투사되는 표준 오브젝트의 대응 지점의 크기를 서로 다르게 보정할 수 있다. Likewise, the
따라서, 투사 공간에 투사된 투사 오브젝트 콘텐츠의 전체 모양과 크기는 표준 오브젝트 콘텐츠의 전체 모양 및 크기와 같거나 또는 표준 오브젝트 콘텐츠의 크기에 비례하는 값을 갖는 것으로 표현될 수 있다. Accordingly, the overall shape and size of the projection object content projected in the projection space can be expressed as having a value that is the same as the overall shape and size of the standard object content or is proportional to the size of the standard object content.
실시 예에서, 전자 장치(100)는 사용자 뎁스 정보를 획득할 수도 있다. 사용자 뎁스 정보는 전자 장치(100)와 사용자 간의 거리를 나타내는 정보일 수 있다. 실시 예에서, 전자 장치(100)는 뎁스 센서(106-2)를 이용하여 사용자까지의 거리를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 사용자의 뎁스 정보와 투사 공간 뎁스 정보를 이용하여 표준 오브젝트 콘텐츠의 크기를 보정할 수 있다. 실시 예에서, 전자 장치(100)는 사용자와 투사 공간의 거리가 가까운 경우, 표준 오브젝트 콘텐츠의 전체 크기가 거리에 따라 커지도록 보정할 수 있다. 실시 예에서, 전자 장치(100)는 사용자와 투사 공간의 거리가 먼 경우, 표준 오브젝트 콘텐츠의 전체 크기가 더 작아 보이도록 표준 오브젝트 콘텐츠의 크기를 보정할 수 있다. In an embodiment, the
이와 같이, 실시 예에 의하면, 전자 장치(100)는 투사 공간에 대한 모델링 정보, 사용자 뎁스 정보 등을 이용하여, 표준 오브젝트 콘텐츠의 색상, 밝기, 크기 등을 보정하여 투사함으로써, 사용자에게 보다 현실적인 투사 오브젝트 콘텐츠를 제공할 수 있다. As such, according to the embodiment, the
도 10은 실시 예에 따라, 전자 장치(100)가 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠의 형태를 보정하는 것을 설명하는 도면이다. FIG. 10 is a diagram illustrating how the
투사 공간은 평평한 평면일 수도 있으나, 그렇지 않고 입체감을 가질 수도 있다. 투사 공간이 평면이 아니기 때문에 생기는 왜곡은 지오메트리 보정(geometry correction)을 통해 보정될 수 있다. 지오메트리 보정은 영상이 프로젝션되는 원리를 역으로 이용한 방식이다.The projection space may be a flat plane, but may also have a three-dimensional effect. Distortion that occurs because the projection space is not flat can be corrected through geometry correction. Geometry correction is a method that reverses the principle of image projection.
도 10의 도면 부호 1010은 전자 장치(100)가 지오메트리 보정 없이 표준 오브젝트 콘텐츠를 그대로 투사 공간에 투사한 경우를 도시한다. 투사 공간이 평평하지 않고 뎁스 값을 갖는 경우, 투사 공간에 투사된 표준 오브젝트 콘텐츠는 투사 공간의 뎁스 값으로 인해 왜곡된 형태로 투사된다. 이러한 왜곡은 투사 공간의 뎁스 값으로 인해 표준 오브젝트 콘텐츠에 포함된 픽셀이 투사될 때 투사되어야 할 위치에 정확히 투사되지 않고 틀어지기 때문에 발생하게 된다.
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠가 틀어진 정보를 획득하고, 이를 역으로 이용하여 표준 오브젝트 콘텐츠가 반대로 틀어지도록 보정함으로써 지오메트리 보정을 수행할 수 있다. 실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠에 포함된 픽셀들 중 일부를 샘플링하고, 샘플링한 픽셀이 프로젝트되는 위치를 수정할 수 있다. 실시 예에서, 전자 장치(100)는 수정된 위치를 갖는 픽셀들 사이를 인터폴레이션하여 보상함으로써 지오메트리 보정을 수행할 수 있다. In an embodiment, the
도 10의 도면 부호 1020은 전자 장치(100)가 뎁스 값 차이가 있는 투사 공간에 표준 오브젝트 콘텐츠를 왜곡 없이 투사하기 위하여 지오메트리 보정(geometry correction)을 수행한 오브젝트 콘텐츠를 도시한다.
도 10의 도면 부호 1030은 전자 장치(100)가 지오메트리 보정을 수행한 오브젝트 콘텐츠를 투사 공간에 투사한 경우를 도시한다. 도면부호 1010과 달리, 지오메트리 보정이 수행된 오브젝트 콘텐츠는 뎁스 값을 갖는 투사 공간에 왜곡 없는 표준 오브젝트 콘텐츠 형상으로 투사될 수 있다.
도 11은 실시 예에 따라, 전자 장치(100)가 투사 공간에 따라 오브젝트 콘텐츠의 이동 동작을 결정하는 것을 설명하는 도면이다. FIG. 11 is a diagram explaining how the
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보를 획득할 수 있다. 실시 예에서, 투사 공간에 대응하는 모델링 정보는 투사 공간 구조 정보를 포함할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간 구조 정보에 대응하는 동작으로 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다. 실시 예에서, 투사 공간 구조 정보는 공간 변화 정보를 포함할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 임계치 이하의 공간 변화가 있는 투사 공간과 임계치를 넘는 공간 변화가 있는 투사 공간에서, 투사 오브젝트 콘텐츠의 동작을 서로 다르게 결정할 수 있다. In an embodiment, the
실시 예에서, 임계치 이상의 공간 변화가 있는 투사 영역은, x축, y축, z축 중 적어도 하나의 축을 따라 일정 크기 이상 공간에 변화가 있는 곳을 의미할 수 있다. In an embodiment, a projection area where there is a spatial change greater than a threshold may mean a place where there is a spatial change of a certain size or more along at least one of the x-axis, y-axis, and z-axis.
도 11에서 도면 부호 1110은 투사 오브젝트 콘텐츠가 1번 위치에서 2번 위치로 이동하는 경우를 도시한다. 도면 부호 1120에 도시된 바와 같이, 1번 위치와 2번 위치는 x축, y축, z축 방향으로 각각 임계치 이상의 변화가 있는 위치일 수 있다. In FIG. 11 ,
실시 예에서, 전자 장치(100)는 1번 위치와 2번 위치 각각의 좌표값을 구하고, 좌표값 차이를 기반으로 두 위치 사이에 임계치 이상의 변화가 있는지를 식별할 수 있다. In an embodiment, the
실시 예에서, 동작 정보는 투사 공간의 공간 변화에 따라 제1 동작 및 제2 동작으로 구분될 수 있다. In an embodiment, motion information may be divided into a first motion and a second motion according to spatial changes in the projection space.
실시 예에서, 제1 동작은 투사 공간의 변화가 임계치 이하인 경우 오브젝트 콘텐츠가 수행할 수 있는 일반적인 동작을 의미할 수 있다. 예컨대, 표준 오브젝트 콘텐츠가 강아지인 경우, 제1 동작은 한 자리에 서서 꼬리를 흔드는 동작이거나 웅크리고 앉아있는 동작, 걸어가는 동작 등을 포함할 수 있다. In an embodiment, the first operation may refer to a general operation that object content can perform when the change in projection space is less than or equal to a threshold. For example, if the standard object content is a dog, the first motion may include a motion of standing in one place and wagging its tail, a motion of crouching down, a motion of walking, etc.
실시 예에서, 제2 동작은 공간 변화가 임계치를 넘는 투사 영역에서, 투사 오브젝트 콘텐츠가 임계치를 넘는 공간 변화가 있는 투사 영역을 이동하는 경우에 수행되는 동작을 의미할 수 있다. 실시 예에서, 제2 동작은 제1 동작과는 다른 동작일 수 있다. In an embodiment, the second operation may refer to an operation performed when the projection object content moves in a projection area where the spatial change exceeds the threshold. In an embodiment, the second operation may be a different operation than the first operation.
실시 예에서, 제2 동작은 어느 방향으로 공간 변화가 있는지에 따라 서로 다른 동작으로 구분될 수 있다. 예컨대, 제2 동작은 x축, y축, z축 중 어느 방향으로 공간 변화가 있는지에 따라 서로 다른 동작으로 구분될 수 있다. In an embodiment, the second motion may be divided into different motions depending on which direction the spatial change occurs. For example, the second motion may be divided into different motions depending on whether there is a spatial change in the x-axis, y-axis, or z-axis.
실시 예에서, y축이 높이를 나타낸다고 하면, 바닥과 계단 위 사이는 y축 방향으로 변화가 있는 공간일 수 있다. 도 11에서, 바닥과 계단 위 사이의 높이 차이가 임계치 이상의 크기를 갖는다고 가정한다. 실시 예에서, 전자 장치(100)는 바닥과 계단이 y축으로 임계치 이상의 공간 변화가 있음을 식별하고, 그에 따라 투사 오브젝트 콘텐츠가 제2 동작을 수행하도록 제어할 수 있다. 제2 동작은 예컨대 높이 차이가 나는 공간을 뛰어 오르는 동작일 수 있다. In an embodiment, if the y-axis represents height, the space between the floor and the top of the stairs may be a space that changes in the y-axis direction. In Figure 11, it is assumed that the height difference between the floor and the top of the stairs is greater than a critical value. In an embodiment, the
실시 예에서, x축이 너비, 즉, 가로 축을 나타낸다고 하면, 가로 방향으로 임계치 이상 떨어진 두 의자 사이는 x축 방향으로 변화가 있는 공간일 수 있다. 실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠가 x축 방향으로 일정 거리 이상 떨어진 지점 사이를 이동하는 경우, 투사 오브젝트 콘텐츠가 제2 동작을 수행하도록 제어할 수 있다. 제2 동작은 예컨대 점프하는 동작일 수 있다. In an embodiment, if the x-axis represents width, that is, the horizontal axis, the space between two chairs that are more than a threshold distance apart in the horizontal direction may be a space where there is a change in the x-axis direction. In an embodiment, the
실시 예에서, z축이 뎁스 차이를 나타낸다고 하면, 임계치 이상 z축 방향으로 떨어진 공간 사이는 z축 방향으로 변화가 있는 공간일 수 있다. 실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠가 임계치 이상의 뎁스 값 차이를 갖는 공간 사이를 이동하는 경우, 투사 오브젝트 콘텐츠가 제2 동작을 수행하도록 제어할 수 있다. 제2 동작은 예컨대 투사 오브젝트 콘텐츠가 뎁스 값이 작은 공간 방향으로 이동하면서 껑충거리며 뛰는 동작일 수 있다. In an embodiment, if the z-axis represents a depth difference, spaces spaced apart in the z-axis direction by more than a threshold may be spaces where there is a change in the z-axis direction. In an embodiment, the
실시 예에서, 제2 동작은 공간 변화의 정도에 따라 더 세분화하여 구분될 수도 있다. 예컨대, 제2 동작은 공간 변화가 임계치 이상이고 최대값 이하인 경우와, 공간 변화가 최대값을 넘는 경우에 따라 서로 다른 동작으로 구분될 수 있다. In an embodiment, the second operation may be further divided according to the degree of spatial change. For example, the second operation may be divided into different operations depending on when the spatial change is above the threshold and below the maximum value and when the spatial change is above the maximum value.
실시 예에서, y축 방향으로의 계단의 높이가 매우 높아, 바닥과 계단 위의 높이 차이가 기 설정된 최대값보다 큰 경우와 같이 공간 변화 정도가 매우 큰 경우, 전자 장치(100)는 투사 오브젝트 콘텐츠가 제2 동작 중에서 뛰어 오르는 동작 대신, 계단 위로 점프했다가 다시 제자리로 떨어지는 동작을 수행하도록 제어하거나, 또는 투사 오브젝트 콘텐츠가 계단 밑을 돌아서 이동하도록 제어할 수 있다. In an embodiment, when the degree of spatial change is very large, such as when the height of the stairs in the y-axis direction is very high and the height difference between the floor and the top of the stairs is greater than a preset maximum value, the
실시 예에서, x축 방향으로의 두 의자 사이의 거리가 최대값보다 큰 경우와 같이 공간 변화 정도가 매우 큰 경우, 전자 장치(100)는 투사 오브젝트 콘텐츠가 제2 동작 중에서 점프하는 동작 대신, 의자에서 바닥으로 뛰어 내려가는 동작, 그리고 옆의 의자 위로 다시 뛰어 오르는 동작을 수행하도록 제어할 수 있다. In an embodiment, when the degree of spatial change is very large, such as when the distance between two chairs in the You can control it to jump down to the floor, and then jump back up onto the chair next to it.
실시 예에서, z축으로의 뎁스 차이가 최대값보다 큰 경우와 같이 공간 변화 정도가 매우 큰 경우, 전자 장치(100)는 투사 오브젝트 콘텐츠가 제2 동작 중에서 껑충거리며 뛰는 동작 대신, 예컨대, 멀리뛰기나 나는 동작을 수행하도록 제어할 수 있다. In an embodiment, when the degree of spatial change is very large, such as when the depth difference in the z-axis is greater than the maximum value, the
도 11을 참조하면, 전자 장치(100)는 1번 위치와 2번 위치 사이가 임계치 이상의 변화가 있는 공간이라고 판단하고, 투사 오브젝트 콘텐츠가 도면 부호 1130에 도시된 바와 같이 계단을 뛰어 오르는 것과 같은 제2 동작으로 공간 사이를 이동하도록 제어할 수 있다. Referring to FIG. 11, the
이와 같이, 실시 예에 의하면, 전자 장치(100)는 투사 공간의 변화량을 고려하여 투사 오브젝트 콘텐츠의 이동 방식을 다양하게 제어함으로써, 마치 투사 오브젝트 콘텐츠가 현실 공간을 실제 인식하고 동작하는 것처럼 행동하도록 할 수 있다. As such, according to the embodiment, the
도 12는 실시 예에 따라, 전자 장치(100)가 투사 공간의 변화량을 인식하고 그에 맞게 투사 오브젝트 콘텐츠의 동작을 제어하는 것을 설명하는 도면이다. FIG. 12 is a diagram explaining how the
실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠가 이동하는 투사 공간에 구조물이 위치하는 경우, 제2 동작으로 동작하도록 제어할 수 있다. 그러나, 이에 한정되지 않고, 전자 장치(100)는 투사 오브젝트 콘텐츠가 제1 동작으로 동작하되 구조물과 충돌하지 않도록 투사 오브젝트 콘텐츠의 동작이나 이동 방향을 제어할 수 있다. In an embodiment, the
도 12를 참조하면, 실시 예에서, 전자 장치(100)는 주변 환경에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득할 수 있다. 도 12의 위에 도시된 도면은 투사 공간에 텔레비전이나 서랍장 등의 구조물이 위치한 경우를 나타낸다. 실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보로부터 구조물의 위치를 식별할 수 있다. Referring to FIG. 12 , in an embodiment, the
도 12에 도시된 바와 같이, 투사 오브젝트 콘텐츠가 고래인 경우, 실시 예에서, 전자 장치(100)는 고래가 벽면을 따라 이동할 때 구조물과 충돌하는 것을 막기 위해 고래가 구조물 주변을 돌아서 이동하도록 고래의 이동 방향을 제어할 수 있다. As shown in FIG. 12, when the projected object content is a whale, in an embodiment, the
또는, 실시 예에서, 도 12의 아래에 도시된 도면과 같이, 전자 장치(100)는 고래가 벽면 사이, 즉, 코너를 이동하는 경우, 고래가 코너를 돌아가는 것과 같이 이동하도록 고래의 이동 방향을 제어할 수 있다. Or, in an embodiment, as shown in the figure below in FIG. 12, when the whale moves between walls, that is, around a corner, the
이와 같이, 실시 예에 의하면, 전자 장치(100)는 투사 공간의 변화량을 고려하여 투사 오브젝트 콘텐츠의 이동 방향을 제어함으로써, 투사 오브젝트 콘텐츠가 투사 공간에 위치한 구조물과 충돌하지 않도록 할 수 있다. 따라서, 사용자는 투사 오브젝트 콘텐츠가 현실 공간을 인식하고 동작하는 것처럼 인식함으로써 보다 만족스러운 증강 현실을 체험할 수 있다. As such, according to the embodiment, the
도 13은 실시 예에 따라, 전자 장치(100)가 배경 콘텐츠의 크기를 조절하는 것을 설명하는 도면이다.FIG. 13 is a diagram explaining how the
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠를 획득하면, 표준 오브젝트 콘텐츠를 보정하여 투사 오브젝트 콘텐츠를 생성하고, 이와 함께 투사 오브젝트 콘텐츠 주변의 배경 콘텐츠를 생성할 수 있다. In an embodiment, when the
도 13은 전자 장치(100)가 동일한 투사 오브젝트 콘텐츠를 출력할 때 투사 오브젝트와 함께 투사 콘텐츠에 포함되는 배경 콘텐츠를 다르게 조절한 도시한다. 도 13의 좌측은 배경 콘텐츠가 상대적으로 큰 반면, 도 13의 우측은 배경 콘텐츠가 작은 것을 알 수 있다. FIG. 13 illustrates that when the
실시 예에서, 전자 장치(100)는 배경 콘텐츠 경계 안에서 투사 오브젝트 콘텐츠가 동작하도록 제어할 수 있다. 따라서, 배경 콘텐츠가 클수록 투사 오브젝트 콘텐츠가 보다 넓은 영역 안에서 이동할 수 있게 된다. 반면, 배경 콘텐츠가 작을 경우에는 배경 콘텐츠의 이동 반경이 좁아지는 대신, 배경 콘텐츠가 사용자 눈에 잘 띄지 않는다는 장점이 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 배경 콘텐츠의 크기를 결정할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보에 기반하여 주변 공간의 구조를 식별하고, 이에 따라 배경 콘텐츠의 크기를 크게 또는 작게 결정할 수 있다. 예컨대, 주변 공간에 구조물이 많지 않고 단순하고 넓은 평면이 많은 경우, 전자 장치(100)는 배경 콘텐츠를 큰 사이즈로 투사할 수 있다. 이와 달리, 주변 공간에 구조물이 많고 복잡한 경우, 전자 장치(100)는 배경 콘텐츠를 작게 투사함으로써 배경 콘텐츠가 사용자 눈에 잘 띄지 않도록 할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 전자 장치(100)의 사양이나 모델에 따라 배경 콘텐츠의 크기를 결정할 수도 있다. 예컨대, 전자 장치(100)의 스펙이, 축 별로 전자 장치(100)가 자유롭게 다양한 각도, 예컨대, 360도를 회전할 수 있는 사양인 경우, 전자 장치(100)는 배경 콘텐츠의 크기를 크게 설정할 수도 있고, 또는 배경 콘텐츠의 크기를 작게 설정할 수도 있다. 전자 장치(100)는 화면 사이즈, 화면비, 해상도 등을 다양하게 조절하여 투사 콘텐츠를 출력할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)의 스펙이 회전 기능이 없거나 또는 회전 각도나 회전 움직임에 제약이 있는 경우, 전자 장치(100)는 배경 콘텐츠의 크기를 크게 설정하여, 넓은 배경 콘텐츠 안에서 투사 오브젝트가 이동하도록 제어할 수 있다. In an embodiment, when the specifications of the
이와 같이, 실시 예에 의하면, 전자 장치(100)는 배경 콘텐츠의 크기를 다양한 기준에 따라 다른 크기로 조절하여 투사할 수 있다.As such, according to the embodiment, the
도 14는 실시 예에 따라, 주변 공간에 대한 모델링 정보를 획득하는 방법을 도시한 순서도이다.FIG. 14 is a flowchart illustrating a method of obtaining modeling information about surrounding space, according to an embodiment.
도 14를 참조하면, 전자 장치(100)는 주변 공간 이미지를 획득할 수 있다(단계 1410). 실시 예에서, 전자 장치(100)는 이미지 센서(106-1)를 이용하여 전자 장치(100) 주변에 대한 이미지를 획득할 수 있다. Referring to FIG. 14, the
실시 예에서, 전자 장치(100)는 주변 공간 뎁스 정보를 획득할 수 있다(단계 1420). 실시 예에서, 전자 장치(100)는 뎁스 센서(106-2)를 이용하여 전자 장치(100) 주변에 대한 뎁스 정보를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보를 획득할 수 있다(단계 1430). 실시 예에서, 전자 장치(100)는 주변에 대한 이미지 및 주변에 대한 뎁스 정보를 기반으로 주변 공간을 가상으로 형상화하여 주변 공간에 대한 모델링 정보를 획득할 수 있다. 실시 예에서, 주변 공간에 대한 모델링 정보는 전자 장치(100)의 각 축 별 회전 각도에 따른 색상 정보, 휘도 정보, 및 뎁스 정보를 포함할 수 있다. In an embodiment, the
도 15는 실시 예에 따른 전자 장치(100)의 동작 방법을 도시한 순서도이다.FIG. 15 is a flowchart illustrating a method of operating the
실시 예에서, 전자 장치(100)는 투사 공간을 식별할 수 있다. 실시 예에서, 투사 공간은 사용자 얼굴이 향하는 방향일 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 이미지 센서(106-1)를 이용하여 사용자 이미지를 획득하고, 사용자 이미지로부터 사용자 특징점을 식별할 수 있다. 실시 예에서, 전자 장치(100)는 사용자 특징점을 기반으로 사용자 얼굴이 향하는 방향을 식별할 수 있다. 실시 예에서, 전자 장치(100)는 사용자 얼굴이 향하는 방향에 위치한 공간을 투사 공간으로 식별할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득할 수 있다(단계 1510). 전자 장치(100)는 주변 공간 중 투사 공간 범위에 대응하는 공간의 모델링 정보를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 표준 오브젝트 콘텐츠를 획득할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득할 수 있다(단계 1520).In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 표준 오브젝트 콘텐츠의 색상, 밝기, 형태 및 크기 중 적어도 하나를 보정할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간에 대응하는 모델링 정보에 기반하여 투사 오브젝트 콘텐츠의 동작을 결정할 수 있다(단계 1530). 실시 예에서, 전자 장치(100)는 투사 공간 구조 및 구조의 변화 정도에 따라 투사 오브젝트 콘텐츠의 동작을 다양하게 결정할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 배경 콘텐츠를 생성하고, 투사 오브젝트 콘텐츠와 배경 콘텐츠를 포함하는 투사 콘텐츠를 생성할 수 있다.In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠가 결정된 동작을 수행하는 투사 콘텐츠를 투사 공간에 투사할 수 있다(단계 1540).In an embodiment, the
도 16은 실시 예에 따라, 투사 공간의 뎁스 값 차이에 기반하여 투사 오브젝트 콘텐츠의 동작을 다르게 제어하는 것을 도시하는 순서도이다. FIG. 16 is a flowchart illustrating different control of the operation of projection object content based on a difference in depth value of the projection space, according to an embodiment.
실시 예에서, 전자 장치(100)는 투사 오브젝트 콘텐츠가 이동하는 공간의 구조에 맞게 투사 오브젝트 콘텐츠의 동작을 제어할 수 있다. In an embodiment, the
실시 예에서, 전자 장치(100)는 투사 공간의 변화가 임계치보다 큰지 여부에 따라 투사 오브젝트 콘텐츠의 동작을 다르게 제어할 수 있다.In an embodiment, the
도 16을 참조하면, 실시 예에서, 전자 장치(100)는 오브젝트 콘텐츠가 임계치보다 작은 뎁스 값 차이를 갖는 공간을 이동하는지를 판단할 수 있다(단계 1610).Referring to FIG. 16, in an embodiment, the
실시 예에서, 전자 장치(100)는 오브젝트 콘텐츠가 임계치보다 작은 뎁스 값 차이를 갖는 공간을 이동한다고 판단하면, 오브젝트 콘텐츠의 동작을 제1 동작으로 결정할 수 있다(단계 1620). In an embodiment, when the
실시 예에서, 전자 장치(100)는 오브젝트 콘텐츠가 임계치보다 작은 뎁스 값 차이를 갖는 공간을 이동하는 것이 아니라고 판단하면, 오브젝트 콘텐츠의 동작을 제2 동작을 결정할 수 있다(단계 1630). In an embodiment, if the
실시 예에서, 전자 장치(100)는 결정된 동작으로 투사 오브젝트 콘텐츠의 동작을 제어할 수 있다(단계 1640).In an embodiment, the
일부 실시 예에 따른 전자 장치의 동작 방법 및 장치는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. Methods and devices for operating electronic devices according to some embodiments may also be implemented in the form of a recording medium containing instructions executable by a computer, such as program modules executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data. Communication media typically includes computer-readable instructions, data structures, program modules, or other data in a modulated data signal, such as a carrier wave, or other transmission mechanism, and includes any information delivery medium.
또한, 전술한 본 개시의 실시 예에 따른 전자 장치 및 그 동작 방법은 주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하는 단계, 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득하는 단계, 상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계 및 상기 투사 공간에, 상기 결정된 동작을 수행하는 상기 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사하는 단계를 포함하는, 전자 장치의 동작 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체/저장 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다. In addition, the electronic device and its operating method according to the above-described embodiment of the present disclosure include obtaining modeling information corresponding to the projection space from modeling information about the surrounding space, based on the modeling information corresponding to the projection space, Obtaining projection object content by correcting the shape of the object content, determining an operation of the projection object content based on modeling information corresponding to the projection space, and performing the determined operation in the projection space. A program for implementing a method of operating an electronic device, including the step of projecting projection content including projection object content, may be implemented as a computer program product including a computer-readable recording/storage medium.
기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as . For example, a 'non-transitory storage medium' may include a buffer where data is temporarily stored.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be provided and included in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. A computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) is stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.
Claims (20)
투사부(105);
하나 이상의 인스트럭션을 저장하는 메모리(103); 및
상기 메모리에 저장된 하나 이상의 인스트럭션을 실행하는 하나 이상의 프로세서(101)를 포함하고,
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하고,
상기 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득하고,
상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 투사 오브젝트 콘텐츠의 동작을 결정하고,
상기 투사부를 통해, 상기 투사 공간에, 상기 결정된 동작을 수행하는 상기 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사하는, 전자 장치.In the electronic device 100,
projection unit 105;
a memory 103 that stores one or more instructions; and
Comprising one or more processors (101) executing one or more instructions stored in the memory,
The one or more processors execute the one or more instructions,
Obtain modeling information corresponding to the projection space from modeling information about the surrounding space,
Based on the modeling information corresponding to the projection space, correct the shape of the standard object content to obtain projection object content,
Based on modeling information corresponding to the projection space, determine an operation of the projection object content,
An electronic device that projects, through the projection unit, projection content including the projection object content that performs the determined operation into the projection space.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 투사 오브젝트 콘텐츠의 동작을 상기 투사 공간 구조 정보에 대응하는 동작으로 결정하는, 전자 장치. The method of claim 1, wherein the modeling information corresponding to the projection space includes projection space structure information,
The electronic device wherein the one or more processors determine an operation of the projection object content to be an operation corresponding to the projection space structure information by executing the one or more instructions.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
임계치 이하의 공간 변화가 있는 투사 공간에서, 상기 투사 오브젝트 콘텐츠의 동작을 제1 동작으로 결정하고,
임계치를 넘는 공간 변화가 있는 투사 공간에서, 상기 투사 오브젝트 콘텐츠의 동작을 상기 제1 동작과 다른 제2 동작으로 결정하는, 전자 장치.The method of claim 2, wherein the projection spatial structure information includes spatial change information,
The one or more processors execute the one or more instructions,
In a projection space where there is a spatial change below a threshold, determining the motion of the projection object content as a first motion,
In a projection space where there is a spatial change exceeding a threshold, the electronic device determines the motion of the projection object content to be a second motion different from the first motion.
기 설정된 주기, 랜덤한 주기, 및 이벤트 발생 중 적어도 하나에 기반하여 상기 투사 오브젝트 콘텐츠의 동작을 결정하고,
상기 이벤트 발생은 상기 투사 공간의 위치가 임계치 이상 변경되는 것 및 투사 오브젝트 콘텐츠 동작 제어 신호를 수신하는 것 중 적어도 하나를 포함하는, 전자 장치. The method of any one of claims 1 to 3, wherein the one or more processors execute the one or more instructions,
Determine the operation of the projection object content based on at least one of a preset cycle, a random cycle, and event occurrence,
The occurrence of the event includes at least one of changing the position of the projection space by more than a threshold and receiving a projection object content operation control signal.
상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 표준 오브젝트 콘텐츠의 색상, 밝기, 형태 및 크기 중 적어도 하나를 보정하는, 전자 장치. The method of any one of claims 1 to 4, wherein the one or more processors execute the one or more instructions,
An electronic device that corrects at least one of color, brightness, shape, and size of the standard object content based on modeling information corresponding to the projection space.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
사용자 뎁스 정보를 획득하고,
상기 투사 공간 뎁스 정보 및 상기 사용자 뎁스 정보를 이용하여, 상기 표준 오브젝트 콘텐츠의 크기를 보정하는, 전자 장치.The method according to any one of claims 1 to 5, wherein the modeling information corresponding to the projection space includes projection space depth information,
The one or more processors execute the one or more instructions,
Obtain user depth information,
An electronic device that corrects the size of the standard object content using the projection space depth information and the user depth information.
상기 전자 장치는 이미지 센서(106-1) 및 뎁스 센서(106-2)를 더 포함하고,
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
상기 이미지 센서를 통해 획득한 주변 공간 이미지 및 상기 뎁스 센서를 통해 획득한 주변 공간 뎁스 정보에 기초하여, 상기 주변 공간에 대한 모델링 정보를 획득하고,
상기 주변 공간에 대한 모델링 정보는 상기 전자 장치의 축 별 회전 각도에 따른 색상 정보, 휘도 정보 및 뎁스 정보를 포함하는, 전자 장치.The electronic device according to any one of claims 1 to 6, wherein the electronic device is rotatable about at least one of the x-axis, y-axis, and z-axis,
The electronic device further includes an image sensor 106-1 and a depth sensor 106-2,
The one or more processors execute the one or more instructions,
Based on the surrounding space image acquired through the image sensor and the surrounding space depth information obtained through the depth sensor, obtain modeling information about the surrounding space,
The modeling information about the surrounding space includes color information, luminance information, and depth information according to the rotation angle for each axis of the electronic device.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 이미지 센서를 통해 획득한 사용자 이미지로부터 사용자 특징점을 식별하고,
상기 사용자 특징점을 기반으로 사용자 얼굴이 향하는 방향을 식별하고,
상기 사용자 얼굴이 향하는 방향에 위치한 공간을 상기 투사 공간으로 식별하는, 전자 장치.The method of any one of claims 1 to 7, further comprising an image sensor (106-1),
The one or more processors execute the one or more instructions to identify user feature points from the user image acquired through the image sensor,
Identify the direction the user's face faces based on the user feature points,
An electronic device that identifies a space located in the direction toward which the user's face faces as the projection space.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 투사 공간에 대응하는 모델링 정보의 색상 및 밝기 중 적어도 하나에 기반하여 상기 배경 콘텐츠의 색상 및 밝기 중 적어도 하나를 결정하는, 전자 장치. 9. The method of any one of claims 1 to 8, wherein the projected content further comprises background content,
The electronic device wherein the one or more processors determine at least one of the color and brightness of the background content based on at least one of the color and brightness of modeling information corresponding to the projection space by executing the one or more instructions.
상기 하나 이상의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 배경 콘텐츠의 밝기를 최소 값으로 결정하는, 전자 장치.9. The method of any one of claims 1 to 8, wherein the projected content further comprises background content,
The electronic device wherein the one or more processors determine the brightness of the background content to a minimum value by executing the one or more instructions.
주변 공간에 대한 모델링 정보로부터 투사 공간에 대응하는 모델링 정보를 획득하는 단계;
상기 투사 공간에 대응하는 모델링 정보에 기반하여, 표준 오브젝트 콘텐츠의 형상을 보정하여 투사 오브젝트 콘텐츠를 획득하는 단계;
상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계; 및
상기 투사 공간에, 상기 결정된 동작을 수행하는 상기 투사 오브젝트 콘텐츠를 포함하는 투사 콘텐츠를 투사하는 단계를 포함하는, 전자 장치의 동작 방법.In a method of operating an electronic device,
Obtaining modeling information corresponding to the projection space from modeling information about the surrounding space;
Obtaining projection object content by correcting the shape of standard object content based on modeling information corresponding to the projection space;
determining an operation of the projection object content based on modeling information corresponding to the projection space; and
A method of operating an electronic device, comprising: projecting projection content including the projection object content that performs the determined operation into the projection space.
상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계는 상기 투사 공간 구조 정보에 대응하는 동작으로 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계를 포함하는, 전자 장치의 동작 방법. The method of claim 11, wherein the modeling information corresponding to the projection space includes projection space structure information,
Determining the operation of the projection object content includes determining the operation of the projection object content as an operation corresponding to the projection space structure information.
상기 투사 공간 구조 정보에 대응하는 동작으로 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계는
임계치 이하의 공간 변화가 있는 투사 공간에서, 상기 투사 오브젝트 콘텐츠의 동작을 제1 동작으로 결정하는 단계; 및
임계치를 넘는 공간 변화가 있는 투사 공간에서, 상기 투사 오브젝트 콘텐츠의 동작을 상기 제1 동작과 다른 제2 동작으로 결정하는 단계를 포함하는, 전자 장치의 동작 방법.The method of claim 12, wherein the projection spatial structure information includes spatial change information,
The step of determining the operation of the projection object content as an operation corresponding to the projection space structure information
In a projection space where there is a spatial change below a threshold, determining the motion of the projection object content as a first motion; and
A method of operating an electronic device, comprising determining an operation of the projection object content as a second operation different from the first operation in a projection space where there is a spatial change exceeding a threshold.
기 설정된 주기, 랜덤한 주기, 및 이벤트 발생 중 적어도 하나에 기반하여 상기 투사 오브젝트 콘텐츠의 동작을 결정하는 단계를 포함하고,
상기 이벤트 발생은 상기 투사 공간의 위치가 임계치 이상 변경되는 것 및 투사 오브젝트 콘텐츠 동작 제어 신호를 수신하는 것 중 적어도 하나를 포함하는, 전자 장치의 동작 방법. 14. The method of any one of claims 11 to 13, wherein determining an operation of the projection object content comprises:
A step of determining an operation of the projection object content based on at least one of a preset period, a random period, and an event occurrence,
The occurrence of the event includes at least one of changing the position of the projection space by more than a threshold and receiving a projection object content operation control signal.
상기 투사 공간에 대응하는 모델링 정보에 기반하여, 상기 표준 오브젝트 콘텐츠의 색상, 밝기, 형태 및 크기 중 적어도 하나를 보정하는 단계를 포함하는, 전자 장치의 동작 방법. 15. The method of any one of claims 11 to 14, wherein obtaining the projection object content comprises:
A method of operating an electronic device, comprising correcting at least one of color, brightness, shape, and size of the standard object content based on modeling information corresponding to the projection space.
투사 오브젝트 콘텐츠를 획득하는 단계는
사용자 뎁스 정보를 획득하는 단계; 및
상기 투사 공간 뎁스 정보 및 상기 사용자 뎁스 정보를 이용하여, 상기 표준 오브젝트 콘텐츠의 크기를 보정하는 단계를 포함하는, 전자 장치의 동작 방법.The method according to any one of claims 11 to 15, wherein the modeling information corresponding to the projection space includes projection space depth information,
The steps for acquiring projection object content are
Obtaining user depth information; and
A method of operating an electronic device, including correcting the size of the standard object content using the projection space depth information and the user depth information.
주변 공간 이미지를 획득하는 단계;
주변 공간 뎁스 정보를 획득하는 단계;
상기 주변 공간 이미지 및 상기 주변 공간 뎁스 정보에 기초하여, 상기 주변 공간에 대한 모델링 정보를 획득하는 단계를 더 포함하고,
상기 주변 공간에 대한 모델링 정보는 상기 전자 장치의 축 별 회전 각도에 따른 색상 정보, 휘도 정보 및 뎁스 정보를 포함하는, 전자 장치의 동작 방법.The method of any one of claims 11 to 16, wherein the electronic device is rotatable about at least one of the x-axis, y-axis, and z-axis,
Acquiring an image of surrounding space;
Obtaining surrounding spatial depth information;
Based on the surrounding space image and the surrounding space depth information, further comprising acquiring modeling information about the surrounding space,
The modeling information about the surrounding space includes color information, luminance information, and depth information according to the rotation angle for each axis of the electronic device.
사용자 이미지를 획득하는 단계;
상기 사용자 이미지로부터 사용자 특징점을 식별하는 단계;
상기 사용자 특징점을 기반으로 사용자 얼굴이 향하는 방향을 식별하는 단계; 및
상기 사용자 얼굴이 향하는 방향에 위치한 공간을 상기 투사 공간으로 식별하는 단계를 더 포함하는, 전자 장치의 동작 방법.The method according to any one of claims 11 to 17,
Obtaining a user image;
Identifying user feature points from the user image;
Identifying the direction the user's face faces based on the user's feature points; and
A method of operating an electronic device further comprising identifying a space located in a direction toward which the user's face faces as the projection space.
상기 투사 공간에 대응하는 모델링 정보의 색상 및 밝기 중 적어도 하나에 기반하여 상기 배경 콘텐츠의 색상 및 밝기 중 적어도 하나를 결정하는 단계를 더 포함하는, 전자 장치의 동작 방법. 19. The method of any one of claims 11 to 18, wherein the projected content further comprises background content,
A method of operating an electronic device further comprising determining at least one of the color and brightness of the background content based on at least one of the color and brightness of modeling information corresponding to the projection space.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/KR2023/012509 WO2024071692A1 (en) | 2022-09-29 | 2023-08-23 | Electronic device and operation method thereof |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20220124666 | 2022-09-29 | ||
KR1020220124666 | 2022-09-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20240045049A true KR20240045049A (en) | 2024-04-05 |
Family
ID=90714169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020220180885A KR20240045049A (en) | 2022-09-29 | 2022-12-21 | An electronic apparatus and a method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20240045049A (en) |
-
2022
- 2022-12-21 KR KR1020220180885A patent/KR20240045049A/en unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11863845B2 (en) | Geometry matching in virtual reality and augmented reality | |
JP6909554B2 (en) | Devices and methods for displaying objects with visual effects | |
US11282264B2 (en) | Virtual reality content display method and apparatus | |
RU2722584C2 (en) | Method and device for processing part of video content with immersion in accordance with position of support parts | |
US20130113701A1 (en) | Image generation device | |
CN110291564B (en) | Image generating apparatus and image generating method | |
US11294535B2 (en) | Virtual reality VR interface generation method and apparatus | |
US11107203B2 (en) | Image processing method and display apparatus therefor providing shadow effect | |
JP2020523687A (en) | Shadow optimization and mesh skin adaptation in foveal rendering system | |
US20210065331A1 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
JP2020523691A (en) | Delayed lighting optimization, foveal adaptation of particles, and simulation model in foveal rendering system | |
CN114341943A (en) | Simple environment solver using plane extraction | |
US20130285919A1 (en) | Interactive video system | |
US20150009216A1 (en) | Storage medium, image processing apparatus, image processing system and image processing method | |
KR20240045049A (en) | An electronic apparatus and a method thereof | |
JP2007328458A (en) | Image forming program, computer-readable storage medium recording the program, image processor and image processing method | |
KR102235679B1 (en) | Device and method to display object with visual effect | |
US10685478B1 (en) | Mitigating projector glare by real-time dynamic shadow masking | |
CN115244494A (en) | System and method for processing a scanned object | |
JP6859763B2 (en) | Program, information processing device | |
KR20200031255A (en) | System for sharing of image data or video data for interaction contents and the method thereof | |
JP7118383B1 (en) | Display system, display method, and display program | |
KR102225399B1 (en) | Image processing method and apparatus tereof | |
KR20200031259A (en) | System for sharing of image data or video data for interaction contents and the method thereof | |
WO2024153528A1 (en) | Selecting, generating and/or altering an image based on light positions and settings |