KR20210015589A - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20210015589A
KR20210015589A KR1020190172247A KR20190172247A KR20210015589A KR 20210015589 A KR20210015589 A KR 20210015589A KR 1020190172247 A KR1020190172247 A KR 1020190172247A KR 20190172247 A KR20190172247 A KR 20190172247A KR 20210015589 A KR20210015589 A KR 20210015589A
Authority
KR
South Korea
Prior art keywords
virtual object
processor
camera
image
virtual
Prior art date
Application number
KR1020190172247A
Other languages
English (en)
Inventor
조은비
김지인
정재윤
이승아
김기표
김석열
김송현
송석우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP20171953.1A priority Critical patent/EP3772042A3/en
Priority to PCT/KR2020/005961 priority patent/WO2021025266A1/en
Priority to US16/929,287 priority patent/US11587265B2/en
Priority to CN202010703377.9A priority patent/CN112396704A/zh
Publication of KR20210015589A publication Critical patent/KR20210015589A/ko
Priority to US18/110,433 priority patent/US11908042B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering

Abstract

전자 장치가 개시된다. 본 개시에 따른 전자 장치는 디스플레이, 카메라 및 카메라를 통하여 촬상된 영상과 제1 가이드라인을 함께 표시하도록 디스플레이를 제어하는 프로세서를 포함하고 프로세서는 촬상된 영상에서 제1 가이드라인을 기초로 객체를 인식하고, 객체를 대체하는 가상 오브젝트를 렌더링하고, 촬상된 영상에서 객체가 위치하는 영역에 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성하고, 생성된 증강 현실 영상을 표시하도록 디스플레이를 제어하는 프로세서를 포함한다.

Description

전자 장치 및 이의 제어 방법 { ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF }
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 구체적으로는 증강 현실 영상을 표시하는 전자 장치 및 이의 제어 방법에 관한 것이다.
증강 현실(Augmented Reality)이란 사용자에게 보이는 현실 세계와 가상의 세계를 합쳐 하나의 영상으로 보여주는 가상 현실의 하나이다. 현실 세계를 가상 세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상 환경을 사용하지만 현실 환경을 기초로 한다. 이때, 컴퓨터 그래픽은 현실 환경에 필요한 이미지나 정보를 추가 제공하는 역할을 한다. 즉, 사용자가 보고 있는 실사 영상에 3차원 가상 영상을 겹침(overlap)으로써 현실 환경과 가상 화면과의 구분이 모호해지도록 하는 것이다.
이와 관련하여, 증강 현실 기술을 이용하여 실사 영상의 비어있는 공간에 가상의 오브젝트를 렌더링하는 기술이 보편화되고 있다. 다만, 실사 영상에 오브젝트가 존재하는 경우, 오브젝트가 위치한 곳에 가상의 오브젝트를 렌더링하기 위하여 복잡한 연산 및 고사양의 장치가 요구되었고, 복잡한 연산을 수행한 경우에도 촬영 각도, 촬영 위치 등에 따라 오브젝트가 위치한 공간의 크기를 정확하게 식별하지 못하는 문제점이 존재하였다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로, 본 개시의 목적은 사용자에게 가이드를 제공함으로써 조작의 편의성 및 정확성을 도모하고, 가이드라인에 맞춰 촬영하도록 가이드함으로써 연산 복잡도를 완화시켜 저사양으로도 증강 현실 영상을 제공할 수 있는 전자 장치 및 그 제어 방법을 제공하기 위함이다.
다만, 본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 개시로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시 예에 따른 전자 장치는, 디스플레이; 카메라; 및 상기 카메라를 통하여 촬상된 영상과 제1 가이드라인을 함께 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고, 상기 프로세서는 상기 촬상된 영상에서 상기 제1 가이드라인을 기초로 상기 객체를 인식하고, 상기 객체를 대체하는 가상 오브젝트를 렌더링하고, 상기 촬상된 영상에서 상기 객체가 위치하는 영역에 상기 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성하고, 상기 생성된 증강 현실 영상이 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함한다.
한편, 본 개시의 또 다른 실시 예에 따른 전자 장치의 제어 방법은, 영상을 촬상하는 단계; 제1 가이드라인과 상기 촬상된 영상을 함께 표시하는 단계; 상기 촬상된 영상에서 상기 제1 가이드라인을 기초로 상기 객체를 인식하는 단계; 상기 객체를 대체하는 가상 오브젝트를 렌더링하는 단계; 상기 촬상된 영상에서 상기 객체가 위치하는 영역에 상기 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성하는 단계; 및 상기 생성된 증강 현실 영상을 표시하는 단계;를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 개략적으로 설명하기 위한 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 4a, 도 4b, 도 4c, 도 5a, 도 5b 및 도 5c는 본 개시의 일 실시 예에 따른 가이드라인을 표시하는 전자 장치를 설명하기 위한 도면,
도 6a 및 도 6b는 본 개시의 일 실시 예에 따라 복수의 가상 오브젝트를 표시하는 전자 장치를 설명하기 위한 도면,
도 7a, 도 7b, 도 7c 및 도 7d는 본 개시의 일 실시 예에 따라 공간 여백을 판단하여 가상 오브젝트를 렌더링하는 전자 장치를 설명하기 위한 도면,
도 8a 및 도 8b는 가상 오브젝트의 위치를 판단하는 방법을 설명하기 위한 도면,
도 9a 및 도 9b는 주변 배경 영역을 이용하여 증강 현실 영상을 생성하는 전자 장치를 설명하기 위한 도면,
도 10a 및 도 10b는 카메라의 위치에 따라 가상 오브젝트는 변경하여 렌더링하는 전자 장치를 설명하기 위한 도면,
도 11a 및 도 11b는 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링하는 전자 장치를 설명하기 위한 도면,
도 12a 및 도 12b는 증강 현실 영상에 포함된 가상 오브젝트를 이동시키는 사용자의 입력에 따라 가상 오브젝트의 위치를 변경하여 렌더링하는 전자 장치를 설명하기 위한 도면,
도 13은 본 개시의 다양한 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 블록도이다.
이하, 본 개시의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 부프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(Central Processing Unit) 또는 application processor)를 의미할 수 있다.
본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
본 개시에서 사용된 '피사체'라는 용어는 촬상의 대상이 되는 물체를 의미할 수 있다. 즉, 카메라에 의하여 촬상되어 디스플레이 상에 표시되지 않은 상태의 물체를 의미할 수 있다. 그리고, '객체'라는 용어는 촬상된 영상에 포함되어 있는 물체를 의미할 수 있다. 즉, 카메라에 의하여 촬상된 피사체가 디스플레이 상에서 표시된 상태를 의미할 수 있다. 그리고, '가상 오브젝트'라는 용어는 실제로 존재하지 않으나, 촬상된 영상에 존재하는 것처럼 생성된 물체를 의미할 수 있다.
이하에서는 도면을 참조하여 본 개시에 대해 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
전자 장치(100)는 카메라를 통하여 사용자 주변의 공간을 촬상할 수 있다. 이 경우, 전자 장치(100)는 사용자 주변 공간에 대응되는 영상을 사용자에게 제공한다.
전자 장치(100)는 촬상된 영상에 포함된 객체를 가상 오브젝트(20)로 대체하여 증강 현실 이미지를 생성할 수 있다. 여기에서, 객체는 사용자의 주변 공간에 실제로 존재하는 물체에 대응되며, 가상 오브젝트(20)는 사용자의 주변 공간에 존재하지 않는 가상의 물체에 대응된다. 가령, 전자 장치(100)가 촬상한 영상에 에어컨이 포함되어 있는 경우, 전자 장치(100)는 촬상된 영상에 포함된 에어컨을 사용자의 주변 공간에 존재하지 않은 가상의 공기청정기로 대체하여 증강 현실 이미지를 생성할 수 있으며, 생성된 증강 현실 이미지를 사용자에게 제공할 수 있다.
한편, 도 1에서는 전자 장치(100)로 스마트폰이 도시되어 있으나, 반드시 이에 한하는 것은 아니다. 본 개시에서, 전자 장치(100)는 TV, 태블릿 PC, PMP, PDA, 노트북 PC, 스마트 워치, HMD(Head mounted Display), NED(Near Eye Display) 등과 같이 디스플레이 기능을 갖춘 장치로 구현될 수 있다. 전자 장치는 디스플레이 기능을 제공하기 위해 다양한 형태의 디스플레이(120)를 구비할 수 있다.
다만, 본 개시에 따른 다양한 실시 예는 디스플레이 기능이 구비되지 않은 전자 장치를 통해서도 구현할 수도 있다. 예를 들어, 블루레이 플레이어(Blu Ray Player), DVD(Digital Versatile Disc) 플레이어, 스트리밍 컨텐츠 출력 장치, 셋탑 박스 등과 같이 영상을 외부 장치로 제공하는 다양한 유형의 전자 장치가 본 개시의 다양한 실시 예를 구현할 수 있다. 다른 예로, 스피커, 냉장고, 세탁기, 에어컨, 공기 청정기, 각종 사물 인터넷 장치(internet of things) 등과 같은 다양한 형태의 가전 제품(home appliance)이 본 개시의 다양한 실시 예를 구현할 수도 있음은 물론이다. 이하에서는, 설명의 편의를 위해 전자 장치(100)를 카메라(110) 및 디스플레이(120)가 구비된 사용자 단말 장치로 상정하여 설명하도록 한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
우선, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 영상을 촬상한다(S210). 이때, 전자 장치(100)는 전자 장치의 후면에 배치된 카메라를 통하여 전자 장치(100)와 대향하는 영역을 촬상할 수 있다.
그리고, 제1 가이드라인과 촬상된 영상을 함께 표시한다(S220). 구체적으로, 전자 장치(100)는 제1 가이드라인을 이용하여 촬상된 객체의 모서리가 제1 가이드라인 상에 놓이도록 가이드함으로써, 사용자가 피사체를 촬상할 때 제1 가이드라인을 기준으로 피사체를 촬상하도록 유도할 수 있다. 또는, 전자 장치(100)는 제1 가이드라인과 촬상된 객체의 모서리가 평행하게 촬상되도록 가이드할 수도 있다. 사용자는 제1 가이드라인을 이용하여 피사체를 정확한 각도 및 방향으로 용이하게 촬상할 수 있고, 전자 장치(100)는 객체의 일 면이 제1 가이드라인에 맞춰 촬상되므로, AR(Augmented Reality) 기술을 적용하는 연산의 과정을 단순화할 수 있다. 한편, 연산의 과정을 단순화하는 방법과 관련하여 도 8을 참조하여 구체적으로 후술하기로 한다.
여기에서, 제1 가이드라인은 디스플레이(120)에 표시되는 라인으로, 영상에 포함된 객체의 위치를 특정하기 위한 UI(User Interface)이다. 구체적으로, 제1 가이드라인은 영상에 포함된 객체의 위치가 객체의 정면이 될 수 있도록 가이드하기 위한 직선을 의미한다. 그리고, 제1 가이드라인의 1/2 지점에는 제1 가이드라인과 직교하는 선을 두어, 객체의 중심이 제1 가이드라인과 직교하는 선에 일치하도록 할 수 있다. 즉, 제1 가이드라인은 카메라가 객체의 정면을 향하면서 객체의 세로 중심축이 디스플레이(120)의 중앙에 놓일 수 있도록 가이드하기 위한 선이 될 수 있다. 다만, 이는 일 실시 예이며, 제 1 가이드라인이 표시되는 위치 및 제1 가이드라인과 직교하는 선의 유무는 경우에 따라 다양할 수 있다.
그리고, 전자 장치(100)는 촬상된 영상에서 제1 가이드라인을 기초로 객체를 인식한다(S230). 이와 관련하여, 전자 장치(100)는 촬상된 영상에서 객체를 인식하도록 설정될 수 있다. 여기에서, 객체는 현실에 존재하는 피사체에 대응되는 것으로, 피사체가 카메라에 의하여 촬상되면, 객체는 촬상된 영상에 포함될 수 있다. 그리고, 객체는 증강 현실 영상에서 가상 오브젝트로 대체되는 것으로, 객체는 다양한 종류의 가전 기기 또는 외부 전자 장치가 될 수 있다. 가령, 객체는 TV, 모니터, 세탁기, 냉장고, 에어컨과 같은 가전 기기 또는 외부 전자 장치가 될 수 있다. 전자 장치(100)가 실시간으로 영상을 촬상하여 디스플레이(120)에 표시하는 경우, 전자 장치(100)는 제1 가이드라인을 기초로 디스플레이(120)에 존재하는 객체를 인식할 수 있다. 즉, 전자 장치(100)는 제1 가이드라인을 기초로 객체 또는 객체가 존재하는 영역의 크기를 인식할 수 있다.
한편, 제1 가이드라인 이외에도, 카메라의 촬상 각도를 가이드하는 제2 가이드라인을 생성할 수 있다. 제2 가이드라인은 카메라가 객체와 평행한 각도로 객체를 촬상하도록 가이드하기 위한 UI를 나타낸다. 가령, 카메라의 촬상 각도가 지면과 수직하지 않은 경우, 즉, 카메라가 객체와 평행한 각도로 객체를 촬상하지 않는 경우, 제2 가이드라인이 표시될 수 있고, 카메라가 객체와 평행한 각도인 경우 제2 가이드라인이 표시되지 않을 수 있다.
또한, 카메라의 촬상 각도에 따라 제2 가이드라인의 길이를 변경하여 카메라의 촬상 각도를 가이드 할 수 있다. 가령, 카메라가 객체를 위에서 바라보는 경우가 객체를 아래에서 바라보는 경우보다 제2 가이드라인의 길이가 길 수 있다.
제1 가이드라인에 맞춘 상태에서 피사체가 촬상되고, 전자 장치(100)가 촬상된 영상에서 제1 가이드라인에 기초하여 객체를 인식하면(S230-Y), 전자 장치(100)는 객체를 대체하는 가상 오브젝트를 렌더링할 수 있다(S240). 여기에서, 가상 오브젝트는 인식된 객체와 동일한 종류의 객체일 수 있으나, 반드시 이에 한하는 것은 아니다. 즉, 가상 오브젝트는 다양한 가전 기기 또는 외부 전자 장치일 수 있다. 또한, 가상 오브젝트는 정지된 객체일 수 있고, 움직이는 객체일 수도 있다.
또한, 가상 오브젝트는 사용자에 의해 선택된 오브젝트일 수 있다. 구체적으로, 객체가 인식되면 인식된 객체를 대체가능한 복수의 가상 오브젝트를 포함하는 리스트를 표시하고, 복수의 가상 오브젝트 중 하나를 선택하는 사용자 입력이 수신되면 사용자 입력에 대응되는 가상 오브젝트를 렌더링할 수 있다.
본 개시의 제어 방법은 인식된 객체의 크기 및 인식된 객체의 주변 여백 공간을 고려하여 가상 오브젝트를 렌더링할 수 있다. 구체적으로, 인식된 객체의 인접한 영역에 존재하는 여백 공간의 길이를 판단하고, 객체의 길이 정보 및 판단된 여백 공간의 길이를 기초로 가상 오브젝트가 객체가 위치하는 영역에 위치할 수 있는지 판단할 수 있다. 그리고, 가상 오브젝트가 객체가 위치하는 영역에 위치할 수 있다고 판단되면 가상 오브젝트를 렌더링할 수 있다.
그리고, 전자 장치(100)는 촬상된 영상에서 객체가 위치하는 영역에 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성할 수 있다(S250).
구체적으로, 영상을 촬상하는 카메라의 위치 정보 및 각도 정보를 기초로, 증강 현실 이미지에서의 가상 오브젝트의 위치를 판단하고, 판단된 위치에 가상 오브젝트가 배치된 증강 현실 영상을 생성할 수 있다.
좀 더 구체적으로, 카메라의 위치 정보 및 각도 정보를 기초로, 인식된 객체의 이동 값 및 회전 값을 판단할 수 있으며, 객체의 이동 값 및 회전 값을 기초로 가상 오브젝트의 크기를 계산하고 가상 오브젝트의 위치를 판단할 수 있다.
한편, 렌더링된 가상 오브젝트가 영상 내의 객체 영역을 커버 가능한지 판단할 수 있다. 여기에서 커버 가능하다는 것은, 렌더링되는 가상 오브젝트가 영상 내의 객체와 오버랩(overlap) 되어, 객체의 일 부분이 보여지지 않는 것을 의미한다.
가상 오브젝트에 의하여 커버되지 않는 객체의 부분 영역이 존재하는 경우, 가상 오브젝트에 의하여 커버되지 않은 부분 객체 영역을 부분 객체 영역 주변의 배경 영역으로 대체하여 증강 현실 영상을 생성할 수 있다.
그리고, 전자 장치(100)는 생성된 증강 현실 영상을 표시할 수 있다(S260).
한편, 생성된 증강 현실 영상을 표시한 후, 이벤트가 발생하면 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링할 수 있다. 여기서, 이벤트는 렌터링된 가상 오브젝트를 터치하거나, 드래그하는 동작을 의미할 수 있다. 가령, 사용자가 생성된 증강 현실 영상 내의 가상 오브젝트(예를 들어, 냉장고)를 기설정된 시간(예컨대, 2초)동안 터치하는 경우, 가상 오브젝트의 구동 동작 시의 움직임(예를 들어, 냉장고의 문 열림)을 나타내는 가상 오브젝트가 렌더링될 수 있다.
한편, 증강 현실 영상에 포함된 가상 오브젝트를 이동시키는 사용자의 입력을 수신할 수도 있다. 이 경우, 사용자의 입력에 기초하여 촬상된 영상 내의 가상 오브젝트의 위치를 변경하여 렌더링할 수 있다. 가령, 건조기에 대응되는 가상 오브젝트가 세탁기의 옆에 렌더링되었으나, 가상 오브젝트를 세탁기 위로 이동시키는 사용자의 입력을 수신한 경우, 건조기에 대응되는 가상 오브젝트는 세탁기 위에 위치하도록 렌더링될 수 있다.
한편, 가상 오브젝트를 포함하는 증강 현실 영상이 표시된 상태에서 카메라의 위치 정보가 변경되면, 변경된 카메라의 위치 정보에 기초하여 가상 오브젝트를 변경하여 렌더링할 수 있다. 가령, 가상 오브젝트를 포함하는 증강 현실 영상이 표시된 상태에서 카메라의 위치가 객체의 좌우로 이동하는 경우, 영상에 표시된 가상 오브젝트를 가상 오브젝트의 좌측면 또는 우측면에 대응되는 가상 오브젝트로 변경하여 렌더링할 수 있다.
그리고, 렌더링된 가상 오브젝트를 포함하는 증강 현실 영상을 표시할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 전자 장치(100)는 카메라(110), 디스플레이(120) 및 프로세서(130)를 포함한다.
카메라(110)는 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 하나 이상의 이미지 센서(예를 들어, 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 플래시(예를 들어, LED, Xenon lamp 등)를 포함할 수 있다.
카메라(110)는 전자 장치(100)의 전면 또는 후면 상에 위치할 수 있다. 본 개시에서는 전자 장치(100)의 후면에 놓인 카메라로 영상이 촬상된 것을 전제로 설명하나, 반드시 이에 한하는 것은 아니며, 전자 장치(100)의 전면에 놓인 카메라로 영상이 촬영될 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 카메라(110)는 프로세서(130)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터를 프로세서(130)로 전달할 수 있다. 촬영된 데이터는 프로세서(130)의 제어에 따라 메모리(150)에 저장될 수도 있음은 물론이다. 여기서, 촬영된 데이터는 픽쳐, 이미지, 정지 영상, 동영상 등 다양하게 불릴 수 있으나 이하에서는 설명의 편의를 위해 영상으로 통칭하도록 한다. 여기서, 피사체는 촬영 대상이 되는 객체를 의미할 수 있다. 한편, 본 개시의 다양한 실시 예에 따른 영상은 카메라(110)를 통해 촬영되는 라이브 뷰 영상 외에도 외부 장치, 외부 서버로부터 수신된 영상, 메모리(150)에 저장된 영상 등을 의미할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따라, 프로세서(130)는 카메라(110)를 통해 촬영된 영상에 기초하여 증강현실(Augmented Reality) 화면을 디스플레이(120)를 통해 디스플레이할 수 있다.
디스플레이(120)는 전자 장치(100)를 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
디스플레이(120)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel), Wall, Micro LED 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(120) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(120)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른, 디스플레이(120)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
특히, 디스플레이(120)는 프로세서(130)의 제어에 따라 카메라(110)를 통해 실시간으로 촬영되는 영상(예를 들어, 라이브 뷰 영상), 해당 영상에 가상 오브젝트가 추가된 AR(Augmented Reality, 증강현실) 영상 또는 후술하는 바와 같이 해당 영상에 기초하여 프로세서(130)가 획득한 영상 등을 디스플레이할 수 있다. 여기서, 가상 오브젝트는 AR 오브젝트, 가상 오브젝트 이미지 등으로 불릴 수 있으나, 이하에서는 설명의 편의상 가상 오브젝트로 통칭하도록 한다.
프로세서(130)는 메모리(150)와 전기적으로 연결되어 전자 장치(100)의 전반적인 동작 및 기능을 제어할 수 있다. 예를 들어, 프로세서(130)는 운영 체제 또는 응용 프로그램을 구동하여 프로세서(130)에 연결된 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 또한, 프로세서(130)는 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장할 수 있다.
이를 위해, 프로세서(130)는 해당 동작을 수행하기 위한 전용 프로세서(예, 임베디드 프로세서) 또는 메모리 디바이스에 저장된 하나 이상의 소프트웨어 프로그램을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU (Central Processing Unit) 또는 application processor)로 구현될 수 있다.
본 개시에서, 프로세서(130)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(130)는 카메라를 통하여 촬상된 영상에서 객체를 인식할 수 있다. 여기에서, 객체는 TV, 모니터, 세탁기, 냉장고, 에어컨과 같은 특정 가전 기기 나타내는 것일 수 있으며, 이와 같이 인식가능한 객체에 관한 정보는 메모리(150)에 기저장될 수 있다. 한편, 객체는 디스플레이(120)에서 특정한 상태로 위치하는 객체를 의미할 수도 있다. 구체적으로, 프로세서(130)는 디스플레이(120)에 표시된 제1 가이드라인을 기초로 제1 가이드라인과 객체의 일면이 일치하거나 평행하도록 촬상된 객체를 인식할 수 있다.
프로세서(130)는 촬상된 객체가 디스플레이(120)에 표시되는 라인 상에 위치하거나 객체의 일면과 디스플레이(120)에 표시되는 라인이 평행하게 촬상하도록 가이드하는 UI(user interface)를 생성하고, 이를 표시하도록 디스플레이(120)를 제어할 수 있다. 이에 대하여 도 4a, 도 4b, 도 4c, 도 5a 및 도 5b를 참조하여 구체적으로 설명하도록 한다.
도 4a, 도 4b 및 도 4c를 참조하면, 프로세서(130)는 제1 가이드라인(410)을 이용하여 영상 내 객체의 위치를 가이드할 수 있다.
도 2에서 상술한 바와 같이, 제1 가이드라인(410)은 디스플레이에 표시되는 라인으로, 영상에 포함된 객체(11)의 위치를 가이드 하기 위한 UI일 수 있다. 즉, 제1 가이드라인(410)은 객체(11)의 정면 전체가 영상에 표시될 수 있도록 가이드하기 위한 직선을 나타낸다. 가령, 제1 가이드라인은 디스플레이(120)의 하단으로부터 디스플레이(120)의 1/3 지점에 위치할 수 있다. 즉, 제1 가이드라인이 디스플레이(120)의 하단으로부터 1/3 지점에 위치함으로서, 영상에 포함된 객체가 디스플레이(120)의 중앙에 위치하도록 가이드할 수 있다. 한편, 제1 가이드라인이 표시되는 위치는 반드시 이에 한하는 것은 아니며, 실시 예에 따라 다양할 수 있음은 물론이다.
또한, 본 개시의 일 실시 예에 따르면, 객체 인식을 수행하거나 배경으로부터 객체을 추출하기 위하여, 딥러닝, 컴퓨터 비전 알고리즘 등의 복잡성이 높은 소프트웨어 기술을 이용하지 않고, 전자 장치(100)는 제1 가이드라인(410)에 기초하여 간단한 수학식 및 간단한 알고리즘을 이용하여 객체 인식 및 추출할 수 있다. 또한, 제1 가이드라인(410)을 이용함으로써, 전자 장치(100)는 공간 상의 depth 데이터 및 depth 데이터를 생성하는 고성능의 카메라를 이용하지 않고, 객체 인식 및 객체 추출을 수행할 수 있다.
프로세서(130)는 촬상된 영상에 포함된 객체(11)의 일면과 디스플레이(120)의 화면상에 표시된 라인이 일치하거나 평행하도록 가이드하는 제1 가이드라인(410)을 생성하고, 생성된 제1 가이드라인(410)이 디스플레이(120)의 화면에 표시하도록 디스플레이(120)를 제어할 수 있다. 가령, 프로세서(130)는 촬상된 객체(11)의 밑면에 포함된 복수의 모서리 중 객체(11)의 정면에 대응되는 모서리가 제1 가이드라인 상에 놓이도록 가이드 할 수 있다. 구체적으로, 프로세서(130)는 촬상된 객체(11)의 정면에 대응되는 모서리를 연장한 직선인, 직선(420)를 표시하도록 디스플레이(120)를 제어할 수 있다. 그리고, 프로세서(130)는 직선(420)과 제1 가이드라인(410)이 일치하거나 평행하게 촬상하도록 가이드할 수 있다.
도 4a에 도시된 바와 같이, 직선(420)과 제1 가이드라인(410)이 평행하지 않는 경우, 프로세서(130)는 직선(420)이 제1 가이드라인(410)과 평행하게끔, 즉, 카메라(110)가 객체에 대응되는 피사체(10)의 전면을 바라볼 수 있도록 카메라(110)를 이동하도록 가이드할 수 있다. 구체적으로, 프로세서(130)는 "실 제품의 전면을 바라봐주세요"와 같은 메시지(430-1)를 표시하도록 디스플레이(120)를 제어하여, 사용자가 카메라(110)의 위치를 조정하도록 가이드할 수 있으며, 이에 따라 객체(11)의 밑면에 포함된 모서리 중 정면에 대응되는 모서리가 제1 가이드라인(410)과 평행하도록 가이드할 수 있다. 전자 장치(100)는 제1 가이드라인(410) 및 메시지(430-1)를 이용하여 사용자가 피사체(10)를 정확한 방법으로 촬상하도록 가이드할 수 있다. 그리고, 프로세서(130)는 객체(11)의 정면에 대응되는 모서리를 연장한 직선(420)이 제1 가이드라인과 평형하는 경우, 객체(11)의 위치가 제1 가이드라인(410)과 평행한 위치에 위치하였음을 사용자에게 알리는 피드백을 제공할 수 있다. 여기서, 피드백은 객체(11)의 위치를 알리는 메시지 표시, 전자 장치(100)의 진동, 화면의 깜박거림, 객체(11)의 색상, 음영 두께 등의 변화와 같이 다양한 형태로 제공될 수 있다. 도 4a에는 객체(11)의 정면에 대응되는 모서리를 연장한 직선(420)이 제1 가이드라인과 평행하는 경우, 사용자에게 진동을 이용하여 피드백을 제공하는 도면이 도시되어 있다.
한편, 도 4b에 도시된 바와 같이, 객체(11)의 정면에 대응되는 모서리를 연장한 직선(420)은 디스플레이(120)상에 생략될 수도 있다. 그리고, 객체(11)의 밑면이 제1 가이드라인(410)과 일치하지 않는 경우, 프로세서(130)는 객체(11)의 밑면이 제1 가이드라인(410)과 일치하게끔, 즉, 카메라(110)가 객체에 대응되는 피사체(10)의 전면을 바라볼 수 있도록 카메라(110)를 이동하도록 가이드할 수 있다. 구체적으로, 프로세서(130)는 "실 제품의 밑면을 가이드 라인과 일치시켜 주세요"와 같은 메시지(430-2)를 표시하도록 디스플레이(120)를 제어하여, 사용자가 카메라(110)의 위치를 조정하도록 가이드할 수 있으며, 이에 따라 객체(11)의 밑면에 포함된 모서리 중 정면에 대응되는 모서리가 제1 가이드라인(410)과 일치하도록 가이드할 수 있다. 전자 장치(100)는 제1 가이드라인(410) 및 메시지(430-2)를 이용하여 사용자가 피사체(10)를 정확한 방법으로 촬상하도록 가이드할 수 있다. 그리고, 프로세서(130)는 객체(11)의 밑면에 포함된 모서리 중 정면에 대응되는 모서리가 제1 가이드라인(410)과 일치하는 경우, 객체(11)의 위치가 제1 가이드라인(410)상에 위치하였음을 사용자에게 알리는 피드백을 제공할 수 있다. 여기에서의 피드백은 객체(11)의 위치를 알리는 메시지 표시, 전자 장치의 진동, 화면의 깜박거림, 객체(11)의 색상, 음영, 두께 등의 변화와 같이 다양한 형태로 제공될 수 있다. 도 4b에는 객체(11)의 정면에 대응되는 모서리 중 정면에 대응되는 모서리가 제1 가이드라인과 일치하는 경우, 사용자에게 진동을 이용하여 피드백을 제공하는 도면이 도시되어 있다.
한편, 프로세서(130)는 제1 가이드라인(410)의 1/2 지점에 제1 가이드라인과 직교하는 직선(440)을 두어, 영상에 포함된 객체의 중심축이 직선(440)과 일치하도록 가이드할 수 있다.
그리고, 프로세서(130)는 객체(11)의 중심축이 직선(440)과 일치하거나 인접한 경우, 객체(11)의 중심축이 직선(440)과 일치하거나 인접함을 알리는 피드백을 사용자에게 제공할 수 있다. 이때의 피드백 또한, 위치를 알리는 메시지 표시, 전자 장치의 진동, 화면의 깜박거림, 객체(11)의 색상, 음영, 두께 등의 변화와 같이 다양한 형태로 제공될 수 있다.
이와 같이, 프로세서(130)는 제1 가이드라인을 제공하여, 카메라(110)가 가상 오브젝트(20)로 대체되는 객체(11)에 대응하는 피사체(10)의 정면에 위치하도록 가이드할 수 있다.
한편, 도 4a는 제1 가이드라인(410)과 직선(420)이 평행하는 경우의 일 실시 예를 들어 설명하였으나, 제1 가이드라인(410)과 직선(420)이 일치하는 경우에도 적용될 수 있다. 마찬가지로, 도 4b는 제1 가이드라인(410)과 객체(11)의 밑면이 일치하는 경우의 일 실시 예를 들어 설명하였으나, 제1 가이드라인(410)과 객체(11)의 밑면이 평행하는 경우에도 적용될 수 있음은 물론이다.
도 4c에 도시된 바와 같이, 프로세서(130)는 사용자로부터 객체(11)의 밑면에 포함된 모서리 중 정면에 대응되는 모서리를 그리도록 가이드할 수 있다. 구체적으로, 프로세서(130)는 사용자가 객체(11)의 밑면에 포함된 모서리를 그리도록 가이드하는 UI를 제공할 수 있다. 예를 들어, 프로세서(130)는 "실 제품의 밑면 라인을 그려주세요"와 같은 메시지(460)를 표시하도록 디스플레이(120)를 제어하여, 사용자가 객체(11)의 밑면 라인(450)을 그리도록 가이드할 수 있다. 프로세서(130)는 사용자로부터 객체(11)의 밑면 라인(450)을 입력받고, 입력받은 밑면 라인(450)을 식별할 수 있다. 그리고, 프로세서(130)는 식별된 밑면 라인(450)을 기준으로 가상 오브젝트를 표시하도록 디스플레이(120)를 제어할 수 있다. 구체적으로, 프로세서(130)는 밑면 라인(450)을 기초하여 객체(11)를 인식할 수 있다. 즉, 입력받은 밑면 라인(450)은 제1 가이드라인(410)에 대체하여 객체(11)를 인식하는 기초가 될 수 있다. 밑면 라인(450)은 도 4a 및 도 4b에서 상술한 제1 가이드라인(410)의 역할을 수행할 수 있으므로, 이때, 프로세서(130)는 제1 가이드라인(410) 및 직선(440)을 포함할 수도 있으며, 경우에 따라 제1 가이드라인(410) 및 직선(440)을 생략할 수도 있다. 한편, 도 4c에 제1 가이드라인(410) 및 직선(440)을 포함하는 도면이 도시되어 있다.
그리고, 프로세서(130)는 밑면 라인(450)을 기초로 객체(11)를 인식하고, 프로세서(130)는 인식된 객체(11)의 회전각과 관련된 정보 및 위치와 관련된 정보를 계산하고, 객체(11)를 대체하는 가상 오브젝트를 렌더링할 수 있다.
사용자는 객체(11)의 밑면에 포함된 모서리 중 정면에 대응되는 모서리가 제1 가이드라인(410)과 평행하거나 일치하도록 카메라(110)의 각도를 제어할 필요없이, 밑면 라인(450)의 입력으로 용이하게 가이드를 따를 수 있다. 도 4c에는 설명의 편의를 위하여, 객체(11)의 전면이 제1 가이드라인(410)과 평행하게 촬상되고, 촬상된 객체(11)의 전면에 사용자가 밑면 라인(450)을 입력하는 도면을 도시하였으나, 객체(11)의 전면이 제1 가이드라인(410)과 평행 또는 일치하게 촬상되지 않은 경우에도 밑면 라인(450)의 입력으로 촬상된 객체(11)를 인식할 수 있음은 물론이다.
한편, 프로세서(130)는 카메라의 위치뿐만 아니라, 카메라의 각도를 가이드할 수 있다.
도 5a 및 도 5b는 카메라의 각도를 가이드하는 제2 가이드라인을 설명하기 위한 도면이다.
프로세서(130)는 SLAM 알고리즘을 이용하여 카메라의 회전(rotation) 정보를 비롯한 카메라의 포즈(pose) 정보를 획득할 수 있으며, 획득한 카메라의 포즈 정보를 기초로 카메라(110)의 촬상 각도를 판단할 수 있다. 이에 대하여는 도 8에서 구체적으로 설명하기로 한다.
프로세서(130)는 판단된 카메라(110)의 촬상 각도를 기초로 카메라(110)의 촬상 각도를 가이드하는 제2 가이드라인을 생성하고, 카메라(110)의 촬상 각도에 따라 제2 가이드라인의 길이를 변경할 수 있다.
프로세서(130)는 생성된 제2 가이드라인을 이용하여, 피사체(10)의 정면에 위치한 카메라(110)의 각도를 조절하도록 가이드할 수 있다. 구체적으로, 프로세서(130)는 카메라의 촬상 각도에 따라 제2 가이드라인의 길이를 변경함으로써, 카메라(110)가 피사체(10)와 평행한 각도에서 피사체(10)를 촬상하도록 가이드할 수 있다.
도 5a는 카메라(110)가 지면을 바라보는 각도에서 피사체(10)를 촬상한 경우, 즉, 피사체(10)의 하단을 바라보는 각도에서 촬상한 경우, 디스플레이(120)에 표시된 객체(11) 및 제2 가이드라인(510)을 나타내는 도면이다. 도 5a 및 도 5b에서, 라인(520)는 도 4a, 도 4b 및 도 4c에서 상술한 제1 가이드라인(410)에 대응될 수 있다. 이때, 라인(520)는 도 4a의 직선(440)을 포함할 수도 있으며, 경우에 따라 직선(440)을 생략할 수도 있다. 한편, 도 5a 및 도 5b에는 도 4a의 직선(440)이 생략된 도면이 도시되어 있다.
도 5a에 도시된 바와 같이, 카메라(110)가 지면을 바라보는 각도에서 피사체(10)를 촬상한 경우, 프로세서(130)는 카메라(110)의 각도에 기초하여 제2 가이드라인(510)을 표시하도록 디스플레이(120)를 제어할 수 있다.
프로세서(130)는 카메라(110)의 촬상 각도가 커질수록, 즉, 카메라(110)가 지면을 바라볼수록, 제2 가이드라인(510)의 길이가 길어지도록 제2 가이드라인(510)의 길이를 변경할 수 있다. 반면, 프로세서(130)는 카메라(110)의 촬상 각도가 작아질수록, 즉, 카메라가 피사체(10)와 평행하게 위치할수록, 제2 가이드라인(510)의 길이가 짧아지도록 제2 가이드라인(510)의 길이를 변경할 수 있다.
도 5b는 카메라(110)가 천장을 바라보는 각도에서 촬상한 경우, 즉, 카메라(110)가 피사체(10)의 상단을 바라보는 각도에서 촬상한 경우, 디스플레이(120)에 표시된 객체(11) 및 제2 가이드라인(510)을 나타내는 도면이다.
프로세서(130)는 카메라(110)의 촬상 각도가 커질수록, 즉, 카메라(110)가 천장을 바라볼수록, 제2 가이드라인(510)의 길이가 길어지도록 제2 가이드라인(510)의 길이를 변경할 수 있다. 반면, 프로세서(130)는 카메라(110)의 촬상 각도가 작아질수록, 즉, 카메라가 피사체(10)와 평행하게 위치할수록, 제2 가이드라인(510)의 길이가 짧아지도록 제2 가이드라인(510)의 길이를 변경할 수 있다.
한편, 프로세서(130)는 카메라(110)가 지면을 바라보는 경우와 천장을 바라보는 경우를 구별하기 위하여, 제2 가이드라인(510)이 라인(520)과 이루는 각도를 각각 다르게 할 수 있다. 가령, 프로세서(130)는 카메라(110)가 지면을 바라보는 경우에는 제2 가이드라인(510)이 라인(520)과 이루는 각도를 제1 각도(가령, 60도)로 설정하고, 카메라(110)가 천장을 바라보는 경우에는 제2 가이드라인(510)이 라인(520)과 이루는 각도를 제2 각도(가령, 30도)로 설정할 수 있다.
프로세서(130)는 카메라(110)가 피사체(10)와 평행한 각도에 위치하는 경우, 카메라(110)의 각도가 피사체(10)와 평행한 상태임을 알리는 피드백을 제공할 수 있다. 이때의 피드백은 카메라(110)의 각도를 알리는 메시지 표시, 전자 장치의 진동, 화면의 깜박거림, 화면에 표시된 객체(11)의 색상, 음영, 두께의 변화와 같이 다양한 형태로 제공될 수 있다.
한편, 프로세서(130)는 카메라의 촬상 각도를 가이드 하기 위하여 제2 가이드라인 및 라인(520) 이외에도 다양한 UI를 이용할 수 있다. 가령, 프로세서(130)는 촬상 영상의 일 영역에 카메라의 각도를 표시하거나, 카메라의 각도를 나타내는 메시지를 표시할 수 있다. 또는, 프로세서(130)는 카메라(110)의 각도가 피사체(10)와 평행한 각도에 위치할 때까지 "카메라를 실 제품과 평행하게 맞춰주세요"라는 메시지(530)를 표시할 수도 있다.
다시 도 3으로 돌아가서, 촬상된 영상에 포함된 객체가 디스플레이(120)에 표시된 제1 가이드라인 상에 위치하거나, 카메라(110)의 각도가 피사체(10)와 평행한 각도로 촬상된 경우, 프로세서(130)는 촬상된 영상에 포함된 객체를 인식할 수 있다.
그리고, 프로세서(130)는 인식된 객체를 대체하는 가상 오브젝트(20)를 렌더링할 수 있다. 여기에서, 가상 오브젝트(20)는 다양한 외부 전자 장치 또는 가전 기기에 대응될 수 있다. 가상 오브젝트(20)는 인식된 객체와 대응되는 개체가 될 수 있으나, 반드시 이에 한하는 것은 아니다. 즉, 인식된 객체가 에어컨인 경우, 가상 오브젝트(20)는 인식된 객체와 다른 종류의 에어컨이 될 수도 있으나, 에어컨이 아닌 냉장고, 공기청정기와 같은 전자 장치가 될 수도 있다.
한편, 프로세서(130)는 객체가 인식되면, 인식된 객체를 대체할 수 있는 다양한 가상 오브젝트를 제공하고, 가상 오브젝트 중에서 하나를 선택하는 사용자의 입력에 따라 선택된 가상 오브젝트를 렌더링할 수 있다.
이와 관련하여, 도 6a 및 도 6b는 본 개시의 일 실시 예에 따라 다양한 가상 오브젝트를 제공하는 전자 장치를 설명하기 위한 도면이다.
도 6a에 도시된 바와 같이, 프로세서(130)는 촬상된 영상에서 객체(11)가 인식되면, 인식된 객체(11)를 대체가능한 복수의 가상 오브젝트(611, 612, 613)를 표시하도록 디스플레이(120)를 제어할 수 있다. 이때, 복수의 가상 오브젝트는 대체가능한 가상 오브젝트의 이미지뿐만 아니라, 가상 오브젝트의 제품 번호, 색상, 출시 연도와 같은 가상 오브젝트와 관련된 정보를 포함할 수 있다.
프로세서(130)는 복수의 가상 오브젝트(611, 612, 613)를 터치하거나 드래그하는 사용자 인터렉션에 따라 다양한 가상 오브젝트를 표시하도록 디스플레이(120)를 제어할 수 있다. 가령, 가상 오브젝트(612)가 가운데에 표시되고, 가상 오브젝트(611) 및 가상 오브젝트(613)가 가상 오브젝트(612)의 좌우에 표시된 상태에서 가상 오브젝트(612)를 오른쪽으로 넘기는 사용자 입력이 수신되는 경우, 프로세서(130)는 가상 오브젝트(611)가 화면의 가운데에 표시되도록 할 수 있다. 그리고, 가상 오브젝트(6110)의 왼쪽에는 새로운 가상 오브젝트(미도시)가 표시할 수 있다.
한편, 프로세서(130)는 복수의 가상 오브젝트(611, 612, 613) 이외에도, 복수의 가상 오브젝트와 관련된 리스트(620)을 표시할 수 있다. 그리고, 리스트(620)에 포함된 복수의 리스트 정보(가령, TV, 세탁기, 냉장고 등) 중 하나를 선택하는 사용자 입력을 수신하면, 프로세서(130)는 사용자 입력에 대응되는 복수의 가상 오브젝트를 렌더링할 수 있다. 예를 들어, 리스트(620)에 포함된 복수의 리스트 정보 중 냉장고를 선택하는 사용자 입력을 수신하면, 프로세서(130)는 냉장고에 대응되는 복수의 가상 오브젝트를 렌더링할 수 있다.
프로세서(130)는 복수의 가상 오브젝트(611, 612, 613) 중 하나를 선택하는 사용자 입력을 수신하면, 사용자 입력에 대응되는 가상 오브젝트를 렌더링할 수 있다. 가령, 사용자가 복수의 가상 오브젝트(611, 612, 613) 중 가상 오브젝트(612)를 선택하면, 도 6b에 도시된 바와 같이, 프로세서(130)는 선택된 가상 오브젝트(612)를 렌더링하고, 촬상된 영상에서 객체(11)가 위치하는 영역에 선택된 가상 오브젝트(612)에 대응되는 가상 오브젝트(20)를 표시하도록 디스플레이(120)를 제어할 수 있다. 즉, 프로세서(130)는 객체(11)를 가상 오브젝트(20)로 대체하는 증강 현실 영상을 표시하도록 디스플레이(120)를 제어할 수 있다.
그리고, 프로세서(130)는 증강 현실 영상에서 객체(11)가 가상 오브젝트(20)로 대체되었음을 사용자에게 알릴 수 있다. 구체적으로, 프로세서(130)는 "AR 제품으로 대체되었습니다"와 같은 메시지(630)를 표시하도록 디스플레이(120)를 제어하여, 증강 현실 영상에서 객체(11)가 가상 오브젝트(20)로 대체되었음을 알릴 수 있다.
한편, 프로세서(130)는 인식된 객체의 주변 공간을 고려하여, 가상 오브젝트를 렌더링할 수 있다.
이와 관련하여 도 7a, 도 7b, 도 7c 및 도 7d는 본 개시의 일 실시 예에 따라, 인식된 객체의 주변 공간을 고려하여, 가상 오브젝트를 렌더링하는 전자 장치를 설명하기 위한 도면이다.
도 7a를 참조하면, 인식된 객체(710)와 주변에 존재하는 여백 공간(70)이 디스플레이(120)에 표시된 도면이 도시되어 있다.
프로세서(130)는 인식된 객체(710)의 주변에 존재하는 여백 공간(70)을 판단할 수 있다. 여기에서, 여백 공간(70)은, 인식된 객체의 주변 공간 중 어떠한 물체나 사물도 존재하지 않는 공간을 의미한다.
도 7b를 참조하면, 프로세서(130)는 촬상된 영상에서 객체(710)를 인식하면서 객체(710)의 주변에 존재하는 여백 공간(70)을 인식하고, 여백 공간(70)의 길이를 판단할 수 있다. 구체적으로, 프로세서(130)는 SLAM(Simultaneous Localization and Mapping) 알고리즘을 이용하여 촬상된 영상에서 객체(710)의 인접한 영역에 존재하는 것으로 식별된 여백 공간(70)의 길이를 판단할 수 있다. 또한, 프로세서(130)는 SLAM 알고리즘을 이용하여 촬상된 영상에 포함된 인식된 객체(710)의 길이 정보를 판단할 수 있다. 그리고, 프로세서(130)는 판단된 객체(710)의 길이 정보 및 여백 공간(70)의 길이 정보를 기초로 가상 오브젝트(700)가 인식된 객체(710)가 위치하는 영역에 위치할 수 있는지 판단할 수 있다.
이를 위하여, 프로세서(130)는 가상 오브젝트(700)에 대응되는 실제 전자 장치의 길이 정보를 획득할 수 있다. 구체적으로, 프로세서(130)는 서버(미도시)와 같은 외부 장치로부터 가상 오브젝트(700)에 대응되는 실제 전자 장치의 길이 정보를 획득할 수 있다. 또는, 프로세서(130)는 가상 오브젝트(700)와 함께 가상 오브젝트(700)에 대응되는 실제 전자 장치의 길이 정보를 메모리(150)에 기저장할 수 있다.
프로세서(130)는 객체(710)의 길이 정보, 여백 공간(70)의 길이 정보 및 가상 오브젝트(700)의 길이 정보를 판단한 결과, 가상 오브젝트(700)가 상기 객체가 위치하는 영역에 위치할 수 있다고 판단되면, 도 7c에 도시된 바와 같이 객체가 위치하는 영역에 제1 가상 오브젝트(720)를 렌더링할 수 있다.
또는, 프로세서(130)는 객체(710)의 길이 정보, 여백 공간의 길이 정보 및 가상 오브젝트(700)의 길이 정보를 판단한 결과, 가상 오브젝트(700)가 객체(710)가 위치하는 영역에 위치할 수 없다고 판단되면, 가상 오브젝트(700)에 대응되는 실제 제품을 배치할 수 없음을 알릴 수 있다.
구체적으로, 프로세서(130)는 제2 가상 오브젝트(730)에 대응되는 실제 전자 장치의 길이 정보를 객체(710)의 길이 정보 및 여백 공간(70)의 길이 정보와 비교할 수 있고, 프로세서(130)는 제2 가상 오브젝트(730)에 대응되는 실제 전자 장치의 길이 정보가 객체(710)의 길이 정보 및 여백 공간(70)의 길이 정보를 합친 수치보다 큰 경우, 객체(710)가 위치하는 영역에 제2 가상 오브젝트(730)에 대응되는 제품을 배치할 수 없음을 식별할 수 있다.
도 7d를 참조하면, 프로세서(130)는 객체(710)가 위치하는 영역에 객체(710) 대신 제2 가상 오브젝트(730)를 렌더링하고, 실제 공간과 제2 가상 오브젝트(730)이 겹치는 영역(75)을 표시하도록 디스플레이(120)를 제어할 수 있다.
그리고, 프로세서(130)는 객체(710)가 위치하는 영역에 제2 가상 오브젝트(730)에 대응되는 제품을 배치할 수 없음을 알릴 수 있다. 구체적으로, 프로세서(130)는 "선택하신 가상 전자제품의 높이가 실제 공간의 높이보다 커서 배치가 불가합니다. 구매시 참고 부탁드립니다."와 같은 메시지(740)를 표시할 수 있다.
프로세서(130)는 식별된 객체의 위치를 기초로, 렌더링되는 가상 오브젝트(700)의 위치를 판단할 수 있다.
이와 관련하여, 도 8a 및 도 8b는 본 개시의 일 실시 예에 따른 객체의 위치를 판단하는 전자 장치를 설명하기 위한 도면이다. 도 8a 및 도 8b는 사용자에게 제1 가이드라인을 이용하여 피사체(10)를 촬상하도록 가이드하고, 디스플레이 화면에 촬상된 피사체(10)가 객체(11)로 표시된 상황을 가정하여, 연산 복잡도를 완화시키는 방법에 대하여 설명하도록 한다.
도 8a를 참조하면, 프로세서(130)는 카메라(110)의 위치 정보 및 각도 정보를 기초로, 증강 현실 이미지에서 객체(11-1)의 위치를 식별하고, 식별된 객체(11-1)의 위치를 기초로 가상 오브젝트의 위치를 판단할 수 있다. 여기서, 카메라(110)는 RGB 데이터를 획득할 수 있는 RGB 카메라 또는 depth 데이터를 획득할 수 있는 3D 카메라일 수 있다. 다만, 후술하는 설명은 RGB 데이터를 획득할 수 있는 2D 카메라 또는 RGB 카메라를 이용하는 경우를 가정하여 설명하도록 한다.
프로세서(130)는 특징 기반(Feature based)의 SLAM(Simultaneous Localization and Mapping) 기법, 다이렉트(Direct) SLAM 기법, EKF(Extended Kalman Filter) SLAM 기법, 패스트(Fast) SLAM 기법, 및 LSD(Large-Scale Direct Monocular) SLAM 기법 등 다양한 SLAM 기법들을 이용하여 카메라(110)의 포즈 정보를 획득할 수 있다. 여기에서, 카메라의 포즈 정보는 카메라의 위치(translation) 정보(Tcx, Tcy, Tcz) 및 각도(rotation) 정보(Rcx, Rcy, Rcz)를 포함할 수 있다. 또는 카메라의 포즈 정보는 예를 들어, 카메라의 위치에 해당하는 X(수평), Y(수직), Z(깊이) 및/또는 카메라의 자세(orientation)에 해당하는 피치(pitch), 요(yaw), 및 롤(roll)을 포함하는 6 자유도(6 DoF) 카메라 포즈일 수 있다.
한편, 프로세서(130)는 피사체(10)가 놓인 평면(810-1)에 대한 정보를 획득할 수 있다. 프로세서(130)는 촬상된 영상에서 평면 공간을 추정할 수 있다. 구체적으로, 프로세서(130)는 3D point cloud 분석 알고리즘을 이용하여 평면의 방정식을 계산할 수 있다. 예를 들어, 프로세서(130)는 3D SLAM기법 중 하나인, RANSAC(Random Sample Consensus) 기법을 이용하여 촬상된 영상에서 평면 공간을 추정할 수 있다. 여기서, RANSAC 기법은 무작위로 샘플 데이터를 추출하고, 추출된 샘플 데이터를 만족하는 모델 파라미터를 구하는 방법이다.
예를 들어, 공간 일관성(Spatial Coherency)에 따라 평면 공간을 구성하는 복수의 점들은 서로 인접하여 존재할 수 있다. 프로세서(130)는 서로 인접한 임의의 점들을 이용하여 영상 구간에서 평면 공간을 추정할 수 있다. 프로세서(130)는 인접한 임의의 점들이 동일 평면상에 존재하는지 여부를 식별하고, 식별 결과에 기초하여 평면 공간에 대한 정보를 획득할 수 있다.
예를 들어, 프로세서(130)는 서로 인접한(또는, 임계 값 이내로 이격된) 제1 내지 제3 점을 이용하여 영상 구간에서 특정 공간이 평면 공간인지 여부를 식별할 수 있다. 식별 결과에 따라 특정 공간이 평면 공간이면, 프로세서(130)는 제1 내지 제3 점에 기초하여 평면 방정식의 계수(coefficient) A, B, C, D를 획득할 수 있다. 프로세서(130)는 하기의 수학식 1에 기초하여 평면 방정식을 평면 공간에 대한 정보로 획득할 수 있다.
Figure pat00001
여기서, A, B, C는 평면의 방향을 나타내는 법선 벡터이고, D는 제1 내지 제3 점이 포함된 평면과 카메라(110) 간의 거리일 수 있다. 다만, 이는 일 실시 예로서, 평면 공간에 대한 정보는 다양한 형태일 수 있다. 예를 들어, 프로세서(130)는 영상의 특성 정보를 획득하는 기계 학습(Machine Learning)된 모델에 기초하여 영상 구간을 분석하고, 분석 결과에 따라 평면 공간에 대한 정보를 획득할 수도 있음은 물론이다.
한편, 프로세서(130)는 제1 가이드라인(410)에 기초하여 촬상된 영상으로부터, 객체(11-1)의 회전 값을 용이하게 계산할 수 있다.
구체적으로, 프로세서(130)는 상기의 수학식 1에 기초하여 산출된 평면 방정식을 기초로 객체(11-1)의 x축 및 z축에 대한 회전 값을 계산할 수 있다. 예를 들어, 프로세서(130)는 피사체(10-1)가 놓인 평면(810-1)에 대한 제1 평면 방정식(A1x+B1y+C1z+D1=0)을 획득할 수 있다. 그리고, 피사체(10-1)는 평면(810-1) 상에 놓여 있으므로, 프로세서(130)는 객체(11-1)의 x축에 대한 회전 값(Rpx)은 제1 평면 방정식에서 x의 계수인 A1이고, 프로세서(130)는 객체(11-1)의 z축에 대한 회전 값(Rpz)은 제1 평면 방정식에서 z의 계수인 C1인 것을 식별할 수 있다.
또한, 프로세서(130)는 카메라(110)의 각도 정보(Rcx, Rcy, Rcz)에 기초하여 객체(11-1)의 y축에 대한 회전 값(Rpy)을 식별할 수 있다. 구체적으로, 사용자가 피사체(10-1)를 정면에서 촬상하므로, 프로세서(130)는 객체(11-1)의 y축에 대한 회전 값(Rpy)은 - Rcy인 것을 식별할 수 있다.
본 개시에 따른 전자 장치(100)는 제1 가이드라인(410)에 맞춰 촬상된 영상을 이용하여 객체(11)의 회전 값을 용이하게 계산할 수 있다.
한편, 프로세서(130)는 영상 내 제1 가이드라인(410)과 제1 가이드라인을 직교하는 직선(440)과의 교차점(820-1)의 좌표(u, v)를 판단할 수 있다. 여기서, 판단된 교차점(820-1)의 좌표(u, v)는 제1 가이드라인(410) 상의 좌표로, 디스플레이 화면에 특정 위치에 고정될 수 있다. 따라서, 프로세서(130)는 판단된 교차점(820-1)의 좌표(u, v)를 식별할 수 있다.
프로세서(130)는 판단된 교차점(820-1)의 좌표(u, v), 카메라의 intrinsic parameter(K), SLAM 알고리즘을 통하여 획득된 카메라의 위치 및 각도 정보를 이용하여, 카메라의 위치 및 각도 정보에 대응되는 가상의 위치(830-1) 및 교차점(820-1)을 통과하는 직선에 관한 정보를 획득할 수 있다. 여기서, 가상의 위치(830-1)는 카메라의 위치 정보 에 대응되는 실제 공간상 좌표를 의미할 수 있다. 구체적으로, 가상의 위치(830-1)는 피사체(10-1) 상의 하나의 점과 그 점에 대응되는 객체(11-1) 상의 하나의 점을 연결한 직선상에 존재하는 점이고, 가상의 위치(830-1)는 카메라(110)의 초점 거리, 초점 방향, 촬상 각도, 각도 정보(Rcx, Rcy, Rcz), 피사체와의 거리 등을 기초로 계산된 위치를 의미할 수 있다.
구체적으로, 프로세서(130)는 아래의 수학식 2를 이용하여, 가상의 위치(830-1) 및 교차점(820-1)을 통과하는 직선에 관한 방정식을 직선에 대한 정보를 획득할 수 있다.
Figure pat00002
그리고, 프로세서(130)는 평면(810-1)에 관한 방정식 및 가상의 위치(830-1) 및 교차점(820-1)을 통과하는 직선에 관한 방정식을 기초로, 가상의 위치(830-1) 및 교차점(820-1)을 통과하는 직선과 평면(810-1)의 교차점(840-1)의 좌표(Tpx, Tpy, Tpz)를 산출할 수 있다. 여기에서 교차점(840-1)의 좌표(Tpx, Tpy, Tpz)는 촬상된 영상에서 인식된 객체(11-1)의 밑면에 포함된 모서리 중 정면에 대응되는 모서리의 중간점을 나타낼 수 있다. 즉, 프로세서(130)는 제1 가이드라인(410) 또는 제1 가이드라인 상의 좌표(u, v)을 이용하여 위의 수학식 2의 계산을 간단하게 할 수 있다. 프로세서(130)는 피사체(10)의 바닥면과 제1 가이드라인을 일치하도록 함으로써 직선에 관한 방정식을 구하는 연산의 복잡도를 완화시킬 수 있다.
그리고, 프로세서(130)는 교차점(840-1)의 좌표(Tpx, Tpy, Tpz)에 피사체(10-1)가 위치하는 것으로 판단할 수 있다. 그리고, 프로세서(130)는 판단된 위치에 객체(11-1)를 대체하는 가상 오브젝트(20)가 배치된 증강 현실 영상을 생성할 수 있다. 구체적으로, 프로세서(130)는 가상 오브젝트(20)의 밑면에 포함된 복수의 모서리 중 정면에 대응되는 모서리의 중간점이 교차점(840-1)의 좌표(Tpx, Tpy, Tpz)에 위치하도록 가상 오브젝트(20)를 렌더링할 수 있다.
한편, 프로세서(130)는 카메라의 위치 정보 (Tcx, Tcy, Tcz)에 대응되는 가상의 위치(830-1) 및 교차점(840-1)의 좌표(Tpx, Tpy, Tpz)를 기초로, 가상 오브젝트의 크기를 계산 할 수 있다. 구체적으로, 카메라의 위치 정보 (Tcx, Tcy, Tcz)에 대응되는 가상의 위치(830-1)는 가상 카메라의 위치를 의미할 수 있으므로, 프로세서(130)는 카메라의 위치 정보(Tcx, Tcy, Tcz)에 대응되는 가상의 위치(830-1) 및 교차점(840-1)의 좌표 (Tpx, Tpy, Tpz) 간의 거리에 반비례하도록 가상 오브젝트의 크기를 결정할 수 있다. 예를 들어, 가상의 위치(830-1) 및 교차점(840-1) 간의 거리가 기설정된 거리만큼 증가하면, 가상 오브젝트의 크기를 기설정된 크기비율만큼 감소시킬 수 있다. 다만, 가상의 위치(830-1) 및 교차점(840-1) 간의 거리가 0인 경우, 가상 오브젝트를 가상 오브젝트에 대응되는 제품의 실제 사이즈로 구현할 수 있다. 그리고, 프로세서(130)는 결정된 크기의 가상 오브젝트를 렌더링할 수 있다.
한편, 도 8a는 바닥에 놓인 피사체(10-1)에 대하여 설명하였으나, 도 8b에 도시된 바와 같이, 프로세서(130)는 벽면에 붙어있는 피사체(10-2)에 대하여도 동일한 방법에 기초하여 촬상된 객체(11-2)를 대체하는 가상 오브젝트(20)를 렌더링할 수 있다.
구체적으로, 프로세서(130)는 카메라(110)의 위치 정보 및 각도 정보를 기초로 객체(11-2)의 위치를 식별하고, 식별된 객체(11-2)의 위치를 기초로 가상 오브젝트의 위치를 판단할 수 있다. 프로세서(130)는 다양한 SLAM 기법들을 이용하여 카메라(110)의 포즈 정보를 획득할 수 있다. 즉, 프로세서(130)는 객체(11-2)의 위치를 식별하기 위하여 동일한 기법 또는 방법을 사용할 수 있다.
한편, 프로세서(130)는 수학식 1에 기초하여 산출된 평면 방정식을 기초로 객체(11-2)의 X축 및 Y축에 대한 회전 값을 계산할 수 있다. 예를 들어, 프로세서(130)는 피사체(10-2)가 위치한 평면(810-2)에 대한 제2 평면 방정식(A2x+B2y+C2z+D2=0)을 획득할 수 있다. 그리고, 피사체(10-2)는 평면(810-2) 상에 위치하므로, 프로세서(130)는 객체(11-2)의 X축에 대한 회전 값(Rpx)은 제2 평면 방정식에서 x의 계수인 A2이고, 프로세서(130)는 객체(11-1)의 y축에 대한 회전 값(Rpz)은 제2 평면 방정식에서 y에 대한 계수인 B2인 것을 식별할 수 있다.
또한, 프로세서(130)는 카메라(110)의 각도 정보(Rcx, Rcy, Rcz)에 기초하여 객체(11-2)의 z축에 대한 회전 값(Rpy)을 식별할 수 있다. 구체적으로, 사용자가 피사체(10-2)를 정면에서 촬상하므로, 프로세서(130)는 객체(11-2)의 z축에 대한 회전 값(Rpz)은 - Rcz인 것을 식별할 수 있다.
한편, 도 8b에 도시된 교차점(820-2), 가상의 위치(830-2), 교차점(840-2)은 각각 도 8a에 도시된 교차점(820-1), 가상의 위치(830-1), 교차점(840-1)과 대응될 수 있고, 프로세서(130)는 도 8a에서 설명한 바와 동일한 방법 또는 기법으로 교차점(820-2)의 좌표(u, v)를 식별할 수 있고, 카메라의 intrinsic parameter(K), SLAM 알고리즘을 통하여 획득된 카메라의 위치 및 각도 정보를 이용하여, 카메라의 위치 및 각도 정보에 대응되는 가상의 위치(830-2) 및 교차점(820-2)을 통과하는 직선에 관한 정보를 획득할 수 있다.
프로세서(130)는 촬상된 영상에서 객체가 위치하는 영역에 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성할 수 있으며, 생성된 증강 현실 영상이 표시되도록 디스플레이(120)를 제어할 수 있다.
이와 같이, 본 개시의 일 실시 예에 따르면, 전자 장치(100)는 depth 데이터를 획득할 수 있는 고성능 카메라를 이용하지 않고, RGB 데이터를 획득할 수 있는 RGB 카메라 또는 2D 카메라만을 이용하여 촬상된 영상에서 객체의 위치를 판단할 수 있다. 또한, 전자 장치(100)는 객체 추출 및 객체 인식과정에서 복잡한 알고리즘을 이용하지 않고, 간단한 수학식 1 및 수학식 2를 기초로 객체의 위치, 크기 및 회전 값을 계산할 수 있으므로, 증강 현실 영상의 실시간성을 보장할 수 있다.
한편, 가상 오브젝트가 영상에서 인식된 객체를 커버하는 경우는 추가적인 영상 처리가 불필요하나, 가상 오브젝트가 영상에서 인식된 객체를 커버하지 못하는 경우에는 추가적인 영상 처리가 필요할 수 있다.
도 9a 및 9b는 본 개시의 일 실시 예에 따라, 렌더링되는 가상 오브젝트가 인식된 객체를 커버하지 못하는 경우 영상 처리를 수행하는 전자 장치를 설명하기 위한 도면이다.
프로세서(130)는 상기 도 8에서 상술한 바와 같이 가상 오브젝트의 위치 및 크기를 결정하면서, 영상에 렌더링되는 가상 오브젝트가 영상 내의 객체 영역을 커버 가능한지 판단할 수 있다. 여기에서, 커버 가능하다는 것은 가상 오브젝트가 인식된 객체 완전히 오버랩(overlap)되어, 객체의 일부분이 영상에서 보여지지 않는 것을 의미한다.
프로세서(130)는, 가상 오브젝트에 의하여 커버되지 않는 부분 객체 영역이 존재하는 경우, 부분 객체 영역을 부분 객체 영역 주변의 배경 영역으로 대체하여 증강 현실 영상을 생성할 수 있다. 이때, 부분 객체 영역 주변의 배경 영역은 커버되지 않는 객체의 부분 영역과 인접한 배경 영역을 의미한다.
구체적으로, 프로세서(130)는 vision recognition 기술을 통하여, 부분 객체 영역을 제거하고, 제거된 부분 객체 영역과 인접한 배경 영역을 기초로, 제거된 부분을 대체할 수 있다.
가령, 도 9a에 도시된 바와 같이, 카메라(110)가 촬상한 영상에서 객체(11)가 인식되었다고 가정하자. 이때, 객체(11)는 에어컨으로 객체(11)의 뒷면에는 창문과 같은 배경이 존재할 수 있다. 그리고, 프로세서(130)는 인식된 객체(11)를 대체하는 가상 오브젝트(20)로 공기 청정기를 렌더링하였다고 가정한다. 촬영된 영상에서 가상 오브젝트(20)인 공기 청정기가 객체(11)인 에어컨을 커버하지 못하는 경우, 즉, 증강 현실 영상에서 에어컨의 일부 영역이 존재하는 경우, 프로세서(130)는 증강 현실 영상에서 커버되지 못한 에어컨의 일부 영역을 제거하고, 제거된 부분 객체 영역과 인접한 배경 영역인 창문, 유리창 벽 등을 기초로 제거된 영역을 대체할 수 있다. 도 9b는 프로세서(130)가 제거된 부분 객체 영역(12)을 그와 인접한 배경 영역인 창문, 유리창 벽 등을 기초로 제거된 영역을 대체한 증강 현실 영상을 나타낸다.
도 10a 및 도 10b는 본 개시의 일 실시 예에 따라 가상 오브젝트가 렌더링된 후 카메라의 움직임에 기초하여 가상 오브젝트를 변경하여 렌더링하는 전자 장치를 설명하기 위한 도면이다.
프로세서(130)는 증강 현실 영상이 표시된 상태에서 카메라(110)의 위치 정보 또는 각도 정보가 변경되면, 변경된 카메라의 위치 정보 또는 각도 정보에 기초하여 가상 오브젝트를 변경하여 렌더링할 수 있다.
이를 위하여, 프로세서(130)는 카메라(110)로부터 증강 현실 영상에서 카메라(110)의 뷰 방향(또는 뷰 각도(view angle)) 정보를 획득할 수 있다.
본 개시의 일 실시 예에 따른 카메라(110)의 뷰 방향(view direction)(또는 뷰 각도(view angle))에 대한 정보는 카메라(110)로부터 수신되는 실시간 영상에 대응되는 카메라(110)가 바라보는 방향, 카메라(110)의 각도, 카메라(110)의 위치 또는 카메라(110)의 자세 중 적어도 하나를 의미할 수 있다. 가령, 카메라의 뷰 방향에 대한 정보는 카메라가 좌에서 우로 이동하면서 촬영하거나, 특정 각도 또는 자세로 피사체를 촬영하였음을 의미한다.
한편, 본 개시의 일 실시 예에 따라, 전자 장치(100)는 가속도 센서 또는 자이로 센서 중 적어도 하나를 이용하여 카메라의 뷰 방향 각도 정보를 획득할 수도 있다. 가령, 프로세서(130)는 가속도 센서 또는 자이로 센서 중 적어도 하나를 이용한 센싱 결과에 기초하여 전방위(예를 들면, 360도) 중 카메라(110)가 바라보는 뷰 방향(또는, 전자 장치(100)가 향하는 방향)에 대응되는 일정 각도(예를 들어, 전방위 360도 중 15도)를 뷰 방향 정보로 획득할 수 있다.
한편, 이는 일 실시 예로서 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(100)는 GPS 센서, 기울기/중력 센서, LBS(location-based services) 방식, 외부 장치로부터 수신된 위치 정보 또는 방향 정보, 디지털 나침반 등에 기초하여 카메라(110)의 뷰 방향 정보를 획득할 수 있음은 물론이다.
프로세서(130)는 렌더링된 가상 오브젝트를 획득한 뷰 방향 정보에 대응되는 가상 오브젝트로 변경할 수 있다. 이를 위하여, 메모리(150)는 가상 오브젝트와 관련된 복수의 가상 오브젝트가 저장되어 있을 수 있으며, 프로세서(130)는 메모리(150)에 저장된 복수의 가상 오브젝트를 이용하여 가상 오브젝트를 변경할 수 있다. 여기에서 가상 오브젝트와 관련된 복수의 가상 오브젝트는 가상 오브젝트에 대응되는 전자 장치를 다양한 각도와 방향에서 촬영한 이미지를 포함할 수 있다. 그리고, 프로세서(130)는 카메라(110)의 뷰 방향 정보가 변경되었다고 판단된 경우, 증강 현실 영상에 렌더링된 가상 오브젝트를 가상 오브젝트와 관련된 복수의 가상 오브젝트 중 뷰 방향 정보에 대응되는 가상 오브젝트로 렌더링할 수 있다.
가령, 도 10a에 도시된 바와 같이, 가상 오브젝트(20)인 에어컨의 정면이 렌더링된 상태에서, 카메라(110)가 피사체(10)를 기준으로 반시계 방향으로 30도 가량 이동하였다고 가정하자. 이 경우, 프로세서(130)는 카메라(110)의 뷰 방향 정보를 획득하고, 획득한 뷰 방향 정보에 대응되는 가상 오브젝트로(가령, 정면에서 반시계 방향으로 30도 가량 이동한 이미지를 포함하는 가상 오브젝트로) 가상 오브젝트를 변경하여 렌더링할 수 있다. 도 10b는 변경된 획득한 뷰 방향 정보를 기초로 가상 오브젝트를 변경하여 렌더링한 증강 현실 영상을 나타낸다.
도 11a 및 11b은 본 개시의 일 실시 예에 따라 가상 오브젝트를 렌더링하는 전자 장치를 설명하기 위한 도면이다.
프로세서(130)는 이벤트가 발생하면, 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링할 수 있다. 구체적으로, 프로세서(130)는 증강 현실 영상에서 가상 오브젝트가 렌더링된 상태에서 가상 오브젝트를 터치하는 사용자의 입력을 수신하는 것과 같은 이벤트가 발생하면, 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링할 수 있다. 여기에서, 가상 오브젝트의 구동 동작 시의 움직임은 가상 오브젝트에 대응되는 전자 장치의 구동 상태를 나타내는 오브젝트로, 냉장고(또는 세탁기, 건조기)의 문 열림 동작, TV의 영상 표시 동작, 에어컨(또는 냉장고)에 포함된 디스플레이의 메뉴 표시 동작과 같은 오브젝트를 포함할 수 있다.
가령, 도 11a에 도시된 바와 같이, 증강 현실 영상에 가상 오브젝트(20)로 냉장고가 도시된 상태에서, 화면에 표시된 냉장고를 터치하는 사용자 입력이 수신되면, 프로세서(130)는 도 11b에 도시된 바와 같이, 냉장고의 문이 열리는 가상 오브젝트(21)를 렌더링할 수 있다.
이를 위하여, 메모리(150)에는 가상 오브젝트의 동작시의 움직임을 나타내는 가상 오브젝트가 저장되어 있을 수 있으며, 프로세서(130)는 이벤트가 발생하면 렌더링된 가상 오브젝트의 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링할 수 있다.
한편, 위에서 이벤트는 가상 오브젝트를 터치하는 사용자 입력을 수신하는 것으로 설명하였으나 반드시 이에 한하는 것은 아니다. 가령, 사용자의 음성 입력을 수신하거나, 증강 현실 이미지에 표시된 UI(가령, 동작 상태 보기를 나타내는 UI)를 선택하는 사용자 입력을 수신하거나, 전자 장치(100)를 흔드는 사용자 입력을 수신하는 것과 같이, 이벤트는 실시 예에 따라 다양할 수 있다. 또한, 사용자의 입력이 없이 가상 오브젝트가 렌더링된 후 기설정된 시간이 경과되어 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트가 렌더링될 수도 있다.
도 12a 및 도 12b는 렌더링된 가상 오브젝트의 위치를 변경하는 전자 장치를 설명하기 위한 도면이다.
프로세서(130)는 증강 현실 영상에 포함된 가상 오브젝트를 이동시키는 사용자의 입력을 수신하면, 사용자 입력에 기초하여 가상 오브젝트의 위치를 변경하여 렌더링할 수 있다.
가령, 카메라(110)가 세탁기(30) 및 건조기가 존재하는 영역을 촬상하고, 프로세서(130)가 촬상된 건조기를 대체하는 가상 오브젝트(20)를 렌더링하여, 도 12a에 도시된 바와 같이, 디스플레이(120)에서 현실에 존재하는 피사체에 대응되는 세탁기(30) 및 가상 오브젝트(20)를 포함하는 증강 현실 영상을 표시하고 있다고 가정한다.
이때, 가상 오브젝트(20)를 이동시키는 사용자의 입력을 수신하면, 프로세서(130)는 사용자의 입력에 기초하여 가상 오브젝트(20)의 위치를 변경하여 렌더링할 수 있다. 가령, 가상 오브젝트(20)인 건조기를 선택하여 세탁기(30)의 상단으로 드래그하는 사용자의 입력을 수신하면, 프로세서(130)는 증강 현실 영상에 표시된 건조기의 위치를 세탁기(30)의 상단으로 변경할 수 있다.
도 13은 본 개시의 일 실시 예에 따른 전자 장치의 세부 구성을 설명하기 위한 도면이다.
도 13에 도시된 바와 같이, 전자 장치(100)는 카메라(110), 디스플레이(120), 프로세서(130), 통신 인터페이스(140), 메모리(150), 입력 인터페이스(160) 및 스피커(170)를 포함할 수 있다. 도 13에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
통신 인터페이스(140)는 전자 장치(100)가 서버와 같은 외부 전자 장치(미도시)와 통신을 수행하기 위한 구성 요소이다. 전자 장치(100)는 통신 인터페이스(140)를 통하여 외부 전자 장치(미도시)로부터 인식된 객체의 정보, 가상 오브젝트 정보와 같은 다양한 데이터를 수신할 수 있다.
통신 인터페이스(140)는 유선 통신 모듈(미도시), 근거리 무선 통신 모듈(미도시), 무선 통신 모듈(미도시) 등과 같은 다양한 통신 모듈을 포함할 수 있다.
여기에서, 유선 통신 모듈은 유선 이더넷(Ethernet)과 같이 유선 통신 방식에 따라 외부 장치(미도시)와 통신을 수행하기 위한 모듈이다. 그리고, 근거리 무선 통신 모듈이란 블루투스(Bluetooth, BT), BLE(Bluetooth Low Energy), ZigBee 방식 등과 같은 근거리 무선 통신 방식에 따라 근거리에 위치한 외부 장치(미도시)와 통신을 수행하기 위한 모듈이다. 또한, 무선 통신 모듈이란 WiFi, IEEE 등과 같은 무선 통신 프로토콜에 따라 외부 네트워크에 연결되어 외부 장치(미도시) 및 음성 인식 서버(미도시)와 통신을 수행하는 모듈이다. 이 밖에 무선 통신 모듈은 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 5세대 네트워크(5G Networks) 등과 같은 다양한 이동 통신 규격에 따라 이동 통신망에 접속하여 통신을 수행하는 이동 통신 모듈을 더 포함할 수도 있다.
메모리(150)는 전자 장치(100)의 동작에 필요한 각종 프로그램 및 데이터 등을 저장하기 위한 구성요소이다. 메모리(150)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(150)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 본 개시에서 메모리라는 용어는 메모리(150), 프로세서(130) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함할 수 있다.
메모리(150)는 전자 장치(100) 다양한 가상 오브젝트의 정보가 저장될 수 있다. 또한, 본 개시의 일 실시 예에 따라 전자 장치(100)에는 카메라(110)가 촬상하여 객체로 인식 가능한 전자 장치에 대한 정보가 저장되어 있을 수 있다.
입력 인터페이스(160)는 전자 장치(100)를 제어하기 위한 사용자 입력을 수신할 수 있다. 특히, 입력 인터페이스(160)는 재생되는 콘텐츠에 대한 사용자의 음성 정보를 입력 받거나, 디스플레이에 표시된 GUI를 선택하는 사용자 입력을 입력받을 수 있다. 입력 인터페이스(160)는 도 13에 도시된 바와 같이, 사용자 음성을 입력받기 위한 마이크(161), 사용자 손 또는 스타일러스 펜 등을 이용한 사용자 터치를 입력받기 위한 터치 패널(162), 사용자 조작을 입력받기 위한 버튼(163) 등이 포함될 수 있다. 그러나, 도 13에 도시된 입력 인터페이스(160)의 예는 일 실시예에 불과할 뿐, 다른 입력 장치(예로, 키보드, 마우스, 모션 입력부 등)로 구현될 수 있다.
스피커(170)는 오디오 프로세서에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 출력하는 구성이다. 특히, 스피커(170)는 사용자 음성 정보에 대한 응답을 자연어 형태의 음성 메시지로 출력할 수 있다. 한편, 오디오를 출력하기 위한 구성은 스피커로 구현될 수 있으나, 이는 일 실시 예에 불과할 뿐, 오디오 데이터를 출력할 수 있는 출력 단자로 구현될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
100: 전자 장치 110: 카메라
120: 디스플레이 130: 프로세서

Claims (20)

  1. 전자 장치에 있어서,
    디스플레이;
    카메라; 및
    상기 카메라를 통하여 촬상된 영상과 제1 가이드라인을 함께 표시하도록 상기 디스플레이를 제어하는 프로세서;를 포함하고,
    상기 프로세서는,
    상기 촬상된 영상에서 상기 제1 가이드라인을 기초로 객체를 인식하고,
    상기 객체를 대체하는 가상 오브젝트를 렌더링하고,
    상기 촬상된 영상에서 상기 객체가 위치하는 영역에 상기 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성하고,
    상기 생성된 증강 현실 영상이 표시되도록 상기 디스플레이를 제어하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    이벤트가 발생하면, 상기 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 인식된 객체의 인접한 영역에 존재하는 여백 공간의 길이를 판단하고, 상기 객체의 길이 정보 및 상기 판단된 여백 공간의 길이를 기초로 상기 가상 오브젝트가 상기 객체가 위치하는 영역에 위치할 수 있는지를 판단하며, 상기 가상 오브젝트가 상기 객체가 위치하는 영역에 위치될 수 있으면 상기 가상 오브젝트를 렌더링하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 가상 오브젝트가 상기 영상 내의 객체 영역을 커버 가능한지 판단하고, 상기 가상 오브젝트에 의하여 커버되지 않은 부분 객체 영역을 상기 부분 객체 영역 주변의 배경 영역으로 대체하여 증강 현실 영상을 생성하는 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 객체를 대체가능한 복수의 가상 오브젝트를 표시하도록 상기 디스플레이를 제어하고,
    상기 복수의 가상 오브젝트 중 하나를 선택하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응되는 가상 오브젝트를 렌더링하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 촬상된 영상에서 상기 객체의 일 면에 기초하여 라인이 입력되면, 상기 입력된 라인을 기초로 상기 증강 현실 이미지에서 상기 가상 오브젝트의 위치를 판단하는 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라의 위치 정보 및 각도 정보를 기초로, 상기 증강 현실 이미지에서 상기 가상 오브젝트의 위치를 판단하고, 상기 판단된 위치에 상기 가상 오브젝트가 배치된 증강 현실 영상을 생성하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라의 촬상 각도를 가이드하는 제2 가이드라인을 생성하고,
    상기 카메라의 촬상 각도에 따라 상기 제2 가이드라인의 길이를 변경하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 증강 현실 영상에 포함된 가상 오브젝트를 이동시키는 사용자의 입력을 수신하면, 상기 사용자 입력에 기초하여 상기 가상 오브젝트의 위치를 변경하여 렌더링하는, 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 증강 현실 영상이 표시된 상태에서 상기 카메라의 위치 정보 또는 각도 정보가 변경되면, 상기 변경된 카메라의 위치 정보 또는 각도 정보에 기초하여 상기 가상 오브젝트를 변경하여 렌더링하는, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    영상을 촬상하는 단계;
    제1 가이드라인과 상기 촬상된 영상을 함께 표시하는 단계;
    상기 촬상된 영상에서 상기 제1 가이드라인을 기초로 객체를 인식하는 단계;
    상기 객체를 대체하는 가상 오브젝트를 렌더링하는 단계;
    상기 촬상된 영상에서 상기 객체가 위치하는 영역에 상기 렌더링된 가상 오브젝트가 위치하는 증강 현실 영상을 생성하는 단계; 및
    상기 생성된 증강 현실 영상을 표시하는 단계;를 포함하는, 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    이벤트가 발생하면, 상기 가상 오브젝트의 구동 동작 시의 움직임을 나타내는 가상 오브젝트를 렌더링하는 단계;를 더 포함하는, 제어 방법.
  13. 제11항에 있어서,
    상기 가상 오브젝트를 렌더링하는 단계는,
    상기 인식된 객체의 인접한 영역에 존재하는 여백 공간의 길이를 판단하는 단계;
    상기 객체의 길이 정보 및 상기 판단된 여백 공간의 길이를 기초로 상기 가상 오브젝트가 상기 객체가 위치하는 영역에 위치할 수 있는지를 판단하는 단계; 및
    상기 가상 오브젝트가 상기 객체가 위치하는 영역에 위치될 수 있으면 상기 가상 오브젝트를 렌더링하는 단계;를 포함하는, 제어 방법.
  14. 제11항에 있어서,
    상기 증강 현실 영상을 생성하는 단계는,
    상기 가상 오브젝트가 상기 영상 내의 객체 영역을 커버 가능한지 판단하는 단계; 및
    상기 가상 오브젝트에 의하여 커버되지 않은 부분 객체 영역을 상기 부분 객체 영역 주변의 배경 영역으로 대체하여 증강 현실 영상을 생성하는 단계;를 포함하는, 제어 방법.
  15. 제11항에 있어서,
    상기 객체를 대체가능한 복수의 가상 오브젝트를 표시하는 단계; 및
    상기 복수의 가상 오브젝트 중 하나를 선택하는 사용자 입력이 수신되면, 상기 사용자 입력에 대응되는 가상 오브젝트를 렌더링하는 단계;를 더 포함하는, 제어 방법.
  16. 제11항에 있어서,
    상기 촬상된 영상에서 상기 객체의 일 면에 기초하여 라인이 입력되면, 상기 입력된 라인을 기초로 상기 증강 현실 이미지에서 상기 가상 오브젝트의 위치를 판단하는 단계;를 더 포함하는 제어 방법.
  17. 제11항에 있어서,
    카메라의 위치 정보 및 각도 정보를 기초로, 상기 증강 현실 이미지에서 상기 가상 오브젝트의 위치를 판단하는 단계; 및
    상기 판단된 위치에 상기 가상 오브젝트가 배치된 증강 현실 영상을 생성하는 단계;를 더 포함하는, 제어 방법.
  18. 제11항에 있어서,
    카메라의 촬상 각도를 가이드하는 제2 가이드라인을 생성하는 단계; 및
    상기 카메라의 촬상 각도에 따라 상기 제2 가이드라인의 길이를 변경하는 단계;를 더 포함하는, 제어 방법.
  19. 제11항에 있어서,
    상기 증강 현실 영상에 포함된 가상 오브젝트를 이동시키는 사용자의 입력을 수신하는 단계; 및
    상기 사용자 입력에 기초하여 상기 가상 오브젝트의 위치를 변경하여 렌더링하는 단계;를 더 포함하는, 제어 방법.
  20. 제11항에 있어서,
    상기 증강 현실 영상이 표시된 상태에서 카메라의 위치 정보 또는 각도 정보가 변경되면, 상기 변경된 카메라의 위치 정보에 기초하여 상기 가상 오브젝트를 변경하여 렌더링하는 단계;를 더 포함하는, 제어 방법.
KR1020190172247A 2019-08-02 2019-12-20 전자 장치 및 이의 제어 방법 KR20210015589A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20171953.1A EP3772042A3 (en) 2019-08-02 2020-04-28 Electronic apparatus for augmented reality and control method thereof
PCT/KR2020/005961 WO2021025266A1 (en) 2019-08-02 2020-05-06 Electronic apparatus and control method thereof
US16/929,287 US11587265B2 (en) 2019-08-02 2020-07-15 Electronic apparatus and control method thereof
CN202010703377.9A CN112396704A (zh) 2019-08-02 2020-07-21 电子设备及其控制方法
US18/110,433 US11908042B2 (en) 2019-08-02 2023-02-16 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962882106P 2019-08-02 2019-08-02
US62/882,106 2019-08-02

Publications (1)

Publication Number Publication Date
KR20210015589A true KR20210015589A (ko) 2021-02-10

Family

ID=74560780

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190172247A KR20210015589A (ko) 2019-08-02 2019-12-20 전자 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20210015589A (ko)
CN (1) CN112396704A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063302A1 (ko) * 2022-09-22 2024-03-28 삼성전자주식회사 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063302A1 (ko) * 2022-09-22 2024-03-28 삼성전자주식회사 개체에 다른 개체와의 인터랙션을 적용하는 가상 공간을 제공하기 위한 방법 및 장치

Also Published As

Publication number Publication date
CN112396704A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10832479B2 (en) Information processing apparatus, information processing method, and program
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9696859B1 (en) Detecting tap-based user input on a mobile device based on motion sensor data
US9378581B2 (en) Approaches for highlighting active interface elements
CN105229582B (zh) 基于近距离传感器和图像传感器的手势检测
US9591295B2 (en) Approaches for simulating three-dimensional views
US11908042B2 (en) Electronic apparatus and control method thereof
US10373357B2 (en) Device and method for displaying screen based on event
JP2018516422A (ja) スマートホームのためのジェスチャ制御システム及び方法
US11763535B2 (en) Electronic device and control method thereof
US10802784B2 (en) Transmission of data related to an indicator between a user terminal device and a head mounted display and method for controlling the transmission of data
US20210407205A1 (en) Augmented reality eyewear with speech bubbles and translation
JP2015018294A (ja) 画像処理プログラム、画像処理装置、画像処理システムおよび画像処理方法
KR102561274B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
US20210406542A1 (en) Augmented reality eyewear with mood sharing
KR20210015589A (ko) 전자 장치 및 이의 제어 방법
US11531390B1 (en) Augmented reality with eyewear triggered IoT
KR102640581B1 (ko) 전자 장치 및 그 제어 방법
KR102581146B1 (ko) 디스플레이 장치 및 그 제어 방법
US20240077934A1 (en) Virtual ar interfaces for controlling iot devices using mobile device orientation sensors
WO2023244880A1 (en) Thermal management of an electronic device

Legal Events

Date Code Title Description
A201 Request for examination