KR20210083016A

KR20210083016A - 전자 장치 및 그의 제어 방법

Info

Publication number: KR20210083016A
Application number: KR1020190175578A
Authority: KR
Inventors: 조승현; 송석우; 이요한
Original assignee: 삼성전자주식회사
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2021-07-06
Also published as: WO2021133053A1

Abstract

본 개시에서는 전자 장치 및 그 제어 방법이 제공된다. 본 개시의 전자 장치는, 카메라, 디스플레이 및 카메라를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이를 제어하고, 전자 장치의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 디스플레이에 AR 객체가 표시되는 크기를 조정하고, 전자 장치의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, 디스플레이에 AR 객체가 표시되는 크기를 유지하도록 제어하는 프로세서를 포함한다.

Description

전자 장치 및 그의 제어 방법 {ELECTRONIC APPARATUS AND CONTROLLING METHOD THEREOF}

본 개시는 전자 장치 및 그의 제어 방법에 관한 것으로, 보다 상세하게는 AR 객체를 표시하는 전자 장치 및 그의 제어 방법에 관한 것이다.

전자 기술이 발달함에 따라, 증강 현실(Augmented Reality, 이하 AR)을 이용한 기술들이 사용자들에게 보편화되고 있다.

AR은 실제 환경의 물리적 공간을 촬영한 이미지에 가상의 객체(또는 정보)를 결합하여 함께 표시하는 기술이다. 디스플레이에 표시된 가상의 객체를 통해, 마치 현실의 공간에 가상의 객체가 함께 존재하는 것처럼 나타낼 수 있고, 또한 현실의 실존하는 객체와 관련된 유용한 정보를 사용자에게 제공할 수 있다.

한편, 사용자는 현실의 공간에서 사용자와 멀리 위치한 객체의 크기를 작게 인식하고, 사용자와 가까이 위치한 객체의 크기를 크게 인식함으로써, 객체에 대한 원근감(또는 거리감)을 인식할 수 있다.

또한, AR 공간(즉, 현실과 접목한 가상의 공간)은 현실의 공간과 마찬가지로 3차원으로 이루어져 있다는 점에서, AR 공간에 배치된 가상의 객체는 사용자(또는 전자 장치)와의 거리에 따라 크기가 변경된다.

다만, AR 공간에서 사용자와 가상의 객체 간 거리가 너무 가까운 경우 가상의 객체의 크기가 매우 커지게 되고, 사용자와 가상의 객체 간 거리가 너무 멀어진 경우 가상의 객체의 크기가 매우 작아지게 되어, 사용자가 가상의 객체를 인식하거나 가상의 객체를 제어(또는 조작)하기에 어려움이 따른다는 문제가 있었다.

본 개시는 상술한 필요성에 의해 안출된 것으로, 본 개시의 목적은 AR 객체의 크기를 조절하는 전자 장치 및 그의 제어 방법을 제공하기 위함이다.

상기 목적을 달성하기 위한, 본 개시의 일 실시 예에 따른 전자 장치는, 카메라, 디스플레이 및 카메라를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이를 제어하고, 전자 장치의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 디스플레이에 AR 객체가 표시되는 크기를 조정하고, 전자 장치의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, 디스플레이에 AR 객체가 표시되는 크기를 유지하도록 제어하는 프로세서를 포함한다.

여기에서, AR 객체가 위치하는 지점의 뎁스는, 뎁스 방향에 따라 카메라가 위치하는 지점 또는 이미지 상에서 AR 객체가 위치하는 지점이 이동됨에 따라 변경될 수 있다.

한편, 프로세서는 AR 객체의 크기에 기초하여 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이를 제어하고, 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, 디스플레이에 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 변경할 수 있다.

여기에서, 프로세서는 전자 장치의 모드가 배치 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스가 증가하면 디스플레이에 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 증가시키고, AR 객체가 위치하는 지점의 뎁스가 감소하면 디스플레이에 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 감소시킬 수 있다.

한편, 프로세서는 AR 객체의 크기에 기초하여 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이를 제어하고, 전자 장치의 모드가 일반 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스 및 AR 객체에 할당된 속성에 기초하여, 디스플레이에 AR 객체가 표시되는 크기를 조정할 수 있다.

여기에서, 프로세서는 전자 장치의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우 디스플레이에 AR 객체가 표시되는 크기가 유지되도록 제어하고, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우 변경되는 뎁스에 기초하여 디스플레이에 AR 객체가 표시되는 크기가 변경되도록 조정할 수 있다.

여기에서, 프로세서는 전자 장치의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, 이미지 상에서 AR 객체의 뎁스가 변경되면 디스플레이에 AR 객체가 표시되는 크기가 유지되도록 제어하고, 전자 장치의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 증가하면 크기가 감소하도록 디스플레이에 AR 객체가 표시되는 크기를 조정하고, AR 객체가 위치하는 지점의 뎁스가 감소하면 크기가 증가하도록 디스플레이에 AR 객체가 표시되는 크기를 조정할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 카메라를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시하는 단계, 전자 장치의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 AR 객체가 표시되는 크기를 조정하는 단계 및 전자 장치의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, AR 객체가 표시되는 크기를 유지하도록 제어하는 단계를 포함한다.

여기에서, AR 객체가 위치하는 지점의 뎁스는 뎁스 방향에 따라 카메라가 위치하는 지점 또는 이미지 상에서 AR 객체가 위치하는 지점이 이동됨에 따라 변경될 수 있다.

한편, 표시하는 단계는 AR 객체의 크기에 기초하여 이미지 및 이미지 상에 AR 객체를 표시하고, 제어하는 단계는 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 변경할 수 있다.

여기에서, 제어하는 단계는 배치 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스가 증가하면 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 증가시키는 단계 및 배치 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스가 감소하면 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 감소시키는 단계를 포함할 수 있다.

한편, 표시하는 단계는 AR 객체의 크기에 기초하여 이미지 및 이미지 상에 AR 객체를 표시하는, 조정하는 단계는 일반 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스 및 AR 객체에 할당된 속성에 기초하여, AR 객체가 표시되는 크기를 조정할 수 있다.

여기에서, 조정하는 단계는 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우 AR 객체가 표시되는 크기가 유지되도록 제어하는 단계 및 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우 변경되는 뎁스에 기초하여 AR 객체가 표시되는 크기가 변경되도록 조정하는 단계를 포함할 수 있다.

여기에서, 조정하는 단계는 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, 이미지 상에서 AR 객체의 뎁스가 변경되면 AR 객체가 표시되는 크기가 유지되도록 제어하는 단계 및 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 증가하면 크기가 감소하도록 AR 객체가 표시되는 크기를 조정하고, AR 객체가 위치하는 지점의 뎁스가 감소하면 크기가 증가하도록 AR 객체가 표시되는 크기를 조정할 수 있다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, AR 객체의 크기를 조절하는 전자 장치 및 그의 제어 방법을 제공할 수 있다.

또한, AR 객체의 시인성 및 AR 객체의 조작 편의성을 향상시킬 수 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 전자 장치의 부가적인 구성을 설명하기 위한 블록도이다.
도 4a는 본 개시의 일 실시 예에 따른 AR 객체의 크기를 설명하기 위한 도면이다.
도 4b는 본 개시의 일 실시 예에 따른 AR 객체의 크기를 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시 예에 따른 배치 모드를 설명하기 위한 도면이다.
도 13a는 본 개시의 일 실시 예에 따른 배치 모드를 설명하기 위한 도면이다.
도 13b는 본 개시의 일 실시 예에 따른 배치 모드를 설명하기 위한 도면이다.
도 13c는 본 개시의 일 실시 예에 따른 배치 모드를 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 일반 모드를 설명하기 위한 도면이다.
도 15a는 본 개시의 일 실시 예에 따른 일반 모드를 설명하기 위한 도면이다.
도 15b는 본 개시의 일 실시 예에 따른 일반 모드를 설명하기 위한 도면이다.
도 16은 본 개시의 일 실시 예에 따른 흐름도를 설명하기 위한 도면이다.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 상기 구성요소들을 한정하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 상기 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 상기 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 전자 장치(100)는 증강 현실(Augmented Reality; AR)을 제공할 수 있는 장치이며, 스마트폰 등으로 구현될 수 있다. 여기서, 증강 현실은 현실의 환경(공간 또는 사물)을 기반으로 하는 이미지에 가상의 객체(이하, 증강 현실 객체; AR 객체)를 결합하는 것을 지칭할 수 있다.

전자 장치(100)는 이미지 및 이미지 상에 AR 객체를 표시할 수 있다. 즉, 전자 장치(100)는 이미지와 AR 객체를 결합하여, 이미지 상에 AR 객체를 중첩하여 표시할 수 있다.

여기서, 이미지는 촬영된 피사체를 포함할 수 있다. 여기서, 피사체는 촬영 영역 내에 위치하는 현실의 환경(10)을 지칭한다. 또한, 이미지는 동시적 위치추정 및 지도작성(Simultaneous localization and mapping: SLAM)을 통해 3차원 공간으로 인식될 수 있다. 또한, 이미지는 기설정된 프레임 레이트 단위로 촬영되는 복수의 이미지 프레임일 수 있다.

한편, AR 객체는 실존하는 사물이 2차원 또는 3차원으로 렌더링된 이미지일 수 있다. 예를 들어, AR 객체는 TV, 디지털 액자, 사운드 바, 냉장고, 세탁기, 가구, 자동차, 건물, 나무 등과 같은 사물이 2차원 또는 3차원으로 렌더링 된 이미지와 같은 형태로 구현될 수 있다. 다만 이는 일 실시 예일 뿐이며, AR 객체는 이에 한정되지 아니하고 텍스트, 문자, 이미지, 사진, 동영상, 문서, 대시보드(dashboard) 등과 같은 다양한 정보의 형태로 구현될 수도 있다. 또한, AR 객체는 반투명한 상태로 표시될 수도 있다.

또한, AR 객체는 3차원 공간으로 인식되는 이미지 상의 특정한 지점에 위치할 수 있다. 이때, 이미지 상의 특정한 지점은 3차원 공간 좌표로 나타낼 수 있으며, 예를 들어 3차원 공간 좌표(x, y, z)에서 x축은 가로 방향, y축은 세로 방향, z축은 뎁스(depth) 방향을 나타낼 수 있다.

또한, AR 객체가 위치하는 이미지 상의 지점은 이미지에 포함된 피사체(예: 바닥면, 평면, 벽면, 사물 등)가 위치한 지점과 상대적인 위치 관계를 가질 수 있다. 예를 들어, 이미지가 촬영된 시점(또는 카메라의 시점)(Point of View; PoV)이 변경(또는 이동)되는 경우, 피사체가 위치하는 지점이 변경(또는 이동)되는 방향과 동일한 방향으로 AR 객체가 위치하는 지점이 변경(또는 이동)될 수 있다. 여기서, 뎁스는 z축(뎁스 방향)에 따라 이미지 상의 3차원 공간에서 전자 장치(100)(또는 카메라)가 위치한 지점 및 AR 객체가 위치한 지점 사이의 거리를 나타낼 수 있다.

한편, AR 객체는 각 AR 객체마다 AR 객체의 크기(디폴트 크기)가 기설정될 수 있다. 이때, AR 객체의 크기는 표준 뎁스에서 표시되는 크기를 나타낼 수 있으며, 크기는 넓이, 부피, 대각선 길이, 가로 및 세로 길이, 반지름, 지름 등 다양한 개념을 총칭할 수 있다. 여기서, 표준 뎁스는 AR 객체가 기설정된 크기로 표시되도록 기준이 되는 거리(예: z축상 거리)를 나타낼 수 있다. 예를 들어, 표준 뎁스는 1m의 거리로 기설정될 수 있는데, 이는 일 실시 예를 나타낸 것이고 다양한 거리로 변형될 수 있음은 물론이다. 한편, AR 객체의 크기는 사용자 명령에 따라 변경될 수도 있다.

전자 장치(100)는 이미지 상에 위치한 AR 객체가 위치하는 지점의 뎁스가 기설정된 표준 뎁스인 경우, AR 객체를 기설정된 크기로 표시할 수 있다. 예를 들어, 100인치 TV와 같은 AR 객체의 크기가 가로 220 x 세로 125로 기설정된 것으로 가정하면, 전자 장치(100)는 이미지 상에 위치한 AR 객체(100인치 TV)의 뎁스가 표준 뎁스인 1m일 때 AR 객체를 기설정된 크기 가로 220 x 세로 125로 표시할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 이미지 상에서 AR 객체가 위치한 지점의 뎁스가 변경되는 경우에, 전자 장치의 모드에 따라 AR 객체가 표시되는 크기를 조정하거나 유지할 수 있다.

여기서, 모드는 일반 모드 및 배치 모드 중에서 하나일 수 있다. 예를 들어, 일반 모드는 AR 객체가 배치된 지점의 뎁스(전자 장치(또는 카메라) 및 AR 객체 간 거리)에 따라 AR 객체가 표시되는 크기가 변경될 수 있는 모드이다. 또한, 배치 모드는 사용자 명령에 따라 이미지 내에서 AR 객체가 위치하는 지점을 변경할 수 있으며, AR 객체가 배치된 지점의 뎁스와 무관하게 AR 객체가 표시되는 크기가 유지될 수 있는 모드이다. 즉, 일반 모드는 AR 객체에 대한 원근법이 적용되는 모드이며, 배치 모드는 AR 객체에 대한 원근법이 적용되지 아니하는 모드이다.

이상과 같은 본 개시의 다양한 실시 예에 따르면, AR 객체의 크기를 조절하는 전자 장치 및 그의 제어 방법을 제공할 수 있다. 또한, AR 객체의 시인성 및 AR 객체의 조작 편의성을 향상시킬 수 있다.

한편, 도 1에서는 전자 장치(100)를 스마트폰으로 도시하였으나 이는 일 예일 뿐이고, 전자 장치(100)는 사용자가 착용할 수 있는 웨어러블 장치로 구현될 수 있다. 여기서, 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형, 또는 생체 이식형 회로 등과 같이 다양한 타입의 장치로 구현될 수 있다. 또한, 전자 장치(100)는 태블릿 PC, 스피커, 이동 전화기, 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 워크스테이션, 서버, PDA, PMP(portable multimediaplayer), MP3 플레이어, 의료기기, 카메라, 텔레비전, DVD(digital video disk) 플레이어, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 전자 액자 또는 웨어러블 장치 등과 같은 장치로 구현될 수 있다. 또한, 전자 장치(100)는 경우에 따라 투명 디스플레이를 구비하거나 플렉서블 디스플레이를 구비한 장치로 구현되는 것 또한 가능하다.

또한, 본 개시에서 설명하는 증강 현실(AR)이라는 용어는 증강 현실 분야에 국한되지 아니하고, 가상 현실(Virtual Reality; VR), 혼합 현실(Mixed Reality; MR), 확장 현실(eXtended Reality; XR) 등에 대해서도 적용될 수 있다.

이하에서는, 도면을 참조하여 증강 현실을 제공하는 전자 장치 및 그 제어 방법에 대해 보다 상세히 설명하기로 한다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이고, 도 3은 본 개시의 일 실시 예에 따른 전자 장치의 부가적인 구성을 설명하기 위한 블록도이다.

도 2를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110), 디스플레이(120) 및 프로세서(130)를 포함할 수 있다.

카메라(110)는 이미지를 획득할 수 있다. 구체적으로, 카메라(110)는 카메라(110)의 특정한 시점(Point of View; PoV)에서 카메라(110)의 화각(Field of View; FoV) 내에 존재하는 피사체를 촬영함으로써 이미지를 획득할 수 있다. 또한, 카메라(110)는 연속적인 촬영을 통해 복수의 이미지를 순차적으로 획득할 수도 있다.

카메라(110)를 통해 획득된 이미지 또는 이미지와는 별도의 메타 데이터는 카메라(110)에 의해 촬영된 프레임 레이트, 시간, 시점, 화각 등에 대한 정보를 포함할 수 있다. 여기서, 프레임 레이트(Frame Rate)는 1초당(또는 1분당) 획득되는 프레임의 수(이미지의 수)를 나타내며, 화각은 카메라(110)의 렌즈의 초점 거리(focal length) 및 카메라(110)의 이미지 센서(미도시)의 크기(예: 대각 길이)에 따라 결정되는 값을 나타낼 수 있다. 또한, 시점은 카메라(110)의 내부 또는 외부에 구비된 센서(예: 자이로 센서, 가속도 센서 등)에 의해 감지될 수 있다.

이를 위해, 본 개시의 일 실시 예에 따른 카메라(110)는 RGB 카메라 또는 스테레오 카메라로 구현될 수 있다.

RGB 카메라는 렌즈(미도시), 이미지 센서(미도시), 이미지 프로세서(미도시)를 포함할 수 있다. 렌즈는 객체로부터 반사된 빛을 이미지 센서로 집광 또는 분광시키며, 이미지 센서는 투과된 광을 픽셀 단위로 구분하여 각 픽셀마다 R(Red), G(Green), B(Blue) 색상을 감지하여 전기 신호를 생성하고, 이미지 프로세서는 이미지 센서에서 감지된 전기 신호에 따라 각각의 픽셀을 처리하여, 객체의 색상, 형상, 명암 등을 표현하는 이미지를 획득할 수 있다.

여기서, 이미지는 현실의 3차원 공간이 가상의 2차원 평면으로 투영된 것으로서, 이미지를 구성하는 2차원 평면 상의 각 점(픽셀)은 2차원 위치 정보(예: x축상 위치, y축상 위치)를 포함할 수 있다. 이 경우, 이미지 프로세서(또는 프로세서(130))는 이미지의 음영, 명암, 포인트 클라우드(point cloud), 색상 등을 실시간 컴퓨터 비전을 분석하기 위한 프로그래밍 라이브러리(예: AR Core, AR Tool Kit, AR SDK, Unity, OpenCV(Open Source Computer Vision), Python 등), SLAM 등의 다양한 알고리즘 등을 통해 이미지를 구성하는 각각의 점(픽셀)에 뎁스(예: z축상 위치)를 부여할 수 있다. 이에 따라, 카메라(110)를 통해 획득된 이미지는 3차원 위치 정보(예: x축상 위치, y축상 위치, z축상 위치)를 포함할 수 있다.

스테레오 카메라는 상술한 RGB 카메라가 복수 개로 구성된 것이며, 복수의 RGB 카메라는 서로 이격되어 배치될 수 있다. 여기서, RGB 카메라에 대한 설명이 적용될 수 있다. 스테레오 카메라는 동일한 시점(point of time)에 서로 다른 위치에서 피사체를 동시에 촬영하여 복수의 이미지를 획득할 수 있다.

이 경우, 이미지 프로세서(또는 프로세서(130))는 복수의 이미지를 스테레오 정합(stereo matching)하여 시차(disparity)를 산출하고, 시차, 렌즈의 초점 거리 및 베이스라인(baseline)에 기초하여, 카메라(110) 및 피사체 사이의 뎁스(또는 거리)를 산출할 수 있다. 그리고, 이미지 프로세서(또는 프로세서(130))는 복수의 이미지 중 기준 이미지의 2차원 위치 정보(예: x축상 위치, y축상 위치)와 뎁스 정보(예: z축상 위치)를 결합하여, 기준 이미지 프레임에 포함된 객체에 대한 3차원 위치 정보(예: x축상 위치, y축상 위치, z축상 위치)를 획득할 수 있다. 여기서, 스테레오 정합은, 전역 정합(global matching), 지역 정합(local matching) 등 다양한 방법을 통해 동일한 시점에 대한 복수의 이미지에 포함된 동일한 피사체를 매칭하는 것을 나타낸다. 시차는 복수의 이미지에 포함된 동일한 피사체에 대한 위치 차이(예: x축 또는 y축 상의 위치 차이)를 나타내며, 초점 거리 또는 베이스라인이 클수록 시차는 높게 나타날 수 있다. 이때, 초점 거리는 이미지 센서 및 렌즈 사이의 거리를 지칭할 수 있다. 베이스라인은 복수의 RGB 카메라가 이격된 간격을 지칭할 수 있다. 기준 이미지는 복수의 RGB 카메라 중 기설정된 하나의 RGB 카메라에서 촬영된 이미지를 지칭할 수 있다.

또한, 본 개시의 일 실시 예에 따른 카메라(110)는 RGB-D(Depth) 카메라로 구현될 수 있다. 여기서, RGB-D(Depth) 카메라는 피사체를 촬영하여 이미지를 획득하고, 카메라(110) 및 피사체 사이의 뎁스(또는 거리)를 감지할 수 있다. 이 경우 프로세서(140)는 이미지 프레임의 2차원 위치 정보(예: x축상 위치, y축상 위치)와 깊이 정보(예: z축상 위치)를 결합하여, 이미지 프레임에 포함된 객체에 대한 3차원 위치 정보(예: x축상 위치, y축상 위치, z축상 위치)를 획득할 수 있다. 이를 위해, RGB-D 카메라는 RGB 카메라 또는 스테레오 카메라에 센서(예: TOF(Time Of Flight) 센서, LIDAR 센서 등)가 결합될 수 있다.

본 개시의 일 실시 예에 따르면, 프로세서(130)는 SLAM 기반의 카메라(110)의 추적 기술을 이용하여 맵을 구축함과 동시에 이미지 상의 특정한 위치에 AR 객체를 표시하도록 디스플레이(120)를 제어할 수 있다.

예를 들어, 카메라(110)가 복수의 이미지를 연속적으로 획득하는 경우, 프로세서(130)는 복수의 이미지 각각의 피사체, 특징점, 또는 포인트 클라우드(Point Cloud) 등을 통해 3차원 공간의 맵을 구축하며, 이와 동시에 프로세서(130)는 카메라를 통해 가장 최근에 획득된 이미지(이하, 현재 이미지) 내 3차원 공간과 맵을 비교하여, AR 객체가 위치하는 맵 상의 지점과 대응되는 현재 이미지 상의 지점에 AR 객체를 표시하도록 디스플레이(120)를 제어할 수 있다. 이에 따라, AR 객체가 표시되는 지점을 실시간으로 동기화할 수 있다.

디스플레이(120)는 정보 또는 데이터를 시각적으로 출력하는 장치이다. 디스플레이(120)는 이미지 및 AR 객체를 디스플레이 영역의 전체 또는 일부 영역에 표시할 수 있다. 디스플레이 영역은 정보 또는 데이터가 시각적으로 표시되는 픽셀 단위의 영역을 지칭할 수 있다.

한편, 디스플레이(120)는 플렉서블 디스플레이(flexible display)로 구현될 수 있으며, 이 경우 디스플레이(120)는 휘거나 구부려질 수 있는 유연한 성질을 가지며, 휘거나 구부려진 상태로도 이미지 및 AR 객체를 표시할 수 있다. 한편, 디스플레이(120)는 투명 디스플레이로 구현될 수 있으며, 디스플레이(120)에는 디스플레이(120)의 투명한 성질로 인해 디스플레이(120)의 후방에 위치한 사물이 투과되어 보일 수 있다.

프로세서(130)는 카메라(110)를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이(120)를 제어하고, 전자 장치(100)의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 디스플레이(120)에 AR 객체가 표시되는 크기를 조정하고, 전자 장치(100)의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, 디스플레이(120)에 AR 객체가 표시되는 크기를 유지하도록 제어할 수 있다.

보다 구체적으로, 프로세서(130)는 카메라(110)를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이(120)를 제어할 수 있다.

여기에서, 프로세서(130)는 AR 객체의 크기에 기초하여 이미지 및 이미지 상에 AR 객체를 표시하도록 디스플레이(120)를 제어할 수 있다. 이때, AR 객체의 크기는 각 AR 객체마다 표준 뎁스에서 표시되는 크기가 디폴트로 설정된 것이며, 모드에 따라 변경될 수 있다. 또한, 크기는 넓이, 부피, 대각선 길이, 가로 및 세로 길이, 반지름, 지름 등 다양한 개념을 총칭할 수 있다.

그리고, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 디스플레이(120)에 AR 객체가 표시되는 크기를 조정할 수 있다.

여기에서, AR 객체가 위치하는 지점의 뎁스는, 뎁스 방향에 따라 카메라(110)가 위치하는 지점이 이동됨에 따라 변경될 수 있다. 뎁스 방향은 z축 방향일 수 있다.

예를 들어, 카메라(110)가 뎁스 방향으로 이동하는 경우에(카메라(110)의 이동 방향에 대한 벡터의 적어도 일 성분이 뎁스 방향인 경우) 카메라(110)가 위치하는 지점이 변경될 수 있으며, 이로 인해 카메라(110)가 위치하는 지점 및 AR 객체가 위치하는 지점 사이의 거리(뎁스)가 변경될 수 있다. 이는 일반 모드 뿐만 아니라 배치 모드에서도 적용될 수 있다.

본 개시의 일 실시 예에 따른, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스 및 AR 객체에 할당된 속성에 기초하여, 디스플레이(120)에 AR 객체가 표시되는 크기를 조정할 수 있다.

여기에서, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, 이미지 상에서 AR 객체의 뎁스가 변경되면 디스플레이(120)에 AR 객체가 표시되는 크기가 유지되도록 제어하고, 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 증가하면 크기가 감소하도록 디스플레이(120)에 AR 객체가 표시되는 크기를 조정하고, AR 객체가 위치하는 지점의 뎁스가 감소하면 크기가 증가하도록 디스플레이(120)에 AR 객체가 표시되는 크기를 조정할 수 있다.

구체적으로, AR 객체에 할당되는 속성은 크기가 고정되는 속성 및 크기가 변동되는 속성 중에서 하나일 수 있다. AR 객체 각각에는 크기가 고정되는 속성 및 크기가 변동되는 속성 중에서 입력 인터페이스(170, 도 3 참조)를 통한 사용자 명령(예: 터치 제스처, 모션 제스처, 사용자 음성, 마우스 클릭 등)에 따라 선택된 속성이 할당될 수 있다. 또는, 프로세서(130)는 사용자 명령이 없더라도(즉, 자동으로), AR 객체에 크기가 고정되는 속성이 할당되지 않은 경우를 크기가 변동되는 속성이 AR 객체에 할당된 것으로 간주될 수 있다. 또는, 프로세서(130)는 사용자 명령이 없더라도(즉, 자동으로), AR 객체가 문자, 숫자, 기호 등과 같은 텍스트 유형의 정보인 경우, 크기가 고정되는 속성이 AR 객체에 할당될 수도 있다. 여기서, AR 객체에 할당된 속성은 메모리(150)에 저장될 수 있다.

한편, 본 개시의 사용자 명령은 예를 들어, 터치 제스처, 모션 제스처, 사용자 음성, 마우스 클릭, 키보드 입력, 버튼 입력 등 다양한 유형의 입력일 수 있으며, 나아가, 사용자 명령은 이에 국한되지 아니하고 기술의 발전에 따라 사용자가 전자 장치와 상호작용할 수 있는 모든 유형의 입력으로 변형될 수 있다. 이하에서는 설명의 편의를 위해 터치 제스처인 것으로 가정하고 설명하도록 한다.

여기에서, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우 변경되는 뎁스에 기초하여 디스플레이(120)에 AR 객체가 표시되는 크기가 변경되도록 조정할 수 있다. 즉, 이 경우 도 4a와 같이 AR 객체에 대한 원근법이 적용될 수 있다.

구체적으로, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, AR 객체가 이미지 상에 위치하는 지점의 뎁스가 증가하면 디스플레이(120)에 AR 객체가 표시되는 크기가 감소하도록 AR 객체를 조정하고, AR 객체가 이미지 상에 위치하는 지점의 뎁스가 감소하면 디스플레이(120)에 AR 객체가 표시되는 크기를 증가하도록 AR 객체를 조정할 수 있다.

예를 들어, 도 4a를 참조하면, 일반 모드에서 카메라(110)의 시점이 이동하여 AR 객체(415, 425)에 대한 뎁스가 1m에서 3m로 변경된 경우를 가정하기로 한다.

여기서, 프로세서(130)는 AR 객체(415, 425)의 크기 및 뎁스(1m, 3m)에 기초하여, 이미지(410, 420) 상에 AR 객체(415, 425)를 표시하도록 디스플레이(120)를 제어할 수 있다. 여기서, AR 객체(415, 425)의 크기는 동일한 기설정된 크기(디폴트 크기)를 갖는다. 또한, AR 객체(415, 425)의 크기는 표준 뎁스(예: 1m)에서 표시되는 크기일 수 있다.

그리고, 프로세서(130)는 표준 뎁스인 1m의 뎁스에서, AR 객체(415)의 기설정된 크기로 AR(415)를 이미지(410) 상에 표시하도록 디스플레이(120)를 제어할 수 있다.

그리고, 프로세서(130)는 카메라(110)가 위치하는 지점(시점)이 이동함에 따라 AR 객체에 대한 뎁스가 3m으로 변경된 경우, AR 객체에 할당된 속성이 크기가 고정되는 속성 및 크기가 변동되는 속성 중 어느 것인지 판단할 수 있다. 여기서, AR 객체의 속성이 크기가 변동되는 속성으로 판단된 경우, 프로세서(130)는 표준 뎁스 보다 큰 3m의 뎁스에서, 원근법에 의해 AR 객체(425)의 기설정된 크기 보다 작은 크기로 AR 객체(425)를 이미지(420) 상에 표시하도록 디스플레이(120)를 제어할 수 있다.

즉, 프로세서(130)는 뎁스가 1m에서 3m로 증가함에 따라, AR 객체(415, 425)가 이미지(410, 420) 상에 표시되는 크기를 감소시킬 수 있다. 또한, 이와 달리 뎁스가 3m에서 1m로 감소하는 경우에는, 프로세서(130)는 감소된 뎁스에 따라 AR 객체(415, 425)가 이미지(410, 420) 상에 표시되는 크기를 증가시킬 수 있다.

한편, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우 디스플레이(120)에 AR 객체가 표시되는 크기가 유지되도록 제어할 수 있다. 즉, 이 경우 도 4b와 같이 AR 객체에 대한 원근법이 무시될 수 있다.

구체적으로, 프로세서(130)는 전자 장치(100)의 모드가 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, AR 객체가 이미지 상에 위치하는 지점의 뎁스가 변경되더라도 디스플레이(120)에 AR 객체가 표시되는 크기가 유지되도록 제어할 수 있다.

예를 들어, 도 4b를 참조하면, 일반 모드에서 카메라(110)의 시점이 이동하여 AR 객체(435, 445)와의 뎁스가 1m에서 3m로 변경된 경우를 가정하기로 한다.

여기서, 프로세서(130)는 AR 객체(435, 445)의 크기 및 뎁스(1m, 3m)에 기초하여, 이미지(430, 440) 상에 AR 객체(435, 445)를 표시하도록 디스플레이(120)를 제어할 수 있다. 여기서, AR 객체(435, 445)의 크기는 동일한 기설정된 크기(디폴트 크기)를 갖는다. 또한, AR 객체(435, 445)의 크기는 표준 뎁스(예: 1m)에서 표시되는 크기일 수 있다.

그리고, 프로세서(130)는 표준 뎁스인 1m의 뎁스에서, AR 객체(435)의 기설정된 크기로 AR(435)를 이미지(420) 상에 표시하도록 디스플레이(120)를 제어할 수 있다.

그리고, 프로세서(130)는 일반 모드에서 카메라(110)가 위치하는 지점(시점)이 이동함에 따라 AR 객체에 대한 뎁스가 3m으로 변경된 경우, AR 객체에 할당된 속성이 크기가 고정되는 속성 및 크기가 변동되는 속성 중 어느 것인지 판단할 수 있다. 여기서, AR 객체의 속성이 크기가 고정되는 속성으로 판단된 경우, 프로세서(130)는 표준 뎁스 보다 큰 3m의 뎁스에서, AR 객체(445)의 기설정된 크기 보다 작은 크기로 AR 객체(445)가 표시되는 것을 방지하기 위해, AR 객체(445)가 배치된 지점의 뎁스에 따라 AR 객체(445)의 기설정된 크기를 크게 조정할 수 있다. 이에 따라, AR 객체의 뎁스에 따른 원근법을 무시할 수 있다.

예를 들어, 프로세서(130)는 size(B) = size(A) * distance(A-B)와 같은 수식에 따라 AR 객체의 기설정된 크기(디폴트 크기)를 조정하여, AR 객체가 디스플레이 상에 표시되는 크기를 유지할 수 있다. 여기서, size(A)는 AR 객체가 A 지점에 위치할 때의 크기이고, size(B)는 AR 객체가 B 지점에 위치할 때의 크기이며, distance(A-B)는 A 지점 및 B 지점 간의 뎁스 차이(또는 거리)를 나타낼 수 있다.

즉, 프로세서(130)는 AR 객체에 기설정된 고유의 크기(또는 AR 객체의 본래의 크기)를 조정함으로써, 디스플레이(120) 상에 AR 객체가 표시되는 크기를 일정한 크기로 유지할 수 있다.

이상과 같은 본 개시의 일 실시 예에 따른 전자 장치(100)는, 일반 모드에서도 AR 객체가 배치된 지점의 뎁스가 크거나 작은 경우(즉, AR 객체가 카메라(110)와 멀리 있거나 가까이 있는 경우)에 AR 객체가 디스플레이(120)에 표시되는 크기가 크게 표시되거나 작게 표시되지 않도록 AR 객체가 디스플레이(120)에 표시되는 크기를 유지할 수 있다. 이에 따라, 사용자는 텍스트 유형의 정보와 같이 크기가 고정되는 속성이 부여된 AR 객체를 뎁스(거리)에 상관 없이 적절한 크기로 볼 수 있다는 점에서, 정보의 시인성이 향상될 수 있다. 또한, 사용자가 AR 객체의 크기를 별도로 조정할 필요가 없다는 점에서 사용자 편의성이 향상될 수 있다.

그리고, 프로세서(130)는 전자 장치(100)의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, 디스플레이(120)에 AR 객체가 표시되는 크기를 유지하도록 제어할 수 있다. 즉, 이 경우 AR 객체에 대한 원근법이 무시될 수 있다.

한편, 배치 모드는 이미지 상에 표시되는 AR 객체가 위치하는 지점을 수정(편집)하기 위한 편집 모드 뿐만 아니라, 이미지 상에 표시되지 않는 AR 객체를 추가하여 이미지 상의 특정한 지점에 위치시키기 위한 추가 모드를 포함할 수 있다.

여기에서, AR 객체가 위치하는 지점의 뎁스는, 뎁스 방향에 따라 카메라(110)가 위치하는 지점 또는 이미지 상에서 AR 객체가 위치하는 지점이 이동됨에 따라 변경될 수 있다.

예를 들어, AR 객체가 사용자 명령에 따라 뎁스 방향으로 이동하는 경우에(AR 객체의 이동 방향에 대한 벡터의 적어도 일 성분이 뎁스 방향인 경우), AR 객체가 이미지 상에서 위치하는 지점이 변경될 수 있으며, 이로 인해 카메라(110)가 위치하는 지점 및 AR 객체가 위치하는 지점 사이의 거리(뎁스)가 변경될 수 있다. 이는 AR 객체가 배치되는 지점이 변경될 수 있는 배치 모드에서만 적용될 수 있다.

본 개시의 일 실시 예에 따르면, 프로세서(130)는 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, 디스플레이(120)에 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 변경할 수 있다.

구체적으로, 프로세서(130)는 전자 장치(100)의 모드가 배치 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스가 증가하면 디스플레이(120)에 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 증가시킬 수 있다.

이와 달리, 프로세서(130)는 전자 장치(100)의 모드가 배치 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스가 감소하면 디스플레이(120)에 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 감소시킬 수 있다.

예를 들어, 도 4b를 참조하여, 배치 모드에서 AR 객체가 위치하는 지점이 이동하여 AR 객체(435, 445)와의 뎁스가 1m에서 3m로 변경된 경우를 가정하기로 한다.

여기서, 프로세서(130)는 AR 객체(435, 445)의 크기 및 뎁스(예: 1m, 3m)에 기초하여, 이미지(430, 440) 상에 AR 객체(435, 445)를 표시하도록 디스플레이(120)를 제어할 수 있다. 여기서, AR 객체(435, 445)의 크기는 동일한 기설정된 크기(디폴트 크기)에서 변경된 것일 수 있다.

그리고, 프로세서(130)는 표준 뎁스인 1m의 뎁스에서, AR 객체(435)의 기설정된 크기로 AR(435)를 이미지(430) 상에 표시하도록 디스플레이(120)를 제어할 수 있다.

그리고, 프로세서(130)는 배치 모드에서 사용자 명령에 따라 AR 객체가 위치하는 지점이 이동함에 따라 뎁스가 3m으로 변경된 경우, 표준 뎁스 보다 큰 3m의 뎁스에서, AR 객체(445)의 기설정된 크기 보다 작은 크기로 AR 객체(445)가 표시되는 것을 방지하기 위해, AR 객체(445)가 배치된 지점의 뎁스에 따라 AR 객체(445)의 기설정된 크기를 크게 조정할 수 있다. 이에 따라, AR 객체의 뎁스에 따른 원근법을 무시할 수 있다.

즉, 프로세서(130)는 AR 객체에 기설정된 고유의 크기를 조정함으로써, 디스플레이(120) 상에 AR 객체가 표시되는 크기를 일정한 크기로 유지할 수 있다.

이상과 같은 본 개시의 일 실시 예에 따른 전자 장치(100)는, 배치 모드에서 AR 객체가 배치된 지점을 변경하는 동안, 원근법을 무시하도록 AR 객체가 디스플레이(120)에 표시되는 크기를 유지할 수 있다. 이에 따라, AR 객체가 위치하는 지점의 뎁스에 따라 AR가 표시되는 크기가 달라지지 않는다는 점에서 AR 객체를 조작하는 사용자 편의성이 향상될 수 있으며, AR 객체의 실제 크기가 어떤 정도인지 사용자가 보다 용이하게 예측할 수 있는 효과가 있다.

도 3을 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110), 디스플레이(120), 프로세서(130) 외에도 스피커(140), 메모리(150), 통신부(160) 및 입력 인터페이스(170) 중에서 적어도 하나를 더 포함할 수 있다.

프로세서(130)는 메모리(150)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 전자 장치(100)를 제어할 수 있다. 이를 위해, 프로세서(130)는 카메라(110), 디스플레이(120) 및 메모리(150)와 연결되어 전자 장치(100)를 제어할 수 있다. 구체적으로, 프로세서(130)는 인스트럭션을 읽고 해석하며 데이터 처리를 위한 시퀀스를 결정할 수 있으며, 이에 따라 다른 장치의 동작을 제어하는 타이밍 및 제어 신호를 다른 장치로 제공함으로써 다른 장치의 동작을 제어할 수 있다.

한편, 프로세서(130)는 프로세서(130) 내부에 구비된 메모리(미도시)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 전자 장치(100)를 제어할 수도 있다. 이때, 프로세서(130) 내부에 구비된 메모리는 ROM(예: NOR 또는 NAND형 플래시 메모리), RAM(예: DRAM(dynamic RAM), SDRAM(synchronous DRAM), DDR SDRAM(Double data rate SDRAM)), 휘발성 메모리 등을 포함할 수 있다.

한편, 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수도 있으며, 프로세서(130)는 CPU(Central Processing Unit), AP(Application Processor) 등과 같은 범용 프로세서, GPU(Graphic Processing Unit), VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서, NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서 등으로 구현될 수 있다.

여기서, 프로세서(130)는 GPU 및 CPU를 포함할 수 있으며, GPU 및 CPU는 연계하여 본 개시의 동작을 수행할 수 있다. 예를 들어, GPU는 데이터 중 이미지 프레임 등을 처리하고, CPU는 나머지 데이터(예: 인스트럭션, 코드 등)를 처리할 수 있다. 이때, GPU는 여러 명령어 또는 데이터를 동시에 처리하는 병렬 처리 방식에 특화된 수백 또는 수천 개의 코어를 갖는 구조로 구현되며, CPU는 명령어 또는 데이터가 입력된 순서대로 처리하는 직렬 처리 방식에 특화된 수개의 코어를 갖는 구조로 구현될 수 있다.

일 실시 예로서, GPU는 카메라(110)를 통해 획득된 복수의 제1 이미지 프레임에서 복수의 손가락을 검출하고, CPU는 검출된 복수의 손가락의 포즈가 트리거 포즈에 대응되는 것으로 식별되면, 문자 입력 모드로 진입하고, GPU는 문자 입력 모드에서 카메라(110)를 통해 획득된 복수의 제2 이미지 프레임에서 복수의 손가락 중 하나의 손가락의 모션을 검출하고, CPU는 모션에 의한 손가락의 위치 및 손가락에 설정된 기준점의 위치에 기초하여 손가락에 매핑된 복수의 키 중 모션에 대응되는 키를 식별하고, 식별된 키에 대응되는 정보를 표시하도록 디스플레이(120)를 제어할 수 있다. 이는 일 실시 예일 뿐 다양한 변형 실시 예가 가능하며, 이하에서는 설명의 편의를 위해 프로세서(130)에 의해 수행되는 것으로 설명하도록 한다.

스피커(140)는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 직접 소리로 출력할 수 있으며, 전자 장치(100)에 내장된 형태로 구현되거나 별도의 외부 장치로 구현될 수 있다. 여기서, 스피커(160)는 특정한 위치 또는 영역에 대해서만 소리를 전달하는 지향성 스피커로 구현될 수도 있다.

메모리(150)는 카메라(110), 프로세서(130) 등이 접근할 수 있도록 데이터 등의 정보를 전기 또는 자기 형태로 저장하는 하드웨어를 지칭할 수 있으며, 메모리(150)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(Flash Memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD), RAM, ROM 등 중에서 적어도 하나의 하드웨어로 구현될 수 있다.

메모리(150)에는 전자 장치(100) 또는 프로세서(130)의 동작에 필요한 적어도 하나의 인스트럭션(instruction), 프로그램 또는 데이터가 저장될 수 있다. 여기서, 인스트럭션은 전자 장치(100) 또는 프로세서(130)의 동작을 지시하는 부호 단위로서, 컴퓨터가 이해할 수 있는 언어인 기계어로 작성된 것일 수 있다. 프로그램은 작업 단위의 특정 작업을 수행하는 일련의 인스트럭션의 집합체(instruction set)일 수 있다. 데이터는 문자, 수, 영상 등을 나타낼 수 있는 비트 또는 바이트 단위의 상태 정보일 수 있다.

또한, 메모리(150)에는 카메라(110)에 의해 획득된 이미지 프레임, 프로세서(140)에 의해 식별된 키에 대응되는 정보 등이 저장될 수 있다. 메모리(150)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의해 인스트럭션, 프로그램 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

통신부(160)는 유선 또는 무선의 다양한 통신 방식에 따라 다양한 유형의 외부 장치(서버 등)와 다양한 유형의 데이터를 송수신할 수 있다. 이때, 통신부(160)는 외부 장치와 직접(direct) 통신을 수행하거나, 다양한 통신망을 통해 다른 외부 장치를 경유하여(또는 중계하여) 외부 장치와 통신을 수행할 수 있다. 이를 위해, 통신부(160)는 각 통신 방식에 따른 회로(circuitry)를 포함할 수 있으며, 무선 통신 방식의 경우 안테나 등을 더 포함할 수 있다.

통신부(160)는 외부 장치로부터 정보를 수신하고, 수신된 정보를 프로세서(130)로 전달할 수 있다. 또한, 통신부(160)는 프로세서(130)의 제어에 따라 외부 장치로 정보를 전송할 수 있다.

통신부(160)는 와이파이(WiFi(Wi-Fi)) 통신 방식을 이용하는 와이파이 칩, 블루투스(Bluetooth) 통신 방식을 이용하는 블루투스 칩, NFC(near field communication) 통신 방식을 이용하는 NFC 칩, 이동 통신 방식(예: LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation), CDMA(code division multiple access), WCDMA(wideband CDMA))을 이용하는 무선 통신 칩 및 적외선 통신 방식을 이용하는 적외선 통신 칩 중 적어도 하나를 포함할 수 있다. 나아가, 통신부(160)는 유선 통신을 수행하는 이더넷 모듈(미도시) 및 USB 모듈(미도시) 중 적어도 하나를 포함할 수 있다. 여기서, 통신부(160)는 유무선 통신 방식에 따른 네트워크 인터페이스(Network Interface) 또는 네트워크 칩을 포함할 수 있다. 한편, 통신부(160)의 통신 방식은 상술한 예에 한정되지 아니하고, 기술의 발전에 따라 새롭게 등장하는 통신 방식을 포함할 수 있다.

입력 인터페이스(170)는 다양한 사용자 입력을 수신하여 프로세서(140)로 전달할 수 있다. 입력 인터페이스(170)는 예를 들면, 터치 패널(미도시), 펜 센서(미도시), 키(미도시) 및 마이크(미도시) 중에서 적어도 하나를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있으며, 이를 위해 터치 패널은 제어 회로를 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. 펜 센서는 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키는 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 마이크는 사용자의 음성을 직접 수신할 수 있으며, 디지털 변환부(미도시)에 의해 아날로그 신호인 사용자의 음성을 디지털로 변환하여 오디오 신호를 획득할 수 있다. 이와 같은 입력 인터페이스(170)는 전자 장치(100)에 내장되거나 키보드, 마우스, 외부 마이크, 리모트 컨트롤 등과 같은 별도의 외부 장치(미도시)로 구현될 수 있다.

도 5 내지 도 11은 본 개시의 일 실시 예에 따른 AR 객체를 이미지에 추가하는 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 전자 장치(100)의 프로세서(130)는 카메라(110)를 통해 획득된 이미지(520)를 표시하도록 디스플레이(120)를 제어할 수 있다. 이때, 이미지(520)는 카메라(110)를 통해 촬영된 피사체를 포함할 수 있으며, 여기서 피사체는 카메라(110)의 시점에서 화각 내에 위치하는 현실의 환경(510)(공간 또는 사물)을 포함할 수 있다.

이 경우, 프로세서(130)는 SLAM 기반의 카메라(110)의 추적 기술을 이용하여 이미지(520)에 포함된 복수의 픽셀 각각을 뎁스를 포함하는 3차원 공간 좌표로 인식할 수 있다. 즉, 프로세서(130)는 이미지를 3차원 공간으로 인식할 수 있다. 나아가, 프로세서(130)는 카메라(110)를 통해 순차적으로 획득된 복수의 이미지(520)를 3차원 공간의 맵으로 생성하여 메모리(150)에 저장할 수도 있다.

그리고, 프로세서(130)는 배치 모드를 선택할 수 있는 UI(530, 550)를 표시하도록 디스플레이(120)를 제어할 수 있다. 여기서, 제1 및 제2 UI(530, 550)를 선택하는 사용자 명령이 수신되면 전자 장치(100)의 모드는 배치 모드로 설정될 수 있다.

여기서, 프로세서(130)는 도 5와 같이 제1 UI(530)가 표시된 위치를 선택하는 사용자 명령이 수신되면, 도 6과 같이 전자 장치(100)의 모드를 배치 모드 중 추가 모드로 설정하고, 기저장된 복수의 AR 객체(631-633)에 대한 리스트를 디스플레이(120)에 표시할 수 있다. 한편, 프로세서(130)는 도 5에서 제2 UI(550)가 표시된 위치를 선택하는 사용자 명령이 수신되면, 전자 장치(100)의 모드를 배치 모드 중 편집 모드로 설정하고, 사용자 명령에 따라 이미지 상에 표시된 AR 객체 중에서 하나의 AR 객체의 위치 등을 변경할 수 있다. 이에 대한 구체적인 내용은 도 12 내지 도 13c를 참조하여 후술하여 설명하기로 한다.

이때, 복수의 AR 객체(631-633)는 메모리(140)에 기저장된 AR 객체로서, 렌더링 이미지 또는 텍스트 입력이 가능한 텍스트 박스 등일 수 있다. 예를 들어, AR 객체는 TV, 디지털 액자, 사운드 바, 냉장고, 세탁기, 가구, 자동차, 건물, 나무 등과 같은 사물이 2차원 또는 3차원으로 렌더링 된 이미지, 텍스트, 문자, 이미지, 사진, 동영상, 문서, 대시보드(dashboard) 등과 같은 다양한 정보의 형태일 수 있다.

다시, 도 6을 참조하여, 프로세서(130)는 복수의 AR 객체(631-633)에 대한 리스트 중에서 제3 AR 객체(633)을 선택하는 사용자 명령이 수신되면, 도 7과 같이 제3 AR 객체(733)를 이미지(720) 상에 표시하도록 디스플레이(120)를 제어할 수 있다. 여기서, 추가된 AR 객체(733)는 기설정된 크기로 표시될 수 있다. 즉, AR 객체(733)에 대한 원근법이 무시될 수 있다.

이 경우, 도 7을 참조하면, 디스플레이(120)에 표시되는 AR 객체(733)는 텍스트 박스일 수 있으며, AR 객체(733)는 사용자 명령에 따라 입력된 텍스트를 포함할 수 있다.

한편, 도 8을 참조하면, 프로세서(130)는 추가 모드에서 이미지(820) 상에 추가된 AR 객체(833)가 위치하는 지점을 사용자 명령(예: 터치 드래그 등)에 따라 변경할 수 있다. 이때, AR 객체(833)가 위치하는 지점은 사용자 명령에 따라 이미지(820) 내 3차원 공간 축(x, y, z축)을 따라 이동될 수 있다. 여기서, z축 방향(뎁스 방향)에 따라 AR 객체(833)가 이동하여 AR 객체(833)에 대한 뎁스가 변경되는 경우에도 원근법이 무시될 수 있다.

한편, 도 9를 참조하면, 프로세서(130)는 추가 모드에서 이미지(920) 상에 추가된 AR 객체(933)의 기설정된 크기를 사용자 명령(예: 핀치줌) 에 따라 변경할 수 있다. 이 경우, AR 객체(933)가 디스플레이(120) 상에 표시되는 크기는 사용자 명령에 따라 변경될 수 있다.

그리고, 도 10을 참조하면, 프로세서(130)는 추가 모드에서 이미지(1020) 상에 추가된 AR 객체(1033)에 대한 사용자 명령(예: 기설정된 시간 이상의 터치)이 수신되면, AR 객체(1033)에 대한 속성을 할당하는 UI(1035) 및 AR 객체(1033)를 삭제하는 UI(1037)를 표시하도록 디스플레이(120)를 제어할 수 있다.

여기서, 프로세서(130)는 AR 객체(1033)에 대한 속성을 할당하는 UI(1035)를 선택하는 사용자 명령이 수신되면, AR 객체(1033)에 대한 속성을 크기가 고정되는 속성 및 크기가 변동되는 속성 중 하나를 선택하기 위한 UI를 디스플레이(120)에 표시하도록 제어할 수 있다. 여기서, 사용자 명령에 따라 AR 객체에 할당된 속성이 변경될 수 있다.

이와 달리, 프로세서(130)는 AR 객체(1033)를 삭제하는 UI(1037)를 선택하는 사용자 명령이 수신되면, 이미지(1020) 상에 표시된 AR 객체(1033)를 제거(또는 삭제)할 수 있다.

한편, 도 7내지 도 11을 참조하면, 프로세서(130)는 사용자 명령에 따라 추가된 AR 객체(733, 833, 933, 1033, 1133)를 설정된 상태(크기, 위치, 속성 등)로 일반 모드에서 표시하도록 설정된 상태를 저장하는 제1 UI(740, 840, 940, 1040, 1140) 및 사용자 명령에 따라 추가된 AR 객체(733, 833, 933, 1033, 1133)를 일반 모드에서 표시하지 않도록 취소하는 제2 UI(770, 870, 970, 1070, 1170)를 표시하도록 디스플레이(120)를 제어할 수 있다.

여기서, 프로세서(130)는 제1 UI(740, 840, 940, 1040, 1140)를 선택하는 사용자 명령에 따라 전자 장치(100)의 모드를 일반 모드로 진입하고, 일반 모드에서 추가된 AR 객체(733, 833, 933, 1033, 1133)를 설정된 상태에 따라 표시하도록 디스플레이(120)를 제어할 수 있다.

이와 달리, 프로세서(130)는 제2 UI(770, 870, 970, 1070, 1170)를 선택하는 사용자 명령에 따라 전자 장치(100)의 모드를 일반 모드로 진입하고, 일반 모드에서 AR 객체(733, 833, 933, 1033, 1133)가 표시되지 않도록 AR 객체(733, 833, 933, 1033, 1133)를 제거(또는 삭제)할 수 있다.

도 12 내지 도 13c는 본 개시의 일 실시 예에 따른 배치 모드를 설명하기 위한 도면이다.

도 12를 참조하면, 전자 장치(100)의 프로세서(130)는 배치 모드를 선택할 수 있는 UI(1230, 1250)를 표시하도록 디스플레이(120)를 제어할 수 있다.

여기서, 프로세서(130)는 제1 UI(1230)를 선택하는 사용자 명령이 수신되면 전자 장치(100)의 모드는 배치 모드 중에서 추가 모드로 설정(또는 진입)할 수 있으며, 이에 대한 설명은 도 5 내지 도 11에서 전술한 바 있다.

이와 달리, 프로세서(130)는 제2 UI(1250)를 선택하는 사용자 명령이 수신되면 전자 장치(100)의 모드는 배치 모드 중에서 편집 모드로 설정(또는 진입)할 수 있다. 이 경우, 프로세서(130)는 디스플레이(120)에 표시된 이미지(1220) 및 AR 객체(1233) 중에서 사용자 명령에 따라 AR 객체(1233)의 배치를 변경할 수 있다.

도 13a 내지 도 13c를 참조하면, 배치 모드에서 AR 객체(1333A, 1333B) 사용자 명령에 따라 이미지(1320A, 1320B) 상에 위치하는 지점이 변경될 수 있다.

예를 들어, 도 13a 및 도 13c와 같이, 배치 모드에서 AR 객체(1333A)가 위치하는 지점이 사용자 명령에 따라 뎁스가 감소하는 지점으로 이동되면, 프로세서(130)는 이미지(1320A) 상에 AR 객체(1333A)가 표시되는 크기가 유지되도록 AR 객체(1333A)의 기설정된 크기를 감소시킬 수 있다.

이와 다른 예를 들어, 도 13b 및 도 13c와 같이, 배치 모드에서 AR 객체(1333B)가 위치하는 지점이 사용자 명령에 따라 뎁스가 증가하는 지점으로 이동되면, 프로세서(130)는 이미지(1320B) 상에 AR 객체(1333B)가 표시되는 크기가 유지되도록 AR 객체(1333B)의 기설정된 크기를 증가시킬 수 있다.

한편, 상술한 도 13a 및 도 13b와 같은 경우에, 프로세서(130)는 디스플레이(120)에 AR 객체(1333A, 1333B)가 표시되는 크기를 도 12의 디스플레이(120)에 AR 객체(1233)가 표시되는 크기로 유지하도록 제어할 수 있다. 즉, 디스플레이(120)에 표시되는 AR 객체(1333A, 1333B)의 크기는 편집 모드로 설정되는 때의 디스플레이(120)에 표시되는 AR 객체(1233)의 크기로 유지될 수 있다.

이와 같이, 본 개시의 일 실시 예에 따른 배치 모드에서는 뎁스에 기반한 AR 객체의 고유의 크기를 변경함으로써, 원근법에 의해 크기가 변경되는 효과를 상쇄할 수 있다.

도 14 내지 도 15b는 본 개시의 일 실시 예에 따른 일반 모드를 설명하기 위한 도면이다.

도 14를 참조하면, 전자 장치(100)의 프로세서(130)는 전자 장치(100)가 일반 모드로 설정된 경우에, 카메라(110)를 통해 획득된 이미지(1420) 및 AR 객체(1431, 1432)를 표시하도록 디스플레이(120)를 제어할 수 있다. 여기서, AR 객체(1431, 1432)는 상술한 배치 모드를 통해 이미지(1420) 상에 배치된 것일 수 있다.

여기서, 도 14와 같은 상태의 전자 장치(100)가 도 15a 및 도 15b와 같이 뎁스가 변경되는 지점으로 이동되는 경우를 가정하여 설명하기로 한다. 이때, 제1 AR 객체(1531A, 1531B)는 크기가 변동되는 속성이 할당되고, 제2 AR 객체(1532A, 1532B)는 크기가 고정되는 속성이 할당된 것으로 가정한다.

예를 들어, 도 15a와 같이, 카메라(110)를 구비한 전자 장치(100)가 카메라(110)를 통해 획득된 이미지(1520A) 상에 위치한 제1 및 제2 AR 객체(1531A, 1532A)의 뎁스가 감소하는 방향으로 이동되면(즉, 전자 장치(100)가 피사체와 가까워지는 경우), 프로세서(130)는 제1 및 제2 AR 객체(1531A, 1532A) 각각에 할당된 속성을 판단할 수 있다.

이 경우, 프로세서(130)는 크기가 변동되는 속성이 할당된 제1 AR 객체(1531A)에 대해, 뎁스가 감소함에 따라 이미지(1520A) 상에 제1 AR 객체(1531A)가 표시되는 크기를 증가시키도록 제1 AR 객체(1531A)를 조정할 수 있다.

또한, 프로세서(130)는 크기가 고정되는 속성이 할당된 제2 AR 객체(1532A)에 대해, 이미지(1520A) 상에 제2 AR 객체(1532A)가 표시되는 크기가 유지되도록 뎁스가 감소함에 따른 제2 AR 객체(1532A)의 기설정된 크기를 감소시키도록 제2 AR 객체(1532A)를 조정할 수 있다.

이와 다른 예를 들어, 도 15b와 같이, 카메라(110)를 구비한 전자 장치(100)가 카메라(110)를 통해 획득된 이미지(1520B) 상에 위치한 제1 및 제2 AR 객체(1531B, 1532B)의 뎁스가 증가하는 방향으로 이동되면(즉, 전자 장치(100)가 피사체와 멀어지는 경우), 프로세서(130)는 제1 및 제2 AR 객체(1531B, 1532B) 각각에 할당된 속성을 판단할 수 있다.

이 경우, 프로세서(130)는 크기가 변동되는 속성이 할당된 제1 AR 객체(1531B)에 대해, 뎁스가 증가함에 따라 이미지(1520B) 상에 제1 AR 객체(1531B)가 표시되는 크기를 감소시키도록 조정할 수 있다.

또한, 프로세서(130)는 크기가 고정되는 속성이 할당된 제2 AR 객체(1532B)에 대해, 이미지(1520B) 상에 제2 AR 객체(1532B)가 표시되는 크기가 유지되도록 뎁스가 증가함에 따른 제2 AR 객체(1532B)의 기설정된 크기를 증가하도록 조정할 수 있다.

이상과 같이, 본 개시의 일 실시 예에 따르면 일반 모드에서 AR 객체에 할당된 속성에 따라 제1 AR 객체(1531A)에 대해서는 원근법이 적용되며, 제2 AR 객체(1532A)에 대해서는 원근법이 무시될 수 있다.

도 16은 본 개시의 일 실시 예에 따른 흐름도를 설명하기 위한 도면이다.

도 16을 참조하면, 먼저 본 개시의 일 실시 예에 따른 전자 장치(100)의 제어 방법은, 카메라(110)를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시하는 단계(S1610), 전자 장치(100)의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 AR 객체가 표시되는 크기를 조정하는 단계(S1620) 및 전자 장치(100)의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, AR 객체가 표시되는 크기를 유지하도록 제어하는 단계(S1630)를 포함한다.

보다 구체적으로, 먼저 카메라(110)를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시할 수 있다(S1610). 여기에서, AR 객체의 크기에 기초하여 카메라(110)를 통해 획득된 이미지 및 이미지 상에 AR 객체를 표시할 수 있다. 이때, AR 객체의 크기는 각 AR 객체마다 표준 뎁스에서 표시되는 크기가 디폴트로 설정된 것이며, 모드에 따라 변경될 수 있다. 또한, 크기는 넓이, 부피, 대각선 길이, 가로 및 세로 길이, 반지름, 지름 등 다양한 개념을 총칭할 수 있다.

이후, 전자 장치(100)의 모드가 일반 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 변경되는 뎁스에 기초하여 AR 객체가 표시되는 크기를 조정할 수 있다(S1620).

이 경우, AR 객체가 위치하는 지점의 뎁스는 뎁스 방향에 따라 카메라(110)가 위치하는 지점이 이동됨에 따라 변경될 수 있다.

여기에서, 조정하는 단계는 일반 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스 및 AR 객체에 할당된 속성에 기초하여, AR 객체가 표시되는 크기를 조정할 수 있다.

일 실시 예로서, 조정하는 단계는 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우 AR 객체가 표시되는 크기가 유지되도록 제어하고, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우 변경되는 뎁스에 기초하여 AR 객체가 표시되는 크기가 변경되도록 조정할 수 있다.

일 실시 예로서, 여기에서, 조정하는 단계는 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, 이미지 상에서 AR 객체의 뎁스가 변경되면 AR 객체가 표시되는 크기가 유지되도록 제어할 수 있다.

일 실시 예로서, 조정하는 단계는 일반 모드인 상태에서, AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 증가하면 크기가 감소하도록 AR 객체가 표시되는 크기를 조정하고, AR 객체가 위치하는 지점의 뎁스가 감소하면 크기가 증가하도록 AR 객체가 표시되는 크기를 조정할 수 있다.

이후, 전자 장치(100)의 모드가 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, AR 객체가 표시되는 크기를 유지하도록 제어할 수 있다(S1630).

이 경우, AR 객체가 위치하는 지점의 뎁스는 뎁스 방향에 따라 카메라(110)가 위치하는 지점 또는 이미지 상에서 AR 객체가 위치하는 지점이 이동됨에 따라 변경될 수 있다.

여기에서, 배치 모드인 상태에서, 이미지 상에서 AR 객체가 위치하는 지점의 뎁스가 변경되면, AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 변경할 수 있다.

일 실시 예로서, 제어하는 단계는 배치 모드인 상태에서, AR 객체가 위치하는 지점의 뎁스가 증가하면 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 증가시키고, AR 객체가 위치하는 지점의 뎁스가 감소하면 AR 객체가 표시되는 크기를 유지하도록 AR 객체의 크기를 감소시킬 수 있다.

본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 상기하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 상기 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 상기 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

100: 전자 장치

Claims

전자 장치에 있어서,
카메라;
디스플레이; 및
상기 카메라를 통해 획득된 이미지 및 상기 이미지 상에 AR 객체를 표시하도록 상기 디스플레이를 제어하고,
상기 전자 장치의 모드가 일반 모드인 상태에서, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 상기 변경되는 뎁스에 기초하여 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 조정하고,
상기 전자 장치의 모드가 배치 모드인 상태에서, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스가 변경되면, 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 유지하도록 제어하는 프로세서;를 포함하는 전자 장치.
제1항에 있어서,
상기 AR 객체가 위치하는 지점의 뎁스는,
뎁스 방향에 따라 상기 카메라가 위치하는 지점 또는 상기 이미지 상에서 상기 AR 객체가 위치하는 지점이 이동됨에 따라 변경되는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 AR 객체의 크기에 기초하여 상기 이미지 및 상기 이미지 상에 상기 AR 객체를 표시하도록 상기 디스플레이를 제어하고,
상기 배치 모드인 상태에서, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스가 변경되면, 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 유지하도록 상기 AR 객체의 크기를 변경하는, 전자 장치.
제3항에 있어서,
상기 프로세서는,
상기 전자 장치의 모드가 배치 모드인 상태에서, 상기 AR 객체가 위치하는 지점의 뎁스가 증가하면 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 유지하도록 상기 AR 객체의 크기를 증가시키고, 상기 AR 객체가 위치하는 지점의 뎁스가 감소하면 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 유지하도록 상기 AR 객체의 크기를 감소시키는, 전자 장치.
제1항에 있어서,
상기 프로세서는,
상기 AR 객체의 크기에 기초하여 상기 이미지 및 상기 이미지 상에 상기 AR 객체를 표시하도록 상기 디스플레이를 제어하고,
상기 전자 장치의 모드가 일반 모드인 상태에서, 상기 AR 객체가 위치하는 지점의 뎁스 및 상기 AR 객체에 할당된 속성에 기초하여, 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 조정하는, 전자 장치.
제5항에 있어서,
상기 프로세서는,
상기 전자 장치의 모드가 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우 상기 디스플레이에 상기 AR 객체가 표시되는 크기가 유지되도록 제어하고, 상기 AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우 상기 변경되는 뎁스에 기초하여 상기 디스플레이에 상기 AR 객체가 표시되는 크기가 변경되도록 조정하는, 전자 장치.
제6항에 있어서,
상기 프로세서는,
상기 전자 장치의 모드가 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, 상기 이미지 상에서 상기 AR 객체의 뎁스가 변경되면 상기 디스플레이에 상기 AR 객체가 표시되는 크기가 유지되도록 제어하고,
상기 전자 장치의 모드가 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스가 증가하면 크기가 감소하도록 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 조정하고, 상기 AR 객체가 위치하는 지점의 뎁스가 감소하면 크기가 증가하도록 상기 디스플레이에 상기 AR 객체가 표시되는 크기를 조정하는, 전자 장치.
전자 장치의 제어 방법에 있어서,
카메라를 통해 획득된 이미지 및 상기 이미지 상에 AR 객체를 표시하는 단계;
상기 전자 장치의 모드가 일반 모드인 상태에서, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스(depth)가 변경되면, 상기 변경되는 뎁스에 기초하여 상기 AR 객체가 표시되는 크기를 조정하는 단계; 및
상기 전자 장치의 모드가 배치 모드인 상태에서, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스가 변경되면, 상기 AR 객체가 표시되는 크기를 유지하도록 제어하는 단계;를 포함하는 제어 방법.
제8항에 있어서,
상기 AR 객체가 위치하는 지점의 뎁스는,
뎁스 방향에 따라 상기 카메라가 위치하는 지점 또는 상기 이미지 상에서 상기 AR 객체가 위치하는 지점이 이동됨에 따라 변경되는, 제어 방법.
제8항에 있어서,
상기 표시하는 단계는,
상기 AR 객체의 크기에 기초하여 상기 이미지 및 상기 이미지 상에 상기 AR 객체를 표시하고,
상기 제어하는 단계는,
상기 배치 모드인 상태에서, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스가 변경되면, 상기 AR 객체가 표시되는 크기를 유지하도록 상기 AR 객체의 크기를 변경하는, 제어 방법.
제10항에 있어서,
상기 제어하는 단계는,
상기 배치 모드인 상태에서, 상기 AR 객체가 위치하는 지점의 뎁스가 증가하면 상기 AR 객체가 표시되는 크기를 유지하도록 상기 AR 객체의 크기를 증가시키는 단계; 및
상기 배치 모드인 상태에서, 상기 AR 객체가 위치하는 지점의 뎁스가 감소하면 상기 AR 객체가 표시되는 크기를 유지하도록 상기 AR 객체의 크기를 감소시키는 단계;를 포함하는, 제어 방법.
제8항에 있어서,
상기 표시하는 단계는,
상기 AR 객체의 크기에 기초하여 상기 이미지 및 상기 이미지 상에 상기 AR 객체를 표시하는,
상기 조정하는 단계는,
상기 일반 모드인 상태에서, 상기 AR 객체가 위치하는 지점의 뎁스 및 상기 AR 객체에 할당된 속성에 기초하여, 상기 AR 객체가 표시되는 크기를 조정하는, 제어 방법.
제12항에 있어서,
상기 조정하는 단계는,
상기 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우 상기 AR 객체가 표시되는 크기가 유지되도록 제어하는 단계; 및
상기 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우 상기 변경되는 뎁스에 기초하여 상기 AR 객체가 표시되는 크기가 변경되도록 조정하는 단계;를 포함하는, 제어 방법.
제13항에 있어서,
상기 조정하는 단계는,
상기 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 고정되는 속성인 경우, 상기 이미지 상에서 상기 AR 객체의 뎁스가 변경되면 상기 AR 객체가 표시되는 크기가 유지되도록 제어하는 단계; 및
상기 일반 모드인 상태에서, 상기 AR 객체에 할당된 속성이 크기가 변동되는 속성인 경우, 상기 이미지 상에서 상기 AR 객체가 위치하는 지점의 뎁스가 증가하면 크기가 감소하도록 상기 AR 객체가 표시되는 크기를 조정하고, 상기 AR 객체가 위치하는 지점의 뎁스가 감소하면 크기가 증가하도록 상기 AR 객체가 표시되는 크기를 조정하는, 제어 방법.