KR20230045928A

KR20230045928A - 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법

Info

Publication number: KR20230045928A
Application number: KR1020210128793A
Authority: KR
Inventors: 유진선; 이수진; 정민규; 정종우
Original assignee: 삼성전자주식회사
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2023-04-05
Also published as: WO2023054877A1

Abstract

다양한 실시예들에 따른 전자 장치는 프레임, 프레임에 의해 지지되는 윈도우 부재, 윈도우 부재로 시각적 정보를 출력하는 디스플레이 모듈, 프레임의 전방을 촬영하도록 프레임에 배치되는 카메라 모듈, 통신 모듈, 메모리 및 프로세서를 포함하고, 메모리는, 실행 시에, 프로세서가 통신 모듈을 이용하여 외부 장치와 통신 연결을 수립하고, 외부 장치와 연결된 적어도 하나의 제1디스플레이의 표시 속성 정보를 획득하고, 획득한 표시 속성 정보에 기초하여 적어도 하나의 제1디스플레이와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 전자 장치를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하도록 설정하는 인스트럭션들(instructions)을 저장할 수 있다. 이 때 표시 속성 정보는 제1디스플레이의 배율, 해상도, 디스플레이의 방향 또는 다중 디스플레이 사용 여부 중 적어도 어느 하나를 포함할 수 있다.

Description

증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR PROVIDING AUGMENTED REALITY SERVICE AND OPERATING METHOD THEREOF}

본 문서의 다양한 실시예들은 전자 장치에서 증강 현실 서비스를 제공하기 위한 장치 및 방법에 관한 것이다.

정보통신 기술 및 반도체 기술의 발전으로 각종 전자 장치들이 다양한 멀티미디어 서비스를 제공하는 멀티미디어 장치로 발전하고 있다. 멀티미디어 서비스는 음성 통화 서비스, 메시지 서비스, 방송 서비스, 무선 인터넷 서비스, 카메라 서비스, 전자 결제 서비스 또는 음악 재생 서비스 중 적어도 하나를 포함할 수 있다.

전자 장치 사용자에게 다양한 경험을 제공할 수 있다. 예를 들어, 전자 장치는 실제 공간에 가상의 정보(예: 가상 객체)를 덧붙이는 증강 현실(AR: augmented reality) 서비스를 제공할 수 있다.

재택근무, IoT(internet of things) 등 원격으로 제어하는 환경이 늘어나고 있으나, 스마트 폰을 포함한 모바일 디바이스 단독으로는 완벽한 컴퓨팅 환경을 구축하기 어려울 수 있다. 완벽한 컴퓨팅 환경을 구축하기 위해 모니터나 키보드가 추가로 더 필요할 수 있다.

또한, 증강현실 환경에서 별도로 가상의 컴퓨터를 사용하는 경우 현실에 존재하는 컴퓨팅 환경과는 차이가 있어 업무 효율이 낮아질 수 있다.

다양한 실시예들에 따른 전자 장치의 증강 현실 서비스 제공 방법은 통신 모듈을 이용하여 외부 장치와 통신 연결을 수립하는 동작, 외부 장치와 연결된 적어도 하나의 제1디스플레이의 표시 속성 정보를 획득하는 동작 및 획득한 표시 속성 정보에 기초하여 적어도 하나의 제1디스플레이와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 전자 장치를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하는 동작을 포함할 수 있다. 이 때 표시 속성 정보는 제1디스플레이의 배율, 해상도, 디스플레이의 방향 또는 다중 디스플레이 사용 여부 중 적어도 어느 하나를 포함할 수 있다.

다양한 실시예에 따르면, 전자 장치(예: AR기기)는 현실의 디스플레이(예: 모니터) 및 인터페이스(예: 키보드, 마우스 등)를 스캐닝하여 가상 공간에서도 현실 공간과 동일한 환경을 제공할 수 있다.

다양한 실시예에 따르면, 전자 장치는 현실과 동일한 환경에서 원격으로 디바이스를 제어할 수 있다. 또한, 전자 장치는 사용자가 원하는 대로 가상 공간을 편집하여 사용자 경험(UX)을 상승시킬 수 있다.

도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 웨어러블 장치의 블록도이다.
도 2a는 본 발명의 다양한 실시예에 따른 복수의 카메라가 포함된 전자 장치의 전체 구성도이다. 도 2b는 다양한 실시예들에 따른 전자 장치에서 증강 현실 서비스를 제공하는 동작을 도시한 것이다.
도 3은 다양한 실시예들에 따른 전자 장치의 구성을 블록도로 나타낸 것이다.
도 4는 다양한 실시예들에 따른 전자 장치가 현실 환경과 동일한 가상의 물리적 환경을 제공하는 동작을 도시한 것이다.
도 5는 다양한 실시예들에 따른 전자 장치가 현실 환경과 동일한 가상의 물리적 환경을 제공하는 과정을 구성 단위로 도시한 것이다.
도 6a 및 도 6b는 다양한 실시예들에 따른 전자 장치가 실제 객체들의 위치를 인식하고 가상 객체들의 위치를 결정하는 상황을 도시한 것이다.
도 7a는 다양한 실시예들에 따른 전자 장치와 연결될 수 있는 외부 장치가 하나인 상황을 도시한 것이고, 도 7b는 다양한 실시예들에 따른 전자 장치와 연결될 수 있는 외부 장치가 복수인 상황을 도시한 것이다.
도 8a 및 도 8b는 다양한 실시예들에 따른 전자 장치가 가상 공간에 물리적인 환경과 동일한 환경을 구현하고, 가상 객체를 편집하는 상황을 도시한 것이다.
도 9는 다양한 실시예들에 따른 전자 장치에서 가상 공간에 표시되는 객체를 편집하는 상황을 도시한 것이다.
도 10은 다양한 실시예들에 따른 전자 장치의 증강 현실 서비스 제공 방법의 순서도를 나타낸 것이다.

도 1은 다양한 실시예에 따른 웨어러블 장치(101)의 블록도이다.

도 1을 참조하면, 웨어러블 장치(101)는 프로세서(120), 메모리(130), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 안테나 모듈(197) 및/또는 충전 안테나 모듈(340)을 포함할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 연결 단자(330)(예: USB TYPE-C)를 통해, 외부 전자 장치(미도시)와 연결될 수 있다. 예를 들어, 웨어러블 장치(101)의 전력 관리 모듈(188)은 연결 단자(330)를 통해 외부 전자 장치로부터 전력을 수신하여 배터리(189)를 충전할 수 있다. 다른 예를 들어, 웨어러블 장치(101)의 프로세서(120)는 연결 단자(330)를 통해 외부 전자 장치와 전력선 통신을 수행할 수 있다. 또 다른 예를 들어, 웨어러블 장치(101)의 전력 관리 모듈(188)은 충전 안테나 모듈(340)을 통해 외부 전자 장치로부터 무선으로 전력을 수신하여 배터리(189)를 충전할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 본체부(예: 도 2의 본체부(223))와 다리부재(예: 도 2의 제1다리부재(221), 및/또는 제2다리부재(222))로 구성될 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)의 구성 요소들은 본체부(223) 또는 다리부재(221, 222)에 배치될 수 있다.

일 실시예에 따르면, 프로세서(120)는 메모리(130)에 저장된 프로그램을 실행하여, 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 사용자에게 증강 현실 서비스를 제공할 수 있다. 프로세서(120)는 디스플레이 모듈(160)을 통해, 웨어러블 장치(101)를 착용한 사용자의 시야각에 연동하는 실제 공간에, 적어도 하나의 가상 객체가 덧붙여 보여지도록 적어도 하나의 가상 객체를 출력할 수 있다.

일 실시예에 따르면, 메모리(130)는, 웨어러블 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(미도시) 또는 비휘발성 메모리(미도시)를 포함할 수 있다.

디스플레이 모듈(160)은 웨어러블 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)의 디스플레이 모듈(160)은 적어도 하나의 글래스(예: 제1글래스(예: 도 2의 제1글래스(220)) 및/또는 제2글래스(예: 도 2의 제2글래스(230)))를 포함할 수 있다. 일 실시예에 따르면, 제1글래스(220)는 제1디스플레이 모듈(160a)의 적어도 일부를 포함하고, 제2글래스(230)는 제2디스플레이 모듈(160b)의 적어도 일부를 포함할 수 있다. 예를 들어, 제1디스플레이 모듈(160a) 및/또는 제2디스플레이 모듈(160b)은 각각 디스플레이 패널을 포함할 수 있다. 디스플레이 패널은 사용자가 디스플레이 모듈(160)을 통해 실제 공간을 인지할 수 있도록 투명 소자로 구성될 수 있다. 디스플레이 모듈(160)은 웨어러블 장치(101)를 착용한 사용자가 실제 공간에 가상 객체가 덧붙여진 것으로 보여지도록 디스플레이 패널의 적어도 일부에 적어도 하나의 가상 객체를 표시할 수 있다. 예를 들어, 사용자의 시야각은 사용자가 사물을 인식할 수 있는 각도 및/또는 범위를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 사용자의 양안 중 좌안에 연동되는 제1디스플레이 모듈(160a) 및/또는 우안에 연동되는 제2디스플레이 모듈(160b)을 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)의 성능과 관련된 설정 정보(예: 해상도(resolution), 프레임 레이트(frame rate), 표시 영역의 크기, 및/또는 선명도(sharpness))를 메모리(130)로부터 로딩할 수 있고, 상기 설정 정보를 기반으로 디스플레이 모듈(160)의 성능을 조정할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)에 포함된 각각의 디스플레이 패널은 개별적으로 설정 정보가 결정될 수 있다. 예를 들어, 좌안에 연동되는 제1디스플레이 패널은 제1설정 정보를 기반으로 설정될 수 있고, 우안에 연동되는 제2디스플레이 패널은 제2설정 정보를 기반으로 설정될 수 있다. 다른 일 실시예에 따르면, 상기 설정 정보는 디스플레이 모듈(160)에 포함된 하나의 디스플레이 패널의 적어도 일부를 다르게 설정할 수 있다. 예를 들어, 웨어러블 장치(101)는 디스플레이 모듈(160)에 대한 해상도(resolution), 프레임 레이트(frame rate), 및/또는 선명도(sharpness) 중 적어도 하나를 다르게 설정할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 디스플레이 모듈(160)의 설정을 적어도 부분적으로 변경함으로써, 소모 전력을 줄일 수 있다.

일 실시예에 따르면, 오디오 모듈(170)은 프로세서(120)의 제어에 기반하여, 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 예를 들어, 오디오 모듈(170)은 도 2의 스피커(232-1, 232-2) 및/또는 도 2의 마이크(241)를 포함할 수 있다.

센서 모듈(176)은 웨어러블 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 연동하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)의 센서 모듈(176)은 근접 센서(176a), 조도 센서(176b), 및/또는 자이로 센서(176c)를 포함할 수 있다. 일 실시예에 따르면, 근접 센서(176a)는 웨어러블 장치(101)에 인접하는 객체를 감지할 수 있다. 조도 센서(176b)는 웨어러블 장치(101) 주변의 밝기 정도를 측정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 조도 센서(176b)를 사용하여 웨어러블 장치(101) 주변의 밝기 정도를 확인하고, 상기 밝기 정도를 기반으로 디스플레이 모듈(160)의 밝기 관련 설정 정보를 변경할 수 있다. 예를 들어, 주변의 밝기가 기 설정된 밝기보다 더 밝으면, 프로세서(120)는 사용자의 시인성이 높아지도록 디스플레이 모듈(160)의 밝기 정도를 보다 높게 설정할 수 있다. 일 실시예에 따르면, 자이로 센서(176c)는 웨어러블 장치(101)의 자세 및 위치를 감지할 수 있다. 예를 들어, 자이로 센서(176c)는 웨어러블 장치(101)가 사용자의 머리에 올바르게 착용되었는지 여부를 감지할 수 있다. 다른 예를 들어, 자이로 센서(176c)는 웨어러블 장치(101) 또는 웨어러블 장치(101)를 착용한 사용자의 움직임을 감지할 수 있다. 다른 예를 들어, 자이로 센서(176c)는 웨어러블 장치(101)의 다리부재(예: 도 2의 제1다리부재(221) 및/또는 제2다리부재(222))의 움직임을 감지할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)의 센서 모듈(176)은 가속도 센서(도 16의 제1센서(701) 및/또는 제2센서(702)) 및/또는 홀 센서(예: 도 17의 제3센서(703) 및/또는 제4센서(704))를 포함할 수 있다. 일 실시예에 따르면, 가속도 센서는, 웨어러블 장치(101)의 다리부재(예: 도 2의 제1다리부재(221) 및/또는 제2다리부재(222))의 움직임을 감지할 수 있다. 일 실시예에 따르면, 홀 센서는 자기장의 변화를 감지하여, 웨어러블 장치(101)의 다리부재(예: 도 2의 제1다리부재(221) 및/또는 제2다리부재(222))의 움직임을 감지할 수 있다.

통신 모듈(190)은 웨어러블 장치(101)와 외부 전자 장치(예: 휴대 전자 장치 및/또는 도 4의 충전 장치(501)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 통신 모듈(190)(예: 무선 통신 회로)을 통해, 다른 전자 장치(미도시)와 무선 통신을 수행할 수 있다. 예를 들어, 웨어러블 장치(101)는 휴대 전자 장치(예: 스마트폰)와 무선 통신을 수행할 수 있고, 서로 명령어 및/또는 데이터를 교환할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 외부의 다른 전자 장치(예: 휴대 전자 장치)에 의해, 적어도 부분적으로 제어될 수 있다. 예를 들어, 웨어러블 장치(101)는 외부의 다른 전자 장치의 제어 하에, 적어도 하나의 기능이 수행될 수 있다.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.

다양한 실시예들에 따르면, 웨어러블 장치(101)는 무선 및/또는 유선으로 연결된 다른 전자 장치의 제어에 기반하여, 디스플레이 패널의 설정의 적어도 일부를 변경할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 웨어러블 장치(101)의 카메라(예: 카메라 모듈(180))를 통해 획득한 주시안/보조시안 관련 정보(예: 실제 공간에 위치한 객체와의 거리 정보, 사용자의 시선 추적 정보, 사용자의 제스처 정보)를 다른 전자 장치로 전송할 수 있다. 다른 전자 장치는 웨어러블 장치(101)로부터 수신한 주시안/보조시안 관련 정보에 기반하여, 검출한 주시안 또는 보조시안에 연동되는 글래스(예: 제1글래스(220), 및/또는 제2글래스(230))에 포함된 디스플레이 패널의 설정 정보를 웨어러블 장치(101)로 전송할 수 있다. 웨어러블 장치(101)는 다른 전자 장치로부터 수신한 디스플레이 패널의 설정 정보를 기반으로, 디스플레이 패널의 설정의 적어도 일부를 변경할 수 있다. 예를 들어, 디스플레이 패널의 설정은 디스플레이 패널의 품질을 낮추도록 변경될 수 있고, 사용자가 체감하지 못할 정도로 설정의 적어도 일부가 변경될 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 디스플레이 패널의 해상도를 줄이거나, 프레임 레이트를 줄이거나, 또는 디스플레이 패널의 표시 영역의 크기 및 위치를 조정할 수 있다.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)의 카메라 모듈(180)은 제스처 카메라(gesture camera)(180a), 시선 추적 카메라(eye tracking camera)(180b), 거리 측정 카메라(depth camera)(180c), 및/또는 RGB 카메라(180d)를 포함할 수 있다. 일 실시예에 따르면, 제스처 카메라(180a)는 사용자의 움직임을 감지할 수 있다. 도 2의 인식용 카메라(211-1, 211-2)는 제스처 카메라(180a)를 포함할 수 있다. 예를 들어, 제스처 카메라(180a)는 웨어러블 장치(101)에 적어도 하나 이상 배치될 수 있고, 기 설정된 거리 내에서 사용자의 손 움직임을 감지할 수 있다. 제스처 카메라(180a)는 웨어러블 장치(101)의 주변 공간과 관련된 정보(예: 위치 및/또는 방향)를 인식하기 위한 SLAM 카메라(simultaneous localization and mapping camera)를 포함할 수 있다. 제스처 카메라(180a)의 제스처 인식 영역은 제스처 카메라(180a)의 촬영 가능 범위에 기반하여 설정될 수 있다. 일 실시예에 따르면, 시선 추적 카메라(180b)(예: 도 2의 시선 추적 카메라(212))는 사용자의 좌안 및 우안의 움직임을 추적할 수 있다. 일 실시예에 따르면, 프로세서(120)는 시선 추적 카메라(180b)를 사용하여, 좌안의 시선 방향 및 우안의 시선 방향을 확인할 수 있다. 예를 들어, 시선 추적 카메라(180b)는 좌안의 시선 방향을 확인하기 위한 제1시선 추적 카메라(212-1) 및 우안의 시선 방향을 확인하기 위한 제2시선 추적 카메라(212-2)를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 좌안의 시선 방향 및 우안의 시선 방향을 기반으로 주시안 및 보조시안을 결정할 수 있다. 일 실시예에 따르면, 거리 측정 카메라(180c)는 웨어러블 장치(101)의 전면에 위치한 객체와의 거리를 측정할 수 있다. 도 2의 촬영용 카메라(213)는 거리 측정 카메라(180c)를 포함할 수 있다. 거리 측정 카메라(180c)는 TOF(time of flight) 카메라 및/또는 depth 카메라를 포함할 수 있다. 일 실시예에 따르면, 거리 측정 카메라(180c)는 웨어러블 장치(101)의 전면 방향을 촬영할 수 있고, 시선 추적 카메라(180b)는 거리 측정 카메라(180c)의 촬영 방향과 반대되는 방향을 촬영할 수 있다. 다른 실시예에 따르면, 웨어러블 장치(101)는 거리 측정 카메라(180c)를 사용하여 객체와의 거리를 측정할 수 있고, 상기 거리가 임계값 이상인 경우에 디스플레이 패널의 설정을 변경할 수 있다. 예를 들어, 웨어러블 장치(101)는 객체와의 거리가 임계값 이하로 가까운 경우 디스플레이 패널의 표시 성능을 유지할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 시선 추적 카메라(180b)로 사용자가 바라보고 있는 시선 방향(예: FOV)에 위치하는 객체 중 하나를 인지하고, 해당 객체와의 거리를 depth 카메라를 통해 depth를 계산하거나 또는 해당 객체와의 거리를 TOF 카메라를 통해 거리를 측정할 수 있다. 일 실시예에 따르면, RGB(red green blue) 카메라(180d)는 객체의 색상 관련 정보 및 객체와의 거리 정보를 감지할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 거리 측정 카메라(180c)와 RGB 카메라(180d)를 통합하여, 한 종류의 카메라를 포함할 수 있다. 예를 들어, 도 2의 촬영용 카메라(213)는 거리 측정 카메라(180c) 및/또는 RGB 카메라(180d)를 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)에 포함된 제스처 카메라(180a), 시선 추적 카메라(180b), 거리 측정 카메라(180c), 및/또는 RGB 카메라(180d)는 각각 웨어러블 장치(101)에 포함되거나 또는 일부는 통합된 형태의 카메라로 구현될 수도 있다. 예를 들어, 거리 측정 카메라(180c)와 RGB 카메라(180d)는 하나의 통합된 카메라로 구현될 수 있다.

일 실시예에 따르면, 전력 관리 모듈(188) 은 웨어러블 장치(101)에 공급되는 전력을 관리할 수 있다. 전력 관리 모듈(188)은 복수 개의 전력 관리 모듈(예: 제1전력 관리 모듈(188a), 제2전력 관리 모듈(188b))을 포함할 수 있다. 제1전력 관리 모듈(188a) 또는 제2전력 관리 모듈(188b) 중 적어도 일부는 프로세서(120)에 직접적으로(directly) 연결되어 전력을 공급할 수 있다. 제1전력 관리 모듈(188a) 또는 제2전력 관리 모듈(188b) 중 적어도 일부는 연결 단자(330)(예: TYPE-C)를 통해 외부 전자 장치로부터 전력을 수신하여 배터리(189)를 충전하거나 웨어러블 장치(101)의 다른 구성 요소들로 전력을 공급할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 무선 충전 방식을 통하여 외부 전자 장치로부터 전력을 수신하여 배터리(188)를 충전할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 충전 안테나 모듈(340)로부터 외부의 전력을 무선으로 수신할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은 웨어러블 장치(101)의 구성 요소들(예: 메모리(130), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 카메라 모듈(180), 및/또는 통신 모듈(190))과 전기적으로 연결될 수 있다. 예를 들어, 전력 관리 모듈(188)은 프로세서(120)의 제어에 기반하여 배터리(189)의 전력을 웨어러블 장치(101)의 구성 요소들로 제공할 수 있다. 일 실시예에 따르면, 웨어러블 장치(101)는 제1전력 관리 모듈(188a)을 통해, 제1배터리(189a)로부터 전력을 공급받을 수 있고, 제2전력 관리 모듈(188b)을 통해, 제2배터리(189b)로부터 전력을 공급받을 수 있다. 일 실시예에 따르면, 프로세서(120)는 카메라 모듈(180)에 포함된 상기 적어도 하나의 카메라(180a, 180b, 180c, 180d)를 사용하여 획득한 정보를 기반으로 디스플레이 모듈(160)의 설정을 적어도 부분적으로 변경함으로써, 소모되는 전력을 관리할 수 있다.

배터리(189)는 웨어러블 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다. 일 실시예에 따르면, 배터리(189)는 전력 관리 모듈(188)의 제어 하에, 전력을 공급 받아 충전되거나 전력을 제공하여 방전될 수 있다. 일 실시예에 따르면, 배터리(189)는 복수 개의 배터리(예: 제1배터리(189a), 제2배터리(189b))를 포함할 수 있다. 예를 들어, 복수 개의 배터리(예: 제1배터리(189a), 제2배터리(189b))는 본체부(223)와 다리부재(예: 제1다리부재(221), 및/또는 제2다리부재(222))에 배치될 수 있다. 일 실시예에 따르면 제1배터리(189a)는 제1다리부재(221)에 배치될 수 있고, 제2배터리(189b)는 제2다리부재(222)에 배치될 수 있다.

충전 안테나 모듈(340)은 웨어러블 장치(101)의 외부로부터 전력을 수신할 수 있다. 일 실시예에 따르면, 충전 안테나 모듈(340)은 안테나 모듈(197)의 구성 및/또는 기능 가운데 적어도 일부를 포함할 수 있다. 일 실시예에 따르면, 충전 안테나 모듈(340)은 루프형 안테나 및/또는 코일형 안테나를 포함할 수 있다. 일 실시예에 따르면, 충전 안테나 모듈(340)은 복수개의 안테나(예: 제1안테나(340a), 제2안테나(340b))를 포함할 수 있다. 예를 들어, 복수개의 안테나(예: 제1안테나(340a), 제2안테나(340b))는 외부로부터 자기장 및/또는 전자기장을 수신할 수 있고, 외부 자기장 및/또는 전자기장으로 인한 자기 유도 및/또는 자기 공명을 통해 생성된 전류를 전력 관리 모듈(188) 및/또는 배터리(189)로 전달할 수 있다. 일 실시예에 따르면, 복수개의 안테나(예: 제1안테나(340a), 제2안테나(340b))는 본체부(223)와 다리부재(예: 제1다리부재(221), 및/또는 제2다리부재(222))에 배치될 수 있다. 일 실시예에 따르면 제1안테나(340a)는 제1다리부재(221)에 배치될 수 있고, 제2안테나(340b)는 제2다리부재(222)에 배치될 수 있다.

도 2a는 본 발명의 다양한 실시예에 따른 복수의 카메라가 포함된 전자 장치(200)(예: 도 1의 웨어러블 장치(101))의 전체 구성도이다.

다양한 실시예에서, 전자 장치(200)는 사용자의 머리 부분에 착용되는 형태로 제작된 전자 장치(200)를 포함할 수 있다. 예를 들어, 전자 장치(200)는 안경(glass), 고글(goggles), 헬멧 또는 모자 중 적어도 하나의 형태로 구성될 수 있으나, 이에 한정되지 않는다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 양안(예: 좌안 및/또는 우안), 각각에 연동하는 복수 개의 투명 부재(예: 제 1 투명 부재(220) 및/또는 제 2 투명 부재(230))를 포함할 수 있다.

전자 장치(200)는 사용자에게 증강 현실(augumented reality; AR) 서비스와 관련된 영상을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 제1 투명 부재(220) 및/또는 제2 투명 부재(230)에 가상 객체를 투영하거나, 표시함으로써, 사용자가 전자 장치(200)의 제1 투명 부재(220) 및/또는 제2 투명 부재(230)를 통해 인지하는 현실에 적어도 하나의 가상 객체가 겹쳐 보이도록 할 수 있다.

도 2a를 참조하면, 일 실시예에 따른 전자 장치(200)는 본체부(223), 지지부(예: 제 1 지지부(221), 제 2 지지부(222)), 및 힌지부(예: 제1 힌지부(240-1), 제2 힌지부(240-2))를 포함할 수 있다.

다양한 실시예에 따르면, 본체부(223)와 지지부(221, 222)는 힌지부(240-1, 240-2)를 통해 작동적으로 연결될 수 있다. 본체부(223)는 사용자의 코에 적어도 부분적으로 거치될 수 있도록 형성된 부분을 포함할 수 있다.

다양한 실시예에 따르면, 지지부(221, 222)는 사용자의 귀에 걸쳐질 수 있는 형태의 지지 부재를 포함할 수 있다. 지지부(221, 222)는 왼쪽 귀에 거치되는 제 1 지지부(221) 및/또는 오른쪽 귀에 거치되는 제 2 지지부(222)를 포함할 수 있다.

다양한 실시예에 따르면, 제1 힌지부(240-1)는 제1 지지부(221)가 본체부(223)에 대해 회전 가능하도록 제1 지지부(221)와 본체부(223)를 연결할 수 있다. 제2 힌지부(240-2)는 제2 지지부(222)가 본체부(223)에 대해 회전 가능하도록 제2 지지부(222)와 본체부(223)를 연결할 수 있다. 다른 실시예에 따르면, 전자 장치(200)의 힌지부(240-1, 240-2)는 생략될 수 있다. 예를 들어, 본체부(223)와 지지부(221, 222)는 바로 연결될 수 있다.

다양한 실시예에 따르면, 본체부(223)는 적어도 하나의 투명 부재(예: 제1 투명 부재(220), 제2 투명 부재(230)), 적어도 하나의 디스플레이 모듈(예: 제1 디스플레이 모듈(214-1), 제2 디스플레이 모듈(214-2)), 적어도 하나의 카메라 모듈(예: 전방 촬영 카메라 모듈(213), 시선 추적 카메라 모듈(예: 제1 시선 추적 카메라 모듈(212-1), 제2 시선 추적 카메라 모듈(212-2)), 인식용 카메라 모듈(예: 제1 인식용 카메라 모듈(211-1), 제2 인식용 카메라 모듈(211-2)) 및 적어도 하나의 마이크(예: 제1 마이크(241-1), 제2 마이크(241-2))를 포함할 수 있다.

도 2a에서 설명되는 전자 장치(200)의 경우, 디스플레이 모듈(214-1, 214-2)에서 생성된 광이 투명 부재(220, 230)에 투영되어 정보를 표시할 수 있다. 예를 들어, 제1 디스플레이 모듈(214-1)에서 생성된 광은 제1 투명 부재(220)에 투영될 수 있고, 제2 디스플레이 모듈(214-2)에서 생성된 광은 제2 투명 부재(230)에 투영될 수 있다. 적어도 일부가 투명한 소재로 형성된 투명 부재(220, 230)에 가상 객체를 표시할 수 있는 광이 투영됨으로써, 사용자는 가상 객체가 중첩된 현실을 인지할 수 있다. 이 경우, 도 1에서 설명한 디스플레이 모듈(160)은 도 2에 도시된 전자 장치(200)에서 디스플레이 모듈(214-1, 214-2) 및 투명 부재(220, 230)를 포함하는 것으로 이해될 수 있다. 다만, 본 발명에서 설명되는 전자 장치(200)가 앞서 설명한 방식을 통해 정보를 표시하는 것으로 한정되는 것은 아니다. 전자 장치(200)에 포함될 수 있는 디스플레이 모듈은 다양한 방식의 정보 표시 방법을 포함하는 디스플레이 모듈로 변경될 수 있다. 예를 들어, 투명 부재(220, 230) 자체에 투명 소재의 발광 소자를 포함하는 디스플레이 패널이 내장된 경우에는 별도의 디스플레이 모듈(예: 제1 디스플레이 모듈(214-1), 제2 디스플레이 모듈(214-2))없이 정보를 표시할 수 있다. 이 경우, 도 1에서 설명한 디스플레이 모듈(160)은 투명 부재(220, 230)와 투명 부재(220, 230)에 포함되는 디스플레이 패널을 의미할 수 있다.

다양한 실시예에 따르면, 디스플레이 모듈(214-1, 214-2)을 통해 출력되는 가상 객체는 전자 장치(200)에서 실행되는 어플리케이션 프로그램과 관련된 정보 및/또는 사용자가 투명 부재(220, 230)를 통해 인지하는 실제 공간에 위치한 외부 객체와 관련된 정보를 포함할 수 있다. 외부 객체는 실제 공간에 존재하는 사물을 포함할 수 있다. 사용자가 투명 부재(220, 230)를 통해 인지하는 실제 공간을 이하에서는 사용자의 시야각(field of view; FoV) 영역으로 호칭하기로 한다. 예를 들어, 전자 장치(200)는 전자 장치(200)의 카메라 모듈(예: 촬영용 카메라 모듈(213))을 통해 획득한 실제 공간과 관련된 영상 정보에서 사용자의 시야각(FoV)으로 판단되는 영역의 적어도 일부에 포함된 외부 객체를 확인할 수 있다. 전자 장치(200)는 확인한 외부 객체와 관련된 가상 객체를 디스플레이 모듈(214-1, 214-2)을 통해 출력할 수 있다.

다양한 실시예에 따르면, 전자 장치(200)는 전자 장치(200)의 촬영용 카메라 모듈(213)을 통해 획득한 실제 공간과 관련된 영상 정보에 기반하여 증강 현실 서비스와 관련된 가상 객체를 함께 표시할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 사용자의 양안에 연동하여 배치된 디스플레이 모듈(예: 좌안에 연동되는 제1 디스플레이 모듈(214-1), 및/또는 우안에 연동되는 제2 디스플레이 모듈(214-2))을 기반으로 가상 객체를 표시할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 미리 설정된 설정 정보(예: 해상도(resolution), 프레임 레이트(frame rate), 밝기, 및/또는 표시 영역)를 기반으로 가상 객체를 표시할 수 있다.

다양한 실시예에 따르면, 투명 부재(220, 230)는 집광 렌즈(미도시) 및/또는 도파관(예: 제1 도파관(220-1) 및/또는 제2 도파관(230-1))을 포함할 수 있다. 예를 들어, 제1 도파관(220-1)은 제1 투명 부재(220)에 부분적으로 위치할 수 있고, 제2 도파관(230-1)은 제2 투명 부재(230)에 부분적으로 위치할 수 있다. 디스플레이 모듈(214-1, 214-2)에서 방출된 광은 투명 부재(220, 230)의 일면으로 입사될 수 있다. 투명 부재(220, 230)의 일면으로 입사된 광은 투명 부재(220, 230) 내에 위치한 도파관(220-1, 230-1)을 통해 사용자에게 전달될 수 있다. 도파관(220-1, 230-1)은 글래스, 플라스틱, 또는 폴리머로 제작될 수 있고, 내부 또는 외부의 일표면에 형성된 나노 패턴을 포함할 수 있다. 예를 들어, 나노 패턴은 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에 따르면, 투명 부재(220, 230)의 일면으로 입사된 광은 나노 패턴에 의해 도파관(220-1, 230-1) 내부에서 전파 또는 반사되어 사용자에게 전달될 수 있다. 일 실시예에 따르면, 도파관(220-1, 230-1)은 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 도파관(220-1, 230-1)은 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이 모듈(214-1, 214-2)로부터 방출된 광을 사용자의 눈으로 유도할 수 있다.

다양한 실시예에 따르면, 전자 장치(200)는 사용자의 시야각(FoV, field of view)에 연동되는 영상을 촬영하거나 및/또는 객체와의 거리를 측정하기 위한 촬영용 카메라 모듈(213)(예: RGB 카메라 모듈), 사용자가 바라보는 시선의 방향을 확인하기 위한 시선 추적 카메라 모듈(eye tracking camera module)(212-1, 212-2), 및/또는 일정 공간을 인식하기 위한 인식용 카메라 모듈(gesture camera module)(211-1, 211-2)을 포함할 수 있다. 예를 들어, 촬영용 카메라 모듈(213)은 전자 장치(200)의 전면 방향을 촬영할 수 있고, 시선 추적 카메라 모듈(212-1, 212-2)은 상기 촬영용 카메라 모듈(213)의 촬영 방향과 반대되는 방향을 촬영할 수 있다. 예를 들어, 제1 시선 추적 카메라 모듈(212-1)은 사용자의 좌안을 부분적으로 촬영하고, 제2 시선 추적 카메라 모듈(212-2)은 사용자의 우안을 부분적으로 촬영할 수 있다. 일 실시예에 따르면, 촬영용 카메라 모듈(213)는 HR(high resolution) 카메라 모듈 및/또는 PV(photo video) 카메라 모듈과 같은 고해상도의 카메라 모듈을 포함할 수 있다. 일 실시예에 따르면, 시선 추적 카메라 모듈(212-1, 212-2)은 사용자의 눈동자를 검출하여, 시선 방향을 추적할 수 있다. 추적된 시선 방향은 가상 객체를 포함하는 가상 영상의 중심이 상기 시선 방향에 연동하여 이동되는데 활용될 수 있다. 일 실시예에 따르면, 인식용 카메라 모듈(211-1, 211-2)은 미리 설정된 거리 이내(예: 일정 공간)에서의 사용자 제스처 및/또는 일정 공간을 감지할 수 있다. 인식용 카메라 모듈(211-1, 211-2)은 GS(global shutter)를 포함하는 카메라 모듈을 포함할 수 있다. 예를 들어, 인식용 카메라 모듈(211-1, 211-2)은 빠른 손동작 및/또는 손가락 등의 미세한 움직임을 검출 및 추적하기 위해, RS(rolling shutter) 현상이 감소될 수 있는 GS를 포함하는 카메라 모듈일 수 있다.

다양한 실시예에 따르면, 전자 장치(200)는 적어도 하나의 카메라 모듈(211-1, 211-2, 212-1, 212-2, 213)을 사용하여, 좌안 및/또는 우안 중에서 주시안 및/또는 보조시안에 연동되는 눈을 감지할 수 있다. 예를 들어, 전자 장치(200)는 외부 객체 또는 가상 객체에 대한 사용자의 시선 방향에 기반하여, 주시안 및/또는 보조시안에 연동되는 눈을 감지할 수 있다.

도 2a에 도시된 전자 장치(200)에 포함되는 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(213), 시선 추적 카메라 모듈(212-1, 212-2) 및/또는 인식용 카메라 모듈(211-1, 211-2))의 개수 및 위치는 한정되지 않을 수 있다. 예를 들어, 전자 장치(200)의 형태(예: 모양 또는 크기)에 기반하여 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(213), 시선 추적 카메라 모듈(212-1, 212-2) 및/또는 인식용 카메라 모듈(211-1, 211-2))의 개수 및 위치는 다양하게 변경될 수 있다.

다양한 실시예에 따르면, 전자 장치(200)는 적어도 하나의 카메라 모듈(예: 촬영용 카메라 모듈(213), 시선 추적 카메라 모듈(212-1, 212-2) 및/또는 인식용 카메라 모듈(211-1, 211-2))의 정확도를 높이기 위한 적어도 하나의 발광 장치(illumination LED)(예: 제1 발광 장치(242-1), 제2 발광 장치(242-2))를 포함할 수 있다. 예를 들어, 제1 발광 장치(242-1)는 사용자의 좌안에 연동하는 부분에 배치될 수 있고, 제2 발광 장치(242-2)는 사용자의 우안에 연동하는 부분에 배치될 수 있다. 일 실시예에서, 발광 장치(242-1, 242-2)는 시선 추적 카메라 모듈(212-1, 212-2)로 사용자의 눈동자를 촬영할 때 정확도를 높이기 위한 보조 수단으로 사용될 수 있고, 적외선 파장의 광을 발생시키는 IR LED를 포함할 수 있다. 또한, 발광 장치(242-1, 242-2)는 인식용 카메라 모듈(211-1, 211-2)로 사용자의 제스처를 촬영할 때 어두운 환경이나 여러 광원의 혼입 및 반사 빛 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때 보조 수단으로 사용될 수 있다.

다양한 실시예에 따르면, 전자 장치(200)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(예: 제1 마이크(241-1), 제2 마이크(241-2))를 포함할 수 있다. 예를 들어, 마이크(241-1, 241-2)는 도 1의 오디오 모듈(170)에 포함된 구성 요소일 수 있다.

다양한 실시예에 따르면, 제 1 지지부(221) 및/또는 제 2 지지부(222)는 인쇄 회로 기판(PCB, printed circuit board)(예: 제1 인쇄 회로 기판(231-1), 제2 인쇄 회로 기판(231-2)), 스피커(speaker)(예: 제1 스피커(232-1), 제2 스피커(232-2)), 및/또는 배터리(예: 제1 배터리(233-1), 제2 배터리(233-2))를 포함할 수 있다.

다양한 실시예에 따르면, 스피커(232-1, 232-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제 1 스피커(232-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제 2 스피커(232-2)를 포함할 수 있다. 스피커(232-1, 232-2)는 도 1의 오디오 모듈(170)에 포함된 구성 요소일 수 있다.

다양한 실시예에 따르면, 전자 장치(200)는 복수 개의 배터리(233-1, 233-2)가 구비될 수 있고, 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))을 통해, 인쇄 회로 기판(231-1, 231-2)에 전력을 공급할 수 있다. 예를 들어, 복수 개의 배터리(233-1, 233-2)는 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))과 전기적으로 연결될 수 있다.

앞에서는, 전자 장치(200)가 증강 현실을 표시하는 장치인 것으로 설명하였으나, 전자 장치(200)는 가상 현실(virtual reality; VR)을 표시하는 장치일 수 있다. 이 경우, 사용자가 투명 부재(220, 230)를 통해 실제 공간을 인식할 수 없도록 투명 부재(220, 230)는 불투명한 소재로 형성될 수 있다. 또한, 투명 부재(220, 230)는 디스플레이 모듈(160)로써 기능할 수 있다. 예를 들어, 투명 부재(220, 230)는 정보를 표시하는 디스플레이 패널을 포함할 수 있다.

도 2b는 다양한 실시예들에 따른 전자 장치에서 증강 현실 서비스를 제공하는 동작을 도시한 것이다.

도 2b를 참조하면, 전자 장치(200)는 사용자의 머리 부분에 착용되어, 사용자에게 영상을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 전자 장치(200)의 카메라(예: 도 1의 카메라 모듈(180))를 통해 획득한 실제 공간에 연동하는 이미지(예: 프리뷰 이미지)의 적어도 일부에 가상의 정보(예: 가상 객체)를 덧붙이는 증강 현실(AR: augmented reality) 서비스를 제공할 수 있다. 일 실시예에 따르면, 전자 장치(200)는 전자 장치(200)를 착용한 사용자의 시야각(FOV: field of view)에 연동하는 실제 공간의 적어도 일부(250)에 가상의 정보(예: 가상 객체)를 겹쳐 보이게 표시하는 증강 현실 서비스를 제공할 수 있다. 예를 들어, 전자 장치(200)는 전자 장치(200)의 착용자의 눈으로 유입되는 빛에 실제 공간의 적어도 일부(250)에 표시하기 위한 가상의 정보(예: 가상 객체)를 덧붙여 증강 현실 서비스를 제공할 수 있다. 일예로, 전자 장치(200)는 안경(glass), 고글(goggles), 헬멧 또는 모자 중 적어도 하나의 형태로 구성될 수 있으나, 이에 한정되지 않는다.

도 3은 다양한 실시예들에 따른 전자 장치의 구성을 블록도로 나타낸 것이다.

다양한 실시예들에 따른 전자 장치(300)는 프로세서(310), 메모리(320), 제1통신 모듈(331), 제1디스플레이 모듈(341) 및 카메라 모듈(350)을 포함할 수 있으며, 도시된 구성 중 일부가 생략 또는 치환 될 수도 있다. 전자 장치(300)는 도 1의 웨어러블 장치(101) 또는 도 2의 전자 장치(200)의 구성 및/또는 기능 중 적어도 일부를 더 포함할 수 있다. 도시된(또는 도시되지 않은) 전자 장치의 각 구성 중 적어도 일부는 상호 작동적으로(operatively), 기능적으로(functionally) 및/또는 전기적으로 (electrically) 연결될 수 있다.

다양한 실시예에 따르면, 프로세서(310)는 전자 장치(300)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 하나 이상의 프로세서들로 구성될 수 있다. 프로세서(310)는 도 1의 프로세서(120)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.

다양한 실시예에 따르면, 프로세서(310)가 전자 장치 상에서 구현할 수 있는 연산 및 데이터 처리 기능에는 한정됨이 없을 것이나, 이하에서는 가상 공간에서 외부 장치(305)를 원격으로 제어하는 특징에 대해 상세히 설명하기로 한다. 프로세서(310)의 동작들은 메모리(320)에 저장된 인스트럭션들을 로딩(loading)함으로써 수행될 수 있다.

다양한 실시예에 따르면, 전자 장치(300)는 하나 이상의 메모리(320)를 포함하며, 메모리(320)는 메인 메모리(main memory) 및 스토리지(storage)를 포함할 수 있다. 메인 메모리는 DRAM(dynamic random access memory), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등 휘발성 메모리로 구성될 수 있다. 또는 메모리(320)는 비휘발성 메모리(non-volatile memory)로써, 대용량의 스토리지(storage) 장치를 포함할 수 있다. 스토리지(storage)는 OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 메모리(320)는 다양한 파일 데이터들을 저장할 수 있으며, 프로세서(310)의 동작에 따라 저장된 파일 데이터들은 업데이트 될 수 있다.

다양한 실시예에 따르면, 제1통신 모듈(331)은 프로세서(310)의 제어에 따라 무선 네트워크를 통해 외부 장치(305)의 제2통신 모듈(332)과 통신할 수 있다. 제1통신 모듈(331)은 셀룰러 네트워크(예: LTE(long term evolution) 네트워크, 5G 네트워크, NR(new radio) 네트워크) 및 근거리 네트워크(예: Wi-Fi, bluetooth)로부터 데이터를 송수신 하기 위한 하드웨어 및 소프트웨어 모듈들을 포함할 수 있다. 제1통신 모듈(331)은 도 1의 통신 모듈(190)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.

다양한 실시예에 따르면, 제1디스플레이 모듈(341)은 프로세서(310)의 제어에 따라 다양한 영상을 표시할 수 있다. 제1디스플레이 모듈(341)은 디스플레이 패널(미도시)이 구동될 수 있도록 전기적으로 연결될 수 있다. 디스플레이 패널(미도시)은 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 또는 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이 중 어느 하나로 구현될 수 있으며, 이에 한정되지는 않는다. 디스플레이 패널(미도시)은 사용자의 신체 일부(예: 손가락) 또는 입력 장치(예: 스타일러스 펜)를 이용한 터치 및/또는 근접 터치(또는 호버링) 입력을 감지하는 터치 스크린으로 형성될 수 있다. 제1디스플레이 모듈(341)은 도 1의 디스플레이 모듈(160)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.

일 실시예에 따르면, 외부 장치(305)는 예를 들어, 데스크탑을 포함할 수 있다. 외부 장치(305)는 디스플레이 장치(예:모니터) 및/또는 인터페이스(예: 키보드, 마우스)와 작동적으로 연결될 수 있다. 이하 디스플레이 장치는 모니터로 가정하여 설명하지만 이에 한정되는 것은 아니며, 시각적이나 입체적인 수신, 저장 및 전달을 위해 정보를 나타내는 모든 장치를 포함될 수 있다. 이하 인터페이스는 키보드나 마우스를 예로 들어 설명하지만 이에 한정되는 것은 아니며, 컴퓨터 주변 장치 중 사용자 인터페이스를 담당하는 모든 장치를 포함할 수 있다.

다양한 실시예들에 따르면, 전자 장치(300)는 프레임, 프레임에 의해 지지되는 윈도우 부재, 윈도우 부재로 시각적 정보를 출력하는 디스플레이 모듈(예: 제1디스플레이 모듈(341)), 프레임의 전방을 촬영하도록 프레임에 배치되는 카메라 모듈(350), 통신 모듈(예: 제1통신 모듈(331)), 메모리(320) 및 프로세서(310)를 포함할 수 있다.

다양한 실시예들에 따르면, 메모리(320)는 실행 시에, 프로세서(310)가 통신 모듈(331)을 이용하여 외부 장치(305)와 통신 연결을 수립하고, 외부 장치(305)와 연결된 적어도 하나의 제1디스플레이(341)의 표시 속성 정보를 획득하고, 획득한 표시 속성 정보에 기초하여 적어도 하나의 제1디스플레이(341)와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 전자 장치(300)를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하도록 설정하는 인스트럭션들(instructions)을 저장할 수 있다. 이 때 표시 속성 정보는 제1디스플레이(341)의 배율, 해상도, 디스플레이의 방향 또는 다중 디스플레이 사용 여부 중 적어도 어느 하나를 포함할 수 있다.

다양한 실시예들에 따르면 전자 장치(300)는 제1통신 모듈(331)을 이용하여 외부 장치(305)와 작동적으로 연결될 수 있다. 전자 장치(300)는 제1통신 모듈(331)을 이용하여 외부 장치(305)와 연결된 디스플레이 장치(예:모니터) 및/또는 인터페이스(예: 키보드, 마우스)에 대한 정보를 요청할 수 있다. 외부 장치(305)는 제2디스플레이 모듈(342)을 이용하여 연결된 디스플레이 장치(예:모니터)의 디스플레이 설정(예: 배율, 레이아웃, 해상도, 방향 등)을 획득하고, 제2통신 모듈(342)을 이용하여 획득된 디스플레이 설정 정보를 전자 장치(300)로 전달할 수 있다.

다양한 실시예들에 따르면 전자 장치(300)는 카메라 모듈(350)을 포함할 수 있다. 카메라 모듈(350)은 도 1의 카메라 모듈(180) 또는 도 2의 적어도 하나의 카메라 모듈(예: 전방 촬영 카메라 모듈(213), 시선 추적 카메라 모듈(예: 제1 시선 추적 카메라 모듈(212-1), 제2 시선 추적 카메라 모듈(212-2), 인식용 카메라 모듈(예: 제1 인식용 카메라 모듈(211-1), 제2 인식용 카메라 모듈(211-2))의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 전자 장치(300)의 카메라 모듈(350)을 이용하여 획득한 실제 공간과 관련된 영상 정보에서 사용자의 시야각(FoV)으로 판단되는 영역의 적어도 일부에 포함된 외부 객체(object)를 확인할 수 있다.

일 실시예에 따르면, 메모리(320)는 카메라 모듈(350)을 이용하여 전자 장치(300)를 착용한 사용자의 시야각 내에서 외부 장치(305)와 연결된 적어도 하나의 제1디스플레이(341)를 촬영하고, 적어도 하나의 제1디스플레이(341)의 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 인스트럭션을 저장할 수 있다

다양한 실시예들에 따르면 전자 장치(300)는 통신 모듈(예: 제1통신 모듈(331))을 이용하여 외부 장치(305)와 작동적으로 연결하고, 외부 장치(305)와 연결된 적어도 하나 이상의 디스플레이 장치의 개수, 배율, 레이아웃 및 해상도 중 적어도 어느 하나와 적어도 하나 이상의 인터페이스의 개수, 종류 및 형태 중 적어도 어느 하나를 포함하는 관련 정보를 수신하고, 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스에 연동되도록 디스플레이 모듈(예: 제1디스플레이 모듈(341))을 이용하여 가상 공간에 제2모니터 및 제2인터페이스를 표시하며, 가상 공간에 표시된 제2모니터 및 제2인터페이스를 외부 장치(305)와 작동적으로 연결하여 가상 공간에서 외부 장치(305)를 원격으로 제어할 수 있다.

도 4는 다양한 실시예들에 따른 전자 장치가 현실 환경과 동일한 가상의 물리적 환경을 제공하는 동작을 도시한 것이다.

일 실시예에 따르면, 메모리(예: 도 3의 메모리(320))는 카메라 모듈(예: 도 3의 카메라 모듈(350))을 이용하여 전자 장치(300)를 착용한 사용자의 시야각 내에서 외부 장치(305)와 연결된 적어도 하나의 제1디스플레이를 촬영하고, 적어도 하나의 제1디스플레이의 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 인스트럭션을 저장할 수 있다.

도 4에 따르면, 전자 장치(300)는 제1통신 모듈(331)을 이용하여 외부 장치(305)로부터 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터(411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(413 및 415)에 대한 정보를 수신할 수 있다. 일 실시예에 따르면, 전자 장치(300)는 카메라 모듈(350)을 이용하여 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터(411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(413 및 415)를 인식할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 카메라 모듈(350)을 이용하여 인식된 정보에 기반하여 외부 장치(예: 도 3의 외부 장치(305))와 연결된 적어도 하나 이상의 제1모니터(411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(413 및 415)에 연동되도록 가상 공간(420)에 제2모니터(421a 및 421b) 및 제2인터페이스(423 및 425)를 표시할 수 있다.

도 4에 따르면, 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터(411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(413 및 415)는 제1공간(410)에 위치할 수 있으며, 제2모니터(421a 및 421b) 및 제2인터페이스(423 및 425)는 가상 공간(420)에 배치될 수 있다. 제1공간(410)은 현실 공간의 일부분을 포함할 수 있고, 주변 환경 또는 사용자의 설정에 따라 그 크기가 달라질 수 있으며, 특정한 공간으로 한정되는 것은 아닐 수 있다.

일 실시예에 따르면, 제1공간(410) 상의 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터(411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(413 및 415)는 가상 공간(420) 상의 제2모니터(421a 및 421b) 및 제2인터페이스(423 및 425)와 작동적으로 연결될 수 있다. 전자 장치(300)는 통신 모듈(430)을 이용하여 제1공간(410) 상의 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터(411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(413 및 415)를 원격 제어할 수 있다.

일 실시예에 따르면, 메모리(320)는 적어도 하나의 제1디스플레이(341)의 물리 정보에 기초하여 적어도 하나의 제1디스플레이(341)와 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나가 동일하도록 적어도 하나의 가상 객체를 표시하는 인스트럭션들(instructions)을 저장할 수 있다. 이 때 물리 정보는 제1디스플레이(341)의 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 의미할 수 있다.

일 실시예에 따르면, 메모리(320)는 카메라 모듈(350)을 이용하여 전자 장치(300)를 착용한 사용자의 시야각 내에서 외부 장치(305)와 연결된 적어도 하나의 사용자 인터페이스(user interface)를 촬영하고, 적어도 하나의 사용자 인터페이스의 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 인스트럭션들을 저장할 수 있다.

일 실시예에 따르면, 메모리(320)는 획득한 적어도 하나의 사용자 인터페이스의 물리 정보에 기초하여 적어도 하나의 사용자 인터페이스와 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나가 동일하도록 적어도 하나의 가상 객체를 표시하는 인스트럭션들(instructions)을 저장할 수 있다. 이 때 사용자 인터페이스의 물리 정보는 적어도 하나의 사용자 인터페이스의 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함할 수 있다.

도 5는 다양한 실시예들에 따른 전자 장치가 현실 환경과 동일한 가상의 물리적 환경을 제공하는 과정을 구성 단위로 도시한 것이다.

도 5에 따르면, 제1공간(510)은 현실 공간의 일부분을 포함할 수 있고, 주변 환경 또는 사용자의 설정에 따라 그 크기가 달라질 수 있으며, 특정한 공간으로 한정되는 것은 아닐 수 있다. 제1공간(510)은 책상(511), 외부 장치(513a)(예: 데스크탑), 적어도 하나 이상의 디스플레이 장치(예: 제1모니터(513b) 내지 제N모니터(513c)), 적어도 하나 이상의 인터페이스(513d)(예:키보드, 마우스) 및 적어도 하나 이상의 일반 객체(515a, 515b)(예: 시계, 달력)을 포함할 수 있다. 일반 객체는 전자 장치(300)와 통신 연결이 불가능한 객체(object)를 의미할 수 있다.

도 5에 따르면, 현실 공간은 제1공간(510)으로 한정되는 것은 아니며, 제2공간(520) 내지 제N공간(550)을 더 포함할 수 있다. 제2공간(520) 내지 제N공간(550)은 현실 공간의 일부분으로서 주변 환경 또는 사용자의 설정에 따라 그 크기가 달라질 수 있다.

일 실시예에 따르면, 전자 장치(300)는 통신 모듈(예: 제1통신 모듈(331))을 이용하여 외부 장치(305)로부터 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스 관련 정보를 수신하고, 수신된 외부 장치(305)와 연결된 제1모니터 및 제1인터페이스 관련 정보를 이용하여 제1모니터의 개수, 배율, 레이아웃 및 해상도와 제1인터페이스의 종류 및 형태를 인식하고, 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스에 연동되도록 디스플레이 모듈(예: 제1디스플레이 모듈(341))을 이용하여 가상 공간(530)에 제2모니터 및 제2인터페이스를 표시하며, 가상 공간에 표시된 제2모니터 및 제2인터페이스를 외부 장치(305)와 작동적으로 연결하여 가상 공간에서 외부 장치(305)를 원격으로 제어할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 제1공간(510) 상의 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스에 연동되도록 가상의 제1공간(510a) 상에 가상의 책상(511), 외부 장치(513a)(예: 데스크탑), 적어도 하나 이상의 디스플레이 장치(예: 제1모니터(513b) 내지 제N모니터(513c)), 적어도 하나 이상의 인터페이스(513d)(예:키보드, 마우스) 및 적어도 하나 이상의 일반 객체(515a, 515b)(예: 시계, 달력)를 표시할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 제1공간(510) 이외에도 제2공간(520) 내지 제N공간(550)을 가상 공간(530)상에 구성할 수 있다. 전자 장치(300)는 제1공간(510) 또는 제2공간(520) 내지 제N공간(550) 중 적어도 어느 하나를 선택할 수 있는 가이드화면을 제공하고, 가이드 화면을 통한 사용자의 입력에 기반하여 가상 공간(530)상에 연동되는 구성(예: 가상의 책상(511), 외부 장치(513a)(예: 데스크탑), 적어도 하나 이상의 디스플레이 장치(예: 제1모니터(513b) 내지 제N모니터(513c)), 적어도 하나 이상의 인터페이스(513d)(예:키보드, 마우스) 및 적어도 하나 이상의 일반 객체(515a, 515b)(예: 시계, 달력))을 표시할 수 있다.

또한, 전자 장치(300)는 가상 공간(530)이 구현되는 특정 환경(예: 카페) 내의 구성 요소(예: 책상(535a), 일반 객체(535b))를 제1공간(510)과 대응되는 구성과 함께 표시할 수 있다.

일 실시예에 따르면, 가상 공간(530)상에 대응되는 구성(예: 가상의 책상(511), 외부 장치(513a)(예: 데스크탑), 적어도 하나 이상의 디스플레이 장치(예: 제1모니터(513b) 내지 제N모니터(513c)) 및 적어도 하나 이상의 인터페이스(513d)(예:키보드, 마우스))은 제1공간(510)상의 책상(511), 외부 장치(513a)(예: 데스크탑), 적어도 하나 이상의 디스플레이 장치(예: 제1모니터(513b) 내지 제N모니터(513c)) 및 적어도 하나 이상의 인터페이스(513d)(예:키보드, 마우스)와 통신 모듈(505)을 이용하여 작동적으로 연결될 수 있다.

도 6a 및 도 6b는 다양한 실시예들에 따른 전자 장치가 실제 객체들의 위치를 인식하고 가상 객체들의 위치를 결정하는 상황을 도시한 것이다.

일 실시예에 따르면, 전자 장치(300)는 전자 장치(300)의 시야각 내에서 절대 좌표로 표시되는 영역(601)을 설정하고, 카메라 모듈(예: 도 3의 카메라 모듈(350))을 이용하여 영역 내에 배치된 객체(object)(611a, 611b, 613, 615)를 인식하며, 인식된 적어도 하나 이상의 객체(611a, 611b, 613, 615)에 대해 특정한 지점을 기준으로 하여 상대 좌표를 설정할 수 있다. 또한, 전자 장치(300)는 전자 장치(300)의 시야각 내에서 절대 좌표로 표시되는 영역의 크기(602)를 조절할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다. 절대 좌표는 가로 축 및 세로 축을 포함하는 사각형 형태의 2차원 좌표 또는 가로, 세로 및 높이 축을 포함하는 3차원 좌표를 의미할 수 있다.

도 6b에 따르면, 일 실시예에 따르면, 전자 장치(300)는 전자 장치(300)의 시야각 내에서 절대 좌표로 표시되는 영역(603)을 설정하고, 카메라 모듈(예: 도 3의 카메라 모듈(350))을 이용하여 영역 내에 배치된 객체(object)(611a, 611b, 621a, 621b)를 인식할 수 있다.

도 6b에 따르면, 전자 장치(300)의 시야각 내에서 절대 좌표로 표시되는 영역(603) 내의 디스플레이 장치(데스크탑의 제1모니터(621a), 데스크탑의 제2모니터(621b))는 적어도 하나 이상일 수 있다. 전자 장치(300)는 카메라 모듈(350)을 이용하여 제1모니터(621a) 및 제2모니터(621b)의 물리적 특성(책상으로부터의 높이, 배치, 상대적인 간격, 사용자로부터의 거리 등)을 인식하고, 가상 공간(예: 도 4의 가상 공간(420))에 구현할 수 있다.

전자 장치(300)는 통신 모듈(예: 도 3의 제1통신 모듈(331))을 이용하여 외부 장치(예: 도 3의 외부 장치(305))와 연결된 디스플레이 장치(데스크탑의 제1모니터(621a), 데스크탑의 제2모니터(621b))의 디스플레이 설정(예: 배율, 레이아웃, 해상도, 방향 등)을 획득하고, 획득한 정보를 이용하여 가상 공간(420)의 가상 디스플레이 장치에 동일하게 적용시킬 수 있다.

도 7a는 다양한 실시예들에 따른 전자 장치와 연결될 수 있는 외부 장치가 하나인 상황을 도시한 것이고, 도 7b는 다양한 실시예들에 따른 전자 장치와 연결될 수 있는 외부 장치가 복수인 상황을 도시한 것이다.

도 7a에서, 다양한 실시예들에 따르면 전자 장치(300)는 통신 모듈(예: 제1통신 모듈(331))을 이용하여 제1외부 장치(710)로부터 제1외부 장치(710)와 연결된 적어도 하나 이상의 제1모니터(711a, 711b) 및 적어도 하나 이상의 제1인터페이스(713, 715) 관련 정보를 수신하고, 수신된 외부 장치(710)와 연결된 제1모니터(711a, 711b) 및 제1인터페이스(713, 715) 관련 정보를 이용하여 제1모니터(711a, 711b)의 개수, 배율, 레이아웃 및 해상도와 제1인터페이스(713, 715)의 종류 및 형태를 인식하고, 제1외부 장치(710)와 연결된 적어도 하나 이상의 제1모니터(711a, 711b) 및 적어도 하나 이상의 제1인터페이스(713, 715)에 대응되도록 디스플레이 모듈(예: 제1디스플레이 모듈(341))을 이용하여 가상 공간에 제2모니터 및 제2인터페이스를 표시하며, 가상 공간에 표시된 제2모니터 및 제2인터페이스를 제1외부 장치(710)와 작동적으로 연결하여 가상 공간에서 외부 장치(710)를 원격으로 제어할 수 있다.

도 7b에 따르면, 전자 장치(300)는 제1외부 장치(710)외에 제2외부 장치(720)와 추가적으로 연결될 수 있다. 이 경우 전자 장치(300)는 제1외부 장치(710)와 마찬가지로 제1통신 모듈(331)을 이용하여 제2외부 장치(720)와 연결될 수 있다. 또한, 제2외부 장치(720)와 연결된 적어도 하나 이상의 모니터 및 적어도 하나 이상의 인터페이스에 대응되도록 가상 공간에 제2모니터 및 제2인터페이스를 표시하며, 가상 공간에 표시된 제2모니터 및 제2인터페이스를 제2외부 장치(720)와 작동적으로 연결하여 가상 공간에서 제2외부 장치(720)를 원격으로 제어할 수 있다.

도 8a 및 도 8b는 다양한 실시예들에 따른 전자 장치가 가상 공간에 물리적인 환경과 동일한 환경을 구현하고, 가상 객체를 편집하는 상황을 도시한 것이다.

도 8a 및 도 8b에 따르면, 외부 장치(예: 도 3의 외부 장치(305))와 연결된 적어도 하나 이상의 제1모니터(811a 및 811b) 및 적어도 하나 이상의 제1인터페이스(예: 본체(801))는 제1공간(810)에 위치할 수 있으며, 제2모니터(821a 및 821b) 및 제2인터페이스(예: 가상 본체(802))는 가상 공간(820)에 배치될 수 있다. 제1공간(810)은 현실 공간의 일부분을 포함할 수 있고, 주변 환경 또는 사용자의 설정에 따라 그 크기가 달라질 수 있으며, 특정한 공간으로 한정되는 것은 아닐 수 있다.

도 8a에 따르면, 적어도 하나 이상의 제1모니터(811a 및 811b)는 제1책상(815) 위에 배치될 수 있다. 일 실시예에 따르면, 가상 공간(820)이 구현되는 특정 환경(예: 카페)은 마찬가지로 제2책상(825)을 포함할 수 있다. 이 때 제1책상(815) 및 제2책상(825)의 높이는 동일하지 않을 수 있으며, 전자 장치(300)는 카메라 모듈(예: 도 3의 카메라 모듈(350))을 이용하여 이러한 높이 차이를 인식하고 보정할 수 있다. 예를 들어, 전자 장치(300)는 제1책상(815)을 기준으로 제1모니터(811a)의 높이가 y임을 인식할 수 있다. 이후 전자 장치(300)는 가상 공간(820) 상에 제2모니터(821a)를 구현하면서 제2책상(825)을 기준으로 높이가 y인 곳에 제2모니터(821a)를 배치하는 것이 아니라, 제2책상(825)의 높이를 제1책상(815)과 동일하게 보정한 후 보정된 지점을 기준으로 높이가 y인 곳에 제2모니터(821a)를 배치할 수 있다. 전자 장치(300)는 는 다른 제2모니터(821b)에 대해서도 마찬가지로 배치를 결정할 수 있다. 전자 장치(300)는 이러한 배치를 통하여 실제 공간과 동일한 환경을 사용자에게 제공할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 가상 공간(820)에 표시된 제2모니터(821a 및 821b) 및 제2인터페이스(802)에 대하여 배치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 가이드 화면을 통한 사용자의 입력에 기초하여 가상 공간(820)에 표시된 제2모니터(821a 및 821b) 및 제2인터페이스(802)를 편집할 수 있다.

도 8b에 따르면, 전자 장치(300)는 제2모니터(821a 및 821b)의 크기를 변경할 수 있다. 이 때 제2모니터(821a 및 821b)의 해상도는 제1모니터(811a 및 811b)와 동일한 채로 유지될 수 있다. 또한, 전자 장치(300)는 일부 객체(예: 모니터)를 더 추가할 수 있는 가이드 화면을 제공하고, 가이드 화면 상의 사용자의 입력에 기초하여 일부 객체를 추가로 표시할 수 있다. 전자 장치(300)는 반대로 일부 객체를 삭제할 수 있는 가이드 화면을 제공하고, 가이드 화면 상의 사용자의 입력에 기초하여 일부 객체를 삭제할 수 있다.

일 실시예에 따르면, 메모리(320)는 사용자의 입력에 기반하여 전자 장치(300)를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 인스트럭션을 저장하며, 적어도 하나의 가상 객체는 디스플레이를 포함할 수 있다.

일 실시예에 따르면, 메모리(320)는 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하고, 가이드를 통한 사용자 입력을 인식하는 인스트럭션을 저장할 수 있다.

일 실시예에 따르면, 메모리(320)는 사용자의 입력에 기반하여 전자 장치(300)를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 인스트럭션을 저장하며, 적어도 하나의 가상 객체는 사용자 인터페이스를 포함할 수 있다.

도 9는 다양한 실시예들에 따른 전자 장치에서 가상 공간에 표시되는 객체를 편집하는 상황을 도시한 것이다.

일 실시예에 따르면, 전자 장치(300)는 가상 공간(예: 도 4의 가상 공간(420)) 내 전자 장치(300)와 통신 연결이 불가능한 객체(object)(915a, 915b)에 대하여 배치를 변경하거나 또는 삭제할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다.

일 실시예에 따르면, 일반 객체(915a, 915b)는 가상 공간(420) 상에서 정보 제공 또는 장식의 역할을 제공할 수 있다. 전자 장치(300)는 일반 객체(915a, 915b)의 종류(예: 시계, 달력)를 인식하고, 미리 설정된 위젯 기능을 수행하도록 제어할 수 있다. 예를 들어, 전자 장치(300)는 시계(915a)를 인식하고 시간을 알려주는 기능을 수행하도록 제어할 수 있다. 또는 달력(915b)을 인식하고, 날짜를 알려주는 기능을 수행하도록 제어할 수 있다. 일반 객체(915a, 915b)의 수나 종류는 이것으로 한정된 것은 아니며, 가상 공간(420)을 구현하는 장소(예: 집, 카페)의 상황에 따라 달라질 수 있다.

일 실시예에 따르면, 전자 장치(300)는 가상 공간(420)에서 사용자가 일반 객체(915a, 915b)를 선택하면 다른 기능을 하는 위젯(widget)으로 설정할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다. 전자 장치(300)는 사용자의 입력에 기초하여 일반 객체(915a, 915b)가 수행하는 기능을 변경시킬 수 있다. 예를 들어, 전자 장치(300)는 시계(915a)에 대한 사용자의 선택이 있으면, 시계(915a)를 이동시키거나, 삭제하거나 또는 위젯 기능을 부여할 수 있는 가이드 화면을 표시할 수 있다. 위젯 기능은 제조 당시부터 미리 설정될 수 있으며, 시계(915a)와 관련된 타이머 기능 외에도 달력, 날씨 등 여러 기능을 더 포함할 수 있다. 전자 장치(300)는 사용자가 가이드 화면 상에서 날씨 기능을 선택하는 경우 시계(915a)가 위치하던 자리에서 시계를 삭제하고, 날씨 위젯을 표시하거나 또는 시계와 날씨 위젯을 함께 표시할 수 있다. 전자 장치(300)가 설정할 수 있는 위젯 기능은 이에 한정되지 않는다.

일 실시예에 따르면, 메모리(320)는 전자 장치(300)를 착용한 사용자의 시야각에 대응하는 영역 내 적어도 하나의 가상 객체 상에 미리 설정된 위젯(widget)을 표시하거나 또는 사용자가 적어도 하나의 가상 객체를 선택하고, 다른 기능을 수행하는 위젯(widget)을 표시하도록 설정할 수 있는 가이드를 제공하는 인스트럭션을 저장하며, 위젯은 날짜, 시간, 날씨 또는 전자 장치에 설치된 어플리케이션의 화면 중 적어도 어느 하나를 표시하는 기능을 포함할 수 있다.

도 10은 다양한 실시예들에 따른 전자 장치의 증강 현실 서비스 제공 방법의 순서도를 나타낸 것이다.

도 10을 통하여 설명되는 동작들은 컴퓨터 기록 매체 또는 메모리(도 3의 320)에 저장될 수 있는 인스트럭션들을 기반으로 구현될 수 있다. 도시된 방법은 앞서 도 1 내지 도 9를 통해 설명한 전자 장치(예: 도 3의 전자 장치(300))에 의해 실행될 수 있으며, 앞서 설명한 바 있는 기술적 특징은 이하에서 생략하기로 한다.

다양한 실시예들에 따르면, 전자 장치(300)의 증강 현실 서비스 제공 방법은 통신 모듈(예: 도 3의 제1통신 모듈(331))을 이용하여 외부 장치(예: 도 3의 외부 장치(305))로부터 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스 관련 정보를 수신하는 동작, 수신된 외부 장치(305)와 연결된 제1모니터 및 제1인터페이스 관련 정보를 이용하여 제1모니터의 개수, 배율, 레이아웃 및 해상도와 제1인터페이스의 종류 및 형태를 인식하는 동작, 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스에 연동되도록 디스플레이 모듈(예: 도 3의 제1디스플레이 모듈(341))을 이용하여 가상 공간(예: 도 4의 가상 공간(420))에 제2모니터 및 제2인터페이스를 표시하는 동작 및 가상 공간(420)에 표시된 제2모니터 및 제2인터페이스를 외부 장치와 연결하여 가상 공간(420)에서 외부 장치(305)를 원격으로 제어하는 동작을 포함할 수 있다.

동작 1010에서 전자 장치(300)는 가상 공간(420)으로 복사하고자 하는 제1공간(예: 도 4의 제1공간(410))의 영역을 설정할 수 있다. 이는 도 6a에서 설명된 바 있다. 제1공간(410)은 현실 공간의 일부분을 포함할 수 있고, 주변 환경 또는 사용자의 설정에 따라 그 크기가 달라질 수 있으며, 특정한 공간으로 한정되는 것은 아닐 수 있다.

일 실시예에 따르면, 전자 장치(300)는 전자 장치(300)의 시야각 내에서 절대 좌표로 표시되는 영역을 설정하고, 카메라 모듈(예: 도 3의 카메라 모듈(350))을 이용하여 영역 내에 배치된 객체(object)를 인식하며, 인식된 적어도 하나 이상의 객체에 대해 상대 좌표를 설정할 수 있다. 또한, 전자 장치(300)는 전자 장치(300)의 시야각 내에서 절대 좌표로 표시되는 영역의 크기를 조절할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다.

동작 1020에서 전자 장치(300)는 제1통신 모듈(예: 도 3의 제1통신 모듈(331))을 이용하여 외부 장치(예: 도 3의 외부 장치(305))와 작동적으로 연결될 수 있다. 전자 장치(300)는 제1통신 모듈(331)을 이용하여 외부 장치(305)와 작동적으로 연결된 디스플레이 장치 및/또는 인터페이스를 원격으로 제어할 수 있다. 여기서 외부 장치(305)는 동작 1010에서 복사하고자 하는 제1공간(410) 상에 배치된 컴퓨팅 장치를 의미할 수 있다. 이는 도 3 내지 도 5에서 설명된 바 있다.

동작 1030에서 전자 장치(300)는 제1통신 모듈(331)을 이용하여 외부 장치(305)와 연결된 디스플레이 장치(예:모니터) 및/또는 인터페이스(예: 키보드, 마우스)에 대한 정보를 요청할 수 있다. 외부 장치(305)는 제2디스플레이 모듈(342)을 이용하여 연결된 디스플레이 장치(예:모니터)의 디스플레이 설정(예: 배율, 레이아웃, 해상도, 방향 등)을 획득하고, 제2통신 모듈(342)을 이용하여 획득된 디스플레이 설정 정보를 전자 장치(300)로 전달할 수 있다. 전자 장치(300)는 통신 모듈(331)을 이용하여 외부 장치(305)와 연결된 디스플레이 장치(예: 도 6의 데스크탑의 제1모니터(621a), 데스크탑의 제2모니터(621b))의 디스플레이 설정(예: 배율, 레이아웃, 해상도, 방향 등)을 획득하고, 획득한 정보를 이용하여 가상 공간(420)의 가상 디스플레이 장치에 동일하게 적용시킬 수 있다. 이는 도 4 내지 도 6b에서 설명된 바 있다.

동작 1040에서 전자 장치(300)는 저장된 제1공간(410)의 값을 이용하여 가상 공간(420)에 가상 현실을 구성할 수 있다. 이는 도 5에서 설명된 바 있다.

일 실시예에 따르면, 전자 장치(300)는 카메라 모듈(350)을 이용하여 인식된 정보에 기반하여 외부 장치(예: 도 3의 외부 장치(305))와 연결된 적어도 하나 이상의 제1모니터(예: 도 4의 411a 및 411b) 및 적어도 하나 이상의 제1인터페이스(예: 도 4의 413 및 415)에 연동되도록 가상 공간(420)에 제2모니터(예: 도 4의 421a 및 421b) 및 제2인터페이스(예: 도 4의 423 및 425)를 표시할 수 있다.

예를 들어, 도 5에 따르면, 전자 장치(300)는 제1공간(510) 상의 외부 장치(305)와 연결된 적어도 하나 이상의 제1모니터 및 적어도 하나 이상의 제1인터페이스에 연동되도록 가상의 제1공간(510a) 상에 가상의 책상(511), 외부 장치(513a)(예: 데스크탑), 적어도 하나 이상의 디스플레이 장치(예: 제1모니터(513b) 내지 제N모니터(513c)), 적어도 하나 이상의 인터페이스(513d)(예:키보드, 마우스) 및 적어도 하나 이상의 일반 객체(515a, 515b)(예: 시계, 달력)를 표시할 수 있다.

동작 1050에서 전자 장치(300)는 가상 공간(420)에 구현된 가상 현실을 실제 공간에 맞추어 편집할 수 있다. 이는 도 8a 내지 도 9에서 설명된 바 있다.

일 실시예에 따르면, 전자 장치(300)는 가상 공간(420) 내 전자 장치(300)와 통신 연결이 불가능한 객체(object)(예: 도 9의 915a, 915b)에 대하여 배치를 변경하거나 또는 삭제할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다.

일 실시예에 따르면, 전자 장치(300)는 가상 공간(420) 내 전자 장치(300)와 통신 연결이 불가능한 객체(object)(915a, 915b)에 대하여 객체의 종류를 인식하고, 이에 연동하여 미리 설정된 위젯(widget) 기능을 부여하거나 또는 사용자가 객체를 선택하면 다른 기능을 하는 위젯(widget)으로 설정할 수 있는 가이드 화면을 제공하고, 가이드 화면을 통한 사용자의 입력을 인식할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 카메라 모듈을 이용하여 전자 장치를 착용한 사용자의 시야각 내에서 외부 장치와 연결된 적어도 하나의 제1디스플레이를 촬영하는 동작 및 적어도 하나의 제1디스플레이의 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 동작을 더 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 적어도 하나의 제1디스플레이의 물리 정보에 기초하여 적어도 하나의 가상 객체가 적어도 하나의 제1디스플레이와 동일한 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 갖도록 표시하는 동작을 더 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 카메라 모듈을 이용하여 전자 장치를 착용한 사용자의 시야각 내에서 외부 장치와 연결된 적어도 하나의 사용자 인터페이스(user interface)를 촬영하는 동작 및 적어도 하나의 사용자 인터페이스의 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 동작을 더 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 획득한 적어도 하나의 사용자 인터페이스의 속성 정보에 기초하여 적어도 하나의 가상 객체가 적어도 하나의 사용자 인터페이스와 동일한 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 갖도록 표시하는 동작을 더 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 사용자의 입력에 기반하여 전자 장치를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 동작을 포함할 수 있다. 이 때 적어도 하나의 가상 객체는 디스플레이를 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하는 동작 및 가이드를 통한 사용자 입력을 인식하는 동작을 더 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 사용자의 입력에 기반하여 전자 장치를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 동작, 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하는 동작 및 가이드를 통한 사용자 입력을 인식하는 동작을 더 포함할 수 있다. 이 때 적어도 하나의 가상 객체는 사용자 인터페이스를 포함할 수 있다.

일 실시예에 따르면, 전자 장치의 증강 현실 서비스 제공 방법은 전자 장치를 착용한 사용자의 시야각에 대응하는 영역 내 적어도 하나의 가상 객체에 대하여 미리 설정된 위젯(widget)을 표시하는 동작 및 사용자가 적어도 하나의 가상 객체를 선택하고, 다른 기능을 수행하는 위젯(widget)을 표시하도록 설정할 수 있는 가이드를 제공하는 동작을 더 포함할 수 있다. 이 때 위젯은 날짜, 시간, 날씨 또는 전자 장치에 설치된 어플리케이션의 화면 중 적어도 어느 하나를 표시하는 기능을 포함할 수 있다.

Claims

전자 장치에 있어서,
프레임;
상기 프레임에 의해 지지되는 윈도우 부재;
상기 윈도우 부재로 시각적 정보를 출력하는 디스플레이 모듈;
상기 프레임의 전방을 촬영하도록 상기 프레임에 배치되는 카메라 모듈;
통신 모듈;
메모리;및
상기 디스플레이 모듈, 상기 통신 모듈 및 상기 카메라 모듈과 작동적으로 연결된 프로세서를 포함하고,
상기 메모리는, 실행 시에, 상기 프로세서가
상기 통신 모듈을 이용하여 외부 장치와 통신 연결을 수립하고,
상기 외부 장치와 연결된 적어도 하나의 제1디스플레이의 표시 속성 정보를 획득하고, 획득한 표시 속성 정보에 기초하여 상기 적어도 하나의 제1디스플레이와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 상기 전자 장치를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하도록 설정하는 인스트럭션들(instructions)을 저장하며,
상기 표시 속성 정보는 상기 제1디스플레이의 배율, 해상도, 디스플레이의 방향 또는 다중 디스플레이 사용 여부 중 적어도 어느 하나를 포함하는 전자 장치.
제 1항에 있어서,
상기 메모리는
상기 카메라 모듈을 이용하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 상기 외부 장치와 연결된 적어도 하나의 제1디스플레이를 촬영하고, 상기 적어도 하나의 제1디스플레이의 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 인스트럭션을 저장하는 전자 장치.
제 2항에 있어서,
상기 메모리는
상기 적어도 하나의 제1디스플레이의 상기 물리 정보에 기초하여 상기 적어도 하나의 제1디스플레이와 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나가 동일하도록 상기 적어도 하나의 가상 객체를 표시하는 인스트럭션들(instructions)을 저장하는 전자 장치.
제 1항에 있어서,
상기 메모리는
상기 카메라 모듈을 이용하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 상기 외부 장치와 연결된 적어도 하나의 사용자 인터페이스(user interface)를 촬영하고, 상기 적어도 하나의 사용자 인터페이스의 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 인스트럭션들을 저장하는 전자 장치.
제 4항에 있어서,
상기 메모리는
획득한 상기 적어도 하나의 사용자 인터페이스의 상기 물리 정보에 기초하여 상기 적어도 하나의 사용자 인터페이스와 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나가 동일하도록 상기 적어도 하나의 가상 객체를 표시하는 인스트럭션들(instructions)을 저장하는 전자 장치.
제 1항에 있어서,
상기 메모리는
사용자의 입력에 기반하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 인스트럭션을 저장하며,
상기 적어도 하나의 가상 객체는 디스플레이를 포함하는 전자 장치.
제 6항에 있어서,
상기 메모리는
상기 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하고, 상기 가이드를 통한 사용자 입력을 인식하는 인스트럭션을 저장하는 전자 장치.객체객체.
제 1항에 있어서,
상기 메모리는
사용자의 입력에 기반하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 인스트럭션을 저장하며,
상기 적어도 하나의 가상 객체는 사용자 인터페이스를 포함하는 전자 장치.
제 8항에 있어서,
상기 메모리는
상기 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하고, 상기 가이드를 통한 사용자 입력을 인식하는 인스트럭션을 저장하는 전자 장치.
제 1항에 있어서,
상기 메모리는
상기 전자 장치를 착용한 사용자의 시야각에 대응하는 영역 내 적어도 하나의 가상 객체 상에 미리 설정된 위젯(widget)을 표시하거나 또는
사용자가 적어도 하나의 가상 객체를 선택하고, 다른 기능을 수행하는 위젯(widget)을 표시하도록 설정할 수 있는 가이드를 제공하는 인스트럭션을 저장하며,
상기 위젯은 날짜, 시간, 날씨 또는 상기 전자 장치에 설치된 어플리케이션의 화면 중 적어도 어느 하나를 표시하는 기능을 포함하는 전자 장치.
전자 장치에 있어서,
프레임;
상기 프레임에 의해 지지되는 윈도우 부재;
상기 윈도우 부재로 시각적 정보를 출력하는 디스플레이 모듈;
상기 프레임의 전방을 촬영하도록 상기 프레임에 배치되는 카메라 모듈;
통신 모듈;
메모리;및
상기 디스플레이 모듈, 상기 통신 모듈 및 상기 카메라 모듈과 작동적으로 연결된 프로세서를 포함하고,
상기 메모리는, 실행 시에, 상기 프로세서가
상기 통신 모듈을 이용하여 제1공간의 제1외부 장치와 통신 연결을 수립하고, 상기 통신 연결을 통해서 데이터를 송신 및/또는 수신하며,
상기 통신 모듈을 이용하여 제2공간의 제2외부 장치와 통신 연결을 수립하고, 상기 통신 연결을 통해서 데이터를 송신 및/또는 수신하며,
상기 제1외부 장치와 연결된 적어도 하나의 제1디스플레이의 표시 속성 정보를 획득하고, 획득한 표시 속성 정보에 기초하여 상기 적어도 하나의 제1디스플레이와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 상기 전자 장치를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하도록 설정하고, 표시된 상기 적어도 하나의 가상 객체에 대한 정보를 제1환경값으로 저장하며,
상기 제2외부 장치와 연결된 적어도 하나의 제2디스플레이의 표시 속성 정보를 획득하고, 획득한 표시 속성 정보에 기초하여 상기 적어도 하나의 제2디스플레이와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 상기 전자 장치를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하도록 설정하고 표시된 상기 적어도 하나의 가상 객체에 대한 정보를 제2환경값으로 저장하며,
상기 제1환경값 또는 상기 제2환경값 중 어느 하나를 선택할 수 있는 가이드를 제공하는 인스트럭션들을 저장하는 전자 장치.
전자 장치의 증강 현실 서비스 제공 방법에 있어서,
통신 모듈을 이용하여 외부 장치와 통신 연결을 수립하는 동작;
상기 외부 장치와 연결된 적어도 하나의 제1디스플레이의 표시 속성 정보를 획득하는 동작;및
획득한 표시 속성 정보에 기초하여 상기 적어도 하나의 제1디스플레이와 동일한 표시 속성을 갖는 적어도 하나의 가상 객체를 상기 전자 장치를 착용한 사용자의 시야각에 대응하는 영역의 적어도 일부에 표시하는 동작을 포함하며,
상기 표시 속성 정보는 상기 제1디스플레이의 배율, 해상도, 디스플레이의 방향 또는 다중 디스플레이 사용 여부 중 적어도 어느 하나를 포함하는 방법.
제 12항에 있어서,
카메라 모듈을 이용하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 상기 외부 장치와 연결된 적어도 하나의 제1디스플레이를 촬영하는 동작;및
상기 적어도 하나의 제1디스플레이의 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 동작을 더 포함하는 방법.
제 13항에 있어서,
상기 적어도 하나의 제1디스플레이의 물리 정보에 기초하여 상기 적어도 하나의 가상 객체가 상기 적어도 하나의 제1디스플레이와 동일한 개수, 위치 및 사용자와의 거리 중 적어도 어느 하나를 갖도록 표시하는 동작을 더 포함하는 방법.
제 13항에 있어서,
상기 카메라 모듈을 이용하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 상기 외부 장치와 연결된 적어도 하나의 사용자 인터페이스(user interface)를 촬영하는 동작;및
상기 적어도 하나의 사용자 인터페이스의 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 포함하는 물리 정보를 획득하는 동작을 더 포함하는 방법.
제 15항에 있어서,
획득한 상기 적어도 하나의 사용자 인터페이스의 속성 정보에 기초하여 상기 적어도 하나의 가상 객체가 상기 적어도 하나의 사용자 인터페이스와 동일한 개수, 종류, 위치 및 사용자와의 거리 중 적어도 어느 하나를 갖도록 표시하는 동작을 더 포함하는 방법.
제 12항에 있어서,
사용자의 입력에 기반하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 동작을 포함하며,
상기 적어도 하나의 가상 객체는 디스플레이를 포함하는 방법.
제 17항에 있어서,
상기 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하는 동작;및
상기 가이드를 통한 사용자 입력을 인식하는 동작을 더 포함하는 방법.
제 12항에 있어서,
사용자의 입력에 기반하여 상기 전자 장치를 착용한 사용자의 시야각 내에서 적어도 하나의 가상 객체를 더 표시하는 동작;
상기 적어도 하나의 가상 객체의 위치를 변경하거나, 일부 객체를 삭제하거나 또는 일부 객체를 더 추가할 수 있는 가이드를 제공하는 동작;및
상기 가이드를 통한 사용자 입력을 인식하는 동작을 더 포함하며,
상기 적어도 하나의 가상 객체는 사용자 인터페이스를 포함하는 방법.
제 12항에 있어서,
상기 전자 장치를 착용한 사용자의 시야각에 대응하는 영역 내 적어도 하나의 가상 객체에 대하여 미리 설정된 위젯(widget)을 표시하는 동작;및
사용자가 적어도 하나의 가상 객체를 선택하고, 다른 기능을 수행하는 위젯(widget)을 표시하도록 설정할 수 있는 가이드를 제공하는 동작을 더 포함하며,
상기 위젯은 날짜, 시간, 날씨 또는 상기 전자 장치에 설치된 어플리케이션의 화면 중 적어도 어느 하나를 표시하는 기능을 포함하는 방법.