KR20230067197A - 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 - Google Patents
전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 Download PDFInfo
- Publication number
- KR20230067197A KR20230067197A KR1020210153043A KR20210153043A KR20230067197A KR 20230067197 A KR20230067197 A KR 20230067197A KR 1020210153043 A KR1020210153043 A KR 1020210153043A KR 20210153043 A KR20210153043 A KR 20210153043A KR 20230067197 A KR20230067197 A KR 20230067197A
- Authority
- KR
- South Korea
- Prior art keywords
- electronic device
- content
- display
- screen
- area
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000003993 interaction Effects 0.000 claims description 184
- 238000012545 processing Methods 0.000 claims description 123
- 238000004891 communication Methods 0.000 claims description 85
- 238000013507 mapping Methods 0.000 claims description 44
- 230000009471 action Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 2
- 239000011521 glass Substances 0.000 abstract description 89
- 230000006870 function Effects 0.000 description 55
- 238000010586 diagram Methods 0.000 description 36
- 230000003287 optical effect Effects 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 29
- 230000004044 response Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 15
- 230000004913 activation Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000008093 supporting effect Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 238000011017 operating method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 229920000642 polymer Polymers 0.000 description 3
- 239000004984 smart glass Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 101001045744 Sus scrofa Hepatocyte nuclear factor 1-beta Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Computer Hardware Design (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
다양한 실시예들은 증강 현실(AR, augmented reality)에서 전자 장치 및/또는 안경형 웨어러블 전자 장치(예: AR 글래스)를 이용하여 다양한 표시 방식을 지원할 수 있는 방법 및 장치에 관하여 개시한다. 다양한 실시예들에 따른 AR 서비스를 위한 AR 제공 장치는, 디스플레이 모듈, 및 프로세서를 포함하고, 상기 프로세서는, AR 화면을 통해 컨텐츠를 제공하고, 상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하고, 상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하고, 및 상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈을 통해 표시하도록 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하는 것을 제어하도록 동작할 수 있다. 다양한 실시예들이 가능하다.
Description
본 개시의 실시예들은 증강 현실(AR, augmented reality)에서 전자 장치 및/또는 안경형 웨어러블 전자 장치(예: AR 글래스)를 이용하여 다양한 표시 방식을 지원할 수 있는 방법 및 장치에 관하여 개시한다.
최근 가상 현실(VR, virtual reality), 증강 현실(AR, augmented reality) 및/또는 혼합 현실(MR, mixed reality)과 같은 확장 현실(XR, expended reality) 기술에 대한 연구 및 개발이 진행되고 있다. 최근에는 VR, AR 및/또는 MR 기술을 다양한 분야(예: 엔터테인먼트(entertainment), 인포테인먼트(infotainment), 스마트 홈(smart home) 및/또는 스마트 팩토리(smart factory) 분야)에서 다양하게 활용하고 있으며, 이를 위한 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 연구 및 개발되고 있다.
예를 들면, 웨어러블 전자 장치는 단독(예: 스탠드얼론(standalone) 방식) 또는 적어도 둘 이상의 장치들 간에 서로 연동(예: 테더드(tethered) 방식)하여, AR 서비스에 관련된 어플리케이션을 통해 현실 세계 위에 다양한 디지털 컨텐츠(digital contents)(예: 가상 이미지)를 겹쳐서(또는 오버레이(overlay)하여) 웨어러블 전자 장치의 디스플레이를 통해 하나의 영상으로 제공할 수 있다. 예를 들면, 최근에는 전자 장치(예: 스마트 폰)와 웨어러블 전자 장치를 연결하고, 전자 장치에 의해 생성되는 가상 컨텐츠를 웨어러블 전자 장치의 디스플레이를 통해 제공하는 테더드 AR 방식 및 전자 장치와 연결 없이 웨어러블 전자 장치가 단독으로 가상 컨텐츠를 생성하여 디스플레이를 통해 제공하는 스탠드얼론 AR 방식과 같은 AR 환경을 구현하고 있다.
이와 같이, 최근의 AR 서비스의 기술 발전으로, AR 서비스를 이용하는 사용자가 증가하고 있으며, 그에 따른 사용자 니즈(needs)도 증가하고 있다. 예를 들면, AR 서비스를 이용하는 사용자는, AR 환경의 컨텐츠를 보다 정확하고 직관적으로 편리하게 선택 및 표시하고자 하는 요구가 증가하고 있다.
다양한 실시예들에서는, 전자 장치 및/또는 웨어러블 전자 장치를 이용한 AR 환경에서, 가상 컨텐츠를 표시하기 위한 화면 전환 및 장치들 간의 컨텐츠 이동을 지원할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, 웨어러블 전자 장치를 이용한 AR 환경 구현 중에, 전자 장치에 의한 표시 영역 및/또는 가상 확장 영역을 통해 컨텐츠를 제공하여, AR 환경과 모바일 환경에 따라 컨텐츠 운영을 지원할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, 웨어러블 전자 장치를 통해 가상 컨텐츠를 표시하고 있는 상황에서, 전자 장치와 웨어러블 전자 장치 간의 상호작용으로 가상 컨텐츠를 표시할 표시 모드를 결정하고, 결정된 표시 모드에 기반하여 전자 장치 및/또는 웨어러블 장치를 통해 가상 컨텐츠를 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, AR 환경을 제공하는 동안, 전자 장치의 표시 영역 또는 웨어러블 전자 장치의 AR 환경 내에서의 전자 장치의 표시 영역 및/또는 전자 장치에 기반한 가상 표시 영역을 통해, 컨텐츠를 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, AR 환경을 제공하는 동안, AR 환경을 구현하는 동작 주체에 기반하여, 가상 컨텐츠를 제공할 장치를 결정하고, 결정된 장치의 표시 영역에 대응하도록 가상 컨텐츠를 제공할 수 있는 방법 및 장치에 관하여 개시한다.
본 개시의 일 실시예에 따른 증강 현실(AR, augmented reality) 서비스를 위한 AR 제공 장치는, 디스플레이 모듈, 및 프로세서를 포함하고, 상기 프로세서는, AR 화면을 통해 컨텐츠를 제공하고, 상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하고, 상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하고, 및 상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈을 통해 표시하는 것을 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하는 것을 제어하도록 동작할 수 있다.
본 개시의 일 실시예에 따른 증강 현실(AR, augmented reality) 서비스를 위한 AR 제공 장치는, 디스플레이 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 디스플레이 모듈을 통해 컨텐츠를 표시하고, 상기 컨텐츠를 표시하는 동안 AR 화면 상에서 외부 장치를 인식하고, 상기 외부 장치가 지정된 외부 장치인 경우, 상기 외부 장치의 상태 변경을 모니터링 하고, 상기 외부 장치의 상태 변경을 식별하는 것에 기반하여, 상기 컨텐츠에 관련된 프로세싱 주체를 판단하고, 판단하는 프로세싱 주체에 기반하여 상기 컨텐츠의 표시 모드를 결정하고, 및 결정된 표시 모드에 기반하여 상기 컨텐츠를 디스플레이 모듈을 통한 AR 화면으로 표시하거나, 상기 외부 장치의 디스플레이 모듈을 통해 표시하는 것을 제어하도록 동작할 수 있다.
본 개시의 일 실시예에 따른 증강 현실(AR, augmented reality) 서비스를 제공하는 방법은, AR 화면을 통해 컨텐츠를 제공하는 동작, 상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하는 동작, 상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하는 동작, 및 상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈을 통해 표시하도록 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하도록 제어하는 동작을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 개시의 다양한 실시예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 개시의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 개시의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 개시의 바람직한 실시예와 같은 특정 실시예는 단지 예시로 주어진 것으로 이해되어야 한다.
본 개시에 따른 전자 장치 및 그의 동작 방법에 따르면, 전자 장치 및/또는 웨어러블 전자 장치를 이용한 AR 환경에서, 컨텐츠(예: AR 컨텐츠)를 표시하기 위한 화면 전환 및 장치들 간의 컨텐츠 이동을 보다 직관적으로 지원할 수 있다. 본 개시에 따르면, 웨어러블 전자 장치를 이용한 AR 환경 구현 중에, 전자 장치에 의한 표시 영역 및/또는 가상 확장 영역을 통해 컨텐츠를 제공하여, AR 환경과 모바일 환경에 따라 컨텐츠 운영을 다양하게 지원할 수 있다. 본 개시에 따르면, 웨어러블 전자 장치를 통해 컨텐츠를 표시하고 있는 상황에서, 전자 장치와 웨어러블 전자 장치 간의 상호작용으로 가상 컨텐츠를 표시할 표시 모드를 결정하고, 결정된 표시 모드에 기반하여 전자 장치 및/또는 웨어러블 장치를 통해 컨텐츠를 제공할 수 있다. 본 개시에 따르면, AR 환경을 제공하는 동안, 전자 장치의 표시 영역 또는 웨어러블 전자 장치의 AR 환경 내에서의 전자 장치의 표시 영역 및/또는 전자 장치에 기반한 가상 표시 영역을 통해, 컨텐츠를 다양한 방식으로 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도면 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면이다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 일 예를 도시하는 도면이다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 내부 구조의 일 예를 도시하는 도면이다.
도 5는 일 실시예에 따른 웨어러블 전자 장치의 구성의 일 예를 도시하는 도면이다.
도 6은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 네트워크 환경을 도시한 도면이다.
도 7a, 도 7b, 도 7c 및 도 7d는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간에 컨텐츠를 선택적으로 표시하는 예를 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 9는 본 개시의 동작을 트리거하기 위한 지정된 인터랙션의 예를 설명하기 위해 도시하는 도면이다.
도 10은 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11a 내지 도 11f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 12a 내지 도 12f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 13a, 도 13b 및 도 13c는 일 실시예에 따른 AR 화면을 통해 제공되는 전자 장치와 연관지어 액티브 윈도우를 설정하는 예를 도시하는 도면들이다.
도 14a 내지 도 14f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 15a 내지 도 15f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 16은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 동작 방법을 도시하는 도면이다.
도 17은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 동작 방법을 도시하는 도면이다.
도 18a, 도 18b 및 도 18c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 표시 모드를 운영하는 예를 도시하는 도면들이다.
도 19a 및 도 19b는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 표시 모드를 운영하는 예를 도시하는 도면들이다.
도 20a, 도 20b 및 도 20c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 컨텐츠 미러링 및 인터랙션을 운영하는 예를 설명하기 위해 도시하는 도면들이다.
도 21a, 도 21b 및 도 21c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 컨텐츠를 공유하는 동작 예를 도시하는 도면들이다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면이다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 일 예를 도시하는 도면이다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 내부 구조의 일 예를 도시하는 도면이다.
도 5는 일 실시예에 따른 웨어러블 전자 장치의 구성의 일 예를 도시하는 도면이다.
도 6은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 네트워크 환경을 도시한 도면이다.
도 7a, 도 7b, 도 7c 및 도 7d는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간에 컨텐츠를 선택적으로 표시하는 예를 설명하기 위한 도면들이다.
도 8은 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 9는 본 개시의 동작을 트리거하기 위한 지정된 인터랙션의 예를 설명하기 위해 도시하는 도면이다.
도 10은 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11a 내지 도 11f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 12a 내지 도 12f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 13a, 도 13b 및 도 13c는 일 실시예에 따른 AR 화면을 통해 제공되는 전자 장치와 연관지어 액티브 윈도우를 설정하는 예를 도시하는 도면들이다.
도 14a 내지 도 14f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 15a 내지 도 15f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
도 16은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 동작 방법을 도시하는 도면이다.
도 17은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 동작 방법을 도시하는 도면이다.
도 18a, 도 18b 및 도 18c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 표시 모드를 운영하는 예를 도시하는 도면들이다.
도 19a 및 도 19b는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 표시 모드를 운영하는 예를 도시하는 도면들이다.
도 20a, 도 20b 및 도 20c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 컨텐츠 미러링 및 인터랙션을 운영하는 예를 설명하기 위해 도시하는 도면들이다.
도 21a, 도 21b 및 도 21c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 컨텐츠를 공유하는 동작 예를 도시하는 도면들이다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC, massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예들에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시예들에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면이다.
일 실시예에 따라, 도 2는 디스플레이 형태에 따른 전자 장치(101)의 다양한 폼 팩터(form factor)의 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 바형(bar type) 또는 평판형(plate type)(210), 폴더블(foldable)(220, 230 또는 240), 롤러블(rollable)(250), 및/또는 슬라이드블(slidable)(260)과 같은 다양한 폼 팩터를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)는 다양한 형태로 구현될 수 있고, 전자 장치(101)의 구현 형태에 따라 디스플레이(예: 도 1의 디스플레이 모듈(160))가 다양한 방식으로 제공될 수 있다.
본 개시에서 일 실시예에 따른 전자 장치(101)가 바형 또는 평판형의 외관을 가지는 것으로 도시하지만, 이에 한정되지 않는다. 예를 들어, 도시된 전자 장치(101)는 폴더블 전자 장치(220, 230 또는 240), 롤러블 전자 장치(250) 또는 슬라이드블 전자 장치(260)의 일부일 수 있다.
일 실시예에 따라, 폴더블 전자 장치(220, 230 또는 240)는 디스플레이(예: 도 1의 디스플레이 모듈(160))의 서로 다른 두 영역을 실질적으로 마주보게 또는 서로 반대 방향을 향하는(opposite to) 방향으로 접힘이 가능한 전자 장치를 의미할 수 있다. 일반적으로, 휴대 상태에서 폴더블 전자 장치(220, 230 또는 240)에서 디스플레이는 서로 다른 두 영역이 마주보는 상태로 또는 대향하는 방향으로 접힌 상태일 수 있고, 실제 사용 상태에서 사용자는 디스플레이(예: 도 1의 디스플레이 모듈(160))를 펼쳐 서로 다른 두 영역이 실질적으로 평판 형태를 이루게 할 수 있다.
일 실시예에 따라, 폴더블 전자 장치(220, 230 또는 240)는 하나의 폴딩 축에 기반하여 2개의 디스플레이 면(예: 제1 디스플레이 면 및 제2 디스플레이 면)을 포함하는 폼 팩터(예: 220 또는 230) 및/또는 적어도 2개의 폴딩 축에 기반하여 적어도 3개의 디스플레이 면(예: 제1 디스플레이 면, 제2 디스플레이 면 및 제3 디스플레이 면)을 포함하는 폼 팩터(예: 240)를 포함할 수 있다. 다양한 실시예들이 이에 한정되는 것은 아니며, 이는 예시적인 것으로, 전자 장치(101)가 가질 수 있는 폴딩 축들의 수는 제한하지 않는다.
일 실시예에 따르면, 폴더블 전자 장치(220, 230 또는 240)는 구현 형태에 따라 디스플레이(예: 도 1의 디스플레이 모듈(160))가 다양한 방식(예: 인-폴딩, 아웃-폴딩, 또는 인/아웃 폴딩)으로 폴딩 또는 언폴딩 될 수 있다. 일 실시예에 따르면, 폴더블 전자 장치(220, 230 또는 240)는 세로 폴더블, 가로 폴더블, G 폴더블, 또는 Z 폴더블과 같이 다양한 폴더블 방식을 포함할 수 있다.
일 실시예에 따라, 슬라이드블 전자 장치(260) 또는 롤러블 전자 장치(250)는, 디스플레이(예: 도 1의 디스플레이 모듈(160))의 굽힘 변형이 가능해, 적어도 일부분이 말아지거나(wound or rolled), 하우징(미도시)의 내부로 수납될 수 있는 전자 장치를 의미할 수 있다. 사용자의 필요에 따라, 슬라이드블 전자 장치(260) 또는 롤러블 전자 장치(250)는 디스플레이(예: 도 1의 디스플레이 모듈(160))를 펼침(예: 슬라이드-아웃(slide-out))으로써 또는 디스플레이의 더 넓은 면적을 외부로 노출시킴으로써 화면 표시 영역을 확장하여 사용할 수 있다.
일 실시예에 따르면, 롤러블 전자 장치(250)는 롤-업(roll-up) 방식의 디스플레이(예: 롤러블 디스플레이(rollable display)))를 포함하는 폼 팩터를 포함할 수 있다. 일 실시예에 따라, 슬라이드블 전자 장치(260) 또는 롤러블 전자 장치(250)는, 사용자가 디스플레이(예: 도 1의 디스플레이 모듈(160))를 펼치는 정도에 따라, 디스플레이가 외부로 노출되는 면적이 달라질 수 있다.
도 3은 일 실시예에 따른 웨어러블 전자 장치의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 3에서는 웨어러블 전자 장치(301)가 안경 형태의 웨어러블 전자 장치(예: 안경형 디스플레이 장치 또는 AR(augmented reality) 글래스)인 예를 도시하고 있으나, 이에 한정하는 것은 아니다. 예를 들면, 웨어러블 전자 장치(301)는, 디스플레이를 포함하고, 사용자의 신체 일부(예: 얼굴 또는 머리 부분)에 착용(또는 장치)되어, 증강 현실(AR, augmented reality), 혼합 현실(MR, mixed reality) 및/또는 가상 현실(VR, virtual reality) 서비스를 제공하는 다양한 형태의 장치를 포함할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 안경(glass), 고글(goggles), 헬멧 또는 모자 형태 중 적어도 하나의 형태로 구현될 수 있으며, 이에 한정하는 것은 아니다. 이하에서 설명되는 웨어러블 전자 장치(301)는 앞서 도 1을 참조하여 설명한 바와 같은 전자 장치(101)에 포함된 구성 요소 중 적어도 일부를 포함하는 장치일 수 있다. 이하 설명에서 언급되지 않더라도 본 개시에 따른 웨어러블 전자 장치(301)는 도 1을 참조하여 설명한 바와 같은 다양한 구성 요소들을 포함할 수 있는 것으로 해석될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자의 얼굴에 착용되어, 사용자에게 영상(예: 증강 현실 영상, 혼합 현실 영상 및/또는 가상 현실 영상)을 제공할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 실제 현실 공간(또는 환경)의 적어도 일부에 가상 정보(또는 가상 객체)를 덧붙이는 AR 서비스를 제공할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는, 착용자의 시야각(FOV, field of view)에 대응하는 실제 현실 공간에 가상 정보를 겹쳐서 사용자에게 제공할 수 있다.
도 3을 참조하면, 웨어러블 전자 장치(301)는 사용자의 양안(예: 좌안 및 우안)에 대응하는 위치에 배치되는 글래스 부재(또는 윈도우 부재)(310), 글래스 부재(310)를 고정하는 메인 프레임(또는 본체부)(340), 메인 프레임(340)의 양단에서 연결되어 사용자의 귀에 거치되는 지지 프레임(또는 지지 부재)(350), 및 카메라 모듈(380)(예: 촬영용 카메라)을 포함할 수 있다.
일 실시예에 따르면, 글래스 부재(310)는 사용자의 좌안에 대응하는 제1 글래스(320)와 사용자의 우안에 대응하는 제2 글래스(330)를 포함할 수 있다. 일 실시예에 따라, 글래스 부재(310)는 메인 프레임(340)에 의해 지지될 수 있다. 예를 들어, 메인 프레임(340)에 형성된 개구부에 글래스 부재(310)가 끼워질 수 있다. 일 실시예에 따라, 디스플레이 모듈(예: 도 5의 디스플레이 모듈(520))에서 방출되는 AR 영상은 글래스 부재(310)에 투영될 수 있다.
일 실시예에 따르면, 글래스 부재(310)는 적어도 일부 영역에 도파로(예: 광도파로(waveguide) 또는 투명 도파로(transparent waveguide))가 형성될 수 있다. 일 실시예에서, 도파로는 디스플레이 모듈에서 방출된 AR 영상을 사용자의 눈으로 유도하는 역할을 할 수 있다. 도파로에 대한 상세한 설명은 도 4의 제1 글래스(320) 및 제2 글래스(330)와 관련된 설명을 참조하여 설명된다.
일 실시예에 따라, 글래스 부재(310)는, 도 3에 예시된 바와 같이, 사용자의 좌안과 우안에 각각 대응되도록 제1 글래스(320) 및 제2 글래스(330)로 분리되는 형태로 구현하는 것을 예로 하였으나, 어떤 실시예에 따르면, 글래스 부재(310)는 제1 글래스(320)와 제2 글래스(330)의 구분 없이 하나의 글래스 형태로 구현될 수도 있다.
일 실시예에 따라, 메인 프레임(340) 및 지지 프레임(350)은 안경 형태로 구현될 수 있다.
일 실시예에서, 메인 프레임(340)은 사용자의 코에 적어도 부분적으로 거치되는 구조일 수 있다. 일 실시예에 따르면, 메인 프레임(340)은 글래스 부재(310)를 지지할 수 있다. 일 실시예에 따르면, 메인 프레임(340)은 합성 수지 소재로 형성될 수 있다. 일 실시예에 따르면, 메인 프레임(340)에 형성된 개구부에 글래스 부재(310)가 끼워짐으로써, 메인 프레임(340)이 글래스 부재(310)를 지지할 수 있다.
일 실시예에서, 지지 프레임(350)은 제1 방향 귀(예: 왼쪽 귀)에 거치되는 제1 지지 프레임(360)과 제2 방향 귀(예: 오른쪽 귀)에 거치되는 제2 지지 프레임(370)을 포함할 수 있다. 예를 들어, 메인 프레임(340)과 지지 프레임(350)(예: 제1 지지 프레임(360) 및 제2 지지 프레임(370))은 힌지부(미도시)를 통해 연결될 수 있으며, 폴딩(folding)이 가능하도록 결합될 수 있다.
일 실시예에서, 지지 프레임(350)은 메인 프레임(340)에 회전 가능하게 연결될 수 있다. 일 실시예에 따르면, 지지 프레임(350)은, 제1 지지 프레임(360)과 제2 지지 프레임(370)을 포함할 수 있다. 제1 지지 프레임(360)은 ‘A’ 방향에서 바라볼 때, 메인 프레임(340)에 대하여 좌측(예: 제1 방향)에서 메인 프레임(340)에 연결될 수 있다. 제2 지지 프레임(370)은 ‘A’ 방향에서 바라볼 때, 메인 프레임(340)에 대하여 우측(예: 제2 방향)에서 메인 프레임(340)에 연결될 수 있다.
일 실시예에서, 지지 프레임(350)은 메인 프레임(340)에 고정 설치될 수도 있다. 예를 들어, 메인 프레임(340)의 좌측에 연결된 제1 지지 프레임(360)과, 메인 프레임(340)의 우측에 연결된 제2 지지 프레임(370)이 서로 연결되도록 형성될 수도 있다. 일 실시예에 따르면, 메인 프레임(340)의 양측에 연결된 지지 프레임(350)은 링(ring) 형태를 이루고 사용자의 머리에 끼워지는 방식으로 착용될 수 있다. 이 밖에도 지지 프레임(350)은 사용자의 얼굴에 웨어러블 전자 장치(301)가 착용될 수 있는 다양한 형태로 변형될 수 있다.
일 실시예에 따르면, 지지 프레임(350)은 사용자의 귀에 걸치도록 형성될 수 있다. 예를 들면, 메인 프레임(340)에 연결된 지지 프레임(350)이 사용자의 귀에 걸쳐지는 방식으로 웨어러블 전자 장치(301)가 사용자의 얼굴에 착용될 수 있다. 일 실시예에 따라, 지지 프레임(350)은 메인 프레임(340)에 대해 회전할 수 있다. 일 실시예에 따라, 지지 프레임(350)이 메인 프레임(340)에 근접하는 방향으로 회전되어 웨어러블 전자 장치(301)의 부피가 줄어들 수 있다.
일 실시예에 따르면, 디스플레이 모듈(예: 도 5의 디스플레이 모듈(520))은 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(301)의 프로세서(예: 도 5의 프로세서(590))에서 생성된 AR 영상을 출력할 수 있다. 디스플레이 모듈에서 AR 영상을 생성하여 글래스 부재(310)에 투영하면, 글래스 부재(310)를 통해 전방(예: 사용자가 바라보는 방향)으로부터 입사되는 가시광(L)에, AR 영상에 포함된 객체가 합쳐져 AR이 구현될 수 있다. 디스플레이 모듈은 크기가 매우 작은 프로젝터(예: 마이크로 프로젝터, 피코 프로젝터)일 수 있다. 예를 들어, 디스플레이 모듈은 LSD(laser scanning display), DMD(digital micro-mirror display) 및/또는 LCoS(liquid crystal on silicon)일 수 있다. 일 실시예에 따르면, 디스플레이 모듈은 투명 디스플레이일 수 있다. 이러한 경우, 디스플레이 모듈에 포함된 발광 소자는 글래스 부재(310)에 직접 배치될 수 있다. 이 밖에도 디스플레이 모듈은 AR을 구현하기 위한 다양한 디스플레이 장치일 수 있다.
일 실시예에서, 글래스 부재(310), 지지 프레임(350), 및/또는 디스플레이 모듈(예: 도 5의 디스플레이 모듈(520))은 사용자의 좌안과 우안에 대응되도록 한 쌍으로 마련될 수 있다. 예를 들어, 글래스 부재(310)는 제1 글래스(320) 및 제2 글래스(330)를 포함할 수 있고, 지지 프레임(350)은 제1 지지 프레임(360) 및 제2 지지 프레임(370)을 포함할 수 있다. 어떤 실시예에 따르면, 앞서 설명한 구성 요소 중 적어도 일부는 좌안에 대응하는 구성과 우안에 대응하는 구성이 상이할 수 있다.
일 실시예에 따라, 카메라 모듈(380)은, 예를 들면, 촬영용 카메라(예: 전방 촬영 카메라)를 나타낼 수 있다. 예를 들면, 카메라 모듈(380)은 웨어러블 전자 장치(301)의 전면(또는 사용자가 바라보는 전면)의 피사체를 촬영하도록, 메인 프레임(340)에 배치하여 구현될 수 있다. 예를 들어, 카메라 모듈(380)은 메인 프레임(340)의 전방을 촬영할 수 있도록 메인 프레임(340)에서 제1 글래스(320)와 제2 글래스(330) 사이의 중앙 부분(또는 중심점)에 배치될 수 있다. 일 실시예에서, 메인 프레임(340)의 전방은 사용자가 웨어러블 전자 장치(301)를 착용했을 때, 사용자가 바라보는 방향을 의미할 수 있다. 일 실시예에서, 웨어러블 전자 장치(301)는 카메라 모듈(380)을 비롯하여, 복수의 다른 카메라를 포함할 수 있으며, 카메라 모듈(380) 및 복수의 다른 카메라들에 대한 상세한 설명은 도 4를 참조하여 설명된다.
도 4는 일 실시예에 따른 웨어러블 전자 장치의 내부 구조의 일 예를 도시하는 도면이다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자의 얼굴 또는 머리 부분에 착용되는 형태로 구현된 장치일 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자의 양안(예: 좌안 및 우안) 각각에 대응하는 복수 개의 글래스(예: 제1 글래스(320) 및 제2 글래스(330))를 포함할 수 있고, 안경 형태로 구현될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자에게 AR 서비스와 관련된 영상을 제공할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 제1 글래스(320) 및/또는 제2 글래스(330)에 가상 객체를 투영하거나 표시함으로써, 사용자가 웨어러블 전자 장치(301)의 제1 글래스(320) 및/또는 제2 글래스(330)를 통해 인지하는 현실 세계에 적어도 하나의 가상 객체가 겹쳐 보이도록 할 수 있다.
도 4를 참조하면, 일 실시예에 따른 웨어러블 전자 장치(301)는 메인 프레임(또는 본체부)(340), 지지 프레임(예: 제1 지지 프레임(360), 제2 지지 프레임(370)), 및 힌지부(예: 제1 힌지부(440-1), 제2 힌지부(440-2))를 포함할 수 있다.
일 실시예에 따르면, 메인 프레임(340) 및 지지 프레임(예: 제1 지지 프레임(360), 및/또는 제2 지지 프레임(370))은 웨어러블 전자 장치(301)의 다양한 구성 요소들을 실장할 수 있다. 일 실시예에 따르면, 메인 프레임(340)과 지지 프레임(360, 370)은 힌지부(440-1, 440-2)를 통해 작동적으로 연결될 수 있다.
일 실시예에 따라, 메인 프레임(340)은 사용자의 코에 적어도 부분적으로 거치될 수 있도록 형성된 부분을 포함할 수 있다.
일 실시예에 따라, 지지 프레임(360, 370)은 사용자의 귀에 걸쳐질 수 있는 형태의 지지 부재를 포함할 수 있다. 일 실시예에 따라, 지지 프레임(360, 370)은 사용자의 왼쪽 귀에 거치되는 제1 지지 프레임(360) 및 사용자의 오른쪽 귀에 거치되는 제2 지지 프레임(370)을 포함할 수 있다.
일 실시예에 따라, 제1 힌지부(440-1)는 제1 지지 프레임(360)이 메인 프레임(340)에 대해 회전 가능하도록 제1 지지 프레임(360)과 메인 프레임(340)을 연결할 수 있다. 일 실시예에 따라, 제2 힌지부(440-2)는 제2 지지 프레임(370)이 메인 프레임(340)에 대해 회전 가능하도록 제2 지지 프레임(370)과 메인 프레임(340)을 연결할 수 있다. 다른 실시예에 따르면, 웨어러블 전자 장치(301)의 힌지부(440-1, 440-2)는 생략될 수 있다. 예를 들어, 지지 프레임(360, 370)은 메인 프레임(340)에 바로 연결되어 고정 설치될 수 있다.
일 실시예에 따르면, 메인 프레임(340)은 사용자의 양안(예: 좌안 및 우안)에 대응하는 글래스(예: 제1 글래스(320) 및 제2 글래스(330)), 디스플레이 모듈(예: 제1 디스플레이 모듈(414-1) 및 제2 디스플레이 모듈(414-2)), 광도파로(예: 제1 광도파로(420) 및 제2 광도파로(430)), 카메라 모듈(380)(예: 촬영용 카메라 또는 전방 촬영 카메라), 인식용 카메라(예: 제1 인식용 카메라(411-1), 제2 인식용 카메라(411-2)), 및 시선 추적 카메라(예: 제1 시선 추적 카메라(412-1), 제2 시선 추적 카메라(412-2)), 적어도 하나의 마이크(예: 제1 마이크(441-1), 제2 마이크(441-2) 및/또는 제3 마이크(441-3)), 및 적어도 하나의 조명 부재(예: 제1 조명 부재(442-1) 및/또는 제2 조명 부재(442-2))를 포함할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는, 디스플레이 모듈(414-1, 414-2)에서 생성된 광이 글래스(320, 330)에 투영되어 다양한 정보를 표시할 수 있다. 예를 들어, 제1 디스플레이 모듈(414-1)에서 생성된 광은 제1 글래스(320)에 투영될 수 있고, 제2 디스플레이 모듈(414-2)에서 생성된 광은 제2 글래스(330)에 투영될 수 있다. 일 실시예에 따르면, 제1 글래스(320) 및 제2 글래스(330)는 적어도 일부가 투명한 소재(예: 투명 부재)로 형성될 수 있다. 일 실시예에 따르면, 사용자의 좌안에 대응하는 제1 글래스(320)(또는 제1 투명 부재)는 제1 디스플레이 모듈(414-1)와 연결되고, 사용자의 우안에 대응되는 제2 글래스(330)(또는 제2 투명 부재)는 제2 디스플레이 모듈(414-2)와 연결될 수 있다. 일 실시예에 따르면, 제1 글래스(320) 및 제2 글래스(330)는 글래스 플레이트, 플라스틱 플레이트 및/또는 폴리머로 형성될 수 있으며, 투명 또는 반투명하게 제작될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(예: 제1 디스플레이 모듈(414-1) 및 제2 디스플레이 모듈(414-2))은 액정 표시 장치(LCD, liquid crystal display), 디지털 미러 표시 장치(DMD, digital micro-mirror device), 실리콘 액정 표시 장치(LCoS, liquid crystal on silicon), 유기 발광 다이오드(OLED, organic light emitting diode) 또는 마이크로 엘이디(micro LED, micro light emitting diode)를 포함할 수 있다.
일 실시예에 따르면, 제1 글래스(320) 및 제2 글래스(330)는 집광 렌즈(condensing lens) 및/또는 광도파로(waveguide)(또는 투명 도파로(transparent waveguide))(예: 제1 광도파로(420), 제2 광도파로(430))를 포함할 수 있다. 일 실시예에 따라, 광도파로(420, 430)는 글래스(320, 330)의 일부에 적어도 부분적으로 위치할 수 있다. 예를 들어, 제1 광도파로(420)는 제1 글래스(320)에 부분적으로 위치할 수 있고, 제2 광도파로(430)은 제2 글래스(330)에 부분적으로 위치할 수 있다. 일 실시예에 따르면, 광도파로(420, 430)는 디스플레이 모듈(414-1, 414-2)에서 생성한 광원을 사용자 눈으로 전달하는 역할을 할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(414-1, 414-2)에서 방출된 광은 글래스(320, 330)의 일면(또는 일단)으로 입사될 수 있다. 글래스(320, 330)의 일면으로 입사된 광은 글래스(320, 330) 내에 형성된(또는 위치된) 광도파로(420, 430)를 통해 사용자에게 전달될 수 있다.
일 실시예에서, 광도파로(420, 430)는 글래스, 플라스틱, 또는 폴리머로 제작될 수 있고, 내부 또는 외부의 일 표면에 형성된 나노 패턴을 포함할 수 있다. 나노 패턴은 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다. 일 실시예에 따르면, 글래스(320, 330)의 일면으로 입사된 광은 나노 패턴에 의해 광도파로(420, 430) 내부에서 전파 또는 반사되어 사용자에게 전달될 수 있다. 일 실시예에 따르면, 광도파로(420, 430)는 적어도 하나의 회절 요소(예: DOE(diffractive optical element), HOE(holographic optical element)) 또는 반사 요소(예: 반사 거울) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 광도파로(420, 430)는 적어도 하나의 회절 요소 또는 반사 요소를 이용하여 디스플레이 모듈(414-1, 414-2)(예: 광원부)로부터 방출된 광을 사용자의 눈으로 유도할 수 있다.
일 실시예에서, 회절 요소는 입력 광학 부재/출력 광학 부재(미도시)를 포함할 수 있다. 입력 광학 부재는 입력 그레이팅 영역(input grating area)을 의미할 수 있으며, 출력 광학 부재(미도시)는 출력 그레이팅 영역(output grating area)을 의미할 수 있다. 입력 그레이팅 영역은 디스플레이 모듈(414-1, 414-2)(예: micro LED)로부터 출력되는 빛을 글래스(예: 제1 글래스(320), 제2 글래스(330))로 전달하기 위해 회절(또는 반사)시키는 입력단 역할을 할 수 있다. 출력 그레이팅 영역은 광도파로(420, 430)의 글래스(예: 제1 글래스(320), 제2 글래스(330))에 전달된 빛을 사용자의 눈으로 회절(또는 반사)시키는 출구 역할을 할 수 있다.
일 실시예에서, 반사 요소는 전반사(TIR, total internal reflection)를 위한 전반사 광학 소자 또는 전반사 도파관을 포함할 수 있다. 전반사는 광을 유도하는 하나의 방식으로, 입력 그레이팅 영역을 통해 입력되는 빛(예: 가상 영상)이 광도파로(420, 430)의 일면(예: 지정된 면)에서 약 100% 반사되도록 입사각을 만들어, 출력 그레이팅 영역까지 약 100% 전달되도록 하는 것을 의미할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(예: 414-1, 414-2)로부터 방출되는 광은 입력 광학 부재를 통해 광도파로(420, 430)로 광 경로가 유도될 수 있다. 광도파로(420, 430) 내부를 이동하는 광은 출력 광학 부재를 통해 사용자 눈 방향으로 유도될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(414-1, 414-2)은 복수의 패널(또는 표시 영역)을 포함할 수 있고, 복수의 패널은 글래스(320, 330)에 위치할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(414-1, 414-2)의 적어도 일부는 투명 소자로 구성될 수 있고, 사용자가 디스플레이 모듈(414-1, 414-2)을 투과하여, 디스플레이 모듈(414-1, 414-2)의 후면의 실제 공간을 인지할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(414-1, 414-2)은 사용자에게 실제 현실 공간의 적어도 일부에 가상 객체(또는 가상 정보)가 덧붙여진 것으로 보이도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(414-1, 414-2)이 투명 마이크로 엘이디인 경우 글래스(320, 330) 내에 광도파로(420, 430) 구성은 생략될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 복수 개의 카메라(예: 제1 카메라, 제2 카메라 및 제3 카메라)를 포함할 수 있다. 예를 들어, 제1 카메라(예: 도 3의 카메라 모듈(380))는 사용자의 시야각(FoV, field of view)에 대응되는 영상을 촬영하거나 및/또는 객체와의 거리를 측정하기 위한 촬영용 카메라(380)(예: RGB 카메라)일 수 있다. 제2 카메라는 사용자가 바라보는 시선의 방향을 확인하기 위한 시선 추적 카메라(eye tracking camera module)(412-1, 412-2)일 수 있다. 제3 카메라는 일정 공간을 인식하기 위한 인식용 카메라(gesture camera module)(411-1, 411-2)일 수 있다.
일 실시예에 따라, 촬영용 카메라(380)는 웨어러블 전자 장치(301)의 전면 방향을 촬영할 수 있고, 시선 추적 카메라(412-1, 412-2)는 촬영용 카메라(380)의 촬영 방향과 반대되는 방향을 촬영할 수 있다. 예를 들어, 제1 시선 추적 카메라(412-1)는 사용자의 좌안을 부분적으로 촬영하고, 제2 시선 추적 카메라(412-2)은 사용자의 우안을 부분적으로 촬영할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 촬영용 카메라(380)를 통해 획득한 실제 현실 공간과 관련된 영상 정보에 기반하여 AR 서비스와 관련된 가상 객체(또는 가상 정보)를 함께 표시할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자의 양안에 대응하여 배치된 디스플레이 모듈(예: 좌안에 대응되는 제1 디스플레이 모듈(414-1), 및/또는 우안에 대응되는 제2 디스플레이 모듈(414-2))을 기반으로 가상 객체를 표시할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 미리 설정된 설정 정보(예: 해상도(resolution), 프레임 레이트(frame rate), 밝기, 및/또는 표시 영역)를 기반으로 가상 객체를 표시할 수 있다.
일 실시예에 따르면, 촬영용 카메라(380)는 HR(high resolution) 카메라 및/또는 PV(photo video) 카메라와 같은 고해상도의 카메라를 포함할 수 있다. 예를 들어, 촬영용 카메라(380)는 오토 포커스 기능과 떨림 보정(OIS)과 같이 고화질의 영상을 획득하기 위해 활용될 수 있다. 촬영용 카메라(380)는 컬러(color) 카메라 이외에 GS(global shutter) 카메라 및 RS(rolling shutter) 카메라로 구현될 수도 있다.
일 실시예에 따르면, 시선 추적 카메라(412-1, 412-2)는 사용자의 시선 방향(예: 눈동자 움직임)을 감지할 수 있다. 예를 들어, 시선 추적 카메라(412-1, 412-2)는 사용자의 눈동자를 검출하여, 시선 방향을 추적할 수 있다. 일 실시예에서, 추적된 시선 방향은 가상 객체를 포함하는 가상 영상의 중심이 시선 방향에 대응하여 이동하는데 활용될 수 있다. 예를 들어, 시선 추적 카메라(412-1, 412-2)는 눈동자(pupil)를 검출하고 빠른 눈동자 움직임을 화면 끌림 없이 추적할 수 있도록 GS(global shutter) 카메라가 활용될 수 있으며, 각 시선 추적 카메라(412-1, 412-2)의 성능 및 규격이 실질적으로 동일할 수 있다.
일 실시예에 따르면, 인식용 카메라(411-1, 411-2)는 미리 설정된 거리 이내(예: 일정 공간)에서의 사용자 제스처 및/또는 일정 공간을 감지할 수 있다. 일 실시예에 따르면, 인식용 카메라(411-1, 411-2)는 3DoF, 6DoF의 헤드 추적(head tracking), 핸드 검출 및/또는 핸드 추적(hand tracking)을 위해 사용될 수 있다. 예를 들어, 인식용 카메라(411-1, 411-2)는 6DoF를 위한 공간 인식, 뎁스(eepth) 촬영을 통한 슬램(SLAM, simultaneous localization and mapping) 기능을 수행하는데 활용될 수 있다. 어떤 실시예에 따르면, 인식용 카메라(411-1, 411-2)는 사용자 제스처를 인식하기 위한 제스처 인식 기능을 위해 활용될 수 있다. 인식용 카메라(411-1, 411-2)는 GS를 포함하는 카메라를 포함할 수 있다. 예를 들어, 인식용 카메라(411-1, 411-2)는 빠른 손동작 및/또는 손가락의 미세한 움직임을 검출 및 추적하기 위해, RS(rolling shutter) 카메라와 같이 화면 끌림이 적은(또는 RS 현상이 감소될 수 있는) GS를 포함하는 카메라를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 적어도 하나의 카메라(411-1, 411-2, 412-1, 412-2, 380)를 사용하여, 사용자의 좌안 및/또는 우안 중에서 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 외부 객체 또는 가상 객체에 대한 사용자의 시선 방향에 기반하여, 주시안 및/또는 보조시안에 대응되는 눈을 감지할 수 있다.
도 4에 예시된 웨어러블 전자 장치(301)에 포함되는 적어도 하나의 카메라(예: 촬영용 카메라(380), 시선 추적 카메라(412-1, 412-2) 및/또는 인식용 카메라(411-1, 411-2))의 개수 및 위치는 한정되지 않을 수 있다. 예를 들어, 웨어러블 전자 장치(301)의 형태(예: 모양 또는 크기)에 기반하여 적어도 하나의 카메라(예: 촬영용 카메라(380), 시선 추적 카메라(412-1, 412-2) 및/또는 인식용 카메라(411-1, 411-2))의 개수 및 위치는 다양하게 변경될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 적어도 하나의 카메라(예: 촬영용 카메라(380), 시선 추적 카메라(412-1, 412-2) 및/또는 인식용 카메라(411-1, 411-2))의 정확도를 높이기 위한 적어도 하나의 조명 부재(또는 발광 장치(illumination LED))(예: 제1 조명 부재(442-1), 제2 조명 부재(442-2))를 포함할 수 있다. 예를 들어, 제1 조명 부재(442-1)는 사용자의 좌안에 대응하는 부분에 배치될 수 있고, 제2 조명 부재(442-2)는 사용자의 우안에 대응하는 부분에 배치될 수 있다.
일 실시예에 따라, 조명 부재(442-1, 442-2)는 웨어러블 전자 장치(301)에 부착되는 위치에 따라 각각 다른 용도로 활용될 수 있다. 일 실시예에서, 조명 부재(442-1, 442-2)는 시선 추적 카메라(412-1, 412-2)로 사용자의 눈동자를 촬영할 때 정확도(예: 시선 게이즈(eye gaze) 검출의 용이)를 높이기 위한 보조 수단으로 사용될 수 있고, 적외선 파장의 광을 발생시키는 IR LED를 포함할 수 있다. 일 실시예에서, 조명 부재(442-1, 442-2)는 인식용 카메라(411-1, 411-2)로 사용자의 제스처를 촬영할 때 어두운 환경이나 여러 광원의 혼입 및 반사 빛 때문에 촬영하고자 하는 피사체 검출이 용이하지 않을 때 주변 밝기를 보충하는 보조 수단으로 사용될 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자의 음성 및 주변 소리를 수신하기 위한 마이크(예: 제1 마이크(441-1), 제2 마이크(441-2) 및 제3 마이크(441-3))를 포함할 수 있다.
일 실시예에 따르면, 제1 지지 프레임(360)(또는 제1 하우징) 및/또는 제2 지지 프레임(370)(제2 하우징)은 인쇄 회로 기판(PCB, printed circuit board)(예: 제1 인쇄 회로 기판(431-1), 제2 인쇄 회로 기판(431-2)), 오디오 신호를 출력하기 위한 스피커(speaker)(예: 제1 스피커(432-1), 제2 스피커(432-2)), 배터리(예: 제1 배터리(433-1), 제2 배터리(433-2)), 및/또는 힌지부(예: 제1 힌지부(440-1), 제2 힌지부(440-2))를 포함할 수 있다.
일 실시예에 따라, 인쇄 회로 기판(431-1, 431-2)은 플렉서블 기판(예: FPCB, flexible PCB)을 포함할 수 있다. 인쇄 회로 기판(431-1, 431-2)은 웨어러블 전자 장치(301)의 각 구성 요소(예: 카메라, 디스플레이 모듈, 마이크, 및/또는 스피커)에 전기 신호를 전달할 수 있다.
일 실시예에 따라, 스피커(432-1, 432-2)는 사용자의 좌측 귀에 오디오 신호를 전달하기 위한 제1 스피커(432-1) 및 사용자의 우측 귀에 오디오 신호를 전달하기 위한 제2 스피커(432-2)를 포함할 수 있다.
일 실시예에 따라, 배터리(433-1, 433-2)는 전력 관리 모듈(예: 도 1의 전력 관리 모듈(188))을 통해, 인쇄 회로 기판(431-1, 431-2)에 전력을 공급할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 제1 지지 프레임(360) 및 제2 지지 프레임(370)을 통해, 복수 개의 배터리(433-1, 433-2)를 구비할 수 있고, 전력 관리 모듈을 통해, 인쇄 회로 기판(431-1, 431-2)에 전력을 공급할 수 있다. 예를 들어, 복수 개의 배터리(433-1, 433-2)는 전력 관리 모듈과 전기적으로 연결될 수 있다.
도시하지는 않았으나, 도 3 및 도 4의 예시와 같은 웨어러블 전자 장치(301)는 지정된 외부 장치(예: 케이스(case))(미도시)에 의해 수납될 수 있다. 일 실시예에 따라, 케이스는 웨어러블 전자 장치(301)를 단순히 보관하고 충전하는 기능을 포함할 수 있다. 어떤 실시예에 따르면, 케이스는 웨어러블 전자 장치(301)의 충전 및 보관 용도에 더하여, 카메라 및/또는 프로세서와 같은 구성 요소를 포함할 수 있고, 이러한 구성 요소를 이용하여 웨어러블 전자 장치(301)의 보조 연산 장치로 사용될 수도 있다. 예를 들어, 웨어러블 전자 장치(301)는 케이스에 수납 시에, 케이스와 통신(예: 유선 통신 및/또는 무선 통신)을 수행할 수 있고, 케이스는 호스트 디바이스(host device)(예: 스마트 폰)의 기능을 일부 수행할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 단독 또는 적어도 하나의 다른 전자 장치(예: 호스트 디바이스(예: 전자 장치(101))와 연동하여, AR 서비스를 제공할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 호스트 디바이스(예: 전자 장치(101))에 연결되고, 호스트 디바이스를 통해 네트워크(예: 클라우드)에 연결하는 테더드(tethered) AR 방식으로 동작하여 AR 서비스를 제공할 수 있다. 어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 호스트 디바이스(예: 전자 장치(101))와 연결 없이 단독(standalone)으로 네트워크(예: 클라우드)에 연결하는 방식으로 동작하여 AR 서비스를 제공할 수도 있다.
도 5는 일 실시예에 따른 웨어러블 전자 장치의 구성의 일 예를 도시하는 도면이다.
일 실시예에서, 도 5는 일 실시예에 따른 웨어러블 전자 장치(301)에서 AR 서비스를 지원하는 것과 연관된 구성의 예를 나타낼 수 있다. 일 실시예에 따라, 도 5에 예시된 웨어러블 전자 장치(301)는 도 3 내지 도 4를 참조한 설명 부분에서 설명한 바와 같은 웨어러블 전자 장치(301)의 구성 요소를 포함할 수 있다.
도 5를 참조하면, 웨어러블 전자 장치(301)는 글래스(510), 디스플레이 모듈(520), 센서 모듈(530), 통신 모듈(540), 메모리(550), 오디오 모듈(560), 카메라 모듈(570), 배터리(580), 및 프로세서(590)를 포함할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)에 포함되는 구성 요소는, 예를 들면, 하드웨어 모듈(예: 회로(circuitry))로 이해될 수 있다.
글래스(510)(예: 도 3 및 도 4의 제1 글래스(320) 및/또는 제2 글래스(330))는 집광 렌즈(condensing lens) 및/또는 투명 도파관(transparent waveguide)(예: 도 4의 제1 광도파로(420) 및 제2 광도파로(430))을 포함할 수 있다. 예를 들어, 투명 도파관은 글래스(510)의 일부에 적어도 부분적으로 위치할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(520)에서 방출된 광은 글래스(510)의 일단으로 입광될 수 있고, 입광된 광이 글래스(510) 내에 형성된 도파관 및/또는 도파로(예: waveguide)를 통해 사용자에게 전달될 수 있다. 도파관은 글래스 또는 폴리머로 제작될 수 있으며, 내부 또는 외부의 일 표면에 형성된 나노 패턴, 예를 들어, 다각형 또는 곡면 형상의 격자 구조(grating structure)를 포함할 수 있다.
디스플레이 모듈(520)은 복수의 패널(또는 표시 영역)을 포함할 수 있고, 복수의 패널은 글래스(510)에 위치할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(520)의 적어도 일부는 투명 소자로 구성될 수 있고, 사용자가 디스플레이 모듈(520)을 투과하여, 디스플레이 모듈(520)의 후면의 실제 현실 공간을 인지할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(520)은 사용자에게 실제 현실 공간의 적어도 일부에 가상 객체(또는 가상 정보)가 덧붙여진 것으로 보여지도록 투명 소자의 적어도 일부 영역에 가상 객체를 표시할 수 있다.
센서 모듈(530)은 근접 센서(531), 조도 센서(532), 및/또는 자이로 센서(533)를 포함할 수 있다. 근접 센서(531)는 웨어러블 전자 장치(301)에 인접하는 객체를 감지할 수 있다. 조도 센서(532)는 웨어러블 전자 장치(301) 주변의 밝기 정도를 측정할 수 있다. 일 실시예에 따르면, 프로세서(590)는 조도 센서(532)를 사용하여 웨어러블 전자 장치(301) 주변의 밝기 정도를 확인하고, 밝기 정도를 기반으로 디스플레이 모듈(520)의 밝기 관련 설정 정보를 변경할 수 있다. 예를 들어, 주변의 밝기가 기 설정된 밝기보다 더 밝으면, 프로세서(590)는 사용자의 시인성이 높아지도록 디스플레이 모듈(520)의 밝기 정도를 보다 높게 설정할 수 있다. 자이로 센서(533)는 웨어러블 전자 장치(301)의 자세 및 위치를 감지할 수 있다. 예를 들어, 자이로 센서(533)는 웨어러블 전자 장치(301)가 사용자의 머리에 올바르게 착용되었는지 여부를 감지할 수 있다. 다른 예를 들어, 자이로 센서는 웨어러블 전자 장치(301) 또는 웨어러블 전자 장치(301)를 착용한 사용자의 움직임을 감지할 수 있다.
통신 모듈(540)은 도 1에 예시한 바와 같은 무선 통신 모듈(192)에 대응할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 통신 모듈(540)을 이용하여 네트워크를 통해 외부 장치(예: 도 1의 서버(201) 및/또는 다른 전자 장치(101, 102, 104))와 무선 통신을 수행할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 전자 장치(101)와 무선 통신을 수행할 수 있고, 서로 명령어 및/또는 데이터를 교환할 수 있다. 어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 통신 모듈(540)을 통해, 외부 장치(예: 전자 장치(101))에 의해, 적어도 부분적으로 제어될 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 외부의 다른 전자 장치의 제어 하에, 적어도 하나의 기능이 수행될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 카메라 모듈(570)을 통해 실제 현실 공간에 위치한 객체 정보(예: 이미지), 객체와의 거리 정보, 사용자의 시선 정보, 및/또는 사용자의 제스처 정보를 통신 모듈(540)을 통해 외부 장치(예: 도 1의 서버(201) 및/또는 다른 전자 장치(101, 102, 104))로 전송할 수 있다.
일 실시예에 따르면, 통신 모듈(540)은 안테나 모듈(545)을 포함할 수 있다. 예를 들면, 통신 모듈(540)은 지정된 주파수 대역에서의 성능 확보를 위한 다양한 기술들(예: 빔포밍(beamforming), 다중 입출력(MIMO), 및/또는 어레이 안테나(array antenna))을 지원할 수 있다. 일 실시예에 따르면, 안테나 모듈(545)은 신호 또는 전력을 외부(예: 웨어러블 전자 장치(301)의 주변 장치 및/또는 서버)로 송신하거나 외부로부터 수신할 수 있다. 어떤 실시예에 따르면, 안테나 모듈(545)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 일 실시예에 따라, 신호 또는 전력은 안테나 모듈(545)을 통하여 통신 모듈(540)과 외부 간에 송신되거나 수신될 수 있다.
메모리(550)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 메모리(130)에 대응할 수 있다. 일 실시예에 따르면, 메모리(550)는, 웨어러블 전자 장치(301)가 AR 서비스를 제공할 때, 웨어러블 전자 장치(301)에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 도 1의 프로그램(140)), 및 이와 관련된 명령(command)에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(550)는 실행 시에, 프로세서(590)가 동작하도록 하는 인스트럭션들(instructions)을 저장할 수 있다. 인스트럭션들은 메모리(550) 상에 소프트웨어로서 저장될 수 있고, 프로세서(590)에 의해 실행 가능할 수 있다.
오디오 모듈(560)은 프로세서(590)의 제어에 기반하여, 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다.
카메라 모듈(570)은 도 3 내지 도 4를 참조한 설명 부분에서 설명한 바와 같은 적어도 하나의 카메라에 대응할 수 있다. 일 실시예에 따르면, 카메라 모듈(570)은 도 4에 예시한 바와 같이, 복수의 카메라들(예: 촬영용 카메라(380), 인식용 카메라(411-1, 411-2), 및 시선 추적 카메라(412-1, 412-2))를 포함할 수 있다.
배터리(580)는 웨어러블 전자 장치(301)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 배터리(580)는 도 4를 참조한 설명 부분에서 설명한 바와 같은 복수의 배터리를 포함할 수 있다. 예를 들면, 배터리(580)는 제1 지지 프레임(360)에서 전력을 공급하는 제1 배터리 및 제2 지지 프레임(370)에서 전력을 공급하는 제2 배터리를 포함할 수 있다.
프로세서(590)는 메모리(550)에 저장된 프로그램(예: 도 1의 프로그램(140))을 실행하여, 적어도 하나의 다른 구성 요소(예: 하드웨어 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(120)는 웨어러블 전자 장치(301)의 단독 또는 전자 장치(101)와 연결에 기반하여 사용자에게 AR 서비스를 제공하도록 동작할 수 있다. 프로세서(120)는 디스플레이 모듈(520)을 통해, 웨어러블 전자 장치(301)를 착용한 사용자의 시선(예: FOV, AOV(angle of view))에 대응하는 실제 현실 공간에, 적어도 하나의 가상 객체(또는 가상 정보)가 덧붙여 보여지도록 적어도 하나의 가상 객체를 출력할 수 있다.
일 실시예에 따라, 프로세서(590)는 도 1을 참조한 설명 부분에서 설명한 바와 같은 프로세서(120)에 대응할 수 있다. 일 실시예에 따르면, 프로세서(590)는 어플리케이션(예: AR 어플리케이션)을 실행하여, 웨어러블 전자 장치(301)와 데이터 통신 링크로 연결된 주변 장치를 AR 화면 상에서 제어할 수 있고, AR 서비스에 관련된 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(590)는 통신 모듈(540)을 통해 수신된 데이터를 메모리(550)에 저장하고, 메모리(550)에 저장된 데이터를 처리하고, 결과 데이터를 메모리(550)에 저장 및/또는 주변 장치(예: 전자 장치(101))로 전송할 수 있다. 일 실시예에 따르면, 프로세서(590)는 디스플레이 모듈(520)을 통해 제공된 현실 세계 상에 다양한 디지털 컨텐츠(예: AR 영상)를 겹쳐서 하나의 영상(예: AR 화면)을 표시하도록 디스플레이 모듈(520)을 제어할 수 있다.
일 실시예에 따르면, 프로세서(590)는 웨어러블 전자 장치(301)의 제1 지지 프레임(360) 또는 제2 지지 프레임(370) 중 어느 하나에 포함되어 동작할 수 있다. 어떤 실시예에 따르면, 프로세서(590)는 웨어러블 전자 장치(301)의 제1 지지 프레임(360) 및 제2 지지 프레임(370) 각각에 제1 프로세서(예: 메인 프로세서) 및 제2 프로세서(예: 보조 프로세서)를 포함할 수 있고, 제1 프로세서와 제2 프로세서의 동기(sync)를 맞추어 동작하는 듀얼 시스템(dual system) 구조를 포함할 수도 있다.
도 6은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 네트워크 환경을 도시한 도면이다.
도 6을 참조하면, 일 실시예에 따른 전자 장치(101)는 웨어러블 전자 장치(301)와 연결될 수 있다. 전자 장치(101)와 웨어러블 전자 장치(301)는 유선으로 연결되거나 또는 무선으로 연결(예: 페어링)될 수 있다. 예를 들어, 전자 장치(101)는 블루투스, 저전력 블루투스, 와이파이(Wi-Fi), 와이파이 다이렉트(direct) 또는 UWB(ultra wide band)와 같은 근거리 무선 통신(600)을 통해 웨어러블 전자 장치(301)와 연결될 수 있다. 일 실시예에 따라, 전자 장치(101)는 스마트 폰, 태블릿(tablet) PC(personal computer), 노트북(notebook), 및/또는 디스플레이 장치(예: 모니터 또는 TV)를 포함할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 글래스(glasses), 스마트 글래스(smart glasses), 또는 헤드 마운트 장치(HMD, head mounted display)를 포함할 수 있다.
웨어러블 전자 장치(301)는 AR 서비스를 위해 관련 데이터(예: AR 영상)를 직접 생성하거나(예: 저장 또는 처리된 데이터에 기반하여 생성) 또는 외부(예: 전자 장치(101) 또는 서버(예: 도 1의 서버(108))로부터 획득하여, 디스플레이 모듈(520)을 통해 표시할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 사용자의 신체(예: 얼굴)에 착용 가능하며, 현실 세계 위에 다양한 디지털 컨텐츠(예: AR 이미지)를 겹쳐서 디스플레이 모듈(520)을 통해 하나의 영상(예: AR 화면)으로 표시할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 영상 데이터(예: AR 영상)를 수신하고, 수신된 영상 데이터를 디스플레이 모듈(520)을 통해 현실 세계의 다양한 객체와 함께 표시할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 전자 장치(101)와 통신 연결 시, 웨어러블 전자 장치(301)의 카메라 모듈(570)을 통해 촬영된 영상 정보, 사용자의 시선 정보(예: FOV 및/또는 AOV)를 전자 장치(101)로 주기적으로 전송하거나, 및/또는 웨어러블 전자 장치(301)의 상태 변화(예: 위치 또는 방향의 변화)가 발생되는 경우 전자 장치(101)로 전송할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 전자 장치(101)와 연결 시에 전자 장치(101)로 영상 정보, 시선 정보, 장치 정보, 센싱 정보, 기능 정보 및/또는 위치 정보와 같은 적어도 하나의 정보를 제공(예: 전송)할 수 있다.
일 실시예에 따라, 전자 장치(101) 또는 웨어러블 전자 장치(301)는 AR 서비스를 제공할 때, AR 화면 상에서 본 개시의 동작을 트리거하는 것과 관련된 지정된 인터랙션을 감지(또는 인식)하고, 지정된 인터랙션 감지에 대응하여, 컨텐츠를 표시할 표시 모드를 결정할 수 있다. 일 실시예에 따라, 전자 장치(101) 또는 웨어러블 전자 장치(301)는 결정된 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)을 통해 컨텐츠를 표시(예: 제1 표시 모드)하거나, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통한 AR 화면 상에 컨텐츠를 표시(예: 제2 표시 모드)하도록 동작할 수 있다. 본 개시에 따른 지정된 인터랙션 감지에 기반하여 표시 모드를 다르게 운영하는 것과 관련하여 후술하는 도면들을 참조하여 상세히 설명된다.
도 7a, 도 7b, 도 7c 및 도 7d는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간에 컨텐츠를 선택적으로 표시하는 예를 설명하기 위한 도면들이다.
일 실시예에서, 도 7a는 사용자가 웨어러블 전자 장치(301)를 착용하고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면을 보고 있는 상태를 나타낼 수 있다. 예를 들면, 도 7a는 사용자가 웨어러블 전자 장치(301)의 AR 화면을 통해 현실 공간(700)(또는 환경)의 적어도 일부에 겹쳐진 컨텐츠(710)(또는 증강 현실 이미지)(예: 제1 가상 정보(711) 및 제2 가상 정보(713))를 보고 있는 상태를 나타낼 수 있다. 일 실시예에 따라, 도 7b는 도 7a와 같은 상태에서 사용자가 전자 장치(101)를 사용자의 시야각(FOV)(701) 내로 가져오고, 컨텐츠(710) 상에 중첩하여 전자 장치(101)가 표시되는 상태를 나타낼 수 있다. 일 실시예에 따라, 도 7c는 컨텐츠(710)의 프로세싱 주체가 전자 장치(101)인 경우에 컨텐츠(710)를 제1 표시 모드에 따라 표시하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 7d는 컨텐츠(710)의 프로세싱 주체가 웨어러블 전자 장치(301)인 경우에 컨텐츠(710)를 제2 표시 모드에 따라 표시하는 예를 나타낼 수 있다. 일 실시예에서, 컨텐츠(710)(또는 증강 현실 이미지)는 웨어러블 전자 장치(301)를 착용한 사용자가 위치한 실제 현실 공간(700)에 적어도 하나의 어플리케이션에 대응하는 그래픽 데이터가 가상 객체로서 제공되는 것일 수 있다.
도 7a를 참조하면, 웨어러블 전자 장치(301)는 사용자에 의해 착용되고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 현실 공간(700)의 적어도 일부에 하나 이상의 컨텐츠(710)(또는 컨텐츠에 관련된 가상 정보)를 표시하고 있는 상황일 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 사용자의 시야각(701)에 대응하는 실제 현실 공간(700)에 적어도 하나의 가상 정보를 겹쳐서 사용자에게 제공할 수 있다. 일 실시예에서, 컨텐츠(710)를 표시하고 있는 상황은, 예를 들면, 실제 현실 공간(700)의 실제 객체에 대해 사용자가 제스처(gesture) 입력 및/또는 시선 게이즈(eye gaze)를 수행한 경우, 검색 기능을 수행할 수 있는 어플리케이션(예: 브라우저, 쇼핑 앱, 및/또는 SNS)의 실행 화면을 표시하는 상황, 미디어 컨텐츠를 재생하기 위한 어플리케이션(예: 플레이어)의 실행 화면(예: 동영상 재생 화면 또는 이미지 재생 화면)을 표시하는 상황, 및/또는 가상 공간 상에서 사용자에 의한 지정된 시뮬레이션 실행 상황(예: 협업 툴 사용 상황 또는 게임 플레이 상황)을 포함할 수 있다. 예를 들어, 컨텐츠(710)는 제1 어플리케이션에 대응하는 가상 정보(또는 가상 객체 또는 그래픽 이미지), 제2 어플리케이션에 대응하는 가상 정보, 및/또는 제3 어플리케이션에 대응하는 가상 정보와 같이, 각각 대응하는 어플리케이션에 의해 제공 가능한 정보를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 컨텐츠(710)가 제공된 상태에서 사용자의 시선(701)을 추적하여 사용자의 시선(701)에 대응하는 적어도 하나의 현실 공간(700)의 실제 객체에 관련된 가상 정보 또는 사용자에 의해 실행 지정된 어플리케이션의 실행 화면을 디스플레이 모듈(520)을 통해 AR 화면(또는 가상 공간)으로 제공할 수 있다. 예를 들면, 사용자는 웨어러블 전자 장치(301)를 이용하여 실제 현실 공간(700)에서 다양한 실제 객체에 대응하는 컨텐츠(710)를 사용자의 시선(701) 이동에 따라 AR 서비스를 이용할 수 있다.
도 7b를 참조하면, 사용자는 웨어러블 전자 장치(301)를 이용하여 AR 서비스를 이용하는 중에, 시야각(701)에 대응하는 실제 현실 공간(700)에 전자 장치(101)를 위치시킬 수 있다. 일 실시예에 따르면, 사용자는 웨어러블 전자 장치(301)를 통해 컨텐츠(710)가 제공된 상태에서, 전자 장치(101)를 사용자의 시야에 보이는 실제 현실 공간(700)에 위치시켜, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 표시되도록 할 수 있다.
일 실시예에 따르면, 전자 장치(101) 또는 웨어러블 전자 장치(301)는 컨텐츠(710)에 대한 정보를 표시하고 있는 상황에서, 사용자의 시선(701) 상에 전자 장치(101)가 위치되는 인터랙션(또는 트리거)을 감지하는 경우, 컨텐츠(710)의 프로세싱 주체에 따라, 컨텐츠(710)에 대한 정보를 표시하기 위한 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 예를 들면, 표시 모드는, 컨텐츠(710)의 프로세싱 주체에 따라, AR 화면 상의 컨텐츠(710)를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하는 제1 표시 모드 또는 AR 화면 상의 컨텐츠(710)를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 가상 공간에서 표시하는 제2 표시 모드를 포함할 수 있다. 어떤 실시예에 따르면, 인터랙션(또는 트리거)은 웨어러블 전자 장치(301)를 통해 사용자의 시선(701) 상에 위치된 전자 장치(101)의 디스플레이 모듈(160)을 확장하는 제스처(예: 플렉서블 디스플레이를 슬라이드 아웃(slide out)하는 인터랙션 또는 롤러블 활성화 인터랙션)를 포함할 수 있다.
일 실시예에서, 표시 모드 결정을 위한 프로세싱 주체는, 예를 들면, AR 서비스가 웨어러블 전자 장치(301)에서 처리되는 스탠드얼론(standalone) 방식으로 제공되는지, 또는 AR 서비스가 전자 장치(101)에서 처리되고 전자 장치(101)와 웨어러블 전자 장치(301) 간에 서로 연동하여 제공되는 테더드(tethered) 방식으로 제공되는지에 따라 다를 수 있다. 예를 들면, 테더드 방식의 경우 컨텐츠(710)의 프로세싱 주체는 전자 장치(101)일 수 있고, 제1 표시 모드로 컨텐츠(710)를 표시하도록 동작할 수 있다. 다른 예를 들면, 스탠드얼론 방식의 경우 컨텐츠(710)의 프로세싱 주체는 웨어러블 전자 장치(301)일 수 있고, 제2 표시 모드로 컨텐츠(710)를 표시하도록 동작할 수 있다.
어떤 실시예에 따르면, 프로세싱 주체에 따라 결정된 표시 모드는, 제공될 컨텐츠(710)의 프로필이 미리 지정된 프로필에 대응하는지 여부에 따라 변경될 수 있다. 예를 들면, 제공될 컨텐츠(710)가 지정된 프로필에 해당하는 경우 프로세싱 주체가 전자 장치(101) 또는 웨어러블 전자 장치(301)인 것에 관계없이, 가상 공간을 이용한 표시 모드(예: 제2 표시 모드)가 결정될 수 있다. 일 실시예에서, 프로필은, 컨텐츠(710)가, 프라이버시(privacy)에 관련된 정보인지 여부 및/또는 사용자에 의해 보호 지정된 어플리케이션 카테고리(예: 전화, 개인 SNS 및/또는 금융)인지 여부에 관련된 적어도 하나의 식별 정보를 포함할 수 있다. 일 실시예에서, 표시 모드를 판단하기 위한 프로필은 사용자에 의해 전자 장치(101) 또는 웨어러블 전자 장치(301)에 다양하게 미리 설정될 수 있다.
도 7c를 참조하면, 도 7c에서는 프로세싱 주체가 전자 장치(101)인 경우의 예를 나타낼 수 있다. 예를 들면, 도 7c에서는 AR 서비스가 테더드 방식으로 제공되거나, 및/또는 제공될 컨텐츠(710)가 지정된 프로필에 해당하지 않는 경우에, 전자 장치(101)의 디스플레이 모듈(160)을 통해 컨텐츠(710)를 연속되게 표시하는 제1 표시 모드의 예를 나타낼 수 있다. 예를 들면, AR 서비스와 관련하여 실행 중인 컨텐츠(710) 또는 컨텐츠(710)에 대응하는 어플리케이션의 프로세싱을 전자 장치(101)에서 수행하는 경우, 현재 웨어러블 전자 장치(301)의 화면 표시를 중단(예: 웨어러블 전자 장치(301)의 착용이 해제된 상태로서, 디스플레이 모듈(520) 또는 웨어러블 전자 장치(301)의 전원 오프(off))하고, 전자 장치(101)의 디스플레이 모듈(160)을 통해 AR 화면을 통해 표시 중이던 컨텐츠(710)를 표시할 수 있다. 예를 들면, 전자 장치(101)는 제1 표시 모드에 따라 전자 장치(101)의 디스플레이 모듈(160)의 표시 영역의 전부 또는 적어도 일부를 통해 컨텐츠(710)를 표시할 수 있다.
일 실시예에 따라, 제1 표시 모드는, AR 화면을 통해 제공되던 컨텐츠(710)를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하도록 하는 모드로서, 전자 장치(101)의 폼 팩터에 따른 사용자 인터랙션에 따라 다양하게 제공될 수 있다.
예를 들어, 도 7c의 예시 <705A>에 예시한 바와 같이, 전자 장치(101)의 폼 팩터가 바-타입이거나, 또는 폼 팩터가 롤러블 타입인 반면 롤러블 활성화 인터랙션이 없는 경우(예: 닫힌(또는 슬라이드-인) 상태), 전자 장치(101)는 디스플레이 모듈(160)의 지정된 표시 영역을 통해 컨텐츠(710)를 표시할 수 있다. 일 실시예에 따라, 전자 장치(101)는 디스플레이 모듈(160)의 전체 영역 또는 적어도 일부 영역을 컨텐츠(710)를 표시하기 위한 액티브 윈도우(active window)(720)로 제공할 수 있다.
다른 예를 들어, 도 7c의 예시 <705B>에 예시한 바와 같이, 전자 장치(101)의 폼 팩터가 롤러블 타입이고, 롤러블 활성화 인터랙션(703)에 의해 디스플레이 모듈(160)이 확장되어, 기본 영역(A)에 추가적으로 확장 영역(B)을 제공하는 경우, 전자 장치(101)는 디스플레이 모듈(160)의 지정된 표시 영역을 통해 컨텐츠(710)를 표시할 수 있다.
일 실시예에 따라, 전자 장치(101)는 디스플레이 모듈(160)의 기본 영역(A)의 기존 표시 상태는 유지하고, 추가적으로 확장되는 확장 영역(B)을 컨텐츠(710)를 표시하기 위한 액티브 윈도우(730)로 제공할 수 있다. 일 실시예에 따르면, 확장 영역(B)의 경우, 컨텐츠(710)의 수, 컨텐츠(710)의 종류, 컨텐츠(710)의 표시 방식(예: 가로 모드 또는 세로 모드) 또는 컨텐츠(710)의 표시 크기 중 적어도 하나에 기반하여 확장 정도가 달라질 수 있다.
다른 실시예에 따라, 사용자 인터랙션(703)의 경우 화면 확장에 대한 사용자의 명확한 의도가 있기 때문에, 전자 장치(101)는 디스플레이 모듈(160)의 기본 영역(A)과 확장 영역(B)을 포함하는 전체 영역(예: 기본 영역(A) + 확장 영역(B))을 컨텐츠(710)를 표시하기 위한 액티브 윈도우(740)로 제공할 수도 있다.
도 7d를 참조하면, 도 7d에서는 프로세싱 주체가 웨어러블 전자 장치(301)인 경우의 예를 나타낼 수 있다. 예를 들면, 도 7d에서는 AR 서비스가 스탠드얼론 방식으로 제공되거나, 및/또는 AR 서비스가 테더드 방식으로 제공되지만, 제공될 컨텐츠(710)가 지정된 프로필에 해당하는 경우에, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 컨텐츠(710)를 연속되게 표시하는 제2 표시 모드의 예를 나타낼 수 있다. 예를 들면, AR 서비스와 관련하여 실행 중인 컨텐츠(710) 또는 컨텐츠(710)에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행하는 경우, 또는 제공될 컨텐츠(710)가 지정된 프로필에 해당하는 경우, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면 내에서 표시되는 실제 현실 공간(700)에 위치된 전자 장치(101)의 기본 영역(A), 전자 장치(101)의 확장 영역(B) 및/또는 전자 장치(101)와 인접하게 생성하는 가상 영역(V)에서 컨텐츠(710)를 매핑(mapping)(예: 텍스처 매핑(texture mapping)(또는 락(lock))하여 표시할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 제2 표시 모드에 따라 가상 공간 내에서 전자 장치(101)의 기본 영역(A), 확장 영역(B), 전체 영역(예: 기본 영역(A) + 확장 영역(B)), 및/또는 가상 영역(V)의 전부 또는 적어도 일부를 통해 컨텐츠(710)를 매핑하여 표시할 수 있다.
일 실시예에 따라, 제2 표시 모드는, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 가상 공간을 통해 컨텐츠(710)를 표시하도록 하는 모드로서, AR 화면 상의 전자 장치(101)의 폼 팩터에 따른 사용자 인터랙션에 따라 다양하게 제공될 수 있다. 일 실시예에 따르면, 제2 표시 모드는AR 화면을 통해 현실 공간(700)의 실제 객체에 매핑하여 제공되던 컨텐츠(710)를 AR 화면 상의 전자 장치(101)의 디스플레이 모듈(160)에 매핑하여 표시하는 모드를 나타낼 수 있다.
예를 들어, 도 7d의 예시 <715A>에 예시한 바와 같이, 전자 장치(101)의 폼 팩터가 바-타입이거나, 폼 팩터가 롤러블 타입인 반면 롤러블 활성화 인터랙션이 없는 경우(예: 닫힌(또는 슬라이드-인) 상태), 웨어러블 전자 장치(301)는 디스플레이 모듈(520)을 통해 제공된 현실 공간(700) 상에서 인식된 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역(A) 및/또는 기본 영역(A)에 기반하여 가상적으로 생성하는 가상 영역(V)에 컨텐츠(710)를 매핑하여 표시할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는 디스플레이 모듈(520)을 통해 제공된 현실 공간(700)에서 인식된 전자 장치(101)의 기본 영역(A) 및/또는 가상 영역(V)을 컨텐츠(710)를 표시하기 위한 액티브 윈도우(760, 770)로 매핑할 수 있다. 일 실시예에서, 기본 영역(A)에 매핑되는 컨텐츠(710)는 AR 화면을 통해서 제공되는 것으로, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해서는 표시되지 않을 수 있다. 일 실시예에서, 가상 영역(V)은 인식된 전자 장치(101)를 기반으로, 전자 장치(101)의 기본 영역(A)에 대응하여 디지털적으로 생성되어 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해서만 표시되는 가상적인 표시 영역을 나타낼 수 있다.
예를 들면, 가상 영역(V)은 전자 장치(101)의 실질적 확장에 의한 확장 영역이 아닐 수 있다. 예를 들어, 사용자는 전자 장치(101)를 실질적으로 확장하지 않고, 확장하는 제스처만 입력할 수 있고, 이에 대응하여, 실질적 확장 영역에 대응하는 영역에 가상 영역(V)으로 대체하여, 가상 확장 영역으로 제공할 수 있다. 이와 같이, 제2 표시 모드를 통해 제공되는 컨텐츠(710)는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면에 의해서만 제공되며, 웨어러블 전자 장치(301)를 착용한 사용자에 의해서만 확인 및/또는 제어할 수 있고, 현실 세계의 다른 사용자에게는 보이지 않을 수 있다.
다른 예를 들어, 도 7d의 예시 <715B>에 예시한 바와 같이, 전자 장치(101)의 폼 팩터가 롤러블 타입이고, 롤러블 활성화 인터랙션(703)에 의해 디스플레이 모듈(160)이 확장되어, 기본 영역(A)에 추가적으로 확장 영역(B)을 제공하는 경우, 웨어러블 전자 장치(301)는 전자 장치(101)의 디스플레이 모듈(160)의 지정된 표시 영역을 통해 컨텐츠(710)를 표시할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는 디스플레이 모듈(520)을 통해 제공된 실제 현실 공간(700)의 전자 장치(101)의 기본 영역(A)의 기존 표시 상태는 유지하면서, 추가적으로 확장되는 확장 영역(B)을 컨텐츠(710)를 표시하기 위한 액티브 윈도우(780)로 설정하고 액티브 윈도우(780)에 컨텐츠(710)를 매핑하여 제공할 수 있다. 다른 실시예에 따라, 사용자 인터랙션(703)의 경우 화면 확장에 대한 사용자의 명확한 의도가 있기 때문에, 웨어러블 전자 장치(301)는 디스플레이 모듈(520)을 통해 제공된 실제 현실 공간(700)의 전자 장치(101)의 기본 영역(A)과 확장 영역(B)을 포함하는 전체 영역(예: 기본 영역(A) + 확장 영역(B))을 컨텐츠(710)를 표시하기 위한 액티브 윈도우(790)로 설정하고 액티브 윈도우(790)에 컨텐츠(710)를 매핑하여 제공할 수 있다.
이와 같이, 제2 표시 모드를 통해 제공되는 컨텐츠(710)는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면에 의해서만 제공되며, 웨어러블 전자 장치(301)를 착용한 사용자에 의해서만 확인 및/또는 제어할 수 있고, 현실 세계의 다른 사용자에게는 보이지 않을 수 있다.
일 실시예에 따르면, AR 서비스가 테더드 방식으로 제공되지만, 제공될 컨텐츠(710)가 지정된 프로필에 해당하는 경우에, 전자 장치(101)는 도 7d를 참조한 설명 부분에서 설명한 바와 같은, 웨어러블 전자 장치(301)의 동작에 대응하는 동작으로 제2 표시 모드를 제공할 수 있다. 일 실시예에 따라, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 제2 표시 모드를 위한 다양한 정보를 획득할 수 있고, 획득된 정보에 기반하여 제2 표시 모드에 따른 액티브 윈도우와 관련된 데이터(예: 좌표, 위치 및/또는 공간 정보)와 액티브 윈도우에 표시할 정보를 웨어러블 전자 장치(301)로 전송하여, 웨어러블 전자 장치(301)에 의한 제2 표시 모드를 제공하도록 할 수 있다.
본 개시의 일 실시예에 따른 증강 현실(AR, augmented reality) 서비스를 위한 AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301)는, 디스플레이 모듈(예: 전자 장치(101)의 디스플레이 모듈(160) 또는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)), 및 프로세서(예: 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(301)의 프로세서(590))를 포함하고, 상기 프로세서(120, 590)는, AR 화면을 통해 컨텐츠를 제공하고, 상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하고, 상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하고, 및 상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈(예: 전자 장치(101)의 디스플레이 모듈(160))을 통해 표시하는 것을 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하는 것을 제어하도록 동작할 수 있다.
일 실시예에 따르면, 상기 컨텐츠는, AR 서비스를 위해 상기 AR 제공 장치에 의해 생성되어 AR 제공 장치의 디스플레이 모듈(예: 전자 장치(101)의 디스플레이 모듈(160) 또는 웨어러블 전자 장치(301)의 디스플레이 모듈(520))을 통해 제공되거나, 또는 상기 AR 제공 장치에 의해 생성되고, 지정된 통신을 통해 연결된 외부 장치로 전송되어, 상기 외부 장치의 디스플레이 모듈(예: 전자 장치(101)의 디스플레이 모듈(160) 또는 웨어러블 전자 장치(301)의 디스플레이 모듈(520))을 통해 제공되는 것을 포함하는 장치.
일 실시예에 따르면, 상기 프로세서(120, 590)는, 상기 AR 화면을 통해 지정된 인터랙션을 감지하고, 상기 지정된 인터랙션 감지에 기반하여, 상기 컨텐츠를 프로세싱 하는 대상 장치가 전자 장치(101)인지 또는 웨어러블 전자 장치(301)인지 판단하고, 상기 대상 장치가 상기 전자 장치(101)인 것으로 판단하는 경우, 상기 AR 화면 상에 상기 컨텐츠를 상기 전자 장치(101)로 전환하여 표시하도록 하는 제1 표시 모드를 결정하고, 상기 대상 장치가 상기 웨어러블 전자 장치(301)인 것으로 판단하는 경우, 상기 컨텐츠를 상기 AR 화면 상의 상기 전자 장치(101)와 매핑하여 표시하도록 하는 제2 표시 모드를 결정하도록 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120, 590)는, 상기 제1 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치(301)의 화면 표시를 중단하도록 제어하고, 상기 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 표시 영역에 기반하여 상기 AR 화면을 통해 표시 중이던 상기 컨텐츠의 표시를 제어하도록 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120, 590)는, 상기 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역 및/또는 확장 영역을 통해 상기 AR 화면에서 표시 중인 상기 컨텐츠를 위한 지정된 액티브 윈도우를 설정하고, 상기 설정된 액티브 윈도우에 기반한 컨텐츠 표시를 제어하도록 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120, 590)는, 상기 제2 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치(301)의 디스플레이 모듈(590)을 통해 제공되는 AR 화면 상에 상기 전자 장치(101)와 연관된 가상 표시 영역에 기반한 컨텐츠 표시를 제어하도록 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120, 590)는, 상기 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(590)을 통해 AR 화면 내에서 표시되는 실제 현실 공간에 위치된 전자 장치(101)의 기본 영역, 상기 전자 장치(101)의 확장 영역 및/또는 상기 전자 장치(101)와 인접하게 생성하는 가상 영역에 적어도 기반하여 컨텐츠를 매핑하여 표시하도록 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120, 590)는, 상기 제2 표시 모드 결정에 기반하여, 상기 전자 장치(101)의 디스플레이 모듈(160)의 확장 영역에 대응하는 가상 영역을 상기 전자 장치(101)의 확장 영역에 대응하게 구성하고, 상기 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역 및/또는 확장 영역을 통해 상기 AR 화면에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우를 설정하고, 상기 설정된 액티브 윈도우에 기반한 컨텐츠 매핑을 통해 컨텐츠 표시를 제어하도록 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120, 590)가, 상기 제2 표시 모드에 따라 상기 컨텐츠를 제공하는 경우, 상기 AR 화면 상에서 매핑된 상기 컨텐츠는 실제 현실 공간의 전자 장치(101)의 디스플레이 모듈(160)을 통해서는 표시되지 않고, 상기 AR 화면 상의 전자 장치(101)와 연관된 표시 영역을 통해서만 제공될 수 있다.
일 실시예에 따르면, 상기 지정된 인터랙션은, 상기 웨어러블 전자 장치(301)의 디스플레이 모듈(590)을 통해 제공되는 AR 화면의 실제 현실 공간 상에 전자 장치(101)가 진입하는 제1 인터랙션, 전자 장치(101)의 진입 이후에 사용자가 전자 장치(101)를 이용하여 지정된 제스처를 입력하는 제2 인터랙션, 및/또는 전자 장치(101)의 진입 이후에 사용자가 AR 화면 상의 전자 장치(101)를 통해 지정된 메뉴 조작 제스처를 입력하는 제3 인터랙션을 포함할 수 있다.
일 실시예에 따르면, 프로세서(120, 590)는, 상기 컨텐츠를 프로세싱 하는 대상 장치를 판단 시에, 상기 컨텐츠가 지정된 프로필에 대응하는지 여부를 판단하고, 상기 컨텐츠가 지정된 프로필에 대응하는 경우, 상기 컨텐츠를 프로세싱 하는 대상 장치에 관계 없이 상기 지정된 프로필의 컨텐츠를 상기 AR 화면을 통해 제공하도록 상기 제2 표시 모드를 결정하도록 동작할 수 있다.
본 개시의 일 실시예에 따른 증강 현실(AR, augmented reality) 서비스를 위한 AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301))는, 디스플레이 모듈(예: 전자 장치(101)의 디스플레이 모듈(160) 또는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)), 및 프로세서(예: 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(301)의 프로세서(590))를 포함하고, 상기 프로세서(120, 590)는, 상기 디스플레이 모듈을 통해 컨텐츠를 표시하고, 상기 컨텐츠를 표시하는 동안 AR 화면 상에서 외부 장치를 인식하고, 상기 외부 장치가 지정된 외부 장치인 경우, 상기 외부 장치의 상태 변경을 모니터링 하고, 상기 외부 장치의 상태 변경을 식별하는 것에 기반하여, 상기 컨텐츠에 관련된 프로세싱 주체를 판단하고, 판단하는 프로세싱 주체에 기반하여 상기 컨텐츠의 표시 모드를 결정하고, 및 결정된 표시 모드에 기반하여 상기 컨텐츠를 디스플레이 모듈을 통한 AR 화면으로 표시하거나, 상기 외부 장치의 디스플레이 모듈을 통해 표시하는 것을 제어하도록 동작할 수 있다.
이하에서는 다양한 실시예들의 전자 장치(101) 및 웨어러블 전자 장치(301)의 동작 방법에 대해서 상세하게 설명한다.
일 실시예에 따라, 이하에서 설명하는 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 다양한 프로세싱 회로(various processing circuitry) 및/또는 실행 가능한 프로그램 요소(executable program elements)를 포함하는 프로세서(120)에 의해 실행될 수 있다. 일 실시예에 따라, 전자 장치(101)에서 수행하는 동작들은, 메모리(130)에 저장되고, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들에 의해 실행될 수 있다.
일 실시예에 따라, 이하에서는 설명하는 웨어러블 전자 장치(301)에서 수행하는 동작들은, 웨어러블 전자 장치(301)의 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 요소를 포함하는 프로세서(590)에 의해 실행될 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)에서 수행하는 동작들은, 메모리(550)에 저장되고, 실행 시에, 프로세서(590)가 동작하도록 하는 인스트럭션들에 의해 실행될 수 있다.
일 실시예에 따르면, 전자 장치(101)와 웨어러블 전자 장치(301)의 동작은, AR 서비스가 스탠드얼론 방식인지 또는 테더드 방식인지에 따른 프로세싱 주체에 따라 구분될 수 있으며, 필요에 따른 데이터 통신을 수행하는 동작 외에는, 본 개시의 표시 모드를 운영하여 컨텐츠를 표시하기 위한 동작은 유사하거나 동일할 수 있다. 예를 들면, 전자 장치(101)와 웨어러블 전자 장치(301)는, AR 사용 상황에서 화면을 빠르게 전환하고, 전자 장치(101)와 웨어러블 전자 장치(301) 간에 컨텐츠 이동을 가능하게 하고, 프로세싱 주체 및/또는 지정된 프로필에 기반하여 액티브 윈도우를 구성하고, 대응하는 액티브 윈도우를 통해 컨텐츠를 표시하는 일련의 동작을 수행할 수 있다.
도 8은 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 9는 본 개시의 동작을 트리거하기 위한 지정된 인터랙션의 예를 설명하기 위해 도시하는 도면이다.
일 실시예에서, 도 8은 테더드 방식 또는 스탠드얼론 방식에 따라 전자 장치(101) 또는 웨어러블 전자 장치(301)에서 AR 서비스를 제공하는 상황에서, 지정된 인터랙션에 기반하여 컨텐츠를 표시하기 위한 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정하고, 결정된 표시 모드에 따라 컨텐츠를 전자 장치(101) 또는 웨어러블 전자 장치(301)를 통해 제공하는 동작 예를 나타낼 수 있다. 일 실시예에서, 도 8에 예시된 동작은 전자 장치(101) 또는 웨어러블 전자 장치(301)에서 수행할 수 있고, 이하 도 8의 설명에서는, 설명의 편의를 위해, 전자 장치(101) 또는 웨어러블 전자 장치(301)를 AR 제공 장치로 명명하여 설명한다. 어떤 실시예에 따라, 전자 장치(101)와 웨어러블 전자 장치(301)는 동작을 수행하는 주체에 따라, AR 서비스를 위한 관련 데이터의 수신, 처리 및 전송하는 동작을 더 포함할 수 있고, 이에 대한 설명은 후술하는 도면들을 참조하여 설명된다.
도 8을 참조하면, 동작 801에서, AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301))(또는 AR 제공 장치의 프로세서(예: 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(301)의 프로세서(590))는 컨텐츠를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공할 수 있다. 일 실시예에 따라, AR 제공 장치는, 웨어러블 전자 장치(301)가 사용자에 의해 착용되고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면 상에서 실제 현실 공간의 적어도 일부에 겹쳐진 적어도 하나의 컨텐츠(또는 가상 정보)를 표시하고 있는 상황일 수 있다.
예를 들어, 웨어러블 전자 장치(301)는 사용자의 시야각에 대응하는 실제 현실 공간에 적어도 하나의 컨텐츠를 겹쳐서 사용자에게 제공할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 웨어러블 전자 장치(301)에 의해 AR 서비스를 위해 직접 생성(예: 저장 또는 처리된 데이터에 기반하여 생성)된 컨텐츠, 또는 전자 장치(101)에 의해 생성되고, 지정된 통신을 통해 전자 장치(101)로부터 획득된 컨텐츠를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 표시할 수 있다. 일 실시예에 따라, 사용자는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 컨텐츠를 브라우즈 할 수 있다.
동작 803에서, AR 제공 장치는 AR 화면을 통해 지정된 인터랙션을 감지할 수 있다. 일 실시예에서, 지정된 인터랙션의 예가 도 9에 도시된다.
도 9를 참조하면, 지정된 인터랙션은 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면의 실제 현실 공간 상에 진입하는 전자 장치(101)를 인지하는 제1 인터랙션(예시 901), 전자 장치(101)의 진입 이후에 사용자가 전자 장치(101)를 이용하여 입력하는 지정된 제스처(예: 슬라이드-아웃 제스처 또는 롤러블 확장 제스처)를 인지하는 제2 인터랙션(예시 903), 또는 전자 장치(101)의 진입 이후에 사용자가 AR 화면 상의 전자 장치(101)를 통해 입력하는 지정된 메뉴 조작 제스처(예: 터치 입력)를 인지하는 제3 인터랙션(예시 905)을 포함할 수 있다.
일 실시예에서, 제2 인터랙션은 전자 장치(101)의 확장 영역을 실질적으로 확장하는 제스처를 포함할 수 있다. 다른 실시예에서, 제2 인터랙션은 전자 장치(101)의 확장 영역에 대한 실질적 확장이 아닐 수 있다. 예를 들어, 사용자는 전자 장치(101)를 실질적으로 확장하지 않고, 확장하는 제스처만 입력할 수 있고, AR 제공 장치는 사용자의 제스처를 인식하여 제2 인터랙션을 식별할 수 있다. 일 실시예에서, AR 제공 장치는 AR 화면에서의 사용자의 핸드 검출(hand detecting) 및/또는 핸드 추적(hand tracking)에 기반하여 제2 인터랙션 및/또는 제3 인터랙션에 따른 사용자의 제스처를 감지할 수 있다.
일 실시예에 따라, 지정된 인터랙션에 대한 예시는 발명의 이해를 돕기 위한 것일 뿐, 본 개시의 실시예를 제한하는 것은 아니다. 예를 들면, 지정된 인터랙션에서 제2 인터랙션은 전자 장치(101)에 대한 실질적 확장 또는 가상적 확장 트리거를 포함할 수 있고, 예를 들어, 확장 영역의 확장을 위해 전자 장치(101)에 지정된 하드웨어 버튼에 대한 입력(예: 클릭 입력 또는 롱프레스 입력), 확장 영역의 확장을 위해 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시되는 지정된 소프트웨어 버튼에 대한 입력(예: 터치 입력 또는 롱프레스 입력)을 포함할 수 있다. 예를 들면, 제2 인터랙션은 전자 장치(101)의 확장 영역을 실질적 또는 가상적으로 확장할 수 있는 확장 트리거로 지정된 다양한 입력을 포함할 수 있다.
동작 805에서, AR 제공 장치는 컨텐츠의 프로세싱을 위한 동작 주체를 판단할 수 있다. 일 실시예에 따라, 프로세싱의 동작 주체는 AR 서비스의 제공 방식에 따라 다르게 결정될 수 있다. 예를 들면, 테더드 방식의 경우, 컨텐츠가 전자 장치(101)에 의해 생성되어 웨어러블 전자 장치(301)로 제공되며, 컨텐츠의 프로세싱 주체는 전자 장치(101)일 수 있다. 다른 예를 들면, 스탠드얼론 방식의 경우, 컨텐츠가 웨어러블 전자 장치(301)에 의해 직접 생성되어 제공되며, 컨텐츠의 프로세싱 주체는 웨어러블 전자 장치(301)일 수 있다.
예를 들면, 테더드 방식에서는 AR 서비스를 위한 전반적인 동작이 전자 장치(101)에 제어권이 있으며, 전자 장치(101)에 의해 AR 서비스가 제어되고 웨어러블 전자 장치(301)는 전자 장치(101)로부터 컨텐츠를 획득하여 제공할 수 있다. 다른 예를 들면, 스탠드얼론 방식에서는 AR 서비스를 위한 전반적인 동작이 웨어러블 전자 장치(301)에 제어권이 있으며, 웨어러블 전자 장치(301)에 의해 AR 서비스가 제어되고 웨어러블 전자 장치(301)에 의해 직접 생성된 컨텐츠를 제공할 수 있다. 어떤 실시예에 따르면, AR 제공 장치는, 프로세싱을 위한 동작 주체에 더하여, 제공될 컨텐츠가 지정된 프로필에 대응하는지 여부를 더 판단할 수도 있다. 예를 들면, AR 제공 장치는 프로세싱의 주체에 관계 없이 지정된 프로필의 컨텐츠를 우선적으로 AR 화면을 통해 제공하도록 동작할 수 있다. 지정된 프로필을 이용하는 동작에 대하여 후술된다.
동작 807에서, AR 제공 장치는 동작 주체를 판단하는 결과에 기반하여 컨텐츠를 표시하기 위한 대상 장치가 전자 장치(101)인지 또는 웨어러블 전자 장치(301)인지 판단할 수 있다.
동작 807에서, AR 제공 장치는 대상 장치가 전자 장치(101)인 것으로 판단하는 경우(예: 동작 807의 ‘예’), 동작 809에서, 제1 표시 모드를 결정할 수 있다. 일 실시예에 따라, AR 제공 장치는 동작 주체가 전자 장치(101)인 경우, AR 화면 상의 컨텐츠를 전자 장치(101)로 전환하여 표시하도록 하는 제1 표시 모드를 결정할 수 있다.
동작 811에서, AR 제공 장치는 제1 표시 모드 결정에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 표시 영역에 기반하여 컨텐츠를 표시하도록 처리할 수 있다. 일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 전자 장치(101)에서 수행하는 경우, AR 제공 장치는, 현재 웨어러블 전자 장치(301)의 화면 표시를 중단(예: 웨어러블 전자 장치(301)의 착용이 해제된 상태로서, 디스플레이 모듈(520) 또는 웨어러블 전자 장치(301)의 전원 오프)하고, 전자 장치(101)의 디스플레이 모듈(160)을 통해 AR 화면을 통해 표시 중이던 컨텐츠를 표시하도록 동작할 수 있다.
어떤 실시예에 따르면, 컨텐츠에 관련된 프로세싱 주체가 전자 장치(101)인 경우, AR 제공 장치는, 웨어러블 전자 장치(301)의 AR 화면 표시를 중단하고, 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역 및/또는 확장 영역을 통해 AR 화면에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우(예: 기본 영역 기반의 윈도우, 확장 영역 기반의 윈도우 또는 전체 영역 기반의 윈도우)를 설정하고, 설정된 액티브 윈도우에 기반하여 컨텐츠를 표시하도록 동작할 수 있다. 어떤 실시예에 따르면, AR 제공 장치는, 프로세싱 주체가 전자 장치(101)인 경우, 전자 장치(101)의 폼 팩터(예: 바-타입 또는 롤러블 타입)에 대응하게 액티브 윈도우를 설정할 수 있다. 예를 들면, AR 제공 장치는, 바-타입의 전자 장치(101)인 경우 기본 영역에 기반하여 액티브 윈도우를 설정할 수 있다. 다른 예를 들면, AR 제공 장치는, 롤러블 타입의 전자 장치(101)인 경우 기본 영역, 부분 확장 영역, 전체 확장 영역, 또는 전체 영역 중 적어도 하나의 영역에 기반하여 액티브 윈도우를 설정할 수 있다.
동작 807에서, AR 제공 장치는 대상 장치가 웨어러블 전자 장치(301)인 것으로 판단하는 경우(예: 동작 807의 ‘아니오’), 동작 813에서, 제2 표시 모드를 결정할 수 있다. 예를 들어, AR 제공 장치는 동작 주체가 웨어러블 전자 장치(301)인 경우, AR 화면 상의 컨텐츠를 AR 화면 상의 실제 전자 장치(101)와 매핑하여 표시하도록 하는 제2 표시 모드를 결정할 수 있다.
동작 815에서, AR 제공 장치는 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면 상에 전자 장치(101)와 연관된 가상 표시 영역에 기반하여 컨텐츠를 표시하도록 처리할 수 있다. 일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행하는 경우, 또는 제공될 컨텐츠가 지정된 프로필에 해당하는 경우, AR 제공 장치는, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면 내에서 표시되는 실제 현실 공간에 위치된 전자 장치(101)의 기본 영역, 전자 장치(101)의 확장 영역 및/또는 전자 장치(101)와 인접하게 생성하는 가상 영역에 적어도 기반하여 컨텐츠를 매핑(예: 텍스처 매핑(texture mapping))하여 표시하도록 동작할 수 있다. 예를 들면, AR 제공 장치는 제2 표시 모드에 따라 가상 공간 내에서 전자 장치(101)의 기본 영역, 확장 영역, 전체 영역(예: 기본 영역 + 확장 영역), 및/또는 가상 영역의 전부 또는 적어도 일부를 통해 컨텐츠를 표시할 수 있다.
어떤 실시예에 따르면, 컨텐츠에 관련된 프로세싱 주체가 웨어러블 전자 장치(301)인 경우, AR 제공 장치는, 전자 장치(101)의 디스플레이 모듈(160)의 확장 영역에 대응하는 가상 영역을 전자 장치(101)의 확장 영역에 대응하게 구성하고, 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역 및/또는 확장 영역을 통해 AR 화면에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우(예: 확장 영역 기반의 윈도우 또는 전체 화면 기반의 윈도우)를 설정하고, 설정된 액티브 윈도우에 기반하여 컨텐츠를 매핑하여 표시하도록 동작할 수 있다.
이상에서와 같이, 본 개시에 따른 AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301))는 프로세서(예: 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(301)의 프로세서(590))를 포함하고, 프로세서는, 웨어러블 전자 장치(301)의 AR 화면을 통해 제1 컨텐츠(및/또는 컨텐츠에 관련된 정보)를 제공하도록 동작할 수 있다. 일 실시예에서, 프로세서는, AR 화면을 통해 컨텐츠를 제공하는 동안, AR 화면을 통해 지정된 인터랙션을 감지(예: 지정된 외부 객체(예: AR 화면 내로 진입하는 전자 장치(101) 감지 및/또는 지정된 제스처 감지)할 수 있다. 일 실시예에서, 프로세서는, 지정된 인터랙션 감지에 기반하여, 제2 컨텐츠(예: 제1 컨텐츠이거나, 또는 제1 컨텐츠가 가공된 다른 컨텐츠)를 제공하는 프로세싱 주체에 기반하여 제2 컨텐츠를 위한 표시 모드를 결정할 수 있다. 일 실시예에서, 프로세서는, 결정된 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)에 기반하여 제2 컨텐츠를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하거나, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통한 AR 화면 상에서 지정된 외부 객체(예: AR 화면 상의 실질적 전자 장치(101))와 연관된 표시 영역에 제2 컨텐츠를 매핑하여 표시하도록 동작할 수 있다. 일 실시예에서, AR 화면 상에서 매핑된 제2 컨텐츠는 현실 세계의 전자 장치(101)의 디스플레이 모듈(160)을 통해서는 표시되지 않을 수 있고, AR 화면 상의 전자 장치(101)와 연관된 표시 영역을 통해서만 제공될 수 있다.
일 실시예에 따르면, 컨텐츠에 관련된 프로세싱 주체가 웨어러블 전자 장치(301)인 경우, 프로세서는, 웨어러블 전자 장치(301)의 AR 화면 상에서 컨텐츠를 표시하는 동안 AR 화면 내의 전자 장치(101)의 상태 변경(예: 롤러블 활성화를 위한 인터랙션)을 모니터링 하고, 전자 장치(101)의 상태 변경을 식별하는 것에 기반하여, 컨텐츠에 관련된 프로세싱 주체에 기반하여 컨텐츠의 표시 모드를 결정하고, 결정된 표시 모드에 기반하여 컨텐츠를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통한 AR 화면으로 표시하거나, 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하도록 동작할 수 있다.
도 10은 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11a 내지 도 11f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
일 실시예에서, 도 10 내지 도 11f에 예시된 동작은 AR 서비스를 제공하는 테더드 방식 또는 스탠드얼론 방식에 따라 전자 장치(101) 또는 웨어러블 전자 장치(301)에서 수행할 수 있다. 이하 도 10의 설명에서는, 설명의 편의를 위해, 전자 장치(101) 또는 웨어러블 전자 장치(301)를 AR 제공 장치로 명명하여 설명한다. 어떤 실시예에 따라, 전자 장치(101)와 웨어러블 전자 장치(301)는 동작을 수행하는 주체에 따라, AR 서비스를 위한 관련 데이터의 수신, 처리 및 전송하는 동작을 더 포함할 수 있고, 이에 대한 설명은 후술하는 도면들을 참조하여 설명된다.
도 10을 참조하면, 동작 1001에서, AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301)(또는 AR 제공 장치의 프로세서(예: 전자 장치(101)의 프로세서(120) 또는 웨어러블 전자 장치(301)의 프로세서(590))는 컨텐츠를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공할 수 있다. 이의 예가 도 11a에 도시된다. 도 11a를 참조하면, AR 제공 장치는, 웨어러블 전자 장치(301)가 사용자에 의해 착용되고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1100) 상에서 실제 현실 공간의 적어도 일부에 겹쳐진 적어도 하나의 컨텐츠(또는 가상 정보)(1110)를 표시할 수 있다. 예를 들어, AR 제공 장치는 사용자의 시야각에 대응하는 실제 현실 공간에 적어도 하나의 컨텐츠(1110)(예: 제1 컨텐츠(1101), 제2 컨텐츠(1102), 제3 컨텐츠(1103))를 겹쳐서 사용자에게 제공할 수 있다.
동작 1003에서, AR 제공 장치는 AR 화면 내에 전자 장치(101)가 감지되는지 판단할 수 있다. 일 실시예에 따라, AR 제공 장치는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 실제 현실 공간에 전자 장치(101)가 진입되는지 추적(tracking)할 수 있다. 이의 예가 도 11a에 도시된다. 도 11a를 참조하면, 사용자는 전자 장치(101)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공된 AR 화면(1100) 내로 이동할 수 있다. 예를 들면, 사용자는 전자 장치(101)를, AR 화면(1100)를 통해 표시되도록 대응하는 위치로 이동할 수 있고, AR 제공 장치는, AR 화면(1100)에서 객체 추적 및/또는 시선 게이즈에 기반하여 AR 화면(1100) 내로 진입되는 전자 장치(101)를 식별할 수 있다.
동작 1003에서, AR 제공 장치는 전자 장치(101)가 감지되지 않는 경우(예: 동작 1003의 ‘아니오’), 동작 1001로 진행하여, 동작 1001 이하의 동작을 수행할 수 있다.
동작 1003에서, AR 제공 장치는 전자 장치(101)가 감지되는 경우(예: 동작 1003의 ‘예’), 동작 1005에서, 가상 영역에 대한 어포던스(affordance)(또는 가이드(guide))를 제공할 수 있다. 일 실시예에 따르면, AR 제공 장치는 AR 화면 상에서 전자 장치(101)를 식별하고, 전자 장치(101)에 대한 지정된 인터랙션(예: 롤러블 활성화 인터랙션)을 감지하는 경우, 지정된 인터랙션에 응답하여 가상 영역(예: 롤러블 확장에 따라 예상되는 영역)에 대한 어포던스(또는 가이드)를 제공할 수도 있다. 이의 예가 도 11b에 도시된다. 도 11b를 참조하면, AR 제공 장치는 전자 장치(101) 또는 전자 장치(101)의 디스플레이 모듈(160)에 기반하여 어포던스(1120)를 제공할 수 있다. 일 실시예에 따르면, AR 제공 장치는 전자 장치(101)의 기본 영역 및/또는 실질적 확장 영역에 대응하는 가상 윈도우 가이드를 어포던스(1120)로 제공할 수 있다. 일 실시예에 따른 어포던스(1120)를 제공하는 것과 관련하여 후술하는 도면을 참조하여 설명된다.
동작 1007에서, AR 제공 장치는 어포던스와 컨텐츠 간의 중첩 여부를 추적할 수 있다. 일 실시예에 따르면, 사용자는 어포던스가 컨텐츠와 적어도 일부 중첩되도록 전자 장치(101)를 이동할 수 있다. 일 실시예에 따르면, AR 제공 장치는 AR 화면 내의 전자 장치(101)를 추적(예: 객체 추적)할 수 있고, 전자 장치(101)의 이동에 대응하여 어포던스를 함께 이동할 수 있다. 이의 예가 도 11c에 도시된다. 도 11c를 참조하면, AR 화면(1100) 상에서 어포던스(1120)와 컨텐츠(1110)의 적어도 일부(예: 제1 컨텐츠(1101))가 중첩될 수 있다.
일 실시예에 따르면, AR 제공 장치는 어포던스(1120)와 컨텐츠(1110)(예: 제1 컨텐츠(1101))가 중첩되는 경우, 중첩되는 컨텐츠(1110)(예: 제1 컨텐츠(1101))를 활성화(예: 어포던스(1120)의 앞으로 이동 표시)하여, 중첩되는 컨텐츠(1110)(예: 제1 컨텐츠(1101))와 중첩되지 않는 컨텐츠(1110)(예: 제2 컨텐츠(1102) 및 제3 컨텐츠(1103))를 구별하여 제공할 수 있다. 예를 들면, AR 제공 장치는 사용자가 중첩되는 컨텐츠(1110)(예: 제1 컨텐츠(1101))를 직관적으로 인지할 수 있도록 중첩되는 컨텐츠(1110)를 어포던스(1120)와 연관지어 하이라이팅(highlighting)하여 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)이 확장되지 않고 고정된 크기를 갖는 바-타입의 전자 장치이거나, 또는 디스플레이 모듈(160)이 확장 가능한 롤러블 타입의 전자 장치일 수 있다. 예를 들면, 전자 장치(101)는 고정된 크기 또는 크기가 가변 가능한 디스플레이 모듈(160)을 갖는 스마트 폰, 태블릿 PC, 노트북, 및/또는 디스플레이 장치(예: 모니터 또는 TV)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)가 바-타입의 전자 장치인 경우, 전자 장치(101)의 디스플레이 모듈(160)의 표시 영역(예: 기본 영역)에 기반하여 어포던스를 제공할 수 있고, 표시 영역의 어포던스와 컨텐츠를 매핑할 수 있다. 다른 실시예에 따르면, 전자 장치(101)가 롤러블 타입의 전자 장치이고 전자 장치(101)의 디스플레이 모듈(160)이 이미 확장된 상태이면, 디스플레이 모듈(160)의 표시 영역(예: 기본 영역 + 확장 영역)에 기반하여 어포던스를 제공할 수 있고, 표시 영역의 어포던스와 컨텐츠를 매핑할 수 있다. 다른 실시예에 따르면, 전자 장치(101)가 롤러블 타입의 전자 장치이고 전자 장치(101)의 디스플레이 모듈(160)이 확장되지 않은 상태이면, 디스플레이 모듈(160)이 확장 가능한 가상 영역(예: 확장 영역에 대응하는 크기를 갖는 가상 영역)에 기반하여 어포던스를 제공할 수 있고, 가상 영역의 어포던스와 컨텐츠를 매핑할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면에서 컨텐츠는 실제 공간에 매핑되고 사용자 시선 또는 사용자 움직임(예: 머리 움직임)에 따라 컨텐츠의 위치가 적응적으로 이동(예: 항상 사용자 시선 내에 보여지도록 이동되며, 즉 디스플레이 모듈(520) 내의 지정된 영역에 고정적으로 표시) 가능한 공간 주도적(space-oriented) 컨텐츠를 포함할 수 있다. 다른 예를 들면, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면에서 컨텐츠는 실제 공간에 매핑되지 않고, 디스플레이 모듈(520)의 AR 화면 상의 특정 공간(또는 실제 공간의 해당 사물이 위치된 영역)에 고정 매핑되어 사용자 시선 또는 움직임에 따라 이동하지 않는 장치 주도적(device-oriented)(또는 사물 주도적) 컨텐츠를 포함할 수 있다.
일 실시예에 따르면, 어포던스와 컨텐츠를 매핑(예: 중첩)하는 동작은, 예를 들면, 컨텐츠가 공간 주도적 컨텐츠인지 또는 장치 주도적 컨텐츠인지에 따라 다르게 동작할 수 있다. 예를 들면, 공간 주도적 컨텐츠의 경우, 사용자는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)의 AR 화면 내에서 전자 장치(101)를 직접적으로 이동하여 컨텐츠와 어포던스를 중첩할 수 있다. 다른 예를 들면, 장치 주도적 컨텐츠의 경우, 사용자는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)의 AR 화면 내에서 전자 장치(101)의 디스플레이 모듈(160)(예: 기본 영역, 확장 영역, 전체 영역 또는 가상 영역)으로 사용자 시선을 이동(예: 머리 움직임)할 수 있고, 사용자 시선 이동에 대응하여 AR 화면 상에서 컨텐츠가 이동되어 전자 장치(101)의 해당 영역의 어포던스와 컨텐츠를 중첩할 수 있다. 어떤 실시예에 따르면, AR 화면 상에서 컨텐츠 이동은, 사용자 시선에 제한하지 않으며, 예를 들면, AR 화면 상에서 사용자 제스처(예: AR 화면 상에서 사용자가 컨텐츠를 선택 및 이동하는 제스처)에 수행될 수도 있다.
동작 1009에서, AR 제공 장치는 어포던스와 컨텐츠 간에 중첩이 감지되는지 판단할 수 있다. 일 실시예에 따르면, AR 제공 장치는 전자 장치(101)의 이동에 대응하는 어포던스의 위치에 컨텐츠가 중첩되는지 여부를 판단할 수 있다. 일 실시예에 따르면, AR 제공 장치는 지정된 일정 시간 동안 동작 1007 내지 동작 1009를 수행할 수도 있다.
동작 1009에서, AR 제공 장치는 어포던스와 컨텐츠 간에 중첩이 감지되지 않는 경우(예: 동작 1009의 ‘아니오’), 동작 1011에서, 사용자 지정의 해당 동작을 수행할 수 있다. 일 실시예에 따르면, AR 제공 장치는 지정된 일정 시간 동안 어포던스와 컨텐츠 간에 중첩이 감지되지 않는 경우, AR 화면 상에서 어포던스를 제거하고, 컨텐츠를 제공하는 동작을 계속할 수 있다. 어떤 실시예에 따르면, AR 제공 장치는 AR 화면 상에서 사용자의 지정된 입력을 감지하고, 지정된 입력에 대응하여 어포던스를 제거하고, 지정된 입력에 대응하는 동작(또는 기능)(예: 컨텐츠 변경)을 수행할 수도 있다.
동작 1009에서, AR 제공 장치는 어포던스와 컨텐츠 간에 중첩이 감지되는 경우(예: 동작 1009의 ‘예’), 동작 1013에서, 지정된 인터랙션(또는 동작 트리거)을 감지할 수 있다. 일 실시예에 따르면, AR 제공 장치는 어포던스와 컨텐츠의 중첩을 감지하는 경우, 어포던스와 중첩에 의해 선택되는 해당 컨텐츠를 지정된 대상 장치를 통해 표시하기 위한 동작을 트리거(예: 동작 트리거)하는 인터랙션을 판단할 수 있다. 이의 예가 도 11d에 도시된다. 도 11d를 참조하면, 사용자는 AR 화면(1100)에서 어퍼던스(1120)와 제1 컨텐츠(1101)의 중첩에 기반하여 제1 컨텐츠(1101)를 선택 결정하고, 제1 컨텐츠(1101)를 대상 장치를 통해 표시하기 위한 지정된 인터랙션(1130)을 입력할 수 있다. 일 실시예에서, 지정된 인터랙션은, 예를 들면, 슬라이드-아웃 또는 롤러블 확장 제스처, 확장 트리거를 위한 지정된 하드웨어 버튼 입력, 또는 확장 트리거를 위한 지정된 소프트웨어 버튼 입력을 포함할 수 있다.
동작 1015에서, AR 제공 장치는 지정된 인터랙션 감지에 기반하여, 컨텐츠를 표시하기 위한 대상 장치를 결정할 수 있다. 일 실시예에 따르면, AR 제공 장치는 중첩에 의해 선택된 컨텐츠를 표시하기 위한 대상 장치에 대응하는 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 예를 들면, AR 제공 장치는 컨텐츠의 프로세싱 주체 및/또는 컨텐츠의 지정된 프로필에 기반하여 표시 모드와 그에 대응하는 대상 장치를 결정할 수 있다.
동작 1017에서, AR 제공 장치는 대상 장치에 기반하여 컨텐츠를 위한 액티브 윈도우를 생성할 수 있다. 일 실시예에 따르면, AR 제공 장치는 대상 장치가 전자 장치(101)인 경우, 전자 장치(101)의 표시 영역에 기반하여 컨텐츠를 위한 액티브 윈도우를 설정할 수 있다. 다른 실시예에 따르면, AR 제공 장치는 대상 장치가 웨어러블 전자 장치(301)인 경우, 웨어러블 전자 장치(301)의 AR 화면 내에 표시된 전자 장치(101)의 표시 영역 및/또는 표시 영역에 인접된 가상 영역에 기반하여 컨텐츠를 위한 액티브 윈도우를 설정할 수 있다.
일 실시예에 따르면, AR 제공 장치는 액티브 윈도우를 설정할 때, 사용자 의도에 따른 어포던스와 컨텐츠의 중첩 상태(또는 중첩 영역)에 기반하여 기본 영역, 확장 영역 또는 전체 영역 중 적어도 하나의 영역에 액티브 윈도우를 설정할 수 있다. 예를 들면, AR 제공 장치는 컨텐츠(예: 제1 컨텐츠(1101))가 어포던스에 중첩되는 경우 해당 컨텐츠를 확장 영역에 표시하도록 액티브 윈도우를 설정할 수 있다. 다른 예를 들면, AR 제공 장치는 컨텐츠(예: 제1 컨텐츠(1101))가 AR 화면 상의 전자 장치(101)(예: 전자 장치(101)의 기본 영역)와 어포던스에 모두 중첩되는 경우 해당 컨텐츠를 전체 영역(예: 기본 영역 + 확장 영역(또는 가상 영역))에 표시하도록 액티브 윈도우를 설정할 수 있다. 다른 예를 들면, AR 제공 장치는 하나의 컨텐츠(예: 제1 컨텐츠(1101))가 어포던스에 배치되는 경우, 해당 컨텐츠를 전체 영역(예: 기본 영역 + 확장 영역)에 표시하도록 액티브 윈도우를 설정할 수 있다.
다른 예를 들면, AR 제공 장치는 복수의 컨텐츠(예: 제1 컨텐츠(1101), 제2 컨텐츠(1102))가 어포던스에 중첩되는 경우 해당 복수의 컨텐츠를 기본 영역과 확장 영역에 각각 표시하도록 기본 영역과 확장 영역 각각에 액티브 윈도우를 설정할 수 있다. 다른 예를 들면, AR 제공 장치는 복수의 컨텐츠 중 일 컨텐츠(예: 제1 컨텐츠(1101))가 어포던스에 중첩되고 다른 컨텐츠(예: 제2 컨텐츠(1102))가 전자 장치(101)(예: 전자 장치(101)의 기본 영역)에 각각 중첩되는 경우, 예를 들어, 사용자 의도에 따라 각 컨텐츠가 배치되는 경우, 사용자 의도에 따른 배치에 대응하게 표시하도록 제1 컨텐츠(1101)를 위한 액티브 윈도우를 확장 영역에 설정하고, 제2 컨텐츠(1102)를 위한 액티브 윈도우를 기본 영역에 설정할 수 있다. 예를 들면, 사용자 입력에 의해 제2 컨텐츠를 제1 확장 영역에 중첩하는 경우, AR 제공 장치는 디스플레이 모듈(160)의 제1 확장 영역에 제2 컨텐츠를 매핑하여 제공할 수 있다. 일 실시예에 따르면, 액티브 윈도우는 표시할 컨텐츠의 수에 대응하게 분할될 수 있다.
어떤 실시예에 따르면, 후술하는 바와 같이, 어포던스는 사용자 입력(예: 어포던스 확장 인터랙션)에 의해 가변(예: 확장)될 수 있다. 일 실시예에 따라, AR 제공 장치는 확장된 어포던스에 하나의 컨텐츠(예: 제1 컨텐츠(1101))가 배치(예: 중첩)된 경우, 전자 장치(101)의 디스플레이 모듈(160)을 확장된 어포던스에 대응하게 확장하고, 확장된 확장 영역과 기본 영역의 전체 영역을 통해 하나의 컨텐츠를 확장 화면 전체에 표시하도록 액티브 윈도우를 설정할 수 있다. 다른 실시예에 따라, AR 제공 장치는 확장된 어포던스에 복수의 컨텐츠(예: 제1 컨텐츠(1101), 제2 컨텐츠(1102))가 배치(예: 중첩)된 경우, 복수의 컨텐츠를 기본 영역과 확장 영역에 각각 표시하도록 기본 영역과 확장 영역 각각에 액티브 윈도우를 설정하거나, 복수의 컨텐츠를 확장된 어포던스에 대응하는 확장 영역에 표시하도록 확장 영역에 적어도 하나의 액티브 윈도우를 설정할 수 있다.
동작 1019에서, AR 제공 장치는 대상 장치의 액티브 윈도우에 기반하여 컨텐츠를 제공하도록 처리할 수 있다. 일 실시예에 따르면, AR 제공 장치는 대상 장치를 통해 제1 표시 모드 또는 제2 표시 모드에 대응하게 컨텐츠를 제공할 수 있다. 예를 들면, AR 제공 장치는 전자 장치(101)에 설정된 액티브 윈도우(예: 전자 장치(101)의 실제 표시 영역)를 통해 컨텐츠를 제공하는 제1 표시 모드로 컨텐츠를 표시할 수 있다. 다른 예를 들면, AR 제공 장치는 웨어러블 전자 장치(301)의 AR 화면 내의 전자 장치(101)를 기반으로 설정된 액티브 윈도우를 통해 컨텐츠를 가상적으로 매핑하여 제공하는 제2 표시 모드로 컨텐츠를 표시할 수 있다. 이의 예가 도 11e 및 도 11f에 도시된다.
일 실시예에 따라, 도 11e는 제1 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 11e를 참조하면, AR 제공 장치는 제1 표시 모드 결정에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 실질적 표시 영역(예: 슬라이드-아웃에 따라 확장된 확장 영역)에 기반하여 AR 화면(1100) 상에서 사용자에 의해 선택 결정된 컨텐츠(1110)를 표시하도록 처리할 수 있다. 일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 전자 장치(101)에서 수행하는 경우, AR 제공 장치는, 현재 웨어러블 전자 장치(301)의 화면 표시를 중단(예: 웨어러블 전자 장치(301)의 착용이 해제된 상태로서, 디스플레이 모듈(520) 또는 웨어러블 전자 장치(301)의 전원 오프)하고, AR 화면(1100)을 통해 표시 중이던 컨텐츠(1100) 중 사용자에 의해 선택 결정된 제1 컨텐츠(1101)를, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 연속되게 표시하도록 동작할 수 있다.
일 실시예에서, 디스플레이 모듈(160)을 통해 표시하는 컨텐츠(예: 제1 컨텐츠(1101))는 AR 화면(1100) 상에서 표시 중이던 컨텐츠(예: 제1 컨텐츠(1101))와 동일하거나, 또는 AR 화면(1100) 상에서 표시 중이던 컨텐츠가 디스플레이 모듈(160)의 표시 영역에 대응하게 가공(예: 리사이징(resizing))된 다른 컨텐츠일 수 있다. 여기서, AR 화면(1100) 상에서 표시 중이던 컨텐츠와 전자 장치(101)로 이동되어 디스플레이 모듈(160)을 통해 표시되는 컨텐츠는, 실질적으로 동일한 실행 화면(또는 내용)을 포함하고 연속성을 가질 수 있으며, 그 표시되는 크기에 있어서 표시 영역에 따라 다르게 제공될 수 있다.
일 실시예에 따라, 도 11f는 제2 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 11f를 참조하면, AR 제공 장치는 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1100) 상에 전자 장치(101)와 연관된 가상 영역에 기반하여 컨텐츠(1110)를 표시하도록 처리할 수 있다. 일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행하는 경우, 또는 제공될 컨텐츠가 지정된 프로필에 해당하는 경우, AR 제공 장치는, AR 화면(1100)을 통해 표시 중이던 컨텐츠(1100) 중 사용자에 의해 선택 결정된 제1 컨텐츠(1101)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1100)에서 표시되는 실제 현실 공간에 위치된 전자 장치(101)의 기본 영역, 전자 장치(101)의 확장 영역 및/또는 전자 장치(101)와 인접하게 생성하는 가상 영역에 매핑(예: 텍스처 매핑)하여 표시하도록 동작할 수 있다.
예를 들면, AR 제공 장치는 제2 표시 모드에 따라 AR 화면(1100)(예: 가상 공간) 내에서 전자 장치(101)의 기본 영역, 확장 영역 및/또는 가상 영역의 전부 또는 적어도 일부를 통해 사용자에 의해 선택 결정된 제1 컨텐츠(1101)를 표시하고, 선택되지 않은 나머지 다른 컨텐츠(예: 제2 컨텐츠(1102), 제3 컨텐츠(1103))은 AR 화면(1100)의 기존 표시 상태를 유지할 수 있다. 일 실시예에서, 지정된 영역에 매핑을 통해 표시하는 컨텐츠(예: 제1 컨텐츠(1101))는 AR 화면(1100) 상에서 표시 중이던 컨텐츠(예: 제1 컨텐츠(1101))와 동일하거나, 또는 AR 화면(1100) 상에서 표시 중이던 컨텐츠가 지정된 영역에 대응하게 가공(예: 리사이징)된 다른 컨텐츠일 수 있다. 여기서, AR 화면(1100) 상에서 표시 중이던 컨텐츠와 매핑을 통해 표시되는 컨텐츠는, 실질적으로 동일한 실행 화면(또는 내용)을 포함하고 연속성을 가질 수 있으며, 그 표시되는 크기에 있어서 표시 영역에 따라 다르게 제공될 수 있다.
일 실시예에 따라, 엘리먼트 1190은 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1100) 상에 전자 장치(101)가 아닌, 실제 현실 공간에서 보여지는 전자 장치(101)의 디스플레이 모듈(160)의 표시 상태의 예를 나타낼 수 있다. 예시한 바와 같이, 전자 장치(101)는 기본 영역을 통해 도 11a에 예시한 바와 같은 전자 장치(101)에서 실행(또는 동작) 중인 화면 표시를 유지할 수 있고, 디스플레이 모듈(160)의 확장에 대응하는 확장 영역(1195)(예: 슬라이드-아웃에 따라 확장된 영역)은 빈 화면 또는 지정된 화면을 제공할 수 있다.
예를 들면, 전자 장치(101)는 디스플레이 모듈(160)의 확장에 대응하여 지정된 기능 수행에 따른 화면(예: 지정된 어플리케이션의 실행에 기반한 분할 화면 또는 실행 중인 어플리케이션의 전체 화면(예: 기본 영역에 표시된 화면을 전체 화면으로 표시))을 지정된 화면으로 제공할 수 있다. 어떤 실시예에 따르면, 실제 현실 공간의 전자 장치(101)는 디스플레이 모듈(160)이 턴-오프된 상태일 수도 있다.
예를 들면, 제2 표시 모드에서, AR 화면(1100) 상에 전자 장치(101)의 디스플레이 모듈(160)에 기반하여 표시되는 화면(예: 제1 컨텐츠(1101) 표시 화면)과, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시되는 화면은 다를 수 있고, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)에서는 AR 화면(1200) 상의 컨텐츠(예: 제1 컨텐츠(1101))를 표시하지 않을 수 있다.
도 12a 내지 도 12f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
일 실시예에 따라, 도 12a 내지 도 12f는 도 10 내지 도 11f를 참조한 설명 부분에서 설명한 동작에 더하여, 컨텐츠를 제공하기 위한 표시 영역을 사용자 입력에 따라 가변하는 예를 나타낼 수 있다.
도 12a를 참조하면, AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301))는 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1202), 제3 컨텐츠(1203))를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1200) 상에 제공할 수 있다. 일 실시예에 따르면, AR 제공 장치는, 웨어러블 전자 장치(301)가 사용자에 의해 착용되고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1200) 상에서 실제 현실 공간의 적어도 일부에 겹쳐진 적어도 하나의 컨텐츠(또는 가상 정보)를 표시할 수 있다. 예를 들어, AR 제공 장치는 사용자의 시야각에 대응하는 실제 현실 공간에 적어도 하나의 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1202), 제3 컨텐츠(1203))를 겹쳐서 사용자에게 제공할 수 있다.
일 실시예에 따라, 상기와 같은 상황에서, 사용자는 전자 장치(101)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공된 AR 화면(1200) 내로 이동할 수 있다. 일 실시예에 따라, AR 제공 장치는 AR 화면(1200) 상에서 전자 장치(101)에 대한 사용자의 지정된 인터랙션(예: 롤러블 활성화 인터랙션)을 감지하는 경우, 지정된 인터랙션에 응답하여 가상 영역(예: 롤러블 확장에 따라 예상되는 영역)에 대한 어포던스(또는 가이드)(1220)를 제공할 수 있다. 일 실시예에서, 지정된 인터랙션은, 예를 들면, 슬라이드-아웃 또는 롤러블 확장 제스처, 확장 트리거를 위한 지정된 하드웨어 버튼 입력, 또는 확장 트리거를 위한 지정된 소프트웨어 버튼 입력을 포함할 수 있다. AR 제공 장치는 전자 장치(101)의 기본 영역 및/또는 실질적 확장 영역에 대응하는 가상 윈도우 가이드를 어포던스(1220)로 제공할 수 있다. 일 실시예에 따른 어포던스(1220)를 제공하는 것과 관련하여 후술하는 도면을 참조하여 설명된다.
일 실시예에 따라, 사용자는 어포던스(1220)가 AR 화면(1200) 상의 제1 컨텐츠(1201)와 적어도 일부 중첩되도록 전자 장치(101)를 이동할 수 있다. 일 실시예에 따르면, AR 제공 장치는 AR 화면(1200) 내의 전자 장치(101)를 추적(예: 객체 추적)할 수 있고, 전자 장치(101)의 이동에 대응하여 어포던스(1220)를 함께 이동할 수 있다. 일 실시예에 따라, 사용자의 전자 장치(101) 이동에 대응하여, AR 화면(1200) 상에서 어포던스(1220)와 제1 컨텐츠(1201)가 중첩될 수 있다. 일 실시예에 따르면, AR 제공 장치는 어포던스(1220)와 제1 컨텐츠(1201)가 중첩되는 경우, 중첩되는 제1 컨텐츠(1201)를 활성화(예: 어포던스(1220)의 앞으로 이동 표시)하여, 중첩되는 제1 컨텐츠(1201)와 중첩되지 않는 나머지 컨텐츠(예: 제2 컨텐츠(1202) 및 제3 컨텐츠(1203))를 구별하여 제공할 수 있다. 예를 들면, AR 제공 장치는 사용자가 중첩되는 제1 컨텐츠(1201)를 직관적으로 인지할 수 있도록 중첩되는 제1 컨텐츠(1201)를 어포던스(1220)와 연관지어 하이라이팅하여 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)이 확장되지 않고 고정된 크기를 갖는 바-타입의 전자 장치이거나, 또는 디스플레이 모듈(160)이 확장 가능한 롤러블 타입의 전자 장치일 수 있다. 예를 들면, 전자 장치(101)는 고정된 크기 또는 크기가 가변 가능한 디스플레이 모듈(160)을 갖는 스마트 폰, 태블릿 PC, 노트북(notebook), 및/또는 디스플레이 장치(예: 모니터 또는 TV)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)가 바-타입의 전자 장치인 경우, 전자 장치(101)의 디스플레이 모듈(160)의 표시 영역(예: 기본 영역)에 기반하여 어포던스를 제공할 수 있고, 표시 영역의 어포던스와 컨텐츠를 매핑할 수 있다. 다른 실시예에 따르면, 전자 장치(101)가 롤러블 타입의 전자 장치이고 전자 장치(101)의 디스플레이 모듈(160)이 이미 확장된 상태이면, 디스플레이 모듈(160)의 표시 영역(예: 기본 영역 + 확장 영역)에 기반하여 어포던스를 제공할 수 있고, 표시 영역의 어포던스와 컨텐츠를 매핑할 수 있다. 다른 실시예에 따르면, 전자 장치(101)가 롤러블 타입의 전자 장치이고 전자 장치(101)의 디스플레이 모듈(160)이 확장되지 않은 상태이면, 디스플레이 모듈(160)이 확장 가능한 가상 영역(예: 확장 영역에 대응하는 크기를 갖는 가상 영역)에 기반하여 어포던스를 제공할 수 있고, 가상 영역의 어포던스와 컨텐츠를 매핑할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면에서 컨텐츠는 실제 공간에 매핑되고 사용자 시선 또는 사용자 움직임(예: 머리 움직임)에 따라 컨텐츠의 위치가 적응적으로 이동(예: 항상 사용자 시선 내에 보여지도록 이동되며, 즉 디스플레이 모듈(520) 내의 지정된 영역에 고정적으로 표시) 가능한 공간 주도적(space-oriented) 컨텐츠를 포함할 수 있다. 다른 예를 들면, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면에서 컨텐츠는 실제 공간에 매핑되지 않고, 디스플레이 모듈(520)의 AR 화면 상의 특정 공간(또는 실제 공간의 해당 사물이 위치된 영역)에 고정 매핑되어 사용자 시선 또는 움직임에 따라 이동하지 않는 장치 주도적(device-oriented)(또는 사물 주도적) 컨텐츠를 포함할 수 있다.
일 실시예에 따르면, 어포던스와 컨텐츠를 매핑(예: 중첩)하는 동작은, 예를 들면, 컨텐츠가 공간 주도적 컨텐츠인지 또는 장치 주도적 컨텐츠인지에 따라 다르게 동작할 수 있다. 예를 들면, 공간 주도적 컨텐츠의 경우, 사용자는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)의 AR 화면 내에서 전자 장치(101)를 직접적으로 이동하여 컨텐츠와 어포던스를 중첩할 수 있다. 다른 예를 들면, 장치 주도적 컨텐츠의 경우, 사용자는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)의 AR 화면 내에서 전자 장치(101)의 디스플레이 모듈(160)(예: 기본 영역, 확장 영역, 전체 영역 또는 가상 영역)으로 사용자 시선을 이동(예: 머리 움직임)할 수 있고, 사용자 시선 이동에 대응하여 AR 화면 상에서 컨텐츠가 이동되어 전자 장치(101)의 해당 영역의 어포던스와 컨텐츠를 중첩할 수 있다.
어떤 실시예에 따르면, AR 화면 상에서 컨텐츠 이동은, 사용자 시선에 제한하지 않으며, 예를 들면, AR 화면 상에서 사용자 제스처(예: AR 화면 상에서 사용자가 컨텐츠를 선택 및 이동하는 제스처)에 수행될 수도 있다.일 실시예에 따라, 사용자는 제1 컨텐츠(1201)의 중첩에 의한 선택에 더하여 다른 컨텐츠(예: 제2 컨텐츠(1202))를 어포던스(1220)의 중첩에 의해 추가 선택하기 위하여, 어포던스(1220)를 가변(예: 확장)하는 제1 인터랙션(1230)(예: 어포던스 확장 인터랙션)을 입력할 수 있다. 일 실시예에서, AR 제공 장치는 제1 인터랙션에 대응하여 어포던스(1220)를 확장하여 제공할 수 있다. 이의 예가 도 12b에 도시된다.
일 실시예에서는, 어포던스(1220)를 사용자의 인터랙션에 기반하여 확장(예: 가변)하는 것을 예시로 하지만, 이러한 예시는 발명의 이해를 돕기 위한 것일 뿐, 본 개시의 실시예를 제한하는 것은 아니다. 예를 들면, 어포던스(1220)의 가변은, 사용자에 의한 인터랙션에 기반한 가변에 제한하지 않으며, 자동적으로 가변할 수도 있다. 예를 들면, 어퍼던스(1220)와 중첩된 컨텐츠를 표시하는데 있어서, 어포던스(1220)에 의한 확장 영역의 크기가 컨텐츠를 표시하는데 적합하지 않은 경우(예: 컨텐츠의 표시 가능한 크기보다 과도하게 크거나, 또는 작은 경우), AR 제공 장치는 중첩된 컨텐츠를 표시할 수 있는 확장 영역의 크기를 산출하고, 산출된 확장 영역의 크기에 대응하게 어포던스(1220)를 가변(예: 확장)하여 제공할 수도 있다.
도 12b를 참조하면, AR 제공 장치는, 제1 인터랙션의 가변 크기(또는 이동 거리)에 대응하도록 어포던스(1220)를 가변(예: 확장)하여 AR 화면(1200) 상에 제공할 수 있다. 일 실시예에 따라, 도 12b에 예시된 바와 같이, 어포던스(1220)의 확장에 따라, 제1 컨텐츠(1201) 외에 추가적인 다른 컨텐츠(예: 제2 컨텐츠(1202))가 어포던스(1220)와 중첩될 수 있다. 일 실시예에 따르면, AR 제공 장치는 제1 컨텐츠(1201)에 추가적으로, 어포던스(1220)와 제2 컨텐츠(1202)가 중첩되는 경우, 중첩되는 제2 컨텐츠(1202)를 추가적으로 활성화(예: 어포던스(1220)의 앞으로 이동 표시)하여, 중첩되는 제1 컨텐츠(1201) 및 제2 컨텐츠(1202)와 중첩되지 않는 나머지 컨텐츠(예: 제3 컨텐츠(1203))를 구별하여 제공할 수 있다. 예를 들면, AR 제공 장치는 사용자가 중첩되는 제1 컨텐츠(1201) 및 제2 컨텐츠(1202)를 직관적으로 인지할 수 있도록 중첩되는 제1 컨텐츠(1201) 및 제2 컨텐츠(1202)를 어포던스(1220)와 연관지어 하이라이팅하여 제공할 수 있다.
도 12c를 참조하면, 사용자는 제1 컨텐츠(1201) 및 제2 컨텐츠(1202)의 중첩에 의한 선택에 더하여 다른 컨텐츠(예: 제3 컨텐츠(1203))를 추가 선택하기 위하여, 전자 장치(101)를 이동할 수 있다. 일 실시예에 따르면, 사용자는 AR 화면(1200) 상에서 나란히 배치된 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1202), 제3 컨텐츠(1203))를 모두 선택하기 위해, 어포던스(1220)가 AR 화면(1200) 상의 제3 컨텐츠(1203)와 적어도 일부 중첩되도록 전자 장치(101)를 이동할 수 있다.
도 12c의 예를 살펴보면, 전자 장치(101)는 우측 방향으로 이동할 수 있고, 전자 장치(101)의 이동에 대응하여 어포던스(1220)가 함께 이동될 수 있다. 여기서, 제1 컨텐츠(1201), 제2 컨텐츠(1202) 및 제3 컨텐츠(1203)는 위치의 변경 없이 고정 표시된 상태를 유지할 수 있다. 일 실시예에 따라, 전자 장치(101)의 이동에 대응하여, 제1 컨텐츠(1201), 제2 컨텐츠(1203) 및 제3 컨텐츠(1205)가 중첩되는 부분이 달라질 수 있다. 예를 들면, 제1 컨텐츠(1201)는 전자 장치(101)의 디스플레이 모듈(160) 상에 위치할 수 있고, 제2 컨텐츠(1202)는 어포던스(1220) 영역에서 제1 컨텐츠(1201)가 위치하던 영역에 대체하여 위치할 수 있고, 제3 컨텐츠(1203)는 어포던스(1220) 영역에서 제2 컨텐츠(1202)가 위치하던 영역에 추가적으로 위치할 수 있다.
도 12d를 참조하면, AR 제공 장치는 사용자에 의해 선택되는 적어도 하나의 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1203), 제3 컨텐츠(1203))를 지정된 대상 장치를 통해 표시하기 위한 동작을 트리거(예: 동작 트리거)하는 제2 인터랙션(1240)을 감지할 수 있다. 예를 들면, 사용자는 AR 화면(1200)에서 제1 컨텐츠(1201), 제2 컨텐츠(1202) 및 제3 컨텐츠(1203)를 선택 결정하고, 선택된 제1 컨텐츠(1201), 제2 컨텐츠(1202) 및 제3 컨텐츠(1203)를 대상 장치를 통해 표시하기 위한 지정된 제2 인터랙션(1240)(예: 롤러블 확장 제스처, 다른 지정된 터치 제스처, 또는 음성 기반 명령어)를 입력할 수 있다.
일 실시예에 따라, AR 제공 장치는 제2 인터랙션(1240) 감지에 기반하여, 컨텐츠를 표시하기 위한 대상 장치를 결정할 수 있다. 일 실시예에 따르면, AR 제공 장치는 사용자에 의해 선택된 컨텐츠를 표시하기 위한 대상 장치에 대응하는 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 예를 들면, AR 제공 장치는 컨텐츠의 프로세싱 주체 및/또는 컨텐츠의 지정된 프로필에 기반하여 표시 모드와 그에 대응하는 대상 장치를 결정할 수 있다.
일 실시예에 따르면, AR 제공 장치는 대상 장치를 통해 제1 표시 모드 또는 제2 표시 모드에 대응하게 컨텐츠를 제공할 수 있다. 예를 들면, AR 제공 장치는 전자 장치(101)의 디스플레이 모듈(160)에 기반한 실제 표시 영역을 통해 컨텐츠를 제공하는 제1 표시 모드로 컨텐츠를 표시할 수 있다. 다른 예를 들면, AR 제공 장치는 웨어러블 전자 장치(301)의 AR 화면(1200) 내의 전자 장치(101)를 기반으로 설정된 가상 표시 영역을 통해 컨텐츠를 매핑하여 제공하는 제2 표시 모드로 컨텐츠를 표시할 수 있다. 이의 예가 도 12e 및 도 12f에 도시된다.
일 실시예에 따라, 도 12e는 제1 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 12e를 참조하면, AR 제공 장치는 제1 표시 모드 결정에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 실질적 표시 영역(예: 기본 영역 및 슬라이드-아웃에 따라 확장된 확장 영역)에 기반하여 AR 화면(1200) 상에서 사용자에 의해 선택 결정된 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1202), 제3 컨텐츠(1203))를 표시하도록 처리할 수 있다.
일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 전자 장치(101)에서 수행하는 경우, AR 제공 장치는, 현재 웨어러블 전자 장치(301)의 화면 표시를 중단(예: 웨어러블 전자 장치(301)의 착용이 해제된 상태로서, 디스플레이 모듈(520) 또는 웨어러블 전자 장치(301)의 전원 오프)하고, AR 화면(1200)에서 사용자에 의해 선택 결정된 제1 컨텐츠(1201), 제2 컨텐츠(1202) 및 제3 컨텐츠(1203)를, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 연속되게 표시하도록 동작할 수 있다.
일 실시예에 따라, AR 제공 장치는 AR 화면(1200)에서 각각의 컨텐츠(1201, 1202, 1203)가 전자 장치(101)와 중첩된 위치에 대응하여, 컨텐츠를 디스플레이 모듈(160)에 표시할 수 있다. 예를 들면, AR 화면(1200)에서 제1 컨텐츠(1201)는 전자 장치(101)의 기본 영역과 중첩될 수 있고, 실제 현실 공간에서는 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역을 통해 제1 컨텐츠(1201)가 제공될 수 있다. 예를 들면, AR 화면(1200)에서 제2 컨텐츠(1202)는 전자 장치(101)의 제1 확장 영역과 중첩될 수 있고, 실제 현실 공간에서는 전자 장치(101)의 디스플레이 모듈(160)의 제1 확장 영역을 통해 제2 컨텐츠(1202)가 제공될 수 있다. 예를 들면, AR 화면(1200)에서 제3 컨텐츠(1203)는 전자 장치(101)의 제2 확장 영역과 중첩될 수 있고, 실제 현실 공간에서는 전자 장치(101)의 디스플레이 모듈(160)의 제2 확장 영역을 통해 제3 컨텐츠(1203)가 제공될 수 있다.
일 실시예에 따라, 도 12f는 제2 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 12f를 참조하면, AR 제공 장치는 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1200) 상에 전자 장치(101)와 연관된 가상 영역에 기반하여 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1203), 제3 컨텐츠(1203))를 표시하도록 처리할 수 있다.
일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행하는 경우, 또는 제공될 컨텐츠가 지정된 프로필에 해당하는 경우, AR 제공 장치는, AR 화면(1200)에서 사용자에 의해 선택 결정된 제1 컨텐츠(1201), 제2 컨텐츠(1202) 및 제3 컨텐츠(1203)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1200)에서 표시되는 실제 현실 공간에 위치된 전자 장치(101)의 기본 영역, 전자 장치(101)의 확장 영역 및/또는 전자 장치(101)와 인접하게 생성하는 가상 영역에 매핑(예: 텍스처 매핑)하여 표시하도록 동작할 수 있다. 예를 들면, AR 제공 장치는 제2 표시 모드에 따라 AR 화면(1200)(예: 가상 공간) 내에서 전자 장치(101)의 기본 영역, 확장 영역 및/또는 가상 영역의 전부 또는 적어도 일부를 통해 사용자에 의해 선택 결정된 제1 컨텐츠(1201), 제2 컨텐츠(1202) 및 제3 컨텐츠(1203)를 표시할 수 있다.
일 실시예에 따라, 엘리먼트 1290은 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1200) 상에 전자 장치(101)가 아닌, 실제 현실 공간에서 보여지는 전자 장치(101)의 디스플레이 모듈(160)의 표시 상태의 예를 나타낼 수 있다. 예시한 바와 같이, 전자 장치(101)는 기본 영역을 통해 도 12a에 예시한 바와 같은 전자 장치(101)에서 실행(또는 동작) 중인 화면 표시를 유지할 수 있고, 디스플레이 모듈(160)의 확장에 대응하는 확장 영역(1295)(예: 슬라이드-아웃에 따라 확장된 영역)은 빈 화면 또는 지정된 화면을 제공할 수 있다. 예를 들면, 전자 장치(101)는 디스플레이 모듈(160)의 확장에 대응하여 지정된 기능 수행에 따른 화면(예: 지정된 어플리케이션의 실행에 기반한 분할 화면 또는 실행 중인 어플리케이션의 전체 화면(예: 기본 영역에 표시된 화면을 전체 화면으로 표시))을 지정된 화면으로 제공할 수 있다. 어떤 실시예에 따르면, 실제 현실 공간의 전자 장치(101)는 디스플레이 모듈(160)이 턴-오프된 상태일 수도 있다.
예를 들면, 제2 표시 모드에서, AR 화면(1200) 상에 전자 장치(101)의 디스플레이 모듈(160)에 기반하여 표시되는 화면(예: 제1 컨텐츠(1201), 제2 컨텐츠(1202), 제3 컨텐츠(1203) 표시 화면)과, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시되는 화면은 다를 수 있고, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)에서는 AR 화면(1200) 상의 컨텐츠(예: 제1 컨텐츠(1201), 제2 컨텐츠(1202), 제3 컨텐츠(1203))를 표시하지 않을 수 있다.
일 실시예에 따라, AR 제공 장치는 AR 화면(1200)에서 각각의 컨텐츠(1201, 1202, 1203)가 전자 장치(101)와 중첩된 위치에 대응하여, 컨텐츠를 배치하여 표시할 수 있다. 예를 들면, AR 화면(1200)에서 제1 컨텐츠(1201)는 전자 장치(101)의 기본 영역과 중첩될 수 있고, 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역에 제1 컨텐츠(1201)가 매핑되어 제공될 수 있다. 예를 들면, AR 화면(1200)에서 제2 컨텐츠(1202)는 전자 장치(101)의 제1 확장 영역(또는 제1 가상 영역)과 중첩될 수 있고, 전자 장치(101)의 디스플레이 모듈(160)의 제1 확장 영역(또는 제1 가상 영역)에 제2 컨텐츠(1202)가 매핑되어 제공될 수 있다. 예를 들면, AR 화면(1200)에서 제3 컨텐츠(1203)는 전자 장치(101)의 제2 확장 영역(또는 제2 가상 영역)과 중첩될 수 있고, 전자 장치(101)의 디스플레이 모듈(160)의 제2 확장 영역(또는 제2 가상 영역)에 제3 컨텐츠(1203)가 매핑되어 제공될 수 있다.
도 13a, 도 13b 및 도 13c는 일 실시예에 따른 AR 화면을 통해 제공되는 전자 장치와 연관지어 액티브 윈도우를 설정하는 예를 도시하는 도면들이다.
일 실시예에 따라, 도 13a, 도 13b 및 도 13c는 AR 화면(1300) 상에서 사용자에 의해 선택되는 컨텐츠가 제1 표시 모드 또는 제2 표시 모드에 따라 표시될 예상 화면에 대한 어포던스를 AR 화면(1300) 상에 제공하는 다양한 예를 나타낼 수 있다. 일 실시예에 따르면, 제1 표시 모드 또는 제2 표시 모드에서, 주어진 어포던스에 대응하게 액티브 윈도우가 설정될 수 있다. 예를 들면, 본 개시에 따르면, 어포던스를 이용하여, AR 화면(1300)에서 사용자에 의해 선택되는 컨텐츠가 대응하는 표시 모드에서 어떻게 표시되는지에 대한 예상 화면을 사용자에게 미리 가이드 할 수 있다.
도 13a를 참조하면, 도 13a는 전자 장치(101)의 기본 영역(A)은 유지하는 상태에서, 가상 영역(V)에 액티브 윈도우를 위한 어포던스(1310)를 제공할 수 있다. 일 실시예에서, 가상 영역(V)은 기본 영역(A)에 대응하는 크기(또는 비율)에 따라 생성되거나, 또는 전자 장치(101)의 확장 가능한 확장 영역에 대응하는 크기(또는 비율)에 따라 생성될 수 있다. 일 실시예에 따르면, 어포던스(1310)에 의한 확장 영역의 크기가 컨텐츠를 표시하는데 적합하지 않은 경우(예: 컨텐츠의 표시 가능한 크기보다 크거나 또는 작은 경우), 중첩된 컨텐츠를 표시할 수 있는 확장 영역의 크기를 산출하고, 산출된 확장 영역의 크기에 대응하게 어포던스(1310)를 가변(예: 확장)하여 제공할 수 있다. 이에 따라, 가상 영역(V)은 가변되는 어포던스(1310)의 크기(또는 비율)에 따라 가변될 수 있다.
도 13b를 참조하면, 도 13b는 사용자의 인터랙션(예: 롤러블 활성화 제스처)의 경우, 전자 장치(101)의 화면 확장에 대한 사용자의 명확한 의도가 있을 수 있으므로, 전자 장치(101)의 기본 영역(A)과 가상 영역(V)을 포함하는 전체 영역에 액티브 윈도우를 위한 어포던스(1320)를 제공할 수 있다. 예를 들면, 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역과 확장 영역을 포함하는 전체 영역(예: 기본 영역 + 확장 영역)을 컨텐츠를 표시하기 위한 액티브 윈도우로 설정할 수 있다.
도 13c를 참조하면, 도 13c는 AR 화면(1300)에서 전자 장치(101)가 실질적으로 확장된 확장 영역(E)에 기반하여 액티브 윈도우를 위한 어포던스(1330)를 제공할 수 있다. 예를 들면, 전자 장치(101)의 디스플레이 모듈(160)이 실질적으로 확장된 경우, 확장 영역(E)을 컨텐츠를 표시하기 위한 액티브 윈도우로 설정할 수 있다.
일 실시예에 따르면, 도 13a 내지 도 13c에 예시한 바와 같이, 어포던스(1310, 1320, 1330)는 사용자 입력(예: 어포던스 확장 인터랙션)에 의해 가변(예: 확장)될 수 있다. 일 실시예에 따라, AR 제공 장치는 확장된 어포던스에 하나의 컨텐츠(예: 제1 컨텐츠)가 배치(예: 중첩)된 경우, 전자 장치(101)의 디스플레이 모듈(160)을 확장된 어포던스에 대응하게 확장하고, 확장된 확장 영역과 기본 영역의 전체 영역을 통해 하나의 컨텐츠를 확장 화면 전체에 표시하도록 액티브 윈도우를 설정할 수 있다. 다른 실시예에 따라 AR 제공 장치는 확장된 어포던스에 복수의 컨텐츠(예: 제1 컨텐츠, 제2 컨텐츠)가 배치(예: 중첩)된 경우, 복수의 컨텐츠를 기본 영역과 확장 영역에 각각 표시하도록 기본 영역과 확장 영역 각각에 액티브 윈도우를 설정하거나, 또는 복수의 컨텐츠를 확장된 어포던스에 대응하는 확장 영역에 표시하도록, 확장 영역에 적어도 하나의 액티브 윈도우를 설정할 수 있다.
일 실시예에 따르면, AR 제공 장치는 액티브 윈도우를 설정할 때, 사용자 의도에 따른 어포던스와 컨텐츠의 중첩 상태(또는 중첩 영역)에 기반하여 기본 영역, 확장 영역 또는 전체 영역 중 적어도 하나의 영역에 액티브 윈도우를 설정할 수 있다.
예를 들면, AR 제공 장치는 컨텐츠가 어포던스에 중첩되는 경우 해당 컨텐츠를 확장 영역에 표시하도록 액티브 윈도우를 설정할 수 있다. 다른 예를 들면, AR 제공 장치는 컨텐츠가 AR 화면 상의 전자 장치(101)(예: 전자 장치(101)의 기본 영역)와 어포던스에 모두 중첩되는 경우 해당 컨텐츠를 전체 영역(예: 기본 영역 + 확장 영역(또는 가상 영역))에 표시하도록 액티브 윈도우를 설정할 수 있다. 다른 예를 들면, AR 제공 장치는 복수의 컨텐츠(예: 제1 컨텐츠, 제2 컨텐츠)가 어포던스에 중첩되는 경우 해당 복수의 컨텐츠를 기본 영역과 확장 영역에 각각 표시하도록 기본 영역과 확장 영역 각각에 액티브 윈도우를 설정할 수 있다.
다른 예를 들면, AR 제공 장치는 복수의 컨텐츠 중 일 컨텐츠(예: 제1 컨텐츠)가 어포던스에 중첩되고 다른 컨텐츠(예: 제2 컨텐츠)가 전자 장치(101)(예: 전자 장치(101)의 기본 영역)에 각각 중첩되는 경우, 예를 들어, 사용자 의도(예: 사용자가 컨텐츠를 선택하여 어느 일 영역으로 이동하는 입력)에 따라 각 컨텐츠가 배치되는 경우, 사용자 의도에 따른 배치에 대응하게 표시하도록 제1 컨텐츠를 위한 액티브 윈도우를 확장 영역에 설정하고, 제2 컨텐츠를 위한 액티브 윈도우를 기본 영역에 설정할 수 있다. 예를 들면, 사용자 입력에 의해 제2 컨텐츠를 제1 확장 영역에 중첩하는 경우, AR 제공 장치는 디스플레이 모듈(160)의 제1 확장 영역에 제2 컨텐츠를 매핑하여 제공할 수 있다. 과 중첩할 수 있고, 일 실시예에 따르면, 액티브 윈도우는 표시할 컨텐츠의 수에 대응하게 분할될 수 있다.
도 14a 내지 도 14f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
일 실시예에서, 도 14a 내지 도 14f에 예시된 동작은 AR 서비스를 제공하는 스탠드얼론 방식에 따라 웨어러블 전자 장치(301)에서 수행할 수 있다. 예를 들면, 도 14a 내지 도 14f에서는 AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 전자 장치(101)에서 수행할 수 없는 경우의 예를 나타낼 수 있다. 일 실시예에 따르면, 도 14a 내지 도 14f에서는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공된 AR 화면 내에서 표시되는 컨텐츠를, AR 화면에서 전자 장치(101)와 연관지어 매핑하여 표시하고, 전자 장치(101)와 매핑하여 표시된 컨텐츠에 대한 사용자 입력을 처리하는 예를 나타낼 수 있다. 예를 들면, 도 14a 내지 도 14f에서는 전자 장치(101)에서 디스플레이 모듈(160)을 확장(예: 슬라이드-아웃)한 후, 전자 장치(101)를 이용하여 스탠드얼론 방식의 웨어러블 전자 장치(301)를 통해 실행 중인 컨텐츠를 조작하는 예를 포함할 수 있다. 일 실시예에서, 도 14a 내지 도 14f에서 컨텐츠는 스탠드얼론 방식의 웨어러블 전자 장치(301)에서 구현(또는 사용)되는 컨텐츠로, 예를 들면, 전자 장치(101)에서 프로세싱 할 수 없는 컨텐츠를 나타낼 수 있다.
도 14a를 참조하면, 웨어러블 전자 장치(301)는 컨텐츠(1410)를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1400) 상에 제공할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자에 의해 착용되고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1400) 상에서 실제 현실 공간의 적어도 일부에 겹쳐진 적어도 하나의 컨텐츠(또는 가상 정보)를 표시할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 사용자의 시야각에 대응하는 실제 현실 공간에 적어도 하나의 컨텐츠(1410)를 겹쳐서 사용자에게 제공할 수 있다.
도 14b를 참조하면, 상기와 같은 상황에서, 사용자는 전자 장치(101)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공된 AR 화면(1400) 내로 이동할 수 있다.
도 14c를 참조하면, 웨어러블 전자 장치(301)는 AR 화면(1400) 상에서 전자 장치(101)에 대한 사용자의 지정된 인터랙션(예: 롤러블 활성화 인터랙션)을 감지하는 경우, 지정된 인터랙션에 응답하여 가상 영역(예: 롤러블 확장에 따라 예상되는 영역 또는 컨텐츠(1410)의 크기에 대응하게 산출되는 영역)에 대한 어포던스(또는 가이드)(1420)를 제공할 수 있다. 웨어러블 전자 장치(301)는 전자 장치(101)의 기본 영역 및/또는 실질적 확장 영역에 대응하는 가상 윈도우 가이드를 어포던스(1420)로 제공할 수 있다.
일 실시예에 따라, 사용자는 어포던스(1420)가 AR 화면(1400) 상의 컨텐츠(1410)와 중첩되도록 전자 장치(101)를 이동할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 AR 화면(1400) 내의 전자 장치(101)를 추적(예: 객체 추적)할 수 있고, 전자 장치(101)의 이동에 대응하여 어포던스(1420)를 함께 이동할 수 있다. 일 실시예에 따라, 사용자의 전자 장치(101) 이동에 대응하여, AR 화면(1400) 상에서 어포던스(1420)와 컨텐츠(1410)가 중첩될 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 어포던스(1420)와 컨텐츠(1410)가 중첩되는 경우, 중첩되는 컨텐츠(1410)를 활성화(예: 어포던스(1420)의 앞으로 이동 표시)하여, 중첩되는 컨텐츠(1410)를 구별하여 제공할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 사용자가 중첩되는(또는 사용자가 선택하는) 컨텐츠(1410)를 직관적으로 인지할 수 있도록 중첩되는 컨텐츠(1410)를 어포던스(1420)와 연관지어 하이라이팅하여 제공할 수 있다.
일 실시예에서, 웨어러블 전자 장치(301)는, 사용자에 의한 추가 인터랙션에 대응하는 가변 크기(또는 이동 거리)에 기반하여 어포던스(1420)를 가변(예: 확장)하여 AR 화면(1400) 상에 제공할 수 있다. 예를 들면, 사용자는 AR 화면(1400) 상의 컨텐츠(1410)가 어포던스(1420) 내에 모두 포함될 수 있도록, 어포던스(1420)를 추가 확장할 수 있고, 어포던스(1420)의 추가 확장에 따라, 컨텐츠(1410)가 어포던스(1420) 내에서 중첩되도록 할 수 있다.
어떤 실시예에 따르면, 어포던스(1420)의 추가 확장은, AR 제공 장치에 의해 컨텐츠(1410)의 크기에 기반하여 컨텐츠(1410)를 표시 가능한 어포던스(1420)의 크기를 판단하고, 판단된 크기에 대응하여 어포던스(1420)를 자동적으로 확장할 수도 있다. 예를 들면, 어포던스(1420)에 의한 확장 영역의 크기가 컨텐츠를 표시하는데 적합하지 않은 경우(예: 컨텐츠의 표시 가능한 크기보다 크거나 또는 작은 경우), 중첩된 컨텐츠(1410)를 표시할 수 있는 확장 영역의 크기를 산출하고, 산출된 확장 영역의 크기에 대응하게 어포던스(1420)를 가변(예: 확장)하여 제공할 수 있다. 이에 따라, 전자 장치(101)의 확장 영역(V)은 가변되는 어포던스(1420)의 크기(또는 비율)에 따라 가변될 수 있다.
도 14d를 참조하면, 웨어러블 전자 장치(301)는 사용자에 의해 선택되는 컨텐츠(1410)를 지정된 대상 장치를 통해 표시하기 위한 동작을 트리거(예: 동작 트리거)하는 인터랙션(1430)을 감지할 수 있다. 예를 들면, 사용자는 AR 화면(1200)에서 컨텐츠(1410)를 선택 결정하고, 선택된 컨텐츠(1410)를 대상 장치를 통해 표시하기 위한 지정된 인터랙션(1430)(예: 롤러블 확장 제스처, 다른 지정된 터치 제스처, 또는 음성 기반 명령어)를 입력할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는 인터랙션(1430) 감지에 기반하여, 컨텐츠(1410)를 표시하기 위한 대상 장치를 결정할 수 있다. 일 실시예에 따르면, AR 제공 장치는 사용자에 의해 선택된 컨텐츠(1410)를 표시하기 위한 대상 장치에 대응하는 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 컨텐츠(1410)의 프로세싱 주체 및/또는 컨텐츠(1410)의 지정된 프로필에 기반하여 표시 모드와 그에 대응하는 대상 장치를 결정할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 대상 장치를 통해 제1 표시 모드 또는 제2 표시 모드에 대응하게 컨텐츠를 제공할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 전자 장치(101)의 디스플레이 모듈(160)에 기반한 실제 표시 영역을 통해 컨텐츠를 제공하는 제1 표시 모드로 컨텐츠(1410)를 표시할 수 있다. 일 실시예에 따르면, 컨텐츠(1410)는 스탠드얼론 방식의 웨어러블 전자 장치(301)에서 구현(또는 사용)되는 컨텐츠로, 예를 들면, 전자 장치(101)에서 프로세싱 할 수 없는 컨텐츠를 나타낼 수 있다. 따라서, 제1 표시 모드로 컨텐츠(1410)을 제공할 시, 웨어러블 전자 장치(301)는 전자 장치(101)로 컨텐츠(1410)를 미러링하여 제공하도록 동작할 수 있다. 다른 예를 들면, 웨어러블 전자 장치(301)는 웨어러블 전자 장치(301)의 AR 화면(1400) 내의 전자 장치(101)를 기반으로 설정된 가상 표시 영역을 통해 컨텐츠를 매핑하여 제공하는 제2 표시 모드로 컨텐츠(1410)를 표시할 수 있다. 이의 예가 도 14e 및 도 14f에 도시된다.
일 실시예에 따라, 도 14e는 제1 표시 모드에 따라 웨어러블 전자 장치(301)의 컨텐츠를 전자 장치(101)를 통해 제공하는 일 예를 나타낼 수 있다. 도 14e를 참조하면, 웨어러블 전자 장치(301)는 제1 표시 모드 결정에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 실질적 표시 영역(예: 기본 영역 및 슬라이드-아웃에 따라 확장된 확장 영역)에 기반하여 AR 화면(1400) 상에서 사용자에 의해 선택 결정된 컨텐츠(1410)를 표시하도록 처리할 수 있다.
일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행하는 경우, AR 화면(1400)에서 사용자에 의해 선택 결정된 컨텐츠(1410)를, 전자 장치(101)로 미러링 하여 전달할 수 있고, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 연속되게 표시하도록 동작할 수 있다. 예를 들면, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행할 수 있으며, 전자 장치(101)는 웨어러블 AR 화면(1400) 상에서 사용자에 의해 선택 결정된 컨텐츠(1410)를 웨어러블 전자 장치(301)로부터 지정된 통신을 통해 수신(예: 미러링)하고, 미러링된 컨텐츠(1410)를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는 프로세싱 중인 디스플레이 모듈(520)의 컨텐츠(1410)를 전자 장치(101)의 디스플레이 모듈(160)에서 표시되도록 전자 장치(101)로 전송할 수 있다. 예를 들면, 컨텐츠(1410)의 전송 주체 및 프로세싱의 주체는 웨어러블 전자 장치(301)일 수 있다. 일 실시예에 따라, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 전송 받은 컨텐츠(1410) 또는 관련 정보를 표시하는 역할을 할 수 있다.
일 실시예에 따라, 전자 장치(101)는 웨어러블 전자 장치(301)의 AR 화면(1400)에서 프로세싱 중인 컨텐츠(1410)의 크기 또는 어포던스(1420) 크기에 대응하여, 디스플레이 모듈(160)을 확장하고, 기본 영역과 확장 영역에 기반하여 웨어러블 전자 장치(301)로부터 수신된 컨텐츠(1410)를 표시할 수 있다. 예를 들면, AR 화면(1400)에서 컨텐츠(1410)는 추가 확장된 크기를 갖는 어포던스(1420)와 중첩될 수 있고, 실제 현실 공간에서는, 어포던스(1420)의 크기에 대응하도록 전자 장치(101)의 디스플레이 모듈(160)을 확장(예: 슬라이드-아웃)하여 기본 영역과 확장 영역 또는 기본 영역은 제외하고 대응하는 크기의 확장 영역을 통해 컨텐츠(1410)가 제공될 수 있다. 예를 들면, 전자 장치(101)에서 확장 영역의 크기는 사용자가 AR 화면(1400)에서 어포던스(1420)를 통해 지정한 일정 비율에 기반하여 결정될 수 있다.
일 실시예에 따라, 전자 장치(101)는 디스플레이 모듈(160)을 통해 표시된 컨텐츠(1410)에 관련된 기능을 제어하기 위한 사용자 입력(또는 인터랙션)(1440)을 감지하고, 사용자 입력(1440)에 대응하는 기능을 처리하도록 동작할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 컨텐츠(1410)에서 사용자 입력(1440)이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 감지된 지점에 관한 관련 정보(예: 좌표 및/또는 공간 정보)에 관련된 기능을 웨어러블 전자 장치(301)에서 프로세싱 하도록, 관련 정보를 웨어러블 전자 장치(303)로 전송할 수 있다.
웨어러블 전자 장치(301)는 전자 장치(101)로부터 수신된 관련 정보에 기반하여 전자 장치(101)에서 사용자 입력(1440)이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 인식 결과에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠 데이터를 전자 장치(101)로 전송할 수 있다. 전자 장치(101)는 웨어러블 전자 장치(301)에 의한 프로세싱 결과(예: 컨텐츠 데이터)를 수신하고, 수신된 프로세싱 결과를 디스플레이 모듈(160) 상의 컨텐츠(1410)에 반영하여 그 결과 화면을 디스플레이 모듈(160)을 통해 표시하도록 할 수 있다.
일 실시예에 따라, 전자 장치(101)에서 디스플레이 모듈(160)을 확장(예: 슬라이드-아웃)한 후, 전자 장치(101)를 이용하여 스탠드얼론 방식의 웨어러블 전자 장치(301)를 통해 실행 중인 컨텐츠를 조작하는 예와 관련하여 후술하는 도면을 참조하여 설명된다.
일 실시예에 따라, 도 14f는 제2 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 14f를 참조하면, 웨어러블 전자 장치(301)는 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1400) 상에 전자 장치(101)와 연관된 가상 영역에 기반하여 컨텐츠(1410)를 표시하도록 처리할 수 있다. 일 실시예에 따라, AR 서비스와 관련하여 실행 중인 컨텐츠 또는 컨텐츠에 대응하는 어플리케이션의 프로세싱을 웨어러블 전자 장치(301)에서 수행하는 경우, 또는 제공될 컨텐츠가 지정된 프로필에 해당하는 경우, 웨어러블 전자 장치(301)는, AR 화면(1400)에서 사용자에 의해 선택 결정된 컨텐츠(1410)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1400)에서 표시되는 실제 현실 공간에 위치된 전자 장치(101)의 기본 영역, 전자 장치(101)의 확장 영역 및/또는 전자 장치(101)와 인접하게 생성하는 가상 영역에 매핑(예: 텍스처 매핑)하여 표시하도록 동작할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 제2 표시 모드에 따라 AR 화면(1400)(예: 가상 공간) 내에서 전자 장치(101)의 기본 영역, 확장 영역 및/또는 가상 영역의 전부 또는 적어도 일부를 통해 사용자에 의해 선택 결정된 컨텐츠(1410)를 표시할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 화면(1400)에서 전자 장치(101)와 연관된 어포던스(1420)에 대응하는 크기를 갖는 가상 영역에 컨텐츠(1410)를 배치하여 표시할 수 있다. 예를 들면, AR 화면(1400)에서 컨텐츠(1410)는 어포던스(1420)에 대응하는 가상 영역과 중첩될 수 있고, AR 제공 장치는 어포던스(1420)를 기반으로 대응하는 크기를 갖는 액티브 윈도우(예: 가상 영역)를 생성하고, 액티브 윈도우에 컨텐츠(1410)를 매핑하여 제공할 수 있다.
일 실시예에 따라, 엘리먼트 1490은 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1400) 상에 전자 장치(101)가 아닌, 실제 현실 공간에서 보여지는 전자 장치(101)의 디스플레이 모듈(160)의 표시 상태의 예를 나타낼 수 있다. 예시한 바와 같이, 전자 장치(101)는 기본 영역 또는 전체 영역을 통해 도 14a에 예시한 바와 같은 전자 장치(101)에서 실행(또는 동작) 중인 화면을 표시하거나, 또는 기본 영역의 표시는 유지하고, 디스플레이 모듈(160)의 확장에 대응하는 확장 영역(1495)(예: 슬라이드-아웃에 따라 확장된 영역)은 빈 화면 또는 지정된 화면을 제공할 수 있다. 예를 들면, 전자 장치(101)는 디스플레이 모듈(160)의 확장에 대응하여 지정된 기능 수행에 따른 화면(예: 지정된 어플리케이션의 실행에 기반한 분할 화면 또는 실행 중인 어플리케이션의 전체 화면(예: 기본 영역에 표시된 화면을 전체 화면으로 표시))을 지정된 화면으로 제공할 수 있다. 어떤 실시예에 따르면, 실제 현실 공간의 전자 장치(101)는 디스플레이 모듈(160)이 턴-오프된 상태일 수도 있다.
예를 들면, 제2 표시 모드에서, AR 화면(1400) 상에 전자 장치(101)의 디스플레이 모듈(160)에 기반하여 표시되는 화면(예: 제1 컨텐츠(1410) 표시 화면)과, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시되는 화면은 다를 수 있고, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)에서는 AR 화면(1400) 상의 컨텐츠(예: 제1 컨텐츠(1410))를 표시하지 않을 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 화면(1400)에서 컨텐츠(1410)에 관련된 기능을 제어하기 위한 사용자 입력(또는 인터랙션)(1450)을 추적 및 감지하고, 사용자 입력(1450)에 대응하는 기능을 처리하도록 동작할 수 있다. 일 실시예에 따르면, 스탠드얼론 방식의 웨어러블 전자 장치(301)는 제2 표시 모드에 기반하여 컨텐츠(1410)를 표시하는 경우, 시선 추적(gaze tracking) 및 객체 인식(object detection)과 같은 기술을 기반으로 사용자 입력(1450)을 추적 및 감지하고, 컨텐츠(1410)에서 사용자 입력(1450)이 감지된 지점(예: 터치 지점)을 계산하여 관련된 기능을 실행하도록 프로세싱 할 수 있다.
일 실시예에 따르면, 웨어러블 전자 장치(301)는 AR 화면(1400) 상에서 컨텐츠(1410)에 대한 사용자 입력(또는 인터랙션)을 감지하고, 사용자 입력에 대한 프로세싱을 웨어러블 전자 장치(301)에서 수행할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 전자 장치(101)에서 사용자 입력에 관련된 정보를 수신하고, 전자 장치(101)에서 전자 장치(101)에 의해 입력된 사용자 입력에 대한 프로세싱을 수행하도록 할 수 있다.
도 15a 내지 도 15f는 일 실시예에 따른 전자 장치 또는 웨어러블 전자 장치의 동작 시나리오의 예를 도시하는 도면들이다.
일 실시예에서, 도 15a 내지 도 15f에 예시된 동작은 AR 서비스를 제공하는 테더드 방식 또는 스탠드얼론 방식에 따라 전자 장치(101) 또는 웨어러블 전자 장치(301)에서 수행할 수 있다. 이하에서는, 설명의 편의를 위해, 전자 장치(101) 또는 웨어러블 전자 장치(301)를 AR 제공 장치로 명명하여 설명한다. 일 실시예에 따르면, 도 15a 내지 도 15f에서는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공된 AR 화면 내에서 표시되는 컨텐츠에서, 지정된 프로필 또는 사용자 지정(예: 사용자에 의한 보호 지정)에 의한 컨텐츠(예: 보호 컨텐츠 또는 프라이버시 컨텐츠)를, 현실 공간의 전자 장치(101)의 디스플레이 모듈(160)에서는 표시하지 않는 예를 나타낼 수 있다.
도 15a를 참조하면, AR 제공 장치(예: 전자 장치(101) 또는 웨어러블 전자 장치(301))는 컨텐츠(예: 제1 컨텐츠(1510), 제2 컨텐츠(1520))를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1500) 상에 제공할 수 있다. 일 실시예에 따르면, AR 제공 장치는, 웨어러블 전자 장치(301)가 사용자에 의해 착용되고, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1500) 상에서 실제 현실 공간의 적어도 일부에 겹쳐진 적어도 하나의 컨텐츠(또는 가상 정보)를 표시할 수 있다. 예를 들어, AR 제공 장치는 사용자의 시야각에 대응하는 실제 현실 공간에 적어도 하나의 컨텐츠(예: 제1 컨텐츠(1510), 제2 컨텐츠(1520))를 겹쳐서 사용자에게 제공할 수 있다.
일 실시예에 따라, 상기와 같은 상황에서, 사용자는 전자 장치(101)를, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공된 AR 화면(1500) 내로 이동할 수 있다. 일 실시예에 따라, AR 제공 장치는 AR 화면(1500) 상에서 전자 장치(101)에 대한 사용자의 지정된 인터랙션(예: 롤러블 활성화 인터랙션)을 감지하는 경우, 지정된 인터랙션에 응답하여 가상 영역(예: 롤러블 확장에 따라 예상되는 영역)에 대한 어포던스(또는 가이드)(1530)를 제공할 수 있다. AR 제공 장치는 전자 장치(101)의 기본 영역 및/또는 실질적 확장 영역에 대응하는 가상 윈도우 가이드를 어포던스(1530)로 제공할 수 있다.
일 실시예에 따라, 사용자는 어포던스(1530)가 AR 화면(1500) 상의 제1 컨텐츠(1510)와 적어도 일부 중첩되도록 전자 장치(101)를 이동할 수 있다. 일 실시예에 따르면, AR 제공 장치는 AR 화면(1500) 내의 전자 장치(101)를 추적(예: 객체 추적)할 수 있고, 전자 장치(101)의 이동에 대응하여 어포던스(1530)를 함께 이동할 수 있다. 일 실시예에 따라, 사용자의 전자 장치(101) 이동에 대응하여, AR 화면(1500) 상에서 어포던스(1530)와 제1 컨텐츠(1510)가 중첩될 수 있다. 일 실시예에 따르면, AR 제공 장치는 어포던스(1530)와 제1 컨텐츠(1510)가 중첩되는 경우, 중첩되는 제1 컨텐츠(1510)를 활성화(예: 어포던스(1530)의 앞으로 이동 표시)하여, 중첩되는 제1 컨텐츠(1510)와 중첩되지 않는 나머지 컨텐츠(예: 제2 컨텐츠(1520))를 구별하여 제공할 수 있다. 예를 들면, AR 제공 장치는 사용자가 중첩되는 제1 컨텐츠(1510)를 직관적으로 인지할 수 있도록 중첩되는 제1 컨텐츠(1510)를 어포던스(1530)와 연관지어 하이라이팅하여 제공할 수 있다.
일 실시예에 따라, 사용자는 제1 컨텐츠(1510)의 중첩에 의한 선택에 더하여 다른 컨텐츠(예: 제2 컨텐츠(1520))를 어포던스(1530)의 중첩에 의해 추가 선택하기 위하여, 어포던스(1530)를 가변(예: 확장)할 수 있다. 일 실시예에서, AR 제공 장치는 사용자 입력에 대응하여 어포던스(1530)를 확장하여 제공할 수 있다. 이의 예가 도 15b에 도시된다.
도 15b를 참조하면, AR 제공 장치는, 어포던스(1530)를 가변(예: 확장)하여 AR 화면(1500) 상에 제공할 수 있다. 일 실시예에 따라, 도 15b에 예시된 바와 같이, 어포던스(1530)의 확장에 따라, 제1 컨텐츠(1510)와 제2 컨텐츠(1520)가 어포던스(1530)와 중첩될 수 있다. 일 실시예에 따르면, AR 제공 장치는 제1 컨텐츠(1510)에 추가적으로, 어포던스(1530)와 제2 컨텐츠(1520)가 중첩되는 경우, 중첩되는 제2 컨텐츠(1520)를 추가적으로 활성화(예: 어포던스(1530)의 앞으로 이동 표시)하여, 제1 컨텐츠(1510) 및 제2 컨텐츠(1520)를 어포던스(1530)와 연관지어 하이라이팅하여 제공할 수 있다.
일 실시예에 따라, 상기와 같은 상황에서, 사용자는 적어도 하나의 컨텐츠에 대해 보호 지정(또는 숨김 설정)할 수 있다. 예를 들어, 도 15b에 예시한 바와 같이, 사용자는 제2 컨텐츠(1520)를 보호 지정하기 위해, 제2 컨텐츠(1520)와 연관지어 제1 인터랙션(1540)(예: 보호 지정 인터랙션)을 입력할 수 있다. 일 실시예에서, 제1 인터랙션(1540)은 AR 화면(1500)의 컨텐츠 상에서, 지정 컨텐츠의 보호를 위한 지정된 터치 제스처(예: 롱 프레스 제스처), 지정 컨텐츠의 보호를 위한 메뉴 호출 및 선택하는 인터랙션, 또는 지정 컨텐츠의 보호를 명령할 수 있는 음성 기반 명령어를 포함할 수 있다. 일 실시예에 따르면, 보호 지정(또는 숨김 설정)된 컨텐츠는, 컨텐츠를 보호 지정하기 위한 인터랙션에 대응하는 입력, 또는 보호 지정을 해지하기 위해 지정된 다른 인터랙션 입력에 적어도 기반하여 보호 지정이 해지될 수 있다.
일 실시예에서, AR 제공 장치는 제1 인터랙션(1540)을 감지하고, 제1 인터랙션(1520) 감지에 기반하여, 해당 컨텐츠(예: 제2 컨텐츠(1520))가 보호 지정(또는 숨김 설정)된 것을 나타내는(또는 가이드 하는) 보호 객체(1550)를 해당 컨텐츠와 연관지어(또는 매핑하여) 제공할 수 있다. 이의 예가 도 15c에 도시된다.
일 실시예에 따라, 도 15b의 예시에서는 사용자에 의한 제1 인터랙션(1540)에 기반하여 컨텐츠(예: 제2 컨텐츠(1520))를 보호 지정(또는 숨김 설정)하는 것을 일 예로 나타내었다. 다른 실시예에 따르면, 컨텐츠의 보호 지정(또는 숨김 설정)은 해당 컨텐츠의 프로필이 지정된 프로필에 속하는 경우, 사용자의 개입(예: 제1 인터랙션(1540) 입력) 없이도, 해당 컨텐츠에 대해 자동적으로 보호 지정(또는 숨김 설정)될 수 있다. 일 실시예에서, AR 제공 장치는 컨텐츠(예: 제2 컨텐츠(1520))가 지정된 프로필을 갖는 컨텐츠인지 식별하고, 지정된 프로필을 갖는 컨텐츠인 것을 식별하는 것에 기반하여, 해당 컨텐츠(예: 제2 컨텐츠(1520))가 보호 지정(또는 숨김 설정)된 것을 나타내는(또는 가이드 하는) 보호 객체(1550)를 해당 컨텐츠와 연관지어(또는 매핑하여) 자동적으로 제공할 수 있다. 이의 예가 도 15c에 도시된다.
도 15c를 참조하면, AR 제공 장치는 제1 인터랙션(1540) 감지 또는 지정된 프로필 감지에 기반하여, 대응하는 컨텐츠인 제2 컨텐츠(1520)와 연관지어 보호 객체(1550)를 표시할 수 있다. 예를 들면, AR 제공 장치는 사용자가 AR 화면(1500) 상에 제공된 다양한 컨텐츠들 중 보호 지정된 컨텐츠를 직관적으로 인지할 수 있도록 보호 객체(1550)를, 제2 컨텐츠(1520)와 연관지어 제공할 수 있다. 일 실시예에 따라, 보호 객체(1550)는 해당 컨텐츠가 실제 현실 공간에서 보이지는 않는 보호 지정(또는 숨김 설정)된 컨텐츠인 것을 직관적으로 나타내기 위한 다양한 형태로 제공될 수 있다. 예를 들어, 보호 객체(1550)는 정적이거나 동적인 텍스트 및/또는 이미지를 포함할 수 있고, 다양한 모양으로 제공될 수 있다. 일 실시예에서, 보호 객체(1550)는 해당 컨텐츠와 적어도 일부 중첩되도록 제공될 수 있다.
도 15d를 참조하면, AR 제공 장치는 사용자에 의해 선택된 적어도 하나의 컨텐츠(예: 제1 컨텐츠(1510), 제2 컨텐츠(1520))를 지정된 대상 장치를 통해 표시하기 위한 동작을 트리거(예: 동작 트리거)하는 제2 인터랙션(1560)을 감지할 수 있다. 예를 들면, 사용자는 AR 화면(1500)에서 제1 컨텐츠(1510) 및 제2 컨텐츠(1520)를 선택 결정하고, 선택된 제1 컨텐츠(1510) 및 제2 컨텐츠(1520)를 대상 장치를 통해 표시하기 위한 지정된 제2 인터랙션(1560)(예: 롤러블 확장 제스처, 다른 지정된 터치 제스처, 또는 음성 기반 명령어)를 입력할 수 있다.
일 실시예에 따라, AR 제공 장치는 제2 인터랙션(1560) 감지에 기반하여, 컨텐츠를 표시하기 위한 대상 장치를 결정할 수 있다. 일 실시예에 따르면, AR 제공 장치는 사용자에 의해 선택된 컨텐츠를 표시하기 위한 대상 장치에 대응하는 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 예를 들면, AR 제공 장치는 컨텐츠의 프로세싱 주체에 기반하여 표시 모드와 그에 대응하는 대상 장치를 결정할 수 있다.
일 실시예에 따르면, AR 제공 장치는 대상 장치를 통해 제1 표시 모드 또는 제2 표시 모드에 대응하게 컨텐츠를 제공할 수 있다. 예를 들면, AR 제공 장치는 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)에 기반한 실제 표시 영역을 통해 컨텐츠를 제공하는 제1 표시 모드로 컨텐츠를 표시할 수 있다. 다른 예를 들면, AR 제공 장치는 웨어러블 전자 장치(301)의 AR 화면(1500) 내의 전자 장치(101)를 기반으로 설정된 가상 표시 영역을 통해 컨텐츠를 매핑하여 제공하는 제2 표시 모드로 컨텐츠를 표시할 수 있다. 이의 예가 도 15e 및 도 15f에 도시된다.
일 실시예에 따라, 도 15e는 제1 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 15e를 참조하면, AR 제공 장치는 제1 표시 모드 결정에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 실질적 표시 영역(예: 기본 영역 및/또는 슬라이드-아웃에 따라 확장된 확장 영역)에 기반하여 AR 화면(1500) 상에서 사용자에 의해 선택 결정된 컨텐츠(예: 제1 컨텐츠(1510), 제2 컨텐츠(1520)) 중, 보호 지정되지 않은 제1 컨텐츠(1510)는 표시하고, 보호 지정된 제2 컨텐츠(1520)(예: 보호 컨텐츠 또는 숨김 컨텐츠)를 표시하지 않도록 처리할 수 있다.
일 실시예에 따라, AR 제공 장치는, 제1 표시 모드에 따라, AR 화면(1500)에서 사용자에 의해 선택 결정된 제1 컨텐츠(1510) 및 제2 컨텐츠(1520)를, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 연속되게 표시하도록 동작하되, AR 화면(1500)에서 보호 지정된 제2 컨텐츠(1520)는 표시하지 않고, 제1 컨텐츠(1510)만을 디스플레이 모듈(160)에 표시하도록 동작할 수 있다. 도 15e에 예시한 바와 같이, 전자 장치(101)는 디스플레이 모듈(160)을 턴-온 및 확장할 수 있고, 디스플레이 모듈(160)의 지정된 영역(예: 기본 영역 및/또는 확장 영역) 중 제1 컨텐츠(1510)를 위한 영역(예: 제1 확장 영역)에 제1 컨텐츠(1510)를 표시하고, 제2 컨텐츠(1520)를 위한 영역(예: 제2 확장 영역)에서는 제2 컨텐츠(1520)를 표시하지 않고, 제2 확장 영역을 빈 공간 또는 비활성화(또는 턴 오프)(1525)하여 제공할 수 있다.
일 실시예에 따라, 도 15f는 제2 표시 모드에 따라 컨텐츠를 제공하는 일 예를 나타낼 수 있다. 도 15f를 참조하면, AR 제공 장치는 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1500) 상에 전자 장치(101)와 연관된 가상 영역에 기반하여 컨텐츠(예: 제1 컨텐츠(1510), 제2 컨텐츠(1520))를 표시하도록 처리할 수 있다. 예를 들어, AR 제공 장치는, 제2 표시 모드에 따라, 보호 지정되지 않은 제1 컨텐츠(1510) 및 보호 지정된 제2 컨텐츠(1520)(예: 보호 컨텐츠 또는 숨김 컨텐츠)를 모두 표시하도록 처리할 수 있다.
일 실시예에 따라, AR 제공 장치는, 제2 표시 모드에 따라, AR 화면(1500)에서 사용자에 의해 선택 결정된 제1 컨텐츠(1510) 및 제2 컨텐츠(1520)를, AR 화면(1500)에서 표시되는 실제 현실 공간에 위치된 전자 장치(101)의 기본 영역, 전자 장치(101)의 확장 영역 및/또는 전자 장치(101)와 인접하게 생성하는 가상 영역에 매핑(예: 텍스처 매핑)하여 표시하도록 동작할 수 있다. 도 15f에 예시한 바와 같이, 전자 장치(101)는 디스플레이 모듈(160)을 턴-온 및 확장할 수 있고, 디스플레이 모듈(160)의 지정된 영역(예: 기본 영역 및/또는 확장 영역) 중 제1 컨텐츠(1510)를 위한 영역(예: 제1 확장 영역)에 제1 컨텐츠(1510)를 표시하고, 제2 컨텐츠(1520)를 위한 영역(예: 제2 확장 영역)에 제2 컨텐츠(1520)를 표시할 수 있다. 예를 들면, AR 제공 장치는 제2 표시 모드에 따라 AR 화면(1500)(예: 가상 공간) 내에서 전자 장치(101)의 기본 영역, 확장 영역 및/또는 가상 영역의 전부 또는 적어도 일부를 통해 사용자에 의해 선택 결정된 제1 컨텐츠(1510) 및 제2 컨텐츠(1520)를 매핑하여 표시할 수 있다.
일 실시예에 따라, 엘리먼트 1590은 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면(1500) 상에 전자 장치(101)가 아닌, 실제 현실 공간에서 보여지는 전자 장치(101)의 디스플레이 모듈(160)의 표시 상태의 예를 나타낼 수 있다. 예시한 바와 같이, 전자 장치(101)는 기본 영역 또는 전체 영역을 통해 도 15a에 예시한 바와 같은 전자 장치(101)에서 실행(또는 동작) 중인 화면을 표시하거나, 또는 기본 영역의 표시는 유지하고, 디스플레이 모듈(160)의 확장에 대응하는 확장 영역(1595)(예: 슬라이드-아웃에 따라 확장된 영역)은 빈 화면 또는 지정된 화면을 제공할 수 있다. 예를 들면, 전자 장치(101)는 디스플레이 모듈(160)의 확장에 대응하여 지정된 기능 수행에 따른 화면(예: 지정된 어플리케이션의 실행에 기반한 분할 화면 또는 실행 중인 어플리케이션의 전체 화면(예: 기본 영역에 표시된 화면을 전체 화면으로 표시))을 지정된 화면으로 제공할 수 있다. 어떤 실시예에 따르면, 실제 현실 공간의 전자 장치(101)는 디스플레이 모듈(160)이 턴-오프된 상태일 수도 있다.
예를 들면, 제2 표시 모드에서, AR 화면(1500) 상에 전자 장치(101)의 디스플레이 모듈(160)에 기반하여 표시되는 화면(예: 제1 컨텐츠(1410) 표시 화면)과, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시되는 화면은 다를 수 있고, 실제 현실 공간에서 전자 장치(101)의 디스플레이 모듈(160)에서는 AR 화면(1500) 상의 컨텐츠(예: 제1 컨텐츠(1410))를 표시하지 않을 수 있다.
일 실시예에 따라, AR 제공 장치는 AR 화면(1500)에서 선택 결정된 컨텐츠(예: 제1 컨텐츠(1510) 및 제2 컨텐츠(1520))의 보호 지정 여부에 따라, 전자 장치(101) 기반의 표시와 웨어러블 전자 장치(301) 기반 표시를 다르게 제공할 수 있다. 예를 들어, 도 15e에 예시한 바와 같이, 실제 현실 공간에서는 보호 지정된 컨텐츠(예: 제2 컨텐츠(1520))에 대해 전자 장치(101)의 디스플레이 모듈(160)을 통해서는 표시하지 않을 수 있다. 예를 들어, 도 15f에 예시한 바와 같이, AR 화면(1500)의 사용자만의 가상 공간에서는 보호 지정된 컨텐츠(예: 제2 컨텐츠(1520))를 전자 장치(101)의 디스플레이 모듈(160)에 매핑하여 표시함으로써, 웨어러블 전자 장치(301)를 착용한 사용자만 볼 수 있도록 제공할 수 있다.
도 16은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 동작 방법을 도시하는 도면이다.
일 실시예에서, 도 16에 예시된 동작은, 전자 장치(101)와 웨어러블 전자 장치(301)가 데더드 방식에 기반하여 AR 서비스를 제공하는 환경에서, 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)에 기반하여, 전자 장치(101) 또는 웨어러블 전자 장치(301)를 통해 컨텐츠를 제공하는 예를 나타낼 수 있다.
이하에서 설명하는 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 요소를 포함하는 전자 장치(101)의 프로세서(120)에 의해 실행될 수 있다. 이하에서는 설명하는 웨어러블 전자 장치(301)에서 수행하는 동작들은, 웨어러블 전자 장치(301)의 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 요소를 포함하는 웨어러블 전자 장치(301)의 프로세서(590)에 의해 실행될 수 있다.
도 16을 참조하면, 동작 1601에서, 전자 장치(101)와 웨어러블 전자 장치(301)는 지정된 통신 방식으로 연결할 수 있다. 예를 들면, 전자 장치(101)와 웨어러블 전자 장치(301)는 유선으로 연결되거나 또는 무선으로 연결(예: 페어링)될 수 있다. 예를 들어, 전자 장치(101)와 웨어러블 전자 장치(301)는 블루투스, 저전력 블루투스, 와이파이(Wi-Fi), 와이파이 다이렉트(direct) 또는 UWB(ultra wide band)와 같은 근거리 무선 통신, 또는 USB와 같은 유선 통신을 통해 서로 연결될 수 있다. 일 실시예에 따라, 전자 장치(101)는 스마트 폰, 태블릿(tablet) PC(personal computer) 및/또는 노트북(notebook)을 포함할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 글래스(glasses), 스마트 글래스(smart glasses), 또는 헤드 마운트 장치(HMD, head mounted display)를 포함할 수 있다.
동작 1603에서, 전자 장치(101)(또는 전자 장치(101)의 프로세서(120))는 AR 서비스를 위해 관련 어플리케이션을 실행할 수 있다. 예를 들면, 전자 장치(101)는 전자 장치(101)에서 어플리케이션 실행을 조작하는 사용자 입력 또는 웨어러블 전자 장치(301)로부터 어플리케이션 실행을 명령하는 요청 수신에 기반하여 어플리케이션을 실행할 수 있다.
동작 1605에서, 전자 장치(101)는 어플리케이션 실행에 기반하여 컨텐츠를 웨어러블 전자 장치(301)로 전송할 수 있다. 예를 들면, 전자 장치(101)는 AR 서비스를 위한 컨텐츠를 프로세싱 할 수 있다. 일 실시예에 따라, 전자 장치(101)는 컨텐츠를 웨어러블 전자 장치(301)에서 표시하도록, 관련 컨텐츠 데이터를 지정된 통신을 통해 웨어러블 전자 장치(301)로 전송할 수 있다.
동작 1607에서, 웨어러블 전자 장치(301)(또는 웨어러블 전자 장치(301)의 프로세서(590))는 AR 화면 상에 컨텐츠를 표시할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 사용자의 신체(예: 얼굴)에 착용된 상태일 수 있고, 현실 세계 위에, 전자 장치(101)로부터 수신된 컨텐츠를 겹쳐서 디스플레이 모듈(520)을 통해 하나의 영상(예: AR 화면)으로 표시할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 컨텐츠(예: 영상 데이터 또는 AR 영상)를 수신하고, 수신된 컨텐츠를 디스플레이 모듈(520)을 통해 현실 세계의 다양한 객체와 함께 표시할 수 있다.
동작 1609에서, 웨어러블 전자 장치(301)는 AR 정보를 생성할 수 있다. 예를 들면, AR 정보는 AR 화면에서 웨어러블 전자 장치(301)가 인식하는 대상 객체에 대한 정보, AR 화면 상에서 사용자의 제스처 입력 및/또는 시선 추적에 따른 사용자의 액션(action)에 관련된 인터랙션 정보, AR 화면에서 인식하는 객체에 대한 객체 정보, AR 화면에서 인식하는 객체에 대한 위치 정보(예: 좌표 및/또는 공간 정보), 및/또는 AR 화면 상에 표시하는 컨텐츠에 대한 위치 정보 중 적어도 하나를 포함할 수 있다.
일 실시예에 따라, 인터랙션은 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면의 실제 현실 공간 상에 진입하는 전자 장치(101)를 인지하는 제1 인터랙션, 전자 장치(101)의 진입 이후에 사용자가 전자 장치(101)를 이용하여 입력하는 지정된 제스처(예: 슬라이드-아웃 제스처 또는 롤러블 확장 제스처)를 인지하는 제2 인터랙션, 또는 전자 장치(101)의 진입 이후에 사용자가 AR 화면 상의 전자 장치(101)를 통해 입력하는 지정된 메뉴 조작 제스처(예: 터치 입력)를 인지하는 제3 인터랙션을 포함할 수 있다.
일 실시예에서, 제2 인터랙션은 전자 장치(101)의 확장 영역을 실질적으로 확장하는 제스처를 포함할 수 있다. 다른 실시예에서, 제2 인터랙션은 전자 장치(101)의 확장 영역에 대한 실질적 확장이 아닐 수 있다. 예를 들어, 사용자는 전자 장치(101)를 실질적으로 확장하지 않고, 확장하는 제스처만 입력할 수 있고, 웨어러블 전자 장치(301)는 사용자의 제스처를 인식하여 제2 인터랙션을 식별할 수 있다. 일 실시예에서, 웨어러블 전자 장치(301)는 AR 화면에서의 사용자의 핸드 검출(hand detecting) 및/또는 핸드 추적(hand tracking)에 기반하여 제2 인터랙션 및/또는 제3 인터랙션에 따른 사용자의 제스처를 감지할 수 있다.
동작 1611에서, 웨어러블 전자 장치(301)는 AR 정보를 전자 장치(101)로 전송할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 지정된 통신을 통해 AR 정보를 전자 장치(101)로 전송할 수 있다. 일 실시예에 따라, AR 정보는 실시간으로, 주기적으로 또는 AR 화면에서 다양한 상태 변화에 따라 새로운 정보의 획득 시점에 적어도 기반하여 전송될 수 있다.
동작 1613에서, 전자 장치(101)는 지정된 인터랙션을 감지할 수 있다. 예를 들면, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 AR 정보를 수신하고, 수신된 AR 정보를 분석하여 지정된 인터랙션을 감지할 수 있다. 일 실시예에서, 지정된 인터랙션은 컨텐츠의 표시를 위한 표시 모드를 결정하기 위한 동작 트리거를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 웨어러블 전자 장치(301)를 통해 AR 화면 상에서 컨텐츠가 표시되고 있는 상황에서, AR 정보에 기반하여 사용자의 시선 상에 전자 장치(101)가 위치되는 지정된 인터랙션(또는 트리거)을 식별할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 AR 정보에 기반하여, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면의 실제 현실 공간 상에 전자 장치(101)가 진입되는 제1 인터랙션, 전자 장치(101)의 진입 이후에 사용자가 전자 장치(101)를 이용하여 입력하는 지정된 제스처(예: 슬라이드-아웃 제스처 또는 롤러블 확장 제스처)에 관련된 제2 인터랙션, 또는 전자 장치(101)의 진입 이후에 사용자가 AR 화면 상의 전자 장치(101)를 통해 입력하는 지정된 메뉴 조작 제스처(예: 터치 입력)에 관련된 제3 인터랙션을 식별할 수 있다.
동작 1615에서, 전자 장치(101)는 지정된 인터랙션을 감지하는 것에 기반하여 컨텐츠의 표시 모드를 판단할 수 있다. 예를 들면, 전자 장치(101)는 지정된 인터랙션을 감지(또는 인식)하고, 지정된 인터랙션 감지에 대응하여, 지정된 적어도 하나의 조건에 대응하여 컨텐츠를 표시할 표시 모드를 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 AR 서비스와 관련하여 실행 중인 컨텐츠의 프로세싱을 위한 프로세싱 주체 및/또는 지정된 프로필에 적어도 기반하여 컨텐츠 표시를 위한 표시 모드를 결정할 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 인터랙션을 감지하는 경우, AR 서비스와 관련하여 실행 중인 컨텐츠의 프로세싱을 위한 프로세싱 주체에 따라, 컨텐츠에 대한 정보를 표시하기 위한 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 다양한 실시예들에 따르면, 표시 모드는, 컨텐츠의 프로세싱 주체에 따라, AR 화면 상의 컨텐츠를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하는 제1 표시 모드(예: 미러링 기반 표시 모드 포함) 또는 AR 화면 상의 컨텐츠를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 가상 공간(예: AR 화면)에서 AR 화면 상의 전자 장치(101)와 매핑하여 표시하는 제2 표시 모드를 포함할 수 있다.
예를 들면, 테더드 방식의 경우 컨텐츠 또는 컨텐츠의 어플리케이션의 프로세싱 주체는 전자 장치(101)일 수 있고, 제1 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다. 다른 예를 들면, 테더드 방식에서도 컨텐츠의 속성에 따라 프로세싱을 웨어러블 전자 장치(301)에서 처리 가능(예: 프로세싱 주체 전환)하거나, 사용자의 의도(예: AR 환경 계속 사용)에 따라 컨텐츠를 표시할 대상 장치가 웨어러블 전자 장치(301)인 것으로 명시적으로 지정되는 경우, 제2 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다. 다른 실시예에 따르면, 스탠드얼론 방식의 경우 컨텐츠 또는 컨텐츠의 어플리케이션의 프로세싱 주체는 웨어러블 전자 장치(301)일 수 있고, 제2 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다. 다른 예를 들면, 스탠드얼론 방식에서도 컨텐츠의 속성에 따라 프로세싱을 전자 장치(101)에서 처리 가능(예: 프로세싱 주체 전환)하거나, 사용자의 의도(예: 미러링 또는 현실 공간의 전자 장치(101)의 디스플레이 모듈(160)의 실질적 확장)에 따라 컨텐츠를 표시할 대상 장치가 전자 장치(101)인 것으로 명시적으로 지정되는 경우, 제1 표시 모드를 컨텐츠를 표시할 표시 모드로 결정할 수 있다.
어떤 실시예에 따르면, 프로세싱 주체에 따라 결정된 표시 모드는, 컨텐츠의 프로필이 미리 지정된 프로필에 대응하는지 여부에 따라 변경될 수 있다. 예를 들면, 컨텐츠가 지정된 프로필에 해당하는 경우 프로세싱 주체가 전자 장치(101) 또는 웨어러블 전자 장치(301)인 것에 관계없이, 해당 컨텐츠(예: 지정된 프로필의 컨텐츠)에 대해 가상 공간을 이용한 표시 모드(예: 제2 표시 모드)가 결정될 수 있다.
동작 1617에서, 전자 장치(101)는 판단하는 결과에 기반하여, 표시 모드가 제1 표시 모드로 결정되는지 또는 제2 표시 모드로 결정되는지 판단할 수 있다. 일 실시예에 따라, 전자 장치(101)는 결정된 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)을 통해 컨텐츠를 표시(예: 제1 표시 모드)하거나, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통한 AR 화면 상에 컨텐츠를 표시(예: 제2 표시 모드)하도록 동작할 수 있다.
동작 1617에서, 전자 장치(101)는 표시 모드가 제1 표시 모드로 결정되는 경우, 동작 1621에서, 전자 장치(101)의 디스플레이 모듈(160)의 지정된 영역에 기반하여 액티브 윈도우를 설정할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)에서 실질적 표시 영역(예: 기본 영역 및/또는 슬라이드-아웃에 따라 확장된 확장 영역) 중 AR 화면에서 컨텐츠에 대해 결정된 위치 및/또는 크기에 대응하는 영역을 컨텐츠 표시를 위한 지정된 영역으로 결정할 수 있다. 전자 장치(101)는 디스플레이 모듈(160)에 지정된 영역을 식별(예: 기본 영역 및/또는 확장 영역 식별)하고, 지정된 영역에 기반하여 컨텐츠를 위한 액티브 윈도우로 설정할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 표시 모드를 제1 표시 모드로 결정하는 경우, 웨어러블 전자 장치(301)로 제1 표시 모드로 동작 중임을 가이드 하는 정보를 제공하여 웨어러블 전자 장치(301)를 통해 표시하도록 동작할 수 있다. 예를 들면, 전자 장치(101)는 제1 표시 모드 결정에 기반하여, 제1 표시 모드로 전환되어 전자 장치(101)를 통해 컨텐츠가 표시되며, 웨어러블 전자 장치(301)의 착용을 해제하도록 하는 가이드를, 웨어러블 전자 장치(301)를 통해 표시하도록 동작하여 사용자에게 제공할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 제1 표시 모드 결정에 기반하여, 가이드와 함께 또는 순차적으로 웨어러블 전자 장치(301)의 화면 표시를 중단(예: 디스플레이 모듈(520) 또는 웨어러블 전자 장치(301)의 전원 오프(off))하도록 관련 명령을 웨어러블 전자 장치(301)로 전송할 수도 있다. 예를 들어, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 가이드와 제어 명령을 수신하고, 가이드를 일정 시간 표시한 후 제어 명령에 따라 화면 표시를 중단하도록 동작할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(301)는 사용자에 의해 착용 해제를 감지하는 경우 자동적으로 화면 표시를 중단하도록 동작할 수 있다.
동작 1623에서, 전자 장치(101)는 디스플레이 모듈(160)에서 액티브 윈도우를 통해 컨텐츠를 제공(예: 표시)할 수 있다.
동작 1625에서, 전자 장치(101)는 전자 장치(101)를 통해 입력되는 사용자 인터랙션(예: 표시된 컨텐츠에 기반한 사용자의 터치 입력)을 처리할 수 있다. 일 실시예에 따라, 전자 장치(101)는 디스플레이 모듈(160)을 통해 표시된 컨텐츠에 관련된 기능을 제어하기 위한 사용자 인터랙션을 감지하고, 사용자 인터랙션에 대응하는 기능을 처리하도록 동작할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 인식 결과(예: 터치 입력 좌표)에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠를 디스플레이 모듈(160)을 통해 표시하도록 할 수 있다.
동작 1617에서, 전자 장치(101)는 표시 모드가 제2 표시 모드로 결정되는 경우, 동작 1631에서, AR 화면의 전자 장치(101)에 기반하여 액티브 윈도우를 매핑할 수 있다. 예를 들어, 전자 장치(101)는 AR 정보에 기반하여, AR 화면에서 전자 장치(101)의 상태(예: 위치, 확장 여부 및/또는 가상 확장 여부)를 식별할 수 있고, 식별하는 결과에 기반하여 AR 화면에서 컨텐츠 표시를 위한 가상 영역에 대한 정보(예: 위치 및/또는 크기)를 판단할 수 있다. 일 실시예에 따라, 전자 장치(101)는 판단된 가상 영역에 대한 정보에 기반하여 액티브 윈도우를 매핑할 수 있다.
동작 1633에서, 전자 장치(101)는 매핑 정보를 웨어러블 전자 장치(301)로 전송할 수 있다. 예를 들어, 전자 장치(101)는 액티브 윈도우 매핑에 관련된 매핑 정보를 생성하고, 매핑 정보를 지정된 통신을 통해 웨어러블 전자 장치(301)로 전송할 수 있다.
동작 1635에서, 웨어러블 전자 장치(301)는 AR 화면에서 액티브 윈도우를 통해 컨텐츠를 제공할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 매핑 정보를 수신하고, 매핑 정보에 기반하여 AR 화면에서 전자 장치에 기반하여 액티브 윈도우를 매핑할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 화면의 액티브 윈도우에 기반하여 컨텐츠를 매핑하여 표시하도록 동작할 수 있다.
동작 1637에서, 웨어러블 전자 장치(301)는 AR 화면에서 입력되는 사용자 인터랙션(예: AR 화면 상에 표시된 컨텐츠에 기반한 사용자의 제스처 입력)을 처리할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 화면에서 컨텐츠에 관련된 기능을 제어하기 위한 사용자 인터랙션을 추적 및 감지할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 시선 추적 및 객체 인식과 같은 기술을 기반으로 사용자 입력을 추적 및 감지하고, AR 화면 상의 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 계산하여, 관련 정보(또는 인터랙션 입력 정보)(예: 좌표 및/또는 공간 정보)를 전자 장치(101)로 전송할 수 있다.
일 실시예에 따라, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 수신된 관련 정보에 기반하여 AR 화면의 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 인식 결과에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠 데이터를 웨어러블 전자 장치(301)로 전송할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 컨텐츠 데이터를 수신하고, 수신된 컨텐츠 데이터를 AR 화면 상의 컨텐츠에 반영하여 그 결과 화면(예: 컨텐츠 데이터가 AR 화면 상의 전자 장치(101)와 매핑된 화면)을 표시하도록 할 수 있다.
어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 제2 표시 모드에서도, AR 화면 상의 컨텐츠에 대한 사용자 인터랙션을 전자 장치(101)에 의해서도 수행할 수 있다. 예를 들면, 사용자는 제2 표시 모드 환경에서도 실제 현실 공간의 전자 장치(101)를 통해 사용자 인터랙션을 수행할 수 있고, 전자 장치(101)는 사용자 인터랙션에 대응하는 기능을 프로세싱 하고, 관련 컨텐츠 데이터를 웨어러블 전자 장치(301)와 전자 장치(101)를 연결하는 지정된 통신을 통해, 웨어러블 전자 장치(301)로 전송할 수 있다. 웨어러블 전자 장치(301)는 전자 장치(101)로부터 사용자 인터랙션에 따라 처리된 컨텐츠 데이터를 수신하여 표시함으로써, 전자 장치(101)에서의 사용자 인터랙션에 대한 처리 결과를 제공하도록 동작할 수 있다.
도 17은 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 간의 동작 방법을 도시하는 도면이다.
일 실시예에서, 도 17에 예시된 동작은, 웨어러블 전자 장치(301)가 스탠드얼론 방식에 의해 AR 서비스를 제공하는 환경에서, 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)에 기반하여, 전자 장치(101) 또는 웨어러블 전자 장치(301)를 통해 컨텐츠를 제공하는 예를 나타낼 수 있다.
이하에서 설명하는 웨어러블 전자 장치(301)에서 수행하는 동작들은, 웨어러블 전자 장치(301)의 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 요소를 포함하는 웨어러블 전자 장치(301)의 프로세서(590)에 의해 실행될 수 있다. 이하에서는 설명하는 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 다양한 프로세싱 회로 및/또는 실행 가능한 프로그램 요소를 포함하는 전자 장치(101)의 프로세서(120)에 의해 실행될 수 있다.
도 17을 참조하면, 동작 1701에서, 전자 장치(101)와 웨어러블 전자 장치(301)는 지정된 통신 방식으로 연결할 수 있다. 예를 들면, 전자 장치(101)와 웨어러블 전자 장치(301)는 유선으로 연결되거나 또는 무선으로 연결(예: 페어링)될 수 있다. 예를 들어, 전자 장치(101)와 웨어러블 전자 장치(301)는 블루투스, 저전력 블루투스, 와이파이(Wi-Fi), 와이파이 다이렉트(direct) 또는 UWB(ultra wide band)와 같은 근거리 무선 통신, 또는 USB와 같은 유선 통신을 통해 서로 연결될 수 있다. 일 실시예에 따라, 전자 장치(101)는 스마트 폰, 태블릿 PC 및/또는 노트북을 포함할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 글래스, 스마트 글래스, 또는 헤드 마운트 장치(HMD)를 포함할 수 있다.
동작 1703에서, 웨어러블 전자 장치(301)(또는 웨어러블 전자 장치(301)의 프로세서(590))는 AR 서비스를 실행할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 웨어러블 전자 장치(301)에서 어플리케이션 실행을 조작하는 사용자 입력 또는 전자 장치(101)로부터 AR 서비스 실행을 명령하는 요청 수신에 기반하여 AR 서비스에 관련된 어플리케이션을 실행할 수 있다.
동작 1705에서, 웨어러블 전자 장치(301)는 AR 서비스 실행에 기반하여 AR 화면 상에 컨텐츠를 표시할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 AR 서비스를 위한 컨텐츠를 프로세싱 할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자의 신체(예: 얼굴)에 착용된 상태일 수 있고, 컨텐츠(예: 영상 데이터 또는 AR 영상)를 디스플레이 모듈(520)을 통해 현실 세계의 다양한 객체와 함께 표시할 수 있다.
동작 1707에서, 웨어러블 전자 장치(301)는 지정된 인터랙션을 감지할 수 있다. 일 실시예에서, 지정된 인터랙션은 컨텐츠의 표시를 위한 표시 모드를 결정하기 위한 동작 트리거를 나타낼 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 AR 화면 상에서 컨텐츠가 표시되고 있는 상황에서, 사용자의 시선 상에 전자 장치(101)가 위치되는 지정된 인터랙션(또는 트리거)을 식별할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 제공되는 AR 화면의 실제 현실 공간 상에 전자 장치(101)가 진입되는 제1 인터랙션, 전자 장치(101)의 진입 이후에 사용자가 전자 장치(101)를 이용하여 입력하는 지정된 제스처(예: 슬라이드-아웃 제스처 또는 롤러블 확장 제스처)에 관련된 제2 인터랙션, 또는 전자 장치(101)의 진입 이후에 사용자가 AR 화면 상의 전자 장치(101)를 통해 입력하는 지정된 메뉴 조작 제스처(예: 터치 입력)에 관련된 제3 인터랙션을 감지할 수 있다.
동작 1709에서, 웨어러블 전자 장치(301)는 지정된 인터랙션을 감지하는 것에 기반하여 컨텐츠의 표시 모드를 판단할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 지정된 인터랙션을 감지(또는 인식)하고, 지정된 인터랙션 감지에 대응하여, 지정된 적어도 하나의 조건에 대응하여 컨텐츠를 표시할 표시 모드를 결정할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 AR 서비스와 관련하여 실행 중인 컨텐츠의 프로세싱을 위한 프로세싱 주체 및/또는 지정된 프로필에 적어도 기반하여 컨텐츠 표시를 위한 표시 모드를 결정할 수 있다.
일 실시예에 따라, 웨어러블 전자 장치(101)는 지정된 인터랙션을 감지하는 경우, AR 서비스와 관련하여 실행 중인 컨텐츠의 프로세싱을 위한 프로세싱 주체에 따라, 컨텐츠에 대한 정보를 표시하기 위한 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)를 결정할 수 있다. 다양한 실시예들에 따르면, 표시 모드는, 컨텐츠의 프로세싱 주체에 따라, AR 화면 상의 컨텐츠를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하는 제1 표시 모드(예: 미러링 기반 표시 모드 포함) 또는 AR 화면 상의 컨텐츠를 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 가상 공간(예: AR 화면)에서 AR 화면 상의 전자 장치(101)와 매핑하여 표시하는 제2 표시 모드를 포함할 수 있다.
예를 들면, 테더드 방식의 경우 컨텐츠 또는 컨텐츠의 어플리케이션의 프로세싱 주체는 전자 장치(101)일 수 있고, 제1 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다. 다른 예를 들면, 테더드 방식에서도 컨텐츠의 속성에 따라 프로세싱을 웨어러블 전자 장치(301)에서 처리 가능(예: 프로세싱 주체 전환)하거나, 사용자의 의도(예: AR 환경 계속 사용)에 따라 컨텐츠를 표시할 대상 장치가 웨어러블 전자 장치(301)인 것으로 명시적으로 지정되는 경우, 제2 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다.
다른 실시예에 따르면, 스탠드얼론 방식의 경우 컨텐츠 또는 컨텐츠의 어플리케이션의 프로세싱 주체는 웨어러블 전자 장치(301)일 수 있고, 제2 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다. 다른 예를 들면, 스탠드얼론 방식에서도 컨텐츠의 속성에 따라 프로세싱을 전자 장치(101)에서 처리 가능(예: 프로세싱 주체 전환)하거나, 사용자의 의도(예: 미러링 또는 현실 공간의 전자 장치(101)의 디스플레이 모듈(160)의 실질적 확장)에 따라 컨텐츠를 표시할 대상 장치가 전자 장치(101)인 것으로 명시적으로 지정되는 경우, 제1 표시 모드를 컨텐츠의 표시 모드로 결정할 수 있다.
어떤 실시예에 따르면, 프로세싱 주체에 따라 결정된 표시 모드는, 컨텐츠의 프로필이 미리 지정된 프로필에 대응하는지 여부에 따라 변경될 수 있다. 예를 들면, 컨텐츠가 지정된 프로필에 해당하는 경우 프로세싱 주체가 전자 장치(101) 또는 웨어러블 전자 장치(301)인 것에 관계없이, 해당 컨텐츠(예: 지정된 프로필의 컨텐츠)에 대해 가상 공간을 이용한 표시 모드(예: 제2 표시 모드)가 결정될 수 있다.
동작 1711에서, 웨어러블 전자 장치(301)는 판단하는 결과에 기반하여, 표시 모드가 제1 표시 모드로 결정되는지 또는 제2 표시 모드로 결정되는지 판단할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 결정된 표시 모드(예: 제1 표시 모드 또는 제2 표시 모드)에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)을 통해 컨텐츠를 표시(예: 제1 표시 모드)하거나, 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통한 AR 화면 상에 컨텐츠를 표시(예: 제2 표시 모드)하도록 동작할 수 있다.
동작 1711에서, 웨어러블 전자 장치(301)는 표시 모드가 제2 표시 모드로 결정되는 경우, 동작 1721에서, AR 화면에서 지정된 영역에 기반하여 컨텐츠를 매핑할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 AR 화면에서 전자 장치(101)와 연관된 표시 영역(예: 기본 영역 및/또는 슬라이드-아웃에 따라 확장된 확장 영역) 및/또는 가상 표시 영역 중 AR 화면에서 컨텐츠에 대해 결정된 위치 및/또는 크기에 대응하는 영역을 컨텐츠 표시를 위한 지정된 영역으로 결정할 수 있다. 웨어러블 전자 장치(301)는 지정된 영역을 식별(예: 기본 영역, 확장 영역 및/또는 가상 영역 식별)하고, 지정된 영역에 기반하여 컨텐츠를 위한 액티브 윈도우로 설정하고, 액티브 윈도우에 컨텐츠를 매핑할 수 있다.
동작 1723에서, 웨어러블 전자 장치(301)는 AR 화면에서 액티브 윈도우를 통해 컨텐츠를 제공(예: 표시)할 수 있다.
동작 1725에서, 웨어러블 전자 장치(301)는 AR 화면에서 입력되는 사용자 인터랙션(예: AR 화면 상에 표시된 컨텐츠에 기반한 사용자의 제스처 입력)을 처리할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 화면에서 컨텐츠에 관련된 기능을 제어하기 위한 사용자 인터랙션을 추적 및 감지할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 시선 추적 및 객체 인식과 같은 기술을 기반으로 사용자 인터랙션을 추적 및 감지하고, AR 화면 상의 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 인식(예: 인터랙션 입력 정보 인식)할 수 있고, 인식 결과(예: 터치 입력 좌표)에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠를 AR 화면(예: 액티브 윈도우)을 통해 매핑하여 표시하도록 할 수 있다.
어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 제2 표시 모드에서도, AR 화면 상의 컨텐츠에 대한 사용자 인터랙션을 전자 장치(101)에 의해서도 수행할 수 있다. 예를 들면, 사용자는 제2 표시 모드 환경에서도 실제 현실 공간의 전자 장치(101)를 통해 사용자 인터랙션을 수행할 수 있고, 전자 장치(101)는 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 계산하여, 관련 정보(또는 인터랙션 입력 정보)(예: 좌표 및/또는 공간 정보)를 웨어러블 전자 장치(301)와 전자 장치(101)를 연결하는 지정된 통신을 통해, 웨어러블 전자 장치(301)로 전송할 수 있다. 웨어러블 전자 장치(301)는 전자 장치(101)로부터 관련 정보를 수신하고, 수신된 관련 정보에 기반하여 AR 화면의 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 인식 결과에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠를 반영하여 그 결과 화면(예: 컨텐츠가 AR 화면 상의 전자 장치(101)와 매핑된 화면)을 표시하도록 동작할 수 있다.
동작 1711에서, 웨어러블 전자 장치(301)는 표시 모드가 제1 표시 모드로 결정되는 경우, 동작 1731에서, AR 화면의 전자 장치(101)에 기반하여 컨텐츠를 매핑할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 AR 화면에서 전자 장치(101)의 상태(예: 위치, 확장 여부 및/또는 가상 확장 여부)를 식별하거나, 또는 사용자의 지정된 의도(예: 미러링 실행)를 식별할 수 있고, 식별하는 결과에 기반하여 AR 화면의 전자 장치(101)에서 컨텐츠 표시를 위한 표시 영역에 대한 정보(예: 위치 및/또는 크기)를 판단할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 판단된 표시 영역에 대한 정보에 기반하여 컨텐츠를 매핑할 수 있다.
어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 표시 모드를 제1 표시 모드로 결정하는 경우, AR 화면 상에 제1 표시 모드로 동작 중임을 가이드 하는 정보를 제공하도록 동작할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 제1 표시 모드 결정에 기반하여, 제1 표시 모드로 전환되어 전자 장치(101)를 통해 컨텐츠가 표시되며, 웨어러블 전자 장치(101)의 착용을 해제하도록 하는 가이드를, AR 화면에 표시하여 사용자에게 제공할 수 있다.
어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 제1 표시 모드 결정에 기반하여, 가이드와 함께 또는 순차적으로 웨어러블 전자 장치(301)의 화면 표시를 중단(예: 디스플레이 모듈(520)의 전원 오프(off))할 수도 있다. 예를 들어, 웨어러블 전자 장치(301)는 가이드를 일정 시간 표시한 후 화면 표시를 중단하도록 동작할 수 있다. 다른 예를 들어, 웨어러블 전자 장치(301)는 사용자에 의해 착용 해제를 감지하는 경우 자동적으로 화면 표시를 중단하도록 동작할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 화면 표시를 중단하는 동안, 내부적(또는 백그라운드) 동작으로, 웨어러블 전자 장치(301)와 전자 장치(101)를 연결하는 지정된 통신을 통해 전자 장치(101)와 컨텐츠의 프로세싱과 관련된 통신을 계속할 수 있다. 예를 들면, 웨어러블 전자 장치(301)는 지정된 통신을 통해 전자 장치(101)로부터의 인터랙션 입력 정보를 수신하고, 그에 대응하는 컨텐츠에 대한 프로세싱 및 프로세싱 결과를 전자 장치(101)로 전송하는 동작을 수행할 수도 있다.
동작 1733에서, 웨어러블 전자 장치(301)는 매핑 정보를 전자 장치(101)로 전송할 수 있다. 예를 들어, 웨어러블 전자 장치(301)는 컨텐츠 매핑에 관련된 매핑 정보를 생성하고, 매핑 정보를 지정된 통신을 통해 전자 장치(101)로 전송할 수 있다.
동작 1735에서, 전자 장치(101)는 매핑 정보에 기반하여 디스플레이 모듈(160)에서 지정된 영역을 식별할 수 있다. 예를 들어, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 매핑 정보를 수신하고, 매핑 정보를 분석하여 전자 장치(101)의 디스플레이 모듈(160)에서 컨텐츠를 표시할 지정된 영역을 식별할 수 있다. 예를 들어, 전자 장치(101)는 매핑 정보에 기반하여, 전자 장치(101)의 디스플레이 모듈(160)에서 컨텐츠 표시를 위한 표시 영역(예: 기본 영역 및/또는 확장 영역)을 판단할 수 있다.
동작 1737에서, 전자 장치(101)는 디스플레이 모듈(160)에서 지정된 영역에 기반하여 컨텐츠를 위한 액티브 윈도우를 설정할 수 있다.
동작 1739에서, 전자 장치(101)는 디스플레이 모듈(160)에서 액티브 윈도우를 통해 컨텐츠를 제공(예: 표시)할 수 있다.
동작 1741에서, 전자 장치(301)는 전자 장치(101)를 통해 입력되는 사용자 인터랙션(예: 표시된 컨텐츠에 기반한 사용자의 터치 입력)을 처리할 수 있다. 일 실시예에 따라, 전자 장치(101)는 디스플레이 모듈(160)을 통해 표시된 컨텐츠에 관련된 기능을 제어하기 위한 사용자 인터랙션을 감지하고, 사용자 인터랙션에 대응하는 기능을 처리하도록 동작할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 인식 결과에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠를 디스플레이 모듈(160)을 통해 표시하도록 할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)을 통해 사용자 인터랙션(예: 터치 입력)을 감지하고, 디스플레이 모듈(160)을 통해 제공된 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 계산하여, 관련 정보(또는 인터랙션 입력 정보)(예: 좌표 및/또는 공간 정보)를 웨어러블 전자 장치(301)로 전송할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 수신된 관련 정보에 기반하여 AR 화면의 컨텐츠에서 사용자 인터랙션이 감지된 지점(예: 터치 지점)을 인식할 수 있고, 인식 결과에 기반하여 관련 기능을 실행하도록 프로세싱 하고, 프로세싱 결과에 따른 컨텐츠 데이터를 전자 장치(101)로 전송할 수 있다. 일 실시예에 따라, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 컨텐츠 데이터를 수신하고, 수신된 컨텐츠 데이터를 디스플레이 모듈(160) 상의 컨텐츠에 반영하여 그 결과 화면(예: 컨텐츠 데이터가 반영된 화면)을 표시하도록 할 수 있다.
도 18a, 도 18b 및 도 18c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 표시 모드를 운영하는 예를 도시하는 도면들이다.
일 실시예에서, 도 18a, 도 18b 및 도 18c에서는 전자 장치(101)와 웨어러블 전자 장치(301)가 테더드 방식 또는 스탠드얼론 방식에 기반하여 AR 서비스를 제공하는 환경에서, 제1 표시 모드 결정에 기반하여, 전자 장치(101)를 통해 컨텐츠를 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 18a, 도 18b 및 도 18c에서는 전자 장치(101)의 폼 팩터가 롤러블 타입인 것을 예로 할 수 있다.
도 18a를 참조하면, 도 18a는 웨어러블 전자 장치(301)의 디스플레이 모듈(520)을 통해 AR 화면(1800) 상에 전자 장치(101)가 진입되고, 사용자가 AR 화면(1800) 상에서 전자 장치(101)에 대한 지정된 인터랙션(예: 롤러블 활성화 인터랙션)을 수행하는 예를 나타낼 수 있다. 예를 들어, 사용자는 AR 화면(1800) 내로 전자 장치(101)를 이동한 이후에, 전자 장치(101)를 이용하여 지정된 제스처(예: 슬라이드-아웃 제스처 또는 롤러블 확장 제스처)를 입력할 수 있다. 일 실시예에서, 지정된 제스처는 전자 장치(101)의 확장 영역을 실질적으로 확장(예: 전자 장치(101)의 디스플레이 모듈(160)을 실질적으로 슬라이드-아웃)하는 제스처를 포함할 수 있다. 다른 실시예에서, 지정된 제스처 전자 장치(101)의 확장 영역에 대한 실질적 확장이 아닐 수 있다. 예를 들어, 사용자는 전자 장치(101)를 실질적으로 확장하지 않고, 확장하는 제스처만 입력할 수 있다. 일 실시예에서, 지정된 제스처는 AR 화면(1800)에서의 사용자의 핸드 검출 및/또는 핸드 추적에 기반하여 감지될 수 있다.
도 18b 및 도 18c를 참조하면, 도 18b 및 도 18c는 표시 모드가 제1 표시 모드로 결정되는 것에 기반하여, AR 화면(1800)을 통해 동작(예: 표시) 중이던 컨텐츠를 실제 현실 공간의 전자 장치(101)의 실질적 디스플레이 모듈(160)을 통해 제공(예: 제1 표시 모드)하는 예를 나타낼 수 있다.
일 실시예에서, 도 18b는 지정된 인터랙션에 대응하여, 전자 장치(101)의 디스플레이 모듈(160)이 확장되고, 디스플레이 모듈(160)의 확장 영역(B)을 통해 AR 화면(1800)에서 동작 중이던 컨텐츠(1810)를 표시하는 예를 나타낼 수 있다. 일 실시예에 따라, 전자 장치(101)는 디스플레이 모듈(160)의 기본 영역(A)의 기존 상태는 유지하고, 지정된 인터랙션에 따라 확장되는 확장 영역(B)을 컨텐츠(1810)를 표시하기 위한 액티브 윈도우로 제공할 수 있다.
일 실시예에서, 도 18c는 지정된 인터랙션에 대응하여, 전자 장치(101)의 디스플레이 모듈(160)이 확장되고, 디스플레이 모듈(160)의 기본 영역(A) 및 확장 영역(B)을 포함하는 전체 영역을 통해 AR 화면(1800)에서 동작 중이던 컨텐츠(1820)를 표시하는 예를 나타낼 수 있다. 예를 들어, 사용자에 의한 지정된 인터랙션은 화면 확장에 대한 사용자의 명확한 의도가 있을 수 있다. 이에, 전자 장치(101)는 디스플레이 모듈(160)의 기본 영역(A)과 확장 영역(B)을 포함하는 전체 영역(예: 기본 영역(A) + 확장 영역(B))을 컨텐츠(1820)를 표시하기 위한 액티브 윈도우로 제공할 수 있다.
일 실시예에 따르면, 액티브 윈도우는, 사용자 의도에 따른 어포던스와 컨텐츠의 중첩 상태(또는 중첩 영역)에 기반하여 전자 장치(101)의 기본 영역(A), 확장 영역(B) 또는 전체 영역(예: 기본 영역(A) + 확장 영역(B)) 중 적어도 하나의 영역에 설정될 수 있다. 예를 들면, 컨텐츠(1810, 1820)가 어포던스에 중첩되는 경우, 액티브 윈도우는 해당 컨텐츠가 전자 장치(101)의 확장 영역(B)에 표시되도록, 확장 영역(B)에 기반하여 설정될 수 있다. 다른 예를 들면, 컨텐츠(1810, 1820)가 AR 화면 상의 전자 장치(101)(예: 전자 장치(101)의 기본 영역(A))와 어포던스에 모두 중첩되는 경우, 액티브 윈도우는 해당 컨텐츠가 전자 장치(101)의 전체 영역(예: 기본 영역(A) + 확장 영역(B))에 표시되도록, 전체 영역에 기반하여 설정될 수 있다. 다른 예를 들면, 하나의 컨텐츠(1810, 1820)가 어포던스에 배치되는 경우, 액티브 윈도우는 해당 컨텐츠가 전자 장치(101)의 전체 영역(예: 기본 영역(A) + 확장 영역(B))에 표시되도록, 전체 영역에 기반하여 설정될 수 있다.
다른 예를 들면, 복수의 컨텐츠(예: 제1 컨텐츠, 제2 컨텐츠)가 어포던스에 중첩되는 경우, 액티브 윈도우는 해당 복수의 컨텐츠가 전자 장치(101)의 기본 영역(A)과 확장 영역(B)에 각각 구분되어 표시되도록, 기본 영역(A)과 확장 영역(B) 각각에 기반하여 설정될 수 있다. 다른 예를 들면, 복수의 컨텐츠 중 일 컨텐츠(예: 제1 컨텐츠)가 어포던스에 중첩되고 다른 컨텐츠(예: 제2 컨텐츠)가 전자 장치(101)(예: 전자 장치(101)의 기본 영역(A))에 각각 중첩되는 경우, 예를 들어, 사용자 의도에 따라 각 컨텐츠가 배치되는 경우, 액티브 윈도우는 제1 컨텐츠 및 제2 컨텐츠가 사용자 의도에 따른 배치에 대응하게 표시되도록, 제1 컨텐츠를 위한 제1 액티브 윈도우가 확장 영역(B)에 설정되고, 제2 컨텐츠를 위한 제2 액티브 윈도우가 기본 영역(A)에 설정될 수 있다.
어떤 실시예에 따르면, 어포던스는 사용자 입력(예: 어포던스 확장 인터랙션)에 의해 가변(예: 확장)될 수 있다. 일 실시예에 따라, 확장된 어포던스에 하나의 컨텐츠(예: 제1 컨텐츠)가 배치(예: 중첩)된 경우, 전자 장치(101)의 디스플레이 모듈(160)을 확장된 어포던스에 대응하게 확장하고, 확장된 확장 영역(B)과 기본 영역(A)을 포함하는 전체 영역(예: 기본 영역(A) + 확장 영역(B))을 통해 하나의 컨텐츠를 확장 화면 전체에 표시하도록 액티브 윈도우가 설정될 수 있다. 다른 실시예에 따라, 확장된 어포던스에 복수의 컨텐츠(예: 제1 컨텐츠, 제2 컨텐츠)가 배치(예: 중첩)된 경우, 복수의 컨텐츠를 기본 영역(A)과 확장 영역(B)에 각각 표시하도록 기본 영역(A)과 확장 영역(B) 각각에 액티브 윈도우를 설정하거나, 복수의 컨텐츠를 확장된 어포던스에 대응하는 확장 영역(B)에 표시하도록 확장 영역에 적어도 하나의 액티브 윈도우가 설정될 수 있다.
일 실시예에 따르면, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 AR 서비스를 위한 동작 중에, 제1 표시 모드에 기반하여 컨텐츠를 표시하도록 결정하는 경우, 웨어러블 전자 장치(301)의 AR 화면(1800) 표시를 중단하고, 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역 및/또는 확장 영역을 통해 AR 화면에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우를 설정하고, 설정된 액티브 윈도우에 기반하여 컨텐츠를 표시하도록 동작할 수 있다.
도 19a 및 도 19b는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 표시 모드를 운영하는 예를 도시하는 도면들이다.
일 실시예에서, 도 19a 및 도 19b에서는 전자 장치(101)와 웨어러블 전자 장치(301)가 테더드 방식 또는 스탠드얼론 방식에 기반하여 AR 서비스를 제공하는 환경에서, 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)를 통해 컨텐츠를 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 19a 및 도 19b에서는 전자 장치(101)의 폼 팩터가 롤러블 타입인 것을 예로 할 수 있다.
도 19a를 참조하면, 도 19a는 AR 화면(1900)에서 전자 장치(101)의 확장 영역에 컨텐츠(1910)를 매핑(예: 텍스처 매핑)하여 표시하는 예를 나타낼 수 있다. 도 19b를 참조하면, 도 19b는 현실 공간에서 바라본 전자 장치(101)의 상태를 나타내는 것으로, 예시된 바와 같이, 현실 공간에서 전자 장치(101)의 확장 영역에는 컨텐츠가 표시되지 않는 상태의 예를 나타낼 수 있다.
도 19a 및 도 19b에 예시한 바와 같이, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 AR 서비스를 위한 동작 중에, 제2 표시 모드에 기반하여 컨텐츠를 표시하도록 결정하는 경우, 웨어러블 전자 장치(301)의 AR 화면(1900)을 통해서만 전자 장치(101)와 연관지어, 예를 들어, AR 화면(1900) 상의 전자 장치(101)의 디스플레이 모듈(160)의 확장 영역을 통해 컨텐츠(1910)를 표시할 수 있다. 이와 달리, 현실 공간의 전자 장치(101)에서는 AR 화면(1900)을 통해 표시된 컨텐츠(1910)를 표시하지 않고, 대응하는 영역(예: 확장 영역)을 빈 공간 또는 비활성화(또는 턴 오프)(1920)하여 제공할 수 있다.
일 실시예에 따라, 도 19a 및 도 19b에 예시한 바와 같이, 웨어러블 전자 장치(301)를 착용한 제1 사용자는 AR 화면(1900)에서 컨텐츠(1910)를 확인 및 제어할 수 있는 반면, 현실 공간에 있는 적어도 하나의 제2 사용자는 전자 장치(101)를 통해 컨텐츠(1910)를 확인할 수 없다.
어떤 실시예에 따르면, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 제2 표시 모드에 기반하여 AR 화면(1900)에서 컨텐츠(1910)를 제공할 때, AR 화면(1900) 상의 전자 장치(101)의 디스플레이 모듈(160)에서 컨텐츠(1910)가 매핑되는 영역에 대한 그래픽 처리를 더 제공할 수 있다. 예를 들어, 사용자의 시인성 확보를 위해, AR 화면(1900) 상의 전자 장치(101)의 디스플레이 모듈(160)에서 컨텐츠(1910)가 매핑되는 영역의 컬러(예: 백그라운드 컬러)를 가상적으로 변경할 수 있다. 예를 들면, 컨텐츠(1910)가 매핑되어 표시되는 영역의 백그라운드를 컨텐츠(1910)의 대표 컬러(예: 가장 많은 비중을 차지하는 컬러)와 대비되는 컬러로 제공하는 그래픽 효과를 제공할 수 있다.
도 20a, 도 20b 및 도 20c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 컨텐츠 미러링 및 인터랙션을 운영하는 예를 설명하기 위해 도시하는 도면들이다.
일 실시예에서, 도 20a, 도 20b 및 도 20c에서는 전자 장치(101)와 웨어러블 전자 장치(301)가 테더드 방식 또는 스탠드얼론 방식에 기반하여 AR 서비스를 제공하는 환경에서, 웨어러블 전자 장치(301)를 통해 AR 화면의 적어도 하나의 컨텐츠를 전자 장치(101)로 미러링(mirroring) 하고, 전자 장치(101)를 통해 입력된 인터랙션에 기반하여 AR 화면의 적어도 하나의 컨텐츠를 제어하는 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 제2 표시 모드에 따라, AR 화면을 통해 컨텐츠를 표시하는 중에, 사용자 의도에 기반한 미러링 기능을 실행할 수 있다. 예를 들어, 사용자는 웨어러블 전자 장치(301)에서만 동작 가능한 어플리케이션에 의한 AR 서비스를 이용하는 상태일 수 있다. 일 실시예에 따라, 사용자는 AR 화면 상의 컨텐츠를 전자 장치(101)의 디스플레이 모듈(160)을 통해 표시하도록 하는 미러링 기능을 활성화 할 수 있다. 일 실시예에서, 미러링 기능은, 예를 들면, 웨어러블 전자 장치(301)에서 동작 가능한 어플리케이션에 따른 컨텐츠를 AR 화면을 통해 표시하면서, 컨텐츠(예: 미러 컨텐츠(mirror contents))를 전자 장치(101)로 미러링 하여, 전자 장치(101)의 디스플레이 모듈(160)을 통해 함께 표시하도록 하는 기능을 포함할 수 있다. 어떤 실시예에 따르면, 웨어러블 전자 장치(301)는 사용자가 웨어러블 전자 장치(301)를 통해 확인하고 제어할 수 있는 다양한 제어 정보(예: 컴포넌트, 오브젝트 및/또는 윈도우)를 전자 장치(101)로 미러링 하여 표시하도록 할 수도 있다.
일 실시예에 따르면, 미러링 기능은 컨텐츠에 대한 프로세싱을 웨어러블 전자 장치(301)에서 수행하고, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 전송된(또는 미러링된) 컨텐츠를 표시하는 역할을 할 수 있다.
도 20a, 도 20b 및 도 20c를 참조하면, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 전송된 컨텐츠(2010)를 디스플레이 모듈(160)을 통해 표시할 수 있다. 일 실시예에 따라, 사용자는 웨어러블 전자 장치(301)의 AR 화면에 표시된 컨텐츠에 대한 제어에 전자 장치(101)를 이용할 수 있다. 예를 들어, 사용자는 전자 장치(101)의 디스플레이 모듈(160)에 표시된 컨텐츠(2010)에 기반하여 AR 화면 상의 컨텐츠의 제어에 관련된 다양한 제스처(예: 터치 제스처)를 입력할 수 있다. 일 실시예에 따라, 사용자는 전자 장치(101)의 디스플레이 모듈(160)에 표시된 컨텐츠(2010)에 대해, 스크린 터치 동작으로 컨텐츠(2010)를 회전하는 제1 제스처 입력(예: 도 20a), 스크린 줌인 동작(예: 핀치 줌인)으로 컨텐츠(2010)를 확대하는 제2 제스처 입력(예: 도 20b), 또는 스크린 줌아웃 동작(예: 핀치 줌아웃)으로 컨텐츠(2010)를 축소하는 제3 제스처 입력(예: 도 20c)을 수행할 수 있다. 본 개시에서 컨텐츠의 제어에 관련된 다양한 제스처는, 이에 한정하지 않는다. 도시되진 않았으나, 예를 들면, 스크린 무브 동작으로 컨텐츠(2010)를 상하좌우 이동하는 제스처, 또는 스크린 멀티 터치 무브 동작으로 컨텐츠(2010)를 앞뒤로 이동하는 제스처와 같은 다양한 제스처를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 도 20a, 도 20b 및/또는 도 20c에 예시한 바와 같은 사용자 입력을 감지하고, 디스플레이 모듈(160) 상의 컨텐츠에서 사용자 입력이 감지된 지점(예: 터치 지점)을 계산하여, 관련 정보(예: 좌표 및/또는 공간 정보)를 전자 장치(101)로 전송할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 전자 장치(101)로부터 수신된 관련 정보에 기반하여 AR 화면 내의 좌표 정보로 변환하고, 변환된 좌표 정보에 기반하여 AR 화면의 컨텐츠의 제어를 위한 사용자 입력으로 프로세싱 할 수 있다. 일 실시예에 따라, 웨어러블 전자 장치(301)는 AR 화면의 컨텐츠를 전자 장치(101) 기반의 사용자 입력에 대응하도록 제어(예: 관련 기능 실행)하도록 프로세싱 하고, AR 화면 상의 컨텐츠에 반영하여 그 결과 화면을 표시하도록 할 수 있다. 예를 들어, 웨어러블 전자 장치(101)는 도 20a, 도 20b 및/또는 도 20c에 예시한 바와 같은 사용자 입력을 인식할 수 있고, 그에 대응하여 AR 화면 상의 컨텐츠를 회전, 확대 또는 축소하여 그 결과 화면을 표시할 수 있다.
도 21a, 도 21b 및 도 21c는 일 실시예에 따른 전자 장치와 웨어러블 전자 장치 사이에서 컨텐츠를 공유하는 동작 예를 도시하는 도면들이다.
일 실시예에서, 도 21a, 도 21b 및 도 21c에서는 전자 장치(101)와 웨어러블 전자 장치(301)가 테더드 방식 또는 스탠드얼론 방식에 기반하여 AR 서비스를 제공하는 환경에서, 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치(301)를 통해 컨텐츠를 제공하고, 웨어러블 전자 장치(301)를 통해 제공하는 컨텐츠의 적어도 일부를 현실 공간의 전자 장치(101)와 공유(share)하는 동작 예를 나타낼 수 있다. 일 실시예에 따라, 도 21a, 도 21b 및 도 21c에서는 전자 장치(101)의 폼 팩터가 롤러블 타입인 것을 예로 할 수 있다.
도 21a를 참조하면, 도 21a는 AR 화면(2100)에서 전자 장치(101)의 확장 영역에 컨텐츠(2110)를 매핑(예: 텍스처 매핑)하여 표시하는 예를 나타낼 수 있다. 도 21b를 참조하면, 도 21b는 현실 공간에서 바라본 전자 장치(101)의 상태를 나타내는 것으로, 예시된 바와 같이, 현실 공간에서 전자 장치(101)의 확장 영역에는 컨텐츠가 표시되지 않는 상태의 예를 나타낼 수 있다.
도 21a 및 도 21b에 예시한 바와 같이, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 AR 서비스를 위한 동작 중에, 제2 표시 모드에 기반하여 컨텐츠를 표시하도록 결정하는 경우, 웨어러블 전자 장치(301)의 AR 화면(2100)을 통해서만 전자 장치(101)와 연관지어, 예를 들어, AR 화면(2100) 상의 전자 장치(101)의 디스플레이 모듈(160)의 확장 영역을 통해 컨텐츠(2110)를 표시할 수 있다. 이와 달리, 현실 공간의 전자 장치(101)에서는 AR 화면(2100)을 통해 표시된 컨텐츠(2110)를 표시하지 않고, 대응하는 영역(예: 확장 영역)을 빈 공간 또는 비활성화(또는 턴 오프)(2120)하여 제공할 수 있다.
일 실시예에 따라, 도 21a 및 도 21b에 예시한 바와 같이, 웨어러블 전자 장치(301)를 착용한 제1 사용자는 AR 화면(2100)에서 컨텐츠(2110)를 확인 및 제어할 수 있는 반면, 현실 공간에 있는 적어도 하나의 제2 사용자는 전자 장치(101)를 통해 컨텐츠(2110)를 확인할 수 없다.
일 실시예에 따라, 도 21a 및 도 21b와 같은 환경에서, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 AR 화면(2110)을 통해 컨텐츠(2110)를 표시하는 중에, 사용자 의도에 기반한 공유(share) 기능을 실행할 수 있다. 일 실시예에 따라, 사용자는 AR 화면(2100) 상의 컨텐츠(2110)(또는 컨텐츠(2110)의 적어도 일부(예: 컨텐츠 데이터))를 전자 장치(101)와 공유(예: 컨텐츠(2110)의 컨텐츠 데이터 전송(또는 파일 전송), 또는 전자 장치(101)의 디스플레이 모듈(160)을 통한 일부 공개)하도록 하는 공유 기능을 활성화 할 수 있다. 일 실시예에서, 공유 기능은, 예를 들면, 웨어러블 전자 장치(301)에서 AR 화면(2100)에서 컨텐츠(2110)를 표시하면서, 컨텐츠(2110)(또는 컨텐츠(2110)의 적어도 일부)를 전자 장치(101)로 전송하여, 전자 장치(101)와 공유하는 기능을 포함할 수 있다.
도 21a를 참조하면, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 AR 화면(2100)에서 전자 장치(101)에 매핑된 컨텐츠(2110)에 대한 사용자 인터랙션(예: AR 화면(2100) 상에 표시된 컨텐츠에 기반한 사용자의 제스처 입력)을 처리할 수 있다. 일 실시예에 따라, 전자 장치(101) 및/또는 웨어러블 전자 장치(301)는 AR 화면(2100)에서 컨텐츠(2110)(예: 컨텐츠(2110)의 적어도 일부)를 공유하는 공유 기능을 실행하기 위한 사용자 인터랙션을 추적 및 감지하고, 사용자 인터랙션에 대응하여 컨텐츠(2110)를 전자 장치(101)와 공유하는 기능을 처리하도록 동작할 수 있다.
일 실시예에 따라, 사용자는 AR 화면(2100)에서 전자 장치(101)의 제2 영역(예: 확장 영역)에 매핑된 컨텐츠(2110)에서 특정 객체(예: 텍스트 및/또는 이미지)를 선택하여 제1 영역(예: 기본 영역)으로 드래그하는 제스처(예: 도 21a의 예시를 참조하면 우측 역에서 좌측 영역으로 드래그 하는 제스처)를 입력할 수 있다. 일 실시예에 따르면, 웨어러블 전자 장치(301)는 시선 공유 기능에 관련된 사용자 입력을 추적 및 감지하고, AR 화면(2100) 상의 컨텐츠(2110)에서 사용자 입력이 감지된 지점(예: 터치 지점)의 컨텐츠(2110)(예: 선택된 특정 객체)를 지정된 통신을 통해 전자 장치(101)로 전송할 수 있다.
일 실시예에 따라, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 컨텐츠(2110)(예: 컨텐츠(2110)의 적어도 일부)의 수신을 감지하고, 수신된 컨텐츠(2110)를 전자 장치(101)의 메모리(130)에 저장 및/또는 디스플레이 모듈(160)을 통해 표시하도록 동작할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 컨텐츠(2110)을 수신하는 경우, 도 21c에 예시한 바와 같이, 웨어러블 전자 장치(301)부터 컨텐츠(2110)가 공유됨을 가이드 하는 정보를 지정된 형태(예: 팝업 형태)로 사용자에게 제공할 수 있다. 예를 들면, 전자 장치(101)는 웨어러블 전자 장치(301)로부터 공유되는 컨텐츠(2110)가 있으며, 공유되는 컨텐츠(2110)를 수신하여 저장하거나, 또는 공유되는 컨텐츠(2110)의 수신을 거절(또는 취소)할 수 있는 가이드 윈도우(2150)를 팝업 형태로 제공할 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자에 의해 공유되는 컨텐츠(2110)에 관련된 가이드 윈도우(2150)를 제공할 때, 도 21c에 예시한 바와 같이, 도 21b의 상태(예: 확장 영역의 비활성화 상태)는 유지하면서, 가이드 윈도우(2150)를 팝업으로 제공할 수 있다. 일 실시예에 따라, 전자 장치(101)는 사용자에 의해 공유되는 컨텐츠(2110)에 대한 수신 및 저장이 선택되는 경우, 공유되는 컨텐츠(2110)를 웨어러블 전자 장치(301)로부터 수신하여 메모리(130)에 저장할 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 수신하여 저장하는 컨텐츠(2110)를 디스플레이 모듈(160)의 기본 영역(예: 도 21a의 좌측 영역)을 통해 제공(예: 표시)할 수 있다. 예를 들어, 전자 장치(101)는 확장 영역의 비활성화 상태는 유지하면서, 기본 영역을 통해 공유된 컨텐츠(2110)를 표시하도록 할 수 있다. 예를 들어, 전자 장치(101)가 기본 영역을 통해 채팅 창을 표시하는 상태를 가정할 때, 채팅 창에 웨어러블 전자 장치(301)로부터 공유되는 컨텐츠(2110)를 파일 첨부 형태로 반영하여, 기본 영역의 채팅 창 내에 표시하도록 동작할 수 있다.
본 개시의 일 실시예에 따른 증강 현실(AR, augmented reality) 서비스를 제공하는 방법은, AR 화면을 통해 컨텐츠를 제공하는 동작, 상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하는 동작, 상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하는 동작, 및 상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈(예: 전자 장치(101)의 디스플레이 모듈(160))을 통해 표시하도록 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하도록 제어하는 동작을 포함하는 방법.
일 실시예에 따르면, 상기 외부 객체를 감지하는 동작은, 상기 AR 화면을 통해 지정된 인터랙션을 감지하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 표시 모드를 결정하는 동작은, 상기 지정된 인터랙션 감지에 기반하여, 상기 컨텐츠를 프로세싱 하는 대상 장치가 전자 장치(101)인지 또는 웨어러블 전자 장치(301)인지 판단하는 동작, 상기 대상 장치가 상기 전자 장치(101)인 것으로 판단하는 경우, 상기 AR 화면 상에 상기 컨텐츠를 상기 전자 장치(101)로 전환하여 표시하도록 하는 제1 표시 모드를 결정하는 동작, 상기 대상 장치가 상기 웨어러블 전자 장치(301)인 것으로 판단하는 경우, 상기 컨텐츠를 상기 AR 화면 상의 상기 전자 장치(101)와 매핑하여 표시하도록 하는 제2 표시 모드를 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 컨텐츠를 표시하도록 제어하는 동작은, 상기 제1 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치(301)의 화면 표시를 중단하도록 제어하고, 상기 전자 장치(101)의 디스플레이 모듈(160)에 대응하는 표시 영역에 기반하여 상기 AR 화면을 통해 표시 중이던 상기 컨텐츠의 표시를 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 컨텐츠를 표시하도록 제어하는 동작은, 상기 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역 및/또는 확장 영역을 통해 상기 AR 화면에서 표시 중인 상기 컨텐츠를 위한 지정된 액티브 윈도우를 설정하는 동작, 상기 설정된 액티브 윈도우에 기반한 컨텐츠 표시를 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 컨텐츠를 표시하도록 제어하는 동작은, 상기 제2 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치(301)의 디스플레이 모듈(590)을 통해 제공되는 AR 화면 상에 상기 전자 장치(101)와 연관된 가상 표시 영역에 기반한 컨텐츠 표시를 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 컨텐츠를 표시하도록 제어하는 동작은, 상기 제2 표시 모드 결정에 기반하여, 상기 전자 장치(101)의 디스플레이 모듈(160)의 확장 영역에 대응하는 가상 영역을 상기 전자 장치(101)의 확장 영역에 대응하게 구성하는 동작, 상기 전자 장치(101)의 디스플레이 모듈(160)의 기본 영역, 확장 영역 및/또는 가상 영역에 적어도 기반하여 상기 AR 화면에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우를 설정하는 동작, 상기 설정된 액티브 윈도우에 기반한 컨텐츠 매핑을 통해 컨텐츠 표시를 제어하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 제2 표시 모드에 따라 상기 컨텐츠를 제공하는 경우, 상기 AR 화면 상에서 매핑된 상기 컨텐츠는 실제 현실 공간의 전자 장치(101)의 디스플레이 모듈(160)을 통해서는 표시되지 않고, 상기 AR 화면 상의 전자 장치(101)와 연관된 표시 영역을 통해서만 제공될 수 있다.
일 실시예에 따르면, 상기 컨텐츠를 프로세싱 하는 대상 장치를 판단 시에, 상기 컨텐츠가 지정된 프로필에 대응하는지 여부를 판단하는 동작, 상기 컨텐츠가 지정된 프로필에 대응하는 경우, 상기 컨텐츠를 프로세싱 하는 대상 장치에 관계 없이 상기 지정된 프로필의 컨텐츠를 상기 AR 화면을 통해 제공하도록 상기 제2 표시 모드를 결정하는 동작을 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.
101: 전자 장치
120: 프로세서
160: 디스플레이 모듈
301: 웨어러블 전자 장치
520: 디스플레이 모듈
590: 프로세서
120: 프로세서
160: 디스플레이 모듈
301: 웨어러블 전자 장치
520: 디스플레이 모듈
590: 프로세서
Claims (20)
- 증강 현실(AR, augmented reality) 서비스를 위한 AR 제공 장치에 있어서,
디스플레이 모듈; 및
프로세서를 포함하고, 상기 프로세서는,
AR 화면을 통해 컨텐츠를 제공하고,
상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하고,
상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하고, 및
상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈을 통해 표시하는 것을 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하는 것을 제어하도록 설정된 장치.
- 제1항에 있어서, 상기 컨텐츠는,
AR 서비스를 위해 상기 AR 제공 장치에 의해 생성되어 AR 제공 장치의 디스플레이 모듈을 통해 제공되거나, 또는
상기 AR 제공 장치에 의해 생성되고, 지정된 통신을 통해 연결된 외부 장치로 전송되어, 상기 외부 장치의 디스플레이 모듈을 통해 제공되는 것을 포함하는 장치.
- 제1항에 있어서, 상기 프로세서는,
상기 AR 화면을 통해 지정된 인터랙션을 감지하고,
상기 지정된 인터랙션 감지에 기반하여, 상기 컨텐츠를 프로세싱 하는 대상 장치가 전자 장치인지 또는 웨어러블 전자 장치인지 판단하고,
상기 대상 장치가 상기 전자 장치인 것으로 판단하는 경우, 상기 AR 화면 상의 상기 컨텐츠를 상기 전자 장치로 전환하여 표시하도록 하는 제1 표시 모드를 결정하고,
상기 대상 장치가 상기 웨어러블 전자 장치인 것으로 판단하는 경우, 상기 컨텐츠를 상기 AR 화면 상에 상기 전자 장치와 매핑하여 표시하도록 하는 제2 표시 모드를 결정하도록 설정된 장치.
- 제3항에 있어서, 상기 프로세서는,
상기 제1 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치의 화면 표시를 중단하도록 제어하고, 상기 전자 장치의 디스플레이 모듈에 대응하는 표시 영역에 기반하여 상기 AR 화면을 통해 표시 중이던 상기 컨텐츠의 표시를 제어하도록 설정된 장치.
- 제4항에 있어서, 상기 프로세서는,
상기 전자 장치의 디스플레이 모듈의 기본 영역 및/또는 확장 영역을 통해 상기 AR 화면 상에서 표시 중인 상기 컨텐츠를 위한 지정된 액티브 윈도우를 설정하고,
상기 설정된 액티브 윈도우에 기반한 컨텐츠 표시를 제어하도록 설정된 장치.
- 제3항에 있어서, 상기 프로세서는,
상기 제2 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치의 디스플레이 모듈을 통해 제공되는 AR 화면 상에 상기 전자 장치와 연관된 가상 표시 영역에 기반한 컨텐츠 표시를 제어하도록 설정된 장치.
- 제6항에 있어서, 상기 프로세서는,
상기 제2 표시 모드 결정에 기반하여, 웨어러블 전자 장치의 디스플레이 모듈을 통해 제공되는 AR 화면 상에 위치된 상기 전자 장치의 기본 영역, 상기 전자 장치의 확장 영역 및/또는 상기 전자 장치와 인접하게 생성하는 가상 영역에 적어도 기반하여 컨텐츠를 매핑하여 표시하도록 설정된 장치.
- 제6항에 있어서, 상기 프로세서는,
상기 제2 표시 모드 결정에 기반하여, 상기 전자 장치의 디스플레이 모듈의 확장 영역에 대응하는 가상 영역을 상기 전자 장치의 확장 영역에 대응하게 구성하고,
상기 전자 장치의 디스플레이 모듈의 기본 영역 및/또는 확장 영역을 통해 상기 AR 화면 상에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우를 설정하고,
상기 설정된 액티브 윈도우에 기반한 컨텐츠 매핑을 통해 컨텐츠 표시를 제어하도록 설정된 장치.
- 제6항에 있어서,
상기 프로세서가, 상기 제2 표시 모드에 따라 상기 컨텐츠를 제공하는 경우, 상기 AR 화면 상에서 매핑된 상기 컨텐츠는 실제 현실 공간의 전자 장치의 디스플레이 모듈을 통해서는 표시되지 않고, 상기 AR 화면 상의 전자 장치와 연관된 표시 영역을 통해서만 제공되는 장치.
- 제3항에 있어서, 상기 지정된 인터랙션은,
상기 웨어러블 전자 장치의 디스플레이 모듈을 통해 제공되는 AR 화면 상에 상기 전자 장치가 진입하는 제1 인터랙션, 상기 전자 장치의 진입 이후에 사용자가 상기 전자 장치를 이용하여 지정된 제스처를 입력하는 제2 인터랙션, 및/또는 상기 전자 장치의 진입 이후에 사용자가 AR 화면 상의 상기 전자 장치를 통해 지정된 메뉴 조작 제스처를 입력하는 제3 인터랙션을 포함하는 장치.
- 제3항에 있어서, 프로세서는,
상기 컨텐츠를 프로세싱 하는 대상 장치를 판단 시에, 상기 컨텐츠가 지정된 프로필에 대응하는지 여부를 판단하고,
상기 컨텐츠가 지정된 프로필에 대응하는 경우, 상기 컨텐츠를 프로세싱 하는 대상 장치에 관계 없이 상기 지정된 프로필의 컨텐츠를 상기 AR 화면을 통해 제공하도록 상기 제2 표시 모드를 결정하도록 설정된 장치.
- 증강 현실(AR, augmented reality) 서비스를 위한 AR 제공 장치에 있어서,
디스플레이 모듈; 및
프로세서를 포함하고, 상기 프로세서는,
상기 디스플레이 모듈을 통해 컨텐츠를 표시하고,
상기 컨텐츠를 표시하는 동안 AR 화면 상에서 외부 장치를 인식하고,
상기 외부 장치가 지정된 외부 장치인 경우, 상기 외부 장치의 상태 변경을 모니터링 하고,
상기 외부 장치의 상태 변경을 식별하는 것에 기반하여, 상기 컨텐츠에 관련된 프로세싱 주체를 판단하고,
판단하는 프로세싱 주체에 기반하여 상기 컨텐츠의 표시 모드를 결정하고, 및
결정된 표시 모드에 기반하여 상기 컨텐츠를 디스플레이 모듈을 통한 AR 화면으로 표시하거나, 상기 외부 장치의 디스플레이 모듈을 통해 표시하는 것을 제어하도록 설정된 AR 제공 장치.
- 증강 현실(AR, augmented reality) 서비스를 제공하는 방법에 있어서,
AR 화면을 통해 컨텐츠를 제공하는 동작;
상기 컨텐츠를 제공하는 동안, 상기 AR 화면을 통해 지정된 외부 객체를 감지하는 동작;
상기 지정된 외부 객체 감지에 기반하여, 상기 컨텐츠를 제공하기 위한 표시 모드를 결정하는 동작; 및
상기 결정된 표시 모드에 기반하여, 상기 컨텐츠를 상기 지정된 외부 객체의 디스플레이 모듈을 통해 표시하도록 제어하거나, 또는 상기 컨텐츠를 상기 AR 화면 상에서 상기 지정된 외부 객체와 연관된 가상 표시 영역을 통해 표시하도록 제어하는 동작을 포함하는 방법.
- 제13항에 있어서, 상기 외부 객체를 감지하는 동작은,
상기 AR 화면을 통해 지정된 인터랙션을 감지하는 동작을 포함하고,
상기 표시 모드를 결정하는 동작은,
상기 지정된 인터랙션 감지에 기반하여, 상기 컨텐츠를 프로세싱 하는 대상 장치가 전자 장치인지 또는 웨어러블 전자 장치인지 판단하는 동작,
상기 대상 장치가 상기 전자 장치인 것으로 판단하는 경우, 상기 AR 화면 상의 상기 컨텐츠를 상기 전자 장치로 전환하여 표시하도록 하는 제1 표시 모드를 결정하는 동작,
상기 대상 장치가 상기 웨어러블 전자 장치인 것으로 판단하는 경우, 상기 컨텐츠를 상기 AR 화면 상에 상기 전자 장치와 매핑하여 표시하도록 하는 제2 표시 모드를 결정하는 동작을 포함하는 방법.
- 제14항에 있어서, 상기 컨텐츠를 표시하도록 제어하는 동작은,
상기 제1 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치의 화면 표시를 중단하도록 제어하고, 상기 전자 장치의 디스플레이 모듈에 대응하는 표시 영역에 기반하여 상기 AR 화면을 통해 표시 중이던 상기 컨텐츠의 표시를 제어하는 동작을 포함하는 방법.
- 제15항에 있어서, 상기 컨텐츠를 표시하도록 제어하는 동작은,
상기 전자 장치의 디스플레이 모듈의 기본 영역 및/또는 확장 영역을 통해 상기 AR 화면에서 표시 중인 상기 컨텐츠를 위한 지정된 액티브 윈도우를 설정하는 동작,
상기 설정된 액티브 윈도우에 기반한 컨텐츠 표시를 제어하는 동작을 포함하는 방법.
- 제14항에 있어서, 상기 컨텐츠를 표시하도록 제어하는 동작은,
상기 제2 표시 모드 결정에 기반하여, 상기 웨어러블 전자 장치의 디스플레이 모듈을 통해 제공되는 AR 화면 상에 상기 전자 장치와 연관된 가상 표시 영역에 기반한 컨텐츠 표시를 제어하는 동작을 포함하는 방법.
- 제17항에 있어서, 상기 컨텐츠를 표시하도록 제어하는 동작은,
상기 제2 표시 모드 결정에 기반하여, 상기 전자 장치의 디스플레이 모듈의 확장 영역에 대응하는 가상 영역을 상기 전자 장치의 확장 영역에 대응하게 구성하는 동작,
상기 전자 장치의 디스플레이 모듈의 기본 영역, 확장 영역 및/또는 가상 영역에 적어도 기반하여 상기 AR 화면에서 표시 중인 컨텐츠를 위한 지정된 액티브 윈도우를 설정하는 동작,
상기 설정된 액티브 윈도우에 기반한 컨텐츠 매핑을 통해 컨텐츠 표시를 제어하는 동작을 포함하는 방법.
- 제17항에 있어서,
상기 제2 표시 모드에 따라 상기 컨텐츠를 제공하는 경우, 상기 AR 화면 상에서 매핑된 상기 컨텐츠는 실제 현실 공간의 전자 장치의 디스플레이 모듈을 통해서는 표시되지 않고, 상기 AR 화면 상의 전자 장치와 연관된 표시 영역을 통해서만 제공되는 방법.
- 제14항에 있어서,
상기 컨텐츠를 프로세싱 하는 대상 장치를 판단 시에, 상기 컨텐츠가 지정된 프로필에 대응하는지 여부를 판단하는 동작,
상기 컨텐츠가 지정된 프로필에 대응하는 경우, 상기 컨텐츠를 프로세싱 하는 대상 장치에 관계 없이 상기 지정된 프로필의 컨텐츠를 상기 AR 화면을 통해 제공하도록 상기 제2 표시 모드를 결정하는 동작을 포함하는 방법.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210153043A KR20230067197A (ko) | 2021-11-09 | 2021-11-09 | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 |
| EP22893183.8A EP4339873A4 (en) | 2021-11-09 | 2022-11-09 | METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE |
| PCT/KR2022/017539 WO2023085763A1 (ko) | 2021-11-09 | 2022-11-09 | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 |
| CN202280074663.0A CN118215931A (zh) | 2021-11-09 | 2022-11-09 | 用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置 |
| US17/992,213 US11934735B2 (en) | 2021-11-09 | 2022-11-22 | Apparatus and method for providing contents related to augmented reality service between electronic device and wearable electronic device |
| US18/608,190 US20240220185A1 (en) | 2021-11-09 | 2024-03-18 | Apparatus and method for providing contents related to augmented reality service between electronic device and wearable electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210153043A KR20230067197A (ko) | 2021-11-09 | 2021-11-09 | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230067197A true KR20230067197A (ko) | 2023-05-16 |
Family
ID=86336134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210153043A KR20230067197A (ko) | 2021-11-09 | 2021-11-09 | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230067197A (ko) |
| WO (1) | WO2023085763A1 (ko) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9183612B2 (en) * | 2013-09-04 | 2015-11-10 | Qualcomm Incorporated | Wearable display device use-based data processing control |
| KR20170089662A (ko) * | 2016-01-27 | 2017-08-04 | 엘지전자 주식회사 | 증강현실을 제공하는 웨어러블 디바이스 |
| KR102638956B1 (ko) * | 2018-11-26 | 2024-02-22 | 삼성전자주식회사 | 전자 장치 및 증강 현실 서비스를 제공하는 증강 현실 장치와 그 동작 방법 |
| US11231827B2 (en) * | 2019-08-03 | 2022-01-25 | Qualcomm Incorporated | Computing device and extended reality integration |
| KR20210063928A (ko) * | 2019-11-25 | 2021-06-02 | 삼성전자주식회사 | 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
-
2021
- 2021-11-09 KR KR1020210153043A patent/KR20230067197A/ko unknown
-
2022
- 2022-11-09 WO PCT/KR2022/017539 patent/WO2023085763A1/ko active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023085763A1 (ko) | 2023-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11914835B2 (en) | Method for displaying user interface and electronic device therefor | |
| US11947728B2 (en) | Electronic device for executing function based on hand gesture and method for operating thereof | |
| US20240220185A1 (en) | Apparatus and method for providing contents related to augmented reality service between electronic device and wearable electronic device | |
| US20240103289A1 (en) | Wearable electronic device and method for controlling power path thereof | |
| US20230152900A1 (en) | Wearable electronic device for displaying virtual object and method of controlling the same | |
| US12050726B2 (en) | Augmented reality device for changing input mode and method thereof | |
| US20230094073A1 (en) | Electronic device and method for representing contents | |
| US11867904B2 (en) | Method and electronic device for providing augmented reality environment | |
| KR20230088100A (ko) | 가상 입력 장치를 이용하기 위한 전자 장치 및 그 전자 장치에서의 동작 방법 | |
| KR20230067197A (ko) | 전자 장치와 웨어러블 전자 장치 사이에서 증강 현실 서비스에 관련된 컨텐츠를 제공하는 방법 및 장치 | |
| KR20230071680A (ko) | 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 | |
| US20240046578A1 (en) | Wearable electronic device displaying virtual object and method for controlling the same | |
| KR20240019668A (ko) | 가상 오브젝트를 표시하는 웨어러블 전자 장치 및 이의 제어 방법 | |
| KR20230118010A (ko) | 입력 모드를 전환하는 증강 현실 장치 및 그 방법 | |
| KR20220162956A (ko) | 영상 통화 중 다양한 커뮤니케이션을 지원하는 전자 장치 및 그의 동작 방법 | |
| KR20240102757A (ko) | 적어도 하나의 가상 객체의 속성에 따라 적어도 하나의 가상 객체를 제어하는 웨어러블 장치 및 그 제어 방법 | |
| KR20240019662A (ko) | 전자 장치 및 이를 이용한 오디오 신호 출력 제어 방법 | |
| KR20230044833A (ko) | 전자 장치 및 컨텐츠 표시 방법 | |
| KR20240018990A (ko) | 증강 현실에서 사용자를 인증하는 장치 및 방법 | |
| KR20240100879A (ko) | 컨텐트를 표시하는 전자 장치, 그의 동작 방법 및 헤드 마운트 장치 | |
| KR20230050625A (ko) | 전자 장치 및 가상 객체 선택 방법 | |
| KR20240090096A (ko) | 관심 객체에 대한 사운드를 출력하는 웨어러블 장치 및 그 제어 방법 | |
| KR20220149191A (ko) | 손 제스처에 기반하여 기능을 실행하는 전자 장치 및 그 작동 방법 | |
| KR20240094948A (ko) | 객체에 대한 정보를 획득하기 위한 전자 장치 및 방법 | |
| KR20240032598A (ko) | 하나 이상의 외부 객체들 중 적어도 하나의 외부 객체의 표시를 제어하기 위한, 전자 장치, 및 방법 |