KR20150026336A - 웨어러블 디바이스 및 그 컨텐트 출력 방법 - Google Patents
웨어러블 디바이스 및 그 컨텐트 출력 방법 Download PDFInfo
- Publication number
- KR20150026336A KR20150026336A KR20130105044A KR20130105044A KR20150026336A KR 20150026336 A KR20150026336 A KR 20150026336A KR 20130105044 A KR20130105044 A KR 20130105044A KR 20130105044 A KR20130105044 A KR 20130105044A KR 20150026336 A KR20150026336 A KR 20150026336A
- Authority
- KR
- South Korea
- Prior art keywords
- wearable device
- user
- output
- content
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000004891 communication Methods 0.000 claims abstract description 34
- 230000009471 action Effects 0.000 claims description 32
- 230000033001 locomotion Effects 0.000 claims description 20
- 238000010586 diagram Methods 0.000 description 22
- 210000001747 pupil Anatomy 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 241001300198 Caperonia palustris Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013585 weight reducing agent Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
본 명세서에서는 웨어러블 디바이스 및 그 컨텐트 출력 방법에 대해 개시한다. 본 발명에 따른 컨텐트를 출력하는 웨어러블 디바이스의 일 예는, 상기 웨어러블 디바이스의 작동을 제어하는 프로세서; 센싱 정보를 획득하는 센서부; 상기 프로세서의 명령에 따라 컨텐트를 출력하는 디스플레이 유닛; 및 상기 프로세서의 명령에 따라 데이터를 송수신하는 커뮤니케이션 유닛을 포함하여 구성하되, 상기 프로세서는, 상기 센서부에서 획득되는 센싱 정보에 기초하여 유저의 상태를 판단하여 액티브 모드와 슬립 모드 중 하나를 출력 모드로 결정하고, 결정된 출력 모드에 따라 컨텐트 출력을 위한 화면을 구성하여 출력하도록 제어하되, 상기 출력 모드가 슬립 모드인 경우에는 화면 전체를 통해 상기 컨텐트가 출력되도록 상기 화면을 구성하여 출력하도록 제어하고, 상기 출력 모드가 액티브 모드인 경우에는 화면 전체에서 일부 영역을 통해서만 상기 컨텐트가 출력되도록 화면을 구성하여 출력하도록 제어한다.
Description
본 발명은 웨어러블 디바이스(wearable device)에 관한 것으로, 더욱 상세하게는 상기 웨어러블 디바이스 상에서 유저의 액션, 상황, 컨텐트의 속성 등 각각 또는 그 조합에 기초하여 컨텐트, 유저 인터페이스(user interface) 등을 출력하는 것에 관한 것이다.
종래 디스플레이 디바이스(display device)는 주로 TV와 같이 소정 위치(location)에 고정된(fixed) 형태로 제공되었다. 그러나 최근 모바일 디바이스(mobile device)가 단순 통화나 문자 메시지 등의 송수신 목적을 넘어 스마트한 기기로 변모하면서 디스플레이 디바이스에 대한 관심이 증가하고 있다.
예컨대, 디스플레이 디바이스를 종래에 비해 더욱 편리하게 이용할 수 있는 방안들이 연구되기 시작하였다. 그러한 예시로, 헤드 마운트 디스플레이(Head Mounted Display)나 스마트 워치(smart watch)와 같은 웨어러블 디바이스(wearable device)가 소개되기 시작하고 있다.
상기에서, 헤드 마운트 디스플레이란 안경처럼 유저의 머리에 착용하는 형태로 구현되고 있으며, 스마트 워치는 마치 시계처럼 유저의 손목에 착용하는 형태로 구현되어 상술한 TV나 별도의 디스플레이 디바이스를 이용하지 않고 영상을 출력할 수 있도록 구현된 장치를 말한다. 이는 디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 컴퓨터(wearable computer)가 개발되면서 실현 가능하게 되었다. 한편, 이러한 웨어러블 디바이스는 단지 단순 디스플레이 기능만이 아니라 종래 모바일 기기의 기능도 실현 가능하고 더 나아가 증강 현실이나 N 스크린과 같은 기술 등과 조합되어 유저에게 다양한 경험과 편의를 제공할 수 있다.
이러한 웨어러블 디바이스는, 기본적으로 유저의 몸에 착용하는 형태로 구현되고 있으며 종래 디스플레이 디바이스와는 달리 더욱 다양한 상황에서 이용될 수 있다. 그러나, 현재 연구되었거나 개발된 웨어러블 디바이스는, 단지 웨어러블 디스플레이를 통해 컨텐트를 제공하는 것에만 초점이 맞추어져 있어 상기와 같이 유저의 액션, 상황, 컨텐트의 속성 등에 맞춰 실행되지 않아 오히려 웨어러블 디바이스를 이용하는 유저의 안전을 위협하거나 불편함을 주고 있어 문제점이 있다.
본 명세서에서는 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명에서 해결하고자 하는 일 과제는, 유저 액션, 상황, 컨텐트의 속성 등에 기초하여 컨텐트, 유저 인터페이스를 제공하는 적응적인(adaptive) 웨어러블 디바이스 및 그 방법을 제공하는 것이다.
본 발명의 다른 과제는, 상기 적응적인 웨어러블 디바이스를 제공하여 유저의 안전, 제품 만족도 등을 개선하는 것이다.
상기 과제를 수행하기 위해, 본 명세서에서는 웨어러블 디바이스 및 그 컨텐트 출력 방법에 대해 개시한다.
여기서, 본 발명에 따른 웨어러블 디바이스에서 컨텐트 출력 방법의 일 예는, 센싱 정보를 획득하는 단계; 센싱 정보에 기초하여 유저의 상태를 판단하여 액티브 모드와 슬립 모드 중 하나를 출력 모드로 결정하는 단계; 및 결정된 출력 모드에 따라 컨텐트 출력을 위한 화면을 구성하여 출력하는 단계를 포함하여 이루어지되, 상기 구성되는 화면은, 출력 모드가 슬립 모드인 경우에는 화면 전체를 통해 상기 컨텐트가 출력되도록 구성되고, 출력 모드가 액티브 모드인 경우에는 화면 전체에서 일부 영역을 통해서만 상기 컨텐트가 출력되도록 구성한다.
그리고 본 발명에 따른 컨텐트를 출력하는 웨어러블 디바이스의 일 예는, 상기 웨어러블 디바이스의 작동을 제어하는 프로세서; 센싱 정보를 획득하는 센서부; 상기 프로세서의 명령에 따라 컨텐트를 출력하는 디스플레이 유닛; 및 상기 프로세서의 명령에 따라 데이터를 송수신하는 커뮤니케이션 유닛을 포함하여 구성하되, 상기 프로세서는, 상기 센서부에서 획득되는 센싱 정보에 기초하여 유저의 상태를 판단하여 액티브 모드와 슬립 모드 중 하나를 출력 모드로 결정하고, 결정된 출력 모드에 따라 컨텐트 출력을 위한 화면을 구성하여 출력하도록 제어하되, 상기 출력 모드가 슬립 모드인 경우에는 화면 전체를 통해 상기 컨텐트가 출력되도록 상기 화면을 구성하여 출력하도록 제어하고, 상기 출력 모드가 액티브 모드인 경우에는 화면 전체에서 일부 영역을 통해서만 상기 컨텐트가 출력되도록 화면을 구성하여 출력하도록 제어한다.
본 발명에 따르면,
첫째, 웨어러블 디바이스에서 유저의 요청에 따른 영상을 단지 출력하는 것에 그치지 않고 유저의 다양한 팩터(들)에 기초하여 적응적인 웨어러블 디바이스를 제공할 수 있는 효과가 있다.
둘째, 복잡한 하드웨어의 추가나 변경 등을 최소화하고 소프트웨어적으로 적응적인 웨어러블 디바이스를 구현함으로써 제품 가격 경쟁력을 유지할 수 있는 효과가 있다.
셋째, 적응적인 웨어러블 디바이스를 통해 유저의 안전이나 상황에 따른 컨텐트 재생이나 기능 수행으로 유저의 제품 만족도를 개선할 수 있는 효과가 있다.
도 1은 웨어러블 디바이스 구성 블록도를 도시한 도면;
도 2는 웨어러블 디바이스와 연동 가능한 디지털 디바이스(들)을 도시한 도면;
도 3은 웨어러블 디바이스(WD)를 이용한 컨텐트 출력 방법을 나타낸 순서도;
도 4는 웨어러블 디바이스에 맺히는 상의 위치를 설명하기 위해 도시한 도면;
도 5와 6은 웨어러블 디바이스의 구성요소 및 기능을 설명하기 위해 도시한 도면;
도 7은 웨어러블 디바이스의 모드 제어 방법을 설명하기 위해 도시한 순서도;
도 8은 웨어러블 디바이스에 채용된 센서 정보를 이용하여 유저 정보 획득을 설명하기 위해 도시한 도면;
도 9와 10은 웨어러블 디바이스에서 메시지 수신시 처리하는 방법을 설명하기 위해 도시한 도면;
도 11과 12는 웨어러블 디바이스에서 비디오 데이터 처리 방법을 설명하기 위해 도시한 도면;
도 13과 14는 웨어러블 디바이스에서 애플리케이션 이용시 그 처리 방법을 설명하기 위해 도시한 도면;
도 15와 16은 웨어러블 디바이스를 착용한 유저의 상황에 따른 유저 인터페이스 제공 방법의 일 예를 설명하기 위해 도시한 도면;
도 17과 18은 웨어러블 디바이스를 착용한 유저가 이동 중이 아닌 경우에 유저 인터페이스 제공 및 처리 방법을 설명하기 위해 도시한 도면;
도 19와 20은 웨어러블 디바이스를 착용한 유저가 이동 중인 경우에 유저 인터페이스 제공 및 처리 방법을 설명하기 위해 도시한 도면; 그리고
도 21 내지 28은 유저의 액션에 따른 웨어러블 디바이스 제어 방법을 설명하기 위해 도시한 도면이다.
도 2는 웨어러블 디바이스와 연동 가능한 디지털 디바이스(들)을 도시한 도면;
도 3은 웨어러블 디바이스(WD)를 이용한 컨텐트 출력 방법을 나타낸 순서도;
도 4는 웨어러블 디바이스에 맺히는 상의 위치를 설명하기 위해 도시한 도면;
도 5와 6은 웨어러블 디바이스의 구성요소 및 기능을 설명하기 위해 도시한 도면;
도 7은 웨어러블 디바이스의 모드 제어 방법을 설명하기 위해 도시한 순서도;
도 8은 웨어러블 디바이스에 채용된 센서 정보를 이용하여 유저 정보 획득을 설명하기 위해 도시한 도면;
도 9와 10은 웨어러블 디바이스에서 메시지 수신시 처리하는 방법을 설명하기 위해 도시한 도면;
도 11과 12는 웨어러블 디바이스에서 비디오 데이터 처리 방법을 설명하기 위해 도시한 도면;
도 13과 14는 웨어러블 디바이스에서 애플리케이션 이용시 그 처리 방법을 설명하기 위해 도시한 도면;
도 15와 16은 웨어러블 디바이스를 착용한 유저의 상황에 따른 유저 인터페이스 제공 방법의 일 예를 설명하기 위해 도시한 도면;
도 17과 18은 웨어러블 디바이스를 착용한 유저가 이동 중이 아닌 경우에 유저 인터페이스 제공 및 처리 방법을 설명하기 위해 도시한 도면;
도 19와 20은 웨어러블 디바이스를 착용한 유저가 이동 중인 경우에 유저 인터페이스 제공 및 처리 방법을 설명하기 위해 도시한 도면; 그리고
도 21 내지 28은 유저의 액션에 따른 웨어러블 디바이스 제어 방법을 설명하기 위해 도시한 도면이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 아닌 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서는, 웨어러블 디바이스(WD: wearable device) 또는 웨어러블 디스플레이 디바이스(wearable display device)에 대해 기술한다. 특히, 본 명세서에서는 웨어러블 디바이스(WD) 상에서 유저의 액션(user action), 상황(status or environment), 컨텐트의 속성(content attribute) 등의 각각 또는 그 조합(combination)에 기초하여 컨텐트, 유저 인터페이스(UI: user interface) 등을 제공하는 것에 관하여 상세하게 기술한다.
이하 본 명세서에서 기술되는 “웨어러블 디바이스(WD)”는, 디스플레이 디바이스를 유저의 몸에 탈/부착하거나 심어서 소정 컨텐트, 정보 등을 출력하는 모든 형태의 디스플레이 디바이스를 포함하는 개념이다. 이러한 웨어러블 디바이스(WD)로 구글 글래스(Google glass)와 같은 안경형 장치, 스마트 워치(smart watch), HMD(Head Mounted Display), 렌즈(lens) 등이 소개되고 연구되고 있다. 그 밖에 웨어러블 디바이스(WD)로 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스들도 더 포함한다. 이하 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위해 안경형 장치를 웨어러블 디바이스(WD)의 예로 하여 도시하고 설명하나, 본 발명의 기술 사상은 다른 형태로 구현된 웨어러블 디바이스(WD)에서도 동일 또는 유사한 방식으로 적용 가능함은 자명하다 할 것이다.
그리고, 본 명세서에서 기술되는 “유저 액션”은, 웨어러블 디바이스(WD)를 착용한 유저의 제스처(gesture), 아이 트랙킹(eye tracking), 상기 웨어러블 디바이스(WD)에 구현된 터치패드, 터치스크린, 버튼 등을 통한 유저 선택 또는 입력 등을 모두 포함하는 개념이다.
또한, 본 명세서에서 기술되는 “유저 상황”은, 웨어러블 디바이스(WD)를 착용한 유저의 시력 정보, 유저가 속한 위치의 주변 상황 또는 주변 조도, 유저가 현재 운동 중, 이동 중, 정지 중 또는 해당 웨어러블 디바이스(WD)를 탈착한 경우, 유저가 처한 긴급 상황, 컨텐트 시청 도중 전화, 문자 메시지, 긴급 메시지 등의 송수신, 등의 유저가 웨어러블 디바이스(WD)를 착용한 상태에서 일상 생활에서 흔히 경험하는 모든 상황 내지 상태를 포함한다.
한편, 본 명세서에서 기술되는 “컨텐트의 속성”은, 컨텐트가 오디오, 비디오 또는 이미지인지를 의미한다. 관련하여, 본 명세서에서 컨텐트라 함은 오디오, 비디오, 이미지, 텍스트 등을 모두 포함하는 개념으로, 특별히 지칭하지 않더라도 컨텐트는 해당 부분에서 오디오, 비디오, 이미지 및 텍스트 중 적어도 어느 하나일 수 있다.
이와 같이, 본 명세서에서는 상술한 각 팩터(factor)에 기초하여 웨어러블 디바이스(WD)를 탈/부착한 유저에게 보다 직관적이며 더욱 쉽고 편리하게 웨어러블 디바이스(WD)를 제어할 수 있을 뿐만 아니라 그를 위한 유저 인터페이스(UI) 등을 제공하고자 한다.
이하 첨부된 도면(들)을 참조하여, 본 발명의 기술 사상을 더욱 상세히 설명한다.
도 1은 웨어러블 디바이스(WD) 구성 블록도를 도시한 도면이다.
도 1을 참조하면, 웨어러블 디바이스(WD)(100)는 프로세서(processor)(110), 디스플레이 유닛(display unit)(120), 오디오 출력 유닛(audio output unit)(130), 커뮤니케이션 유닛(communication unit)(140), 센싱 유닛(sensing unit)(150), 스토리지 유닛(storage unit)(160) 및 파워 유닛(power unit)(170)을 포함할 수 있다.
디스플레이 유닛(120)은 디스플레이 화면에 컨텐트 또는 유저 인터페이스(UI)를 출력한다. 또한, 디스플레이 유닛(120)은 커뮤니케이션 유닛(140)을 통해 도 3과 같이 외부 디바이스(예를 들면, 디지털 디바이스)와 연동하여 데이터 송수신이 가능하다. 예컨대, 디스플레이 유닛(120)은 연동된 디지털 디바이스의 컨텐트를 실시간(real time) 또는 비실시간(non-real time)으로 수신하여 출력할 수 있다.
오디오 출력 유닛(130)은 프로세서(110)를 통해 재생되는 컨텐트에 대한 오디오 데이터를 출력한다. 한편, 오디오 출력 유닛(130)은 웨어러블 디바이스(WD) 상에 구현된 스피커(speaker), 이어폰(ear phone) 등 오디오 출력 수단이거나 상기 스피커나 이어폰 등과 연결을 위한 잭(jack)이나 인터페이스 형태로 구현될 수도 있다. 그 밖에 전술한 디스플레이 유닛(120)과 같이, 외부 디바이스로부터 오디오 데이터를 수신하여 프로세서(110)의 처리 후 출력할 수도 있다.
커뮤니케이션 유닛(140)은 외부 디바이스 또는 외부 통신 네트워크와 다양한 통신 프로토콜을 통해 통신하여 데이터를 송/수신한다. 한편, 상기 통신 프로토콜은 LTE(Long Term Evolution), LTE-A(dvanced), 와이-파이(wi-fi), 블루투스(bluetooth) 등뿐만 아니라 기타 이용 가능한 모든 유/무선 통신 프로토콜을 포함할 수 있다. 따라서, 커뮤니케이션 유닛(140)은 다양한 유/무선 통신 프로토콜을 지원하기 위한 적어도 하나 이상의 통신 처리 수단을 포함할 수 있다. 또는, 상기 통신 처리 수단은 프로세서(110)에 포함될 수도 있다. 한편, 프로세서(110) 또는 커뮤니케이션 유닛(140)은, 네트워크를 통해 연결 가능한 외부 디바이스를 검색하고, 검색된 외부 디바이스 중 현재 이용 가능한 외부 디바이스와 페어링(pairing)하고 데이터를 송수신 가능하다. 한편, 프로세서(110) 또는 커뮤니케이션 유닛(140)은 적어도 하나 이상의 안테나를 포함할 수도 있다. 이러한 안테나는, 웨어러블 디바이스(WD)(100)와 페어링되는 외부 디바이스의 위치 정보를 검출하는데 이용 가능하다. 예를 들어, 웨어러블 디바이스(WD)(100)는 안테나를 통해 외부 디바이스와 송/수신되는 신호의 시간차, 위상 차 등에 기초하여 해당 외부 디바이스의 디스플레이 유닛이 웨어러블 디바이스(WD)(100)의 화각 영역 내에 있는지 검출 또는 판단할 수 있다.
센서 유닛(150)은 웨어러블 디바이스(WD)(100)에 장착된 적어도 하나 이상의 센서를 사용하여 유저 액션, 입력, 제스처나 상기 웨어러블 디바이스(WD)가 인식하는 상태, 상황 또는 환경을 프로세서(110)로 전달한다. 센서 유닛(150)은 다수의 센싱 수단들을 포함하는데 도 2 등과 같이, 중력(gravity) 센서, 지자기 센서, 모션(motion) 센서, 자이로(gyro) 센서, 가속도 센서, 적외선 센서, 기울임(inclination) 센서, 밝기 센서, 고도 센서, 후각 센서, 온도 센서, 뎁쓰 센서, 압력 센서, 밴딩 센서, 오디오 센서, 비디오 센서, GPS(Global Positioning System) 센서, 터치 센서, 조명 또는 조도 센서 등 중 적어도 하나 이상을 포함할 수 있다. 센서 유닛(150)은 유저의 다양한 제스처와 같은 액션, 입력 및 사용자의 환경 등을 상술한 센싱 수단을 통해 센싱하여 프로세서(110)가 그에 따른 작동을 수행할 수 있도록 센싱 결과에 대한 데이터를 전달할 수 있다. 한편, 상술한 센싱 수단(들)은 예컨대, 웨어러블 디바이스(WD)(100)에 직접 장착된 것을 예로 하나, 그 밖에 상기 웨어러블 디바이스(WD)(100)에 직접 장착되진 않았으나 외부의 센싱 수단과 통신하여 센싱 정보를 수신할 수도 있다. 예컨대, 센서 유닛(150)은 웨어러블 디바이스(WD)(100)를 착용한 유저가 자신이 손목에 착용한 스마트 워치의 센서를 이용하여 센싱한 데이터를 수신할 수도 있다. 또는, 센서 유닛(150)은, 유저가 몸속에 이식하거나 심어 놓은 칩 형태의 디지털 기기 내 센서로부터도 센싱 정보를 수신하여 이용할 수 있다. 더불어, 프로세서(110)는, 각 센서로부터 센싱 정보를 수집하여 이를 각각 또는 조합하여 이용할 수 있다. 센서 유닛(150)은 촬상 센서(미도시) 또는 카메라 센서를 포함할 수 있다. 상기 촬상 센서는 웨어러블 디바이스(WD)(100)의 기 설정된 화각 영역 내의 이미지를 검출하여 프로세서(110)에 제공할 수 있다. 프로세서(110)는 상기 촬상 센서를 통해 검출된 이미지에 기초로 하여, 웨어러블 디바이스(WD)(100)의 화각 영역 내에 웨어러블 디바이스(WD)(100)와 연동된 디지털 디바이스(또는 해당 디지털 디바이스의 디스플레이 유닛)의 존재 여부를 판단할 수 있다.
스토리지 유닛(160)은, 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 데이터를 저장할 수 있다. 여기서, 스토리지 유닛(160)은 플래시 메모리(Flash memory), 램(RAM: Random Access Memory), SSD(Solid State Drive), HDD(Hard Disc Drive) 등을 포함한다. 스토리지 유닛(160)은 커뮤니케이션 유닛(140)을 통해 외부 디바이스로부터 수신된 데이터를 일시 저장할 수 있다. 이때, 상기 스토리지 유닛(160)은 외부 디바이스로부터 수신되는 컨텐트를 웨어러블 디바이스(WD)(100) 상에서 출력하기 위한 버퍼링(buffering) 목적으로 사용될 수 있다. 한편, 본 명세서에서 스토리지 유닛(160) 또는 메모리라 함은 주로 웨어러블 디바이스(WD)(100)에 장착된 또는 내부에 구비된 형태를 말하나 경우에 따라 이러한 저장 매체 개념은 인터페이스를 통해 연결된 외부 저장 매체를 나타낼 수도 있다. 이러한 외부 저장 매체로 예컨대, 도시되진 않았으나 노트북, 스마트폰(smart phone), 태블릿(tablet) pc와 같은 모바일 디바이스, BD(Blu-ray Disc) 플레이어, 클라우드 서버(cloud server), 인터넷 서버(IP server) 등이 포함될 수 있다.
파워 유닛(170)은 웨어러블 디바이스(WD)(100) 내부의 배터리 또는 외부 전원과 연결되는 파워 소스로, 웨어러블 디바이스(WD)(100)에 파워를 공급한다. 이러한 파워 유닛(170)은 외부 전원을 공급받기 위한 유선 잭이나 인터페이스뿐만 아니라 최근 개발되고 있는 무선 전원 공급과 관련된 무선 파워 인터페이스도 포함할 수 있다.
프로세서(110)는, 웨어러블 디바이스(WD) 전반적인 관리, 처리뿐만 아니라 전반적인 제어 과정을 총괄하는 컨트롤러 역할을 한다. 한편, 프로세서(110)는 도시되진 않았으나, 애플리케이션 데이터, 오디오 데이터, 비디오 데이터, 이미지 데이터, 텍스트 데이터, 센싱 데이터 처리 등과 관련하여 필요한 인코딩/디코딩(encoding/decoding) 등을 위한 구성을 포함할 수 있다. 그 밖에, 프로세서(110)는, CAS(Conditional Access System), DRM(Digital Rights Management) 등의 처리를 위한 구성도 더 포함할 수 있다.
도 1에 도시된 웨어러블 디바이스(WD)(100)는 일 실시예에 따른 블록도로서, 각 구성 블록은 필요에 따라 모듈화되거나 그 반대일 수도 있다. 또한, 도 1에 도시된 웨어러블 디바이스(WD)(100)는 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 구현될 수 있다.
도 2는 웨어러블 디바이스(WD)(200)와 연동 가능한 디지털 디바이스(들)을 도시한 도면이다.
웨어러블 디바이스(WD)(200)는 유/무선 네트워크를 통해 근거리 또는 원거리에 위치한 디지털 디바이스(들) 또는 서버와 통신하여 데이터를 송수신할 수 있다.
도 2를 참조하면, 웨어러블 디바이스(WD)(200)는 유/무선 네트워크를 통해 외부 서버(210)와 연결되어 데이터를 송수신할 수 있다. 여기서, 외부 서버(210)는, 방송국 서버, 컨텐트 서버, 서비스 서버, 헤드엔드(head-end) 또는 MSO(Multiple System Operator), 개인 서버, 클라우드 서버 등 데이터를 포함한 다양한 서버가 모두 포함될 수 있다.
웨어러블 디바이스(WD)(200)는 유/무선 네트워크를 통해 디지털 디바이스(들)과 연결되어 데이터를 송수신할 수 있다. 여기서, 디지털 디바이스는, 스마트폰(220), 태블릿 pc(230), 스마트 워치(240), 노트북(250)과 같은 모바일 디바이스와, DTV(260), PC(미도시)와 같은 고정형 디바이스가 모두 포함될 수 있다.
한편, 웨어러블 디바이스(WD)(200)는 1개의 디지털 디바이스와만 연결되어 데이터를 송수신할 수 있으며, 동시에 복수 개의 디지털 디바이스들과 연결되어 데이터를 송수신할 수도 있다. 또한, 웨어러블 디바이스(WD)(200)는 디지털 디바이스(들)과 데이터 송수신 과정에서 반드시 해당 디지털 디바이스와 직접 연결되지 않더라도 간접적으로 다른 디지털 디바이스와 연계되어 상기 웨어러블 디바이스(WD)(200)와 데이터를 주고 받을 수 있다.
한편, 도시되진 않았으나, 웨어러블 디바이스(WD)(200)와 외부 서버(210) 또는 디지털 디바이스 사이에는 통신 프로토콜이 지원되지 않거나 원거리, 노이즈, 전력 소모 증가 등 다양한 이유를 근거로 하여 중간에 중계기(relay) 또는 라우터(router)가 이용될 수도 있다. 이러한 중계기나 라우터는 웨어러블 디바이스(WD)(200) 또는 외부 서버(210)나 디지털 디바이스를 위해 필요한 경우에는 데이터를 가공할 수도 있다.
도 3은 웨어러블 디바이스(WD)를 이용한 컨텐트 출력 방법을 나타낸 순서도이다. 이하 설명하는 도 3의 각 단계는 도 1에 도시된 프로세서(110)에 의해 제어될 수 있다.
먼저, 웨어러블 디바이스(WD)는 디지털 디바이스와 통신 접속을 수행할 수 있다(S10). 상기 통신 접속은 웨어러블 디바이스(WD) 또는 디지털 디바이스를 통한 유저 입력에 의해 수행될 수 있다. 예를 들어, 웨어러블 디바이스(WD)는 디지털 디바이스와의 통신 접속을 위한 별도의 버튼 또는 유저 인터페이스를 제공할 수 있으며, 유저는 상기 버튼 또는 유저 인터페이스를 이용한 유저 입력을 통해 웨어러블 디바이스(WD)와 디지털 디바이스 간의 통신 접속을 수행할 수 있다. 상기 웨어러블 디바이스(WD)와 디지털 디바이스 간의 통신 접속이 수행되기 전에, 웨어러블 디바이스(WD)는 디지털 디바이스와 페어링이 수행된 상태일 수 있다. 웨어러블 디바이스(WD)가 디지털 디바이스와의 통신 접속이 수행되면, 웨어러블 디바이스(WD)는 세션(session)이 오픈 된 상태로 디지털 디바이스와 데이터를 송/수신할 수 있다.
웨어러블 디바이스(WD)는 접속된 디지털 디바이스의 위치 상태를 디텍트 할 수 있다(S20). 상기 위치 상태는 디지털 디바이스의 디스플레이 유닛이 웨어러블 디바이스(WD)의 기 설정된 화각 영역에 위치하는 제1 상태와, 디지털 디바이스의 디스플레이 유닛이 화각 영역에 위치하지 않는 제2 상태를 포함한다. 상기 화각 영역은 웨어러블 디바이스(WD)를 착용한 유저의 시야에 대응하는 기 설정된 영역으로서, 웨어러블 디바이스(WD)의 전방 방향으로 일정한 각도 범위의 구간을 포함할 수 있다.
웨어러블 디바이스(WD)는 복수의 안테나를 이용하여 디지털 디바이스의 위치 상태를 디텍트할 수 있다. 즉, 웨어러블 디바이스(WD)에 구비된 복수의 안테나를 통해 디지털 디바이스와 데이터 송/수신을 수행할 수 있으며, 이때 상기 복수의 안테나에 각각 송/수신되는 신호의 시간차, 위상 차 등을 이용하여, 상기 웨어러블 디바이스(WD)와 접속된 디지털 디바이스 및 상기 웨어러블 디바이스(WD) 간의 상대적인 위치 및 방향을 디텍트할 수 있다. 웨어러블 디바이스(WD)에 구비된 복수의 안테나를 이용함으로, 디지털 디바이스와 웨어러블 디바이스(WD) 간의 거리가 일정하게 유지된 채 디지털 디바이스가 위치하는 방향(방위각)이 변하는 상황에서도 디지털 디바이스의 위치 상태를 정확하게 디텍트할 수 있다.
웨어러블 디바이스(WD)는 촬상 센서를 이용하여 상기 디지털 디바이스의 위치 상태를 디텍트할 수 있다. 즉, 웨어러블 디바이스(WD)가 디지털 디바이스와 통신 접속된 상태에서, 촬상 센서는 웨어러블 디바이스(WD)의 기 설정된 화각 영역 내의 이미지를 디텍트하여 웨어러블 디바이스(WD)의 프로세서에 제공할 수 있다. 상기 프로세서는 촬상 센서를 통해 디텍트 된 이미지를 기초로 하여, 웨어러블 디바이스(WD)의 화각 영역 내에 웨어러블 디바이스(WD)와 접속된 디지털 디바이스(또는, 해당 디지털 디바이스의 디스플레이 유닛)가 존재하는지 여부를 디텍트할 수 있다. 예를 들어, 웨어러블 디바이스(WD)와 접속된 디지털 디바이스는 기 설정된 광 패턴을 출력할 수 있으며, 웨어러블 디바이스(WD)는 촬상 센서를 이용하여 디지털 디바이스가 출력하는 광 패턴을 디텍트할 수 있다. 여기서, 상기 광 패턴은 시간적인 패턴 및 공간적인 패턴 중 적어도 하나를 포함할 수 있다. 또한, 상기 광 패턴은 디지털 디바이스의 디스플레이 유닛을 통해 출력될 수 있다.
만약, 웨어러블 디바이스(WD)의 화각 영역 내에 웨어러블 디바이스(WD)와 접속된 디지털 디바이스가 존재한다면, 웨어러블 디바이스(WD)는 디지털 디바이스가 출력하는 광 패턴을 촬상 센서를 통해 디텍트 할 수 있다. 그러나, 웨어러블 디바이스(WD)의 화각 영역 내에 웨어러블 디바이스(WD)와 접속된 디지털 디바이스가 존재하지 않는다면, 디지털 디바이스가 출력하는 광 패턴이 상기 촬상 센서를 통해 디텍트되지 않을 것이다. 한편, 광 패턴이 디지털 디바이스의 디스플레이 유닛을 통해 출력되고, 디지털 디바이스가 웨어러블 디바이스(WD)의 화각 영역 내에 있지만 해당 디지털 디바이스의 디스플레이 유닛이 유저에게 향하지 않을 경우에도 상기 광 패턴이 디텍트 되지 않을 것이다. 즉, 유저가 디지털 디바이스의 디스플레이 유닛을 볼 수 없는 상황에 있을 때, 웨어러블 디바이스(WD)는 광 패턴을 디텍트할 수 없게 된다. 따라서, 웨어러블 디바이스(WD)는 화각 영역 내에 디지털 디바이스의 광 패턴이 디텍트 되는지 여부를 기초로 하여, 디지털 디바이스의 위치 상태를 디텍트할 수 있다.
상기 광 패턴은 디지털 디바이스가 웨어러블 디바이스(WD)와 통신 접속이 수행되었을 때, 디지털 디바이스의 디스플레이 유닛을 통해 출력될 수 있다. 다만, 본 명세서에서는 이에 한정하지 않으며, 디지털 디바이스가 웨어러블 디바이스(WD)와 통신 접속이 수행되었는지 여부와 무관하게 디지털 디바이스 자체적으로 광 패턴을 출력할 수 있다.
웨어러블 디바이스(WD)는 디텍트 된 디지털 디바이스의 위치 상태에 기초하여 디지털 디바이스의 디스플레이 중인 컨텐트를 웨어러블 디바이스(WD)로 출력할 수 있다. 이를 위해, 우선 웨어러블 디바이스(WD)는 디텍트 된 디지털 디바이스의 위치 상태에 기초하여, 해당 디지털 디바이스의 디스플레이 유닛이 웨어러블 디바이스(WD)의 화각 영역에 위치하는지 여부를 판별한다(S30). 만약, 디지털 디바이스의 디스플레이 유닛이 화각 영역에 위치한다면, 웨어러블 디바이스(WD)는 디지털 디바이스의 디스플레이 중인 컨텐트를 출력하지 않을 수 있다(S40). 반면에, 디지털 디바이스의 디스플레이 유닛이 화각 영역에 위치하지 않는다면, 웨어러블 디바이스(WD)는 디지털 디바이스의 디스플레이 중인 컨텐트를 출력할 수 있다(S42). 이를 위해, 웨어러블 디바이스(WD)는 접속된 디지털 디바이스의 디스플레이 중인 컨텐트를 상기 디지털 디바이스로부터 수신하고, 수신된 컨텐트를 웨어러블 디바이스(WD)의 디스플레이 유닛으로 출력할 수 있다.
이와 같이, 웨어러블 디바이스(WD)는 디지털 디바이스와 통신 접속한 상태에서, 디지털 디바이스와의 상대적인 위치 상태에 따라 디지털 디바이스의 컨텐트를 출력할지 여부를 트리거링 할 수 있다. 즉, 디지털 디바이스의 디스플레이 유닛이 웨어러블 디바이스(WD)의 화각 영역에 위치하는 제1 상태에서는 웨어러블 디바이스(WD)가 디지털 디바이스의 디스플레이 중인 컨텐트를 출력하지 않고, 디지털 디바이스의 디스플레이 유닛이 웨어러블 디바이스(WD)의 화각 영역에 위치하지 않는 제2 상태에서는 웨어러블 디바이스(WD)가 디지털 디바이스의 디스플레이 중인 컨텐트를 출력할 수 있다. 이에 따라, 디지털 디바이스의 위치가 웨어러블 디바이스(WD)를 착용한 유저의 시야에서 벗어난 제2 상태에서, 유저는 웨어러블 디바이스(WD)를 통해 디지털 디바이스의 컨텐트를 제공 받을 수 있게 된다. 또한, 디지털 디바이스의 위치가 웨어러블 디바이스(WD)를 착용한 유저의 시야 내에 있는 제1 상태에서, 유저가 웨어러블 디바이스(WD)의 디스플레이를 통한 간섭 없이 디지털 디바이스를 통해 컨텐트를 제공받을 수 있다.
한편, 디텍트 된 디지털 디바이스의 위치 상태가 변환되고, 변환된 상기 위치 상태가 기 설정된 시간 이상 지속될 경우, 웨어러블 디바이스(WD)는 디지털 디바이스의 컨텐트를 출력할지 여부를 트리거링(triggering) 할 수 있다. 즉, 디지털 디바이스의 컨텐트를 출력하지 않는 제1 상태에서 디지털 디바이스의 위치 상태가 제2 상태로 변환될 경우, 웨어러블 디바이스(WD)는 상기 디지털 디바이스의 위치 상태가 제2 상태로 기 설정된 시간 이상 유지될 때 상기 디지털 디바이스의 컨텐트를 출력할 수 있다. 또한, 디지털 디바이스의 컨텐트를 출력하는 제2 상태에서 디지털 디바이스의 위치 상태가 제1 상태로 변환될 경우, 웨어러블 디바이스(WD)는 상기 디지털 디바이스의 위치 상태가 제1 상태로 기 설정된 시간 이상 유지될 때 상기 디지털 디바이스의 컨텐트 출력을 종료할 수 있다.
다음으로, 웨어러블 디바이스(WD)는 디지털 디바이스와 통신 접속 중인지 여부를 판별 한다(S50). 만약, 웨어러블 디바이스(WD)가 디지털 디바이스와 통신 접속 중이면 S20 단계로 돌아가 페어링 된 디지털 디바이스의 위치 상태를 디텍트 한다. 만약, 웨어러블 디바이스(WD)와 디지털 디바이스 간의 통신 접속이 종료되면, 웨어러블 디바이스(WD)는 디지털 디바이스의 컨텐트 출력을 종료한다. 즉, 웨어러블 디바이스(WD)는 디지털 디바이스와 통신 접속된 상태에서 디지털 디바이스의 위치 상태를 실시간으로 디텍트 할 수 있다. 이때, 디텍트 된 상기 위치 상태에 기초하여, 디지털 디바이스에 의해 디스플레이 중인 컨텐트가 웨어러블 디바이스(WD)로 출력 여부가 결정된다. 만약, 디텍트 된 상기 위치 상태가 변경되면, 변경된 위치 상태에 기초하여 상기 디지털 디바이스의 컨텐트를 웨어러블 디바이스(WD)로 출력할지 여부가 조정된다. 상기 디지털 디바이스와의 통신 접속이 종료되면, 웨어러블 디바이스(WD)는 디지털 디바이스의 위치 상태 디텍트 작업 및 디지털 디바이스의 컨텐트 출력 작업을 모두 종료할 수 있다.
도 4는 웨어러블 디바이스(WD)에 맺히는 상의 위치를 설명하기 위해 도시한 도면이다.
한편, 본 명세서에서 웨어러블 디바이스(WD)(410)는 디스플레이 유닛은 시스루 디스플레이(see-through display)를 채용한 것을 일 예로 하여 설명한다. 따라서, 도시된 바와 같이, 유저는 웨어러블 디바이스(WD)(410)를 착용한 상태에서 컨텐트 재생 또는 재생하지 않는 경우에 모두 외부 풍경 즉, 유저가 웨어러블 디바이스(WD)(410)를 착용하지 않은 경우에 눈으로 보는 모습과 동일한 모습을 함께 볼 수 있다. 이렇게 웨어러블 디바이스(WD)(410)에서 시스루 디스플레이를 채용하는 경우에는, 웨어러블 디바이스(WD)(410) 착용하는 경우에는 외부 모습을 모두 볼 수 있어 안전성 측면을 보강할 수 있다.
도 4를 참조하면, 유저가 웨어러블 디바이스(WD)(410)를 통해 컨텐트를 재생 요청하면, 상기 재생되는 컨텐트는 소정 위치에 출력이 된다. 다만, 상기 소정 위치는 예컨대, 웨어러블 디바이스(WD)(410)를 착용한 유저를 기준으로 할 때에는 가상의 개념일 수 있다. 다른 표현으로, 도 4에서 유저가 웨어러블 디바이스(WD)(410)를 통해 컨텐트를 시청하는 경우에 상기 컨텐트가 출력되는 소정 위치를 상이 맺히는 위치라고 표현할 수 있다. 일반적으로 상은 도시된 바와 같이, 외부 현실 풍경과 웨어러블 디바이스(WD)(410) 사이에 맺혀 유저가 컨텐트를 시청할 수 있도록 한다.
또한, 상기에서, 상(420)은 반투명 디스플레이 화면으로 구현될 수 있는데, 예를 들어, 화면이 검은색에 가까울수록 유저의 입장에서는 투명하게 보일 수 있다.
정리하면, 유저는 웨어러블 디바이스(WD)(410)를 착용하면, 외부 풍경도 일반 안경을 착용한 것처럼 모두 볼 수 있으며, 상기 외부 풍경과 웨어러블 디바이스(WD)(410) 사이에 맺히는 상(420)을 통해 이동 중에도 자연스럽게 컨텐트를 시청하고 안정성을 확보할 수 있다.
도 5와 6은 웨어러블 디바이스(WD)의 구성요소 및 기능을 설명하기 위해 도시한 도면이다.
도 5와 6을 참조하여, 안경형 웨어러블 디바이스(WD)의 외부 구성 및 그 기능에 대해 보다 상세하게 설명한다.
안경형 웨어러블 디바이스(WD)는, 크게 몸통부와 거치부로 구분된다.
몸통부는, 다시 컨텐트를 출력하며 시스루 디스플레이를 채용한 좌/우 디스플레이(522/524)과 상기 좌/우 디스플레이(522/524)를 지지하는 지지부로 구성이 된다. 여기서, 지지부는 전술한 바와 같이, 좌/우 디스플레이(522/524)를 지지하고 고정하는 기본 기능 이외에도 그 위치에 따라 다양한 인터페이스나 센서 등을 구비하여 웨어러블 디바이스(WD)의 제어 과정에서 이용할 수 있다. 지지부 전면부로 좌/우 디스플레이(522/524) 사이 부분에는 카메라 센서(526), 트랙킹 시스템(528) 등이 구비될 수 있다. 여기서, 카메라 센서(526)은, 이미지/비디오 등을 촬상하여 센싱 데이터를 프로세서(110)에 제공한다. 트랙킹 시스템(528)은, 좌/우 디스플레이(522/524)를 통해 출력되는 컨텐트를 제어하고 트랙킹한다. 그 밖에, 지지부로 좌/우 디스플레이(522/524) 상부에는 출력 컨텐트의 해상도나 상이 맺히는 위치 등을 제어하는 조절부(534)가 존재할 수 있다. 이는 터치 패드 형태로 구현되어 좌우로 사용자가 터치함에 따라 상기 해상도나 상이 맺히는 위치가 제어될 수 있다. 또한, 지지부로 좌/우 디스플레이(522/524) 하부에는 마이크로폰(530)이 구비될 수 있다. 마이크로폰(530)은 음성 녹음, 검색 또는 빠른 검색(quick search) 등과 같이, 외부 및 유저의 음성을 입력받는 인터페이스 역할을 한다. 마이크로폰(530)을 통해 수신되는 오디오 데이터는 프로세서(110)에서 처리될 수 있다. 그밖에 지지부의 일 측에 안테나(532)가 구비되어 신호 수신이나 감도 체크 등을 할 수 있다.
거치부는 기본 기능으로 웨어러블 디바이스(WD)를 유저의 신체 일부에 거치시켜 지지하거나 고정하기 위한 것이다. 거치부는 외부 면과 내부 면으로 구성되는데, 상기 외부 면과 내부 면은 서로 다른 구성 또는 기능을 수행할 수 있다. 유저 입장에서 좌/우측 거치부로 구분할 수 있으며, 우측 거치부의 외부 면은 몸통부와 가까운 영역부터 터치패드(516), 컴퓨팅 시스템&커뮤니케이션 인터페이스부(514), 전원부(516) 등을 포함하여 구성된다. 한편, 좌측 거치부의 내부 면은 배터리가 장착된 영역(542)일 수 있다. 한편, 우측 거치부의 내부 면과 좌측 거치부의 외부 면은 각각 전술한 좌측 거치부의 내부 면과 우측 거치부의 외부 면과 대응되며 동일한 구성으로 구현될 수 있다. 다만, 필요에 따라 각 거치부의 각 면은 서로 다른 구성으로 구현될 수 있음은 자명하다 할 것이다. 또한, 거치부에서 몸통에서 가장 먼 부분 즉, 꼬리 부분(544)은 특정 기능을 위한 모듈이나 보조 배터리 등의 용도로 이용될 수 있다.
도 6은 예컨대, 웨어러블 디바이스(WD)의 몸통부의 내부 면을 도시하고 있다.
좌/우 디스플레이(522/524) 사이에는 근접 센서(proximity sensor)(610)가 구비된다. 여기서, 상기 근접 센서(610)는 예를 들어, 웨어러블 디바이스(WD)에서 유저의 착용 여부를 판단하여 상기 웨어러블 디바이스(WD)를 액티브 또는 인액티브 상태로 판단하기 위함이다. 상기 근접 센서(610)를 통한 센싱 정보에 기초하여, 웨어러블 디바이스(WD)는 그 상태에 따라 소모 전력을 최소화하여 스마트한 전원 관리, 액티브 상태에서 인액티브 상태로 변경된 경우 재생 중인 데이터의 정지, 북마크, 저장 등의 기능을 수행할 수 있다. 상기에서 인액티브 상태가 된 경우에도, 유저의 의도에 더욱 적응적인 기능 수행을 위해 근접 센서(610)를 통해 센싱 정보를 계속하여 체크하여 소정 시간 이상 인액티브 상태가 계속된 경우에는 자동으로 웨어러블 디바이스(WD)를 슬립 모드로 동작하도록 할 수 있다.
한편, 좌/우 디스플레이(522/524)를 지지하는 몸통부 내 지지부의 일 측에 어느 하나 또는 각각에 아이 트랙킹 시스템 또는 센서(eye tracking system or sensor)(620)(이하 아이 트랙킹 센서라 한다)이 구비될 수 있다. 이러한 아이 트랙킹 센서(620)는 기본적으로 웨어러블 디바이스(WD)가 액티브 상태인 경우에 센싱 정보를 수집한다. 여기서, 센싱되는 아이 트랙킹 센싱 정보는 현재 웨어러블 디바이스(WD)의 상태에 따라 다양한 기능 수행 목적으로 이용될 수 있다. 이때, 상기 웨어러블 디바이스(WD) 상태라 함은 예를 들어, 웨어러블 디바이스(WD)가 현재 비디오 데이터를 재생, 문자 메시지를 수신 등과 같은 기능적인 면을 말할 수 있다. 예컨대, 웨어러블 디바이스(WD)에서 비디오 데이터가 재생 중인 경우에 아이 트랙킹 센싱 정보에 기초하여 그 재생을 정지할 수 있다. 또는 웨어러블 디바이스(WD)에서 이미지를 출력하는 경우에 상기 센싱 정보에 기초하여 다음 이미지나 이전 이미지로 넘길 수도 있다. 그 밖에, 상기 센싱 정보는 전술한 근접 센서(610)와 같이 웨어러블 디바이스(WD)의 액티브 또는 인액티브 상태를 판단하는데 이용될 수도 있다. 예컨대, 센싱 정보 데이터가 갑자기 소정 시간 이상 수집되는 않는 경우 즉, 이러한 경우는 크게 두 가지로 예측 가능하다. 하나는 유저가 웨어러블 디바이스(WD)를 벗은 경우이고, 나머지 하나는 유저가 눈을 오랫동안 감고 있는 경우를 들 수 있다. 전자의 경우에는 당연히 인액티브 상태로 판단하여 웨어러블 디바이스(WD)가 슬립 모드로 전환되나, 후자의 경우에는 근접 센서나 다른 센서로는 판단하기 쉽지 않다. 예를 들어, 기울기나 움직임 센서 등을 이용하여 유저의 수면 여부를 판단할 수도 있으나, 완벽하지는 않다. 그러나 통상의 사람이라면 주로 눈을 감고 수면을 취하기 때문에 아이 트랙킹 정보를 독자적으로 또는 상기 기울기나 움직임 센서 정보와 조합하여 유저의 수면 여부를 판단하여 인액티브 상태로 판단하고 자동으로 슬립 모드로 변환하여 전원을 관리하고 유저에게 편리함을 제공할 수 있다.
도 7은 웨어러블 디바이스(WD)의 모드 제어 방법을 설명하기 위해 도시한 순서도이다.
도 5 내지 6을 참조하여, 도 7에서는 웨어러블 디바이스(WD)의 모드 제어(mode control)에 대해 상세히 설명한다. 여기서, 모드 제어라 함은 우선 웨어러블 디바이스(WD)의 모드를 크게 액티브 모드(active mode)와 슬립 모드(sleep mode)로 구분하여 설명한다. 이러한 모드 제어의 목적은 다양한데 우선, 사용자의 의도에 맞는 웨어러블 디바이스(WD)의 동작을 제어하는 것과 소모 전력의 절감 등이 있다. 상기에서 액티브 모드라 함은 웨어러블 디바이스(WD)가 정상적으로 동작하는 모든 경우로 후술할 슬립 모드 이외에는 모두 액티브 모드로 볼 수 있다. 한편, 슬립 모드라 함은 예컨대, DTV의 스탠바이 상태와 유사한 것으로 웨어러블 디바이스(WD)의 전원이 오프 된 상태는 아니나 절전 등의 목적으로 상기 웨어러블 디바이스(WD)의 동작을 제한하는 인액티브 상태를 의미한다. 여기서, 슬립 모드인 경우는 슬립 모드 판단 직전의 웨어러블 디바이스(WD)의 상태에 따라 다양한 동작을 수행할 수 있다. 이에 대해서는 전술한 내용과 함께 해당 부분에서 추가로 설명한다.
도 7을 참조하여, 웨어러블 디바이스(WD)의 모드 제어 방법을 더욱 상세히 설명하면, 다음과 같다.
웨어러블 디바이스(WD)를 착용한 유저의 어떠한 액션(action)이 감지되면(S110), 상기 웨어러블 디바이스(WD)는 적어도 하나 이상의 센서를 통해 센싱 정보를 획득한다(S120). 이러한 센싱 정보는 예컨대, 웨어러블 디바이스(WD)의 모드를 판단하기 위함이다. 한편, 상기와 같이 모드 판단을 위해 이용되는 센서에는 근접 센서, 아이 트랙킹 센서, 움직임 센서, 마이크로폰 센서, 카메라 센서 등 다양한 센서들이 포함될 수 있다. 한편, 상기 웨어러블 디바이스(WD)에는 상기 열거한 센서들 중 어느 하나 또는 복수의 센서로부터 센싱되는 센싱 정보를 조합하여 모드 판단에 이용할 수 있다.
웨어러블 디바이스(WD)는 센서(들)로부터 획득된 센싱 정보에 기초하여 생성된 모드 데이터 값이 미리 설정한 임계값과 비교하여 상기 비교 결과 상기 생성된 모드 데이터 값이 상기 임계값 이상이면, 슬립 모드로 판단하여 상기 웨어러블 디바이스(WD)를 슬립 모드로 전환한다(S140). 반면, 상기 비교 결과 상기 생성된 모드 데이터 값이 상기 임계값 미만이면, 액티브 모드로 판단하여 상기 웨어러블 디바이스(WD)를 액티브 모드로 전환한다(S150). 한편, 상기에서 모드 전환 시에는 모드 판단 직전의 웨어러블 디바이스(WD)의 모드 상태에 따라 변경이 이루어질 수도 있고 해당 모드를 계속하여 유지할 수도 있다.
한편, 모드 전환 여부 판단은, 상기 유저의 액션 감지에서 시작하는 것으로 기술하였으나, 이와 관계없이 주기적으로 이루어질 수도 있다. 또한, 모든 전환 이전에 단계적으로 웨어러블 디바이스(WD)의 디스플레이 상에 모드 전환에 관한 안내 문구를 포함한 유저 인터페이스(UI)를 제공하여 모드 전환에 따른 사용자의 불편을 최소화할 수 있다.
도 8은 웨어러블 디바이스(WD)에 채용된 센서 정보를 이용하여 유저 정보 획득을 설명하기 위해 도시한 도면이다.
도 8은 전술한 도 7의 모드 전환 과정 또는 후술할 유저의 상태 등에서 컨텐트의 차별화 제공을 설명하기 위해 센서로부터 센싱되는 센싱 정보를 활용하는 일 예를 설명하기 위해 도시한 것이다.
한편, 도 8에서는 편의상 GPS 센서, 자이로 센서, 가속도 센서, 아이 트랙킹 센서 등을 예로 하여 설명하다.
도 8의 경우에는 임의의 테이블 형태로 유저의 상태나 모드에 대해 미리 센싱 정보의 값들을 정의해 두어 추후 판단시 이용하기 위한 것이다.
예컨대, 유저가 정지 중에 웨어러블 디바이스(WD)의 디스플레이를 통해 컨텐트를 시청하는 경우에는, GPS 센서로부터 센싱된 GPS 센싱 정보가 '0'에 가깝고, 자이로 센서로부터 센싱된 자이로 센싱 정보가 제1 임계값보다 훨씬 작고, 가속도 센서로부터 센싱된 가속도 센싱 정보도 '0'에 가까우며, 아이 트랙킹 센서를 통해 촬영한 동공을 센싱한 아이 트랙킹 센싱 정보에 기초하여 동공의 크기가 고정되고 움직임이 거의 없는 상태로 정의할 수 있다.
유사한 방식으로 유저가 이동 중에 웨어러블 디바이스(WD)의 디스플레이를 통해 컨텐트를 시청하는 경우에는 GPS 센서로부터 센싱된 GPS 센싱 정보가 제2 임계값보다 훨씬 작고, 자이로 센서로부터 센싱된 자이로 센싱 정보가 '0'이 아니며, 가속도 센서로부터 센싱된 가속도 센싱 정보도 제3 임계값보다 훨씬 작고, 아이 트랙킹 센서를 통해 촬영한 동공을 센싱한 아이 트랙킹 센싱 정보에 기초하여 동공의 크기에 변화가 있으며 다소 움직임이 있는 상태로 정의할 수 있다.
그리고 유저가 차량에 탑승하여 이동 중 웨어러블 디바이스(WD)의 디스플레이를 통해 컨텐트를 시청하는 경우에는, GPS 센서로부터 센싱된 GPS 센싱 정보가 제2 임계값보다 훨씬 크고, 자이로 센서로부터 센싱된 자이로 센싱 정보가 '0'이 아니며, 가속도 센서로부터 센싱된 가속도 센싱 정보도 제3 임계값보다 훨씬 크며, 아이 트랙킹 센서를 통해 촬영한 동공을 센싱한 아이 트랙킹 센싱 정보에 기초하여 동공의 크기가 고정되고 움직임이 거의 없는 상태로 정의할 수 있다. 전술한 경우를 차량에 탑승하여 운전 중이 아닌 경우로 한정하면 유저가 운전 중인 경우에는 GPS 센서로부터 센싱된 GPS 센싱 정보가 제2 임계값보다 훨씬 크고, 자이로 센서로부터 센싱된 자이로 센싱 정보가 '0'이 아니며, 가속도 센서로부터 센싱된 가속도 센싱 정보도 제3 임계값보다 훨씬 크며, 아이 트랙킹 센서를 통해 촬영한 동공을 센싱한 아이 트랙킹 센싱 정보에 기초하여 동공의 크기에 변화가 있으며 다소 움직임이 있는 상태로 정의할 수 있다.
그 밖에 본 명세서의 도 8에서 정의하진 않았으나 다양한 상황, 상태, 유저 의도, 모드 판단 등에 필요한 내용을 미리 정의하여 추후 센싱 정보에 기초하여 이용할 수 있다.
도 9와 10은 웨어러블 디바이스(WD)에서 메시지 수신시 처리하는 방법을 설명하기 위해 도시한 도면이다.
도 9와 10은 웨어러블 디바이스(WD)에서 통신 프로토콜에 따라 외부로부터 문자 메시지, 이메일(e-mail) 등을 수신한 경우에 이를 처리하는 내용을 설명하기 위해 도시한 것이다. 한편, 이러한 메시지 처리는 웨어러블 디바이스(WD)를 착용한 유저의 상태 즉, 이동 중인 경우와 정지중인 경우에 구분하여 처리할 수 있다.
웨어러블 디바이스(WD)에서 통신 프로토콜에 따라 외부로부터 메시지를 수신한다(S210).
S210 단계 요청에 따라 웨어러블 디바이스(WD)는 메시지 수신에 필요한 유저 인터페이스 출력을 위한 센싱 정보를 획득한다(S220).
S220 단계에서 획득한 센싱 정보에 기초하여 웨어러블 디바이스(WD)는 유저 상태를 판단하는데(S230), 상기 판단 결과 유저의 상태가 정지 상태이면 수신한 메시지를 바로 제공한다(S240). 여기서, 상기 제공되는 메시지는 예컨대, 정지 상태이므로 전체 화면 재생 창 크기로 확대하여 제공할 수 있다. 반면, 상기 판단 결과 유저의 상태가 정지 상태가 아닌 경우 즉, 이동 상태이면 수신된 메시지를 유저에게 바로 제공하지 않고 메시지 수신 여부를 알려주는 사이드 바 형태나 아이콘 형태로 제공한다(S260). 이후 유저의 선택이나 아이 트랙킹 정보 등에 기초하여 유저가 해당 사이드 바 형태나 아이콘을 액세스하면, 메시지를 전체 화면 재생 창 크기로 확대하여 제공할 수 있다. 한편, 유저가 이동 중인 경우에는 유저의 선택에도 불구하고 전체 화면 재생 창이 아닌 반이나 일부 화면 재생 창 형태로 제공할 수도 있다.
도 10(a)는 유저의 정지시 메시지를 제공하는 화면 예시이고, 도 10(b)는 유저의 이동시 메시지를 제공하는 화면 예시이다. 도 10(a) 내지 10(b)는 기 시청중인 컨텐트가 있는 경우에는 그 재생을 일시 정지하고 메시지를 도시된 바와 같이 제공하고 메시지 처리 종료시에 다시 자동 재생할 수 있다. 한편, 상기에서, 도 10(a) 내지 (b)와 달리, 기 시청중인 컨텐트가 있는 경우에는 화면을 분할하여 해당 컨텐트와 메시지를 동시에 제공할 수도 있다.
도 11과 12는 웨어러블 디바이스(WD)에서 비디오 데이터 처리 방법을 설명하기 위해 도시한 도면이다.
도 11과 12는, 웨어러블 디바이스(WD)에서 동영상을 시청하는 경우에 그 비디오 데이터를 처리하는 방법을 설명한다.
도 11에서, 웨어러블 디바이스(WD)는 유저의 동영상 재생 요청이 수신되면(S310), 센싱 정보를 획득한다(S320).
웨어러블 디바이스(WD)는 S320 단계에서 획득한 센싱 정보에 기초하여 유저의 상태를 판단한다(S330). S330 단계 판단 결과 유저의 상태가 정지 상태로 판단되면, 도 12(a)와 같이 동영상 플레이어를 창 크기로 확대(또는 전체 창)하여 제공하고(S340), 이동 상태로 판단되면 도 12(b)와 같이 동영상 플레이어를 축소하여 제공한다(S350).
한편, 도 12(b)와 같이, 축소 제공되는 동영상 플레이어 재생 창은 예컨대, 디스플레이 화면 영역의 우상영역에 출력되는 것으로 예시되었으나, 이에 한정되는 것은 아니다. 또한, 상기 경우에 축소 창은 유저의 선택에 따라 확대/축소가 가능하다.
그리고, 도 12(b)와 같이, 동영상이 유저가 이동 중이어서 축소 제공되는 경우에는 관련하여, 오디오 레벨도 그에 맞게 자동으로 낮추어 제공할 수 있다.
도 13과 14는 웨어러블 디바이스(WD)에서 애플리케이션 이용시 그 처리 방법을 설명하기 위해 도시한 도면이다.
도 13과 14는, 웨어러블 디바이스(WD)에서 지도 정보를 이용하는 그 처리하는 방법을 설명한다.
도 13에서, 웨어러블 디바이스(WD)는 유저로부터 지도 정보 출력 요청이 수신되면(S410), 센서 정보를 획득한다(S420). 여기서, 상기 지도 정보는 지도 애플리케이션을 통하여 제공될 수 있다.
웨어러블 디바이스(WD)는 S420 단계에서 획득한 센싱 정보에 기초하여 유저의 상태를 판단한다(S430). S430 단계 판단 결과, 유저의 상태가 정지 상태로 판단되면, 웨어러블 디바이스(WD)는 도 14(a)와 같이 버드-아이 뷰(bird-eye view) 형태의 지도 정보를 제공한다(S440). 반면, 유저가 이동 상태로 판단되면, 웨어러블 디바이스(WD)는 도 14(b)와 같이 1인칭 시점의 지도 정보가 제공한다(S450).
한편, 도 14(b)에서는 도시된 바와 같이 1인칭 시점의 지도 정보가 아니라 도 14(a)와 같이 버드-아이 뷰 형태이나 다만 영역을 더욱 축소하여 제공할 수 있다. 또한, 이 경우 축소되는 지도 정도는 도 12(b)와 같이 디스플레이 화면의 일부 영역에 맵핑되어 제공될 수 있다.
그 밖에 도시되진 않았으나, 도 14에서 제공되는 지도 정보는, 유저의 선택이나 설정 등 다양한 상황에 맞춰 스카이 뷰(sky view), 위성(satellite), 지적도(cadastral map) 형태의 지도 정보가 제공되거나 변경될 수 있다.
또한, 유저가 운전 중인 경우에는 주변 교통 상황에 대한 TPEG 정보(Transport Protocol Expert Group information)를 수신하여 제공하거나 CCTV(Closed-circuit television) 영상을 함께 또는 독자적으로 제공할 수도 있다. 웨어러블 디바이스(WD)는 일종의 지도 정보 요청이라도 유저의 상태에 따라 자동으로 네비게이션 정보 형태로 가공하여 제공할 수도 있다.
그 밖에, 도 14(b)와 같이 1인칭 시점의 지도 정보 시에는 증강현실 등을 이용하여 주변 맛집 정보 등을 추가로 제공할 수도 있다.
그리고, 웨어러블 디바이스(WD)는 유저의 선택 또는 네트워크 사정 등에 기초하여 상기 유저의 지도 정보 요청에 대하여 다양한 지도 정보 제공 애플리케이션 등 중 특정 지도 애플리케이션을 선택적으로 제공할 수도 있다.
한편, 웨어러블 디바이스(WD)는 GPS 센싱 정보에 따라 유저의 위치에 기반하여 최초 지도 정보를 제공하나 유저가 미리 입력한 주소 정보 등이 있는 경우에는 그에 따를 수 있다. 또한, 웨어러블 디바이스(WD)는 아이 트랙킹 센싱 정보에 기초하여, 지도상의 타겟 위치로 이동시키거나 특정 위치의 지도 정보를 축소 또는 확대하여 제공할 수도 있다.
도 15와 16은 웨어러블 디바이스(WD)를 착용한 유저의 상황에 따른 유저 인터페이스 제공 방법의 일 예를 설명하기 위해 도시한 도면이다.
도 15와 16은 웨어러블 디바이스(WD)를 이용하는 유저에게 상황에 따른 유저 인터페이스(UI)를 제공하는 내용에 관한 것이다. 상기 유저 인터페이스(UI)는 예컨대, 웨어러블 디바이스(WD)의 설정을 위한 것일 수도 있고, 웨어러블 디바이스(WD)에서 현재 이용 중인 애플리케이션, 기능, 화면 등에 따라 다양한 형태로 제공된다.
웨어러블 디바이스(WD)는 메뉴 유저 인터페이스(UI) 제공 요청이 수신되면(S510), 센싱 정보를 획득한다(S520).
웨어러블 디바이스(WD)는 S520 단계에서 획득한 센싱 정보에 기초하여 유저의 상태를 판단한다(S530). S530 단계 판단 결과, 유저의 상태가 정지 상태로 판단되면, 도 16(a)와 같이 유저 인터페이스(UI)(full-menu UI)를 디스플레이 화면 전체에 출력하고(S540), 이동 상태로 판단되면, 도 16(b)와 같이 디스플레이 화면의 일부 영역에만 유저 인터페이스(UI)(simple-menu UI)를 제공한다(S550).
풀-메뉴 유저 인터페이스는, 텍스트, 이미지, 동영상, 버튼, 리스트, 체크박스 등의 유저 인터페이스(UI) 요소를 포함할 수 있다. 심플-메뉴 유저 인터페이스는, 화면의 일부에 디스플레이하여 이동에 방해를 주지 않도록 한 것으로, 이러한 심플-메뉴 유저 인터페이스는, 풀-메뉴 유저 인터페이스와 유저 인터페이스 요소를 포함할 수 있다. 다만, 편의상 도 16(b)와 같이, 최소한의 유저 인터페이스 요소만을 이용하여 제공한다. 이 경우, 상기 최소한의 유저 인터페이스는 예컨대, 유저의 상태나 상황 또는 유저의 이전 경험 등에 기초하여 선택될 수 있다. 특히, 심플-메뉴 유저 인터페이스는 도 16(b)에 도시된 바와 같이, 화면 하단의 바 형태로 제공되는 것이 가독성의 측면에서 유리할 수 있다. 또한, 도시되진 않았으나, 심플-메뉴 유저 인터페이스는 화면 상단, 화면 좌우측 단에 바 형태로 제공될 수도 있고, 경우에 따라 상하좌우 단에 바 형태로 동시에 제공되거나 미리 맵핑은 되나 아이 트랙킹 센싱 정보에 기초하여 해당 단의 맵핑 심플-메뉴 유저 인터페이스 정보를 제공할 수도 있다.
도 17과 18은 웨어러블 디바이스(WD)를 착용한 유저가 이동 중이 아닌 경우에 유저 인터페이스(UI) 제공 및 처리 방법을 설명하기 위해 도시한 도면이다.
도 17과 18은 상기에서 특히, 유저가 이동 중이 아닌 경우 즉, 정지시에 유저 인터페이스 제어 방법에 대해 더욱 상세하게 기술하기 위해 도시한 것이다.
전술한 도 15 내지 16의 플로우를 참고하여 유저의 상태가 정지 중인 상태라면, 웨어러블 디바이스(WD)는 디스플레이 화면상에 풀-메뉴 유저 인터페이스를 출력한다(S610).
이후 웨어러블 디바이스(WD)는 유저의 시선 위치 정보를 획득한다(S620). 여기서, 유저의 시선 위치 정보라 함은 예컨대, 아이 트랙킹 센서를 통해 획득되는 아이 트랙킹 센싱 정보일 수 있다. 한편, 이러한 시선 위치 정보는 직교 좌표계 정보 즉, x좌표와 y좌표 형태로 구성될 수 있다.
웨어러블 디바이스(WD)는 획득한 시선 위치 정보를 미리 저장된 풀-메뉴 유저 인터페이스 좌표계 정보와 맵핑한다(S630).
웨어러블 디바이스(WD)는 S630 단계의 맵핑 결과에 기초하여 화면 상의 POR(Point of Regard)을 결정한다(S640).
S640 단계에서 화면상의 POR이 결정되면, 웨어러블 디바이스(WD) 커서를 움직이고, 화면에 렌더링한다(S650).
웨어러블 디바이스(WD)는 이후 유저의 선택 입력(1830)이 있었는지 판단한다. 이러한 선택 입력은 예컨대, 도 18에 도시된 바와 같이 터치 패드 등 관련 기능 버튼을 탭 또는 클릭(tap or click)(1830)으로 판단할 수 있다(S660). 상기 판단 결과 만약 유저의 탭 또는 클릭이 없었으면 다시 S620 내지 S650 단계를 반복한다. 그러나 유저의 탭 또는 클릭(1830)이 있는 경우에는 해당 커서가 위치한 항목을 선택하고 실행한다(S670).
도 18을 참고하여, 다시 설명하면, 웨어러블 디바이스(WD)는, 풀-메뉴 유저 인터페이스(1810)가 출력되면, 아이 트랙킹 센서를 통해 유저의 동공(1820) 움직임 여부를 캐치(catch)한다. 이를 통해 동공의 움직임이 있으면, 풀-메뉴 유저 인터페이스상에 커서를 제공한다. 상기 커서가 제공되면, 아이 트랙킹 센서에서 상기 커서 제공 이후에 동공(1820)의 움직임에 기초하여 디스플레이 화면상에 포인터의 위치를 상기 동공 움직임에 대응되게 움직인다. 이후 커서가 위치한 영역의 항목(1840), 프로그램 등에 대해 유저의 또 다른 입력(1830)에 기초하여 선택, 재생 등을 한다.
도 19와 20은 웨어러블 디바이스(WD)를 착용한 유저가 이동 중인 경우에 유저 인터페이스(UI) 제공 및 처리 방법을 설명하기 위해 도시한 도면이다.
도 19와 20은 예컨대, 전술한 도 17 및 18에 대응되는 유저 이동시에 심플-메뉴 유저 인터페이스 제공 예를 설명하기 위해 도시한 것이다. 이 경우 전술한 바와 같이 필요한 내용은 도 15 내지 16의 내용을 원용할 수 있다.
전술한 도 15 내지 16의 플로우를 참고하여 유저의 상태가 이동 중인 상태라면, 웨어러블 디바이스(WD)는 디스플레이 화면상의 일부 영역에 심플-메뉴 유저 인터페이스(2010)를 출력한다(S710).
이후 웨어러블 디바이스(WD)는 유저로부터 메뉴 스크롤(menu scroll)에 대한 입력을 수신한다(S720). 이때, 상기 메뉴 스크롤 입력은 예를 들어, 동공이 아닌 웨어러블 디바이스(WD)의 터치 패드 등을 유저가 플릭(flick)함으로써 이루어질 수 있다.
이후 웨어러블 디바이스(WD)는 유저의 시선 위치 정보를 획득한다(S730). 여기서, 유저의 시선 위치 정보라 함은 예컨대, 아이 트랙킹 센서를 통해 획득되는 아이 트랙킹 센싱 정보일 수 있다. 한편, 이러한 시선 위치 정보는 직교 좌표계 정보 즉, x좌표와 y좌표 형태로 구성될 수 있다.
웨어러블 디바이스(WD)는 획득한 시선 위치 정보를 미리 저장된 풀-메뉴 유저 인터페이스 좌표계 정보와 맵핑한다(S740).
웨어러블 디바이스(WD)는 S740 단계의 맵핑 결과에 기초하여 화면상의 POR을 결정한다(S750).
S750 단계에서 화면상의 POR이 결정되면, 웨어러블 디바이스(WD) 커서를 움직이고, 화면에 렌더링한다(S760).
웨어러블 디바이스(WD)는 이후 유저의 선택 입력(2030)이 있었는지 판단한다. 이러한 선택 입력은 예컨대, 도 20에 도시된 바와 같이 터치 패드 등 관련 기능 버튼을 탭 또는 클릭(2030)으로 판단할 수 있다(S770). 상기 판단 결과 만약 유저의 탭 또는 클릭이 없었으면 다시 S730 내지 S760 단계를 반복한다. 그러나 유저의 탭 또는 클릭(2030)이 있는 경우에는 해당 커서가 위치한 항목을 선택하고 실행한다(S780).
도 20을 참고하여, 다시 설명하면, 웨어러블 디바이스(WD)는, 심플-메뉴 유저 인터페이스(2010)가 출력되면, 아이 트랙킹 센서를 통해 유저의 동공(2020) 움직임 여부를 캐치 한다. 이를 통해 동공(2020)의 움직임이 있으면, 심플-메뉴 유저 인터페이스(UI)상에 커서를 제공한다. 상기 커서가 제공되면, 아이 트랙킹 센서에서 상기 커서 제공 이후에 동공(2020)의 움직임에 기초하여 디스플레이 화면상에 포인터의 위치를 상기 동공(2020) 움직임에 대응되게 움직인다. 이후 커서가 위치한 영역의 항목(2040), 프로그램 등에 대해 유저의 또 다른 입력(2030)에 기초하여 선택, 재생 등을 한다.
도 21 내지 28은 유저의 액션에 따른 웨어러블 디바이스(WD) 제어 방법을 설명하기 위해 도시한 도면이다.
도 21 내지 28은 유저의 액션이나 상태에 따른 웨어러블 디바이스(WD)의 제어 방법에 대해 기술한다.
도 21은 유저의 액션에 따라 컨텐트가 출력되는 디스플레이 화면에 대한 상의 위치를 제어하는 내용을 설명하기 위해 도시한 것이다.
이는 예컨대, 도 21(a)와 같이, 사용자의 액션에 따라 최초 상이 맺힌 위치(2110)로부터 다른 위치에 상이 맺히도록 제어하는 내용이다. 상기와 같이, 상이 맺힌 위치를 제어함에 있어서, 유저의 의도를 판단하는 방법에는 전술한 내용과 함께 다양한 방식이 존재하나, 여기서는 도 21(b)와 같이, 유저 손동작을 기준으로 판단한다. 이 경우 유저의 손동작을 제대로 인식하기 위해 필요한 센서, 칩, 스마트 워치, 모바일 디바이스가 매개체 역할을 할 수도 있다. 또는 외부 디바이스의 카메라 센서를 통해 촬상된 유저의 손동작에 기초할 수도 있다.
전술한 바와 같이, 제1 지점(2110)은 웨어러블 디바이스(WD)에 구현된 상이 맺히는 위치로 디폴트값(default value)일 수 있다. 도 21(b)에 도시된 바와 같이, 유저가 최초 제1 손동작(2115)에서 제2 손동작(2125) 즉, 유저가 제1 지점(2115)에서 몸쪽 방향으로 제2 지점(2125)로 움직이는 경우 상기 제1 지점(2115)에서 제2 지점(2125)까지 거리, 횟수, 속도, 가속도 등의 정보에 기초하여 제2 지점(2120)이 결정될 수 있다. 이와 같이, 제2 지점(2120)에 상이 맺히는 경우에는 제1 지점(2110)에 비하여 디스플레이 화면의 크기가 커지고, 해상도가 높아질 수 있다. 반대로, 유저가 제1 지점(2115)에서 몸쪽 반대 방향으로 제3 지점(2135)으로 움직이는 경우 상기 제1 지점(2115)에서 제3 지점(2135)까지 거리, 횟수, 속도, 가속도 등의 정보에 기초하여 제3 지점(2130)이 결정될 수 있다. 여기서, 제3 지점(2130)에 상이 맺히는 경우에는 제1 지점(2110)에 비하여 디스플레이 화면의 크기가 커지고, 해상도가 높아질 수 있다.
한편, 상술한 내용은 디스플레이 화면 자체의 상이 맺히는 위치를 변경하는 내용인데, 만약 웨어러블 디바이스(WD)가 컨텐트에 대해 MPEG-4 등을 통해 오브젝트 정보(object information)를 획득할 수 있으면, 디스플레이 화면 자체가 아니라 특정 항목, 특정 메뉴(2140) 등만을 전술한 방식을 이용하여 확대나 축소하여 볼 수 있다.
도 22는 웨어러블 디바이스(WD) 설정을 설명하기 위해 도시한 것이다.
여기서, 설정은, 유저가 웨어러블 디바이스(WD)를 최초 구매하여 세팅(setting) 또는 이용 중 상기 유저의 변경에 따라 이루어질 수 있다.
도 22를 참조하면, 웨어러블 디바이스(WD)에서 디스플레이 화면의 상이 맺히는 위치(제1 위치)(2210)는 디폴트로 제공될 수 있다.
본 명세서에서 개시하는 바와 같이, 웨어러블 디바이스(WD)가 시스루 디스플레이를 채용한 경우, 안경처럼 쓰고다닐 수도 있다. 이때, 상기 웨어러블 디바이스(WD)를 착용하는 유저들은 시력 정보가 일정하지는 않다. 어떤 유저는 시력이 매우 나쁘고, 어떤 유저는 시력이 매우 좋다. 또 어떤 유저는 근시가 있고, 어떤 유저는 원시가 있으며, 또 어떤 유저는 난시가 있을 수 있다. 그런데 이러한 사정을 고려하지 않고 일괄적으로 디폴트 된 위치에 디스플레이 화면에 대한 상이 맺히도록 하거나 변경할 수 없도록 하면, 해당 유저에게 오히려 불편함을 줄 수 있다.
따라서, 웨어러블 디바이스(WD)는 최초 제작시 미리 디폴트로 설정된 제1 지점(2210)을 기준으로, 도 21과 같이 유저의 손동작이나 액션에 기초하여 디스플레이 화면의 상이 맺히는 위치를 변경할 수 있다. 또는, 웨어러블 디바이스(WD)는 제1 지점(2210)에 디스플레이 화면을 제공한 이후에 아이 트랙킹 센서를 통해 자동으로 상의 위치를 변경하면서 그에 따른 동공의 반응에 따라 상의 위치를 변경할 수도 있다. 이 경우, 기술의 발전에 따라 아이 트랙킹 센서 또는 시력 정보 센서를 통해 동공 등을 센싱하여 유저의 시력 정보를 획득하여 그에 기초하여 상이 맺히는 위치를 제2 지점(2220) 또는 제3 지점(2230) 등으로 변경할 수도 있다. 전자의 경우, 웨어러블 디바이스(WD)에서 상의 위치를 변경하는 경우에 유저가 눈을 찡그리는 경우에는 자신의 시력에 비해 더 멀리 상이 맺혀 자세히 보기 위한 것으로 유저의 의도를 파악하여 상의 위치를 유저에 더 가깝도록 변경하고, 반대로 눈이 갑자기 커진 경우에는 너무 가까이에 상이 맺힌 것으로 판단하여 상의 위치를 유저로부터 멀어지도록 변경할 수 있다.
도 23은 도 21과 같은 유저의 액션에 따라 디스플레이 화면 제어에 대한 내용을 설명하기 위해 도시한 도면이다.
예를 들어, 유저가 액션을 통해 디스플레이 창을 선택한 후에 화면 영역의 외부로 이동시킨 경우에 상기 액션의 방향성을 고려하여 디스플레이 화면을 제어한다.
도 23(a)와 23(b)를 참조하면, 유저가 디스플레이 창을 선택하여 화면의 상단 쪽으로 이동시키는 액션을 하는 경우에는 해당 컨텐트의 삭제를 의미할 수 있고, 좌/우단 쪽으로 이동시키는 액션을 하는 경우에는 각각 해당 화면의 컨텐트 타입 속성에 따라 다음 또는 이전 컨텐트가 디스플레이 창에 제공될 수 있고, 하단 쪽으로 이동시키는 액션을 취하는 경우에는 해당 컨텐트의 저장을 의미할 수 있다. 여기서, 상기한 유저의 액션에 대해 각각 미리 정한 제어 내용이 바로 실행되는 것이 아니라 관련 확인 창을 제공하고 유저의 선택에 따라 해당 제어 내용이 실행되도록 구현할 수도 있다.
도 24 내지 26은 웨어러블 디바이스(WD)에서 디스플레이 화면 구성 제어 방법을 설명하기 위해 도시한 도면이다.
도 24는 웨어러블 디바이스(WD)에서 최초 화면 영역에 한 개의 창만 활성화시켜 유저에게 제공하던 것을 유저의 선택 또는 액션에 따라 화면을 상하로 2분할한 예시이다. 도 25는 화면을 좌우로 2분할한 예시이고, 도 26은 4분할한 예시이다.
웨어러블 디바이스(WD)는 유저의 요청에 따라 화면을 분할하여 각 화면에 대해 서로 다른 컨텐트를 제공 또는 분할된 하나의 화면에서 기존 제공되던 컨텐트를 그리고 분할된 나머지 하나의 화면에는 해당 컨텐트를 위한 유저 인터페이스, 상세 정보, 관련 정보 등을 출력하는 용도로 사용 가능하다. 후자의 경우에는 그를 위한 툴(tool)이 함께 출력될 수도 있다.
한편, 도 26과 같이, 웨어러블 디바이스(WD)는 화면을 4분할하여 제공하는 경우에는 각 화면에서 서로 다른 컨텐트를 제공할 수 있다. 도 24 또는 25도 마찬가지이다. 상기 각 화면에서 제공되는 컨텐트는 서로 다른 속성이나 타입 즉, 동영상, 문서, 이미지, 애플리케이션 등 다양하게 구성할 수 있다. 또한, 웨어러블 디바이스(WD)는, 분할되는 각 화면에 대해 각각 우선순위('좌상'(최우선)에서 '우하'(최하위))를 설정할 수 있다. 따라서, 웨어러블 디바이스(WD)는 최하위의 우선순위를 가진 '우하' 화면이 선택되지 않는 한 '우하' 화면은 사용자가 특정 영역 컨텐트를 편집 등을 하기 위해 필요한 툴을 제공할 수도 있다. 그 밖에, 특정 영역 선택되면, 선택된 영역에 이웃하는 영역에 우선순위에 따라 또는 임의로 툴이 제공될 수도 있다.
도 27은 웨어러블 디바이스(WD)에서 애플리케이션 리스트, 일정, 애플리케이션 편집 등의 제공 방법을 설명하기 위해 도시한 도면이다.
예컨대, 웨어러블 디바이스(WD)는 사용자의 리스트 요청에 따라 복수의 리스트가 제공되어야 하는 경우에는 레이어 구조(hierarchical structure), 3D 형태 등으로 도시된 바와 같이 출력할 수 있다. 한편, 복수의 리스트를 레이어 구조로 제공하는 경우에는, 각 리스트는 예컨대, 사용자의 선택이나 액션에 따라 랩 어라운드(wrap around) 되어 제공될 수도 있다.
한편, 웨어러블 디바이스(WD)는 유저의 선택이나 액션에 기초하여 각 리스트가 제공되는 레이어(2710)를 변경할 수 있다.
도 28은 웨어러블 디바이스(WD)에서 2D/3D 구현 방법을 설명하기 위해 도시한 도면이다.
도 24 또는 25와 같이, 웨어러블 디바이스(WD)는 화면(2810)을 2분할하여 유저에게 제공할 수 있다.
이 경우, 유저는 2분할된 각 화면을 동일한 컨텐트 즉, 좌영상과 우영상으로 출력하고 이를 유저의 액션(양손 액션)에 따라 각 화면(2820)을 좌우 또는 상하로 모으면 2D에서 3D로 구현될 수 있고, 반대로 하나의 화면(2820) 가장자리를 잡고 좌우 또는 상하로 분리하면 3D에서 다시 2D로 변경되어 구현될 수 있다. 후자의 경우에는 자동으로 좌영상 또는 우영상만 남도록(화면 2분할이 아니라) 할 수 있다.
본 명세서에서 설명한 웨어러블 디바이스(WD)는 다양한 디바이스 형태로 구현되어 제공 가능하다. 특히, 웨어러블 디바이스(WD)에 속하는 안경형 장치로 HMD 뿐만 아니라 EMD(Eye Mounted Display), eyeglass, eyepiece, eye wear, HWD(Head Worn Display) 등 유저에게 착용되어 디스플레이를 제공할 수 있는 다양한 디바이스 형태로 구현 가능하며, 본 명세서에서 설명한 용어에 한정되어 해석되어서는 안 된다.
100: 웨어러블 디바이스 110: 프로세서
120: 디스플레이 유닛 130: 오디오 출력 유닛
140: 커뮤니케이션 유닛 150: 센싱 유닛
160: 스토리지 유닛 170: 파워 유닛(power unit)
120: 디스플레이 유닛 130: 오디오 출력 유닛
140: 커뮤니케이션 유닛 150: 센싱 유닛
160: 스토리지 유닛 170: 파워 유닛(power unit)
Claims (20)
- 웨어러블 디바이스에서 컨텐트 출력 방법에 있어서,
센싱 정보를 획득하는 단계;
센싱 정보에 기초하여 유저의 상태를 판단하여 액티브 모드와 슬립 모드 중 하나를 출력 모드로 결정하는 단계; 및
결정된 출력 모드에 따라 컨텐트 출력을 위한 화면을 구성하여 출력하는 단계를 포함하여 이루어지되,
상기 구성되는 화면은,
출력 모드가 슬립 모드인 경우에는 화면 전체를 통해 상기 컨텐트가 출력되도록 구성되고,
출력 모드가 액티브 모드인 경우에는 화면 전체에서 일부 영역을 통해서만 상기 컨텐트가 출력되도록 구성되는 컨텐트 출력 방법. - 제1항에 있어서,
상기 컨텐트는,
미리 저장된 유저 인터페이스 데이터, 비디오 데이터, 이미지 데이터, 텍스트 데이터, 지도 데이터 및 애플리케이션 데이터와, 외부로부터 수신되는 메시지 데이터 중 어느 하나인 것을 특징으로 하는 컨텐트 출력 방법. - 제2항에 있어서,
상기 센싱 정보는,
접근 센서, 카메라 센서, 오디오 센서, 아이 트랙킹 센서 및 모션 센서 중 적어도 하나의 센서로부터 획득되는 것을 특징으로 하는 컨텐트 출력 방법. - 제3항에 있어서,
상기 센싱 정보 획득하는 단계는, 주기적으로 수행되거나 유저의 움직임이 감지되는 경우에 수행되는 것을 특징으로 하는 컨텐트 출력 방법. - 제4항에 있어서,
조도 센서를 이용하여 입사되는 광량을 계산하는 단계와,
반사각을 이용하여 입사되는 광원의 위치 정보를 획득하는 단계 중 적어도 하나의 단계를 더 포함하여 이루어지는 것을 특징으로 하는 컨텐트 출력 방법. - 제5항에 있어서,
계산된 광량과 획득된 광원의 위치 정보 중 적어도 하나에 기초하여 경고음과 경고 메시지 중 적어도 하나를 생성하여 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 컨텐트 출력 방법. - 제6항에 있어서,
상기 계산된 광량 및 상기 획득된 광원의 위치 정보 중 적어도 하나에 기초하여,
상기 결정된 출력 모드에 따라 컨텐트 출력을 위한 화면 구성을 변경하여 출력하는 단계와,
상기 결정된 출력 모드에 따른 컨텐트의 컬러를 변경하여 출력하는 단계 중 적어도 하나를 더 포함하여 이루어지는 것을 특징으로 하는 컨텐트 출력 방법. - 제1항에 있어서,
유저의 액션을 감지하는 단계;
상기 감지된 유저 액션에 대한 센싱 정보를 획득하는 단계; 및
획득된 유저 액션 센싱 정보에 기초하여 화면이 출력되는 상의 위치를 이동하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 컨텐트 출력 방법. - 제1항에 있어서,
센싱하여 유저의 시각 정보를 획득하는 단계; 및
상기 획득된 유저의 시각 정보에 따라 미리 설정된 위치와 다른 위치에 상이 맺히도록 화면을 구성하고 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 컨텐트 출력 방법. - 제1항에 있어서,
상기 웨어러블 디바이스는, 시스루 디스플레이를 채용한 HMD(Head Mounted Display)와 안경형 장치 중 어느 하나인 것을 특징으로 하는 컨텐트 출력 방법. - 컨텐트를 출력하는 웨어러블 디바이스에 있어서,
상기 웨어러블 디바이스의 작동을 제어하는 프로세서;
센싱 정보를 획득하는 센서부;
상기 프로세서의 명령에 따라 컨텐트를 출력하는 디스플레이 유닛; 및
상기 프로세서의 명령에 따라 데이터를 송수신하는 커뮤니케이션 유닛을 포함하여 구성하되,
상기 프로세서는,
상기 센서부에서 획득되는 센싱 정보에 기초하여 유저의 상태를 판단하여 액티브 모드와 슬립 모드 중 하나를 출력 모드로 결정하고, 결정된 출력 모드에 따라 컨텐트 출력을 위한 화면을 구성하여 출력하도록 제어하되, 상기 출력 모드가 슬립 모드인 경우에는 화면 전체를 통해 상기 컨텐트가 출력되도록 상기 화면을 구성하여 출력하도록 제어하고, 상기 출력 모드가 액티브 모드인 경우에는 화면 전체에서 일부 영역을 통해서만 상기 컨텐트가 출력되도록 화면을 구성하여 출력하도록 제어하는 웨어러블 디바이스. - 제11항에 있어서,
상기 컨텐트는,
미리 저장된 비디오 데이터, 이미지 데이터, 텍스트 데이터, 지도 데이터 및 애플리케이션 데이터와, 외부로부터 수신되는 메시지 데이터 중 어느 하나인 것을 특징으로 하는 웨어러블 디바이스. - 제12항에 있어서,
상기 센서부는,
접근 센서, 카메라 센서, 오디오 센서, 아이 트랙킹 센서, 모션 센서 및 조도 센서 중 적어도 하나로부터 센싱 정보를 획득하는 것을 특징으로 하는 웨어러블 디바이스. - 제13항에 있어서,
상기 센서부는,
상기 프로세서의 제어에 따라 주기적으로 센싱 정보를 획득하거나 유저의 움직임이 감지되는 경우에 센싱 정보를 수집하는 것을 특징으로 하는 웨어러블 디바이스. - 제14항에 있어서,
상기 프로세서는,
상기 조도 센서를 통해 획득된 센싱 정보에 기초하여 입사되는 광량을 계산 또는 반사각을 이용하여 입사되는 광원의 위치 정보를 획득 중 적어도 하나를 수행하는 것을 특징으로 하는 웨어러블 디바이스. - 제15항에 있어서,
상기 프로세서는,
상기 계산된 광량과 상기 획득된 광원의 위치 정보 중 적어도 하나에 기초하여 경고음과 경고 메시지 중 적어도 하나를 생성하여 출력하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스. - 제16항에 있어서,
상기 프로세서는,
상기 계산된 광량 및 상기 획득된 광원의 위치 정보 중 적어도 하나에 기초하여 상기 결정된 출력 모드에 따라 컨텐트 출력을 위한 화면 구성을 변경하여 출력 및 상기 결정된 출력 모드에 따른 컨텐트의 컬러를 변경하여 출력하는 단계 중 적어도 하나를 제어하는 것을 특징으로 하는 웨어러블 디바이스. - 제11항에 있어서,
상기 프로세서는,
상기 센서부를 통해 유저의 액션을 감지하고, 상기 감지된 유저 액션에 대한 센싱 정보를 획득하여 획득된 유저 액션 센싱 정보에 기초하여 화면이 출력되는 상의 위치를 이동하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스. - 제11항에 있어서,
상기 프로세서는,
상기 센서부를 통해 센싱하여 유저의 시각 정보를 획득하고, 상기 획득된 유저의 시각 정보에 따라 미리 설정된 위치와 다른 위치에 상이 맺히도록 화면을 구성하고 출력하도록 제어하는 것을 특징으로 하는 웨어러블 디바이스. - 제11항에 있어서,
상기 웨어러블 디바이스는, 시스루 디스플레이를 채용한 HMD(Head Mounted Display)와 안경형 장치 중 어느 하나인 것을 특징으로 하는 웨어러블 디바이스.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130105044A KR20150026336A (ko) | 2013-09-02 | 2013-09-02 | 웨어러블 디바이스 및 그 컨텐트 출력 방법 |
| EP14182530.7A EP2843513A1 (en) | 2013-09-02 | 2014-08-27 | Wearable device and method of outputting content thereof |
| CN201410443203.8A CN104423584B (zh) | 2013-09-02 | 2014-09-02 | 可佩戴的装置及其输出内容的方法 |
| US14/475,023 US9952433B2 (en) | 2013-09-02 | 2014-09-02 | Wearable device and method of outputting content thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130105044A KR20150026336A (ko) | 2013-09-02 | 2013-09-02 | 웨어러블 디바이스 및 그 컨텐트 출력 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20150026336A true KR20150026336A (ko) | 2015-03-11 |
Family
ID=51589067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20130105044A KR20150026336A (ko) | 2013-09-02 | 2013-09-02 | 웨어러블 디바이스 및 그 컨텐트 출력 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9952433B2 (ko) |
| EP (1) | EP2843513A1 (ko) |
| KR (1) | KR20150026336A (ko) |
| CN (1) | CN104423584B (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034037A1 (en) * | 2013-10-31 | 2016-02-04 | Boe Technology Group Co., Ltd. | Display device and control method thereof, gesture recognition method, and head-mounted display device |
| KR20170054861A (ko) * | 2015-11-10 | 2017-05-18 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
| WO2017188637A1 (ko) * | 2016-04-29 | 2017-11-02 | 주식회사 조이펀 | Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 |
| KR20180107782A (ko) * | 2016-05-25 | 2018-10-02 | 칭다오 고어텍 테크놀로지 컴파니 리미티드 | 가상현실 헬멧 및 그 사용 방법 |
| KR20190023398A (ko) * | 2017-08-29 | 2019-03-08 | 엘지디스플레이 주식회사 | 디스플레이 장치와 그 구동 방법 및 멀티 디스플레이 시스템 |
| KR102290328B1 (ko) * | 2020-11-16 | 2021-08-18 | 코리아에프티 주식회사 | 영상 출력 장치 |
| WO2022085940A1 (ko) * | 2020-10-22 | 2022-04-28 | 삼성전자 주식회사 | 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치 |
Families Citing this family (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8174436B2 (en) | 2002-07-08 | 2012-05-08 | American Underwater Products, Inc. | Dive computer with global positioning system receiver |
| US9443039B2 (en) | 2002-07-08 | 2016-09-13 | Pelagic Pressure Systems Corp. | Systems and methods for dive computers with remote upload capabilities |
| US7797124B2 (en) | 2006-12-28 | 2010-09-14 | American Underwater Products, Inc. | Dive computer with free dive mode and wireless data transmission |
| US9292310B2 (en) | 2011-06-05 | 2016-03-22 | Apple Inc. | Systems and methods for displaying notifications received from multiple applications |
| USD711895S1 (en) * | 2012-06-06 | 2014-08-26 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| WO2014143776A2 (en) | 2013-03-15 | 2014-09-18 | Bodhi Technology Ventures Llc | Providing remote interactions with host device using a wireless device |
| USD754199S1 (en) * | 2013-06-20 | 2016-04-19 | Samsung Electronics Co., Ltd. | Display screen portion with icon |
| KR102099178B1 (ko) | 2013-11-29 | 2020-04-09 | 엘지전자 주식회사 | 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법 |
| CN105899996B (zh) * | 2013-12-06 | 2019-04-23 | 瑞典爱立信有限公司 | 光学头戴式显示器、电视入口模块和用于控制图形用户界面的方法 |
| KR20150108216A (ko) * | 2014-03-17 | 2015-09-25 | 삼성전자주식회사 | 입력 처리 방법 및 그 전자 장치 |
| US20150350146A1 (en) | 2014-05-29 | 2015-12-03 | Apple Inc. | Coordination of message alert presentations across devices based on device modes |
| US9483763B2 (en) | 2014-05-29 | 2016-11-01 | Apple Inc. | User interface for payments |
| US9967401B2 (en) | 2014-05-30 | 2018-05-08 | Apple Inc. | User interface for phone call routing among devices |
| TWI647608B (zh) | 2014-07-21 | 2019-01-11 | 美商蘋果公司 | 遠端使用者介面 |
| US10339293B2 (en) | 2014-08-15 | 2019-07-02 | Apple Inc. | Authenticated device used to unlock another device |
| WO2016036603A1 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | Reduced size configuration interface |
| CN107529009B (zh) | 2014-09-02 | 2020-06-30 | 苹果公司 | 远程相机用户界面 |
| US10066959B2 (en) | 2014-09-02 | 2018-09-04 | Apple Inc. | User interactions for a mapping application |
| US9821893B2 (en) | 2014-10-06 | 2017-11-21 | Pelagic Pressure Systems Corp. | System and methods for configurable dive masks with multiple interfaces |
| EP3218074A4 (en) * | 2014-11-16 | 2017-11-29 | Guy Finfter | System and method for providing an alternate reality ride experience |
| US20160150021A1 (en) * | 2014-11-21 | 2016-05-26 | Kiban Labs, Inc. | Internet of things clock hub device and method |
| US9641400B2 (en) | 2014-11-21 | 2017-05-02 | Afero, Inc. | Internet of things device for registering user selections |
| US20160180100A1 (en) | 2014-12-18 | 2016-06-23 | Joe Britt | System and method for securely connecting network devices using optical labels |
| US9832173B2 (en) | 2014-12-18 | 2017-11-28 | Afero, Inc. | System and method for securely connecting network devices |
| US10291595B2 (en) | 2014-12-18 | 2019-05-14 | Afero, Inc. | System and method for securely connecting network devices |
| US9574896B2 (en) | 2015-02-13 | 2017-02-21 | Apple Inc. | Navigation user interface |
| US10216351B2 (en) * | 2015-03-08 | 2019-02-26 | Apple Inc. | Device configuration user interface |
| US10860094B2 (en) * | 2015-03-10 | 2020-12-08 | Lenovo (Singapore) Pte. Ltd. | Execution of function based on location of display at which a user is looking and manipulation of an input device |
| US10715468B2 (en) * | 2015-03-27 | 2020-07-14 | Intel Corporation | Facilitating tracking of targets and generating and communicating of messages at computing devices |
| US9704318B2 (en) | 2015-03-30 | 2017-07-11 | Afero, Inc. | System and method for accurately sensing user location in an IoT system |
| US10045150B2 (en) | 2015-03-30 | 2018-08-07 | Afero, Inc. | System and method for accurately sensing user location in an IoT system |
| US9717012B2 (en) | 2015-06-01 | 2017-07-25 | Afero, Inc. | Internet of things (IOT) automotive device, system, and method |
| KR101735484B1 (ko) * | 2015-06-04 | 2017-05-15 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 |
| US20160358133A1 (en) | 2015-06-05 | 2016-12-08 | Apple Inc. | User interface for loyalty accounts and private label accounts for a wearable device |
| KR20160147636A (ko) * | 2015-06-15 | 2016-12-23 | 삼성전자주식회사 | 헤드 마운티드 디스플레이 장치 |
| WO2016204433A1 (en) * | 2015-06-15 | 2016-12-22 | Samsung Electronics Co., Ltd. | Head mounted display apparatus |
| US9699814B2 (en) | 2015-07-03 | 2017-07-04 | Afero, Inc. | Apparatus and method for establishing secure communication channels in an internet of things (IoT) system |
| US9729528B2 (en) | 2015-07-03 | 2017-08-08 | Afero, Inc. | Apparatus and method for establishing secure communication channels in an internet of things (IOT) system |
| US10015766B2 (en) | 2015-07-14 | 2018-07-03 | Afero, Inc. | Apparatus and method for securely tracking event attendees using IOT devices |
| JP6407824B2 (ja) | 2015-09-01 | 2018-10-17 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
| CN105243860B (zh) * | 2015-10-27 | 2018-01-09 | 成都理想境界科技有限公司 | 一种交警背心 |
| US9793937B2 (en) | 2015-10-30 | 2017-10-17 | Afero, Inc. | Apparatus and method for filtering wireless signals |
| KR20170051013A (ko) * | 2015-11-02 | 2017-05-11 | 엘지전자 주식회사 | 테더링 형 hmd 및 그 hmd의 제어 방법 |
| US10178530B2 (en) | 2015-12-14 | 2019-01-08 | Afero, Inc. | System and method for performing asset and crowd tracking in an IoT system |
| JP6560974B2 (ja) * | 2015-12-17 | 2019-08-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および操作受付方法 |
| JP6341192B2 (ja) * | 2015-12-22 | 2018-06-13 | カシオ計算機株式会社 | 情報処理装置、制御方法及びプログラム |
| CN105898342A (zh) * | 2015-12-30 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 一种视频的多点同屏播放方法及系统 |
| US10048837B2 (en) * | 2016-02-16 | 2018-08-14 | Google Llc | Target selection on a small form factor display |
| US10356237B2 (en) * | 2016-02-29 | 2019-07-16 | Huawei Technologies Co., Ltd. | Mobile terminal, wearable device, and message transfer method |
| EP3444925B1 (en) | 2016-03-31 | 2022-04-27 | Samsung Electronics Co., Ltd. | Wireless power transmission apparatus and control method therefor |
| US10168555B1 (en) * | 2016-06-30 | 2019-01-01 | Google Llc | Wiring in a head-mountable device |
| CN106325504A (zh) * | 2016-08-16 | 2017-01-11 | 合肥东上多媒体科技有限公司 | 一种博物馆智能数字导游系统 |
| KR102157304B1 (ko) * | 2016-12-19 | 2020-09-17 | 한국전자기술연구원 | 웨어러블 장치 및 웨어러블 장치의 인터페이스 방법 |
| EP3585254B1 (en) | 2017-02-24 | 2024-03-20 | Masimo Corporation | Medical device cable and method of sharing data between connected medical devices |
| WO2018156809A1 (en) * | 2017-02-24 | 2018-08-30 | Masimo Corporation | Augmented reality system for displaying patient data |
| EP3602252A4 (en) * | 2017-03-28 | 2020-12-16 | Magic Leap, Inc. | SYSTEM OF EXTENDED REALITY WITH SPACIOUS AUDIO TIED TO A USER MANIPULATED VIRTUAL OBJECT |
| CN106959762B (zh) * | 2017-04-24 | 2019-12-31 | 英华达（上海）科技有限公司 | 虚拟现实系统及方法 |
| US10932705B2 (en) | 2017-05-08 | 2021-03-02 | Masimo Corporation | System for displaying and controlling medical monitoring data |
| US11861255B1 (en) | 2017-06-16 | 2024-01-02 | Apple Inc. | Wearable device for facilitating enhanced interaction |
| US20190007536A1 (en) * | 2017-07-03 | 2019-01-03 | Essential Products, Inc. | Handheld writing implement form factor mobile device |
| US10462345B2 (en) | 2017-08-11 | 2019-10-29 | Essential Products, Inc. | Deformable structure that compensates for displacement of a camera module of a camera accessory |
| KR102374408B1 (ko) * | 2017-09-08 | 2022-03-15 | 삼성전자주식회사 | 가상 현실에서의 포인터 제어 방법 및 전자 장치 |
| CN110494792B (zh) | 2018-03-07 | 2021-07-09 | 奇跃公司 | 外围设备的视觉跟踪 |
| WO2019176009A1 (ja) * | 2018-03-14 | 2019-09-19 | マクセル株式会社 | 携帯情報端末 |
| DK180186B1 (en) * | 2018-05-08 | 2020-07-23 | Maersk Drilling As | Augmented reality apparatus |
| US10887193B2 (en) | 2018-06-03 | 2021-01-05 | Apple Inc. | User interfaces for updating network connection settings of external devices |
| US10977867B2 (en) * | 2018-08-14 | 2021-04-13 | Goodrich Corporation | Augmented reality-based aircraft cargo monitoring and control system |
| US10893043B1 (en) | 2018-09-12 | 2021-01-12 | Massachusetts Mutual Life Insurance Company | Systems and methods for secure display of data on computing devices |
| US11227060B1 (en) * | 2018-09-12 | 2022-01-18 | Massachusetts Mutual Life Insurance Company | Systems and methods for secure display of data on computing devices |
| US11042649B1 (en) | 2018-09-12 | 2021-06-22 | Massachusetts Mutual Life Insurance Company | Systems and methods for secure display of data on computing devices |
| US11899214B1 (en) | 2018-09-18 | 2024-02-13 | Apple Inc. | Head-mounted device with virtually shifted component locations using a double-folded light path |
| JP7143736B2 (ja) * | 2018-11-20 | 2022-09-29 | トヨタ自動車株式会社 | 運転支援装置、ウェアラブル装置、運転支援方法およびプログラム |
| US11105636B2 (en) * | 2019-04-17 | 2021-08-31 | Google Llc | Radio enhanced augmented reality and virtual reality with truly wireless earbuds |
| US11340778B2 (en) | 2019-05-06 | 2022-05-24 | Apple Inc. | Restricted operation of an electronic device |
| DK201970533A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Methods and user interfaces for sharing audio |
| US11481094B2 (en) | 2019-06-01 | 2022-10-25 | Apple Inc. | User interfaces for location-related communications |
| US11477609B2 (en) | 2019-06-01 | 2022-10-18 | Apple Inc. | User interfaces for location-related communications |
| USD949159S1 (en) | 2019-06-02 | 2022-04-19 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| US11740742B2 (en) | 2019-09-23 | 2023-08-29 | Apple Inc. | Electronic devices with finger sensors |
| CN110794966B (zh) * | 2019-10-28 | 2024-04-12 | 京东方科技集团股份有限公司 | Ar显示系统及方法 |
| US10955988B1 (en) | 2020-02-14 | 2021-03-23 | Lenovo (Singapore) Pte. Ltd. | Execution of function based on user looking at one area of display while touching another area of display |
| US11281289B2 (en) * | 2020-02-21 | 2022-03-22 | Honda Motor Co., Ltd. | Content adjustment based on vehicle motion and eye gaze |
| US11550446B2 (en) | 2020-04-06 | 2023-01-10 | Samsung Electronics Co., Ltd. | Systems and methods for viewing webpages in extended reality environments |
| US20220129139A1 (en) * | 2020-10-22 | 2022-04-28 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling display of a plurality of objects on wearable display device |
| US11630639B2 (en) * | 2020-12-08 | 2023-04-18 | Samsung Electronics Co., Ltd. | Control method of electronic device using a plurality of sensors and electronic device thereof |
| CN116438503A (zh) * | 2020-12-17 | 2023-07-14 | 三星电子株式会社 | 电子装置和电子装置的操作方法 |
| CN112558836A (zh) * | 2020-12-24 | 2021-03-26 | 维沃移动通信有限公司 | 显示控制方法、装置、电子设备及介质 |
| EP4288856A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | Extended reality for productivity |
| JP2024509722A (ja) | 2021-02-08 | 2024-03-05 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるユーザ相互作用 |
| EP4295314A1 (en) | 2021-02-08 | 2023-12-27 | Sightful Computers Ltd | Content sharing in extended reality |
| US11736605B2 (en) * | 2021-04-19 | 2023-08-22 | Meta Platforms Technologies, Llc | Coordinated video streaming and messaging using a wrist-wearable device and a head-worn wearable device, and methods of use thereof |
| US11960345B2 (en) | 2021-05-25 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for controlling operational modes for XR devices for performance optimization |
| WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| US11929548B2 (en) | 2021-07-28 | 2024-03-12 | Snap Inc. | Eyewear with slot-ring antenna |
| US20230031832A1 (en) * | 2021-07-28 | 2023-02-02 | Apple Inc. | Devices, methods and graphical user interfaces for three-dimensional preview of objects |
| US20230099937A1 (en) * | 2021-09-27 | 2023-03-30 | Microsoft Technology Licensing, Llc | Optically transparent antennas on transparent substrates |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| WO2023150384A1 (en) * | 2022-02-07 | 2023-08-10 | Meta Platforms Technologies, Llc | Systems for enabling quick interactions with a user's frequent contacts from within a watch-face user interface of a wrist-wearable device, and methods of use thereof |
| US20230305788A1 (en) * | 2022-03-08 | 2023-09-28 | Google Llc | Multi-device awareness for casting and content delivery |
| CN115278380B (zh) * | 2022-06-24 | 2023-07-14 | 重庆长安汽车股份有限公司 | 弹幕在智能座舱展示的方法及装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7766517B2 (en) * | 2001-06-15 | 2010-08-03 | Apple Inc. | Active enclosure for computing device |
| WO2005122128A1 (ja) | 2004-06-10 | 2005-12-22 | Matsushita Electric Industrial Co., Ltd. | 装着型情報提示装置 |
| US20090066722A1 (en) * | 2005-08-29 | 2009-03-12 | Kriger Joshua F | System, Device, and Method for Conveying Information Using Enhanced Rapid Serial Presentation |
| US8329986B2 (en) * | 2008-12-17 | 2012-12-11 | Dow Agrosciences, Llc | Targeted integration into the Zp15 locus |
| WO2011106798A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US20110213664A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US20120038571A1 (en) * | 2010-08-11 | 2012-02-16 | Marco Susani | System and Method for Dynamically Resizing an Active Screen of a Handheld Device |
| KR101252169B1 (ko) * | 2011-05-27 | 2013-04-05 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
| US9213185B1 (en) * | 2012-01-06 | 2015-12-15 | Google Inc. | Display scaling based on movement of a head-mounted display |
| CN103312863A (zh) * | 2012-03-08 | 2013-09-18 | 中兴通讯股份有限公司 | 移动终端视频的呈现方法及装置 |
| US9908048B2 (en) * | 2013-06-08 | 2018-03-06 | Sony Interactive Entertainment Inc. | Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display |
-
2013
- 2013-09-02 KR KR20130105044A patent/KR20150026336A/ko not_active Application Discontinuation
-
2014
- 2014-08-27 EP EP14182530.7A patent/EP2843513A1/en not_active Ceased
- 2014-09-02 CN CN201410443203.8A patent/CN104423584B/zh not_active Expired - Fee Related
- 2014-09-02 US US14/475,023 patent/US9952433B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160034037A1 (en) * | 2013-10-31 | 2016-02-04 | Boe Technology Group Co., Ltd. | Display device and control method thereof, gesture recognition method, and head-mounted display device |
| US10203760B2 (en) * | 2013-10-31 | 2019-02-12 | Boe Technology Group Co., Ltd. | Display device and control method thereof, gesture recognition method, and head-mounted display device |
| KR20170054861A (ko) * | 2015-11-10 | 2017-05-18 | 삼성전자주식회사 | 웨어러블 장치 및 그 제어 방법 |
| WO2017188637A1 (ko) * | 2016-04-29 | 2017-11-02 | 주식회사 조이펀 | Vr 기기에서의 이벤트 발생에 의한 메시지 표시방법 및 그 장치 |
| KR20180107782A (ko) * | 2016-05-25 | 2018-10-02 | 칭다오 고어텍 테크놀로지 컴파니 리미티드 | 가상현실 헬멧 및 그 사용 방법 |
| US10841567B2 (en) | 2016-05-25 | 2020-11-17 | Qingdao Goertek Technology Co., Ltd. | Virtual reality helmet and method for using same |
| KR20190023398A (ko) * | 2017-08-29 | 2019-03-08 | 엘지디스플레이 주식회사 | 디스플레이 장치와 그 구동 방법 및 멀티 디스플레이 시스템 |
| WO2022085940A1 (ko) * | 2020-10-22 | 2022-04-28 | 삼성전자 주식회사 | 웨어러블 표시 장치에 복수의 오브젝트들 표시 제어 방법 및 장치 |
| KR102290328B1 (ko) * | 2020-11-16 | 2021-08-18 | 코리아에프티 주식회사 | 영상 출력 장치 |
| WO2022102996A1 (ko) * | 2020-11-16 | 2022-05-19 | 코리아에프티 주식회사 | 영상 출력 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150067580A1 (en) | 2015-03-05 |
| CN104423584A (zh) | 2015-03-18 |
| CN104423584B (zh) | 2017-12-15 |
| US9952433B2 (en) | 2018-04-24 |
| EP2843513A1 (en) | 2015-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20150026336A (ko) | 웨어러블 디바이스 및 그 컨텐트 출력 방법 | |
| US10330940B1 (en) | Content display methods | |
| KR102063895B1 (ko) | 서버, 사용자 단말 장치 및 그 제어 방법 | |
| US9618747B2 (en) | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data | |
| US11921293B2 (en) | Head-mounted display, head-mounted display linking system, and method for same | |
| EP2813922B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| EP3072010B1 (en) | Systems and methods for performing multi-touch operations on a head-mountable device | |
| JP2015125502A (ja) | 画像処理装置及び画像処理方法、表示装置及び表示方法、コンピューター・プログラム、並びに画像表示システム | |
| US20160112501A1 (en) | Transferring Device States Between Multiple Devices | |
| KR20220070292A (ko) | 자동화된 안경류 디바이스 공유 시스템 | |
| US20150185971A1 (en) | Ring-Based User-Interface | |
| US20230350206A1 (en) | Eyewear device dynamic power configuration | |
| CN111510757A (zh) | 一种共享媒体数据流的方法、装置以及系统 | |
| US20220191577A1 (en) | Changing Resource Utilization associated with a Media Object based on an Engagement Score | |
| KR102140077B1 (ko) | 서버, 사용자 단말 장치 및 그 제어 방법 | |
| KR101695695B1 (ko) | 이동단말기 및 그 제어방법 | |
| US9811160B2 (en) | Mobile terminal and method for controlling the same | |
| KR20160134334A (ko) | 이동 단말기 및 이의 제어방법 | |
| WO2023040562A1 (zh) | 信息显示方法、近眼显示设备以及电子设备 | |
| WO2022123663A1 (ja) | 画像表示装置および画像表示方法 | |
| US20240094977A1 (en) | Field of vision audio control for physical or mix of physical and extended reality media displays in a spatially mapped space | |
| US20210349310A1 (en) | Highly interactive display environment for gaming | |
| KR20230012196A (ko) | 가상공간과 현실공간 연결 서비스 서버, 사용자 단말 장치 및 그 제어 방법 | |
| KR20170042164A (ko) | 이동단말기 및 그 제어방법 | |
| EP4352966A1 (en) | Device with dynamic transcode throttling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E601 | Decision to refuse application |