KR20150137828A - 데이터 처리 방법 및 그 전자 장치 - Google Patents

데이터 처리 방법 및 그 전자 장치 Download PDF

Info

Publication number
KR20150137828A
KR20150137828A KR1020140066386A KR20140066386A KR20150137828A KR 20150137828 A KR20150137828 A KR 20150137828A KR 1020140066386 A KR1020140066386 A KR 1020140066386A KR 20140066386 A KR20140066386 A KR 20140066386A KR 20150137828 A KR20150137828 A KR 20150137828A
Authority
KR
South Korea
Prior art keywords
electronic device
display
wearable device
hmt
detection information
Prior art date
Application number
KR1020140066386A
Other languages
English (en)
Other versions
KR102229890B1 (ko
Inventor
신현석
허창룡
손동일
윤용상
조치현
최종철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140066386A priority Critical patent/KR102229890B1/ko
Priority to US14/724,087 priority patent/US10365882B2/en
Priority to PCT/KR2015/005408 priority patent/WO2015183033A1/en
Priority to EP15798739.7A priority patent/EP3149598B1/en
Priority to CN201580028946.1A priority patent/CN106415510B/zh
Publication of KR20150137828A publication Critical patent/KR20150137828A/ko
Application granted granted Critical
Publication of KR102229890B1 publication Critical patent/KR102229890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Abstract

본 발명의 한 실시 예에 따르면, 전자 장치의 동작 방법에 있어서, 다른 전자 장치와 연결하여 특정 모드로 변경하는 동작과, 적어도 하나의 웨어러블 장치로 상기 특정 모드로의 변경 요청 정보를 전송하는 동작과, 상기 웨어러블 장치로부터 검출 정보를 수신하는 동작과, 상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 포함할 수 있다.. 전자 장치의 동작 방법에 있어서 상술한 방법에 한정하지 않고 본 발명의 동일 또는 유사한 범위에서 다른 실시 예가 가능하다.

Description

데이터 처리 방법 및 그 전자 장치{METHOD FOR PROCESSING DATA AND AN ELECTRONIC DEVICE THEREOF}
본 발명의 다양한 실시 예는 전자 장치에서 수신한 데이터를 처리하는 방법 및 그 전자 장치에 관한 것이다.
전자 장치(예: 스마트 폰)와 근거리 무선 통신으로 연결 되는 웨어러블 장치(예: 스마트 와치, 스마트 밴드)가 등장하고 있으며, 이러한 웨어러블 장치를 통해 각종 알림 서비스, 콜 서비스, 이메일/SNS 확인 기능, 운동량 측정 서비스 등 새로운 사용자 경험(UX: User Experience)을 제공해 주고 있다.
전자 장치는 두부 장착형 전자 장치(예: head mounted display, HMD)를 통해서 보여지는 영상의 소스를 제공하는 장치로 사용될 수 있다. 두부 장착형 전자 장치는 사용자의 두부에 장착되어 사용자의 눈 앞(예: 사용자의 시선)에 대형 스크린을 표시할 수 있고 또는 입체 영상을 출력할 수도 있다.
전자 장치의 화면을 사용자 눈 앞에 위치시켜 대형의 가상 공간을 제공해주는 모드(예: HMT(Head Mounted Theater) 모드, 가상 현실(Virtual Reality) 모드 또는 증강 현실(Augmented Reality) 모드)로 사용시 전자 장치는 HMT를 위한 거치대(frame)에 장착될 수 있고, 기본 입력 기능(예: 터치, 모션 센싱 입력, 마이크 입력 등)이 제약될 수 있다. 또한, 사용자는 전자 장치에서 출력하는 영상 만을 보는 see-closed 환경에 있어 외부의 웨어러블 장치(예: 스마트 와치, 스마트 밴드 등 웨어러블 장치)를 볼 수가 없으므로 웨어러블 장치에 의해 보여주는 정보 및 입력 기능들은 불필요해 질 수 있다.
본 발명의 다양한 실시 예에 따르면, HMT 모드에서 웨어러블 장치를 이용하여 전자 장치의 입력이 제한되는 문제를 해결할 수 있다. 또한, HMT 모드시 웨어러블 장치가 사용자 입력에 대한 불필요한 동작(예: 디스플레이 On)을 수행하지 않도록 함으로써 전류소모를 줄이는 효과도 가져올 수 있다.
본 발명의 다양한 실시 예에 따르면, 전자 장치의 동작 방법에 있어서, 다른 전자 장치와 연결하여 특정 모드로 변경하는 동작과, 적어도 하나의 웨어러블 장치로 상기 특정 모드로의 변경 요청 정보를 전송하는 동작과, 상기 웨어러블 장치로부터 검출 정보를 수신하는 동작과, 상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면 전자 장치에 있어서, 웨어러블 장치와 통신하는 통신 인터페이스 및 다른 전자 장치와 연결하여 특정 모드로 변경하고, 적어도 하나의 웨어러블 장치로 상기 특정 모드로의 변경 요청 정보를 전송하도록 제어하고, 상기 웨어러블 장치로부터 검출 정보를 수신하도록 제어하고, 상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 포함하는 적어도 하나의 프로세서를 포함할 수 있다.
다양한 실시 예에 따르면, 전자 장치(예: 스마트폰)와 유선 또는 무선 중 적어도 하나의 네트워크로 연결된 웨어러블 장치(예: 스마트 와치)에 있어, 전자 장치를 HMT 모드로 사용하기 위해 사용자 눈 앞에 위치시키는 경우 발생하는 사용자 입력의 제약을 해결할 수 있으며, 웨어러블 장치가 불필요한 동작으로 배터리 전원을 소비하는 것을 막을 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 블록 도면이다.
도 3은 다양한 실시 예에 따른 전자 장치가 연결되는 HMT 장치에 대한 도면이다.
도 4는 다양한 실시 예에 따른 전자 장치 및 HMT 장치를 기반으로 동작하는 HMT 모드를 도시하는 도면이다.
도 5는 다양한 실시 예에 따른 HMT 모드의 전자 장치에서 디스플레이의 화면을 구성하는 도면이다.
도 6a 및 도 6b는 다양한 실시 예에 따른 전자 장치에서 웨어러블 장치와 송수신하는 데이터를 도시한 도면이다.
도 7a 내지 도 7c는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 8은 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 9는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 10a 및 도 10b는 다른 전자 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 11은 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 12는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 13은 다양한 실시 예를 수행하는 전자 장치에서 HMT 모드를 실행할 적어도 하나의 웨어러블 장치를 설정하는 동작을 도시하는 도면이다.
도 14는 다양한 실시 예를 수행하는 전자 장치에서 프로세서의 동작을 도시하는 도면이다.
도 15는 다양한 실시 예를 수행하는 전자 장치에서 HMT 모드의 동작을 수행하는 흐름도이다.
도 16은 다양한 실시 예를 수행하는 웨어러블 장치에서 HMT 모드의 동작을 수행하는 흐름도이다.
도 17은 다양한 실시 예에 따른 전자 장치의 모드 변경 정보를 기반으로 HMT 모드를 수행하는 웨어러블 장치에 대한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예를 설명한다.
본 발명의 실시 예는 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예가 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호를 사용할 수 있다.
본 발명의 다양한 실시 예 가운데 사용될 수 있는“포함한다” 또는 “포함할 수 있다” 등의 표현은 개시된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시 예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시 예에서 ‘또는’ 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, ‘A 또는 B’는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시 예에서 ‘제 1’, ’제 2’, ’첫째’ 또는 ’둘째’등의 표현들이 본 발명의 다양한 구성 요소들을 수식할 수 있지만, 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 또한, 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다.
본 발명의 다양한 실시 예에서 어떤 구성요소가 다른 구성요소에 ‘연결되어’ 있다거나 ‘접속되어’ 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 ‘직접 연결되어’ 있다거나 ‘직접 접속되어’ 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시 예에서 사용한 용어는 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다른 것으로 명시하지 않는 한 복수의 표현을 포함할 수 있다. 또한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 통신 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 통신 기능을 포함한 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 두부 장착 디스플레이(head-mounted-device, HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch)), 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇, 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector) 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 1을 참조하면, 전자 장치 101는 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160 및 HMT 제어 모듈 170 중에서 적어도 하나를 포함할 수 있다.
버스 110는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신 신호(예: 제어 메시지)를 전달하는 회로일 수 있다.
프로세서 120는, 예를 들면, 버스 110를 통해 전술한 다른 구성요소들(예: 메모리 130, 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160, 또는 HMT 제어 모듈 170)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
메모리 130(예: 메모리 230)는, 프로세서 120 또는 다른 구성요소들(예: 입출력 인터페이스 140, 디스플레이 150, 통신 인터페이스 160, 또는 HMT 제어 모듈 170 등)로부터 수신되거나 프로세서 120 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 메모리 130는, 예를 들면, 커널 131, 미들웨어 132, 어플리케이션 프로그래밍 인터페이스(API: application programming interface) 133 또는 어플리케이션 134 등의 프로그래밍 모듈들을 포함할 수 있다. 상술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
커널 131은 나머지 다른 프로그래밍 모듈들, 예를 들면, 미들웨어 132, API 133 또는 어플리케이션 134에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 131은 미들웨어 132, API 133 또는 어플리케이션 134이 전자 장치 101의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 132는 API 133 또는 어플리케이션 134이 커널 131과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어 132는 어플리케이션 134로부터 수신된 작업 요청들과 관련하여, 예를 들면, 어플리케이션 134 중 적어도 하나의 어플리케이션에 전자 장치 101의 시스템 리소스(예: 버스 110, 프로세서 120 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 제어(예: 스케쥴링 또는 로드 밸런싱)을 수행할 수 있다.
API 133는 어플리케이션 134이 커널 131 또는 미들웨어 132에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다.
어플리케이션 134은 전자 장치 101와 외부 전자 장치(예: 전자 장치 102, 전자 장치 103 또는 전자 장치 104) 사이의 정보 교환과 관련된 어플리케이션일 수 있다. 정보 교환과 관련된 어플리케이션은, 예를 들어, 외부 전자 장치에 특정 정보를 전달하기 위한 알림 전달(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다. 다양한 실시 예에 따르면, 어플리케이션 134은 외부 전자 장치(예: 전자 장치 102, 전자 장치 103 또는 전자 장치 104)의 속성(예: 전자 장치의 종류)에 따라 추가적으로 지정된 어플리케이션을 포함할 수 있다.
입출력 인터페이스 140은, 센서(예: 가속도 센서, 자이로 센서) 또는 입력 장치(예: 키보드 또는 터치 스크린)를 통하여 사용자로부터 입력된 명령 또는 데이터를, 예를 들면, 버스 110를 통해 프로세서 120, 메모리 130, 통신 인터페이스 160, 또는 HMT 제어 모듈 170에 전달할 수 있다. 예를 들면, 입출력 인터페이스 140은 터치 스크린을 통하여 입력된 사용자의 터치에 대한 데이터를 프로세서 120로 제공할 수 있다. 또한, 입출력 인터페이스 140은, 예를 들면, 버스 110을 통해 프로세서 120, 메모리 130, 통신 인터페이스 160, 또는 HMT 제어 모듈 170로부터 수신된 명령 또는 데이터를 출력 장치(예: 스피커 또는 디스플레이)를 통하여 출력할 수 있다. 예를 들면, 입출력 인터페이스 140은 프로세서 120를 통하여 처리된 음성 데이터를 스피커를 통하여 사용자에게 출력할 수 있다.
디스플레이 150은 사용자에게 각종 정보(예: 멀티미디어 데이터 또는 텍스트 데이터 등)을 표시할 수 있다. 또한 디스플레이 150은 입력 수단을 디스플레이에 터치 또는 근접 터치하여 명령을 입력하는 터치 스크린으로 구성될 수도 있다.
통신 인터페이스 160(예: 통신 모듈 120)은 전자 장치 101와 외부 장치(예: 전자 장치 102, 전자 장치 103, 전자 장치 104 또는 서버 106) 간의 통신을 연결할 수 있다. 예를 들면, 통신 인터페이스 160은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 외부 장치와 통신할 수 있다. 무선 통신은, 예를 들어, Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등) 중 적어도 하나를 포함할 수 있다. 유선 통신은, 예를 들어, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 중 적어도 하나를 포함할 수 있다.
본 발명의 한 실시 예에 따르면, 네트워크 162는 통신 네트워크(telecommunications network)일 수 있다. 통신 네트워크는 컴퓨터 네트워크(computer network), 인터넷(internet), 사물 인터넷(internet of things) 또는 전화망(telephone network) 중 적어도 하나를 포함할 수 있다. 한 실시 예에 따르면, 전자 장치 101와 외부 장치 간의 통신을 위한 프로토콜(예: transport layer protocol, data link layer protocol 또는 physical layer protocol))은 어플리케이션 134, 어플리케이션 프로그래밍 인터페이스 133, 미들웨어 132, 커널 131 또는 통신 인터페이스 160 중 적어도 하나에서 지원될 수 있다.
본 발명의 다양한 실시 예에 따르면, HMT 제어 모듈 170은 전자 장치와 기능적으로 연결된 제 2 전자 장치로부터 검출 정보를 수신하고, 검출 정보에 대응하는 전자 장치의 기능을 수행하고, 전자 장치와 기능적으로 연결된 제 3 전자 장치를 통해 전자 장치의 기능의 수행을 영상으로 출력하도록 제어할 수 있다.
HMT 제어 모듈 170은 제 2 전자 장치의 가속도 센서, 중력 센서, 자이로 센서, 기울기 센서, 조도 센서 중 적어도 하나를 통해서 획득한 센싱 정보를 검출 정보로 결정할 수 있다. HMT 제어 모듈 170은, 제 3 전자 장치를 통해서 출력하는 기능에 대응하여 화면을 움직여서 기능을 수행할 수 있다. HMT 제어 모듈 170은, 화면의 구도를 이동, 중인, 줌아웃. 화면에 표시된 페이지의 스크롤 중에서 적어도 하나를 수행하여 화면의 구도를 움직일 수 있다. HMT 제어 모듈 170은, 검출 정보를 기반으로 제 2 전자 장치의 기능을 전자 장치에서 수행할 수 있다. HMT 제어 모듈 170은, 검출 정보를 기반으로 전자 장치의 특정 기능을 수행하도록 지정된 입력을 제 2 전자 장치에서 입력하여 전자 장치에서 수행할 수 있다. HMT 제어 모듈 170은, 제 2 장치의 터치 스크린에서 검출하는 터치 입력을 검출 정보로 결정할 수 있다. HMT 제어 모듈 170은, 제 2 전자 장치의 터치 스크린에서 검출하는 제 1 좌표를 전자 장치의 디스플레이에 대응하는 제 2 좌표로 결정하고, 제 2 좌표에 포인팅 객체를 표시하는 동작을 제 3 전자 장치를 통해서 출력할 수 있다. HMT 제어 모듈 170은, 전자 장치와 기능적으로 연결된 제 4 전자 장치로부터 제 2 검출 정보를 수신하고, 검출 정보 및 제 2 검출 정보에 대응하는 전자 장치의 기능을 수행할 수 있다. HMT 제어 모듈 170은, 사용자의 두부에 착용된 제 3 전자 장치를 통해서 전자 장치에서 수행하는 동작을 입체 영상으로 출력할 수 있다. HMT 제어 모듈 170의 동작은 하나 또는 그 이상의 프로세서 120이 수행하는 것일 수 있고, 또는 프로세서 120의 제어를 기반으로 HMT 제어 모듈 170이 수행할 수도 있다.
전자 장치 102 또는 전자 장치 103은 전자 장치 101과 동일 또는 유사한 하드웨어 구성을 포함할 수 있고, 또는 전자 장치 101이 포함하지 않은 적어도 하나의 구성을 더 포함할 수도 있다. 전자 장치 102는 사용자의 신체 일부에 착용 가능한 장치일 수 있고, 이하에서 설명하는 전자 장치 102는 스마트 와치 또는 스마트 밴드로 설명할 수 있다. 전자 장치 102 또는 전자 장치 103은 다른 전자 장치(예: 전자 장치 101)와 연결됨에 있어서 통신 인터페이스(미도시, 전자 장치의 통신 인터페이스 160 참조)를 통해서 다른 전자 장치와 연결할 수 있고, 또는 네트워크 162를 통해서 연결될 수 있다. 이하에서 전자 장치 102는 웨어러블 장치 102(또는 착용 가능한 장치 102)로 표현할 수 있다.
도 2는, 본 발명의 다양한 실시 예들에 따른 전자 장치의 블록 도면이다.
전자 장치 201은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 구성할 수 있고, 또는 전자 장치 101의 전체 또는 일부의 구성을 확장할 수 있다. 도 2를 참조하면, 전자 장치 201는 적어도 하나의 프로세서 210, 통신 모듈 220, SIM(subscriber identification module) 카드 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력관리 모듈 295, 배터리 296, 인디케이터 297 및 모터 298 를 포함할 수 있다.
프로세서 210은 전자 장치 101에 적어도 하나 이상 포함되어 전자 장치 101의 지정된 기능을 수행할 수 있다. 한 실시 예에 따르면, 프로세서 210은 하나 이상의 어플리케이션 프로세서(AP: application processor) 및 하나 이상의 마이크로 컨트롤러(MCU: micro controller unit))을 포함할 수 있다. 다른 실시 예에 따르면, 프로세서 210은 어플리케이션으로서 하나 이상의 마이크로 컨트롤러를 포함하거나, 하나 이상의 마이크로 컨트롤러와 기능적으로 연결될 수 있다. 도 1에서는, AP와 MCU는 하나의 IC 패키지에 포함될 수 있고, 별도로 구성되어 서로 다른 IC 패키지 내에 각각 포함될 수 있다. 한 실시 예에 따르면, MCU는 AP의 IC 패키지에 포함되어 하나의 IC 패키지로 구성될 수도 있다. 프로세서 210의 구성 요소로 AP 또는 MCU를 포함하는 것으로 도시하고 있지만 이는 명확한 이해를 위한 실시 예로서, 프로세서 210이 AP 및/또는 MCU 동작을 수행할 수도 있음은 자명하다.
AP는 운영체제 또는 응용 프로그램(또는 어플리케이션)을 구동하여 AP에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. AP는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 프로세서 210은 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
MCU는 지정된 동작을 수행하도록 설정된 프로세서일 수 있다. 한 실시 예에 따르면, MCU는 하나 이상의 지정된 모션 센서(예: 자이로 센서 140b, 가속도 센서 140e 또는 지자기 센서 140p)를 통해서 센싱 정보를 획득할 수 있고, 획득한 센싱 정보를 비교할 수 있고, 전자 장치 101의 데이터베이스를 참고하여 지정된 센서(예: 지자기 센서 140p)의 동작 상태를 결정할 수 있다. 더하여, 도 1에서는, MCU와 센서 모듈 140의 구성요소들이 MCU와 별개의 구성요소로 도시되어 있으나, 한 실시 예에 따르면, MCU가 전술한 센서 모듈 140의 구성요소들의 적어도 일부(예: 자이로 센서 140b, 가속도 센서 140e 및 지자기 센서 140p 중에서 적어도 하나)를 포함하도록 구현될 수 있다.
한 실시 예에 따르면, AP 또는 MCU는 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP 또는 MCU는 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈 120은 전자 장치 101과 네트워크를 통해 연결된 다른 전자 장치들(예: 전자 장치 102, 전자 장치 103, 전자 장치 104 또는 서버 106) 간의 통신에서 데이터 송수신을 수행할 수 있다. 한 실시 예에 따르면, 통신 모듈 220은 셀룰러 모듈 221, Wifi 모듈 223, BT 모듈 225, GPS 모듈 227, NFC 모듈 228 및 RF(radio frequency) 모듈 229를 포함할 수 있다.
셀룰러 모듈 221은 통신망(예: LTE, LTE-A, CDMA, WCDMA, UMTS, WiBro 또는 GSM 등)을 통해서 음성 통화, 영상 통화, 문자 서비스 또는 인터넷 서비스 등을 제공할 수 있다. 또한, 셀룰러 모듈 221은, 예를 들면, 가입자 식별 모듈(예: SIM 카드 224)을 이용하여 통신 네트워크 내에서 전자 장치의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈 221은 AP 210가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 예를 들면, 셀룰러 모듈 221은 멀티 미디어 제어 기능의 적어도 일부를 수행할 수 있다.
본 발명의 한 실시 예에 따르면, 셀룰러 모듈 221은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다. 또한, 셀룰러 모듈 221은, 예를 들면, SoC로 구현될 수 있다. 도 2에서는 셀룰러 모듈221(예: 커뮤니케이션 프로세서), 메모리 230 또는 전력관리 모듈 295 등의 구성요소들이 AP 210와 별개의 구성요소로 도시되어 있으나, 한 실시 예에 따르면, AP 210가 전술한 구성요소들의 적어도 일부(예: 셀룰러 모듈221)를 포함하도록 구현될 수 있다.
본 발명의 한 실시 예에 따르면, AP 210 또는 셀룰러 모듈 221(예: 커뮤니케이션 프로세서)은 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, AP 210 또는 셀룰러 모듈 221은 다른 구성요소 중 적어도 하나로부터 수신하거나 다른 구성요소 중 적어도 하나에 의해 생성된 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
Wifi 모듈 223, BT 모듈 225, GPS 모듈 327 또는 NFC 모듈 228 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 도 2에서는 셀룰러 모듈 221, Wifi 모듈 223, BT 모듈 225, GPS 모듈 227 또는 NFC 모듈 228이 각각 별개의 블록으로 도시되었으나, 한 실시 예에 따르면, 셀룰러 모듈 221, Wifi 모듈 223, BT 모듈 225, GPS 모듈 227 또는 NFC 모듈 228 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. 예를 들면, 셀룰러 모듈 221, Wifi 모듈 223, BT 모듈 225, GPS 모듈 227 또는 NFC 모듈 228 각각에 대응하는 프로세서들 중 적어도 일부(예: 셀룰러 모듈 221에 대응하는 커뮤니케이션 프로세서 및 Wifi 모듈 223에 대응하는 Wifi 프로세서)는 하나의 SoC로 구현될 수 있다.
RF 모듈 229는 데이터의 송수신, 예를 들면, RF 신호의 송수신을 할 수 있다. 상기RF 모듈 229는, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, RF 모듈 229는 무선 통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다. 도 2에서는 셀룰러 모듈 221, Wifi 모듈 223, BT 모듈 225, GPS 모듈 227 및 NFC 모듈 228이 하나의 RF 모듈 229을 서로 공유하는 것으로 도시되어 있으나, 한 실시 예에 따르면, 셀룰러 모듈 221, Wifi 모듈 223, BT 모듈 225, GPS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호의 송수신을 수행할 수 있다.
SIM 카드 224는 가입자 식별 모듈을 포함하는 카드일 수 있으며, 전자 장치의 특정 위치에 형성된 슬롯에 삽입될 수 있다. SIM 카드 224는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 230(예: 메모리 130)는 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 내장 메모리 232는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 내장 메모리 232는 Solid State Drive (SSD)일 수 있다. 외장 메모리 234는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 외장 메모리 234는 다양한 인터페이스를 통하여 전자 장치 201과 기능적으로 연결될 수 있다. 한 실시 예에 따르면, 전자 장치 201는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
센서 모듈 240은 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 240은, 예를 들면, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, color 센서 240H(예: RGB(red, green, blue) 센서), 생체 센서 240I, 온/습도 센서 240J, 조도 센서 240K 또는 UV(ultra violet) 센서 240M중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈 240은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시), IR(infra red) 센서(미도시), 홍채 센서(미도시) 또는 지문 센서(미도시) 등을 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
입력 장치250은 터치 패널(touch panel) 252, (디지털) 펜 센서(pen sensor) 254, 키(key) 256 또는 초음파(ultrasonic) 입력 장치 258를 포함할 수 있다. 터치 패널 252은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 검출할 수 있다. 또한, 터치 패널 252은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 검출이 가능하다. 터치 패널 252은 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패널 252은 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서 254는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 검출용 쉬트(sheet)를 이용하여 구현될 수 있다. 키 256는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 초음파(ultrasonic) 입력 장치 258는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치 201에서 마이크(예: 마이크 288)로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 검출이 가능하다. 한 실시 예에 따르면, 전자 장치 201는 통신 모듈 220를 이용하여 이와 연결된 외부 장치(예: 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
디스플레이 260(예: 디스플레이 150)은 패널 262, 홀로그램 장치 264 또는 프로젝터 266을 포함할 수 있다. 패널 262은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 패널 262은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널 262은 터치 패널 252과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치 264은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 266는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 디스플레이 260은 패널 262, 홀로그램 장치 264, 또는 프로젝터 266를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스 270는, 예를 들면, HDMI(high-definition multimedia interface) 372, USB(universal serial bus) 274, 광 인터페이스(optical interface) 276 또는 D-sub(D-subminiature) 278를 포함할 수 있다. 인터페이스 270는, 예를 들면, 도 1에 도시된 통신 인터페이스 160에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스 270는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD(secure Digital) 카드/MMC(multi-media card) 인터페이스 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈280은 소리(sound)와 전기신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1에 도시된 입출력 인터페이스 140에 포함될 수 있다. 오디오 모듈280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 카메라 모듈 291은, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈(미도시), ISP(image signal processor, 미도시) 또는 플래쉬 (flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
전력 관리 모듈 295은, 전자 장치 201의 전력을 관리할 수 있고, 또한 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다.
한 실시 예에 따르면, 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로 또는 정류기 등의 회로가 추가될 수 있다.
배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 배터리 296는 전기를 저장 또는 생성할 수 있고, 그 저장 또는 생성된 전기를 이용하여 전자 장치 201에 전원을 공급할 수 있다. 배터리 296는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터 297는 전자 장치 201 혹은 그 일부(예: AP 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태(SOC: State Of Charge) 등을 표시할 수 있다. 모터 298는 전기적 신호를 기계적 진동으로 변환할 수 있다. 도시되지는 않았으나, 전자 장치 201는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 전술한 구성 요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명의 다양한 실시 예에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명의 다양한 실시 예에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
이하에서, 전자 장치 101에서 수신한 제어 정보를 기반으로 수신한 제어 정보에 대응하는 기능을 수행하여 전자 장치 101의 디스플레이 150에서 표시하는 동작에 대한 다양한 실시 예를 설명할 수 있다.
도 3은 다양한 실시 예에 따른 전자 장치가 연결되는 HMT 장치에 대한 도면이다.
전자 장치 101은 기능적으로 연결(예: USB와 같은 특정 통신 방식으로 연결)된 영상 처리 장치(예: head mounted theater device, HMT device)를 통해서 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 (광학적으로 처리하여)사용자의 눈 앞에 표현된 것으로 표시할 수 있다. 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 전자 장치 101과 기능적으로 연결된 영상 처리 장치(예: HMT device, 이하 영상 처리 장치)를 통해서 출력하는 기술은 증강 현실(augmented reality) 기술 또는 가상 현실(virtual reality) 기술의 적어도 일부를 구현한 기법을 사용할 수 있다. 본 발명에 표현되는 HMT 장치는 두부 장착 디스플레이(예: head mounted display, HMD)와 동일 또는 유사한 카테고리에 포함되는 장치일 수도 있다.
HMT 장치를 구현하기 위한 다양한 방법들이 있으나 설명의 편의성을 위해 도3 와 같은 형태를 가진 구조를 실시예로 설명한다. 실시예에 따르면 HMT 장치 103은 두부에 장착 가능한 특정 기구물(프레임, 또는 본체)에 전자 장치 101을 장착하고, USB와 같은 유선 통신 또는 와이파이, 블루투스와 같은 무선 통신 등을 이용하여 연결할 수 있다. HMT 장치 103은 상기 기구물에 연결된 전자 장치 101의 디스플레이 150에 표시되는 영상을 HMT 장치 103에 구성된 적어도 하나의 렌즈 303을 통해서 사용자에게 전달할 수 있다.
도 3을 참조하면, HMT 장치 103은 프레임 301, 전자 장치 101을 프레임 301에 고정하기 위한 커버 309 및 프레임에 연결되어 사람의 신체 일부분에 착용할 수 있는 착용부재 311로 구성할 수 있고, 전자 장치 101은 프레임에 착탈 가능하도록 구성할 수 있다. 프레임 301과 커버 309는 도 3과 같이 분리되어 구성할 수 있지만 이에 한정하지 않고, 프레임과 커버가 일체형으로 구성된 상태에서 전자 장치 101을 밀어 넣어(예: 슬라이드 방식) 장착할 수도 있다.
프레임 301은 다양한 구성요소에 의해 사용자의 신체 일부에 착용될 수 있다. 예를 들면, 착용부재 311는 탄성 소재로 형성된 밴드를 이용하여 프레임 301이 사용자의 얼굴의 눈 주위로 밀착되게 할 수 있고, 착용부재 311은 안경 다리(eyeglass temples), 헬멧(helmets) 또는 스트랩(straps) 등으로 구성될 수 있다. 프레임 301은 터치 패널, 디스플레이 위치 조정부 305 또는 렌즈 조정부(미도시) 중에서 적어도 하나를 프레임 301의 외부 표면에 포함할 수 있다. 프레임 301은 전자 장치 101은 결합할 수 있는 공간이나 구조를 포함할 수 있고, 프레임 301은 전자 장치 101을 결합하고 통신할 수 있도록 커넥터(connector)를 더 포함할 수 있다. 프레임 301은 측면에 전자 장치 101를 컨트롤 하기 위한 컨트롤 장치를 포함할 수 있다. 상기 컨트롤 장치는 예를 들어, 터치패드, 조이스틱, 버튼, 휠(wheel)키 또는 터치 패널 등 중에 적어도 하나로 구성될 수 있다. 터치패드는 전자 장치 101의 기능을 제어(예: 음향 또는 영상을 제어)할 수 있는 그래픽 사용자 인터페이스(Graphical User Interface, GUI)를 표시할 수 있다.
프레임 301의 일면은 사용자가 착용할 수 있게 얼굴 형상으로 곡면 구조를 가질 수 있다. 프레임 301의 일 면은 코 형상의 홈(nose recess)을 포함할 수 있고, 사용자가 눈으로 디스플레이 장치(예: 전자 장치 101의 디스플레이 150)를 볼 수 있도록 프레임 301의 외부로 렌즈의 적어도 일부를 통해서 노출될 수 있다. 프레임 301은 사용자가 착용하기 용이하도록 가벼운 재료(예를 들어, 플라스틱)로 구성될 뿐만 아니라 강도 보완 또는 외관의 미려함을 높이기 위한 재료(예를 들어, 유리, 세라믹, 금속(예. 알루미늄) 또는 금속 합금(예, 강철, 스테인레스강, 티타늄 또는 마그네슘 합금)) 중 적어도 하나로 구성될 수 있다.
프레임 301의 일면은 전자 장치 101이 결합될 수 있는 공간 또는 공동을 포함하도록 구성될 수 있고, 프레임 301의 공간은 탄성 소재를 이용하거나 구조적으로 크기가 변형되어 전자 장치 101의 크기와 관계없이 전자 장치 101과 결합될 수 있도록 크기가 변형될 수 있다.
상술한 HMT 장치 103을 기반으로 사용자가 프레임에 전자 장치 101을
장착하는 다양한 방법을 설명할 수 있다. 먼저 프레임 301 상에 전자 장치 101이 안착할 수 있는 공간에 전자 장치 101를 위치시키고 프레임 103의 공간에 안착된 전자 장치 101를 슬라이딩 시켜 커넥터와 결합할 수 있다.
HMT 장치 103은 전자 장치 101를 좀 더 안정적으로 고정하기 위해 별도의 커버 309를 더 구비할 수 있다. 커버를 구비한 HMT 장치 103에 전자 장치 101을 장착하는 방법으로 상술한 결합 동작을 수행하고, 전자 장치 101를 체결하기 위해 미리 분리해둔 커버 309를 프레임에 체결할 수 있다. 상술한 방법으로 커버 309를 통해 사용자의 움직임에 의해 전자 장치 101가 HMT 장치 103의 프레임 301로부터 분리되어 전자 장치 101가 파손되는 것을 막을 수 있고, 외부 충격으로부터 전자 장치 101를 보호 할 수 있다.
다양한 실시 예에 따르면, HMT 장치 103에서 프레임 301의 적어도 일 측면에 전자 장치 101를 삽입할 수 있는 슬롯(slot)을 포함할 수 있고, 슬롯을 통해 전자 장치 101을 결합할 수 있다. 한 실시 예에 따르면, 프레임 301의 측면에 포함된 슬롯(slot)으로 전자 장치 101를 미끄러지듯이 프레임에 삽입할 수 있고, 슬롯을 통해 삽입된 전자 장치 101을 내부 커넥터에 체결할 수 있다.
다양한 실시 예에 따르면, HMT 장치 103은 프레임 301의 측 면에 HMT 장치 103을 제어 하기 위한 제어 장치를 포함할 수 있다. 제어 장치는 예를 들어, 터치 패널, 버튼, 휠 키 또는 터치패드 등 중에 적어도 하나로 구성될 수 있다. 터치 패널은 사용자의 터치 입력(직접 터치하는 입력 또는 호버링(hovering) 입력)을 수신할 수 있다. 전자 장치 101과 프레임 301은 USB 등의 인터페이스를 이용하여 연결될 수 있고, 터치 패널이 수신한 터치 입력을 전자 장치 101에 전송할 수 있다. 전자 장치 101은 터치 패널에서 수신한 터치 입력에 응답하여 터치 입력에 대응하는 기능을 제어할 수 있다. 예를 들어, 전자 장치 101은 수신한 터치 입력에 응답하여 음량을 조절하거나 영상 재생을 제어할 수 있다.
HMT 장치 103의 프레임 301은 크게 제어부(MCU), 통신부(통신모듈), 센서부(센서 모듈), 입력부(입력장치), 전원장치(전력관리 모듈), 시선추적부(Eye tracker), 모터(Vibrator), 초점 조절부(Ajustable optics)로 구성될 수 있다.
제어부(MCU)는 운영체제 또는 임베디드 S/W 프로그램을 구동하여 상기 제어부에 연결된 다수의 하드웨어 구성요소들을 제어할 수 있다.
통신부는 HMT 장치 103의 프레임 301과 전자 장치 101을 유/무선 통신을 이용하여 연결할 수 있고, 데이터 송수신을 수행할 수 있다. 한 실시 예에 따르면, 통신부는 USB 모듈, WiFi 모듈, BT 모듈, NFC 모듈, GPS 모듈 중 적어도 하나를 포함할 수 있다. 한 실시 예에 따르면, WiFi 모듈, BT 모듈, GPS 모듈 또는 NFC 모듈 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
센서부는 물리량을 계측하거나 HMT 장치 301의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 한 실시 예에 따르면, 센서부는 가속도 센서, 자이로 센서, 지자계 센서, 마그네틱 센서, 근접 센서, 제스처 센서, 그립 센서, 생체 센서 중의 적어도 하나를 포함할 수 있다. 가속도 센서, 자이로 센서, 지자계 센서를 이용하여 HMT 장치 103을 착용한 사용자의 머리 움직임을 감지할 수 있다. 근접 센서 혹은 그립 센서를 이용하여 HMT 장치 103의 착용 여부를 감지할 수 있다. 한 실시 예에 따르면 사용자 착용에 따른 IR 인식, 가압인식, 캐패시턴스(혹은 유전율)의 변화량 중 적어도 하나를 감지하여 사용자의 착용 여부를 감지 할 수 있다. 제스처 센서는 사용자의 손 또는 손가락의 움직임을 감지하여 HMT 장치 103의 입력 동작으로 받을 수 있다. 추가적으로 또는 대체적으로, 센서부는, 예를 들면, 후각 센서(E-nose sensor), EMG 센서(electromyography sensor), EEG 센서(electroencephalogram sensor), ECG 센서(electrocardiogram sensor), 홍채 센서 등의 생체 인식 센서(또는 생체 센서)를 이용하여 사용자의 생체 정보를 인식할 수 있다. 센서부는 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
입력부는 터치 패드, 버튼을 포함할 수 있다. 터치 패드는, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패드는 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 터치 패드는 택타일 레이어(tactile layer)를 더 포함할 수도 있다. 이 경우, 터치 패드는 사용자에게 촉각 반응을 제공할 수 있다. 버튼은, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다.
시선추적부(Eye tracker)는, 예를 들면, EOG 센서(Electircal oculography), Coil systems, Dual purkinje systems, Bright pupil systems, Dark pupil systems 중 적어도 하나의 방식을 이용하여 사용자의 시선을 추적할 수 있다. 또한, 시선추적부는 시선추적을 위한 마이크로 카메라를 더 포함할 수도 있다.
초점 조절부(Ajustable optics)는 사용자가 자신의 시력에 적합한 영상을 감상할 수 있도록 사용자의 양안 사이 거리(Inter-Pupil Distance, IPD)를 측정하여 렌즈의 거리 및 전자 장치 101의 디스플레이 150의 위치를 조정할 수 있다.
HMT 장치 103의 구성은 상술한 방법에 한정하지 안하고, 도 2에서 설명한 전자 장치 101의 적어도 일부를 포함하여 구성될 수도 있을 것이다. 이하 설명에서 전자 장치 103은 HMT 장치 103으로 표현할 수 있다.
도 4는 다양한 실시 예에 따른 전자 장치 및 HMT 장치를 기반으로 동작하는 HMT 모드를 도시하는 도면이다.
다양한 실시 예에 따르면, 전자 장치 101에서 일반 모드 (Normal mode)와 HMM(Head-mounted Mode) 또는 HMT 모드를 설명할 수 있다. HMT모드는, 예를 들면, 전자 장치 101이 HMT 장치 103에 장착되어 동작할 경우 일반 모드에서 HMT 모드로 전환될 수 있다. 전자 장치 101은 HMT모드에서 하나의 영상을 두 개의 영상으로 분리하여 디스플레이 150에 표시할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 일반 모드에서 하나로 표시하는 영상을 전자 장치 101이 HMT 모드인 경우, 좌 영상 401 및 우 영상 403으로 분리하여 디스플레이 150에 표시할 수 있다. 사용자는 디스플레이 150에 표시된 좌 영상 401 및 우 영상 403 HMT 장치 103을 통해서 하나의 영상 151로 인식할 수 있다. 더하여, 한 실시 예에 따르면 전자 장치 101이 디스플레이 150에 표시하는 분리된 영상(예: 좌 영상 401 및 우 영상 403)은 HMT 장치 103에 포함된 렌즈(예: 도 3의 303)에 의해 영상이 왜곡되는 현상이 발생할 수 있다. 전자 장치 101은 왜곡되지 않은 영상을 사용자에게 제공하기 위하여 디스플레이 150에 분리되어 표시된 평면의 이미지를 렌즈의 특성에 따라 역 왜곡을 할 수 있다.
전자 장치 101은 적어도 하나의 웨어러블 장치(예: 전자 장치 102)와 네트워크 통신(예: 무선 통신)으로 연결될 수 있다. 전자 장치 101은 기능적으로 연결된 HMT 장치 103을 통해서 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 사용자에게 제공하는 HMT 모드를 수행함에 있어서 웨어러블 장치 102와 데이터를 송수신할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 모드에 진입하는 경우, 전자 장치 101과 네트워크 통신으로 연결된 웨어러블 장치 102에 HMT 모드의 실행을 위한 모드 변경 정보를 송신할 수 있다. 전자 장치 101이 송신한 모드 변경 정보를 수신하는 웨어러블 장치 102는 웨어러블 장치 102의 모드를 HMT 모드로 전환할 수 있다. HMT 모드 상태인 웨어러블 장치 102는 웨어러블 장치 102에 검출되는 제스처, 웨어러블 장치 102에 검출되는 입력에 대응하는 데이터를 전자 장치 101에 송신할 수 있고, 웨어러블 장치 102가 송신한 데이터에 대응하는 동작을 전자 장치 101에서 수행할 수 있다. HMT 장치 103은 전자 장치 101이 수행하는 동작을 기반으로 디스플레이 150에 표시되는 화면 구성을 사용자의 시선에 표시할 수 있다. 한 실시 예에 따르면, HMT 장치 103이 표시하는 방법에 있어서, 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 HMT 장치 103에 포함된 렌즈를 통해서 광학적 처리 방법을 거쳐 사용자에게 제공할 수 있다. 더하여 HMT 장치 103은 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 입력받아 HMT 장치 103의 디스플레이(또는 영상 출력 장치, 미도시)에서 출력하는 방법 일 수 있고, 또는 전자 장치 101의 입출력 인터페이스 140을 통해서 HMT 장치 103에 입력된 데이터를 처리하여 HMT 장치 103의 디스플레이(또는 영상 출력 장치, 미도시)에서 출력하는 방법일 수 있다. 웨어러블 장치 102는 기능적으로 연결된 센서들(예: 전자 장치 101의 센서 모듈 240에 포함된 선서들과 동일 또는 유사한 기능을 수행하는 센서들)을 통해서 검출하는 제스처에 대응하는 데이터, 웨어러블 장치 102의 디스플레이 150(예: 터치 스크린)을 통해서 검출하는 입력에 대응하는 데이터, 웨어러블 장치 102의 마이크를 통해서 검출하는 입력에 대응하는 데이터와 같이 웨어러블 장치 102에서 검출하는 데이터를 지정된 네트워크 통신(예: 전자 장치 101과 연결된 무선 통신)으로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 수신한 데이터를 기반으로 데이터에 포함된 제어 정보와 매칭하는 동작을 전자 장치 101에서 수행할 수 있고, 해당하는 동작(또는 기능)을 HMT 장치 103을 통해서 사용자에게 제공하기 위한 HMT 모드의 디스플레이 인터페이스로 디스플레이 150에 표시할 수 있다.
이하 도면을 설명함에 있어서, 전자 장치 101에서 디스플레이 150에 출력하는 화면 구성은 도 3에서 설명한 바와 같이 HMT 모드로 가공된 이미지일 수 있다. 더하여 이하 도면에서 공간 상에 보여지는 화면(또는 입체 화면, 이하 입체 화면 151) 은 전자 장치 101의 디스플레이 150에 표시되는 화면 구성(또는 이미지)이 HMT 장치 103을 통해서 사용자에게 제공되는(또는 보여지는) 이미지 또는 영상으로 설명할 수 있다. 이하 도면에서 전자 장치 101은 표시되지 않을 수 있지만, 도 3에서 설명한 바와 같이 HMT 장치 103에 장착되어 동작 중인 상태일 수 있다.
도 5는 다양한 실시 예에 따른 HMT 모드의 전자 장치에서 디스플레이의 화면을 구성하는 도면이다.
다양한 실시 예에 따르면 전자 장치 101은 HMT 모드에서 전자 장치 101 또는 HMT 장치 103에 연결된 카메라를 통해서 획득하는 영상을 디스플레이 150에 표시할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 모드에서 하나의 영상을 좌 영상 501 및 우 영상 503으로 분리하여 디스플레이 150에 표시할 수 있다. 전자 장치 101은 전자 장치 101 또는 HMT 장치 103에 연결된 카메라로부터 획득하는 영상을 디스플레이 150의 지정된 위치에 표시할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 모드에서 하나의 영상을 좌 영상 501 및 우 영상 503으로 분리하여 디스플레이 150에 표시하는 상태에서 카메라로 획득하는 영상을 표시하는 경우, 카메라로 획득하는 영상을 좌 영상 505 및 우 영상 507으로 분리할 수 있다. 전자 장치 101은 카메라로 획득한 이미지를 입체 화면(예: 도 4의 입체 화면 151 참조)에 큰 화면으로 표시한 영상의 일부에 표시하도록 제어할 수 있고, 또는 카메라로 획득한 영상을 입체 화면 151에 큰 화면으로 표시하고, 입체 화면의 일부에 전자 장치 101에서 출력하는 영상을 표시할 수도 있다. 예컨대, 도 5를 참조하면, 전자 장치 101은 HMT 모드에서 하나의 영상을 좌 영상 501에 카메라의 좌 영상 505를, 우 영상 503에 카메라의 우 영상 507에 표시할 수 있고, 사용자는 HMT 장치 103을 통해서 입체 화면 151에 큰 화면으로 표시된 전자 장치 101의 영상의 지정된 위치에 카메라로 획득한 영상이 포함된 것으로 인식할 수 있다. 더하여, 전자 장치 101은 상술한 방법과 마찬가지로, 카메라로 획득한 영상을 입체 화면 151의 큰 화면으로 표시하고, 전자 장치 101에서 출력하는 영상을 입체 화면 151의 지정된 위치에 포함하여 표시할 수도 있다. 상술한 방법으로 하나의 영상 안에 다른 영상을 표시하는 동작은 PIP(Picture in Picture), 또는 POP(Picture on Picture) 기술을 통해서 구현할 수 있다. 상술한 실시 예를 기반으로 사용자는 HMT 장치 103을 통해서 가상 환경을 체험하는 동시에 필요에 따라 주변 환경을 카메라 영상을 통해 확인할 수 있다. 상술한 바에 따르면, 전자 장치 101은 디스플레이 150에 영상을 표시함에 있어서, 좌 영상 및 우 영상으로 분리하여 표시하고 있지만, 이는 한 실시 예에 따른 HMT 장치 103에 대응하는 HMT 모드의 표시 방법으로 좌 영상 및 우 영상으로 분리하는 것에 한정하지 않고, 상 영상 및 하 영상으로 분리하는 방식 등 다양한 방식의 HMT 장치 103에 대응하는 HMT 모드로 적용할 수 있다. 더하여, 전자 장치 101은 디스플레이 150의 인터페이스를 변형함에 있어서, HMT 장치 103에 대응하는 HMT 모드뿐만 아니라 입체 영상 출력기와 같은 다양한 장치의 모드를 기반으로 디스플레이 150에 표시하는 인터페이스를 변형할 수 있고, 또는 전자 장치 101에서 변형한 디스플레이 인터페이스를 기반으로 입체 화면 또는 입체 영상과 같은 방식의 영상을 전자 장치 101에서 사용자에게 제공할 수 있다.
도 6a 및 도 6b는 다양한 실시 예에 따른 전자 장치에서 웨어러블 장치와 송수신하는 데이터를 도시한 도면이다.
전자 장치 101은 HMT 모드 상태에서 네트워크 통신으로 연결된 적어도 하나의 웨어러블 장치 102로부터 데이터(예: 제어 정보)를 수신할 수 있다. 웨어러블 장치 102로부터 수신하는 제어 정보는 웨어러블 장치 102의 적어도 하나의 센서, 마이크, 버튼 키, 터치 패널(예: 터치 스크린의 터치 패널)과 같은 다양한 입력 장치 또는 검출 장치로부터 입력된 정보일 수 있고, 입력된 정보는 전자 장치 101의 HMT 모드에서 전자 장치 101을 제어할 수 있는 정보일 수 있다. 전자 장치 101은 웨어러블 장치 102에 입력된 정보와 매칭되는 전자 장치 101를 제어할 수 있는 제어 정보를 포함할 수 있다.
이하에서 본 발명의 다양한 실시 예를 도 6a를 참조하여 설명한다.
전자 장치 101은 네트워크 통신으로 연결된 적어도 하나의 웨어러블 장치 102로부터 웨어러블 장치 102의 HMT 모드에서 입력된 제어 정보 600(또는 공유 데이터 600)을 수신할 수 있다. 제어 정보 600은 헤더 601 및 패킷 데이터 603을 포함하여 구성될 수 있다. 헤더 601은 제어 정보를 송신하는 전자 장치(예: 웨어러블 장치 102)의 장치 식별 정보 영역 611 및/또는 패킷 속성 영역 613을 포함할 수 있다. 장치 식별 정보 611은 제어 정보(예: 공유 데이터 600)을 송신하는 전자 장치(예: 웨어러블 장치 102)에 부여된 UUID(Uinique User Identidfier), IMEI(international mobile equipment identity)와 같이 전자 장치에 설정된 고유 정보일 수 있다. 패킷 데이터 603에는 패킷 속성 613에 지정된 패킷 속성에 대응하는 웨어러블 장치 102의 일부 장치(예: 적어도 하나의 센서 모듈, 또는 입력 장치)이 획득한 데이터를 포함할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 가속도 센서를 통해서 웨어러블 장치 102가 움직인 방향 및/또는 가속도에 대한 데이터를 x, y, z의 3차원 좌표계에서의 벡터량으로 획득하여 패킷 데이터 603에 포함할 수 있고, 웨어러블 장치 102가 움직인 방향 및/또는 가속도에 대한 데이터가 해당하는 패킷 속성(예: A)을 헤더 601의 패킷 속성 영역 613에 포함할 수 있다. 여기에서 패킷 속성 'A'는 x, y, z의 3차원 좌표계를 기반으로 웨어러블 장치 102가 움직인 방향 및/또는 가속도에 대한 데이터와 같이 웨어러블 장치 102가 획득한 데이터의 종류를 결정하는 데이터 식별 정보일 수 있고, 데이터를 획득한 웨어러블 장치 102의 일부 장치(예: 가속도 센서)와 같은 모듈을 결정하는 모듈 식별 정보일 수도 있다. 전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 제어 정보 600을 수신하는 경우, 제어 정보 600의 장치 식별 정보 영역 611에 포함된 장치 식별 정보를 기반으로 제어 정보 600을 송신한 전자 장치(예: 웨어러블 장치 102)를 결정할 수 있고, 패킷 속성 영역 613에 포함된 정보를 기반으로 제어 정보 600이 제어하는 기능을 결정할 수 있고, 패킷 데이터 603에 포함된 정보를 기반으로 결정한 패킷 속성에 대응하여 지정된 동작을 수행할 수 있다. 웨어러블 장치 102는 제어 정보(예: 공유 데이터 600)를 전자 장치 101에 송신함에 있어서, 둘 이상의 패킷 속성 613 및 패킷 속성 613에 대응하여 획득한 데이터를 공유 데이터 600으로 송신할 수 있다.
이하에서 본 발명의 다양한 실시 예를 도 6b를 참조하여 설명한다.
전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 수신한 제어 정보(예: 도 6a의 공유 데이터 600)와 매칭되는 동작을 전자 장치 101의 데이터베이스를 기반으로 결정할 수 있고, 결정한 동작에 대응하여 전자 장치 101의 지정된 기능을 제어할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 수신한 제어 정보에 대응하는 동작을 결정함에 있어서, 전자 장치 101의 데이터베이스에 포함된 적어도 하나의 데이터 테이블의 정보와 비교할 수 있다.
전자 장치 101은 데이터 테이블 620을 기반으로 웨어러블 장치 102에서 수신한 제어 정보를 분석할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 수신한 제어 정보(예: 도 6a의 공유 데이터 600 참조)의 헤더 601 및 패킷 데이터 601에 포함된 데이터를 기반으로 전자 장치 101에서 수행하는 동작을 결정할 수 있다. 예컨대, 데이터 테이블 620의 제어 장치 621은 웨어러블 장치 102에서 패킷 데이터 625에 포함되는 데이터를 획득한 일부 장치(예: 센서 모듈, 입력 장치)에 대한 정보를 나타낼 수 있고, 웨어러블 장치 102로부터 수신한 제어 정보에 포함된 패킷 속성 623을 기반으로 결정할 수 있다. 데이터 테이블 620에 포함된 패킷 속성 623은 웨어러블 장치 102에서 입력을 검출하는 경우, 해당 입력을 검출하는 장치에 대한 장치 식별 정보(예: 가속도 센서의 경우, 장치 식별 정보 'A')를 나타낼 수 있다. 데이터 테이블 620에 포함된 패킷 데이터 625는 제어 장치 621 또는 패킷 속성 623을 기반으로 전자 장치 101을 제어하는 동작을 결정할 수 있고, 전자 장치 101은 패킷 데이터 625에 포함된 데이터를 기반으로 결정한 방식에 대응하여 HMT 모드에서 수행중인 기능을 제어할 수 있다.
도 7a 내지 도 7c는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
전자 장치 101은 HMT 장치 103와 기능적으로 연결(예: HMT 장치 103에 결합)된 것을 감지하는 경우 HMT 모드를 실행할 수 있고, 전자 장치 101은 전자 장치 101과 연결된 적어도 하나의 웨어러블 장치 102에 HMT 모드를 실행하는 것에 대한 모드 변경 정보를 송신할 수 있다. 전자 장치 101로부터 HMT 모드에 대한 모드 변경 정보를 수신하는 웨어러블 장치 102는 메모리의 설정 정보 또는 모드 변경 정보를 기반으로 HMT 모드를 실행할 수 있다(또는 실행하지 않을 수 있다). 웨어러블 장치 102는 HMT 모드를 실행하는 경우, 웨어러블 장치 102에서 검출한 입력을 전자 장치 101을 제어하기 위해서 입력된 데이터(이하 검출 정보)로 결정할 수 있다. 여기에서 전자 장치 101을 제어하기 위해서 입력된 검출 정보로 결정하는 것은, 웨어러블 장치 102로부터 수신한 데이터를 전자 장치 101를 제어하는 데이터로 결정하는 것일 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 중력 센서, 가속도 센서, 제스처 센서, 그립 센서, 근접 센서, 생체 센서, 조도 센서, 지자기 센서들 중에서 적어도 하나로 구성되는 센서 모듈을 포함할 수 있다. 예컨대, 웨어러블 장치 102는 도 1에 표현된 전자 장치 101과 동일 또는 유사한 장치들로 구성될 수 있고, 또는 전자 장치 101의 일부를 포함하여 구성될 수 있다. 웨어러블 장치 102는 센서 모듈을 기반으로 웨어러블 장치 102의 움직임(예: 제스처)을 검출할 수 있다. 웨어러블 장치 102는 움직임을 검출함에 있어서 센서 모듈을 기반으로 웨어러블 장치 102에 설정된 기준 좌표계(예: x축, y축, z축으로 구성된 3차원 좌표계)의 벡터량으로 검출할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 사용자의 신체 일부에 착용된 상태에서 움직이는 궤적에 대응하여 센서 모듈을 통해서 획득하는 벡터량을 검출 정보로 결정할 수 있다. 웨어러블 장치 102는 HMT 모드에서 검출하는 다양한 입력(예: 검출 정보)을 전자 장치 101에 송신할 수 있다. 전자 장치 101은 웨어러블 장치 102로부터 수신한 검출 정보를 기반으로 HMT 모드 상태의 전자 장치 101을 제어할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 모드에서 검출 정보에 대응하여 지정된 동작은 HMT 장치 103을 통해서 출력하는 전자 장치 101의 디스플레이 150의 표시 화면을 제어하는 동작일 수 있다.
이하에서 본 발명의 다양한 실시 예를 도 7a를 참조하여 설명한다.
전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 수신한 검출 정보를 기반으로 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 기반으로 표시되는 입체 화면 151을 좌/우로 움직이도록 디스플레이 150의 디스플레이 인터페이스를 제어할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 검출 정보를 획득함에 있어서, 웨어러블 장치 102에 포함된 센서 모듈을 통해서 웨어러블 장치 102의 상태 정보 및/또는 웨어러블 장치 102의 움직임 정보를 획득할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 센서 모듈을 통해서 웨어러블 장치 102에 설정된 3차원 좌표계를 결정할 수 있다. 웨어러블 장치 102는 사용자에 의해서 좌/우 방향으로 움직이는 상태에서 3차원 좌표계에 대응하는 벡터량을 검출할 수 있다. 웨어러블 장치 102는 획득한 벡터량을 포함한 검출 정보를 전자 장치 101에 송신할 수 있다. 웨어러블 장치 102는 검출 정보를 전자 장치 101에 송신함에 있어서, 센서 모듈을 통해서 획득한 벡터량을 포함할 수 있고, 웨어러블 장치 102에 설정된 3차원 좌표계에 대한 정보, 웨어러블 장치 102의 장치 식별 정보, 획득한 벡터량의 패킷 속성과 같이 센서 모듈을 통해서 획득한 데이터와 관련된 정보 중에서 적어도 일부를 포함할 수 있다.
전자 장치 101은 메모리 130에 포함된 데이터베이스를 기반으로 웨어러블 장치 102로부터 수신한 검출 정보에 대응하는 전자 장치 101의 제어 정보를 결정할 수 있다. 한 실시 예에 따르면, 전자 장치 101이 수신한 검출 정보에서 웨어러블 장치 102가 센서 모듈을 통해서 3차원 좌표계의 x축 방향(및/또는 -x축 방향)으로 움직이는 동작을 검출한 벡터량을 획득할 수 있다. 전자 장치 101은 데이터베이스를 기반으로 검출 정보에 포함된 3차원 좌표계의 x축 방향에 대한 벡터량에 대응하여 입체 화면 151을 좌/우로 움직이도록 디스플레이 150에 표시되는 화면 구성을 제어하는 제어 정보를 결정할 수 있다. 여기에서, 검출 정보에 포함된 3차원 좌표계의 x축 방향에 대한 벡터량을 전자 장치 101의 디스플레이 150을 기반으로 입체 화면 151을 좌/우로 움직이도록 제어하는 제어 정보로 결정하는 동작의 기반이 되는 데이터베이스는 사전에 실험된 정보에 의해서 정의될 수 있다. 한 실시 예에 따르면, 전자 장치 101이 회전하는 경우, 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 전자 장치 101의 회전에 대응하여 회전할 수 있다. 이에 대응하여 전자 장치 101이 수신한 검출 정보를 기반으로 결정한 좌/우 방향(예: x축 방향)으로의 제어 정보는 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 회전이 아닌 좌/우로 이동(예: 수평이동)하는 동작일 수 있다. 이하 설명에서, 검출 정보를 기반으로 결정하는 제어 정보에 따라서 사용자에게 제공되는 입체 화면 151을 제어하는 것을 전자 장치 101의 디스플레이 또는 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 제어하는 것으로 표현할 수 있다.
이하에서 본 발명의 다양한 실시 예를 도 7b를 참조하여 설명한다.
전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 수신한 검출 정보를 기반으로 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 상/하로 움직일 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 검출 정보를 획득함에 있어서, 웨어러블 장치 102에 포함된 센서 모듈을 통해서 웨어러블 장치 102의 상태 정보 및/또는 웨어러블 장치 102의 움직임 정보를 획득할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 센서 모듈을 통해서 웨어러블 장치 102에 설정된 3차원 좌표계를 결정할 수 있다. 웨어러블 장치 102는 사용자에 의해서 좌/우 방향으로 움직이는 상태에서 3차원 좌표계에 대응하는 벡터량을 검출할 수 있다. 웨어러블 장치 102는 획득한 벡터량을 포함한 검출 정보를 전자 장치 101에 송신할 수 있다. 웨어러블 장치 102는 검출 정보를 전자 장치 101에 송신함에 있어서, 센서 모듈을 통해서 획득한 벡터량을 포함할 수 있고, 웨어러블 장치 102에 설정된 3차원 좌표계에 대한 정보, 웨어러블 장치 102의 장치 식별 정보, 획득한 벡터량의 패킷 속성과 같이 센서 모듈을 통해서 획득한 데이터와 관련된 정보 중에서 적어도 일부를 포함할 수 있다.
전자 장치 101은 메모리 130에 포함된 데이터베이스를 기반으로 웨어러블 장치 102로부터 수신한 검출 정보에 대응하는 전자 장치 101의 제어 정보를 결정할 수 있다. 한 실시 예에 따르면, 전자 장치 101이 수신한 검출 정보에서 웨어러블 장치 102가 센서 모듈을 통해서 3차원 좌표계의 y축 방향(및/또는 -y축 방향)으로 움직이는 동작을 검출한 벡터량을 획득할 수 있다. 전자 장치 101은 데이터베이스를 기반으로 검출 정보에 포함된 3차원 좌표계의 x축 방향에 대한 벡터량에 대응하여 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 상/하로 움직이도록 제어하는 제어 정보를 결정할 수 있다. 여기에서, 검출 정보에 포함된 3차원 좌표계의 y축 방향에 대한 벡터량을 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 상/하로 움직이도록 제어하는 제어 정보로 결정하는 동작의 기반이 되는 데이터베이스는 사전에 실험된 정보에 의해서 정의될 수 있다. 한 실시 예에 따르면, 전자 장치 101이 수신한 검출 정보를 기반으로 결정한 상/하 방향(예: y축 방향)으로의 제어 정보는 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 상/하로 스크롤(scroll)하는 동작일 수 있다.
이하에서 본 발명의 다양한 실시 예를 도 7c를 참조하여 설명한다.
전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 수신한 검출 정보를 기반으로 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 줌인/줌아웃 할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 검출 정보를 획득함에 있어서, 웨어러블 장치 102에 포함된 센서 모듈을 통해서 웨어러블 장치 102의 상태 정보 및/또는 웨어러블 장치 102의 움직임 정보를 획득할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 센서 모듈을 통해서 웨어러블 장치 102에 설정된 3차원 좌표계를 결정할 수 있다. 웨어러블 장치 102는 사용자로부터 앞으로 멀어지는 방향 또는 사용자에 가까워지는 방향으로 움직이는 상태에서 3차원 좌표계에 대응하는 벡터량을 검출할 수 있다. 웨어러블 장치 102는 획득한 벡터량을 포함한 검출 정보를 전자 장치 101에 송신할 수 있다. 웨어러블 장치 102는 검출 정보를 전자 장치 101에 송신함에 있어서, 센서 모듈을 통해서 획득한 벡터량을 포함할 수 있고, 웨어러블 장치 102에 설정된 3차원 좌표계에 대한 정보, 웨어러블 장치 102의 장치 식별 정보, 획득한 벡터량의 패킷 속성과 같이 센서 모듈을 통해서 획득한 데이터와 관련된 정보 중에서 적어도 일부를 포함할 수 있다.
전자 장치 101은 메모리 130에 포함된 데이터베이스를 기반으로 웨어러블 장치 102로부터 수신한 검출 정보에 대응하는 전자 장치 101의 제어 정보를 결정할 수 있다. 한 실시 예에 따르면, 전자 장치 101이 수신한 검출 정보에서 웨어러블 장치 102가 센서 모듈을 통해서 3차원 좌표계의 z축 방향(및/또는 -z축 방향)으로 움직이는 동작을 검출한 벡터량을 획득할 수 있다. 전자 장치 101은 데이터베이스를 기반으로 검출 정보에 포함된 3차원 좌표계의 z축 방향에 대한 벡터량에 대응하여 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 줌인/줌아웃 하도록 제어하는 제어 정보를 결정할 수 있다. 여기에서, 검출 정보에 포함된 3차원 좌표계의 z축 방향에 대한 벡터량을 전자 장치 101의 디스플레이 150에 표시된 화면 구성을 줌인/줌아웃 하도록 제어하는 제어 정보로 결정하는 동작의 기반이 되는 데이터베이스는 사전에 실험된 정보에 의해서 정의될 수 있다.
도 8은 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102의 움직임(예: 제스처)을 기반으로 움직임에 대응하는 웨어러블 장치 102의 동작을 전자 장치 101에서 수행할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 사용자의 신체 일부에 착용되어 센서 모둘을 통해서 사용자의 특정 제스처를 검출할 수 있다. 웨어러블 장치 102는 검출한 제스처에 대응하여 수행하는 웨어러블 장치 102의 지정된 동작을 수행할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 센서 모듈을 통해서 웨어러블 장치 102를 중력 반대 방향으로 움직이는 동작 및 움직이는 동작에 연속해서 웨어러블 장치 102의 디스플레이가 중력 반대 방향을 향하도록 위치시키는 제스처를 검출할 수 있다. 웨어러블 장치 102는 검출한 제스처에 대응하는 동작을 웨어러블 장치 102의 디스플레이에 시각을 표시하는 동작으로 결정할 수 있다.
웨어러블 장치 102는 결정한 시각을 표시하는 제어 정보를 전자 장치 101에 송신할 수 있다. 전자 장치 101은 수신한 제어 정보를 기반으로 시각 정보를 전자 장치 101의 디스플레이 150에 표시할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치 102는 센서 모듈을 통해서 획득한 웨어러블 장치 102를 중력 반대 방향으로 움직이는 동작 및 움직이는 동작에 연속해서 웨어러블 장치 102의 디스플레이가 중력 반대 방향을 향하도록 위치시키는 제스처에 대한 검출 정보를 전자 장치 101에 송신할 수 있다.웨어러블 장치 102가 송신하는 검출 정보는 웨어러블 장치 102에 설정된 3차원 좌표계를 기준으로 센터 모듈을 통해서 획득한 전자 장치 101의 움직임에 대한 벡터량을 포함할 수 있다. 전자 장치 101은 데이터베이스를 기반으로 검출 정보에 포함된 3차원 좌표계를 기준으로 획득한 대한 벡터량에 대응하여 전자 장치 101의 디스플레이 150에 시각 정보를 표시하도록 제어하는 제어 정보를 결정할 수 있다. 여기에서, 검출 정보에 포함된 웨어러블 장치 102를 중력 반대 방향으로 움직이는 동작 및 움직이는 동작에 연속해서 웨어러블 장치 102의 디스플레이가 중력 반대 방향을 향하도록 위치시키는 제스처(예: 벡터량)를 전자 장치 101의 디스플레이 150에 시각을 표시하도록 제어하는 제어 정보로 결정하는 동작의 기반이 되는 데이터베이스는 사전에 실험된 정보에 의해서 정의될 수 있다.
도 9는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
전자 장치 101 네트워크 통신으로 연결된 웨어러블 장치 102의 디스플레이(예: 터치 스크린)을 전자 장치 101의 디스플레이 150에서 특정 위치를 가리키는 포인팅 장치로 사용할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 디스플레이에서 검출되는 터치(예: 직접 터치 또는 간접 터치)입력에 대응하여 터치 입력을 검출한 위치를 결정할 수 있다. 웨어러블 장치 102의 디스플레이에서 검출하는 터치 입력의 위치는 디스플레이에 설정된 2차원 좌표계(예: x축 및 y축으로 구성된 좌표계)를 기준으로 특정 위치에서 검출되는 터치 입력의 좌표로 결정할 수 있다. 웨어러블 장치 102는 검출한 좌표를 검출 정보로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 수신한 검출 정보를 기반으로 전자 장치 101의 디스플레이 150의 표시를 기반으로 사용자에게 제공되는 입체 화면 151(예: 디스플레이 150의 화면 구성이 HMT 장치 103의 렌즈 303을 통해서 사용자에게 보여지는 입체 화면 151)에 포인팅 객체(예: 포인터)를 표시하도록 제어할 수 있다.
한 실시 예에 따르면, 전자 장치 101의 디스플레이 150 및 웨어러블 장치 102는 동일한 좌표계(예: x축 및 y축으로 구성된 2차원 좌표계)로 설정될 수 있고, 또는 다른 좌표계(예: 전자 장치 101의 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151의 경우 x'축 및 y'축으로 구성된 2차원 좌표계일 수 있고, 웨어러블 장치 102의 디스플레이의 경우 x축 및 y축으로 구성된 2차원 좌표계)로 설정될 수 있다. 전자 장치 101의 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151 및 웨어러블 장치 102의 디스플레이가 동일한 좌표계로 설정된 경우 전자 장치 101은 수신한 검출 정보에 포함된 좌표에 대응하는 전자 장치 101의 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151의 지정된 위치에 포인터를 표시하도록 제어할 수 있다. 전자 장치 101의 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151 및 웨어러블 장치 102의 디스플레이가 다른 좌표계(예: 전자 장치 101의 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151의 경우 x'축 및 y'축으로 구성된 2차원 좌표계일 수 있고, 웨어러블 장치 102의 디스플레이의 경우 x축 및 y축으로 구성된 2차원 좌표계)로 설정된 경우 전자 장치 101은 데이터베이스를 기반으로 검출 정보에 포함된 좌표(예: 제 1 좌표)에 대응하는 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151의 좌표(예: 제 2 좌표)를 결정할 수 있고, 전자 장치 101의 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151에서 결정된 좌표(예: 제 2 좌표)의 위치에 포인터를 표시하도록 제어할 수 있다. 다양한 실시 예에 따르면, 전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 수신하는 검출 정보를 기반으로 웨어러블 장치 102의 디스플레이(예: 터치 스크린)에서 검출되는 터치 입력의 좌표가 변경되는 경우 변경된 좌표(예: 제 3 좌표)에 대응하는 디스플레이 150의 표시를 기반으로 표현되는 입체 화면 151의 좌표(예: 제 4 좌표)에 포인터를 표시하도록 제어할 수 있다.
도 10a 및 도 10b는 다른 전자 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
이하에서 본 발명의 다양한 실시 예를 도 10a를 참조하여 설명한다.
전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102를 통해서 수신하는 입력 데이터 또는 제어 정보를 기반으로 전자 장치 101에서 제공하는 기능을 실행할 수 있다. 한 실시 예에 따르면, 전자 장치 101의 촬영 모드(예: 전자 장치 101의 카메라 모듈을 사용하는 촬영 모드)를 수행하는 경우 디스플레이 150에 전자 장치 101의 카메라 모듈을 통해서 획득하는 이미지를 표시할 수 있고, 디스플레이 150또는 HMT 모드인 웨어러블 장치 102의 디스플레이의 특정 위치에 터치 입력을 검출하는 경우 이미지를 촬영하는 촬영 아이콘을 표시할 수 있다. 웨어러블 장치 102는 HMT 모드에서 전자 장치 101이 촬영 모드를 수행하고 있다는 제어 정보를 수신할 수 있고, 웨어러블 장치 102의 디스플레이에서 검출하는 터치 입력을 검출 정보로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 수신한 검출 정보를 기반으로 웨어러블 장치 102의 디스플레이에서 검출한 터치 입력을 전자 장치 101의 촬영 모드에서 이미지를 촬영하는 입력으로 처리할 수 있다. 또는, 전자 장치 101은 수신한 검출 정보를 기반으로 웨어러블 장치 102의 디스플레이에서 검출한 터치 입력을 전자 장치 101의 디스플레이 150에 표시된 촬영 아이콘을 터치한 것으로 처리할 수도 있다.
이하에서 본 발명의 다양한 실시 예를 도 10b를 참조하여 설명한다.
다양한 실시 예에 따르면, 전자 장치 101은 특정 입력을 검출하는 경우 수행하는 지정된 동작에 대응하여 네트워크 통신으로 연결된 웨어러블 장치 102로부터 수신한 검출 정보가 특정 입력과 동일 또는 유사한 입력인 경우 지정된 동작을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 디스플레이 150의 우측 모서리 영역에서 지정된 범위의 영역을 터치한 상태에서 터치를 유지한 상태로 좌측 방향으로 드래그하는 터치 입력에 대응하여 전자 장치 101의 디스플레이 150에 표시 중인 이미지를 캡처(capture)하는 기능을 제공할 수 있다. 전자 장치 101은 웨어러블 장치 102로부터 수신한 검출 정보가 웨어러블 장치 102의 디스플레이의 우측 모서리 영역에서 지정된 범위의 영역을 터치한 상태에서 터치를 유지한 상태로 좌측 방향으로 드래그하는 터치 입력에 대응하는 제어 정보인 경우 전자 장치 101의 디스플레이 150에 표시 중인 이미지를 캡처하는 동작을 수행할 수 있다.
도 11는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
전자 장치 101은 웨어러블 장치 102로부터 수신한 검출 정보가 음성으로 입력된 제어 정보인 경우, 음성에 대응하는 전자 장치 101의 기능을 제공할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 마이크 1110을 통해서 검출되는 음성을 전자 장치 101에 송신할 수 있고, 전자 장치 101은 수신한 음성에 대응하는 전자 장치 101의 기능을 수행할 수 있다. 예컨대, 웨어러블 장치 102에서 검출한 음성 '인터넷'의 데이터를 검출 정보로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 검출 정보의 음성 '인터넷'에 대응하여 인터넷 검색 어플리케이션을 실행할 수 있다. 다양한 실시 예에 따르면, 웨어러블 장치 102는 마이크 1110을 통해서 검출되는 음성 명령에 대응하여 전자 장치 101에서 제공하는 기능을 결정할 수 있고, 결정한 기능을 제공하는 제어 정보를 검출 정보로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 수신한 검출 정보를 기반으로 웨어러블 장치 102에서 결정한 기능을 전자 장치 101에서 수행할 수 있다. 예컨대, 웨어러블 장치 102에서 검출한 음성 '인터넷'에 대응하는 동작을 웨어러블 장치 102의 인터넷 검색 어플리케이션을 실행하는 동작으로 결정할 수 있다. 웨어러블 장치 102는 인터넷 검색 어플리케이션을 실행하는 제어 정보를 검출 정보로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 수신한 검출 정보의 제어 정보에 따라서 전자 장치 101에서 인터넷 검색 어플리케이션을 실행할 수 있다.
도 12는 웨어러블 장치로부터 수신한 데이터를 기반으로 전자 장치를 제어하는 다양한 실시 예를 도시한다.
도 12에서 전자 장치 104는 사용자의 신체에 착용 가능한 웨어러블 장치(이하 웨어러블 장치 104)일 수 있다. 웨어러블 장치 104는 웨어러블 장치 102와 동일한 타입의 장치이거나 유사한 타입의 장치일 수 있고, 웨어러블 장치 102 또는 전자 장치 101과 동일 또는 유사한 구성일 수 있다.
전자 장치 101은 네트워크 통신으로 둘 이상의 웨어러블 장치(예: 웨어러블 장치 102 및 웨어러블 장치 104)와 연결할 수 있다. 전자 장치 101은 연결된 둘 이상의 전자 장치로부터 검출 정보를 수신할 수 있고, 수신한 검출 정보에 대응하는 전자 장치 101의 동작을 수행할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 모드에서 시뮬레이션(예: 골프 시뮬레이션)을 수행할 수 있다. 전자 장치 101은 네트워크 통신으로 연결된 둘 이상의 전자 장치(예: 웨어러블 장치 102 및 웨어러블 장치 104)로부터 각각의 검출 정보(예: 웨어러블 장치 102의 제 1 검출 정보 및 웨어러블 장치 104의 제 2 검출 정보)를 수신할 수 있다. 예컨대, 도 12을 참고하면 사용자는 왼쪽 손목에 웨어러블 장치 102(예: 스마트 와치)를 착용하고 오른쪽 손목에 웨어러블 장치 104(예: 스마트 밴드)를 착용한 상태에서 골프 시뮬레이션을 플레이할 수 있다. 사용자가 골프의 스윙 동작을 수행하는 경우 웨어러블 장치 102의 센서 모듈 및 웨어러블 장치 104의 센서 모듈은 사용자의 스윙 동작에 대응하는 센싱 정보를 검출할 수 있다. 웨어러블 장치 102 및 웨어러블 장치 104는 획득한 각각의 센싱 정보를 검출 정보로 전자 장치 101에 송신할 수 있다. 전자 장치 101은 데이터베이스를 기반으로 수신한 검출 정보(예: 웨어러블 장치 102로부터 수신한 제 1 검출 정보 및/또는 웨어러블 장치 104로부터 수신한 제 2 검출 정보)에 대응하는 골프 시뮬레이션의 지정된 동작(예: 스윙 동작)을 결정할 수 있고 전자 장치 101의 디스플레이 150을 기반으로 표현되는 입체 화면 151의 골프 시뮬레이션에서 스윙 동작을 수행 및 표시할 수 있다.
도 13은 다양한 실시 예를 수행하는 전자 장치에서 HMT 모드를 실행할 적어도 하나의 웨어러블 장치를 설정하는 동작을 도시하는 도면이다.
전자 장치 101은 HMT 모드를 실행하는 경우, 전자 장치 101을 제어하는 검출 정보를 수신할 네트워크 통신으로 연결된 지정된 웨어러블 장치 102에 대한 설정 정보를 데이터베이스에 포함할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 설정 정보를 통해서 전자 장치 101과 연결된 웨어러블 장치들 중에서 HMT 모드에서 전자 장치 101의 기능을 제어하는 입력 장치로 사용할 적어도 하나의 전자 장치를 결정할 수 있다. 한 실시 예에 따르면, 도 13의 1301을 참조하면, 전자 장치 101은 설정 정보에서 전자 장치 101과 네트워크 통신으로 연결된 전자 장치들 중에서 특정 전자 장치를 HMT 모드에서 사용할 것인지를 온/오프할 수 있는 메뉴를 제공할 수 있다.
전자 장치 101은 선택한 특정 전자 장치(예: 웨어러블 장치 102)를 HMT 모드의 입력 장치로 사용하도록 결정한 경우, 웨어러블 장치 102에서 검출되는 입력 중에서 전자 장치 101의 기능을 제어하도록 지정된 입력을 결정하는 메뉴를 제공할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 웨어러블 장치 102의 센서 모듈을 통해서 검출하는 모션을 전자 장치 101의 기능을 제어하는 제어 정보로 사용할지 여부를 결정하는 메뉴 1303, 웨어러블 장치 102의 터치 스크린에서 검출하는 터치 입력을 전자 장치 101의 기능을 제어하는 제어 정보로 사용할지 여부를 결정하는 메뉴 1305, 웨어러블 장치 102의 마이크에서 검출하는 오디오를 전자 장치 101의 기능을 제어하는 제어 정보로 사용할지 여부를 결정하는 메뉴 1307 및 웨어러블 장치 102의 버튼을 통해서 검출하는 입력을 전자 장치 101의 기능을 제어하는 제어 정보로 사용할지 여부를 결정하는 메뉴 1309 중에서 적어도 하나의 메뉴를 제공할 수 있다. 전자 장치 101은 네트워크 통신으로 연결된 적어도 하나의 웨어러블 장치(예: 웨어러블 장치 102 또는 웨어러블 장치 104)에 대해서 각각의 설정 정보를 설정하도록 제공할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 모드 설정 기능을 제공함에 있어서, 적어도 하나의 웨어러블 장치에 대한 설정 메뉴를 제공할 수 있고, 디스플레이 150에 표시된 객체(예: 이전 장치 1311, 다음 장치 1313)를 선택하는 동작과 같이 지정된 방법으로 설정하고자 하는 웨어러블 장치의 설정 메뉴를 호출할 수 있다.
전자 장치 101은 설정 정보를 해당하는 특정 전자 장치(예: 웨어러블 장치 102)에 송신할 수도 있고, 적어도 하나의 웨어러블 장치로부터 각각의 전자 장치가 전자 장치 101과 HMT 모드에서 동작할 것인지 여부에 대한 설정 정보를 수신할 수도 있다. 전자 장치 101은 데이터베이스에 적어도 하나의 설정 정보를 저장할 수 있다.
도 14는 다양한 실시 예를 수행하는 전자 장치에서 프로세서의 동작을 도시하는 도면이다.
상술한 바와 같이 전자 장치 101에서 수행하는 본 발명의 다양한 실시 예는 프로세서 120을 통해서 수행할 수 있다. 도 14를 참조하면, 프로세서 120이 수행하는 본 발명의 다양한 실시 예를 설명함에 있어서, 명확하게 표현하기 위해서 프로세서 120의 동작들(예: 프로세스)을 구분하여 설명할 수 있다. 전자 장치 101의 프로세서 120은 본 발명의 다양한 실시 예를 수행하기 위한 동작들: HMT 모드 실행 프로세스 1401, 제어 정보 검출 프로세스 1403, HMT 환경 제공 프로세스 1405, 제어 정보 수행 프로세스 1407, 중 적어도 하나의 프로세스를 포함할 수 있다.
HMT 모드 실행 프로세스 1401은 입출력 인터페이스 140을 통해서 전자 장치 101의 HMT 모드를 실행하기 위한 입력을 검출할 수 있다. 전자 장치 101이 HMT 모드로 진입하는 경우 네트워크 162를 통해서 연결된 웨어러블 장치들 중에서 적어도 하나의 전자 장치에 전자 장치 101이 HMT 모드 상태로 동작하는 것에 대한 정보(예: 제어 정보)를 송신할 수 있다. HMT 모드 실행 프로세스 1401에서 송신하는 제어 정보는 전자 장치 101의 메모리 130에 포함된 데이터베이스를 기반으로 결정할 수 있다. HMT 모드 실행 프로세스 1401은 네트워크 통신으로 연결된 특정 전자 장치에 지정된 기능을 수행하도록 요청하는 제어 정보를 송신할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 웨어러블 장치 102에 센서 모듈을 통해서 획득한 데이터를 검출 정보로 송신하도록 요청하는 제어 정보를 송신할 수 있다. HMT 모드 프로세스 1401에서 전자 장치 101은 통신 인터페이스 160을 통해서 웨어러블 장치 102와 데이터를 송수신할 수 있다.
제어 정보 검출 프로세스 1403은 HMT 모드에서 통신 인터페이스 160을 통해서 HMT 모드 상태인 웨어러블 장치 102로부터 검출 정보를 수신할 수 있다. 여기에서, 검출 정보는 HMT 모드 상태인 웨어러블 장치 102에서 검출하는 입력일 수 있다. 한 실시 예에 따르면, 검출 정보는 웨어러블 장치 102의 디스플레이(예: 터치 스크린)에서 검출하는 터치 입력일 수 있다. 한 실시 예에 따르면, 검출 정보는 웨어러블 장치 102의 센서 모듈을 통해서 검출하는 웨어러블 장치 102의 모션 데이터일 수 있다. 제어 정보 검출 프로세스 1403은 수신한 입려 데이터에서 제어 정보를 검출할 수 있고, 제어 정보를 HMT 환경 제공 프로세스 1405를 통해서 처리할 수 있다.
HMT 환경 제공 프로세스 1405는 HMT 모드에서 전자 장치 101이 수행하는 동작에 해당하는 디스플레이 인터페이스를 디스플레이 150에 표시하도록 지정된 환경 설정에 따라서 전자 장치 101을 제어할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 데이터베이스 및/또는 HMT 장치 103와 연동하여 HMT 장치 103을 통해서 사용자에게 제공되는 입체 화면 151을 위해 전자 장치 101의 디스플레이 150 의 해상도를 제어할 수 있다. HMT 환경 제공 프로세스 1405는 전자 장치 101의 디스플레이 150에 표시하는 화면 구성에 관계된 데이터를 HMT 장치 103에 제공할 수 있다.
HMT 환경 제공 프로세스 1405는 웨어러블 장치로부터 수신한 검출 정보의 제어 정보에 대응하는 전자 장치 101의 제어 동작을 결정할 수 있다. HMT 환경 제공 프로세스 1405는 전자 장치 101의 메모리 130에 포함된 데이터베이스를 기반으로 제어 정보 검출 프로세스 1403에서 검출한 제어 정보에 대응하여 전자 장치 101에서 제어할 적어도 하나의 동작을 결정할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102로부터 수신한 검출 정보의 제어 정보가 웨어러블 장치 102에 설정된 3차원 좌표계를 기준으로 센서 모듈을 통해서 획득한 벡터량일 수 있고, 전자 장치 101은 획득한 벡터량을 기반으로 HMT 장치 103을 통해서 사용자에게 제공되는 전자 장치 101의 디스플레이 인터페이스(예: 좌/우 스와이프, 상/하 스크롤, 또는 줌인/줌 아웃)를 제어할 수 있다.
제어 정보 수행 프로세스 1407은 웨어러블 장치 102로부터 수신한 제어 정보에 따라서 전자 장치 101을 제어할 수 있다. 제어 정보 수행 프로세스 1407은 제어 정보에 따라서 전자 장치 101을 제어하는 경우, 제어 상태를 디스플레이 150에 표시할 수 있고, 더하여 영상 출력 창치를 통해서 전자 장치 101의 제어 상태를 출력할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102로부터 수신한 검출 정보의 제어 정보가 웨어러블 장치 102에 설정된 3차원 좌표계를 기준으로 센서 모듈을 통해서 획득한 벡터량인 경우, 전자 장치 101은 HMT 장치 103을 통해서 사용자에게 제공하는 전자 장치 101의 디스플레이 인터페이스(예: 좌/우 스와이프, 상/하 스크롤, 또는 줌인/줌 아웃)를 벡터량을 기반으로 제어할 수 있다. 전자 장치 101은 벡터량을 기반으로 제어하는 전자 장치 101의 디스플레이 150에서 디스플레이 인터페이스를 제어하는 상태를 표시할 수 있고, 전자 장치 101의 디스플레이 150에 표시되는 디스플레이 인터페이스를 제어하는 상태는 전자 장치 101과 연결된 HMT 장치 103을 통해서 사용자에게 제공할 수 있다. 더하여, HMT 장치 103가 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 출력하는 별도의 출력부(예: 디스플레이 또는 영상 출력 장치)를 포함하는 경우, 전자 장치 101은 HMT 장치 103와 연결된 통신 방식(예: USB 통신)을 통해서 전자 장치 101의 디스플레이 150에 표시되는 화면 구성을 HMT 장치 103에 송신할 수 있고, HMT 장치 103의 출력부를 통해서 전자 장치 101의 디스플레이 인터페이스를 제어하는 상태를 출력할 수 있다.
상술한 프로세서 120의 동작은 본 발명의 다양한 실시 예를 수행하도록 전자 장치 101에 포함된 별도의 HMT 처리 모듈 170을 통해서 수행할 수도 있다.
다양한 실시 예에 따르면, 프로세서 120은 HMT 장치와 연결하여 HMT 모드로 변경하고, 적어도 하나의 웨어러블 장치로 HMT 모드 변경 요청 정보를 전송하도록 제어하고, 상기 웨어러블 장치로부터 검출 정보를 수신하도록 제어하고, 상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행할 수 있다.
다양한 실시 예에 따르면, 프로세서 120은, 상기 수행하는 기능을 상기 HMT 모드를 기반으로 상기 전자 장치의 디스플레이에 표시할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 HMT 장치가 입체 화면을 제공하도록 상기 디스플레이의 화면 구성을 변형하여 상기 표시할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 검출 정보를 기반으로 상기 HMT 모드로 동작하는 상기 웨어러블 장치의 가속도 센서, 중력 센서, 자이로 센서, 기울기 센서, 조도 센서, 생체 센서 중 적어도 하나를 통해서 검출한 센싱 정보를 획득할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 검출 정보를 기반으로 상기 디스플레이의 인터페이스를 제어할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 디스플레이에 표시되는 공간의 이동, 중인, 줌아웃. 상기 디스플레이에 표시된 페이지의 스크롤, 상기 디스플레이에 표시된 객체의 제어 중에서 적어도 하나를 수행하여 상기 인터페이스를 제어할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 검출 정보에 대응하는 상기 웨어러블 장치의 기능을 상기 전자 장치에서 수행할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 검출 정보를 기반으로 상기 웨어러블 장치의 터치 스크린에서 검출하는 터치 입력을 획득할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 웨어러블 장치의 터치 스크린에서 검출하는 제 1 좌표에 대응하는 상기 전자 장치의 디스플레이의 제 2 좌표로 결정하고, 상기 제 2 좌표에 포인팅 객체를 표시하는 동작을 상기 제 3 전자 장치를 통해서 출력할 수 있다. 다양한 실시 예에 따르면, 프로세서 120은, 상기 전자 장치와 기능적으로 연결된 제 2 웨어러블 장치로부터 제 2 검출 정보를 수신하고, 상기 검출 정보 및 상기 제 2 검출 정보에 대응하는 상기 전자 장치의 기능을 수행할 수 있다.
도 15는 다양한 실시 예를 수행하는 전자 장치에서 HMT 모드의 동작을 수행하는 흐름도이다.
동작 1501에서 전자 장치 101은 HMT 모드를 실행하는 것을 감지하는 경우, 전자 장치 101을 HMT 모드로 동작(또는 전환)할 수 있고, 전자 장치와 네트워크 통신으로 연결된 적어도 하나의 웨어러블 장치 102로 전자 장치 101이 HMT 모드로 동작하는 것에 대한 모드 변경 정보를 송신할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 데이터베이스를 기반으로 HMT 모드로 동작하는 전자 장치 101과 연결된 적어도 하나의 웨어러블 장치를 특정하여 각각의 웨어러블 장치에서 수행하는 동작을 지정하여 모드 변경 정보를 송신할 수 있고, 모드 변경 정보를 수신하는 웨어러블 장치는 수신한 모드 변경 정보를 기반으로 HMT 모드로 동작할 수 있다. 또는 전자 장치 101은 데이터베이스를 기반으로 HMT 모드로 동작하는 전자 장치 101과 연결된 적어도 하나의 웨어러블 장치에 HMT 모드로 동작하도록 제어하는 모드 변경 정보를 송신할 수 있고, 모드 변경 정보를 수신하는 웨어러블 장치는 웨어러블 장치의 설정 정보를 기반으로 HMT 모드로 동작할 수 있다.
동작 1503에서 전자 장치 101은 네트워크 통신으로 연결된 웨어러블 장치 102로부터 검출 정보를 수신할 수 있다. 전자 장치 101은 수신한 검출 정보로부터 전자 장치 101의 기능을 제어할 수 있는 제어 정보를 결정할 수 있다. 한 실시 예에 따르면, 검출 정보의 제어 정보는 전자 장치 101의 센서 모듈을 통해서 획득한 센싱 정보일 수 있고, 센싱 정보에 대응하여 전자 장치 101의 기능을 제어하는 동작은 전자 장치 101의 디스플레이 150을 통해서 출력하는 디스플레이 인터페이스를 제어하는 동작일 수 있다.
동작 1505에서 전자 장치 101은 수신한 검출 정보의 제어 정보에 따라서 전자 장치 101의 기능을 제어할 수 있다. 전자 장치 101은 검출 정보의 제어 정보를 기반으로 HMT 장치 103을 통해서 출력하는 디스플레이 인터페이스를 제어할 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 장치 103을 통해서 출력하는 디스플레이 인터페이스의 전환, 스와이프, 스크롤, 줌임/줌아웃과 같은 동작을 제어할 수 있고, 검출 정보를 송신한 전자 장치에서 입력한 제어 정보에 대응하는 동작(예: 시각 정보를 출력하는 동작)을 수행할 수 있고, 둘 이상의 전자 장치(예: 웨어러블 장치 102 및 웨어러블 장치 104)로부터 수신하는 검출 정보를 조합하여 대응하는 동작(예: 시뮬레이션에서의 사용자 동작)을 수행할 수도 있다. 전자 장치 101은 검출 정보를 기반으로 수행하는 동작을 HMT 모드의 디스플레이 인터페이스로 디스플레이 150에 출력할 수 있다.
더하여, 전자 장치 101은 수신한 검출 정보의 제어 정보를 기반으로 전자 장치 101의 디스플레이 150에 표시되는 이미지는, HMT 장치 103에 포함된 렌즈(예: 도 3의 렌즈 303) 또는 HMT 장치 103에 포함된 디스플레이 또는 영상 출력 장치를 통해서 사용자에게 제공할 수 있다.
전자 장치 101은 동작 1505을 수행하면 도 15의 실시 예를 종료할 수 있다.
도 16는 다양한 실시 예를 수행하는 웨어러블 장치에서 HMT 모드의 동작을 수행하는 흐름도이다.
동작 1601에서 웨어러블 장치 102은 특정 전자 장치(예: 전자 장치 101)로부터 전자 장치 101가 HMT 모드를 실행하는 것에 대한 모드 변경 정보를 수신할 수 있다. 웨어러블 장치 102은 수신한 모드 변경 정보를 기반으로 웨어러블 장치 102를 HMT 모드로 동작하도록 설정할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 전자 장치 101에서 수신하는 모드 변경 정보를 기반으로 웨어러블 장치 102에 포함된 다양한 센서들 중에서 모드 변경 정보에 지정된 적어도 하나의 센서를 온/오프할 수 있다. 또는 웨어러블 장치 102는 모드 변경 정보를 수신하는 경우 설정 정보에 따라서 적어도 하나의 센서를 온/오프할 수 있다.
동작 1603에서 웨어러블 장치 102는 온 상태의 적어도 하나의 센서를 통해서 검출되는 입력을 획득할 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102는 가속도 센서, 자이로 센서, 제스처 센서, 지자기 센서와 같이 웨어러블 장치102의 상태 변화를 감지할 수 있는 센서들 중에서 지정된 센서에서 검출되는 입력의 값들을 획득할 수 있다. 여기에서 지정된 센서는, 웨어러블 장치 102가 전자 장치 101로부터 수신한 모드 변경 정보를 기반으로 또는 웨어러블 장치 102의 설정 정보에 따라서 전환된 HMT모드에서 온 상태인 센서일 수 있다.
동작 1605에서 웨어러블 장치 102은 HMT 모드에서 지정된 장치들(예: 센서 모듈, 마이크)에서 검출되는 입력을 웨어러블 장치 102에서 처리하지 않고, 특정 전자 장치와 약속된 데이터 구성 방식에 따라서 검출 정보를 생성할 수 있다. 웨어러블 장치 102은 검출 정보를 전자 장치 101로 송신할 수 있다.
웨어러블 장치 102은 동작 1605을 수행하면 도 16의 실시 예를 종료할 수 있다.
도 17은 다양한 실시 예에 따른 전자 장치의 모드 변경 정보를 기반으로 HMT 모드를 수행하는 웨어러블 장치에 대한 도면이다.
상술한 바에 따르면, 웨어러블 장치 102 또는 웨어러블 장치 104는 스마트 와치 또는 스마트 밴드와 같이 손목에 착용하는 장치로 설명하였으나 이에 한정하지 않고, 신체의 지정된 위치에 착용할 수 있는 다양한 장치로 제공될 수 있다. 한 실시 예에 따르면, 웨어러블 장치 102 또는 웨어러블 장치 104(이하 웨어러블 장치)는 상술한 와치 또는 밴드 1703 타입의 장치 외에도 목걸이 1701, 벨트1705, 장갑 1707, 파지되는 조이스틱 1709, 반지 1711, 또는 신발 1713과 같은 다양한 형태의 장치로 제공될 수 있다. 한 실시 예에 따르면, 장갑 타입의 웨어러블 장치 1707은 촉각 센서를 포함할 수 있고 장갑을 착용한 손으로 접촉되는 정보를 전자 장치 101에 송신할 수 있다. 한 실시 예에 따르면, 신발 타입의 웨어러블 장치 1703은 압력 센서를 포함할 수 있고, 사용자의 스텝에 대응하는 정보를 전자 장치 101에 송신할 수 있다. 더하여, HMT 장치 103 또한 적어도 하나의 센서를 포함하여 HMT 가 착용된 상태에서 검출하는 정보를 전자 장치 101에 송신할 수 있음은 자명하다.
본 발명을 설명하는 다양한 실시 예는, 전자 장치 101의 메모리가 포함하는 하나 또는 그 이상의 프로그램, 하나 또는 그 이상의 프로세서(예: 프로세서 220) 및 본 발명의 다양한 실시 예에 대응하는 동작을 수행하는 모듈 중 적어도 하나에 의해서 수행될 수 있다. 한 실시 예에 따르면, 전자 장치 101은 HMT 장치와 연결하여 HMT 모드로 변경하는 동작과, 적어도 하나의 웨어러블 장치로 HMT 모드 변경 요청 정보를 전송하는 동작과, 상기 웨어러블 장치로부터 검출 정보를 수신하는 동작과, 상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능 저장매체(예: 메모리 130)을 포함할 수 있다.
다양한 실시 예에 따르면, 본 발명의 청구항 및/또는 명세서에 기재된 다양한 실시 예에 따른 장치, 방법의 적어도 일부는, 하드웨어, 소프트웨어, 펌웨어, 또는 하드웨어, 소프트웨어 및 펌웨어 중 둘 이상의 조합을 포함하는 형태(예: 모듈, unit)로 구현될(implemented) 수 있다. 모듈은, 일체로 구성된 부품의 최소 단위 또는 그 일부로서 본 발명의 다양한 실시 예를 수행하는 최소 단위 또는 그 일부가 될 수도 있다. 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 소프트웨어로 구현하는 경우, 하나 이상의 프로그램(또는 프로그래밍 모듈, 어플리케이션)을 저장하는 컴퓨터 판독 가능 저장 매체(또는 컴퓨터로 읽을 수 있는 저장 매체)가 제공될 수 있다. 예컨대, 소프트웨어는 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 하나 이상의 프로그램은, 전자 장치로 하여금, 본 발명의 청구항 및/또는 명세서에 기재된 실시 예에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함할 수 있다. 상기 명령어는, 하나 이상의 프로세서 (예: 상기 프로세서 220)에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 상기 메모리 230)가 될 수 있다. 상기 프로그래밍 모듈의 적어도 일부는, 예를 들면, 상기 프로세서220에 의해 구현(implement)(예: 실행)될 수 있다. 상기 프로그래밍 모듈 의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트 (sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(Magnetic Media)와, CD-ROM(Compact Disc Read Only Memory), DVD(Digital Versatile Disc)와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 그리고 ROM(Read Only Memory), RAM(Random Access Memory), 플래시(flash) 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치, 삭제가능 프로그램가능 롬(EEPROM, Electrically Erasable Programmable Read Only Memory), 자기 디스크 저장 장치(magnetic disc storage device) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)가 포함될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
더하여, 전자 장치에 인터넷(Internet), 인트라넷(Intranet), LAN(Local Area Network), WLAN(Wide LAN), 또는 SAN(Storage Area Network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 전자 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 휴대용 전자 장치에 접속할 수도 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시 예에 대한 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시 예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시 예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
101: 전자 장치 120: 프로세서
103: HMT 장치 102: 웨어러블 장치

Claims (22)

  1. 전자 장치의 동작 방법에 있어서,
    다른 전자 장치와 연결하여 특정 모드로 변경하는 동작;
    적어도 하나의 웨어러블 장치로 상기 특정 모드로의 변경 요청 정보를 전송하는 동작;
    상기 웨어러블 장치로부터 검출 정보를 수신하는 동작;
    상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 다른 전자 장치는 HMT(Head Mount Theater) 장치이고, 상기 특정 모드는 HMT 모드인 방법.
  3. 제 1 항에 있어서,
    상기 수행하는 기능을 상기 특정 모드를 기반으로 상기 전자 장치의 디스플레이에 표시하는 동작을 더 포함하는 방법.
  4. 제 3 항에 있어서,
    상기 표시하는 동작은, 상기 다른 전자 장치가 입체 화면을 제공하도록 상기 디스플레이의 화면 구성을 변형하는 동작을 포함하는 방법.
  5. 제 1 항에 있어서,
    상기 검출 정보는, 상기 특정 모드로 동작하는 상기 웨어러블 장치의 가속도 센서, 중력 센서, 자이로 센서, 기울기 센서, 조도 센서, 생체 센서 중 적어도 하나를 통해서 검출한 센싱 정보인 방법.
  6. 제 1 항에 있어서,
    상기 기능을 수행하는 동작은, 상기 검출 정보를 기반으로 상기 디스플레이의 인터페이스를 제어하는 동작을 포함하는 방법.
  7. 제 6 항에 있어서,
    상기 인터페이스를 제어하는 동작은, 상기 디스플레이에 표시되는 공간의 이동, 중인, 줌아웃. 상기 디스플레이에 표시된 페이지의 스크롤, 상기 디스플레이에 표시된 객체의 제어 중에서 적어도 하나를 수행하는 동작인 방법.
  8. 제 1 항에 있어서,
    상기 기능을 수행하는 동작은, 상기 검출 정보에 대응하는 상기 웨어러블 장치의 기능을 상기 전자 장치에서 수행하는 동작을 포함하는 방법.
  9. 제 1 항에 있어서,
    상기 검출 정보는, 상기 웨어러블 장치의 터치 스크린에서 검출하는 터치 입력인 방법.
  10. 제 9 항에 있어서,
    상기 전자 장치의 기능은, 상기 웨어러블 장치의 터치 스크린에서 검출하는 제 1 좌표에 대응하는 상기 전자 장치의 디스플레이의 제 2 좌표로 결정하는 동작; 및
    상기 제 2 좌표에 포인팅 객체를 표시하는 동작을 상기 제 3 전자 장치를 통해서 출력하는 동작을 더 포함하는 방법.
  11. 제 1 항에 있어서,
    상기 전자 장치와 기능적으로 연결된 제 2 웨어러블 장치로부터 제 2 검출 정보를 수신하는 동작; 및
    상기 검출 정보 및 상기 제 2 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 더 포함하는 방법.
  12. 전자 장치에 있어서,
    웨어러블 장치와 통신하는 통신 인터페이스; 및
    다른 전자 장치와 연결하여 특정 모드로 변경하고, 적어도 하나의 웨어러블 장치로 상기 특정 모드로의 변경 요청 정보를 전송하도록 제어하고, 상기 웨어러블 장치로부터 검출 정보를 수신하도록 제어하고, 상기 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 동작을 포함하는 적어도 하나의 프로세서를 포함하는 장치.
  13. 제 12 항에 있어서,
    상기 다른 전자 장치는 HMT(Head Mount Theater) 장치이고, 상기 특정 모드는 HMT 모드인 장치.
  14. 제 12 항에 있어서,
    상기 프로세서는, 상기 수행하는 기능을 상기 특정 모드를 기반으로 상기 전자 장치의 디스플레이에 표시하는 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는, 상기 다른 전자 장치가 입체 화면을 제공하도록 상기 디스플레이의 화면 구성을 변형하여 상기 표시하는 장치.
  16. 제 12 항에 있어서,
    상기 프로세서는, 상기 검출 정보를 기반으로 상기 특정 모드로 동작하는 상기 웨어러블 장치의 가속도 센서, 중력 센서, 자이로 센서, 기울기 센서, 조도 센서, 생체 센서 중 적어도 하나를 통해서 검출한 센싱 정보를 획득하는 장치.
  17. 제 12 항에 있어서,
    상기 프로세서는, 상기 검출 정보를 기반으로 상기 디스플레이의 인터페이스를 제어하는 장치.
  18. 제 17 항에 있어서,
    상기 프로세서는, 상기 디스플레이에 표시되는 공간의 이동, 중인, 줌아웃. 상기 디스플레이에 표시된 페이지의 스크롤, 상기 디스플레이에 표시된 객체의 제어 중에서 적어도 하나를 수행하여 상기 인터페이스를 제어하는 장치.
  19. 제 12 항에 있어서,
    상기 프로세서는, 상기 검출 정보에 대응하는 상기 웨어러블 장치의 기능을 상기 전자 장치에서 수행하는 장치.
  20. 제 12 항에 있어서,
    상기 프로세서는, 상기 검출 정보를 기반으로 상기 웨어러블 장치의 터치 스크린에서 검출하는 터치 입력을 획득하는 장치.
  21. 제 20 항에 있어서,
    상기 프로세서는, 상기 웨어러블 장치의 터치 스크린에서 검출하는 제 1 좌표에 대응하는 상기 전자 장치의 디스플레이의 제 2 좌표로 결정하고, 상기 제 2 좌표에 포인팅 객체를 표시하는 동작을 상기 제 3 전자 장치를 통해서 출력하는 장치.
  22. 제 12 항에 있어서,
    상기 프로세서는, 상기 전자 장치와 기능적으로 연결된 제 2 웨어러블 장치로부터 제 2 검출 정보를 수신하고, 상기 검출 정보 및 상기 제 2 검출 정보에 대응하는 상기 전자 장치의 기능을 수행하는 장치.
KR1020140066386A 2014-05-30 2014-05-30 데이터 처리 방법 및 그 전자 장치 KR102229890B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140066386A KR102229890B1 (ko) 2014-05-30 2014-05-30 데이터 처리 방법 및 그 전자 장치
US14/724,087 US10365882B2 (en) 2014-05-30 2015-05-28 Data processing method and electronic device thereof
PCT/KR2015/005408 WO2015183033A1 (en) 2014-05-30 2015-05-29 Data processing method and electronic device thereof
EP15798739.7A EP3149598B1 (en) 2014-05-30 2015-05-29 Data processing method and electronic device thereof
CN201580028946.1A CN106415510B (zh) 2014-05-30 2015-05-29 数据处理方法及其电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140066386A KR102229890B1 (ko) 2014-05-30 2014-05-30 데이터 처리 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
KR20150137828A true KR20150137828A (ko) 2015-12-09
KR102229890B1 KR102229890B1 (ko) 2021-03-19

Family

ID=54699292

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140066386A KR102229890B1 (ko) 2014-05-30 2014-05-30 데이터 처리 방법 및 그 전자 장치

Country Status (5)

Country Link
US (1) US10365882B2 (ko)
EP (1) EP3149598B1 (ko)
KR (1) KR102229890B1 (ko)
CN (1) CN106415510B (ko)
WO (1) WO2015183033A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170580B2 (en) 2017-02-16 2021-11-09 Sony Corporation Information processing device, information processing method, and recording medium
WO2023027300A1 (ko) * 2021-08-26 2023-03-02 삼성전자 주식회사 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
WO2023038225A1 (ko) * 2021-09-07 2023-03-16 삼성전자 주식회사 적어도 하나의 외부 장치를 제어하는 전자 장치 및 이의 동작 방법
WO2023132444A1 (ko) * 2022-01-06 2023-07-13 삼성전자 주식회사 가상환경에서 실 세계의 외부 전자 장치를 제어할 수 있는 시스템, 전자 장치 및 방법
WO2024090721A1 (ko) * 2022-10-28 2024-05-02 삼성전자주식회사 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299774B1 (ko) * 2014-08-28 2021-09-09 삼성전자주식회사 화면 구성 방법, 전자 장치 및 저장 매체
CN104394312B (zh) * 2014-10-23 2017-08-22 小米科技有限责任公司 拍摄控制方法及装置
KR101630726B1 (ko) * 2014-12-11 2016-06-17 현대자동차주식회사 모바일 기기로 운전자를 인식하는 차량 및 그 제어방법
USD784363S1 (en) * 2015-04-22 2017-04-18 Zynga Inc. Portion of display having graphical user interface with transitional icon
CN105630393B (zh) * 2015-12-31 2018-11-27 歌尔科技有限公司 一种触摸屏工作模式的控制方法和控制装置
WO2017200279A1 (en) * 2016-05-17 2017-11-23 Samsung Electronics Co., Ltd. Method and apparatus for facilitating interaction with virtual reality equipment
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US10902743B2 (en) * 2017-04-14 2021-01-26 Arizona Board Of Regents On Behalf Of Arizona State University Gesture recognition and communication
US10684690B2 (en) 2018-01-08 2020-06-16 Facebook Technologies, Llc Methods, devices, and systems for creating localized haptic stimulations on a user
US10877558B1 (en) * 2018-02-28 2020-12-29 Facebook Technologies, Llc Wearable gesture input device using electric impedance measurement
CN111868666A (zh) 2018-03-23 2020-10-30 脸谱科技有限责任公司 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统
TWI694356B (zh) * 2018-04-03 2020-05-21 義隆電子股份有限公司 電子系統
US11150746B2 (en) * 2018-06-28 2021-10-19 Google Llc Wearable electronic devices having user interface mirroring based on device position
JP6568269B2 (ja) * 2018-07-19 2019-08-28 京セラ株式会社 電子機器、プログラムおよび制御方法
US11906741B2 (en) * 2018-11-06 2024-02-20 Nec Corporation Display control device, display control method, and non-transitory computer-readable medium storing program
US10948976B1 (en) * 2019-02-06 2021-03-16 Facebook Technologies, Llc Systems and methods for electric discharge-based sensing via wearables donned by users of artificial reality systems
CN112506335B (zh) * 2019-09-16 2022-07-12 Oppo广东移动通信有限公司 头戴式设备及其控制方法、装置、系统和存储介质
CN111103975B (zh) * 2019-11-30 2022-09-23 华为技术有限公司 显示方法、电子设备及系统
EP4202531A4 (en) * 2020-11-24 2024-03-20 Samsung Electronics Co Ltd WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA
US11630639B2 (en) * 2020-12-08 2023-04-18 Samsung Electronics Co., Ltd. Control method of electronic device using a plurality of sensors and electronic device thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043114A1 (en) * 2001-09-04 2003-03-06 Miika Silfverberg Zooming and panning content on a display screen
US20090040187A1 (en) * 2007-08-09 2009-02-12 Asustek Computer Inc. Portable device and method for rapidly positioning cursor
US20090128448A1 (en) * 2007-11-15 2009-05-21 Patrick Riechel User Interface for a Head Mounted Display
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110124376A1 (en) * 2009-11-26 2011-05-26 Kim Jonghwan Mobile terminal and control method thereof

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7719522B2 (en) 2004-09-24 2010-05-18 Apple Inc. Raw data track pad device and system
CN101449265A (zh) 2006-03-15 2009-06-03 杰里·M·惠特克 具有浏览并与万维网交互的头戴式显示器的移动全球虚拟浏览器
US20100220062A1 (en) * 2006-04-21 2010-09-02 Mika Antila Touch sensitive display
WO2008101216A2 (en) * 2007-02-15 2008-08-21 The Govt. Of The Usa As Represented By The Secretary Of The Dept Of Health And Human Services Gamma satellite insulator sequences and their use in preventing gene silencing
US9128281B2 (en) * 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US8706170B2 (en) 2010-09-20 2014-04-22 Kopin Corporation Miniature communications gateway for head mounted display
US9128282B2 (en) 2011-02-10 2015-09-08 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8882448B2 (en) * 2011-09-09 2014-11-11 Siemens Aktiengesellshaft Cooling system in a turbine airfoil assembly including zigzag cooling passages interconnected with radial passageways
CN103018905A (zh) 2011-09-23 2013-04-03 奇想创造事业股份有限公司 头戴式体感操控显示系统及其方法
JP5714770B2 (ja) * 2012-03-09 2015-05-07 富士フイルム株式会社 放射線画像撮影装置、放射線画像撮影システム、放射線画像撮影装置の制御方法、及び放射線画像撮影装置の制御プログラム
KR101861380B1 (ko) 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
GB2499102B (en) 2013-01-11 2013-12-25 Mvr Global Ltd Head-mounted display device
US20140285520A1 (en) * 2013-03-22 2014-09-25 Industry-University Cooperation Foundation Hanyang University Wearable display device using augmented reality
WO2014161456A1 (zh) * 2013-04-01 2014-10-09 Jiang Hongming 智能手表
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN103763608A (zh) 2013-12-26 2014-04-30 青岛歌尔声学科技有限公司 头戴式音视频设备、音视频传输系统和音视频传输方法
KR102124481B1 (ko) * 2014-01-21 2020-06-19 엘지전자 주식회사 포터블 디바이스, 스마트 와치 및 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030043114A1 (en) * 2001-09-04 2003-03-06 Miika Silfverberg Zooming and panning content on a display screen
US20090040187A1 (en) * 2007-08-09 2009-02-12 Asustek Computer Inc. Portable device and method for rapidly positioning cursor
US20090128448A1 (en) * 2007-11-15 2009-05-21 Patrick Riechel User Interface for a Head Mounted Display
US20100079356A1 (en) * 2008-09-30 2010-04-01 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US20110124376A1 (en) * 2009-11-26 2011-05-26 Kim Jonghwan Mobile terminal and control method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11170580B2 (en) 2017-02-16 2021-11-09 Sony Corporation Information processing device, information processing method, and recording medium
WO2023027300A1 (ko) * 2021-08-26 2023-03-02 삼성전자 주식회사 전자 장치, 헤드-마운티드 디스플레이 장치, 웨어러블 장치 및 그 동작 방법
WO2023038225A1 (ko) * 2021-09-07 2023-03-16 삼성전자 주식회사 적어도 하나의 외부 장치를 제어하는 전자 장치 및 이의 동작 방법
WO2023132444A1 (ko) * 2022-01-06 2023-07-13 삼성전자 주식회사 가상환경에서 실 세계의 외부 전자 장치를 제어할 수 있는 시스템, 전자 장치 및 방법
WO2024090721A1 (ko) * 2022-10-28 2024-05-02 삼성전자주식회사 외부 전자 장치 내 센서를 이용하여 시각적 객체를 표시하는 웨어러블 장치 및 그 방법

Also Published As

Publication number Publication date
US10365882B2 (en) 2019-07-30
KR102229890B1 (ko) 2021-03-19
EP3149598B1 (en) 2022-06-29
EP3149598A1 (en) 2017-04-05
CN106415510B (zh) 2020-03-13
WO2015183033A1 (en) 2015-12-03
US20150347080A1 (en) 2015-12-03
EP3149598A4 (en) 2018-04-11
CN106415510A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
KR102229890B1 (ko) 데이터 처리 방법 및 그 전자 장치
US10484673B2 (en) Wearable device and method for providing augmented reality information
US10114514B2 (en) Electronic device, method for controlling the electronic device, and recording medium
US10168772B2 (en) Head mounted electronic device
KR102294945B1 (ko) 기능 제어 방법 및 그 전자 장치
CN106293055B (zh) 电子设备以及用于提供其触觉反馈的方法
US20160063767A1 (en) Method for providing visual reality service and apparatus for the same
KR102499349B1 (ko) 전방위 영상을 제공하는 전자 장치 및 방법
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
KR20160024690A (ko) 회전장치 및 이를 포함하는 전자장치
KR20150108216A (ko) 입력 처리 방법 및 그 전자 장치
KR20160061133A (ko) 이미지 표시 방법 및 그 전자 장치
KR20160121145A (ko) 카메라 설정 방법 및 장치
KR20150127989A (ko) 사용자 인터페이스 제공 방법 및 장치
KR20150094289A (ko) 전자 장치의 촬영 방법 및 그 전자 장치
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
WO2018105955A2 (ko) 객체를 디스플레이하기 위한 방법 및 그 전자 장치
KR20150132963A (ko) 디스플레이를 이용한 입력 처리 방법 및 장치
US11006048B2 (en) Method and apparatus for acquiring omnidirectional video
KR20150092962A (ko) 입력 처리 방법 및 그 전자 장치
KR20150135895A (ko) 이미지 처리 방법 및 그 전자 장치
KR20160135476A (ko) 전자 장치 및 그의 카메라 제어 방법
KR20150136391A (ko) 서비스를 제공하는 방법 및 그 전자 장치
KR20160035846A (ko) 사용자 기반 센서 정보 획득 방법 및 그 전자 장치
KR102656425B1 (ko) 영상을 표시하는 전자 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant