WO2015111778A1 - 안경형 단말기와 그 안경형 단말기의 제어방법 - Google Patents

안경형 단말기와 그 안경형 단말기의 제어방법 Download PDF

Info

Publication number
WO2015111778A1
WO2015111778A1 PCT/KR2014/000751 KR2014000751W WO2015111778A1 WO 2015111778 A1 WO2015111778 A1 WO 2015111778A1 KR 2014000751 W KR2014000751 W KR 2014000751W WO 2015111778 A1 WO2015111778 A1 WO 2015111778A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
gesture
function
information
display unit
Prior art date
Application number
PCT/KR2014/000751
Other languages
English (en)
French (fr)
Inventor
이상윤
전성환
유시환
김도중
조혜진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2014/000751 priority Critical patent/WO2015111778A1/ko
Publication of WO2015111778A1 publication Critical patent/WO2015111778A1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with three-dimensional environments, e.g. control of viewpoint to navigate in the environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type, eyeglass details G02C
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Abstract

본 발명은 안경형 단말기 및 그 안경형 단말기의 제어 방법에 관한 것으로, 본 발명의 일 실시 예에 따른 안경형 단말기는, 화면정보를 표시하는 헤드마운트 디스플레이부를 포함하는 안경형 단말기에 있어서, 사용자의 제스처를 감지하는 센싱부와, 적어도 하나의 제스처에 대한 정보 및, 상기 적어도 하나의 제스처 정보에 매칭(matching)되는 기능에 대한 정보를 저장하는 메모리부, 및, 상기 제스처가 감지되면, 상기 메모리부에 저장된 정보를 기반으로 상기 감지된 제스처에 매칭되는 기능을 검색하고, 검색된 기능을 실행하는 제어부를 포함하는 것을 특징으로 한다.

Description

안경형 단말기와 그 안경형 단말기의 제어방법

본 발명은 안경형 단말기 및 그 안경형 단말기의 제어 방법에 관한 것이다.

정보화시대가 급속히 발전함에 따라 현실감 있는 화면을 구현하는 디스플레이 장치의 중요성이 강조되고 있으며, 일 예로서 두부 장착형 디스플레이 장치(head mounted display, HMD)가 있다.

두부 장착형 디스플레이 장치는 주로 보안경이나 헬멧형 기기로 눈앞에 있는 스크린을 보도록 이루어지며, 가상 현실감을 실현하기 위해 개발되었다. 착용 가능한 안경형 단말기는 양안(양쪽 눈)에 근접한 위치에 액정 등의 소형 디스플레이가 설치되어 영상을 투영하는 방식이 일반적이며, 현재는 우주 개발, 원자로, 군사 기관 및 의료 기관에서 사용하기 위한 것과 업무용이나 게임용 등에 대한 각종 개발이 진행되고 있다.

이러한 개량에 힘입어, 착용 가능한 안경형 단말기의 일 실시 예로서, 스마트 안경(smart glasses)이 출시되고 있다. 착용 가능한 장치(Wearable device)로 구현된 스마트 안경은 기존의 안경형 단말기에서 실행되던 기능을 간편하게 실행할 수 있다.

이러한 상기 스마트 안경은 외부기기와 통신하는 기능을 포함할 수 있다. 그리고 이에 따라 스마트 안경을 이용하여 보다 다양한 기능을 실행하도록 하거나, 스마트 안경을 이용하여 보다 다양한 기능을 제어할 수 있도록 하는 다양한 방법이 활발하게 연구중인 실정이다.

본 발명의 일 목적은, 별도의 입력 도구 없이도 보다 다양한 기능을 선택 및 실행할 수 있도록 하는 안경형 단말기 및 그 제어 방법을 제공하는 것이다.

본 발명의 다른 일 목적은, 별도의 입력 도구 없이도 다양한 주변 기기를 손쉽게 제어할 수 있도록 하는 안경형 단말기 및 이의 제어 방법을 제공하는 것이다.

본 발명의 일 실시 예에 따른 안경형 단말기는, 화면정보를 표시하는 헤드마운트 디스플레이부를 포함하는 안경형 단말기에 있어서, 상기 헤드마운트 디스플레이부를 통해 투과되는 사용자의 신체부위의 움직임으로부터 사용자의 제스처를 감지하는 센싱부와, 적어도 하나의 제스처에 대한 정보 및, 상기 적어도 하나의 제스처 정보에 매칭(matching)되는 기능에 대한 정보를 저장하는 메모리부, 및, 상기 제스처가 감지되면, 상기 메모리부에 저장된 정보를 기반으로 상기 감지된 제스처에 매칭되는 기능을 검색하고, 검색된 기능을 실행하는 제어부를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 센싱부는, 상기 사용자의 제스처가 상기 안경형 단말기에 기 설정된 인식 영역 내에서 이루어지는 경우, 이를 감지하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 감지된 제스처에 매칭되는 기능이 복수인 경우, 각각의 기능에 대응되는 화면 정보들을 상기 헤드마운트 디스플레이부에 표시하고, 상기 화면 정보들 중 사용자의 선택에 근거한 어느 하나에 대응되는 기능을 실행하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역에 상기 화면 정보들 중 어느 하나를 표시하고, 사용자의 선택에 근거하여 상기 표시된 화면 정보를 변경하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역 주변에 상기 화면 정보들을 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 제스처에 매칭되는 기능이 복수의 주변 기기와 연관된 기능인 경우, 상기 복수의 주변 기기에 대응되는 화면 정보들을 상기 헤드마운트 디스플레이부에 표시하고, 상기 화면 정보들 중 사용자의 선택에 근거한 적어도 하나의 주변 기기가, 사용자로부터 감지되는 추가적인 제스처에 근거하여 제어되도록 하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역에 상기 화면 정보들 중 어느 하나를 표시하고, 사용자의 선택에 근거하여 상기 표시된 화면 정보를 변경하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역 주변에 상기 화면 정보들을 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 적어도 하나의 주변 기기는, 적어도 하나의 가전기기이며, 상기 제어부는, 상기 추가 제스처에 근거하여 상기 적어도 하나의 가전기기 중 어느 하나와 연결하고, 연결된 가전기기와 관련된 화면 정보를 상기 디스플레이부에 표시하며, 상기 가전기기와 관련된 화면정보에 대해 추가적으로 인식되는 사용자의 제스처에 근거하여 상기 연결된 가전기기의 동작을 제어하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 적어도 하나의 주변 기기는, 적어도 하나의 이동 단말기이며, 상기 제어부는, 상기 추가 제스처에 근거하여 어느 하나의 이동 단말기와 연결하고, 연결된 이동 단말기에 관련된 화면 정보를 상기 헤드마운트 디스플레이부에 표시하며, 상기 화면 정보에 대한 사용자의 추가 제스처가 감지되면 상기 연결된 이동 단말기에 관련된 기능이 상기 추가 제스처에 근거하여 제어되도록 하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 적어도 하나의 주변 기기는, 서로 무선 통신을 통해 연결가능한 적어도 하나의 이동 단말기이며, 상기 제어부는, 사용자의 제스처에 근거하여 상기 적어도 하나의 주변 기기가 서로 연결되도록 하고, 연결된 각각의 주변 기기에 대응되는 화면 정보를 상기 헤드마운트 디스플레이부에 표시하며, 상기 화면 정보들에 대한 사용자의 추가 제스처에 근거하여 상기 적어도 하나의 주변 기기 간의 데이터 교환이 이루어지도록 상기 적어도 하나의 주변 기기를 제어하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 감지된 제스처가 특정 악기를 연주하기 위한 제스처로 인식되는 경우, 사용자의 제스처에 매칭되는 악기 종류를 검출하고, 악기 종류에 근거한 기능을 상기 사용자의 제스처에 근거하여 수행하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 악기 종류에 근거한 기능은, 악보 관련 기능이며, 상기 제어부는, 상기 검출된 악기 종류에 따라 결정되는 악보들 중 어느 하나로부터, 사용자의 추가 제스처에 대응되는 상기 어느 하나의 악보 일부분을, 다른 부분과 구분되게 표시하여 상기 헤드마운트 디스플레이부에 출력하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 감지된 사용자의 제스처에 근거하여, 전자 명함 정보를 교환하는 기능 또는 네비게이션 정보를 제공하는 기능을 실행하고, 관련된 화면 정보를 상기 헤드마운트 디스플레이부에 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 감지된 사용자의 제스처가 악수하는 제스처인 경우, 매칭되는 기능으로 상기 전자 명함 정보를 교환하는 기능이 선택되면, 인접한 적어도 하나의 이동 단말기 중, 상기 헤드마운트 디스플레이부가 향하는 방향에서 감지되는 적어도 하나로부터 전자 명함 정보를 수신하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 헤드마운트 디스플레이부에 투과되는 영상을 촬영하고, 촬영된 영상 정보를 상기 전자 명함 정보와 함께 저장하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 감지된 사용자의 제스처가 운전하는 제스처인 경우, 매칭되는 기능으로 상기 네비게이션 정보를 제공하는 기능이 선택되면, 현재 위치 및 기 저장된 지도 정보를 이용하여 네비게이션 정보를 생성하고, 생성된 네비게이션 정보를 상기 헤드마운트 디스플레이부에 출력하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 사용자의 제스처에 관련된 사용자의 신체 부위와의 거리에 근거하여 결정된 크기로, 상기 검색된 기능의 실행과 관련된 화면 정보를 상기 헤드마운트 디스플레이부에 표시하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 상기 제스처가 감지되는 동안에만 상기 검색된 기능을 실행 및 상기 검색된 기능의 실행과 관련된 화면 정보가 상기 헤드마운트 디스플레이부에 표시되도록 하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 제어부는, 기 설정된 특정 제스처가 감지되는 경우, 상기 제스처의 감지 상태와 상관없이 상기 검색된 기능을 실행하는 상태 및 상기 검색된 기능의 실행과 관련된 화면 정보를 표시하는 상태가 유지되도록 하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 안경형 단말기의 제어 방법에 있어서, 화면정보를 표시하는 헤드마운트 디스플레이부를 포함하는 안경형 단말기에 있어서, 사용자의 제스처를 감지하는 단계와, 상기 감지된 제스처에 매칭되는 기능을 검색하고 검색된 기능을 실행하는 단계와, 사용자의 추가 제스처를 감지하는 단계, 및, 상기 추가 제스처에 근거하여 현재 실행중인 기능을 제어하는 단계를 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 검색된 기능을 실행하는 단계는, 상기 감지된 제스처에 매칭되는 기능이 복수인 경우, 어느 하나를 사용자로부터 선택받는 단계와, 상기 선택된 기능이 주변 기기와 연계되는 기능인지 여부에 근거하여 어느 하나의 주변 기기를 사용자로부터 선택받는 단계와, 사용자로부터 선택된 기능 또는 상기 사용자로부터 선택된 주변 기기와 연계된 기능을 실행하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 어느 하나의 기능을 사용자로부터 선택받는 단계는, 상기 복수의 기능과 각각 관련되는 화면 정보들을, 상기 사용자의 제스처에 관련된 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 영역 또는 그 주변에 표시하는 단계, 및 상기 표시된 화면 정보들 중 어느 하나에 대한 사용자의 추가 제스처에 근거하여, 상기 어느 하나의 기능이 선택된 것으로 인식하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 어느 하나의 주변 기기를 사용자로부터 선택받는 단계는, 상기 선택된 기능이 주변 기기와 연계되는 기능인 경우 연결 가능한 적어도 하나의 주변 기기에 각각 관련되는 화면 정보를 상기 사용자의 제스처에 관련된 신체 부위가 투과되는 상기 헤드마운트 디스플레이부의 영역 또는 그 주변에 표시하는 단계와, 상기 표시된 화면 정보들 중 어느 하나에 대한 사용자의 추가 제스처에 근거하여, 상기 어느 하나의 주변 기기가 선택된 것으로 인식하는 단계, 및, 상기 선택된 주변 기기와 연결하는 단계를 더 포함하는 것을 특징으로 한다.

일 실시 예에 있어서, 상기 검색된 기능을 실행하는 단계는, 상기 감지된 제스처에 매칭되는 기능이 없는 경우, 연결 가능한 주변 기기들에 대한 목록 또는 상기 안경형 단말기에서 실행 가능한 기능들에 대한 목록 중 적어도 하나를 상기 헤드마운트 디스플레이부에 표시하는 단계와, 상기 적어도 하나의 목록 중 어느 하나의 기능 또는 어느 하나의 주변 기기를 사용자로부터 선택받는 단계, 및, 상기 선택된 어느 하나의 기능 또는 상기 선택된 어느 하나의 주변장치와 연계된 기능을 실행하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일 실시 예에 따른 안경형 단말기 및 이의 제어 방법은, 사용자의 제스처(gesture)를 감지하고, 감지된 제스처에 매칭되는 기능이 실행되도록 함으로써, 사용자가 별도의 입력 도구 없이도 안경형 단말기에서 다양한 기능을 실행시킬 수 있도록 한다.

본 발명의 일 실시 예에 따른 안경형 단말기 및 이의 제어 방법은, 사용자의 제스처를 감지하고, 감지된 제스처에 매칭되는 특정 주변기기와 연계된 기능이 사용자의 추가 제스처에 근거하여 실행되도록 함으로써, 사용자가 안경형 단말기를 이용하여 다양한 주변 기기를 제어할 수 있도록 한다.

도 1은 본 발명의 일 실시 예에 따른 안경형 단말기를 나타내는 블록도이다.

도 2a 및 도 2b는 안경형 단말기가 동작 가능한 통신 시스템의 개념도이다.

도 3은 본 발명에 따른 착용 가능한 안경형 단말기의 일 실시예를 나타낸 개념도이다.

도 4는 본 발명의 일 실시 예에 따른 안경형 단말기의 제어방법을 설명하기 위한 흐름도이다.

도 5는 본 발명의 일 실시 예에 따른 안경형 단말기에서 제스처 인식이 시작되도록 하는 예를 도시한 개념도이다.

도 6a 및 도 6b은 도 4의 제어방법을 설명하기 위한 개념도이다.

도 7은 도 4의 제어방법 중 감지된 제스처에 매칭되는 기능을 선택하는 과정을 보다 자세하게 도시한 흐름도이다.

도 8a, 도 8b, 도 8c 및 도 8d는 본 발명의 일 실시 예에 따른 안경형 단말기에서 기능이 복수인 경우 어느 하나를 선택받는 예를 설명하기 위한 개념도이다.

도 9a, 도 9b, 도 9c 및 도 9d는 본 발명의 일 실시 예에 따른 안경형 단말기에서 연결 가능한 주변 기기가 복수인 경우 어느 하나를 선택받는 예를 설명하기 위한 개념도이다.

도 10a 및 도 10b는 본 발명의 실시 예에 따른 안경형 단말기에서 특정 주변기기와 연계되는 기능을 실행하는 예를 설명하기 위한 개념도이다.

도 11a 및 도 11b는 본 발명의 실시 예에 따른 안경형 단말기에서 복수의 주변 기기와 연계되는 기능을 실행하는 예를 설명하기 위한 개념도이다.

도 12, 도 13a, 도 13b, 도 13c,도 13d, 도 14a, 도 14b, 도 15a, 도 15b 및 도 15c는 본 발명의 실시 예에 따른 안경형 단말기에서 감지된 사용자의 제스처에 매칭되는 기능이 실행되는 예를 설명하기 위한 개념도이다.

도 16a 및 도 16b는 본 발명의 실시 예에 따른 안경형 단말기에서 사용자의 제스처에 근거하여 현재 실행중인 기능을 유지한 상태에서 적어도 하나의 다른 기능이 실행되도록 하는 예를 설명하기 위한 개념도이다.

도 17은 본 발명의 실시 예에 따른 안경형 단말기에서 제스처와 관련된 사용자의 신체부위와의 거리 정보에 근거하여 화면 정보의 크기를 변경하는 예를 설명하기 위한 개념도이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

본 명세서에서 설명되는 안경형 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다. 그러나 본 명세서에 기재된 실시 예에 따른 구성은 안경형 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1은 본 명세서에 개시된 일실시 예에 따른 안경형 단말기를 나타내는 블록도이다.

상기 안경형 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 안경형 단말기가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(110)는 안경형 단말기(100)와 무선 통신 시스템 사이 또는 안경형 단말기(100)와 안경형 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115)중 적어도 하나를 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 안경형 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance),Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.

위치정보 모듈(115)은 안경형 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.

도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부 기기로 전송될 수 있다.또한, 카메라(121)에서 획득되는 화상 프레임으로부터 사용자의 위치 정보 등이 산출될 수 있다.카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자로부터 인가되는 안경형 단말기(100)의 동작을 제어하기 위한 제어명령에 따른 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(또는 감지부, 140)는 안경형 단말기(100)의 개폐 상태, 안경형 단말기(100)의 위치, 사용자 접촉 유무, 안경형 단말기의 방위, 안경형 단말기의 가속/감속 등과 같이 안경형 단말기(100)의 현 상태를 감지하여 안경형 단말기(100)의 동작을 제어하기 위한 감지 신호 (또는 센싱 신호)를 발생시킨다. 예를 들어 센싱부(140)는 안경형 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 감지할 수 있다. 또한, 센싱부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 감지할 수도 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(153), 알람부(154) 및 햅틱 모듈(155) 등이 포함될 수 있다.

디스플레이부(151)는 안경형 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 안경형 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 안경형 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에 디스플레이부(151)는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디(body)의 후방에 위치한 사물을 볼 수 있다.

안경형 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 안경형 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부(152)로서 구성될 수 있다.

여기서, 입체영상은 3차원 입체영상(3-dimensional stereoscopic image)을 나타내며, 3차원 입체 영상(3-dimensional stereoscopic image)은 모니터나 스크린 상에서 사물이 위치한 점진적 깊이감(depth)과 실체(reality)를 현실 공간과 동일하게 느낄 수 있도록 한 영상이다. 3차원 입체 영상은 양안시차(binocular disparity)를 이용하여 구현된다. 양안시차란 떨어져 있는 두 눈의 위치에 의하여 이루어지는 시차를 의미하는 것으로, 두 눈이 서로 다른 2차원 화상을 보고 그 화상들이 망막을 통하여 뇌로 전달되어 융합되면 입체 영상의 깊이감 및 실제감을 느낄 수 있게 된다.

상기 입체 디스플레이부(152)에는 스테레오 스코픽 방식(안경 방식), 오토 스테레오 스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 가정용 텔레비전 수신기 등에 많이 이용되는 스테레오 스코픽 방식에는 휘스톤 스테레오스코프 방식 등이 있다.

상기 오토 스테레오 스코픽 방식의 예로서, 패럴렉스 배리어(parallex barrier) 방식, 렌티큘러(lenticular) 방식, 집적영상(integral imaging) 방식, 스위츠블 렌즈(switchable lens) 등이 있다. 프로젝션 방식에는 반사형 홀로그래픽 방식, 투과형 홀로그래픽 방식 등이 있다.

일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.

또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이를 합쳐서 하나의 3차원 썸네일 영상을 생성할 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감감(depth)만큼 화면상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.

3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부(미도시)에 의하여 입체 디스플레이부(152)에 표시될 수 있다. 입체 처리부는 3D 영상을 입력받아 이로부터 좌 영상과 우 영상을 추출하거나, 2D 영상을 입력받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.

한편, 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 대상체가 터치 센서 상에 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

도 1을 참조하면, 상기 터치 스크린에 의해 감싸지는 안경형 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 근접 센서(141)는 상기 센싱부(140)의 일 예로서 구비될 수 있다.상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 전도성을 갖는 물체(이하, 포인터라 함)의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.

상기 근접센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린 상에 출력될 수 있다.

입체 디스플레이부(152)와 터치 센서가 상호 레이어 구조를 이루는 경우(이하, '입체 터치스크린'이라 함)나, 입체 디스플레이부(152)와 터치 동작을 감지하는 3차원 센서가 서로 조합되는 경우에는 상기 입체 디스플레이부(152)는 3차원의 입력 장치로도 사용될 수 있다.

상기 3차원 센서의 예로서, 상기 센싱부(140)는 근접 센서(141), 입체 터치 센싱부(142), 초음파 센싱부(143), 카메라 센싱부(144)를 포함할 수 있다.

근접센서(141)는 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 터치를 가하는 감지대상(예를 들어, 사용자의 손가락이나 스타일러스 펜)과 검출면과의 거리를 측정한다. 단말기는 이러한 거리를 이용하여 입체영상의 어느 부분이 터치되었는지를 인식하게 된다. 특히, 터치스크린이 정전식인 경우에는 상기 감지대상의 근접에 따른 전계의 변화로 상기 감지대상의 근접 정도를 검출하고, 이러한 근접 정도를 이용하여 3차원상의 터치를 인식하도록 구성된다.

입체 터치 센싱부(142)는 터치 스크린상에 가해지는 터치의 세기나 지속시간을 감지하도록 이루어진다. 예를 들어, 입체 터치 센싱부(142)는 터치를 가하는 압력을 감지하고, 가압력이 강하면 이를 단말기의 내부를 향하여 터치 스크린과 보다 멀리 위치한 객체에 대한 터치로 인식한다.

초음파 센싱부(143)는 초음파를 이용하여, 감지대상의 위치정보를 인식하도록 이루어진다.

초음파 센싱부(143)는, 예를 들어 광센서와 복수의 초음파 센서로 이루어질 수 있다. 광센서는 광을 감지하도록 형성되며, 초음파 센서는 초음파를 감지하도록 형성된다. 광이 초음파보다 매우 빠르기 때문에, 광이 광센서에 도달하는 시간은 초음파가 초음파 센서에 도달하는 시간보다 매우 빠르다. 따라서 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치를 산출할 수 있게 된다.

카메라 센싱부(144)는 카메라(121), 포토 센서, 레이저 센서 중 적어도 하나를 포함한다.

예를 들어,카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지한다. 카메라에 의하여 촬영된 2차원 영상에 레이저 센서에 의하여 감지된 거리정보가 더해지면, 3차원 정보가 획득될 수 있다.

또 다른 예로서, 포토 센서가 디스플레이 소자에 적층될 수 있다. 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보를 획득하게 된다.

음향 출력 모듈(153)은 호 신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(153)은 안경형 단말기(100)에서 수행되는 기능(예를 들어, 호 신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(153)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

알람부(154)는 안경형 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 안경형 단말기(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(154)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동을 이용하여, 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(153)을 통해서도 출력될 수 있어서, 디스플레이부(151) 및 음향 출력 모듈(153)은 알람부(154)의 일부로 분류될 수도 있다.

햅틱 모듈(haptic module)(155)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(155)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅택 모듈(155)이 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(155)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(155)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(155)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(155)은 안경형 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 안경형 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.

인터페이스부(170)는 안경형 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 안경형 단말기(100) 내부의 각 구성요소에 전달하거나, 안경형 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(170)에 포함될 수 있다.

한편, 식별 모듈은 안경형 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(170)를 통하여 단말기(100)와 연결될 수 있다.

또한, 상기 인터페이스부(170)는 안경형 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 안경형 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 안경형 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 안경형 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.

제어부(controller, 180)는 통상적으로 안경형 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

또한, 상기 제어부(180)는 상기 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.

또한, 상기 제어부(180)는 상기 안경형 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행할 수 있다. 또한, 상기 제어부(180)는 상기 잠금 상태에서 상기 디스플레이부(151)를 통해 감지되는 터치 입력에 근거하여 상기 잠금 상태에서 표시되는 잠금 화면을 제어할 수 있다.

전원공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들은 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

소프트웨어 코드는 적절한 프로그램 언어로 작성된 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

다음으로, 본 발명에 따른 안경형 단말기(100)를 통해 실시 가능한 통신 시스템에 대하여 살펴본다. 도 2a 및 도2b는 본 발명에 따른 안경형 단말기(100)가 동작 가능한 통신 시스템의 개념도이다.

먼저, 도 2a를 살펴보면, 통신 시스템은, 서로 다른 무선 인터페이스 및/또는 물리 계층을 이용할 수도 있다. 예를 들어, 통신 시스템에 의해 이용 가능한 무선 인터페이스에는, 주파수 분할 다중 접속(Frequency Division Multiple Access, FDMA), 시분할 다중 접속(Time Division Multiple Access, TDMA), 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 범용 이동통신 시스템(Universal Mobile Telecommunications Systems, UMTS)(특히, LTE(Long Term Evolution)), 이동통신 글로벌 시스템(Global System for Mobile Communications, GSM) 등이 포함될 수 있다.

이하에서는, 설명의 편의를 위하여, CDMA 에 한정하여 설명하도록 한다. 그러나 본 발명은, CDMA 무선 통신 시스템을 포함한 모든 통신 시스템 적용될 수 있음은 자명하다.

도2a에 도시된 바와 같이, CDMA 무선 통신 시스템은, 적어도 하나의 단말기(100), 적어도 하나의 기지국(Base Station, BS)(270), 적어도 하나의 기지국 제어부(180)(Base Station Controllers, BSCs)(275), 이동 스위칭 센터(Mobile Switching Center, MSC)(280)를 포함할 수 있다. MSC(280)는, 일반 전화 교환망(Public Switched Telephone Network, PSTN)(290) 및 BSCs(275)와 연결되도록 구성된다. BSCs(275)는, 백홀 라인(backhaul line)을 통하여, BS(270)와 짝을 이루어 연결될 수 있다. 백홀 라인은, E1/T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL 또는 xDSL 중 적어도 하나에 따라서 구비될 수 있다. 따라서, 복수의 BSCs(275)가 도 2a에 도시된 시스템에 포함될 수 있다.

복수의 BS(270) 각각은 적어도 하나의 섹터를 포함할 수 있고, 각각의 섹터는, 전방향성 안테나 또는 BS(270)로부터 방사상의 특정 방향을 가리키는 안테나를 포함할 수 있다. 또한, 각각의 섹터는, 다양한 형태의 안테나를 두 개 이상 포함할 수도 있다. 각각의 BS(270)는, 복수의 주파수 할당을 지원하도록 구성될 수 있고, 복수의 주파수 할당은 각각 특정 스펙트럼(예를 들어, 1.25MHz, 5MHz 등)을 가질 수 있다.

섹터와 주파수 할당의 교차는, CDMA 채널이라고 불릴 수 있다. BS(270)은 는, 기지국 송수신 하부 시스템(Base Station Transceiver Subsystem, BTSs)이라고 불릴 수 있다. 이러한 경우, 하나의 BSC(275) 및 적어도 하나의 BS(270)를 합하여"기지국"이라고 칭할 수 있다.기지국은, 또한 "셀 사이트"를 나타낼 수도 있다. 또는, 특정 BS(270)에 대한 복수의 섹터들 각각은, 복수의 셀 사이트로 불릴 수도 있다.

도2a에 도시된 바와 같이, 방송 송신부(Broadcasting Transmitter, BT)(295)는, 시스템 내에서 동작하는 단말기들(100)에게 방송 신호를 송신한다. 도 1에 도시된 방송 수신 모듈(111)은, BT(295)에 의해 전송되는 방송 신호를 수신하기 위해 단말기(100) 내에 구비된다.

뿐만 아니라, 도 2a에서는, 위성 위치 확인 시스템(Global Positioning System, GPS)의 위성(300)을 도시한다. 상기 위성(300)은, 안경형 단말기(100)의 위치를 파악하는 것을 돕는다. 도 2a에서는 두 개의 위성이 도시되어 있지만, 유용한 위치 정보는, 두 개 이하 또는 이상의 위성들에 의해 획득될 수도 있다. 도 1에 도시된 위치정보 모듈(115)은, 원하는 위치 정보를 획득하기 위하여 도 2a에 도시된 위성(300)과 협력한다. 여기에서는, GPS 추적 기술뿐만 아니라 위치를 추적할 수 있는 모든 기술들을 이용하여 안경형 단말기(100)의 위치가 추적될 수 있다. 또한, GPS 위성(300) 중 적어도 하나는, 선택적으로 또는 추가로 위성 DMB 전송을 담당할 수도 있다.

무선 통신 시스템의 전형적인 동작 중, BS(270)는, 안경형 단말기(100)로부터 역 링크 신호를 수신한다. 이때, 안경형 단말기(100)는, 호를 연결 중이거나, 메시지를 송수신 중이거나 또는 다른 통신 동작을 수행하고 있다. 특정 기지국(270)에 의해 수신된 역 링크 신호들 각각은, 특정 기지국(270)에 의해 내에서 처리된다. 상기 처리 결과 생성된 데이터는, 연결된 BSC(275)로 송신된다. BSC(275)는, 기지국들(270) 간의 소프트 핸드오프(soft hand off)들의 조직화를 포함하여, 호 자원 할당 및 이동성 관리 기능을 제공한다. 또한, BSCs(275)는, 상기 수신된 데이터를 MSC(280)로 송신하고, MSC(280)는, PSTN(290)과의 연결을 위하여 추가적인 전송 서비스를 제공한다. 또한, 이와 유사하게 PSTN(290)은 MSC(280)와 연결되고, MSC(280)는 BSCs(275)와 연결되고, BSCs(275)는 안경형 단말기(100)로 순 링크 신호가 전송되도록 BS(270)를 제어할 수 있다.

다음으로, 도 2b에서는 와이파이 위치추적 시스템(WPS: WiFi(Wireless Fidelity) Positioning System)을 이용하여, 안경형 단말기의 위치정보를 획득하는 방법에 대하여 살펴본다.

와이파이 위치추적 시스템(WPS: WiFi Positioning System, 300)은 안경형 단말기(100)에 구비된 WiFi 모듈 및 상기 WiFi 모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point, 320)를 이용하여, 안경형 단말기(100)의 위치를 추적하는 기술로서, WiFi를 이용한 WLAN(Wireless Local Area Network)기반의 위치 측위 기술을 의미한다.

와이파이 위치추적 시스템(300)은 와이파이위치측위 서버(310), 안경형 단말기(100), 상기 안경형 단말기(100)와 접속된 무선 AP(330), 임의의 무선 AP정보가 저장된 데이터베이스(330)를 포함할 수 있다.

와이파이 위치측위서버(310)는 안경형 단말기(100)의 위치정보 요청 메시지(또는 신호)에 근거하여, 안경형 단말기(100)와 접속된 무선 AP(320)의 정보를 추출한다. 상기 안경형 단말기(100)와 접속된 무선 AP(320)의 정보는 안경형 단말기(100)를 통해 상기 와이파이 위치측위서버(310)로 전송되거나, 무선 AP(320)에서 와이파이 위치측위서버(302)로 전송될 수 있다.

상기 안경형 단말기(100)의 위치정보 요청 메시지에 근거하여, 추출되는 무선 AP의 정보는 MAC Address, SSID, RSSI, 채널정보, Privacy, Network Type, 신호세기(Signal Strength) 및 노이즈 세기(Noise Strength )중 적어도 하나일 수 있다.

와이파이 위치측위서버(302)는 위와 같이, 안경형 단말기(100)와 접속된 무선 AP(320)의 정보를 수신하여, 미리 구축된 데이터베이스(330)에 포함된 정보와 상기 수신된 무선 AP(320) 정보를 비교하여, 상기 안경형 단말기(100)의 위치정보를 추출(또는 분석)한다.

한편, 도 2b에서는 일 예로서, 안경형 단말기(100)와 접속되어 있는 무선 AP를 제1, 제2 및 제3 무선 AP(320)로 도시하였다. 그러나 안경형 단말기(100)와 접속되는 무선 AP의 수는 안경형 단말기(100)가 위치한 무선 통신환경에 따라 다양하게 변경될 수 있다. 와이파이 위치추척 시스템(300)은 안경형 단말기(100)가 적어도 하나의 무선 AP와 접속되는 경우, 안경형 단말기(100)의 위치를 추적하는 것이 가능하다.

다음으로, 임의의 무선 AP정보가 저장되어 있는 데이터베이스(330)에 대하여 보다 구체적으로 살펴보면, 상기 데이터베이스(330)에는 서로 다른 위치에 배치된 임의의 무선 AP들의 다양한 정보가 저장될 수 있다.

상기 데이터베이스(300)에 저장되는 임의의 무선 AP들의 정보는 MAC Address, SSID, RSSI, 채널정보, Privacy, Network Type, 무선 AP의 위경도 좌표, 무선 AP가 위치한 건물명, 층수, 실내 상세 위치정보(GPS 좌표 이용가능), AP소유자의 주소, 전화번호 등의 정보일 수 있다.

이와 같이, 상기 데이터베이스(330)에는 임의의 무선 AP정보 및 상기 임의의 무선 AP에 대응되는 위치정보가 함께 저장되어 있으므로, 와이파이위치측위서버(302)는 상기 데이터베이스(330)에서 안경형 단말기(100)에 접속된 무선 AP(320)의 정보와 대응되는 무선 AP정보를 검색하고, 검색된 무선 AP정보에 매칭된 위치정보 추출함으로써, 안경형 단말기(100)의 위치정보를 추출할 수 있다.

도 3은 본 발명에 따른 착용 가능한 안경형 단말기의 일 실시 예를 나타낸 개념도이다. 도 3a을 참조하면, 본 발명에 따른 착용 가능한 안경형 단말기(100)는 본체(100'), 디스플레이부(151) 및 제어부(180)를 포함한다.

또한 본 발명에 따른 착용 가능한 안경형 단말기(100)는 사용자 입력부, 음성 인식부, 동작 센싱부를 더 포함할 수 있다.

본 발명에 따른 착용 가능한 안경형 단말기(100)는 두부 장착형 디스플레이(head mounted display, HMD)로 구현될 수 있다. 구체적인 실시 예로, 스마트 안경(smart glasses)으로 구현될 수 있다.

본체(100')는 두부에 장착 가능하도록 형성된다. 예를 들면, 스마트 안경에서의 프레임과 다리 부분으로 구현될 수 있다.

디스플레이부(151)는 본체(100')와 결합하여 양안에 대응되는 위치에 배치될 수 있다. 또한 상기 디스플레이부(151)는 광투과성을 가지며, 시각 정보를 출력할 수 있다.

상기 시각 정보는 착용 가능한 안경형 단말기(100)에서 생성하거나 또는 외부 기기로부터 입력받은 가상의 객체를 의미한다. 예를 들면, 상기 가상의 객체는 애플리케이션이나 이에 대응하는 아이콘, 콘텐츠, 통화모드의 UI 등을 의미할 수 있다. 이는 제어부(180)에 의해 생성되거나 스마트 폰과 같은 안경형 단말기로부터 입력받을 수 있다. 이때, 디스플레이부(151)는 광투과성을 갖기 때문에, 사용자는 상기 디스플레이부(151)를 통하여 외부 환경을 볼 수 있다.

또한, 일 실시 예로, 디스플레이부(151)는 외부 환경이 보이는 동시에 상기 외부 환경을 구성하는 임의의 외부 물체에 대한 정보가 출력될 수 있다. 예를 들어, 외부 물체는 명함, 사람 또는 상호 통신이 가능한 외부기기일 수 있다.

앞서 설명한 바와 같이, 제어부(180)는 착용 가능한 안경형 단말기(100)를 제어할 수 있다. 구체적으로, 제어부(180)는 디스플레이부(151)에 무선통신부(110)에서 감지한 외부기기의 정보를 출력시킬 수 있다.

예를 들어, 제어부(180)는 상기 감지된 외부기기의 위치를 식별할 수 있다. 이때, 상기 제어부(180)는 상기 감지된 외부기기가 사용자의 시야 내에 위치하는지 여부를 판단하고, 상기 판단 결과에 따라 상기 감지된 외부기기의 정보를 출력시킬지 여부를 결정할 수 있다.

또한, 제어부(180)는 착용 가능한 안경형 단말기(100)의 본체(100')에 장착되거나, 본체(100')와 일체로 형성될 수 있다. 또 다른 실시 예로, 본체(100')와 떨어져 배치될 수 있다.

카메라(121)는 좌안 및 우안 디스플레이부(151) 중 적어도 하나의 전면에 배치될 수 있다. 또는, 프레임(310) 한쪽 또는 양쪽에 배치되어 착용자의 시야 이외의 공간도 촬영할 수 있다.

사용자 입력부(130)는 프레임(310) 한쪽 또는 양쪽에 별도의 터치 패널로 구현될 수 있다. 또는, 물리적인 키로 구현될 수 있다. 예를 들면, 전원의 ON/OFF 스위치가 프레임(310)의 한쪽에 구현될 수 있다.

또 다른 실시 예로, 본체(100')와 연결된 별도의 외부 기기 장치로 구현될 수 있다. 이에 따라, 사용자는 별도의 외부 기기 장치에 특정 명령을 입력할 수 있다. 또는, 디스플레이부(151)가 터치 스크린으로 구현되어 사용자로부터의 제어 명령을 직접 입력받을 수 있다.

또 다른 실시 예로, 사용자의 음성 명령을 인식하는 모듈로 구현될 수 있다. 이를 통해, 사용자는 음성을 통하여 본체(100')에 특정 명령을 입력할 수 있다.

한편, 착용 가능한 안경형 단말기의 일 실시 예로서, 스마트 안경(smart glasses)이 출시되고 있다. 착용 가능한 장치(Wearable device)로 구현된 스마트 안경은 기존의 안경형 단말기에서 실행되던 기능을 간편하게 실행할 수 있다.

상기 스마트 안경의 디스플레이부(151)는, 디스플레이부(151)를 통해 보이는 외부 환경과 출력된 시각 정보를 함께 표시(Augmented Reality)할 수 있다. 이를 통해 사용자는 외부 환경을 구성하는 임의의 객체에 대한 정보를 보다 쉽게 파악할 수 있다.

또한 상기 스마트 안경은 스마트 안경들끼리 혹은, 스마트 안경과 통신이 가능한 외부 기기와 무선 통신을 수행할 수 있다. 이때, 상기 외부기기와 관련된 정보가 디스플레이부에 출력될 수 있다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 안경형 단말기(100)의 제어 방법을 구체적으로 설명한다.

도 4는 본 발명의 일 실시 예에 따른 안경형 단말기의 제어방법을 설명하기 위한 흐름도이다. 그리고 도 6a 및 도 6b는 도 4의 제어방법을 설명하기 위한 개념도이다.

도 4를 참조하여 살펴보면, 본 발명의 실시 예에 따른 안경형 단말기(100)는 사용자의 선택에 따라 제스처 인식을 시작한다.

예를 들어, 제어부(180)는 사용자가 지정 명령어(예를 들어 "제스처 인식 시작")를 음성으로 입력하는 경우 또는, 본체(100')에 구비된 특정 지정 버튼이 입력되는 경우에 제스처 인식을 시작할 수 있다.

또는 제어부(180)는 본체(100')를 구성하는 프레임(310)의 특정 부분 또는 다리의 특정 부분에서 사용자의 터치가 감지되거나, 또는 상기 사용자의 터치 입력 유형에 따라 상기 제스처 인식을 시작하도록 할 수 있다. 예를 들어 제어부(180)는 사용자가 본체(100')를 구성하는 프레임(310)의 특정 부분 또는 다리의 특정 부분을 기 설정된 시간 이상 터치하는 경우 또는, 기 설정된 시간 내에 기 설정된 횟수 이상을 터치하는 경우에 상기 제스처 인식이 시작된 것으로 인식할 수 있다.

또는 제어부(180)는 사용자의 눈동자 움직임을 감지하고, 사용자의 눈동자가 기 설정된 특정 방향을 향하는 경우에 상기 제스처 인식이 시작된 것으로 인식할 수도 있다. 이를 위해 상기 센싱부(140)는 사용자의 눈동자 움직임을 감지하기 위한 안전도(EOG : Electro Oculogram) 센서를 더 구비할 수도 있다.

또는 제어부(180)는 사용자가 특정 동작을 하는 경우에, 그 동작을 감지하여 상기 제스처 인식의 시작 여부를 감지할 수 있다. 예를 들어 상기 센싱부(140)는 사용자의 동작 여부를 감지할 수 있는 적어도 하나의 센서를 더 구비하고, 제어부(180)는 상기 센서들로부터 감지되는 감지값을 이용하여 상기 사용자의 특정 동작을 인식할 수 있다.

예를 들어 센싱부(140)는 상기 안경형 단말기(100)의 위치 이동시 발생하는 가속도를 감지하기 위한 가속도 센서와, 사용자의 피부가 접촉되었는지 여부를 감지하는 접촉 센서를 적어도 하나 더 구비할 수 있다. 그리고 제어부(180)는 상기 가속도 센서로부터 가속도의 발생이 감지되는 경우, 상기 접촉 센서들의 감지값에 근거하여 현재 안경형 단말기(100)의 위치 변경을 인식하고, 인식된 위치에 따라 상기 제스처 인식이 시작된 것으로 판단할 수도 있다.

도 5는 이처럼 안경형 단말기의 위치 변경에 따라 제스처 인식이 시작되도록 하는 예를 도시한 도면이다.

도 5의 (a)에서 보이고 있는 것과 같이, 접촉 센서는 사용자의 양쪽 귀와 밀착되는 각 다리 부분과, 사용자의 코에 밀착되는 프레임(310)의 중앙 부분에 구비될 수 있다. 그리고 각각의 접촉 센서는 사용자의 피부가 접촉되었는지 여부를 감지한다.

이러한 상태에서 사용자가 도 5의 (b)에서 보이고 있는 것처럼, 안경형 단말기(100) 프레임(310)의 중앙 부분을 잡고 들어올리는 경우를 가정할 수 있다. 이러한 경우 센싱부(140)에 구비된 가속도 센서에서는 위쪽 방향을 향하는 가속도 값이 감지될 수 있다. 그리고 이러한 경우, 프레임(310)의 중앙, 즉 사용자의 코와 밀착되는 부분에 구비된 접촉 센서에서는 접촉을 감지하지 못하는 반면, 안경형 단말기(100)의 각 다리 부분에 구비된 접촉 센서들은 여전히 접촉을 감지하는 상태가 될 수 있다.

이러한 경우, 즉, 위쪽 방향의 가속도가 발생한 이후, 코와 밀착되는 부분에 구비된 접촉 센서에는 접촉이 감지되지 않는 상태에서, 사용자의 귀 부분에 밀착되는 접촉 센서에서는 여전히 접촉이 감지되는 상태가 일정 시간 유지되는 경우, 제어부(180)는 상기 제스처 인식이 시작된 것으로 판단할 수 있다. 그리고 제어부(180)는 상기 제스처 인식이 시작되었음을 사용자에게 알리기 위한 그래픽 객체를 상기 헤드마운트 디스플레이부(151)의 적어도 일부 영역에 표시할 수도 있음은 물론이다.

또는 제어부(180)는 도 5의 (b)에서 감지된 상태, 즉 코와 밀착되는 프레임(310) 부분의 접촉 센서에서는 접촉이 감지되지 않으나, 귀와 밀착되는 다리 부분의 접촉 센서에서는 접촉이 유지되는 상태가 일정시간 이상 유지된 이후에, 원래 상태, 즉 코와 밀착되는 프레임(310) 부분의 접촉 센서와 귀와 밀착되는 양 다리 부분의 접촉 센서들 모두에서 접촉이 감지되는 상태로 복귀되는 경우, 상기 제스처 인식이 시작된 것으로 판단할 수 있다. 즉, 도 5의 (b) 및 (c)에서 보이고 있는 것처럼, 사용자가 본 발명의 실시 예에 따른 안경형 단말기(100)의 프레임 부분을 살짝 들어올린 후 일정 시간 이후에 다시 원래대로 복귀시킨다면, 제어부(180)는 상기 제스처 인식이 시작된 것으로 판단할 수 있다.

또는 상기 제어부(180)는 상기 제스처 인식 기능을 항상 온(on) 시킨 상태에서, 사용자의 특정 동작이 인식되는 경우에 한해, 차후에 인식되는 사용자의 제스처가 특정 기능을 실행하기 위한 것으로 인식되도록 할 수도 있다.

그리고 여기서 상기 사용자의 특정 동작은, 상기 헤드마운트 디스플레이부(151)를 통해 인식될 필요가 없을 수도 있음은 물론이다. 예를 들어 본 발명의 실시 예에 따른 안경형 단말기(100)는 초음파 센서, 적외선 센서 등을 상기 본체의 다리 부분에 구비할 수도 있다. 이러한 경우, 제어부(180)는 사용자가 자신의 귀를 손으로 감싸는 등, 기 설정된 특정한 동작을 취하는 경우, 비록 헤드마운트 디스플레이부(151)의 인식 영역 밖에서 사용자의 움직임이 있는 경우라고 할지라도, 사용자의 귀 주변에서 감지되는 사용자의 움직임을 감지함으로써, 특정 기능의 실행을 위한 제스처 인식이 시작되었다고 판단할 수 있다.

이처럼 제스처의 인식이 시작되면, 제어부(180)는 헤드마운트 디스플레이부(151)의 기 설정된 인식 영역에서 표시되는 영상으로부터 사용자의 제스처를 감지한다(S400).

여기서 제어부(180)는 디스플레이부(151)를 통해 투과되는 사용자의 제스처 영상에 대한 2차원 영상 정보를 이용하여 사용자의 제스처를 감지할 수 있다. 예를 들어 제어부(180)는 안경형 단말기(100)에 기 설정된 인식 영역 내에서, 상기 디스플레이부(151)를 통해 투과되는 상기 사용자의 제스처에 관련된 사용자의 신체 부위를 감지할 수 있다.

여기서 상기 사용자의 신체 부위가 기 설정된 인식 영역 내에 있는지는, 상기 사용자의 신체 부위, 예를 들어 손으로부터 안경형 단말기(100)까지의 거리에 근거하여 결정될 수 있다. 이러한 인식 영역은, 예를 들어 안경형 단말기(100)에 구비된 센싱부(140)의 센싱 범위에 따라 결정될 수 있다. 이러한 센싱 범위는 상기 안경형 단말기(100)의 제조업체에 의해 미리 설정되거나, 또는 사용자의 선택에 따라 미리 설정될 수 있다.

이러한 기 설정된 인식 영역에서, 사용자의 신체 부위가 감지되는 경우, 제어부(180)는 디스플레이부(151)에 투과되는 사용자의 신체 부위의 움직임에 따라 사용자의 제스처를 감지할 수 있다. 그리고 이러한 제스처는 사용자의 신체 부위에 대응되는 특징점을 기반으로 인식될 수 있다. 보다 구체적으로 제어부(180)는 사용자의 손이나 손가락 등에 대한 2차원 영상정보로부터 특징점을 추출할 수 있다.

이러한 특징점은 다양할 수 있다. 예를 들어 상기 추출되는 특징점은 손가락 끝의 위치나, 손가락 또는 손의 모양이나 방향, 또는 한손 영상인지 양손 모두에 대한 영상인지 등이 될 수 있다.

또한 상기 특징점은, 상기 2차원 영상 정보 뿐만 아니라, 상기 손 또는 손가락 등에 대한 거리 정보를 더 포함하는 3차원 정보로부터 추출될 수도 있다. 예를 들어 제어부(180)는 센싱부(140)에 구비된 레이저 센서나 적외선 센서, 또는 포토 센서등을 이용하여, 상기 제스처에 관련된 사용자의 신체 부위, 즉 손이나 손가락 등에 대한 위치 정보 및 거리 정보를 획득할 수 있다.

그리고 제어부(180)는 상기 2차원 영상 정보에 상기 위치 정보 및 거리 정보를 더하여 사용자의 손 또는 손가락등에 대한 3차원 정보를 획득할 수도 있다. 그리고 제어부(180)는, 획득된 3차원 정보로부터 특정 기능과 매칭될 수 있는 특징점을 추출할 수 있다.

그리고 사용자의 제스처에 관련된 신체 부위로부터 특징점이 추출되면, 제어부(180)는 메모리(160)에 기 저장된 정보를 기반으로 상기 추출된 사용자의 특징점에 매칭(matching)되는 특정 기능을 검색한다.

상기 메모리(160)는, 사용자의 제스처에서 감지되는 특징점들과 매칭되도록 기 설정된 특정 기능들에 대한 정보를 미리 저장하고 있을 수 있다. 또한 사용자는, 미리 특정 제스처를 제어부(180)에 인식시키고, 인식된 특정 제스처에 매칭되는 기능에 대한 정보를 메모리(160)에 저장하여 둘 수 있다.

예를 들어 사용자는 특정 기기를 쥐는 제스처를, 특정 기기에 관련된 기능과 매칭되는 것으로 설정할 수도 있다. 일예로, 사용자는 휴대폰을 쥐는 손 모양 제스처를 인식시키고, 이러한 제스처를 휴대폰 기능 또는 특정 휴대폰을 제어하기 위한 기능에 매칭되도록 저장할 수 있다. 또는 사용자는 양손을 모두 이용하여, 양손 모두 휴대폰을 쥐는 손모양을 취하는 제스처를 제어부(180)에 인식시키고, 이러한 제스처를 태블릿 PC 기능 또는 특정 태블릿 PC를 제어하는 기능에 매칭되도록 저장할 수도 있다.

또한 상기 특정 기능은, 상기 안경형 단말기(100)에서 실행 가능한 기능일 수 있다. 예를 들어 상기 특정 기능은, 상술한 것처럼 호 발신이나 수신 또는 외부 서버(예를 들어 클라우드 서버 등)와의 데이터 송수신과 같은 통신 기능이 될 수도 있다. 또는 상기 특정 기능은 사용자에게 위치 정보를 제공하기 위한 기능일 수도 있다.

또는 상기 특정 기능은 상기 안경형 단말기(100)와 연결 가능한 적어도 하나의 주변 기기와 연계되는 기능일 수도 있다. 예를 들어 상기 특정 기능은, 적어도 하나의 주변 가전기기를 제어할 수 있도록 하는 기능일 수도 있다. 또는 상기 특정 기능은, 사용자의 선택에 따라 복수의 단말기들을 이용하여 데이터를 송수신하는 것일 수도 있다.

또한 상기 특정 기능은, 안경형 단말기(100) 또는 연결 가능한 주변 다른 기기들 중 적어도 하나에 저장된 애플리케이션을 이용하는 기능일 수도 있다.

한편, 제어부(180)는, 메모리(160)에 기 저장된 다양한 기능들 중에서, 감지된 사용자의 제스처에 매칭되는 어느 하나의 기능을 선택할 수 있다. 그런데 여기서 각각의 특정 기능에 대응되는 제스처들은 서로 유사할 수도 있음은 물론이다. 그리고 이러한 경우, 제어부(180)는 감지된 제스처에 매칭되는 기능으로 복수의 기능을 검색할 수도 있음은 물론이다. 따라서 제어부(180)는 감지된 제스처에 대응되는 기능들이 복수인 경우, 사용자로부터 어느 하나의 기능을 선택받을 수도 있다.

또한 제어부(180)는, 감지된 제스처에 대한 기능이 안경형 단말기(100) 자체적으로 제공할 수 있는 기능인지 또는 주변 기기와의 연계를 통해 제공할 수 있는 기능인지 여부에 따라, 사용자로부터 특정 기능 또는 주변 기기와의 연계 기능을 선택받을 수도 있음은 물론이다. 또한 상기 제어부(180)는 연결 가능한 주변 기기가 복수개 존재하는 경우, 사용자로부터 적어도 하나의 연계 가능한 주변 기기를 선택받을 수도 있음은 물론이다.

이처럼 제어부(180)가 사용자 제스처에 매칭되는 기능을 검색하고, 특정 기능을 선택받는 상기 S402 단계는 하기 도 7에서 도면을 참조하여 보다 자세히 살펴보기로 한다.

한편, S400 단계에서 감지된 사용자의 제스처로부터 사용자가 상기 특정 기능 중 어느 하나가 선택되면, 제어부(180)는 선택된 특정 기능과 관련된 화면 정보를 상기 디스플레이부(151)에 표시할 수 있다(S404).

도 6a의 (a), (b) 및 도 6b의 (a), (b)는 이러한 예를 도시한 것이다.

제스처 인식이 시작되는 경우, 제어부(180)는 디스플레이부(151)의 기 설정된 인식 영역을 통해 사용자의 제스처에 대한 2차원 영상 정보 또는 3차원 정보를 적어도 하나 획득할 수 있다. 그리고 획득된 정보를 통해 사용자의 제스처를 감지하고 감지된 제스처에 매칭되는 특정 기능을 검색할 수 있다.

예를 들어, 도 6a의 (a)에서 보이고 있는 것처럼, 사용자의 손이 마치 휴대폰을 쥐고 있는 듯한 제스처(600)를 취하는 경우, 제어부(180)는 상기 제스처(600)로부터 추출된 특징점과 매칭되는 기능으로 휴대폰 기능을 검색할 수 있다. 이러한 경우 제어부(180)는, 도 6의 (b)에서 보이고 있는 것처럼, 휴대폰 기능과 관련된 화면 정보가 디스플레이부(151)에 표시되도록 할 수 있다. 여기서 제어부(180)는, 상기 휴대폰 기능과 관련된 화면 정보를, 상기 사용자의 제스처와 관련된 신체 부위가 투과되는 디스플레이부(151) 상의 일 영역 또는 그 일 영역의 주변에 표시할 수도 있음은 물론이다. 따라서 도 6의 (b)에서 보이고 있는 것처럼, 휴대폰 기능과 관련된 화면 정보는, 사용자의 손 부분이 투과되는 디스플레이부(151)의 영역에 표시될 수 있다.

여기서 화면 정보는, 마치 휴대폰의 홈(home) 화면과 같은 형태로 구성될 수도 있다. 즉, 상기 화면 정보는, 현재 사용자의 제스처에 매칭되는 기능에 따라 결정될 수 있다. 따라서 상기 도 6a의 (a) 및 (b)에서 보이고 있는 것처럼, 감지된 사용자의 제스처에 매칭되는 기능이 휴대폰 기능인 경우, 휴대폰 기능과 관련된 다양한 기능, 예를 들어 호 발신이나 착신 또는 메시지의 발신이나 수신 등과 같은 기본적인 전화 기능들에 대응되는 항목들이 상기 화면 정보에 포함될 수 있다.

또한 상기 화면 정보에는 다양한 애플리케이션에 각각 대응되는 항목들이 있을 수 있음은 물론이다. 예를 들어 상기 화면 정보에는, 영화 감상이나 독서를 위한 애플리케이션들에 대응되는 항목들이 포함될 수 있다. 이러한 경우 제어부(180)는 사용자로부터 상기 항목들 중 적어도 하나에 대한 사용자의 제스처를 감지할 수 있으며, 이에 대응하여 적어도 하나의 애플리케이션이 실행되도록 할 수도 있다.

한편, 상기 화면 정보는 다양한 형태로 구성될 수도 있음이 물론이다. 상술한 도 6a 및 도 6b에서는 휴대폰 기능이 선택되었기 때문에, 휴대폰의 홈 모양과 유사한 형태의 화면 정보가 디스플레이되는 예를 보이고 있는 것이다. 그러나 만약 다른 기능이 선택된다면, 상기 화면 정보는 상기 도 6의 (b)에서 보이고 있는 것과는 다른 형태, 즉 다른 항목들을 포함할 수도 있음은 물론이다.

예를 들어 상기 사용자의 제스처에 의해 매칭되는 기능이 태블릿 PC를 제어하기 위한 기능이라면, 상기 화면 정보에는 상기 태블릿 PC가 제공할 수 있는 다양한 기능들에 대응되는 항목들이 포함되어 있을 수 있다. 이와 마찬가지로 사용자의 제스처에 의해 매칭되는 기능이 가전기기를 제어하기 위한 리모컨이라면, 상기 화면 정보에는 제어하고자 하는 가전기기에 따른 기능을 제어하기 위한 항목들이 포함될 수 있음은 물론이다.

한편, 이처럼 특정 기능과 관련된 화면 정보가 디스플레이부(151)에 표시되면, 제어부(180)는 상기 표시된 화면 정보에 대한 사용자의 추가적인 제스처를 감지할 수 있다. 예를 들어 사용자가 상기 화면 정보에 포함된 항목 중 어느 하나를 선택하는 제스처를 취하는 경우, 제어부(180)는 이를 감지하여 사용자가 상기 어느 하나의 항목을 선택한 것으로 판단할 수 있다.

예를 들어 제어부(180)는, 사용자가 손가락을 이동시키는 경우, 센싱부(140)에 구비된 레이저 센서 및 포토 센서등을 이용하여 사용자의 손가락 끝에 대한 3차원 정보를 감지할 수 있다. 그리고 제어부(180)는 사용자의 손가락 끝에 대응되는 상기 화면 정보 상의 특정 항목을 상기 감지된 3차원 정보를 이용하여 검출할 수 있다. 또는 제어부(180)는 상기 사용자의 손가락 끝에 대응되는 영상이 상기 화면 정보 상의 특정 항목이 표시된 영역에 위치하는 경우에 상기 특정 항목이 사용자로부터 선택된 것으로 판단할 수 았다.

예를 들어 제어부(180)는 사용자의 손가락 끝에 대응되는 영상을 이용하여, 사용자의 특정 손가락 끝이 이동 중인지 정지중인지를 판단할 수 있다. 그리고 상기 사용자의 특정 손가락 끝에 대응되는 영상이, 화면 정보 상의 특정 항목에 표시되는 위치에서 기 설정된 일정 시간 정지한 상태라면, 상기 특정 항목이 사용자에 의해 선택된 것으로 판단할 수 있다.

또는 제어부(180)는 상기 특정 항목을 선택하기 위한 사용자 손가락의 이동과는 별개로, 다른 제스처가 감지되는 경우 특정 항목이 선택된 것으로 판단할 수도 있다. 즉, 제어부(180)는 디스플레이부(151) 상에 표시된 화면 정보에 대한 사용자의 양손 또는 양손 손가락의 제스처를 모두 감지하여 특정 항목이 선택된 것으로 판단할 수도 있다.

예를 들어, 제어부(180)는 사용자가 한손으로 상기 휴대폰을 쥐고 있는 제스처를 취하는 경우, 도 6a의 (a) 및 (b)에서 보이고 있는 것과 같은 화면 정보를 디스플레이부(151) 상에 표시할 수 있다. 그리고 제어부(180)는 상기 화면 정보에 포함된 다수의 항목에 대한 사용자의 다른 손 손가락의 움직임이 있는 경우 이를 감지할 수 있다.

이러한 경우 제어부(180)는, 상기 휴대폰을 쥐고 있는 제스처를 취하고 있는 손의 손가락이, 특정 버튼을 누르는 제스처를 취하는지 여부를 감지할 수 있다. 즉, 상기 화면 정보에는, 특정 버튼과 같은 형태의 그래픽 객체가 더 포함되어 있을 수 있고, 상기 특정 버튼은 상기 휴대폰 기능과 관련된 화면 정보의 주변에, 상기 휴대폰을 쥐고 있는 제스처를 취하고 있는 손의 특정 손가락(예를 들어 검지 손가락)이 투과되는 디스플레이부(151) 상의 영역 주변에 표시될 수 있다.

그리고 제어부(180)는 상기 특정 손가락이 상기 특정 버튼 형태의 그래픽 객체를 누르는 듯한 제스처를 취하는 경우, 이를 감지할 수 있다. 그리고 상기 특정 버튼 형태의 그래픽 객체를 누르는 형태의 제스처가 감지되면, 사용자의 다른 손의 특정 손가락(예를 들어 검지 손가락) 위치에 대응되는 어느 하나의 항목을 검출할 수 있다. 그리고 검출된 항목을 사용자가 선택한 것으로 판단할 수 있다.

예를 들어 도 6b의 (a)에서 보이고 있는 것처럼, 사용자의 손가락 끝에 대응되는 항목이 호 발신 항목인 경우, 제어부(180)는 전화번호부 목록(612)을 포함하는 화면 정보를 표시할 수도 있다. 그리고 제어부(180)는 휴대폰을 쥐고 있는 제스처를 취하는 손의 손가락 중 어느 하나가 상기 특정 버튼 형태의 그래픽 객체를 누르는 형태의 제스처를 취하는 경우, 다른 손의 특정 손가락 위치에 대응되는 어느 하나의 전화번호(612)를 디스플레이부(151) 상에 표시된 전화번호부로부터 검출할 수 있다. 또는 제어부(180)는 사용자의 손가락 끝에 대응되는 영상이 어느 하나의 전화번호(612)에 대응되는 위치에서 기 설정된 일정 시간 정지한 상태인 경우, 상기 전화번호(612)이 사용자에 의해 선택된 것으로 판단할 수 있다.

그리고 어느 하나의 전화번호(612)가 선택되면, 제어부(180)는 선택된 전화번호(612)로 호를 발신할 수 있다. 이러한 경우 제어부(180)는, 도 6b의 (b)에서 보이고 있는 것과 같이, 호 발신 대상에 대한 정보를 포함하는 화면(622)을 디스플레이부(151) 상에 출력할 수도 있다.

도 7은, 도 4의 제어방법 중 감지된 제스처에 매칭되는 기능을 선택하는 과정을 보다 자세하게 도시한 흐름도이다.

상기 S400단계에서 사용자의 제스처가 감지되면, 제어부(180)는 매칭되는 기능이 있는지 여부를 판단할 수 있다(S700). 그리고 상기 S700 단계의 판단 결과, 매칭되는 기능이 없는 경우에는, 제어부(180)는 상기 S400 단계로 다시 진행하여 사용자의 제스처를 다시 감지할 수 있다.

그러나 상기 S700단계의 판단 결과 매칭되는 기능이 없는 경우에, 제어부(180)는 연결 가능한 주변 기기 목록 또는 안경형 단말기(100)에서 실행 가능한 기능들의 목록 중 적어도 하나를 디스플레이부(151) 상에 표시할 수도 있다. 그리고 제어부(180)는 상기 디스플레이부(151) 상에 표시된 적어도 하나의 목록, 즉 상기 주변 기기 목록 또는 상기 기능 목록 중 적어도 하나에 대한 사용자의 추가적인 제스처가 감지되면, 감지된 추가적인 제스처에 대응되는 어느 하나의 주변 기기 또는 기능이 사용자로부터 선택된 것으로 판단할 수 있다.

예를 들어 제어부(180)는 어느 하나의 기능이 선택된 것으로 판단되는 경우, S404 단계로 진행하여 상기 선택된 기능과 관련된 화면 정보를 디스플레이부(151) 상에 표시할 수 있다. 또는 제어부(180)는 어느 하나의 주변 기기가 선택된 것으로 판단되는 경우, 상기 선택된 주변 기기와 무선 통신등을 이용하여 연결을 수행할 수 있다, 이러한 경우 제어부(180)는 상기 S404 단계에서 상기 주변 기기와 연계된 기능과 관련된 화면 정보가 디스플레이부(151) 상에 표시되도록 할 수도 있다.

한편, 상기 S400 단계에서 감지된 제스처에 매칭되는 기능이 복수인 경우, 제어부(180)는 상기 매칭되는 복수의 기능들 중, 어느 하나를 사용자로부터 선택받을 수 있다(S702).

도 8a, 도 8b, 도 8c 및 도 8d는 이러한 본 발명의 일 실시 예에 따른 안경형 단말기에서 기능이 복수인 경우 어느 하나를 선택받는 예를 설명하기 위한 개념도이다.

예를 들어 제어부(180)는, 감지된 제스처에 매칭되는 복수의 기능들 각각과 관련된 화면 정보를 순차적으로 하나씩 또는 모두 한번에 상기 디스플레이부(151)에 표시하고, 사용자의 선택에 근거하여 어느 하나의 기능을 선택할 수 있다.

우선 도 8a 및 도 8b는 상기 복수의 기능들 각각과 관련된 화면 정보가 순차적으로 표시되는 예를 가정한 것이다.

도 8a의 (a)에서 보이고 있는 것과 같이, 사용자의 제스처(800)가 감지되는 경우 제어부(180)는, 감지된 사용자의 제스처(800)에 매칭되는 복수의 기능들을 검색할 수 있다. 그리고 제어부(180)는 상기 검색된 복수의 기능들에 각각 대응되는 그래픽 객체들을 디스플레이부(151) 상에 표시할 수 있다. 예를 들어 사용자의 제스처(800)에 대응되는 기능들이 리모컨 기능, 또는 휴대폰 기능인 경우라면, 제어부(180)는 리모컨 기능 및 휴대폰 기능에 각각 대응되는 그래픽 객체를 디스플레이부(151) 상에 표시할 수 있다.

여기서 상기 그래픽 객체는, 상기 제스처(800)에 관련된 사용자의 신체 부위가 투과된 디스플레이 영역 또는 그 주변에 표시될 수도 있음은 물론이다. 그리고 상기 그래픽 객체들은 기 설정된 순서에 근거하여 하나씩 순차적으로 표시될 수 있다.

도 8a의 (b)는 이러한 예를 도시하고 있는 것이다.

예를 들어 상기 기 설정된 순서가, 리모컨 기능이 먼저, 그리고 휴대폰 기능이 그 다음인 경우라면, 제어부(180)는 도 8a의 (b)에서 보이고 있는 것과 같이, 리모컨 기능에 대응되는 그래픽 객체(812)를 상기 제스처(800)에 관련된 사용자의 신체 부위, 즉 사용자의 손 모양이 투과되는 디스플레이부(151) 상의 영역 주변에 표시할 수 있다.

여기서 상기 그래픽 객체(820)는, 리모컨 모양 그대로를 표시할 수도 있으나, 도 8a의 (b)에서 보이고 있는 것과 같이 레이아웃(lay out) 형태로 외곽선만 표시될 수도 있음은 물론이다. 이는 디스플레이되는 그래픽 객체에 대한 처리 속도를 더욱 빠르게 하여 보다 빠르게 사용자가 원하는 기능을 선택할 수 있도록 위함이다. 그러나 제어부(180)는 사용자의 선택에 따라, 상기 그래픽 객체(820)을 레이아웃 형태가 아닌, 실제 리모컨과 유사한 형태로 표시할 수도 있음은 물론이다.

그리고 이러한 그래픽 객체(820)에는, 사용자로부터 선택을 받을 수 있는 적어도 하나의 그래픽 객체를 추가로 구비할 수도 있음은 물론이다. 예를 들어 제어부(180)는 현재 표시된 그래픽 객체(820)에 대응되는 기능을 선택받기 위한 버튼 모양의 그래픽 객체(810) 또는 다른 기능에 대응되는 그래픽 객체를 표시하기 위한 버튼 모양의 그래픽 객체(812)를 디스플레이부(151) 상에 더 표시할 수도 있다.

그리고 제어부(180)는, 상기 그래픽 객체들(810, 812) 중 어느 하나에 대한 사용자의 선택을 감지할 수 있다. 예를 들어 제어부(180)는, 상기 그래픽 객체들(810, 812) 중 어느 하나에 대한 사용자의 제스처(예를 들어 특정 버튼을 누르는 제스처)가 감지되는 경우, 어느 하나의 그래픽 객체가 선택된 것으로 판단할 수 있다.

예를 들어 사용자가 그래픽 객체(812)가 표시된 위치에서, 추가적인 제스처, 즉 상기 그래픽 객체(812)를 누르는 형태의 제스처를 취하는 경우, 제어부(180)는 상기 그래픽 객체(812), 즉 다른 기능에 대응되는 그래픽 객체의 표시를 사용자가 선택한 것으로 판단할 수 있다. 이러한 경우 제어부(180)는, 다음 순서에 해당되는 기능, 즉 휴대폰 기능에 관련된 그래픽 객체를 디스플레이부(151) 상에 표시할 수 있다. 도 8b의 (a)는 이러한 예를 보이고 있는 것이다.

이에 따라 디스플레이부(151) 상에는 다음 순서의 기능, 즉 휴대폰 기능에 대응되는 그래픽 객체(822)가 디스플레이부(151) 상에 표시될 수 있다. 그리고 상기 그래픽 객체(822)에는, 도 8a의 (b)에서 보인 바와 같이, 현재 표시된 그래픽 객체(820)에 대응되는 기능을 선택받기 위한 버튼 모양의 그래픽 객체(810) 또는 다른 기능에 대응되는 그래픽 객체를 표시하기 위한 버튼 모양의 그래픽 객체(812)가 더 표시될 수도 있다.

이러한 상태에서 사용자가 추가적인 제스처, 즉 상기 그래픽 객체(810)를 누르는 형태의 제스처를 취하는 경우, 제어부(180)는 현재 디스플레이부(151) 상에 표시된 그래픽 객체(822)에 대응되는 기능이 선택된 것으로 판단할 수 있다. 그리고 제어부(180)는, 현재 선택된 기능, 즉 휴대폰 기능과 관련된 화면 정보(826)를 디스플레이부(151) 상에 표시할 수 있다.

그리고 이러한 화면 정보는, 상기 제스처(800)과 관련된 사용자의 신체 부위, 즉 손이 투과되는 디스플레이 영역의 주변에 표시되도록 할 수도 있다. 도 8b의 (b)는 이러한 예를 보이고 있는 것이다.

따라서 복수의 기능 중에서, 도 8b의 (b)에서 보이고 있는 것처럼 휴대폰 기능이 선택되면, 제어부(180)는 휴대폰 기능과 관련된 화면 정보(826)를 디스플레이부(151) 상에 표시한다. 그리고 상기 표시된 화면 정보에 대하여 사용자의 추가적인 제스처가 있는 경우, 상기 제스처에 대응되는 휴대폰 기능이 실행될 수 있도록 한다. 따라서 제어부(180)는, 도 6에서 보인 것과 같이 사용자의 제스처에 근거한 손가락 위치를 감지하여, 특정 전화번호로 호를 발신하거나, 또는 문자 메시지를 확인하는 등 통상적인 휴대폰 기능이 수행되도록 할 수 있다.

한편 상술한 도 8a 및 도 8b에서는, 감지된 제스처(800)에 매칭되는 복수의 기능들에 각각 대응되는 그래픽 객체들이 순차적으로 하나씩 표시되는 것을 예로 들어 설명하였으나, 이와는 다른 방법으로 디스플레이부(151) 상에 표시될 수도 있음은 물론이다. 예를 들어 상기 복수의 기능들에 대응되는 그래픽 객체들은, 디스플레이부(151) 상에 모두 표시될 수도 있다. 그리고 사용자의 추가적인 제스처에 근거한 어느 하나가 선택될 수도 있다.

도 8c는 이러한 예를 도시한 것이다.

예를 들어 도 8c의 (a)에서 보이고 있는 것과 같은 사용자의 제스처(800)가 감지되는 경우, 제어부(180)는 감지된 사용자의 제스처(800)에 매칭되는 복수의 기능들을 검색한다. 그리고 제어부(180)는 상기 검색된 복수의 기능들에 각각 대응되는 그래픽 객체들을 상기 사용자의 제스처(800)와 관련된 신체 부위가 투과된 디스플레이부(151) 상의 영역 주변에 표시할 수 있다. 도 8c의 (b)는 이러한 예를 도시한 것이다.

도 8c의 (b)에서 보이고 있는 것과 같이, 사용자의 제스처(800)에 매칭되는 기능들이 리모컨 기능과 휴대폰 기능인 경우, 제어부(180)는 상기 리모컨 기능에 대응되는 그래픽 객체 및 휴대폰 기능에 대응되는 그래픽 객체들(830, 832)을 디스플레이부(151) 상에 표시할 수 있다. 그리고 도 8d의 (a)에서 보이고 있는 것과 같이, 각각의 기능들에 대응되는 그래픽 객체들 중, 어느 하나에 대한 사용자의 추가 제스처(예를 들어 어느 하나의 그래픽 객체를 손가락으로 선택하는 제스처 : 840)가 있는 경우, 제어부(180)는 사용자가 상기 어느 하나의 기능을 선택한 것으로 판단할 수 있다.

즉, 도 8d의 (a)에서 보이고 있는 것과 같이, 사용자가 휴대폰 기능에 대응되는 그래픽 객체(830)를 선택하는 경우, 제어부(180)는 사용자가 휴대폰 기능을 선택한 것으로 판단할 수 있다. 이러한 경우 제어부(180)는 도 8d의 (b)에서 보이고 있는 것과 같이, 휴대폰 기능과 관련된 화면 정보(850)를 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 표시된 화면 정보(850)에 대하여 사용자의 추가적인 제스처가 감지되는 경우, 상기 추가적인 제스처에 근거하여 휴대폰 기능이 실행될 수 있도록 한다.

한편 상술한 도 8a, 도 8b, 도 8c 및 도 8d에서는 상기 특정 기능이 상기 안경형 단말기(100)가 홀로 제공할 수 있는 기능의 예를 가정하여 설명하였으나, 상기 특정 기능은 이에 국한되지 않음은 물론이다. 예를 들어 상기 특정 기능은 연결 가능한 다른 주변 기기를 제어하는 기능이 될 수도 있다.

상기 특정 기능이 연결 가능한 다른 주변 기기를 제어하기 위한 기능인 경우, 제어부(180)는 S400 단계에서 감지된 사용자의 제스처에 매칭되는 연결 가능한 주변 기기를 검색할 수 있다. 여기서 상기 연결 가능한 주변 기기는, 사용자에 의해 기 설정된 주변 기기들 중에서, 현재 안경형 단말기(100)의 위치 또는 상태에 따라 연결 가능한 적어도 하나의 주변 기기일 수 있다. 또는 사용자의 주변 기기 탐색 요청에 의하여 탐색된, 적어도 하나의 연결 가능한 주변 기기일 수도 있다.

제어부(180)는 S400 단계에서 감지된 제스처에 매칭되는 연결 가능한 주변 기기가 복수인 경우, 각 주변 기기에 대응되는 그래픽 객체들을 모두 한번에, 또는 하나씩 순차적으로 디스플레이부(151) 상에 표시할 수 있다. 그리고 제어부(180)는 사용자의 선택에 근거하여 어느 하나의 주변 기기가 사용자로부터 선택된 것으로 판단할 수 있다.

도 9a, 도 9b, 도 9c 및 도 9d는 이처럼 감지된 제스처에 매칭되는 주변 기기가 복수인 경우 사용자로부터 어느 하나의 주변 기기를 선택받는 예를 도시한 것이다. 도 9a, 도 9b, 도 9c, 및 도 9d에 대한 이하의 설명에서는, 상기 사용자의 제스처(900)에 매칭되는 기능이, 기 설정된 이동 단말기를 제어하는 기능, 또는 기 설정된 태블릿 PC를 제어하는 기능임을 가정하여 설명하기로 한다.

우선 도 9a를 참조하여 살펴보면, 제어부(180)는, 상기 복수의 주변 기기에 대응되는 그래픽 객체들을 기 설정된 순서에 근거하여 하나씩 디스플레이부(151) 상에 표시할 수 있다. 예를 들어 이동 단말기를 제어하는 기능이 먼저이고, 태블릿 PC를 제어하는 기능이 다음으로 순서가 설정된 경우, 제어부(180)는 사용자의 제스처(900)에 대응하여, 이동 단말기를 제어하는 기능에 대응되는 그래픽 객체(914)를 먼저 디스플레이부(151) 상에 표시할 수 있다. 도 9a의 (a)는 이러한 예를 도시한 것이다 .

그리고 상기 그래픽 객체(914)의 주변에는 도 8a 및 도 8b에서 설명한 것과 유사한 그래픽 객체들(910, 912)이 더 표시될 수 있다. 즉, 제어부(180)는 현재 표시된 그래픽 객체(914)에 대응되는 기능을 선택받기 위한 버튼 모양의 그래픽 객체(910), 또는 다른 기능, 즉 다른 주변 기기를 제어하는 기능에 대응되는 그래픽 객체를 표시하기 위한 버튼 모양의 그래픽 객체(912)를 디스플레이부(151) 상에 더 표시할 수도 있다.

그리고 제어부(180)는, 상기 그래픽 객체들(910, 912) 중 어느 하나에 대한 사용자의 선택을 감지할 수 있다. 예를 들어 제어부(180)는, 상기 그래픽 객체들(910, 912) 중 어느 하나에 대한 사용자의 제스처(예를 들어 특정 버튼을 누르는 제스처)가 감지되는 경우, 어느 하나의 그래픽 객체가 선택된 것으로 판단할 수 있다.

예를 들어 제어부(180)는 사용자의 제스처가 그래픽 객체(912)에서 감지되는 경우, 도 9a의 (b)에서 보이고 있는 것과 같이, 사용자가 다른 주변 기기를 제어하는 기능에 대응되는 그래픽 객체의 표시를 선택한 것으로 판단할 수 있다. 이에 따라 제어부(180)는, 다음 순서로 설정된 기능, 즉 태블릿 PC를 제어하는 기능에 대응되는 그래픽 객체(916)를 디스플레이부(151) 상에 출력할 수 있다. 여기서 상기 그래픽 객체(914, 916)는 사용자의 제스처(900)에 관련된 사용자의 신체 부위(예를 들어 사용자의 손)가 투과되는 디스플레이부(151) 상의 영역 주변에 표시될 수 있다.

또한 도 9a의 (b)에서 보이고 있는 것처럼, 제어부(180)는 태플릿 PC를 제어하는 기능에 대응되는 그래픽 객체(916)의 주변에, 현재 표시된 기능을 선택받기 위한 그래픽 객체(910) 또는 다른 기능, 즉 다른 기능에 대응되는 그래픽 객체를 표시하기 위한 그래픽 객체(912)를 더 표시할 수 있다.

이러한 상태에서 사용자의 제스처가, 현재 표시된 기능을 선택받기 위한 그래픽 객체(910)에서 감지되는 경우, 제어부(180)는 사용자가 태블릿 PC의 제어를 선택한 것으로 판단할 수 있다. 이러한 경우 도 9b에서 보이고 있는 것과 같이, 제어부(180)는 태블릿 PC(920)와 무선 통신 등을 수행하여 연결하고, 상기 태블릿 PC(920)를 제어하는 기능에 대응되는 화면 정보를 디스플레이부(151)에 표시할 수 있다. 그리고 제어부(180)는, 사용자의 추가 제스처를 감지하고, 감지된 제스처에 근거하여 현재 연결된 주변 기기, 즉 태블릿 PC(930)가 제어될 수 있도록 한다.

한편 도 9a 및 도 9b에서는, 복수의 주변 기기에 대응되는 그래픽 객체들을 기 설정된 순서에 근거하여 하나씩 표시되는 예를 가정하여 설명하였으나, 이와는 다른 방법으로 표시될 수도 있음은 물론이다. 예를 들어 상기 복수의 주변 기기들에 대응되는 그래픽 객체들은, 디스플레이부(151) 상에 모두 표시될 수도 있다. 그리고 사용자의 추가적인 제스처에 근거한 어느 하나가 선택될 수도 있다.

도 9c 및 도 9d는 이러한 예를 도시한 것이다.

도 9c 및 도 9d를 참조하여 살펴보면, 제어부(180)는 도 9c의 (a)에서 보이고 있는 것과 같이, 상기 복수의 주변 기기들 각각에 대응되는 그래픽 객체들(950, 952)을 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 그래픽 객체들(950, 952)은 제스처(900)와 관련된 사용자의 신체 부위(예를 들어 사용자의 손)가 투과되는 디스플레이부(151) 상의 일 영역의 주변에 표시될 수 있다.

이러한 상태에서 제어부(180)는 상기 그래픽 객체들(950, 952) 중 어느 하나에 대한 사용자의 추가적인 제스처가 있는지 여부를 감지할 수 있다. 여기서 사용자의 추가적인 제스처는, 도 9c의 (b)에서 보이고 있는 것과 같이 특정 그래픽 객체(952)가 표시된 위치에 대응되는 영역에 사용자의 손가락을 이동시키는 제스처 등이 될 수 있다. 그리고 이러한 사용자의 추가적인 제스처를 통해 어느 하나의 그래픽 객체(952)가 선택되면, 제어부(180)는 현재 선택된 그래픽 객체(952)에 대응되는 주변 기기에 대한 제어를 사용자가 선택한 것으로 판단할 수 있다.

그리고 어느 하나의 주변 기기를 제어하는 기능이 사용자로부터 선택되면, 제어부(180)는 상기 선택된 주변 기기와의 무선 통신등을 통해 연결한다. 그리고 현재 연결된 주변 기기의 제어를 위한 화면 정보(954)를 디스플레이부(151) 상에 표시할 수 있다. 도 9d의 (a)와 (b)는 이러한 예를 도시한 것이다.

여기서 상기 화면 정보(954)에는 현재 연결된 태블릿 PC(960)에 대한 정보가 포함되어 있을 수 있다. 예를 들어 상기 화면 정보(954)에는, 현재 연결된 태블릿 PC(960)에 저장된 애플리케이션 또는 데이터들에 대한 정보 및 상기 태블릿 PC에 구비된 기능을 실행하기 위한 항목에 대한 정보들이 포함될 수 있다. 그리고 제어부(180)는 사용자가 추가적인 제스처를 취하는 경우, 상기 추가적인 제스처에 근거하여 태플릿 PC(960)를 제어할 수 있다.

예를 들어 제어부(180)는, 상기 화면 정보(954)에 포함된 특정 항목을 선택하기 위한 사용자의 추가적인 제스처를 감지할 수 있다. 상기 추가적인 제스처는, 사용자의 손가락 끝에 대응되는 영상이, 상기 화면 정보(954)에 포함된 특정 항목에 대응되는 영역에 위치시키도록 하는 제스처일 수 있다. 이러한 경우, 제어부(180)는 상기 선택된 특정 항목에 대응되는 기능이 태블릿 PC(960)에서 실행되도록 하고, 그 실행 결과를 태블릿PC(960)로부터 수신하여 상기 디스플레이부(151) 상의 지정된 영역에 출력할 수 있다. 여기서 상기 디스플레이부(151) 상의 지정된 영역은, 상기 화면 정보(954)가 표시되는 영역이 될 수 있다.

따라서 사용자는, 본 발명의 실시 예에 따른 안경형 단말기(100)를 이용하여 다수의 주변 기기들 중 사용자의 선택에 근거한 어느 하나와 연결하고, 상기 안경형 단말기(100)를 이용하여 연결된 주변 기기를 간접적으로 제어할 수 있다.

한편, 제어부(180)는 어느 하나의 기능이 선택되는 경우, 선택된 기능이 주변 기기와의 연계가 필요한 기능인지 여부를 더 판단할 수 있다(S704). 여기서 주변 기기와의 연계가 필요한 기능이라는 것은, 예를 들어 리모컨 기능과 같이 적어도 하나의 주변 기기를 제어하기 위한 기능 또는 특정 주변 기기에 저장된 데이터 또는 애플리케이션을 이용하기 위한 기능 등이 될 수 있다.

상기 S704단계의 판단 결과, 현재 선택된 기능이 주변 기기와의 연계가 필요한 기능인 경우, 제어부(180)는 연계에 필요한 주변 기기가 있는지 여부를 검출할 수 있다. 예를 들어 제어부(180)는 현재 선택된 기능이 리모컨 기능인 경우, 안경형 단말기(100)의 현재 위치 및 상태에 근거하여 연결 가능한 주변 기기가 있는지를 검색할 수 있다. 여기서 제어부(180)는, 미리 설정된 주변 기기들 중에서 연결 가능한 주변 기기가 있는지를 검색할 수도 있음은 물론이다.

그리고 검색된 주변 기기가 있는 경우, 제어부(180)는 사용자의 선택에 근거하여 검색된 주변 기기 중 적어도 하나와, 무선 통신 등을 이용하여 연결할 수 있다(S706). 그리고 이러한 경우 상기 S404 단계에서는 현재 연결된 주변 기기와 관련된 화면 정보가 디스플레이부(151) 상에 출력될 수 있다.

한편, 제어부(180)는, 상기 검색된 주변 기기가 복수인 경우, 도 8a, 도 8b, 도 8c, 도 8d 및 도 9a, 도 9b, 도 9c, 도 9d에서 설명한 것과 유사한 방식으로, 상기 주변 기기에 각각 대응되는 그래픽 객체를 디스플레이부(151) 상에 모두 한번에 또는 하나씩 순차적으로 표시할 수 있다. 그리고 사용자의 선택, 예를 들어 사용자의 추가적인 제스처에 근거하여 적어도 하나의 그래픽 객체가 선택된 것으로 판단할 수 있다. 그리고 적어도 하나의 그래픽 객체가 선택되면, 제어부(180)는 선택된 각 그래픽 객체에 대응되는 주변 기기와 연계된 기능이 수행되도록 할 수 있다.

예를 들어 제어부(180)는, 사용자에 의해 선택된 기능이 휴대폰 기능인 경우, 사용자의 선택에 근거하여, 사용자의 이동 단말기에 저장된 전화번호부 정보를, 상기 사용자의 이동 단말기로부터 수신할 수도 있다.

제어부(180)는 사용자가 휴대폰 기능 및 전화번호부 기능을 선택하는 경우, 사용자의 선택에 근거하여 안경형 단말기(100)의 메모리(160)에 기 저장된 전화번호부 정보를 디스플레이부(151) 상에 출력하거나, 또는 기 설정된 주변 기기(예를 들어 사용자의 이동 단말기)로부터 전화번호부 정보를 수신하고 이를 디스플레이부(151) 상에 출력할 수 있다.

도 10a 및 도 10b는 이러한 경우의 예를 가정하여, 본 발명의 실시 예에 따른 안경형 단말기에서 특정 주변기기와 연계되는 기능을 실행하는 예를 설명하기 위한 도면이다.

도 10a를 참조하여 살펴보면, 제어부(180)는, 도 10a의 (a) 및 (b)에서 보이고 있는 것처럼, 사용자의 제스처(예를 들어 휴대폰을 손의 쥔 듯한 제스처 : 1000)에 대응하여, 휴대폰 기능과 관련된 화면 정보(1002)를 디스플레이부(151) 상에 표시할 수 있다. 그리고 상기 화면 정보(1002)에는 사용자의 이동 단말기(1010)와 연계할 수 있는 기능을 위한 항목(1004)이 포함될 수 있다.

이러한 경우 사용자는, 화면 정보(1002)에 대한 추가적인 제스처를 이용하여 자신의 이동 단말기(1010)와 연계할 수 있는 기능을 선택할 수 있다. 예를 들어 제어부(180)는 디스플레이부(151)에 투과되는 사용자의 손끝이, 연계 가능한 상기 항목(1004)이 표시된 영역에 기 설정된 시간 이상 동안 위치하는 경우, 상기 연계 기능이 선택된 것으로 판단할 수 있다.

그러면 제어부(180)는, 상기 이동 단말기(1010)가 연결 가능한 상태에 있는지를 체크한다. 그리고 상기 이동 단말기(1010)가 연결 가능한 상태에 있는 경우, 제어부(180)는 도 10b의 (a)에서 보이고 있는 것처럼 상기 이동 단말기(1010)와의 연결을 시도한다. 그리고 이동 단말기(1010)가 연결된 경우, 사용자가 선택에 근거한 상기 이동 단말기(1010)와의 연계 기능을 수행한다.

여기서 상기 안경형 단말기(100)와 이동 단말기(1010)가 연계되는 기능은 전화번호부 정보의 교환 등이 있을 수 있다. 이러한 경우, 제어부(180)는 도 10a의 (b) 및 도 10b의 (a)에서 보이고 있는 것처럼, 연결된 이동 단말기(1010)로부터 전화번호 정보를 수신할 수 있다. 그리고 수신된 전화번호 정보를 디스플레이부(151) 상에 출력할 수 있다. 도 10b의 (b)는 이러한 예를 보이고 있는 것이다.

따라서 본 발명의 실시 예에 따른 안경형 단말기(100)는, 사용자가 직접 전화번호를 입력하거나 안경형 단말기(100)의 메모리(160)에 기 저장된 전화번호를 이용하여 호 발신 또는 메시지 발신이 이루어지도록 할 수도 있다. 그러나 본 발명의 실시 예에 따른 안경형 단말기(100)는, 사용자의 선택에 따라 기 설정된 다른 기기, 예를 들어 사용자의 이동 단말기(1010)로부터 기 저장된 전화번호부 정보를 수신하여 이를 이용하여 호 발신 또는 메시지 발신등이 이루어지도록 할 수도 있다.

한편, 상기 연계 기능은 복수의 주변 기기와 관련된 기능일 수도 있다. 이러한 경우, 제어부(180)는, 검색된 주변 기기들 중 적어도 두 개 이상을 동시에 또는 하나씩 순차적으로 선택할 수도 있음은 물론이다.

예를 들어, 상기 연계 기능은, 어느 하나의 주변 기기와 다른 하나의 주변 기기 사이의 데이터 교환 기능이 될 수도 있다. 이러한 경우 제어부(180)는 사용자의 선택에 근거한 적어도 두 개 이상의 주변 기기들을 각각 무선 통신 등을 통해 연결하고, 상기 두 개 이상의 주변 기기들을 함께 제어함으로써 복수의 주변 기기들과 연계된 기능을 수행할 수 있도록 한다.

도 11a 및 도 11b는 이러한 경우에, 본 발명의 실시 예에 따른 안경형 단말기에서 복수의 주변 기기와 연계되는 기능을 실행하는 예를 설명하기 위한 도면이다.

예를 들어 제어부(180)는 어느 하나의 기능이 선택된 상태에서도, 감지된 사용자의 제스처에 근거하여 다른 기능을 선택할 수도 있다. 즉, 제어부(180)는 사용자의 1차 제스처에 의해 특정 기능이 선택되는 경우, 선택된 기능을 실행하고, 그에 대응되는 화면 정보를 디스플레이부(151) 상에 표시할 수 있다. 이러한 상태에서 제어부(180)는 사용자가 다른 기능을 선택하기 위한 2차 제스처를 취하는 경우, 2차 제스처에 매칭되는 다른 기능을 실행 및 그에 대응되는 화면 정보를 디스플레이부(151) 상에 표시할 수 있다.

그리고 상기 1차 제스처에 매칭되는 기능이 이동 단말기를 제어하기 위한 기능인 경우, 제어부(180)는 이동 단말기와 연결하고 이동 단말기와 관련된 화면 정보(1100)를 디스플레이부(151) 상에 표시할 수 있다. 여기서 화면 정보(1100)는 이동 단말기의 제어와 관련된 화면, 즉, 현재 연결된 이동 단말기에서 실행 가능한 각종 기능들에 대응되는 항목을 포함하는 것일 수 있다.

이러한 상태에서, 도 11a의 (a)에서 보이고 있는 것처럼, 2차 제스처(1102)가 감지되는 경우, 제어부(180)는 2차 제스처(1102)에 대응되는 기능을 선택 및 실행할 수 있다.

도 11a의 (b)는 이러한 예를 보이고 있는 것이다.

예를 들어 상기 2차 제스처(1102)가, 도 11a의 (a)에서 보이고 있는 것처럼, 휴대폰을 쥐는 손 모양을 양손 모두 취하는 제스처의 경우, 메모리(160)에 저장된 제스처 정보를 기반으로, 상기 2차 제스처(1102)가 태블릿 PC를 제어하는 기능을 위한 것으로 판단할 수 있다. 이러한 경우, 제어부(180)는 태블릿 PC와 연결하고, 도 11a의 (b)에서 보이고 있는 것처럼, 태블릿 PC를 제어하기 위한 기능을 실행 및, 실행에 관련된 화면 정보(1110)를 디스플레이부(151) 상에 표시할 수 있다.

여기서 태블릿 PC와 관련된 화면 정보(1110)는 태블릿 PC의 제어와 관련된 화면, 즉, 현재 연결된 태블릿 PC에서 실행 가능한 각종 기능들에 대응되는 항목을 포함하는 것일 수 있다.

이처럼, 이동 단말기와 관련된 화면 정보(1100) 및 태블릿 PC와 관련된 화면 정보(1110)가 디스플레이부(151) 상에 표시되는 경우, 본 발명의 실시 예에 따른 안경형 단말기(100)의 제어부(180)는, 상기 각 화면 정보들(1100, 1110)에 대한 사용자의 제스처에 근거하여 상기 이동 단말기 및 태블릿 PC를 모두 함께 제어할 수 있다.

예를 들어 제어부(180)는, 도 11b의 (a)에서 보이고 있는 것처럼 사용자가 이동 단말기와 관련된 화면정보(1100) 상에서, 특정 데이터(예를 들어 '이미지2')를 선택하는 경우, 이동 단말기(1120)에 실제로 저장된 상기 특정 데이터가 사용자에 의해 선택되어 질 수 있다. 이러한 경우, 사용자가 도 11b의 (a)에서 보이고 있는 것처럼, 상기 선택된 데이터를, 이동 단말기와 관련된 화면 정보(1100) 상에서 태블릿 PC와 관련된 화면 정보(1110) 상의 임의의 위치로 드래그 하는 경우, 상기 선택된 데이터는 실제로 이동 단말기(1120)에서 태블릿 PC(1130)으로 이동 또는 복사될 수 있다.

이는 도 11b의 (b)에서 보이고 있는 것처럼, 안경형 단말기(100)에 의해 이동 단말기(1120) 및 태블릿 PC(1130)이 모두 연결되고, 안경형 단말기(100)가 이동 단말기(1120) 및 태블릿 PC(1130)를 모두 제어하여, 상기 사용자가 선택한 데이터를 이동 단말기(1120)에서 태블릿 PC(1130)으로 전송되도록 제어하였기 때문이다.

이처럼 본 발명의 실시 예에 따른 안경형 단말기(100)는, 사용자의 제스처를 감지하고, 감지된 제스처에 매칭되는 특정 기능이 실행되도록 할 수 있다. 그리고 여기서 상기 특정 기능은, 상기 안경형 단말기(100) 홀로 제공할 수 있는 기능뿐만 아니라, 적어도 하나의 주변 기기를 제어하는 기능을 포함한다. 또한 상기 특정 기능은, 상기 안경형 단말기(100)와 적어도 하나의 주변 기기가 서로 연계하는 기능일 수도 있다. 따라서 사용자는, 안경형 단말기(100)에서 제공되는 기능뿐만 아니라, 주변의 다른 기기들에서 제공되는 기능들을 별다른 입력 도구 없이, 간단한 제스처만으로 선택 및 실행할 수 있다.

한편 이하의 설명에서는 상기 사용자의 제스처에 의해 선택 및 실행되는 다양한 기능들의 예를 도면을 참조하여 보다 자세히 살펴보기로 한다.

도 12, 도 13a, 도 13c, 도 14a, 도 14b, 도 15a, 도 15b 및 도 15c는 본 발명의 실시 예에 따른 안경형 단말기에서 감지된 사용자의 제스처에 매칭되는 기능이 실행되는 예를 설명하기 위한 도면이다.

우선, 도 12는 사용자가 운전을 하는 경우, 상기 운전하는 사용자의 제스처에 매칭되는 기능을 선택 및 실행하는 예를 가정한 것이다.

도 12의 (a)에서 보이고 있는 것과 같이, 사용자가 운전을 하는 경우, 또는 사용자가 운전을 하는 제스처를 취하는 경우, 제어부(180)는 사용자의 이러한 제스처를 감지할 수 있다. 그러면 제어부(180)는 감지된 사용자의 제스처에 매칭되는 기능을 검색할 수 있다.

예를 들어 상기 운전을 하는 제스처의 경우, 이와 매칭되는 기능은 네비게이션(navigation) 기능일 수 있다. 또한 상기 운전하는 제스처의 종류에 따라 상기 기능은 변경될 수 있다. 예를 들어 사용자가 4륜 구동 차량과 같은 원형 핸들을 운전하는 제스처를 취하는 경우에는 도 12의 (b)에서 보이고 있는 것처럼 디스플레이부(151) 상에 지도 정보와 같은 네비게이션 정보가 표시되는 네비게이션 기능이 매칭될 수 있다. 그러나 사용자가 2륜 구동 차량(예를 들어 모터 사이클 또는 모터 바이크)과 같이 바형의 핸들을 운전하는 제스처를 취하는 경우에는 안전을 위해 상기 네비게이션 정보를 음성 정보로 알려주는 네비게이션 기능이 매칭될 수 있다.

또는 사용자의 선택에 따라 운전 목적에 부합되는 기능이 선택될 수도 있음은 물론이다. 예를 들어 사용자의 선택에 따라 상기 운전하는 제스처에 매칭되는 기능은 택배 전용 스마트 기기와 연결하기 위한 기능일 수 있으며, 이 경우 상기 택배 전용 스마트 기기와 관련된 정보가 상기 디스플레이부(151) 상에 표시될 수 있다.

한편, 사용자가 휴대폰 등을 손에 쥐는 제스처를 취하는 경우, 도 8a, 도 8b, 도 8c 및 도 8d에서 보이고 있는 것과 같이, 제어부(180)는 상기 제스처를 휴대폰 기능 또는 리모컨 기능을 선택하기 위한 것이라고 판단할 수 있다.

그리고 이 경우, 사용자가 리모컨 기능을 선택하는 경우, 제어부(180)는 연결 가능한, 즉 제어 가능한 주변 기기를 탐색하고, 그 탐색된 주변 기기들 중 어느 하나를 사용자로부터 선택받을 수 있다.

도 13a, 도 13b, 도 13c 및 도 13d는 이러한 예를 도시한 것이다.

우선 도 13a를 참조하여 살펴보면 제어부(180)는, 사용자가 휴대폰 등을 손에 쥐는 제스처(1220)를 취하는 경우, 사용자의 손 부분이 표시된 영역에 리모컨 모양의 그래픽 객체(1222)를 디스플레이할 수 있다. 그리고 상기 그래픽 객체(1222)의 주변에는, 현재 표시된 그래픽 객체(1222)에 대응되는 기능을 선택하기 위한 그래픽 객체(1226) 및 다른 기능을 선택하기 위한 그래픽 객체(1128)가 더 표시될 수 있다.

여기서 상기 그래픽 객체들(1126, 1128)은 다른 용도를 겸용할 수도 있다. 예를 들어, 특정 기능을 선택받기 위한 그래픽 객체(1226)는 제어할 특정 가전기기를 선택하기 위한 용도로 사용될 수 있고, 다른 기능을 선택하기 위한 그래픽 객체(1228)는 현재 선택된 가전기기의 제어를 취소하는 용도로 사용될 수도 있다.

예를 들어, 사용자가 리모컨 모양의 그래픽 객체(1222)가 표시된 상태에서, 그래픽 객체(1222)가 표시된 영역에서 기 설정된 제스처(예를 들어 그래픽 객체(1222)를 누르는 제스처)를 취하는 경우, 제어부(180)는 사용자가 상기 제스처(1220)에 매칭되는 기능으로 리모컨 기능을 선택한 것으로 판단할 수 있다. 이러한 경우, 제어부(180)는 현재 연결 가능한 주변 기기에 대한 그래픽 객체를 디스플레이부(151)에 표시할 수도 있다.

도 13b는 이러한 예를 도시한 것이다.

예를 들어 현재 연결 가능한 주변 기기가 오디오, 텔레비전, 및 에어컨인 경우, 제어부(180)는 상기 연결 가능한 각 주변 기기에 대응되는 그래픽 객체들(1230, 1232, 1234)을 디스플레이부(151) 상에 표시할 수 있다.

여기서 상기 각 주변 기기에 대응되는 그래픽 객체들(1230, 1232, 1234)은 각각 서로 다른 방향에 위치하는 형태로 디스플레이될 수 있다. 이러한 상태에서, 사용자는 추가적인 제스처를 취함으로써 상기 연결 가능한 주변 기기들 중 어느 하나를 선택할 수 있다. 예를 들어 제어부(180)는 도 13c에서 보이고 있는 것처럼, 리모컨 모양의 그래픽 객체(1222)가 향하는 방향에 근거하여, 어느 하나의 그래픽 객체가 선택된 것으로 판단할 수 있다. 여기서 상기 리모컨 모양의 그래픽 객체(1222)가 향하는 방향은, 사용자의 제스처(1220)가 향하는 방향에 따라 변경될 수 있다.

또한 제어부(180)는, 도 13c에서 보이고 있는 것처럼, 사용자가 보다 쉽게 특정 주변 기기를 선택할 수 있도록 하기 위해, 현재 리모컨 모양의 그래픽 객체(1222)가 향하는 방향에 따라 화살표 모양의 보조 그래픽 객체(1236)를 디스플레이부(151) 상에 더 표시할 수도 있음은 물론이다.

한편, 사용자는 자신이 원하는 주변 기기에 대응되는 그래픽 객체를 선택함으로써, 특정 주변 기기를 선택할 수 있다. 예를 들어 제어부(180)는 그래픽 객체(1222)가 표시된 영역에서 기 설정된 제스처(예를 들어 그래픽 객체(1222)를 누르는 제스처)를 취하는 경우, 사용자가 현재 리모컨 모양의 그래픽 객체(1222)의 방향에 대응되는 그래픽 객체가 선택된 것으로 판단할 수 있다.

그리고 상기 선택된 그래픽 객체가 텔레비전에 대응되는 것이었다면, 제어부(180)는 무선 통신 등을 이용하여 텔레비전과의 연결을 수행한다. 그리고 현재 연결된 주변 기기, 즉 텔레비전을 제어하기 위한 리모컨의 형태를 가지는 화면 정보(1240)를 디스플레이부(151) 상에 표시할 수 있다. 도 13d는 이러한 예를 도시한 것이다.

따라서 도 13d에서 보이고 있는 것처럼, 화면정보(1240)에는 현재 선택된 주변 기기, 즉 텔레비전의 기능들에 대한 항목들이 포함될 수 있다. 그리고 디스플레이부(151)에 투과되는 사용자의 손끝이, 어느 하나의 항목이 표시된 영역에 기 설정된 시간 이상 위치하는 경우, 제어부(180)는 상기 어느 하나의 항목이 선택된 것으로 판단할 수 있다. 그리고 제어부(180)는 사용자가 선택한 것으로 판단된 항목에 근거하여 제어 신호를 텔레비전에 전송할 수 있다. 그리고 텔레비전은 수신된 제어 신호에 따라 그 동작이 제어될 수 있다.

한편 도 13a 도 13b, 도 13c 및 도 13d에서는, 사용자가 특정 제스처를 취하고, 그 제스처를 취하는 방향을 변경함으로써 다양한 주변 기기들 중 어느 하나를 선택하는 경우를 가정하여 설명하였으나, 상기 주변 기기들 중 어느 하나를 선택하는 방법은 이와는 다른 방법도 얼마든지 있을 수 있다.

예를 들어, 도 8a, 도 8b 및 9a에서 보인 바와 같이, 제어부(180)는 상기 연결 가능한 주변 기기를 상기 리모컨 모양의 그래픽 객체를 하나씩 순차적으로 표시하고, 사용자의 선택에 근거한 어느 하나가 선택되도록 할 수도 있음은 물론이다. 또는 사용자가 리모컨 기능을, 사용자의 제스처에 매칭되는 기능으로 선택한 경우에, 상기 연결 가능한 주변 기기들은, 리스트의 형태로 디스플레이부(151)에 표시하고, 그 중에 하나를 선택받는 형태로 구현될 수도 있음은 물론이다.

또한 상기 연결 가능한 주변 기기들은, 사용자가 미리 설정한 주변 기기들일 수 있으며, 또는 사용자의 요청에 근거하여, 상기 제어부(180)가 본 발명의 실시 예에 따른 안경형 단말기(100)의 주변에서 탐색한 주변 기기들일 수도 있다.

한편, 본 발명의 실시 예에 따른 안경형 단말기(100)의 제어부(180)는 사용자의 제스처를 감지하여 보다 다양한 형태로 이용될 수 있다. 예를 들어 상기 제어부(180)는 사용자의 제스처를 감지하여, 현재 사용자가 어떤 동작을 하는 것인지를 판단하고, 판단된 사용자의 동작에 근거하여 적합한 애플리케이션이 실행되도록 할 수도 있다.

예를 들어, 제어부(180)는 사용자가 악기를 연주하는 경우, 악기를 연주하는 사용자의 손 또는 손가락의 움직임을 감지하여, 사용자가 연주하는 악기가 어떤 종류인지를 인지할 수 있다. 그리고 제어부(180)는 사용자가 연주하는 악기의 종류에 대응되는 기능을 사용자에게 제공할 수도 있다.

도 14a 및 도 14b는 이러한 예를 보이고 있는 것이다.

예를 들어 사용자가, 악기를 연주하거나, 또는 악기를 연주하는 듯한 제스처를 취하는 경우, 제어부(180)는 도 14a의 (a)에서 보이고 있는 것과 같이, 디스플레이부(151)의 기 설정된 인식 영역을 통해 사용자의 제스처(1250)를 감지할 수 있다.

이러한 상태에서, 제어부(180)는 사용자의 제스처에 매칭되는 기능을 검색할 수 있다. 그리고 여기서, 상기 매칭되는 기능은 사용자가 연주하는 악기 또는 연주하는 제스처에 대응하는 악기에 따라 달라질 수 있다. 예를 들어 도 14a의 (a)에서 보이고 있는 것처럼, 사용자가, 양손을 펼친 상태에서 손가락을 누르는 모양의 제스처(1250)를 취하는 경우, 제어부(180)는 사용자의 제스처가 '피아노를 연주하기 위한 것'이라고 판단할 수 있다.

또는 도 14a의 (b)에서 보이고 있는 것처럼, 사용자가 피아노(1252)를 연주하는 경우, 피아노를 연주하는 사용자의 움직임(1250)을 감지하여, 사용자가 피아노를 연주하는 동작을 취하고 있는 것으로 판단할 수도 있다.

이러한 경우, 제어부(180)는 도 14a의 (a) 또는 (b)에서 감지된 사용자의 제스처(1250)에 매칭되는 기능으로, 피아노 연주와 관련된 기능을 선택할 수 있다. 그리고 예를 들어 제어부(180)는 상기 피아노 연주와 관련된 기능으로 피아노 악보를 디스플레이하는 기능을 선택할 수도 있다.

이러한 기능은, 안경형 단말기(100)의 메모리(160)에 저장된 애플리케이션을 실행하는 것일 수 있다. 또는 상기 기능은, 안경형 단말기(100)와 연계되는 다른 주변 기기, 즉, 사용자의 이동 단말기 등에 저장된 애플리케이션을 실행하는 것일 수도 있다. 이러한 경우에 제어부(180)는 기 설정된 다른 주변 기기와의 연결을 통해, 상기 애플리케이션의 실행에 관련된 정보를 수신하여 안경형 단말기(100)에서 상기 애플리케이션이 실행되도록 하거나, 또는 상기 주변 기기를 원격 제어하여 상기 애플리케이션이 실행되도록 하고, 그 실행 결과만을 안경형 단말기(100)가 수신하는 형태로 이루어질 수도 있다.

한편, 상술한 바와 같이, 피아노 악보와 관련된 기능이 실행되면, 제어부(180)는 사용자의 악기 연주 또는 사용자의 제스처를 감지하여 사용자가 현재 연주하고 있는 악보 상의 일부분을 다른 부분과 다르게 표시하여 출력할 수도 있음은 물론이다.

도 14b는 이러한 예를 보이고 있는 것이다.

예를 들어 제어부(180)는 사용자가 악기를 연주하는 경우, 그 악기 연주음을 감지하여, 사용자가 현재 연주하는 부분에 대응되는 악보(1254)상의 부분(1256)을 하이라이트(highlight) 표시하고 이를 디스플레이부(151) 상에 출력할 수 있다. 또는 제어부(180)는 사용자가 악기를 연주하는 제스처를 감지하고, 사용자의 제스처에 대응되는 악보(1254)상의 부분(1256)을 하이라이트 표시하여 출력할 수 있다. 또는 제어부(180)는 사용자가 악기 연주를 시작한 시점부터 경과된 시간에 근거하여, 악보상의 특정 부분을 하이라이트 표시하여 출력할 수도 있다.

또한 제어부(180)는, 사용자가 실제로 피아노를 연주하는 경우, 단순히 사용자에게 현재 연주하는 악보 부분을 표시하여 디스플레이하는 것뿐만 아니라, 사용자가 연주하는 음악을 감지하고, 사용자의 연주가 잘못된 부분이 있는지를 판단할 수도 있음은 물론이다. 예를 들어 제어부(180)는 사용자가 연주하는 음의 음계가 틀린 경우, 이를 상기 디스플레이부(151) 상에서 출력되는 악보 부분에 표시함으로써 사용자가 틀린 음을 연주한 것을 표시할 수도 있다.

또한 상술한 도 14a 및 도 14b의 설명에서는, 사용자의 제스처를 감지하여, 사용자의 제스처가 어떤 악기를 위한 것인지를 판단하고, 판단된 결과에 따라 대응되는 악보를 제공하는 기능을 가정하여 설명하였으나, 이와는 다른 기능이 제공될 수도 있음은 물론이다.

예를 들어, 제어부(180)는 도 14a의 (a)에서 보이고 있는 바와 같이, 사용자가 피아노를 연주하는 듯한 제스처를 취하는 경우, 이를 감지하여, 감지된 제스처가 피아노에 관련된 것이라고 판단할 수 있다. 이러한 경우 제어부(180)는, 사용자의 제스처에 대응되는 악기, 즉 다수의 건반을 가지는 피아노 모양의 그래픽 객체를, 사용자의 손이 투과되는 디스플레이부(151) 상의 영역 주변에 표시할 수도 있다.

이러한 경우, 디스플레이부(151)를 통해 출력되는 피아노 모양의 그래픽 객체 상에서, 사용자가 상기 건반들을 누르는 제스처를 취하면, 제어부(180)는 디스플레이부(151)에 투과되는 사용자의 손끝을 이용하여, 어떤 건반이 사용자로부터 선택되었는지를 감지할 수 있다.

그리고 제어부(180)는 사용자의 제스처에 의해 선택된 건반에 대응되는 음을 생성할 수 있다. 예를 들어 제어부(180)는 사용자가 특정 화음에 대응되는 복수의 건반을 누르는 제스처를 취하는 경우, 상기 복수의 건반들에 대응되는 음 정보들을 이용하여 상기 특정 화음에 대한 정보를 생성할 수 있다. 그리고 제어부(180)는 상기 특정 화음을 음향 출력 모듈(153)을 통하여 출력할 수도 있다.

따라서 사용자는, 비록 악기가 없는 상태에서도, 사용자의 제스처에 따라 결정되는 악기를 가상으로 연주할 수 있다. 또한 제어부(180)는 사용자에게 상기 가상으로 연주되는 악기에 의해 생성되는 음향 정보를 출력할 수 있다. 그러므로 사용자는 비록 악기가 없는 상태에서도 자신이 연주하는 음악을 직접 들으면서 가상 연주를 할 수도 있다.

한편 도 14a 및 도 14b에 대한 설명에서는, 사용자의 제스처에 매칭되는 기능이 피아노와 관련된 기능인 것을 예로 들어 설명하였으나, 본 발명은 이에 국한되지 않음은 물론이다. 예를 들어 사용자가 기타 연주를 하는 제스처를 취하거나, 또는 실제로 기타 연주를 하는 경우, 제어부(180)는 상기 제스처를 감지하여, 사용자의 제스처에 매칭되는 기능으로 기타와 관련된 기능을 검색하고, 이를 사용자에게 제공할 수도 있음은 물론이다.

한편, 본 발명의 실시 예에 따른 안경형 단말기(100)의 제어부(180)는 사용자가 악기를 연주하는 동작 뿐 아니라, 보다 다양한 형태로 이용될 수도 있다. 예를 들어 제어부(180)는 일상생활에서 감지될 수 있는 사용자의 제스처 뿐만 아니라 인식되는 주변 상황에 대한 정보를 이용하여, 보다 다양한 기능을 사용자에게 제공할 수 있다.

즉, 제어부(180)는, 사용자의 주변 환경 및 사용자의 제스처에 근거하여 매칭되는 특정 기능이 검색 및 실행되도록 할 수도 있다. 예를 들어 제어부(180)는 사용자가 달리기를 하는 경우, 디스플레이부(151)의 기 설정된 인식 영역에서 감지되는 주변 환경 및, 가속도 센서의 체크값, 그리고 감지되는 사용자의 제스처 등을 적어도 하나 이용하여 사용자가 현재 달리는 상태인지를 판단할 수 있다. 그리고 이러한 상태에서 제어부(180)는 현재 사용자의 신체 상태에 대한 정보를 디스플레이부(151) 상에 출력할 수도 있다.

예를 들어 제어부(180)는 사용자의 심박수나 호흡수를 상기 디스플레이부(151) 상의 기 설정된 영역에 표시할 수 있다. 또한 제어부(180)는 현재 사용자의 위치를 감지하고, 감지된 위치에 대응되는 네비게이션 정보를 디스플레이부(151) 상에 출력할 수도 있다 .

또한 제어부(180)는, 사용자가 특정 지역에 진입하는 경우에, 사용자가 특정 제스처를 취하는 경우, 상기 제스처에 매칭되는 기능이 검색 및 실행되도록 할 수도 있다. 예를 들어 제어부(180)는 사용자가 회의장이나 만찬장등에 진입하는 경우, 사용자로부터 악수를 하는 제스처가 감지되면 사용자와 악수를 하는 상대방으로부터 특정 정보를 수신하는 기능을 수행할 수도 있다.

도 15a는 이러한 예를 보이고 있는 것이다.

예를 들어 사용자가 회의장이나 만찬장등 특정 지역에 진입하는 경우, 제어부(180)는 사용자가 이러한 특정 지역에 진입한 것을 감지할 수 있다. 예를 들어 사용자는 이러한 특정 지역을 미리 설정할 수 있다. 또는 제어부(180)는 상기 특정 지역에 설치되어 있는 위치 정보 제공 기기로부터, 상기 특정 지역에 대한 정보를 미리 수신할 수도 있다.

이러한 특정 지역에 사용자가 진입하면, 제어부(180)는 사용자의 선택에 따라 제스처의 감지를 시작할 수 있다. 그리고 사용자가 진입한 특정 지역 및 감지된 사용자의 제스처에 매칭되는 기능이 있는 경우, 매칭되는 기능을 실행할 수 있다.

예를 들어 제어부(180)는, 도 15a의 (a)에서 보이고 있는 것과 같이, 악수를 하는 제스처가 감지되는 경우, 악수의 상대방으로부터 전자 명함 정보를 수신하는 기능을 수행할 수 있다.

이러한 경우 제어부(180)는, 안경형 단말기(100) 주변에 위치한 다른 주변 기기, 즉 전자 명함 정보를 제공할 수 있는 주변 기기들을 검색할 수 있다. 여기서 상기 전자 명함 전보를 제공하는 주변 기기들은, 상기 안경형 단말기(100) 주변에 위치한 이동 단말기들일 수 있다. 또한 상기 주변 기기들은 외부로부터 전자 명함 정보의 전송 요청이 수신되는 경우, 미리 설정된 상태에 따라 전자 명함 정보를 전송할지 그렇지 않은지를 결정할 수 있다.

한편, 본 발명의 실시 예에 따른 안경형 단말기(100)는 상기 주변 기기들로부터 전자 명함 정보를 수신할 수 있다. 예를 들어 안경형 단말기(100)의 제어부(180)는 우선적으로 가장 인접한 주변 기기로부터 전자 명함 정보를 수신할 수도 있다. 그러나 이와 달리 제어부(180)는 특정 방향에 위치한 주변 기기로부터 우선적으로 전자 명함 정보를 수신할 수도 있다.

예를 들어, 본 발명의 실시 예에 따른 안경형 단말기(100)는 주변의 일정 영역에 위치한 이동 단말기들을 감지할 수 있다. 그리고 제어부(180)는 상기 이동 단말기들이 위치한 방향을 감지할 수도 있다. 예를 들어 제어부(180)는 상기 이동 단말기들로부터 발신되는 특정 신호의 세기를 감지하여, 그 신호의 세기에 따라 각각의 이동 단말기가 위치한 방향을 감지할 수 있다.

여기서 본 발명의 실시 예에 따른 안경형 단말기(100)의 제어부(180)는 주변의 이동 단말기들 중, 사용자의 시선이 향하는 방향에 위치한 적어도 하나의 이동 단말기로부터만 전자 명함 정보를 수신할 수 있다.

예를 들어 도 15a의 (b)에서 보이고 있는 것처럼, 사용자가 악수를 하는 제스처를 취하고 난 후, 악수하는 상대방의 모습(1272)을 바라보는 경우, 제어부(180)는 주변의 이동 단말기들 중, 사용자의 시선, 즉 디스플레이부(151)가 향하는 방향에 위치한 적어도 하나의 이동 단말기를 선택하고, 선택된 이동 단말기에 전자 명함 정보의 전송을 요청할 수 있다.

이러한 경우, 사용자의 시선이 향하는 방향에 위치한 악수 상대방(1272)의 이동 단말기(1275)는, 기 설정된 상태에 따라 상기 전자 명함 정보의 전송 요청을 허락하거나 또는 거절할 수 있다. 그리고 만약 이동 단말기(1275)의 상태가 상기 전자 명함 정보의 전송을 허락한 상태라면, 도 15b에서 보이고 있는 것처럼, 이동 단말기(1275)에 저장된 전자 명함 정보가 안경형 단말기(100)에 전송될 수 있다.

그리고 상기 수신된 전자 명함 정보는, 안경형 단말기(100)의 전화번호부 정보에 추가될 수 있다. 그리고 사용자의 제스처에 따라 도 6에서 보이고 있는 것처럼 휴대폰 기능이 실행되는 경우, 악수 상대방(1272)에 대한 전화번호 정보가 추가된 전화번호부가 디스플레이부(151) 상에 표시될 수 있다.

도 15c는 이러한 예를 도시한 것이다.

한편, 상술한 설명에서는 단지 전자 명함 정보를 수신하는 것만을 설명하였으나, 본 발명의 실시 예에 따른 안경형 단말기(100)는 사용자의 선택에 따라 악수 상대방의 영상을 추가로 전화번호부에 입력할 수도 있음은 물론이다.

예를 들어 제어부(180)는 특정 이동 단말기로부터 전자 명함 정보의 전송을 요청하기 전에, 상기 디스플레이부(151)에 투과되는 영상을 촬영할 수도 있다. 즉, 도 15a의 (b)에서 보이고 있는 것처럼, 사용자가 악수 상대방(1272)의 모습을 바라보는 경우, 제어부(180)는 디스플레이부(151)의 기 설정된 인식 영역에서 감지된 악수 상대방(1272)의 영상을 촬영하고, 이를 상기 수신된 전자 명함 정보와 함께 저장할 수도 있음은 물론이다.

또한 상기 도 15a, 15b 및 도 15c의 설명에서는, 전자 명함 정보를 제공하는 주변 기기로 이동 단말기를 가정하여 설명하였으나, 상기 전자 명함 정보를 제공하는 기기가 이동 단말기에 한정되지 않음은 물론이다. 즉, 예를 들어 태블릿 PC 또는 기타 다른 기기에서도 상기 전자 명함 정보가 제공될 수 있고, 이러한 경우 본 발명의 실시 예에 따른 안경형 단말기(100)에서는 상기 기타 다른 기기로부터 상기 전자 명함 정보를 제공받을 수 있음은 물론이다.

한편 본 발명의 실시 예에 따른 안경형 단말기(100)는 사용자의 제스처를 감지하여 매칭되는 특정 기능이 실행되도록 하고, 또한 하나의 기능이 실행되는 상태에서, 다른 제스처에 근거하여 다른 기능이 실행될 수도 있음을 상기 도 11a 및 도 11b에 대한 설명에서 언급한 바 있다.

제어부(180)는 상기 도 11a 및 도 11b에서 언급한 것처럼, 실행중인 기능을 종료하지 않은 상태에서, 사용자가 다른 기능을 선택하기 위한 제스처를 취하는 경우, 현재 실행중인 기능이 계속 실행되는 상태에서 다른 기능이 실행시킬 수도 있다. 그러나 이와는 달리, 사용자는 사용자의 제스처가 감지되는 동안에만 상기 제스처에 매칭되는 기능이 실행되도록 하고, 상기 실행과 관련된 화면 정보가 디스플레이부(151) 상에 출력되도록 할 수도 있다. 이러한 경우 사용자는 미리 설정된 특정한 제스처를 이용하여 상기 실행중인 기능을 종료하지 않고서, 다른 기능이 실행되도록 할 수 있음은 물론이다.

도 16a 및 도 16b는 이러한 본 발명의 실시 예에 따른 안경형 단말기에서, 사용자의 제스처에 근거하여 현재 실행중인 기능을 유지한 상태에서 적어도 하나의 다른 기능이 실행되도록 하는 예를 설명하기 위한 도면이다.

우선 도 16a의 (a)에서 보이고 있는 바와 같이, 사용자의 1차 제스처(1300)에 매칭되는 휴대폰 기능이 실행되는 상태에서, 사용자는 현재 실행중인 기능, 즉 휴대폰 기능을 유지하기 위한 제스처를 취할 수 있다.

예를 들어 상기 현재 실행중인 기능을 유지하기 위한 제스처는, 도 16a의 (b)에서 보이고 있는 것처럼, 손바닥이 향하는 방향을 전환하여, 사용자의 손등 부분의 영상이 디스플레이부(151) 상에 투과되도록 하는 제스처일 수 있다. 이러한 경우, 제어부(180)는 사용자가 손등 부분의 영상이 디스플레이부(151)에 투과되도록 하는 제스처(1320)를 감지하여 사용자가, 현재 실행중인 휴대폰 기능을 사용자의 제스처 감지 여부에 상관없이 계속 유지하는 것을 선택한 것으로 판단할 수 있다. 이에 따라 상기 휴대폰 기능과 관련된 화면 정보(1310)는 사용자가 현재의 제스처, 즉 휴대폰을 쥐는 듯한 제스처를 계속 취하는지 여부에 상관없이, 디스플레이부(151) 상에 계속 출력될 수 있다.

이에 따라 제어부(180)는, 도 16b의 (a)에서 보이고 있는 것처럼, 1차 제스처(1300)를 취하지 않는 경우에도, 휴대폰 기능과 관련된 화면 정보(1310)가 디스플레이부(151) 상에 출력되는 상태를 유지할 수 있다. 그리고 제어부(180)는, 사용자가 다른 기능, 예를 들어 태블릿 PC 기능을 선택하기 위한 2차 제스처(1350)를 취하는 경우, 도 16b의 (b)에서 보이고 있는 것과 같이, 상기 2차 제스처(1350)에 대응되는 기능, 즉 태블릿 PC 기능을 실행하고, 상기 태블릿 PC 기능과 관련된 화면 정보(1360)를 디스플레이부(151) 상에 출력할 수 있다.

따라서 사용자의 제스처가 감지되는 동안에만 상기 제스처에 매칭되는 기능이 실행되도록 하고, 상기 실행과 관련된 화면 정보가 디스플레이부(151) 상에 출력되도록 한 경우에도, 기 설정된 특정 제스처를 이용하여 현재 실행중인 기능이 계속 유지되도록 할 수도 있다. 또한 상기 도 16a 및 도 16b에서는 하나의 기능만이 유지되는 상태를 가정하여 설명하였으나, 사용자는 상기 특정 제스처를 이용하여, 제스처가 유지되는지 여부에 상관없이 복수의 기능들의 실행 상태를 유지하도록 할 수도 있음은 물론이다.

한편 제어부(180)는 감지된 제스처에 관련된 사용자의 신체 부위와 안경형 단말기(100)의 거리 정보에 근거하여, 상기 디스플레이부(151) 상에 표시되는 화면 정보의 크기를 결정할 수도 있음은 물론이다.

도 17은 이러한 경우에 본 발명의 실시 예에 따른 안경형 단말기에서 제스처와 관련된 사용자의 신체부위와의 거리 정보에 근거하여 화면 정보의 크기를 변경하는 예를 설명하기 위한 도면이다.

본 발명의 실시 예에 따른 안경형 단말기(100)의 제어부(180)는, 사용자로부터 제스처가 감지되는 경우, 감지된 제스처에 관련된 사용자의 신체 부위, 즉 사용자의 손(1400)까지의 거리 정보를 레이저 센서등을 이용하여 감지할 수 있다. 그리고 제어부(180)는 상기 감지된 거리 정보에 근거하여 상기 감지된 제스처에 매칭되는 기능과 관련된 화면 정보(1410)의 크기를 결정할 수 있다. 도 17의 (a)는 이러한 예를 도시한 것이다.

그러나 만약, 상기 사용자의 손(1400)까지의 거리 정보가 변경되는 경우, 제어부(180)는 변경된 거리 정보에 근거하여 화면 정보(1410)의 크기를 변경할 수 있다. 예를 들어 사용자가 손(1400)을 안경형 단말기(100)에 보다 가까이 위치시키는 경우, 즉 도 14a의 (a)에서 감지된 거리보다 상대적으로 더 가까운 거리에 사용자의 손(1400)이 위치하는 경우라면, 화면 정보(1410)는 보다 그 크기가 커질 수 있다. 도 17의 (b)는 이러한 예를 보이고 있는 것이다.

따라서 사용자는, 필요에 따라 제스처에 관련된 사용자의 신체 부위와 안경형 단말기(100) 사이의 거리를 조절하여 사용자가 원하는 크기의 화면 정보가 디스플레이부(151) 상에 출력되도록 할 수 있다.

또한, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RaM, cd-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

한편 상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 이처럼 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석 되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (25)

  1. 화면정보를 표시하는 헤드마운트 디스플레이부를 포함하는 안경형 단말기에 있어서,
    상기 헤드마운트 디스플레이부를 통해 투과되는 사용자의 신체부위의 움직임으로부터 사용자의 제스처를 감지하는 센싱부;
    적어도 하나의 제스처에 대한 정보 및, 상기 적어도 하나의 제스처 정보에 매칭(matching)되는 기능에 대한 정보를 저장하는 메모리부; 및,
    상기 제스처가 감지되면, 상기 메모리부에 저장된 정보를 기반으로 상기 감지된 제스처에 매칭되는 기능을 검색하고, 검색된 기능을 실행하는 제어부를 포함하는 것을 특징으로 하는 안경형 단말기.
  2. 제1항에 있어서, 상기 센싱부는,
    상기 사용자의 제스처가, 기 설정된 센싱 범위에 따라 결정되는 인식 영역 내에서 이루어지는 경우, 이를 감지하는 것을 특징으로 하는 안경형 단말기.
  3. 제1항에 있어서, 상기 제어부는,
    상기 감지된 제스처에 매칭되는 기능이 복수인 경우, 각각의 기능에 대응되는 화면 정보들을 상기 헤드마운트 디스플레이부에 표시하고,
    상기 화면 정보들 중 사용자의 선택에 근거한 어느 하나에 대응되는 기능을 실행하는 것을 특징으로 하는 안경형 단말기.
  4. 제3항에 있어서, 상기 제어부는,
    상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역에 상기 화면 정보들 중 어느 하나를 표시하고, 사용자의 선택에 근거하여 상기 표시된 화면 정보를 변경하는 것을 특징으로 하는 안경형 단말기.
  5. 제3항에 있어서, 상기 제어부는,
    상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역 주변에 상기 화면 정보들을 표시하는 것을 특징으로 하는 안경형 단말기.
  6. 제1항에 있어서, 상기 제어부는,
    상기 제스처에 매칭되는 기능이 복수의 주변 기기와 연관된 기능인 경우, 상기 복수의 주변 기기에 대응되는 화면 정보들을 상기 헤드마운트 디스플레이부에 표시하고,
    상기 화면 정보들 중 사용자의 선택에 근거한 적어도 하나의 주변 기기가, 사용자로부터 감지되는 추가적인 제스처에 근거하여 제어되도록 하는 것을 특징으로 하는 안경형 단말기.
  7. 제6항에 있어서, 상기 제어부는,
    상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역에 상기 화면 정보들 중 어느 하나를 표시하고, 사용자의 선택에 근거하여 상기 표시된 화면 정보를 변경하는 것을 특징으로 하는 안경형 단말기.
  8. 제6항에 있어서, 상기 제어부는,
    상기 사용자의 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 상기 헤드마운트 디스플레이부의 일 영역 주변에 상기 화면 정보들을 표시하는 것을 특징으로 하는 안경형 단말기.
  9. 제6항에 있어서,
    상기 적어도 하나의 주변 기기는,
    적어도 하나의 가전기기이며,
    상기 제어부는,
    상기 추가 제스처에 근거하여 상기 적어도 하나의 가전기기 중 어느 하나와 연결하고, 연결된 가전기기와 관련된 화면 정보를 상기 디스플레이부에 표시하며,
    상기 가전기기와 관련된 화면정보에 대해 추가적으로 인식되는 사용자의 제스처에 근거하여 상기 연결된 가전기기의 동작을 제어하는 것을 특징으로 하는 안경형 단말기.
  10. 제6항에 있어서,
    상기 적어도 하나의 주변 기기는,
    적어도 하나의 이동 단말기이며,
    상기 제어부는,
    상기 추가 제스처에 근거하여 어느 하나의 이동 단말기와 연결하고, 연결된 이동 단말기에 관련된 화면 정보를 상기 헤드마운트 디스플레이부에 표시하며,
    상기 화면 정보에 대한 사용자의 추가 제스처가 감지되면 상기 연결된 이동 단말기에 관련된 기능이 상기 추가 제스처에 근거하여 제어되도록 하는 것을 특징으로 하는 안경형 단말기.
  11. 제6항에 있어서,
    상기 적어도 하나의 주변 기기는,
    서로 무선 통신을 통해 연결가능한 적어도 하나의 이동 단말기이며,
    상기 제어부는,
    사용자의 제스처에 근거하여 상기 적어도 하나의 주변 기기가 서로 연결되도록 하고, 연결된 각각의 주변 기기에 대응되는 화면 정보를 상기 헤드마운트 디스플레이부에 표시하며,
    상기 화면 정보들에 대한 사용자의 추가 제스처에 근거하여 상기 적어도 하나의 주변 기기 간의 데이터 교환이 이루어지도록 상기 적어도 하나의 주변 기기를 제어하는 것을 특징으로 하는 안경형 단말기.
  12. 제1항에 있어서, 상기 제어부는,
    상기 감지된 제스처가 특정 악기를 연주하기 위한 제스처로 인식되는 경우,
    사용자의 제스처에 매칭되는 악기 종류를 검출하고, 악기 종류에 근거한 기능을 상기 사용자의 제스처에 근거하여 수행하는 것을 특징으로 하는 안경형 단말기.
  13. 제12항에 있어서,
    상기 악기 종류에 근거한 기능은,
    악보 관련 기능이며,
    상기 제어부는,
    상기 검출된 악기 종류에 따라 결정되는 악보들 중 어느 하나로부터, 사용자의 추가 제스처에 대응되는 상기 어느 하나의 악보 일부분을, 다른 부분과 구분되게 표시하여 상기 헤드마운트 디스플레이부에 출력하는 것을 특징으로 하는 안경형 단말기.
  14. 제1항에 있어서, 상기 제어부는,
    감지된 사용자의 제스처에 근거하여, 전자 명함 정보를 교환하는 기능 또는 네비게이션 정보를 제공하는 기능을 실행하고, 관련된 화면 정보를 상기 헤드마운트 디스플레이부에 표시하는 것을 특징으로 하는 안경형 단말기.
  15. 제14항에 있어서, 상기 제어부는,
    상기 감지된 사용자의 제스처가 악수하는 제스처인 경우, 매칭되는 기능으로 상기 전자 명함 정보를 교환하는 기능이 선택되면,
    인접한 적어도 하나의 이동 단말기 중, 상기 헤드마운트 디스플레이부가 향하는 방향에서 감지되는 적어도 하나로부터 전자 명함 정보를 수신하는 것을 특징으로 하는 안경형 단말기.
  16. 제15항에 있어서, 상기 제어부는,
    상기 헤드마운트 디스플레이부에 투과되는 영상을 촬영하고, 촬영된 영상 정보를 상기 전자 명함 정보와 함께 저장하는 것을 특징으로 하는 안경형 단말기.
  17. 제14항에 있어서, 상기 제어부는,
    상기 감지된 사용자의 제스처가 운전하는 제스처인 경우, 매칭되는 기능으로 상기 네비게이션 정보를 제공하는 기능이 선택되면,
    현재 위치 및 기 저장된 지도 정보를 이용하여 네비게이션 정보를 생성하고, 생성된 네비게이션 정보를 상기 헤드마운트 디스플레이부에 출력하는 것을 특징으로 하는 안경형 단말기.
  18. 제1항에 있어서, 상기 제어부는,
    상기 사용자의 제스처에 관련된 사용자의 신체 부위와의 거리에 근거하여 결정된 크기로, 상기 검색된 기능의 실행과 관련된 화면 정보를 상기 헤드마운트 디스플레이부에 표시하는 것을 특징으로 하는 안경형 단말기.
  19. 제1항에 있어서, 상기 제어부는,
    상기 제스처가 감지되는 동안에만 상기 검색된 기능을 실행 및 상기 검색된 기능의 실행과 관련된 화면 정보가 상기 헤드마운트 디스플레이부에 표시되도록 하는 것을 특징으로 하는 안경형 단말기.
  20. 제19항에 있어서, 상기 제어부는,
    기 설정된 특정 제스처가 감지되는 경우, 상기 제스처의 감지 상태와 상관없이 상기 검색된 기능을 실행하는 상태 및 상기 검색된 기능의 실행과 관련된 화면 정보를 표시하는 상태가 유지되도록 하는 것을 특징으로 하는 안경형 단말기.
  21. 화면정보를 표시하는 헤드마운트 디스플레이부를 포함하는 안경형 단말기에 있어서,
    사용자의 제스처를 감지하는 단계;
    상기 감지된 제스처에 매칭되는 기능을 검색하고 검색된 기능을 실행하는 단계;
    사용자의 추가 제스처를 감지하는 단계; 및,
    상기 추가 제스처에 근거하여 현재 실행중인 기능을 제어하는 단계를 포함하는 것을 특징으로 하는 안경형 단말기의 제어 방법.
  22. 제21항에 있어서, 상기 검색된 기능을 실행하는 단계는,
    상기 감지된 제스처에 매칭되는 기능이 복수인 경우, 어느 하나를 사용자로부터 선택받는 단계;
    상기 선택된 기능이 주변 기기와 연계되는 기능인지 여부에 근거하여 어느 하나의 주변 기기를 사용자로부터 선택받는 단계; 및,
    사용자로부터 선택된 기능 또는 상기 사용자로부터 선택된 주변 기기와 연계된 기능을 실행하는 단계를 더 포함하는 것을 특징으로 하는 안경형 단말기의 제어 방법.
  23. 제22항에 있어서, 상기 어느 하나의 기능을 사용자로부터 선택받는 단계는,
    상기 복수의 기능과 각각 관련되는 화면 정보들을, 상기 사용자의 제스처에 관련된 신체 부위가 상기 헤드마운트 디스플레이부에 투과되는 영역 또는 그 주변에 표시하는 단계; 및,
    상기 표시된 화면 정보들 중 어느 하나에 대한 사용자의 추가 제스처에 근거하여, 상기 어느 하나의 기능이 선택된 것으로 인식하는 단계를 더 포함하는 것을 특징으로 하는 안경형 단말기의 제어 방법.
  24. 제22항에 있어서, 어느 하나의 주변 기기를 사용자로부터 선택받는 단계는,
    상기 선택된 기능이 주변 기기와 연계되는 기능인 경우 연결 가능한 적어도 하나의 주변 기기에 각각 관련되는 화면 정보를 상기 사용자의 제스처에 관련된 신체 부위가 투과되는 상기 헤드마운트 디스플레이부의 영역 또는 그 주변에 표시하는 단계;
    상기 표시된 화면 정보들 중 어느 하나에 대한 사용자의 추가 제스처에 근거하여, 상기 어느 하나의 주변 기기가 선택된 것으로 인식하는 단계: 및,
    상기 선택된 주변 기기와 연결하는 단계를 더 포함하는 것을 특징으로 하는 안경형 단말기의 제어 방법.
  25. 제21항에 있어서, 상기 검색된 기능을 실행하는 단계는,
    상기 감지된 제스처에 매칭되는 기능이 없는 경우, 연결 가능한 주변 기기들에 대한 목록 또는 상기 안경형 단말기에서 실행 가능한 기능들에 대한 목록 중 적어도 하나를 상기 헤드마운트 디스플레이부에 표시하는 단계;
    상기 적어도 하나의 목록 중 어느 하나의 기능 또는 어느 하나의 주변 기기를 사용자로부터 선택받는 단계; 및,
    상기 선택된 어느 하나의 기능 또는 상기 선택된 어느 하나의 주변장치와 연계된 기능을 실행하는 단계를 더 포함하는 것을 특징으로 하는 안경형 단말기의 제어 방법.
PCT/KR2014/000751 2014-01-27 2014-01-27 안경형 단말기와 그 안경형 단말기의 제어방법 WO2015111778A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/000751 WO2015111778A1 (ko) 2014-01-27 2014-01-27 안경형 단말기와 그 안경형 단말기의 제어방법

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PCT/KR2014/000751 WO2015111778A1 (ko) 2014-01-27 2014-01-27 안경형 단말기와 그 안경형 단말기의 제어방법
US15/110,052 US10318007B2 (en) 2014-01-27 2014-01-27 Head mounted display device for multi-tasking and method for controlling same
KR1020167017377A KR20160113592A (ko) 2014-01-27 2014-01-27 안경형 단말기와 그 안경형 단말기의 제어방법

Publications (1)

Publication Number Publication Date
WO2015111778A1 true WO2015111778A1 (ko) 2015-07-30

Family

ID=53681570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/000751 WO2015111778A1 (ko) 2014-01-27 2014-01-27 안경형 단말기와 그 안경형 단말기의 제어방법

Country Status (3)

Country Link
US (1) US10318007B2 (ko)
KR (1) KR20160113592A (ko)
WO (1) WO2015111778A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183156A (zh) * 2015-08-31 2015-12-23 小米科技有限责任公司 屏幕控制方法及装置
WO2017126709A1 (ko) * 2016-01-18 2017-07-27 엘지전자 주식회사 이동 단말기 및 그 제어 방법
WO2018017613A1 (en) * 2016-07-20 2018-01-25 Beamz Interactive, Inc. Cyber reality device including gaming based on a plurality of musical programs
CN108885487A (en) * 2016-02-29 2018-11-23 华为技术有限公司 A kind of gestural control method of wearable system and wearable system

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US20160163011A1 (en) * 2014-12-05 2016-06-09 Thomson Reuters Global Resouces Systems and methods for searching remote databases
EP3073452B1 (de) * 2015-03-26 2020-04-29 Skidata Ag Verfahren zur Überwachung und Steuerung eines Zugangskontrollsystems
US10380966B2 (en) * 2015-08-31 2019-08-13 International Business Machines Corporation Power and processor management for a personal imaging system
US20170083082A1 (en) * 2015-09-18 2017-03-23 Intellectual Fortress, LLC Image processing virtual reality controller system and method
US20180088675A1 (en) * 2016-09-29 2018-03-29 Brian K. Vogel Coordinate system for gesture control
KR20180080012A (ko) * 2017-01-03 2018-07-11 주식회사 한국스포츠예술차세대플랫폼 소셜 네트워크 서비스를 이용한 실감형 음악연주 컨텐츠 생성·공유 장치 및 방법
US10497346B2 (en) * 2017-01-04 2019-12-03 2236008 Ontario Inc. Three-dimensional simulation system
US10484649B2 (en) * 2017-07-31 2019-11-19 Polycom, Inc. Mobile wearable video conferencing solution
US20190098070A1 (en) * 2017-09-27 2019-03-28 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
US10529216B1 (en) * 2018-06-19 2020-01-07 Rachel Thibault Personal proximity sensor systems
US10788897B1 (en) * 2019-01-15 2020-09-29 Facebook Technologies, Llc Systems and methods for sensing gestures via vibration-sensitive wearables donned by users of artificial reality systems
US10820079B2 (en) * 2019-01-24 2020-10-27 Htc Corporation Head mounted display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US20110249107A1 (en) * 2010-04-13 2011-10-13 Hon Hai Precision Industry Co., Ltd. Gesture-based remote control
JP2012181809A (ja) * 2011-03-03 2012-09-20 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR20130067856A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 Apparatus and method for playing virtual instruments based on finger gestures

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100038688A (ko) * 2008-10-06 2010-04-15 엘지전자 주식회사 Mobile terminal and user interface of mobile terminal
KR101708696B1 (ko) * 2010-09-15 2017-02-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101252169B1 (ko) * 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101859100B1 (ko) * 2011-07-19 2018-05-17 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US20110249107A1 (en) * 2010-04-13 2011-10-13 Hon Hai Precision Industry Co., Ltd. Gesture-based remote control
JP2012181809A (ja) * 2011-03-03 2012-09-20 Panasonic Corp 機器制御装置、機器制御方法、機器制御プログラム、及び集積回路
KR20130067856A (ko) * 2011-12-14 2013-06-25 한국전자통신연구원 Apparatus and method for playing virtual instruments based on finger gestures

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105183156A (zh) * 2015-08-31 2015-12-23 小米科技有限责任公司 屏幕控制方法及装置
CN105183156B (zh) * 2015-08-31 2019-03-12 小米科技有限责任公司 屏幕控制方法及装置
WO2017126709A1 (ko) * 2016-01-18 2017-07-27 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN108885487A (en) * 2016-02-29 2018-11-23 华为技术有限公司 A kind of gestural control method of wearable system and wearable system
WO2018017613A1 (en) * 2016-07-20 2018-01-25 Beamz Interactive, Inc. Cyber reality device including gaming based on a plurality of musical programs

Also Published As

Publication number Publication date
US10318007B2 (en) 2019-06-11
KR20160113592A (ko) 2016-09-30
US20160328021A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
WO2018203614A1 (en) Electronic device including flexible display
WO2015199453A1 (en) Foldable electronic apparatus and interfacing method thereof
WO2016076586A1 (en) Mobile terminal and controlling method thereof
WO2017082627A1 (en) Mobile terminal and method for controlling the same
WO2014014238A1 (en) System and method for providing image
WO2014142608A1 (en) Electronic device and operating method thereof
WO2016104922A1 (ko) 웨어러블 전자기기
WO2014021602A2 (ko) 착용형 전자 장치 및 그의 제어 방법
WO2017051975A1 (ko) 이동 단말기 및 그 제어방법
WO2015083969A1 (en) Mobile terminal and method for controlling the same
WO2015167299A1 (ko) 이동 단말기 및 그 제어방법
WO2014119884A1 (en) Method and system for displaying object, and method and system for providing the object
WO2017090997A1 (ko) 이동 단말기
WO2016186286A1 (en) Mobile terminal and method of controlling therefor
WO2013032076A1 (en) Mobile terminal and controlling method thereof
WO2017209533A1 (en) Mobile device and controlling method thereof
WO2015053449A1 (ko) 안경형 영상표시장치 및 그것의 제어방법
WO2015119444A1 (en) Electronic device and method for controlling displays
WO2015137580A1 (en) Mobile terminal
WO2012020863A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2015030411A1 (en) Mobile terminal and method of controlling the same
WO2012020864A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2012020866A1 (ko) 이동단말기, 디스플레이 장치 및 그 제어 방법
WO2010140781A2 (en) Dual sim mobile terminal and operating method thereof
EP3060995A1 (en) Method and device for transmitting data, and method and device for receiving data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14879681

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase in:

Ref document number: 20167017377

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15110052

Country of ref document: US

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14879681

Country of ref document: EP

Kind code of ref document: A1