KR102110208B1 - 안경형 단말기 및 이의 제어방법 - Google Patents

안경형 단말기 및 이의 제어방법 Download PDF

Info

Publication number
KR102110208B1
KR102110208B1 KR1020177029126A KR20177029126A KR102110208B1 KR 102110208 B1 KR102110208 B1 KR 102110208B1 KR 1020177029126 A KR1020177029126 A KR 1020177029126A KR 20177029126 A KR20177029126 A KR 20177029126A KR 102110208 B1 KR102110208 B1 KR 102110208B1
Authority
KR
South Korea
Prior art keywords
user
function
specified object
information
gaze
Prior art date
Application number
KR1020177029126A
Other languages
English (en)
Other versions
KR20180004112A (ko
Inventor
조태훈
설지이
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20180004112A publication Critical patent/KR20180004112A/ko
Application granted granted Critical
Publication of KR102110208B1 publication Critical patent/KR102110208B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 일 실시 예에 따른 안경형 단말기는 사용자의 시선에 근거하여 외부의 일 대상을 특정하고, 상기 특정된 대상과 관련된 기능을 수행할 수 있다. 보다 구체적으로, 본 발명의 일 실시 예에 따른 안경형 단말기는, 상기 안경형 단말기의 본체에 구비되는 디스플레이부, 외부환경을 촬영하는 카메라, 상기 외부환경에 대한 사용자의 시선을 감지하는 센싱부 및 상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 카메라에 의해 촬영된 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하고, 상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부를 제어하는 제어부를 포함하는 것을 특징으로 한다.

Description

안경형 단말기 및 이의 제어방법
본 발명은 사용자의 시선 분석에 근거하여 다양한 기능을 실행할 수 있는 안경형 단말기에 관한 것이다.
단말기(terminal)는 이동 가능 여부에 따라 안경형 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 안경형 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.
이와 같은 단말기는 기능이 다양화됨에 따라, 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.
최근 사람의 신체의 일부에 장착가능 하도록 형성되는 웨어러블형(wearable-type) 안경형 단말기가 개발되고 있다. 사용자의 두부에 장착되는 안경형(glass type) 단말기는 헤드 마운티드 디스플레이(HMD)에 해당될 수 있다. HMD와 같은 안경형(glass type) 단말기에 구비된 디스플레이부는 단순한 영상출력 기능을 넘어 증강 현실기술, N 스크린 기술 등과 조합되어 사용자에게 다양한 편의를 제공할 수 있다.
또한, 상기 안경형 단말기가 두부에 장착되는 특성을 이용하여 사용자의 시선 분석을 이용한 제어방법에 대한 연구가 활발히 진행되고 있다. 일 예로, 상기 사용자의 시선을 트래킹하여 정보를 특정하거나 검색하는 등의 간단한 기능이 있을 수 있다.
한편, 현실에 존재하는 특정인을 대상으로 하여 어느 일 기능을 실행하는 경우, 예를 들어, 상기 특정인의 정보를 검색하거나, 상기 특정인과 정보를 공유하는 등의 기능 실행을 위하여는 사용자는 직접 입력을 인가해야 하는 불편함이 있었다. 또한, 사용자의 시선만으로 상기 특정인과의 관계에서 다양한 기능을 실행하는데는 한계가 있었다.
이에 본 발명의 기술적 과제는 사용자의 시선 분석을 이용하여 현실에 존재하는 특정 대상과 관련된 다양한 기능을 실행할 수 있는 제어방법을 제공하는 것이다.
본 발명의 일 실시 예에 따른 안경형 단말기는, 안경형 단말기의 본체에 구비되는 디스플레이부, 외부환경을 촬영하는 카메라, 상기 외부환경에 대한 사용자의 시선을 감지하는 센싱부 및 상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 카메라에 의해 촬영된 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하고, 상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부를 제어하는 제어부를 포함할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 기능 아이콘과 관련된 선택 입력이 수신되는 것에 근거하여, 상기 기능 아이콘에 연계된 기능을 실행할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘과 관련된 선택 입력은, 상기 센싱부에 의하여, 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것으로 수신될 수 있다.
일 실시 예에 있어서, 상기 특정된 대상과 관련된 이벤트는, 상기 카메라를 통해 촬영되는 상기 특정된 대상의 기 설정된 움직임일 수 있다.
일 실시 예에 있어서, 무선통신부를 더 포함하고, 상기 기능 아이콘은, 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능에 연계된 제어 아이콘을 포함하며, 상기 제어부는, 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능이 실행되는 경우, 상기 외부 기기로 기 설정된 제어명령을 전송하도록 상기 무선통신을 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상에 대응되는 외부 기기의 식별정보를 획득하고, 상기 외부 기기의 식별정보를 이용하여 상기 외부 기기와의 무선통신을 수행하도록 상기 무선통신부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 제어 아이콘과 관련된 선택 입력으로 사용자의 제1 제스처가 감지되는 경우, 기 설정된 정보의 전송을 요청하는 제1 제어명령을 상기 외부 기기로 전송하고, 상기 제어 아이콘과 관련된 선택 입력으로 사용자의 제2 제스처가 감지되는 경우, 상기 외부 기기에서 기 설정된 정보를 출력시키는 제2 제어명령을 상기 외부 기기로 전송하도록 상기 무선통신부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제1 제어명령에 의하여 상기 외부 기기로부터 수신되는 기 설정된 정보는, 상기 외부 기기의 표시부에 출력중인 화면정보이며, 상기 제어부는, 상기 무선통신부에 의하여 상기 외부 기기의 표시부에 출력중인 화면정보가 수신되면, 상기 화면정보를 상기 디스플레이부에 출력시킬 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부에 상기 화면정보가 출력된 상태에서 특정 입력이 인가되는 것에 근거하여 상기 외부 기기와 다른 기기로 상기 화면정보를 전송하도록 상기 무선통신부를 제어하고, 상기 다른 기기는, 상기 센싱부에 의하여 감지된 사용자의 시선에 근거하여 선택될 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 카메라를 통해 촬영되는 상기 특정된 대상과 관련된 이벤트의 종류에 근거하여, 상기 제2 제어명령에 의하여 상기 외부 기기에서 출력할 기 설정된 정보를 선택할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘은, 상기 특정된 대상과 관련된 정보를 확인하는 기능에 연계된 정보 아이콘을 포함하고, 상기 제어부는, 상기 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우, 상기 외부 환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상과 관련된 정보를 획득하고, 상기 획득된 특정된 대상과 관련된 정보의 적어도 일부가 출력되도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 외부 환경에 대응되는 영상에 포함된 대상의 수에 따라 상기 특정된 대상과 관련된 정보의 출력양을 조절할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘은, 상기 특정된 대상에 대한 영상 데이터를 형성하는 기능에 연계된 데이터 형성 아이콘을 포함하고, 상기 제어부는,상기 데이터 형성 아이콘과 관련된 선택 입력이 수신되면 상기 특정된 대상을 촬영하도록 상기 카메라를 제어하고, 상기 카메라에 의하여 촬영되는 상기 특정된 대상에 대한 프리뷰 영상이 출력되도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 디스플레이부에 상기 프리뷰 영상이 출력된 상태에서, 상기 프리뷰 영상에 포함된 상기 특정된 대상의 움직임과 연관된 움직임 정보를 포함하는 연관 데이터 영상의 출력 요청이 있으면, 상기 프리뷰 영상에 상기 연관 데이터 영상이 오버랩되어 출력되도록 상기 디스플레이부를 제어할 수 있다.
일 실시 예에 있어서, 상기 제어부는, 상기 외부환경에 대응되는 영상에서 상기 특정된 대상과 다른 대상에 대한 특정 움직임이 감지되면, 상기 다른 대상의 특정 움직임을 알리는 정보가 출력되도록 상기 디스플레이부를 제어할 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기의 제어방법은, 카메라에 의하여 외부환경을 촬영하는 단계, 센싱부에 의하여 상기 외부환경에 대한 사용자의 시선을 감지하는 단계, 상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하는 단계 및 상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘을 위치시키는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘과 관련된 선택 입력을 수신하는 단계 및 상기 선택 입력이 수신되는 것에 근거하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 더 포함할 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘과 관련된 선택 입력은, 상기 센싱부에 의하여 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것에 의하여 수신될 수 있다.
일 실시 예에 있어서, 상기 기능 아이콘에 연계된 기능을 실행하는 단계는,상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하는 단계, 상기 특정된 대상의 이미지 분석에 근거하여 상기 특정된 대상과 관련된 정보를 획득하는 단계 및 상기 획득된 특정된 대상과 관련된 정보를 이용하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 포함할 수 있다.
일 실시 예에 있어서, 상기 특정된 대상과 관련된 이벤트는, 상기 카메라를 통하여 촬영되는 상기 특정된 대상의 기 설정된 움직임일 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기는, 사용자의 시선 분석을 통하여 외부환경에서 어느 일 대상을 특정하고 상기 특정된 대상과 관련하여 실행될 수 있는 기능의 아이콘을 제공할 수 있다. 따라서, 사용자는 상기 특정된 대상과 관련된 정보를 직접 검색하는 등의 과정 없이도 상기 특정된 대상과 관련하여 실행 가능한 기능에 대한 정보를 직관적으로 제공받을 수 있다.
또한, 사용자는 시선의 변경이나 기 설정된 제스처 등과 같은 비 접촉식 입력을 이용하여 상기 기능 아이콘에 연계된 다양한 기능을 실행할 수 있는 편의를 제공 받는다.
도 1은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 2a는 본 발명의 일 실시 예에 따른 안경형 단말기를 일 방향에서 바라본 도면이고, 도 2b는 도 2a의 안경형 단말기에 포함된 광학부를 설명하기 위한 개념도이다.
도 3a는 본 발명에 따른 안경형 단말기가 특정된 대상과 관련된 기능 아이콘을 제공하는 제어방법에 관한 순서도이고, 도 3b는 상기 기능 아이콘을 제공하는 제어방법을 설명하기 위한 대표도이다.
도 4a 및 도 4b는 상기 특정된 대상에 대응되는 외부 기기와 연동되는 기능에 연계된 제어 아이콘이 선택된 경우의 실시 예에 관하여 도시한 도면이다.
도 5a 및 도 5b는 제1 외부 기기에서 수신된 정보를 제2 외부 기기로 전달하는 것과 관련된 실시 예를 도시한 도면이다.
도 6a 및 도 6b는 안경형 단말기가 외부 기기에서 기 설정된 정보가 출력되도록 상기 외부 기기를 제어하는 것과 관련된 실시 예를 도시한 도면이다.
도 7a 및 도 7b는 특정된 대상과 관련된 데이터를 형성하는 기능이 실행되는 것과 관련된 실시 예를 도시한 도면이다.
도 8a 및 도 8b는 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우에 대한 실시 예를 도시한 도면이다.
도 9a 및 도 9b는 안경형 단말기에서 복수의 외부 기기 각각으로 정보가 송신되는 실시 예를 도시한 도면이다.
도 10은 안경형 단말기가 복수의 외부 기기로부터 동시에 정보를 수신하는 실시 예를 도시한 도면이다.
도 11은 카메라의 화각 범위 내에 사용자의 시선에 근거하여 특정된 대상과 다른 대상에 대한 노티를 제공하는 실시 예를 도시한 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다. 본 발명과 관련된 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들은 본 발명에 따른 안경형 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서상에서 설명되는 안경형 단말기는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 상기 이동 단말기(100)와 무선 통신 시스템 사이, 상기 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 상기 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 상기 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 상기 단말기 내 정보, 상기 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 안경형 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 상기 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 상기 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 상기 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 상기 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 상기 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 상기 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 상기 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 상기 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 상기 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 상기 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 상기 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1과 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 상기 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 상기 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 상기 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 상기 단말기 상에서 구현될 수 있다.
도 2a는 본 발명의 일 실시 예에 따른 안경형 단말기를 일 방향에서 바라본 도면이고, 도 2b는 도 2a의 안경형 단말기에 포함된 광학부를 설명하기 위한 개념도이다.
도 2a를 참조하면, 안경형 단말기(200)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)을 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(201)과 제2 프레임(202)을 포함하는 것을 예시하고 있다. 일반적으로 안경형 단말기(200)는 도 1의 이동 단말기(100)의 특징 또는 그와 유사한 특징을 포함할 수 있다.
프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어부(280), 음향 출력 모듈(252) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나에 인접하게 배치되는 프리즘(251')이 장착될 수 있다. 상기 프리즘(251')은 착탈 가능할 수 있다.
제어부(280)은 안경형 단말기(200)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 제어부(280)은 앞서 설명한 제어부(180)에 대응되는 구성으로 이해될 수 있다. 본 도면에서는, 제어부(280)이 일측 두부 상의 프레임부에 설치된 것을 예시하고 있다. 하지만, 제어부(280)의 위치는 이에 한정되지 않는다.
카메라(221)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성된다. 카메라(221)가 눈에 인접하여 위치하므로, 카메라(221)는 사용자가 바라보는 장면을 영상으로 획득할 수 있다.
이와 같이, 사용자가 바라보는 장면이, 곧 카메라(221)를 통해 획득되는 프리뷰 영상에 대응되므로, 안경형 단말기(200)에서는, 영상 촬영 기능을 실행시에, 별도의 프리뷰 영상을 디스플레이부(251)에 출력시키지 않을 수 있다.
안경형 단말기(200)는 제어명령을 입력 받기 위하여 조작되는 사용자 입력부(223a, 223b)를 구비할 수 있다. 사용자 입력부(223a, 223b)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는, 프레임부와 제어부(280)에 각각 푸시 및 터치 입력 방식의 사용자 입력부(223a, 223b)가 구비된 것을 예시하고 있다.
이하에서는, 터치 입력 방식의 사용자 입력부(223b)를 중점적으로 설명하며, 도면부호 223을 사용하기로 한다.
또한, 안경형 단말기(200)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력 모듈(252)이 구비될 수 있다.
도 2b를 참조하면, 디스플레이부를 통하여 출력되는 시각정보(300)는, 광학부(130) 및 프리즘(251')을 통하여 허상 이미지(400)로 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 안경형 단말기(200)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지(또는, 장면, 배경, 사용자의 일반 시야)에 가상 이미지(400)를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다. 상기 광학부(130)는 상기 프레임(101)에 내장될 수 있다. 즉, 상기 광학부(130)는 사용자의 시야에 위치하지 아니한다.
상기 광학부(130)는 제1 및 제2 렌즈(131, 132) 및 줌렌즈부(133)를 포함한다. 상기 광학부(130)에 의하여 형성된 상기 허상 이미지(400')는 상기 프리즘(251')에 의하여 반사되어 사용자의 눈으로 제공될 수 있다.
다만, 상기 안경형 단말기의 광학부 및 디스플레이부의 구조는 이에 한정되는 것은 아니다. 제어부(280)는 디스플레이부에서 출력되는 시각정보(300)를 사용자의 제어명령에 근거하여 다양한 크기의 허상 이미지(400)로 형성하고, 상기 허상 이미지(400)를 다양한 위치에 출력하기 위하여 광학부(130)를 제어할 수 있다.
디스플레이부는 광학부(130)의 제1 렌즈(131)의 초점(f)과 상기 제1 렌즈(131) 사이에 시각정보(300)를 출력할 수 있다. 이에 따라, 상기 시각정보(300)의 허상 이미지(400')는 상기 제1 렌즈(131)의 초점(f)을 기준으로, 상기 시각정보(300)가 출력된 위치의 반대되는 위치에 확대되어 형성될 수 있다.
상기 허상 이미지(400')는 광학부(130) 및 프리즘(251')을 통해 사용자의 눈에 보여질 수 있다. 이 경우, 사용자의 입장에서는 사용자 눈이 응시하는 정면에 위치한 가상영역(450)(또는, 공간, 가상공간)에서 허상 이미지(400)가 보여질 수 있다. 이는, 시각정보(300)의 허상 이미지(400)가 본체를 벗어난 가상영역(450)(예를 들어, 사용자의 눈이 응시하는 정면에 위치한 가상영역)에 형성된다는 것을 의미할 수 있다. 즉, 광학부(130)는 디스플레이부에서 출력되는 시각정보(300)의 이미지(400)(허상 이미지)를 본체를 벗어난 가상영역(450)(예를 들어, 사용자의 눈이 응시하는 정면에 위치한 가상영역(450)(또는, 공간))에 형성할 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기(200)에는 사용자의 입장에서 상기 사용자 눈이 응시하는 정면에 위치한 가상영역(450)에서 보여지는 허상 이미지(400)의 표시위치(거리) 및 표시크기와 관련된 데이터가 기 저장되어 있을 수 있다.
또한, 센싱부(도면 미도시)는 안경형 단말기(200) 또는 안경형 단말기(200)로부터 기 설정된 거리 이내에 존재하는 공간(또는, 글래스타입 단말기(200) 주변)에서 행해지는 사용자 제스처를 감지할 수 있다. 여기에서, 상기 사용자 제스처는, 사용자의 신체의 일부(예를 들어, 손가락, 손, 팔, 다리 등) 또는 대상체(물체, 막대기 등)에 의해 형성되는 동작을 의미할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 안경형 단말기의 제어방법과 관련된 다양한 실시 예에 대하여 설명하기로 한다.
본 발명에 따른 안경형 단말기는, 외부 환경의 촬영 영상에서 상기 외부 환경에 대한 사용자의 시선에 근거하여 일 대상을 특정하고, 상기 특정된 대상과 관련된 기능을 실행할 수 있는 제어방법을 제공할 수 있다.
보다 구체적인 예로, 본 발명에 따른 안경형 단말기는 복수의 학생들이 포함된 교실 환경에서, 상기 안경형 단말기를 착용한 선생님이 상기 복수의 학생들을 바라보는 경우에 적용될 수 있다. 즉, 상기 안경형 단말기는 상기 복수의 학생들에 대한 선생님의 시선을 분석하고, 상기 복수의 학생 중 상기 선생님의 시선에 대응되는 학생을 일 대상으로 특정하여, 상기 특정된 대상과 관련된 기능을 실행할 수 있는 제어방법을 제공할 수 있다.
또한, 상기 특정된 대상과 관련된 기능 실행을 위하여 상기 안경형 단말기는 기 설정된 기능에 연계된 다양한 기능 아이콘을 출력할 수 있다. 따라서, 사용자는 시선을 변경하는 간단한 동작만으로 외부 환경의 일 대상과 관련된 다양한 기능을 실행할 수 있는 편의를 제공받는다.
도 3a는 본 발명에 따른 안경형 단말기가 특정된 대상과 관련된 기능 아이콘을 제공하는 제어방법에 관한 순서도이고, 도 3b는 상기 기능 아이콘을 제공하는 제어방법을 설명하기 위한 대표도이다.
먼저, 도 3a를 참조하면, 본 발명에 따른 안경형 단말기의 카메라에 의하여 외부 환경이 촬영될 수 있다(S301).
본 발명에 따른 안경형 단말기(200)의 카메라(221)는 도 2a에서 상술한 것처럼, 사용자가 상기 안경형 단말기(200)를 착용한 상태에서 상기 사용자의 시선이 향하는 전방을 촬영할 수 있다.
또한, 상기 카메라(221)는 기 설정된 화각(field of view)에 의하여 상기 외부 환경을 실시간으로 촬영할 수 있다. 여기에서, 상기 카메라(221)는 상기 안경형 단말기(200)를 착용한 사용자의 시야범위와 대응되는 화각(field of view)을 가질 수 있다.
예를 들어, 도 3b의 첫 번째 도면처럼, 상기 안경형 단말기(200)에 장착된 카메라(221)는 기 설정된 화각에 따라 외부 환경을 촬영할 수 있다. 여기에서, 상기 외부 환경에는 복수의 대상(1, 2, 3, 4)이 포함될 수 있다.
또한, 상기 안경형 단말기(200)는 센싱부를 이용하여, 상기 외부 환경에 대한 사용자의 시선을 감지할 수 있다(S302).
상기 센싱부는 상기 안경형 단말기(200)를 착용한 사용자의 시선을 감지할 수 있다. 이를 위하여 상기 센싱부는, 상기 사용자의 시선을 감지할 수 있는 복수 개의 센서를 구비할 수 있다.
일 예로, 상기 센싱부는 카메라를 포함할 수 있고, 상기 카메라로부터 상기 사용자의 동공의 움직임을 감지할 수 있다. 이 경우, 상기 카메라(221)와 상기 센싱부에 포함되는 카메라는 상기 안경형 단말기(200)의 서로 다른 위치에 배치될 수 있다. 즉, 상기 센싱부에 포함되는 카메라는 상기 사용자의 시선을 감지할 수 있는 위치에 배치될 수 있다.
또 다른 예로, 상기 센싱부는 적외선 센서를 포함할 수 있다. 이 경우, 상기 적외선 센서는, 상기 사용자의 눈으로부터 반사되는 적외선으로 상기 사용자의 눈의 움직임을 감지할 수 있다.
이와 같이 상기 사용자의 시선이 감지되면, 상기 외부 환경에 대한 사용자의 시선을 분석하고, 상기 외부 환경에 대응되는 촬영 영상으로부터 사용자의 시선이 향하는 대상을 특정할 수 있다(S303).
상기 제어부(280)는 상기 센싱부에 의하여 감지된 사용자의 시선을 분석할 수 있다. 예를 들어, 상기 센싱부에 포함된 카메라로부터 촬영된 사용자의 동공의 움직임에 대한 이미지를 기 설정된 시선 추적 알고리즘에 적용하여 상기 사용자의 시선을 분석할 수 있다. 이 경우, 상기 사용자의 눈동자에서 반사된 적외선의 이미지를 분석하여 상기 사용자의 시선이 향하는 방향을 판단할 수 있다.
또 다른 예로, 상기 제어부(280)는 상기 사용자의 동공의 위치에 근거하여 상기 사용자 양안 각각이 이루는 시선의 각도를 산출하고, 상기 시선의 각도에 대응되는 시선의 방향 및 거리를 판단할 수 있다.
이와 같이, 상기 사용자의 시선 분석이 이루어지면, 상기 제어부(280)는 상기 외부 환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정할 수 있다(S303).
상기 대상은, 상기 외부 환경에 포함된 피사체로서, 사람 또는 사물이 포함될 수 있다. 예를 들어, 도 3b에서처럼, 상기 외부 환경(예를 들면, 교실)에 포함된 복수의 학생들(1, 2, 3, 4)이 상기 대상에 포함될 수 있다.
상기 제어부(280)는 상기 사용자의 시선 분석에 의하여 상기 사용자의 시선이 향하는 방향이나 거리 정보를 획득하고, 이를 이용하여 상기 사용자의 시선이 향하는 대상을 특정할 수 있다. 즉, 도 3b의 두 번째 도면처럼, 상기 외부 환경에 대한 사용자의 시선이 어느 일 대상(1)을 향하는 것으로 분석되면, 상기 제어부(280)는 상기 사용자의 시선이 향하는 상기 일 대상(1)을 특정할 수 있다.
또한, 상기 제어부(280)는 상기 대상이 특정되면, 상기 카메라(221)를 통하여 상기 특정된 대상과 관련된 이벤트가 촬영되는지 판단할 수 있다. 여기에서, 상기 이벤트는, 상기 특정된 대상의 기 설정된 움직임을 의미할 수 있다.
일 예로, 상기 특정된 대상의 시선이 사용자의 시선과 일치한 경우, 상기 제어부(280)는 상기 특정된 대상과 관련된 이벤트가 발생하였다 판단할 수 있다. 이 경우, 상기 제어부(280)는 상기 외부 환경에 대응되는 촬영 영상에서, 상기 특정된 대상의 얼굴 이미지가 향하는 방향을 이용하여 상기 사용자와의 시선 일치 여부를 판단할 수 있다.
일 예로, 상기 제어부(280)는 상기 특정된 대상의 기 설정된 움직임이 촬영되는 것에 근거하여 상기 특정된 대상과 관련된 이벤트의 발생을 판단할 수 있다. 즉, 도 3b의 세 번째 도면처럼, 상기 특정된 대상(1)의 손을 드는 움직임이 촬영되면, 상기 제어부(280)는 상기 특정된 대상(1)과 관련된 이벤트가 발생하였다 판단할 수 있다.
또 다른 예로, 상기 제어부(280)는 상기 특정된 대상의 기 설정된 동작(예를 들면, 고개를 숙인 동작)이 기 설정된 시간 동안 유지되는 것이 촬영되는 경우, 상기 특정된 대상과 관련된 이벤트가 발생하였다 판단할 수 있다.
이와 같이 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 제어부(280)는 상기 특정된 대상이 위치한 영역과 대응되는 대응영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부(251)를 제어할 수 있다.
상기 제어부(280)는 상기 카메라에 의하여 상기 특정된 대상과 관련된 이벤트가 감지되면, 상기 특정된 대상과 관련하여 실행 가능한 기능에 연계된 기능 아이콘을 상기 디스플레이부(251)에 출력시킬 수 있다.
상기 기능 아이콘은, 상기 기능 아이콘에 연계된 기능의 실행에 이용되는 그래픽 객체로서, 상기 기능 아이콘에 연계되어 실행 가능한 기능은 기 설정될 수 있다. 여기에서, 상기 기능 아이콘에 연계되는 기능은 단말기에서 실행 가능한 모든 종류의 기능을 포함할 수 있다.
일 예로, 상기 기능 아이콘은, 상기 특정된 대상에 대한 구체적인 정보를 확인하기 위한 기능에 연계된 아이콘일 수 있다. 즉, 상기 기능 아이콘에 연계된 기능은 특정된 대상의 신상 정보, 식별 정보, 성적 정보 등을 확인하기 위한 기능일 수 있다.
또 다른 예로, 상기 기능 아이콘은, 상기 특정된 대상과 관련된 정보를 생성하기 위한 기능에 연계된 아이콘일 수 있다. 즉, 상기 기능 아이콘에 연계된 기능은 상기 특정된 대상의 음성, 동작이나 움직임, 현재 상태를 기록하거나 획득하는 기능(예를 들면, 녹음이나 녹화 기능)일 수 있다.
또 다른 예로, 상기 기능 아이콘은, 상기 특정된 대상에 대응되는 외부 기기가 존재하는 경우, 상기 외부 기기와의 무선 연결에 의하여 상기 외부 기기를 제어하는 기능에 연계된 아이콘일 수 있다. 즉, 상기 기능 아이콘은 상기 특정된 대상에 대응되는 외부 기기에서 특정 정보의 출력을 위한 제어명령을 송신하거나, 상기 외부 기기로 특정 정보의 수신을 요청하는 제어명령을 전송하는 기능에 연계된 아이콘일 수 있다.
또한, 상기 제어부(280)는, 상기 기능 아이콘이 상기 사용자에게 상기 특정된 대상이 위치한 영역과 인접한 영역에서 보여질 수 있도록, 상기 디스플레이부(251)상에서 상기 기능 아이콘의 출력 위치를 결정할 수 있다.
예를 들어, 상기 안경형 단말기(200)가 도 2b의 구조로 형성된 경우, 상기 제어부(280)는 상기 광학부(130)를 이용하여 상기 디스플레이부(251)에 출력된 시각 정보에 대한 허상 이미지를 상기 사용자의 시야범위 내에서 상기 사용자로부터 일정 거리 떨어진 위치에 출력할 수 있다.
보다 구체적으로, 상기 사용자의 시야범위 내에, 상기 디스플레이부(251)의 출력 영역에 대응되는 허상 이미지 형성 영역이 설정될 수 있다. 이 때, 상기 디스플레이부(251)에 시각 정보가 출력되면, 상기 시각 정보의 허상 이미지는 상기 허상 이미지 형성 영역 내에 출력될 수 있다. 또한, 상기 허상 이미지 형성 영역 내에 출력된 상기 시각 정보에 대한 허상 이미지는 상기 외부 환경과 오버랩되어 상기 사용자에게 보여질 수 있다.
상기 제어부(280)는 상기 기능 아이콘의 허상 이미지가 상기 허상 이미지 형성 영역 내에서, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 출력되도록 상기 디스플레이부(251)를 제어할 수 있다.
이를 위하여, 상기 제어부(280)는 상기 사용자의 시야범위 내에서 상기 특정된 대상의 위치를 파악할 수 있다. 즉, 상기 사용자의 시선 분석에 근거하여 상기 사용자로부터 상기 특정된 대상이 위치한 지점까지의 거리 및 방향을 파악할 수 있다.
그리고, 상기 제어부(280)는 상기 허상 이미지 형성 영역 중 상기 파악된 특정된 대상의 위치 및 방향과 관련된 대응 영역에 상기 기능 아이콘의 허상 이미지가 위치하도록 상기 디스플레이부(251)에서의 상기 기능 아이콘의 출력 위치, 크기 및 출력 간격 중 적어도 하나를 조절할 수 있다.
즉, 도 3b의 세 번째 도면처럼, 상기 사용자의 시야범위 내에서 상기 디스플레이부(251)의 출력 영역에 대응되는 허상 이미지가 출력되는 영역(401)이 설정될 수 있다.
이 때, 기능 아이콘이 상기 디스플레이부(251)에 출력되면, 상기 제어부(280)는 상기 허상 이미지 형성 영역(401) 내에서 상기 특정된 대상(1)이 위치한 영역과 대응되는 대응 영역에 기능 아이콘의 허상 이미지가 위치하도록 상기 디스플레이부(251)를 제어할 수 있다. 따라서, 상기 사용자는 도 3b의 네 번째 도면과 같이 상기 특정된 대상의 주변 영역에 상기 기능 아이콘(10, 11, 12)의 허상 이미지를 제공받을 수 있다.
한편, 상기 안경형 단말기는 사용자의 양안 중 적어도 하나에 대응되는 위치에 광 투과성으로 형성되어, 시각정보를 출력하는 디스플레이부를 포함할 수 있다. 이 경우에는 상기 사용자가 상기 광 투과성의 디스플레이부를 통하여 외부 환경을 바라볼 수 있다. 이 경우에도, 상기 제어부(280)는 상기 사용자의 시선에 대응되는 디스플레이부의 영역에 상기 기능 아이콘이 출력되도록 상기 디스플레이부를 제어할 수 있다.
만약, 상기 안경형 단말기가 HMD(Head Mounted Display)형 단말기인 경우, 상기 디스플레이부에는 상기 사용자의 양안 각각에 대응되는 위치에서, 외부 환경에 대한 실시간 촬영 영상이 출력될 수 있다. 이 경우, 상기 제어부는 상기 외부 환경에 대한 촬영 영상 이미지에서, 상기 특정된 대상과 대응되는 일 영역에 상기 기능 아이콘을 합성되어 출력되도록 상기 디스플레이부를 제어할 수 있다.
이와 같이, 본 발명에 따른 안경형 단말기는, 외부 환경에 대한 촬영 영상 및 사용자의 시선 정보를 이용하여 사용자로부터 별도의 입력이 없어도 상기 사용자가 관심을 갖는 대상을 특정할 수 있다. 또한, 상기 특정된 대상과 관련된 기능 아이콘을 제공해줌으로써, 사용자는 시선 변경과 같은 간단한 동작만으로 자신이 관심을 갖는 대상과 관련하여 실행할 수 있는 기능에 대한 정보를 제공받을 수 있는 효과가 있다.
이하에서는, 상기 도 2a 및 도 2b에 따른 구조를 갖는 안경형 단말기를 주 실시 예로 하여 설명하기로 한다. 다만, 본 발명의 실시 예에 따른 안경형 단말기는 도 2a 및 도 2b에서 설명한 안경형 단말기의 구조에 한정되지 않는다. 또한, 편의상, 기능 아이콘의 허상 이미지를 기능 아이콘과 동일하게 표현하기로 한다.
상기 사용자는 상기 기능 아이콘을 이용하여 자신이 원하는 기능을 실행할 수 있다. 보다 구체적으로, 상기 기능 아이콘이 출력된 상태에서, 상기 제어부(280)는 사용자로부터 상기 기능 아이콘과 관려된 선택 입력이 수신되는 것에 근거하여, 상기 기능 아이콘에 연계된 기능을 실행할 수 있다.
상기 선택 입력은 다양한 방식으로 수신될 수 있다. 예를 들어, 상기 기능 아이콘이 출력된 상태에서, 상기 센싱부에 의하여 사용자의 기 설정된 제스처가 감지되는 경우, 상기 제어부(280)는 상기 선택 입력이 수신되었음을 판단할 수 있다. 즉, 상기 사용자의 눈 깜빡임(좌안 및 우안 중 적어도 하나가 깜빡이거나, 기 설정된 횟수의 깜빡임 등) 제스처가 감지되거나, 상기 사용자의 기 설정된 손 동작 제스처가 감지되는 것 등으로 상기 선택 입력 수신 여부를 판단할 수 있다. 이 경우, 상기 센싱부는 상기 사용자의 다양한 제스처를 감지할 수 있는 복수의 센서를 포함할 수 있다.
또 다른 예로, 상기 선택 입력은, 상기 안경형 단말기에 구비된 사용자 입력부(예를 들어, 터치키, 푸시키 등)에 인가되는 터치나 푸시 등에 의하여 수신될 수 있다.
한편, 상기 기능 아이콘은 상술한 바와 같이, 단말기에서 실행 가능한 모든 종류의 기능에 연계될 수 있고, 복수 개의 기능 각각에 연계된 복수 개가 출력될 수 있다. 이 경우, 상기 제어부(280)는 상기 복수 개의 기능 아이콘 중 사용자가 실행하고자 하는 기능에 연계된 기능 아이콘을 상기 사용자의 시선 분석에 근거하여 선택할 수 있다.
즉, 복수 개의 기능 아이콘이 출력된 상태에서, 상기 사용자의 시선을 분석하여, 상기 복수 개의 기능 아이콘 중 상기 사용자의 시선이 향하는 기능 아이콘을 특정할 수 있다. 또한, 상기 제어부(280)는 상기 기능 아이콘을 특정한 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것에 근거하여, 상기 특정된 기능 아이콘에 연계되는 기능을 실행할 수 있다.
이하, 첨부된 도면을 참조하여, 상기 기능 아이콘을 이용하여, 상기 특정된 대상과 관련된 기능이 실행되는 다양한 실시 예에 대하여 살펴보기로 한다.
도 4a 및 도 4b는 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능에 연계된 제어 아이콘이 선택된 경우의 실시 예에 관하여 도시한 도면이다.
먼저, 도 4a를 참조하면, 상기 제어부(280)는 상기 외부 환경에서, 상기 사용자의 시선 분석에 근거하여 대상을 특정할 수 있다. 이 경우, 상기 제어부(280)는 상기 특정된 대상을 사용자가 인지할 수 있도록, 상기 특정된 대상에 특정 시각적 효과를 줄 수 있다.
즉, 도 4a의 첫 번째 도면에서처럼, 상기 제어부(280)는 상기 디스플레이부(251)의 출력영역에 대응되는 허상 이미지의 형성 영역(401)에서, 상기 특정된 대상의 위치에 특정 시각적 효과(1a)가 오버랩되도록 상기 디스플레이부(251)를 제어할 수 있다.
그리고, 상기 제어부(280)는 상기 디스플레이부(251)에 상기 특정된 대상(1)과 관련하여 실행 가능한 기능에 연계된 기능 아이콘을 출력할 수 있다. 상기 기능 아이콘이 상기 디스플레이부(251)에 출력되면, 상기 허상 이미지의 형성 영역(401)에 상기 특정된 대상과 대응되는 대응영역에서, 상기 기능 아이콘(10, 11, 12)이 출력될 수 있다.
이와 같이, 복수의 기능 아이콘이 출력되면, 상기 제어부(280)는 상기 사용자의 시선을 분석하여, 상기 기능 아이콘(10, 11, 12)들 중 상기 사용자의 시선이 향하는 기능 아이콘을 특정할 수 있다.
상기 대상이 특정되는 경우와 마찬가지로, 상기 제어부(280)는, 도 4a의 두 번째 도면처럼, 상기 사용자의 시선에 근거하여 특정된 기능 아이콘(12)이 구별되게 표시(12a)되도록 상기 디스플레이부(251)를 제어할 수 있다.
상기 어느 일 기능 아이콘이 특정된 상태에서, 상기 사용자에 의하여 기 설정된 제스처가 인가되면 상기 제어부(280)는 상기 기능 아이콘에 대한 사용자의 선택 입력이 수신되었다 판단할 수 있다.
즉, 도 4a의 두 번째 도면처럼, 어느 일 기능 아이콘(12)이 특정된 상태에서, 상기 센싱부에 의하여 상기 사용자의 기 설정된 제스처(한쪽 눈을 깜빡이는 제스처)가 감지되면, 상기 제어부(280)는 상기 특정된 기능 아이콘(12)에 연계된 기능을 실행할 수 있다.
한편, 상기 제어부(280)는 상기 기능 아이콘에 연계된 기능 실행에 이용하기 위하여 상기 특정된 대상에 관한 정보를 획득할 수 있다. 보다 구체적으로, 상기 제어부(280)는 상기 외부 환경에 대응되는 영상으로부터 상기 특정된 대상의 이미지를 추출하고, 상기 특정된 대상의 이미지를 분석할 수 있다. 그리고, 상기 특정된 대상의 이미지 분석에 근거하여, 상기 특정된 대상에 관한 정보를 획득할 수 있다.
여기에서, 상기 특정된 대상에 관한 정보는 상기 특정된 대상의 이미지 정보와 함께 상기 안경형 단말기의 메모리에 기 저장되어 있을 수 있다. 또한, 상기 제어부(280)는 외부 서버로부터 상기 특정된 대상의 이미지에 대응되는 상기 특정된 대상에 관한 정보를 획득하도록 무선통신부를 제어할 수 있다.
만약, 상기 기능 아이콘이 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능인 경우, 상기 특정된 대상에 관한 정보는 상기 외부 기기와 무선 연결되기 위한 상기 외부 기기의 식별 정보 등이 이에 해당될 수 있다.
이 경우, 상기 제어부(280)는 상기 획득된 외부 기기의 식별 정보를 이용하여 상기 특정된 대상(1)에 대응되는 외부 기기와 무선 연결되도록 상기 무선통신부를 제어할 수 있다.
한편, 상기 제어부(280)는 상기 외부 기기와 무선 연결되면, 상기 외부 기기와 정보를 송수신하기 위한 제어명령을 상기 외부 기기로 송신할 수 있다. 여기에서, 상기 특정된 대상에 대응되는 외부 기기 제어를 위한 제어명령의 종류는 상기 기능 아이콘을 선택하는 입력에 근거하여 결정될 수 있다.
예를 들어, 상기 제어부(280)는 상기 기능 아이콘이 특정된 상태에서, 사용자에 의한 제1 제스처가 감지되면 기 설정된 정보를 상기 외부 기기로부터 수신하기 위한 제어명령을 상기 외부 기기로 전송할 수 있다. 이와 달리, 상기 기능 아이콘이 특정된 상태에서, 사용자에 의한 제2 제스처가 감지되면, 상기 외부 기기에 기 설정된 정보의 출력을 위한 제어명령을 송신할 수 있다.
보다 구체적인 예로, 도 4a의 두 번째 도면에서처럼, 외부 기기(100)의 제어 기능에 연계된 기능 아이콘(12)이 특정된 상태에서, 센싱부에 의하여 상기 사용자의 한쪽 눈을 깜빡이는 제스처가 감지될 수 있다. 이 경우, 상기 제어부(280)는 상기 외부 기기(100)로부터 기 설정된 정보의 수신을 위한 제어명령을 전송할 수 있다. 일 예로, 상기 기 설정된 정보는, 상기 외부 기기(100)의 표시부(151)에 현재 출력중인 화면정보일 수 있다.
이와 같이, 상기 외부 기기(100)로부터 기 설정된 정보가 수신되면, 상기 제어부(280)는 상기 수신된 화면정보를 상기 디스플레이부(251)에 출력할 수 있다. 또한, 상기 외부 기기(100)로부터 수신된 화면정보의 허상 이미지(20)는 상기 외부 환경에 위치한 복수의 대상들(1, 2, 3, 4)과 오버랩된 상태로 사용자에게 보여질 수 있다.
이와 다른 예로, 도 4b에서처럼, 사용자의 시선에 근거하여 상기 외부 기기(100)의 제어 기능에 연계된 기능 아이콘(12)이 특정된 상태에서, 도 4b의 두 번째 도면처럼, 사용자가 고개를 끄덕이는 제스처가 감지될 수 있다.
이와 같이, 상기 사용자의 제스처가 감지되면 상기 제어부(280)는 상기 외부 기기(100)로 기 설정된 정보가 전송되도록 상기 무선통신부를 제어할 수 있다. 일 예로, 상기 기 설정된 정보는 상기 외부 기기(100)의 표시부(151)에 출력 가능한 시각 정보일 수 있다.
따라서, 사용자는 시선을 이용하여 복수 개의 기능 아이콘 중 자신이 실행시키고자 하는 기능에 연계된 기능 아이콘을 용이하게 선택할 수 있다. 또한, 사용자는 기능 아이콘 선택을 위한 다양한 제스처를 활용함으로써, 어느 일 기능과 관련된 세부 기능을 선택적으로 실행할 수 있는 효과가 있다.
상기 특정된 대상에 대응되는 외부 기기로부터 정보가 수신되면, 상기 제어부(280)는 메모리에 상기 수신된 정보를 임시 저장할 수 있다. 이 때, 상기 사용자는 상기 수신된 정보를 다른 외부 기기로 전달하여, 보다 큰 표시부를 통하여 상기 수신된 정보를 확인하거나 다른 사람들과 공유하고자 하는 니즈가 있을 수 있다.
이에 본 발명의 일 실시 예에 따른 안경형 단말기는, 제1 외부 기기로부터 수신된 정보가 디스플레이부에 출력된 상태에서, 사용자의 추가 입력이 있으면, 상기 제1 외부 기기에서 수신된 정보를 제2 외부 기기와 공유하는 기능을 제공할 수 있다.
이와 관련하여 도 5a 및 도 5b를 참조하여 설명하기로 한다. 편의상, 특정된 대상에 대응되는 외부 기기를 제1 외부 기기, 그 이외의 외부 기기를 제2 외부 기기로 명명하기로 한다.
도 5a 및 도 5b는 제1 외부 기기에서 수신된 정보를 제2 외부 기기로 전달하는 것과 관련된 실시 예를 도시한 도면이다.
먼저, 도 5a를 참조하면, 제1 외부 기기로부터 정보가 수신되고, 상기 제어부(280)는 상기 수신된 정보를 상기 디스플레이부(251)에 출력할 수 있다. 또한, 상기 제어부(280)는 상기 수신된 정보를 메모리에 임시 저장할 수 있다.
이와 같이, 상기 제1 외부 기기로부터 수신된 정보가 상기 디스플레이부(251)에 출력된 상태에서, 사용자로부터 특정 입력이 인가될 수 있다. 예를 들어, 상기 특정 입력은 상기 안경형 단말기(200)의 본체에 인가되는 터치입력일 수 있다.
상기 안경형 단말기(200)의 본체에 상기 사용자의 터치입력이 인가되면, 도 5a의 두 번째 도면처럼, 상기 제어부(280)는 상기 디스플레이부(251)에서 상기 수신된 정보의 출력을 종료시킬 수 있다. 이에 따라, 상기 사용자의 시야범위에서, 상기 수신된 정보의 허상 이미지(21)는 사라질 수 있다. 또한, 상기 터치입력이 상기 안경형 단말기에 인가되는 것에 근거하여, 상기 제어부(280)는 전방(외부 환경)을 촬영하도록 상기 카메라(221)를 활성화할 수 있다.
상기 안경형 단말기의 본체에 유지되던 상기 사용자의 터치입력이 해제되는 경우, 상기 제어부(280)는 상기 터치입력이 해제되는 때에 상기 사용자의 시선을 감지하도록 상기 센싱부를 제어할 수 있다. 또한, 상기 제어부(280)는 상기 카메라(221)가 활성화된 이후, 상기 카메라(221)를 통해 촬영된 외부 환경에 대응되는 촬영 영상에서, 상기 사용자의 시선 분석에 근거하여 상기 사용자의 시선이 향하는 객체를 특정할 수 있다.
여기에서, 상기 객체는, 상기 대상과 마찬가지로 상기 외부 환경에 포함된 피사체일 수 있다. 일 예로, 상기 객체는 제2 외부 기기일 수 있다. 상기 객체가 특정되면, 상기 제어부(280)는 상기 객체에 대응되는 제2 외부 기기의 이미지를 분석하고, 상기 제2 외부 기기에 대응되는 식별 정보를 획득할 수 있다. 여기에서, 상기 제2 외부 기기에 대응되는 식별 정보는 상기 제2 외부 기기의 이미지와 함께 상기 메모리에 기 등록될 수 있다.
또한, 상기 제어부(280)는 상기 제1 외부 기기로부터 수신된 정보를 상기 제2 외부 기기에 전달되도록 상기 무선통신부를 제어할 수 있다. 이와 같이, 상기 제1 외부 기기로부터 수신된 정보는 도 5a의 세 번째 도면처럼, 상기 제2 외부 기기(500)로 전달되고, 상기 제2 외부 기기는 상기 수신된 정보(21a)를 상기 제2 외부 기기(500)의 표시부에 출력할 수 있다.
이와 같이, 사용자는 상기 제1 외부 기기로부터 수신된 정보가 디스플레이부에 출력된 상태에서, 상기 안경형 단말기의 본체에 터치를 가하는 동작 및 시선을 변경하는 동작만으로 상기 수신된 정보를 상기 제2 외부 기기와 쉽게 공유할 수 있다.
도 5b도 도 5a와 마찬가지로, 사용자는 안경형 단말기에 터치를 유지하고 터치를 해제하는 때에 제2 외부 기기(300)를 향해 시선을 유지함으로써, 상기 제1 외부 기기에서 수신된 정보를 제2 외부 기기(300)로 전달할 수 있다.
이 때, 상기 제2 외부 기기(300)의 표시부(351)에 기 출력된 정보가 있는 경우, 상기 제1 외부 기기로부터 수신된 정보는 상기 기 출력된 정보와 함께 출력될 수 있다. 즉, 도 5b의 세 번째 도면처럼, 상기 제2 외부 기기(300)의 표시부(351)가 복수의 영역으로 분할되고 상기 제2 외부 기기의 표시부(351)에 기 출력된 정보(22)와 상기 제1 외부 기기로부터 수신된 정보(21a)가 함께 출력될 수 있다.
따라서, 사용자는 제2 외부 기기를 이용하여 상기 제1 외부 기기로부터 수신된 정보를 상기 제2 외부 기기에서 기 출력되던 정보와 비교하면서 확인할 수 있다. 상기 제2 외부 기기의 표시부에 상기 제1 외부 기기로부터 수신된 정보가 출력되는 방법은 상기 안경형 단말기 또는 상기 제2 외부 기기의 설정에 의하여 변경이 가능하다.
상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능이 실행되면, 상기 제어부(280)는 상기 외부 기기의 출력부에서 기 설정된 정보를 출력하도록 제어명령을 형성할 수 있다. 여기에서, 상기 기 설정된 정보는 상기 외부 기기의 출력부에 출력될 수 있는 모든 종류의 정보가 포함될 수 있다. 예를 들어, 상기 기 설정된 정보는, 상기 외부 기기의 표시부를 통하여 출력이 가능한 시각 정보, 음향 출력부를 통하여 출력이 가능한 청각 정보 및 상기 외부 기기의 햅틱 모듈을 통하여 출력이 가능한 기 설정된 방식의 진동 등이 포함될 수 있다.
이 때, 상기 제어부(280)는 다양한 조건에 근거하여, 상기 외부 기기에서 출력 가능한 다양한 정보 중 상기 외부 기기에서 출력될 정보를 선택할 수 있다. 이와 관련하여 도 6a 및 도 6b를 참조하여 설명하기로 한다.
도 6a 및 도 6b는 안경형 단말기가 외부 기기에서 기 설정된 정보가 출력되도록 상기 외부 기기를 제어하는 것과 관련된 실시 예를 도시한 도면이다.
먼저, 도 6a를 참조하면, 상기 사용자의 시선이 어느 일 대상(1)을 향하는 경우, 상기 제어부(280)는 상기 카메라(221)에 의하여 촬영된 외부 환경에 대응되는 영상에서 상기 사용자의 시선이 향하는 대상을 특정할 수 있다.
또한, 상기 제어부(280)는 상기 카메라(221)에 의하여 상기 외부 환경에 대응되는 촬영 영상에서, 상기 특정된 대상과 관련된 이벤트가 발생하였음을 감지할 수 있다.
상기 특정된 대상과 관련된 이벤트는 상기 특정된 대상의 기 설정된 움직임이 감지되거나, 상기 기 설정된 움직임이 기 설정된 시간 동안 유지되는 것이 감지되는 등 상기 특정된 대상과 관련된 다양한 움직임으로 정의될 수 있다. 예를 들어, 도 6a의 첫 번째 및 두 번째 도면처럼, 상기 제어부(280)는 상기 카메라(221)를 통하여, 상기 특정된 대상(1)의 고개를 숙인 동작이 기 설정된 시간 동안 유지되는 것을 감지할 수 있다.
이에 따라, 상기 사용자는 도 6a의 두 번째 도면처럼, 상기 특정된 대상과 대응되는 대응 영역에서 상기 디스플레이부(251)에 출력된 상기 기능 아이콘의 허상 이미지를 볼 수 있다.
이 때, 도 6a의 세 번째 도면과 같이, 상기 사용자는 외부 기기를 제어하는 기능 아이콘에 시선을 유지한 상태에서 기 설정된 제스처(고개를 끄덕이는 제스처)를 인가할 수 있다.
이 경우, 상기 제어부(280)는 상기 기 설정된 제스처에 따라 상기 외부 기기(100)에서 기 설정된 정보를 출력시키는 제어명령을 전송할 수 있다. 여기에서, 상기 기 설정된 정보는, 상기 특정된 대상과 관련된 이벤트의 종류에 의하여 결정될 수 있다. 즉, 상기 제어부(280)는 상기 특정된 대상과 관련된 이벤트의 종류에 근거하여 상기 외부 기기에서 출력할 정보의 종류를 선택할 수 있다.
따라서, 사용자는 외부 기기로의 정보 전송 기능 실행을 위해 동일한 제스처를 인가하더라도, 상기 특정된 대상과 관련된 이벤트로부터 감지된 상기 특정된 대상의 상태에 따라 서로 다른 정보가 상기 외부 기기에서 출력되도록 할 수 있다.
한편, 사용자는 상기 외부 기기로 전송할 정보의 종류를 음성을 이용하여 직접 지정할 수 있다.
즉, 도 6b의 첫 번째 도면처럼, 상기 사용자의 시선에 의하여 상기 외부 기기(100)를 제어하는 기능 아이콘이 특정된 상태(12a)에서, 도 6b의 두 번째 도면처럼, 기 설정된 선택 제스처(고개를 끄덕이는 제스처)를 인가할 수 있다. 또한, 상기 선택 제스처를 인가하면서, 상기 외부 기기(100)로 전송하고자 하는 정보를 음성으로 입력할 수 있다.
이 때, 상기 제어부(228)는 상기 선택 제스처와 함께 입력된 음성을 분석하여, 상기 선택 제스처에 의하여 외부 기기(100)로 전송할 정보의 종류를 선택할 수 있다,
또한, 상기 외부 기기(100)로 전송된 정보(23)는 상기 외부 기기(100)의 표시부(151)에 출력될 수 있다. 따라서, 상기 사용자는 외부 기기를 제어하는 기능 실행을 위한 선택 제스처와 함께 음성을 입력하여, 상기 선택 제스처에 따라 원하는 정보를 상기 외부 기기로 전송할 수 있는 편의를 제공받는다.
상기 기능 아이콘은, 상기 특정된 대상과 관련된 데이터를 형성하는 기능과 연계된 데이터 형성 아이콘일 수 있다. 이하, 도 7a 및 도 7b를 참조하여, 이와 관련된 실시 예에 대하여 살펴보기로 한다.
도 7a 및 도 7b는 특정된 대상과 관련된 정보를 생성하는 기능이 실행되는 것과 관련된 실시 예를 도시한 도면이다.
먼저, 도 7a를 참조하면, 상기 안경형 단말기(200)는 사용자의 시선 분석에 근거하여 특정된 기능 아이콘(10)과 연계된 기능을 실행할 수 있다. 여기에서, 상기 기능 아이콘(10)에 연계된 기능은, 상기 특정된 대상(5)에 대한 영상 데이터를 형성하는 데이터 형성 아이콘일 수 있다.
보다 구체적으로, 상기 제어부(280)는 상기 사용자의 시선이, 상기 기능 아이콘(10)을 향하는 것이 감지되는 상태에서, 사용자로부터 기 설정된 제스처(예를 들면, 도 7a의 두 번째 도면처럼, 한쪽 눈을 깜빡이는 제스처)가 감지되면, 상기 데이터 형성 기능을 실행할 수 있다.
먼저, 상기 제어부(280)는 상기 사용자의 기 설정된 제스처가 감지되는 것에 근거하여, 상기 특정된 대상에 대한 촬영을 수행하도록 상기 카메라(221)를 제어할 수 있다.
이 경우, 상기 제어부(280)는 상기 특정된 대상(5)에 대하여 촬영된 프리뷰 영상(25)을 상기 디스플레이부(251)에 실시간으로 출력할 수 있다. 여기에서, 상기 프리뷰 영상(25)은 상기 디스플레이부의 출력 영역에 대응되는 허상 이미지 형성 영역(401)을 통하여 사용자에게 보여질 수 있다.
상기 제어부(280)는 상기 특정된 대상(5)에 대한 촬영이 기 설정된 시간 동안 수행되도록 상기 카메라(221)를 제어할 수 있다. 이와 달리, 상기 제어부(280)는, 도 7b의 두 번째 도면처럼, 상기 특정된 대상(5)에 대한 촬영이 수행되고 있는 중에 상기 사용자의 기 설정된 제스처가 감지되면, 상기 특정된 대상(5)에 대한 촬영을 중단할 수 있다. 이 경우, 상기 특정된 대상(5)에 대한 영상 데이터는 상기 촬영이 수행된 때부터 중단된 때까지 촬영된 영상에 의하여 형성될 수 있다.
한편, 상기 특정된 대상(5)에 대한 프리뷰 영상이 상기 디스플레이부(251)에 출력된 상태에서, 상기 사용자에 의하여 상기 안경형 단말기(200)에 특정 입력이 인가될 수 있다. 이 경우, 상기 제어부(280)는 상기 프리뷰 영상에 포함된 상기 특정된 대상(5)의 움직임과 연관된 움직임 정보를 포함하는 연관 데이터를 검색할 수 있다.
예를 들어, 상기 연관 데이터는 상기 연관된 움직임 정보를 포함하는 상기 특정된 대상의 기 형성된 영상 데이터나 상기 연관된 움직임 정보를 포함하는 다른 대상의 영상 데이터등을 포함할 수 있다. 상기 연관 데이터는, 상기 안경형 단말기(200)의 메모리에 기 저장되어 있거나, 상기 사용자의 특정 입력에 근거하여 외부 서버로부터 수신될 수 있다.
상기 제어부(280)는 상기 연관 데이터와 상기 프리뷰 영상을 비교할 수 있도록 상기 프리뷰 영상에 상기 연관 데이터를 오버랩시킬 수 있다.
예를 들어, 상기 제어부(280)는 상기 연관 데이터 구간에서 상기 특정된 대상의 움직임과 연관된 움직임이 포함된 구간을 선택할 수 있다. 그리고, 상기 제어부(280)는 상기 연관 데이터에서 선택된 구간과 상기 프리뷰 영상에서 상기 특정된 대상의 움직임 구간이 대응되게 오버랩되도록 상기 디스플레이부(251)를 제어할 수 있다.
따라서, 사용자는 시선을 이용하여 외부 환경에 위치한 어느 일 대상에 대한 영상 데이터를 형성하거나, 상기 어느 일 대상과 관련된 연관 데이터를 상기 형성된 영상 데이터와 비교할 수 있다.
도면에는 도시되지 않았으나, 상기 데이터 형성 아이콘이 1차적으로 선택되면, 상기 기능 아이콘과 관련하여 실행할 수 있는 다양한 기능에 대한 서브 메뉴 아이콘이 출력될 수 있다. 이 경우, 사용자의 시선 및 특정 동작이 감지되는 것에 근거하여, 상기 서브 메뉴 아이콘이 2차적으로 선택될 수 있고, 이에 따라 선택된 서브 메뉴 아이콘에 연계된 기능이 실행될 수 있다.
또한, 상기 기능 아이콘은 상기 특정된 대상과 관련된 정보를 확인하기 위한 기능에 연계된 정보 아이콘일 수 있다. 이와 관련하여 도 8a 및 도 8b를 참조하여 설명하기로 한다.
도 8a 및 도 8b는 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우에 대한 실시 예를 도시한 도면이다.
도 8a를 참조하면, 어느 일 대상(2)에 대한 사용자의 시선 분석에 근거하여,상기 대상(1)이 특정되고, 도 8a의 두 번째 도면처럼, 상기 특정된 대상(2)이 위치한 영역과 대응되는 대응 영역에 기능 아이콘(10, 11, 12)이 위치할 수 있다.
또한, 상기 기능 아이콘(10, 11, 12) 중 상기 특정된 대상과 관련된 정보를 확인하는 기능에 연계된 기능 아이콘(10)이 사용자의 시선에 근거하여 특정될 수 있다. 이와 같이, 상기 기능 아이콘(10)이 특정된 상태에서, 사용자에 의한 기 설정된 제스처가 감지되면, 상기 제어부(280)는 상기 특정된 대상과 관련된 정보를 상기 디스플레이부(251)에 출력할 수 있다.
여기에서, 상기 특정된 대상과 관련된 정보는, 예를 들어, 상기 특정된 대상의 신상 정보, 성적 정보 등과 같이 상기 특정된 대상을 식별할 수 있는 모든 종류의 정보를 포함할 수 있다.
또한, 도 8a의 세 번째 도면처럼, 상기 제어부(280)는 상기 기능 아이콘과 마찬가지로, 상기 특정된 대상이 위치한 영역과 대응되는 일 영역에 상기 특정된 대상과 관련된 정보(27a)가 위치하도록 상기 디스플레이부(251)를 제어할 수 있다.
한편, 상기 제어부(280)는 상기 카메라(221)의 화각(field of view) 범위에 포함된 대상의 수에 따라 상기 특정된 대상과 관련된 정보의 출력 양을 결정할 수 있다.
보다 구체적으로, 상기 카메라(221)는 기 설정된 화각(field of view)에 의하여 외부 환경을 촬영하기 때문에 상기 사용자와 상기 외부 환경에 포함된 대상들 간의 거리가 달라짐에 따라 상기 카메라(221)에 의하여 촬영되는 대상들의 수가 달라질 수 있다.
예를 들어, 도 8a에서처럼, 사용자가 상기 외부 환경에 포함된 대상들과 비교적 멀리 위치한 경우, 상기 카메라의 화각(field of view) 범위 내에 4명의 대상이 포함될 수 있다. 이와 달리, 도 8b에서처럼, 사용자가 상기 외부 환경에 포함된 대상들과 비교적 가까이 위치한 경우, 상기 카메라(221)의 화각(field of view) 범위 내에는 2명의 대상이 포함될 수 있다.
이 경우, 도 8a 및 도 8b의 세 번째 도면처럼, 상기 제어부(280)는 상기 카메라(221)의 화각(field of view) 범위에 적은 대상이 포함된 경우의 정보의 출력 양(27b)이, 상기 카메라(221)의 화각(field of view) 범위에 많은 대상이 포함된 경우의 정보의 출력 양(27a)보다 많아지도록 상기 디스플레이부(251)를 제어할 수 있다.
따라서, 사용자는 상기 디스플레이부(251)의 출력 영역에 대응되는 허상 이미지의 형성 영역(401)을 통하여 상기 특정된 대상을 바라보는 경우, 자신의 시야 범위 내에서 적절한 양의 정보를 제공받을 수 있다.
이상에서는, 상기 사용자의 시선이 어느 일 특정 대상을 향하는 경우 상기 어느 일 특정 대상과의 관계에서 실행될 수 있는 다양한 실시 예를 설명하였다. 이하, 상기 사용자의 시선이 어느 일 대상을 향하여 특정되지 않는 경우 본 발명에 따른 안경형 단말기로 수행될 수 있는 실시 예들에 대하여 설명하기로 한다.
본 발명에 따른 안경형 단말기는, 상기 안경형 단말기로부터 기 설정된 거리 이내에 포함된 복수의 외부 기기와 무선통신을 수행할 수 있다. 이 경우, 상기 안경형 단말기는 사용자의 시선 및 기 설정된 움직임이 감지되는 것에 근거하여, 상기 복수의 외부 기기 각각으로 동시에 정보를 송신하거나 상기 복수의 외부 기기 각각으로부터 동시에 정보를 수신할 수 있다. 이를 위하여, 상기 안경형 단말기는 특정 모드로 진입하여, 상기 안경형 단말기에 기 등록된 복수의 외부 기기 각각과 무선 연결될 수 있다.
도 9a 및 도 9b는 안경형 단말기에서 복수의 외부 기기 각각으로 정보가 송신되는 실시 예를 도시한 도면이다.
먼저, 도 9a를 참조하면, 상기 안경형 단말기는 설정으로 동작 모드를 설정할 수 있다. 예를 들어, 상기 안경형 단말기는 설정에 의하여 어느 일 외부 기기와 특정 정보를 송수신할 수 있는 제1 모드 또는 복수의 외부 기기 각각과 동시에 특정 정보를 송수신할 수 있는 제2 모드로 동작할 수 있다.
사용자의 선택에 의하여, 상기 제2 모드가 설정된 경우, 상기 제어부(280)는 상기 안경형 단말기(200)로부터 기 설정된 거리 이내에 포함된 복수의 외부 기기와 무선 연결되도록 상기 무선통신부를 제어할 수 있다. 여기에서, 상기 복수의 외부 기기 각각에 대응되는 식별정보는 상기 안경형 단말기에 미리 등록될 수 있다.
이와 같이, 상기 제2 모드로 진입한 상태에서, 상기 제어부(280)는 외부 환경이 촬영되도록 상기 카메라(221)를 제어하고, 상기 외부 환경에 대한 사용자의 시선을 감지하도록 상기 센싱부를 제어할 수 있다.
만약, 도 9a의 두 번째 도면처럼, 상기 외부 환경의 어느 일 외부 기기(500, 전자칠판)에 대한 사용자의 시선이 감지된 경우, 상기 제어부(280)는 상기 카메라(221)로부터 촬영된 외부 환경에 대응되는 촬영 영상으로부터 상기 사용자의 시선이 향하는 객체를 특정할 수 있다.
또한, 상기 제어부(280)는 상기 특정된 객체에 대응되는 상기 일 외부 기기(500)의 이미지 분석을 통하여 상기 일 외부 기기(500)의 표시부에 출력된 화면 정보(30)를 획득할 수 있다. 예를 들어, 상기 제어부(280)는 상기 일 외부 기기(500)에 대응되는 식별정보를 획득하고 상기 일 외부 기기(500)로부터 상기 화면정보(30)를 수신할 수 있다. 또 다른 예로, 상기 제어부(280)는 상기 카메라(221)를 이용하여 상기 화면정보(30)에 대한 캡처 이미지를 획득할 수 있다.
또한, 상기 제어부(280)는 도 9a의 세 번째 도면처럼, 상기 센싱부에 의하여 상기 사용자의 시선이 상기 일 외부 기기(500)를 향하는 상태에서, 상기 사용자의 기 설정된 움직임(어느 일 방향으로 손을 움직이는 동작)이 감지되는 경우, 복수의 외부 기기로 상기 화면정보(30)를 전송할 수 있다.
즉, 도 9a의 네 번째 도면처럼, 상기 화면정보(30)는 상기 안경형 단말기(200)에 기 등록된 복수의 외부 기기(100, 100')로 전송될 수 있다.
마찬가지로, 도 9b를 참조하면, 상기 사용자의 시선이 향하는 어느 일 외부 기기로 상기 사용자의 단말기(300)가 특정될 수 있다. 이 경우, 상기 제어부(280)는 도 9b의 두 번째 도면처럼, 상기 사용자의 기 설정된 제스처가 감지되면, 상기 사용자의 단말기(300)의 표시부(351)에 출력된 정보(28)를 상기 복수의 외부 기기(100, 100')로 전송할 수 있다.
또한, 상기 제어부(280)는 상기 복수의 외부 기기(100, 100') 각각에 전송된 화면정보(28)에, 사용자에 의하여 형성된 추가정보를 표시하도록 상기 복수의 외부 기기(100, 100')를 제어할 수 있다. 여기에서, 상기 사용자에 의하여 형성된 추가정보는 상기 화면정보(28)에 포함된 내용 중 상기 사용자의 시선이나 음성 등에 근거하여 강조된 내용에 대응되는 정보일 수 있다.
즉, 도 9b의 세 번째 도면처럼, 상기 제어부(280)는 상기 화면정보(28)에서 상기 사용자의 시선에 의하여 특정된 영역(28a)에 포함된 정보를 상기 추가정보로써 상기 복수의 외부 기기(100, 100')로 전송할 수 있다. 이 경우, 상기 복수의 외부 기기(100, 100') 각각의 표시부에 출력된 화면정보(28)에 상기 추가정보가 강조되어 표시(28a)될 수 있다.
도면에는 도시되지 않았으나, 상기 제어부(280)는 상기 화면정보(28)가 출력된 상태에서 사용자의 음성이 입력되는 경우, 상기 화면정보(28)에서 상기 사용자의 음성에 대응되는 적어도 일부를 상기 추가정보로써 상기 복수의 외부 기기(100, 100')로 전송할 수 있다.
이와 같이, 상기 제어부(280)는 상기 사용자의 시선이나 기 설정된 움직임에 근거하여 상기 안경형 단말기로부터 기 설정된 거리 이내에 포함된 복수의 외부 기기로 동시에 정보를 전송할 수 있다. 또한, 상기 복수의 외부 기기로 전송한 정보 중 사용자에 의하여 강조된 추가 정보를 함께 전송하여, 상기 복수의 외부 기기 각각에 대응되는 사용자에게 편의를 제공할 수 있다.
마찬가지로, 상기 제2 모드에서 동작하는 경우, 상기 안경형 단말기는 무선연결된 복수의 외부 기기 각각으로부터 정보를 수신할 수 있다. 이와 관련하여 도 10을 참조하여 설명하기로 한다.
도 10은 안경형 단말기가 복수의 외부 기기로부터 동시에 정보를 수신하는 실시 예를 도시한 도면이다.
상기 안경형 단말기(200)에 상기 제2 모드가 설정된 상태에서, 상기 외부 환경을 향한 사용자의 시선이 감지되고, 상기 사용자의 기 설정된 제스처(양쪽 눈을 깜빡이는 제스처)가 감지될 수 있다.
이 경우, 상기 제어부(280)는 상기 무선통신부를 이용하여 복수의 외부 기기 (100a, 100b, 100c, 100d)각각의 표시부에 출력된 정보를 한 번에 수신할 수 있다. 또한, 상기 제어부(280)는 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각으로부터 수신된 정보에 대한 요약 정보가 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각에 대응되는 대상의 주변 영역에 출력되도록 상기 디스플레이부(251)를 제어할 수 있다.
예를 들어, 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각으로부터 수신된 정보는 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각에 대응되는 사용자가 입력한 정보(보다 구체적인 예로, 수학 문제에 대한 문제풀이 정보)일 수 있다. 이 경우, 상기 제어부(280)는 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각으로부터 수신된 정보를 분석하여, 각 정보에 대한 요약 정보(문제풀이 정보인 경우, 상기 문제풀이의 정답여부를 나타내는 정보)를 판단할 수 있다.
따라서, 도 10의 네 번째 도면처럼, 상기 복수의 외부 기기(100a, 100b, 100c, 100d) 각각에 대응되는 대상이 위치한 영역과 대응되는 영역에 상기 요약정보(29a, 29b, 29c, 29d)가 각각 위치할 수 있다.
이와 같이, 상기 안경형 단말기에 설정된 모드에 따라 어느 일 외부 기기 또는 복수의 외부 기기를 제어할 수 있다. 또한, 상기 안경형 단말기를 착용한 사용자는 시선이나 동작을 변경하는 간단한 제스처 만으로 상기 어느 일 외부 기기 또는 복수의 외부 기기를 용이하게 제어할 수 있다.
사용자의 시선이 어느 일 대상을 향하는 것으로 감지되는 상태에서, 본 발명에 따른 안경형 단말기는 상기 카메라(221)의 화각 범위 내의 상기 일 대상과 다른 대상의 특정 움직임을 감지할 수 있다. 이하, 도 11을 참조하여 이와 관련된 실시 예를 설명한다.
도 11은 카메라의 화각 범위 내에 사용자의 시선에 근거하여 특정된 대상과 다른 대상에 대한 노티를 제공하는 실시 예를 도시한 도면이다.
도 11을 참조하면, 사용자의 시선이 상기 외부 환경의 어느 일 대상(1)을 향하는 것으로 감지되면, 도 11의 두 번째 도면처럼, 상기 제어부(280)는 상기 어느 일 대상(1)이 위치한 영역과 대응되는 대응 영역에 기능 아이콘을 출력할 수 있다.
이 상태에서, 도 11의 세 번째 도면처럼, 상기 사용자의 시선이 향하는 일 대상(1)과 다른 대상(4)의 특정 움직임이 상기 카메라(221)에 의하여 감지될 수 있다. 예를 들어, 상기 다른 대상(4)은, 손을 들거나, 자리에서 일어나는 등의 특정 동작으로 움직일 수 있다.
이 경우, 상기 제어부(280)는 도 11의 네 번째 도면처럼, 상기 다른 대상(4)이 위치한 영역과 관련된 일 영역에 상기 특정 움직임을 알리는 노티(4a)가 출력되도록 상기 디스플레이부(251)를 제어할 수 있다. 따라서, 사용자는 어느 일 대상(1)에 시선을 고정한 상태에서도, 감지하지 못한 다른 대상(4)에 관한 움직임을 용이하게 파악할 수 있다.
본 발명의 일 실시 예에 따른 안경형 단말기는, 사용자의 시선 분석을 통하여 외부환경에서 어느 일 대상을 특정하고 상기 특정된 대상과 관련하여 실행될 수 있는 기능의 아이콘을 제공할 수 있다. 따라서, 사용자는 상기 특정된 대상과 관련된 정보를 직접 검색하는 등의 과정 없이도 상기 특정된 대상과 관련하여 실행 가능한 기능에 대한 정보를 직관적으로 제공받을 수 있다.
또한, 사용자는 시선의 변경이나 기 설정된 제스처 등과 같은 비 접촉식 입력을 이용하여 상기 기능 아이콘에 연계된 다양한 기능을 실행할 수 있는 편의를 제공 받는다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 착용 가능한 안경형 단말기에 있어서,
    상기 안경형 단말기의 본체에 구비되는 디스플레이부;
    외부환경을 촬영하는 카메라;
    상기 외부환경에 대한 사용자의 시선을 감지하는 센싱부; 및
    상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 카메라에 의해 촬영된 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하고,
    상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘이 위치하도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
    상기 특정된 대상과 관련된 이벤트는,
    상기 카메라를 통해 촬영되는 상기 특정된 대상의 기 설정된 움직임인 것을 특징으로 하는 안경형 단말기.
  2. 제1항에 있어서, 상기 제어부는,
    상기 기능 아이콘과 관련된 선택 입력이 수신되는 것에 근거하여, 상기 기능 아이콘에 연계된 기능을 실행하는 것을 특징으로 하는 안경형 단말기.
  3. 제2항에 있어서,
    상기 기능 아이콘과 관련된 선택 입력은,
    상기 센싱부에 의하여, 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것으로 수신되는 것을 특징으로 하는 안경형 단말기.
  4. 삭제
  5. 제2항에 있어서,
    무선통신부를 더 포함하고,
    상기 기능 아이콘은, 상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능에 연계된 제어 아이콘을 포함하며,
    상기 제어부는,
    상기 특정된 대상에 대응되는 외부 기기를 제어하는 기능이 실행되는 경우, 상기 외부 기기로 기 설정된 제어명령을 전송하도록 상기 무선통신을 제어하는 것을 특징으로 하는 안경형 단말기.
  6. 제5항에 있어서, 상기 제어부는,
    상기 외부환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상에 대응되는 외부 기기의 식별정보를 획득하고,
    상기 외부 기기의 식별정보를 이용하여 상기 외부 기기와의 무선통신을 수행하도록 상기 무선통신부를 제어하는 것을 특징으로 하는 안경형 단말기.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 제2항에 있어서,
    상기 기능 아이콘은, 상기 특정된 대상과 관련된 정보를 확인하는 기능에 연계된 정보 아이콘을 포함하고,
    상기 제어부는,
    상기 특정된 대상과 관련된 정보를 확인하는 기능이 실행되는 경우, 상기 외부 환경에 대응되는 영상에 포함된 상기 특정된 대상의 이미지를 분석하여 상기 특정된 대상과 관련된 정보를 획득하고,
    상기 획득된 특정된 대상과 관련된 정보의 적어도 일부가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  12. 제11항에 있어서, 상기 제어부는,
    상기 외부 환경에 대응되는 영상에 포함된 대상의 수에 따라 상기 특정된 대상과 관련된 정보의 출력양을 조절하는 것을 특징으로 하는 안경형 단말기.
  13. 제2항에 있어서,
    상기 기능 아이콘은, 상기 특정된 대상에 대한 영상 데이터를 형성하는 기능에 연계된 데이터 형성 아이콘을 포함하고,
    상기 제어부는,
    상기 데이터 형성 아이콘과 관련된 선택 입력이 수신되면 상기 특정된 대상을 촬영하도록 상기 카메라를 제어하고,
    상기 카메라에 의하여 촬영되는 상기 특정된 대상에 대한 프리뷰 영상이 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  14. 제13항에 있어서, 상기 제어부는,
    상기 디스플레이부에 상기 프리뷰 영상이 출력된 상태에서, 상기 프리뷰 영상에 포함된 상기 특정된 대상의 움직임과 연관된 움직임 정보를 포함하는 연관 데이터 영상의 출력 요청이 있으면,
    상기 프리뷰 영상에 상기 연관 데이터 영상이 오버랩되어 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  15. 제1항에 있어서, 상기 제어부는,
    상기 외부환경에 대응되는 영상에서 상기 특정된 대상과 다른 대상에 대한 특정 움직임이 감지되면,
    상기 다른 대상의 특정 움직임을 알리는 정보가 출력되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 안경형 단말기.
  16. 카메라에 의하여 외부환경을 촬영하는 단계;
    센싱부에 의하여 상기 외부환경에 대한 사용자의 시선을 감지하는 단계;
    상기 외부환경에 대한 사용자의 시선을 분석하여, 상기 외부환경에 대응되는 영상으로부터 상기 사용자의 시선이 향하는 대상을 특정하는 단계;
    상기 카메라를 통해 상기 특정된 대상과 관련된 이벤트가 촬영되는 것에 근거하여, 상기 특정된 대상이 위치한 영역과 대응되는 대응 영역에 기 설정된 기능에 연계된 기능 아이콘을 위치시키는 단계를 포함하고,
    상기 특정된 대상과 관련된 이벤트는,
    상기 카메라를 통하여 촬영되는 상기 특정된 대상의 기 설정된 움직임인 것을 특징으로 하는 안경형 단말기의 제어방법.
  17. 제16항에 있어서,
    상기 기능 아이콘과 관련된 선택 입력을 수신하는 단계; 및
    상기 선택 입력이 수신되는 것에 근거하여 상기 기능 아이콘에 연계된 기능을 실행하는 단계를 더 포함하는 것을 특징으로 하는 안경형 단말기의 제어방법.
  18. 제17항에 있어서,
    상기 기능 아이콘과 관련된 선택 입력은,
    상기 센싱부에 의하여 상기 기능 아이콘을 향하는 상기 사용자의 시선이 감지되는 상태에서, 상기 사용자의 기 설정된 제스처가 감지되는 것에 의하여 수신되는 것을 특징으로 하는 안경형 단말기의 제어방법.
  19. 삭제
  20. 삭제
KR1020177029126A 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법 KR102110208B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/004579 WO2016182090A1 (ko) 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법

Publications (2)

Publication Number Publication Date
KR20180004112A KR20180004112A (ko) 2018-01-10
KR102110208B1 true KR102110208B1 (ko) 2020-05-13

Family

ID=57249069

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177029126A KR102110208B1 (ko) 2015-05-08 2015-05-08 안경형 단말기 및 이의 제어방법

Country Status (3)

Country Link
US (1) US10514755B2 (ko)
KR (1) KR102110208B1 (ko)
WO (1) WO2016182090A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6992761B2 (ja) * 2016-10-07 2022-01-13 ソニーグループ株式会社 サーバ、クライアント端末、制御方法、記憶媒体、およびプログラム
TWI656359B (zh) * 2017-05-09 2019-04-11 瑞軒科技股份有限公司 用於混合實境之裝置
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
WO2019193885A1 (ja) * 2018-04-06 2019-10-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019212798A1 (en) * 2018-05-01 2019-11-07 Snap Inc. Image capture eyewear with auto-send
KR20210019826A (ko) * 2019-08-13 2021-02-23 삼성전자주식회사 Ar 글래스 장치 및 그 동작 방법
US11481177B2 (en) 2020-06-30 2022-10-25 Snap Inc. Eyewear including multi-user, shared interactive experiences
KR20220138933A (ko) * 2021-04-07 2022-10-14 삼성전자주식회사 메타 렌즈를 포함하는 카메라 및 그 카메라를 포함하는 웨어러블 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10180572B2 (en) * 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8929589B2 (en) * 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
KR20130059827A (ko) 2011-11-29 2013-06-07 학교법인 한국산업기술대학 동공인식을 이용한 안경 카메라
KR20130067902A (ko) 2011-12-14 2013-06-25 한국전자통신연구원 안경형 이동 통신 단말 장치
KR20140072651A (ko) 2012-12-05 2014-06-13 엘지전자 주식회사 글래스타입 휴대용 단말기
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20140128489A (ko) 2013-04-25 2014-11-06 (주)세이엔 영상 인식과 터치 인터페이스를 이용한 스마트 안경 및 그의 제어 방법
KR20140139883A (ko) 2013-05-28 2014-12-08 엘지전자 주식회사 디스플레이 장치
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
KR20150033431A (ko) 2013-09-24 2015-04-01 엘지전자 주식회사 안경형 단말기 및 그 제어 방법
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10663729B2 (en) * 2016-09-15 2020-05-26 Daqri, Llc Peripheral device for head-mounted display
JP2018097160A (ja) * 2016-12-14 2018-06-21 セイコーエプソン株式会社 表示システム、表示装置、及び、表示装置の制御方法
US10564720B2 (en) * 2016-12-31 2020-02-18 Daqri, Llc User input validation and verification for augmented and mixed reality experiences
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10871934B2 (en) * 2017-05-04 2020-12-22 Microsoft Technology Licensing, Llc Virtual content displayed with shared anchor

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands

Also Published As

Publication number Publication date
KR20180004112A (ko) 2018-01-10
US20180150133A1 (en) 2018-05-31
WO2016182090A1 (ko) 2016-11-17
US10514755B2 (en) 2019-12-24

Similar Documents

Publication Publication Date Title
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
KR102458665B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
KR102184272B1 (ko) 글래스 타입 단말기 및 이의 제어방법
US9563272B2 (en) Gaze assisted object recognition
US9462633B2 (en) Mobile terminal operation controlled by proximity sensors and heart rate monitor
KR102400900B1 (ko) 시스템
US9965030B2 (en) Wearable glasses and method of displaying image via the wearable glasses
KR20160128119A (ko) 이동 단말기 및 이의 제어방법
CN110546601B (zh) 信息处理装置、信息处理方法和程序
WO2018150831A1 (ja) 情報処理装置、情報処理方法及び記録媒体
US20130342571A1 (en) Mixed reality system learned input and functions
KR20170067058A (ko) 이동 단말기 및 그 제어방법
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
KR102240639B1 (ko) 글래스 타입 단말기 및 그것의 제어 방법
US20220269333A1 (en) User interfaces and device settings based on user identification
US20160171780A1 (en) Computer device in form of wearable glasses and user interface thereof
KR20170046415A (ko) 이동 단말기 및 그 제어방법
JP2021096490A (ja) 情報処理装置、情報処理方法、およびプログラム
CN108369451B (zh) 信息处理装置、信息处理方法及计算机可读存储介质
KR20160125674A (ko) 이동 단말기 및 그 제어 방법
KR102249479B1 (ko) 단말기 및 그 동작 방법
US20240094882A1 (en) Gestures for selection refinement in a three-dimensional environment
US20230359422A1 (en) Techniques for using in-air hand gestures detected via a wrist-wearable device to operate a camera of another device, and wearable devices and systems for performing those techniques
KR20160001229A (ko) 이동단말기 및 그 제어방법
KR101695695B1 (ko) 이동단말기 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant