KR102222561B1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102222561B1
KR102222561B1 KR1020140043359A KR20140043359A KR102222561B1 KR 102222561 B1 KR102222561 B1 KR 102222561B1 KR 1020140043359 A KR1020140043359 A KR 1020140043359A KR 20140043359 A KR20140043359 A KR 20140043359A KR 102222561 B1 KR102222561 B1 KR 102222561B1
Authority
KR
South Korea
Prior art keywords
hand
user
gesture
recognized
function
Prior art date
Application number
KR1020140043359A
Other languages
English (en)
Other versions
KR20150112707A (ko
Inventor
강상규
박세원
안우석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP14002771.5A priority Critical patent/EP2924539B1/en
Priority to US14/457,951 priority patent/US9436290B2/en
Priority to CN201410487502.1A priority patent/CN104954829B/zh
Publication of KR20150112707A publication Critical patent/KR20150112707A/ko
Application granted granted Critical
Publication of KR102222561B1 publication Critical patent/KR102222561B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 사용자의 영상을 획득하는 단계와 획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하는 단계 및 인식된 사용자의 핸드 제스쳐가 기 저장된 제스쳐가 아닌 경우, 상기 디스플레이 장치의 기능을 수행시키기 위한 사용자의 선택을 가이드하는 기능 가이드를 표시하는 단계를 포함한다.

Description

디스플레이 장치 및 그의 동작 방법{DISPLAY DEVICE AND OPERATING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television) 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV 서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
또한, 최근의 디지털 TV는 사용자의 제스쳐를 인식하고, 인식된 사용자의 제스쳐에 대응하는 기능을 수행하는 서비스를 제공하고 있다.
그러나, 종래에는 사용자가 복잡하고 다양한 제스쳐 형태를 일일이 모두 기억하고 제스쳐 형태를 취해야만 제스쳐 명령을 전달할 수 있어서, 사용자의 불편을 초래하는 문제가 있었다.
본 발명은 유사 핸드 제스쳐들 및 유사 핸드 제스쳐들 각각에 대응하는 기능을 표시하는 기능 가이드를 제공하여 사용자가 복잡한 핸드 제스쳐 패턴을 기억할 필요 없이 해당 기능을 수행할 수 있도록 하는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.
본 발명은 기본 핸드 제스쳐들 및 기본 핸드 제스쳐들 각각에 대응하는 기능을 표시하는 기능 가이드를 제공하여 사용자가 복잡한 핸드 제스쳐 패턴을 기억할 필요 없이 해당 기능을 수행할 수 있도록 하는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.
본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 사용자의 영상을 획득하는 단계와 획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하는 단계 및 인식된 사용자의 핸드 제스쳐가 기 저장된 제스쳐가 아닌 경우, 상기 디스플레이 장치의 기능을 수행시키기 위한 사용자의 선택을 가이드하는 기능 가이드를 표시하는 단계를 포함한다.
상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 상기 인식된 사용자의 핸드 제스쳐와 유사한 제스쳐 패턴을 나타내는 복수의 유사 핸드 제스쳐들 및 상기 복수의 유사 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 상기 복수의 유사 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
상기 복수의 유사 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 상, 하, 좌, 우에 위치한다.
상기 기능 가이드는 상기 인식된 핸드 제스쳐와 상기 복수의 유사 핸드 제스쳐들 각각의 사이에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각에 대응하는 기능이 수행되도록 사용자의 선택을 유도하는 복수의 기능 유도자들을 더 포함한다.
상기 기능 가이드는 상기 복수의 유사 핸드 제스쳐들 각각과 상기 인식된 사용자의 핸드 제스쳐 간의 유사한 정도를 나타내는 복수의 유사도 지시자들을 더 포함한다.
상기 디스플레이 장치의 동작 방법은 상기 기능 가이드에 포함된 복수의 유사 핸드 제스쳐들 중 특정 유사 핸드 제스쳐를 선택하는 입력을 획득하는 단계 및 선택된 유사 핸드 제스쳐에 대응하는 상기 디스플레이 장치의 기능을 수행하는 단계를 더 포함한다.
상기 기능 가이드에 포함된 복수의 유사 핸드 제스쳐들 중 특정 유사 핸드 제스쳐를 선택하는 입력을 획득하는 단계는 사용자 손의 이동 방향을 감지하여 상기 특정 유사 핸드 제스쳐를 선택하는 입력을 획득하는 단계를 포함한다.
상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 기 지정되거나 사용자에 의해 기 설정된 기본 제스쳐 패턴을 나타내는 복수의 기본 핸드 제스쳐들 및 상기 복수의 기본 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 기본 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 상기 복수의 기본 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
상기 디스플레이 장치의 동작 방법은 상기 획득된 사용자의 영상으로부터 사용자의 얼굴을 인식하는 단계를 더 포함하고, 상기 기능 가이드를 표시하는 단계는 인식된 사용자의 핸드 제스쳐가 기 등록된 제스쳐가 아닌 경우, 인식된 사용자의 얼굴 및 인식된 사용자의 핸드 제스쳐의 위치 관계에 기초하여 상기 기능 가이드를 표시하는 단계를 포함한다.
상기 인식된 사용자의 핸드 제스쳐가 기 등록된 제스쳐가 아닌 경우, 인식된 사용자의 얼굴 및 인식된 사용자의 핸드 제스쳐의 위치 관계에 기초하여 상기 기능 가이드를 표시하는 단계는 상기 사용자의 얼굴을 기준으로 인식된 사용자의 핸드 제스쳐가 우측 또는 좌측에 위치하는지를 검출하고, 검출 결과에 기초하여 상기 기능 가이드를 표시하는 단계를 포함하고, 상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 상기 인식된 사용자의 핸드 제스쳐와 유사한 제스쳐 패턴을 나타내는 복수의 유사 핸드 제스쳐들과 상기 복수의 유사 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 상기 복수의 유사 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
상기 인식된 사용자의 핸드 제스쳐가 기 등록된 제스쳐가 아닌 경우, 인식된 사용자의 얼굴 및 인식된 사용자의 핸드 제스쳐의 위치 관계에 기초하여 상기 기능 가이드를 표시하는 단계는 상기 사용자의 얼굴을 기준으로 인식된 사용자의 핸드 제스쳐가 우측 또는 좌측에 위치하는지를 검출하고, 검출 결과에 기초하여 상기 기능 가이드를 표시하는 단계를 포함하고, 상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 기본 제스쳐 패턴을 나타내는 복수의 기본 핸드 제스쳐들 및 상기 복수의 기본 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 기본 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 복수의 기본 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
본 발명의 실시 예에 따른 디스플레이 장치는 디스플레이부와 복수의 제스쳐 패턴을 저장하는 저장부와 사용자의 영상을 획득하는 카메라 및 획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하고, 인식된 사용자의 핸드 제스쳐가 상기 저장부에 기 저장된 제스쳐가 아닌 경우, 상기 디스플레이 장치의 기능을 수행시키기 위한 사용자의 선택을 가이드하는 기능 가이드를 상기 디스플레이부를 통해 표시하도록 제어하는 제어부를 포함한다.
상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 상기 인식된 사용자의 핸드 제스쳐와 유사한 제스쳐 패턴을 나타내는 복수의 유사 핸드 제스쳐들 및 상기 복수의 유사 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 상기 복수의 유사 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
상기 기능 가이드는 상기 인식된 핸드 제스쳐와 상기 복수의 유사 핸드 제스쳐들 각각의 사이에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각에 대응하는 기능이 수행되도록 사용자의 선택을 유도하는 복수의 기능 유도자들을 더 포함한다.
상기 기능 가이드는 상기 복수의 유사 핸드 제스쳐들 각각과 상기 인식된 사용자의 핸드 제스쳐 간의 유사한 정도를 나타내는 복수의 유사도 지시자들을 더 포함한다.
상기 제어부는 상기 기능 가이드에 포함된 복수의 유사 핸드 제스쳐들 중 특정 유사 핸드 제스쳐를 선택하는 입력을 획득하고, 선택된 유사 핸드 제스쳐에 대응하는 상기 디스플레이 장치의 기능을 수행한다.
상기 제어부는 사용자 손의 이동 방향을 감지하여 상기 특정 유사 핸드 제스쳐를 선택하는 입력을 획득한다.
상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 기 지정되거나 사용자에 의해 기 설정된 기본 제스쳐 패턴을 나타내는 복수의 기본 핸드 제스쳐들 및 상기 복수의 기본 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 기본 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 상기 복수의 기본 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
상기 제어부는 상기 획득된 사용자의 영상으로부터 사용자의 얼굴을 인식하고, 인식된 사용자의 핸드 제스쳐가 기 저장된 제스쳐가 아닌 경우, 인식된 사용자의 얼굴 및 인식된 사용자의 핸드 제스쳐의 위치 관계에 기초하여 상기 기능 가이드를 표시한다.
상기 제어부는 상기 사용자의 얼굴을 기준으로 인식된 사용자의 핸드 제스쳐가 우측 또는 좌측에 위치하는지를 검출하고,검출 결과에 기초하여 상기 기능 가이드를 표시하며, 상기 기능 가이드는 상기 인식된 사용자의 핸드 제스쳐와 상기 인식된 사용자의 핸드 제스쳐와 유사한 제스쳐 패턴을 나타내는 복수의 유사 핸드 제스쳐들과 상기 복수의 유사 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하거나, 상기 인식된 사용자의 핸드 제스쳐와 기본 제스쳐 패턴을 나타내는 복수의 기본 핸드 제스쳐들 및 상기 복수의 기본 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 기본 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 포함하고, 상기 복수의 유사 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치하며, 상기 복수의 기본 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치한다.
본 발명의 다양한 실시 예에 따르면, 유사 제스쳐들 및 유사 제스쳐들 각각에 대응하는 기능을 표시하는 기능 가이드를 제공함에 따라 사용자는 복잡한 핸드 제스쳐 패턴을 기억할 필요가 없게 되므로, 사용자의 편의성이 향상될 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 사용자의 핸드 제스쳐의 인식에 따라 기본 핸드 제스쳐 패턴을 표시하는 기능 가이드를 제공함에 따라 사용자는 복잡한 핸드 제스쳐 패턴을 기억할 필요가 없게 되므로, 사용자의 편의성이 향상될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2를 참조하여, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 동작 방법을 설명한다.
도 3은 본 발명의 실시 예에 따라 사용자의 핸드 제스쳐 및 그에 대응하는 기능을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따라 새로운 사용자를 등록하는 과정을 설명하기 위한 도면이다.
도 5 내지 도 9는 본 발명의 일 실시 예에 따라 인식된 제스쳐가 기 등록된 제스쳐가 아닌 경우, 기능 가이드를 표시하는 예를 설명하는 도면이다.
도 10은 본 발명의 또 다른 실시 예에 따라 표시되는 기능 가이드의 실시 예이다.
도 11 내지 도 16은 본 발명의 실시 예에 따라 인식된 핸드 제스쳐가 나타내는 손이 어느 쪽 손인지에 따라 기능 가이드가 달라지는 실시 예를 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시 예에 따라 인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 표시되는 기능 가이드의 실시 예이다.
도 18은 본 발명의 또 다른 실시 예에 따라 인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 표시되는 기능 가이드의 실시 예이다.
도 19 내지 도 26은 본 발명의 일 실시 예에 따라 기능 가이드에 표시된 특정 제스쳐의 선택에 대응하여 해당 기능을 수행하는 과정을 설명하기 위한 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 영상 획득부(171), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다. 한편, 방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐트 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐트 제공자 또는 네트워크 운영자가 제공하는 컨텐트 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐트 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐트 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐트 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐트 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐트, 또는 수신된 방송 컨텐트, 외부로 부터 입력되는 외부 입력 컨텐트가 재생되도록 제어할 수 있으며, 상기 컨텐트는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
영상 획득부(171)는 사용자의 영상을 획득할 수 있다. 영상 획득부(171)는 카메라를 포함할 수 있다. 영상 획득부(171)는 디지털 카메라, CMOS 카메라, CCD(Charged Coupled Device) 카메라, TOF 카메라 등 영상 촬영이 가능한 다양한 장치나 피사체를 감지할 수 있는 각종 센서 장치 등을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 카메라는 사용자의 얼굴, 사용자의 손 모양, 동작 등 손의 제스쳐(gesture)와 관련된 영상을 촬영하고, 제어부(170)는 촬영된 영상을 통해 사용자의 얼굴 및 사용자의 손 동작을 인식할 수 있다.
제어부(170)는 촬영된 사용자의 영상으로부터 사용자의 얼굴 영역 및 사용자의 손 영역을 구분하며, 그를 위해 사용자의 얼굴 색상, 사용자 손의 색상과 사용자의 얼굴 및 손 이외의 배경 색상을 구분하여 사용자의 얼굴 영역 및 사용자의 손 영역을 추출할 수 있다. 또한, 제어부(170)는 추출된 사용자의 얼굴 영역 및 사용자의 손 영역을 이용하여, 사용자의 얼굴, 사용자의 손 동작, 예를 들어 손의 형상 또는 움직임 등을 인식할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐트들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐트를 재생하는 컨텐트 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐트 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2를 참조하여, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 동작 방법을 설명한다.
영상 획득부(171)는 사용자의 영상을 획득한다(S101).
일 실시 예에서 영상 획득부(171)는 카메라를 포함할 수 있다. 카메라는 디스플레이 장치(100)의 전면을 촬영하여 디스플레이 장치(100)의 전면에 위치한 사용자의 영상을 획득할 수 있다. 카메라는 디스플레이 장치(100)의 상단에 배치되어 사용자의 영상을 촬영할 수 있으나, 이에 한정될 필요는 없고, 디스플레이 장치(100)의 좌, 우, 하단 중 어느 하나에 배치될 수 있다. 또한, 카메라는 디스플레이 장치(100)에 포함되지 않고, 별도의 구성요소로 존재할 수 있다.
제어부(170)는 획득한 사용자의 영상으로부터 사용자의 얼굴 및 사용자의 제스쳐를 인식한다(S103).
제어부(170)는 인식된 사용자의 얼굴 및 사용자의 제스쳐를 통해 사용자를 인식할 수 있다.
제어부(170)는 획득된 사용자의 영상으로부터 사용자의 얼굴 영역 및 사용자의 손 영역을 추출할 수 있다. 제어부(170)는 사용자의 얼굴 색상, 사용자 손의 색상과 사용자의 얼굴 및 손 이외의 배경 색상을 구분하여 사용자의 얼굴 영역 및 사용자의 손 영역을 추출할 수 있다. 또한, 제어부(170)는 추출된 사용자의 얼굴 영역 및 사용자의 손 영역을 이용하여, 사용자의 얼굴, 사용자의 손 동작, 예를 들어 손의 형상 또는 움직임 등을 인식할 수 있다.
사용자의 제스쳐는 사용자의 손 영역에 대응하는 핸드 제스쳐일 수 있다. 복수의 핸드 제스쳐들 각각은 디스플레이 장치(100)의 기능들 각각에 대응할 수 있다. 즉, 제어부(170)는 복수의 핸드 제스쳐들 중 어느 하나의 핸드 제스쳐를 인식할 수 있고, 인식된 핸드 제스쳐에 대응하는 기능을 수행할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시 예에 따라 사용자의 핸드 제스쳐 및 그에 대응하는 기능을 설명하기 위한 도면이다.
도 3을 참조하면, 복수의 핸드 제스쳐들 및 복수의 핸드 제스쳐들 각각에 대응하는 기능을 설명하고 있다.
엄지와 검지로 원을 만드는 동작을 취하는 제1 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 복사(copy)하는 기능에 대응할 수 있다. 여기서, 미디어 컨텐트는 동영상, 사진, 오디오 파일, 어플리케이션 중 어느 하나일 수 있으나, 이에 한정될 필요는 없다.
검지만을 펴는 동작을 취하는 제2 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 재생(play)하는 기능에 대응할 수 있다.
검지와 약지를 펴는 동작을 취하는 제3 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 삭제(delete)하는 기능에 대응할 수 있다.
약지만을 펴는 동작을 취하는 제4 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 이동(move)하는 기능에 대응할 수 있다.
도 3에 도시된 핸드 제스쳐들 및 핸드 제스쳐들 각각에 대응하는 기능은 예시에 불과하다. 도 3에 도시된 핸드 제스쳐들 및 핸드 제스쳐들 각각에 대응하는 기능은 디폴트로 설정될 수도 있고, 사용자의 설정에 따라 달라질 수도 있다.
도 3에 도시된 핸드 제스쳐들 이외의 핸드 제스쳐에 대한 설명은 해당 도면에서 설명한다.
다시 도 2를 설명한다.
제어부(170)는 인식된 사용자의 얼굴을 통해 사용자가 등록된 사용자인지 확인한다(S105).
일 실시 예에서 제어부(170)는 인식된 사용자의 얼굴을 저장부(140)에 기 저장된 복수의 사용자 얼굴들과 비교하여 인식된 사용자가 등록된 사용자인지 확인할 수 있다. 저장부(140)는 기 등록된 사용자의 얼굴들 각각에 복수의 사용자들 각각의 정보를 대응시켜 저장할 수 있다.
사용자 정보는 디스플레이 장치(100)에 로그인 하기 위해 사용되는 사용자의 아이디, 사용자의 패스워드를 포함할 수 있다. 제어부(170)는 저장부(140)에 저장된 복수의 사용자 얼굴들과 인식된 사용자의 얼굴을 비교하여 인식된 사용자의 얼굴에 대응하는 사용자가 등록된 사용자인지를 확인할 수 있다.
일 실시 예에서 사용자의 등록 여부는 디스플레이 장치(100)가 제공하는 서비스를 받을 수 있는지 여부와 관련될 수 있다. 즉, 등록된 사용자는 디스플레이 장치(100)가 제공하는 서비스를 받을 수 있는 사용자이고, 등록되지 않은 사용자는 디스플레이 장치(100)가 제공하는 서비스를 받을 수 없는 사용자일 수 있다. 여기서, 디스플레이 장치(100)가 제공하는 서비스는 사용자의 핸드 제스쳐를 인식하여 인식한 핸드 제스쳐에 대응하는 기능을 제공하는 서비스일 수 있으나, 이는 예시에 불과하다.
제어부(170)는 사용자가 등록된 사용자로 확인되지 않은 경우, 새로운 사용자를 등록하기 위한 등록 창을 디스플레이부(180)를 통해 표시한다(S107).
제어부(170)는 인식된 사용자의 얼굴와 저장부(140)에 저장된 복수의 사용자 얼굴들을 비교할 수 있다. 비교 결과, 제어부(170)는 인식된 사용자의 얼굴이 복수의 사용자 얼굴들에 매칭되지 않는 경우, 인식된 사용자가 등록된 사용자가 아닌 것으로 판단할 수 있다. 이 경우, 제어부(170)는 인식된 사용자를 새로운 사용자로 등록하기 위한 등록 창을 디스플레이부(180)를 통해 표시한다.
이에 대해서는 도 4를 통해 설명한다.
도 4는 본 발명의 실시 예에 따라 새로운 사용자를 등록하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 획득한 영상을 통해 인식된 사용자가 등록된 사용자로 확인되지 않는 경우, 제어부(170)는 디스플레이부(180)를 통해 새로운 사용자의 등록을 문의하는 등록 창(10)을 표시할 수 있다. 사용자가 <예> 버튼을 선택하는 경우, 제어부(170)는 사용자의 얼굴을 인식하여 인식된 사용자의 얼굴을 새로운 사용자로 등록하는 과정을 거칠 수 있다.
다시 도 2를 설명한다.
한편, 제어부(170)는 사용자가 등록된 사용자로 확인된 경우, 인식된 사용자의 제스쳐가 기 등록된 제스쳐인지를 확인한다(S109).
일 실시 예에서 제어부(170)는 인식된 사용자의 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들을 비교하여 인식된 제스쳐가 기 등록된 제스쳐인지 확인할 수 있다. 구체적으로, 제어부(170)는 인식된 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들 각각의 유사도를 측정하여 측정된 유사도가 기준 유사도 이상인 경우, 인식된 제스쳐를 제스쳐에 대응하는 제스쳐로 판단할 수 있다. 반대로, 제어부(170)는 인식된 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들 각각의 유사도를 측정하여 측정된 유사도가 기준 유사도 미만인 경우, 인식된 제스쳐를 기 등록된 제스쳐가 아닌 것으로 확인할 수 있다.
여기서, 유사도는 인식된 제스쳐와 기 등록된 제스쳐 간의 유사한 정도를 나타낼 수 있다. 또한, 기준 유사도는 인식된 제스쳐를 기 등록된 제스쳐로 판단하기 위해 필요한 최소한의 유사도일 수 있다. 기준 유사도는 디폴트로 설정되거나, 사용자의 설정에 따라 달라질 수 있다. 기준 유사도는 70일 수 있으나, 이는 예시에 불과한 수치이다.
제어부(170)는 인식된 사용자의 제스쳐가 기 등록된 제스쳐가 아닌 것으로 확인된 경우, 디스플레이부(180)를 통해 기능 가이드를 표시한다(S111).
제어부(170)는 인식된 사용자의 제스쳐가 기 등록된 제스쳐가 아닌 경우, 디스플레이 장치(100)의 기능을 수행시키기 위한 사용자의 선택을 가이드할 수 있는 기능 가이드를 표시할 수 있다.
일 실시 예에서 제어부(170)는 인식된 사용자의 제스쳐 및 인식된 사용자의 제스쳐와 유사한 제스쳐 패턴을 나타내는 하나 이상의 유사 제스쳐들을 포함하는 기능 가이드를 디스플레이부(180)를 통해 제공할 수 있다. 구체적으로, 제어부(170)는 인식된 제스쳐가 기 등록된 제스쳐가 아닌 경우, 인식된 제스쳐와 복수의 유사 제스쳐들 간의 유사도가 기준 유사도 보다 작은 유사 제스쳐들을 기능 가이드 상에 표시할 수 있다.
이에 대해서는 도 5 내지 도 9를 참조하여 상세히 설명한다.
도 5 내지 도 9는 본 발명의 일 실시 예에 따라 인식된 제스쳐가 기 등록된 제스쳐가 아닌 경우, 기능 가이드를 표시하는 예를 설명하는 도면이다.
특히, 도 5는 본 발명의 실시 예에 따라 디스플레이 장치가 사용자의 핸드 제스쳐를 인식하는 과정을 설명하기 위한 도면이고, 도 6 내지 도 9는 본 발명의 실시 예에 따라 본 발명의 일 실시 예에 따라 인식된 제스쳐가 기 등록된 제스쳐가 아닌 경우, 표시되는 기능 가이드의 다양한 실시 예이다.
이하에서, 인식된 사용자의 핸드 제스쳐(310)는 주먹을 쥐고 있는 오른손 동작임을 가정한다.
먼저, 도 5를 참조하면, 디스플레이부(180)는 미디어 컨텐트 목록(210)을 표시하고 있고, 사용자(K)는 디스플레이 장치(100)의 전면에 위치하여 특정 핸드 제스쳐를 취하고 있다. 영상 획득부(171)는 디스플레이 장치(100)의 전면에 위치한 사용자의 영상을 획득할 수 있고, 제어부(170)는 획득한 사용자의 영상으로부터 사용자의 얼굴 및 사용자의 핸드 제스쳐를 인식할 수 있다.
만약, 인식된 사용자의 핸드 제스쳐가 기 등록된 제스쳐가 아닌 것으로 확인된 경우, 제어부(170)는 도 6에 도시된 바와 같은 기능 가이드(300)를 표시한다.
제어부(170)는 미디어 컨텐트 목록(210)의 주위에 기능 가이드(300)를 표시할 수 있으나, 이에 한정될 필요는 없고, 미디어 컨텐트 목록(210) 상에 백그라운드 형식으로 기능 가이드(300)를 표시할 수도 있다.
기능 가이드(300)는 인식된 사용자의 핸드 제스쳐(310) 및 인식된 사용자의핸드 제스쳐(310) 주위에 표시된 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d)을 포함할 수 있다. 즉, 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d)은 영상 획득부(171)를 통해 촬영된 핸드 제스쳐(310)를 중심으로 촬영된 핸드 제스쳐(310) 주위에 배치될 수 있다. 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각과 인식된 핸드 제스쳐(310)간의 유사도는 기준 유사도 보다 작으나, 기준 유사도에 가까운 값을 가질 수 있다. 본 발명의 실시 예에서는 복수의 유사 제스쳐들의 개수가 4개인 것을 가정하여 설명하나, 이는 예시에 불과하다.
복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각의 일측에는 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각의 기능을 설명하는 텍스트가 표시될 수 있다.
예를 들어, 엄지와 검지로 원을 만드는 동작인 제1 유사 핸드 제스쳐(320a)의 일측에는 미디어 컨텐트를 복사하는 기능을 나타내는 <copy>라는 텍스트가 표시될 수 있다. 또한, 검지만을 펴는 동작인 제2 유사 핸드 제스쳐(320b)의 일측에는 미디어 컨텐트를 재생하는 기능을 나타내는 <play>라는 텍스트가 표시될 수 있다. 또한, 검지와 약지를 펴는 동작인 제3 유사 핸드 제스쳐(320c)의 일측에는 미디어 컨텐트를 삭제하는 기능을 나타내는 <delete>라는 텍스트가 표시될 수 있다. 또한, 약지만을 펴는 동작인 제4 유사 핸드 제스쳐(320d)의 일측에는 미디어 컨텐트를 이동하는 기능을 나타내는 <move>라는 텍스트가 표시될 수 있다.
기능 가이드(300)가 표시된 후, 사용자의 핸드 제스쳐의 이동이 감지되면, 디스플레이 장치(100)는 사용자의 핸드 제스쳐가 이동하는 이동 방향을 인식하여 이동 방향에 대응하는 기능을 실행할 수 있다. 예를 들어, 사용자의 핸드 제스쳐가 상측 방향으로 이동된 경우, 디스플레이 장치(100)는 상측 방향에 위치한 제1 유사 핸드 제스쳐(320a)에 대응하는 기능인 미디어 컨텐트의 복사 기능을 수행할 수 있다. 이에 대해서는 상세히 후술한다.
다음으로 도 7을 설명한다.
도 7에 도시된 기능 가이드(300)는 도 6에 도시된 기능 가이드(300)에 비해 복수의 기능 유도자들(330a, 330b, 330c, 330d)을 더 포함할 수 있다.
즉, 기능 가이드(300)는 인식된 핸드 제스쳐(310) 주위에 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각에 대응하는 기능이 수행되도록 사용자 손의 이동(사용자의 선택)을 유도하는 복수의 기능 유도자들(330a, 330b, 330c, 330d)을 더 포함할 수 있다. 복수의 기능 유도자들(330a, 330b, 330c, 330d) 각각은 화살표 형상을 가질 수 있으나, 이는 예시에 불과하다. 복수의 기능 유도자들(330a, 330b, 330c, 330d) 각각은 인식된 핸드 제스쳐(310)와 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각의 사이에 위치될 수 있다.
화살표 형상을 갖는 복수의 기능 유도자들(330a, 330b, 330c, 330d) 각각은 사용자의 핸드 제스쳐를 특정 방향으로 유도할 수 있다. 기능 가이드(300)가 표시된 후, 사용자의 핸드 제스쳐가 복수의 기능 유도자들(330a, 330b, 330c, 330d)이 나타내는 방향 중 어느 하나의 방향으로 이동됨이 감지되면, 제어부(170)는 사용자의 핸드 제스쳐가 이동한 방향에 대응하는 기능을 실행할 수 있다. 예를 들어, 사용자의 핸드 제스쳐가 상측 방향으로 이동된 경우, 디스플레이 장치(100)는 상측 방향에 위치한 제1 유사 핸드 제스쳐(320a)에 대응하는 기능인 미디어 컨텐트의 복사 기능을 수행할 수 있다.
이에 따라 사용자는 등록된 제스쳐 패턴으로 핸드 제스쳐를 정확히 표현하지 않더라도 손쉽고 빠르게 디스플레이 장치(100)의 기능을 실행시킬 수 있다.
또한, 사용자는 복잡한 제스쳐 패턴을 정확히 기억하지 않더라도 사용자가 입력한 핸드 제스쳐와 유사한 복수의 유사 핸드 제스쳐들을 후보 리스트로 제공하므로, 사용자는 쉽게 디스플레이 장치(100)의 기능을 실행시킬 수 있다.
다음으로 도 8을 설명한다.
도 8에 도시된 기능 가이드(300)는 도 7에 도시된 기능 가이드(300)에 비해 복수의 유사도 지시자들(340a, 340b, 340c, 340d)을 더 포함할 수 있다.
즉, 기능 가이드(300)는 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각과 인식된 사용자의 핸드 제스쳐(310)간의 유사한 정도를 나타내는 복수의 유사도 지시자들(340a, 340b, 340c, 340d)을 더 포함할 수 있다.
복수의 유사도 지시자들(340a, 340b, 340c, 340d) 각각은 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각과 인식된 사용자의 핸드 제스쳐(310)간의 유사한 정도를 유사도 가이드 바(341) 및 기준 지시자(343)를 통해 나타낼 수 있다. 기준 지시자(343)는 기 설정된 기준 유사도에 대응될 수 있다.
복수의 유사도 지시자들(340a, 340b, 340c, 340d) 각각은 기준 지시자(343)를 기준으로 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각과 인식된 사용자의 핸드 제스쳐(310)가 어느 정도 유사한지 유사 가이드 바(341)를 통해 나타낼 수 있다.
도 8에 도시된 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각과 인식된 핸드 제스쳐(310) 간의 유사도는 기준 유사도 미만이므로, 각 유사 가이드 바에 대응하는 유사도는 기준 유사도를 넘지 않도록 표시될 수 있다.
사용자는 복수의 유사도 지시자들(340a, 340b, 340c, 340d)이 나타내는 유사도를 통해 가장 유사도가 높은 유사 핸드 제스쳐를 인식할 수 있고, 추후 핸드 제스쳐 동작을 수행하는데 참고할 수 있다.
다음으로, 도 9를 설명한다.
도 9에 도시된 기능 가이드(300)는 도 6에 도시된 기능 가이드(300)에 비해 복수의 유사도 지시자들(340a, 340b, 340c, 340d)만을 더 포함할 수 있다.
즉, 기능 가이드(300)는 복수의 유사 핸드 제스쳐들(320a, 320b, 320c, 320d) 각각과 인식된 사용자의 핸드 제스쳐(310)간의 유사한 정도를 나타내는 복수의 유사도 지시자들(340a, 340b, 340c, 340d)을 포함하되, 복수의 기능 유도자들(330a, 330b, 330c, 330d)을 포함하지 않을 수 있다. 복수의 유사도 지시자들(340a, 340b, 340c, 340d)에 대한 설명은 도 8에 설명한 내용과 같다.
또 다른 실시 예에서 제어부(170)는 사용자의 제스쳐가 기 등록된 제스쳐가 아닌 것으로 확인된 경우, 인식된 사용자의 제스쳐 및 기 설정된 하나 이상의 기본 제스쳐들을 포함하는 기능 가이드를 디스플레이부(180)를 통해 제공할 수 있다. 여기서, 기 설정된 하나 이상의 기본 제스쳐들은 인식된 사용자의 제스쳐와 유사한 제스쳐 패턴이 아닐 수 있다. 기본 제스쳐들은 디폴트로 설정되어 있거나, 사용자에 의해 기 설정된 제스쳐들일 수 있다.이에 대해서는 도 10을 참조하여 설명한다.
도 10은 본 발명의 또 다른 실시 예에 따라 표시되는 기능 가이드의 실시 예이다.
인식된 사용자의 핸드 제스쳐가 기 등록된 제스쳐가 아닌 것으로 확인된 경우, 제어부(170)는 인식된 사용자의 제스쳐 및 기 설정된 하나 이상의 기본 핸드 제스쳐들을 포함하는 기능 가이드를 디스플레이부(180)를 통해 표시할 수 있다. 여기서, 기 설정된 하나 이상의 기본 핸드 제스쳐들은 인식된 사용자의 핸드 제스쳐와 유사한 제스쳐 패턴이 아닐 수 있다.
도 10을 참고하면, 기능 가이드(400)는 인식된 사용자의 핸드 제스쳐(410), 복수의 기본 핸드 제스쳐들(420a, 420b, 420c, 420d) 및 복수의 기능 유도자들(430a, 430b, 430c, 440d)를 포함할 수 있다. 기능 가이드(400)에 표시된 복수의 기본 핸드 제스쳐들(420a, 420b, 420c, 420d) 각각은 인식된 사용자의 핸드 제스쳐(410)와의 유사도에 관계없이 기 설정된 핸드 제스쳐들 일 수 있다. 따라서, 도 10의 실시 예에 따른 기능 가이드(400)는 복수의 유사도 지시자들을 포함하지 않을 수 있다.
도 10에 도시된 기능 가이드(400)는 왼손의 손가락들을 모두 펴는 제1 기본 핸드 제스쳐(420a), 왼손의 엄지만을 펴는 제2 기본 핸드 제스쳐(420b), 왼손의 중지만을 펴는 제3 기본 핸드 제스쳐(420c) 및 왼손의 검지와 중지만을 펴는 제4 기본 핸드 제스쳐(420d)를 포함할 수 있다.
복수의 기본 핸드 제스쳐들(420a, 420b, 420c, 420d) 각각의 일측에는 해당 기본 핸드 제스쳐의 기능을 나타내는 텍스트가 표시될 수 있다. 즉, 제1 기본 핸드 제스쳐(410a)는 미디어 컨텐트의 붙이기(paste)를 나타내는 기능에 대응될 수 있고, 제2 기본 핸드 제스쳐(410b)는 미디어 컨텐트의 선택(select)에 대응하는 기능에 대응될 수 있고, 제3 기본 핸드 제스쳐(410c)는 디스플레이 장치(100)의 홈 화면으로 돌아가는 기능(home)에 대응될 수 있고, 제4 기본 핸드 제스쳐(410d)는 미디어 컨텐트의 선택을 취소(cancel)하는 기능에 대응될 수 있다.
다시 도 2를 설명한다.
또 다른 실시 예에서 제어부(170)는 인식된 사용자의 핸드 제스쳐에 대응하는 사용자의 손이 왼손인지 오른손인지에 따라 기능 가이드를 달리 제공할 수 있다. 제어부(170)는 인식된 사용자가 등록된 사용자이고(S105), 인식된 제스쳐가 기 등록된 제스쳐가 아닌 경우(S109), 사용자의 얼굴과 사용자의 핸드 제스쳐의 위치 관계에 기초하여 기능 가이드를 표시할 수 있다.
구체적으로, 제어부(170)는 사용자의 얼굴을 기준으로 사용자의 핸드 제스쳐가 위치한 방향에 따라 기능 가이드를 달리 제공할 수 있다. 더 구체적으로, 제어부(170)는 사용자의 얼굴을 기준으로 사용자의 핸드 제스쳐가 좌측에 위치한 것으로 확인된 경우, 사용자의 핸드 제스쳐에 대응하는 손이 왼손인 것으로 판단할 수 있고, 사용자의 얼굴을 기준으로 사용자의 핸드 제스쳐가 우측에 위치한 것으로 확인된 경우, 사용자의 핸드 제스쳐에 대응하는 손이 오른손인 것으로 판단할 수 있다.
제어부(170)는 확인된 사용자의 손의 방향에 따라 기능 가이드를 달리 제공할 수 있다. 일 실시 예에서 제어부(170)는 확인된 사용자의 손이 오른손인 경우, 인식된 핸드 제스쳐와 유사한 제스쳐 패턴을 제공할 수 있고, 확인된 사용자의 손이 왼손인 경우, 기본 제스쳐 패턴을 제공할 수 있다.
이에 대해서는 도 11 내지 도 14를 참조하여 설명한다.
도 11 내지 도 14는 본 발명의 실시 예에 따라 인식된 핸드 제스쳐가 나타내는 손이 어느 쪽 손인지에 따라 기능 가이드가 달라지는 실시 예를 설명하기 위한 도면이다.
특히, 도 11 및 도 12는 본 발명의 실시 예에 따라 인식된 핸드 제스쳐가 나타내는 손이 오른손인 경우, 표시되는 기능 가이드의 실시 예이고, 도 13 및 도 14는 본 발명의 실시 예에 따라 인식된 핸드 제스쳐가 나타내는 손이 왼손인 경우, 표시되는 기능 가이드의 실시 예이다.
먼저, 도 11 및 12를 설명한다.
도 11을 참조하면, 제어부(170)는 영상 획득부(171)를 통해 획득한 사용자의 얼굴과 사용자의 핸드 제스쳐를 인식할 수 있고, 사용자의 얼굴을 기준으로 사용자의 핸드 제스쳐의 위치를 확인할 수 있다. 확인된 핸드 제스쳐의 위치에 따라 핸드 제스쳐에 대응하는 손이 오른손으로 확인된 경우, 제어부(170)는 도 12에 도시된 바와 같이 오른손에 대응하는 기능 가이드(300)를 표시할 수 있다. 도 12에 도시된 기능 가이드(300)는 도 8에서 설명한 기능 가이드(300)와 동일하다. 즉, 인식된 사용자의 핸드 제스쳐에 대응하는 손이 오른손으로 확인된 경우, 제어부(170)는 오른손에 대한 핸드 제스쳐와 유사한 제스쳐 패턴을 제공하는 기능 가이드(300)를 표시할 수 있다. 또한, 제어부(170)는 인식된 사용자의 핸드 제스쳐에 대응하는 손이 오른손인 경우, 도 6,7 및 도 9에 대응하는 기능 가이드(300)를 표시할 수도 있다.
다음으로 도 13 및 14를 설명한다.
도 13을 참조하면, 제어부(170)는 영상 획득부(171)를 통해 획득한 사용자의 얼굴과 사용자의 핸드 제스쳐를 인식할 수 있고, 확인된 핸드 제스쳐의 위치에 따라 사용자의 얼굴을 기준으로 사용자의 핸드 제스쳐의 위치를 확인할 수 있다. 인식된 사용자의 핸드 제스쳐에 대응하는 손이 왼손으로 확인된 경우, 제어부(170)는 도 14에 도시된 바와 같이 복수의 기본 핸드 제스쳐들을 포함하는 기능 가이드(400)를 디스플레이부(180)를 통해 표시할 수 있다.
도 14에 도시된 기능 가이드(400)는 도 10에서 설명한 기능 가이드(400)와 동일하다. 즉, 인식된 사용자의 핸드 제스쳐에 대응하는 손이 왼손으로 확인된 경우, 제어부(170)는 왼손에 대한 핸드 제스쳐와 유사한 제스쳐 패턴을 아닌 기 설정된 기본 제스쳐 패턴을 포함하는 기능 가이드(400)를 제공할 수 있다.
본 발명의 또 다른 실시 예에서 도 11 내지 도 14에서 설명한 것과는 달리,제어부(170)는 확인된 사용자의 손이 오른손인 경우, 기본 제스쳐 패턴을 포함하는 기능 가이드를 제공할 수 있고, 확인된 사용자의 손이 왼손인 경우, 왼손에 대한 핸드 제스쳐와 유사한 제스쳐 패턴을 제공할 수 있다.
이에 대해서는 도 15 및 도 16을 참조하여 설명한다.
도 15를 참조하면, 제어부(170)는 인식된 사용자의 핸드 제스쳐에 대응하는 손이 왼손인 경우, 왼손에 대응하는 기능 가이드(300)를 표시할 수 있다.
도 15에 도시된 기능 가이드(300)는 도 12와 비교하여 손의 방향만이 바뀌었을 뿐, 나머지 내용은 동일할 수 있다. 즉, 왼손에 대응하는 기능 가이드(300)는 인식된 왼손에 대응하는 핸드 제스쳐(370), 복수의 유사 핸드 제스쳐들(350a, 350b, 350c, 350d), 복수의 기능 유도자들(330a, 330b, 330c, 330d) 및 복수의 유사도 지시자들(360a, 360b, 360c, 360d)을 포함할 수 있다.
다음으로 도 16을 설명한다.
도 16을 참조하면, 제어부(170)는 인식된 핸드 제스쳐에 대응하는 손이 오른손인 경우, 기본 핸드 제스쳐 패턴을 포함하는 기능 가이드(400)를 표시할 수 있다. 도 16에 도시된 기능 가이드(400)는 도 14에 도시된 기능 가이드(400)와 손의 방향만 바뀌었을 뿐 나머지 내용은 동일하다. 다만, 이에 한정될 필요는 없고, 제어부(170)는 인식된 핸드 제스쳐에 대응하는 손이 오른손인 경우, 도 14에 도시된 기능 가이드(400)와 동일한 가이드를 표시할 수도 있다.
다시 도 2를 설명한다.
또 다른 실시 예에서 제어부(170)는 사용자의 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 양손에 대응하는 기능 가이드(300)를 표시할 수 있다. 이에 대해서는 도 17 및 도 18을 참조하여 설명한다.
도 17은 본 발명의 일 실시 예에 따라 인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 표시되는 기능 가이드의 실시 예이다.
도 17을 참조하면, 제어부(170)는 인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 양손에 대응하는 기능 가이드(500)를 표시할 수 있다.
즉, 기능 가이드(500)는 인식된 양손에 대한 핸드 제스쳐(510), 복수의 유사 핸드 제스쳐들(520a, 520b, 520c, 520d)을 포함할 수 있다. 복수의 유사 핸드 제스쳐들(520a, 520b, 520c, 520d) 각각은 인식된 양손에 대한 핸드 제스쳐(510)를 중심으로, 핸드 제스쳐(510)의 상, 하, 좌, 우에 배치될 수 있다.
복수의 유사 핸드 제스쳐(520a, 520b, 520c, 520d) 각각의 일측에는 복수의 유사 핸드 제스쳐들(520a, 520b, 520c, 520d) 각각의 기능을 설명하는 텍스트가 표시될 수 있다.
예를 들어, 양손 각각으로 엄지와 검지로 원을 만드는 동작인 제5 유사 핸드 제스쳐(520a)의 일측에는 미디어 컨텐트의 표시를 확대하는 기능을 나타내는 <zoom-in>이라는 텍스트가 표시될 수 있다. 또한, 양손 각각으로 검지만을 펴는 동작인 제6 유사 핸드 제스쳐(520b)의 일측에는 미디어 컨텐트의 표시를 축소하는 기능을 나타내는 <zoom-out>이라는 텍스트가 표시될 수 있다. 또한, 양손 각각으로 검지와 약지를 펴는 동작인 제7 유사 핸드 제스쳐(520c)의 일측에는 이전의 컨텐트 목록을 표시하는 기능을 나타내는 <page-up>이라는 텍스트가 표시될 수 있다. 또한, 양손 각각으로 약지만을 펴는 동작인 제8 유사 핸드 제스쳐(520d)의 일측에는 다음의 컨텐트 목록을 표시하는 기능을 나타내는 <move>라는 텍스트가 표시될 수 있다.
또한, 도 17에 도시된 기능 가이드(500)는 해당 기능을 유도하는 복수의 기능 유도자들(530a, 530b, 530c, 530d) 및 유사도 정도를 나타내는 복수의 유사도 지시자들(540a, 540b, 540c, 540d)을 더 포함할 수 있다.
다음으로 도 18을 설명한다.
도 18은 본 발명의 또 다른 실시 예에 따라 인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 표시되는 기능 가이드의 실시 예이다.
인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 제어부(170)는 인식된 양손 제스쳐와 기 등록된 양손 제스쳐 간의 유사도와 상관없이 기 설정된 양손 기본 제스쳐 패턴을 포함하는 기능 가이드(600)를 제공할 수 있다.
즉, 도 18에 도시된 바와 같이, 기능 가이드(600)는 인식된 양손 제스쳐(610), 복수의 양손 기본 제스쳐들(620a, 620b, 620c, 620d), 복수의 기능 유도자들(630a, 630b, 630c, 630d)을 포함할 수 있다. 복수의 양손 기본 제스쳐들(620a, 620b, 620c, 620d) 각각의 일측에는 복수의 양손 기본 제스쳐들(620a, 620b, 620c, 620d) 각각의 기능을 설명하는 텍스트가 표시될 수 있다.
예를 들어, 양손의 엄지와 검지를 벌려 서로 모아주는 형상의 동작인 제1 양손 기본 제스쳐(620a)의 일측에는 채널 정보를 표시하는 기능을 나타내는 <channel browsing>라는 텍스트가 표시될 수 있다. 또한, 양손을 서로 쥐는 동작인 제2 양손 기본 제스쳐(620b)의 일측에는 검색 기능을 나타내는 <search>라는 텍스트가 표시될 수 있다. 또한, 양손 각각을 펴는 동작인 제3 양손 기본 제스쳐(620c)의 일측에는 오디오의 볼륨을 업하는 기능을 나타내는 <volume-up>이라는 텍스트가 표시될 수 있다. 또한, 양손 각각을 펴서 교차하는 동작인 제4 양손 기본 제스쳐(620d)의 일측에는 오디오의 볼륨을 다운하는 기능을 나타내는 기능을 나타내는 <volume-down>라는 텍스트가 표시될 수 있다.
또 다른 실시 예에서 인식된 핸드 제스쳐가 사용자의 양손에 대한 제스쳐인 경우, 제어부(170)는 도 17에 도시된 기능 가이드 대신 도 14 또는 도 16에 도시된 기본 제스쳐 패턴을 제공하는 기능 가이드를 디스플레이부(180)를 통해 표시할 수도 있다.
다시 도 2를 설명한다.
제어부(170)는 기능 가이드 화면에 표시된 하나 이상의 제스쳐들 중 특정 제스쳐를 선택하는 입력을 획득한다(S113).
일 실시 예에서 특정 제스쳐를 선택하는 입력은 기능 가이드에 표시된 복수의 핸드 제스쳐들 중 어느 하나의 핸드 제스쳐가 위치한 방향으로 사용자의 손을 이동하는 명령일 수 있다. 예를 들어, 도 7에 도시된 기능 가이드(300)가 디스플레이부(180)에 표시된 상태에서 사용자가 사용자의 핸드 제스쳐를 상측으로 이동하면, 제어부(170)는 상측 방향으로 이동된 사용자의 핸드 제스쳐를 인식하여 제1 유사 핸드 제스쳐(320a)를 선택한 것으로 판단할 수 있다. 마찬가지로, 사용자가 사용자의 핸드 제스쳐를 좌측으로 이동하면, 제어부(170)는 좌측 방향으로 이동된 사용자의 핸드 제스쳐를 인식하여 제2 유사 핸드 제스쳐(320b)를 선택한 것으로 판단할 수 있고, 사용자가 사용자의 핸드 제스쳐를 하측으로 이동하면, 제어부(170)는 하측 방향으로 이동된 사용자의 핸드 제스쳐를 인식하여 제3 유사 핸드 제스쳐(320c)를 선택한 것으로 판단할 수 있고, 사용자가 사용자의 핸드 제스쳐를 우측으로 이동하면, 제어부(170)는 우측 방향으로 이동된 사용자의 핸드 제스쳐를 인식하여 제4 유사 핸드 제스쳐(320ㅇ)를 선택한 것으로 판단할 수 있다.
제어부(170)는 선택된 제스쳐에 대응하는 기능을 수행한다(S115).
예를 들어, 도 7에 도시된 기능 가이드(300)에서 사용자가 사용자의 핸드 제스쳐를 상측으로 이동함에 따라 제1 유사 핸드 제스쳐(320a)가 선택될 수 있고, 제어부(170)는 선택된 제1 유사 핸드 제스쳐(320a)에 대응하는 기능인 미디어 컨텐트의 복사 기능을 수행할 수 있다. 이 경우, 미디어 컨텐트는 미리 선택된 것임을 가정한다. 마찬가지로, 도 7에 도시된 기능 가이드(300)에서 사용자가 사용자의 핸드 제스쳐를 좌측으로 이동함에 따라 제2 유사 핸드 제스쳐(320b)가 선택될 수 있고, 제어부(170)는 선택된 제2 유사 핸드 제스쳐(320b)에 대응하는 기능인 미디어 컨텐트의 재생 기능을 수행할 수 있다.
단계 S113 및 S115에 대해서는 도 19 내지 도 26을 참조하여 설명한다.
도 19 내지 도 26은 본 발명의 일 실시 예에 따라 기능 가이드에 표시된 특정 제스쳐의 선택에 대응하여 해당 기능을 수행하는 과정을 설명하기 위한 도면이다.
이하에서는 <movie1>이라는 미디어 컨텐트(211)가 선택된 상태를 가정하여 설명한다. 미디어 컨텐트(211)의 선택 또한, 사용자의 핸드 제스쳐 인식을 통해 수행된 상태일 수 있다.
먼저, 도 19 및 도 20을 설명한다.
도 19를 참조하면, 디스플레이 장치(100)가 기능 가이드(300)를 표시하고 있는 동안 사용자가 손을 상측 방향으로 이동시키면, 제어부(170)는 사용자 손의 이동 방향을 감지할 수 있다. 제어부(170)는 인식된 사용자의 핸드 제스쳐(310)를 기준으로 사용자의 손의 상측 방향에 배치된 제1 유사 핸드 제스쳐(320a)를 선택할 수 있고, 선택된 제1 유사 핸드 제스쳐(320a)에 대응하는 복수 기능을 수행할 수 있다. 즉, 사용자가 손을 상측 방향으로 이동시키면, 도 20에 도시된 바와 같이, <movie1>의 복사본을 나타내는 미디어 컨텐트(213)가 컨텐트 목록(210)에 표시될 수 있다.
다음으로, 도 21 및 도 22를 설명한다.
도 21을 참조하면, 디스플레이 장치(100)가 기능 가이드(300)를 표시하고 있는 동안 사용자가 손을 좌측 방향으로 이동시키면, 제어부(170)는 사용자 손의 이동 방향을 감지할 수 있다. 제어부(170)는 인식된 사용자의 핸드 제스쳐(310)를 기준으로 사용자의 손의 좌측 방향에 배치된 제2 유사 핸드 제스쳐(320b)를 선택할 수 있고, 선택된 제2 유사 핸드 제스쳐(320b)에 대응하는 미디어 컨텐트의 재생 기능을 수행할 수 있다. 즉, 사용자가 손을 좌측 방향으로 이동시키면, 도 22에 도시된 바와 같이, <movie1>를 나타내는 미디어 컨텐트(211)가 디스플레이부(180)를 통해 재생될 수 있다.
다음으로, 도 23 및 도 24를 설명한다.
도 23을 참조하면, 디스플레이 장치(100)가 기능 가이드(300)를 표시하고 있는 동안 사용자가 손을 하측 방향으로 이동시키면, 제어부(170)는 사용자 손의 이동 방향을 감지할 수 있다. 제어부(170)는 인식된 사용자의 핸드 제스쳐(310)를 기준으로 사용자의 손의 하측 방향에 배치된 제3 유사 핸드 제스쳐(320c)를 선택할 수 있고, 선택된 제3 유사 핸드 제스쳐(320c)에 대응하는 미디어 컨텐트의 삭제 기능을 수행할 수 있다. 즉, 사용자가 손을 하측 방향으로 이동시키면, 도 24에 도시된 바와 같이, <movie1>를 나타내는 미디어 컨텐트(211)가 컨텐트 목록(210)에서 삭될 수 있다.
다음으로, 도 25 및 도 26을 설명한다.
도 25를 참조하면, 디스플레이 장치(100)가 기능 가이드(300)를 표시하고 있는 동안 사용자가 손을 우측 방향으로 이동시키면, 제어부(170)는 사용자 손의 이동 방향을 감지할 수 있다. 제어부(170)는 인식된 사용자의 핸드 제스쳐(310)를 기준으로 사용자의 손의 우측 방향에 배치된 제4 유사 핸드 제스쳐(320d)를 선택할 수 있고, 선택된 제4 유사 핸드 제스쳐(320d)에 대응하는 미디어 컨텐트의 이동 기능을 수행할 수 있다. 즉, 사용자가 손을 우측 방향으로 이동시키면, 도 26에 도시된 바와 같이, <movie1>를 나타내는 미디어 컨텐트(211)가 우측으로 이동될 수 있다.
한편, 제어부(170)는 인식된 사용자의 제스쳐가 기 등록된 제스쳐로 확인된 경우(S109), 인식된 제스쳐에 대응하는 디스플레이 장치(100)의 기능을 수행한다(S117).
제어부(170)는 인식된 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들 각각의 유사도를 측정하여 측정된 유사도가 기준 유사도 이상인 경우, 인식된 제스쳐를 기 등록된 제스쳐인 것으로 판단할 수 있고, 기 등록된 제스쳐에 대응하는 기능을 수행할 수 있다. 예를 들어, 제어부(170)는 인식된 사용자의 핸드 제스쳐가 기 등록된 핸드 제스쳐인 경우, 기능 가이드를 표시하지 않고, 바로 기 등록된 핸드 제스쳐에 대응하는 기능을 실행할 수 있다.
본 발명의 다양한 실시 예에 따르면, 유사 제스쳐들 및 유사 제스쳐들 각각에 대응하는 기능을 표시하는 기능 가이드를 제공함에 따라 사용자는 복잡한 핸드 제스쳐 패턴을 기억할 필요가 없게 되므로, 사용자의 편의성이 향상될 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 사용자의 핸드 제스쳐의 인식에 따라 기본 핸드 제스쳐 패턴을 표시하는 기능 가이드를 제공함에 따라 사용자는 복잡한 핸드 제스쳐 패턴을 기억할 필요가 없게 되므로, 사용자의 편의성이 향상될 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 디스플레이 장치에 있어서,
    디스플레이부;
    복수의 제스쳐 패턴을 저장하는 저장부;
    사용자의 영상을 획득하는 카메라; 및
    획득된 사용자의 영상으로부터 사용자의 얼굴 및 핸드 제스쳐를 인식하고, 인식된 사용자의 핸드 제스쳐가 상기 저장부에 기 저장된 제스쳐가 아닌 경우, 상기 디스플레이 장치의 기능을 수행시키기 위한 사용자의 선택을 가이드하는 기능 가이드를 상기 디스플레이부를 통해 표시하도록 제어하는 제어부를 포함하고,
    상기 기능 가이드는
    인식된 사용자의 핸드 제스쳐의 이미지 및
    상기 인식된 사용자의 핸드 제스쳐와 다른 복수의 다른 핸드 제스쳐들에 상응하는 복수의 이미지들을 포함하고,
    상기 제어부는
    상기 카메라를 통해 획득된 상기 사용자의 영상을 이용하여, 상기 복수의 다른 핸드 제스쳐들 각각에 상응하는 상기 복수의 이미지들 중 어느 하나의 이미지가 위치한 방향으로, 사용자의 손이 이동됨을 인식하고,
    인식 결과에 기초하여, 상기 방향에 상응하는 다른 핸드 제스쳐의 이미지를 선택하고,
    선택된 이미지에 상응하는 상기 디스플레이 장치의 기능을 실행하고,
    상기 제어부는
    상기 인식된 얼굴을 기준으로, 상기 인식된 핸드 제스쳐에 대응하는 손이 왼손으로 인식된 경우, 상기 다른 복수의 다른 핸드 제스쳐들에 상응하는 상기 복수의 이미지들 각각은 왼손을 나타내고,
    상기 인식된 얼굴을 기준으로, 상기 인식된 핸드 제스쳐에 대응하는 손이 오른손으로 인식된 경우, 상기 다른 복수의 다른 핸드 제스쳐들에 상응하는 상기 복수의 이미지들 각각은 오른손을 나타내는
    디스플레이 장치.
  13. 제12항에 있어서,
    상기 복수의 다른 핸드 제스쳐들은 상기 인식된 사용자의 핸드 제스쳐와 유사한 제스쳐 패턴을 나타내는 복수의 유사 핸드 제스쳐들이고,
    상기 기능 가이드는
    상기 복수의 유사 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 더 포함하고,
    상기 복수의 유사 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치하는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 기능 가이드는
    상기 인식된 핸드 제스쳐와 상기 복수의 유사 핸드 제스쳐들 각각의 사이에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각에 대응하는 기능이 수행되도록 사용자의 선택을 유도하는 복수의 기능 유도자들을 더 포함하는
    디스플레이 장치.
  15. 제14항에 있어서,
    상기 기능 가이드는
    상기 복수의 유사 핸드 제스쳐들 각각과 상기 인식된 사용자의 핸드 제스쳐 간의 유사한 정도를 나타내는 복수의 유사도 지시자들을 더 포함하는
    디스플레이 장치.
  16. 삭제
  17. 삭제
  18. 제12항에 있어서,
    상기 복수의 다른 핸드 제스쳐들은 기 지정되거나 사용자에 의해 기 설정된 기본 제스쳐 패턴을 나타내는 복수의 기본 핸드 제스쳐들이고,
    상기 기능 가이드는
    상기 복수의 기본 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 기본 핸드 제스쳐들 각각의 기능을 나타내는 텍스트를 더 포함하고,
    상기 복수의 기본 핸드 제스쳐들 각각은 상기 인식된 사용자의 핸드 제스쳐의 주위에 위치하는
    디스플레이 장치.
  19. 삭제
  20. 삭제
KR1020140043359A 2014-03-27 2014-04-11 디스플레이 장치 및 그의 동작 방법 KR102222561B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14002771.5A EP2924539B1 (en) 2014-03-27 2014-08-07 Display device and operating method thereof using gestures
US14/457,951 US9436290B2 (en) 2014-03-27 2014-08-12 Display device and operating method thereof
CN201410487502.1A CN104954829B (zh) 2014-03-27 2014-09-22 显示装置及其操作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461970923P 2014-03-27 2014-03-27
US61/970,923 2014-03-27

Publications (2)

Publication Number Publication Date
KR20150112707A KR20150112707A (ko) 2015-10-07
KR102222561B1 true KR102222561B1 (ko) 2021-03-05

Family

ID=54343916

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140043359A KR102222561B1 (ko) 2014-03-27 2014-04-11 디스플레이 장치 및 그의 동작 방법
KR1020140051318A KR102191177B1 (ko) 2014-03-27 2014-04-29 디스플레이 장치 및 그의 동작 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020140051318A KR102191177B1 (ko) 2014-03-27 2014-04-29 디스플레이 장치 및 그의 동작 방법

Country Status (1)

Country Link
KR (2) KR102222561B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
EP3991067A1 (en) 2019-06-26 2022-05-04 Google LLC Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Ｉｍｕおよびレーダーを介した認証管理
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
EP3811187B1 (en) 2019-08-30 2021-10-06 Google LLC Input methods for mobile devices
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
KR102661485B1 (ko) 2019-08-30 2024-04-29 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US20210103337A1 (en) * 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
KR20210046174A (ko) 2019-10-18 2021-04-28 신연주 허니 콤브 페키지
KR20230015785A (ko) * 2021-07-23 2023-01-31 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20240028868A (ko) * 2022-08-25 2024-03-05 삼성전자주식회사 디스플레이 장치 및 그의 동작 방법
WO2024072465A1 (en) * 2022-09-30 2024-04-04 Google Llc In-line learning based on user inputs
WO2024072458A1 (en) * 2022-09-30 2024-04-04 Google Llc User distinction for radar-based gesture detectors

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US20100058252A1 (en) * 2008-08-28 2010-03-04 Acer Incorporated Gesture guide system and a method for controlling a computer system by a gesture

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100052372A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 모션 센서 기반의 사용자 동작 인식 방법 및 이를 이용한 단말기
KR101667575B1 (ko) * 2009-08-11 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR101392936B1 (ko) * 2012-06-29 2014-05-09 한국과학기술연구원 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US20100058252A1 (en) * 2008-08-28 2010-03-04 Acer Incorporated Gesture guide system and a method for controlling a computer system by a gesture

Also Published As

Publication number Publication date
KR102191177B1 (ko) 2020-12-15
KR20150112708A (ko) 2015-10-07
KR20150112707A (ko) 2015-10-07

Similar Documents

Publication Publication Date Title
KR102222561B1 (ko) 디스플레이 장치 및 그의 동작 방법
EP2924539B1 (en) Display device and operating method thereof using gestures
KR101899597B1 (ko) 오브젝트 정보 검색 방법 및 그를 이용한 영상 표시 장치
CN108886634B (zh) 显示装置及操作显示装置的方法
KR102238330B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20110118421A (ko) 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
KR20120051208A (ko) 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
EP3255896B1 (en) Display device
KR102217238B1 (ko) 원격제어장치 및 그의 동작 방법
US10448107B2 (en) Display device
KR20170035167A (ko) 디스플레이 장치 및 그의 동작 방법
US20170139482A1 (en) Image display apparatus and operation method thereof
CN109076265B (zh) 提供爬取功能的显示装置及其操作方法
KR102194011B1 (ko) 영상 표시 기기 및 그의 동작 방법
KR20150008769A (ko) 영상표시장치 및 그 동작방법
KR102220198B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
WO2020175845A1 (ko) 디스플레이 장치 및 그의 동작 방법
KR102646584B1 (ko) 디스플레이 장치
KR102509935B1 (ko) 디스플레이 장치
KR20180054052A (ko) 디스플레이 장치 및 그의 동작 방법
KR20180053950A (ko) 디스플레이 장치
KR102650267B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20180052947A (ko) 디스플레이 장치
KR20170138145A (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)