KR102191177B1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102191177B1
KR102191177B1 KR1020140051318A KR20140051318A KR102191177B1 KR 102191177 B1 KR102191177 B1 KR 102191177B1 KR 1020140051318 A KR1020140051318 A KR 1020140051318A KR 20140051318 A KR20140051318 A KR 20140051318A KR 102191177 B1 KR102191177 B1 KR 102191177B1
Authority
KR
South Korea
Prior art keywords
gesture
user
hand
recognized
similarity
Prior art date
Application number
KR1020140051318A
Other languages
English (en)
Other versions
KR20150112708A (ko
Inventor
강상규
이은율
신동헌
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP14002771.5A priority Critical patent/EP2924539B1/en
Priority to US14/457,951 priority patent/US9436290B2/en
Priority to CN201410487502.1A priority patent/CN104954829B/zh
Publication of KR20150112708A publication Critical patent/KR20150112708A/ko
Application granted granted Critical
Publication of KR102191177B1 publication Critical patent/KR102191177B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 사용자의 영상을 획득하는 단계와 획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하는 단계 및 인식된 사용자의 핸드 제스쳐가 기 저장된 제스쳐로 매칭되지 않는 경우, 인식된 사용자의 핸드 제스쳐와 관련한 설정을 가이드하는 설정 가이드를 표시하는 단계를 포함한다.

Description

디스플레이 장치 및 그의 동작 방법{DISPLAY DEVICE AND OPERATING METHOD THEREOF}
본 발명은 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
최근 들어, 유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 한 종류인 IPTV(Internet Protocol Television) 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV 서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
또한, 최근의 디지털 TV는 사용자의 제스쳐를 인식하고, 인식된 사용자의 제스쳐에 대응하는 기능을 수행하는 서비스를 제공하고 있다.
그러나, 기존의 제스쳐 인식 서비스는 사용자가 수행한 가장 유사한 제스쳐를 화면에 표시하고, 동작에 대한 가이드를 보여주지만, 사용자가 수행한 제스쳐를 디스플레이 장치가 유사하다고 인식한 제스쳐에 대응하는 기능을 등록하는 서비스는 지원하지 않았다.
본 발명은 사용자가 수행한 핸드 제스쳐와 유사한 제스쳐를 표시하고, 표시된 유사 핸드 제스쳐에 대응하는 기능을 사용자가 수행한 핸드 제스쳐에 등록시켜 개개인에게 적합한 제스쳐 인식 서비스를 제공하는 것을 목적으로 한다.
또한, 본 발명은 사용자가 수행한 핸드 제스쳐와 유사한 제스쳐 간의 기준 유사도를 수동 또는 자동으로 설정하여 사용자에게 최적화된 제스쳐 인식 서비스를 제공하는 것을 목적으로 한다.
본 발명의 실시 예에 따른 디스플레이 장치의 동작 방법은 사용자의 영상을 획득하는 단계와 획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하는 단계 및 인식된 사용자의 핸드 제스쳐가 기 저장된 제스쳐로 매칭되지 않는 경우, 인식된 사용자의 핸드 제스쳐와 관련한 설정을 가이드하는 설정 가이드를 표시하는 단계를 포함한다.
본 발명의 실시 예에 따른 디스플레이 장치는 디스플레이부와 복수의 제스쳐 패턴을 저장하는 저장부와 사용자의 영상을 획득하는 카메라 및 획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하고, 인식된 사용자의 핸드 제스쳐가 상기 저장부에 기 저장된 제스쳐로 매칭되지 않는 경우, 인식된 사용자의 핸드 제스쳐와 관련한 설정을 가이드하는 설정 가이드를 상기 디스플레이부를 통해 표시하도록 제어하는 제어부를 포함한다.
본 발명의 다양한 실시 예에 따르면, 사용자가 수행한 핸드 제스쳐와 유사한 제스쳐를 표시하고, 표시된 유사 핸드 제스쳐에 대응하는 기능을 사용자가 수행한 핸드 제스쳐에 등록시켜 개개인에게 적합한 제스쳐 인식 서비스를 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 사용자가 수행한 핸드 제스쳐와 유사한 제스쳐 간의 기준 유사도를 수동 또는 자동으로 설정하여 사용자에게 최적화된 제스쳐 인식 서비스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2를 참조하여, 본 발명의 일 실시 예에 따른 디스플레이 장치의 동작 방법을 설명한다.
도 3은 본 발명의 실시 예에 따라 사용자의 핸드 제스쳐 및 그에 대응하는 기능을 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따라 새로운 사용자를 등록하는 과정을 설명하기 위한 도면이다.
도 5 내지 도 8은 본 발명의 일 실시 예에 따라 인식된 제스쳐가 기 저장된 제스쳐가 아닌 경우, 제스쳐 설정 가이드를 표시하는 예를 설명하는 도면이다.
도 9 내지 도 12는 본 발명의 실시 예에 따라 인식된 제스쳐에 디스플레이 장치의 기능을 등록하는 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 14은 본 발명의 일 실시 예에 따라 기준 유사도 설정 가이드를 설명하기 위한 도면이다.
도 15 내지 도 17은 본 발명의 일 실시 예에 따라 기준 유사도가 자동으로 설정되는 과정을 보여주는 도면이다.
도 18은 본 발명의 일 실시 예에 따라 학습에 의해 기준 유사도가 자동 설정되는 과정을 보여주는 흐름도이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스부(135), 저장부(140), 사용자입력 인터페이스부(150), 제어부(170), 영상 획득부(171), 디스플레이부(180), 오디오 출력부(185), 전원공급부(190)를 포함할 수 있다. 한편, 방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
외부장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 제어부(170) 또는 저장부(140)로 전달할 수 있다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐트 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스부(133)는 컨텐트 제공자 또는 네트워크 운영자가 제공하는 컨텐트 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐트 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐트 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐트 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
저장부(140)는 제어부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
저장부(140)는 외부장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 저장부(140) 내에 저장되어 있는 컨텐트 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스부(150)는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 제어부(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스부(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 제어부(170)에 전달할 수 있다.
제어부(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 제어부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(170)는 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
제어부(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
또한, 제어부(170)는 사용자입력 인터페이스부(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
한편, 제어부(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 저장부(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 제어부(170)는 디스플레이 장치(100) 내에 저장된 컨텐트, 또는 수신된 방송 컨텐트, 외부로 부터 입력되는 외부 입력 컨텐트가 재생되도록 제어할 수 있으며, 상기 컨텐트는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
영상 획득부(171)는 사용자의 영상을 획득할 수 있다. 영상 획득부(171)는 카메라를 포함할 수 있다. 영상 획득부(171)는 디지털 카메라, CMOS 카메라, CCD(Charged Coupled Device) 카메라, TOF 카메라 등 영상 촬영이 가능한 다양한 장치나 피사체를 감지할 수 있는 각종 센서 장치 등을 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 카메라는 사용자의 얼굴, 사용자의 손 모양, 동작 등 손의 제스쳐(gesture)와 관련된 영상을 촬영하고, 제어부(170)는 촬영된 영상을 통해 사용자의 얼굴 및 사용자의 손 동작을 인식할 수 있다.
제어부(170)는 촬영된 사용자의 영상으로부터 사용자의 얼굴 영역 및 사용자의 손 영역을 구분하며, 그를 위해 사용자의 얼굴 색상, 사용자 손의 색상과 사용자의 얼굴 및 손 이외의 배경 색상을 구분하여 사용자의 얼굴 영역 및 사용자의 손 영역을 추출할 수 있다. 또한, 제어부(170)는 추출된 사용자의 얼굴 영역 및 사용자의 손 영역을 이용하여, 사용자의 얼굴, 사용자의 손 동작, 예를 들어 손의 형상 또는 움직임 등을 인식할 수 있다.
디스플레이부(180)는 제어부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐트들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐트를 재생하는 컨텐트 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오출력부(185)를 구비하는 컨텐트 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2를 참조하여, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)의 동작 방법을 설명한다.
영상 획득부(171)는 사용자의 영상을 획득한다(S301).
일 실시 예에서 영상 획득부(171)는 카메라를 포함할 수 있다. 카메라는 디스플레이 장치(100)의 전면을 촬영하여 디스플레이 장치(100)의 전면에 위치한 사용자의 영상을 획득할 수 있다. 카메라는 디스플레이 장치(100)의 상단에 배치되어 사용자의 영상을 촬영할 수 있으나, 이에 한정될 필요는 없고, 디스플레이 장치(100)의 좌, 우, 하단 중 어느 하나에 배치될 수 있다. 또한, 카메라는 디스플레이 장치(100)에 포함되지 않고, 별도의 구성요소로 존재할 수 있다.
제어부(170)는 획득한 사용자의 영상으로부터 사용자의 얼굴 및 사용자의 제스쳐를 인식한다(S303).
제어부(170)는 인식된 사용자의 얼굴 및 사용자의 제스쳐를 통해 사용자를 인식할 수 있다.
제어부(170)는 획득된 사용자의 영상으로부터 사용자의 얼굴 영역 및 사용자의 손 영역을 추출할 수 있다. 제어부(170)는 사용자의 얼굴 색상, 사용자 손의 색상과 사용자의 얼굴 및 손 이외의 배경 색상을 구분하여 사용자의 얼굴 영역 및 사용자의 손 영역을 추출할 수 있다. 또한, 제어부(170)는 추출된 사용자의 얼굴 영역 및 사용자의 손 영역을 이용하여, 사용자의 얼굴, 사용자의 손 동작, 예를 들어 손의 형상 또는 움직임 등을 인식할 수 있다.
일 실시 예에서 제어부(170)는 사용자의 얼굴 및 사용자의 제스쳐 중 어느 하나만을 인식할 수도 있다.
사용자의 제스쳐는 사용자의 손 영역에 대응하는 핸드 제스쳐일 수 있다. 복수의 핸드 제스쳐들 각각은 디스플레이 장치(100)의 기능들 각각에 대응할 수 있다. 즉, 제어부(170)는 복수의 핸드 제스쳐들 중 어느 하나의 핸드 제스쳐를 인식할 수 있고, 인식된 핸드 제스쳐에 대응하는 기능을 수행할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3은 본 발명의 실시 예에 따라 사용자의 핸드 제스쳐 및 그에 대응하는 기능을 설명하기 위한 도면이다.
도 3을 참조하면, 복수의 핸드 제스쳐들 및 복수의 핸드 제스쳐들 각각에 대응하는 기능을 설명하고 있다.
엄지와 검지로 원을 만드는 동작을 취하는 제1 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 복사(copy)하는 기능에 대응할 수 있다. 여기서, 미디어 컨텐트는 동영상, 사진, 오디오 파일, 어플리케이션 중 어느 하나일 수 있으나, 이에 한정될 필요는 없다.
검지만을 펴는 동작을 취하는 제2 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 재생(play)하는 기능에 대응할 수 있다.
검지와 약지를 펴는 동작을 취하는 제3 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 삭제(delete)하는 기능에 대응할 수 있다.
약지만을 펴는 동작을 취하는 제4 핸드 제스쳐는 디스플레이부(180)에 표시된 미디어 컨텐트를 이동(move)하는 기능에 대응할 수 있다.
도 3에 도시된 핸드 제스쳐들 및 핸드 제스쳐들 각각에 대응하는 기능은 예시에 불과하다. 도 3에 도시된 핸드 제스쳐들 및 핸드 제스쳐들 각각에 대응하는 기능은 디폴트로 설정될 수도 있고, 사용자의 설정에 따라 달라질 수도 있다.
도 3에 도시된 핸드 제스쳐들 이외의 핸드 제스쳐에 대한 설명은 해당 도면에서 설명한다.
다시 도 2를 설명한다.
제어부(170)는 인식된 사용자의 얼굴을 통해 사용자가 등록된 사용자인지 확인한다(S305).
일 실시 예에서 제어부(170)는 인식된 사용자의 얼굴을 저장부(140)에 기 저장된 복수의 사용자 얼굴들과 비교하여 인식된 사용자가 등록된 사용자인지 확인할 수 있다. 저장부(140)는 기 등록된 사용자의 얼굴들 각각에 복수의 사용자들 각각의 정보를 대응시켜 저장할 수 있다.
사용자 정보는 디스플레이 장치(100)에 로그인 하기 위해 사용되는 사용자의 아이디, 사용자의 패스워드를 포함할 수 있다. 제어부(170)는 저장부(140)에 저장된 복수의 사용자 얼굴들과 인식된 사용자의 얼굴을 비교하여 인식된 사용자의 얼굴에 대응하는 사용자가 등록된 사용자인지를 확인할 수 있다.
일 실시 예에서 사용자의 등록 여부는 디스플레이 장치(100)가 제공하는 서비스를 받을 수 있는지 여부와 관련될 수 있다. 즉, 등록된 사용자는 디스플레이 장치(100)가 제공하는 서비스를 받을 수 있는 사용자이고, 등록되지 않은 사용자는 디스플레이 장치(100)가 제공하는 서비스를 받을 수 없는 사용자일 수 있다. 여기서, 디스플레이 장치(100)가 제공하는 서비스는 사용자의 핸드 제스쳐를 인식하여 인식한 핸드 제스쳐에 대응하는 기능을 제공하는 서비스일 수 있으나, 이는 예시에 불과하다.
제어부(170)는 사용자가 등록된 사용자로 확인되지 않은 경우, 새로운 사용자를 등록하기 위한 등록 창을 디스플레이부(180)를 통해 표시한다(S307).
제어부(170)는 인식된 사용자의 얼굴와 저장부(140)에 저장된 복수의 사용자 얼굴들을 비교할 수 있다. 비교 결과, 제어부(170)는 인식된 사용자의 얼굴이 복수의 사용자 얼굴들에 매칭되지 않는 경우, 인식된 사용자가 등록된 사용자가 아닌 것으로 판단할 수 있다. 이 경우, 제어부(170)는 인식된 사용자를 새로운 사용자로 등록하기 위한 등록 창을 디스플레이부(180)를 통해 표시한다.
이에 대해서는 도 4를 통해 설명한다.
도 4는 본 발명의 실시 예에 따라 새로운 사용자를 등록하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 획득한 영상을 통해 인식된 사용자가 등록된 사용자로 확인되지 않는 경우, 제어부(170)는 디스플레이부(180)를 통해 새로운 사용자의 등록을 문의하는 등록 창(10)을 표시할 수 있다. 사용자가 <예> 버튼을 선택하는 경우, 제어부(170)는 사용자의 얼굴을 인식하여 인식된 사용자의 얼굴을 새로운 사용자로 등록하는 과정을 거칠 수 있다.
다시 도 2를 설명한다.
한편, 제어부(170)는 사용자가 등록된 사용자로 확인된 경우, 인식된 사용자의 제스쳐가 기 저장된 제스쳐인지를 확인한다(S309).
일 실시 예에서 제어부(170)는 인식된 사용자의 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들을 비교하여 인식된 제스쳐가 저장부(140)에 기 저장된 제스쳐인지 확인할 수 있다. 구체적으로, 제어부(170)는 인식된 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들 각각의 유사도를 측정하여 측정된 유사도가 기준 유사도 이상인 경우, 인식된 제스쳐를 기 저장된 제스쳐로 판단할 수 있다. 반대로, 제어부(170)는 인식된 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들 각각의 유사도를 측정하여 측정된 유사도가 기준 유사도 미만인 경우, 인식된 제스쳐를 기 저장된 제스쳐가 아닌 것으로 확인할 수 있다.
여기서, 유사도는 인식된 제스쳐와 기 저장된 제스쳐 간의 유사한 정도를 나타낼 수 있다. 또한, 기준 유사도는 인식된 제스쳐를 기 저장된 제스쳐로 판단하기 위해 필요한 최소한의 유사도일 수 있다. 기준 유사도는 디폴트로 설정되거나, 사용자의 설정에 따라 달라질 수 있다. 기준 유사도는 70일 수 있으나, 이는 예시에 불과한 수치이다.
제어부(170)는 인식된 사용자의 제스쳐가 기 저장된 제스쳐가 아닌 것으로 확인된 경우, 디스플레이부(180)를 통해 제스쳐 설정 가이드를 표시한다(S311).
제어부(170)는 인식된 사용자의 제스쳐가 기 저장된 제스쳐가 아닌 것으로 확인된 경우, 인식된 제스쳐를 기 저장된 제스쳐에 대응하는 기능으로 등록하기 위한 제스쳐 설정 가이드를 표시할 수 있다. 즉, 제스쳐 설정 가이드는 인식된 사용자의 제스쳐가 기 저장된 제스쳐가 아닌 경우, 인식된 사용자의 제스쳐를 기 저장된 제스쳐에 대응하는 기능을 갖도록 사용자에게 가이드 할 수 있다.
제어부(170)는 인식된 사용자의 제스쳐 및 인식된 사용자의 제스쳐와 유사한 제스쳐 패턴을 나타내는 하나 이상의 유사 제스쳐들을 포함하는 제스쳐 설정 가이드를 디스플레이부(180)를 통해 제공할 수 있다. 제어부(170)는 인식된 제스쳐가 기 저장된 제스쳐가 아닌 경우, 인식된 제스쳐와 복수의 유사 제스쳐들 간의 유사도가 기준 유사도 보다 작은 유사 제스쳐들을 제스쳐 설정 가이드 상에 표시할 수 있다.
이에 대해서는 도 5 내지 도 8을 참조하여 상세히 설명한다.
도 5 내지 도 8은 본 발명의 일 실시 예에 따라 인식된 제스쳐가 기 저장된 제스쳐가 아닌 경우, 제스쳐 설정 가이드를 표시하는 예를 설명하는 도면이다.
특히, 도 5는 본 발명의 실시 예에 따라 디스플레이 장치가 사용자의 핸드 제스쳐를 인식하는 과정을 설명하기 위한 도면이고, 도 6 내지 도 8은 본 발명의 실시 예에 따라 인식된 제스쳐가 기 저장된 제스쳐가 아닌 경우, 표시되는 제스쳐 설정 가이드의 다양한 실시 예이다.
이하에서, 인식된 사용자의 핸드 제스쳐(710)는 주먹을 쥐고 있는 오른손 동작임을 가정한다. 그러나, 이에 한정될 필요는 없고, 사용자의 핸드 제스쳐는 주먹을 쥐고 있는 왼손 동작일 수 있고, 이하에서 설명할 유사 핸드 제스쳐도 왼손에 대응하는 제스쳐일 수 있다.
먼저, 도 5를 참조하면, 디스플레이부(180)는 미디어 컨텐트 목록(210)을 표시하고 있고, 사용자(K)는 디스플레이 장치(100)의 전면에 위치하여 특정 핸드 제스쳐를 취하고 있다. 영상 획득부(171)는 디스플레이 장치(100)의 전면에 위치한 사용자의 영상을 획득할 수 있고, 제어부(170)는 획득한 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식할 수 있다.
만약, 인식된 사용자의 핸드 제스쳐가 기 저장된 제스쳐가 아닌 것으로 확인된 경우, 제어부(170)는 도 6에 도시된 바와 같은 제스쳐 설정 가이드(700)를 표시한다.
제어부(170)는 미디어 컨텐트 목록(210)의 주위에 제스쳐 설정 가이드(700)를 표시할 수 있으나, 이에 한정될 필요는 없고, 미디어 컨텐트 목록(210) 상에 백그라운드 형식으로 제스쳐 설정 가이드(700)를 표시할 수도 있다.
제스쳐 설정 가이드(700)는 인식된 사용자의 핸드 제스쳐(710) 및 인식된 사용자의 핸드 제스쳐(710) 일측에 표시된 복수의 유사 핸드 제스쳐들(720a, 720b, 720c)을 포함할 수 있다. 즉, 복수의 유사 핸드 제스쳐들(720a, 720b, 720c)은 영상 획득부(171)를 통해 촬영된 핸드 제스쳐(710)의 일측에 배치될 수 있다. 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각과 인식된 핸드 제스쳐(710)간의 유사도는 기준 유사도 보다 작으나, 기준 유사도에 가까운 값을 가질 수 있다. 본 발명의 실시 예에서는 복수의 유사 제스쳐들의 개수가 3개인 것을 가정하여 설명하나, 이는 예시에 불과하고, 하나 이상일 수 있다.
복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각의 일측에는 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각의 기능을 설명하는 텍스트가 표시될 수 있다.
예를 들어, 검지만을 펴는 동작인 유사 핸드 제스쳐(720a)의 일측에는 미디어 컨텐트를 재생하는 기능을 나타내는 <play>라는 텍스트가 표시될 수 있다. 또한, 검지와 약지를 펴는 동작인 유사 핸드 제스쳐(720b)의 일측에는 미디어 컨텐트를 삭제하는 기능을 나타내는 <delete>라는 텍스트가 표시될 수 있다. 또한, 엄지와 검지로 원을 만드는 동작인 유사 핸드 제스쳐(720c)의 일측에는 미디어 컨텐트를 복사하는 기능을 나타내는 <copy>라는 텍스트가 표시될 수 있다.
복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각의 일측에는 복수의 유사도 지시자들(730a, 730b, 730c) 각각이 더 표시될 수 있다. 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각은 복수의 유사도 지시자들(730a, 730b, 730c) 각각에 대응할 수 있다.
제스쳐 설정 가이드(700)는 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각과 인식된 사용자의 핸드 제스쳐(710)간의 유사한 정도를 나타내는 복수의 유사도 지시자들(730a, 730b, 730c)을 포함할 수 있다.
복수의 유사도 지시자들(730a, 730b, 730c) 각각은 복수의 유사도 지시자들(730a, 730b, 730c) 각각과 인식된 사용자의 핸드 제스쳐(710)간의 유사한 정도를 유사도 가이드 바(731) 및 기준 지시자(733)를 통해 나타낼 수 있다. 기준 지시자(733)는 기 설정된 기준 유사도에 대응될 수 있다.
복수의 유사도 지시자들(730a, 730b, 730c) 각각은 기준 지시자(733)를 기준으로 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각과 인식된 사용자의 핸드 제스쳐(710)가 어느 정도 유사한지 유사 가이드 바(731)를 통해 나타낼 수 있다.
도 6에 도시된 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 각각과 인식된 핸드 제스쳐(710) 간의 유사도는 기준 유사도 미만이므로, 각 유사 가이드 바에 대응하는 유사도는 기준 유사도를 넘지 않도록 표시될 수 있다.
복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 및 이에 대응하는 복수의 유사도 지시자들(730a, 730b, 730c)은 유사도가 큰 순으로 상측에서 하측으로 배치될 수 있다.
사용자는 복수의 유사도 지시자들(730a, 730b, 730c)이 나타내는 유사도를 통해 가장 유사도가 높은 유사 핸드 제스쳐를 인식할 수 있고, 추후 핸드 제스쳐 동작을 수행하는데 참고할 수 있다.
제스쳐 설정 가이드(700)는 복수의 설정 유도자들(740a, 740b, 740c)을 더 포함할 수 있다.
복수의 설정 유도자들(740a, 740b, 740c) 각각은 인식된 사용자의 핸드 제스쳐(710) 주위에 배치될 수 있다. 복수의 설정 유도자들 740a, 740b, 740c) 각각은 화살표 형상을 가질 수 있으나, 이는 예시에 불과하다.
복수의 설정 유도자들(740a, 740b, 740c)은 인식된 핸드 제스쳐(710)를 복수의 유사 핸드 제스쳐들(720a, 720b, 720c)이 나타내는 기능들 중 어느 하나에 매칭시키도록 사용자 손의 이동(사용자의 선택)을 유도할 수 있다. 구체적으로, 복수의 설정 유도자들(740a, 740b, 740c)은 인식된 핸드 제스쳐(710)를 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 중 어느 하나의 유사 핸드쳐에 대응하는 기능을 인식된 핸드 제스쳐(710)에 등록하도록 사용자의 선택을 유도할 수 있다. 이를 위해 복수의 설정 유도자들(740a, 740b, 740c) 각각은 특정 기능을 가질 수 있다. 예를 들어, 제1 설정 유도자(740a)는 상측 방향으로의 이동을 유도할 수 있고, 제2 설정 유도자(740b)는 하측 방향으로의 이동을 유도할 수 있고, 제3 설정 유도자(740c)는 복수의 유사 핸드 제스쳐들 중 어느 하나의 선택을 유도할 수 있다. 복수의 설정 유도자들(740a, 740b, 740c) 각각의 일측에는 설정 유도자의 기능을 나타내는 텍스트가 더 표시될 수 있다. 예를 들어, 제1 설정 유도자(740a)의 일측에는 제스쳐 설정 가이드(700) 상에서 상측 방향으로의 이동에 대응하는 <move>가 표시될 수 있고, 제2 설정 유도자(740b)의 일측에는 제스쳐 설정 가이드(700) 상에서 하측 방향으로의 이동에 대응하는 <move>가 표시될 수 있고, 제3 설정 유도자(740c)의 일측에는 제스쳐 설정 가이드(700) 상에서 유사 핸드 제스쳐를 선택하는 기능에 대응하는 <select>가 표시될 수 있다.
이에 대해서는 자세히 후술한다.
다음으로, 도 7을 설명한다.
도 7을 참조하면, 제어부(170)는 복수의 유사 핸드 제스쳐들(720a, 720b, 720c) 중 인식된 핸드 제스쳐(710)와 가장 유사도가 높은 유사 핸드 제스쳐(720a)를 하이라이트하여 표시할 수 있다. 예를 들어, 유사 핸드 제스쳐(720a)가 인식된 핸드 제스쳐(710)와 가장 유사도가 높은 핸드 제스쳐로 판단된 경우, 해당 유사 핸드 제스쳐(720a) 및 해당 유사 핸드 제스쳐(720a)에 대응하는 유사도 지시자(730a)는 하이라이트되어 표시될 수 있다. 일 실시 예에서 제어부(170)는 하이라이트 박스(750)를 통해 인식된 핸드 제스쳐(710)와 가장 유사도가 높은 유사 핸드 제스쳐(720a)를 강조할 수 있다.
다음으로 도 8을 설명한다.
도 8은 인식된 사용자의 핸드 제스쳐(710)가 왼손일 경우에 대해 표시되는 제스쳐 설정 가이드(700)를 나타낸다.
제어부(170)는 인식된 핸드 제스쳐(710)가 왼손에 대응하는 제스쳐일 경우, 왼손에 대응하는 제스쳐 설정 가이드(700)를 표시할 수 있다. 도 8에 도시된 제스쳐 설정 가이드(700)는 도 7에 도시된 제스쳐 설정 가이드(700)와 비교하여 손의 방향이 오른손 관점에서 왼손 관점으로 변경되었다. 또한, 제3 설정 유도자(740c)의 방향도 변경되었다.
도 8의 실시 예에 따르면, 인식된 핸드 제스쳐에 대응하는 손의 방향에 따라 사용자에게 맞춤형 제스쳐 설정 가이드를 제공할 수 있어, 사용자의 편의성이 향상될 수 있다.
다시 도 2를 설명한다.
제어부(170)는 표시된 제스쳐 설정 가이드에 포함된 하나 이상의 유사 제스쳐들 중 특정 유사 제스쳐를 선택하는 입력을 획득하고(S313), 선택된 특정 유사 제스쳐에 대응하는 기능을 인식된 제스쳐에 등록한다(S315).
이에 대해서는 도 9 내지 도 12를 참조하여 설명한다.
도 9 내지 도 12는 본 발명의 실시 예에 따라 인식된 제스쳐에 디스플레이 장치의 기능을 등록하는 과정을 설명하기 위한 도면이다.
도 7에 도시된 제스쳐 설정 가이드(700)가 표시된 후, 사용자의 핸드 제스쳐의 이동이 감지되면, 사용자의 핸드 제스쳐가 이동하는 이동 방향을 인식하여 이동 방향에 대응하는 기능을 실행할 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 사용자의 핸드 제스쳐가 하측 방향으로 이동되는 경우, 핸드 제스쳐의 이동에 대응하여 하이라이트 박스(750)가 하측으로 이동될 수 있다.
도 10에 도시된 바와 같이, 도 9의 상태에서 사용자의 핸드 제스쳐가 좌측 방향으로 이동되는 경우, 제어부(170)는 좌측 방향으로 이동된 핸드 제스쳐를 감지하고, 좌측 방향의 이동에 대응하는 기능인 유사 핸드 제스쳐의 선택 기능을 수행할 수 있다.
도 11을 참조하면, 유사 핸드 제스쳐(720b)가 선택된 후, 제어부(170)는 인식된 핸드 제스쳐(710)를 선택된 유사 핸드 제스쳐(720b)에 대응하는 기능으로 등록 여부를 문의하는 제스쳐 등록 창(11)을 표시할 수 있다. 사용자가 동의하는 경우, 제어부(170)는 선택된 유사 핸드 제스쳐(720b)의 기능에 대응하는 미디어 컨텐트의 삭제 기능을 인식된 핸드 제스쳐(710)에 등록할 수 있다. 그 후, 제어부(170)는 도 12에 도시된 바와 같이, 인식된 핸드 제스쳐에 선택된 유사 핸드 제스쳐의 기능을 등록하였다는 제스쳐 등록 완료 메시지(12)를 출력할 수 있다.
제어부(170)는 추후, 핸드 제스쳐(710)를 재차 인식하는 경우, 핸드 제스쳐(710)에 할당된 미디어 컨텐트의 삭제 기능을 수행할 수 있다.
일 실시 예에서 선택된 특정 유사 제스쳐에 대응하는 기능을 인식된 제스쳐에 등록하는 과정은 복수의 사용자들 각각에 대해 수행될 수 있다. 즉, 복수의 사용자들 각각은 복수의 유사 제스쳐들 중 어느 하나를 선택하여 선택된 유사 제스쳐에 대응하는 기능을 인식된 제스쳐에 등록할 수 있다. 따라서, 복수의 사용자 각각이 동일한 제스쳐를 취하더라도 해당 제스쳐에 대응하는 기능은 달라질 수 있다.
다시 도 2를 설명한다.
제어부(170)는 새롭게 획득한 사용자의 영상으로부터 새로운 사용자 제스쳐를 인식한다(S317).
제어부(170)는 새롭게 인식된 사용자의 제스쳐가 기존에 인식된 사용자의 제스쳐와 동일한지를 확인한다(S319). 일 실시 예에서 제어부(170)는 피부색 기반의 분석을 통해 새롭게 인식된 사용자의 제스쳐가 기존에 인식된 사용자의 제스쳐와 동일한지를 확인할 수 있다. 구체적으로, 제어부(170)는 새롭게 획득한 사용자의 영상으로부터 피부색에 해당 하는 부분만 검출하여 손의 후보 영역에 해당하는 마스크를 추출해 낼 수 있다. 제어부(170)는 추출된 마스크에 기초하여 새롭게 인식된 사용자의 제스쳐가 기존에 인식된 사용자의 제스쳐와 동일한지를 확인할 수 있다.
또 다른 실시 예에서 제어부(170)는 새롭게 인식된 사용자의 제스쳐와 기존에 인식된 사용자의 제스쳐 각각의 윤곽선에 대한 유사도 비교를 통해 단계 S319를 수행할 수 있다. 즉, 제어부(170)는 새롭게 인식된 사용자의 제스쳐와 기존에 인식된 사용자의 제스쳐 각각의 윤곽선에 대한 유사도가 기준 값을 초과하는 경우, 새롭게 인식된 제스쳐를 기존에 인식된 제스쳐와 동일한 제스쳐로 확인할 수 있다.
만약, 새롭게 인식된 사용자의 제스쳐가 기존에 인식된 사용자의 제스쳐와 동일한 경우, 기존에 인식된 제스쳐에 등록된 디스플레이 장치(100)의 기능을 수행한다(S321).
만약, 새롭게 인식된 사용자의 제스쳐가 기존에 인식된 사용자의 제스쳐와 동일하지 않는 것으로 확인된 경우, 단계 S311로 돌아간다.
한편, 제어부(170)는 인식된 사용자의 제스쳐가 기 저장된 제스쳐로 확인된 경우(S309), 인식된 제스쳐에 대응하는 디스플레이 장치(100)의 기능을 수행한다(S321).
제어부(170)는 인식된 제스쳐와 저장부(140)에 저장된 복수의 제스쳐들 각각의 유사도를 측정하여 측정된 유사도가 기준 유사도 이상인 경우, 인식된 제스쳐를 기 저장된 제스쳐인 것으로 판단할 수 있고, 기 저장된 제스쳐에 대응하는 기능을 수행할 수 있다. 예를 들어, 제어부(170)는 인식된 사용자의 핸드 제스쳐가 기 등록된 핸드 제스쳐인 경우, 기능 가이드를 표시하지 않고, 바로 기 등록된 핸드 제스쳐에 대응하는 기능을 실행할 수 있다.
다음으로 도 13를 참조하여 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 동작 방법을 설명한다.
이하에서 도 13에 대한 설명 중 도 2의 내용과 중복되는 내용을 자세한 설명을 생략한다.
도 13를 참조하면, 영상 획득부(171)는 사용자의 영상을 획득한다(S501).
제어부(170)는 획득한 사용자의 영상으로부터 사용자의 얼굴 및 사용자의 제스쳐를 인식한다(S503).
제어부(170)는 인식된 사용자의 얼굴을 통해 사용자가 등록된 사용자인지 확인한다(S505).
제어부(170)는 사용자가 등록된 사용자로 확인되지 않은 경우, 새로운 사용자를 등록하기 위한 등록 창을 디스플레이부(180)를 통해 표시한다(S507).
한편, 제어부(170)는 사용자가 등록된 사용자로 확인된 경우, 인식된 사용자의 제스쳐가 기 저장된 제스쳐인지를 확인한다(S509).
제어부(170)는 인식된 사용자의 제스쳐가 기 저장된 제스쳐가 아닌 것으로 확인된 경우, 디스플레이부(180)를 통해 기준 유사도 설정 가이드를 표시하고(S511), 기준 유사도 설정 가이드에 기초하여 유사 제스쳐의 기준 유사도를 설정한다(S513).
기준 유사도 설정 가이드는 인식된 사용자의 제스쳐가 기 저장된 제스쳐가 아닌 경우, 인식된 사용자의 제스쳐와 비교 대상이 되는 유사 제스쳐 간의 기준 유사도를 설정할 수 있도록 사용자에게 가이드할 수 있다. 즉, 제어부(170)는 인식된 제스쳐와 유사한 유사 제스쳐 패턴을 제공할 수 있고, 제공된 유사 제스쳐 패턴에 기초하여 기준 유사도를 설정하기 위한 기준 유사도 설정 가이드를 디스플레이부(180)를 통해 표시할 수 있다.
기준 유사도 설정 가이드는 인식된 사용자의 제스쳐와 기 저장된 제스쳐들 간의 일치 여부에 상관없이 사용자의 요청에 의해 기준 유사도를 설정할 수 있도록 사용자에게 가이드할 수 있다.
기준 유사도 설정 가이드에 대해서는 도 14을 참조하여 설명한다.
도 14은 본 발명의 일 실시 예에 따라 기준 유사도 설정 가이드를 설명하기 위한 도면이다.
도 14을 참조하면, 기준 유사도 설정 가이드(800)는 인식된 사용자의 핸드 제스쳐(810), 유사 핸드 제스쳐(820) 및 유사도 지시자(830)를 포함할 수 있다.
인식된 사용자의 핸드 제스쳐(810)는 영상 획득부(171)가 촬영한 사용자의 핸드 제스쳐이다.
유사 핸드 제스쳐(820)는 인식된 핸드 제스쳐(810)와 기 저장된 유사 핸드 제츠셔 패턴 중 가장 유사도가 큰 핸드 제스쳐 일 수 있다. 그러나, 이는 예시에 불과하고, 유사 핸드 제스쳐는 인식된 핸드 제스쳐(810)와 기 저장된 유사 핸드 제츠셔 패턴 중 가장 유사도가 큰 핸드 제스쳐가 아닌 다른 유사 핸드 제스쳐일 수도 있다.
유사도 지시자(830)는 인식된 핸드 제스쳐(810)와 유사 핸드 제스쳐(820)가 얼마나 유사한지를 나타내는 지시자 일 수 있다.
유사도 지시자(830)는 유사 가이드 바(831) 및 기준 지시자(833)를 포함할 수 있다.
유사 가이드 바(831)는 인식된 핸드 제스쳐(810)와 유사 핸드 제스쳐(820) 간의 유사한 정도를 나타낼 수 있다.
기준 지시자(833)는 기 설정된 기준 유사도로, 인식된 핸드 제스쳐(810)가 기 저장된 핸드 제스쳐로 인식되기 위해 필요한 최소한의 기준 유사도를 나타낼 수 있다.
도 14를 참조하면, 기준 지시자가 나타내는 기준 유사도는 80으로 설정되어 있고, 측정 유사도는 60으로 도시되어 있다.
일 실시 예에서 기준 유사도는 사용자의 입력에 따라 수동 설정될 수 있다. 즉, 제어부(170)는 기준 유사도를 설정하기 위한 사용자 입력을 수신할 수 있고, 수신한 사용자 입력에 따라 기준 유사도를 설정할 수 있다. 구체적으로, 기준 지시자를 유사 가이드 바(831) 상에서 좌측으로 변경하는 사용자 입력에 따라 유사 핸드 제스쳐(820)에 대응하는 기준 유사도가 설정될 수 있다. 다만, 기준 유사도는 임계 범위 내에서 설정될 수 있다. 임계 범위는 20의 크기를 가질 수 있으나, 이는 예시에 불과하다. 임계 범위 내에서 기준 유사도가 설정되는 이유는 과도한 범위 내에서 기준 유사도가 설정되는 경우, 인식된 핸드 제스쳐가 사용자가 원하지 않는 핸드 제스쳐의 기능에 대응될 수 있기 때문이다.
기준 지시자(833)를 유사 가이드 바(831) 상에서 조정하여 기준 유사도가 설정된 경우, 제어부(170)는 설정된 기준 유사도를 기 저장된 핸드 제스쳐들 모두에 적용할 수 있다. 제어부(170)는 새로운 사용자의 핸드 제스쳐가 인식된 경우, 설정된 기준 유사도에 따라 새롭게 인식된 사용자의 핸드 제스쳐와 기 저장된 제스쳐들 각각을 비교하여 매칭 여부를 판단할 수 있다.
또 다른 실시 예에서 기준 유사도는 자동으로 설정될 수 있다. 기준 유사도가 자동으로 설정되는 예를 도 15 내지 도 17을 참조하여 설명한다.
도 15 내지 도 17은 본 발명의 일 실시 예에 따라 기준 유사도가 자동으로 설정되는 과정을 보여주는 도면이다. 기준 유사도가 자동으로 설정되는 과정을 설명하기 위해 도 14를 참조한다.
인식된 핸드 제스쳐(810)와 유사한 패턴의 유사 제스쳐는 핸드 제스쳐가 인식될 때마다 달라질 수 있다. 즉, 도 14 내지 도 16에 도시된 바와 같이, 인식된 제스쳐(810)와 유사한 유사 제스쳐는 동일한 핸드 제스쳐가 인식될때마다 달라질 수 있다. 예를 들어, 도 14에 도시된 바와 같이, 기준 유사도 설정 가이드(800)는인식된 핸드 제스쳐(810)와 유사도가 60인 유사 핸드 제츠쳐(820)를 표시할 수도 있고, 도 15에 도시된 바와 같이, 유사도가 70인 유사 핸드 제스쳐(850)를 표시할 수도 있고, 도 16에 도시된 바와 같이, 유사도가 80인 유사 핸드 제스쳐(860)를 표시할 수도 있다.
제어부(170)는 인식된 핸드 제스쳐(810)와 변경되는 복수의 유사 핸드 제스쳐들(820,850,860) 각각에 대한 유사도를 측정할 수 있고, 측정된 복수의 유사도들의 평균을 산출할 수 있다. 제어부(170)는 산출된 복수의 유사도들에 대한 평균인 70을 기준 유사도로 설정할 수 있다.
즉, 도 17에 도시된 바와 같이, 핸드 제스쳐(810)가 재차 인식되는 경우, 기존의 기준 유사도는 80에서 복수의 유사도들에 대한 평균인 70으로 설정될 수 있다. 여기서, 복수의 유사 핸드 제스쳐들의 개수는 3개의 경우를 예로 들었으나, 이는 예시에 불과하다.
본 발명의 실시 예에 따르면, 사용자의 핸드 제스쳐가 제대로 인식되지 않더라도, 기준 유사도가 자동으로 조절되어 사용자에게 적합한 제스쳐 인식 서비스를 제공할 수 있다.
또 다른 실시 예에서 기준 유사도는 학습에 의해 자동 설정될 수 있다. 이에 대해서는 도 18을 참조하여 설명한다.
도 18은 본 발명의 일 실시 예에 따라 학습에 의해 기준 유사도가 자동 설정되는 과정을 보여주는 흐름도이다.
도 18은 도 2의 단계 S513의 과정을 구체화한 도면이다.
도 18을 참조하면, 제어부(170)는 인식된 사용자의 제스쳐의 유지 시간이 기 설정된 시간을 초과하는지 확인한다(S513a).
만약, 인식된 사용자의 제스쳐의 유지 시간이 기 설정된 시간을 초과하는 경우, 복수 회에 걸쳐 인식된 제스쳐와 유사 제스쳐 간의 유사도를 측정한다(S513b). 여기서, 기준 유사도 설정 가이드에 표시되는 유사 제스쳐는 복수 회 동안 동일한 제스쳐 일 수 있다.
제어부(170)는 측정된 복수의 유사도들의 평균 유사도를 산출하고(S513c), 산출된 평균 유사도를 기준 유사도로 설정한다(S513d). 제어부(170)는 임계 범위 내에서 기준 유사도를 설정할 수 있다. 구체적으로, 제어부(170)는 산출된 평균 유사도를 기존의 기준 유사도와 비교하여 그 차이가 임계 범위를 넘는 경우, 산출된 평균 유사도를 기준 유사도로 설정하지 않고, 기존의 기존 유사도를 유지할 수 있다.
다시 도 13을 설명한다.
한편, 제어부(170)는 인식된 사용자의 제스쳐가 기 저장된 제스쳐로 확인된 경우(S509), 인식된 제스쳐에 대응하는 디스플레이 장치(100)의 기능을 수행한다(S515).
본 발명의 다양한 실시 예에 따르면, 사용자가 수행한 핸드 제스쳐와 유사한 제스쳐를 표시하고, 표시된 유사 핸드 제스쳐에 대응하는 기능을 사용자가 수행한 핸드 제스쳐에 등록시켜 개개인에게 적합한 제스쳐 인식 서비스를 제공할 수 있다.
또한, 본 발명의 다양한 실시 예에 따르면, 사용자가 수행한 핸드 제스쳐와 유사한 제스쳐 간의 기준 유사도를 수동 또는 자동으로 설정하여 사용자에게 최적화된 제스쳐 인식 서비스를 제공할 수 있다.
본 발명의 일 실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 디스플레이 장치에 있어서,
    디스플레이부;
    복수의 제스쳐 패턴을 저장하는 저장부;
    사용자의 영상을 획득하는 카메라; 및
    획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하고, 인식된 사용자의 핸드 제스쳐가 상기 저장부에 기 저장된 제스쳐로 매칭되지 않는 경우, 인식된 사용자의 핸드 제스쳐와 관련한 설정을 가이드하는 설정 가이드를 상기 디스플레이부를 통해 표시하도록 제어하는 제어부를 포함하고,
    상기 설정 가이드는
    상기 인식된 사용자의 핸드 제스쳐,
    상기 인식된 사용자의 핸드 제스쳐와 상기 저장부에 기 저장된 핸드 제스쳐들 각각의 비교 결과에 기초하여 상기 기 저장된 핸드 제스쳐들 중 유사도가 큰 제스쳐 패턴을 나타내는 복수의 유사 핸드 제스쳐들 및
    상기 복수의 유사 핸드 제스쳐들 각각과 상기 인식된 사용자의 핸드 제스쳐 간의 유사한 정도를 나타내는 복수의 유사도 지시자들을 포함하는
    디스플레이 장치.
  12. 제11항에 있어서,
    상기 설정 가이드는
    상기 복수의 유사 핸드 제스쳐들 각각의 일측에 위치하고, 상기 복수의 유사 핸드 제스쳐들 각각의 기능을 나타내는 텍스트 및
    상기 인식된 핸드 제스쳐의 주위에 위치하고, 상기 복수의 유사 핸드 제스쳐들 중 어느 하나의 제스쳐에 대응하는 기능을 상기 인식된 핸드 제스쳐에 설정하도록 사용자의 선택을 유도하는 복수의 설정 유도자들을 더 포함하는
    디스플레이 장치.
  13. 제12항에 있어서,
    상기 복수의 유사 핸드 제스쳐들 중 상기 인식된 핸드 제스쳐와 유사도가 가장 큰 유사 핸드 제스쳐가 하이라이트 되는
    디스플레이 장치.
  14. 제13항에 있어서,
    상기 제어부는
    상기 제스쳐 설정 가이드에 포함된 복수의 유사 핸드 제스쳐들 중 특정 핸드유사 제스쳐를 선택하는 입력을 획득하고, 선택된 특정 유사 핸드 제스쳐에 대응하는 기능을 인식된 핸드 제스쳐에 등록하는
    디스플레이 장치.
  15. 제14항에 있어서,
    상기 제어부는
    사용자 손의 이동 방향을 감지하여 상기 특정 유사 핸드 제스쳐를 선택하는 입력을 획득하고, 감지된 사용자 손의 이동 방향에 따라 선택된 특정 유사 핸드 제스쳐에 대응하는 기능을 인식된 핸드 제스쳐에 등록하는
    디스플레이 장치.
  16. 디스플레이 장치에 있어서,
    디스플레이부;
    복수의 제스쳐 패턴을 저장하는 저장부;
    사용자의 영상을 획득하는 카메라; 및
    획득된 사용자의 영상으로부터 사용자의 핸드 제스쳐를 인식하고, 인식된 사용자의 핸드 제스쳐가 상기 저장부에 기 저장된 제스쳐로 매칭되지 않는 경우, 인식된 사용자의 핸드 제스쳐와 관련한 설정을 가이드하는 설정 가이드를 상기 디스플레이부를 통해 표시하도록 제어하는 제어부를 포함하고,
    상기 설정 가이드는
    상기 인식된 핸드 제스쳐와
    상기 인식된 핸드 제스쳐와 유사도가 가장 큰 제스쳐 패턴을 나타내는 유사 핸드 제스쳐 간의 기준 유사도를 설정할 수 있도록 사용자에게 가이드 하는 기준 유사도 설정 가이드이고,
    상기 기준 유사도는
    상기 인식된 핸드 제스쳐가 기 저장된 핸드 제스쳐로 인식되기 위한 문턱 값이고,
    상기 기준 유사도 설정 가이드는
    상기 인식된 사용자의 핸드 제스쳐,
    상기 인식된 사용자의 핸드 제스쳐와 유사도가 가장 큰 제스쳐 패턴을 나타내는 유사 핸드 제스쳐 및
    상기 유사 핸드 제스쳐와 상기 인식된 사용자의 핸드 제스쳐 간의 유사한 정도를 나타내는 유사도 지시자를 포함하는
    디스플레이 장치.
  17. 제16항에 있어서,
    상기 기준 유사도 설정 가이드는
    상기 유사 핸드 제스쳐의 일측에 위치하고, 상기 유사 핸드 제스쳐의 기능을 나타내는 텍스트를 더 포함하는
    디스플레이 장치.
  18. 제17항에 있어서,
    상기 유사도 지시자는
    상기 인식된 핸드 제스쳐와 상기 유사 핸드 제스쳐 간의 유사한 정도를 나타내는 유사 가이드 바 및
    상기 기준 유사도를 나타내는 기준 지시자를 포함하고,
    상기 기준 유사도는
    상기 기준 지시자를 상기 유사 가이드 바 상에서 조정함으로써 설정 가능한
    디스플레이 장치.
  19. 제18항에 있어서,
    상기 제어부는
    상기 설정된 기준 유사도는 상기 기 저장된 핸드 제스쳐들 모두에 적용하고,
    상기 설정된 기준 유사도에 따라 새롭게 인식된 사용자의 핸드 제스쳐와 상기 기 저장된 제스쳐들 각각을 비교하여 매칭 여부를 판단하는
    디스플레이 장치.
  20. 제16항에 있어서,
    상기 제어부는
    복수 회에 걸쳐 상기 인식된 핸드 제스쳐와 상기 유사 핸드 제스쳐 간의 유사도를 측정하고, 측정된 복수의 유사도들의 평균 유사도를 산출하며, 산출된 평균 유사도를 상기 기준 유사도로 설정하고,
    상기 복수 회 각각의 경우에 표시되는 유사 핸드 제스쳐는 서로 다른 핸드 제스쳐인
    디스플레이 장치.
KR1020140051318A 2014-03-27 2014-04-29 디스플레이 장치 및 그의 동작 방법 KR102191177B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14002771.5A EP2924539B1 (en) 2014-03-27 2014-08-07 Display device and operating method thereof using gestures
US14/457,951 US9436290B2 (en) 2014-03-27 2014-08-12 Display device and operating method thereof
CN201410487502.1A CN104954829B (zh) 2014-03-27 2014-09-22 显示装置及其操作方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461970923P 2014-03-27 2014-03-27
US61/970,923 2014-03-27

Publications (2)

Publication Number Publication Date
KR20150112708A KR20150112708A (ko) 2015-10-07
KR102191177B1 true KR102191177B1 (ko) 2020-12-15

Family

ID=54343916

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020140043359A KR102222561B1 (ko) 2014-03-27 2014-04-11 디스플레이 장치 및 그의 동작 방법
KR1020140051318A KR102191177B1 (ko) 2014-03-27 2014-04-29 디스플레이 장치 및 그의 동작 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020140043359A KR102222561B1 (ko) 2014-03-27 2014-04-11 디스플레이 장치 및 그의 동작 방법

Country Status (1)

Country Link
KR (2) KR102222561B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043761A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2024072465A1 (en) * 2022-09-30 2024-04-04 Google Llc In-line learning based on user inputs

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
CN113924568A (zh) 2019-06-26 2022-01-11 谷歌有限责任公司 基于雷达的认证状态反馈
US11385722B2 (en) 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN113906367B (zh) 2019-07-26 2024-03-29 谷歌有限责任公司 通过imu和雷达的认证管理
EP3966662B1 (en) 2019-07-26 2024-01-10 Google LLC Reducing a state based on imu and radar
WO2021040748A1 (en) 2019-08-30 2021-03-04 Google Llc Visual indicator for paused radar gestures
US11467672B2 (en) 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
CN118192796A (zh) 2019-08-30 2024-06-14 谷歌有限责任公司 移动设备的输入方法
US20210103348A1 (en) * 2019-10-03 2021-04-08 Google Llc Facilitating User-Proficiency in Using Radar Gestures to Interact with an Electronic Device
KR20210046174A (ko) 2019-10-18 2021-04-28 신연주 허니 콤브 페키지
KR20230015785A (ko) * 2021-07-23 2023-01-31 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2024072458A1 (en) * 2022-09-30 2024-04-04 Google Llc User distinction for radar-based gesture detectors

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
KR20100052372A (ko) * 2008-11-10 2010-05-19 삼성전자주식회사 모션 센서 기반의 사용자 동작 인식 방법 및 이를 이용한 단말기
KR101667575B1 (ko) * 2009-08-11 2016-10-19 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR101392936B1 (ko) * 2012-06-29 2014-05-09 한국과학기술연구원 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024043761A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2024072465A1 (en) * 2022-09-30 2024-04-04 Google Llc In-line learning based on user inputs

Also Published As

Publication number Publication date
KR20150112707A (ko) 2015-10-07
KR20150112708A (ko) 2015-10-07
KR102222561B1 (ko) 2021-03-05

Similar Documents

Publication Publication Date Title
KR102191177B1 (ko) 디스플레이 장치 및 그의 동작 방법
US9436290B2 (en) Display device and operating method thereof
KR101284472B1 (ko) 전자 기기 제어 방법 및 그를 이용한 휴대용 단말기
KR102238330B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20120051208A (ko) 멀티미디어 장치의 사물을 이용한 제스쳐 인식 방법 및 장치
US10448107B2 (en) Display device
KR102209354B1 (ko) 영상 표시 기기 및 그의 동작 방법
KR102485166B1 (ko) 디스플레이 장치 및 그의 동작 방법
CN109076265B (zh) 提供爬取功能的显示装置及其操作方法
US10162423B2 (en) Image display apparatus and operation method thereof
KR20210002797A (ko) 디스플레이 장치
KR20200102861A (ko) 디스플레이 장치 및 그의 동작 방법
KR102220198B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
KR102509935B1 (ko) 디스플레이 장치
CN113573095B (en) Display device and method of operating the same
KR102646584B1 (ko) 디스플레이 장치
KR102217228B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20150064613A (ko) 영상 표시 기기 및 그의 동작 방법
US11949942B2 (en) Display device
KR20190034856A (ko) 디스플레이 장치 및 그의 동작 방법
KR20150064597A (ko) 디스플레이 장치 및 그의 동작 방법
EP3905707A1 (en) Display device and operating method thereof
KR20160044254A (ko) 디스플레이 장치 및 그의 동작 방법
KR20180053950A (ko) 디스플레이 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant