KR20150073378A - 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 - Google Patents

동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 Download PDF

Info

Publication number
KR20150073378A
KR20150073378A KR1020130160998A KR20130160998A KR20150073378A KR 20150073378 A KR20150073378 A KR 20150073378A KR 1020130160998 A KR1020130160998 A KR 1020130160998A KR 20130160998 A KR20130160998 A KR 20130160998A KR 20150073378 A KR20150073378 A KR 20150073378A
Authority
KR
South Korea
Prior art keywords
user
input device
virtual input
gesture
finger
Prior art date
Application number
KR1020130160998A
Other languages
English (en)
Inventor
권오윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130160998A priority Critical patent/KR20150073378A/ko
Priority to US14/317,993 priority patent/US9965039B2/en
Priority to PCT/KR2014/011206 priority patent/WO2015099293A1/en
Priority to CN201480065542.5A priority patent/CN105814522B/zh
Publication of KR20150073378A publication Critical patent/KR20150073378A/ko
Priority to KR1020210008763A priority patent/KR102480568B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 제스처에 대한 동작인식을 통해 사용자가 원하는 가상입력장치의 UI를 표시할 수 있는 장치에 관한 것이다.
본 발명의 디스플레이장치는, 영상을 표시하는 디스플레이부, 사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 저장부, 상기 가상입력장치의 사용자 인터페이스(UI)를 생성하는 사용자 인터페이스(UI)부, 사용자의 제스처를 촬영하는 카메라 및 상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 저장된 사용자 제스처와 비교하고, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 사용자 인터페이스(UI)를 상기 디스플레이부에 표시하도록 사용자 인터페이스(UI)부를 제어하는 제어부를 포함하여 구성할 수 있다.

Description

동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치 및 방법{A DEVICE AND METHOD FOR DISPLAYING A USER INTERFACE(UI) OF VIRTUAL INPUT DEVICE BASED ON MOTION ROCOGNITION}
본 발명은 디스플레이장치 및 동작인식을 기반으로 하는 가상 입력장치를 표시하는 방법, 더욱 상세하게는 사용자의 제스처에 따른 가상 입력장치를 템플릿화함으로써 사용자의 제스처를 인식하여 특정 가상 입력장치를 표시하고 조작하는 디스플레이장치에 관한 것이다.
최근 사용자의 동작을 인식하고, 인식된 동작에 특정 명령을 연동하여 실행할 수 있도록 한 제스처 인식을 이용한 명령입력장치가 개발되고 있다.
종래의 제스처 인식을 이용한 명령입력방법으로는 사용자가 음성입력 또는 리모컨을 통하여 가상입력장치를 표시한 후에, 사용자 제스처를 인식하여 명령을 입력하는 방법이 한국공개특허 10-2012-0096849호에 개시되어 있다.
이와 같은 종래의 제스처를 이용한 명령입력방법은 기본적으로 가상입력장치를 표시하기 위해서 음성음식기술을 이용하거나, 실제 리모컨과 같은 입력장치를 이용하여 가상입력모드로 전환한 후에, 카메라를 통한 제스처 인식으로 사용자 명령을 입력할 수 있다.
일반적으로 사용자는 간편한 입력을 통한 명령 입력을 선호한다. 이에 반해, 종래의 제스처를 이용한 명령입력방법은 제스처 인식기술 적용을 위해 음성인식기술을 추가 적용하는 것은 복잡한 기술적 솔루션을 필요로 하며, 실물 입력장치, 예를 들면 리모컨을 찾지 못한 환경에서 음성인식기술이 적용되지 않는 경우 매우 곤란한 상황을 초래할 수 있다.
본 발명의 목적은 상술한 종래의 문제를 해결하기 위한 것으로, 제스처 인식만으로 다양한 가상입력장치의 사용자 인터페이스(UI)를 표시할 수 있을 뿐만 아니라 손가락 움직임을 인식하여 표시된 가상입력장치의 사용자 인터페이스(UI)를 통해 사용자 명령을 입력할 수 있는, 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 일시적으로 사용자의 시선이 화면을 벗어난 후에 다시 시선이 원위치로 돌아왔을 때 사용자의 손가락 위치가 변했더라도 표시된 가상입력장치에 대한 손가락 위치를 리셋하여 사용자 명령 입력을 일관성 있게 제공할 수 있는 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 시각장애자나 사용자의 시선이 벗어난 경우에도 사용자의 명령 입력 편의성을 위해 음성안내를 지원할 수 있는 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자가 표시된 가상입력장치의 사용자 인터페이스(UI)를 통해 입력할 때 실물 입력장치의 조작 시 발생하는 조작음과 유사한 효과음을 발생할 수 있는, 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
상술한 본 발명의 과제를 해결하기 위한 일 실시예에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치는, 영상을 표시하는 디스플레이부, 사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 저장부, 상기 가상입력장치의 사용자 인터페이스(UI)를 생성하는 사용자 인터페이스(UI)부, 사용자의 제스처를 촬영하는 카메라 및 상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 등록된 사용자 제스처와 비교하고, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 사용자 인터페이스(UI)를 상기 디스플레이부에 표시하도록 사용자 인터페이스(UI)부를 제어하는 제어부를 포함하여 구성할 수 있다.
상기 가상입력장치는 리모컨, 터치리모컨, 키보드, 마우스를 포함할 수 있다.
상기 사용자 제스처는 실물 입력장치의 그립(grip) 제스처를 포함할 수 있다.
상기 장치는 상기 표시된 가상입력장치 UI를 동작하기 위해 사용자의 손가락 움직임 및 사용자의 얼굴방향이나 시선을 인식하는 움직임 산출부를 더 포함할 수 있다.
상기 제어부는 상기 움직임 산출부에서 산출한 사용자의 손가락 움직임을 기초로 포인터를 상기 가상입력장치의 UI상에 표시할 수 있다.
상기 움직임 산출부는 상기 사용자 손가락의 이동방향 파악, 이동량 파악, 위치 파악, 및 실제 손가락에 대한 가상입력장치 UI의 포인터의 크기 환산을 수행할 수 있다.
상기 저장부는 상기 사용자의 손가락 움직임에 따른 가상입력장치의 조작음, 기능실행내용을 설명하는 음성, 상기 사용자의 손가락이 위치하는 가상입력장치의 기능버튼의 명칭을 설명하는 음성 중 적어도 하나를 저장할 수 있다.
상기 움직임 산출부는 소정 시간 내 시선인식 데이터의 산포 및 집중도의 사전 정의된 임계(threshold)값과의 비교를 기초로 사용자의 주시 여부를 판단할 수 있다.
상기 제어부는 사용자의 시선이 '비주시'상태로 판단되면 사용자의 이전 손가락 위치를 리셋할 수 있다.
상기 제어부는 사용자의 시선이 '비주시'상태로 판단되면 음성 안내모드로 전환할 수 있다.
상기 제어부는 사용자 명령에 따라 상기 가상입력장치의 UI 상의 기능 버튼을 삭제, 추가, 변경할 수 있다.
본 발명의 일 실시예에 따른 동작인식을 기초로 가상입력장치의 UI를 표시하는 방법은, 사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 단계, 사용자의 제스처를 촬영하는 단계, 상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 등록된 사용자 제스처와 비교하는 단계, 상기 비교 결과, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 UI를 표시하는 단계를 포함하여 구성할 수 있다.
본 발명에 의하면, 사용자는 제스처만으로 간단히 다양한 가상입력장치의 사용자 인터페이스(UI)를 표시할 수 있다.
또한 사용자는 자신만의 가상입력장치의 사용자 인터페이스를 등록하여 사용할 수 있어 사용이 편리하다.
또한, 시각장애자나 사용자의 시선이 정면을 벗어난 경우에도 음성 안내를 함께 수행함으로써 사용자는 보다 편리하게 가상입력장치의 사용자 인터페이스를 이용할 수 있다.
또한 사용자가 표시된 가상입력장치의 사용자 인터페이스를 이용하다가 환경 변화가 발생하더라도 가상입력장치의 사용자 인터페이스의 명령입력의 일관성을 유지시켜 줄 수 있다.
또한, 사용자는 디스플레이부에 표시된 가상입력장치의 사용자 인터페이스를 제스처를 통해 이용하더라도 실물 입력장치를 이용하는 것과 같은 효과음을 제공할 수 있다.
또한, 소프트웨어 기반 가상입력장치의 사용자 인터페이스를 적용할 수 있어 신기능 추가에 대한 업데이트를 편리하게 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치를 나타내는 블록도,
도 2는 사용자 제스처와 가상입력장치를 연계시킨 템플릿을 나타내는 도,
도 3은 본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치의 사용 상태를 나타내는 도,
도 4는 본 발명에 따라 표시된 가상 입력장치의 사용자 인터페이스(UI)의 편집을 설명하기 위한 도, 및
도 5는 본 발명의 실시예에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 방법을 나타내는 흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다. 도면에 표현된 동일한 참조 번호는 동일한 구성 요소를 나타낸다.
본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치(100)는 카메라가 장착된 텔레비전(TV), 퍼스널 컴퓨터(PC), 스마트폰, 노트북, PDA, 게임기 등으로 구현될 수 있으며, 이하 간략히 '디스플레이장치'라 칭한다.
도 1에 나타낸 바와 같이, 본 발명에 따른 디스플레이장치(100)는 저장부(110), 사용자 인터페이스(UI)부(120), 카메라(130), 제어부(140), 디스플레이부(160) 및 음성출력부(170)를 포함할 수 있다. 디스플레이장치(100)는 상술한 구성요소들 이외에도 튜너를 포함하는 영상수신부(미도시), 유무선 통신부(미도시), 타이밍제어부(미도시), 영상처리부(미도시), 음성처리부(미도시) 등 더 많은 구성요소들을 포함할 수 있으며, 간략한 설명을 위해 생략한다.
저장부(110)는 예를 들면 사용자 제스처와 연계시킨 가상입력장치의 템플릿(template) DB, 사용자 개인정보 DB, 손가락 움직임에 따른 음향효과 DB, 가상 입력장치 UI 상의 버튼 명칭 설명 음성DB, 손가락 움직임에 따라 입력된 명령 실행 내용 설명 음성DB 등이 사전 저장될 수 있다. 물론, 저장부(110)는 상기 열거한 데이터 이외에 영상데이터, 그래픽데이터, OS(운영체제) 등의 다양한 정보를 포함할 수 있다.
도 2는 사용자 제스처와 연계시킨 가상입력장치의 템플릿(template)을 나타낸 도로서, 사용자의 제스처가 양손으로 키보드 타이핑 제스처이면, 가상키보드를, 한 손으로 마우스를 쥐는(grip) 제스처이면 가상 마우스를, 한 손으로 리모컨을 쥐는(grip) 제스처이면 리모컨을 연계시켜 템플릿으로 구성한 예를 나타낸다.
사용자 개인정보 DB는 사용자 별로 자주 사용하는 버튼의 구성으로 된 가상입력장치를 등록하여 저장한 것이다. 사용자는 최초에 기본으로 구성된 가상입력 장치의 사용자 인터페이스(UI)를 편집하여 불필요한 버튼은 드래그 앤 드롭으로 삭제하거나, 필요한 버튼은 추가하여 저장할 수 있다.
손가락 움직임에 따른 음향효과 DB는 손가락의 움직임을 인식하여 가상키보드의 경우 타이핑음, 가상마우스의 경우 클릭음, 가상리모컨의 버튼 터치음을 사용자 설정 또는 기본으로 저장할 수 있다.
가상 입력장치 UI 상의 버튼 명칭 설명 음성DB은 각 가상입력장치 UI의 버튼에 사용자의 손가락이 위치하였을 때 위치된 버튼의 명칭을 설명하는 음성을 저장할 수 있다. 예를 들면 사용자의 손가락 위치가 '녹화'버튼에 놓인 경우, '녹화버튼에 위치되었습니다'라는 메시지를 저장할 수 있다.
손가락 움직임에 따라 입력된 명령 실행 내용 설명 음성DB는 손가락 움직임에 따른 사용자 명령을 설명하는 음성을 저장할 수 있다. 예를 들면, 사용자만의 가상입력장치를 만들기 위해 ‘녹화’버튼을 해당 버튼을 드래그 앤 드롭하여 휴지통에 넣는 경우 ‘녹화 버튼을 삭제하기 위해 휴지통에 넣었습니다’라는 메시지를 사전에 정의하여 저장할 수 있다.
저장부(110)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
사용자 인터페이스(UI)부(120)는 인식한 사용자 제스처에 해당하는 가상입력장치 사용자 인터페이스를 생성하여 표시할 수 있다. 가상입력장치 사용자 인터페이스(UI)는 가상 키보드, 가상리모컨, 터치리모컨, 사상 마우스 등 다양한 버튼을 가진 사용자 입력이 가능한 이미지를 말한다. 사용자는 상기 버튼을 클릭, 더블클릭 또는 터치를 통해 해당 버튼이 가진 정해진 명령을 입력할 수 있다.
카메라(130)는 사용자의 손 동작(제스처), 얼굴, 눈을 촬영하여 영상을 생성할 수 있다. 카메라(130)는 웹캠(webcam), 팬 틸트(pan tilt) 카메라, 디지털카메라, 아날로그 카메라, 캠코더 등을 포함할 수 있다. 카메라(130)는 별도로 분리하여 설치될 수도 있고, 디스플레이장치(100)에 내장될 수도 있다. 카메라(130)는 정면에만 설치하거나, 여러 개를 사용하여 2D 또는 3D영상을 촬영할 수 있다.
제어부(140)는 디스플레이장치(100)의 각 구성요소, 예를 들면 저장부(110), 사용자 인터페이스(UI)부(120), 카메라(130), 디스플레이부(160) 및 음성출력부(170)를 제어할 수 있다.
제어부(110)는 카메라(130)에서 촬영한 사용자의 제스처 영상과 저장부(110)에 저장된 제스처를 비교하고, 매칭되는 제스처에 해당하는 가상입력장치 사용자 인터페이스(UI)를 생성하여 표시하도록 사용자 인터페이스(UI)부(120)를 제어할 수 있다.
제어부(140)는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors)를 포함할 수 있다.
움직임 산출부(150)는 카메라에서 촬영한 사용자의 영상을 기초로 사용자의 얼굴방향, 시선방향, 손가락의 움직임을 산출할 수 있다. 움직임 산출부(150)는 소정 시간 내 시선인식 데이터의 산포 및 집중도의 사전 정의된 임계(threshold)값과의 비교를 기초로 사용자의 주시 여부를 판단할 수 있다. 움직임 산출부(150)는 카메라(130)에서 촬영한 사용자 움직임(손가락 움직임)을 수신하여 해당 손가락의 위치, 손가락 이동량, 손가락 이동방향, 실제 손가락에 대한 가상입력장치 UI의 크기 환산을 수행할 수 있다. 제어부(140)는 상기 움직임 산출부(150)에서 산출한 손가락의 위치, 손가락 이동량, 손가락 이동방향, 실제 손가락에 대한 가상입력장치 UI의 크기 환산 값을 이용하여 다양한 명령을 실행할 수 있다. 움직임 산출부(150)는 소프트웨어, 프로그램 또는 소프트웨어를 포함하는 하드웨어로 구현될 수 있다.
디스플레이부(160)는 영상처리부(미도시)에서 처리한 영상이나 UI부(120)에서 생성한 가상입력장치 UI를 시청자가 볼 수 있도록 표시할 수 있다. 디스플레이부(160)는 주사된 복수의 수평 주사 라인이 수직으로 배열됨으로써 하나의 정지영상 프레임을 표시할 수 있다. 디스플레이부(160)는 상기 영상을 표시하는 디스플레이패널(미도시)을 포함하며, 상기 디스플레이패널(미도시)은, 액정층을 포함하는 액정패널 또는 유기물로 구성된 발광층을 포함하는 유기발광패널, 플라즈마 표시패널 등을 포함할 수 있다. 디스플레이부(160)는 플렉시블 패널을 포함할 수 있다.
음성출력부(170)는 스피커로 구현될 수 있으며, 음성처리부(미도시)에서 처리된 음성신호를 소리로 출력할 수 있다. 음성처리부는 상기 움직임 산출부(150)에서 산출한 손가락 움직임에 대응하는 음성신호를 상기 저장부(110)에서 수신하여 음성출력부(170)에서 출력 가능한 신호로 처리할 수 있다. 음성출력부(170)는 상기 움직임 산출부(150)에서 산출한 손가락 움직임을 기초로 하여, 상기 사용자의 손가락 움직임에 따른 가상입력장치의 조작음, 기능실행내용을 설명하는 음성, 상기 사용자의 손가락이 위치하는 가상입력장치의 기능버튼의 명칭을 설명하는 음성을 출력할 수 있다.
본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 방법을 디스플레이장치(TV)를 예로 들어 설명하면 다음과 같다.
도 3에 나타낸 바와 같이, TV사용자가 TV 시청 중 리모컨을 쥐는(Grip) 제스처를 취하면, 카메라에서 TV사용자의 제스처를 촬영하여 인식한다. 이때, 인식된 사용자의 리모컨을 쥐는 제스처를 저장부(110)의 제스처 별 템플릿(Template)에 미리 정의된 제스처와 비교하고, 일치하는 제스처에 대한 입력장치로서 가상 리모컨 UI(164)를 디스플레이부(160)에 표시한다. 제스처 별 입력장치에 대한 가상 UI의 맵핑은 리모컨, 키보드, 마우스 사용시 사용자 제스처의 일반적인 특징에 기반한다. 예를 들어, 도 2에 나타낸 바와 같이, 키보드 타이핑할 때와 같이 양손을 펼친 제스처는 키보드, 마우스를 감싸고 검지를 구부린 제스처는 마우스, 리모컨을 받쳐 들고 엄지 손가락을 살짝 든 제스처는 리모컨 표시로 맵핑한다.
또한, 사용자가 리모컨을 쥐는 제스처를 취하면, 사용자의 편의를 위해 일반식 및 터치식 가상 리모컨 중 사용자의 선호도에 따라 선택할 수 있도록 두 가지 방식의 가상리모컨을 표시할 수 있다. 이후 사용자가 엄지손가락을 움직이는 제스처를 취하면 일반식 리모컨을, 터치방식을 이용할 때 주로 사용하는 검지손가락 제스처를 취하면 터치식 리모컨을 최종적으로 표시할 수 있다. 물론 이때 그립 제스처 단계 없이 바로 손가락 제스처 인식을 통해 가상 리모컨 UI 표시 단계를 축소하는 것도 가능하다.
또한 사용자가 자신이 실물 리모컨을 쥘 때의 손 모양을 저장부(110)에 추가적으로 등록하여 사용자의 그립 제스처 인식률을 높일 수 있다. 특히, 가상리모컨은 하프톤(Half tone)으로 표시될 수 있으며, 그립 및 손가락 제스처가 인식되어 표시된 후 시간이 지날수록 사용자의 제스처 또는 손가락의 움직임에 새로운 정보가 추가적으로 획득되는 것이 없을 때에는 투명도가 점점 엷어져 일정시간 이후에는 화면에서 사라지도록 설계할 수 있다.
도 4에 나타낸 바와 같이, 가상 리모컨이 화면에 표시된 후에는 사용자의 손가락 움직임을 감지하여 가상 리모컨 UI 상에 감지된 손가락의 위치를 표시할 수 있다. 이와 같이, 감지된 손가락의 위치를 표시하면, 사용자가 TV화면의 가상 리모컨을 보면서 리모컨의 버튼을 누르기 위한 손가락 움직임 량을 조절할 수 있도록 도와 줄 수 있다.
또한, 가상리모컨을 TV화면 표시한 후, 사용자가 가상리모컨의 버튼을 터치 또는 누르는 제스처를 취하면 이에 따른 효과음을 발생하도록 하여 사용자가 실제 자신의 제스처가 가상리모컨의 버튼을 조작하는 느낌이 들도록 할 수 있다. 물론, 필요에 따라 사용자는 자신이 원하는 효과음을 편집할 수도 있고, 기본적으로 설정될 수도 있다.
만약 사용자의 얼굴방향이나 시선을 인식한 결과, 가상 리모컨 이용자가 카메라에 의해 TV 화면을 직접적으로 보지 않는 상태로 인식된 상황이라면, 사용자가 가상리모컨을 이용하고자 화면상에 표시한 후 가상 리모컨을 조작하는 손가락 움직임을 취할 경우 손가락이 위치한 버튼의 이름을 음성으로 자동 안내하는 기능이 자동 활성화되도록 하여 직접 가상 리모컨을 보지 않고도 리모컨을 편리하게 사용할 수 있도록 할 수 있다. 즉, 손가락움직임과 얼굴방향 및 시선의 TV 주시 여부는 동시 검출/분석할 수 있다.
단, 손가락 움직임은 연속 프레임의 데이터를 이용하고, 얼굴방향 및 시선의 TV 화면 주시 여부는 옵션에 따라 연속 또는 비연속 프레임의 데이터를 기반으로 판단할 수 있다. 이는 시각 장애인의 경우 얼굴방향은 TV를 향하더라도 시선의 TV 화면 주시와 일치하지 않을 수 있기 때문이다. TV 화면의 주시 여부는 적외선 카메라를 이용 획득된 데이터를 기반으로 판단한다.
또한, 사용자가 일시적으로 움직이면 TV화면에 표시된 가상 리모컨상의 손가락 위치 및 제스처가 변화할 수 있다. 이때, 사용자가 가상 리모컨을 표시한 상태에서 다시 리모컨을 조작하는 제스처를 취하더라도, 초기 표시된 손가락의 위치와 다른 손가락 위치로 인식되어 오동작을 일으킬 수 있다. 따라서, 만약 사용자의 얼굴방향이나 시선을 인식한 결과, 가상 리모컨 이용자가 카메라에 의해 TV 화면을 직접적으로 보지 않는 상태로 인식되면, 초기 표시된 손가락의 위치를 리셋하고, 다시 시선이 정면으로 돌아온 후의 손가락 위치로 설정할 수 있다.
도 4는 초기 가상리모컨(162)을 이용하여 사용자가 선호하는 가상리모컨(164)으로 편집하는 예를 도시한 것이다. 사용자는 리모컨의 특정 기능을 수행하는 버튼, 예를 들면 음성대화형 마이크 버튼을 사용자만의 간편 제스처로 등록하고자 할 때에는 화면상에 표시된 가상 리모컨 내 해당 버튼 위에서 더블 클릭을 하면 그 버튼을 대신해 사용할 제스처 등록화면으로 이동되어, 사용자 별 자신이 선호하는 자신만의 간편 제스처를 등록/삭제하여 이용할 수 있다. 또한 사용자 별로 등록되어 있는 간편 제스처는 즐겨찾기 제스처 기능을 통해 등록된 목록을 확인 후 가상 리모컨을 통해 선택 후 사용할 수도 있다. 또한 사용자 별로 자신이 자주 사용하는 리모컨 버튼만 남기고 나머지 버튼들은 가상리모컨내의 휴지통 기능을 이용하여 드래그 앤 드롭(Drag & Drop)으로 숨기거나 필요 시 다시 꺼내어 표시할 수 있다. 결과적으로 사용자가 필요로 하는 버튼만을 가진 사용자 등록 가상리모컨은 직관성이 좋아 사용상 편리하다. 특히 사용자는 가상리모컨 버튼의 수, 위치, 버튼의 크기도 사용자 취향 및 시력에 따라 확대/축소 조정하여 설정할 수 있다.
또한 '초기설정(Home)'버튼을 두어 TV 출시 때의 리모컨의 초기 모습대로 표시하는 것도 가능하다. 또한 TV OSD메뉴의 세부 기능을 가상 리모컨의 임의 버튼에 단축키 형태로 지정하여, 더블 클릭 제스처를 통해 TV OSD 메뉴의 세부 기능을 실행할 수도 있다.
이하 도 5를 참조하여 본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 방법을 상세히 설명하면 다음과 같다.
단계 S210, 사전에 사용자의 제스처 별로 다른 가상입력장치를 연계(매핑)시킨 템플릿을 저장부에 저장한다. 물론, 저장부(110)에는 사용자의 제스처 별로 가상입력장치의 템플릿 이외에도, 가상입력장치 UI의 버튼 명칭이나 버튼 기능을 설명하는 음성데이터, 제스처에 의해 실행되는 실행내용을 설명하는 음성데이터, 가상입력장치 UI의 버튼 조작음 등을 사전에 저장될 수 있다.
단계 S220에서, 카메라(130)를 이용하여 사용자의 제스처, 얼굴방향, 시선을 촬영한다.
단계 S230에서, 카메라(130)에 의해 촬영된 사용자 제스처를 저장부(110)의 템플릿에 등록된 사용자 제스처들과 비교한다.
단계 S240에서, 상기 비교결과 매칭되는 사용자 제스처에 해당하는 가상입력장치의 UI를 표시한다.
단계 S250에서, 사용자의 손가락 움직임 및 시선을 인식한다.
단계 S260에서, 사용자의 손가락 위치를 표시된 가상입력장치의 UI 상에 예를 들면 손가락 모양의 포인터로 나타낸다. 이후 사용자는 손가락을 움직여 가상리모컨의 UI를 이용하여 원하는 버튼을 제스처에 의해 클릭 또는 터치하여 명령을 입력할 수 있다.
단계 S270에서, 사용자의 시선이 TV화면을 벗어나면 포인터에 위치한 소정의 버튼 기능이나 명칭을 설명하는 음성모드로 자동 변화되어 사전에 정해진 음성출력을 한다. 물론, 시선과 상관없이 사전에 항상 음성 설명을 수행하도록 설정할 수도 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.
100: 디스플레이장치
110: 저장부
120: UI부
130: 카메라
140: 제어부
150: 움직임 산출부
160: 디스플레이부
170: 음성출력부

Claims (22)

  1. 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치에 있어서,
    영상을 표시하는 디스플레이부;
    사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 저장부;
    상기 가상입력장치의 사용자 인터페이스(UI)를 생성하는 사용자 인터페이스(UI)부;
    사용자의 제스처를 촬영하는 카메라; 및
    상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 등록된 사용자 제스처와 비교하고, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 사용자 인터페이스(UI)를 상기 디스플레이부에 표시하도록 사용자 인터페이스(UI)부를 제어하는 제어부를 포함하는 디스플레이장치.
  2. 제 1항에 있어서,
    상기 가상입력장치는 리모컨, 터치리모컨, 키보드, 마우스를 포함하는 것을 특징으로 하는 장치.
  3. 제 1항에 있어서,
    상기 사용자 제스처는 실물 입력장치의 그립(grip) 제스처를 포함하는 것을 특징으로 하는 장치.
  4. 제 1항에 있어서,
    상기 표시된 가상입력장치 UI를 동작하기 위해 사용자의 손가락 움직임 및 사용자의 얼굴방향이나 시선을 인식하는 움직임 산출부를 더 포함하는 것을 특징으로 장치.
  5. 제 4항에 있어서,
    상기 제어부는 상기 움직임 산출부에서 산출한 사용자의 손가락 움직임을 기초로 포인터를 상기 가상입력장치의 UI상에 표시하는 것을 특징으로 하는 장치.
  6. 제 4항에 있어서,
    상기 움직임 산출부는 상기 사용자 손가락의 이동방향 파악, 이동량 파악, 위치 파악, 및 실제 손가락에 대한 가상입력장치 UI 상의 포인터의 크기 환산을 수행하는 것을 특징으로 하는 장치.
  7. 제 4항에 있어서,
    상기 저장부는 상기 사용자의 손가락 움직임에 따른 가상입력장치의 조작음, 기능실행내용을 설명하는 음성, 상기 사용자의 손가락이 위치하는 가상입력장치의 기능버튼의 명칭을 설명하는 음성 중 적어도 하나를 저장하는 것을 특징으로 하는 장치.
  8. 제 4항에 있어서,
    상기 움직임 산출부는 소정 시간 내 시선인식 데이터의 산포 및 집중도의 사전 정의된 임계(threshold)값과의 비교를 기초로 사용자의 주시 여부를 판단하는 것을 특징으로 하는 장치.
  9. 제 8항에 있어서,
    상기 제어부는 사용자가 시선이 '비주시'상태로 판단되면 사용자의 이전 손가락 위치를 리셋하는 것을 특징으로 하는 장치.
  10. 제 8항에 있어서,
    상기 제어부는 사용자가 시선이 '비주시'상태로 판단되면 음성 안내모드로 전환하는 것을 특징으로 하는 장치.
  11. 제 1항에 있어서,
    상기 제어부는 사용자 명령에 따라 상기 가상입력장치의 UI 상의 기능 버튼을 삭제, 추가, 변경하는 것을 특징으로 하는 장치.
  12. 동작인식을 기초로 가상입력장치의 UI를 표시하는 방법에 있어서,
    사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 단계;
    사용자의 제스처를 촬영하는 단계;
    상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 등록된 사용자 제스처와 비교하는 단계;
    상기 비교 결과, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 UI를 표시하는 단계를 포함하는 방법.
  13. 제 12항에 있어서,
    상기 가상입력장치는 리모컨, 터치리모컨, 키보드, 마우스를 포함하는 것을 특징으로 하는 방법.
  14. 제 12항에 있어서,
    상기 사용자 제스처는 실물 입력장치의 그립(grip) 제스처를 포함하는 것을 특징으로 하는 방법.
  15. 제 12항에 있어서,
    상기 표시된 가상입력장치 UI를 동작하기 위해 사용자의 손가락 움직임 및 사용자의 얼굴방향이나 시선을 인식하는 단계를 더 포함하는 것을 특징으로 방법.
  16. 제 15항에 있어서,
    상기 인식한 사용자의 손가락 움직임을 기초로 포인터를 상기 가상입력장의 UI상에 표시하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제 15항에 있어서,
    상기 인식단계는 상기 사용자 손가락의 이동방향 파악, 이동량 파악, 위치 파악, 및 실제 손가락에 대한 가상입력장치 UI의 포인터의 크기 환산을 수행하는 것을 특징으로 하는 방법.
  18. 제 15항에 있어서,
    상기 사용자의 손가락 움직임에 따른 가상입력장치의 조작음, 기능실행내용을 설명하는 음성, 상기 사용자의 손가락이 위치하는 가상입력장치의 기능버튼의 명칭을 설명하는 음성 중 적어도 하나를 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  19. 제 15항에 있어서,
    사용자의 얼굴방향이나 시선을 인식하는 단계는 소정 시간 내 시선인식 데이터의 산포 및 집중도의 사전 정의된 임계(threshold)값과의 비교를 기초로 사용자의 주시 여부를 판단하는 것을 특징으로 하는 방법.
  20. 제 19항에 있어서,
    사용자의 시선이 '비주시'상태로 판단되면 사용자의 이전 손가락 위치를 리셋하는 것을 특징으로 하는 방법.
  21. 제 19항에 있어서,
    사용자의 시선이 '비주시'상태로 판단되면 음성 안내모드로 자동 전환하는 것을 특징으로 하는 방법.
  22. 제 12항에 있어서,
    사용자 명령에 따라 상기 가상입력장치의 UI 상의 기능 버튼을 삭제, 추가, 변경하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020130160998A 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 KR20150073378A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130160998A KR20150073378A (ko) 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US14/317,993 US9965039B2 (en) 2013-12-23 2014-06-27 Device and method for displaying user interface of virtual input device based on motion recognition
PCT/KR2014/011206 WO2015099293A1 (en) 2013-12-23 2014-11-20 Device and method for displaying user interface of virtual input device based on motion recognition
CN201480065542.5A CN105814522B (zh) 2013-12-23 2014-11-20 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
KR1020210008763A KR102480568B1 (ko) 2013-12-23 2021-01-21 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130160998A KR20150073378A (ko) 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210008763A Division KR102480568B1 (ko) 2013-12-23 2021-01-21 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150073378A true KR20150073378A (ko) 2015-07-01

Family

ID=53399983

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160998A KR20150073378A (ko) 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Country Status (4)

Country Link
US (1) US9965039B2 (ko)
KR (1) KR20150073378A (ko)
CN (1) CN105814522B (ko)
WO (1) WO2015099293A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200019426A (ko) * 2018-08-14 2020-02-24 강태호 스마트 터치패드 인터페이스 방법 및 그 장치
WO2023003420A1 (ko) * 2021-07-23 2023-01-26 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023113204A1 (ko) * 2021-12-13 2023-06-22 삼성전자 주식회사 기능 자동 실행 과정에서 가변형 ui와 사용자 반응을 활용한 기능 실행 및 취소 방법 및 그 장치

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6529221B2 (ja) * 2014-05-14 2019-06-12 キヤノン株式会社 光電変換装置及びその製造方法
US9052798B1 (en) * 2014-07-30 2015-06-09 Rally Health, Inc. Media, systems, and methods for game-based exercise tracking with virtual world variations
US10191553B2 (en) * 2015-03-12 2019-01-29 Dell Products, L.P. User interaction with information handling systems using physical objects
US11194398B2 (en) * 2015-09-26 2021-12-07 Intel Corporation Technologies for adaptive rendering using 3D sensors
CN106022052B (zh) * 2016-05-26 2017-07-21 哈尔滨商业大学 一种用于服务器的电子邮件发送方法
US9785250B1 (en) * 2017-05-15 2017-10-10 Newtonoid Technologies, L.L.C. Intelligent gesture based security system and method
RU2020108431A (ru) * 2017-07-31 2021-09-02 Дриссен Аэроспейс Груп Н.В. Виртуальное устройство и система управления
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US10824244B2 (en) * 2018-11-19 2020-11-03 Facebook Technologies, Llc Systems and methods for transitioning between modes of tracking real-world objects for artificial reality interfaces
US11379016B2 (en) 2019-05-23 2022-07-05 Intel Corporation Methods and apparatus to operate closed-lid portable computers
US11543873B2 (en) 2019-09-27 2023-01-03 Intel Corporation Wake-on-touch display screen devices and related methods
US11733761B2 (en) 2019-11-11 2023-08-22 Intel Corporation Methods and apparatus to manage power and performance of computing devices based on user presence
US11809535B2 (en) 2019-12-23 2023-11-07 Intel Corporation Systems and methods for multi-modal user device authentication
US11360528B2 (en) 2019-12-27 2022-06-14 Intel Corporation Apparatus and methods for thermal management of electronic user devices based on user activity
CN113515190A (zh) * 2021-05-06 2021-10-19 广东魅视科技股份有限公司 一种基于人体手势的鼠标功能实现方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990011180A (ko) * 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
JP2004349915A (ja) 2003-05-21 2004-12-09 Matsushita Electric Ind Co Ltd リモートコントロール装置
JP2004356819A (ja) 2003-05-28 2004-12-16 Sharp Corp リモート操作装置
KR100778757B1 (ko) 2006-03-03 2007-11-23 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
US7921370B1 (en) * 2006-11-29 2011-04-05 Adobe Systems Incorporated Object-level text-condition indicators
US8667412B2 (en) * 2007-09-06 2014-03-04 Google Inc. Dynamic virtual input device configuration
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
TWI398818B (zh) 2009-06-30 2013-06-11 Univ Nat Taiwan Science Tech 手勢辨識方法與系統
US8552850B2 (en) * 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
KR101134245B1 (ko) 2010-05-28 2012-04-09 엘지이노텍 주식회사 3차원 가상 리모콘을 포함한 전자기기 및 그의 구동 방법
KR101896947B1 (ko) 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
JP2012248067A (ja) * 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
US8947351B1 (en) * 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
TWI540461B (zh) 2011-12-05 2016-07-01 緯創資通股份有限公司 手勢輸入的方法及系統
WO2013094371A1 (ja) * 2011-12-22 2013-06-27 ソニー株式会社 表示制御装置、表示制御方法およびコンピュータプログラム
US20130234929A1 (en) * 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
WO2013144807A1 (en) 2012-03-26 2013-10-03 Primesense Ltd. Enhanced virtual touchpad and touchscreen
US20130275924A1 (en) * 2012-04-16 2013-10-17 Nuance Communications, Inc. Low-attention gestural user interface
TWI497347B (zh) * 2012-05-09 2015-08-21 Hung Ta Liu 以手勢為輸入之控制系統
US9752887B2 (en) * 2012-10-18 2017-09-05 Telenav, Inc. Navigation system having context enabled navigation mechanism and method of operation thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200019426A (ko) * 2018-08-14 2020-02-24 강태호 스마트 터치패드 인터페이스 방법 및 그 장치
WO2023003420A1 (ko) * 2021-07-23 2023-01-26 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2023113204A1 (ko) * 2021-12-13 2023-06-22 삼성전자 주식회사 기능 자동 실행 과정에서 가변형 ui와 사용자 반응을 활용한 기능 실행 및 취소 방법 및 그 장치

Also Published As

Publication number Publication date
US9965039B2 (en) 2018-05-08
WO2015099293A1 (en) 2015-07-02
US20150177843A1 (en) 2015-06-25
CN105814522B (zh) 2020-01-31
CN105814522A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
KR20150073378A (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
US11967039B2 (en) Automatic cropping of video content
US11962889B2 (en) User interface for camera effects
US11711614B2 (en) Digital viewfinder user interface for multiple cameras
US11301129B2 (en) Device, method, and graphical user interface for moving user interface objects
US20220382440A1 (en) User interfaces for managing media styles
AU2024200812A1 (en) Column interface for navigating in a user interface
KR20230006421A (ko) 디스플레이 장치 및 그 제어 방법
US10353550B2 (en) Device, method, and graphical user interface for media playback in an accessibility mode
TWI646526B (zh) 子畫面佈局控制方法和裝置
US9930287B2 (en) Virtual noticeboard user interaction
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
WO2023245373A1 (zh) 电子显示设备及其显示控制方法、装置，存储介质
JP2019125024A (ja) 電子機器、情報処理方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination
A107 Divisional application of patent