KR20210011046A - 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 - Google Patents

동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 Download PDF

Info

Publication number
KR20210011046A
KR20210011046A KR1020210008763A KR20210008763A KR20210011046A KR 20210011046 A KR20210011046 A KR 20210011046A KR 1020210008763 A KR1020210008763 A KR 1020210008763A KR 20210008763 A KR20210008763 A KR 20210008763A KR 20210011046 A KR20210011046 A KR 20210011046A
Authority
KR
South Korea
Prior art keywords
input device
user
gesture
virtual input
finger
Prior art date
Application number
KR1020210008763A
Other languages
English (en)
Other versions
KR102480568B1 (ko
Inventor
권오윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130160998A external-priority patent/KR20150073378A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210008763A priority Critical patent/KR102480568B1/ko
Publication of KR20210011046A publication Critical patent/KR20210011046A/ko
Application granted granted Critical
Publication of KR102480568B1 publication Critical patent/KR102480568B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 사용자의 제스처에 대한 동작인식을 통해 사용자가 원하는 가상입력장치의 UI를 표시할 수 있는 장치에 관한 것이다. 본 발명의 디스플레이장치는, 영상을 표시하는 디스플레이부, 사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 저장부, 상기 가상입력장치의 사용자 인터페이스(UI)를 생성하는 사용자 인터페이스(UI)부, 사용자의 제스처를 촬영하는 카메라 및 상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 저장된 사용자 제스처와 비교하고, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 사용자 인터페이스(UI)를 상기 디스플레이부에 표시하도록 사용자 인터페이스(UI)부를 제어하는 제어부를 포함하여 구성할 수 있다.

Description

동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치 및 방법{A DEVICE AND METHOD FOR DISPLAYING A USER INTERFACE(UI) OF VIRTUAL INPUT DEVICE BASED ON MOTION ROCOGNITION}
본 발명은 디스플레이장치 및 동작인식을 기반으로 하는 가상 입력장치를 표시하는 방법, 더욱 상세하게는 사용자의 제스처에 따른 가상 입력장치를 템플릿화함으로써 사용자의 제스처를 인식하여 특정 가상 입력장치를 표시하고 조작하는 디스플레이장치에 관한 것이다.
최근 사용자의 동작을 인식하고, 인식된 동작에 특정 명령을 연동하여 실행할 수 있도록 한 제스처 인식을 이용한 명령입력장치가 개발되고 있다.
종래의 제스처 인식을 이용한 명령입력방법으로는 사용자가 음성입력 또는 리모컨을 통하여 가상입력장치를 표시한 후에, 사용자 제스처를 인식하여 명령을 입력하는 방법이 한국공개특허 10-2012-0096849호에 개시되어 있다.
이와 같은 종래의 제스처를 이용한 명령입력방법은 기본적으로 가상입력장치를 표시하기 위해서 음성음식기술을 이용하거나, 실제 리모컨과 같은 입력장치를 이용하여 가상입력모드로 전환한 후에, 카메라를 통한 제스처 인식으로 사용자 명령을 입력할 수 있다.
일반적으로 사용자는 간편한 입력을 통한 명령 입력을 선호한다. 이에 반해, 종래의 제스처를 이용한 명령입력방법은 제스처 인식기술 적용을 위해 음성인식기술을 추가 적용하는 것은 복잡한 기술적 솔루션을 필요로 하며, 실물 입력장치, 예를 들면 리모컨을 찾지 못한 환경에서 음성인식기술이 적용되지 않는 경우 매우 곤란한 상황을 초래할 수 있다.
본 발명의 목적은 상술한 종래의 문제를 해결하기 위한 것으로, 제스처 인식만으로 다양한 가상입력장치의 사용자 인터페이스(UI)를 표시할 수 있을 뿐만 아니라 손가락 움직임을 인식하여 표시된 가상입력장치의 사용자 인터페이스(UI)를 통해 사용자 명령을 입력할 수 있는, 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 목적은 일시적으로 사용자의 시선이 화면을 벗어난 후에 다시 시선이 원위치로 돌아왔을 때 사용자의 손가락 위치가 변했더라도 표시된 가상입력장치에 대한 손가락 위치를 리셋하여 사용자 명령 입력을 일관성 있게 제공할 수 있는 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 시각장애자나 사용자의 시선이 벗어난 경우에도 사용자의 명령 입력 편의성을 위해 음성안내를 지원할 수 있는 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 목적은 사용자가 표시된 가상입력장치의 사용자 인터페이스(UI)를 통해 입력할 때 실물 입력장치의 조작 시 발생하는 조작음과 유사한 효과음을 발생할 수 있는, 동작인식을 기반으로 하는 가상 입력장치 UI를 표시하는 방법 및 장치를 제공함에 있다.
상술한 본 발명의 과제를 해결하기 위한 일 실시예에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치는, 영상을 표시하는 디스플레이부, 사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 저장부, 상기 가상입력장치의 사용자 인터페이스(UI)를 생성하는 사용자 인터페이스(UI)부, 사용자의 제스처를 촬영하는 카메라 및 상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 등록된 사용자 제스처와 비교하고, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 사용자 인터페이스(UI)를 상기 디스플레이부에 표시하도록 사용자 인터페이스(UI)부를 제어하는 제어부를 포함하여 구성할 수 있다.
상기 가상입력장치는 리모컨, 터치리모컨, 키보드, 마우스를 포함할 수 있다.
상기 사용자 제스처는 실물 입력장치의 그립(grip) 제스처를 포함할 수 있다.
상기 장치는 상기 표시된 가상입력장치 UI를 동작하기 위해 사용자의 손가락 움직임 및 사용자의 얼굴방향이나 시선을 인식하는 움직임 산출부를 더 포함할 수 있다.
상기 제어부는 상기 움직임 산출부에서 산출한 사용자의 손가락 움직임을 기초로 포인터를 상기 가상입력장치의 UI상에 표시할 수 있다.
상기 움직임 산출부는 상기 사용자 손가락의 이동방향 파악, 이동량 파악, 위치 파악, 및 실제 손가락에 대한 가상입력장치 UI의 포인터의 크기 환산을 수행할 수 있다.
상기 저장부는 상기 사용자의 손가락 움직임에 따른 가상입력장치의 조작음, 기능실행내용을 설명하는 음성, 상기 사용자의 손가락이 위치하는 가상입력장치의 기능버튼의 명칭을 설명하는 음성 중 적어도 하나를 저장할 수 있다.
상기 움직임 산출부는 소정 시간 내 시선인식 데이터의 산포 및 집중도의 사전 정의된 임계(threshold)값과의 비교를 기초로 사용자의 주시 여부를 판단할 수 있다.
상기 제어부는 사용자의 시선이 '비주시'상태로 판단되면 사용자의 이전 손가락 위치를 리셋할 수 있다.
상기 제어부는 사용자의 시선이 '비주시'상태로 판단되면 음성 안내모드로 전환할 수 있다.
상기 제어부는 사용자 명령에 따라 상기 가상입력장치의 UI 상의 기능 버튼을 삭제, 추가, 변경할 수 있다.
본 발명의 일 실시예에 따른 동작인식을 기초로 가상입력장치의 UI를 표시하는 방법은, 사용자의 제스처 별로 다른 가상입력장치를 연계시킨 템플릿을 저장하는 단계, 사용자의 제스처를 촬영하는 단계, 상기 촬영한 사용자의 제스처를 상기 저장부의 템플릿에 등록된 사용자 제스처와 비교하는 단계, 상기 비교 결과, 매칭되는 사용자 제스처에 해당하는 가상입력장치의 UI를 표시하는 단계를 포함하여 구성할 수 있다.
본 발명에 의하면, 사용자는 제스처만으로 간단히 다양한 가상입력장치의 사용자 인터페이스(UI)를 표시할 수 있다.
또한 사용자는 자신만의 가상입력장치의 사용자 인터페이스를 등록하여 사용할 수 있어 사용이 편리하다.
또한, 시각장애자나 사용자의 시선이 정면을 벗어난 경우에도 음성 안내를 함께 수행함으로써 사용자는 보다 편리하게 가상입력장치의 사용자 인터페이스를 이용할 수 있다.
또한 사용자가 표시된 가상입력장치의 사용자 인터페이스를 이용하다가 환경 변화가 발생하더라도 가상입력장치의 사용자 인터페이스의 명령입력의 일관성을 유지시켜 줄 수 있다.
또한, 사용자는 디스플레이부에 표시된 가상입력장치의 사용자 인터페이스를 제스처를 통해 이용하더라도 실물 입력장치를 이용하는 것과 같은 효과음을 제공할 수 있다.
또한, 소프트웨어 기반 가상입력장치의 사용자 인터페이스를 적용할 수 있어 신기능 추가에 대한 업데이트를 편리하게 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치를 나타내는 블록도,
도 2는 사용자 제스처와 가상입력장치를 연계시킨 템플릿을 나타내는 도,
도 3은 본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치의 사용 상태를 나타내는 도,
도 4는 본 발명에 따라 표시된 가상 입력장치의 사용자 인터페이스(UI)의 편집을 설명하기 위한 도, 및
도 5는 본 발명의 실시예에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 방법을 나타내는 흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 이하 실시예에서는 본 발명의 사상과 직접적인 관련이 있는 구성들에 관해서만 설명하며, 그 외의 구성에 관해서는 설명을 생략한다. 그러나, 본 발명의 사상이 적용된 장치 또는 시스템을 구현함에 있어서, 이와 같이 설명이 생략된 구성이 불필요함을 의미하는 것이 아님을 밝힌다. 도면에 표현된 동일한 참조 번호는 동일한 구성 요소를 나타낸다.
본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 장치(100)는 카메라가 장착된 텔레비전(TV), 퍼스널 컴퓨터(PC), 스마트폰, 노트북, PDA, 게임기 등으로 구현될 수 있으며, 이하 간략히 '디스플레이장치'라 칭한다.
도 1에 나타낸 바와 같이, 본 발명에 따른 디스플레이장치(100)는 저장부(110), 사용자 인터페이스(UI)부(120), 카메라(130), 제어부(140), 디스플레이부(160) 및 음성출력부(170)를 포함할 수 있다. 디스플레이장치(100)는 상술한 구성요소들 이외에도 튜너를 포함하는 영상수신부(미도시), 유무선 통신부(미도시), 타이밍제어부(미도시), 영상처리부(미도시), 음성처리부(미도시) 등 더 많은 구성요소들을 포함할 수 있으며, 간략한 설명을 위해 생략한다.
저장부(110)는 예를 들면 사용자 제스처와 연계시킨 가상입력장치의 템플릿(template) DB, 사용자 개인정보 DB, 손가락 움직임에 따른 음향효과 DB, 가상 입력장치 UI 상의 버튼 명칭 설명 음성DB, 손가락 움직임에 따라 입력된 명령 실행 내용 설명 음성DB 등이 사전 저장될 수 있다. 물론, 저장부(110)는 상기 열거한 데이터 이외에 영상데이터, 그래픽데이터, OS(운영체제) 등의 다양한 정보를 포함할 수 있다.
도 2는 사용자 제스처와 연계시킨 가상입력장치의 템플릿(template)을 나타낸 도로서, 사용자의 제스처가 양손으로 키보드 타이핑 제스처이면, 가상키보드를, 한 손으로 마우스를 쥐는(grip) 제스처이면 가상 마우스를, 한 손으로 리모컨을 쥐는(grip) 제스처이면 리모컨을 연계시켜 템플릿으로 구성한 예를 나타낸다.
사용자 개인정보 DB는 사용자 별로 자주 사용하는 버튼의 구성으로 된 가상입력장치를 등록하여 저장한 것이다. 사용자는 최초에 기본으로 구성된 가상입력 장치의 사용자 인터페이스(UI)를 편집하여 불필요한 버튼은 드래그 앤 드롭으로 삭제하거나, 필요한 버튼은 추가하여 저장할 수 있다.
손가락 움직임에 따른 음향효과 DB는 손가락의 움직임을 인식하여 가상키보드의 경우 타이핑음, 가상마우스의 경우 클릭음, 가상리모컨의 버튼 터치음을 사용자 설정 또는 기본으로 저장할 수 있다.
가상 입력장치 UI 상의 버튼 명칭 설명 음성DB은 각 가상입력장치 UI의 버튼에 사용자의 손가락이 위치하였을 때 위치된 버튼의 명칭을 설명하는 음성을 저장할 수 있다. 예를 들면 사용자의 손가락 위치가 '녹화'버튼에 놓인 경우, '녹화버튼에 위치되었습니다'라는 메시지를 저장할 수 있다.
손가락 움직임에 따라 입력된 명령 실행 내용 설명 음성DB는 손가락 움직임에 따른 사용자 명령을 설명하는 음성을 저장할 수 있다. 예를 들면, 사용자만의 가상입력장치를 만들기 위해 ‘녹화’버튼을 해당 버튼을 드래그 앤 드롭하여 휴지통에 넣는 경우 ‘녹화 버튼을 삭제하기 위해 휴지통에 넣었습니다’라는 메시지를 사전에 정의하여 저장할 수 있다.
저장부(110)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
사용자 인터페이스(UI)부(120)는 인식한 사용자 제스처에 해당하는 가상입력장치 사용자 인터페이스를 생성하여 표시할 수 있다. 가상입력장치 사용자 인터페이스(UI)는 가상 키보드, 가상리모컨, 터치리모컨, 사상 마우스 등 다양한 버튼을 가진 사용자 입력이 가능한 이미지를 말한다. 사용자는 상기 버튼을 클릭, 더블클릭 또는 터치를 통해 해당 버튼이 가진 정해진 명령을 입력할 수 있다.
카메라(130)는 사용자의 손 동작(제스처), 얼굴, 눈을 촬영하여 영상을 생성할 수 있다. 카메라(130)는 웹캠(webcam), 팬 틸트(pan tilt) 카메라, 디지털카메라, 아날로그 카메라, 캠코더 등을 포함할 수 있다. 카메라(130)는 별도로 분리하여 설치될 수도 있고, 디스플레이장치(100)에 내장될 수도 있다. 카메라(130)는 정면에만 설치하거나, 여러 개를 사용하여 2D 또는 3D영상을 촬영할 수 있다.
제어부(140)는 디스플레이장치(100)의 각 구성요소, 예를 들면 저장부(110), 사용자 인터페이스(UI)부(120), 카메라(130), 디스플레이부(160) 및 음성출력부(170)를 제어할 수 있다.
제어부(110)는 카메라(130)에서 촬영한 사용자의 제스처 영상과 저장부(110)에 저장된 제스처를 비교하고, 매칭되는 제스처에 해당하는 가상입력장치 사용자 인터페이스(UI)를 생성하여 표시하도록 사용자 인터페이스(UI)부(120)를 제어할 수 있다.
제어부(140)는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors)를 포함할 수 있다.
움직임 산출부(150)는 카메라에서 촬영한 사용자의 영상을 기초로 사용자의 얼굴방향, 시선방향, 손가락의 움직임을 산출할 수 있다. 움직임 산출부(150)는 소정 시간 내 시선인식 데이터의 산포 및 집중도의 사전 정의된 임계(threshold)값과의 비교를 기초로 사용자의 주시 여부를 판단할 수 있다. 움직임 산출부(150)는 카메라(130)에서 촬영한 사용자 움직임(손가락 움직임)을 수신하여 해당 손가락의 위치, 손가락 이동량, 손가락 이동방향, 실제 손가락에 대한 가상입력장치 UI의 크기 환산을 수행할 수 있다. 제어부(140)는 상기 움직임 산출부(150)에서 산출한 손가락의 위치, 손가락 이동량, 손가락 이동방향, 실제 손가락에 대한 가상입력장치 UI의 크기 환산 값을 이용하여 다양한 명령을 실행할 수 있다. 움직임 산출부(150)는 소프트웨어, 프로그램 또는 소프트웨어를 포함하는 하드웨어로 구현될 수 있다.
디스플레이부(160)는 영상처리부(미도시)에서 처리한 영상이나 UI부(120)에서 생성한 가상입력장치 UI를 시청자가 볼 수 있도록 표시할 수 있다. 디스플레이부(160)는 주사된 복수의 수평 주사 라인이 수직으로 배열됨으로써 하나의 정지영상 프레임을 표시할 수 있다. 디스플레이부(160)는 상기 영상을 표시하는 디스플레이패널(미도시)을 포함하며, 상기 디스플레이패널(미도시)은, 액정층을 포함하는 액정패널 또는 유기물로 구성된 발광층을 포함하는 유기발광패널, 플라즈마 표시패널 등을 포함할 수 있다. 디스플레이부(160)는 플렉시블 패널을 포함할 수 있다.
음성출력부(170)는 스피커로 구현될 수 있으며, 음성처리부(미도시)에서 처리된 음성신호를 소리로 출력할 수 있다. 음성처리부는 상기 움직임 산출부(150)에서 산출한 손가락 움직임에 대응하는 음성신호를 상기 저장부(110)에서 수신하여 음성출력부(170)에서 출력 가능한 신호로 처리할 수 있다. 음성출력부(170)는 상기 움직임 산출부(150)에서 산출한 손가락 움직임을 기초로 하여, 상기 사용자의 손가락 움직임에 따른 가상입력장치의 조작음, 기능실행내용을 설명하는 음성, 상기 사용자의 손가락이 위치하는 가상입력장치의 기능버튼의 명칭을 설명하는 음성을 출력할 수 있다.
본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 방법을 디스플레이장치(TV)를 예로 들어 설명하면 다음과 같다.
도 3에 나타낸 바와 같이, TV사용자가 TV 시청 중 리모컨을 쥐는(Grip) 제스처를 취하면, 카메라에서 TV사용자의 제스처를 촬영하여 인식한다. 이때, 인식된 사용자의 리모컨을 쥐는 제스처를 저장부(110)의 제스처 별 템플릿(Template)에 미리 정의된 제스처와 비교하고, 일치하는 제스처에 대한 입력장치로서 가상 리모컨 UI(164)를 디스플레이부(160)에 표시한다. 제스처 별 입력장치에 대한 가상 UI의 맵핑은 리모컨, 키보드, 마우스 사용시 사용자 제스처의 일반적인 특징에 기반한다. 예를 들어, 도 2에 나타낸 바와 같이, 키보드 타이핑할 때와 같이 양손을 펼친 제스처는 키보드, 마우스를 감싸고 검지를 구부린 제스처는 마우스, 리모컨을 받쳐 들고 엄지 손가락을 살짝 든 제스처는 리모컨 표시로 맵핑한다.
또한, 사용자가 리모컨을 쥐는 제스처를 취하면, 사용자의 편의를 위해 일반식 및 터치식 가상 리모컨 중 사용자의 선호도에 따라 선택할 수 있도록 두 가지 방식의 가상리모컨을 표시할 수 있다. 이후 사용자가 엄지손가락을 움직이는 제스처를 취하면 일반식 리모컨을, 터치방식을 이용할 때 주로 사용하는 검지손가락 제스처를 취하면 터치식 리모컨을 최종적으로 표시할 수 있다. 물론 이때 그립 제스처 단계 없이 바로 손가락 제스처 인식을 통해 가상 리모컨 UI 표시 단계를 축소하는 것도 가능하다.
또한 사용자가 자신이 실물 리모컨을 쥘 때의 손 모양을 저장부(110)에 추가적으로 등록하여 사용자의 그립 제스처 인식률을 높일 수 있다. 특히, 가상리모컨은 하프톤(Half tone)으로 표시될 수 있으며, 그립 및 손가락 제스처가 인식되어 표시된 후 시간이 지날수록 사용자의 제스처 또는 손가락의 움직임에 새로운 정보가 추가적으로 획득되는 것이 없을 때에는 투명도가 점점 엷어져 일정시간 이후에는 화면에서 사라지도록 설계할 수 있다.
도 4에 나타낸 바와 같이, 가상 리모컨이 화면에 표시된 후에는 사용자의 손가락 움직임을 감지하여 가상 리모컨 UI 상에 감지된 손가락의 위치를 표시할 수 있다. 이와 같이, 감지된 손가락의 위치를 표시하면, 사용자가 TV화면의 가상 리모컨을 보면서 리모컨의 버튼을 누르기 위한 손가락 움직임 량을 조절할 수 있도록 도와 줄 수 있다.
또한, 가상리모컨을 TV화면 표시한 후, 사용자가 가상리모컨의 버튼을 터치 또는 누르는 제스처를 취하면 이에 따른 효과음을 발생하도록 하여 사용자가 실제 자신의 제스처가 가상리모컨의 버튼을 조작하는 느낌이 들도록 할 수 있다. 물론, 필요에 따라 사용자는 자신이 원하는 효과음을 편집할 수도 있고, 기본적으로 설정될 수도 있다.
만약 사용자의 얼굴방향이나 시선을 인식한 결과, 가상 리모컨 이용자가 카메라에 의해 TV 화면을 직접적으로 보지 않는 상태로 인식된 상황이라면, 사용자가 가상리모컨을 이용하고자 화면상에 표시한 후 가상 리모컨을 조작하는 손가락 움직임을 취할 경우 손가락이 위치한 버튼의 이름을 음성으로 자동 안내하는 기능이 자동 활성화되도록 하여 직접 가상 리모컨을 보지 않고도 리모컨을 편리하게 사용할 수 있도록 할 수 있다. 즉, 손가락움직임과 얼굴방향 및 시선의 TV 주시 여부는 동시 검출/분석할 수 있다.
단, 손가락 움직임은 연속 프레임의 데이터를 이용하고, 얼굴방향 및 시선의 TV 화면 주시 여부는 옵션에 따라 연속 또는 비연속 프레임의 데이터를 기반으로 판단할 수 있다. 이는 시각 장애인의 경우 얼굴방향은 TV를 향하더라도 시선의 TV 화면 주시와 일치하지 않을 수 있기 때문이다. TV 화면의 주시 여부는 적외선 카메라를 이용 획득된 데이터를 기반으로 판단한다.
또한, 사용자가 일시적으로 움직이면 TV화면에 표시된 가상 리모컨상의 손가락 위치 및 제스처가 변화할 수 있다. 이때, 사용자가 가상 리모컨을 표시한 상태에서 다시 리모컨을 조작하는 제스처를 취하더라도, 초기 표시된 손가락의 위치와 다른 손가락 위치로 인식되어 오동작을 일으킬 수 있다. 따라서, 만약 사용자의 얼굴방향이나 시선을 인식한 결과, 가상 리모컨 이용자가 카메라에 의해 TV 화면을 직접적으로 보지 않는 상태로 인식되면, 초기 표시된 손가락의 위치를 리셋하고, 다시 시선이 정면으로 돌아온 후의 손가락 위치로 설정할 수 있다.
도 4는 초기 가상리모컨(162)을 이용하여 사용자가 선호하는 가상리모컨(164)으로 편집하는 예를 도시한 것이다. 사용자는 리모컨의 특정 기능을 수행하는 버튼, 예를 들면 음성대화형 마이크 버튼을 사용자만의 간편 제스처로 등록하고자 할 때에는 화면상에 표시된 가상 리모컨 내 해당 버튼 위에서 더블 클릭을 하면 그 버튼을 대신해 사용할 제스처 등록화면으로 이동되어, 사용자 별 자신이 선호하는 자신만의 간편 제스처를 등록/삭제하여 이용할 수 있다. 또한 사용자 별로 등록되어 있는 간편 제스처는 즐겨찾기 제스처 기능을 통해 등록된 목록을 확인 후 가상 리모컨을 통해 선택 후 사용할 수도 있다. 또한 사용자 별로 자신이 자주 사용하는 리모컨 버튼만 남기고 나머지 버튼들은 가상리모컨내의 휴지통 기능을 이용하여 드래그 앤 드롭(Drag & Drop)으로 숨기거나 필요 시 다시 꺼내어 표시할 수 있다. 결과적으로 사용자가 필요로 하는 버튼만을 가진 사용자 등록 가상리모컨은 직관성이 좋아 사용상 편리하다. 특히 사용자는 가상리모컨 버튼의 수, 위치, 버튼의 크기도 사용자 취향 및 시력에 따라 확대/축소 조정하여 설정할 수 있다.
또한 '초기설정(Home)'버튼을 두어 TV 출시 때의 리모컨의 초기 모습대로 표시하는 것도 가능하다. 또한 TV OSD메뉴의 세부 기능을 가상 리모컨의 임의 버튼에 단축키 형태로 지정하여, 더블 클릭 제스처를 통해 TV OSD 메뉴의 세부 기능을 실행할 수도 있다.
이하 도 5를 참조하여 본 발명에 따른 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(UI)를 표시하는 방법을 상세히 설명하면 다음과 같다.
단계 S210, 사전에 사용자의 제스처 별로 다른 가상입력장치를 연계(매핑)시킨 템플릿을 저장부에 저장한다. 물론, 저장부(110)에는 사용자의 제스처 별로 가상입력장치의 템플릿 이외에도, 가상입력장치 UI의 버튼 명칭이나 버튼 기능을 설명하는 음성데이터, 제스처에 의해 실행되는 실행내용을 설명하는 음성데이터, 가상입력장치 UI의 버튼 조작음 등을 사전에 저장될 수 있다.
단계 S220에서, 카메라(130)를 이용하여 사용자의 제스처, 얼굴방향, 시선을 촬영한다.
단계 S230에서, 카메라(130)에 의해 촬영된 사용자 제스처를 저장부(110)의 템플릿에 등록된 사용자 제스처들과 비교한다.
단계 S240에서, 상기 비교결과 매칭되는 사용자 제스처에 해당하는 가상입력장치의 UI를 표시한다.
단계 S250에서, 사용자의 손가락 움직임 및 시선을 인식한다.
단계 S260에서, 사용자의 손가락 위치를 표시된 가상입력장치의 UI 상에 예를 들면 손가락 모양의 포인터로 나타낸다. 이후 사용자는 손가락을 움직여 가상리모컨의 UI를 이용하여 원하는 버튼을 제스처에 의해 클릭 또는 터치하여 명령을 입력할 수 있다.
단계 S270에서, 사용자의 시선이 TV화면을 벗어나면 포인터에 위치한 소정의 버튼 기능이나 명칭을 설명하는 음성모드로 자동 변화되어 사전에 정해진 음성출력을 한다. 물론, 시선과 상관없이 사전에 항상 음성 설명을 수행하도록 설정할 수도 있다.
상기한 실시예는 예시적인 것에 불과한 것으로, 당해 기술 분야의 통상의 지식을 가진 자라면 다양한 변형 및 균등한 타 실시예가 가능하다. 따라서, 본 발명의 진정한 기술적 보호범위는 하기의 특허청구범위에 기재된 발명의 기술적 사상에 의해 정해져야 할 것이다.
100: 디스플레이장치
110: 저장부
120: UI부
130: 카메라
140: 제어부
150: 움직임 산출부
160: 디스플레이부
170: 음성출력부

Claims (16)

  1. 디스플레이장치에 있어서,
    영상을 표시하는 디스플레이부와;
    카메라와;
    상기 카메라를 통해 획득된 이미지에 기초하여 사용자의 손에 대응하는 제스처를 식별하고,
    상기 식별된 제스처가 양손에 의한 제1제스처인 경우, 양손으로 입력 가능한 제1가상입력장치에 대응하는 제1 사용자 인터페이스(UI)를 표시하고, 상기 식별된 제스처가 한 손에 의한 제2제스처인 경우, 한 손으로 입력 가능한 제2가상입력장치에 대응하는 제2 UI를 표시하도록 상기 디스플레이부를 제어하는 제어부
    를 포함하는 디스플레이장치.
  2. 제 1항에 있어서,
    상기 제1가상입력장치는 키보드를 포함하고,
    상기 제2가상입력장치는 리모컨, 터치리모컨 또는 마우스 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이장치.
  3. 제 1항에 있어서,
    상기 제2제스처는 실물 입력장치의 그립(grip) 제스처를 포함하는 것을 특징으로 하는 디스플레이장치.
  4. 제 1항에 있어서,
    상기 제어부는, 상기 제1가상입력장치에 대응하는 제1 UI를 동작하기 위한 사용자의 손가락 움직임을 인식하는 것을 특징으로 하는 디스플레이장치.
  5. 제 4항에 있어서,
    상기 제어부는, 상기 손가락 움직임에 따라 상기 제1가상입력장치에 대응하는 제1 UI 상에서 포인터가 움직이도록 표시하는 것을 특징으로 하는 디스플레이장치.
  6. 제 5항에 있어서,
    상기 제어부는, 상기 손가락 움직임에 따른 손가락의 이동방향, 이동량 또는 위치 중 적어도 하나를 식별하는 것을 특징으로 하는 디스플레이장치.
  7. 제 4항에 있어서,
    저장부를 더 포함하고,
    상기 제어부는, 상기 손가락 움직임에 따른 상기 제1가상입력장치의 조작음, 기능실행내용을 설명하는 음성 또는 상기 제1가상입력장치의 기능버튼의 명칭을 설명하는 음성 중 적어도 하나를 상기 저장부에 저장하는 것을 특징으로 하는 디스플레이장치.
  8. 제 1항에 있어서,
    상기 제어부는, 상기 제1 또는 제2 제스처에 대응하는 사용자 명령에 따라 상기 제1 또는 제2 가상입력장치에 대응하는 제1 또는 제2 UI 상의 기능 버튼을 삭제, 추가 또는 변경하는 것을 특징으로 하는 디스플레이장치.
  9. 디스플레이장치의 제어방법에 있어서,
    획득된 이미지에 기초하여 사용자의 손에 대응하는 제스처를 식별하는 단계와;
    상기 식별된 제스처가 양손에 의한 제1제스처인 경우, 양손으로 입력 가능한 제1가상입력장치에 대응하는 제1 사용자 인터페이스(UI)를 표시하고, 상기 식별된 제스처가 한 손에 의한 제2제스처인 경우, 한 손으로 입력 가능한 제2가상입력장치에 대응하는 제2 UI를 표시하는 단계
    를 포함하는 디스플레이장치의 제어방법.
  10. 제 9항에 있어서,
    상기 제1가상입력장치는 키보드를 포함하고,
    상기 제2가상입력장치는 리모컨, 터치리모컨 또는 마우스 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  11. 제 9항에 있어서,
    상기 제2제스처는 실물 입력장치의 그립(grip) 제스처를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  12. 제 9항에 있어서,
    상기 사용자의 손에 대응하는 제스처를 식별하는 단계는, 상기 제1가상입력장치에 대응하는 제1 UI를 동작하기 위한 사용자의 손가락 움직임을 인식하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  13. 제 12항에 있어서,
    상기 사용자의 손가락 움직임을 인식하는 단계는, 상기 손가락 움직임에 따라 상기 제1가상입력장치에 대응하는 제1 UI 상에서 포인터가 움직이도록 표시하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  14. 제 13항에 있어서,
    상기 포인터가 움직이도록 표시하는 단계는, 상기 손가락 움직임에 따른 손가락의 이동방향, 이동량 또는 위치 중 적어도 하나를 식별하는 단계를 더 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  15. 제 12항에 있어서,
    상기 사용자의 손가락 움직임을 인식하는 단계는, 상기 손가락 움직임에 따른 상기 제1가상입력장치의 조작음, 기능실행내용을 설명하는 음성 또는 상기 제1가상입력장치의 기능버튼의 명칭을 설명하는 음성 중 적어도 하나를 저장하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
  16. 제 9항에 있어서,
    상기 제1 또는 제2 가상입력장치에 대응하는 제1 또는 제2 UI를 표시하는 단계는, 상기 제1 또는 제2 제스처에 대응하는 사용자 명령에 따라 상기 제1 또는 제2 가상입력장치에 대응하는 제1 또는 제2 UI 상의 기능 버튼을 삭제, 추가 또는 변경하는 단계를 포함하는 것을 특징으로 하는 디스플레이장치의 제어방법.
KR1020210008763A 2013-12-23 2021-01-21 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법 KR102480568B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210008763A KR102480568B1 (ko) 2013-12-23 2021-01-21 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130160998A KR20150073378A (ko) 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
KR1020210008763A KR102480568B1 (ko) 2013-12-23 2021-01-21 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130160998A Division KR20150073378A (ko) 2013-12-23 2013-12-23 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210011046A true KR20210011046A (ko) 2021-01-29
KR102480568B1 KR102480568B1 (ko) 2022-12-23

Family

ID=84536534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210008763A KR102480568B1 (ko) 2013-12-23 2021-01-21 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102480568B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120096849A (ko) * 2011-02-23 2012-08-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120096849A (ko) * 2011-02-23 2012-08-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법

Also Published As

Publication number Publication date
KR102480568B1 (ko) 2022-12-23

Similar Documents

Publication Publication Date Title
US9965039B2 (en) Device and method for displaying user interface of virtual input device based on motion recognition
US11962889B2 (en) User interface for camera effects
US11782580B2 (en) Application menu for video system
US11740755B2 (en) Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
US11416205B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
US11301129B2 (en) Device, method, and graphical user interface for moving user interface objects
US11669985B2 (en) Displaying and editing images with depth information
US20220382440A1 (en) User interfaces for managing media styles
JP6659644B2 (ja) 応用素子の代替的グラフィック表示の事前の生成による入力に対する低レイテンシの視覚的応答およびグラフィック処理ユニットの入力処理
TWI545496B (zh) 用於調整控制件外觀之裝置、方法及圖形使用者介面
US11812135B2 (en) Wide angle video conference
US9880727B2 (en) Gesture manipulations for configuring system settings
US20230109787A1 (en) Wide angle video conference
US10353550B2 (en) Device, method, and graphical user interface for media playback in an accessibility mode
JP2023552659A (ja) インターフェース表示状態の調整方法及び装置、デバイス、記憶媒体
WO2016078251A1 (zh) 一种投影仪播放控制方法、装置及计算机存储介质
KR102118421B1 (ko) 카메라 커서 시스템
TW201833902A (zh) 子畫面佈局控制方法和裝置
US20240064395A1 (en) Wide angle video conference
KR102480568B1 (ko) 동작인식을 기반으로 하는 가상 입력장치의 사용자 인터페이스(ui)를 표시하는 장치 및 방법
CN112204512A (zh) 用于在网络化协作工作区中通过web套接字连接进行桌面共享的方法，装置和计算机可读介质
JP2018194801A (ja) 表示装置、表示方法及びプログラム
KR20150014139A (ko) 화면 정보 제공 방법 및 장치
JP2019125024A (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
US20130127753A1 (en) Setting method and system for actuating position of electronic device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
GRNT Written decision to grant