KR102094751B1 - 사용자 인터페이스 방법 및 장치 - Google Patents

사용자 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR102094751B1
KR102094751B1 KR1020150132868A KR20150132868A KR102094751B1 KR 102094751 B1 KR102094751 B1 KR 102094751B1 KR 1020150132868 A KR1020150132868 A KR 1020150132868A KR 20150132868 A KR20150132868 A KR 20150132868A KR 102094751 B1 KR102094751 B1 KR 102094751B1
Authority
KR
South Korea
Prior art keywords
user
finger
touch screen
smart device
determining
Prior art date
Application number
KR1020150132868A
Other languages
English (en)
Other versions
KR20160100789A (ko
Inventor
차오 장
슈에타오 펑
양 리우
배치성
김상준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/016,673 priority Critical patent/US9946395B2/en
Publication of KR20160100789A publication Critical patent/KR20160100789A/ko
Application granted granted Critical
Publication of KR102094751B1 publication Critical patent/KR102094751B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Position Input By Displaying (AREA)

Abstract

사용자 인터페이스 방법 및 장치가 개시된다. 일실시예에 따른 스마트 디바이스의 사용자 인터페이스 방법은, 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신하는 단계; 사용자가 터치스크린을 터치한 위치정보 및 전기신호에 기초하여 사용자 입력을 결정하는 단계; 및 결정된 사용자 입력에 대해 응답하는 단계를 포함한다.

Description

사용자 인터페이스 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING USER INTERFACE}
사람 및 기계의 상호 작용에 관한 것이고, 구체적으로 사용자 인터페이스 방법 및 사용자 인터페이스를 제공하는 스마트 디바이스가 개시된다.
스마트 폰, 태블릿 PC, 웨어러블 디바이스 등의 스마트 디바이스는, 발전된 터치스크린 기술을 광범위하게 이용하여 사용자 입력에 대한 응답을 구현하고, 이를 통해 사용자 인터페이스를 제공한다. 터치스크린에는 저항식 터치스크린, 정전식 터치스크린 및 표면음파기술 터치스크린 등이 있다. 키보드 및 마우스의 인터페이스와 비교하면, 손가락으로 디스플레이의 도면 기호 또는 문자를 터치하면 되므로, 터치스크린의 인터페이스는 조작이 간단하고 편리하고 직관적이다. 스마트 디바이스의 터치스크린을 이용한 입력방식은 사용자에게 직접적인 인터페이스 체험을 제공할 수 있다.
사용자에 의해 터치스크린 상에 터치가 입력되면 스마트 디바이스는 사용자가 터치한 터치스크린의 위치정보를 검출하고, 검출된 위치정보에 기초하여 사용자의 스마트 디바이스에 대한 입력정보를 결정할 수 있다. 이 중에서, 사용자는 가상 키보드, 조합키, 더블 클릭, 길게 누르기 및 복수의 포인트 터치 등의 다양한 방식의 상호 작용을 이용하여, 터치스크린을 통한 복수의 조작을 실현할 수 있다. 예를 들면, 사용자는 터치스크린에 디스플레이 된 가상 키보드를 통하여 입력문자기호를 편집하고 복수의 포인트 터치를 통하여 확대 및 축소의 조작 등을 실현 할 수 있다.
사용자 터치의 편의를 위해 터치스크린의 가상 키보드는 일정 수준 이상의 크기가 요구된다. 가상 키보드가 터치스크린에서 차지하는 공간으로 인해 디스플레이의 유효 면적이 감소할 수 있다. 조합 키 및 더블 클릭의 방식은 사용자에게 복수의 클릭을 요구하고, 길게 누르기는 입력을 위한 시간이 할애되고, 복수의 포인트 터치는 복수의 손가락이 필요하므로 비교적 작은 스크린에서는 용이하지 않을 수 있다.
사용자에게 편리한 입력을 제공하는 사용자 인터페이스가 요구된다.
일실시예에 따른 터치스크린을 구비한 스마트 디바이스의 사용자 인터페이스 방법은, 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신하는 단계; 상기 사용자가 상기 터치스크린을 터치한 위치정보 및 상기 전기신호에 기초하여 사용자 입력을 결정하는 단계; 및 상기 결정된 사용자 입력에 대해 응답하는 단계를 포함한다.
일실시예에 따른 스마트 디바이스의 사용자 인터페이스 방법은, 상기 전기신호에 기초하여, 상기 사용자가 상기 터치스크린을 터치한 손가락 및 상기 손가락이 상기 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하는 단계를 더 포함하고, 상기 사용자 입력을 결정하는 단계는, 상기 식별된 손가락 및 상기 터치 힘 중 적어도 하나를 상기 위치정보와 결합하고, 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계를 포함한다.
일실시예에 따르면, 상기 EMG 센서는 상기 사용자의 팔에 환형으로 착용되고, 상기 손가락이 상기 터치스크린에 터치되는 경우, 상기 팔의 근육의 전위파형을 검출하고, 상기 검출된 전위파형을 이용하여 상기 전기신호를 출력한다.
일실시예에 따르면, 상기 손가락 및 상기 손가락이 상기 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하는 단계는, 상기 전기신호를 기초로 미리 트레이닝된 분류기에 의해 상기 손가락 및 상기 터치 힘 중 적어도 하나가 식별되는 단계를 포함하고, 상기 분류기를 트레이닝 하는 단계는, 상기 사용자의 복수의 각 손가락이 상기 터치스크린에 각각 터치되고, 상기 각각의 터치가 상기 EMG 센서에 의해 감응되는 단계; 상기 각각의 터치에 대해 상기 EMG 센서로부터 출력된 전기신호의 특징을 추출하는 단계; 상기 추출된 전기신호의 특징에 대해 상기 터치된 각 손가락 및 상기 각 손가락의 터치 힘 중 적어도 하나를 대응시킨 트레이닝 샘플을 획득하는 단계; 및 상기 트레이닝 샘플을 이용하여, 상기 각각의 터치 및 상기 각 손가락의 터치 힘 중 적어도 하나의 식별을 분류기가 트레이닝하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 가상 키보드가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 알파벳을 결정하는 단계; 및 상기 식별된 손가락에 기초하여 상기 알파벳의 대문자 또는 소문자를 상기 사용자 입력으로 결정하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 가상 키보드가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 삭제 키가 터치되었는지 여부를 판단하는 단계; 상기 식별된 손가락에 기초하여 상기 삭제 키의 대상이 하나의 문자 부호, 하나의 단어, 하나의 구절, 하나의 단락 및 전체 문서 중 어느 하나인지 여부를 판단하는 단계; 및 상기 삭제 키의 대상의 판단 결과를 이용하여 상기 사용자 입력을 결정하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 연락자 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 연락자를 결정하는 단계; 및 상기 식별된 손가락에 기초하여 상기 연락자의 정보 공개, 상기 연락자로 연락 및 상기 연락자로 메시지 송신 중 어느 하나를 상기 사용자 입력으로 결정하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 브라우저 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 링크를 결정하는 단계; 및 상기 식별된 손가락에 기초하여 상기 링크를 오픈, 상기 링크를 보관, 및 상기 링크를 새로운 탭에서 오픈 중 어느 하나를 상기 사용자 입력으로 결정하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 그리기 어플리케이션의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 그리기 어플리케이션의 인터페이스에 대한 터치를 결정하는 단계; 상기 식별된 손가락에 기초하여 상기 그리기 어플리케이션의 인터페이스에 대한 터치에 대해, 그림붓 도구 및 지우개 도구 중 어느 하나를 결정하는 단계; 및 상기 터치 힘에 기초하여 상기 그림붓 도구 및 상기 지우개 도구 중 어느 하나를 이용하는 과정의 그림붓의 굵기 및 지우개의 크기 중 적어도 하나를 조절하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 지도 어플리케이션의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 확대 또는 축소가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계; 상기 식별된 손가락에 기초하여 상기 확대 또는 축소 중 어느 하나를 결정하는 단계; 및 상기 터치 힘에 기초하여 상기 결정된 확대 또는 축소 중 어느 하나의 배수를 결정하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 빨리 감기(fast forward) 또는 빨리 되감기(fast backward)가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계; 및 상기 터치 힘에 기초하여 상기 빨리 감기 또는 빨리 되감기의 속도를 조절하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 볼륨 키가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계; 상기 식별된 손가락에 기초하여 볼륨 증가 및 볼륨 감소 중 어느 하나를 결정하는 단계; 및 상기 터치 힘에 기초하여 상기 결정된 볼륨 증가 및 볼륨 감소 중 어느 하나의 크기를 조절하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 콘텐츠 전환 키가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계; 및 상기 식별된 손가락에 기초하여 이전 콘텐츠 재생 또는 다음 콘텐츠 재생을 상기 사용자 입력으로 결정하는 단계를 포함한다.
일실시예에 따른 상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는, 상기 식별된 손가락이 미리 정해진 손가락인 경우, 상기 위치정보에 기초하여 상기 사용자 입력을 결정하는 단계; 및 상기 식별된 손가락이 미리 정해진 손가락이 아닌 경우, 상기 식별된 손가락에 기초하여 이전 단계로 돌아감, 홈으로 돌아감 및 어플리케이션 메뉴 오픈 중 적어도 하나를 상기 사용자 입력으로 결정하는 단계를 포함한다.
일실시예에 따르면, 터치스크린을 구비한 스마트 디바이스는 통신 모듈; 응답 모듈; 및 프로세서를 포함하고, 상기 프로세서는, 상기 통신 모듈을 통해, 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신하고, 상기 사용자가 상기 터치스크린을 터치한 위치정보 및 상기 전기신호에 기초하여 사용자 입력을 결정하고, 상기 응답 모듈을 통해, 상기 결정된 사용자 입력에 대해 응답한다.
일실시예에 따른 상기 프로세서는, 상기 전기신호에 기초하여, 상기 사용자가 상기 터치스크린을 터치한 손가락 및 상기 손가락이 상기 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하고, 상기 식별된 손가락 및 상기 터치 힘 중 적어도 하나를 상기 위치정보와 결합하고, 상기 결합 결과를 이용하여 상기 사용자 입력을 결정한다.
일실시예에 따른 스마트 디바이스는, 상기 사용자의 복수의 각 손가락이 상기 터치스크린에 각각 터치되고, 상기 각각의 터치가 상기 EMG 센서에 의해 감응되는 경우, 상기 각각의 터치에 대해 상기 EMG 센서로부터 출력된 전기신호의 특징을 추출하고, 상기 추출된 전기신호의 특징에 대해 상기 터치된 각 손가락 및 상기 각 손가락의 터치 힘 중 적어도 하나를 대응시킨 트레이닝 샘플을 획득하고, 상기 트레이닝 샘플을 이용하여, 상기 각각의 터치 및 상기 각 손가락의 터치 힘 중 적어도 하나의 식별에 대해 분류기를 트레이닝 하는, 분류기 트레이닝 모듈을 더 포함하고, 상기 프로세서는, 상기 전기신호를 기초로 미리 트레이닝 된 분류기를 이용하여 상기 손가락 및 상기 터치 힘 중 적어도 하나가 식별한다.
도 1은 스마트 디바이스의 사용자 인터페이스 방법의 실시예를 설명하는 순서도이다.
도 2는 EMG 센서가 착용되는 실시예이다.
도 3은 EMG 센서가 수집한 원시적 전기신호의 파형의 일례이다.
도 4는 필터링 처리 후의 전기신호의 파형의 일례이다.
도 5a 및 도 5b는 손가락이 터치스크린을 터치할 때 수집된 전기신호의 파형의 일례이다.
도 6은 같은 손가락으로 누르는 힘이 서로 다르게 터치하는 경우의 전기신호 파형의 일례이다.
도 7은 일실시예에 따른 가상 키보드의 사용자 인터페이스를 도시한다.
도 8은 일실시예에 따른 연락자 인터페이스를 도시한다.
도 9는 일실시예에 따른 브라우저 인터페이스를 도시한다.
도 10은 일실시예에 따른 그리기 어플리케이션의 인터페이스를 도시한다.
도 11은 그림붓 도구의 굵기 또는 지우개 도구의 크기가 조절되는 실시예이다.
도 12는 일실시예에 따른 지도 어플리케이션의 인터페이스를 도시한다.
도 13은 일실시예에 따른 지도 어플리케이션의 인터페이스를 도시한다.
도 14는 일실시예에 따른 미디어 플레이어의 인터페이스를 도시한다.
도 15는 일실시예에 따른 미디어 플레이어의 인터페이스를 도시한다.
도 16은 일실시예에 따른 사용자 인터페이스를 도시한다.
도 17은 일실시예에 따른 디스플레이 스크린의 유효 면적을 도시한다.
도 18은 일실시예에 따른 스마트 디바이스의 구성이다.
도 19는 일실시예에 따른 프로세서의 구성이다.
이하에서, 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다.　 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다.　 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다.　 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다.　 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.　 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.　 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.　 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
근전도 검사(Electromyography; EMG) 센서는 근육 운동을 하는 부분의 동작전위파형을 검측하고, 이용 가능한 전기신호로 전환하여 출력할 수 있다. 일실시예에 따르면, 사용자가 서로 다른 손가락을 이용하여 터치스크린을 터치하는 경우, 팔의 근육 운동을 하는 부분에서 서로 다른 동작전위파형이 발생한다. 이 때, EMG 센서는 서로 다른 전기신호를 출력한다.
일실시예에 따르면, EMG 센서를 착용한 사용자가 스마트 디바이스의 터치스크린을 터치하는 경우, 스마트 디바이스는 EMG 센서가 출력한 전기신호와 사용자에 의해 터치된 터치스크린의 위치정보를 결합하여 사용자의 입력을 결정하고, 결정된 사용자 입력에 대해 응답할 수 있다. 일실시예에 따르면, 사용자가 서로 다른 손가락을 이용하여 터치스크린의 동일한 위치를 터치하는 경우, 서로 다른 입력을 제공하여 사용자 입력을 절약할 수 있고, 사용자에게 스마트 디바이스의 사용자 인터페이스를 편리하게 제공할 수 있다. 일실시예는, 터치스크린의 복수의 키를 하나의 키로 통합하여 터치스크린의 디스플레이 유효 면적을 확장할 수 있다.
일실시예에 따르면, 사용자가 손가락 B를 이용하여 해당 가상 키를 터치하는 경우 대문자가 입력된다. 사용자가 손가락 A를 이용하여 해당 가상 키를 터치하는 경우 소문자가 입력된다. 이를 통해, 대소문자 전환 키를 터치하는 입력 절차가 생략될 수 있고, 사용자에게 스마트 디바이스의 편리한 사용자 인터페이스를 제공할 수 있다. 일실시예에 따르면, 대소문자의 혼합 입력이 많이 요구되는 상황에서 사용자에게 간편한 입력방식을 제공할 수 있고, 대소문자 전환 키의 공간을 절약하여 터치스크린의 유효면적을 넓힐 수 있다.
도 1은 스마트 디바이스의 사용자 인터페이스 방법의 실시예를 설명하는 순서도이다.
일실시예에 따르면, 터치스크린을 구비한 스마트 디바이스는 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신한다(101).
일실시예에 따르면, EMG 센서는 사용자의 팔에 착용될 수 있다. EMG 센서는 사용자의 손목, 팔뚝 및 위팔 중 적어도 한 곳에 착용될 수 있다. EMG 센서는 사용자가 손가락으로 터치스크린을 터치할 때, 사용자 팔의 근육 운동을 하는 부분의 동작전위파형을 검측하고, 검측된 파형을 전기신호 형식으로 출력할 수 있다.
일실시예에 따르면, EMG 센서는 팔의 어느 한 부분에 착용될 수 있다. 예를 들면, EMG 센서는 손목 또는 팔뚝에 근접한 팔꿈치에 착용될 수 있다. EMG 센서는 손목과 팔뚝이 근접한 팔꿈치에 동시에 착용될 수 있다. EMG 센서가 팔의 복수의 부분에 착용될 때, 스마트 디바이스는 터치스크린을 터치하는 손가락에 대한 식별의 정확도를 향상시킬 수 있다.
일실시예에 따르면, EMG 센서는 환형 구조일 수 있다. 이러한 구조는, 사용자에게 편안한 착용감을 제공할 수 있다. EMG 센서는 환형으로 분포된 복수 그룹의 전극을 포함할 수 있다. 이를 통해 손가락을 식별하는 정확도가 높은 수준으로 보장될 수 있다.
도 2는 EMG 센서가 착용되는 실시예이다.
도 2를 참조하면, 팔뚝에 착용된 EMG 센서는 11 그룹의 전극(Ch1 내지 Ch11)을 포함한다. 손목에 착용된 EMG 센서는 7 그룹의 전극(Ch12 내지 Ch18)을 포함한다.
일실시예에 따르면, 스마트 디바이스는 사용자가 손가락으로 스마트 디바이스의 터치스크린을 터치 하였을 때, 사용자가 팔에 착용한 EMG 센서로부터 송신되는 전기신호를 수신할 수 있다. EMG 센서는 무선통신부를 더 포함할 수 있고, 무선통신부를 이용하여 무선방식으로 전기신호를 스마트 디바이스로 송신할 수 있다. 일실시예에 따른, 무선통신부는 블루투스 통신방식을 이용할 수 있다. EMG 센서는 전력 공급부, 예를 들면 건전지를 통한 전력 공급부를 더 포함할 수 있다.
일실시예에 따르면, 스마트 디바이스는 사용자가 터치스크린을 터치한 위치정보 및 전기신호에 기초하여 사용자 입력을 결정한다(102).
일실시예에 따르면, 스마트 디바이스는 전기신호에 기초하여, 사용자가 터치스크린을 터치한 손가락 및 손가락이 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별한다. 일실시예에 따르면, 스마트 디바이스는, 식별된 손가락 및 터치 힘 중 적어도 하나를 위치정보와 결합하고, 결합 결과를 이용하여 사용자 입력을 결정할 수 있다.
일실시예에 따르면, 스마트 디바이스는 아래의 방식을 이용하여 사용자가 터치스크린에 터치할 때 사용한 손가락을 식별할 수 있다. 예를 들면, 스마트 디바이스는 수신된 전기신호에 대하여 필터링(전류변경전압신호 필터링, 직류성분 제거 및 소음저감), 특징추출(시간영역 및 주파수영역) 및 특징선택(특징차원의 감소)을 한 후, 선택된 특징에 기초하여 사용자가 터치스크린을 터치할 때 사용한 손가락을 식별할 수 있다.
도 3은 EMG 센서가 수집한 원시적 전기신호의 파형의 일례이다.
일실시예에 따른 스마트 디바이스의 사용자 인터페이스 방법은, EMG 센서로부터 수집되어 출력된 원시적 전기신호의 파형을 획득할 수 있다.
도 4는 필터링 처리 후의 전기신호의 파형의 일례이다.
일실시예에 따른 스마트 디바이스의 사용자 인터페이스 방법은, EMG 센서가 출력한 원시적 전기신호에 대해 필터링 처리 후의 파형을 획득할 수 있다.
도 5a 및 도 5b는 손가락이 터치스크린을 터치할 때 수집된 전기신호의 파형의 일례이다.
일실시예에 따른 스마트 디바이스의 사용자 인터페이스 방법은, 손가락 A가 터치스크린을 터치할 때 EMG 센서가 수집하여 출력한 전기신호의 파형을 획득할 수 있다. 일실시예에 따른 스마트 디바이스의 사용자 인터페이스 방법은, 손가락 B(손가락 A와 다름)가 터치스크린을 터치할 때 EMG 센서가 수집하여 출력한 전기신호의 파형을 획득할 수 있다. 도5a 및 5b를 참조하면, 가로축의 좌표는 시간을 나타내고 세로축의 좌표는 신호강도를 나타낸다. 진폭 값이 서로 다른 세 개의 곡선은 EMG 센서의 세 개 그룹의 전극이 서로 다른 경로로 각각 수집한 세 개의 전기신호의 파형을 나타낸다. 서로 다른 경로의 세 개의 파형 각각은 진폭 값 및 신호 스펙트럼이 서로 구별된다.
일실시예에 따르면, 식별의 정확도 보장을 위해 적어도 하나의 분류기를 미리 트레이닝 할 수 있다. 스마트 디바이스는 미리 트레이닝한 분류기를 이용하여 수신된 전기신호에 기초한 터치된 손가락의 식별 또는 터치스크린에 손가락이 터치된 터치 힘의 식별을 수행할 수 있다. 일실시예에 따르면, 스마트 디바이스는 수신한 전기신호에 대하여 필터링, 특징추출 및 특징선택을 한 후, 미리 트레이닝된 분류기를 이용하여 터치스크린에 터치된 손가락 및 터치 힘 중 적어도 하나를 식별할 수 있다.
일실시예에 따른 분류기를 트레이닝 하는 방법은 아래와 같다.
사용자의 복수의 각 손가락이 터치스크린에 각각 터치되고, 각각의 터치가 EMG 센서에 의해 감응된다. 각각의 터치에 대해 EMG 센서로부터 출력된 전기신호의 특징이 추출된다. 추출된 전기신호의 특징에 대해 터치된 각 손가락 및 각 손가락의 터치 힘 중 적어도 하나를 대응시킨 트레이닝 샘플이 획득된다. 획득된 트레이닝 샘플을 이용하여, 각각의 터치 및 각 손가락의 터치 힘 중 적어도 하나의 식별이 분류기에 의해 트레이닝 된다. 분류기의 트레이닝은 분류기 트레이닝 모듈에 의해 수행될 수 있다. 일실시예에 따른 스마트 디바이스는 미리 트레이닝된 분류기를 이용하여 터치스크린에 터치된 손가락을 식별하거나 터치스크린에 터치된 터치 힘을 식별할 수 있다. 일실시예에 따른 스마트 디바이스는 분류기 트레이닝 모듈을 더 포함할 수 있다.
도 6은 같은 손가락으로 누르는 힘이 서로 다르게 터치하는 경우의 전기신호 파형의 일례이다.
도 6을 참조하면, 같은 손가락이 터치스크린을 터치하고, 손가락의 누르는 힘이 서로 다른 경우, EMG 센서가 출력한 전기신호의 특징은 서로 다르게 나타난다. 스마트 디바이스는 수신된 전기신호에 기초하여 손가락이 터치스크린을 누르는 힘을 결정한다. 손가락에 의해 터치스크린에 터치된 힘을 터치 힘이라 정의한다. 도 6을 참조하면, 일실시예는 같은 손가락으로 터치스크린을 10번 터치하였을 때 EMG 센서로부터 수집된 전기신호의 파형을 획득할 수 있다. 이 중에서, 각 그룹의 파고점은 한번의 터치를 나타낸다. 같은 손가락을 이용하여 복수의 터치를 하는 경우, EMG 센서로부터 출력되는 전기신호는 유사한 특징을 갖지만, 명확히 다른 강도(진폭)를 나타낸다. EMG 센서로부터 출력된 전기신호를 이용하여 손가락의 터치스크린에 대한 터치 힘이 식별될 수 있다.
일실시예에 따르면, 분류기에 대한 트레이닝 과정에서 손가락의 터치스크린에 대한 터치 힘의 식별은 분류기에 의해 더 트레이닝 될 수 있다. 스마트 디바이스는 미리 트레이닝 된 분류기를 이용하여 손가락의 터치스크린에 대한 터치 힘을 식별할 수 있다.
일실시예에 따르면, 스마트 디바이스는 결정된 사용자 입력에 대해 응답할 수 있다(103).
일실시예에 따르면, 스마트 디바이스는 터치스크린을 터치한 손가락을 식별하고, 소정 손가락과 관련된 설정이 있는지 여부를 판단한다. 소정 손가락과 관련된 설정이 있고, 식별된 손가락이 이에 해당하는 경우, 스마트 디바이스는 손가락이 터치스크린을 터치한 위치정보 및 식별된 손가락과 관련된 미리 설정된 정보에 기초하여 사용자 입력을 결정한다. 소정 손가락과 관련된 설정이 없는 경우, 스마트 디바이스는 손가락이 터치한 터치스크린의 위치정보에 기초하여 사용자 입력을 결정할 수 있다.
이하, 스마트 디바이스에 의해 터치스크린에 터치된 손가락 또는 터치 힘이 식별되고, 식별된 정보를 손가락이 터치한 터치스크린의 위치정보와 결합하여 사용자 입력을 결정하는 실시예가 개별적으로 설명된다.
<실시예 1>
도 7은 일실시예에 따른 가상 키보드의 사용자 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스가 터치스크린에 가상 키보드를 디스플레이 하는 경우, 사용자의 손가락이 터치스크린을 터치한 위치정보에 기초하여 사용자에 의해 터치된 알파벳이 결정된다. 식별된 손가락에 기초하여 알파벳의 대문자 또는 소문자가 사용자 입력으로 결정된다.
도 7을 참조하면, 미리 설정된 사용자의 손가락 A에 의해 알파벳 키가 터치되는 경우, 대문자 알파벳이 사용자 입력으로 결정된다. 미리 설정된 사용자의 손가락 B에 의해 알파벳 키가 터치되는 경우, 소문자 알파벳이 사용자 입력으로 결정된다.
사용자가 대문자 알파벳을 입력하는 경우, 우선 대소문자 전환키(예를 들면, shift키)를 터치하고, 그 다음에 해당 알파벳 키를 터치하고, 사용자가 다시 소문자 알파벳을 입력하는 경우, 대소문자 전환키를 더 터치하고, 그 다음에 해당 알파벳 키를 터치하는 방식이 이용되었다.
일실시예에 따르면, 사용자가 대문자 또는 소문자를 입력하는 경우, 가 대소문자 전환키(예를 들면, shift키)에 대한 사용자의 터치가 더 이상 요구되지 않는다. 이를 통해, 사용자 입력의 편의성이 제공되고, 대소문자의 혼합 입력이 요구되는 상황에서는 사용자 입력을 간편화할 수 있다. 일실시예에 따르면, 스마트 디바이스는 대소문자 전환키의 배치를 생략할 수 있으므로 터치스크린의 디스플레이 유효 면적을 확장시킬 수 있다.
<실시예 2>
일실시예에 따른 스마트 디바이스가 터치스크린에 가상 키보드를 디스플레이 하는 경우, 스마트 디바이스는 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여, 사용자에 의해 삭제 키가 터치되었는지 여부를 판단한다. 스마트 디바이스는 식별된 손가락에 기초하여 삭제 키의 대상이 하나의 문자 부호, 하나의 단어, 하나의 구절, 하나의 단락 및 전체 문서 중 어느 하나인지 여부를 판단한다. 스마트 디바이스는 삭제 키의 대상의 판단 결과를 이용하여 사용자 입력을 결정할 수 있다.
도 7을 참조하면, 일실시예에 따라서 미리 설정된 사용자의 손가락 A에 의해 터치스크린 상의 삭제 키가 터치되는 경우, 하나의 문자 부호가 삭제된다. 미리 설정된 사용자의 손가락 B에 의해 터치스크린 상의 삭제 키가 터치되는 경우, 하나의 단어가 삭제된다. 미리 설정된 사용자의 손가락 C에 의해 터치스크린 상의 삭제 키가 터치되는 경우, 하나의 구절이 삭제된다. 미리 설정된 사용자의 손가락 D에 의해 터치스크린 상의 삭제 키가 터치되는 경우, 하나의 단락이 삭제된다. 미리 설정된 사용자의 손가락 E에 의해 터치스크린 상의 삭제 키가 터치되는 경우, 전체 문서가 삭제된다.
일실시예는, 원하는 부분을 삭제하기 위해서는 각 부분에 대한 삭제 키 터치가 개별적으로 요구되는 번거로움을 개선할 수 있다. 삭제 키를 길게 터치하거나 드래그를 통해 원하는 부분을 삭제 하는 터치 방식과 비교하여 일실시예는 서로 다른 손가락으로 구별되는 터치 방식을 통해, 하나의 문자 부호, 단어, 구절, 단락 및 전체 문서 등에 대한 삭제를 간단하고 편리하게 입력할 수 있으므로, 간소화된 사용자 인터페이스를 제공할 수 있다.
<실시예 3>
도 8은 일실시예에 따른 연락자 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 연락자 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 사용자에 의해 터치된 연락자를 결정한다. 스마트 디바이스는 식별된 손가락에 기초하여 연락자의 정보 공개, 연락자로 연락 및 연락자로 메시지 송신 중 어느 하나를 사용자 입력으로 결정한다. 스마트 디바이스는 결정된 사용자 입력에 대한 응답을 수행할 수 있다.
도 8을 참조하면, 미리 설정된 사용자의 손가락 A에 의해 터치스크린의 연락자 인터페이스에 연락자가 터치되는 경우, 스마트 디바이스는 터치된 해당 연락자의 정보를 공개한다. 미리 설정된 사용자의 손가락 B에 의해 터치스크린의 연락자 인터페이스에 연락자가 터치되는 경우, 스마트 디바이스는 터치된 해당 연락자에 대한 연락을 수행한다. 미리 설정된 사용자의 손가락 C에 의해 터치스크린의 연락자 인터페이스에 연락자가 터치되는 경우, 스마트 디바이스는 터치된 해당 연락자에 대한 메시지 송신을 수행한다.
일실시예는, 사용자가 연락자에게 연락 또는 메시지를 보내기 위해 연락자의 정보를 공개한 다음에 연락 또는 메시지 송신을 수행해야 하는 비효율을 피할 수 있다. 일실시예는, 서로 다른 손가락 서로 다른 손가락으로 구별되는 터치 방식을 통해, 연락자 공개, 연락자에 대한 연락 및 연락자에게 메시지 송신을 간단하고 편리하게 수행할 수 있으므로, 간소화된 사용자 인터페이스를 제공한다.
<실시예 4>
도 9는 일실시예에 따른 브라우저 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 브라우저 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 사용자에 의해 터치된 링크를 결정한다. 스마트 디바이스는 식별된 손가락에 기초하여 링크를 오픈, 링크를 보관 및 링크를 새로운 탭에서 오픈 중 어느 하나를 사용자 입력으로 결정한다. 스마트 디바이스는 결정된 사용자 입력에 대한 응답을 수행할 수 있다.
도 9를 참조하면, 미리 설정된 사용자의 손가락 A에 의해 터치스크린의 브라우저 인터페이스에 링크가 터치되는 경우, 스마트 디바이스는 터치된 해당 링크를 오픈한다. 미리 설정된 사용자의 손가락 B에 의해 터치스크린의 브라우저 인터페이스에 링크가 터치되는 경우, 스마트 디바이스는 터치된 해당 링크를 새로운 탭에서 오픈한다. 미리 설정된 사용자의 손가락 C에 의해 터치스크린의 브라우저 인터페이스에 링크가 터치되는 경우, 스마트 디바이스는 터치된 해당 링크를 보관한다.
일실시예는, 서로 다른 손가락 서로 다른 손가락으로 구별되는 터치 방식을 통해, 링크 오픈, 새로운 탭에서 링크 오픈 및 링크 보관을 간단하고 편리하게 수행할 수 있으므로, 간소화된 사용자 인터페이스를 제공한다.
<실시예 5>
도 10은 일실시예에 따른 그리기 어플리케이션의 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 그리기 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 사용자에 의해 터치된 그리기 어플리케이션의 인터페이스에 대한 터치를 결정한다. 스마트 디바이스는, 식별된 손가락에 기초하여 그리기 어플리케이션의 인터페이스에 대한 터치에 대해, 그림붓 도구 및 지우개 도구 중 어느 하나를 결정한다. 스마트 디바이스는, 터치 힘에 기초하여 그림붓 도구 및 지우개 도구 중 어느 하나를 이용하는 과정의 그림붓의 굵기 및 지우개의 크기 중 적어도 하나를 조절한다. 스마트 디바이스는, 결정된 사용자 입력에 대한 응답을 수행할 수 있다.
도 10을 참조하면, 미리 설정된 사용자의 손가락 A에 의해 터치스크린의 그리기 어플리케이션의 인터페이스에 터치가 수행되는 경우, 스마트 디바이스는 그리기 어플리케이션의 인터페이스에 대한 터치에 대해 그림붓 도구의 이용을 결정한다. 미리 설정된 사용자의 손가락 B에 의해 터치스크린의 그리기 어플리케이션의 인터페이스에 터치가 수행되는 경우, 스마트 디바이스는 그리기 어플리케이션의 인터페이스에 대한 터치에 대해 지우개 도구의 이용을 결정한다.
도 11은 그림붓 도구의 굵기 또는 지우개 도구의 크기가 조절되는 실시예이다.
도 11을 참조하면, 스마트 디바이스는 그림붓 도구를 이용하는 과정에서의 그림붓 도구의 굵기를 식별된 손가락의 터치 힘에 기초하여 조절할 수 있다. 예를 들면, 손가락에 의해 그리기 어플리케이션의 인터페이스에 터치되는 힘이 약한 경우, 스마트 디바이스는 그림붓 도구의 굵기를 가늘게 조절할 수 있다. 이와 반대로, 터치되는 힘이 강한 경우, 스마트 디바이스는 그림붓 도구의 굵기를 굵게 조절할 수 있다. 이는 지우개 도구의 지우개의 크기를 조절하는 실시예에도 적용된다. 일실시예에 따르면 그림붓 도구의 굵기나 지우개의 크기 조절을 판단하는 데 이용되는 터치 힘의 기준은 미리 설정된 값일 수 있다.
<실시예 6>
도 12는 일실시예에 따른 지도 어플리케이션의 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 지도 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 지도의 확대 또는 축소 중 어느 하나를 결정할 수 있다. 스마트 디바이스는 터치 힘에 기초하여 결정된 확대 또는 축소 중 어느 하나의 배수를 결정할 수 있다.
다른 실시예에 따른 스마트 디바이스는 터치스크린에 지도 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 지도의 확대 또는 축소가 사용자에 의해 터치되는지 여부를 판단한다. 스마트 디바이스는, 식별된 손가락에 기초하여 확대 또는 축소 중 어느 하나를 결정한다. 스마트 디바이스는, 터치 힘에 기초하여 결정된 확대 또는 축소 중 어느 하나의 배수를 결정한다. 이를 통해, 실시예는 지도의 확대 키와 축소 키를 하나의 키로 합병된 지도 어플리케이션의 인터페이스를 제공할 수 있다. 스마트 디바이스는 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 지도의 확대/축소의 합병 키가 터치되었는지 여부를 결정할 수 있다.
도 12를 참조하면, 사용자의 손가락에 의해 지도 어플리케이션의 인터페이스에 대한 확대/축소의 터치가 약하게 수행되는 경우, 스마트 디바이스는 식별된 손가락을 기초로 확대 또는 축소 중 어느 하나를 결정하고, 지도를 한 배로 확대 또는 축소할 수 있다. 이와 반대로, 사용자의 손가락에 의해 확대/축소의 터치가 강하게 수행되는 경우, 스마트 디바이스는 식별된 손가락을 기초로 확대 또는 축소 중 어느 하나를 결정하고, 지도를 복수 배로 확대 또는 축소할 수 있다.
일실시예에 따르면, 터치스크린에 대한 서로 다른 손가락의 터치를 지도 이동, 지도 확대, 지도 축소 및 여기로 가기의 기능으로 대응시켜 설정할 수 있다. 스마트 디바이스는 터치스크린에 지도 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 사용자가 지도상에 터치한 위치를 결정할 수 있다. 스마트 디바이스는 식별된 손가락에 기초하여 결정된 지도상의 위치에 대해 지도 이동, 지도 확대, 지도 축소, 여기로 가기 및 목적지로 설정 등 중 어느 하나로 사용자 입력을 결정할 수 있다. 스마트 디바이스는 사용자 입력에 대응되는 응답을 수행할 수 있다.
도 13은 일실시예에 따른 지도 어플리케이션의 인터페이스를 도시한다.
도 13을 참조하면, 지도 어플리케이션의 인터페이스의 임의의 위치에 대해 사용자의 손가락 A가 터치되는 경우, 스마트 디바이스는 터치된 위치로 지도 이동을 수행할 수 있다. 지도 어플리케이션의 인터페이스의 임의의 위치에 대해 사용자의 손가락 B가 터치되는 경우, 스마트 디바이스는 지도를 확대할 수 있다. 지도 어플리케이션의 인터페이스의 임의의 위치에 대해 사용자의 손가락 C가 터치되는 경우, 스마트 디바이스는 지도를 축소할 수 있다. 지도 어플리케이션의 인터페이스의 임의의 위치에 대해 사용자의 손가락 D가 터치되는 경우, 스마트 디바이스는 터치된 위치를 목적지로 설정하거나 터치된 위치로 가기를 수행할 수 있다.
지도 어플리케이션의 인터페이스에 있어서 지도 확대 또는 축소를 위해 복수의 손가락 터치가 활용되는 경우, 비교적 스크린이 작은 스마트 디바이스의 경우에는 복수의 손가락 터치로 인해 스크린의 디스플레이 내용이 쉽게 가려질 수 있다.
일실시예는 터치스크린에 대한 서로 다른 손가락의 구별되는 터치를 이용하여 디스플레이 되는 지도의 확대 또는 축소를 구현하므로 스크린이 가려지는 단점을 개선하고, 간소화된 인터페이스를 제공할 수 있다.
전자기 펜(또는 손으로 쓰는 펜)을 통해 입력에 대한 감응이 인터페이스로 이용되는 경우 전자기 펜은 분실의 우려가 있고 정교함이 떨어져 입력이 부자연스러울 수 있다. 일실시예는 손가락에 의해 터치스크린이 터치되는 터치 힘을 이용하여 지도 확대 또는 축소의 배수가 결정되므로 입력의 정교함을 개선할 수 있고, 사용자에게 자연스럽고 간편한 인터페이스를 제공할 수 있다.
<실시예 7>
도 14는 일실시예에 따른 미디어 플레이어의 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 미디어 플레이어의 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 빨리 감기(fast forward) 또는 빨리 되감기(fast backward)가 사용자에 의해 터치되는지 여부를 판단한다. 스마트 디바이스는 터치 힘에 기초하여 빨리 감기 또는 빨리 되감기의 속도를 조절한다.
도 14를 참조하면, 사용자의 손가락에 의해 빨리 감기 또는 빨리 되감기가 약하게 터치되는 경우, 스마트 디바이스는 빨리 감기 또는 빨리 되감기를 저속으로 수행할 수 있다. 사용자의 손가락에 의해 빨리 감기 또는 빨리 되감기가 강하게 터치되는 경우, 스마트 디바이스는 빨리 감기 또는 빨리 되감기를 고속으로 수행할 수 있다.
일실시예에 따르면, 미디어 플레이어의 어플리케이션상의 빨리 감기 및 빨리 되감기를 하나의 키로 병합할 수 있다. 스마트 디바이스는 터치스크린에 미디어 플레이어의 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 병합된 빨리 감기/빨리 되감기가 사용자에 의해 터치되는지 여부를 판단한다. 스마트 디바이스는 식별된 손가락에 기초하여 빨리 감기 또는 빨리 되감기 중 어느 하나를 결정한다. 스마트 디바이스는 터치 힘에 기초하여 결정된 빨리 감기 또는 빨리 되감기 중 어느 하나의 속도를 조절한다.
<실시예 8>
도 15는 일실시예에 따른 미디어 플레이어의 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 미디어 플레이어의 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 볼륨 키가 사용자에 의해 터치되는지 여부를 판단한다. 스마트 디바이스는 식별된 손가락에 기초하여 볼륨 증가 및 볼륨 감소 중 어느 하나를 결정한다. 스마트 디바이스는 터치 힘에 기초하여 결정된 볼륨 증가 및 볼륨 감소 중 어느 하나의 크기를 조절한다.
일실시예에 따른 스마트 디바이스는 터치스크린에 미디어 플레이어의 어플리케이션의 인터페이스가 디스플레이되는 경우, 사용자의 손가락이 터치스크린에 터치된 위치정보에 기초하여 콘텐츠 전환 키가 사용자에 의해 터치되는지 여부를 판단한다. 스마트 디바이스는 식별된 손가락에 기초하여 이전 콘텐츠 재생 또는 다음 콘텐츠 재생을 사용자 입력으로 결정한다. 스마트 디바이스는 결정된 사용자 입력에 대한 응답을 수행할 수 있다.
도 15를 참조하면, 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 사용자의 손가락 A에 의해 볼륨 키가 터치되면 스마트 디바이스는 볼륨을 높인다. 사용자의 손가락 B에 의해 볼륨 키가 터치되는 경우, 스마트 디바이스는 볼륨을 낮춘다. 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 사용자의 손가락 A에 의해 콘텐츠 전환 키가 터치되면 스마트 디바이스는 이전 콘텐츠를 재생시킨다. 사용자의 손가락 B에 의해 콘텐츠 전환 키가 터치되는 경우, 스마트 디바이스는 다음 콘텐츠를 재생시킨다.
<실시예 9>
도 16은 일실시예에 따른 사용자 인터페이스를 도시한다.
일실시예에 따른 스마트 디바이스는 식별된 손가락이 미리 정해진 손가락인 경우, 식별된 손가락이 터치스크린에 터치된 위치정보에 기초하여 사용자 입력을 결정한다. 스마트 디바이스는 식별된 손가락이 미리 정해진 손가락이 아닌 경우, 식별된 손가락에 기초하여 이전 단계로 돌아감, 홈으로 돌아감 및 어플리케이션 메뉴 오픈 중 적어도 하나를 사용자 입력으로 결정한다. 스마트 디바이스는 결정된 사용자 입력에 대한 응답을 수행할 수 있다.
도 16을 참조하면, 사용자의 미리 정해진 손가락 A에 의해 터치스크린이 터치된 경우, 스마트 디바이스는 손가락 A가 터치스크린에 터치된 위치정보에 기초하여 사용자 입력을 결정한다. 손가락 A를 이용한 터치를 통해 일반적인 입력이 수행될 수 있다. 손가락 B에 의해 터치스크린이 터치된 경우, 스마트 디바이스는 이전 단계로 돌아간다. 손가락 C에 의해 터치스크린이 터치된 경우, 스마트 디바이스 홈으로 돌아간다. 손가락 D에 의해 터치스크린이 터치된 경우, 스마트 디바이스는 어플리케이션 메뉴를 오픈 한다.
위에서 설명한 실시예들은 스마트 폰에 적용될 수 있다.
일실시예는 터치스크린의 사용자 인터페이스의 서로 다른 버튼에 서로 다른 표기를 추가하거나 서로 다른 색상을 이용하여 해당 버튼을 입력하는 데 요구되는 손가락을 표시하여 직관적인 사용자 인터페이스를 제공할 수 있다.
도 17은 일실시예에 따른 디스플레이 스크린의 유효 면적을 도시한다.
일실시예에 따르면, 스마트 디바이스의 사용자 인터페이스는 손가락 식별을 통하여 구현된다. 일실시예는 서로 다른 손가락이 터치스크린의 동일한 위치를 터치하는 경우, 서로 다른 입력을 실현하여 터치스크린의 디스플레이 유효 면적을 확장할 수 있다. 도 17을 참조하면, 실시예가 적용되어 확장된 터치스크린의 디스플레이 유효 면적이 확인된다. 일실시예에 따르면, 스마트 디바이스는 사용자 입력을 결정할 때, 터치 힘을 추가적으로 고려할 수 있다.
도 18은 일실시예에 따른 스마트 디바이스의 구성이다.
위에서 설명된 사용자 인터페이스는 스마트 디바이스를 통해 구현될 수 있다. 사용자 인터페이스를 제공하는 스마트 디바이스는 터치스크린을 구비할 수 있다.
일실시예에 따른 스마트 디바이스는 통신 모듈(1801), 프로세서(1802) 및 응답 모듈(1803)을 포함한다.
일실시예에 따른 통신 모듈(1801)은 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 송신되는 전기신호를 수신할 수 있다.
일실시예에 따른 프로세서(1802)는 통신 모듈(1801)을 통해, 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신하고, 사용자가 터치스크린을 터치한 위치정보 및 전기신호에 기초하여 사용자 입력을 결정하고, 응답 모듈(1803)을 통해, 결정된 사용자 입력에 대해 응답한다.
일실시예에 따른 프로세서(1802)는 전기신호에 기초하여, 사용자가 터치스크린을 터치한 손가락 및 손가락이 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하고, 식별된 손가락 및 터치 힘 중 적어도 하나를 위치정보와 결합하고, 결합 결과를 이용하여 사용자 입력을 결정한다.
일실시예에 따른 응답 모듈(1803)은 결정된 사용자 입력에 대한 응답을 수행한다.
도 19는 일실시예에 따른 프로세서의 구성이다.
일실시예에 따른 프로세서(1802)는, 신호 식별부(1901) 및 정보결합부(1902)를 포함한다.
일실시예에 따른 신호 식별부(1901)는 통신 모듈(1801)이 수신한 전기신호에 기초하여, 사용자가 터치스크린을 터치한 손가락 및 손가락이 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별한다.
일실시예에 따른 정보 결합부(1902)는 사용자가 터치스크린을 터치한 위치정보 및 전기신호에 기초하여 사용자 입력을 결정한다. 정보 결합부(1902)는 식별된 손가락 및 터치 힘 중 적어도 하나를 위치정보와 결합하고, 결합 결과를 이용하여 사용자 입력을 결정한다.
일실시예에 따르면, 스마트 디바이스는 분류기 트레이닝 모듈(1804)을 더 포함할 수 있다.
일실시예에 따른 분류기 트레이닝 모듈(1804)은 사용자의 복수의 각 손가락이 터치스크린에 각각 터치되고, 각각의 터치가 EMG 센서에 의해 감응되는 경우, 각각의 터치에 대해 EMG 센서로부터 출력된 전기신호의 특징을 추출한다. 분류기 트레이닝 모듈(1804)은 추출된 전기신호의 특징에 대해 터치된 각 손가락 및 각 손가락의 터치 힘 중 적어도 하나를 대응시킨 트레이닝 샘플을 획득한다. 분류기 트레이닝 모듈(1804)은 트레이닝 샘플을 이용하여, 각각의 터치 및 각 손가락의 터치 힘 중 적어도 하나의 식별에 대해 분류기를 트레이닝 한다.
일실시예에 따르면, 신호 식별부(1901)는 전기신호를 기초로 미리 트레이닝 된 분류기를 이용하여 손가락 및 터치 힘 중 적어도 하나를 식별할 수 있다.
일실시예에 따르면, 스마트 디바이스는 EMG 센서를 더 포함할 수 있다. 스마트 디바이스에는 EMG 센서가 하나의 통신 모듈로서 설치될 수 있다. 다른 실시예에 따르면, 스마트 디바이스와 EMG 센서는 분리되어 있을 수 있다.
일실시예에 따르면 스마트 디바이스는 위에서 설명된 사용자 인터페이스 방법이 적용될 수 있고, 위의 실시예에 한정되지 않는다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1801: 통신 모듈
1802: 프로세서
1803: 응답 모듈

Claims (28)

  1. 터치스크린을 구비한 스마트 디바이스의 사용자 인터페이스 방법에 있어서,
    사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신하는 단계;
    상기 전기신호에 기초하여, 상기 사용자가 상기 터치스크린을 터치한 손가락 및 상기 손가락이 상기 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하는 단계;
    상기 식별된 손가락 및 상기 터치 힘 중 적어도 하나를 상기 사용자가 상기 터치스크린을 터치한 위치정보와 결합하고, 상기 결합 결과 및 상기 전기신호에 기초하여 사용자 입력을 결정하는 단계; 및
    상기 결정된 사용자 입력에 대해 응답하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 EMG 센서는 상기 사용자의 팔에 환형으로 착용되고,
    상기 손가락이 상기 터치스크린에 터치되는 경우, 상기 팔의 근육의 전위파형을 검출하고, 상기 검출된 전위파형을 이용하여 상기 전기신호를 출력하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  4. 제1항에 있어서,
    상기 손가락 및 상기 손가락이 상기 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하는 단계는,
    상기 전기신호를 기초로 미리 트레이닝된 분류기에 의해 상기 손가락 및 상기 터치 힘 중 적어도 하나가 식별되는 단계
    를 포함하고,
    상기 분류기를 트레이닝 하는 단계는,
    상기 사용자의 복수의 각 손가락이 상기 터치스크린에 각각 터치되고, 상기 각각의 터치가 상기 EMG 센서에 의해 감응되는 단계;
    상기 각각의 터치에 대해 상기 EMG 센서로부터 출력된 전기신호의 특징을 추출하는 단계;
    상기 추출된 전기신호의 특징에 대해 상기 터치된 각 손가락 및 상기 각 손가락의 터치 힘 중 적어도 하나를 대응시킨 트레이닝 샘플을 획득하는 단계; 및
    상기 트레이닝 샘플을 이용하여, 상기 터치된 각 손가락 및 상기 각 손가락의 터치 힘 중 적어도 하나의 식별을 분류기가 트레이닝하는 단계;
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  5. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 가상 키보드가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 알파벳을 결정하는 단계; 및
    상기 식별된 손가락에 기초하여 상기 알파벳의 대문자 또는 소문자를 상기 사용자 입력으로 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  6. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 가상 키보드가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 삭제 키가 터치되었는지 여부를 판단하는 단계;
    상기 식별된 손가락에 기초하여 상기 삭제 키의 대상이 하나의 문자 부호, 하나의 단어, 하나의 구절, 하나의 단락 및 전체 문서 중 어느 하나인지 여부를 판단하는 단계; 및
    상기 삭제 키의 대상의 판단 결과를 이용하여 상기 사용자 입력을 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  7. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 연락자 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 연락자를 결정하는 단계; 및
    상기 식별된 손가락에 기초하여 상기 연락자의 정보 공개, 상기 연락자로 연락 및 상기 연락자로 메시지 송신 중 어느 하나를 상기 사용자 입력으로 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  8. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 브라우저 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 링크를 결정하는 단계; 및
    상기 식별된 손가락에 기초하여 상기 링크를 오픈, 상기 링크를 보관 및 상기 링크를 새로운 탭에서 오픈 중 어느 하나를 상기 사용자 입력으로 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  9. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 그리기 어플리케이션의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 그리기 어플리케이션의 인터페이스에 대한 터치를 결정하는 단계;
    상기 식별된 손가락에 기초하여 상기 그리기 어플리케이션의 인터페이스에 대한 터치에 대해, 그림붓 도구 및 지우개 도구 중 어느 하나를 결정하는 단계; 및
    상기 터치 힘에 기초하여 상기 그림붓 도구 및 상기 지우개 도구 중 어느 하나를 이용하는 과정의 그림붓의 굵기 및 지우개의 크기 중 적어도 하나를 조절하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  10. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 지도 어플리케이션의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 확대 또는 축소가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계;
    상기 식별된 손가락에 기초하여 상기 확대 또는 축소 중 어느 하나를 결정하는 단계; 및
    상기 터치 힘에 기초하여 상기 결정된 확대 또는 축소 중 어느 하나의 배수를 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  11. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 빨리 감기(fast forward) 또는 빨리 되감기(fast backward)가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계; 및
    상기 터치 힘에 기초하여 상기 빨리 감기 또는 빨리 되감기의 속도를 조절하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  12. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 볼륨 키가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계;
    상기 식별된 손가락에 기초하여 볼륨 증가 및 볼륨 감소 중 어느 하나를 결정하는 단계; 및
    상기 터치 힘에 기초하여 상기 결정된 볼륨 증가 및 볼륨 감소 중 어느 하나의 크기를 조절하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  13. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 콘텐츠 전환 키가 상기 사용자에 의해 터치되는지 여부를 판단하는 단계; 및
    상기 식별된 손가락에 기초하여 이전 콘텐츠 재생 또는 다음 콘텐츠 재생을 상기 사용자 입력으로 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  14. 제1항에 있어서,
    상기 결합 결과를 이용하여 상기 사용자 입력을 결정하는 단계는,
    상기 식별된 손가락이 미리 정해진 손가락인 경우, 상기 위치정보에 기초하여 상기 사용자 입력을 결정하는 단계; 및
    상기 식별된 손가락이 미리 정해진 손가락이 아닌 경우, 상기 식별된 손가락에 기초하여 이전 단계로 돌아감, 홈으로 돌아감 및 어플리케이션 메뉴 오픈 중 적어도 하나를 상기 사용자 입력으로 결정하는 단계
    를 포함하는,
    스마트 디바이스의 사용자 인터페이스 방법.
  15. 터치스크린을 구비한 스마트 디바이스에 있어서,
    통신 모듈;
    응답 모듈; 및
    프로세서를 포함하고,
    상기 프로세서는,
    상기 통신 모듈을 통해, 사용자가 착용한 근전도 검사(Electromyography; EMG) 센서로부터 전기신호를 수신하고,
    상기 전기신호에 기초하여, 상기 사용자가 상기 터치스크린을 터치한 손가락 및 상기 손가락이 상기 터치스크린을 터치하는 터치 힘 중 적어도 하나를 식별하고,
    상기 식별된 손가락 및 상기 터치 힘 중 적어도 하나를 상기 사용자가 상기 터치스크린을 터치한 위치정보와 결합하고, 상기 결합 결과 및 상기 전기신호에 기초하여 사용자 입력을 결정하고,
    상기 응답 모듈을 통해, 상기 결정된 사용자 입력에 대해 응답하는,
    스마트 디바이스.
  16. 삭제
  17. 제15항에 있어서,
    상기 EMG 센서는 상기 사용자의 팔에 환형으로 착용되고,
    상기 손가락이 상기 터치스크린에 터치되는 경우, 상기 팔의 근육의 전위파형을 검출하고, 상기 검출된 전위파형을 이용하여 상기 전기신호를 출력하는,
    스마트 디바이스.
  18. 제15항에 있어서,
    상기 사용자의 복수의 각 손가락이 상기 터치스크린에 각각 터치되고, 상기 각각의 터치가 상기 EMG 센서에 의해 감응되는 경우, 상기 각각의 터치에 대해 상기 EMG 센서로부터 출력된 전기신호의 특징을 추출하고, 상기 추출된 전기신호의 특징에 대해 상기 터치된 각 손가락 및 상기 각 손가락의 터치 힘 중 적어도 하나를 대응시킨 트레이닝 샘플을 획득하고, 상기 트레이닝 샘플을 이용하여, 상기 터치된 각 손가락 및 상기 각 손가락의 터치 힘 중 적어도 하나의 식별에 대해 분류기를 트레이닝 하는,
    분류기 트레이닝 모듈을
    더 포함하고,
    상기 프로세서는,
    상기 전기신호를 기초로 미리 트레이닝 된 분류기를 이용하여 상기 손가락 및 상기 터치 힘 중 적어도 하나가 식별하는,
    스마트 디바이스.
  19. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 가상 키보드가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 알파벳을 결정하고,
    상기 식별된 손가락에 기초하여 상기 알파벳의 대문자 또는 소문자를 상기 사용자 입력으로 결정하는,
    스마트 디바이스.
  20. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 가상 키보드가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 삭제 키가 터치되었는지 여부를 판단하고,
    상기 식별된 손가락에 기초하여 상기 삭제 키의 대상이 하나의 문자 부호, 하나의 단어, 하나의 구절, 하나의 단락 및 전체 문서 중 어느 하나인지 여부를 판단하며,
    상기 삭제 키의 대상의 판단 결과를 이용하여 상기 사용자 입력을 결정하는,
    스마트 디바이스.
  21. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 연락자 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 연락자를 결정하고,
    상기 식별된 손가락에 기초하여 상기 연락자의 정보 공개, 상기 연락자로 연락 및 상기 연락자로 메시지 송신 중 어느 하나를 상기 사용자 입력으로 결정하는,
    스마트 디바이스.
  22. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 브라우저 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 사용자에 의해 터치된 링크를 결정하고,
    상기 식별된 손가락에 기초하여 상기 링크를 오픈, 상기 링크를 보관, 및 상기 링크를 새로운 탭에서 오픈 중 어느 하나를 상기 사용자 입력으로 결정하는,
    스마트 디바이스.
  23. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 그리기 어플리케이션의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 상기 그리기 어플리케이션의 인터페이스에 대한 터치를 결정하고,
    상기 식별된 손가락에 기초하여 상기 그리기 어플리케이션의 인터페이스에 대한 터치에 대해, 그림붓 도구 및 지우개 도구 중 어느 하나를 결정하며,
    상기 터치 힘에 기초하여 상기 그림붓 도구 및 상기 지우개 도구 중 어느 하나를 이용하는 과정의 그림붓의 굵기 및 지우개의 크기 중 적어도 하나를 조절하는,
    스마트 디바이스.
  24. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 지도 어플리케이션의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 확대 또는 축소가 상기 사용자에 의해 터치되는지 여부를 판단하고,
    상기 식별된 손가락에 기초하여 상기 확대 또는 축소 중 어느 하나를 결정하고,
    상기 터치 힘에 기초하여 상기 결정된 확대 또는 축소 중 어느 하나의 배수를 결정하는,
    스마트 디바이스.
  25. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 빨리 감기(fast forward) 또는 빨리 되감기(fast backward)가 상기 사용자에 의해 터치되는지 여부를 판단하고,
    상기 터치 힘에 기초하여 상기 빨리 감기 또는 빨리 되감기의 속도를 조절하는,
    스마트 디바이스.
  26. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 볼륨 키가 상기 사용자에 의해 터치되는지 여부를 판단하고,
    상기 식별된 손가락에 기초하여 볼륨 증가 및 볼륨 감소 중 어느 하나를 결정하며,
    상기 터치 힘에 기초하여 상기 결정된 볼륨 증가 및 볼륨 감소 중 어느 하나의 크기를 조절하는,
    스마트 디바이스.
  27. 제15항에 있어서,
    상기 프로세서는,
    상기 터치스크린에 미디어 플레이어의 인터페이스가 디스플레이되는 경우, 상기 위치정보에 기초하여 콘텐츠 전환 키가 상기 사용자에 의해 터치되는지 여부를 판단하고,
    상기 식별된 손가락에 기초하여 이전 콘텐츠 재생 또는 다음 콘텐츠 재생을 상기 사용자 입력으로 결정하는,
    스마트 디바이스.
  28. 제15항에 있어서,
    상기 프로세서는,
    상기 식별된 손가락이 미리 정해진 손가락인 경우, 상기 위치정보에 기초하여 상기 사용자 입력을 결정하고,
    상기 식별된 손가락이 미리 정해진 손가락이 아닌 경우, 상기 식별된 손가락에 기초하여 이전 단계로 돌아감, 홈으로 돌아감 및 어플리케이션 메뉴 오픈 중 적어도 하나를 상기 사용자 입력으로 결정하는,
    스마트 디바이스.
KR1020150132868A 2015-02-16 2015-09-21 사용자 인터페이스 방법 및 장치 KR102094751B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/016,673 US9946395B2 (en) 2015-02-16 2016-02-05 User interface method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510083694.4 2015-02-16
CN201510083694.4A CN105988695B (zh) 2015-02-16 2015-02-16 智能设备及其操作响应方法

Publications (2)

Publication Number Publication Date
KR20160100789A KR20160100789A (ko) 2016-08-24
KR102094751B1 true KR102094751B1 (ko) 2020-03-30

Family

ID=56884262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132868A KR102094751B1 (ko) 2015-02-16 2015-09-21 사용자 인터페이스 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102094751B1 (ko)
CN (1) CN105988695B (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106775430A (zh) 2017-03-30 2017-05-31 维沃移动通信有限公司 一种移动终端的字符输入方法及移动终端
CN112162689B (zh) * 2020-09-18 2022-03-04 维沃移动通信有限公司 输入方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210745A1 (en) 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices
US20140267084A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Enhancing touch inputs with gestures

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994408B1 (ko) * 2008-11-19 2010-11-16 한국과학기술원 손가락 힘 추정 방법 및 추정 장치, 손가락 힘 추정을 위한근육 판별 방법 및 근육 판별 장치
US8378967B2 (en) * 2009-02-27 2013-02-19 Denso Corporation Wearable electrical apparatus
US9089270B2 (en) * 2011-06-29 2015-07-28 Lg Electronics Inc. Terminal and control method thereof
KR102087137B1 (ko) * 2013-03-15 2020-03-10 엘지전자 주식회사 제어 장치 및 그것의 제어 방법
KR102129464B1 (ko) * 2013-07-01 2020-07-03 엘지전자 주식회사 디스플레이 장치 및 그것의 제어 방법
CN103442129A (zh) * 2013-08-09 2013-12-11 宇龙计算机通信科技(深圳)有限公司 智能手表与移动终端的交互方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210745A1 (en) 2013-01-25 2014-07-31 University Of Washington Through Its Center For Commercialization Using Neural Signals to Drive Touch Screen Devices
US20140267084A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Enhancing touch inputs with gestures

Also Published As

Publication number Publication date
KR20160100789A (ko) 2016-08-24
CN105988695A (zh) 2016-10-05
CN105988695B (zh) 2019-06-28

Similar Documents

Publication Publication Date Title
US11747956B2 (en) Multi-dimensional object rearrangement
US11914772B2 (en) Motion and gesture input from a wearable device
KR102398394B1 (ko) 입력 디바이스 및 사용자 인터페이스 상호작용
US8291348B2 (en) Computing device and method for selecting display regions responsive to non-discrete directional input actions and intelligent content analysis
KR100687737B1 (ko) 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
US20150293592A1 (en) Haptic information management method and electronic device supporting the same
US9946395B2 (en) User interface method and apparatus
CN104423789B (zh) 一种信息处理方法及电子设备
WO2014045953A1 (ja) 情報処理装置および方法、並びにプログラム
KR20140064611A (ko) 터치 동작 처리 방법 및 그 전자 장치
CN106104450B (zh) 选择图形用户界面某一部分的方法
CN104239381A (zh) 便携式终端和便携式终端中的用户界面方法
CN104965669A (zh) 物理按键触控方法及装置、移动终端
CN105159581B (zh) 一种图片浏览方法及移动终端
US20170068374A1 (en) Changing an interaction layer on a graphical user interface
CN105426049B (zh) 一种删除方法及终端
US10613732B2 (en) Selecting content items in a user interface display
CN104423626A (zh) 信息处理装置以及控制方法
CN105867684A (zh) 一种对象的控制方法及装置
KR102094751B1 (ko) 사용자 인터페이스 방법 및 장치
CN104020989B (zh) 基于远程应用的控制方法和系统
US20160132478A1 (en) Method of displaying memo and device therefor
CN103677264A (zh) 一种基于脑机接口资源管理器的操作方法
CN104461365A (zh) 终端的触控方法和装置
US9524051B2 (en) Method and terminal for inputting multiple events

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant