KR102319530B1 - 사용자 입력 처리 방법 및 장치 - Google Patents

사용자 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR102319530B1
KR102319530B1 KR1020140107173A KR20140107173A KR102319530B1 KR 102319530 B1 KR102319530 B1 KR 102319530B1 KR 1020140107173 A KR1020140107173 A KR 1020140107173A KR 20140107173 A KR20140107173 A KR 20140107173A KR 102319530 B1 KR102319530 B1 KR 102319530B1
Authority
KR
South Korea
Prior art keywords
delay time
recognition reliability
user input
threshold value
input processing
Prior art date
Application number
KR1020140107173A
Other languages
English (en)
Other versions
KR20160021629A (ko
Inventor
신창우
박근주
이규빈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140107173A priority Critical patent/KR102319530B1/ko
Priority to US14/676,391 priority patent/US10061388B2/en
Publication of KR20160021629A publication Critical patent/KR20160021629A/ko
Application granted granted Critical
Publication of KR102319530B1 publication Critical patent/KR102319530B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

사용자 입력 처리 장치가 개시된다. 일 실시예에 따른 사용자 입력 처리 장치는 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 오퍼레이션의 수행 여부 중 적어도 하나를 결정하고, 결정된 지연 시간 및 오퍼레이션의 수행 여부 중 적어도 하나에 기초하여 오퍼레이션을 제어한다.

Description

사용자 입력 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING USER INPUT}
아래 실시예들은 사용자 입력 처리 방법 및 장치에 관한 것이다.
인간-컴퓨터 상호작용(Human-Computer Interaction, HCI) 기술은 사용자와 컴퓨터 사이의 상호작용을 향상시키는 기술이다. 사용자의 의도는 비전 센서를 통한 동작 인식 등 다양한 사용자 인터페이스를 이용하여 컴퓨터로 전달될 수 있다. 이러한 사용자 인터페이스는 하드웨어 컴포넌트, 소프트웨어 컴포넌트, 또는 이들의 조합을 통하여 구현될 수 있다.
전자 장치들 내 카메라, 마이크, 및 다른 컴포넌트들의 광범위한 활용으로 인하여, 사용자 인터페이스는 사용자와 컴퓨터 사이의 상호작용을 보다 향상시킬 수 있다. 이로 인하여, 전자 장치들의 다양한 기능들이 풍부하게 활용될 수 있다.
일 측에 따른 사용자 입력 처리 방법은 미리 정해진 오퍼레이션을 위한 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 상기 오퍼레이션의 수행 여부를 결정하는 단계; 및 상기 지연 시간 및 상기 오퍼레이션의 수행 여부에 기초하여 상기 오퍼레이션을 제어하는 단계를 포함한다.
상기 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 큰 경우, 상기 지연 시간은 상기 인식 신뢰도와 제3 임계 값 사이의 거리에 기초하여 결정될 수 있다.
상기 오퍼레이션을 제어하는 단계는 상기 지연 시간 이후 상기 오퍼레이션을 수행하는 단계; 상기 지연 시간에 걸쳐 상기 오퍼레이션이 수행되도록 상기 오퍼레이션의 수행 속도를 제어하는 단계; 상기 지연 시간 동안 상기 오퍼레이션의 수행 속도를 감소시키고, 상기 지연 시간이 경과되면 상기 오퍼레이션의 수행 속도를 복구하는 단계; 및 상기 오퍼레이션을 수행한 뒤, 상기 오퍼레이션의 수행 이전으로 회귀 가능한 상태를 상기 지연 시간 동안 유지하는 단계 중 적어도 하나를 포함할 수 있다.
상기 사용자 입력 처리 방법은 상기 지연 시간 동안, 잔여 지연 시간 및 상기 오퍼레이션의 수행 여부 중 적어도 하나를 사용자에게 피드백하는 단계를 더 포함할 수 있다. 상기 사용자 입력 처리 방법은 상기 지연 시간 동안, 상기 오퍼레이션의 수행 여부와 관련된 입력을 위한 인터페이스를 사용자에게 제공하는 단계를 더 포함할 수 있다.
상기 사용자 입력 처리 방법은 상기 인터페이스를 통하여 상기 오퍼레이션의 수행 여부와 관련된 입력이 수신되면, 상기 지연 시간이 경과되는 것을 기다리지 않고 상기 오퍼레이션의 수행 여부와 관련된 입력에 기초하여 상기 오퍼레이션을 제어하는 단계를 더 포함할 수 있다. 상기 사용자 입력 처리 방법은 상기 인터페이스를 통하여 상기 오퍼레이션의 수행 여부와 관련된 입력이 수신되면, 상기 인식 신뢰도에 기초하여 상기 지연 시간을 결정하는 제1 파라미터 및 상기 오퍼레이션의 수행 여부를 결정하는 제2 파라미터 중 적어도 하나를 업데이트하는 단계를 더 포함할 수 있다.
다른 일 측에 따른 사용자 입력 처리 방법은 오퍼레이션들에 대응하여, 사용자 입력의 인식 신뢰도들을 획득하는 단계; 상기 인식 신뢰도들에 기초하여, 상기 오퍼레이션들에 대응하는 지연 시간들 및 상기 오퍼레이션들의 수행 여부를 결정하는 단계; 및 상기 지연 시간들 및 상기 오퍼레이션들의 수행 여부에 기초하여, 상기 오퍼레이션들을 제어하는 단계를 포함한다.
상기 오퍼레이션들을 제어하는 단계는 상기 인식 신뢰도들 중 제1 임계 값보다 큰 인식 신뢰도를 검출하는 단계; 및 상기 검출된 인식 신뢰도에 대응하는 오퍼레이션의 지연 시간 이후, 상기 검출된 인식 신뢰도에 대응하는 오퍼레이션을 수행하는 단계를 포함할 수 있다.
상기 오퍼레이션들을 제어하는 단계는 상기 인식 신뢰도들 중 제1 임계 값보다 작고 제2 임계 값보다 큰 인식 신뢰도들을 검출하는 단계; 상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 지연 시간들에 기초하여 대표 지연 시간을 결정하는 단계; 및 상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 수행 여부 및 상기 대표 지연 시간에 기초하여 상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들을 제어하는 단계를 포함할 수 있다.
또 다른 일 측에 따른 사용자 입력 처리 장치는 미리 정해진 오퍼레이션을 위한 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 상기 오퍼레이션의 수행 여부를 결정하는 결정부; 및 상기 오퍼레이션의 수행 여부에 기초하여 상기 지연 시간 이후 상기 오퍼레이션을 제어하는 제어부를 포함한다.
또 다른 일 측에 따른 사용자 입력 처리 장치는 오퍼레이션들에 대응하여, 사용자 입력의 인식 신뢰도들을 획득하는 획득부; 상기 인식 신뢰도들에 기초하여, 상기 오퍼레이션들에 대응하는 지연 시간들 및 상기 오퍼레이션들의 수행 여부를 결정하는 결정부; 및 상기 지연 시간들 및 상기 오퍼레이션들의 수행 여부에 기초하여, 상기 오퍼레이션들을 제어하는 제어부를 포함한다.
도 1은 일 실시예에 따른 사용자 입력 처리 시스템을 설명하는 도면.
도 2는 일 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계를 설명하는 그래프.
도 3 및 도 4는 일 실시예에 따른 파라미터의 업데이트를 설명하는 도면들.
도 5는 다른 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계를 설명하는 그래프.
도 6 및 도 7은 다른 실시예에 따른 파라미터의 업데이트를 설명하는 도면들.
도 8은 또 다른 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계를 설명하는 그래프.
도 9는 또 다른 실시예에 따른 파라미터의 업데이트를 설명하는 도면.
도 10 내지 도 13은 일 실시예에 따른 사용자 입력 처리 장치의 동작을 설명하는 도면들.
도 14 내지 도 19는 다른 실시예에 따른 사용자 입력 처리 장치의 동작을 설명하는 도면들.
도 20 및 도 21은 다른 실시예들에 따른 사용자 피드백 방법을 설명하는 도면들.
도 22는 일 실시예에 따른 사용자 입력 처리 방법을 나타낸 동작 흐름도.
도 23은 다른 실시예에 따른 사용자 입력 처리 방법을 나타낸 동작 흐름도.
도 24는 일 실시예에 따른 사용자 입력 처리 장치를 나타낸 블록도.
도 25는 다른 실시예에 따른 사용자 입력 처리 장치를 나타낸 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 사용자 입력을 인식하고, 인식된 사용자 입력을 처리하는 유저 인터페이싱 기법에 적용될 수 있다.
도 1은 일 실시예에 따른 사용자 입력 처리 시스템을 설명하는 도면이다. 도 1을 참조하면, 일 실시예에 따른 사용자 입력 처리 시스템(100)에서 사용자 입력 처리 장치(120)는 사용자 입력을 수신할 수 있다. 여기서, 사용자 입력 처리 장치(120)는 사용자의 입력을 처리하는 장치로, 휴대폰, 스마트 폰, PDA, 테블릿 컴퓨터 등 모바일 디바이스; 스마트 시계, 스마트 안경 등 웨어러블 디바이스; 스마트 텔레비전, 스마트 냉장고, 스마트 도어 락 등 스마트 가전 제품; 랩톱 컴퓨터, 퍼스널 컴퓨터 등 일반 컴퓨팅 디바이스; 및 차량 네비게이션, 자동 현금 인출기, 무인 티켓 발매기 등 특정 컴퓨팅 디바이스 등을 포괄적으로 포함할 수 있다. 사용자 입력 처리 장치(120)는 사용자 입력을 처리하기 위한 각종 모듈들로 구성될 수 있고, 사용자 입력 처리 장치(120)를 구성하는 각종 모듈들은 하드웨어 모듈, 소프트웨어 모듈, 또는 이들의 조합으로 구현될 수 있다.
사용자 입력 처리 장치(120)는 다양한 방식으로 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 입력 처리 장치(120)는 비전 센서를 이용하여 사용자의 제스처, 또는 사용자의 모션을 포함하는 이미지 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 이벤트 기반 비전 센서를 이용하여 사용자의 모션으로 인하여 발생되는 이벤트 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 자이로 센서를 이용하여 사용자의 제스처에 대응하는 자이로 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 가속도 센서를 이용하여 사용자의 모션으로 인하여 발생되는 가속도 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 터치 센서를 이용하여 사용자의 터치에 대응하는 터치 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 진동 센서를 이용하여 사용자에 의하여 의도된 진동에 대응하는 진동 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 마이크를 이용하여 사용자의 음성 명령에 대응하는 음성 데이터를 수신할 수 있다. 사용자 입력 처리 장치(120)는 생체 센서를 이용하여 근전도, 뇌파, 심박 등 사용자의 생체 데이터를 수신할 수 있다.
사용자 입력 처리 장치(120)는 사용자 입력을 인식함으로써, 사용자(110)의 의도(intention) 또는 상태(state)를 추정할 수 있다. 사용자 입력 처리 장치(120)는 사용자 입력이 미리 정해진 오퍼레이션(operation)을 위하여 입력된 것인지 여부를 판단할 수 있다. 예를 들어, 사용자 입력 처리 장치(120)는 사용자의 제스처, 사용자의 모션, 사용자의 음성, 사용자의 필기 등을 인식할 수 있다. 사용자 입력 처리 장치(120)는 미리 정해진 오퍼레이션에 대응하여, 사용자 입력의 인식 신뢰도를 계산할 수 있다. 인식 신뢰도는 사용자 입력을 인식한 결과가 미리 정해진 오퍼레이션에 대응하는 패턴에 일치하는 정도일 수 있다. 오퍼레이션에 대응하는 패턴은 오퍼레이션에 대응하여 사전에 정해진 사용자 동작 패턴일 수 있다. 예를 들어, 인식 신뢰도는 0 이상 1 이하의 값 또는 0% 이상 100% 이하의 값을 가질 수 있다.
이하에서 설명할 실시예들은 미리 정해진 오퍼레이션이 하나 또는 그 이상인 경우에 적용될 수 있다. 설명의 편의를 위하여, 미리 정해진 오퍼레이션들이 복수인 경우 사용자 입력 처리 장치의 동작을 설명하기에 앞서, 미리 정해진 오퍼레이션이 하나인 경우 사용자 입력 처리 장치의 동작을 설명한다.
일 예로, 카메라 어플리케이션이 동작 중이라고 가정하면, 미리 정해진 오퍼레이션은 '촬영' 오퍼레이션일 수 있다. 이 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 '촬영' 오퍼레이션에 대응하는 패턴에 일치하는 정도를 나타내는 인식 신뢰도를 계산할 수 있다. 또는, 미리 정해진 오퍼레이션은 '플래시 온' 오퍼레이션일 수 있다. 이 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 '플래시 온' 오퍼레이션에 대응하는 패턴에 일치하는 정도를 나타내는 인식 신뢰도를 계산할 수 있다.
다른 예로, 전화가 오는 중이라고 가정하면, 미리 정해진 오퍼레이션은 '수신 호 연결' 오퍼레이션일 수 있다. 이 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 '수신 호 연결' 오퍼레이션에 대응하는 패턴에 일치하는 정도를 나타내는 인식 신뢰도를 계산할 수 있다. 또는, 미리 정해진 오퍼레이션은 '수신 호 거부' 오퍼레이션일 수 있다. 이 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 '수신 호 거부' 오퍼레이션에 대응하는 패턴에 일치하는 정도를 나타내는 인식 신뢰도를 계산할 수 있다. 또는, 미리 정해진 오퍼레이션은 '수신 음 무음' 오퍼레이션일 수 있다. 이 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 '수신 음 무음' 오퍼레이션에 대응하는 패턴에 일치하는 정도를 나타내는 인식 신뢰도를 계산할 수 있다. 또는, 미리 정해진 오퍼레이션은 '문자 발송' 오퍼레이션일 수 있다. 이 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 '문자 발송' 오퍼레이션에 대응하는 패턴에 일치하는 정도를 나타내는 인식 신뢰도를 계산할 수 있다.
아래에서 상세히 설명하겠으나, 사용자 입력 처리 장치(120)는 사용자 입력에 기초하여 복수의 오퍼레이션들 중 어느 하나를 선택할 수 있다. 복수의 오퍼레이션들이 이용되는 경우의 동작과 관련된 보다 상세한 사항들은 후술한다.
이상에서, 사용자 입력 처리 장치(120)가 직접 사용자 입력을 인식하고, 인식 신뢰도를 계산하는 것으로 설명하였으나, 실시예들은 서버 등 다른 장치에서 인식 신뢰도가 계산되고, 계산된 인식 신뢰도가 사용자 입력 처리 장치(120)로 제공되도록 변형될 수 있다. 또한, 실시예들은 기기 간 분산 컴퓨팅 및 결과 수합의 형태로 동작하도록 변형될 수 있다.
사용자 입력 처리 장치(120)는 인식 신뢰도에 기초하여 지연 시간 및 오퍼레이션의 수행 여부를 결정할 수 있다. 지연 시간은 사용자에게 피드백(feedback) 하기 위한 시간일 수 있다. 예를 들어, 사용자 입력 처리 장치(120)는 지연 시간 동안 대상 오퍼레이션, 오퍼레이션의 수행 여부, 및 잔여 지연 시간 중 적어도 하나를 사용자에게 피드백할 수 있다. 대상 오퍼레이션은 인식 신뢰도가 계산된 오퍼레이션 또는 인식된 오퍼레이션이 어떤 오퍼레이션인지를 알리는 정보이고, 오퍼레이션의 수행 여부는 오퍼레이션이 자동으로 수행될지 여부를 지시하는 정보이며, 잔여 지연 시간은 지연 시간 중 남은 시간일 수 있다. 사용자 입력 처리 장치(120)는 지연 시간이 경과되면, 사용자에게 제공하는 피드백을 중단할 수 있다.
사용자 입력 처리 장치(120)는 지연 시간 동안, 오퍼레이션의 수행 여부와 관련된 입력을 위한 인터페이스를 사용자에게 제공할 수 있다. 여기서, 오퍼레이션의 수행 여부와 관련된 입력은 사용자 입력 처리 장치(120)에 의하여 결정된 오퍼레이션의 수행 여부를 확정하는 입력, 및 사용자 입력 처리 장치(120)에 의하여 결정된 오퍼레이션의 수행 여부를 변경하는 입력 중 적어도 하나를 포함할 수 있다. 사용자 입력 처리 장치(120)는 지연 시간 동안, 인터페이스를 통하여 추가 입력이 수신되는지 여부를 판단할 수 있다.
지연 시간 동안 사용자로부터 추가 입력이 수신되지 않는 경우, 사용자 입력 처리 장치(120)는 오퍼레이션의 수행 여부에 따라 오퍼레이션을 제어할 수 있다. 오퍼레이션의 수행 여부가 긍정(positiveness)에 대응하는 제1 값인 경우, 사용자 입력 처리 장치(120)는 지연 시간이 경과한 이후 오퍼레이션을 수행할 수 있다. 예를 들어, 대상 오퍼레이션이 화면의 페이지를 넘기는 오퍼레이션인 경우, 사용자 입력 처리 장치(120)는 지연 시간이 경과하기 전까지 페이지 넘김 오퍼레이션을 수행하지 않고, 지연 시간이 경과되는 경우 비로소 페이지 넘김 오퍼레이션을 수행할 수 있다.
또는, 사용자 입력 처리 장치(120)는 오퍼레이션을 수행한 뒤, 대기 시간 동안 오퍼레이션의 수행 이전으로 회귀 가능한 상태를 유지할 수 있다. 대기 시간은 오퍼레이션의 수행이 완료된 이후 해당 오퍼레이션을 취소할 수 있는 시간으로, 지연 시간을 결정하는 방식과 실질적으로 동일하게 결정될 수 있다.
예를 들어, 대상 오퍼레이션이 화면의 페이지를 넘기는 오퍼레이션인 경우, 사용자 입력 처리 장치(120)는 페이지 넘김 오퍼레이션을 수행한 뒤, 대기 시간 동안 사용자의 추가 입력을 기다릴 수 있다. 대기 시간 이내에 취소 명령에 대응하는 사용자의 추가 입력이 감지되는 경우, 사용자 입력 처리 장치(120)는 페이지 넘김 오퍼레이션의 수행 이전으로 회귀할 수 있다.
또는, 사용자 입력 처리 장치(120)는 지연 시간 동안 오퍼레이션의 수행 속도를 제어하면서, 오퍼레이션을 수행할 수 있다. 사용자 입력 처리 장치(120)는 지연 시간 동안 오퍼레이션의 수행 속도를 제어함으로써, 사용자 입력의 인식 신뢰도가 충분히 높지 않음을 간접적으로 알리는 간접적 피드백을 사용자에게 제공할 수 있다.
일 예로, 사용자 입력 처리 장치(120)는 지연 시간에 걸쳐 오퍼레이션이 수행되도록 오퍼레이션을 제어할 수 있다. 대상 오퍼레이션이 화면의 페이지를 넘기는 오퍼레이션인 경우, 사용자 입력 처리 장치(120)는 지연 시간에 걸쳐 화면의 페이지가 서서히 넘어가도록 페이지 넘김 오퍼레이션을 제어할 수 있다. 다른 예로, 사용자 입력 처리 장치(120)는 지연 시간 동안 오퍼레이션의 수행 속도를 감소시키고 지연 시간이 경과되면 오퍼레이션의 수행 속도를 복구할 수 있다. 대상 오퍼레이션이 화면의 페이지를 넘기는 오퍼레이션인 경우, 사용자 입력 처리 장치(120)는 지연 시간 동안 화면의 페이지가 서서히 넘어가도록 하고, 지연 시간이 경과된 이후 화면의 페이지가 정상 속도로 넘어가도록 페이지 넘김 오퍼레이션을 제어할 수 있다. 사용자는 지연 시간 동안 정상 속도에 비하여 페이지가 천천히 넘어가고 있다는 사실을 감지할 수 있고, 이로 인하여 사용자 입력의 인식 신뢰도가 충분히 높지 않다는 사실을 인지할 수 있다.
오퍼레이션의 수행 여부가 부정(negativeness)에 대응하는 제2 값인 경우, 사용자 입력 처리 장치(120)는 지연 시간이 경과한 이후에도 오퍼레이션을 수행하지 않을 수 있다. 오퍼레이션의 수행 여부가 부정에 대응하는 제2 값이고 지연 시간 동안 사용자로부터 추가 입력을 수신하지 못하는 경우, 사용자 입력 처리 장치(120)는 사용자 입력이 사용자의 의도 또는 상태에 부합하지 않는다고 판단하고 사용자 입력에 대하여 실질적으로 아무런 응답도 하지 않을 수 있다. 예를 들어, 사용자 입력 처리 장치(120)는 사용자 입력이 수신되기 전의 동작 상태로 복귀할 수 있다.
지연 시간 동안 사용자로부터 추가 입력이 수신되는 경우, 사용자 입력 처리 장치(120)는 추가 입력에 따라 오퍼레이션을 제어할 수 있다. 일 예로, 인식된 오퍼레이션의 또는 인식 신뢰도가 계산된 오퍼레이션의 수행 확정에 대응하는 명령이 지연 시간 동안 제공되는 인터페이스를 통하여 추가 입력되는 경우, 사용자 입력 처리 장치(120)는 지연 시간이 경과되는 것을 기다리지 않고 오퍼레이션을 수행할 수 있다. 다른 예로, 인식된 오퍼레이션의 또는 인식 신뢰도가 계산된 오퍼레이션의 수행 거부에 대응하는 명령이 지연 시간 동안 제공되는 인터페이스를 통하여 추가 입력되는 경우, 사용자 입력 처리 장치(120)는 오퍼레이션을 수행하지 않을 수 있다. 사용자 입력 처리 장치(120)는 지연 시간이 경과되는 것을 기다리지 않고 사용자 입력이 수신되기 전 동작 상태로 복귀할 수 있다. 이 때, 사용자 입력 처리 장치(120)는 추가 입력이 수신됨에 따라 지연 시간이 경과되는 것을 기다리지 않고 사용자에게 제공하는 피드백을 중단할 수 있다.
사용자 입력 처리 장치(120)는 지연 시간 동안 제공되는 인터페이스를 통한 추가 입력을 인식하기 위하여, 추가 입력의 인식 신뢰도를 이용할 수 있다. 예를 들어, 사용자 입력 처리 장치(120)는 추가 입력의 인식 신뢰도를 계산하고, 계산된 인식 신뢰도에 기초하여 추가 입력을 처리할 수 있다.
지연 시간 동안 사용자로부터 추가 입력이 수신되는 경우, 사용자 입력 처리 장치(120)는 인식 신뢰도 및/또는 추가 입력에 따라 파라미터들을 업데이트할 수 있다. 예를 들어, 사용자 입력 처리 장치(120)는 지연 시간을 결정하는 제1 파라미터 및 오퍼레이션의 수행 여부를 결정하는 제2 파라미터 중 적어도 하나를 업데이트할 수 있다. 파라미터의 업데이트와 관련된 보다 상세한 사항들은 후술한다.
이처럼, 실시예들은 사용자에게 직관적인 피드백을 제공함으로써, 사용자 입력의 오인식에 의한 불편을 최소화하는 기술을 제공할 수 있다. 또한, 실시예들은 사용자가 잘못 입력을 하는 경우, 또는 사용자 입력이 오 인식되는 경우에, 오퍼레이션의 수행을 취소하거나 오퍼레이션의 수행 전의 상태로 복귀시키는 기술을 제공할 수 있다.
도 2는 일 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계를 설명하는 그래프이다. 도 2를 참조하면, 일 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계는 그래프(200)로 표현될 수 있다. 그래프(200)에서 x축은 인식 신뢰도를 나타내고, y축은 지연 시간을 나타낼 수 있다.
그래프(200)을 참조하면, 인식 신뢰도가 제1 임계 값보다 큰 제1 구간(210)에서 지연 시간은 작게 결정될 수 있다. 예를 들어, 제1 구간(210)에서 지연 시간은 0 또는 실질적으로 0에 가까운 수로 결정될 수 있다. 이 경우, 사용자 입력 처리 장치는 오퍼레이션에 대한 인식 신뢰도가 제1 구간(210)에 포함된다고 판단함에 따라, 실질적으로 지연 시간 없이 오퍼레이션을 수행할 수 있다.
또한, 인식 신뢰도가 낮은 제2 구간(220)에서 지연 시간은 작게 결정될 수 있다. 제2 구간(220)은 인식 신뢰도가 제2 임계 값보다 작은 구간일 수 있다. 제2 구간(220)에서 지연 시간은 0 또는 실질적으로 0에 가까운 수일 수 있다. 이 경우, 사용자 입력 처리 장치는 오퍼레이션에 대한 인식 신뢰도가 제2 구간(220)에 포함된다고 판단함에 따라, 오퍼레이션을 수행시키지 않을 것을 실질적으로 지연 시간 없이 결정할 수 있다.
또한, 인식 신뢰도가 중간인 제3 구간(230)에서 지연 시간은 인식 신뢰도와 제3 임계 값 사이의 거리에 기초하여 결정될 수 있다. 제3 구간(230)은 인식 신뢰도가 제1 임계 값보다 작고, 제2 임계 값보다 큰 구간일 수 있다. 제3 구간(230)에서 인식 신뢰도가 제3 임계 값에 가까울수록 지연 시간은 더 크게 결정되고, 인식 신뢰도가 제3 임계 값으로부터 멀어질수록 지연 시간은 더 작게 결정될 수 있다. 예를 들어, 인식 신뢰도가 제3 임계 값인 경우 지연 시간은 최대 지연 시간에 해당하는 값을 가질 수 있다. 사용자 입력 처리 장치는 오퍼레이션에 대한 인식 신뢰도가 제3 구간(230)에 포함된다고 판단함에 따라, 인식 신뢰도에 기초하여 지연 시간을 결정할 수 있다. 사용자 입력 처리 장치는 지연 시간 동안 오퍼레이션의 수행을 지연시키면서, 사용자에게 대상 오퍼레이션, 오퍼레이션의 수행 여부, 및 잔여 지연 시간 중 적어도 하나를 사용자에게 피드백할 수 있다.
제1 임계 값은 제1 구간(210)에 포함되거나, 제3 구간(230)에 포함될 수 있다. 예를 들어, 제1 임계 값이 제1 구간(210)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제1 임계 값이라고 판단함에 따라 지연 시간을 0 또는 실질적으로 0에 가까운 수로 결정할 수 있다. 제1 임계 값이 제3 구간(230)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제1 임계 값이라고 판단함에 따라 제3 임계 값과의 거리에 기초하여 지연 시간을 결정할 수 있다.
또한, 제2 임계 값은 제2 구간(220)에 포함되거나, 제3 구간(230)에 포함될 수 있다. 예를 들어, 제2 임계 값이 제2 구간(220)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제2 임계 값이라고 판단함에 따라 지연 시간을 0 또는 실질적으로 0에 가까운 수로 결정할 수 있다. 제2 임계 값이 제3 구간(230)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제2 임계 값이라고 판단함에 따라 제3 임계 값과의 거리에 기초하여 지연 시간을 결정할 수 있다.
제3 임계 값은 오퍼레이션의 수행 여부를 결정하는 데 이용될 수 있다. 예를 들어, 사용자 입력 처리 장치는 인식 신뢰도가 제3 임계 값보다 큰 경우, 긍정을 지시하는 제1 값으로 오퍼레이션의 수행 여부를 결정할 수 있다. 또한, 사용자 입력 처리 장치는, 인식 신뢰도가 제3 임계 값보다 작은 경우, 부정을 지시하는 제2 값으로 오퍼레이션의 수행 여부를 결정할 수 있다.
다른 실시예에 따르면, 오퍼레이션의 수행 여부는 제3 임계 값과 상이한 제4 임계 값에 기초하여 결정될 수 있다. 이하, 설명의 편의를 위하여 오퍼레이션의 수행 여부가 제3 임계 값에 의하여 결정되는 것을 가정하고 설명한다.
도 3 및 도 4는 일 실시예에 따른 파라미터의 업데이트를 설명하는 도면들이다. 도 3을 참조하면, 일 실시예에 따른 파라미터는 지연 시간을 결정하는 제1 파라미터 및/또는 오퍼레이션의 수행 여부를 결정하는 제2 파라미터를 포함할 수 있다. 지연 시간을 결정하는 제1 파라미터는 제1 임계 값, 제2 임계 값, 및 제3 임계 값을 포함할 수 있다. 오퍼레이션의 수행 여부를 결정하는 제2 파라미터는 제3 임계 값 또는 제4 임계 값을 포함할 수 있다.
사용자 입력 처리 장치는 적응적으로(adaptively) 제1 파라미터 및/또는 제2 파라미터를 업데이트할 수 있다. 예를 들어, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제1 임계 값을 조정하거나(310), 제2 임계 값을 조정하거나(320), 제3 임계 값을 조정할 수 있다(330). 제2 파라미터가 제4 임계 값을 포함하는 경우, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제4 임계 값을 조정할 수 있다(도면 미 표시).
지연 시간 동안 사용자의 추가 입력이 없는 경우에도, 사용자 입력 처리 장치는 제1 파라미터 및/또는 제2 파라미터를 업데이트할 수 있다. 예를 들어, 지연 시간 동안 사용자의 추가 입력이 없는 경우, 사용자 입력 처리 장치는 사용자에게 피드백한 오퍼레이션의 수행 여부에 기초하여 제1 파라미터 및/또는 제2 파라미터를 업데이트할 수 있다. 이하, 설명의 편의를 위하여 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 파라미터가 업데이트되는 경우를 설명하나, 실시예들은 이러한 경우로 제한되지 않는다.
또한, 복수의 오퍼레이션들을 이용하는 경우, 사용자 입력 처리 장치는 추가 입력에 의하여 선택된 오퍼레이션의 인식 신뢰도에 기초하여 추가 입력에 의하여 선택되지 않은 다른 오퍼레이션의 지연 시간을 결정하는 제3 파라미터 및/또는 수행 여부를 결정하는 제4 파라미터를 업데이트할 수 있다.
도 4를 참조하면, 지연 시간을 결정하는 제1 파라미터는 최대 지연 시간, 왼쪽 곡률, 및 오른쪽 곡률을 포함할 수 있다. 사용자 입력 처리 장치는 적응적으로 제1 파라미터를 업데이트할 수 있다. 예를 들어, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 최대 지연 시간을 조정하거나(410), 왼쪽 곡률을 조정하거나(420), 오른쪽 곡률을 조정할 수 있다(430).
도 5는 다른 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계를 설명하는 그래프이다. 도 5를 참조하면, 다른 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계는 그래프(500)로 표현될 수 있다. 그래프(500)에서 x축은 인식 신뢰도를 나타내고, y축은 지연 시간을 나타낼 수 있다.
그래프(500)을 참조하면, 인식 신뢰도가 제1 임계 값보다 큰 제1 구간(510)에서 지연 시간은 작게 결정될 수 있다. 예를 들어, 제1 구간(510)에서 지연 시간은 0 또는 실질적으로 0에 가까운 수로 결정될 수 있다.
또한, 인식 신뢰도가 낮은 제2 구간(520)에서 지연 시간은 작게 결정될 수 있다. 제2 구간(520)은 인식 신뢰도가 제2 임계 값보다 작은 구간일 수 있다. 제2 구간(520)에서 지연 시간은 0 또는 실질적으로 0에 가까운 수일 수 있다.
또한, 인식 신뢰도가 중간인 제3 구간(530)에서 지연 시간은 인식 신뢰도와 제3 임계 값 사이의 거리에 기초하여 결정될 수 있다. 제3 구간(530)은 인식 신뢰도가 제1 임계 값보다 작고, 제2 임계 값보다 큰 구간일 수 있다. 제3 구간(530)은 불연속적인(discrete) 서브 구간들(531, 532, 533, 534, 535)로 양자화(quantization)될 수 있다. 도 5에서 제3 구간(530)이 5개의 서브 구간들로 양자화되는 것으로 도시되었으나, 제3 구간(530)을 양자화하는 서브 구간들의 수는 다양하게 변형될 수 있다.
제3 구간(530)에서 인식 신뢰도가 제3 임계 값에 가까운 서브 구간일수록 지연 시간은 더 크게 결정되고, 인식 신뢰도가 제3 임계 값으로부터 먼 서브 구간일수록 지연 시간은 더 작게 결정될 수 있다. 예를 들어, 인식 신뢰도가 제3 임계 값과 가장 가까운 서브 구간(533)에 포함되는 경우 지연 시간은 최대 지연 시간에 해당하는 값을 가질 수 있다.
제1 임계 값은 제1 구간(510)에 포함되거나, 제3 구간(530)에 포함될 수 있다. 예를 들어, 제1 임계 값이 제1 구간(510)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제1 임계 값이라고 판단함에 따라 지연 시간을 0 또는 실질적으로 0에 가까운 수로 결정할 수 있다. 제1 임계 값이 제3 구간(530)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제1 임계 값이라고 판단함에 따라 서브 구간(535)을 이용하여 지연 시간을 결정할 수 있다.
또한, 제2 임계 값은 제2 구간(520)에 포함되거나, 제3 구간(530)에 포함될 수 있다. 예를 들어, 제2 임계 값이 제2 구간(520)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제2 임계 값이라고 판단함에 따라 지연 시간을 0 또는 실질적으로 0에 가까운 수로 결정할 수 있다. 제2 임계 값이 제3 구간(530)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제2 임계 값이라고 판단함에 따라 서브 구간(531)을 이용하여 지연 시간을 결정할 수 있다.
제3 임계 값은 오퍼레이션의 수행 여부를 결정하는 데 이용될 수 있다. 예를 들어, 사용자 입력 처리 장치는 인식 신뢰도가 제3 임계 값보다 큰 경우, 긍정을 지시하는 제1 값으로 오퍼레이션의 수행 여부를 결정할 수 있다. 또한, 사용자 입력 처리 장치는, 인식 신뢰도가 제3 임계 값보다 작은 경우, 부정을 지시하는 제2 값으로 오퍼레이션의 수행 여부를 결정할 수 있다.
도 6 및 도 7은 다른 실시예에 따른 파라미터의 업데이트를 설명하는 도면들이다. 도 6을 참조하면, 다른 실시예에 따른 파라미터는 지연 시간을 결정하는 제1 파라미터 및/또는 오퍼레이션의 수행 여부를 결정하는 제2 파라미터를 포함할 수 있다. 지연 시간을 결정하는 제1 파라미터는 제1 임계 값, 제2 임계 값, 제3 임계 값, 및 제3 구간을 분할하는 분할 임계 값들을 포함할 수 있다. 오퍼레이션의 수행 여부를 결정하는 제2 파라미터는 제3 임계 값 또는 제4 임계 값을 포함할 수 있다.
사용자 입력 처리 장치는 적응적으로 제1 파라미터 및/또는 제2 파라미터를 업데이트할 수 있다. 예를 들어, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제1 임계 값을 조정하거나(610), 제2 임계 값을 조정하거나(620), 제3 임계 값을 조정할 수 있다(630). 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제3 구간을 분할하는 분할 임계 값들 중 적어도 하나를 조정할 수 있다(631, 632, 633, 634). 제2 파라미터가 제4 임계 값을 포함하는 경우, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제4 임계 값을 조정할 수 있다(도면 미 표시).
도 7을 참조하면, 지연 시간을 결정하는 제1 파라미터는 제3 구간에 속하는 서브 구간들 각각의 지연 시간을 포함할 수 있다. 사용자 입력 처리 장치는 적응적으로 제1 파라미터를 업데이트할 수 있다. 예를 들어, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제3 구간에 속하는 서브 구간들 각각의 지연 시간을 조정할 수 있다(710, 720, 730, 740, 750).
도 8은 또 다른 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계를 설명하는 그래프이다. 도 8을 참조하면, 또 다른 실시예에 따른 인식 신뢰도와 지연 시간 사이의 연관 관계는 그래프(800)로 표현될 수 있다. 그래프(800)에서 x축은 인식 신뢰도를 나타내고, y축은 지연 시간을 나타낼 수 있다.
그래프(800)을 참조하면, 인식 신뢰도가 제1 임계 값보다 큰 제1 구간(810)에서 지연 시간은 작게 결정될 수 있다. 예를 들어, 제1 구간(810)에서 지연 시간은 0 또는 실질적으로 0에 가까운 수로 결정될 수 있다.
또한, 인식 신뢰도가 낮은 제2 구간(820)에서 지연 시간은 작게 결정될 수 있다. 제2 구간(820)은 인식 신뢰도가 제2 임계 값보다 작은 구간일 수 있다. 제2 구간(820)에서 지연 시간은 0 또는 실질적으로 0에 가까운 수일 수 있다. 또한, 인식 신뢰도가 중간인 제3 구간(830)에서 지연 시간은 미리 정해진 값으로 결정될 수 있다.
제1 임계 값은 제1 구간(810)에 포함되거나, 제3 구간(830)에 포함될 수 있다. 예를 들어, 제1 임계 값이 제1 구간(810)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제1 임계 값이라고 판단함에 따라 지연 시간을 0 또는 실질적으로 0에 가까운 수로 결정할 수 있다. 제1 임계 값이 제3 구간(830)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제1 임계 값이라고 판단함에 따라 미리 정해진 값으로 지연 시간을 결정할 수 있다.
또한, 제2 임계 값은 제2 구간(820)에 포함되거나, 제3 구간(830)에 포함될 수 있다. 예를 들어, 제2 임계 값이 제2 구간(820)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제2 임계 값이라고 판단함에 따라 지연 시간을 0 또는 실질적으로 0에 가까운 수로 결정할 수 있다. 제2 임계 값이 제3 구간(830)에 포함되는 경우, 사용자 입력 처리 장치는 인식 신뢰도가 제2 임계 값이라고 판단함에 따라 미리 정해진 값으로 지연 시간을 결정할 수 있다.
제3 임계 값은 오퍼레이션의 수행 여부를 결정하는 데 이용될 수 있다. 예를 들어, 사용자 입력 처리 장치는 인식 신뢰도가 제3 임계 값보다 큰 경우, 긍정을 지시하는 제1 값으로 오퍼레이션의 수행 여부를 결정할 수 있다. 또한, 사용자 입력 처리 장치는, 인식 신뢰도가 제3 임계 값보다 작은 경우, 부정을 지시하는 제2 값으로 오퍼레이션의 수행 여부를 결정할 수 있다.
도 9는 또 다른 실시예에 따른 파라미터의 업데이트를 설명하는 도면이다. 도 9를 참조하면, 또 다른 실시예에 따른 파라미터는 지연 시간을 결정하는 제1 파라미터 및/또는 오퍼레이션의 수행 여부를 결정하는 제2 파라미터를 포함할 수 있다. 지연 시간을 결정하는 제1 파라미터는 제1 임계 값 및 제2 임계 값을 포함할 수 있다. 오퍼레이션의 수행 여부를 결정하는 제2 파라미터는 제3 임계 값을 포함할 수 있다.
사용자 입력 처리 장치는 적응적으로 제1 파라미터 및/또는 제2 파라미터를 업데이트할 수 있다. 예를 들어, 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제1 임계 값을 조정하거나(910), 제2 임계 값을 조정하거나(920), 제3 임계 값을 조정할 수 있다(930).
또한, 지연 시간을 결정하는 제1 파라미터는 제3 구간을 위하여 미리 정해진 값을 포함할 수 있다. 사용자 입력 처리 장치는 지연 시간 동안 수신되는 사용자의 추가 입력에 기초하여 제3 구간을 위하여 미리 정해진 값을 조정할 수 있다(940).
도 10 내지 도 13은 일 실시예에 따른 사용자 입력 처리 장치의 동작을 설명하는 도면들이다. 도 10을 참조하면, 일 실시예에 따른 사용자 입력 처리 장치는 수신 호를 감지하고, 전화가 왔음을 알리는 화면(1010)을 디스플레이에 표시할 수 있다. 사용자 입력 처리 장치는 사용자 입력을 감지하고, '수신 호 연결' 오퍼레이션에 대응하여 사용자 입력의 인식 신뢰도를 계산할 수 있다.
'수신 호 연결' 오퍼레이션에 대응하는 사용자 입력은 미리 설정되어 있을 수 있다. 예를 들어, '수신 호 연결' 오퍼레이션을 위하여 미리 정해진 모션은 손가락을 이용하여 원을 그리는 모션일 수 있다. 사용자 입력 처리 장치는 감지된 사용자 입력이 미리 정해진 모션에 대응하는 정도를 계산함으로써, 사용자 입력의 인식 신뢰도를 계산할 수 있다.
사용자 입력 처리 장치는 인식 신뢰도에 기초하여 지연 시간 및 '수신 호 연결' 오퍼레이션의 수행 여부를 결정할 수 있다. 예를 들어, 사용자 입력 처리 장치는 도 2 내지 도 9를 통하여 전술한 그래프들을 이용하여 지연 시간 및 '수신 호 연결' 오퍼레이션의 수행 여부를 결정할 수 있다.
일 예로, 제1 사용자 입력(1021)의 인식 신뢰도(1022)는 제1 임계 값보다 클 수 있다. 사용자 입력 처리 장치는 제1 구간을 위하여 설정된 값(예를 들면, 0)으로 지연 시간을 결정할 수 있다. 또한, 제1 임계 값은 제3 임계 값보다 크므로, 인식 신뢰도(1022)는 제3 임계 값보다 클 수 있다. 사용자 입력 처리 장치는 '수신 호 연결' 오퍼레이션의 수행 여부를 긍정에 대응하는 제1 값으로 결정할 수 있다. 이 경우, 사용자 입력 처리 장치는 지연 시간 없이 수신 호를 연결하고, 통화를 위한 화면(1023)을 디스플레이에 표시할 수 있다.
다른 예로, 제2 사용자 입력(1031)의 인식 신뢰도(1032)는 제2 임계 값보다 작을 수 있다. 사용자 입력 처리 장치는 제2 구간을 위하여 설정된 값(예를 들면, 0)으로 지연 시간을 결정할 수 있다. 또한, 제2 임계 값은 제3 임계 값보다 작으므로, 인식 신뢰도(1032)는 제3 임계 값보다 작을 수 있다. 사용자 입력 처리 장치는 '수신 호 연결' 오퍼레이션의 수행 여부를 부정에 대응하는 제2 값으로 결정할 수 있다. 이 경우, 사용자 입력 처리 장치는 사용자 입력(1031)을 처리하지 않고, 전화가 왔음을 알리는 화면(1033)을 디스플레이에 표시할 수 있다.
또 다른 예로, 제3 사용자 입력(1041)의 인식 신뢰도(1042)는 제1 임계 값보다 작고, 제2 임계 값보다 클 수 있다. 사용자 입력 처리 장치는 인식 신뢰도(1042)와 제3 임계 값 사이의 거리에 기초하여 지연 시간을 결정할 수 있다. 또한, 제3 사용자 입력(1041)의 인식 신뢰도(1042)는 제3 임계 값보다 클 수 있다. 사용자 입력 처리 장치는 '수신 호 연결' 오퍼레이션의 수행 여부를 긍정에 대응하는 제1 값으로 결정할 수 있다.
이 경우, 사용자 입력 처리 장치는 지연 시간 동안 대상 오퍼레이션이 '수신 호 연결' 오퍼레이션이고, 오퍼레이션의 수행 여부는 긍정에 대응하는 제1 값이라는 정보를 사용자에게 피드백 할 수 있다. 또한, 사용자 입력 처리 장치는 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 예를 들어, 사용자 입력 처리 장치는 피드백 화면(1043)을 디스플레이에 표시할 수 있다. 피드백 화면(1043)에서 'Will be connected' 텍스트는 대상 오퍼레이션이 '수신 호 연결' 오퍼레이션임을 나타내고, 'confirm' 아이콘은 오퍼레이션의 수행 여부가 긍정에 대응하는 제1 값임을 나타내며, 'confirm' 아이콘 내 'progressive bar'는 잔여 지연 시간을 나타낼 수 있다.
도 11을 참조하면, 사용자 입력 처리 장치는 지연 시간 동안 추가 입력이 수신되는지 여부에 따라 동작 흐름을 달리할 수 있다. 일 예로, 사용자 입력 처리 장치는 지연 시간 중 'confirm' 아이콘이 클릭되는 추가 입력(1111)을 감지할 수 있다. 이 경우, 사용자 입력 처리 장치는 지연 시간이 경과되는 것을 기다리지 않고 수신 호를 연결하고, 통화를 위한 화면(1112)을 디스플레이에 표시할 수 있다. 이하, 설명의 편의를 위하여 추가 입력이 클릭 입력인 경우를 가정하고 설명하나, 실시예들은 추가 입력이 모션 입력, 제스처 입력, 음성 입력 등인 경우에도 그대로 적용될 수 있다.
다른 예로, 사용자 입력 처리 장치는 지연 시간이 경과할 때까지 추가 입력을 수신되지 않았음을 판단할 수 있다. 이 때, 'confirm' 아이콘(1121) 내에서 'progressive bar'가 100%를 표시함으로써, 지연 시간이 경과되었음을 사용자에게 알릴 수 있다. 이 경우, 사용자 입력 처리 장치는 오퍼레이션의 수행 여부에 따라 '수신 호 연결' 오퍼레이션을 제어할 수 있다. 오퍼레이션의 수행 여부가 긍정에 대응하는 제1 값이라고 가정하였으므로, 사용자 입력 처리 장치는 지연 시간이 경과함에 따라 자동으로 수신 호를 연결하고, 통화를 위한 화면(1122)을 디스플레이에 표시할 수 있다.
도 12를 참조하면, 사용자 입력 처리 장치는 오퍼레이션의 수행 여부를 확정하는 인터페이스뿐 아니라, 오퍼레이션의 수행 여부를 변경하는 인터페이스도 사용자에게 제공할 수 있다. 예를 들어, 피드백 화면(1210)은 'confirm' 아이콘뿐 아니라 'cancel' 아이콘도 포함할 수 있다. 'confirm' 아이콘은 오퍼레이션의 수행 여부를 확정하는 인터페이스에 해당하고, 'cancel' 아이콘은 오퍼레이션의 수행 여부를 변경하는 인터페이스에 해당할 수 있다.
사용자 입력 처리 장치는 지연 시간 동안 추가 입력이 수신되는지 여부에 따라 동작 흐름을 달리할 수 있다. 일 예로, 사용자 입력 처리 장치는 지연 시간 중 'cancel' 아이콘이 클릭되는 추가 입력(1221)을 감지할 수 있다. 이 경우, 사용자 입력 처리 장치는 도 10의 사용자 입력(1042)을 처리하지 않고, 전화가 왔음을 알리는 화면(1222)을 디스플레이에 표시할 수 있다.
다른 예로, 사용자 입력 처리 장치는 지연 시간이 경과할 때까지 추가 입력을 수신되지 않았음을 판단할 수 있다. 이 때, 'confirm' 아이콘(1231) 내에서 'progressive bar'가 100%를 표시함으로써, 지연 시간이 경과되었음을 사용자에게 알릴 수 있다. 이 경우, 사용자 입력 처리 장치는 오퍼레이션의 수행 여부에 따라 '수신 호 연결' 오퍼레이션을 제어할 수 있다. 오퍼레이션의 수행 여부가 긍정에 대응하는 제1 값이라고 가정하였으므로, 사용자 입력 처리 장치는 지연 시간이 경과함에 따라 자동으로 수신 호를 연결하고, 통화를 위한 화면(1232)을 디스플레이에 표시할 수 있다.
도 13은 도 10의 사용자 입력(1041)의 인식 신뢰도(1042)가 제3 임계 값보다 작은 경우의 동작을 설명하는 도면이다. 사용자 입력 처리 장치는 인식 신뢰도(1042)가 제3 임계 값보다 작다는 판단에 따라 '수신 호 연결' 오퍼레이션의 수행 여부를 부정에 대응하는 제2 값으로 결정할 수 있다.
도 13을 참조하면, 사용자 입력 처리 장치는 지연 시간 동안 대상 오퍼레이션이 '수신 호 연결' 오퍼레이션이고, 오퍼레이션의 수행 여부는 부정에 대응하는 제2 값이라는 정보를 사용자에게 피드백 할 수 있다. 또한, 사용자 입력 처리 장치는 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 예를 들어, 사용자 입력 처리 장치는 피드백 화면(1310)을 디스플레이에 표시할 수 있다. 피드백 화면(1310)에서 'Will be connected' 텍스트는 대상 오퍼레이션이 '수신 호 연결' 오퍼레이션임을 나타내고, 'cancel' 아이콘은 오퍼레이션의 수행 여부가 부정에 대응하는 제2 값임을 나타내며, 'cancel' 아이콘 내 'progressive bar'는 잔여 지연 시간을 나타낼 수 있다. 사용자 입력 처리 장치는 오퍼레이션의 수행 여부가 제1 값인 경우 'confirm' 아이콘 내 'progressive bar'를 표시하고, 오퍼레이션의 수행 여부가 제2 값인 경우 'cancel' 아이콘 내 'progressive bar'를 표시할 수 있다.
사용자 입력 처리 장치는 지연 시간 동안 추가 입력이 수신되는지 여부에 따라 동작 흐름을 달리할 수 있다. 일 예로, 사용자 입력 처리 장치는 지연 시간이 경과할 때까지 추가 입력을 수신되지 않았음을 판단할 수 있다. 이 때, 'cancel' 아이콘(1321) 내에서 'progressive bar'가 100%를 표시함으로써, 지연 시간이 경과되었음을 사용자에게 알릴 수 있다. 이 경우, 사용자 입력 처리 장치는 오퍼레이션의 수행 여부에 따라 '수신 호 연결' 오퍼레이션을 제어할 수 있다. 오퍼레이션의 수행 여부가 부정에 대응하는 제2 값이라고 가정하였으므로, 사용자 입력 처리 장치는 지연 시간이 경과함에 따라 사용자 입력을 처리하지 않고, 전화가 왔음을 알리는 화면(1322)을 디스플레이에 표시할 수 있다.
다른 예로, 사용자 입력 처리 장치는 지연 시간 중 'confirm' 아이콘이 클릭되는 추가 입력(1331)을 감지할 수 있다. 이 경우, 사용자 입력 처리 장치는 지연 시간이 경과되는 것을 기다리지 않고 수신 호를 연결하고, 통화를 위한 화면(1332)을 디스플레이에 표시할 수 있다.
또 다른 예로, 사용자 입력 처리 장치는 지연 시간 중 'cancel' 아이콘이 클릭되는 추가 입력(1341)을 감지할 수 있다. 이 경우, 사용자 입력 처리 장치는 사용자 입력을 처리하지 않고, 전화가 왔음을 알리는 화면(1342)을 디스플레이에 표시할 수 있다.
이하, 미리 정해진 오퍼레이션들이 복수인 경우 사용자 입력 처리 장치의 동작을 설명한다. 도 14 내지 도 19는 다른 실시예에 따른 사용자 입력 처리 장치의 동작을 설명하는 도면들이다. 도 14를 참조하면, 다른 실시예에 따른 사용자 입력 처리 장치는 복수의 오퍼레이션들에 대응하여, 사용자 입력의 인식 신뢰도들을 획득할 수 있다.
일 예로, 사용자 입력 처리 장치는 미리 구비된 분류기(classifier)에 사용자 입력을 인가할 수 있다. 분류기는 사용자 입력을 복수의 오퍼레이션들 중 어느 하나로 분류할 수 있다. 분류기는 사용자 입력이 복수의 오퍼레이션들에 대응하는 인식 신뢰도들을 각각 계산할 수 있다. 사용자 입력 처리 장치는 분류기에 의하여 출력되는 복수의 인식 신뢰도들을 획득할 수 있다.
다른 예로, 사용자 입력 처리 장치는 복수의 오퍼레이션들에 대응하는 복수의 모델들 각각에 사용자 입력을 인가할 수 있다. 복수의 모델들은 서로 다른 오퍼레이션들에 대응하고, 복수의 모델들은 동일한 사용자 입력을 이용하여 서로 다른 인식 신뢰도들을 출력할 수 있다. 사용자 입력 처리 장치는 복수의 모델들로부터 출력되는 복수의 인식 신뢰도들을 획득할 수 있다. 사용자 입력 처리 장치는 사용자 손의 모션(1410)을 감지할 수 있다. 복수의 오퍼레이션들은 '오른쪽 페이지 넘김' 오퍼레이션(1421), '왼쪽 페이지 넘김' 오퍼레이션(1422), '상위 레벨' 오퍼레이션(1423), 및 '하위 레벨' 오퍼레이션(1424)을 포함할 수 있다.
사용자 입력 처리 장치는 복수의 오퍼레이션들에 대응하여, 사용자 손의 모션(1410)의 인식 신뢰도들을 획득할 수 있다. 예를 들어, '오른쪽 페이지 넘김' 오퍼레이션(1421)에 대응하는 인식 신뢰도는 100% 이고, 나머지 오퍼레이션들(1422, 1423, 1424)에 대응하는 인식 신뢰도들은 0% 일 수 있다.
사용자 입력 처리 장치는 복수의 인식 신뢰도들에 기초하여, 복수의 오퍼레이션들에 대응하는 지연 시간들 및 복수의 오퍼레이션들의 수행 여부를 결정할 수 있다. 사용자 입력 처리 장치는 도 1 내지 도 9를 통하여 전술한 사항들을 이용하여 각각의 오퍼레이션에 대응하는 지연 시간 및 각각의 오퍼레이션의 수행 여부를 결정할 수 있다.
예를 들어, 100%의 인식 신뢰도는 제1 임계 값보다 크고, 0%의 인식 신뢰도는 제2 임계 값보다 작을 수 있다. 또한, 100%의 인식 신뢰도는 제3 임계 값보다 크고, 0%의 인식 신뢰도는 제3 임계 값보다 작을 수 있다.
사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1421)에 대응하는 인식 신뢰도가 제1 임계 값보다 크다는 판단에 따라, '오른쪽 페이지 넘김' 오퍼레이션(1421)의 지연 시간을 0으로 결정하고, '오른쪽 페이지 넘김' 오퍼레이션(1421)의 수행 여부를 긍정에 대응하는 제1 값으로 결정할 수 있다. 또한, 사용자 입력 처리 장치는 나머지 오퍼레이션들(1422, 1423, 1424)에 대응하는 인식 신뢰도들이 각각 제2 임계 값보다 작다는 판단에 따라, 나머지 오퍼레이션들(1422, 1423, 1424)의 지연 시간들을 각각 0으로 결정하고, 나머지 오퍼레이션들(1422, 1423, 1424)의 수행 여부를 모두 부정에 대응하는 제2 값으로 결정할 수 있다.
사용자 입력 처리 장치는 복수의 오퍼레이션들에 대응하는 지연 시간들 및 복수의 오퍼레이션들의 수행 여부에 기초하여, 복수의 오퍼레이션들을 제어할 수 있다. 예를 들어, 사용자 입력 처리 장치는 획득된 인식 신뢰도들 중 제1 임계 값보다 큰 인식 신뢰도를 검출할 수 있다. 제1 임계 값이 70%라고 가정하면, 제1 임계 값보다 큰 100%의 인식 신뢰도가 검출될 수 있다. 사용자 입력 처리 장치는 검출된 인식 신뢰도에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1421)의 지연 시간 이후, '오른쪽 페이지 넘김' 오퍼레이션(1421)을 수행할 수 있다(1430).
도 15를 참조하면, 사용자 손의 모션(1510)의 경우, '오른쪽 페이지 넘김' 오퍼레이션(1521)에 대응하는 인식 신뢰도는 70% 이고, '상위 레벨' 오퍼레이션(1523)에 대응하는 인식 신뢰도는 30% 이며, 나머지 오퍼레이션들(1522, 1524)에 대응하는 인식 신뢰도들은 0% 일 수 있다.
사용자 입력 처리 장치는 복수의 인식 신뢰도들에 기초하여, 복수의 오퍼레이션들에 대응하는 지연 시간들 및 복수의 오퍼레이션들의 수행 여부를 결정할 수 있다. 예를 들어, 70%의 인식 신뢰도 및 30%의 인식 신뢰도는 제1 임계 값보다 작고, 제2 임계 값보다 클 수 있다. 또한, 0%의 인식 신뢰도는 제2 임계 값보다 작을 수 있다. 또한, 70%의 인식 신뢰도는 제3 임계 값보다 크고, 30%의 인식 신뢰도는 제3 임계 값보다 작으며, 0%의 인식 신뢰도는 제3 임계 값보다 작을 수 있다.
사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1521)에 대응하는 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 크다는 판단에 따라, '오른쪽 페이지 넘김' 오퍼레이션(1521)의 지연 시간을 제3 임계 값과의 거리에 기초하여 결정하고, '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행 여부를 긍정에 대응하는 제1 값으로 결정할 수 있다. 사용자 입력 처리 장치는 '상위 레벨' 오퍼레이션(1523)에 대응하는 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 크다는 판단에 따라, '상위 레벨' 오퍼레이션(1523)의 지연 시간을 제3 임계 값과의 거리에 기초하여 결정하고, '상위 레벨' 오퍼레이션(1523)의 수행 여부를 부정에 대응하는 제2 값으로 결정할 수 있다. 또한, 사용자 입력 처리 장치는 나머지 오퍼레이션들(1522, 1524)에 대응하는 인식 신뢰도들이 각각 제2 임계 값보다 작다는 판단에 따라, 나머지 오퍼레이션들(1522, 1524)의 지연 시간들을 각각 0으로 결정하고, 나머지 오퍼레이션들(1522, 1524)의 수행 여부를 모두 부정에 대응하는 제2 값으로 결정할 수 있다.
사용자 입력 처리 장치는 복수의 오퍼레이션들에 대응하는 지연 시간들 및 복수의 오퍼레이션들의 수행 여부에 기초하여, 복수의 오퍼레이션들을 제어할 수 있다. 예를 들어, 사용자 입력 처리 장치는 획득된 인식 신뢰도들 중 제1 임계 값보다 작고 제2 임계 값보다 큰 인식 신뢰도들을 검출할 수 있다. 그 결과, 70%의 인식 신뢰도와 30%의 인식 신뢰도가 검출될 수 있다.
사용자 입력 처리 장치는 오퍼레이션의 수행 여부가 제1 값인 '오른쪽 페이지 넘김' 오퍼레이션(1521)을 선택할 수 있다. 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1521)의 지연 시간에 기초하여, '오른쪽 페이지 넘김' 오퍼레이션(1521)을 제어할 수 있다(1540). 예를 들어, 사용자 입력 처리 장치는 지연 시간 동안 '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행 속도를 제어할 수 있다. 사용자 입력 처리 장치는 지연 시간 동안 페이지가 오른쪽으로 서서히 넘어가도록 함으로써, 사용자에게 인식 신뢰도가 충분히 높지 않음을 간접적으로 알릴 수 있다. 또는, 사용자 입력 처리 장치는 지연 시간 동안 페이지를 넘기지 않고 사용자에게 인식 결과를 피드백 하다가, 지연 시간 이후 페이지를 넘길 수 있다.
사용자 입력 처리 장치는 지연 시간 동안 사용자로부터 확정 명령에 대응하는 추가 입력이 수신되면, 지연 시간이 경과되는 것을 기다리지 않고 '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행을 완료할 수 있다. 또는, 사용자 입력 처리 장치는 지연 시간 동안 사용자로부터 취소 명령에 대응하는 추가 입력이 수신되지 않으면, '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행을 완료할 수 있다(1550).
사용자 입력 처리 장치는 지연 시간 동안 사용자로부터 취소 명령에 대응하는 추가 입력이 수신되는 경우, '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행을 취소할 수 있다. '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행이 완료된 이후 대기 시간 이내에 취소 명령에 대응하는 추가 입력이 수신되는 경우, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1521)이 수행되기 전으로 회귀할 수 있다(1560). '오른쪽 페이지 넘김' 오퍼레이션(1521)의 수행이 완료되기 전 취소 명령에 대응하는 추가 입력이 수신되는 경우, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1521)을 수행하지 않을 수 있다(1570).
도 16을 참조하면, 사용자 손의 모션(1610)의 경우, '오른쪽 페이지 넘김' 오퍼레이션(1621)에 대응하는 인식 신뢰도는 55% 이고, '상위 레벨' 오퍼레이션(1623)에 대응하는 인식 신뢰도는 45% 이며, 나머지 오퍼레이션들(1622, 1624)에 대응하는 인식 신뢰도들은 0% 일 수 있다.
사용자 입력 처리 장치는 복수의 인식 신뢰도들에 기초하여, 복수의 오퍼레이션들에 대응하는 지연 시간들 및 복수의 오퍼레이션들의 수행 여부를 결정할 수 있다. 예를 들어, 55%의 인식 신뢰도 및 45%의 인식 신뢰도는 제1 임계 값보다 작고, 제2 임계 값보다 클 수 있다. 또한, 0%의 인식 신뢰도는 제2 임계 값보다 작을 수 있다. 또한, 55%의 인식 신뢰도는 제3 임계 값보다 크고, 45%의 인식 신뢰도는 제3 임계 값보다 작으며, 0%의 인식 신뢰도는 제3 임계 값보다 작을 수 있다.
사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1621)에 대응하는 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 크다는 판단에 따라, '오른쪽 페이지 넘김' 오퍼레이션(1621)의 지연 시간을 제3 임계 값과의 거리에 기초하여 결정하고, '오른쪽 페이지 넘김' 오퍼레이션(1621)의 수행 여부를 긍정에 대응하는 제1 값으로 결정할 수 있다. 사용자 입력 처리 장치는 '상위 레벨' 오퍼레이션(1623)에 대응하는 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 크다는 판단에 따라, '상위 레벨' 오퍼레이션(1623)의 지연 시간을 제3 임계 값과의 거리에 기초하여 결정하고, '상위 레벨' 오퍼레이션(1623)의 수행 여부를 부정에 대응하는 제2 값으로 결정할 수 있다. 또한, 사용자 입력 처리 장치는 나머지 오퍼레이션들(1622, 1624)에 대응하는 인식 신뢰도들이 각각 제2 임계 값보다 작다는 판단에 따라, 나머지 오퍼레이션들(1622, 1624)의 지연 시간들을 각각 0으로 결정하고, 나머지 오퍼레이션들(1622, 1624)의 수행 여부를 모두 부정에 대응하는 제2 값으로 결정할 수 있다.
사용자 입력 처리 장치는 복수의 오퍼레이션들에 대응하는 지연 시간들 및 복수의 오퍼레이션들의 수행 여부에 기초하여, 복수의 오퍼레이션들을 제어할 수 있다. 예를 들어, 사용자 입력 처리 장치는 획득된 인식 신뢰도들 중 제1 임계 값보다 작고 제2 임계 값보다 큰 인식 신뢰도들을 검출할 수 있다. 그 결과, 55%의 인식 신뢰도와 45%의 인식 신뢰도가 검출될 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들이 미리 정해진 범위 내에서 유사한 경우, 어느 하나의 인식 신뢰도를 선택하는 인터페이스를 사용자에게 제공할 수 있다(1630). 예를 들어, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1621)을 선택하는 제1 인터페이스(1631) 및 '상위 레벨' 오퍼레이션(1623)을 선택하는 제2 인터페이스(1632)를 사용자에게 제공할 수 있다.
사용자 입력 처리 장치는 일정 시간 동안 사용자로부터 추가 입력이 수신되지 않으면, 어떤 오퍼레이션도 수행하지 않을 수 있다. 여기서, 일정 시간은 '오른쪽 페이지 넘김' 오퍼레이션(1621)의 지연 시간 및 '상위 레벨' 오퍼레이션(1623)의 지연 시간에 기초하여 결정될 수 있다. 또는, 일정 시간은 기 설정된 값으로 정해질 수 있다.
사용자 입력 처리 장치는 일정 시간 이내에 사용자로부터 추가 입력이 수신되면, 사용자로부터 선택된 오퍼레이션을 수행할 수 있다. 예를 들어, 제1 인터페이스(1631)가 선택되는 경우, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1621)을 수행할 수 있다. 제1 인터페이스(1631)는 다양한 방식을 통하여 선택될 수 있다. 일 예로, 제1 인터페이스(1631)는 클릭 가능한 아이콘의 형태로 사용자에게 제공될 수 있다. 이 경우, 제1 인터페이스(1631)는 사용자의 클릭에 의하여 선택될 수 있다. 다른 예로, 제1 인터페이스(1631)는 사용자의 모션을 유도하는 지시자의 형태로 사용자에게 제공될 수 있다. 이 경우, 제1 인터페이스(1631)는 유도된 사용자의 모션에 의하여 선택될 수 있다. 또한, 제2 인터페이스(1632)가 선택되는 경우, 사용자 입력 처리 장치는 '상위 레벨' 오퍼레이션(1623)을 수행할 수 있다. 제2 인터페이스(1632)도 제1 인터페이스(1631)와 마찬가지로 다양한 방식을 통하여 선택될 수 있다.
도 17을 참조하면, '오른쪽 페이지 넘김' 오퍼레이션(1721)에 대응하는 인식 신뢰도는 55% 이고, '상위 레벨' 오퍼레이션(1723)에 대응하는 인식 신뢰도는 45% 일 수 있다. '오른쪽 페이지 넘김' 오퍼레이션(1721)의 제1 지연 시간은 3초이고, '상위 레벨' 오퍼레이션(1723)의 제2 지연 시간은 3초일 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1721)의 제1 지연 시간 및 '상위 레벨' 오퍼레이션(1723)의 제2 지연 시간에 기초하여, 대표 지연 시간을 결정할 수 있다. 예를 들어, 사용자 입력 처리 장치는 제1 지연 시간 및 제2 지연 시간 중 최소 값 또는 최대 값을 대표 지연 시간으로 결정할 수 있다. 또는, 사용자 입력 처리 장치는 제1 지연 시간 및 제2 지연 시간의 평균 값으로 대표 지연 시간을 결정할 수 있다. 또는, 3개 이상의 지연 시간들을 이용하는 경우, 사용자 입력 처리 장치는 3개 이상의 지연 시간들 중 중간 값을 대표 지연 시간으로 결정할 수 있다.
또는, 사용자 입력 처리 장치는 복수의 지연 시간들 중 어느 하나를 대표 지연 시간으로 결정할 수 있다. 예를 들어, 사용자 입력 처리 장치는 복수의 지연 시간들 중 가장 높은 신뢰도를 가지는 오퍼레이션의 지연 시간을 대표 지연 시간으로 결정할 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1721)의 제1 수행 여부, '상위 레벨' 오퍼레이션(1723)의 제2 수행 여부, 및 대표 지연 시간에 기초하여, '오른쪽 페이지 넘김' 오퍼레이션(1721) 및 '상위 레벨' 오퍼레이션(1723)을 제어할 수 있다.
대표 지연 시간 동안, 사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 오퍼레이션들 중 어느 하나를 선택하는 인터페이스를 사용자에게 제공할 수 있다. 예를 들어, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1721)을 선택하는 제1 인터페이스(1731) 및 '상위 레벨' 오퍼레이션(1723)을 선택하는 제2 인터페이스(1732)를 사용자에게 제공할 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 수행 여부 및 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 예를 들어, '오른쪽 페이지 넘김' 오퍼레이션(1721)의 수행 여부가 제1 값임을 사용자에게 피드백 하기 위하여, 사용자 입력 처리 장치는 제1 인터페이스(1731) 내 'progressive bar'를 표시할 수 있다. 'progressive bar' 자체는 잔여 지연 시간을 사용자에게 피드백 할 수 있다.
사용자 입력 처리 장치는 제1 인터페이스(1731) 및 제2 인터페이스(1732) 중 어느 하나를 선택하는 추가 입력을 수신할 수 있다. 이 경우, 사용자 입력 처리 장치는 선택된 인터페이스에 대응하는 오퍼레이션을 수행할 수 있다. 사용자 입력 처리 장치는 대표 지연 시간 동안 추가 입력이 수신되지 않는 경우, 오퍼레이션의 수행 여부가 제1 값인 '오른쪽 페이지 넘김' 오퍼레이션을 수행할 수 있다.
도 18을 참조하면, '오른쪽 페이지 넘김' 오퍼레이션(1821)에 대응하는 인식 신뢰도는 60% 이고, '상위 레벨' 오퍼레이션(1823)에 대응하는 인식 신뢰도는 51% 일 수 있다. '오른쪽 페이지 넘김' 오퍼레이션(1821)의 제1 지연 시간은 2초이고, '상위 레벨' 오퍼레이션(1823)의 제2 지연 시간은 5초일 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1821)의 제1 지연 시간 및 '상위 레벨' 오퍼레이션(1823)의 제2 지연 시간에 기초하여, 대표 지연 시간을 결정할 수 있다. 사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1821)의 제1 수행 여부, '상위 레벨' 오퍼레이션(1823)의 제2 수행 여부, 및 대표 지연 시간에 기초하여, '오른쪽 페이지 넘김' 오퍼레이션(1821) 및 '상위 레벨' 오퍼레이션(1823)을 제어할 수 있다.
대표 지연 시간 동안, 사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 오퍼레이션들 중 어느 하나를 선택하는 인터페이스를 사용자에게 제공할 수 있다. 예를 들어, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1821)을 선택하는 제1 인터페이스(1831) 및 '상위 레벨' 오퍼레이션(1823)을 선택하는 제2 인터페이스(1832)를 사용자에게 제공할 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 수행 여부 및 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 예를 들어, '오른쪽 페이지 넘김' 오퍼레이션(1821)의 수행 여부가 제1 값임을 사용자에게 피드백 하기 위하여, 사용자 입력 처리 장치는 제1 인터페이스(1831) 내 'progressive bar'를 표시할 수 있다. 제1 인터페이스(1831) 내 'progressive bar'는 대표 지연 시간 중 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 또한, '상위 레벨' 오퍼레이션(1823)의 수행 여부가 제1 값임을 사용자에게 피드백 하기 위하여, 사용자 입력 처리 장치는 제2 인터페이스(1832) 내 'progressive bar'를 표시할 수 있다.
제1 인터페이스(1831) 내 'progressive bar'는 '오른쪽 페이지 넘김' 오퍼레이션(1821)의 제1 지연 시간 중 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 제2 인터페이스(1832) 내 'progressive bar'는 '상위 레벨' 오퍼레이션(1823)의 제2 지연 시간 중 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 이 경우, '오른쪽 페이지 넘김' 오퍼레이션(1821)의 제1 지연 시간이 '상위 레벨' 오퍼레이션(1823)의 제2 지연 시간보다 더 짧으므로, '오른쪽 페이지 넘김' 오퍼레이션(1821) 내 'progressive bar'의 진행 속도가 '상위 레벨' 오퍼레이션(1823) 내 'progressive bar'의 진행 속도보다 더 빠를 수 있다.
사용자 입력 처리 장치는 제1 인터페이스(1831) 및 제2 인터페이스(1832) 중 어느 하나를 선택하는 추가 입력을 수신할 수 있다. 이 경우, 사용자 입력 처리 장치는 선택된 인터페이스에 대응하는 오퍼레이션을 수행할 수 있다. 사용자 입력 처리 장치는 대표 지연 시간 동안 추가 입력이 수신되지 않는 경우, 오퍼레이션의 수행 여부가 제1 값인 오퍼레이션들 중 인식 신뢰도가 가장 높은 '오른쪽 페이지 넘김' 오퍼레이션을 수행할 수 있다.
도 19를 참조하면, '오른쪽 페이지 넘김' 오퍼레이션(1921)에 대응하는 인식 신뢰도는 40% 이고, '상위 레벨' 오퍼레이션(1923)에 대응하는 인식 신뢰도는 40% 일 수 있다. '오른쪽 페이지 넘김' 오퍼레이션(1921)의 제1 지연 시간은 2초이고, '상위 레벨' 오퍼레이션(1923)의 제2 지연 시간은 2초일 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1921)의 제1 지연 시간 및 '상위 레벨' 오퍼레이션(1923)의 제2 지연 시간에 기초하여, 대표 지연 시간을 결정할 수 있다. 사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 '오른쪽 페이지 넘김' 오퍼레이션(1921)의 제1 수행 여부, '상위 레벨' 오퍼레이션(1923)의 제2 수행 여부, 및 대표 지연 시간에 기초하여, '오른쪽 페이지 넘김' 오퍼레이션(1921) 및 '상위 레벨' 오퍼레이션(1923)을 제어할 수 있다.
대표 지연 시간 동안, 사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 오퍼레이션들 중 어느 하나를 선택하는 인터페이스를 사용자에게 제공할 수 있다. 예를 들어, 사용자 입력 처리 장치는 '오른쪽 페이지 넘김' 오퍼레이션(1921)을 선택하는 제1 인터페이스(1931) 및 '상위 레벨' 오퍼레이션(1923)을 선택하는 제2 인터페이스(1932)를 사용자에게 제공할 수 있다.
사용자 입력 처리 장치는 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 수행 여부 및 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 예를 들어, '오른쪽 페이지 넘김' 오퍼레이션(1921)의 수행 여부가 제2 값임을 사용자에게 피드백 하기 위하여, 사용자 입력 처리 장치는 제1 인터페이스(1931)를 서서히 흐리게 표시할 수 있다. 제1 인터페이스(1931)의 흐려진 정도는 대표 지연 시간 중 잔여 지연 시간을 사용자에게 피드백 할 수 있다. 또한, '상위 레벨' 오퍼레이션(1923)의 수행 여부가 제2 값임을 사용자에게 피드백 하기 위하여, 사용자 입력 처리 장치는 제2 인터페이스(1932)를 서서히 흐리게 표시할 수 있다. 제2 인터페이스(1932)의 흐려진 정도는 대표 지연 시간 중 잔여 지연 시간을 사용자에게 피드백 할 수 있다.
사용자 입력 처리 장치는 제1 인터페이스(1931) 및 제2 인터페이스(1932) 중 어느 하나를 선택하는 추가 입력을 수신할 수 있다. 이 경우, 사용자 입력 처리 장치는 선택된 인터페이스에 대응하는 오퍼레이션을 수행할 수 있다. 사용자 입력 처리 장치는 대표 지연 시간 동안 추가 입력이 수신되지 않는 경우, 오퍼레이션의 수행 여부가 제1 값인 오퍼레이션이 없으므로 사용자 입력을 처리하지 않을 수 있다.
도 20 및 도 21은 다른 실시예들에 따른 사용자 피드백 방법을 설명하는 도면들이다. 일 실시예에 따른 사용자 입력 처리 장치는 서로 관련된 복수의 오퍼레이션들을 직관적으로 피드백 할 수 있다. 일 예로, 도 20을 참조하면, 사용자 입력 처리 장치는 양쪽 방향으로 게이지가 움직이는 'bi-directional progressive bar'를 이용할 수 있다. 사용자 입력 처리 장치는 수신 호를 연결하는 오퍼레이션의 수행 여부가 제1 값임을 알리기 위하여, 게이지를 오른쪽으로 이동시킬 수 있다(2010). 사용자 입력 처리 장치는 수신 호를 거부하는 오퍼레이션의 수행 여부가 제1 값임을 알리기 위하여, 게이지를 왼쪽으로 이동시킬 수 있다(2020). 또한, 사용자 입력 처리 장치는 잔여 지연 시간의 양에 따라 게이지를 이동시킴으로써, 사용자에게 잔여 지연 시간을 피드백 할 수 있다.
다른 예로, 도 21을 참조하면, 사용자 입력 처리 장치는 사용자에게 기계적 피드백을 제공할 수 있다. 예를 들어, 사용자 입력 처리 장치는 모터 등을 이용하여 문 손잡이의 기계적 움직임을 제어할 수 있다. 사용자 입력 처리 장치는 'open' 오퍼레이션의 수행 여부가 제1 값임을 알리기 위하여, 문 손잡이를 시계 방향으로 움직일 수 있다(2110). 사용자 입력 처리 장치는 'close' 오퍼레이션의 수행 여부가 제1 값임을 알리기 위하여, 문 손잡이를 반 시계 방향으로 움직일 수 있다(2120). 또한, 사용자 입력 처리 장치는 잔여 지연 시간의 양에 따라 문 손잡이를 움직임으로써, 사용자에게 잔여 지연 시간을 피드백 할 수 있다.
도 22는 일 실시예에 따른 사용자 입력 처리 방법을 나타낸 동작 흐름도이다. 도 22를 참조하면, 일 실시예에 따른 사용자 입력 처리 방법은 미리 정해진 오퍼레이션을 위한 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 오퍼레이션의 수행 여부를 결정하는 단계(2210), 및 지연 시간 및 오퍼레이션의 수행 여부에 기초하여 오퍼레이션을 제어하는 단계(2220)을 포함한다.
도 23은 다른 실시예에 따른 사용자 입력 처리 방법을 나타낸 동작 흐름도이다. 도 23을 참조하면, 다른 실시예에 따른 사용자 입력 처리 방법은 오퍼레이션들에 대응하여 사용자 입력의 인식 신뢰도들을 획득하는 단계(2310), 인식 신뢰도들에 기초하여 오퍼레이션들에 대응하는 지연 시간들 및 오퍼레이션들의 수행 여부를 결정하는 단계(2320), 및 지연 시간들 및 오퍼레이션들의 수행 여부에 기초하여 오퍼레이션들을 제어하는 단계(2330)를 포함한다.
도 22 및 도 23에 도시된 각 단계들에는 도 1 내지 도 21을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 24는 일 실시예에 따른 사용자 입력 처리 장치를 나타낸 블록도이다. 도 24를 참조하면, 일 실시예에 따른 사용자 입력 처리 장치(2400)는 미리 정해진 오퍼레이션을 위한 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 오퍼레이션의 수행 여부를 결정하는 결정부(2410), 및 오퍼레이션의 수행 여부에 기초하여 지연 시간 이후 오퍼레이션을 제어하는 제어부(2420)를 포함한다.
도 25는 다른 실시예에 따른 사용자 입력 처리 장치를 나타낸 블록도이다. 도 25를 참조하면, 다른 실시예에 따른 사용자 입력 처리 장치(2500)는 오퍼레이션들에 대응하여 사용자 입력의 인식 신뢰도들을 획득하는 획득부(2510), 인식 신뢰도들에 기초하여 오퍼레이션들에 대응하는 지연 시간들 및 오퍼레이션들의 수행 여부를 결정하는 결정부(2520), 및 지연 시간들 및 오퍼레이션들의 수행 여부에 기초하여 오퍼레이션들을 제어하는 제어부(2530)를 포함한다.
도 24 및 도 25에 도시된 각 모듈들에는 도 1 내지 도 21을 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (29)

  1. 미리 정해진 오퍼레이션(operation)을 위한 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 상기 오퍼레이션의 수행 여부를 결정하는 단계; 및
    상기 지연 시간 및 상기 오퍼레이션의 수행 여부에 기초하여 상기 오퍼레이션을 제어하는 단계
    를 포함하고,
    상기 오퍼레이션을 제어하는 단계는
    상기 오퍼레이션의 수행 여부가 긍정을 지시하는 제1 값인 경우,
    상기 지연 시간 이후 상기 오퍼레이션을 수행하는 단계;
    상기 지연 시간에 걸쳐 상기 오퍼레이션이 수행되도록 상기 오퍼레이션의 수행 속도를 제어하는 단계;
    상기 지연 시간 동안 상기 오퍼레이션의 수행 속도를 감소시키고, 상기 지연 시간이 경과되면 상기 오퍼레이션의 수행 속도를 복구하는 단계; 및
    상기 오퍼레이션을 수행한 뒤, 상기 오퍼레이션의 수행 이전으로 회귀 가능한 상태를 상기 지연 시간 동안 유지하는 단계
    중 적어도 하나를 포함하는, 사용자 입력 처리 방법.
  2. 제1항에 있어서,
    상기 인식 신뢰도는
    상기 사용자 입력을 인식한 결과가 상기 오퍼레이션에 대응하는 패턴에 일치하는 정도인, 사용자 입력 처리 방법.
  3. 제1항에 있어서,
    상기 인식 신뢰도가 제1 임계 값보다 큰 경우, 상기 지연 시간은 0으로 결정되는, 사용자 입력 처리 방법.
  4. 제1항에 있어서,
    상기 인식 신뢰도가 제2 임계 값보다 작은 경우, 상기 지연 시간은 0으로 결정되는, 사용자 입력 처리 방법.
  5. 제1항에 있어서,
    상기 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 큰 경우, 상기 지연 시간은 상기 인식 신뢰도와 제3 임계 값 사이의 거리에 기초하여 결정되는, 사용자 입력 처리 방법.
  6. 제5항에 있어서,
    상기 거리가 가까울수록 상기 지연 시간은 증가하고, 상기 거리가 멀수록 상기 지연 시간은 감소하는, 사용자 입력 처리 방법.
  7. 제1항에 있어서,
    상기 인식 신뢰도가 제1 임계 값보다 작고 제2 임계 값보다 큰 경우, 상기 지연 시간은 미리 정해진 값으로 결정되는, 사용자 입력 처리 방법.
  8. 제5항에 있어서,
    상기 인식 신뢰도가 상기 제3 임계 값보다 큰 경우, 상기 오퍼레이션의 수행 여부는 긍정(positiveness)을 지시하는 제1 값으로 결정되는, 사용자 입력 처리 방법.
  9. 제5항에 있어서,
    상기 인식 신뢰도가 상기 제3 임계 값보다 작은 경우, 상기 오퍼레이션의 수행 여부는 부정(negativeness)을 지시하는 제2 값으로 결정되는, 사용자 입력 처리 방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 지연 시간 동안, 잔여 지연 시간 및 상기 오퍼레이션의 수행 여부 중 적어도 하나를 사용자에게 피드백하는 단계
    를 더 포함하는, 사용자 입력 처리 방법.
  12. 제1항에 있어서,
    상기 지연 시간 동안, 상기 오퍼레이션의 수행 여부와 관련된 입력을 위한 인터페이스를 사용자에게 제공하는 단계
    를 더 포함하는, 사용자 입력 처리 방법.
  13. 제12항에 있어서,
    상기 오퍼레이션의 수행 여부와 관련된 입력은
    상기 오퍼레이션의 수행 여부를 확정하는 입력; 및
    상기 오퍼레이션의 수행 여부를 변경하는 입력;
    중 적어도 하나를 포함하는, 사용자 입력 처리 방법.
  14. 제12항에 있어서,
    상기 인터페이스를 통하여 상기 오퍼레이션의 수행 여부와 관련된 입력이 수신되면, 상기 지연 시간이 경과되는 것을 기다리지 않고 상기 오퍼레이션의 수행 여부와 관련된 입력에 기초하여 상기 오퍼레이션을 제어하는 단계
    를 더 포함하는, 사용자 입력 처리 방법.
  15. 제12항에 있어서,
    상기 인터페이스를 통하여 상기 오퍼레이션의 수행 여부와 관련된 입력이 수신되면, 상기 인식 신뢰도에 기초하여 상기 지연 시간을 결정하는 제1 파라미터 및 상기 오퍼레이션의 수행 여부를 결정하는 제2 파라미터 중 적어도 하나를 업데이트하는 단계
    를 더 포함하는, 사용자 입력 처리 방법.
  16. 오퍼레이션들에 대응하여, 사용자 입력의 인식 신뢰도들을 획득하는 단계;
    상기 인식 신뢰도들에 기초하여, 상기 오퍼레이션들에 대응하는 지연 시간들 및 상기 오퍼레이션들의 수행 여부를 결정하는 단계; 및
    상기 지연 시간들 및 상기 오퍼레이션들의 수행 여부에 기초하여, 상기 오퍼레이션들을 제어하는 단계
    를 포함하고,
    상기 오퍼레이션들을 제어하는 단계는
    상기 인식 신뢰도들 중 제1 임계 값보다 작고 제2 임계 값보다 큰 인식 신뢰도들을 검출하는 단계;
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 지연 시간들에 기초하여 대표 지연 시간을 결정하는 단계; 및
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 수행 여부 및 상기 대표 지연 시간에 기초하여 상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들을 제어하는 단계
    를 포함하는, 사용자 입력 처리 방법.
  17. 제16항에 있어서,
    상기 인식 신뢰도들 중 제1 임계 값보다 큰 인식 신뢰도에 대응하는 오퍼레이션의 지연 시간은 0으로 결정되는, 사용자 입력 처리 방법.
  18. 제16항에 있어서,
    상기 인식 신뢰도들 중 제2 임계 값보다 작은 인식 신뢰도에 대응하는 오퍼레이션의 지연 시간은 0으로 결정되는, 사용자 입력 처리 방법.
  19. 제16항에 있어서,
    상기 인식 신뢰도들 중 제1 임계 값보다 작고 제2 임계 값보다 큰 인식 신뢰도에 대응하는 오퍼레이션의 지연 시간은 해당 인식 신뢰도와 제3 임계 값 사이의 거리에 기초하여 결정되는, 사용자 입력 처리 방법.
  20. 제19항에 있어서,
    상기 인식 신뢰도들 중 상기 제3 임계 값보다 큰 인식 신뢰도에 대응하는 오퍼레이션의 수행 여부는 긍정(positiveness)를 지시하는 제1 값으로 결정되고, 상기 제3 임계 값보다 작은 인식 신뢰도에 대응하는 오퍼레이션의 수행 여부는 부정(negativeness)를 지시하는 제2 값으로 결정되는, 사용자 입력 처리 방법.
  21. 제16항에 있어서,
    상기 오퍼레이션들을 제어하는 단계는
    상기 인식 신뢰도들 중 제1 임계 값보다 큰 인식 신뢰도를 검출하는 단계; 및
    상기 검출된 인식 신뢰도에 대응하는 오퍼레이션의 지연 시간 이후, 상기 검출된 인식 신뢰도에 대응하는 오퍼레이션을 수행하는 단계
    를 포함하는, 사용자 입력 처리 방법.
  22. 삭제
  23. 제16항에 있어서,
    상기 대표 지연 시간을 결정하는 단계는
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 지연 시간들에 기초하여, 최소 지연 시간, 최대 지연 시간, 중간 지연 시간, 및 평균 지연 시간 중 어느 하나를 상기 대표 지연 시간으로 결정하는 단계; 및
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 지연 시간들로부터 선택된 어느 하나의 지연 시간을 상기 대표 지연 시간으로 결정하는 단계
    중 적어도 하나를 포함하는, 사용자 입력 처리 방법.
  24. 제16항에 있어서,
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들을 제어하는 단계는
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들 중 어느 하나를 선택하는 인터페이스를 사용자에게 제공하는 단계;
    상기 대표 지연 시간 동안 상기 인터페이스를 통한 선택 입력이 수신되는 경우, 상기 선택 입력에 대응하는 오퍼레이션을 수행하는 단계; 및
    상기 대표 지연 시간 동안 상기 선택 입력이 수신되지 않는 경우, 상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들 중 오퍼레이션의 수행 여부가 제1 값인 오퍼레이션을 수행하는 단계
    를 포함하는, 사용자 입력 처리 방법.
  25. 제24항에 있어서,
    상기 선택 입력이 수신되는 경우, 상기 선택 입력에 대응하는 제1 오퍼레이션의 인식 신뢰도에 기초하여 상기 제1 오퍼레이션의 지연 시간을 결정하는 제1 파라미터 및 상기 제1 오퍼레이션의 수행 여부를 결정하는 제2 파라미터 중 적어도 하나를 업데이트하는 단계;
    상기 선택 입력이 수신되는 경우, 상기 제1 오퍼레이션의 인식 신뢰도에 기초하여 상기 선택 입력에 대응하지 않는 제2 오퍼레이션의 지연 시간을 결정하는 제3 파라미터 및 상기 제2 오퍼레이션의 수행 여부를 결정하는 제4 파라미터 중 적어도 하나를 업데이트하는 단계; 및
    상기 대표 지연 시간 동안 상기 선택 입력이 수신되지 않는 경우, 상기 검출된 인식 신뢰도들에 대응하는 적어도 하나의 오퍼레이션의 지연 시간을 결정하는 제5 파라미터 및 상기 적어도 하나의 오퍼레이션의 수행 여부를 결정하는 제6 파라미터 중 적어도 하나를 업데이트하는 단계
    중 적어도 하나를 더 포함하는, 사용자 입력 처리 방법.
  26. 제24항에 있어서,
    상기 오퍼레이션의 수행 여부가 제1 값인 오퍼레이션을 수행하는 단계는
    오퍼레이션의 수행 여부가 제1 값인 오퍼레이션들이 복수인 경우, 인식 신뢰도가 가장 큰 오퍼레이션을 수행하는 단계
    를 포함하는, 사용자 입력 처리 방법.
  27. 제1항 내지 제9항, 제11항 내지 제21항 및 제23항 내지 제26항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  28. 미리 정해진 오퍼레이션을 위한 사용자 입력의 인식 신뢰도에 기초하여 지연 시간 및 상기 오퍼레이션의 수행 여부를 결정하는 결정부; 및
    상기 오퍼레이션의 수행 여부에 기초하여 상기 지연 시간 이후 상기 오퍼레이션을 제어하는 제어부
    를 포함하고,
    상기 제어부는
    상기 오퍼레이션의 수행 여부가 긍정을 지시하는 제1 값인 경우,
    상기 지연 시간 이후 상기 오퍼레이션을 수행하는 단계;
    상기 지연 시간에 걸쳐 상기 오퍼레이션이 수행되도록 상기 오퍼레이션의 수행 속도를 제어하는 단계;
    상기 지연 시간 동안 상기 오퍼레이션의 수행 속도를 감소시키고, 상기 지연 시간이 경과되면 상기 오퍼레이션의 수행 속도를 복구하는 단계; 및
    상기 오퍼레이션을 수행한 뒤, 상기 오퍼레이션의 수행 이전으로 회귀 가능한 상태를 상기 지연 시간 동안 유지하는 단계
    중 적어도 하나를 수행하는 사용자 입력 처리 장치.
  29. 오퍼레이션들에 대응하여, 사용자 입력의 인식 신뢰도들을 획득하는 획득부;
    상기 인식 신뢰도들에 기초하여, 상기 오퍼레이션들에 대응하는 지연 시간들 및 상기 오퍼레이션들의 수행 여부를 결정하는 결정부; 및
    상기 지연 시간들 및 상기 오퍼레이션들의 수행 여부에 기초하여, 상기 오퍼레이션들을 제어하는 제어부
    를 포함하고,
    상기 제어부는
    상기 인식 신뢰도들 중 제1 임계 값보다 작고 제2 임계 값보다 큰 인식 신뢰도들을 검출하는 단계;
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 지연 시간들에 기초하여 대표 지연 시간을 결정하는 단계; 및
    상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들의 수행 여부 및 상기 대표 지연 시간에 기초하여 상기 검출된 인식 신뢰도들에 대응하는 오퍼레이션들을 제어하는 단계
    를 수행하는 사용자 입력 처리 장치.
KR1020140107173A 2014-08-18 2014-08-18 사용자 입력 처리 방법 및 장치 KR102319530B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140107173A KR102319530B1 (ko) 2014-08-18 2014-08-18 사용자 입력 처리 방법 및 장치
US14/676,391 US10061388B2 (en) 2014-08-18 2015-04-01 Method and apparatus for processing user input

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140107173A KR102319530B1 (ko) 2014-08-18 2014-08-18 사용자 입력 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160021629A KR20160021629A (ko) 2016-02-26
KR102319530B1 true KR102319530B1 (ko) 2021-10-29

Family

ID=55302160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140107173A KR102319530B1 (ko) 2014-08-18 2014-08-18 사용자 입력 처리 방법 및 장치

Country Status (2)

Country Link
US (1) US10061388B2 (ko)
KR (1) KR102319530B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193466B (zh) * 2016-03-15 2020-09-08 百度在线网络技术（北京）有限公司 一种手势识别的方法和装置
US11719461B2 (en) 2020-01-08 2023-08-08 Johnson Controls Tyco IP Holdings LLP Thermostat user controls
US12077160B2 (en) 2020-11-05 2024-09-03 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for performing an action associated with a driver input indicated via an input modality of a human machine interface of a vehicle
US20240272704A1 (en) * 2021-06-04 2024-08-15 Nissan Motor Co., Ltd. Operation detection device and operation detection method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008772A (ja) * 2010-06-24 2012-01-12 Sony Corp ジェスチャ認識装置、ジェスチャ認識方法およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6006183A (en) 1997-12-16 1999-12-21 International Business Machines Corp. Speech recognition confidence level display
JP3788203B2 (ja) * 1999-08-10 2006-06-21 日産自動車株式会社 自動車用ハンドフリー電話装置
US20050112256A1 (en) 2003-11-24 2005-05-26 Josh Mitchell Method and apparatus for harvesting, washing, and drying cut vegetables and produce
US7373248B2 (en) 2004-09-10 2008-05-13 Atx Group, Inc. Systems and methods for off-board voice-automated vehicle navigation
JP2009518729A (ja) 2005-12-08 2009-05-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 発話に基づく文書履歴追跡のための方法およびシステム
KR100717385B1 (ko) 2006-02-09 2007-05-11 삼성전자주식회사 인식 후보의 사전적 거리를 이용한 인식 신뢰도 측정 방법및 인식 신뢰도 측정 시스템
KR101304461B1 (ko) 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
US7890778B2 (en) * 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
KR100930249B1 (ko) 2008-02-29 2009-12-09 한국과학기술원 영상으로부터 얻은 정보를 이용하여 인터넷을 검색하는장치 및 그 방법
US8255971B1 (en) 2008-03-03 2012-08-28 Jpmorgan Chase Bank, N.A. Authentication system and method
KR101283185B1 (ko) * 2009-11-23 2013-07-05 한국전자통신연구원 사용자 패턴 기반으로 동작하는 저전력 장치 및 그 방법
US8626511B2 (en) 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
KR101131278B1 (ko) 2010-03-02 2012-03-30 포항공과대학교 산학협력단 대화 로그를 이용한 학습 기반 대화 시스템 성능 향상 방법 및 그 장치
US8521526B1 (en) 2010-07-28 2013-08-27 Google Inc. Disambiguation of a spoken query term
JP5625987B2 (ja) 2011-02-16 2014-11-19 アイシン・エィ・ダブリュ株式会社 案内装置、案内方法、および、案内プログラム
KR101268796B1 (ko) * 2011-08-22 2013-05-28 고려대학교 산학협력단 모션 패턴 인식 방법 및 장치
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
US9620122B2 (en) 2011-12-08 2017-04-11 Lenovo (Singapore) Pte. Ltd Hybrid speech recognition
US20150220150A1 (en) * 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
US20150220149A1 (en) * 2012-02-14 2015-08-06 Google Inc. Systems and methods for a virtual grasping user interface
US9141197B2 (en) * 2012-04-16 2015-09-22 Qualcomm Incorporated Interacting with a device using gestures
US11226686B2 (en) * 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
US20160014059A1 (en) * 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008772A (ja) * 2010-06-24 2012-01-12 Sony Corp ジェスチャ認識装置、ジェスチャ認識方法およびプログラム

Also Published As

Publication number Publication date
US20160048215A1 (en) 2016-02-18
KR20160021629A (ko) 2016-02-26
US10061388B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
EP2839357B1 (en) Rapid gesture re-engagement
US10452188B2 (en) Predictive compensation for a latency of an input device
JP6370893B2 (ja) 検出されたジェスチャーに基づいてデバイス動作を実行するためのシステムおよび方法
US9880684B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
US20140157209A1 (en) System and method for detecting gestures
WO2017058293A1 (en) Intelligent device identification
US9746929B2 (en) Gesture recognition using gesture elements
KR102319530B1 (ko) 사용자 입력 처리 방법 및 장치
WO2017029749A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
EP3714355B1 (en) Expanding physical motion gesture lexicon for an automated assistant
US20140282283A1 (en) Semantic Gesture Processing Device and Method Providing Novel User Interface Experience
TWI540464B (zh) 用於操控噪音為基的姿勢控制的行動裝置、方法、設備及非暫時電腦可讀儲存媒體
CN108874284B (zh) 手势触发方法
KR102147086B1 (ko) 필기 서명 입력에 대한 검증 방법 및 장치
KR102224932B1 (ko) 비전 센서를 이용한 사용자 입력 처리 장치 및 사용자 입력 처리 방법
KR102334521B1 (ko) 전자 장치 및 이의 입력 처리 방법
US11429249B2 (en) Application program data processing method and device
KR101210538B1 (ko) 모바일 기기 인터페이스 장치, 방법 및 이를 위한 기록매체
WO2021238866A1 (zh) 一种应用程序的显示方法、终端和计算机可读存储介质
US20170168581A1 (en) Method and Device for Controlling Operation Components Based on Somatosensory
US10082936B1 (en) Handedness determinations for electronic devices
KR102216358B1 (ko) 제스쳐를 이용하는 단말 제어 방법
CN109634417B (zh) 一种处理方法及电子设备
US20120176339A1 (en) System and method for generating click input signal for optical finger navigation
AU2015309688B2 (en) Methods and systems for positioning and controlling sound images in three-dimensional space

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant