KR102003255B1 - 다중 입력 처리 방법 및 장치 - Google Patents

다중 입력 처리 방법 및 장치 Download PDF

Info

Publication number
KR102003255B1
KR102003255B1 KR1020120071229A KR20120071229A KR102003255B1 KR 102003255 B1 KR102003255 B1 KR 102003255B1 KR 1020120071229 A KR1020120071229 A KR 1020120071229A KR 20120071229 A KR20120071229 A KR 20120071229A KR 102003255 B1 KR102003255 B1 KR 102003255B1
Authority
KR
South Korea
Prior art keywords
user
correction
input
user input
function
Prior art date
Application number
KR1020120071229A
Other languages
English (en)
Other versions
KR20140003875A (ko
Inventor
정호원
김우목
김태형
최윤정
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020120071229A priority Critical patent/KR102003255B1/ko
Priority to AU2013204564A priority patent/AU2013204564B2/en
Priority to US13/895,729 priority patent/US9286895B2/en
Priority to PCT/KR2013/005481 priority patent/WO2014003365A1/en
Priority to EP13173435.2A priority patent/EP2680110B1/en
Priority to EP20167205.2A priority patent/EP3693837A1/en
Priority to JP2013133458A priority patent/JP6338829B2/ja
Priority to CN201310264276.6A priority patent/CN103529934B/zh
Publication of KR20140003875A publication Critical patent/KR20140003875A/ko
Application granted granted Critical
Publication of KR102003255B1 publication Critical patent/KR102003255B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

본 발명은 다중 입력 처리 방법 및 장치에 관한 것으로 특히, 동시에 발생한 다중 입력에 응답하여 기능을 수행하는 방법 및 장치에 관한 것이다.
본 발명에 따른 다중 입력 처리 방법은 외부와의 상호 작용을 위한 인터페이스들 중 하나로부터 제 1 사용자 입력을 검출하는 단계; 상기 제 1 사용자 입력에 응답하여 기능을 수행하는 단계; 상기 인터페이스들 중 다른 하나로부터 제 2 사용자 입력 또는 시스템 입력을 검출하는 단계; 및 상기 제 2 사용자 입력 또는 상기 시스템 입력에 응답하여 상기 기능의 속성을 변경하는 단계를 포함하는 것을 특징으로 한다. 여기서 상기 기능의 속성을 변경하는 단계는 상기 제 2 사용자 입력에 해당되는 음성 정보를 분석하여 사용자의 의도를 인식하는 단계; 상기 제1 사용자 입력에 의해 이미 수행된 기능에 대해 보정이 필요한지 여부를 결정하는 단계; 상기 보정이 필요한 경우 상기 이미 수행된 기능에서 보정 필요 부분을 산출하는 단계; 및 상기 보정 필요 부분에 상기 사용자의 의도를 반영하는 단계를 포함하는 것을 특징으로 한다.

Description

다중 입력 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING MULTIPLE INPUTS}
본 발명은 다중 입력 처리 방법 및 장치에 관한 것으로 특히, 동시에 발생한 다중 입력에 응답하여 기능을 수행하는 방법 및 장치에 관한 것이다.
현재 휴대 단말은 무선 음성 통화 및 정보 교환이 가능한 매체로 이용되고 있다. 휴대 단말의 보급 초기에는 단순히 휴대할 수 있고, 무선 통화가 가능한 것으로 인식되었으나, 기술의 발달에 따라 다양한 서비스와 기능을 제공한다. 예를 들어, 휴대 단말은 폰북(phone book), 게임(game), 단문 메시지(short message), 이메일(email), 모닝콜(morning call), 뮤직 플레이어, 일정 관리 기능, 디지털 카메라 및 무선 인터넷 서비스가 가능한 멀티미디어 기기로 발전하여 다양한 서비스를 제공한다.
한편 현재 음성 인식 기술은 급속도로 발전하고 있으며, 단순히 음성을 텍스트로 변환하거나 단어를 인식하는 것에 그치지 않고, 사람처럼 문맥을 인식할 수 있다. 이러한 음성 인식 기술은 다양한 단말 예컨대, 스마트폰, 스마트 TV 또는 태블릿 PC 등에 적용되고 있다. 단말은 사용자의 입력 정보 특히, 음성 정보에 응답하여 다양한 기능(예, 촬영, 인터넷 접속, 음악 재생, 내비게이션 서비스 등)을 실행할 수 있다. 이러한 음성 인식 기술의 발달로 인해 사용자는 자신이 보유한 각각의 단말들을 편리하게 이용할 수 있다.
오늘날 휴대 단말은 사용자와의 상호 작용을 입력 인터페이스로써 다양한 입력 장치들 대표적으로, 터치스크린과 마이크를 제공한다. 즉 사용자는 터치스크린을 통해 터치 입력하여 휴대 단말을 제어할 수 있다. 또한 사용자는 마이크를 통해 음성 입력하여 휴대 단말을 제어할 수 있다. 즉 종래 휴대 단말은 사용자의 입력들을 개별적으로 처리하고 있다. 특히 종래 휴대 단말은 음성 입력과 다른 입력을 개별적으로 처리하고 있다. 따라서 휴대 단말에 여러 종류의 입력 장치를 구비하는 것이 비효율적일 수 있다.
본 발명은 두 가지 이상의 입력 방식을 조합하여 사용할 수 있는 환경을 제공함을 목적으로 한다. 다시 말해 본 발명은 서로 다른 입력 인터페이스들로부터 동시에 입력된 다중 입력을 처리하는 방법 및 장치를 제공함을 목적으로 한다.
또한 본 발명은 마이크로부터 입력된 음성 정보로부터 사용자의 의도를 인식하고, 마이크가 아닌 다른 인터페이스에 의해 수행되는 기능에 상기 사용자의 의도가 정확히 반영될 수 있도록 하는 방법 및 장치를 제공함을 목적으로 한다.
본 발명에 따른 다중 입력 처리 방법은 외부와의 상호 작용을 위한 인터페이스들 중 하나로부터 제 1 사용자 입력을 검출하는 단계; 상기 제 1 사용자 입력에 응답하여 기능을 수행하는 단계; 상기 인터페이스들 중 다른 하나로부터 제 2 사용자 입력 또는 시스템 입력을 검출하는 단계; 및 상기 제 2 사용자 입력 또는 상기 시스템 입력에 응답하여 상기 기능의 속성을 변경하는 단계를 포함하는 것을 특징으로 한다. 여기서 상기 기능의 속성을 변경하는 단계는 상기 제 2 사용자 입력에 해당되는 음성 정보를 분석하여 사용자의 의도를 인식하는 단계; 상기 제1 사용자 입력에 의해 이미 수행된 기능에 대해 보정이 필요한지 여부를 결정하는 단계; 상기 보정이 필요한 경우 상기 이미 수행된 기능에서 보정 필요 부분을 산출하는 단계; 및 상기 보정 필요 부분에 상기 사용자의 의도를 반영하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 다중 입력 처리 장치는 외부와의 상호 작용을 위한 인터페이스들; 및 상기 인터페이스들을 제어하는 제어부를 포함하고, 상기 제어부는 상기 인터페이스들 중 하나로부터 제 1 사용자 입력을 검출하고, 상기 제 1 사용자 입력에 응답하여 기능을 수행하며, 상기 인터페이스들 중 다른 하나로부터 제 2 사용자 입력 또는 시스템 입력을 검출하며, 상기 제 2 사용자 입력 또는 상기 시스템 입력에 응답하여 상기 기능의 속성을 변경하는 것을 특징으로 한다. 또한 상기 제어부는 상기 제 2 사용자 입력에 해당되는 음성 정보를 분석하여 사용자의 의도를 인식하고, 상기 제1 사용자 입력에 의해 이미 수행된 기능에 대해 보정이 필요한지 여부를 결정하며, 상기 보정이 필요한 경우 상기 이미 수행된 기능에서 보정 필요 부분을 산출하며, 상기 보정 필요 부분에 상기 사용자의 의도를 반영하는 것을 특징으로 한다.
이상으로 본 발명에 따른 다중 입력 처리 방법 및 장치에 따르면 본 발명은 두 가지 이상의 입력 방식을 조합하여 사용할 수 있는 환경을 사용자에게 제공해줄 수 있다. 본 발명은 마이크로부터 입력된 음성 정보로부터 사용자의 의도를 인식하고, 사용자의 의도가 다른 입력에 의해 수행되는 기능에 정확히 반영되도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다중 입력 처리 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면예시도이다.
도 4는 본 발명의 일 실시예에 따른 기능의 속성 변경 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 보정 필요 부분의 산출 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면 예시도이다.
도 7은 본 발명의 또 다른 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면 예시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면 예시도이다.
본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서 아래 설명과 첨부된 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
본 발명에 따른 다중 입력 처리 방법 및 장치는 스마트폰, 태블릿 PC, 노트북 PC, 데스크탑 PC, TV, 내비게이션 장치 및 비디오폰 등과 같은 멀티미디어 기기에 적용될 수 있다. 또한 멀티미디어 기기가 융합된 기기(예, 통신 기능 및 터치스크린을 가지는 냉장고)에도 적용될 수 있다.
본 발명에서 ‘입력’은 외부와의 상호 작용을 위한 다양한 인터페이스들로부터 입력된 정보로써 크게, 사용자 입력과 시스템 입력을 포함할 수 있다. 구체적으로 ‘사용자 입력’은 사용자 인터페이스들(예, 터치스크린, 마이크, 센서부, 키입력부 등)중 하나를 통해 장치로 입력된 사용자의 입력 정보로써, 핸들링 수단(예, 사용자의 손이나 펜)을 이용한 터치스크린에 대한 사용자의 제스처와, 마이크를 통해 입력된 음성 정보와, 센서부에서 감지한 모션(motion) 정보 등을 포함할 수 있다. 여기서 모션 정보는 사용자의 모션 정보를 포함한다. 사용자 모션 정보는 예컨대, 카메라(이미지 센서)에서 촬영한 ‘손의 모션’,'얼굴의 모션' 또는 '눈의 모션'등이 될 수 있다. 또한 장치가 휴대 단말인 경우, 모션 정보는 해당 장치의 모션 정보를 포함할 수 있다. 장치 모션 정보는 예컨대, 사용자가 휴대 단말을 흔들고 이에 따라 가속도 센서에서 감지한 해당 장치의 ‘가속도 정보’가 될 수 있다. 본 발명에서 ‘시스템 입력’은 해당 장치의 외부 환경과 관련된 정보이다. 여기서 외부 환경은 크게, 자연 환경과 통신 환경을 포함할 수 있다. 예컨대, 자연 환경과 관련된 정보는 외부 조도, 온도, 습도, 휴대 단말의 속도, 위치, 움직임의 방향 등을 포함할 수 있다. 그리고 통신 환경과 관련된 정보는 LTE, 3G, WiFi, 블루투스 등 해당 단말이 연결된 무선 통신망 정보와, 유선으로 연결된 외부 장치의 속성 정보 등을 포함할 수 있다. 이상으로 본 발명에서 입력은, 사용자 관점에서, 해당 입력이 사용자에 의해 발생된 것인지 여부에 따라 사용자 입력과 시스템 입력으로 구분될 수 있다. 기기 관점에서 입력은 해당 입력의 발생 장소를 기준으로 사용자 입력과 시스템 입력으로 구분될 수 있다. 예컨대, 터치스크린에서 발생된 입력은 사용자 입력이고 조도 센서에서 발생된 입력은 시스템 입력일 수 있다.
본 발명에 따른 방법 및 장치는 동시 발생한 다중 입력을 처리할 수 있다. 특히 본 발명에 따른 방법 및 장치는 제 1 사용자 입력에 의해 수행되는 기능의 속성을, 제 2 사용자 입력 또는 시스템 입력에 응답하여, 변경할 수 있다. 예컨대, 방법 및 장치는 펜 터치에 응답하여 펜글씨를 화면에 표시한다. 이때, “빨간색”이라는 사용자의 음성이 검출된 경우 본 발명에 따른 방법 및 장치는 글씨의 색상을 빨간색으로 변경한다. 또한 본 발명에 따른 방법 및 장치는 이미 써진 펜글씨의 색상을 빨간색으로 보정할 수도 있다. 이러한 본 발명의 특징적인 기술을 첨부된 도면들을 참조하여 아래에서 구체적으로 설명한다. 단, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 다중 입력 처리 장치의 블록 구성도이다.
도 1을 참조하면, 도 1을 참조하면, 장치(100)는 터치스크린(110), 키입력부(120), 저장부(130), 무선통신부(140), 오디오 처리부(150), 스피커(SPK), 마이크(MIC), 센서부(160) 및 제어부(170)을 포함하여 이루어질 수 있다.
터치스크린(110)은 사용자와의 상호 작용을 위한 사용자 인터페이스를 제공하기 위하여, 터치패널(111)과 표시패널(112)를 포함하여 구성된다. 터치패널(111)은 표시패널(112)에 안착(place on the display unit)될 수 있다. 구체적으로 터치패널(111)은 표시패널(112) 위에 위치하는 애드 온 타입(add-on type)이나 표시패널(112) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다.
터치패널(111)은 터치패널(111)에 대한 사용자의 제스처에 응답하여 아날로그 신호(예, 터치이벤트)를 발생하고, 아날로그 신호를 A/D 변환하여 제어부(170)로 전달한다. 제어부(170)는 전달된 터치이벤트로부터 사용자의 제스처를 검출한다. 즉, 제어부(170)는 터치 지점, 터치의 이동 거리, 터치의 이동 방향, 터치의 빠르기 및 터치의 압력 등을 검출하여 상기 구성들을 제어할 수 있다.
터치패널(111)은 손 제스처를 감지하는 손 터치패널(111a)과 펜 제스처를 감지하는 펜 터치패널(111b)를 포함하여 구성된 복합 터치패널일 수 있다. 여기서 손 터치패널(111b)는 정전용량 방식(capacitive type)으로 구성될 수 있다. 여기서 손 터치패널(111a)은 사용자의 손 제스처에 의해서만 터치이벤트를 발생하는 것은 아니며, 다른 물체(예, 정전용량 변화를 가할 수 있는 전도성 재질의 물체)에 의해서도 터치이벤트를 생성할 수 있다. 즉 손 터치패널(111a)에서는 사용자의 손뿐만 아니라 다른 물체에 의해서도 터치이벤트가 발생될 수 있다. 손 터치패널(111a)은 정정용량 방식에 국한하는 것은 아니며 저항막 방식(resistive type), 적외선 방식 또는 초음파 방식으로 구성될 수도 있다. 펜 터치패널(111b)는 전자 유도 방식(electromagnetic induction type)으로 구성될 수 있다. 이에 따라 펜 터치패널(111b)은 자기장을 형성할 수 있도록 특수 제작된 터치용 스타일러스 펜에 의해 터치이벤트를 생성한다.
터치스크린(110)에 대한 사용자 제스처는 상술한 바와 같이 터치 입력 수단이 무엇인지에 따라 크게, 손 제스처와 펜 제스처로 구분된다. 상술한 바와 같이 손 제스처는 손 터치패널(111a)에서 감지하고 펜 제스처는 펜 터치패널(111b)에서 감지할 수 있다.
또한 사용자 제스처는 핸들링 수단이 무엇인지와는 상관없이, 터치(Touch)와 터치 제스처(Touch gesture)로 구분된다. 다시 터치 제스처는 탭(Tap), 더블 탭(Double Tap), 롱 탭(Long tap), 드래그(Drag), 드래그 앤 드롭(Drag&Drop), 플릭(Flick) 및 프레스(Press) 등을 포함할 수 있다. 여기서, 터치는 사용자가 화면의 어느 한 지점에 터치 입력 수단(예, 손가락이나 스타일러스 펜)을 이용하여 접촉하는 조작이고, 탭은 어느 한 지점을 터치한 후 터치 입력 수단의 이동 없이 해당 지점에서 터치 입력 수단을 터치 해제(touch-off)하는 조작이며, 더블 탭은 어느 한 지점을 연속적으로 두 번 탭하는 조작이며, 롱 탭은 탭보다 상대적으로 길게 터치한 후 터치 입력 수단의 이동 없이 해당 지점에서 터치 입력 수단을 터치 해제하는 조작이며, 드래그는 어느 한 지점을 터치한 상태에서 터치 입력 수단을 소정 방향으로 이동시키는 조작이며, 드래그 앤 드롭은 드래그한 다음 터치 입력 수단을 터치 해제하는 조작이며, 플릭은 튀기듯이, 드래그에 비해 터치 입력 수단을 빠르게 이동시킨 다음 터치 해제하는 조작을 의미한다. 프레스는 터치 입력 수단으로 어느 한 지점을 터치한 후 해당 지점을 누르는 조작이다. 즉 터치는 터치스크린에 접촉(contact)하고 있는 상태를 의미하고, 터치제스처는 터치가 터치스크린에 접촉(touch-on)해서 터치 해제(touch-off)까지의 터치의 움직임을 의미한다. 터치패널(111)은 압력 센서를 구비하여 터치된 지점의 압력을 감지할 수 있다. 감지된 압력 정보는 제어부(170)로 전달되고, 제어부(170)는 감지된 압력 정보를 바탕으로 터치와 프레스를 구분할 수 있다.
표시패널(112)은 제어부(170)의 제어 하에, 제어부(170)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 즉, 표시패널(112)은 장치(100)의 이용에 따른 다양한 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(줄여서 '앱(App)') 실행 화면, 키패드 등을 표시할 수 있다. 잠금 화면은 표시패널(112)이 켜지면, 표시패널(112)에 표시되는 영상으로 정의될 수 있다. 잠금 해제를 위한 사용자 제스처가 검출되면 제어부(170)는 표시되는 영상을 잠금 화면에서 홈 화면 또는 앱 실행 화면 등으로 전환(changing)할 수 있다. 홈 화면은 다수의 앱에 각각 대응되는 다수의 아이콘을 포함하는 영상으로 정의될 수 있다.
다수의 앱 아이콘 중 하나가 사용자에 의해 선택(예, 아이콘을 탭)된 경우, 제어부(170)는 해당 앱(예, 인터넷, 문서 작성, 채팅, 문자 전송 등)을 실행하고, 그 실행 화면을 표시패널(112)에 표시할 수 있다. 표시패널(112)은 제어부(170)의 제어 하에, 상기 화면들 중에서 하나를 배경(background)으로 표시하고 다른 하나를 전경(foreground)으로써 상기 배경에 오버랩하여 표시할 수 있다. 예컨대, 표시패널(112)은 앱 실행 화면을 표시하고, 그 위에 키패드를 표시할 수 있다.
표시패널(112)은 제어부(170)의 제어 하에, 다수의 화면을 표시할 수 있다. 예컨대, 표시패널(112)은 터치스크린(110)의 제 1 스크린 영역에 키패드를 표시하고 터치스크린(110)의 제 2 스크린 영역에 상기 키패드를 통해 입력된 메시지를 표시할 수 있다.
표시패널(112)은 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode) 또는 AMOLED(Active Matrix Organic Light Emitted Diode)로 구성될 수 있다.
키입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 키들을 포함할 수 있다. 이러한 키들은 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 키입력부(120)는 사용자 설정 및 장치(100)의 기능 제어와 관련한 키 이벤트를 생성하여 제어부(170)로 전달한다. 키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트 등을 포함할 수 있다. 제어부(170)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다. 또한 키입력부(120)는 다수의 키를 포함하는 쿼티 키패드, 3*4 키패드, 4*3 키패드 등을 포함할 수 있다. 키입력부(120)는 터치패널(111)이 풀 터치스크린 형태로 지원된 경우, 장치(100)의 케이스 측면에 형성되는, 화면 온/오프, 장치 온/오프 또는 볼륨 조절 등을 위한 하나이상의 사이드 키만을 포함할 수도 있다. 한편 키입력부(120)의 키는 하드 키(hard key)라 하고 터치스크린(110)에 표시되는 키는 소프트 키(soft key)로 지칭될 수 있다.
저장부(130)는 제어부(170)의 제어 하에, 장치(100)에서 생성(예, 문자 메시지, 촬영 영상)되거나 무선통신부(140)를 통해 외부로부터 수신한 데이터(예컨대, 문자 메시지, 이메일)를 저장할 수 있다. 저장부(130)는 상기 잠금 화면, 홈 화면 및 키패드 등을 저장할 수 있다. 저장부(130)는 장치(100)의 운영을 위한 다양한 설정 값(예, 화면 밝기, 터치 발생 시 진동 여부, 화면의 자동 회전 여부, 배경 이미지 등)을 저장할 수 있다.
저장부(130)는 장치(100)의 부팅 운용을 위한 운영체제(OS, Operating System), 통신 프로그램, 이미지 처리 프로그램, 표시 제어 프로그램, 사용자 인터페이스 프로그램, 사용자 인식 프로그램, 인공 지능 프로그램, 내재화 어플리케이션(embedded application) 및 서드파티 어플리케이션(3rd party application)을 포함할 수 있다.
통신 프로그램은 무선통신부(140)를 통해 외부 장치와 통신을 가능하게 하는 명령어들을 포함한다. 그래픽 처리 프로그램은 터치스크린에 표시될 그래픽을 처리하기 위한 여러 가지 소프트웨어 구성요소들(예, 이미지의 포맷 변환, 표시될 그래픽의 크기 조절, 랜더링(rendering) 및 표시패널(112)의 백라이트유닛의 휘도 결정 등을 위한 모듈들)을 포함한다. 여기서 그래픽은 텍스트, 웹 페이지, 아이콘, 사진(picture), 동영상 및 애니메이션 등을 포함할 수 있다. 또한, 그래픽 처리 프로그램은 소프트웨어 코덱을 포함할 수 있다. 사용자 인터페이스 프로그램은 사용자 인터페이스와 연관된 여러 가지 소프트웨어 구성요소를 포함한다.
사용자 인식 프로그램은 예컨대, 음성 인식 프로그램과 얼굴 인식 프로그램을 포함하여 이루어질 수 있다. 음성 인식 프로그램은 음성데이터에서 음성특징정보(예, 음색, 주파수, 데시벨 등)를 검출할 수 있다. 음성 인식 프로그램은 검출된 음성특징정보를 미리 저장된 하나 이상의 음성특징정보와 비교하고, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 또한 음성 인식 프로그램은 음성데이터를 텍스트로 변환하는 STT(Speech To Text) 기능을 구비할 수 있다. 얼굴 인식 프로그램은 카메라(180)에서 촬영된 이미지에서 사용자의 얼굴을 인식한다. 구체적으로 얼굴 인식 프로그램은 이미지 데이터에서 얼굴 정보를 추출하고, 추출된 얼굴 정보를 미리 저장된 하나 이상의 얼굴 정보와 비교하며, 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 한편 사용자 인식은 상술한 음성 인식 프로그램이나 얼굴 인식 프로그램 이외에도 다양한 프로그램(예, 홍체인식(iris scan), 정맥인식(vein recognition), 지문인식(finger scan)) 등을 통해 이루어질 수 있다.
인공 지능 프로그램은 음성이나 이미지 데이터로부터 사용자의 의도를 파악하기 위한 프로그램이다. 예컨대, 인공 지능 프로그램은 음성 데이터에서 문맥(context)을 인식하여 처리하는 자연어 처리 엔진(natural language processing engine)과, 이미지 데이터에서 사용자의 제스처모션의 의도를 파악하는 제스처사용자 모션 인식 엔진과, 인식된 문맥을 바탕으로 사용자의 의도를 추론하는 추론 엔진과, 인식된 문맥이나 사용자 모션을 바탕으로 사용자와 대화하는 대화 엔진 등을 포함하여 구성될 수 있다.
내재화 어플리케이션은 장치(100)에 기본적으로 탑재되어 있는 어플리케이션을 의미한다. 예컨대 내재화 어플리케이션은 브라우저(browser), 이메일(email), 인스턴트 메신저(instant messenger) 등이 될 수 있다. 서드파티 어플리케이션은 주지되어 있는 바와 같이 온라인 마켓으로부터 장치(100)에 다운로드되어 설치될 수 있는 어플리케이션을 의미하며, 매우 다종다양하다. 이러한 서드파티 어플리케이션은 설치 및 제거가 자유롭다.
무선 통신부(140)는 음성 통화, 화상 통화 또는 데이터 통신을 제어부(170)의 제어 하에 수행한다. 이를 위하여 무선통신부(140)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한 무선 통신부(140)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5(3.5-Generation)세대 이동통신모듈 또는 4(4-Generation)세대 이동통신모듈 등), 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈(예, 와이파이(Wi-Fi) 모듈, 블루투스(bluetooth) 모듈)을 포함할 수 있다.
오디오 처리부(150)는 스피커(SPK) 및 마이크(MIC)와 결합하여 음성 인식, 음성 복제, 디지털 레코딩(recording) 및 전화 기능을 위한 오디오 신호의 입력 및 출력 기능을 수행한다. 즉, 오디오 처리부(150)는 스피커(SPK)를 통해 오디오 신호를 출력하고, 마이크(MIC)을 통해 오디오 신호를 입력받기 위한 기능을 수행한다. 오디오 처리부(150)는 제어부(170)로부터 오디오 데이터를 수신하고, 수신한 오디오 데이터를 아날로그 신호로 D/A　변환한 후, 아날로그 신호를 스피커(SPK)로 출력한다. 오디오 처리부(150)는 마이크(MIC)으로부터 아날로그 신호를 수신하여 오디오 데이터로 A/D 변환한 후, 오디오 데이터를 제어부(170)로 제공한다. 스피커(SPK)는 오디오 처리부(150)로부터 수신된 아날로그 신호를 음파(sound wave)로 변환하여 출력한다. 마이크(MIC)는 사람이나 기타 소리원(sound source)들로부터 전달된 음파를 아날로그 신호로 변환한다.
센서부(160)는 장치(100)의 기울기 변화, 조도 변화, 가속도 변화 등과 같은 다양한 상태 변화들 중 적어도 하나를 검출하여 제어부(170)로 전달할 수 있다. 센서부(160)는 다양한 센서들로 이루어질 수 있는데, 센서들은 제어부(170)의 제어 하에, 전원이 공급되어 장치(100)의 상태 변화를 검출할 수 있다. 센서부(160)는 하나의 칩(chip)에 센서들이 일체화되거나, 또는 센서들이 별도의 칩들로 구현될 수 있다. 구체적으로 센서부(160)는 가속도 센서를 포함할 수 있다. 가속도 센서는 X축, Y축 및 Z축 성분 각각에 대한 가속도를 측정할 수 있다. 가속도 센서는 자이로 센서를 포함할 수 있으며 이에 따라, 장치(100)의 움직임이 없는 경우, 중력 가속도를 측정할 수 있다. 일예로, 터치스크린(110)이 위(예컨대, 양의 Z축 방향)로 향하게 XY 평면에 놓인 경우, 센서부(160)에 의해 검출되는 중력 가속도에서 X축 및 Y축 성분은 0m/sec2이고, Z 축 성분은 +9.8m/sec2일 수 있다. 터치스크린(110)이 뒤집어진 경우, X축 및 Y축 성분은 0m/sec2이고 Z축 성분은 -9.8m/sec2일 수 있다. 가속도 센서는, 장치(100)의 움직임이 있는 경우, 장치(100)의 운동 가속도와 중력 가속도가 더해진 가속도를 검출한다.
제어부(170)는 장치(100)의 전반적인 동작 및 장치(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 그리고 제어부(170)는 배터리에서 내부 구성들로의 전원 공급을 제어한다.
제어부(170)는 CPU(central processing unit)와 GPU(graphic processing unit)를 포함할 수 있다. 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU와 GPU은 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수도 있다. 한편 CPU 및 GPU를 포함하는 구성이 AP(Application Processor)라고 지칭될 수 있다.
본 발명에 따른 다중 입력의 처리는 CPU의 코어들 중 적어도 하나에서 수행될 수 있다. 또한, 다중 입력의 처리에서 그래픽과 관련된 기능은 GPU에서 수행될 수도 있다. 예컨대, GPU의 코어들 중 적어도 하나가 터치제스처에 응답하여 펜글씨를 표시하는 기능을 수행할 수 있다. 물론 본 발명에 따른 다중 입력의 처리는 GPU 및 GPU 모두에서 할 수도 있다. 본 발명에 따른 제어부(170)의 기능은 아래에서 구체적으로 설명한다.
제어부(170)는 음성인식부를 포함할 수 있다. 음성인식부는 오디오 처리부(150)를 통해 마이크(MIC)로부터 입력된 음성 정보에서 음성특징정보(예, 음색, 주파수, 데시벨 등)를 검출하고, 이를 미리 저장된 하나 이상의 음성특징정보와 비교하고, 비교 결과를 토대로 사용자가 누구인지 인식한다. 또한 제어부(170)는 얼굴인식부를 포함할 수 있다. 이러한 얼굴인식부는 카메라(180)로부터 입력된 이미지 데이터에서 얼굴 정보를 추출하고, 추출된 얼굴 정보를 미리 저장된 하나 이상의 얼굴 정보와 비교하여 비교 결과를 토대로 사용자가 누구인지 인식할 수 있다. 제어부(170)는 인식된 사용자에게만 제어권한을 부여할 수 있다. 즉 제어부(170)는 음성이나 얼굴이 인식된 음성에만경우에, 반응할 수 있다. 또한 음성인식부는 입력된 음성 정보에서 음성의 특징 정보를 텍스트로 변환하고, 텍스트를 이용하여 사용자의 의도(즉, 특정 키워드(예, thicker, red 등)나 문맥)를 인식할 수 있다. 또한 얼굴인식부는 이미지 데이터에서 사용자의 모션의 의도를 파악할 수 있다. 이러한 음성인식부와 얼굴인식부 중 하나 이상은는 장치(100)의 내부에 구비되는 대신, 외부의 서버에 구비될 수도 있다.
카메라(180)는 제어부(170)의 제어 하에, 피사체를 촬영하여 제어부(170)로 출력하는 기능을 수행한다. 구체적으로, 카메라(180)는 빛을 모으기 위한 렌즈와, 이러한 빛을 전기적인 신호로 변환하는 이미지 센서(예컨대, CMOS(Complementary Metal Oxide Semiconductor) 또는 CCD(Charge Coupled Device))와, 이미지 센서로부터 입력되는 전기 신호를 영상 데이터로 A/D 변환하여 제어부(170)로 출력하는 이미지 신호 처리부(Image Signal Processor; ISP)를 포함하여 이루어질 수 있다. 카메라(180)의 ISP는 영상 데이터를 프리뷰 이미지로 가공(예컨대, 터치스크린(110)의 화면 크기에 맞게 해상도를 조절(resizing))하여 제어부(170)로 출력하는 표시 제어 모듈과, 영상 데이터를 코딩(예컨대, MPEG 포맷으로 압축)하여 제어부(170)로 출력하는 코딩 모듈을 더 포함할 수 있다. 제어부(170)는 프리뷰 이미지를 터치스크린(110)에 표시할 수 있다. 또한 제어부(170)는 코딩된 동영상을 저장부(130)에 저장할 수 있다.
한편 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 본 발명에 따른 장치(100)는 GPS 모듈, 진동 모터, 카메라, 하드웨어 코덱, 외부 기기(예, PC 등)와 유선으로 연결하기 위한 유선통신부 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 또한 본 발명의 장치(100)는 그 제공 형태에 따라 상기한 구성들에서 특정 구성이 제외되거나 다른 구성으로 대체될 수도 있다.
도 2 및 도 3은 각각 본 발명의 일 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 흐름도와 화면예시도이다.
도 2를 참조하면, 단계 210에서 제어부(170)는 사용자 인터페이스들 중 하나부터 제 1 사용자 입력을 검출한다. 예컨대, 제 1 사용자 입력은, 핸들링 수단(예, 손이나 펜)을 이용하여 글씨 쓰기(handwriting), 드로잉(drawing) 또는 페인팅(painting)을 할 수 있도록 하는 프로그램이 실행 중인 상태에서, 터치스크린에 대한 핸들링 수단의 움직임이 될 수 있다. 구체적으로 도 3에 도시된 바와 같이 터치스크린(110)은 홈 화면(310)을 표시한다. 제어부(170)는 홈 화면(310)에서 메모 작성 프로그램의 선택(예, 펜(320)을 이용하여 메모 작성 프로그램의 아이콘(311)을 더블 탭)을 검출한다(도 3 (a) 참조). 제어부(170)는 메모 작성 프로그램의 선택에 응답하여 메모 작성 화면(330)을 터치스크린(110)에 표시한다. 제어부(170)는 메모 작성 화면(330)에 대한 제 1 사용자 입력 예컨대, 펜(320)의 움직임을 검출한다.
단계 220에서 제어부(170)는 제 1 사용자 입력에 응답하여 해당 기능을 수행한다. 예컨대 기능은 도 3 (b)에 도시된 바와 같이, 펜(320)의 움직임에 대응되는 글씨 “SELAB"을 표시하는 것이다. 여기서 펜(320)과 같은 핸들링 수단의 움직임에 대응되는 기능은 글씨 쓰기에 국한하는 것은 아니며, 드로잉, 페인팅 및 지우기 등과 같이 그래픽 작업과 관련된 기능들 중 하나일 수 있다. 여기서 지우기는 글씨 쓰기, 드로잉 및 페인팅 등에 의해 작업된 글씨나 그림을 지우는 기능이다.
단계 230에서 제어부(170)는 제 2 사용자 입력 또는 시스템 입력의 검출 여부를 결정한다. 여기서 제 2 사용자 입력은 제 1 사용자 입력을 생성한 사용자 인터페이스가 아닌 다른 인터페이스에서 발생된 것일 수 있이다. 예컨대, 제 1 사용자 입력이 터치스크린(110)에서 발생되고 제 2 사용자 입력은 마이크(MIC) 및 센서부(160) 중 하나에서 발생된 것이다. 한편 시스템 입력 또한 제 1 사용자 입력을 생성한 사용자 인터페이스가 아닌 다른 곳에서 발생된 것이다. 상술한 바와 같이 본 발명에서 ‘시스템 입력’은 해당 장치의 외부 환경(예, 자연 환경 또는 통신 환경)과 관련된 정보이다. 이에 따라 시스템 입력은 예컨대, 센서부(160) 또는 무선통신부(140) 등에서 발생된 것일 수 있다.
제 2 사용자 입력 및 시스템 입력 중 적어도 하나가 검출된 경우, 단계 240에서 제어부(170)는 검출된 입력에 응답하여 상기 제 1 사용자 입력에 의해 수행된 기능의 속성을 변경한다. 예컨대 기능이 글씨 쓰기인 경우 글씨의 속성을 변경하는 것이 된다. 구체적으로 도 3 (c), (d) 및 (e)를 참조하면, 사용자가 “Line red, Line Thicker”라고 음성 입력한 경우, 제어부(170)는 이러한 음성 입력에 응답하여 글씨 “software center”의 속성을 음성 입력에 대응되게 변경한다. 즉 제어부(170)는 글자의 색상을 빨간색으로 변경하고 그리고 글자를 두껍게 변경한다. 시스템 입력 예컨대, 외부 조도의 변화가 검출된 경우(예, 현재 검출된 외부 조도 값이 20Klux 이상(야외에 해당)인 경우), 제어부(170)는 글자의 색상을 밝게 변경하고 상대적으로 그 배경(즉, 메모 작성 화면(330))은 어둡게 변경할 수 있다.
한편 상기 기능의 변경을 수행하게 하는 제 2 사용자 입력과 시스템 입력은 미리 지정될 수 있다. 이러한 지정은 예컨대, 환경 설정 화면에서 사용자에 의해 설정될 수 있다. 여기서 환경 설정 화면은 사운드, 밝기, 배경화면, 네트워크 등과 같이 해당 장치(100)의 사용 환경을 설정할 수 있도록 하는 화면이다. 또한 이러한 지정은 제조사에 의해 설정될 수 있고 사용자에 의해선 변경이 불가능할 수 있다. 상술한 바와 같이 기능이 그래픽과 관련된 작업인 경우, 제 2 사용자 입력은 음성 입력으로 지정되고 시스템 입력은 외부 조도의 변화로 지정될 수 있다.
제 2 사용자 입력의이 음성 입력인 경우 제어부(170)는 사용자의 의도를 파악하기 위하여, 음성 정보를 처리할 시간이 필요하다. 여기서 음성 정보는 마이크(MIC)를 통해 오디오 처리부(150)로부터 입력된 것이고 처리는 음성 정보를 분석(예컨대, 음성 정보를 텍스트로 변환 등)하여 사용자의 의도를 인식하는 것이다. 이러한 처리는 서버에서 수행할 수 있다. 즉 무선 통신부(140)는 음성 정보를 포함하는 음성 인식 요청 메시지를 제어부(170)로부터 전달받아 음성 인식 서버로 전송할 수 있다. 음성 인식 서버는 음성 정보를 처리하여 그 처리 결과(즉, 사용자의 의도)를 포함하는 응답 메시지를 장치(100)로 전송할 수 있다. 이러한 음성 처리 시간 동안 사용자의 의도가 반영되지 않은 상태로 기능(예, 글씨 쓰기)이 수행될 수 있다. 예컨대, 도 3 (c) 내지 (e)를 다시 참고하면, 사용자는 ‘SELAB’을 쓰고 난 후 그 이후 문장은 좀 더 두껍게 그리고 빨간색으로 쓰려는 의도로 상술한 바와 같이 “Line red, Line Thicker”라고 음성 명령한다. 사용자는 이러한 음성 명령과 동시에 'software center'를 쓸 수 있다. 이때 'software center에서 'soft'는 사용자의 의도가 반영되지 않을 수 있다. 즉 사용자는 터치스크린(110)에 글씨를 쓰면서 그와 동시에 글씨의 속성을 변경하도록 음성 명령할 수 있다. 따라서 이미 수행된 기능에서 사용자의 의도가 반영되어야 하는 보정 필요 부분(즉, 사용자의 의도가 반영되지 않은 부분)이 있을 수 있다. 상기 단계 240은 이와 같은 보정 프로세스(아래 도 4)를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 기능의 속성 변경 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 보정 필요 부분의 산출 방법을 설명하기 위한 도면이다. 도 4 및 도 5의 설명은 사용자가 터치스크린(110)을 선을 긋는 동시에 선의 속성을 변경하도록 음성 명령하는 상황을 가정한다.
도 4를 참조하면, 단계 410에서 제어부(170)는 검출된 음성 정보를 분석하여 사용자의 의도를 인식한다. 구체적으로 도 5를 참조하면, 제어부(170)는 음성의 시작 시점(t1)을 검출한다. 이후 제어부(170)는 음성의 종료 시점(t2)을 검출한다. 제어부(170)는 이 구간(t2-t2)의 음성 정보를 분석하여 사용자의 의도를 인식한다. 여기서 사용자의 의도의 인식은 상술한 바와 같이, 제어부(170)가 아닌 외부 장치인 음성 인식 서버에서 처리될 수 있다. 이후 제어부(170)는 사용자의 의도에 따라 선 긋기의 속성을 변경한다. 예컨대, 터치스크린(110)은 제어부(170)의 제어 하에, 선을 두껍게 변경하여 표시한다. 이때 사용자가 선을 두껍게 변경하고자 의도한 시점은 't1'이지만 사용자의 의도가 실제 적용되는 시점은 't3'이다. 즉 사용자 의도대로라면, 사용자가 긋는 선은 시간 't1'일 때부터 굵게 변경되어야 하지만 상술한 바와 같은 처리 시간의 소요에 의해 실제는 시간 't3'일 때부터 적용되는 문제점이 있다. 이러한 편차는 아래와 같은 절차에 의해 보정될 수 있다.
단계 420에서 제어부(170)는 이미 수행된 기능의 보정이 필요한지 여부를 결정한다. 제어부(170)는 터치스크린(110)으로부터 터치 제스처의 입력을 검출하는 동시에, 오디오 처리부(150)를 통해 마이크(MIC)로부터 음성 정보의 입력을 검출한 경우, 보정이 필요한 것으로 결정한다. 즉 제 1 사용자 입력(사용자 제스처)과 제 2 사용자 입력(음성 정보)가 동시에 검출되는 경우(예컨대, 사용자가 선을 긋는 동시에 음성으로 명령하는 상황임), 제어부(170)는 상기 제 1 사용자 입력에 의해 이미 수행된 기능에 대해서 보정이 필요한 것으로 결정할 수 있다. 제어부(170)는, 터치 이벤트의 발생이 완료된 후 음성 정보가 발생된 것이면(예컨대, 사용자가 선 긋기 작업을 마무리한 후 이후 진행할 기능의 속성을 설정하기 위해 음성 명령하는 상황임), 이미 수행된 기능(즉, 선 긋기)에 대해서 보정이 필요하지 않은 것으로 결정할 수 있다.
보정이 필요한 경우 단계 430에서 제어부(170)는 이미 수행된 기능에서 보정 필요 부분을 산출한다. 예컨대, 도 5를 참조하면, 제어부(170)는 사용자의 발화 시점 t1을 검출하고 사용자의 의도를 인식하여 적용한 시점 t3를 검출한다. 그리고 제어부(170)는 그어진(표시된) 선에서 t1부터 t3일 때까지 그어진 부분을 보정 필요 부분으로 결정한다.
단계 440에서 제어부(170)는 보정 필요 부분에 사용자의 의도(즉, 선의 두께를 굵게)를 반영한다. 예컨대, 제어부(170)는 t3이후 굵어진 선의 두께만큼 보정 필요 부분을 두껍게 표시하도록 제어한다. 제어부(170)는 선긋기 방향으로 갈수록 보정 필요 부분을 점점 두껍게 표시하도록 제어할 수도 있다. 색상의 보정의 경우 제어부(170)는 t3이후에 적용된 선의 색상을 보정 필요 부분에 적용할 수 있다. 제어부(170)는 t1 이전의 선의 색상과 t3 이후에 적용된 선의 색상을 혼합한 색(빨강과 파랑의 혼합인 보라색)을 보정 필요 부분에 적용할 수도 있다. 이상으로 제어부(170)는 굵기 및 색상 이외에도, 밝기, 투명도 등과 같은 보정 필요 부분의 그래픽적인 속성을, 상기 인식된 사용자 의도를 바탕으로, 보정할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면 예시도이다.
도 6을 참조하면, 제어부(170)는 메모 작성 화면(610)에서 펜(620)의 움직임을 검출한다. 제어부(170)는 펜(620)의 움직임에 따라 선을 표시하도록 제어한다. 표시된 선이 폐곡선(630)이 된 경우, 제어부(170)는 도 6 (a)에 도시한 바와 같이 폐곡선(630) 내에 색상(예, 파란색)을 표시하도록 제어한다. 제어부(170)는 오디오 처리부(150)를 통해 마이크(MIC)로부터 음성 정보의 입력을 검출한다. 제어부(170)는 입력된 음성 정보를 분석하여 사용자의 의도(예컨대, 폐곡선(630)의 형태를 타원(ellipse)으로 변형)를 인식한다. 제어부(170)는 사용자의 의도에 따라 폐곡선(630)을 타원(640)으로 변형하여 표시하도록 제어한다(도 6 (b) 참조).
도 7은 본 발명의 또 다른 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면 예시도이다.
도 7을 참조하면, 제어부(170)는 메모 작성 화면(710)에서 펜(720)의 움직임을 검출한다. 제어부(170)는 펜(720)의 움직임에 따라 선을 표시하도록 제어한다. 표시된 선이 폐곡선(730)이 된 경우, 제어부(170)는 도 7 (a)에 도시한 바와 같이 폐곡선(730) 내에 색상(예, 파란색)을 표시하도록 제어한다. 제어부(170)는 센서부(160)로부터 모션 정보의 입력을 검출한다. 예컨대, 사용자가 장치(100)를 흔드는 경우 센서부(160)는 이에 대응되는 모션 정보를 발생하여 제어부(170)로 전달한다. 제어부(170)는 검출된 모션 정보를 이용하여 빠르기(speed)를 산출한다. 그리고 제어부(170)는 산출된 빠르기가 기 저장된 임계치를 초과한 경우, 상기 검출된 모션 정보가 “폐곡선의 형태를 타원으로 변형”을 요청하는 사용자 입력인 것으로 결정한다. 상기 결정에 따라 제어부(170)는 폐곡선(730)을 타원(740)으로 변형하여 표시하도록 제어한다(도 7 (b) 참조). 한편 상기 검출된 모션 정보가 “폐곡선의 형태를 타원으로 변형”을 요청하는 사용자 입력인지 여부를 결정하기 위한 요소는, 빠르기 이외에 다른 요소(예, 움직임의 방향, 이동 거리 등)도 고려될 수 있다. 이러한 요소들은 환경 설정에서 사용자에 의해 설정될 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 다중 입력 처리 방법을 설명하기 위한 화면 예시도이다. 도 8의 설명은 사용자가 터치스크린(110)에 선을 긋는 상황을 가정한다.
도 8을 참조하면, 제어부(170)는 터치스크린(110)으로부터 핸들링 수단(예, 손이나 펜)의 움직임을 검출한다. 제어부(170)는 검출된 핸들링 수단의 움직임에 따라 선을 표시하도록 제어한다. 이러한 선 긋기의 기능을 수행하는 동안 제어부(170)는 센서부(160)로부터 시스템 입력(예, 상하 진동)을 검출할 수 있다. 제어부(170)는 시스템 입력에서 빠르기를 계산하고, 계산된 빠르기가 기 저장된 임계값을 초과한 경우, 상기 시스템 입력이 사용자의 의도치 않은 입력으로 결정한다. 이러한 결정에 따라 제어부(170)는 상기 시스템 입력이 검출된 시간동안 수행된 기능(예, 선 긋기)을 보정 필요 부분으로 결정하고, 보정 필요 부분을 상기 시스템 입력이 검출된 시간 전과 후에 수행된 기능을 바탕으로 보정한다. 예컨대, 제어부(170)는 도 8에 도시된 바와 같이, 장치(100)의 상하 진동에 의해 삐뚤어진 선을 직선으로 보정하여 표시한다. 한편 상기 시스템 입력이 사용자의 의도치 않은 입력인지 여부를 결정하기 위한 요소는, 빠르기 이외에 다른 요소(예, 움직임의 방향, 움직인 거리 등)도 고려될 수 있다.
이상으로 본 발명은 동시에 입력된 다중 입력을 처리하는 방법 및 장치를 제공한다. 여기서 다중 입력은 상술한 바와 같이 서로 다른 사용자 인터페이스들을 통해 입력된 사용자 입력들일 수 있다. 또한 다중 입력은 사용자 입력과 시스템 입력을 포함할 수도 있다. 또한 본 발명은 사용자의 의도가 반영되지 않은 기능을 보정하는 방법 및 장치를 제공한다. 또한 본 발명은 사용자의 의도치 않은 시스템 입력에 따라 수행된 기능을 보정하는 방법 및 장치를 제공한다.
상술한 바와 같은 본 발명에 따른 방법은 다양한 컴퓨터를 통하여 수행될 수 있는 프로그램 명령으로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 여기서 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 포함할 수 있다. 또한 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 또한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media)와, CD-ROM, DVD와 같은 광기록 매체(Optical Media)와, 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media)와, 롬(ROM)과, 램(RAM)과, 플래시 메모리 등과 같은 하드웨어 장치가 포함될 수 있다. 또한 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함될 수 있다. 하드웨어 장치는 본 발명을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명에 따른 방법 및 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
100: 장치
110: 터치스크린
111: 터치패널
111a: 손 터치패널 111b: 펜 터치패널
112: 표시패널 120: 키 입력부
130: 저장부
140: 무선통신부
150: 오디오 처리부
160: 센서부
170: 제어부

Claims (16)

  1. 외부와의 상호 작용을 위한 인터페이스들을 가지는 장치에서 다중 입력 처리 방법에 있어서,
    상기 인터페이스들 중 하나인 터치스크린을 통해 사용자 제스처를 제 1 사용자 입력으로서 검출하는 단계;
    상기 제 1 사용자 입력에 응답하여 그래픽 작업과 관련된 기능을 수행하는 단계;
    상기 인터페이스들 중 다른 하나인 마이크를 통해 음성 정보를 제 2 사용자 입력으로서 검출하는 단계; 및
    상기 제 2 사용자 입력 또는 시스템 입력에 응답하여 상기 기능의 속성을 변경하는 단계를 포함하고,
    상기 기능의 속성을 변경하는 단계는,
    상기 음성 정보를 분석하여 사용자의 의도를 인식하는 단계;
    이미 수행된 그래픽 작업에 대해 보정이 필요한지 여부를 결정하는 단계;
    상기 보정이 필요한 경우 상기 이미 수행된 그래픽 작업에서 보정 필요 부분을 산출하는 단계; 및
    상기 보정 필요 부분에 상기 사용자의 의도를 반영하는 단계를 포함하고,
    상기 보정이 필요한지 여부를 결정하는 단계는,
    상기 사용자 제스처와 상기 음성 정보가 동시에 검출되는 경우 상기 이미 수행된 그래픽 작업에 보정이 필요한 것으로 결정하는 것을 특징으로 하는 다중 입력 처리 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 그래픽 작업은 글씨 쓰기, 드로잉, 페인팅 및 지우기 중 어느 하나인 것을 특징으로 하는 다중 입력 처리 방법.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 보정 필요 부분을 산출하는 단계는,
    상기 이미 수행된 그래픽 작업 중에서 상기 사용자의 의도를 인식하기 위한 시간 동안 수행된 부분을 상기 보정 필요 부분에 포함시키는 것을 특징으로 하는 다중 입력 처리 방법.
  7. 제 1 항에 있어서,
    상기 제 1 사용자 입력은 터치스크린에 대한 사용자의 제스처, 마이크를 통해 입력된 음성 정보 및 센서부에서 감지한 모션(motion) 정보 중 어느 하나이고,
    상기 제 2 사용자 입력은 터치스크린에 대한 사용자의 제스처, 마이크를 통해 입력된 음성 정보 및 센서부에서 감지한 모션(motion) 정보 중 다른 하나이며,
    상기 시스템 입력은 해당 장치의 외부 환경과 관련된 정보인 것을 특징으로 하는 다중 입력 처리 방법.
  8. 외부와의 상호 작용을 위한 인터페이스들; 및
    상기 인터페이스들을 제어하는 제어부를 포함하고,
    상기 제어부는 상기 인터페이스들 중 하나로부터 제 1 사용자 입력을 검출하고, 상기 제 1 사용자 입력에 응답하여 기능을 수행하며, 상기 인터페이스들 중 다른 하나로부터 제 2 사용자 입력 또는 시스템 입력을 검출하며, 상기 제 2 사용자 입력 또는 상기 시스템 입력에 응답하여 상기 기능의 속성을 변경하고,
    상기 인터페이스들은 적어도 터치스크린과 마이크를 포함하고,
    상기 제어부는 상기 터치스크린으로부터 검출된 사용자 제스처에 응답하여 그래픽 작업과 관련된 기능을 수행하고, 상기 기능을 수행할 때 상기 마이크로부터 음성 정보가 검출될 경우 상기 그래픽 작업의 속성을 변경하고,
    상기 음성 정보를 분석하여 사용자의 의도를 인식하고, 이미 수행된 그래픽 작업에 대해 보정이 필요한지 여부를 결정하며, 상기 보정이 필요한 경우 상기 그래픽 작업에서 보정 필요 부분을 산출하며, 상기 보정 필요 부분에 상기 사용자의 의도를 반영하고,
    상기 사용자 제스처와 상기 음성 정보가 동시에 검출되는 경우 상기 이미 수행된 그래픽 작업에 보정이 필요한 것으로 결정하는 것을 특징으로 하는 다중 입력 처리 장치.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 터치스크린은 손 제스처를 감지하는 손 터치패널과, 펜 제스처를 감지하는 펜 터치패널과, 표시패널을 포함하는 것을 특징으로 하는 다중 입력 처리 장치.
  11. 제 10 항에 있어서,
    상기 그래픽 작업은 상기 펜 제스처 또는 상기 손 제스처에 의한 글씨 쓰기, 드로잉, 페인팅 및 지우기 중 어느 하나인 것을 특징으로 하는 다중 입력 처리 장치.
  12. 삭제
  13. 삭제
  14. 제 8 항에 있어서,
    상기 제어부는,
    상기 이미 수행된 그래픽 작업 중에서 상기 사용자의 의도를 인식하기 위한 시간 동안 수행된 부분을 상기 보정 필요 부분에 포함시키는 것을 특징으로 하는 다중 입력 처리 장치.
  15. 제 11 항에 있어서,
    음성 인식 서버와 연결 가능한 무선 통신부를 더 포함하고,
    상기 제어부는 상기 음성 정보를 포함하는 음성 인식 요청 메시지를 상기 음성 인식 서버에 전송하도록 상기 무선 통신부를 제어하고, 상기 무선 통신부를 통해 상기 음성 인식 서버로부터 음성 정보의 처리 결과를 포함하는 응답 메시지를 수신하고, 이미 수행된 그래픽 작업에 대해 보정이 필요한지 여부를 결정하며, 상기 보정이 필요한 경우 상기 그래픽 작업에서 보정 필요 부분을 산출하며, 상기 보정 필요 부분에 상기 처리 결과를 반영하는 것을 특징으로 하는 다중 입력 처리 장치.
  16. 외부와의 상호 작용을 위한 인터페이스들을 가지는 장치에서 구현되는 기록 매체에 있어서,
    상기 인터페이스들 중 하나인 터치스크린을 통해 사용자 제스처를 제 1 사용자 입력으로서 검출하는 단계;
    상기 제 1 사용자 입력에 응답하여 그래픽 작업과 관련된 기능을 수행하는 단계;
    상기 인터페이스들 중 다른 하나인 마이크를 통해 음성 정보를 제 2 사용자 입력으로서 검출하는 단계; 및
    상기 제 2 사용자 입력 또는 시스템 입력에 응답하여 상기 기능의 속성을 변경하는 단계를 포함하고,
    상기 기능의 속성을 변경하는 단계는,
    상기 음성 정보를 분석하여 사용자의 의도를 인식하는 단계;
    이미 수행된 그래픽 작업에 대해 보정이 필요한지 여부를 결정하는 단계;
    상기 보정이 필요한 경우 상기 이미 수행된 그래픽 작업에서 보정 필요 부분을 산출하는 단계; 및
    상기 보정 필요 부분에 상기 사용자의 의도를 반영하는 단계를 포함하고,
    상기 보정이 필요한지 여부를 결정하는 단계는,
    상기 사용자 제스처와 상기 음성 정보가 동시에 검출되는 경우 상기 이미 수행된 그래픽 작업에 보정이 필요한 것으로 결정하는 것이도록 구성된 기록 매체.
KR1020120071229A 2012-06-29 2012-06-29 다중 입력 처리 방법 및 장치 KR102003255B1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020120071229A KR102003255B1 (ko) 2012-06-29 2012-06-29 다중 입력 처리 방법 및 장치
AU2013204564A AU2013204564B2 (en) 2012-06-29 2013-04-12 Method and apparatus for processing multiple inputs
US13/895,729 US9286895B2 (en) 2012-06-29 2013-05-16 Method and apparatus for processing multiple inputs
PCT/KR2013/005481 WO2014003365A1 (en) 2012-06-29 2013-06-21 Method and apparatus for processing multiple inputs
EP13173435.2A EP2680110B1 (en) 2012-06-29 2013-06-24 Method and apparatus for processing multiple inputs
EP20167205.2A EP3693837A1 (en) 2012-06-29 2013-06-24 Method and apparatus for processing multiple inputs
JP2013133458A JP6338829B2 (ja) 2012-06-29 2013-06-26 多重入力処理方法及び装置
CN201310264276.6A CN103529934B (zh) 2012-06-29 2013-06-28 用于处理多个输入的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071229A KR102003255B1 (ko) 2012-06-29 2012-06-29 다중 입력 처리 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140003875A KR20140003875A (ko) 2014-01-10
KR102003255B1 true KR102003255B1 (ko) 2019-07-24

Family

ID=48832743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071229A KR102003255B1 (ko) 2012-06-29 2012-06-29 다중 입력 처리 방법 및 장치

Country Status (7)

Country Link
US (1) US9286895B2 (ko)
EP (2) EP2680110B1 (ko)
JP (1) JP6338829B2 (ko)
KR (1) KR102003255B1 (ko)
CN (1) CN103529934B (ko)
AU (1) AU2013204564B2 (ko)
WO (1) WO2014003365A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9123340B2 (en) * 2013-03-01 2015-09-01 Google Inc. Detecting the end of a user question
US9612664B2 (en) * 2014-12-01 2017-04-04 Logitech Europe S.A. Keyboard with touch sensitive element
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
CN104778003B (zh) * 2015-03-23 2019-06-14 惠州Tcl移动通信有限公司 一种输入轨迹识别方法及其可穿戴设备
CN104811800A (zh) * 2015-04-24 2015-07-29 无锡天脉聚源传媒科技有限公司 视频分辨率修改方法及装置
KR102369126B1 (ko) 2015-07-10 2022-03-02 삼성전자주식회사 메모 기능을 제공하는 전자 장치 및 그 방법
US10210383B2 (en) 2015-09-03 2019-02-19 Microsoft Technology Licensing, Llc Interacting with an assistant component based on captured stroke information
US10387034B2 (en) 2015-09-03 2019-08-20 Microsoft Technology Licensing, Llc Modifying captured stroke information into an actionable form
KR20170046958A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
US10838502B2 (en) * 2016-03-29 2020-11-17 Microsoft Technology Licensing, Llc Sharing across environments
CN105872402A (zh) * 2016-06-15 2016-08-17 深圳Tcl新技术有限公司 智能电视的拍照方法及系统
US10079015B1 (en) * 2016-12-06 2018-09-18 Amazon Technologies, Inc. Multi-layer keyword detection
CN107295192B (zh) * 2017-07-13 2020-03-24 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN109976557A (zh) * 2017-12-27 2019-07-05 田雪松 一种电磁笔
WO2019172704A1 (en) * 2018-03-08 2019-09-12 Samsung Electronics Co., Ltd. Method for intent-based interactive response and electronic device thereof
US20210382684A1 (en) * 2018-10-29 2021-12-09 Kyocera Corporation Information display apparatus, electronic device, electronic pen, system, method and program
JP7240134B2 (ja) * 2018-10-29 2023-03-15 京セラ株式会社 情報表示装置、電子ペン、表示制御方法、及び表示制御プログラム
JP7257126B2 (ja) * 2018-10-29 2023-04-13 京セラ株式会社 情報表示装置、電子ペン、表示制御方法、及び表示制御プログラム
JP7228365B2 (ja) * 2018-10-29 2023-02-24 京セラ株式会社 情報表示装置、電子ペン、表示制御方法、及び表示制御プログラム
DE102018132794A1 (de) * 2018-12-19 2020-06-25 Patty's Gmbh Verfahren zur Eingabe von Befehlen für eine elektronische Einrichtung
US11741951B2 (en) * 2019-02-22 2023-08-29 Lenovo (Singapore) Pte. Ltd. Context enabled voice commands
CN110536094A (zh) * 2019-08-27 2019-12-03 上海盛付通电子支付服务有限公司 一种在视频通话过程中传递信息的方法与设备
CN110688044B (zh) * 2019-09-30 2021-04-13 联想(北京)有限公司 一种输入方法及电子设备
CN114281182A (zh) * 2020-09-17 2022-04-05 华为技术有限公司 人机交互方法、装置和系统
US11935519B2 (en) * 2020-10-15 2024-03-19 Google Llc Preserving speech hypotheses across computing devices and/or dialog sessions

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157192A (ja) * 2009-01-05 2010-07-15 Nintendo Co Ltd 描画処理プログラムおよび情報処理装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS601675B2 (ja) * 1977-05-18 1985-01-16 豊道 中野 発声の解析方式
JP2599019B2 (ja) * 1990-06-28 1997-04-09 三洋電機株式会社 ペン入力装置
JPH06131437A (ja) * 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
JPH0764694A (ja) 1993-08-30 1995-03-10 Sharp Corp 手振れ防止ペン入力システム
JPH087121A (ja) * 1994-06-22 1996-01-12 Hitachi Ltd 情報処理装置、および、属性変更方法
JPH09190268A (ja) * 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
JPH1011089A (ja) * 1996-06-24 1998-01-16 Nippon Soken Inc 赤外線検出素子を用いた入力装置
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US7447637B1 (en) 1998-12-23 2008-11-04 Eastern Investments, Llc System and method of processing speech within a graphic user interface
JP4632389B2 (ja) * 2001-02-22 2011-02-16 キヤノン株式会社 電子黒板装置およびその制御方法
EP1970799B1 (en) * 2007-03-15 2017-08-16 LG Electronics Inc. Electronic device and method of controlling mode thereof and mobile communication terminal
DE102008051757A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
KR101413473B1 (ko) * 2007-11-20 2014-07-01 엘지전자 주식회사 이동 단말기 및 그의 키 입력 방법
US8405621B2 (en) 2008-01-06 2013-03-26 Apple Inc. Variable rate media playback methods for electronic devices with touch interfaces
JP2011018228A (ja) * 2009-07-09 2011-01-27 Casio Computer Co Ltd 情報処理端末およびプログラム
WO2011045805A1 (en) * 2009-10-16 2011-04-21 Hewlett-Packard Development Company, L.P. Gesture processing
US20110119216A1 (en) * 2009-11-16 2011-05-19 Microsoft Corporation Natural input trainer for gestural instruction
KR101623213B1 (ko) 2009-12-24 2016-05-31 삼성전자주식회사 펜 입력 장치 및 방법
US20110167339A1 (en) 2010-01-06 2011-07-07 Lemay Stephen O Device, Method, and Graphical User Interface for Attachment Viewing and Editing
EP2348392A1 (en) 2010-01-21 2011-07-27 Research In Motion Limited Portable electronic device and method of controlling same
US20110179381A1 (en) * 2010-01-21 2011-07-21 Research In Motion Limited Portable electronic device and method of controlling same
KR20110112980A (ko) 2010-04-08 2011-10-14 삼성전자주식회사 터치 감지 장치 및 방법
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
US8972903B2 (en) 2010-07-08 2015-03-03 Apple Inc. Using gesture to navigate hierarchically ordered user interface screens
US9159298B2 (en) * 2010-09-08 2015-10-13 Lg Electronics Inc. Terminal and contents sharing method for terminal
JP5688677B2 (ja) * 2010-10-04 2015-03-25 日本電気株式会社 音声入力支援装置
JP5584603B2 (ja) * 2010-12-06 2014-09-03 富士通テン株式会社 情報提供システムおよび情報提供装置
US9086794B2 (en) * 2011-07-14 2015-07-21 Microsoft Technology Licensing, Llc Determining gestures on context based menus
US9483109B2 (en) * 2012-07-12 2016-11-01 Spritz Technology, Inc. Methods and systems for displaying text using RSVP
US20140272843A1 (en) * 2013-03-15 2014-09-18 HealthTechApps, Inc. Cognitive evaluation and development system with content acquisition mechanism and method of operation thereof
US9218811B2 (en) * 2013-06-28 2015-12-22 Google Technology Holdings LLC Electronic device and method for managing voice entered text using gesturing
US20150058462A1 (en) * 2013-08-23 2015-02-26 Samsung Electronics Co., Ltd. Content delivery system with content navigation mechanism and method of operation thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157192A (ja) * 2009-01-05 2010-07-15 Nintendo Co Ltd 描画処理プログラムおよび情報処理装置

Also Published As

Publication number Publication date
AU2013204564B2 (en) 2016-01-21
WO2014003365A1 (en) 2014-01-03
CN103529934A (zh) 2014-01-22
EP3693837A1 (en) 2020-08-12
EP2680110B1 (en) 2020-05-13
JP6338829B2 (ja) 2018-06-06
EP2680110A1 (en) 2014-01-01
US20140006033A1 (en) 2014-01-02
JP2014010836A (ja) 2014-01-20
US9286895B2 (en) 2016-03-15
CN103529934B (zh) 2018-08-21
KR20140003875A (ko) 2014-01-10
AU2013204564A1 (en) 2014-01-16

Similar Documents

Publication Publication Date Title
KR102003255B1 (ko) 다중 입력 처리 방법 및 장치
US11886252B2 (en) Foldable device and method of controlling the same
US11024003B2 (en) Method and mobile device for displaying image
US10452333B2 (en) User terminal device providing user interaction and method therefor
US10534509B2 (en) Electronic device having touchscreen and input processing method thereof
KR102190904B1 (ko) 윈도우 제어 방법 및 이를 지원하는 전자장치
KR20160028338A (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
KR20140011073A (ko) 텍스트 추천 방법 및 장치
KR20130133980A (ko) 터치스크린을 가진 단말에서 오브젝트 이동 방법 및 장치
US20150370786A1 (en) Device and method for automatic translation
US20140164186A1 (en) Method for providing application information and mobile terminal thereof
KR101559091B1 (ko) 벤디드 디스플레이를 구비한 휴대 단말기의 제어 방법 및 장치
AU2013231179A1 (en) Method for controlling camera and mobile device
KR20140028223A (ko) 주소록 제공 방법 및 장치
KR101985888B1 (ko) 전자 게시판 제공 방법 및 장치
KR101970154B1 (ko) 휴대 단말에서 일정 관리 방법 및 장치
US10395132B2 (en) Electronic device for extracting distance of object and displaying information and method thereof
KR102191376B1 (ko) 이미지 표시 방법 및 휴대 단말
KR20140029827A (ko) 이미지 처리 방법 및 휴대 단말

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant