KR101545881B1 - 휴대 단말기의 입력 처리 장치 및 방법 - Google Patents

휴대 단말기의 입력 처리 장치 및 방법 Download PDF

Info

Publication number
KR101545881B1
KR101545881B1 KR1020090035195A KR20090035195A KR101545881B1 KR 101545881 B1 KR101545881 B1 KR 101545881B1 KR 1020090035195 A KR1020090035195 A KR 1020090035195A KR 20090035195 A KR20090035195 A KR 20090035195A KR 101545881 B1 KR101545881 B1 KR 101545881B1
Authority
KR
South Korea
Prior art keywords
voice
portable terminal
data
function
touch event
Prior art date
Application number
KR1020090035195A
Other languages
English (en)
Other versions
KR20100116462A (ko
Inventor
오정엽
김진용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090035195A priority Critical patent/KR101545881B1/ko
Priority to US12/722,838 priority patent/US8213995B2/en
Priority to PCT/KR2010/002344 priority patent/WO2010123225A2/en
Priority to CN201080018238.7A priority patent/CN102414994B/zh
Publication of KR20100116462A publication Critical patent/KR20100116462A/ko
Priority to US13/486,261 priority patent/US8452341B2/en
Application granted granted Critical
Publication of KR101545881B1 publication Critical patent/KR101545881B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 휴대 단말기의 입력 처리 장치 및 처리 방법에 관한 것이다.
이러한 본 발명은 휴대 단말기의 특정 영역에서 발생하는 터치 이벤트를 기반으로 수행될 사용자 기능에 대한 정보와, 마이크를 통하여 수집되는 음성 인식된 음성 인식 데이터를 서로 비교하여 특정 사용자 기능을 수행하도록 제어함으로써, 터치 이벤트에 따른 오류 및 음성 인식 과정에 발생하는 부정확성을 개선할 수 있다.
휴대 단말기, 음성 인식, 터치, TTS, STT

Description

휴대 단말기의 입력 처리 장치 및 방법{Input Processing Device For Portable Device And Method including the same}
본 발명은 휴대 단말기에 관한 것으로, 특히 터치 기능과 음성 인식 기능을 가진 휴대 단말기에서 발생하는 터치 이벤트와 및 음성 인식 기능을 서로 보완하여 보다 명확한 신호 입력을 수행할 수 있도록 지원하는 휴대 단말기의 입력 처리 장치 및 방법에 관한 것이다.
휴대 단말기는 이동성을 기반으로 통화 기능을 지원하는 단말기로서, 그 이용의 편리성과 휴대의 용이성 등으로 인하여 매우 폭넓은 분야에서 이용되고 있다. 이러한 휴대 단말기는 사용자 기능 제공을 위하여 다양한 입력 방식을 제공하고 있다. 예를 들어, 종래 휴대 단말기는 터치 패널과 표시부를 포함하는 터치스크린을 제공함으로써, 사용자가 표시부에 출력되는 특정 이미지를 터치하기 위하여 수행하는 동작을 터치 패널에서 처리하여, 해당 터치 이벤트를 생성하고, 이를 기반으로 사용자 기능에 대응하는 응용 프로그램을 제어하고 있다. 그러나 이러한 종래 휴대 단말기의 터치스크린 기능은 표시부를 확인할 수 있는 상태 또는 사용자만이 사용 가능하며, 터치 패널에서 처리하는 터치 이벤트가 정교하지 못하여, 사용자가 요구하는 정확한 터치 이벤트 생성 및 적용이 어려운 실정이다.
따라서 본 발명의 목적은 휴대 단말기의 터치 기능과 음성 인식 기능을 서로 보완할 수 있도록 각 장치 구성을 운용하여 터치 기능 및 음성 인식 기능의 부정확성을 제거하고, 사용자가 원하는 정확한 입력을 수행할 수 있도록 지원하는 한편, 특정 입력 신호를 보다 편리하게 생성할 수 있도록 지원하는 휴대 단말기의 입력 처리 장치 및 방법을 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 휴대 단말기의 입력 처리 장치는, 터치 이벤트를 생성하는 터치 패널; 음성 신호를 수집하는 마이크; 상기 음성 신호를 음성 인식하여 음성 인식 데이터를 생성하고, 상기 터치 이벤트에 따른 사용자 기능을 결정하는 시각 정보텍스트 데이터를 생성한 후, 상기 음성 인식 데이터를 상기 시각 정보텍스트 데이터와 비교하여 정정하거나, 상기 시각 정보텍스트 데이터를 상기 음성 인식 데이터와 비교하여 정정하는 제어부; 상기 정정된 음성 인식 데이터 및 상기 정정된 시각 정보텍스트 데이터를 기준으로 활성화되는 사용자 기능에 대응하는 화면을 출력하는 표시부;를 포함하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 휴대 단말기의 입력 처리 방법은, 터치 이벤트 및 음성 신호를 수집하는 과정; 상기 음성 신호를 음성 인식하여 음성 인식 데이터를 생성하는 과정; 상기 터치 이벤 트에 따른 사용자 기능을 결정하는 시각 정보텍스트 데이터를 생성하는 과정; 상기 음성 인식 데이터를 상기 시각 정보텍스트 데이터와 비교하여 정정하거나, 상기 시각 정보텍스트 데이터를 상기 음성 인식 데이터와 비교하여 정정하는 정정 과정; 상기 정정된 음성 인식 데이터 및 상기 정정된 시각 정보텍스트 데이터를 기준으로 상기 사용자 기능을 수행하는 과정;을 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 휴대 단말기의 입력 처리 장치 및 방법에 따르면, 터치 기능 및 음성 인식 기능을 기반으로 하는 사용자 기능 운용 정확성을 개선하고, 특정 사용자 기능을 보다 편리하고 유동적으로 운용할 수 있다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명의 실시 예에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변 하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하에서 시각 정보는 텍스트 데이터는 터치 이벤트에 의한 데이터로서, 텍스트 입력에 해당하는 문자나 숫자가 될 수 있으며, 사용자 기능을 활성화하기 위한 명령어 데이터가 될 수 도 있다. 그리고 음성 인식 데이터는 수집된 음성 신호 기반으로 음성 인식된 데이터로서, 텍스트 입력을 위한 인식 데이터가 될 수 있으며, 사용자 기능 활성화를 위한 명령어 데이터가 될 수 도 있다.
도 1은 본 발명의 실시 예에 따른 휴대 단말기 구성을 개략적으로 나타낸 블록도이다.
상기 도 1을 참조하면, 본 발명의 휴대 단말기(100)는 무선주파수부(110), 입력부(120), 오디오 처리부(130), 터치스크린(140), 저장부(150) 및 제어부(160)의 구성을 포함할 수 있다.
이러한 구성을 가지는 본 발명의 휴대 단말기(100)는 오디오 처리부(130)에 마련된 마이크를 이용하여 수집되는 음성을 인식하여 텍스트로 변환하는 기능과, 저장부(150)에 저장된 기 설정된 음성 정보를 스피커를 통하여 출력하는 기능 및 터치스크린(140)을 통하여 수집되는 터치 이벤트에 따른 사용자 기능을 서로 중복 운용하거나, 순차적으로 운용함으로써, 음성 인식되는 데이터의 정확성을 터치 이벤트를 기반으로 보완하며, 터치 이벤트에 따른 사용자 기능을 음성 인식되는 데이터를 기반으로 보완하여 보다 정확한 입력 신호 생성 및 그에 따른 사용자 기능 제어를 제공할 수 있다. 이하 휴대 단말기(100)의 각 구성에 대하여 보다 상세히 설 명하기로 한다.
상기 무선주파수부(110)는 음성 통화를 위한 통신 채널의 형성 및 영상 등의 데이터 전송을 위한 통신 채널 등을 제어부(160)의 제어 하에 수행한다. 즉, 무선주파수부(110)는 음성 통화 채널, 데이터 통신 채널 및 화상 통화 채널을 이동통신 시스템 간에 형성한다. 이를 위하여 상기 무선주파수부(110)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선주파수 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 이러한 무선주파수부(110)는 터치 패널(143)이 생성하는 터치 이벤트에 따라 제어부(160) 제어 하에 선택될 수 있으며, 이 과정에서 음성 인식에 의한 음성 인식 데이터를 기반으로 활성화될 수 있다. 즉, 상기 무선주파수부(110)는 터치 이벤트 및 음성 인식 기반으로 활성화 및 비활성화될 수 있다. 예를 들어, 터치 패널(143)로부터 특정 터치 이벤트가 생성됨과 동시에 또는 생성된 후 기 설정된 시간 이내에 기 설정된 음성 인식 데이터가 수집되면, 상기 무선주파수부(110)는 설정된 또는 입력된 전화번호를 기반으로 통화 호를 요청하거나, 걸려온 통화 호에 대한 수신 응답을 수행할 수 있다.
상기 입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 상기 입력부(120)는 사용자 설정 및 휴대 단말기(100)의 기능 제어와 관련한 키 신호를 생성하고 상기 제어부(160)로 전달한다. 이러한 입력부(120)는 다수개의 키를 포함 하는 쿼티 키패드, 3*4 키패드, 4*3 키패드 등으로 구현될 수 있다. 이러한 입력부(120)는 상기 휴대 단말기의 터치스크린(140)이 풀 터치스크린 형태로 지원되는 경우, 생략되고 상기 터치스크린(140)으로 대체될 수 있다.
상기 오디오 처리부(130)는 상기 통화 시 송수신 되는 오디오 데이터를 재생하기 위한 스피커(SPK)와, 통화 시 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 마이크(MIC)를 포함한다. 상기 마이크(MIC)가 수집한 음성 신호는 음성 인식 기능 설정 여부에 따라 제어부(160)에서 직접적으로 음성 인식될 수 있다. 그리고 상기 스피커(SPK)는 제어부(160) 제어 하에 저장부(150)에 저장된 특정 음성 정보를 오디오 신호로서 출력할 수 있다. 예를 들어, 특정 사용자 기능을 설명하기 위한 음성 정보가 마련되어 있으며, 해당 사용자 기능이 터치 이벤트에 의하여 지정되는 경우, 상기 스피커는 상기 사용자 기능 설명을 위한 음성 정보를 오디오 신호로 변환하여 출력할 수 있다.
상기 터치스크린(140)은 표시부(141)와 터치 패널(143)을 포함한다. 이러한 터치스크린(140)은 표시부(141) 전면에 터치 패널(143)이 배치되는 구조를 가질 수 있다. 상기 터치스크린(140)의 크기는 터치 패널(143)의 크기로 결정될 수 있다.
상기 표시부(141)는 휴대 단말기(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 즉, 표시부(141)는 휴대 단말기(100) 이용에 따른 다양한 화면 예를 들면, 대기화면, 메뉴 화면, 메시지 작성 화면, 통화 화면 등을 제공할 수 있다. 이러한 표시부(141)는 전체 표시 영역을 일정 크기로 분할한 후, 분할된 각 영역에 서로 다른 사용자 기능에 대응하는 아이 콘이나 이미지 등을 출력할 수 도 있다. 예를 들어, 상기 휴대 단말기(100)가 위젯 기능과, 메시지 알람 기능을 제공하는 경우, 상기 표시부(141)는 표시 영역을 두 개의 영역으로 분할하고, 하나의 분할된 영역에는 위젯 기능에 대응하는 적어도 하나의 위젯 아이콘들을 출력할 수 있고, 나머지 분할된 영역에는 메시지 알림에 해당하는 이미지 또는 아이콘 등을 출력할 수 있다. 한편, 상기 표시부(141)는 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등으로 형성될 수 있다. 이러한 표시부(141)는 터치 패널(143)의 크기에 비하여 작은 크기를 가질 수 있으며, 터치 패널(143) 하부에 배치될 수 있다.
상기 터치 패널(143)은 상기 표시부(141)를 덮도록 배치되며 물체의 접촉 또는 물체의 접근 거리에 따라 터치 이벤트를 생성하고, 생성된 터치 이벤트를 제어부(160)에 전달할 수 있다. 이때, 터치 패널(143)은 매트릭스 형태로 배열되고, 터치 패널(143) 상에서 발생하는 터치 이벤트에 대하여 해당 위치 정보와 터치 이벤트의 종류에 대한 정보를 제어부(160)에 전달한다. 제어부(160)는 터치 패널(143)로부터 전달되는 터치 이벤트로부터 위치 정보와 터치 이벤트 종류를 확인하고, 해당 위치에 매핑된 표시부의 특정 이미지를 확인한 이후, 이미지에 링크되어 있는 사용자 기능을 활성화하도록 제어할 수 있다. 상기 터치 패널(143)의 운용에 대해서는 실시 예를 참고하여 추후 보다 상세히 설명하기로 한다.
상기 저장부(150)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 상기 휴대 단말기가 터치스크린으로 형성되는 경우, 터치스크린 운용을 위한 키 맵이나 메뉴 맵 등을 저장할 수 있다. 여기서 키 맵 및 메뉴 맵은 각각 다양한 형태가 될 수 있다. 즉, 키 맵은 키보드 맵이나, 3*4 키 맵, 쿼티 키 맵 등이 될 수 있고, 현재 활성화되고 있는 응용 프로그램의 운용 제어를 위한 제어키 맵이 될 수 도 있다. 또한, 메뉴 맵은 현재 활성화되고 있는 응용 프로그램 운용 제어를 위한 메뉴 맵이 될 수 도 있고, 휴대 단말기가 제공하는 다양한 메뉴를 항목으로 가지는 메뉴 맵이 될 수 도 있다. 이러한 상기 저장부(150)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다.
상기 프로그램 영역은 휴대 단말기(100)의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System), 다양한 파일을 재생하기 위한 응용 프로그램 예를 들면, 상기 휴대 단말기(100)의 기능 지원 여부에 따른 통화기능 지원을 위한 응용 프로그램, 인터넷 서버에 접속하기 위한 웹 브라우저, 기타 음원을 재생하기 위한 MP3 응용 프로그램, 사진 등을 재생하기 위한 이미지 출력 응용 프로그램, 동영상 재생 응용 프로그램 등을 저장할 수 있다. 특히, 본 발명의 프로그램 영역은 터치 기능 지원을 위한 터치 운용 프로그램, 음성 인식 기능 지원을 위한 음성 인식 운용 프로그램, 터치 기능과 음성 인식을 기반으로 하는 복합 입력 운용 프로그램을 포함할 수 있다. 상기 복합 입력 운용 프로그램은 실질적으로 터치 기능 운용 프로그램과 음성 인식 운용 프로그램을 복합적으로 운용하기 위한 것으로, 별도의 운용 프로그램이 아니, 터치 기능 운용 프로그램으로부터 전달되는 터치 이벤트와 음성 인식 운용 프로그램으로부터 전달되는 음성 인식 데이터를 함께 운용할 수 있는 루틴만을 포함할 수 있다. 상기 프로그램 영역에 저장된 응용 프로그램들은 터치 기능과 음성 인식 기능의 복합 입력에 따른 모드와, 터치 기능에 따른 모드, 음성 인식 기능에 따른 모드로 운용될 수 있다.
상기 데이터 영역은 휴대 단말기(100) 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 폰 북 정보, 위젯 기능에 따른 적어도 하나의 아이콘들 및 다양한 컨텐츠들을 저장할 수 있다. 또한, 상기 데이터 영역은 상기 표시부(140)가 터치스크린으로 구현되는 경우, 터치스크린을 통하여 입력되는 사용자 입력을 저장할 수 있다. 특히, 본 발명의 데이터 영역은 음성 인식된 단어들을 인식하기 위한 음성 인식 DB(Data Base)를 포함한다.
상기 제어부(160)는 상기 휴대 단말기(100)의 각 구성에 전원 공급을 제어하여 초기화 과정을 수행하도록 지원하며, 초기화 과정이 완료되면 각 구성에 대하여 본 발명의 터치 기능 및 음성 인식 기능 복합 운용을 지원할 수 있도록 신호 흐름 등을 제어할 수 있다. 이를 위하여, 상기 제어부(160)는 도 2에 도시된 바와 같이, 음성 기능 처리부(161), 터치 기능 처리부(163) 및 기능 수행부(165)를 포함할 수 있다.
상기 음성 기능 처리부(161)는 마이크(MIC)가 수집하는 음성을 저장부(150)에 저장된 음성 인식 DB를 기반으로 음성 인식하도록 제어한다. 그리고 음성 기능 처리부(161)는 인식된 음성 인식 데이터를 기능 수행부(165)에 전달한다. 또한, 음성 기능 처리부(161)는 기능 수행부(165)로부터 전달되는 음성 데이터를 오디오 처리부(130)의 스피커(SPK)를 통하여 출력하도록 제어할 수 있다. 상기 음성 기능 처리부(161)는 다양한 음성 인식 알고리즘을 운용할 수 있다. 예를 들어, 음성 기능 처리부(161)가 적용하는 음성 인식 알고리즘에서 마이크(MIC)가 수신한 음성 신 호는 16KHz로 샘플링 되고, 16bit로 양자화하여 저장될 수 있다. 그리고 상기 양자화된 음성 데이터는 일정 값의 전달함수로 사전 강조되고 25ms의 해밍 윈도우를 곱하여 10ms씩 이동하면서 분석될 수 있다. 이를 통해 음성 특징 파라미터는 12차 LPC-MEL spectrum계수와 정규화 된 대수 에너지에 1차 및 2차의 차분 성분을 포함하여 총 39차의 특징 파라미터를 적용할 수 있다. 이러한 특징 파라미터가 적용되는 음성 인식 모델은 모델의 각 상태위치마다 음소결정트리를 생성하고, 학습 음성 데이터를 이용하여 SSS(Successive State Splitting : 이하 SSS)에 의해 문맥의존 음향모델의 상태열을 학습하는 방법을 적용할 수 있다. 이 방법은 상태분할을 수행하는데 속도가 빠르기 때문에 SSS에 의해 분할할 상태를 선택하여 분할하는 동시에 전체 분할 가능한 상태에 대해 상태분할을 수행하고 우도가 최대가 되는 상태를 선택할 수 있다. 그리고 상기 음성 기능 처리부(161)에서 적용되는 음향 모델은 은닉 마르코프 망이 적용될 수 도 있다. 또한, 상기 음성 기능 처리부(161)는 다양한 알고리즘을 기반으로 음성파를 주파수 분석하여 모음을 특징짓는 음역 또는 그것과 등가인 특징을 추출해서 분리하는 방법을 적용할 수 도 있다. 상기 음성 기능 처리부(161)는 상술한 음성 인식 알고리즘뿐만 아니라, 다양한 음성 인식 알고리즘을 적용할 수 있다.
상기 터치 기능 처리부(163)는 터치 패널(143)로부터 전달되는 터치 이벤트 및 위치 정보를 기능 수행부(165)에 전달하며, 이때, 터치 이벤트의 종류 및 위치 정보를 기반으로 표시부(141)의 어떠한 사용자 기능이 지정되고 있는지 또는 선택되었는지를 판별하고, 그 결과를 기능 수행부(165)에 전달할 수 있다. 즉, 터치 기능 처리부(163)는 터치 이벤트가 터치 다운 이벤트인지, 터치 업 이벤트인지, 터치 드래그 이벤트 인지, 플릭(Flick) 이벤트인지 등을 판별하고, 그에 따른 정보와, 해당 터치 이벤트가 발생한 위치 정보를 기능 수행부(165)에 전달할 수 있다. 여기서, 터치 기능 처리부(163)는 터치 드래그 이벤트 및 플릭(Flick) 이벤트와 같이 터치 패널(143) 상에 일정 거리 이상 이동하는 이벤트의 경우, 이동에 따른 경로에 대한 위치 정보를 제공할 수 있다.
상기 기능 수행부(165)는 휴대 단말기(100)의 설정된 모드에 따라 음성 기능 처리부(161) 및 터치 기능 처리부(163)로부터 전달되는 음성 인식 데이터 및 터치 이벤트를 처리하도록 제어할 수 있다. 그리고 기능 수행부(165)는 음성 인식 기능만 수행하도록 설정된 모드일 경우, 전달된 음성 인식 데이터를 터치 기능과 연계하지 않고 독립적으로 수행하도록 제어할 수 있다. 이와 유사하게, 기능 수행부(165)는 터치 기능만 수행하도록 설정된 모드일 경우, 전달된 터치 이벤트를 음성 인식 데이터와 연계하지 않고 독립적으로 수행하도록 제어할 수 있다. 한편, 상기 기능 수행부(165)는 터치 기능과 음성 인식 기능을 복합적으로 운용하도록 설정되어 있는 경우, 터치 이벤트가 전달되면, 일정 시간 이내에 음성 인식 데이터가 전달되는지를 확인할 수 있으며, 이 과정에서 전달된 터치 이벤트를 임시적으로 저장할 수 있다. 다시 말하여, 상기 기능 수행부(165)는 상기 터치 기능 처리부(163)로부터 터치 이벤트 예를 들면, 텍스 입력, 사용자 기능 지정 또는 사용자 기능 선택에 대한 이벤트 정보를 수신하면, 현재 휴대 단말기(100) 모드를 기반으로 터치 기능을 바로 수행할 것인지 또는 음성 기능 처리부(161)로부터 전달되는 음성 인식 데이터와 복합적으로 운용할 것인지를 판단한다. 터치 기능과 음성 인식 기능의 복합 운용이 설정되어 있는 경우, 기능 수행부(165)는 터치 기능 처리부(163)가 전달한 터치 이벤트 및 음성 인식 데이터를 함께 운용하도록 제어할 수 있다. 또한, 상기 기능 수행부(165)는 복합 운용 설정 모드인 경우, 음성 인식 데이터가 전달된 이후 일정 시간 이내에 터치 이벤트가 전달되는지 확인하고, 터치 이벤트가 설정된 시간 이내에 전달되면, 음성 인식 데이터와 터치 이벤트를 함께 운용하여 사용자 기능을 제어할 수 있다. 여기서, 상기 기능 수행부(165)는 터치 이벤트 또는 음성 인식 데이터의 임시 저장을 위한 버퍼를 저장부(150)로부터 할당받아 사용하거나, 제어부(160)에 별도로 마련된 메모리를 이용할 수 있다.
한편, 기능 수행부(165)는 터치 기능 처리부(163)로부터 터치 이벤트를 수신하게 되면, 해당 터치 이벤트가 특정 사용자 기능을 지정하는 터치 이벤트인지 확인하고, 해당 터치 이벤트이면, 사용자 기능에 설정되어 있는 음성 정보가 있는지 확인할 수 있다. 그리고 해당 사용자 기능에 대응하는 음성 정보가 존재하면, 기능 수행부(165)는 이를 음성 기능 처리부(161)에 전달하고, 음성 기능 처리부(161)는 이를 오디오 처리부(130)를 통하여 오디오 신호로 변환하여 출력하도록 제어할 수 있다.
상기 기능 수행부(165)의 휴대 단말기 운용에 대하여 이하에서 설명하는 순서도 및 화면 예시도를 참조하여 보다 상세히 설명하기로 한다.
도 3은 본 발명의 제1 실시 예에 따른 휴대 단말기의 입력 방법에 따른 휴대 단말기 운용을 설명하기 위한 순서도이다.
상기 도 3을 참조하면, 본 발명의 휴대 단말기는 전원이 공급되면, 공급된 전원을 기반으로 휴대 단말기의 각 구성을 초기화하고, 초기화된 상태가 완료되면, S101 단계에서 기 설정된 대기 화면을 표시부에 출력하도록 제어할 수 있다. 이 과정에서, 상기 휴대 단말기는 단말기가 기 설정된 시간동안 사용되지 않음으로 인하여 슬립(Sleep) 상태로 천이되었다가, 활성화되는 경우에도 해당 대기 화면을 표시부에 출력하도록 제어할 수 있다. 그리고 상기 휴대 단말기는 표시부가 활성화되는 경우, 사용자 설정에 따라 터치 패널을 활성화하여 사용자의 터치를 인식할 수 있는 준비를 완료할 수 있다.
다음으로, 휴대 단말기는 S103 단계에서 음성 인식 기능이 활성화되는지 여부를 확인한다. 이 과정에서 휴대 단말기는 음성 인식 기능이 활성화되지 않는 경우, S105 단계로 분기하여 사용자가 입력하는 입력 신호 예를 들면 활성화된 터치 패널을 기반으로 전달되는 터치 이벤트에 따라 휴대 단말기의 사용자 기능 예를 들면, 통화 기능, 메시지 작성 기능, 파일 재생 기능 등을 수행하도록 제어할 수 있다.
한편, 휴대 단말기는 S103 단계에서 음성 인식 기능이 활성화되어 있거나, 음성 인식을 활성화하기 위한 입력 신호가 전달되면, S107 단계로 분기하여 음성을 수집하도록 제어한다. 이 과정에서, 휴대 단말기 사용자는 휴대 단말기의 마이크가 배치된 부분에 음성 신호를 발생시킬 수 있다. 그러면, 휴대 단말기는 S109 단계에서 사용자가 발생시킨 음성 신호에 대하여 앞서 설명한 음성 인식 알고리즘들을 기반으로 음성 인식을 수행할 수 있다. 음성 인식이 완료되면 휴대 단말기는 음성 인식을 기반으로 하는 음성 인식 데이터를 생성한다. 이 음성 인식 데이터는 텍스트 정보가 될 수 있다. 한편, 음성 인식 과정에서, 휴대 단말기는 인식된 음성이 부정확한 경우, 다양한 음성 인식 데이터를 음성 인식 결과에 대한 후보군으로 설정할 수 있다. 예를 들어, 사용자가 "Thank you"를 발음하였을 경우, 휴대 단말기는 "Thank you", "Thunk kou", "Thank kou" 등을 후보군으로 선정할 수 있다.
다음으로, 휴대 단말기는 S111 단계에서 터치 패널에서 발생하는 터치 이벤트를 수집한다. 이를 위하여, 휴대 단말기 사용자는 터치 패널 상에 손가락이나 기타 스타일러스 팬 등을 이용하여 터치 작업을 수행한다. 이 때, 상기 휴대 단말기는 음성 인식을 수행한 이후, 기 설정된 시간 이내에 상기 터치 패널에서 발생하는 터치 이벤트를 복합 운용을 위해 필요한 유효 터치 이벤트로 결정할 수 있다. 즉, 휴대 단말기는 기 설정된 시간을 경과한 이후 터치 이벤트가 발생하면, 발생된 음성 인식과 이후 발생한 터치 이벤트를 무효 처리하거나, 각각을 독립적으로 운용하도록 제어할 수 있다.
터치 패널로부터 터치 이벤트가 수집되면, 휴대 단말기는 S113 단계로 분기하여 음성 인식과 터치 이벤트에 따른 결과물을 서로 비교하고, 적절한 결과물이 도출될 수 있도록 제어할 수 있다. 즉, 휴대 단말기는 음성 인식 데이터에 대응하는 텍스트 정보와 터치 이벤트를 기반으로 인식된 정보가 서로 일치되는 결과물을 선택할 수 있다. 앞서 설명한 예로서, 음성 인식 데이터는 음성 인식 데이터 후보군을 마련할 수 있고, 상기 휴대 단말기는 상기 음성 인식 데이터 후보 군 중 상기 터치 이벤트를 기반으로 인식된 정보와 가장 유사한 정보가 있는지를 검출할 수 있다. 그리고 휴대 단말기는 S115 단계에서 음성 인식과 터치 이벤트 비교 결과로 검출된 결과물을 기준으로 현재 휴대 단말기 사용자 기능을 제어할 수 있다.
상술한 본원 발명의 제1 실시 예에 따른 터치 기능 및 음성 인식 기능의 복합 운용에 대하여 도 4를 참조하여 보다 상세히 설명하기로 한다.
도 4는 본 발명의 제1 실시 예에 따른 터치 기능 및 음성 인식 기능의 복합 운용을 설명하기 위한 화면 예시도이다.
설명에 앞서, 이하에서 설명하는 휴대 단말기의 사용자 기능은 텍스트 입력 기능을 그 일예로서 설명하기로 한다.
상기 도 4를 참조하면, 휴대 단말기 사용자가 휴대 단말기에 전원을 공급한 이후에 음성 인식 기능과 터치 기능의 복합 운용을 위한 모드 설정을 수행할 수 있다. 그러면, 상기 휴대 단말기는 101 화면에서와 같이 모드 설정에 따라 음성 인식 기능을 활성화하도록 제어할 수 있다. 이때, 휴대 단말기는 현재 음성 인식 기능이 활성화되어 있음을 나타낸 이미지를 표시부에 출력하도록 제어할 수 있다. 상기 표시부에 표시되는 이미지는 사용자 설정 또는 설계자의 의도에 따라 생략될 수 있다. 한편, 휴대 단말기 사용자는 휴대 단말기의 마이크가 위치한 영역에 일정 형태의 음성 신호 예를 들면, "Thank you for your message Su-jan"을 제공할 수 있다. 그러면, 휴대 단말기는 마이크를 이용하여 상기 음성 신호를 수집하고, 수집된 음성 신호에 대하여 기 설치된 음성 알고리즘을 기반으로 음성 인식을 수행하도록 제어한다. 이 과정에서, 상기 휴대 단말기는 음성 인식된 데이터에 대하여 음성 인식 데이터 후보군을 생성할 수 있다. 즉, 음성 인식 과정에서, 휴대 단말기는 특정 음성 신호에 대하여 정확히 인식하기가 어려울 수 있다. 이 경우, 상기 휴대 단말기는 음성 인식률 개선을 위하여 각 음소 또는 음절 단위로 해당 음성 신호와 유사한 음소 또는 음절을 음성 인식 DB로부터 선택하게 되는데, 이 과정에서 유사한 음소 또는 음절이 다수개가 선택될 수 있다. 또한, 상기 휴대 단말기는 인식된 음소 또는 음절을 기반으로 단어를 만드는 과정에서, 음성 인식 DB를 참조하여, 존재하는 단어를 생성할 수 있는데, 이때, 특정 음성 신호에 대하여 복수개의 음소 또는 음절이 선택되는 경우, 단어 또한 복수개가 선택될 수 있다. 그러면, 휴대 단말기는 복수개의 단어 또는 단어를 기반으로 하는 문장을 음성 인식 데이터 후보군으로 채택할 수 있다. 또한, 상기 휴대 단말기는 음성 인식 데이터에 대하여 별도의 후보군을 설정하지 않고, 일정 오류가 발생하더라도, 설정된 알고리즘을 기반으로 특정 음성 인식 데이터 하나를 선정할 수 있다.
이후, 휴대 단말기 사용자는 103 화면에서와 같이 터치 패널 상에 스타일러스 팬이나 손가락 등 터치 패널을 터치할 수 있는 물체를 이용하여 시각 정보텍스트 입력을 위한 터치 이벤트를 생성한다. 이를 위하여 상기 휴대 단말기 사용자는 휴대 단말기의 텍스트 입력창을 활성화할 수 있으며, 터치 패널에 손가락 등을 이용하여 터치 다운한 이후, 터치 무브 또는 터치 드래그 신호를 지속적으로 제공하면서 일정 방향과 일정 거리를 제공하여 일정 형태의 시각 정보 즉 일종의 텍스트를 입력할 수 있다. 여기서 시각 정보는 다양한 형태의 문양이나, 그림, 기호, 이미지, 문자, 숫자, 아이콘 등을 포함하며, 휴대 단말기 사용자는 상기 터치 패널을 통하여 상기 시각 정보에 포함되는 다양한 정보를 입력할 수 있다. 이하 설명의 편의를 위하여 휴대 단말기 사용자가 터치 패널 상에 특정 문자나 숫자 등에 대응하는 텍스트를 기입하는 것으로 설명하기로 한다. 한편, 휴대 단말기는 사용자가 입력하는 터치 이벤트 정보를 수집하고, 해당 터치 이벤트가 특정 텍스트에 대응하는지를 판단할 수 있다. 그리고 휴대 단말기는 텍스트 입력창에서 발생하는 터치 이벤트가 어떠한 문자를 형성하는지를 판단할 수 있다. 이를 위해, 상기 휴대 단말기는 터치 패널로부터 수집되는 터치 이벤트를 텍스트로 판별하는 기준으로 이용되는 텍스트 DB(Data Base)를 마련할 수 있다. 즉, 상기 휴대 단말기는 터치 패널로부터 수집되는 터치 이벤트가 일정 형태의 문자를 형성하는 경우, 텍스트 DB를 참조하여 해당 문자가 어떠한 글자 또는 숫자에 해당하는지를 판단할 수 있다. 터치 이벤트 기반의 텍스트 인식이 완료되어 텍스트 데이터가 도출되면, 휴대 단말기는 101 화면에서 설명한 음성 인식 데이터와 103 화면에서 설명한 텍스트 데이터를 서로 비교할 수 있다. 여기서, 본 발명의 텍스트 DB에 저장되는 정보는 특정 글자나 숫자에 대응하는 텍스트에 한정되는 것은 아니다. 즉, 본 발명의 텍스트 DB는 다양한 문자나 숫자, 기호, 그림, 문양, 아이콘 등을 포함하는 시각 정보를 저장할 수 있으며, 이를 기반으로 상기 휴대 단말기는 터치 패널에서 인식되는 터치 이벤트가 텍스트 DB에서 어떠한 시각 정보 또는 텍스트에 해당하는지를 판단할 수 있다.
비교 과정에서, 휴대 단말기는 음성 인식 데이터 후보군에서 터치 이벤트에 의해 인식된 텍스트 데이터와 유사도가 가장 높은 데이터를 선정하고, 이를 105 화 면에서와 같이 표시부에 출력할 수 있다. 유사도가 가장 높은 데이터 선정은 음성 인식 데이터 후보군에 있는 문자나 숫자를 텍스트 데이터와 비교함으로써 동일한 문자나 숫자가 가장 많이 포함된 단어나 문장을 선택함으로써 가능하다. 여기서, 상기 터치 이벤트를 기반으로 문자 인식하는 과정에서도 음성 인식에서와 유사하게, 터치 이벤트로부터 인식된 문자는 다양한 형태로 인식될 수 있다. 예를 들면, 사용자는 "a"에 해당하는 문자 입력을 위하여 터치 이벤트를 생성하였으나, 휴대 단말기는 "u"나 "o"로 인식할 수 도 있다. 이에 따라, 상기 터치 이벤트는 상기 텍스트 DB에서 각 문자 인식 과정에서 복수개의 단어를 텍스트 데이터 후보군으로 선정할 수 있다. 이후, 휴대 단말기는 음성 인식 데이터 후보군과 텍스트 데이터 후보군을 서로 비교하고, 그 결과 중 유사도가 높은 단어나 문장을 선택할 수 있다. 그리고 상기 휴대 단말기는 음성 인식 데이터가 하나만 선정된 경우, 선정된 음성 인식 데이터를 기반으로 텍스트 데이터 후보군 중 가장 유사도가 높은 텍스트 데이터를 선정할 수 있다. 결과적으로, 상기 휴대 단말기는 음성 인식 데이터의 정확성을 터치 패널로부터 인식된 텍스트 데이터를 기반으로 보완하거나, 터치 패널로부터 인식된 텍스트 데이터의 정확성을 음성 인식 데이터를 기반으로 보완할 수 있다. 이를 보다 상세히 설명하면, 음성 인식의 경우, 주위 소음이나 기타 음파의 필터링 등 다양한 환경적 영향으로 인하여 정확한 음성 인식이 어려우며, 터치 이벤트 기반의 텍스트 입력 또한 사용자의 텍스트 기입 습관 예를 들면, 휴대 단말기 사용자는 다양한 형태를 가지는 필기체를 사용하기 때문에 정확한 텍스트 인식이 어렵다. 이러한 상황에서, 본 발명의 휴대 단말기는 음성 인식을 기반으로 인식된 데이터와 터치 이벤트를 기반으로 인식된 텍스트 데이터를 서로 비교하고 유사도가 높은 음소나 음절, 단어나 문장을 선택함으로써 음성 인식 기능과 터치 기능의 정확성을 개선할 수 있다.
도 5는 본 발명의 제2 실시 예에 따른 휴대 단말기의 입력 방법에 따른 휴대 단말기 운용을 설명하기 위한 순서도이다.
상기 도 5를 참조하면, 본 발명의 휴대 단말기는 전원이 공급되면, 공급된 전원을 기반으로 휴대 단말기의 각 구성을 초기화하고, 초기화된 상태가 완료되면, S201 단계에서 기 설정된 대기 화면을 표시부에 출력하도록 제어할 수 있다. 이 과정에서, 상기 휴대 단말기는 단말기가 기 설정된 시간동안 사용되지 않음으로 인하여 슬립(Sleep) 상태로 천이되었다가, 활성화되는 경우에도 해당 대기 화면을 표시부에 출력하도록 제어할 수 있다.
다음으로, 휴대 단말기는 S203 단계에서 터치 패널 활성화 여부를 확인한다. 실질적으로, 휴대 단말기가 터치스크린을 제공하는 경우, 초기화 과정이후 또는 대기 화면이 출력된 상태에서 터치 패널 활성화를 자동으로 할 수 있도록 설정될 수 있기 때문에, S203 단계는 이러한 설정이 미리 설계되어 있는 경우에는 생략될 수 있다. 한편, 상기 터치 패널 자동 활성화 기능이 설정되어 있지 않거나, 혹은 터치 패널 활성화가 필요한 경우, 휴대 단말기 사용자는 입력부 등을 이용하여 터치 패널을 활성화기 위한 입력 신호를 제어부에 전달하도록 제어할 수 있다. 터치 패널 활성화를 위한 입력 신호 전달이 없는 경우, 휴대 단말기는 S205 단계로 분기하여 휴대 단말기의 사용자 기능 예를 들면, 파일 재생 기능, 카메라 기능, 방송 수 신 기능 등 휴대 단말기가 제공하는 다양한 기능을 입력부 등을 통하여 전달되는 입력 신호에 따라 수행하도록 제어할 수 있다.
한편, S203 단계에서 터치 패널이 활성화되는 경우, 휴대 단말기는 S207 단계로 분기하여 터치 패널에서 발생하는 터치에 따른 터치 이벤트를 수집하도록 제어한다. 이를 위하여 휴대 단말기 사용자는 터치 패널 상에서 손가락 등을 이용하여 터치 이벤트를 생성할 수 있다.
휴대 단말기는 터치 이벤트가 수집되면 S209 단계에서 해당 터치 이벤트를 처리하고, 그에 따른 결과물을 출력할 수 있다. 이를 보다 상세히 설명하면, 휴대 단말기는 터치 이벤트가 특정 텍스트 입력을 위한 터치 이벤트인 경우, 해당 터치 이벤트가 어떠한 문자나 숫자를 나타내는지를 확인할 수 있다. 이를 위하여 상기 휴대 단말기는 앞서 설명한 바와 같이 텍스트 DB를 참조할 수 있다. 또한, 상기 휴대 단말기는 S209 단계에서 상기 터치 이벤트가 사용자 기능 활성화를 위한 입력 신호가 링크된 표시부의 특정 이미지나 영역에서 발생하는 터치 이벤트인 경우, 해당 터치 이벤트가 표시부의 특정 이미지나 영역을 지정 또는 선택함에 따른 정보를 기능 수행부에 전달할 수 있다. 이를 위하여 상기 휴대 단말기는 상기 표시부의 특정 이미지 등을 정의하는 텍스트 데이터를 포함할 수 있다. 이에 따라, 상기 휴대 단말기는 터치 이벤트에 따른 결과물에 대하여 표시부에 출력된 이미지에 대한 텍스트 데이터 후보군을 마련할 수 있을 것이다. 예를 들어, 상기 휴대 단말기는 표시부의 특정 이미지나 영역 지정에 있어서, 흔들림이나 기타 부정확한 동작으로 인하여 복수개의 영역을 선택하거나, 특정 이미지 영역에 근접된 터치 이벤트가 발 생하면, 해당 복수개의 영역을 텍스트 데이터 후보군으로 설정할 수 있으며, 특정 이미지 영역을 정확하게 터치 하지 못하더라도, 터치 이벤트가 발생한 영역과 근접된 다른 이미지 영역들에 대하여 텍스트 데이터 후보군으로 설정할 수 있다. 그리고 상기 휴대 단말기는 문자나 숫자 쓰기에 해당하는 터치 이벤트에 대해서 앞서 설명한 바와 같은 텍스트 데이터 후보군을 생성할 수 있을 것이다.
다음으로, 휴대 단말기는 S211 단계에서 음성 입력이 있는지 여부를 확인한다. 별도의 음성 입력이 없는 경우, 휴대 단말기는 S209 단계로 복귀하여 터치 이벤트 처리에 따른 결과물을 출력할 수 있다. 한편, 휴대 단말기는 S209 단계 이전에, 또는 S209 단계를 수행하거나, 수행이 완료된 이후, 자동으로 음성 인식 기능을 활성화하도록 제어할 수 있다. 즉, 휴대 단말기는 S211 단계 이전에 음성 인식 기능을 활성화하도록 제어할 수 있다.
S211 단계에서 음성 입력이 존재하면, 휴대 단말기는 S213 단계로 분기하여 입력된 음성에 대한 음성 인식을 수행한다. 이 과정에서, 휴대 단말기는 앞서 설명한 음성 인식 알고리즘 등을 이용하여 입력된 음성에 대한 음소 단위, 음절 단위, 단어 단위, 어절 단위, 문장 단위 음성 인식을 수행할 수 있으며, 음성 인식된 데이터를 기능 수행부에 전달할 수 있다. 그리고 상기 휴대 단말기는 불완전한 음성 인식에 대하여 다양한 음성 인식 데이터 후보군을 마련할 수 있다.
다음으로, 상기 휴대 단말기는 텍스트 데이터 후보군과 음성 인식 데이터 후보군을 비교하여 유사도가 가장 높은 데이터를 선택하고, 해당 결과물을 기준으로 사용자 기능을 제어할 수 있다. 예를 들면, 상기 휴대 단말기는 터치 이벤트 결과 물이 특정 문자나 숫자를 기입하는 텍스트 기입 기능인 경우, 입력된 텍스트에 대하여 음성 인식 데이터를 기준으로 오타가 발생한 부분을 정정 처리할 수 있다. 또한, 상기 휴대 단말기는 표시부의 이미지를 정의하는 텍스트 데이터 후보군에서 음성 인식 데이터와 유사도가 높은 데이터를 가지는 이미지 선택을 수행할 수 있다. 예를 들면, 휴대 단말기 사용자가 표시부의 이미지 중 제1 및 제2 영역을 중복하여 선택하였을 경우, 휴대 단말기는 텍스트 데이터 후보군으로서 제1 및 제2 영역에 대한 텍스트 정보를 저장하고 있다가, 음성 인식 데이터에서 "제1 영역"에 대응하는 음성 인식 데이터가 인식되면, 사용자가 제1 영역을 선택하기를 희망한 것으로 판단하고, 그에 따른 휴대 단말기 사용자 기능을 수행할 수 있다.
한편, 상술한 설명에서는 음성 인식 데이터 후보군과 텍스트 데이터 후보군을 설정하고, 후보군들을 비교한 후 가장 유사도가 높은 데이터를 검출하는 것으로 설명하였으나, 휴대 단말기는 음성 인식 데이터 후보군을 설정하지 않고, 텍스트 데이터 후보군을 운용하거나, 음성 인식 데이터 후보군을 운용하고 텍스트 데이터 후보군을 운용하지 않을 수 있다. 이에 대한 설명을 도 6을 참조하여 보다 상세히 설명하기로 한다.
도 6은 본 발명의 제2 실시 예에 따른 휴대 단말기의 입력 방법 설명을 위한 화면 예시도를 개략적으로 나타낸 도면이다. 이하 설명에서는 휴대 단말기의 텍스트 기입 기능에 대하여 설명하기로 한다. 상기 텍스트 기입 기능은 메시지나 이메일 작성 기능, 스케줄 작성 기능, 파일명 작성 기능 다양한 휴대 단말기 사용자 기능 중 일부 기능에 해당할 수 있다.
상기 도 6을 참조하면, 휴대 단말기 사용자는 특정 텍스트 기입을 위하여 텍스트 기입 기능을 활성화하도록 제어할 수 있다. 이를 위하여 상기 사용자는 휴대 단말기의 메뉴 기능 중 상기 텍스트 기입 기능을 선택하거나, 핫 키가 배정된 경우, 상기 핫 키를 클릭하여 텍스트 기입 기능을 선택할 수 있다. 한편, 휴대 단말기는 텍스트 기입 기능 활성화에 따라 201 화면에서와 같이 터치스크린 전면에 사용자가 터치 이벤트를 기반으로 텍스트 기입을 수행할 수 있도록 화면을 제공할 수 있다. 그러면, 휴대 단말기 사용자는 터치스크린에 터치 다운 이벤트, 터치 무브 이벤트, 터치 업 이벤트 등을 이용하여 특정 문자나 숫자에 해당하는 경로를 그릴 수 있다. 그러면, 휴대 단말기는 해당 터치 이벤트에 따른 문자나 숫자 등을 터치스크린에 출력되도록 제어한다. 도면에서 휴대 단말기는 사용자의 터치 이벤트에 대응하는 문자 이미지인 "Thank you"에 대응하는 필기체 형태의 문자를 출력할 수 있다.
다음으로, 사용자가 문자를 입력하고 일정 시간이 경과하거나, 사용자가 문자 입력 완료에 해당하는 입력 신호를 생성하면, 휴대 단말기는 터치스크린 상에 그려진 문자를 인식하게 된다. 그러면, 휴대 단말기는 203 화면에서와 같이 201 화면에서 입력된 이미지에 대하여 터치 인식을 수행한 결과를 출력할 수 있다. 이 과정에서, 휴대 단말기는 필기체로 쓰여진 201 화면에서의 이미지를 잘못 인식하여 "Thunk kou"로 인식할 수 있다.
한편, 휴대 단말기는 터치 이벤트에 대한 인식을 완료한 이후, 기 설정된 시간 이내에 음성 수집을 위한 음성 인식 기능을 활성화하고, 203 화면에서와 같이 사용자가 제공하는 "Thank you"에 대한 음성 신호를 수집할 수 있다.
그러면, 휴대 단말기는 "Thank you"에 대한 음성 인식을 수행하고, 음성 인식된 데이터를 기준으로 상기 터치 이벤트가 인식한 "Thunk kou"를 "Thank you"로 정정하고, 그 결과를 205 화면에서와 같이 터치스크린 상에 출력할 수 있다. 음성 인식 과정에서 휴대 단말기는 "Thank you"에 대한 다양한 후보군을 설정할 수 있는데, 이때, 터치 이벤트가 인식한 "Thunk kou"를 기준으로 이와 가장 유사도가 높은 "Thank you"를 선택할 수 있다.
상술한 바와 같이, 본 발명의 실시 예에 따른 휴대 단말기의 입력 방법은 터치 이벤트 인식에 따른 결과물은 별도의 텍스트 데이터 후보군을 설정하지 않고, 인식된 부분에 대해서 오류가 있다 하더라도 인식된 결과물를 도출할 수 있다. 그리고 휴대 단말기는 음성 인식 과정에서 설정되는 다양한 음성 인식 데이터 후보군에서 상기 터치 이벤트 결과로 도출된 결과물을 기준으로 하나의 음성 인식 데이터를 선택함으로써, 음성 인식 과정 및 터치 이벤트 인식 과정에서 발생하는 부정확성을 줄일 수 있다.
도 7은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법을 설명하기 위한 순서도이다.
상기 도 7을 참조하면, 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법은 먼저, 휴대 단말기가 초기화 과정이 완료되었거나, 슬립 상태에서 해제되는 등 사용자의 단말기 사용을 위한 준비 과정을 수행하면서, S301 단계에서와 같이 터치 패널을 활성화할 수 있다. 이때, 상기 휴대 단말기는 터치스크린에 포함되어 있는 터치 패널만을 활성화할 수 있다. 즉, 상기 휴대 단말기는 터치스크린에 포함된 표시부의 전원 상태를 턴-오프 상태로 유지하면서, 터치 패널만 활성화하거나, 표시부와 함께 활성화하도록 제어할 수 있다.
다음으로, 휴대 단말기는 S303 단계에서 활성화된 터치 패널에서 발생하는 터치 이벤트를 수집할 수 있다. 이를 위하여, 휴대 단말기 사용자는 손가락이나 기타 물체를 이용하여 터치 패널에 일정 형태의 접촉을 수행할 수 있다.
휴대 단말기는 터치 이벤트를 수집하면, 수집된 터치 이벤트를 기반으로 특정 기능을 음성으로 출력하도록 제어한다. 이를 위하여, 상기 휴대 단말기 사용자는 사용자 기능에 대한 정보를 음성으로 출력할 수 있도록 미리 설정된 표시부의 특정 영역 상에 터치 이벤트를 생성할 수 있다. 예를 들어, 휴대 단말기 사용자는 표시부가 활성화되어 있는 경우, 특정 사용자 기능에 해당하는 이미지에 대한 터치 이벤트를 수행하여 해당 이미지를 지정할 수 있으며, 휴대 단말기는 지정된 이미지에 설정된 음성 정보 출력을 제어할 수 있다. 예를 들어, 상기 이미지가 "무선주파수부 기능 중 통화 연결 기능"에 관한 이미지이고, 상기 휴대 단말기 사용자가 터치 이벤트를 상기 이미지 상에서 생성하면, 상기 휴대 단말기는 "통화 연결 기능을 수행하시겠습니까?"와 같은 음성 정보 출력을 제어할 수 있다.
다음으로, 휴대 단말기는 S307 단계에서 특정 기능 선택 또는 특정 기능 활성화를 위한 터치 이벤트 또는 음성 수집이 발생하는지 여부를 확인할 수 있다. 터치 이벤트 또는 음성 수집이 발생하지 않는 경우, 휴대 단말기는 S305 단계로 분기하여 사용자의 터치 이벤트에 따른 사용자 기능 설명을 음성 정보로 출력하는 기 능을 지속적으로 수행할 수 있다.
한편, S307 단계에서 특정 사용자 기능을 활성화하기 위한 선택에 해당하는 터치 이벤트 또는 음성이 수집되면, 휴대 단말기는 S309 단계에서 선택된 사용자 기능을 수행하도록 제어할 수 있다. 이 과정에서, 상기 휴대 단말기는 상기 터치 이벤트 및 음성 수집을 복합적으로 운용하거나, 독립적으로 운용할 수 있다. 이를 보다 상세히 설명하면, 휴대 단말기는 사용자 기능 지정에 따라 음성 정보가 출력되고 있는 또는 음성 정보 출력이 완료된 이후라도 지정 상태가 유지되는 특정 이미지 상에서 해당 사용자 기능을 활성화하기 위한 터치 이벤트 예를 들면 "더블 탭"이 발생하면, 해당 사용자 기능을 활성화하도록 제어할 수 있다. 또한, 상기 휴대 단말기는 사용자 기능 지정에 따라 음성 정보가 출력되고 있는 상태 또는 출력이 완료된 상태에서 사용자로부터 "실행"에 해당하는 음성 수집 이후, 해당 음성 인식이 완료되면, 음성 인식 데이터를 기반으로 지정된 사용자 기능이 활성화되도록 제어할 수 있다. 그리고 상기 휴대 단말기는 사용자 기능 활성화를 위한 입력 신호로서 터치 이벤트와 음성 인식이 모두 입력된 이후에 해당 사용자 기능을 활성화하도록 제어할 수 도 있다. 이때, 상기 휴대 단말기는 상기 터치 이벤트와 상기 음성 인식이 동시에 이루어지거나, 또는 일정 시간 내에 순차적으로 이루어지는 경우, 해당 사용자 기능을 활성화하도록 제어할 수 있다.
상술한 설명에서, "지정"은 표시부에 출력된 이미지를 사용자가 주시하는 상태로서, 해당 이미지의 테두리가 하이라이트 되는 등의 효과를 통하여 이미지에 할당된 사용자 기능이 활성화되기 이전 상태를 나타내는 것을 의미할 수 있다. 그리 고 "선택"은 지정된 이미지에 할당된 사용자 기능이 활성화되는 상태를 의미할 수 있다.
상기 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법에 대한 실시 예로서, 도 8 내지 도 11을 참조하여 보다 상세히 설명하기로 한다.
도 8은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 사용자 기능 알람 및 그에 따른 사용자 기능 활성화 방법을 설명하기 위한 화면 예시도이다. 설명에 앞서, 이하 설명에서 사용자 기능은 폰 북 기능을 그 예로서 설명하기로 한다.
상기 도 8을 참조하면, 표시부는 301 화면에서와 같이 메인 지시자(Main Indicator) 영역(81), 폰북(Phone book) 영역(83), 접속(contact) 영역(85), 리스트 영역(82), 제11 메뉴 영역(87a), 제12 메뉴 영역(87b), 제13 메뉴 영역(87c), 제14 메뉴 영역(87d)을 포함할 수 있다. 이러한 표시부 화면이 출력된 상태에서 휴대 단말기는 터치스크린에 포함된 터치 패널을 활성화할 수 있다. 그리고 상기 휴대 단말기는 각 영역별로 출력될 음성 신호 또는 음성 신호로 변환할 수 있는 텍스트 정보를 각각 설정할 수 있다. 예를 들어, 휴대 단말기 사용자가 메인 지시자 영역(81)에 해당하는 터치 패널 상에서 터치 이벤트를 생성하는 경우, 휴대 단말기는 해당 영역이 메인 지시자 영역(81)임을 알리는 기 설정된 음성 신호를 오디오 처리부를 통하여 출력할 수 있다. 이와 유사하게, 휴대 단말기 사용자가 리스트 영역(82)에서 특정 항목 예를 들면, "Mary" 항목이 출력된 영역에 대응하는 터치 패널 상에서 터치 이벤트를 생성하면, 상기 휴대 단말기는 "Mary"에 대응하는 음성 신호를 오디오 처리부를 통하여 출력할 수 있다. 이 과정에서, 상기 휴대 단말기는 텍스트 정보를 음성 신호로 변환하여 출력하는 기능인 TTS(Text To Signal) 기능을 이용할 수 있다. 상기 TTS 기능은 텍스트로 기입된 문자를 기 설정된 음성 신호로 변환하고, 이를 조합하여 특정 단어나 어절 및 문장을 기계적으로 발음하도록 지원하는 기능이다. 이에 따라, 상기 휴대 단말기는 301 화면에서 각 영역에 대하여 텍스트 정보를 할당하고, 해당 영역이 선택되면, 상기 텍스트 정보를 음성 신호로 변환하도록 제어할 수 있다.
한편, 휴대 단말기 사용자가 표시부의 각 영역을 개별적으로 터치하는 경우 이외에 즉, 복수개의 영역 상에서 순차적으로 터치 이벤트를 발생시키는 경우, 휴대 단말기는 그에 대응하여 음성 신호를 출력할 수 있다. 예를 들면, 휴대 단말기 사용자가 폰북 영역(83)을 터치하고, 터치 다운 상태에서 이동(Move)하여 특정 리스트 항목들 예를 들면, "kevin"과 "Snoopy" 항목을 거치면서 제11 메뉴 영역(87a), 제12 메뉴 영역(87b), 제13 메뉴 영역(87c) 및 제14 메뉴 영역(87d)을 거치는 터치 드래그를 수행하는 경우, 휴대 단말기는 각 영역에 대응하는 기 설정된 음성 신호를 출력할 수 있다. 즉, 휴대 단말기는 폰북 영역(83)에 할당된 기 설정된 음성 신호 예를 들면 "폰북 영역입니다"라는 음성 신호를 출력할 수 있다. 그리고 휴대 단말기는 "kevin 입니다", "Snoopy 입니다"라는 음성 신호를 출력할 수 있다. 또한, 휴대 단말기는 제11 메뉴 영역(87a)에 할당된 기능 예를 들면 "접속 생성(Create contact)" 기능에 해당하는 설정된 음성 신호인 예를 들면 "접속 생성 기능입니다"라는 음성을 출력할 수 있다. 이와 유사하게, 제12 메뉴 영역(87b)에 할당된 기능이 "삭제(Delete)" 기능이고, 제13 메뉴 영역(87c)에 할당된 기능이 "상세 검색(More)" 기능인 경우, 상기 휴대 단말기는 각 메뉴 영역에 할당된 음성 신호 예를 들면, "삭제 기능입니다"와 "상세 검색 기능입니다"라는 음성 신호를 출력할 수 있다. 마지막으로 제14 메뉴 영역(87d)에서 터치 이벤트가 발생하면, 휴대 단말기는 제14 메뉴 영역(87d)에 해당하는 기능 예를 들면 "그룹 보기" 기능에 대한 기 설정된 음성 신호인 "그룹 보기 기능입니다"를 출력할 수 있다. 상기 음성 신호 출력 시점은 해당 영역에서 터치 이벤트가 발생한 시점이 될 수 있다. 이에 따라, 상기 터치 드래그 이벤트가 특정 영역을 거치는 속도가 일정 시간동안 출력되는 음성 신호보다 빠르게 이동할 경우, 각 영역별로 출력되는 음성 신호의 출력 시간이 중첩될 수 있다. 여기서, 상기 휴대 단말기는 상기 음성 신호가 중첩되지 않도록 제어할 수 도 있다. 즉, 특정 영역에 터치 이벤트가 발생하여 특정 음성 신호가 출력되는 동안 다른 영역에서 터치 이벤트가 발생하는 경우, 상기 휴대 단말기는 이전 영역에 할당된 음성 신호 출력을 중단하고, 터치 이벤트가 지금 생성된 영역에서의 음성 신호 출력을 지원하도록 제어할 수 있다.
한편, 휴대 단말기 사용자는 301 화면에서 표시부의 각 영역에 어떠한 사용자 기능이 할당되어 있는지를 터치 이벤트 생성을 통하여 음성 신호로서 들은 후에, 일정 형태의 음성 입력을 수행할 수 있다. 즉, 휴대 단말기 사용자는 표시부에서 터치 이벤트를 수행한 이후, 특정 영역에서 터치 이벤트가 지속적으로 유지되고 있는 상태에서, 해당 특정 영역에 할당된 특정 기능에 대응하는 특정 음성 신호 예를 들면 "그룹 보기"를 마이크를 통하여 입력할 수 있다. 그러면, 휴대 단말기 는 터치 이벤트가 유지되고 있는 영역의 텍스트 정보와 마이크가 입력한 음성 신호를 음성 인식한 데이터를 서로 비교하여 일치하는지 확인하고, 서로 일치하는 경우, 303 화면에서와 같이, 상기 "그룹 보기"에 해당하는 화면으로 전환하도록 제어할 수 있다. 이에 따라, 303 화면은 그룹 보기 지원화면으로서, 메인 지시자 영역(81), 폰북 영역(83), 그룹(Group) 영역(84), 그룹 리스트 영역(86), 제21 메뉴 영역(86a), 제22 메뉴 영역(86b)을 포함할 수 있다. 여기서, 그룹 영역(84)은 상기 음성 인식된 데이터를 기반으로 생성된 화면임을 지시하는 영역이며, 그룹 리스트 영역(86)은 폰북에 분류 저장된 그룹 정보를 출력하는 영역이다. 그리고 제21 메뉴 영역(86a) 및 제22 메뉴 영역(86b)은 그룹 보기 화면에서 특정 메뉴 기능을 지원하는 영역으로서, 제21 메뉴 영역(86a)은 "그룹 생성(Create group)" 기능을 지원하며, 제22 메뉴 영역(86b)은 "삭제(Delete)" 기능을 지원하는 영역이 될 수 있다. 이때, 상기 그룹 보기 화면은 301 화면에서와 같이 각 영역에 음성 신호가 설정되어 있거나, 음성 신호로 변화할 수 있는 텍스트 정보가 설정되어 있을 수 있다. 상술한 설명에서는 특정 영역에 대한 터치 이벤트가 지속되고 있는 상태에서 음성 인식이 발생하면, 해당 터치 이벤트에 대응하는 영역에 할당된 텍스트 정보와, 상기 음성 인식 데이터가 일치하는지를 비교하는 것으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 휴대 단말기는 상기 터치 이벤트가 완료된 영역 예를 들면, 제14 메뉴 영역(87d)에서 터치 업 이벤트가 발생한 이후, 기 설정된 시간 이내에 상기 제14 메뉴 영역(87d)에 할당된 텍스트 정보 또는 음성 신호에 대응하는 음성 신호가 입력되면 해당 메뉴 기능을 수행하도록 제어할 수 있다. 또한, 상기 휴대 단말기는 음성 인식 데이터와 사용자가 터치 드래그하면서 거쳤던 영역들에 할당된 전체 텍스트 데이터 또는 음성 신호들을 비교하고, 상기 음성 인식 데이터에 대응하는 텍스트 데이터 또는 음성 신호가 있는 경우, 해당 영역의 사용자 기능을 활성화하도록 제어할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 휴대 단말기는 표시부에서 특정 사용자 기능에 대응하는 적어도 하나의 영역에서 터치 이벤트가 발생하거나 발생하고 있으며, 수집된 음성을 인식하여 음성 인식 데이터가 전달되면, 상기 터치 이벤트가 발생한 적어도 하나의 영역에 할당된 적어도 하나의 텍스트 정보 또는 설정된 음성 신호와 상기 음성 인식 데이터가 서로 일치하는지 여부를 확인하고, 그 결과가 일치하면, 해당 영역에 할당된 사용자 기능을 활성화시킬 수 있다. 이에 따라, 터치 이벤트에 의한 불완전한 터치 동작과, 부정확한 음성 인식을 서로 보완하여 특정 사용자 기능을 명확하게 실행하도록 지원할 수 있다.
도 9는 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 통화 걸기를 위한 입력 방법을 설명하기 위한 화면 예시도이다. 이하 설명을 위하여 폰북 기능 활성화에 따른 화면을 기준으로 설명하기로 한다. 그러나 본 발명이 이에 한정되는 것은 아니며, 본 발명은 폰북 기능뿐만 아니라 통화 로그(call log) 화면에서도 동일하게 적용 가능할 것이다.
상기 도 9를 참조하면, 본 발명의 휴대 단말기는 311 화면에서와 같이 폰북에 포함된 다양한 항목들이 출력되어 있는 리스트 영역(92)에서 특정 사용자 예를 들면 "Adam smith"를 사용자가 지정하면, 해당 항목을 기반으로 수행할 수 있는 사 용자 기능을 음성 신호로서 출력하도록 제어할 수 있다. 예를 들어, 상기 휴대 단말기는 "Adam smith" 항목에서 특정 터치 이벤트 예를 들면 좌우로 스윕(Sweep)하는 터치 이벤트가 발생하면, 휴대 단말기는 기 설정된 음성 신호인 "Adam smith 입니다"를 출력할 수 있다.
이후, 휴대 단말기는 사용자가 입력하는 특정 음성 신호 예를 들면, "정보보기"를 음성 인식하고, 해당 정보 보기에 대응하는 313 화면을 출력할 수 있다. 313 화면을 살펴보면, 휴대 단말기는 "Adam smith"에 대응하는 타이틀 영역(91), 폰북에 사진이 첨부되어 있는 경우, 사진 영역(93), 해당 항목에 대응하는 제1 전화번호 영역(95) 및 제2 전화번호 영역(97)을 포함하는 화면을 출력할 수 있다.
이러한 313 화면에서, 휴대 단말기 사용자는 "Adam smith"와 통화하고자 원할 경우, 제1 전화번호 영역(95) 또는 제2 전화번호 영역(97) 상에서 특정 터치 이벤트 예를 들면 해당 영역 내에서 좌우로 스윕(sweep)하는 터치 이벤트를 생성할 수 있다. 그러면, 휴대 단말기는 상기 특정 터치 이벤트에 대응하여 상기 제1 전화번호 영역(95)에 할당되어 있는 전화번호를 기반으로 통화 호 형성을 위한 절차를 수행하도록 제어할 수 있다.
한편, 본 발명의 휴대 단말기는 폰북 정보 출력 과정에서, 폰북에 포함되어 있는 특정 항목을 검색할 수 있도록 지원할 수 있다. 이를 위하여 상기 휴대 단말기는 표시부의 일정 영역에 검색창을 제공할 수 있다. 한편, 휴대 단말기 사용자는 상기 검색창이 위치한 영역에서 일정 형태의 터치 이벤트 예를 들면, 검색창을 스윕하는 터치 이벤트를 생성할 수 있다. 그러면, 상기 휴대 단말기는 "항목을 검 색합니다"와 같은 음성 신호를 출력할 수 있다. 여기서, 사용자가 특정 항목에 대응하는 이름 예를 들면 "Adam smith"에 대응하는 음성 신호를 제공하면, 휴대 단말기는 상기 "Adam smith"에 대한 음성 신호를 인식하며, 이 과정에서 음성 인식의 범위를 폰북에 저장되어 있는 항목들로 한정함으로써, 음성 인식의 범위를 줄이는 한편, 음성 인식의 정확성을 개선할 수 있다. 상기 휴대 단말기는 특정 항목에 대한 음성 신호를 음성 인식하고, 해당 음성 인식 데이터에 대응하는 항목이 검출되면 313 화면에서와 같이, 항목에 포함되어 있는 정보를 자세히 나타내도록 제어할 수 있다.
상술한 설명에서, 특정 터치 이벤트를 특정 영역 내에서의 좌우 스윕으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 본 발명의 다양한 터치 이벤트는 예를 들면, 플릭(Flick) 터치 이벤트나, 복수의 탭(Tap) 터치 이벤트, 롱 프레스(Long press) 터치 이벤트 등을 포함할 수 있으며, 상기 적어도 하나의 터치 이벤트가 해당 영역 상에서 발생하면, 상기 휴대 단말기는 해당 영역에 설정되어 있는 사용자 기능을 활성화하도록 제어할 수 있을 것이다.
이상에서 설명한 바와 같이, 본 발명의 휴대 단말기는 특정 영역에서 터치 이벤트가 발생한 이후, 특정 음성 신호가 입력되면, 해당 음성 신호에 대응하는 명령을 수행하도록 지원할 수 있다. 즉, 상기 휴대 단말기는 폰 북 또는 통화 로그에서 특정 항목에 대하여 터치 이벤트가 발생한 이후, 음성 신호가 입력되면, 입력된 음성 신호를 음성 인식한 데이터를 기반으로 특정 명령을 수행하도록 지원할 수 있다. 이 과정에서, 상기 휴대 단말기는 터치 이벤트가 발생한 영역에 기 설정되 어 있는 음성 신호 또는 음성 신호에 대응하는 텍스트 정보를 기반으로 재생되는 음성 신호를 출력하도록 지원할 수 있다.
도 10은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 메시지 작성 기능을 위한 입력 방법을 설명하기 위한 화면 예시도이다. 이하, 설명에서는 폰북 기능에 따른 화면을 주 예로서 설명하기로 한다. 그러나, 본 발명은 이에 한정되는 것은 아니며, 통화 로그(call log) 화면이나, 메시지 수신 화면, 메시지 발신 화면 등 다양한 통화 관련 기능에 따른 화면에 적용 가능할 것이다.
상기 도 10을 참조하면, 본 발명의 휴대 단말기는 321 화면에서와 같이 폰북 기능에 따른 리스트 영역(102)을 출력할 수 있다. 리스트 영역(102)이 출력된 화면을 통하여 휴대 단말기 사용자는 특정 타 휴대 단말기에 대응하는 사용자 정보를 지정할 수 있다. 예를 들면, 휴대 단말기 사용자는 "Catherine" 항목을 선택할 수 있으며, 이때, 해당 항목을 기반으로 특정 사용자 기능을 사용하고자 하는 경우, 사용자 기능 전환이 가능하도록 할당된 메시지 아이콘(103)을 포함하는 터치 이벤트를 수행할 수 있다. 즉, 휴대 단말기 사용자는 "Catherine" 항목이 출력된 영역 내에서 좌우로 스윕하는 터치 이벤트를 수행하면서 상기 스윕 터치 이벤트가 상기 메시지 아이콘(103)을 거치도록 동작할 수 있다. 그러면, 휴대 단말기는 상기 "Catherine" 항목 선택과 상기 메시지 아이콘(103) 선택을 인식할 수 있다. 이 과정에서, 상기 휴대 단말기는 상기 "Catherine" 항목 선택에 따른 기 설정된 음성 신호 예를 들면 "Catherine 입니다"를 출력하도록 제어할 수 있다. 또한, 상기 휴대 단말기는 상기 "Catherine" 항목 및 메시지 아이콘(103) 선택에 따라 "Catherine에게 보낼 메시지를 작성하시겠습니까?"에 해당하는 음성 신호를 출력할 수 있다.
이후, 휴대 단말기는 사용자가 메시지 작성에 대한 긍정의 대답 예를 들면 "예"에 대응하는 음성 신호를 생성하면, 이를 수집하고, 수집된 음성 신호를 음성 인식하고, 그 결과에 따라, 323 화면에서와 같이 메시지 작성창을 출력하도록 제어할 수 있다.
한편, 상술한 설명에서는 휴대 단말기 사용자가 "Cathereine" 항목에 대한 터치 이벤트를 수행하면서, 해당 항목 우측 영역에 할당된 메시지 아이콘을 포함하는 터치 이벤트를 생성하는 것을 기준으로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 상기 휴대 단말기는 터치 이벤트의 메시지 아이콘 포함에 관계없이 "Catherine" 항목만을 터치하는 터치 이벤트가 발생하면 상술한 음성 신호 즉, "Catherine에게 보낼 메시지를 작성하시겠습니까?"에 해당하는 음성 신호를 출력할 수 있다. 한편, 상기 휴대 단말기는 메시지 아이콘뿐만 아니라 통화 아이콘()을 포함하는 터치 이벤트가 발생할 경우, "Catherine에게 메시지 작성 또는 통화 걸기가 가능합니다"와 같은 음성 신호를 출력할 수 있다. 그리고 휴대 단말기는 사용자로부터 "메시지 작성" 또는 "통화 걸기" 중 어느 하나에 대응하는 음성 신호를 수신하면, 해당 음성 신호에 따른 사용자 기능을 활성화하도록 제어할 수 있다. 이 과정에서, 상기 휴대 단말기는 음성 신호를 음성 인식하는 과정에서 "메시지 작성" 또는 "통화 걸기"에 대응하는 음성 인식 데이터를 검색하게 됨으로, 음성 인식 범위가 줄어들고, 일정한 오류가 발생하더라도 음성 인식된 데이터가 어떠 한 사용자 기능을 지시하는지를 명확하게 판별할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 휴대 단말기는 전화번호가 포함된 특정 항목에 대한 터치 이벤트가 생성된 이후, 또는 터치 이벤트가 유지되면서, 특정 음성 신호에 대한 음성 인식이 수행되면, 수행된 음성 인식 데이터를 기반으로 특정 사용자 기능을 수행하도록 제어할 수 있다. 이에 따라, 상기 휴대 단말기는 음성 인식의 범위에서 터치 이벤트가 지정한 항목을 기반으로 수행될 수 있는 사용자 기능들의 범위로 한정됨으로, 음성 인식 과정에서 발생할 수 있는 부정확성의 범위를 줄일 수 있다.
도 11은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 터치 패널을 중심으로 사용자 기능을 수행할 수 있는 입력 방법을 설명하기 위한 화면 예시도이다.
상기 도 11을 참조하면, 331 화면은 본 발명의 휴대 단말기가 표시부에 전원이 공급되지 않는 상태(off)에서 표시부 상층에 배치되는 터치 패널에는 전원이 공급된 상태를 나타낸다. 이러한, 표시부 화면은 333 화면에 나타낸 바와 같이, 표시부를 일정 크기로 분할하고, 분할된 각 영역에 사용자 기능이 할당된 상태를 나타낼 수 있다. 본 발명의 휴대 단말기는 상기 331 화면에서 표시부에 전원이 공급되면 333 화면과 같은 사용자 기능에 대응하는 아이콘이나 이미지 등을 출력할 수 있다.
한편, 상기 휴대 단말기는 331 화면에서 활성화된 터치 패널을 333 화면을 기준으로 영역 분할을 수행한다. 즉, 휴대 단말기는 331 화면에서 터치 패널을 제 1 영역(111), 제2 영역(113), 제3 영역(115)으로 분할할 수 있다. 한편, 333 화면에서도, 표시부는 제1 영역(111), 제2 영역(113), 제3 영역(115)으로 분할될 수 있으며, 제1 영역(111)은 인디게이터 영역이며, 제2 영역(113)은 위젯 영역, 제3 영역(115)은 미확인 이벤트 알림 영역이 될 수 있다.
상기 331 화면 상태에서, 휴대 단말기 사용자가 제1 영역(111)에서 기 설정된 터치 이벤트 예를 들면, 좌우로 스윕(sweep) 또는 기 설정된 다양한 터치 이벤트를 생성하면, 휴대 단말기는 해당 영역에 할당된 기 설정된 음성 신호를 출력할 수 있다. 그리고, 상기 제1 영역(111)에서 인디게이터의 현재 상태에 대한 정보를 출력할 수 있다. 예를 들면, 제1 영역(111)에 배터리 잔량 정보에 대한 인디게이터가 존재하는 것으로 가정하고, 휴대 단말기는 제1 영역(111)에서 상기 터치 이벤트가 발생하면 "인디게이터 영역입니다, 현재 배터리 잔량은 80%입니다"와 같은 음성 신호를 출력할 수 있다. 이후, 휴대 단말기는 사용자가 "확인"에 대응하는 음성 신호를 입력하면, 상기 인디게이터 영역을 사용자가 확인할 수 있도록 표시부에 전원 공급을 수행하도록 제어할 수 있다.
또한, 상기 331 화면 상태에서, 상기 휴대 단말기 사용자가 제2 영역(113)에서 기 설정된 터치 이벤트를 생성하면, 휴대 단말기는 제2 영역(113)에 할당되어 있는 사용자 기능에 대한 설명 예를 들면 "위젯 영역입니다. 현재 시각은 10시 30분이며, 위젯1 정보, 위젯2 정보 및 위젯 3 정보를 제공합니다"와 같은 기 설정된 음성 신호 및 상기 제2 영역(113)에 할당된 사용자 기능이 제공하는 정보를 음성 신호로 출력하도록 제어할 수 있다.
그리고 상기 331 화면 상태에서, 상기 휴대 단말기 사용자가 제3 영역(115)에서 기 설정된 터치 이벤틀르 생성하면, 상기 휴대 단말기는 제3 영역(115)에 할당되어 있는 사용자 기능 예를 들면, "미확인 메시지 수신 알림 기능입니다"에 해당하는 음성 신호를 출력할 수 있고, 미확인 메시지 수신이 있는 경우, 해당 미확인 메시지 수신에 대한 정보의 적어도 일부를 음성 신호로 출력할 수 있다. 예를 들어, "Su-jan"으로부터 안부를 묻는 미확인 메시지가 수신되었다고 가정하면, 상기 휴대 단말기는 제3 영역(115)에서 기 설정된 터치 이벤트가 발생할 경우, "미확인 메시지 수신 알림 기능입니다, Su-jan으로부터 메시지가 수신되었습니다. 잘지내고 있지?..."와 같은 음성 신호를 오디오 처리부를 통하여 출력하도록 제어할 수 있다. 여기서, 상기 휴대 단말기는 미확인 메시지 수신이 있는 경우, 상기 "미확인 메시지 수신 알림 기능입니다"에 해당하는 음성 신호는 출력하지 않을 수 있으며, 미확인 메시지 수신이 없는 경우 "미확인 메시지 수신이 없습니다"와 같은 음성 신호를 추가로 출력할 수 있다. 또한, 상기 휴대 단말기는 "Su-jan"으로부터 미확인 메시지 수신 시, 메시지 내용 전체를 331 화면 상태에서 음성 신호로 출력하거나, 메시지 내용의 일부를 출력할 수 있다. 그리고 사용자가 "확인"에 대응하는 음성 신호 입력을 수행하면, 상기 휴대 단말기는 해당 음성 신호에 대한 음성 인식을 수행하고, 이를 기반으로 해당 메시지 확인을 위한 메시지 확인 화면을 출력하도록 제어할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시 예에 따른 휴대 단말기는 표시부의 전원이 차단된 상태에서도 터치 패널의 영역에서 터치 이벤트가 발생하면, 해 당 터치 패널 영역에 할당된 사용자 기능에 대한 음성 신호 출력 및 사용자 기능 활성화를 위한 음성 인식 기능 수행을 제어할 수 있다. 이에 따라, 상기 휴대 단말기는 수집된 음성 신호에 대한 음성 인식의 범위를 터치 이벤트가 발생한 영역에 대한 사용자 기능의 범위로 한정함으로써, 음성 인식의 DB 검색 범위를 줄일 수 있고, 음성 인식의 정확성을 개선할 수 있다.
이상 본 발명을 몇 가지 바람직한 실시 예를 사용하여 설명하였으나, 이들 실시 예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술 분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
도 1은 본 발명의 실시 예에 따른 휴대 단말기의 구성을 개략적으로 나타낸 블록도,
도 2는 도 1의 제어부 구성을 보다 상세히 나타낸 도면,
도 3은 본 발명의 제1 실시 예에 휴대 단말기의 입력 방법을 설명하기 위한 순서도,
도 4는 본 발명의 제1 실시 예에 따른 휴대 단말기의 입력 방법을 설명하기 위한 화면 예시도,
도 5는 본 발명의 제2 실시 예에 휴대 단말기의 입력 방법을 설명하기 위한 순서도,
도 6은 본 발명의 제2 실시 예에 따른 휴대 단말기의 입력 방법을 설명하기 위한 화면 예시도,
도 7은 본 발명의 제3 실시 예에 휴대 단말기의 입력 방법을 설명하기 위한 순서도,
도 8은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 사용자 기능 설명과 활성화 방법을 설명하기 위한 화면 예시도,
도 9는 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 통화 걸기 입력 방법을 설명하기 위한 화면 예시도,
도 10은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 메시지 입력 방법을 설명하기 위한 화면 예시도,
도 11은 본 발명의 제3 실시 예에 따른 휴대 단말기의 입력 방법 중 터치 패널을 중심으로 사용자 기능을 수행할 수 있는 입력 방법을 설명하기 위한 화면 예시도.

Claims (21)

  1. 터치 이벤트 및 음성 신호를 수집하는 과정;
    상기 음성 신호를 음성 인식하여 음성 인식 데이터를 생성하는 과정;
    상기 터치 이벤트에 따른 사용자 기능을 결정하는 시각 정보텍스트 데이터를 생성하는 과정;
    상기 음성 인식 데이터를 상기 시각 정보텍스트 데이터와 비교하여 정정하거나, 상기 시각 정보텍스트 데이터를 상기 음성 인식 데이터와 비교하여 정정하는 정정 과정;
    상기 정정된 음성 인식 데이터 및 상기 정정된 시각 정보텍스트 데이터를 기준으로 상기 사용자 기능을 수행하는 과정;을 포함하며,
    상기 음성 인식 데이터 또는 상기 시각 정보텍스트 데이터는
    텍스트 기입 기능을 위한 적어도 하나의 문자 및 숫자;
    상기 사용자 기능을 활성화하기 위한 명령어; 중 어느 하나 인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  2. 제 1 항에 있어서,
    상기 음성 인식 데이터를 생성하는 과정은
    상기 음성 신호에 포함된 적어도 하나의 음소, 음절, 단어, 어절을 추출하는 과정;
    상기 추출된 적어도 하나의 음소, 음절, 단어, 어절로 이루어진 복수개의 음성 인식 데이터를 음성 인식 데이터 후보군으로 설정하는 과정;을 포함하는 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  3. 제 2 항에 있어서,
    상기 정정 과정은
    상기 음성 인식 데이터 후보군에서 상기 시각 정보텍스트 데이터와 가장 유사도가 높은 음성 인식 데이터를 선정하는 과정인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  4. 제 1 항에 있어서,
    상기 시각 정보텍스트 데이터를 생성하는 과정은
    적어도 하나의 터치 이벤트로부터 결정할 수 있는 복수개의 텍스트 데이터를 수집하는 과정;
    상기 복수개의 텍스트 데이터를 텍스트 데이터 후보군으로 설정하는 과정;을 포함하는 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  5. 제 4 항에 있어서,
    상기 정정 과정은
    상기 텍스트 데이터 후보군에서 상기 음성 인식 데이터와 가장 유사도가 높은 텍스트 데이터를 선정하는 과정인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 수집 과정은
    상기 터치 이벤트를 수집한 이후 기 설정된 시간 이내에 상기 음성 신호를 수집하는 과정인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  8. 제 1 항에 있어서,
    상기 수집 과정은
    상기 음성 신호를 수집한 이후 기 설정된 시간 이내에 상기 터치 이벤트를 수집하는 과정인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  9. 제 1 항에 있어서,
    상기 수집 과정은
    상기 터치 이벤트를 수집한 이후, 수집된 터치 이벤트가 유지되면서, 상기 음성 신호를 수집하는 과정인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  10. 제 1 항에 있어서,
    상기 터치 패널의 일정 영역별로 음성 정보를 할당하는 과정;
    상기 터치 패널의 적어도 하나의 영역에 상기 터치 이벤트가 발생하면, 해당 영역에 할당된 음성 정보를 출력하는 과정;을 더 포함하는 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  11. 제 10 항에 있어서,
    상기 사용자 기능을 수행하는 과정은
    상기 음성 정보에 대응하는 음성 인식 데이터가 수집되면 해당 영역에 설정된 사용자 기능을 수행하는 과정인 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  12. 제 10 항에 있어서,
    상기 음성 정보는
    기 설정된 텍스트 데이터로 제공되며, 출력 시 음성 신호로 변환되어 출력되는 것을 특징으로 하는 휴대 단말기의 입력 처리 방법.
  13. 터치 이벤트를 생성하는 터치 패널;
    음성 신호를 수집하는 마이크;
    상기 음성 신호를 음성 인식하여 음성 인식 데이터를 생성하고, 상기 터치 이벤트에 따른 사용자 기능을 결정하는 시각 정보텍스트 데이터를 생성한 후, 상기 음성 인식 데이터를 상기 시각 정보텍스트 데이터와 비교하여 정정하거나, 상기 시각 정보텍스트 데이터를 상기 음성 인식 데이터와 비교하여 정정하는 제어부;
    상기 정정된 음성 인식 데이터 및 상기 정정된 시각 정보텍스트 데이터를 기준으로 활성화되는 사용자 기능에 대응하는 화면을 출력하는 표시부;를 포함하며,
    상기 음성 인식 데이터 또는 상기 시각 정보텍스트 데이터는
    텍스트 기입 기능을 위한 적어도 하나의 문자 및 숫자;
    상기 사용자 기능을 활성화하기 위한 명령어; 중 어느 하나 인 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  14. 제 13 항에 있어서,
    상기 제어부는
    상기 음성 신호에 포함된 적어도 하나의 음소, 음절, 단어, 어절을 추출하고, 상기 추출된 적어도 하나의 음소, 음절, 단어, 어절로 이루어진 복수개의 음성 인식 데이터를 음성 인식 데이터 후보군으로 설정하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  15. 제 14 항에 있어서,
    상기 제어부는
    상기 음성 인식 데이터 후보군에서 상기 시각 정보텍스트 데이터와 가장 유사도가 높은 음성 인식 데이터를 선정하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  16. 제 13 항에 있어서,
    상기 제어부는
    적어도 하나의 터치 이벤트로부터 결정할 수 있는 복수개의 텍스트 데이터를 수집하고, 상기 복수개의 텍스트 데이터를 텍스트 데이터 후보군으로 설정하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  17. 제 16 항에 있어서,
    상기 제어부는
    상기 텍스트 데이터 후보군에서 상기 음성 인식 데이터와 가장 유사도가 높은 텍스트 데이터를 선정하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  18. 삭제
  19. 제 13 항에 있어서,
    상기 터치 패널의 일정 영역별로 할당된 음성 정보를 저정하는 저장부;
    상기 터치 패널의 적어도 하나의 영역에 상기 터치 이벤트가 발생하면, 해당 영역에 할당된 음성 정보를 출력하는 오디오 처리부;를 더 포함하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  20. 제 19 항에 있어서,
    상기 제어부는
    상기 음성 정보에 대응하는 음성 인식 데이터가 수집되면 해당 영역에 설정된 사용자 기능을 수행하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
  21. 제 19 항에 있어서,
    상기 오디오 처리부는
    기 설정된 텍스트 데이터로 제공되는 음성 정보를, 출력 시 음성 신호로 변환되어 출력하는 것을 특징으로 하는 휴대 단말기의 입력 처리 장치.
KR1020090035195A 2009-04-22 2009-04-22 휴대 단말기의 입력 처리 장치 및 방법 KR101545881B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090035195A KR101545881B1 (ko) 2009-04-22 2009-04-22 휴대 단말기의 입력 처리 장치 및 방법
US12/722,838 US8213995B2 (en) 2009-04-22 2010-03-12 Input processing method of mobile terminal and device for performing the same
PCT/KR2010/002344 WO2010123225A2 (en) 2009-04-22 2010-04-15 Input processing method of mobile terminal and device for performing the same
CN201080018238.7A CN102414994B (zh) 2009-04-22 2010-04-15 移动终端的输入处理方法以及用于执行该方法的装置
US13/486,261 US8452341B2 (en) 2009-04-22 2012-06-01 Input processing method of mobile terminal and device for performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090035195A KR101545881B1 (ko) 2009-04-22 2009-04-22 휴대 단말기의 입력 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100116462A KR20100116462A (ko) 2010-11-01
KR101545881B1 true KR101545881B1 (ko) 2015-08-20

Family

ID=42992603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090035195A KR101545881B1 (ko) 2009-04-22 2009-04-22 휴대 단말기의 입력 처리 장치 및 방법

Country Status (4)

Country Link
US (2) US8213995B2 (ko)
KR (1) KR101545881B1 (ko)
CN (1) CN102414994B (ko)
WO (1) WO2010123225A2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218231A1 (en) * 2011-02-28 2012-08-30 Motorola Mobility, Inc. Electronic Device and Method for Calibration of a Touch Screen
KR20120126491A (ko) * 2011-05-12 2012-11-21 삼성전자주식회사 터치스크린을 구비한 휴대 단말기의 데이터 입력 방법 및 장치
KR20130032966A (ko) * 2011-09-26 2013-04-03 엘지전자 주식회사 사용자 인터페이스 방법 및 장치
KR102022318B1 (ko) * 2012-01-11 2019-09-18 삼성전자 주식회사 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치
WO2013170383A1 (en) 2012-05-16 2013-11-21 Xtreme Interactions Inc. System, device and method for processing interlaced multimodal user input
KR101992191B1 (ko) * 2012-11-01 2019-06-24 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101949742B1 (ko) * 2012-12-20 2019-02-19 엘지전자 주식회사 터치 센서를 탑재한 모바일 디바이스 및 그 제어 방법
KR102179056B1 (ko) * 2013-07-19 2020-11-16 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20150051816A (ko) * 2013-11-05 2015-05-13 삼성전자주식회사 메시지 어플리케이션 운영 방법 및 이를 구현하는 전자 장치
KR102245747B1 (ko) 2014-11-20 2021-04-28 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
CN105786356B (zh) 2014-12-23 2019-08-09 阿里巴巴集团控股有限公司 一种应用的操作方法及装置
US11171904B1 (en) * 2020-05-06 2021-11-09 International Business Machines Corporation Message authentication using generative adversarial networks

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200155043Y1 (ko) 1996-12-11 1999-08-16 구자홍 전자동 세탁기의 아웃케이스와 어퍼 플레이트 및 헹거 피봇 체결구조
KR20000041690A (ko) 1998-12-23 2000-07-15 전주범 버튼의 기능을 음성으로 안내하는 카오디오
KR20010055043A (ko) 1999-12-09 2001-07-02 구자홍 음성합성을 이용한 버튼 입력 장치 및 방법
KR100457509B1 (ko) * 2001-07-07 2004-11-17 삼성전자주식회사 터치스크린과 음성인식을 통해 동작 제어되는 정보단말기 및 그의 명령 실행 방법
US7444286B2 (en) * 2001-09-05 2008-10-28 Roth Daniel L Speech recognition using re-utterance recognition
KR20050028150A (ko) * 2003-09-17 2005-03-22 삼성전자주식회사 음성 신호를 이용한 유저-인터페이스를 제공하는휴대단말기 및 그 방법
KR20060020101A (ko) 2004-08-31 2006-03-06 이경목 음성 인식과 터치 스크린 패드를 겸용한 안내와 자동 판매시스템
KR101412586B1 (ko) * 2008-07-01 2014-07-02 엘지전자 주식회사 이동단말기의 문자입력 방법
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
KR101566379B1 (ko) * 2009-05-07 2015-11-13 삼성전자주식회사 입력 신호 종류 별 사용자 기능 활성화 방법 및 이를 지원하는 휴대 단말기
US8554280B2 (en) * 2010-03-23 2013-10-08 Ebay Inc. Free-form entries during payment processes

Also Published As

Publication number Publication date
CN102414994A (zh) 2012-04-11
US8213995B2 (en) 2012-07-03
CN102414994B (zh) 2014-06-25
WO2010123225A2 (en) 2010-10-28
US20120238329A1 (en) 2012-09-20
US8452341B2 (en) 2013-05-28
WO2010123225A3 (en) 2011-01-20
US20100273529A1 (en) 2010-10-28
KR20100116462A (ko) 2010-11-01

Similar Documents

Publication Publication Date Title
KR101545881B1 (ko) 휴대 단말기의 입력 처리 장치 및 방법
EP2182452B1 (en) Mobile terminal and control method thereof
KR101462932B1 (ko) 이동 단말기 및 그의 텍스트 수정방법
US8543394B2 (en) Mobile terminal and text correcting method in the same
KR101502003B1 (ko) 이동 단말기 및 그 텍스트 입력 방법
US5950160A (en) Method and system for displaying a variable number of alternative words during speech recognition
KR101566379B1 (ko) 입력 신호 종류 별 사용자 기능 활성화 방법 및 이를 지원하는 휴대 단말기
KR101312849B1 (ko) 이동 장치에 대한 조합된 음성 및 교체 입력 양식을 위한정보 입력 방법, 이동 장치 및 사용자 인터페이스
EP0840288B1 (en) Method and system for editing phrases during continuous speech recognition
EP0840289A2 (en) Method and system for selecting alternative words during speech recognition
US20150169551A1 (en) Apparatus and method for automatic translation
KR20090129192A (ko) 이동 단말기 및 그 음성 인식 방법
KR101650339B1 (ko) 휴대 단말기의 문자 입력 방법 및 이를 지원하는 휴대 단말기
KR20110031797A (ko) 휴대 단말기의 입력 장치 및 방법
KR101537693B1 (ko) 단말기 및 그 제어 방법
KR101502004B1 (ko) 이동 단말기 및 그의 음성 명령 인식 방법
KR101504212B1 (ko) 단말기 및 그 제어 방법
KR101513635B1 (ko) 단말기 및 그 제어 방법
KR101495183B1 (ko) 단말기 및 그 제어 방법
EP0840287A2 (en) Method and system for selecting recognized words when correcting recognized speech
KR101521923B1 (ko) 단말기 및 그 제어 방법
US11886801B1 (en) System, method and device for multimodal text editing
KR101513629B1 (ko) 단말기 및 그 제어 방법
KR101373206B1 (ko) 음성인식과 영상인식을 이용한 휴대단말기에서의 문서작성방법
KR101766301B1 (ko) 전자기기에서 문자 입력 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 5