KR20140014510A - 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말 - Google Patents

음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말 Download PDF

Info

Publication number
KR20140014510A
KR20140014510A KR1020120080635A KR20120080635A KR20140014510A KR 20140014510 A KR20140014510 A KR 20140014510A KR 1020120080635 A KR1020120080635 A KR 1020120080635A KR 20120080635 A KR20120080635 A KR 20120080635A KR 20140014510 A KR20140014510 A KR 20140014510A
Authority
KR
South Korea
Prior art keywords
characters
input
touch input
voice
touch
Prior art date
Application number
KR1020120080635A
Other languages
English (en)
Inventor
강상기
김경태
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120080635A priority Critical patent/KR20140014510A/ko
Priority to US13/950,053 priority patent/US10241751B2/en
Publication of KR20140014510A publication Critical patent/KR20140014510A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Abstract

본 발명은, 음성 인식에 의하여 형성된 문자를 터치 입력, 펜 입력 또는 음성 재입력을 통하여 용이하게 편집할 수 있음 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말을 제공한다.
구체적으로, 본 발명은, 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계, 터치 입력 또는 음성 입력이 감지되는 경우, 상기 터치 입력 또는 상기 음성 입력을 분석하는 단계, 및 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법 및 그 단말에 관한 것이다.
본 발명에 따른 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말은, 사용자로 하여금 터치, 펜 또는 음성 재입력에 의하여 보다 효율적이고 편리하게 잘못 인식된 음성을 편집할 수 있도록 한다.

Description

음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말{EDITING METHOD OF TEXT GENERATIED BY A SPEECH RECOGNITION AND TERMINAL THEREOF}
본 발명은 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말에 관한 것으로, 특히 터치 또는 음성 입력을 기초로 음성 인식에 의하여 형성된 문자를 편집하는 방법 및 그 단말에 관한 것이다.
최근, 단말에 음성 인식 기술을 탑재하여 사용자로 하여금 음성을 이용하여 보다 편리한 단말 조작이 가능하기 위한 연구가 활발히 진행되고 있다.
그러나 현재의 음성 인식 기술은 주변의 잡음 처리 능력 부족, 불분명한 발음에 대한 올바른 단어 선택 기술 부족 등으로 인해 낮은 정확도를 개선해야 하는 과제를 안고 있다.
이를 해결하기 위한 방안으로, 인식된 음성을 텍스트로 표시하여 사용자가 문자를 직접 편집하게 하는 기능을 제공하고 있지만, 편집 횟수의 1회성, 직관적인 문자 편집이 불가능하다는 점에서 음성 인식과 사용자 입력 간 효율적인 문자 편집이 이루어지지 않고 있어 문제된다.
본 발명은, 음성 인식에 의하여 형성된 문자를 터치 입력, 펜 입력 또는 음성 재입력을 통하여 용이하게 편집할 수 있는 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말을 제공한다.
상기 과제를 해결하기 위한 본 발명에 따른 문자 편집 방법은, 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계, 터치 입력 또는 음성 입력이 감지되는 경우, 상기 터치 입력 또는 상기 음성 입력을 분석하는 단계, 및 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 분석하는 단계는, 상기 터치 입력이 감지되는 경우, 감지된 터치 입력의 하나 이상의 위치, 드래그 발생 여부, 형태, 문자 여부, 지속 시간, 보조키 사용 여부, 연속 터치 여부 중 하나 이상을 포함하는 터치 타입을 분석하는 단계, 및 상기 음성 입력이 감지되는 경우, 상기 음성 입력에 대하여 음성 인식을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 임의의 동작은, 상기 보조키 사용 여부를 기초로 동일한 터치 입력에 대하여 서로 다르게 설정되는 것을 특징으로 한다.
또한, 상기 수행하는 단계는, 상기 임의의 동작에 대응하여, 새로운 터치 입력 또는 음성 입력을 감지하는 단계, 상기 새로운 터치 입력 또는 음성 입력을 분석하는 단계, 및 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 새로운 임의의 동작을 수행하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 수행하는 단계는, 문자의 삽입, 삭제, 잘라내기, 복사, 붙여넣기, 위치 교환, 문자 변환, 저장 중 하나 이상을 포함하는 문자 편집을 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 수행하는 단계는, 상기 터치 입력이 특수 기호인 경우, 상기 특수 기호를 기초로, 평서문, 의문문, 감탄문 중 어느 하나에 대응하여 상기 하나 이상의 문자에 대한 문장 타입을 판단하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 수행하는 단계는, 상기 터치 입력 또는 상기 음성 입력에 대응하는 단말의 기능 제어를 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 단말의 기능은, 상기 하나 이상의 문자를 기초로 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상인 것을 특징으로 한다.
또한, 상기 수행하는 단계는, 상기 하나 이상의 문자를 기초로 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상으로 구성되는 단말의 기능을 제어하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 수행하는 단계는, 문자 편집, 대체 문자 목록, 글자체 변경 중 하나 이상으로 구성되는 하위 메뉴를 표시하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 단말은, 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 표시부, 및 터치 입력을 감지하는 터치 입력부, 음성 입력을 감지하는 음성 입력부, 및 상기 터치 입력 또는 상기 음성 입력이 감지되는 경우, 상기 터치 입력 또는 상기 음성 입력을 분석하고, 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 터치 입력이 감지되는 경우, 감지된 터치 입력의 하나 이상의 위치, 드래그 발생 여부, 형태, 문자 여부, 지속 시간, 보조키 사용 여부, 연속 터치 여부 중 하나 이상을 포함하는 터치 타입을 분석하고, 상기 음성 입력이 감지되는 경우, 상기 음성 입력에 대하여 음성 인식을 수행하는 것을 특징으로 한다.
또한, 상기 하나 이상의 문자에 대한 임의의 동작은, 상기 보조키 사용 여부를 기초로 동일한 터치 입력에 대하여 서로 다르게 설정되는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 임의의 동작에 대응하여, 새로운 터치 입력 또는 음성 입력을 감지하도록 상기 터치 입력부 또는 상기 음성 입력부를 제어하고, 상기 새로운 터치 입력 또는 음성 입력을 분석하고, 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 새로운 임의의 동작을 수행하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 터치 입력 또는 상기 음성 입력에 대응하여 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상인 단말의 기능 제어를 수행하는 것을 특징으로 한다.
또한, 상기 제어부는, 문자 편집, 대체 문자 목록, 글자체 변경 중 하나 이상으로 구성되는 하위 메뉴를 표시하도록 상기 표시부를 제어하는 것을 특징으로 한다.
또한, 본 발명에 따른 문자 편집 방법은, 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계, 터치 입력이 감지되는 경우, 감지된 터치 입력의 보조키 사용 여부를 포함한 터치 타입을 분석하는 단계, 및 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하되, 상기 임의의 동작은 상기 보조키 사용 여부에 따라 동일한 터치 입력에 대하여 서로 다르게 설정된 임의의 동작인 것을 특징으로 한다.
또한, 본 발명에 따른 문자 편집 방법은, 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계, 터치 입력이 감지되는 경우, 상기 터치 입력을 분석하는 단계, 상기 분석 결과에 대응하여, 음성 입력을 감지하는 단계, 상기 감지된 음성 입력을 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말은, 사용자로 하여금 터치, 펜 또는 음성 재입력에 의하여 보다 효율적이고 편리하게 잘못 인식된 음성을 편집할 수 있도록 한다.
도 1은 단말의 구성을 나타내는 블록도이다.
도 2는 단말의 음성 처리 과정을 나타낸 흐름도이다.
도 3은 음성 인식에 의하여 형성된 문자의 편집 방법을 나타낸 순서도이다.
도 4는 본 발명의 제1 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 5는 본 발명의 제2 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 6은 본 발명의 제3 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 7은 본 발명의 제4 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 8은 본 발명의 제5 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 9는 본 발명의 제6 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 10은 본 발명의 제7 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 11은 본 발명의 제8 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 12는 본 발명의 제9 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 13은 본 발명의 제10 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 14는 본 발명의 제11 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 15는 본 발명의 제12 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 16은 본 발명의 제13 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
본 발명은 음성 인식 기능 및 음성 인식에 의하여 형성된 문자의 표시 기능을 제공하는 단말의 형성된 문자 편집을 위해 적용될 수 있다.
또한, 본 발명은 음성 인식 기능을 제공하는 단말로써, 스마트 폰(Smart Phone), 휴대 단말(Portable Terminal), 이동 단말(Mobile Terminal), 개인 정보 단말(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말, 노트북 컴퓨터, 노트 패드(Note Pad), 와이브로(Wibro) 단말, 스마트 TV, 스마트 냉장고 등의 일반적인 전자 단말뿐만 아니라, 음성 인식 기능을 이용하는 모든 장치 또는 서비스를 위하여 적용될 수 있다.
본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명의 사상을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다." 또는 "포함한다." 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 보다 구체적으로 설명하도록 한다.
도 1은 단말의 구성을 나타내는 블록도이다.
도 1을 참조하면 단말(100)은 터치 입력부(110), 음성 입력부(120), 제어부(130) 및 표시부(140)를 포함하여 구성될 수 있다.
터치 입력부(110)는 단말(100)의 동작을 제어하기 위한 사용자의 조작 신호를 터치를 통하여 입력받을 수 있다. 터치 입력부(110)는 사용자의 터치 입력을 감지하기 위하여 터치 센서 또는 근접 센서를 포함할 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 입력부(110)는 센서를 통하여 터치 입력을 감지하고, 감지된 신호를 제어부(130)로 전달할 수 있다. 제어부(130)는 터치 신호를 분석하여 터치 타입(예를 들어, 터치 위치, 터치 형태, 문자/기호 여부, 터치 방향, 터치 지속 시간, 터치 이동 상태 등)을 판단할 수 있다. 감지된 터치 타입에 대응하는 정보는 표시부(140) 상에 출력될 수 있다.
터치 입력부(110)는 다양한 입력 도구에 의하여 사용자의 조작 신호를 입력받을 수 있다. 예를 들어, 터치 입력부(110)는 사용자의 손이나 물리적인 도구, 스타일러스 펜(Stylus Pen) 등에 의하여 조작 신호를 입력받을 수 있다.
음성 입력부(120)는 통화 모드 또는 녹음 모드, 음성 인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 음성 입력부(120)는 음성을 입력받는 과정에서 발생한 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 구현할 수 있다.
제어부(130)는 단말(100)의 각 구성 요소에 대한 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(130)는 음성 입력부(120)를 통하여 입력된 음성의 음성 인식에 의하여 형성된 문자를 표시하거나, 문자 편집을 수행할 수 있다.
제어부(130)는 상기 동작을 수행하기 위하여, 음성 인식 모듈(Automatic Speed Regonition Module)(131) 및 보조키 처리 모듈(132)을 포함하여 구성될 수 있다.
음성 인식 모듈(131)은 음성 입력부(120)를 통하여 입력받은 음성을 처리할 수 있다. 구체적으로, 음성 인식 모듈(131)은 입력받은 음성의 특징을 추출하여 음성 데이터와 비교 분석할 수 있다. 음성 인식 모듈(131)은 고속 푸리에 변환(Fast Fourier Transform; FFT)에 의하여 음성 주파수의 특징을 분석하여 음성 데이터를 형성하거나, 음성 파형의 특징을 분석하여 음성 데이터를 형성할 수 있다.
음성 인식 모듈(131)은 음성 데이터를 패턴 매칭(Pattern matching)된 하나 이상의 숫자 또는 글자로 변환하여 문자를 형성할 수 있다
음성 인식 모듈(131)은 단말(100)의 내부에 구현되는 대신, 통신 모듈 등에 의하여 데이터 통신 연결이 수립된 외부의 서버로 구현될 수도 있다.
본 발명의 실시 예에 따르면, 제어부(130)는 음성 인식 모듈(131)을 통하여 형성된 하나 이상의 문자를 표시하도록 표시부(140)를 제어하고, 사용자의 입력 등에 의하여 하나 이상의 문자에 대한 편집을 수행할 수 있다.
보조키 처리 모듈(132)은 터치 입력부(110)에 의하여 형성된 입력 데이터에 대하여 보조키를 사용한 입력인지 아닌지를 판단할 수 있다. 구체적으로, 사용자가 보조키를 갖는 입력 도구, 예를 들어 스타일러스 펜 등을 이용하여 조작 신호를 터치 입력부(110)로 입력하는 경우, 보조키 처리 모듈(132)은 입력된 조작 신호를 분석하여 입력이 보조키를 사용한 상태에서 발생한 것인지 아닌지를 판단할 수 있다.
본 발명의 실시 예에 따르면, 제어부(130)는 보조키 처리 모듈(132)의 처리 결과에 의하여, 보조키를 사용한 상태의 입력과 보조키를 사용하지 않은 상태의 입력에 대해 서로 다른 동작을 수행하도록 단말(100)을 제어할 수 있다.
제어부(130)의 상세한 동작에 대하여는 이하에서 관련 도면을 참조하여 보다 구체적으로 설명하도록 한다.
표시부(140)는 단말(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 표시부(140)는 음성 인식에 관련된 UI(User Interface) 또는 GUI(Graphic User Interface) 및 음성 인식에 의해 형성된 하나 이상의 문자를 표시할 수 있다.
본 발명의 실시 예에 따르면, 표시부(140)는 음성 인식 모듈(131)에 의하여 형성된 문자 데이터를 구성하는 하나 이상의 문자를 표시할 수 있다.
표시부(140)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
단말(100)의 구현 형태에 따라 표시부(140)는 2개 이상 존재할 수 있다.
표시부(140)는 터치 센서와 상호 레이어 구조를 이루어 터치 스크린으로 동작할 수 있다.
하기에서, 본 발명의 실시 예에 따른 단말의 음성 처리 과정을 설명한다.
도 2는 단말의 음성 처리 과정을 나타낸 흐름도이다.
도 2를 참조하면, 음성 처리 과정은 다음과 같이 이루어질 수 있다.
먼저, 제어부(130)는 음성을 입력받을 수 있다(S100).
제어부(130)는 음성 입력부(120)를 통하여 사용자의 음성을 입력받을 수 있다. 제어부(130)는 입력받은 음성의 잡음을 제거하거나, 음성 신호를 증폭시키기 위한 작업을 수행할 수 있다.
다음으로, 제어부(130)는 음성 인식(Automatic Speech Recognition; 이하 ASR)을 수행할 수 있다(S120).
제어부(130)는 입력받은 음성에 대하여 음성 인식을 수행하여, 음성에 대응하는 하나 이상의 문자를 형성할 수 있다. 제어부(130)는 입력받은 음성 인식을 통하여 글자, 숫자, 기호, 공백 등으로 구성되는 하나 이상의 문자를 형성할 수 있다.
다음으로, 제어부(130)는 자연 언어 처리(Natural Languige Proccessing; NLP)를 수행할 수 있다(S130).
제어부(130)는 음성 인식에 의하여 형성된 문자를 자연 언어 처리하여 입력받음 음성을 구성하는 하나 이상의 요소, 예를 들어, 명사, 형용사, 동사 등을 추출할 수 있다. 또한, 제어부(130)는 자연 언어 처리를 통하여 입력받은 음성의 의미를 분석할 수 있다.
마지막으로, 제어부(130)는 자연 언어 처리 결과에 대응하는 동작을 수행할 수 있다(S140).
제어부(130)는 자연 언어 처리 결과에 의하여 입력받은 음성의 의미 분석 결과에 따라, 특정 기능의 수행, 정보 검색, 질의 응답, 자동 번역/통역 등을 수행할 수 있다.
이하에서, 단말(100)의 음성 처리 과정 중, 음성 인식 수행에 따라 형성된 문자의 편집 방법을 보다 구체적으로 설명하도록 한다.
도 3은 음성 인식에 의하여 형성된 문자의 편집 방법을 나타낸 순서도이다.
도 3을 참조하면, 음성 인식에 의하여 형성된 문자의 편집 방법은 다음과 같은 순서로 이루어질 수 있다.
먼저, 제어부(130)는 하나 이상의 문자를 표시할 수 있다(S210).
제어부(130)는 음성 인식에 의하여 형성된 하나 이상의 문자를 표시할 수 있다. 제어부(130)는 글자, 숫자, 기호, 공백 등을 포함하는 하나 이상의 문자를 표시하도록 표시부(140)를 제어할 수 있다.
제어부(130)는 음성 인식 기능 또는 음성 인식에 의하여 형성된 하나 이상의 문자에 대하여 편집, 관리 저장, 특정 기능의 수행을 위한 UI를 함께 표시할 수 있다.
다음으로, 제어부(130)는 터치 또는 음성 입력을 감지할 수 있다(S220).
제어부(130)는 터치 스크린으로 동작하는 표시부(140) 또는 음성 입력부(120)를 통하여 터치 입력 또는 음성 입력을 감지할 수 있다.
제어부(130)는 음성 입력을 감지하는 경우, 음성을 입력받는 과정에서 발생한 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 수행할 수 있다.
터치 또는 음성 입력이 감지되는 경우, 제어부(130)는 터치 또는 음성 입력을 분석할 수 있다(S230).
구체적으로, 터치 입력이 감지되는 경우, 제어부(130)는 터치 입력의 터치 타입을 분석할 수 있다. 터치 타입은 터치 입력의 위치, 드래그 발생 여부, 형태, 문자 여부, 지속 시간, 보조키 사용 여부, 연속 터치 여부 중 하나 이상을 포함할 수 있다.
터치 입력의 위치는 단일 터치 또는 멀티 터치 여부에 따라 하나 이상이 존재할 수 있다. 또한, 터치 입력의 위치는 하나 이상의 문자, 하나 이상의 문자 사이, 하나 이상의 문자가 존재하지 않는 임의의 위치일 수 있다.
터치 입력의 드래그 발생 여부는 단일 터치 또는 멀티 터치가 발생한 상태에서 임의의 한 방향으로 드래그가 발생하였는지 여부를 의미한다. 제어부(130)는 드래그 발생 시, 드래그 위치(예를 들어, 하나 이상의 문자에 대한 중간부, 하부 또는 하나 이상의 문자가 존재하지 않는 임의의 공간에 대한 위치 등), 길이, 방향 중 하나 이상을 포함하는 드래그 타입을 분석할 수 있다.
터치 입력의 형태는 원, 사각형, 세모, 마름모 등의 도형을 포함한 닫힌 공간을 형성하는 형태 또는 교정 부호(예를 들어, ∨, ∧, ∽, ∩, ＿, － 등)일 수 있다.
터치 입력의 문자 여부는, 한글, 영문 또는 특수 기호를 포함하는 하나 이상의 문자인지 여부를 의미한다. 문자는 사용자가 선택한 임의의 문자이거나 단말(100)의 기능에 대응하는 명령어일 수 있다.
터치 입력의 지속 시간은 터치 입력이 발생하는 동안의 지속 시간을 의미하며, 제어부(130)는 지속 시간을 판단하기 위하여 시간 측정 모듈을 별도로 구비할 수 있고, 지속 시간에 따라 단말(100)을 제어하기 위한 임계값을 설정할 수 있다.
터치 입력의 보조키 사용 여부는, 입력 도구의 선택에 따라 선택된 입력 수단에 포함된 보조키의 사용 여부를 의미한다. 보조키를 포함하는 입력 수단은 스타일러스 펜일 수 있다.
연속 터치 여부는 터치 입력이 임의의 짧은 시간 내에 복수 회 발생했는지 여부를 의미한다. 제어부(130)는 연속 터치 여부를 판단하기 위하여 임의의 짧은 시간을 설정할 수 있다.
또한, 음성 입력이 감지되는 경우, 제어부(130)는 음성 입력에 대하여 음성 인식을 수행할 수 있다. 제어부(130)는 음성 인식에 의하여 새로운 하나 이상의 문자를 형성할 수 있다.
다음으로, 제어부(130)는 하나 이상의 문자에 대한 임의의 동작을 수행할 수 있다(S240).
제어부(130)는 터치 입력 또는 음성 입력에 대한 분석 결과를 기초로, 하나 이상의 문자에 대한 임의의 동작을 수행할 수 있다.
하나 이상의 문자에 대한 임의의 동작은, 보조키 사용 여부를 기초로 동일한 터치 입력에 대하여 서로 다르게 설정되는 것일 수 있다. 예를 들어, 상기 터치 입력이 "전송"이라는 두 개의 문자일 때, 제어부(130)는 "전송"이 보조키를 사용하지 않고 입력된 경우 "전송"을 하나 이상의 문자에 삽입하고, 보조키를 사용하고 입력된 경우 하나 이상의 문자를 다른 단말로 전송하는 단말(100)의 기능을 제어할 수 있다.
제어부(130)는 임의의 동작에 대응하여, 새로운 터치 입력 또는 음성 입력을 감지하는 동작을 수행할 수 있다. 이 경우, 제어부(130)는 새로운 터치 입력 또는 음성 입력을 분석하고, 분석 결과를 기초로 하나 이상의 문자에 대한 새로운 임의의 동작을 수행할 수 있다.
또한, 제어부(130)는 임의의 동작으로 문자의 삽입, 삭제, 잘라내기, 복사, 붙여넣기, 위치 교환, 문자 변환, 저장 중 하나 이상을 포함하는 문자 편집을 수행할 수 있다.
또한, 제어부(130)는 임의의 동작으로 터치 입력이 특수 기호인 경우, 특수 기호를 기초로, 평서문, 의문문, 감탄문 중 어느 하나에 대응하여 하나 이상의 문자에 대한 문장 타입을 판단할 수 있다.
또한, 제어부(130)는 임의의 동작으로 터치 입력 또는 음성 입력에 대응하는 단말의 기능 제어를 수행할 수 있다. 단말의 기능은, 하나 이상의 문자를 기초로 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상일 수 있다.
또한, 제어부(130)는 임의의 동작으로 문자 편집, 대체 문자 목록, 글자체 변경 중 하나 이상으로 구성되는 하위 메뉴를 표시할 수 있다.
제어부(130)는 상기한 임의의 동작 중 하나 이상의 동작을 결합하여 수행하거나, 순차적으로 수행할 수 있다. 예를 들어, 제어부(130)는 하나 이상의 문자 중 하나 이상의 문자를 선택한 후, 선택된 하나 이상의 문자를 복사하는 동작을 수행할 수 있다.
이하에서, 제어부(130)가 하나 이상의 문자에 대한 임의의 동작을 수행하는 상세한 실시 예는 하기에서 도면을 참조하여 보다 구체적으로 설명하도록 한다. 이하에서는 제어부(130)의 동작에 대하여 몇 가지 실시 예를 들어 설명하고 있으나, 제어부(130)의 동작은 이에 한정되지 아니하고, 본 발명의 본질을 벗어나지 않는 범위 내에서 다양한 수정 및 변형이 가능할 것이다.
도 4 및 도 5는 본 발명의 제1 및 제2 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
제어부(130)는 상기 보조키 사용 여부를 기초로 동일한 터치 입력에 대하여 서로 다르게 설정되는 임의의 동작을 수행할 수 있다.
예를 들어, 도 4를 참조하면, 터치 입력 또는 음성 입력이 "message"라는 하나 이상의 문자 일 때, 제어부(130)는 "message"가 보조키를 사용하지 않고 입력된 경우 이를 하나 이상의 문자에 대하여 임의의 위치에 삽입할 수 있다. 반면, 제어부(130)는 "message"가 보조키를 사용하고 입력된 경우 "message"에 대응하는 단말(100)의 기능, 예를 들어 하나 이상의 문자를 문자 메시지로 전송하는 기능을 제어할 수 있다.
또한, 예를 들어, 도 5를 참조하면, 터치 입력이 하나 이상의 문자 하단에 위치한 선 형태일 때, 제어부(130)는 선 형태가 보조키를 사용하지 않고 입력된 경우 하나 이상의 문자에 대하여 밑줄을 삽입할 수 있다. 반면, 제어부(130)는 선 형태가 보조키를 입력하고 입력된 경우, 선 형태의 위치 및 길이에 대응하는 하나 이상의 문자 선택, 삭제, 잘라내기, 복사, 붙여넣기, 저장, 하위 메뉴 표시 등의 동작을 수행할 수 있다.
도 4 및 도 5에 도시된 실시 예는 다양한 형태로 변형하여 구현이 가능하다.
예를 들어, 보조키를 사용하지 않은 터치 입력이 감지된 경우, 제어부(130)는 새로운 하나 이상의 문자를 형성하기 위한 새로움 터치 입력 또는 음성 입력을 감지할 수 있다. 반면, 보조키를 사용한 터치 입력이 감지된 경우, 제어부(130)는 하나 이상의 문자에 대하여 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 등 단말의 기능을 수행하기 위한 새로운 터치 입력 또는 음성 입력을 감지할 수 있다.
이때, 상술한 동작들은 보조키를 사용한 경우와 사용하지 않은 경우에 대하여 반대로 수행될 수 있다.
도 6 및 도 7은 본 발명의 제3 및 제4 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
제어부(130)는 임의의 동작에 대응하여 새로운 터치 입력 또는 음성 입력을 감지할 수 있다.
구체적으로, 도 6 및 도 7을 참조하면, 제어부(130)는 임의의 동작이 하나 이상의 문자 선택, 임의의 위치로 커서 이동 등일 경우, 임의의 동작에 대응하여 새로운 터치 입력 또는 새로운 음성 입력을 감지할 수 있다. 하나 이상의 문자 선택 또는 커서 이동은, 하나 이상의 위치에 대한 터치 입력, 닫힌 공간을 형성하는 임의의 형태를 갖는 터치 입력, 하나 이상의 위치를 지정하기 위한 임의의 형태를 갖는 터치 입력, 하나 이상의 글자에 대한 드래그 입력, 하나 이상의 글자에 대응하는 음성 입력 등에 의하여 수행될 수 있다.
또는, 제어부(130)는 터치 입력이 미리 설정된 지속 시간 이상 감지되거나, 보조키를 사용하여 입력된 것으로 감지되는 경우 새로운 터치 입력 또는 음성 입력을 감지할 수 있다.
이때, 제어부(130)는 새로운 터치 입력 또는 음성 입력이 감지되는 것을 알리기 위한 UI를 표시하도록 표시부(140)를 제어할 수 있다.
새로운 터치 입력 또는 음성 입력이 감지된 경우, 제어부(130)는 새로운 터치 입력 또는 음성 입력을 분석하고, 분석 결과를 기초로, 하나 이상의 문자에 대한 새로운 임의의 동작을 수행할 수 있다.
예를 들어, 도 6을 참조하면, 제어부(130)는 새로운 터치 입력 또는 음성 입력에 의해 형성된 새로운 하나 이상의 문자를 하나 이상의 문자에 삽입하거나, 하나 이상의 문자를 새로운 하나 이상의 문자로 수정할 수 있다.
또는, 도 7을 참조하면, 제어부(130)는 새로운 터치 입력 또는 음성 입력에 대응하는 문자 편집을 수행하거나, 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상의 단말 기능을 제어할 수 있다.
도 8 내지 도 10은 본 발명의 제5 내지 제7 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
제어부(130)는 터치 입력 또는 음성 입력 분석 결과를 기초로, 문자 편집을 수행할 수 있다. 문자 편집은 문자의 삽입, 삭제, 잘라내기, 복사, 붙여넣기, 위치 교환, 문자 변환, 저장 중 하나 이상을 포함할 수 있다.
예를 들어, 도 8을 참조하면, 터치 입력이 드래그 입력이고, 하나 이상의 문자 상의 위치에 대응하는 경우, 제어부(130)는 대응하는 하나 이상의 문자를 삭제하는 문자 편집을 수행할 수 있다.
또한, 예를 들어, 도 9를 참조하면, 터치 입력이 새로운 하나 이상의 문자이고, 하나 이상의 문자 상의 위치에 대응하는 경우, 제어부(130)는 대응하는 하나 이상의 문자를 터치 입력된 새로운 하나 이상의 문자로 수정할 수 있다.
도 8 및 도 9에 도시된 실시 예는 다양한 형태로 변형하여 구현이 가능하다.
예를 들어, 터치 입력이 하나 이상의 문자에 대한 드래그 터치 입력이거나 닫힌 공간을 형성하는 임의의 형태를 갖는 터치 입력인 경우, 또는 하나 이상의 문자에 대응하는 음성 입력인 경우, 제어부(130)는 터치 입력 또는 음성 입력에 대응하는 하나 이상의 문자에 대하여 삭제, 잘라내기, 복사, 붙여넣기, 저장 등을 수 있다.
도 10을 참조하면, 터치 입력이 교정 부호인 경우, 제어부(130)는 교정 부호에 대응하는 문자 편집을 수행할 수 있다. 교정 부호는 ∨, ∧, ∽, ∩, ＿, － 등일 수 있다. 교정 부호는 각각 공백 등의 문자의 삽입, 위치 교환, 공백 등의 문자 삭제(붙여쓰기로 명명될 수 있음), 밑줄 삽입, 삭제 등의 문자 편집에 대응될 수 있다.
예를 들어, ∽ 형태를 갖는 터치 입력이 감지된 경우, 제어부(130)는 터치 입력에 대응하는 하나 이상의 문자에 대하여 위치를 교환할 수 있다.
도 11 및 도 12는 본 발명의 제8 및 제9 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
도 11을 참조하면, 사용자가 문장 사이에 음성으로 표현하기 어려운 특수 기호를 삽입할 수 있도록, 제어부(130)는 특수 기호인 터치 입력을 감지하여 하나 이상의 문장에 삽입할 수 있다. 또한, 제어부(130)는 특수 기호 삽입 이후에 새로운 터치 입력 또는 문자 입력을 감지하고, 하나 이상의 문자에 이어서 새로운 하나 이상의 문자를 형성할 수 있다.
또한, 도 12를 참조하면, 제어부(130)는 특수 기호인 터치 입력이 감지된 경우, 특수 기호를 기초로 하나 이상의 문자에 대한 문장 타입을 판단할 수 있다. 문장 타입은 평서문, 의문문, 감탄문 중 어느 하나에 대응하는 것일 수 있으며, 각각은 마침표(.), 물음표(?), 느낌표(!)에 의하여 판단될 수 있다.
예를 들어, 터치 입력이 하나 이상의 문자 말미에 대한 마침표(.)인 경우, 제어부(130)는 하나 이상의 문자를 평서문으로 판단할 수 있다. 이에 따라, 제어부(130)는 하나 이상의 문자에 대한 정보 검색을 수행하여 검색된 정보를 표시하도록 표시부(140)를 제어할 수 있다. 정보 검색은 일반적인 웹 검색, 사전 검색, 단말(100)에 저장된 정보의 검색 중 하나 이상에 의하여 수행될 수 있다.
또한, 예를 들어, 터치 입력이 하나 이상의 문자 말미에 대한 물음표(?)인 경우, 제어부(130)는 하나 이상의 문자를 의문문으로 판단할 수 있다. 이에 따라, 제어부(130)는 하나 이상의 문자에 대한 질의 응답을 수행하여 응답에 대응하는 정보를 표시하도록 표시부(140)를 제어할 수 있다.
도 13 및 도 14는 본 발명의 제10 및 제 11 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
제어부(130)는 터치 입력 또는 음성 입력에 대응하여 단말의 기능 제어를 수행할 수 있다. 단말의 기능은 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상일 수 있다. 단말의 기능은, 터치 입력의 위치, 드래그 길이, 드래그 방향, 형태, 음성 입력의 음성 인식 결과에 대응하여 수행될 수 있다.
예를 들어, 도 13을 참조하면, 제어부(130)는 터치 입력에 대응하여 하나 이상의 문자를 문자 메시지로 전송하기 위하여, 단말의 문자 메시지 기능을 제어할 수 있다.
또는, 예를 들어, 도 14를 참조하면, 제어부(130)는 터치 입력에 대응하여 하나 이상의 문자에 대응하는 정보를 검색할 수 있다.
또한, 제어부(130)는 음성 입력에 대응하여 입력된 음성을 자연 언어 처리하고 자연 언어 처리 결과에 대응하는 임의의 동작을 수행하거나, 터치 입력 또는 음성 입력에 대응하는 멀티미디어 파일을 검색하여 재생하는 등 다양한 단말의 기능 제어를 수행할 수 있다.
도 15 및 도 16은 본 발명의 제12 및 제 13 실시 예에 따른 문자 편집 방법을 나타낸 도면이다.
제어부(130)는 터치 입력 또는 음성 입력에 대응하여 하위 메뉴를 표시하도록 표시부(140)를 제어할 수 있다.
예를 들어, 제어부(130)는 하나 이상의 문자가 선택되거나, 임의의 위치에 대응하는 터치 입력이 감지된 경우, 선택된 하나 이상의 문자 또는 해당 위치에 대한 하위 메뉴를 표시할 수 있다. 이때, 하위 메뉴는 삭제, 복사, 잘라내기, 붙여넣기, 저장 등의 문자 편집을 포함할 수 있다.
또한, 예를 들어, 제어부(130)는 하나 이상의 문자가 선택되거나, 임의의 위치에 대응하는 터치 입력이 감지되는 경우, 선택된 하나 이상의 문자 또는 해당 위치에 대한 하위 메뉴를 표시할 수 있다. 이때, 하위 메뉴는 대체 문자 목록을 포함할 수 있다.
대체 문자 목록은 사용자에게 선택된 하나 이상의 문자를 수정하기에 적합한 하나 이상의 대체 문자를 제공하기 위하여 표시되는 것으로, 사용자가 하나 이상의 문자를 반복적으로 다른 문자로 수정했을 때 그 빈도를 기초로 형성되는 것일 수 있다.
구체적으로, 제어부(130)는 사용자가 임의의 하나 이상의 문자를 다른 하나 이상의 문자로 수정하는 경우, 임의의 하나 이상의 문자에 대하여 다른 하나 이상의 문자를 연계하여 대체 문자 데이터를 형성하고 이를 저장할 수 있다. 또한, 제어부(130)는 사용자가 임의의 하나 이상의 문자에 대하여 문자 편집을 수행할 때마다, 대체 문자 데이터를 갱신하고 관리하되, 임의의 하나 이상의 문자에 대하여 수정 입력된 하나 이상의 문자를 수정 입력 빈도를 기초로 정렬하여 관리할 수 있다.
제어부(130)는 대체 문자 목록을 다른 단말 또는 외부의 서버 등으로 전송하거나, 다른 단말 또는 외부의 서버 등으로부터 수신할 수도 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 단말 110: 터치 입력부
120: 음성 입력부 130: 제어부
140: 표시부

Claims (17)

  1. 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계;
    터치 입력 또는 음성 입력이 감지되는 경우, 상기 터치 입력 또는 상기 음성 입력을 분석하는 단계; 및
    상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  2. 제1항에 있어서, 상기 분석하는 단계는,
    상기 터치 입력이 감지되는 경우, 감지된 터치 입력의 하나 이상의 위치, 드래그 발생 여부, 형태, 문자 여부, 지속 시간, 보조키 사용 여부, 연속 터치 여부 중 하나 이상을 포함하는 터치 타입을 분석하는 단계; 및
    상기 음성 입력이 감지되는 경우, 상기 음성 입력에 대하여 음성 인식을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  3. 제2항에 있어서, 상기 임의의 동작은,
    상기 보조키 사용 여부를 기초로 동일한 터치 입력에 대하여 서로 다르게 설정되는 것을 특징으로 하는 문자 편집 방법.
  4. 제1항에 있어서, 상기 수행하는 단계는,
    상기 임의의 동작에 대응하여, 새로운 터치 입력 또는 음성 입력을 감지하는 단계;
    상기 새로운 터치 입력 또는 음성 입력을 분석하는 단계; 및
    상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 새로운 임의의 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  5. 제1항에 있어서, 상기 수행하는 단계는,
    문자의 삽입, 삭제, 잘라내기, 복사, 붙여넣기, 위치 교환, 문자 변환, 저장 중 하나 이상을 포함하는 문자 편집을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  6. 제1항에 있어서, 상기 수행하는 단계는,
    상기 터치 입력이 특수 기호 문자인 경우, 상기 특수 기호를 기초로, 평서문, 의문문, 감탄문 중 어느 하나에 대응하여 상기 하나 이상의 문자에 대한 문장 타입을 판단하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  7. 제1항에 있어서, 상기 수행하는 단계는,
    상기 터치 입력 또는 상기 음성 입력에 대응하는 단말의 기능 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  8. 제7항에 있어서, 상기 단말의 기능은,
    상기 하나 이상의 문자를 기초로 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상인 것을 특징으로 하는 문자 편집 방법.
  9. 제1항에 있어서, 상기 수행하는 단계는,
    문자 편집, 대체 문자 목록, 글자체 변경 중 하나 이상으로 구성되는 하위 메뉴를 표시하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
  10. 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 표시부; 및
    터치 입력을 감지하는 터치 입력부;
    음성 입력을 감지하는 음성 입력부; 및
    상기 터치 입력 또는 상기 음성 입력이 감지되는 경우, 상기 터치 입력 또는 상기 음성 입력을 분석하고, 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 제어부를 포함하는 것을 특징으로 하는 단말.
  11. 제10항에 있어서, 상기 제어부는,
    상기 터치 입력이 감지되는 경우, 감지된 터치 입력의 하나 이상의 위치, 드래그 발생 여부, 형태, 문자 여부, 지속 시간, 보조키 사용 여부, 연속 터치 여부 중 하나 이상을 포함하는 터치 타입을 분석하고, 상기 음성 입력이 감지되는 경우, 상기 음성 입력에 대하여 음성 인식을 수행하는 것을 특징으로 하는 단말.
  12. 제11항에 있어서, 상기 하나 이상의 문자에 대한 임의의 동작은,
    상기 보조키 사용 여부를 기초로 동일한 터치 입력에 대하여 서로 다르게 설정되는 것을 특징으로 하는 단말.
  13. 제10항에 있어서, 상기 제어부는,
    상기 임의의 동작에 대응하여, 새로운 터치 입력 또는 음성 입력을 감지하도록 상기 터치 입력부 또는 상기 음성 입력부를 제어하고, 상기 새로운 터치 입력 또는 음성 입력을 분석하고, 상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 새로운 임의의 동작을 수행하는 것을 특징으로 하는 단말.
  14. 제10항에 있어서, 상기 제어부는,
    상기 터치 입력 또는 상기 음성 입력에 대응하여 자연 언어 처리 수행, 호 발신, 문자 메시지 전송, 메모 저장, 정보 검색, 멀티미디어 재생 중 하나 이상인 단말의 기능 제어를 수행하는 것을 특징으로 하는 단말.
  15. 제10항에 있어서, 상기 제어부는,
    문자 편집, 대체 문자 목록, 글자체 변경 중 하나 이상으로 구성되는 하위 메뉴를 표시하도록 상기 표시부를 제어하는 것을 특징으로 하는 단말.
  16. 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계;
    터치 입력이 감지되는 경우, 감지된 터치 입력의 보조키 사용 여부를 포함한 터치 타입을 분석하는 단계; 및
    상기 분석 결과를 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하되,
    상기 임의의 동작은 상기 보조키 사용 여부에 따라 동일한 터치 입력에 대하여 서로 다르게 설정된 임의의 동작인 것을 특징으로 하는 문자 편집 방법.
  17. 음성 인식에 의하여 형성된 하나 이상의 문자를 표시하는 단계;
    터치 입력이 감지되는 경우, 상기 터치 입력을 분석하는 단계;
    상기 분석 결과에 대응하여, 음성 입력을 감지하는 단계;
    상기 감지된 음성 입력을 기초로, 상기 하나 이상의 문자에 대한 임의의 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 문자 편집 방법.
KR1020120080635A 2012-07-24 2012-07-24 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말 KR20140014510A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120080635A KR20140014510A (ko) 2012-07-24 2012-07-24 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
US13/950,053 US10241751B2 (en) 2012-07-24 2013-07-24 Terminal and speech-recognized text edit method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120080635A KR20140014510A (ko) 2012-07-24 2012-07-24 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말

Publications (1)

Publication Number Publication Date
KR20140014510A true KR20140014510A (ko) 2014-02-06

Family

ID=50264390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120080635A KR20140014510A (ko) 2012-07-24 2012-07-24 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말

Country Status (2)

Country Link
US (1) US10241751B2 (ko)
KR (1) KR20140014510A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133325A (ko) * 2018-05-23 2019-12-03 카페24 주식회사 음성인식 방법 및 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9787819B2 (en) 2015-09-18 2017-10-10 Microsoft Technology Licensing, Llc Transcription of spoken communications
US20190013016A1 (en) * 2017-07-07 2019-01-10 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Converting speech to text and inserting a character associated with a gesture input by a user
JP7006198B2 (ja) * 2017-12-01 2022-01-24 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP7202853B2 (ja) * 2018-11-08 2023-01-12 シャープ株式会社 冷蔵庫
JP6651275B1 (ja) * 2019-08-01 2020-02-19 株式会社ディスコ 加工装置
US11238865B2 (en) * 2019-11-18 2022-02-01 Lenovo (Singapore) Pte. Ltd. Function performance based on input intonation

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6021218A (en) * 1993-09-07 2000-02-01 Apple Computer, Inc. System and method for organizing recognized and unrecognized objects on a computer display
US5855000A (en) * 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
WO1999056198A2 (en) * 1998-04-24 1999-11-04 Natural Input Solutions Inc. Pen based edit correction interface method and apparatus
US6904405B2 (en) * 1999-07-17 2005-06-07 Edwin A. Suominen Message recognition using shared language model
US6581033B1 (en) * 1999-10-19 2003-06-17 Microsoft Corporation System and method for correction of speech recognition mode errors
US6670951B2 (en) * 2001-07-03 2003-12-30 Hewlett-Packard Development Company, L.P. Methods and systems for increasing the input efficiency of personal digital assistants and other handheld stylus-engagable computing devices
US7369997B2 (en) * 2001-08-01 2008-05-06 Microsoft Corporation Controlling speech recognition functionality in a computing device
US7444286B2 (en) * 2001-09-05 2008-10-28 Roth Daniel L Speech recognition using re-utterance recognition
US7260529B1 (en) * 2002-06-25 2007-08-21 Lengen Nicholas D Command insertion system and method for voice recognition applications
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US6989822B2 (en) * 2003-11-10 2006-01-24 Microsoft Corporation Ink correction pad
US7477233B2 (en) * 2005-03-16 2009-01-13 Microsoft Corporation Method and system for providing modifier key behavior through pen gestures
US8571862B2 (en) * 2006-11-30 2013-10-29 Ashwin P. Rao Multimodal interface for input of text
US20090049405A1 (en) * 2007-06-01 2009-02-19 Kendall Gregory Lockhart System and method for implementing session-based navigation
US9019245B2 (en) * 2007-06-28 2015-04-28 Intel Corporation Multi-function tablet pen input device
US20090326938A1 (en) * 2008-05-28 2009-12-31 Nokia Corporation Multiword text correction
KR100988397B1 (ko) * 2008-06-09 2010-10-19 엘지전자 주식회사 이동 단말기 및 그의 텍스트 수정방법
US9280971B2 (en) * 2009-02-27 2016-03-08 Blackberry Limited Mobile wireless communications device with speech to text conversion and related methods
KR101542136B1 (ko) * 2009-03-31 2015-08-05 삼성전자 주식회사 문자 메시지 작성 방법 및 이를 이용한 휴대 단말기
US9563350B2 (en) * 2009-08-11 2017-02-07 Lg Electronics Inc. Mobile terminal and method for controlling the same
US9465532B2 (en) * 2009-12-18 2016-10-11 Synaptics Incorporated Method and apparatus for operating in pointing and enhanced gesturing modes
US8494852B2 (en) * 2010-01-05 2013-07-23 Google Inc. Word-level correction of speech input
US8635555B2 (en) * 2010-06-08 2014-01-21 Adobe Systems Incorporated Jump, checkmark, and strikethrough gestures
CN103649876B (zh) * 2010-11-20 2017-02-15 纽昂斯通信有限公司 使用上下文键盘在计算设备上执行操作
US20120146955A1 (en) * 2010-12-10 2012-06-14 Research In Motion Limited Systems and methods for input into a portable electronic device
US20120260176A1 (en) * 2011-04-08 2012-10-11 Google Inc. Gesture-activated input using audio recognition
US8982062B2 (en) * 2011-05-09 2015-03-17 Blackberry Limited Multi-modal user input device
KR101863926B1 (ko) * 2011-07-19 2018-06-01 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9524097B2 (en) * 2011-12-22 2016-12-20 International Business Machines Corporation Touchscreen gestures for selecting a graphical object
US9361883B2 (en) * 2012-05-01 2016-06-07 Microsoft Technology Licensing, Llc Dictation with incremental recognition of speech

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190133325A (ko) * 2018-05-23 2019-12-03 카페24 주식회사 음성인식 방법 및 장치

Also Published As

Publication number Publication date
US20150032460A1 (en) 2015-01-29
US10241751B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
US10775967B2 (en) Context-aware field value suggestions
KR101911088B1 (ko) 햅틱 피드백 보조 텍스트 조작
US8656296B1 (en) Selection of characters in a string of characters
AU2014212844B2 (en) Character and word level language models for out-of-vocabulary text input
CN106415446B (zh) 通过触觉交互对内容属性的可访问性检测
CN109906431B (zh) 启用动作的着墨工具
KR20140014510A (ko) 음성 인식에 의하여 형성된 문자의 편집 방법 및 그 단말
US20120306747A1 (en) Device, Method, and Graphical User Interface for Entering Alternate Characters with a Physical Keyboard
CN108885505B (zh) 具有交互式内容元素的直观文档导航
US20140240262A1 (en) Apparatus and method for supporting voice service in a portable terminal for visually disabled people
WO2014058584A2 (en) Media insertion interface
EP2909702B1 (en) Contextually-specific automatic separators
CN103870133A (zh) 用于滚动显示装置的屏幕的方法和设备
US20140210729A1 (en) Gesture based user interface for use in an eyes-free mode
US10915501B2 (en) Inline content file item attachment
US20140215339A1 (en) Content navigation and selection in an eyes-free mode
CN104281560B (zh) 一种记忆文本信息的显示方法、装置及终端
KR20080068495A (ko) 터치 스크린을 구비한 전자 기기 및 이를 이용한 정보 입력방법
EP3523715B1 (en) Select and move hint
CN111813366A (zh) 通过语音输入对文字进行编辑的方法和装置
KR20130141107A (ko) 메모 검색 방법 및 그 단말

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination