KR101385012B1 - 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법 - Google Patents

필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법 Download PDF

Info

Publication number
KR101385012B1
KR101385012B1 KR1020120023725A KR20120023725A KR101385012B1 KR 101385012 B1 KR101385012 B1 KR 101385012B1 KR 1020120023725 A KR1020120023725 A KR 1020120023725A KR 20120023725 A KR20120023725 A KR 20120023725A KR 101385012 B1 KR101385012 B1 KR 101385012B1
Authority
KR
South Korea
Prior art keywords
information
handwriting
result information
recognition module
conversion
Prior art date
Application number
KR1020120023725A
Other languages
English (en)
Other versions
KR20130102702A (ko
Inventor
도정인
Original Assignee
주식회사 디오텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 디오텍 filed Critical 주식회사 디오텍
Priority to KR1020120023725A priority Critical patent/KR101385012B1/ko
Publication of KR20130102702A publication Critical patent/KR20130102702A/ko
Application granted granted Critical
Publication of KR101385012B1 publication Critical patent/KR101385012B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법에 대한 것으로서, 더욱 상세하게는 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화되는 음성인식모듈로부터 수신한 음성정보를 이용하여 필기인식모듈로부터 수신한 필기정보의 오인식 부분을 파악하고, 그 오인식 부분을 수정하여 결과정보로 변환하는 제어기와, 필기변환 결과정보 또는/및 수정결과정보를 표시하는 디스플레이 장치를 포함하여 구성됨으로써, 필기인식 결과를 확인한 후 음성정보만을 제공하면 최초 필기정보의 오인식 부분을 자동으로 파악 및 수정할 수 있을 뿐만 아니라 음성 입력이 인가되는 타이밍을 미리 결정해두어 별도의 사용자 조작이나 불필요한 전력 소비를 줄일 수 있다는 장점이 있고, 오인식 부분 파악에 대한 정확도 수치에 따라 결정되는 다양한 수정 방식을 제공하여 오인식률을 줄일 수 있다는 장점이 있다.

Description

필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법 {Multi-modal input device using handwriting and voice recognition and control method thereof}
본 발명은 멀티모달 입력장치 및 그 입력장치의 제어방법으로서, 더욱 상세하게는 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화되는 음성인식모듈로부터 수신한 음성정보를 이용하여 필기인식모듈이 오인식한 부분을 파악 및 수정하여 결과를 표시하는 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법에 관한 것이다.
최근 컴퓨터, 이동 단말기기 등과 같은 전자기계장치와 인간 사이의 통신하는 수단과 관련해서, 키보드, 펜, 음성 등과 같은 복수 개의 입력을 통합하여 이용하는 멀티모달(다중모드) 방식의 텍스트 입력 인터페이스 활용 기술이 주목받고 있다.
이러한 멀티모달 기술을 활용한 방식 중에 최초 입력방식을 통해 얻은 결과 정보(텍스트)의 오인식 부분을 두 번째 입력방식을 통해 교정 및 수정하는 방식들이 종래에 공개된 바 있다.
본 발명과 관련된 종래기술인 미국등록특허 US 7,506,271에서는 필기 인식 방식을 통해 얻은 최초 결과 정보를 표시하면, 사용자가 오인식 부분을 선택하고 그 오인식 부분을 음성 인식, 키보드 활용 혹은 교체 가능한 단어 리스트 제공을 통해 교정 및 수정하는 방식을 공개하고 있다.
또한, 본 발명과 관련된 다른 종래기술인 미국등록특허 US 7,941,316에서는 사용자가 활성화시킨 음성 인식 모듈을 통해 얻은 최초 결과 정보를 표시하면, 한번에 한 단어씩 오인식 여부를 체크하도록 키보드 혹은 교체 가능한 단어 리스트를 제공하여 그 오인식 부분을 교정 및 수정하는 방식에 대해 공개하고 있다.
그러나, 종래에 공개된 멀티모달 기술에서 오인식 부분을 교정 및 수정하기 위해서는 사용자가 직접 오인식 부분을 선택하여 키보드를 이용해 키 입력을 하거나 교체 가능 리스트에서 선택해야 하는 불편함이 있었고, 음성 인식을 통해 수정하는 경우에도 음성 인식 엔진 활성화를 위해 사용자의 별도 조작이 필요하다는 불편함이 있었다.
본 발명은 상기와 같은 문제점을 개선하기 위해서, 사용자가 별도 조작에 의해 지정하지 않아도 음성인식모듈이 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화되고, 수신되는 음성정보가 있으면 이를 바탕으로 최초 필기정보의 오인식 부분을 자동으로 파악 및 수정하여, 사용자가 원하는 입력정보를 정확하고도 편리하게 얻을 수 있는 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법을 제공하는데 그 목적이 있다.
상기와 같은 필기 및 음성 인식을 이용한 멀티모달 입력장치는, 필기정보를 인식하여 제1 결과정보를 포함하는 복수 개의 제1 변환정보로 변환하는 필기인식모듈; 상기 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화되어 음성정보를 인식하여 제2 결과정보를 포함하는 복수 개의 제2 변환정보로 변환하는 음성인식모듈; 상기 음성인식모듈로부터 수신한 복수 개의 제2 변환정보를 이용하여 상기 필기인식모듈로부터 수신한 제1 결과정보의 오인식 부분을 파악하는 판단부와, 상기 제1 결과정보의 오인식 부분을 수정하여 제3 결과정보를 얻는 수정부를 포함하는 제어기; 및 상기 제1 결과정보와 제3 결과정보 중 적어도 어느 하나의 정보를 표시하는 디스플레이 장치;를 포함하여 구성된다.
한편, 본 발명의 다른 측면인 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법은, 필기인식모듈에서 필기정보를 인식하여 변환된 복수 개의 제1 변환정보 중에 제1 결과정보를 디스플레이 장치로 표시하는 제1 단계; 상기 제1 변환정보로의 변환 직후에 음성인식모듈이 미리 결정된 시간 동안 자동으로 활성화되어, 상기 시간 동안 음성정보를 인식하면 제2 결과정보를 포함하는 복수 개의 제2 변환정보로 변환하는 제2 단계; 상기 복수 개의 제2 변환정보를 이용하여 상기 제1 결과정보의 오인식 부분을 파악하는 제3 단계; 및 파악된 오인식 부분을 수정하여 상기 제1 결과정보 대신에 제3 결과정보를 상기 디스플레이 장치에 표시하거나, 상기 제1, 제3 결과정보를 동시에 상기 디스플레이 장치에 표시하는 제4 단계;를 포함하여 구성된다.
상기와 같은 본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 제어방법을 이용하면, 필기인식 결과를 확인한 후 사용자의 별도 조작 없이도 음성정보만을 제공하면 최초 필기정보의 오인식 부분을 자동으로 파악 및 수정할 수 있어, 사용자가 원하는 입력정보를 정확하게 결과로 얻을 수 있다는 장점이 있다.
또한, 종래기술의 경우 음성인식모듈을 음성 인식이 가능한 상태로 활성화 또는 전환시키기 위해 별도의 사용자 조작이 필요한 것과 다르게, 본 발명의 음성인식모듈은 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화됨으로써, 음성 입력이 인가되는 타이밍을 미리 결정해두어 사용자의 조작이 필요하지 않아 편리하고, 불필요한 전력 소비를 줄이면서 오인식률을 낮출 수 있다는 장점이 있다.
아울러, 본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 제어방법을 이용하면, 인식 가능한 언어를 선택할 수 있는 옵션을 제공하여 어떠한 언어를 사용하는 사람이라도 쉽게 이용할 수 있으며, 알림창을 디스플레이 장치에 표시하여 처음 사용하는 사람일지라도 필기인식 변환 후 미리 결정된 시간 동안 음성인식을 통해 오인식 부분을 수정할 수 있다는 사실을 알 수 있다는 장점이 있다.
덧붙여, 본 발명에서는 최초 필기인식된 결과에서 오인식 부분을 자동으로 파악하고 오인식 부분 파악에 대한 정확도 수치에 따라 결정되는 매칭 방식, 언어 모델 방식, 직접 선택 방식 등의 다양한 수정 방식을 제공함으로써, 오인식률을 탁월하게 줄일 수 있다는 장점이 있다.
도 1 은 본 발명의 일 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 내부 개략도
도 2는 본 발명의 일 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 외부 개략도
도 3은 본 발명의 일 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법에 대한 순서도
도 4는 본 발명의 다른 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법에 대한 순서도
도 5a는 제1 결과정보의 오인식 부분을 파악하는 과정에서 제1, 제2 변환정보를 비교하는 것을 나타내는 개략도
도 5b는 도 5a에서 제1, 제2 변환정보 중 서로 매칭되는 제2 결과정보를 검색하는 것을 나타내는 개략도
도 6a는 도 2의 디스플레이 장치에 표시되는 결과에 대한 하나의 예를 나타내는 도면
도 6b는 도 2의 디스플레이 장치에 표시되는 결과에 대한 다른 예를 나타내는 도면
이하, 본 발명을 첨부도면을 참조로 보다 상세하게 설명하기로 한다. 본 명세서 및 특허청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
도 1 은 본 발명의 일 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 내부 개략도이다.
본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치(100)는, 필기정보를 인식하여 제1 결과정보를 포함하는 복수 개의 제1 변환정보로 변환하는 필기인식모듈(110); 그 필기인식모듈(110)의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화되어 음성정보를 인식하여 제2 결과정보를 포함하는 복수 개의 제2 변환정보로 변환하는 음성인식모듈(120); 그 음성인식모듈(120)로부터 수신한 복수 개의 제2 변환정보를 이용하여 필기인식모듈(110)로부터 수신한 제1 결과정보의 오인식 부분을 파악하는 판단부(132)와, 제1 결과정보의 오인식 부분을 수정하여 제3 결과정보를 얻는 수정부(134)를 포함하는 제어기(130); 및 제1 결과정보와 제3 결과정보 중 적어도 어느 하나의 정보를 표시하는 디스플레이 장치(140);를 포함하여 구성되는 점에 기술적 특징이 있다.
앞으로 설명할 본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치(100)는 필기정보를 먼저 수신하여 그 결과를 표시하고, 음성정보를 통해 표시된 결과의 오인식 부분을 파악 및 수정해 다시 결과를 표시하는 것을 주된 특징으로 하며, 사용자가 입력하는 필기정보나 음성정보는 하나 이상의 단어 또는 복수 개의 단어로 이루어진 하나 이상의 문장인 것이 바람직하다.
본 발명에서 필기인식모듈(110)은 필기정보를 인식하여 복수 개의 제1 변환정보로 변환하는 장치로서, 대표적으로 입력 아날로그 데이터인 좌표를 판독하여 디지털 형식으로 전달해주는 입력장치인 디지타이저(digitizer)를 이용한 별도의 장치 혹은 터치스크린 방식의 디스플레이 장치(140)에 대해 전자펜 혹은 손가락 등을 이용해서 사용자가 입력하는 필기정보를 인식하고, 그 필기정보를 미리 결정된 알고리즘에 따라 복수 개의 제1 변환정보로 변환한다.
이때, 복수 개의 제1 변환정보 중에는 후술할 디스플레이 장치(140)에 표시되는 제1 결과정보가 포함되어 있는데, 제1 결과정보 선정기준은 위 알고리즘에 따라 달라질 수 있고, 이러한 알고리즘은 종래에 알려진 어떠한 방식이라도 적용 가능하며, 필기인식모듈(110)에서는 예를 들어 필기정보와 확률적으로 가장 유사한 제1 변환정보를 제1 결과정보로 결정할 수 있다.
음성인식모듈(120)은 음성정보를 인식하여 복수 개의 제2 변환정보로 변환하는 장치로서, 상술한 필기인식모듈(110)의 변환 동작 직후에 사용자의 특별한 조작 없이도 미리 결정된 시간 동안 자동으로 활성화되는 점에 특징이 있고, 사용자가 마이크 등을 통해 인가하는 음성정보를 인식하여 그 음성정보를 미리 결정된 알고리즘에 따라 복수 개의 제2 변환정보로 변환한다.
이때, 음성인식모듈(120)이 활성화되는 시간은 사용자에 의해 조절될 수 있고, 복수 개의 제2 변환정보에는 제2 결과정보가 포함되어 있는데, 제2 결과정보에 대한 검색과 관련해서는 후술하기로 한다.
제어기(130)는 상술한 음성인식모듈(120)로부터 수신한 복수 개의 제2 변환정보를 이용하여 필기인식모듈(110)로부터 수신한 제1 결과정보의 오인식 부분을 파악 및 수정하여 제3 결과정보로 변환하는 장치로서, 특히, 제1 결과정보의 오인식 부분을 파악하는 판단부(132)와, 파악된 오인식 부분을 수정하여 제3 결과정보를 얻는 수정부(134)를 포함하여 구성된다.
판단부(132)는 오인식 부분을 파악하는 장치로서, 필기인식모듈(110)로부터 수신한 복수 개의 제1 변환정보와 음성인식모듈(120)로부터 수신한 복수 개의 제2 변환정보 중에 서로 매칭되는 제2 결과정보를 검색 및 이용하여 오인식 부분을 자동으로 파악하도록 프로그램되거나 제어되는 것이 바람직하다.
수정부(134)는 판단부(132)에서 파악된 오인식 부분에 대한 정보를 수신하여 오인식 부분을 자동으로 수정하도록 프로그램되거나 제어되는 장치로서, 다양한 수정 방법이나 알고리즘이 미리 저장되어 있을 수 있는데, 오인식 부분 파악에 대한 정확도 수치와 미리 결정된 기준 값을 비교를 통해 결정된 수정 방법을 이용하여 제1 결과정보의 오인식 부분을 수정하는 것이 바람직하다.
판단부(132)의 오인식 부분 파악방법 및 수정부(134)의 오인식 부분 수정방법 등과 관련된 구체적인 설명은 후술하기로 한다.
아울러, 상술한 판단부(132) 및 수정부(134)는 사전 데이터베이스(150)에 저장되어 있는 단어정보, 언어 모델 정보를 포함하는 정보를 수신할 수 있는데, 특히 판단부(132)는 언어 모델 정보를 수신하여 오인식 부분을 파악하는 데에 독립적으로 혹은 보조적으로 이용할 수 있고, 수정부(134)는 언어 모델 정보를 수신하여 오인식 부분을 수정하는 데에 독립적으로 혹은 보조적으로 이용할 수 있다.
사전 데이터베이스(150)는 본 발명에 따른 멀티모달 입력장치(100) 내에 탑재된 내장형이거나 외부 서버와 유무선 통신망을 통해 연동되는 외장형일 수 있고, 지속적인 업데이트가 이루어질 수 있으며, 상술한 필기인식모듈(110)과 음성인식모듈(120)에 대해서도 단어정보를 포함하는 정보를 송신할 수 있다.
여기서, 언어 모델(language model) 정보라 함은 제1 결과정보의 오인식 부분을 파악 및 수정하는 데에 독립적으로 또는 보조적으로 사용될 수 있는 것으로서, 일예로 영어로 된 문장인 제1 결과정보의 오인식 부분을 파악하는 경우에는 제1 결과정보를 이루는 각 단어별로 주어, 동사, 목적어, 보어 등의 위치에 알맞게 있는가를 분석할 수 있고, 파악된 오인식 부분을 수정하는 경우에는 복수 개의 제2 변환정보 중에서 오인식 부분에 문법적으로 대체 가능한 변환정보가 어떤 것인지 분석할 수 있다.
덧붙여, 제어기(130)는 판단부(132) 및 수정부(134) 이외에도 언어옵션부(136)와, 알림부(138)를 더 포함하여 구성될 수 있는데, 언어옵션부(136)는 음성인식모듈(120)의 활성화와 동시에 알림창, 예를 들면 오인식 부분에 대해 음성으로 수정 가능하다는 내용 및/또는 마이크 기호 등을 담고 있는 알림창을 후술할 디스플레이 장치(140)에 표시하도록 제어할 수 있다.
여기서, 상기 알림창의 표시 형식은 다양하게 변경될 수 있음은 물론이다.
또, 알림부(138)는 본 발명에 따른 멀티모달 입력장치(100) 동작 중에 필기정보 및 음성정보와 관련하여 선택 가능한 언어 옵션을 디스플레이 장치(140)에 표시하도록 제어하는 것이 바람직하다.
언어옵션부(136)는 필기인식이나 음성인식이 이루어지기 전에 후술할 사용자신호를 수신하여 작동하는 것이 바람직하고, 알림부(138)는 필기인식이 이루어진 직후에 작동하는 것이 바람직하나, 작동 시점은 조절 가능하다.
본 발명에서 디스플레이 장치(140)는 제1 결과정보와 제3 결과정보 중 적어도 어느 하나의 정보를 표시하는 장치로서, 본 발명에서 형태, 종류, 크기, 재질 등의 조건에 특별한 제한없이 적용 가능하며, 터치 스크린이 디스플레이 장치(140)로 적용되면 일방적으로 결과를 표시하는 장치가 아닌 그 자체가 하나의 입력 인터페이스로 동작하여 필기정보를 필기인식모듈(110)로 송신할 수 있다.
나아가, 후술할 수정부(134)의 구체적인 오인식 부분 수정방법에 따라서 디스플레이 장치(140)는 오인식 부분과 대응되는 제1 변환정보 및 제2 변환정보를 표시할 수 있고, 가상 키보드 등의 다른 입력방식을 표시할 수 있으며, 디스플레이 장치(140)를 통해 인가되는 사용자신호에 의해 결정된 변환정보를 제어기(130)의 수정부(134)로 전달할 수도 있다.
즉, 디스플레이 장치(140)는 경우에 따라 필기인식모듈(110), 음성인식모듈(120)로부터 각각 제1 변환정보와 제2 변환정보를 직접적으로 수신하여 표시할 수 있고, 제어기(130)로부터도 제1, 제2 변환정보 및 제3 결과정보를 수신하여 표시할 수 있다.
본 발명의 일 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치(200)의 외부 개략도인 도 2를 참고하면, 사용자가 디지타이저(210) 상에 전자펜(220)을 이용하여 필기체로 필기정보(250)를 입력하고 있고, 디스플레이 장치(230)가 필기정보(250)로부터 변환된 제1 결과정보(260)를 표시하고 있다.
다만, 입력한 필기정보(250) 중 일부(252)가 오인식되어 디스플레이 장치(230)에 표시되어 있음을 사용자가 확인할 수 있고, 사용자가 오인식 부분(262)에 대한 수정 및 교정을 위해 음성정보(272)를 마이크(240) 부근에서 인가하고 있다.
상술한 바와 같이 본 발명의 음성인식모듈은 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안만 자동으로 활성화되므로, 사용자는 수정하고자 하는 음성정보(272)를 필기인식 결과 확인 후 일정 시간 내에 인가해야 한다는 것을 이해할 수 있다.
이와 같은 필기 및 음성 인식을 이용한 멀티모달 입력장치(100)를 통해, 필기인식 결과를 확인한 후 음성정보를 제공하면 최초 필기정보의 오인식 부분을 자동으로 파악 및 수정할 수 있을 뿐만 아니라 음성 인식이 가능한 타이밍을 미리 결정해두어 별도의 사용자 조작이나 불필요한 전력 소비를 줄일 수 있다는 장점이 있다.
한편, 본 발명의 다른 측면인 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법에 대해서 도 3 및 도 4를 참고하여 설명하면서 특히, 제1 결과정보의 오인식 부분을 파악하는 방법 및 수정하는 방법에 대하여 도 5a, 도 5b 그리고 도 6a, 도 6b를 참고하여 설명한다.
도 3은 본 발명의 일 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법에 대한 순서도이다.
본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법은, 필기인식모듈에서 필기정보를 인식하여 변환된 복수 개의 제1 변환정보 중에 제1 결과정보를 디스플레이 장치로 표시하는 제1 단계; 제1 변환정보로의 변환 직후에 음성인식모듈이 미리 결정된 시간 동안 자동으로 활성화되어, 그 시간 동안 음성정보를 인식하면 제2 결과정보를 포함하는 복수 개의 제2 변환정보로 변환하는 제2 단계; 복수 개의 제2 변환정보를 이용하여 제1 결과정보의 오인식 부분을 파악하는 제3 단계; 및 파악된 오인식 부분을 수정하여 제1 결과정보 대신에 제3 결과정보를 디스플레이 장치에 표시하거나, 제1, 제3 결과정보를 동시에 디스플레이 장치에 표시하는 제4 단계;를 포함하여 이루어지는 점에 기술적 특징이 있다.
다시 말하자면, 도 3에 도시된 것처럼 본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어가 시작되면(S300), 우선 필기인식모듈에서 필기정보를 인식하고 그 인식된 정보를 내장된 알고리즘에 따라서 변환시키는데(S302), 이러한 알고리즘은 종래에 알려진 어떠한 것이든 적용이 가능하다.
변환된 정보 중에서 위 알고리즘에 의해 결정된 필기변환 결과정보를 디스플레이 장치에서 표시하고, 음성인식모듈이 필기인식모듈의 변환 동작 직후에 사용자의 특별한 조작 없이도 미리 결정된 시간 동안 자동으로 활성화되며(S304), 활성화되는 시간은 사용자의 설정 등에 의해 가변적인 것이 바람직하다.
여기서, 음성인식이 자동으로 활성화 된 상태 이후에 음성정보 인식을 대기 단계 및 필기입력 대기 단계를 더 두는 것도 바람직하다.
그 이유는, 필기인식이 완료된 후 음성인식 기능을 활성화하지만, 활성화 중에 필기입력이 되면 음성인식 기능을 비활성화하고, 필기정보 인식 및 변환(S302) 단계로 이동해야 할 필요가 있기 때문이다.
계속해서, 활성화 시간 동안 음성정보가 인식되는가 판단하며(S306), 음성정보의 인식 여부와 상관없이 미리 결정된 시간이 지나면 음성인식모듈은 자동으로 비활성 상태로 변화한다.
만약, 사용자에 의한 음성정보를 인식하면 그 인식된 정보를 적용된 알고리즘에 따라서 변환시키고, 음성변환정보를 이용하여 디스플레이 장치에 표시된 필기변환 결과정보의 오인식 부분을 파악한다(S308).
제어기에서 파악된 오인식 부분을 다양한 수정 방법 중 하나를 통해 수정하고, 수정한 결과정보를 디스플레이 장치에 표시하는데(S310), 기존의 필기변환 결과정보 대신에 수정한 결과정보를 표시하거나 양 결과정보를 동시에 표시한다.
만약, 활성화 시간 동안 음성인식모듈이 음성정보를 인식하지 못하면(S312) 오인식 부분이 없다고 판단하여 필기변환 결과정보만을 표시하고, 제어를 종료한다(S314).
덧붙여, 오인식 부분을 파악 및 수정할 때 언어 모델이 함께 적용되는 것이 바람직하고, 오인식 부분의 수정 방법에 대한 결정은 오인식 부분 파악에 대한 정확도 수치와 미리 결정된 기준 값을 비교 이후에 이루어지는 것이 바람직하다.
도 4는 본 발명의 다른 실시예에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법에 대한 순서도로서, 특히 제1 결과정보의 오인식 부분에 대한 파악 방법 및 수정 방법에 대해 나타낸다.
본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법에 의해 제어가 시작되면(S400), 우선 제어기의 언어옵션부가 작동하여 입력되는 필기정보 및 음성정보와 관련하여 선택 가능한 언어 옵션을 디스플레이 장치에 표시할 수 있다(S402).
언어옵션부의 작동시점은 사용자가 전체 과정 중에 언제라도 선택할 수 있는 것이고, 언어옵션부 작동을 통해 제공되는 언어 중 하나의 언어를 선택하면 그 선택된 언어에 따라 필기인식모듈 및 음성인식모듈의 변환동작이 이루어진다.
사용자는 언어 옵션으로 제공되는 한국어, 영어, 중국어, 일본어 등의 언어 중 하나의 언어를 선택할 수 있어 편의성이 증대되고, 사전 데이터베이스를 통해 지속적인 업데이트가 이루어질 수 있어 제공 가능한 언어가 늘어나면서 보다 향상된 인식률을 보일 수 있다.
이후 필기인식모듈에서 필기정보를 인식하고 그 인식된 정보를 내장된 알고리즘에 따라서 복수 개의 제1 변환정보로 변환시키고(S404), 복수 개의 제1 변환정보 중에서 알고리즘에 의해 결정된 제1 결과정보를 디스플레이 장치에 표시하며, 필기인식모듈의 변환 동작 직후에 사용자의 특별한 조작 없이도 미리 결정된 시간 동안 음성인식모듈이 자동으로 활성화된다(S406).
이때, 제어기의 알림부가 작동하여 사용자에게 오인식 부분에 대해 음성으로 수정이 가능하다는 것을 알리는 알림창을 디스플레이 장치에 표시하는 것이 바람직하고(S408), 이렇게 표시되는 알림창을 통해 처음 사용하는 사용자나 사용에 익숙하지 않은 사용자라도 제1 결과정보의 오인식 부분을 확인하고 음성으로 오인식 부분을 수정할 수 있다.
이어서 활성화 시간 동안 음성정보가 인식되는가 판단하며(S410), 음성정보의 인식 여부와 상관없이 미리 결정된 시간이 지나면 음성인식모듈은 자동으로 비활성 상태로 변화한다.
만약, 음성정보가 인식되면 활성화 상태의 음성인식모듈은 그 음성정보를 적용된 알고리즘에 따라서 복수 개의 제2 변환정보로 변환시키고(S412), 제1 변환정보와 제2 변환정보를 수신한 제어기의 판단부는 양 변환정보를 서로 비교하는 단계(S414)와, 제1, 제2 변환정보 중 서로 매칭되는 제2 결과정보를 검색하는 단계(S416)와, 제2 결과정보를 이용하여 오인식 부분을 파악하는 단계(S418)를 수행할 수 있다.
이때, 오인식 부분 파악 과정에서 복수 개의 제2 변환정보를 이용함과 동시에 언어 모델도 적용하는 것이 바람직하다.
이하, 도 5a 및 도 5b를 참고하여 'I like that boy'라는 필기정보(250)가 사용자에 의해 입력된 경우 제1 결과정보의 오인식 부분을 파악하는 과정에 대해 구체적으로 살펴본다.
도 5a는 제어기의 판단부에서 제1 결과정보의 오인식 부분을 파악하는 과정 중에서 제1, 제2 변환정보를 비교하는 것을 나타내는 개략도로서, 필기인식모듈은 'I like that boy'라는 필기정보(250)를 복수 개의 제1 변환정보로 변환하고, 음성인식모듈은 'boy'라는 음성정보(272)를 복수 개의 제2 변환정보로 변환하며, 제1 변환정보 및 제2 변환정보를 수신한 판단부는 제1 변환정보에 대해 미리 결정된 우선순위에 따라 각각의 제2 변환정보를 비교할 수 있다.
즉, 'I like that bag'이란 제1 결과정보(260)를 얻는 과정에서 'I', 'like', 'that', 'bag' 각각에 대한 변환 값인 제1 변환정보가 존재하고, 판단부는 제2 변환정보인 'boi', 'boy', 'voy', 'voit' 등을 각각 1순위, 2순위, 3순위, 4순위 등으로 나열하여 순위대로 복수 개의 제1 변환정보와 비교해나갈 수 있다.
일예로 1순위인 'boi'를 제1 변환정보와 비교하면 매칭되는 값이 검색되지 않고, 2순위인 'boy'를 제1 변환정보와 비교하면 도 5b에 도시된 것처럼 매칭되는 값이 검색되는데 이를 제2 결과정보(270)라고 정의하며, 판단부는 복수 개의 제2 변환정보 중 제1 변환정보와 매칭되는 제2 결과정보(270)를 이용하여 오인식 부분을 파악할 수 있다.
만약, 제2 변환정보 중 1순위인 'boi'와 매칭되는 제1 변환정보가 검색되는 경우라도 제1 결과정보(260) 중에서 'bag' 부분과 대응되는 'bay', 'bey', 'bog', 'boy' 등과 같은 변환 값들 중 하나일 확률이 가장 높아, 판단부는 이 경우에도 제2 변환정보를 이용하여 오인식 부분을 파악할 수 있으며, 사전 데이터베이스로부터 수신한 언어 모델 정보를 함께 적용하여 오인식 부분에 대한 파악 정확도를 더 높일 수 있다.
여기서, 정확하게 동일한 변환정보에 대해 매칭이라고 판단하여 제2 결과정보(270)로 선정하는 것이 바람직하지만, 판단부의 내부 설정에 따라 일정 확률 이상의 유사성을 갖는 변환정보라 판단하여 매칭되는 제2 결과정보(270)로 선정할 수도 있다.
계속해서 파악된 제1 결과정보의 오인식 부분을 수정하는 일련의 절차가 제어기의 수정부에서 이루어지는데, 수정부에는 다양한 방식의 수정 방법이 저장되어 있을 수 있다.
수정부에서 오인식 부분의 수정 방법을 결정함에 있어서, 오인식 부분 파악에 대한 정확도 수치와 미리 결정된 기준 값을 비교하는 단계(S420)를 거쳐 결정하는 것이 바람직하다.
오인식 부분 파악에 대한 정확도 수치는 수정부에 적용된 알고리즘이나 프로그램에 따라서 결정되는데, 기준 값과 함께 본 발명에 따른 필기 및 음성 인식을 이용한 멀티모달 입력장치의 신뢰성을 정할 수 있는 값이므로, 각 언어별로 반복적인 테스트 결과와 지속적인 업데이트 정보를 토대로 결정되는 것이 바람직하다.
일예로 비교결과 정확도 수치가 미리 결정된 기준 값보다 동일하거나 높으면, 수정부는 오인식 부분을 제1, 제2 변환정보 중 서로 매칭되는 제2 결과정보로 수정하고(S422), 디스플레이 장치에 제2 결과정보가 반영된 제3 결과정보를 표시(S424)하도록 제어할 수 있다.
즉, 도 5b에 도시된 것과 같이 매칭되는 제2 결과정보(270)인 'boy'를 이용하여 오인식 부분인 'bag'을 수정하게 되고, 제3 결과정보인 'I like that boy'를 얻는다.
다른 예로 비교결과 정확도 수치가 미리 결정된 기준 값보다 동일하거나 높으면, 수정부는 오인식 부분을 각 제2 변환정보에 대해 언어 모델을 적용하여 결정된 언어 모델 변환정보로 수정하고(S426), 디스플레이 장치에 언어 모델 변환정보가 반영된 제3 결과정보를 표시(S428)하도록 제어할 수 있다.
이처럼 언어 모델 정보를 독립적으로 적용하여 오인식 부분을 수정할 수 있지만, 상술한 일예의 경우에 언어 모델 정보를 보조적으로 적용하여 오인식 부분을 수정하는 것도 가능하다.
또 다른 예로 비교결과 정확도 수치가 미리 결정된 기준 값보다 낮으면, 수정부는 오인식 부분을 디스플레이 장치에 표시(S430)된 오인식 부분과 대응되는 제1, 제2 변환정보 중에 사용자신호에 의해 결정된 변환정보로 수정하고(S432), 디스플레이 장치에 그 결정된 변환정보가 반영된 제3 결과정보를 표시(S424)하도록 제어할 수 있다.
즉, 정확도 수치가 미리 결정된 기준 값보다 낮으면, 수정부는 디스플레이 장치에 오인식 부분과 대응되는 제1, 제2 변환정보의 리스트 또는 가상 키보드가 표시되도록 제어할 수 있고, 사용자는 리스트 중 원래 필기하려 했던 변환정보를 선택하거나 가상 키보드를 이용해 직접 입력할 수 있다.
사용자의 선택 혹은 입력에 의해 발생한 사용자신호는 제어기의 수정부로 전달되고, 수정부는 사용자신호에 의해 결정된 변환정보로 오인식 부분을 수정할 수 있다.
이처럼 정확도 수치가 미리 결정된 기준 값보다 낮은 경우로는, 사람 이름 또는 지역명칭과 같은 고유명사이거나, 사전 데이터베이스에 등록되어 있지 않은 단어인 경우가 해당될 수 있다.
상술한 것과 같이 파악된 오인식 부분을 다양한 방법으로 수정하여 제1 결과정보를 제3 결과정보로 변환시킨 후, 디스플레이 장치에 제1 결과정보 대신에 제3 결과정보를 표시하거나 제1, 제3 결과정보를 동시에 표시하고(S424), 제어를 종료한다(S436).
덧붙여, 제1, 제3 결과정보를 동시에 표시하는 경우 특별한 입력이 없으면 제어기에서 표시된 제3 결과정보가 사용자가 입력되길 원했던 정보라고 판단하여 제3 결과정보만을 표시하도록 제어할 수 있고, 다시 수정이 필요한 경우라면 제어기에서 상술한 수정 방법 중 하나가 디스플레이 장치를 통해 제공되도록 제어할 수 있다.
혹은 만약 음성정보 인식 여부를 판단하여(S410) 활성화 시간 동안 음성인식모듈이 음성정보를 인식하지 못하면(S434), 오인식 부분이 없다고 판단하여 제1 결과정보만을 표시하고(S438), 제어를 종료한다(S436).
이하, 지금까지 설명한 일련의 멀티모달 입력장치의 제어방법을 이용한 경우, 도 2의 디스플레이 장치에 표시되는 결과에 대해 도 6a 및 도 6b를 참고하여 살펴본다.
도 6a에서 나타낸 일 실시예를 참고하면, 사용자가 디지타이저(210) 상에 전자펜(220)을 이용하여 필기체로 'I like that boy'라는 필기정보(250)를 입력하였으나, 디스플레이 장치(230)에 표시된 'I like that bag'이라는 필기인식에 의한 제1 결과정보(260)를 살펴보면 'boy'(252) 대신에 'bag'(262)로 오인식되었음을 사용자가 알 수 있다.
즉, 본 발명에 따른 필기인식모듈은 적용된 알고리즘이나 프로그램으로 판단했을 때, 복수 개의 제1 변환정보 중에서 'bog', 'bey', 'bay', 'bou', 'boy' 등보다는 'bag'이 가장 필기정보와 유사하다고 판단하여 'bag'을 포함하는 제1 결과정보(260)로 표시한 것임을 알 수 있다.
이어서 알림부는 디스플레이 장치(230)에 음성인식모듈의 활성화와 동시에 오인식 부분(262)에 대해 음성으로 일정 시간 내에 수정 가능하다는 내용과 알림창(232)을 표시되도록 제어하고, 사용자는 원래 입력하고자 했던 'boy'라는 음성정보(272)를 인가할 수 있다.
판단부는 음성인식모듈로부터 제2 결과정보인 'boy'를 포함하는 복수 개의 제2 변환정보를 수신받아 제1 결과정보(260)의 'bag'이 오인식 부분(262)임을 파악하고, 수정부는 'bag'(262)을 'boy'(282)로 수정하여 얻은 제3 결과정보(280)를 디스플레이 장치(230)에 표시하도록 제어한다.
이때, 상술한 도 5a 및 도 5b에 도시된 것처럼 판단부는 복수 개의 제1, 제2 변환정보를 서로 비교하고 매칭되는 제2 결과정보인 'boy'를 이용하여 제1 결과정보의 오인식 부분을 파악하는 것이 바람직하며, 사전 데이터베이스에 저장된 언어 모델 정보를 참조하여 오인식 부분을 파악할 수도 있다.
또한, 도 6b에서 나타낸 다른 실시예를 참고하면, 사용자가 디지타이저(210) 상에 전자펜(220)을 이용하여 필기체로 'I like that boy, Luna'라는 필기정보(250)를 입력하였으나, 디스플레이 장치(230)에 표시된 'I like that bag, Lune'이라는 필기인식에 의한 제1 결과정보(260)를 살펴보면 'boy'(252) 대신에 'bag'(262)로 그리고 'Luna'(254) 대신에 'Lune'(264)으로 오인식되었음을 사용자가 알 수 있다.
즉, 본 발명에 따른 필기인식모듈은 적용된 알고리즘이나 프로그램으로 판단했을 때, 필기정보인 'boy'(252)와 관련된 제1 변환정보 중에서는 'bog', 'bey', 'bay', 'bou', 'boy' 등보다는 'bag'이 가장 유사하다고 판단하고, 필기정보인 'Luna'(254)와 관련된 제1 변환정보 중에서는 'Lana', 'Lane', 'Luna' 등보다는 'Lune'이 가장 유사하다고 판단하여 오인식 부분(262, 264)을 포함하는 제1 결과정보(260)를 표시한 것이다.
이어서 사용자는 제1 결과정보(260)로부터 오인식 부분(262, 264)을 확인하고 필기인식을 통해 원래 입력하고자 했던 'boy'와, 'Luna'라는 음성정보(272, 274)를 일정시간 내에 순서대로 말할 수 있다.
판단부는 음성인식모듈로부터 제2 결과정보인 'boy', 'Luna'를 포함하는 복수 개의 제2 변환정보를 수신받아 제1 결과정보(260)의 'bag', 'Lune'이 오인식 부분(262, 264)임을 파악하고, 수정부는 'bag'(262)을 'boy'(282)로 수정하여 얻은 제3 결과정보(280)를 디스플레이 장치(230)에 표시하도록 제어한다.
다만, 'Luna'의 경우 사람 이름에 해당하는 고유명사로서, 수정부에서 오인식 부분 파악에 대한 정확도 수치가 미리 결정된 기준 값보다 낮게 판단될 수 있다.
즉, 이 경우 디스플레이 장치는 오인식 부분으로 파악된 'Lune'과 대응되는 제1 변환정보(292)인 'Lana', 'Lane', 'Luna'와, 제2 변환정보(294)인 'runa', 'lunar', 'luna' 등의 리스트를 표시할 수 있고, 사용자는 이들 변환정보(290) 중 원래 필기로 인식시키고자 했던 것을 선택(298)하거나 가상키보드(296) 방식을 통해 직접 입력할 수 있다.
이러한 사용자의 입력에 의해 발생한 사용자신호는 하나의 변환정보를 가지고 있게 되고, 그 사용자신호에 의해 결정된 변환정보는 제어기의 수정부로 전달된다.
결국, 수정부는 사용자신호에 의해 결정된 변환정보로 'Lune'(264)을 'Luna'(284)로 수정하여 얻은 제3 결과정보(280)를 디스플레이 장치(230)에 표시하도록 제어한다.
이처럼 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법을 통해, 필기인식 결과를 확인한 후 음성정보만을 제공하면 최초 필기정보의 오인식 부분을 자동으로 파악 및 수정할 수 있을 뿐만 아니라 음성 입력이 인가되는 타이밍을 미리 결정해두어 별도의 사용자 조작이나 불필요한 전력 소비를 줄일 수 있다는 장점이 있고, 오인식 부분 파악에 대한 정확도 수치에 따라 결정되는 다양한 수정 방식을 제공하여 오인식률을 줄일 수 있다는 장점이 있다.
이상으로 본 발명에 따른 특정의 바람직한 실시예에 대해 설명하였다. 그러나, 본 발명이 상술한 실시예로 한정되는 것은 아니며, 상술한 실시예가 본 발명의 원리를 응용한 다양한 실시예의 일부를 나타낸 것에 지나지 않음을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 이하의 특허청구범위에 기재된 본 발명의 기술적 사상의 요지를 벗어남이 없이 얼마든지 다양하게 변경 실시할 수 있을 것이다.
100 : 멀티모달 입력장치 110 : 필기인식모듈
120 : 음성인식모듈 130 : 제어기
132 : 판단부 134 : 수정부
140 : 디스플레이 장치 150 : 사전 데이터베이스

Claims (15)

  1. 멀티모달 입력장치에 있어서,
    필기정보를 인식하여 제1 결과정보를 포함하는 복수 개의 제1 변환정보로 변환하는 필기인식모듈;
    상기 필기인식모듈의 변환 동작 직후 미리 결정된 시간 동안 자동으로 활성화되어 음성정보를 인식하여 제2 결과정보를 포함하는 복수 개의 제2 변환정보로 변환하는 음성인식모듈;
    상기 음성인식모듈로부터 수신한 복수 개의 제2 변환정보를 이용하여 상기 필기인식모듈로부터 수신한 제1 결과정보의 오인식 부분을 파악하는 판단부와, 상기 제1 결과정보의 오인식 부분을 수정하여 제3 결과정보를 얻는 수정부를 포함하는 제어기;
    상기 제1 결과정보와 제3 결과정보 중 적어도 어느 하나의 정보를 표시하는 디스플레이 장치;
    를 포함하고, 상기 판단부는 상기 필기인식모듈로부터 수신한 복수 개의 제1 변환정보와 상기 음성인식모듈로부터 수신한 복수 개의 제2 변환정보 중에 서로 매칭되는 제2 결과정보를 검색 및 이용하여 상기 오인식 부분을 파악하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치.
  2. 삭제
  3. 청구항 1에 있어서, 상기 수정부는 오인식 부분 파악에 대한 정확도 수치와 미리 결정된 기준 값을 비교를 통해 결정된 수정 방법을 이용하여 상기 오인식 부분을 수정하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치.
  4. 청구항 1에 있어서, 상기 판단부 및 수정부는 사전 데이터베이스에 저장된 언어 모델 정보를 수신하여 상기 오인식 부분을 각각 파악하고 수정하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치.
  5. 청구항 1에 있어서, 상기 제어기는 상기 음성인식모듈의 활성화와 동시에 오인식 부분에 대해 수정 가능함을 알리는 알림창을 상기 디스플레이 장치에 표시하도록 제어하는 알림부를 더 포함하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치.
  6. 청구항 1에 있어서, 상기 제어기는 상기 입력장치 동작 중에 필기정보 및 음성정보와 관련하여 선택 가능한 언어 옵션을 상기 디스플레이 장치에 표시하도록 제어하는 언어옵션부를 더 포함하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치.
  7. 멀티모달 입력장치의 제어방법에 있어서,
    필기인식모듈에서 필기정보를 인식하여 변환된 복수 개의 제1 변환정보 중에 제1 결과정보를 디스플레이 장치로 표시하는 제1 단계;
    상기 제1 변환정보로의 변환 직후에 음성인식모듈이 미리 결정된 시간 동안 자동으로 활성화되어, 상기 시간 동안 음성정보를 인식하면 제2 결과정보를 포함하는 복수 개의 제2 변환정보로 변환하는 제2 단계;
    상기 복수 개의 제2 변환정보를 이용하여 상기 제1 결과정보의 오인식 부분을 파악하되, 상기 복수 개의 제1, 제2 변환정보를 서로 비교하는 단계와, 제1, 제2 변환정보 중 서로 매칭되는 제2 결과정보를 이용하여 상기 오인식 부분을 파악하는 제3 단계;
    파악된 오인식 부분을 수정하여 상기 제1 결과정보 대신에 제3 결과정보를 상기 디스플레이 장치에 표시하거나, 상기 제1, 제3 결과정보를 동시에 상기 디스플레이 장치에 표시하는 제4 단계;
    를 포함하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  8. 청구항 7에 있어서, 각 단계에서 필기정보 및 음성정보와 관련하여 선택 가능한 언어 옵션을 상기 디스플레이 장치에 표시하여, 선택된 언어에 따라 필기인식모듈 및 음성인식모듈의 변환동작이 이루어지는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  9. 청구항 7에 있어서, 상기 제2 단계에서 상기 음성인식모듈이 활성화되면 알림부에서 오인식 부분에 대해 음성으로 수정 가능함을 알리는 알림창을 상기 디스플레이 장치에 표시하도록 제어하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  10. 삭제
  11. 청구항 7에 있어서, 상기 제3 단계에서 상기 복수 개의 제2 변환정보를 이용함과 동시에 언어 모델을 적용하여 상기 오인식 부분을 파악하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  12. 청구항 7에 있어서, 상기 제4 단계에서 오인식 부분 파악에 대한 정확도 수치와 미리 결정된 기준 값을 비교하여 상기 오인식 부분의 수정 방법을 결정하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  13. 청구항 12에 있어서, 상기 정확도 수치가 미리 결정된 기준 값보다 동일하거나 높으면, 상기 오인식 부분을 제1, 제2 변환정보 중 서로 매칭되는 제2 결과정보로 수정하고, 상기 디스플레이 장치에 상기 제2 결과정보가 반영된 제3 결과정보를 표시하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  14. 청구항 12에 있어서, 상기 정확도 수치가 미리 결정된 기준 값보다 동일하거나 높으면, 상기 오인식 부분을 각 제2 변환정보에 대해 언어 모델을 적용하여 결정된 언어 모델 변환정보로 수정하고, 상기 디스플레이 장치에 상기 언어 모델 변환정보가 반영된 제3 결과정보를 표시하는 것을 특징으로 하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
  15. 청구항 12에 있어서, 상기 정확도 수치가 미리 결정된 기준 값보다 낮으면, 상기 오인식 부분을 상기 디스플레이 장치에 표시된 상기 오인식 부분과 대응되는 제1, 제2 변환정보 중에 사용자신호에 의해 결정된 변환정보로 수정하고, 상기 디스플레이 장치에 상기 결정된 변환정보가 반영된 제3 결과정보를 표시하는 것을 특징으로 하는 것을 특징으로 하는 필기 및 음성 인식을 이용한 멀티모달 입력장치의 제어방법.
KR1020120023725A 2012-03-08 2012-03-08 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법 KR101385012B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120023725A KR101385012B1 (ko) 2012-03-08 2012-03-08 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120023725A KR101385012B1 (ko) 2012-03-08 2012-03-08 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법

Publications (2)

Publication Number Publication Date
KR20130102702A KR20130102702A (ko) 2013-09-23
KR101385012B1 true KR101385012B1 (ko) 2014-04-29

Family

ID=49452257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120023725A KR101385012B1 (ko) 2012-03-08 2012-03-08 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법

Country Status (1)

Country Link
KR (1) KR101385012B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210098113A (ko) * 2020-01-31 2021-08-10 이상월 디지털 학습을 위한 사용자 단말 장치, 그 제어 방법 및 시스템
US11594220B2 (en) 2020-05-07 2023-02-28 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170020271A (ko) 2015-08-12 2017-02-22 주식회사 네오랩컨버전스 전자펜을 이용한 언어 학습 방법 및 그 장치
KR102358373B1 (ko) 2017-04-06 2022-02-04 삼성전자주식회사 손글씨 입력에 대한 그래픽 효과를 제공하기 위한 장치 및 그에 관한 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023498A (ko) * 2002-09-11 2004-03-18 삼성전자주식회사 영상화면 내의 글자 이미지를 인식하는 장치 및 방법
KR20070019596A (ko) * 2005-08-12 2007-02-15 캐논 가부시끼가이샤 정보처리방법 및 정보처리장치
JP2007127895A (ja) 2005-11-04 2007-05-24 Nissan Motor Co Ltd 音声入力装置及び音声入力方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040023498A (ko) * 2002-09-11 2004-03-18 삼성전자주식회사 영상화면 내의 글자 이미지를 인식하는 장치 및 방법
KR20070019596A (ko) * 2005-08-12 2007-02-15 캐논 가부시끼가이샤 정보처리방법 및 정보처리장치
JP2007127895A (ja) 2005-11-04 2007-05-24 Nissan Motor Co Ltd 音声入力装置及び音声入力方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210098113A (ko) * 2020-01-31 2021-08-10 이상월 디지털 학습을 위한 사용자 단말 장치, 그 제어 방법 및 시스템
KR102363679B1 (ko) * 2020-01-31 2022-02-15 이상월 디지털 학습을 위한 사용자 단말 장치, 그 제어 방법 및 시스템
US11594220B2 (en) 2020-05-07 2023-02-28 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof

Also Published As

Publication number Publication date
KR20130102702A (ko) 2013-09-23

Similar Documents

Publication Publication Date Title
US9740399B2 (en) Text entry using shapewriting on a touch-sensitive input panel
US7706615B2 (en) Information processing method and information processing device
US8749531B2 (en) Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
US9786273B2 (en) Multimodal disambiguation of speech recognition
CN105810188B (zh) 一种信息处理方法和电子设备
JP4413868B2 (ja) 文字入力装置、該文字入力装置を備えた複写機、文字入力方法、制御プログラム、および、記録媒体
CN108700996B (zh) 用于多输入管理的系统和方法
CN111341326B (zh) 语音处理方法及相关产品
KR101474854B1 (ko) 음성인식을 통해 컨트롤 객체를 선택하기 위한 장치 및 방법
US20200065370A1 (en) Abbreviated handwritten entry translation
KR101385012B1 (ko) 필기 및 음성 인식을 이용한 멀티모달 입력장치 및 그 입력장치의 제어방법
KR20210017090A (ko) 필기 입력을 텍스트로 변환하는 방법 및 전자 장치
KR101927064B1 (ko) 전자책 또는 전자노트에 대한 요약 데이터 생성 장치 및 방법
WO2014181508A1 (en) Information processing apparatus, information processing method, and program
JP2012088969A (ja) 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
JP4890551B2 (ja) 文字変換装置、文字変換装置の制御方法
US7979795B2 (en) System and method for inputting syllables of a phonetic script into a computer
JP2010128666A (ja) 情報処理装置
WO2018053695A1 (zh) 基于压力来选择附加符号
JP2013214187A (ja) 文字入力装置、文字入力装置の制御方法、制御プログラム、および記録媒体
KR20160054751A (ko) 텍스트 편집 시스템 및 그 방법
CA2735871C (en) Method for receiving input on an electronic device and outputting characters based on sound stroke patterns
JPH07302306A (ja) 文字入力装置
US20240212674A1 (en) System, method and device for multimodal text editing
JP7392315B2 (ja) 表示装置、表示方法、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170308

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180402

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee