KR20120042381A - 음성인식 문장의 문형식별 장치 및 방법 - Google Patents

음성인식 문장의 문형식별 장치 및 방법 Download PDF

Info

Publication number
KR20120042381A
KR20120042381A KR1020100104059A KR20100104059A KR20120042381A KR 20120042381 A KR20120042381 A KR 20120042381A KR 1020100104059 A KR1020100104059 A KR 1020100104059A KR 20100104059 A KR20100104059 A KR 20100104059A KR 20120042381 A KR20120042381 A KR 20120042381A
Authority
KR
South Korea
Prior art keywords
sentence
keyword
type
unit
vocabulary
Prior art date
Application number
KR1020100104059A
Other languages
English (en)
Inventor
이수종
김상훈
김정세
윤승
왕지현
박상규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100104059A priority Critical patent/KR20120042381A/ko
Publication of KR20120042381A publication Critical patent/KR20120042381A/ko

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 음성인식 문장의 문형식별 기술에 관한 것으로, 자동통역 과정 중에서 문형부호가 없는 영어 음성인식 문장을 대상으로 문두 키워드, 문미 키워드, 문형 식별 규칙, 가비지 어휘를 포함한 문형별 키워드셋을 토대로 문형을 분석하여 의문형 또는 평서형의 문형을 식별한 후 각 문형 별로 문장 부호를 부가하는 것을 특징으로 한다. 본 발명에 의하면, 자동통역 과정에서 문형부호가 없는 영어 음성인식 문장을 대상으로 의문형 또는 평서형으로 문형을 식별하고 문형부호를 추가한 후 자동번역의 소스 언어로 활용하게 할 수 있다.

Description

음성인식 문장의 문형식별 장치 및 방법{APPARATUS AND METHOD FOR CLASSIFYING SENTENCE PATTERN OF SPEECH RECOGNIZED SENTENCE}
본 발명은 음성인식을 통해 자동번역 및 음성 합성 등의 요소 기술이 결합되어 이루어지는 자동 통역 기술에 관한 것으로서, 특히 문형부호가 포함되어 있지 않은 영어 음성인식 문장을 대상으로 문형 부호를 부가하는데 적합한 음성인식 문장의 문형식별 장치 및 방법에 관한 것이다.
일반적으로 음성인식 기술은 사람이 발성한 음성신호를 분석하여 텍스트로 변환하는 하나의 독립된 요소기술로서 발전되어 왔다. 그런데 음가를 갖고 있지 않은 문장부호는 음성인식에 의해서는 생성될 수 없다는 한계를 갖고 있다. 그러나 음성인식에 의해 생성된 텍스트 문장을 입력문으로 활용하게 되고, 특히 자동번역에서는 문장부호가 매우 중요한 매개요소가 되므로 문형부호의 생성 필요성은 절실히 요구되고 있다.
이에 종래에는 문형을 분석하기 위하여 음성의 피치정보를 활용하는 연구가 진행되었으나, 음성의 피치정보를 분석하기 위해서는 계산량의 과다로 인하여 처리시간이 지연되고, 문형식별 성공률도 높지 않다는 문제점이 있었다.
상기한 바와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 실시예는, 문형부호가 포함되어 있지 않은 영어 음성인식 문장을 대상으로 문형 부호를 부가할 수 있는 음성인식 문장의 문형식별 장치 및 방법을 제공한다.
또한 본 발명의 다른 실시예는, 자동통역 과정 중에서 문형부호가 없는 영어 음성인식 문장을 대상으로 문두 키워드, 문미 키워드, 문형 식별 규칙 어휘, 가비지(Garbage) 어휘를 포함한 문형별 키워드셋을 토대로 문형을 분석하여 의문형 또는 평서형의 문형을 식별한 후 각 문형 별로 문장 부호를 부가함으로써, 자동번역의 소스 언어로 활용되도록 할 수 있는 음성인식 문장의 문형식별 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 음성인식 문장의 문형식별 장치는, 학습 문장을 토대로 키워드셋을 설정하는 키워드셋 설정부와, 상기 키워드셋을 통하여 특정 언어의 문장에 대한 문형 식별을 수행하는 문형 식별부와, 상기 식별된 문장에 해당 문장 부호를 부가하는 문장 부호 부가부를 포함할 수 있다.
그리고 상기 키워드셋 설정부는, 상기 학습 문장에서 가비지 어휘를 제거하는 가비지 제거부와, 상기 가비지 어휘 제거 후, 문형 식별 규칙 어휘를 추출하여 문형 식별이 가능한 경우, 해당 문장에 대한 키워드 추출을 종료하는 문형 식별 규칙 분석부와, 상기 문형 식별 규칙 어휘로 문형 식별이 불가능한 경우, 상기 학습 문장을 기 확인된 의문형 문장 및 평서형 문장으로 분류하여 문장 시작 부분에 기설정된 개수의 문자 묶음을 추출하여 기 저장된 의문형 키워드와 일치 여부를 비교하여 문형을 판별하는 문두 키워드 생성부와, 문장 끝 부분에 기설정된 개수의 문자 묶음을 추출하여 기 저장된 의문형 키워드와 일치 여부를 비교하여 문형을 판별하는 문미 키워드 생성부를 포함할 수 있다.
그리고 상기 키워드셋 설정부는, 상기 문두 키워드 생성부 및 상기 문미 키워드 생성부로 식별되지 않은 문장을 입력 받아 상기 문형 식별 규칙 분석부에서 문형 식별 규칙 어휘를 추가적으로 추출하고, 상기 가비지 제거부에서 가비지 어휘를 추출하여 제거하고, 상기 문형 식별 규칙 어휘 및 가비지 어휘를 추가하고, 상기 문두 키워드 생성부 및 상기 문미 키워드 생성부를 반복 수행하여 문형 식별을 위한 키워드셋을 설정할 수 있다.
그리고 상기 문형 식별부는, 입력된 문형부호가 없는 영어 음성 인식 문장에서 가비지 어휘를 제거하고, 문형 식별 규칙 어휘를 추출하고, 문두 알파벳 키워드 비교 및 문미 알파벳 키워드 비교를 통해 상기 영어 음성 인식 문장을 의문형 또는 평서형으로 분류할 수 있다.
그리고 상기 문장 부호 부가부는, 상기 식별된 문장이 의문형인 경우, 문장 말미에 의문 부호를 부가하고, 상기 식별된 문장이 평서형인 경우, 문장 말미에 마침표를 부가할 수 있다.
본 발명의 일 실시예에 따른 음성인식 문장의 문형식별 방법은, 학습 문장을 토대로 키워드셋을 설정하는 과정과, 상기 키워드셋을 통하여 특정 언어의 문장에 대한 문형 식별을 수행하는 과정과, 상기 식별된 문장에 해당 문장 부호를 부가하는 과정을 포함할 수 있다.
그리고 상기 키워드셋을 설정하는 과정은, 상기 학습 문장에서 가비지 어휘를 제거하는 과정과, 상기 가비지 어휘 제거 후, 문형 식별 규칙 어휘의 추출여부를 판단하는 과정과, 상기 문형 식별 규칙 어휘의 추출을 통해 문형 식별이 가능한 경우, 해당 문장에 대한 키워드 추출을 종료하는 과정과, 상기 문형 식별 규칙 어휘로 문형 식별이 불가능한 경우, 상기 학습 문장을 기 확인된 의문형 문장 및 평서형 문장으로 분류하고 각 문장 시작 부분에 기설정된 개수의 문자 묶음을 추출하면서 관련된 의문형 문장의 수와 평서형 문장의 수를 비교하여 의문형 문장의 수가 일정한 비율(예, 95%) 이상이면 의문형 문두 키워드 묶음으로 설정하고 평서형 문장의 수가 일정한 비율(예, 95%) 이상이면 평서형 문두 키워드 묶음으로 설정하고, 문두 키워드로 추출되지 않는 문장의 경우에는 각 문장 끝 부분에 기설정된 개수의 문자 묶음을 추출하면서 관련된 의문형 문장의 수와 평서형 문장의 수를 비교하여 각각 일정한 비율(예, 95%) 이상이면 의문형 문미 키워드 묶음 또는 평서형 문미 키워드 묶음으로 설정하는 과정을 포함할 수 있다.
그리고 상기 키워드셋을 설정하는 과정은, 상기 문형을 판별하여 식별되지 않은 문장을 입력 받아 상기 문형 식별 규칙 어휘를 추가적으로 추출하는 과정과, 상기 가비지 어휘를 추출하여 제거하는 과정과, 상기 문형 식별 규칙 어휘 및 가비지 어휘를 추가로 설정하고, 상기 키워드셋 설정 절차를 반복하여 문형 식별을 위한 키워드셋을 설정하는 과정을 더 포함할 수 있다.
그리고 상기 문형 식별을 수행하는 과정은, 입력된 문형부호가 없는 영어 음성 인식 문장에서 가비지 어휘를 제거하는 과정과, 문형 식별 규칙 어휘를 추출하는 과정과, 문두 알파벳 키워드 비교 및 문미 알파벳 키워드 비교를 통해 상기 영어 음성 인식 문장을 의문형 또는 평서형으로 분류하는 과정을 포함할 수 있다.
그리고 상기 문장 부호를 부가하는 과정은, 상기 식별된 문장이 의문형인 경우, 문장 말미에 의문 부호를 부가하는 과정과, 상기 식별된 문장이 평서형인 경우, 문장 말미에 마침표를 부가하는 과정을 포함할 수 있다.
상기와 같은 본 발명의 실시예에 따른 음성인식 문장의 문형식별 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상이 있다.
본 발명의 실시예에 따른 음성인식 문장의 문형식별 장치 및 방법에 의하면, 자동통역 과정에서 문형부호가 없는 영어 음성인식 문장을 대상으로 의문형 또는 평서형으로 문형을 식별하고 문형부호를 추가한 후 자동 번역의 소스 언어로 활용할 수 있도록 하는 효과가 있다. 영어 문장의 앞 부분과 끝 부분의 일부 알파벳 묶음을 포함한 키워드셋을 활용하므로 계산량을 획기적으로 줄여 실시간성을 추구할 수 있다. 발명의 효과를 좀 더 살펴보면 다음과 같이 나눠볼 수 있다.
첫째, 문형부호가 없는 영어 음성인식 문장에 대한 문형식별 모델을 제시한다. 특히, 영어 의문형은 문장의 앞 부분에 문형식별의 단서가 있다. 문장 앞 부분의 일부 알파벳 묶음인 문두 키워드에 의해 대부분의 의문형이 식별되었으며, 문미 키워드, 문형식별규칙 등을 보충적으로 활용함으로써, 문형식별 수준을 획기적으로 향상시킬 수 있다.
둘째, 영어 음성인식 문장에 대한 문형식별을 위한 키워드셋 추출방법을 통해 다양한 문형을 구분할 수 있다.
셋째, 문형식별 키워드셋 추출 및 실제 문형식별 과정에서 가비지 어휘를 제외하도록 함으로써 불필요한 처리 과정을 단축할 수 있다.
넷째, 문두 키워드 및 문미 키워드 적용에 앞서, 문형식별 대상 영어 문장 중에 문형 식별 규칙 어휘가 포함되어 있으면, 관련 문형으로 바로 분류되도록 문형 식별 규칙 어휘를 설정함으로써, 키워드에 의해 식별되지 않는 문형인 경우에도 문형식별이 가능하도록 할 수 있다. 그리고 학습문장 이외의 특수한 형태의 문장들인 경우에도 문형 식별 규칙에 필요한 어휘를 추가함으로써 문형식별을 가능하게 할 수 있다.
도 1은 본 발명의 실시예에 따른 문형 식별 장치 및 자동 번역 장치의 구조를 도시한 블록도,
도 2는 본 발명의 실시예에 따른 키워드셋 설정부의 구조를 도시한 블록도,
도 3은 본 발명의 실시예에 따른 문형 식별 장치 및 자동 번역 장치의 동작 절차를 도시한 흐름도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예는 자동통역 과정 중에서 문형부호가 없는 영어 음성인식 문장을 대상으로 문두 키워드, 문미 키워드, 문형 식별 규칙, 가비지 어휘를 포함한 문형별 키워드셋을 토대로 문형을 분석하여 의문형 또는 평서형의 문형을 식별한 후 각 문형 별로 문장 부호를 부가하는 것이다.
이와 같이 본 발명의 실시예에서는 영어 텍스트 문장을 대상으로 하므로 계산량을 획기적으로 줄일 수 있다. 특히 영어 의문형의 구조를 감안하여 문두 키워드를 중심으로 식별되도록 하고, 부가 의문형을 고려하여 문미 키워드 등 일부의 알파벳 문자 묶음으로 문형을 식별할 수 있다. 그리고 이들 키워드를 보강할 목적으로 가비지 어휘 및 문형 식별 규칙 어휘를 설정하여 문형식별 성능을 높일 수 있다.
여기서 다른 언어를 사용하는 사람 간의 의사소통을 위한 자동통역 문장은 대부분 의문형으로 질문을 하거나 평서형으로 답변하는 형식이기 때문에 영어 음성인식 문장의 문형을 의문형 또는 평서형으로 한정하여 구분하는 것이 가능하다.
그리고 이러한 영어 음성인식 문장에 대한 문형 식별의 필요성은, 사람이 발성한 음성신호를 음성인식 기술에 의해 텍스트 문장으로 변환할 때 문형부호까지 생성해 내지는 못하며, 문형부호가 음가를 갖는 음소는 아니어서 음성 신호에 의한 인식단위가 되지 않기 때문이다.
그러나 영어 문장에 대한 문형이 식별되지 않은 채로 자동 번역의 소스 언어로 입력되고 타겟 언어로 번역되는 경우에는 심각한 오류를 유발할 수 있다.
이는 자동번역 기술이 소스 언어를 타겟 언어로 변환하는 요소기술로서, 문형부호를 포함한 정상적인 문장을 대상으로 하여 발전되어 왔으며, 문형 부호는 번역의 방향을 결정짓는 중요한 매개체로 활용되고 있기 때문이다. 따라서 문형부호가 포함되어 있지 않은 영어 문장에 대해 그 문형을 정의하는 것은 반드시 필요한 것이다.
한편, 본 발명의 실시예에서 문형식별은 활용영역을 감안하여 영어의 의문형과 평서형 둘 중 하나의 문형으로 분류하는 것을 전제로 하였으나, 키워드셋 설정방법과 문형식별 방법은 다른 문형의 구분, 다른 언어에서도 그대로 활용될 수 있음은 물론이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 문형 식별 장치 및 자동 번역 장치의 구조를 도시한 블록도이다.
도 1을 참조하면, 음성인식, 자동번역 및 음성합성 등의 요소기술이 결합되어 수행되는 자동통역 시스템에서 문형 식별 장치(100)는 음성 인식을 통해 생성된 텍스트에 대한 문형을 식별하여 문장 부호를 부가함으로써, 자동 번역 장치(150)의 소스 언어로 생성하는 것으로서, 음성 입력부(102), 음성 인식부(104), 텍스트 생성부(106), 문형 식별부(108), 키워드셋 설정부(110) 및 문장 부호 부가부(112) 등을 포함할 수 있다.
음성 입력부(102)는 사용자 또는 스피커를 통해 출력되는 음성을 입력 받게 되며, 특히 영어 문장 발성을 입력 받을 수 있다. 입력된 영어 문장 발성은 음성 인식부(104)로 전달하여 음성 인식부(104)에서 음성 인식을 수행할 수 있다.
그리고 음성 인식부(104)에서의 음성 인식 결과는 텍스트 생성부(106)로 전달되어 텍스트 생성부(106)에서 음성 인식 결과를 토대로 이에 해당하는 텍스트 문장으로 변환을 수행할 수 있다.
텍스트 생성부(106)에서는 생성된 텍스트 문장을 문형 식별부(108)로 전달하여 문형 식별부(108)에서 키워드셋 설정부(110)로부터 전달되는 문형별 키워드셋을 참조하여 문형을 분석함으로써 의문형 또는 평서형 문장으로 식별할 수 있다.
이에 문장 부호 부가부(112)에서는 문형 식별부(108)로부터 분류된 의문형 또는 평서형 문장에 대해 의문형의 경우에는 문장의 말미에 의문부호("?")를 부가하고 평서형의 경우에는 마침표(".")를 각각 부가하여 출력할 수 있다.
이에 출력된 의문형 및 평서형은 자동 번역 장치(150)에 입력되어 자동 번역 장치(150)에서 자동 번역되어 기설정된 언어의 음성으로 출력할 수 있다. 이러한 자동 번역 장치(150)는 소스 언어 입력부(152), 자동 번역부(154), 음성 합성부(156), 출력부(158) 등을 포함할 수 있다.
소스 언어 입력부(152)는 문형 식별 장치(100)의 문장 부호 부가부(112)로부터 출력된 의문형 및 평서형 문장을 소스 언어로서 입력 받아 자동 번역부(154)로 전달할 수 있다.
자동 번역부(154)에서는 소스 언어를 토대로 해당 언어로의 번역을 수행하여 타겟 언어를 생성할 수 있다. 생성된 타겟 언어는 음성 합성부(156)로 전달되어 음성 합성부(156)에서 타겟 언어로의 음성 합성을 수행할 수 있다.
그리고 음성 합성부(156)에서는 음성 합성된 소리 데이터를 출력부(158)(예컨대, 스피커)로 전달하여 출력부(158)에서 타겟 언어의 음성으로 소리를 출력할 수 있다.
이와 같이 소스 언어를 타겟 언어로 변환하는 자동 번역 장치(150)는 입력문의 문형부호를 중요한 번역의 매개요소로 활용하고 있으며, 실제로 똑 같은 문장인 경우에도 문형 부호에 따라 다른 번역 결과를 생성하고 있다.
따라서, 문형부호가 생성되지 않는 영어 음성 인식 문장에 대해 문형을 분석하여 식별한 후 문장 부호를 부가해야 한다. 이를 위해 본 발명의 실시예에서는 문두 키워드, 문미 키워드, 문형 식별 규칙, 가비지 어휘를 포함한 문형별 키워드셋을 설정할 수 있다.
이에 문형 식별 장치(100)에서 문형 식별부(108)는 이러한 문형별 키워드 셋을 참조하여 문형부호가 포함되어 있지 않은 영어 음성인식 문장을 대상으로 그 문형(예컨대, 의문형 또는 평서형)을 분석하여 분석된 결과를 문장 부호 부가부(112)로 전달함으로써, 문장 부호 부가부(112)에서 문형에 따른 문장 부호를 부가할 수 있다.
즉, 영어 문장에 대한 문형식별을 위해 그 문장 첫 부분의 일부 알파벳 묶음(이하 "문두 키워드"라 한다) 또는 문장 끝 부분의 일부 알파벳 묶음(이하 "문미 키워드"라 한다)을 추출하여, 미리 저장된 문형별 키워드로서 의문형 키워드 또는 평서형 키워드 중 어느 키워드와 일치하는지를 비교함으로써 그 문형이 의문형인지 또는 평서형인지 여부를 판별할 수 있다.
여기서 문형별 키워드란, 의문형 또는 평서형으로 이미 구분된 학습문장 코퍼스로부터 각 문형별로 문두 키워드와 문미 키워드를 추출하는 알파벳 묶음으로 구성된다. 학습문장 코퍼스로부터 추출한 문형별 키워드 외에도, 문형 식별 규칙의 어휘 묶음을 설정하여 문형 식별에 활용할 수 있다.
이때, 문형 식별 규칙 어휘는 학습문장 중에서 문형별 키워드로는 분리되지 않는 문장을 분석하여 필요한 어휘를 선별하거나 학습문장 코퍼스의 부족 등으로 인하여 분석에서 제외된 문장을 분석하여 추가할 수 있다. 그리고 영어 문장 중에는 어느 문형이나, 문장 중의 어느 위치에서도 나타날 수 있는 어휘(이하 "가비지"라 한다) 예를 들어, actually, anyway, gee 등이 있는데, 이들을 가비지 어휘로 정의하여 문형별 키워드 추출단계에서부터 제외할 수 있다.
한편, 본 발명의 실시예에서 영어 문장의 문형식별을 위해 문두 키워드와 문미 키워드를 고려하는 것은, 영어 문장의 문형, 특히 의문형이 주로 Yes/No 의문형과 Wh의문형, 또는 be동사 의문형, 일반동사 의문형 및 의문사 의문형 등으로서, 의문형을 식별할 수 있는 요소들이 주로 문장의 앞 부분에 위치하고, 부가 의문형인 경우에는 문장의 끝 부분에 위치한다는 점에 착안한 것이다. 최소한의 키워드를 체계적이고 효과적으로 추출하기 위하여 의문형과 평서형으로 구분된 학습 문장 코퍼스를 활용하여 알파벳을 문자 단위로 추출할 수 있다.
도 2는 본 발명의 실시예에 따른 키워드셋 설정부의 구조를 도시한 블록도이다.
도 2를 참조하면, 키워드셋 설정부(110)는 입력된 학습 문장으로서, 의문형과 평서형의 문두 키워드 및 문미 키워드를 각각 추출하고, 이들 키워드에 의해 식별되지 않는 문장들을 대상으로 문형 식별 규칙 및 가비지 어휘를 선별하고 추가하는 절차를 반복하여 종합적인 키워드셋을 설정하는 것으로서, 학습문장 입력부(202), 가비지 제거부(204), 문형 식별 규칙 분석부(206), 의문형 문장(208), 평서형 문장(210), 문두 키워드 생성부(212), 문미 키워드 생성부(214) 등을 포함할 수 있다.
학습문장 입력부(202)에는 의문형 또는 평서형이 미리 구분되어 있는 문장들로서, 문장부호까지 부가되어 있는 정상적인 문장들로 구성된 영어 학습 문장(학습 문장 코퍼스)이 입력 될 수 있다. 이에 학습문장 입력부(202)에서는 영어 음성인식 문장과 같은 형태가 되도록 문장 부호를 제거할 수 있다.
가비지 제거부(204)는 문장 부호가 제거된 학습 문장에서 어느 문형에서나 흔히 나타나는 기설정된 어휘(가비지 어휘)를 검색하여 검색된 어휘들을 제거할 수 있다. 가비지 어휘를 제거한 다음에는 단어 사이를 붙여서 단어의 구분이 없도록 할 수 있다.
문형 식별 규칙 어휘를 토대로 문형 식별 키워드를 추출하거나 문형 식별 키워드의 존재여부에 따라 문형을 식별하는 단계에서 가비지 어휘를 제외할 수 있다. 이는 키워드를 추출하기 위해 문장의 첫 문자 또는 끝 문자로부터 소정의 문자 수 만큼 누적하는 과정에서 키워드가 될 수 없는 어휘를 미리 제외하기 위한 것이다.
그리고 문형 식별 규칙 분석부(206)는 가비지 어휘가 제거된 학습 문장을 가비지 제거부(204)로부터 전달 받아 문형 식별 규칙 어휘의 포함 여부를 분석할 수 있다. 이에 특정 학습 문장에서 문형 식별 규칙 어휘에 의해 문형을 분리할 수 있는 경우에는 추가적인 키워드 추출 절차를 생략할 수 있다. 다만, 문형 식별 규칙 어휘에 의해 문형분리가 되지 않는 문장들은 의문형 문장(208)과 평서형 문장(210)으로 분류할 수 있다.
그리고 문두 키워드 생성부(212)는 의문형 문장(208) 및 평서형 문장(210)을 대상으로 첫 알파벳 문자부터 문자수를 늘려가면서(예컨대, 10개 문자까지) 의문형 또는 평서형 문장(208, 210) 내에서 차지하는 각 묶음들에 대한 빈도를 산출할 수 있다. 필요한 경우, 한 개의 알파벳이 키워드가 되지 않도록 두 번째 또는 세 번째 알파벳 문자부터 시작하여 누적시킬 수도 있다.
이때, 산출된 알파벳 묶음들은 문두 키워드 후보로서, 문두 키워드 후보 중에서 각 문형 내에서의 빈도 대비율(예컨대, 의문형 내 빈도 : 평서형 내 빈도)이 임계값 이상이면 문형별 문두 키워드로 설정할 수 있다.
즉, 학습 문장에서 각기 분류된 의문형 문장과 평서형 문장 중, 의문형 문장에서 추출한 알파벳 묶음 중에서 평서형 문장에서 추출한 알파벳 묶음의 빈도간 대비율이 임계값(예컨대, 95%) 이상인 경우에는 의문형 키워드로 설정할 수 있다. 이는 평서형 키워드에서도 마찬가지 방법으로 설정할 수 있다.
문미 키워드 생성부(214)는 의문형 문장(208) 및 평서형 문장(210)을 대상으로 끝에서부터 문자 단위로 추가 누적시키면서 시작한다. 즉, 각각 문장의 끝에서부터 한 문자씩 늘려가면서(예컨대, 10개 문자까지) 각 묶음 별로 각 문형 내에서 차지하는 빈도를 구할 수 있다. 이때, 산출된 알파벳 묶음들은 문미 키워드 후보로서, 문미 키워드 후보 중에서 각 문형 내에서의 빈도 대비율(예컨대, 의문형내 빈도 : 평서형내 빈도)이 임계값(예컨대, 95%) 이상이면 문형별 문미 키워드로 설정할 수 있다.
문두 키워드 또는 문미 키워드에 의해서도 문형식별이 되지 않은 문장들은 가비지 제거부(204)로 전달되어 가비지 어휘의 추가 추출 및 제거를 수행하고, 문형 식별 규칙 분석부(206)에서 문형 식별 규칙 어휘를 추출할 수 있다. 이때, 가비지 제거부(204) 및 문형 식별 규칙 분석부(206)의 수행 순서는 구현 방식에 따라 달라질 수 있다.
한편, 문형 식별 규칙의 어휘에 의하여 문형 식별이 되지 않는 문장을 대상으로 문형 식별 규칙 어휘 목록을 추가로 설정할 수 있다. 그리고 이러한 방식으로 문형 식별 규칙 어휘와 가비지 어휘가 추가됨에 따라 문두 키워드 및 문미 키워드 설정 과정이 반복되어 업데이트 되며, 이를 토대로 키워드셋 설정부(110)에서는 최종적으로 문형식별을 위한 종합 키워드셋을 설정할 수 있다.
그리고 키워드셋 설정부(110)에서는 이러한 과정을 통해 키워드 별로 문형 식별율이 파악되므로, 영어 음성인식 문장에 대한 활용 영역과 요구되는 성능요구에 따라 키워드셋의 규모를 임의로 조정할 수 있다.
이에 문형 식별 장치(100)에서는 키워드셋 설정부(110)로부터 전달된 문형별 키워드셋을 활용하여, 실제 문형부호가 부가되어 있지 않은 영어 음성인식 문장을 대상으로 문형을 식별할 수 있다.
이 경우, 효율적인 문형식별을 위해 의문형 키워드셋을 중심으로 키워드 셋과의 매치여부를 살펴보고 매치되는 경우가 있으면 더 이상의 비교를 중지하고, 이를 의문형으로 식별할 수 있다. 그러나 어느 의문형 키워드셋과도 매치되지 않으면 평서형으로 식별할 수 있다.
도 3은 본 발명의 실시예에 따른 문형 식별 장치 및 자동 번역 장치의 동작 절차를 도시한 흐름도이다.
도 3을 참조하면, 300단계에서 문형 식별 장치(100)의 음성 입력부(102)에서는 발성된 영어 문장을 예컨대, 마이크를 통해 입력을 받게 되고, 302단계에서 음성 인식부(104)는 입력된 영어 음성에 대한 음성 인식 결과를 텍스트 생성부(106)로 전달하여 텍스트 생성부(106)에서 영어 문장 텍스트를 생성하게 된다.
이에 304단계에서 문형 식별부(108)는 키워드셋 설정부(110)로부터 전달된 키워드셋을 참조하여 어느 문형에서나 흔히 나타날 수 있는 가비지 어휘를 검색하여 검색된 어휘를 제거하고, 306단계에서 문형 식별 규칙 어휘가 있는지 여부를 확인하게 된다.
문형 식별 규칙 어휘를 포함하고 있는 경우에는 추가적인 키워드 비교 절차는 종료하고, 316단계로 진행하여 해당 문장을 의문형으로 분류하게 된다. 그리고 분류된 음성 인식 문장은 318단계에서 문장 부호 부가부(112)로 전달되어 문장 부호 부가부(112)에서 해당 문장의 말미에 의문 부호(물음표 "?")를 부가하게 된다.
다만, 문형 식별 규칙 어휘를 포함하고 있지 않은 문장에 대하여는 308단계에서 문장의 첫 문자부터 문자 묶음수를 누적해가면서 310단계에서 해당 문장이 문두 키워드에 포함되어 있는지 여부를 확인하게 된다.
문두 키워드에 포함되어 있으면 누적 확인 실행을 중단하고 즉시 316단계에서 의문형으로 분류하게 된다. 다만, 문두 키워드를 포함하고 있지 않은 문장에 대하여는 312단계로 진행하여 문장의 끝에서부터 문자 묶음수를 누적해가면서 문미 키워드에 포함되어 있는지 여부를 확인하게 된다.
이에 문미키워드에 포함되어 있으면 누적확인 실행을 중단하고 즉시 316단계의 의문형으로 분류하게 된다. 다만, 문미 키워드에도 포함되어 있는 않은 문장은 320단계로 진행하여 평서형으로 분류한다. 그리고 322단계에서 문장 부호 부가부(112)는 평서형으로 분류된 문장의 끝에는 마침표 "."를 부가하게 된다.
문장 부호 부가부(112)를 통해 출력된 문장들은 자동 변역 장치(150)의 소스 언어로서 소스 언어 입력부(152)에 입력된다. 즉, 318단계 및 322단계 이후에는 324단계로 진행하여 자동 변역 장치(150)에서 입력된 소스 언어를 토대로 자동 번역부(154)에서 특정 언어로의 자동 번역을 수행하게 된다.
그리고 자동 번역의 결과로 타겟 언어가 생성되면, 326단계에서 음성 합성부(156)는 음성 합성에 의하여 타겟 언어의 음성으로 자동 번역된 음성 데이터를 생성하고, 328단계에서 출력부(158)는 자동 번역된 음성 데이터를 예컨대, 스피커를 통해 출력하게 된다.
이상 설명한 바와 같이, 본 발명의 실시예에 따른 음성인식 문장의 문형식별 장치 및 방법은 자동통역 과정 중에서 문형부호가 없는 영어 음성인식 문장을 대상으로 문두 키워드, 문미 키워드, 문형 식별 규칙, 가비지 어휘를 포함한 문형별 키워드셋을 토대로 문형을 분석하여 의문형 또는 평서형의 문형을 식별한 후 각 문형 별로 문장 부호를 부가함으로써, 자동번역의 소스 언어로 활용되도록 한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
100 : 문형 식별 장치 102 : 음성 입력부
104 : 음성 인식부 106 : 텍스트 생성부
108 : 문형 식별부 110 : 키워드셋 설정부
112 : 문장 부호 부가부 150 : 자동 번역 장치
152 : 소스 언어 입력부 154 : 자동 번역부
156 : 음성 합성부 158 : 출력부
202 : 학습 문장 입력부 204 : 가비지 제거부
206 : 문형 식별 규칙 분석부 208 : 의문형 문장
210 : 평서형 문장 212 : 문두 키워드 생성부
214 : 문미 키워드 생성부

Claims (1)

  1. 학습 문장을 토대로 키워드셋을 설정하는 키워드셋 설정부와,
    상기 키워드셋을 통하여 특정 언어의 문장에 대한 문형 식별을 수행하는 문형 식별부와,
    상기 식별된 문장에 해당 문장 부호를 부가하는 문장 부호 부가부
    를 포함하는 음성인식 문장의 문형식별 장치.
KR1020100104059A 2010-10-25 2010-10-25 음성인식 문장의 문형식별 장치 및 방법 KR20120042381A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100104059A KR20120042381A (ko) 2010-10-25 2010-10-25 음성인식 문장의 문형식별 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100104059A KR20120042381A (ko) 2010-10-25 2010-10-25 음성인식 문장의 문형식별 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120042381A true KR20120042381A (ko) 2012-05-03

Family

ID=46263147

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100104059A KR20120042381A (ko) 2010-10-25 2010-10-25 음성인식 문장의 문형식별 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120042381A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024352A1 (zh) * 2018-08-01 2020-02-06 平安科技(深圳)有限公司 语音识别中符号添加方法、装置、计算机设备及存储介质
KR20200018121A (ko) * 2018-08-10 2020-02-19 서울대학교산학협력단 담화 성분과 화행을 고려한 한국어 대화체 코퍼스 분류 방법 및 시스템
KR20220046771A (ko) * 2020-10-08 2022-04-15 (주)에어사운드 문장 구두점 제공 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024352A1 (zh) * 2018-08-01 2020-02-06 平安科技(深圳)有限公司 语音识别中符号添加方法、装置、计算机设备及存储介质
KR20200018121A (ko) * 2018-08-10 2020-02-19 서울대학교산학협력단 담화 성분과 화행을 고려한 한국어 대화체 코퍼스 분류 방법 및 시스템
KR20220046771A (ko) * 2020-10-08 2022-04-15 (주)에어사운드 문장 구두점 제공 시스템 및 방법

Similar Documents

Publication Publication Date Title
CN108711420B (zh) 多语言混杂模型建立、数据获取方法及装置、电子设备
US10796105B2 (en) Device and method for converting dialect into standard language
CN101326572B (zh) 具有巨大词汇量的语音识别系统
US20200183983A1 (en) Dialogue System and Computer Program Therefor
WO2016067418A1 (ja) 対話制御装置および対話制御方法
CN109241330A (zh) 用于识别音频中的关键短语的方法、装置、设备和介质
CN111192570B (zh) 语言模型训练方法、系统、移动终端及存储介质
KR101424193B1 (ko) 타 언어권 화자음성에 대한 음성인식 시스템의 성능 향상을위한 비직접적 데이터 기반 발음변이 모델링 시스템 및방법
KR20170090127A (ko) 음성 언어 이해 장치
CN112463942A (zh) 文本处理方法、装置、电子设备及计算机可读存储介质
CN116343747A (zh) 语音合成方法、语音合成装置、电子设备及存储介质
JP6605105B1 (ja) 文章記号挿入装置及びその方法
Mishra et al. Intonational phrase break prediction for text-to-speech synthesis using dependency relations
KR20120042381A (ko) 음성인식 문장의 문형식별 장치 및 방법
Hsieh et al. Improving PCFG Chinese parsing with context-dependent probability re-estimation
KR101559576B1 (ko) 모바일 대화 시스템의 언어 인식 모듈을 위한 동시 인식 장치 및 방법
CN116483314A (zh) 一种自动化智能活动图生成方法
CN116052655A (zh) 音频处理方法、装置、电子设备和可读存储介质
CN116129883A (zh) 语音识别方法、装置、计算机设备及存储介质
CN114974310A (zh) 基于人工智能的情感识别方法、装置、计算机设备及介质
Bang et al. Pronunciation variants prediction method to detect mispronunciations by Korean learners of English
KR100487716B1 (ko) 단어레벨의 통계적 방법을 이용한 번역문 생성 방법 및 그장치
JP2010197709A (ja) 音声認識応答方法、音声認識応答システム、及びそのプログラム
JP4769286B2 (ja) かな漢字変換装置およびかな漢字変換プログラム
Saychum et al. Efficient Thai Grapheme-to-Phoneme Conversion Using CRF-Based Joint Sequence Modeling.

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination