KR101134467B1 - 의미 표현 처리 장치 및 그 방법 - Google Patents

의미 표현 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101134467B1
KR101134467B1 KR1020090068268A KR20090068268A KR101134467B1 KR 101134467 B1 KR101134467 B1 KR 101134467B1 KR 1020090068268 A KR1020090068268 A KR 1020090068268A KR 20090068268 A KR20090068268 A KR 20090068268A KR 101134467 B1 KR101134467 B1 KR 101134467B1
Authority
KR
South Korea
Prior art keywords
semantic expression
semantic
expression
final
language
Prior art date
Application number
KR1020090068268A
Other languages
English (en)
Other versions
KR20110010916A (ko
Inventor
김승희
박준
이일빈
윤승
이수종
김정세
김상훈
박상규
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090068268A priority Critical patent/KR101134467B1/ko
Publication of KR20110010916A publication Critical patent/KR20110010916A/ko
Application granted granted Critical
Publication of KR101134467B1 publication Critical patent/KR101134467B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 자동 통역 시스템에 적용되는 의미 표현 처리 기법에 관한 것으로, 입력되는 음성에 대응하는 음성 인식 결과의 단어열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 검색 결과에 따라 최종 의미 표현을 결정하고, 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력함으로써, 사용자 의도가 반영된 의미 표현을 결정하여 자동 통역 시스템의 성능을 향상시킬 수 있는 것이다.
자동 통역 시스템, 음성 인식, 의미 표현

Description

의미 표현 처리 장치 및 그 방법{MEANING EXPRESSION PROCESSING APPARATUS AND ITS METHOD}
본 발명은 자동 통역 시스템에 적용되어 입력 음성을 의미 표현으로 변환하는 기법에 관한 것으로, 더욱 상세하게는 자동 통역 시스템에 적용되어 입력된 음성을 의미 표현으로 변환하여 최종 문장으로 출력하는데 적합한 의미 표현 처리 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-S-019-02, 과제명: 휴대형 한/영 자동통역 기술개발].
잘 알려진 바와 같이, 음성 인식(speech recognition)이란 사람이 말하는 음성 언어를 해석해 그 내용을 문자 데이터로 전환하는 처리를 의미하는데, 로봇, 텔레매틱스 등 음성으로 기기 제어, 정보 검색 등이 필요한 경우에 응용될 수 있다. 이러한 음성 인식은 미리 기록해 둔 음성 패턴과 비교해 개인 인증 등의 용도로 사용하기도 하는데, 이를 화자 인식이라고 한다.
한편, 음성 인식을 이용한 자동 통역 시스템은 음성 인식 결과를 직접 번역 하게 되는데, 이 경우 음성 인식 결과의 오류가 번역에 악영향을 미칠 수 있고, 음성인식 결과에 오류가 없다고 하더라도 번역 자체의 성능이 완벽하지 않기 때문에 전체 통역 결과는 오류가 포함되기 마련이다.
또한, 통역되는 어휘에 대한 중요도를 반영하지 않기 때문에 전체 통역율은 높다고 하더라도 사용자가 전달하고자 하는 의도가 전달되지 못하는 경우도 있다.
또한, 사용자의 문장을 이해하기 위해 파서(parser) 기반의 음성 언어 이해 기법을 도입한 자동 통역 시스템의 경우, 음성 언어 이해의 성능 한계 때문에 적용 가능한 영역이 제한적이며, 음성 인식 오류로 인해 파싱(parsing)이 제대로 수행되지 않는 경우도 있다.
상술한 바와 같이 종래의 자동 통역 시스템에서는 사용자의 의도가 반영되지 못하거나, 문장 이해를 위해 파싱을 통한 음성 이해의 경우에서도 그 성능의 한계 때문에 사용자의 의도가 반영되지 않은 통역 결과를 출력할 수밖에 없는 실정이다.
이에 따라, 본 발명은 음성 인식 결과에 대한 의미 표현 집합의 검색을 통해 검색된 의미 표현에 대응하는 최종 문장을 생성하고, 생성된 문장을 번역 및 음성 출력함으로써, 사용자의 의도가 반영된 통역 결과를 제공할 수 있는 자동 통역 시스템 및 그 방법을 제공하고자 한다.
또한, 본 발명은 음성 인식 결과와 검색된 의미 표현의 리스코어링을 통해 더욱 정확한 최종 문장을 생성함으로써, 사용자의 의도가 반영된 통역 결과를 제공 할 수 있는 의미 표현 처리 장치 및 그 방법을 제공하고자 한다.
또한, 본 발명은 음성 인식 결과에 대한 의미 표현 집합의 검색을 통해 원시 언어의 의미 표현을 결정하고, 결정된 원시 언어의 의미 표현에 대응하는 목적 언어의 의미 표현을 결정한 후, 목적 언어의 의미 표현을 이용하여 최종 문장을 생성함으로써, 자동 통역 시스템 성능을 더욱 향상시킬 수 있는 자동 통역 시스템 및 그 방법을 제공하고자 한다.
본 발명의 일 실시 예의 일 양태에 따르면, 입력되는 음성 인식 결과의 단어열을 의미 표현으로 변환하는 의미 표현 변환부와, 상기 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하고, 검색 결과에 따라 최종 의미 표현을 결정하는 의미 표현 매칭부와, 상기 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력하는 문장 생성부를 포함하는 의미 표현 처리 장치가 제공된다.
바람직하게는, 상기 의미 표현 매칭부는, 상기 검색 결과에 따라 다수의 의미 표현들 중에서 매칭 스코어가 가장 높은 값을 갖는 어느 하나를 선택하여 상기 최종 의미 표현으로 결정하는 의미 표현 처리 장치가 제공된다.
본 발명의 일 실시 예의 다른 양태에 따르면, 입력되는 음성 인식 결과의 단어열을 의미 표현으로 변환하는 단계와, 상기 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하고, 검색 결과에 따라 최종 의미 표현을 결정하는 단계와, 상기 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력하는 단계를 포함하는 의미 표현 처리 방법이 제공된다.
바람직하게는, 상기 최종 의미 표현을 결정하는 단계는, 상기 검색 결과에 따라 다수의 의미 표현들 중에서 매칭 스코어가 가장 높은 값을 갖는 어느 하나가 선택되어 상기 최종 의미 표현으로 결정되는 의미 표현 처리 방법이 제공된다.
본 발명의 다른 실시 예의 일 양태에 따르면, 입력되는 음성 인식 결과의 단어열을 의미 표현으로 변환하는 의미 표현 변환부와, 상기 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하고, 검색된 의미 표현들을 매칭 스코어와 함께 전달하는 의미 표현 매칭부와, 상기 매칭 스코어와 상기 음성 인식 결과의 스코어를 가중합하여 리스코어링하고, 리스코어링 결과에 따라 상기 검색된 의미 표현들 중에서 어느 하나를 최종 의미 표현으로 결정하는 인식 결과 리스코어링부와, 상기 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력하는 문장 생성부를 포함하는 의미 표현 처리 장치가 제공된다.
바람직하게는, 상기 의미 표현 매칭부는, 상기 변환된 의미 표현과 상기 검색된 의미 표현들의 공통 부분을 추출하고, 상기 추출된 공통 부분의 상대적 비율에 따라 상기 매칭 스코어를 스코어링하는 의미 표현 처리 장치가 제공된다.
바람직하게는, 상기 인식 결과 리스코어링부는, 음향 모델 기반 스코어 방식 또는 언어 모델 스코어 방식을 이용하여 리스코어링하는 의미 표현 처리 장치가 제공된다.
본 발명의 다른 실시 예의 다른 양태에 따르면, 입력되는 음성 인식 결과의 단어열을 의미 표현으로 변환하는 단계와, 상기 변환된 의미 표현을 기 구축된 의 미 표현 집합 데이터베이스를 참조하여 검색하고, 검색된 의미 표현들을 매칭 스코어와 함께 전달하는 단계와, 상기 매칭 스코어와 상기 음성 인식 결과의 스코어를 가중합하여 리스코어링하고, 리스코어링 결과에 따라 상기 검색된 의미 표현들 중에서 어느 하나를 최종 의미 표현으로 결정하는 단계와, 상기 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력하는 단계를 포함하는 의미 표현 처리 방법이 제공된다.
바람직하게는, 상기 매칭 스코어와 함께 전달하는 단계는, 상기 변환된 의미 표현과 상기 검색된 의미 표현들의 공통 부분을 추출하고, 상기 추출된 공통 부분의 상대적 비율에 따라 상기 매칭 스코어가 스코어링되는 의미 표현 처리 방법이 제공된다.
바람직하게는, 상기 최종 의미 표현으로 결정하는 단계는, 음향 모델 기반 스코어 방식 또는 언어 모델 스코어 방식을 이용하여 리스코어링되는 의미 표현 처리 방법이 제공된다.
본 발명의 또 다른 실시 예의 일 양태에 따르면, 제 1 언어의 입력 음성에 대한 음성 인식 결과의 단어열을 의미 표현으로 변환하는 의미 표현 변환부와, 상기 변환된 의미 표현을 기 구축된 원시 언어의 의미 표현 집합 데이터베이스를 참조하여 검색하고, 검색 결과에 따라 제 1 언어의 의미 표현으로 결정하는 의미 표현 매칭부와, 상기 결정된 제 1 언어의 의미 표현에 대응하는 제 2 언어의 의미 표현을 기 구축된 목적 언어의 의미 표현 집합 데이터베이스를 참조하여 추출하고, 상기 추출된 제 2 언어의 의미 표현을 제 2 언어의 최종 문장으로 생성 및 출력하 는 문장 생성부를 포함하는 의미 표현 처리 장치가 제공된다.
바람직하게는, 상기 의미 표현 매칭부는, 상기 검색 결과에 따라 다수의 의미 표현들 중에서 매칭 스코어가 가장 높은 값을 갖는 어느 하나를 선택하여 상기 제 1 언어의 의미 표현으로 결정하는 의미 표현 처리 장치가 제공된다.
본 발명의 또 다른 실시 예의 다른 양태에 따르면, 제 1 언어의 입력 음성에 대한 음성 인식 결과의 단어열을 의미 표현으로 변환하는 단계와, 상기 변환된 의미 표현을 기 구축된 원시 언어의 의미 표현 집합 데이터베이스를 참조하여 검색하고, 검색 결과에 따라 제 1 언어의 의미 표현으로 결정하는 단계와, 상기 결정된 제 1 언어의 의미 표현에 대응하는 제 2 언어의 의미 표현을 기 구축된 목적 언어의 의미 표현 집합 데이터베이스를 참조하여 추출하는 단계와, 상기 추출된 제 2 언어의 의미 표현을 제 2 언어의 최종 문장으로 생성 및 출력하는 단계를 포함하는 의미 표현 처리 방법이 제공된다.
바람직하게는, 상기 제 1 언어의 의미 표현으로 결정하는 단계는, 상기 검색 결과에 따라 다수의 의미 표현들 중에서 매칭 스코어가 가장 높은 값을 갖는 어느 하나가 선택되어 상기 제 1 언어의 의미 표현으로 결정되는 의미 표현 처리 방법이 제공된다.
본 발명은, 사용자 의미 전달 위주의 의미표현 체계를 갖추며, 기구축된 의미표현 집합에서 생성 가능한 문장만 번역하고, 기구축된 의미표현 집합에서 생성 가능한 문장에 대해 완벽한 번역이 되도록 사전에 자동번역부를 훈련할 수 있기 때 문에, 사용자 의미 전달 관점에서 종래의 시스템이 가지는 문제를 해결할 수 있다.
또한 본 발명은, 음성 언어 이해를 위한 복잡한 파서를 도입하지 않으며, 적용 가능한 의미 표현 집합을 코퍼스 기반으로 미리 구축함으로써, 코퍼스만 확보될 경우 사용 영역에 제한이 없어 자동 통역 시스템의 성능을 향상시킬 수 있다.
본 발명은, 제 1 언어로 입력된 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현을 최종 의미 표현으로 결정하여 그에 대응하는 문장으로 변환하거나 검색된 의미 표현을 리스코어링하고, 리스코어링 결과에 따라 최종 의미 표현을 결정하여 그에 대응하는 문장으로 변환하거나 검색된 원시 언어의 의미 표현에 대응하는 목적 언어의 의미 표현으로 대체하고, 대체된 의미 표현을 목적 언어의 문장으로 변환한 후에, 자동 번역 및 음성 변환의 선택 수행을 통해 제 2 언어의 음성을 출력한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이 다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기 타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따라 입력 음성에 대응하여 매칭된 의미 표현을 이용하여 자동 통역을 수행하는데 적합한 자동 통역 시스템의 블록 구성도로서, 음성 인식 장치(100), 의미 표현 처리 장치(200), 자동 번역 장치(300), 음성 합성 장치(400) 등을 포함할 수 있다. 이하에서는, 사용자가 발화한 음성에 대응하는 원시 언어는 제 1 언어를 의미하고, 통역되어 출력된 음성에 대응하는 목적 언어는 제 2 언어를 의미하는 것으로 하여 설명한다.
도 1을 참조하면, 음성 인식 장치(100)는 입력된 음성을 인식하여 그 음성 인식 결과를 출력하는 것으로, 제 1 언어의 음성이 입력되면, 입력된 음성을 전처리하여 음성 인식을 위한 특징을 추출하고, 추출된 특징과 단어들의 음향 모델 및 단어들 간의 연결 확률을 나타내는 언어 모델과 비교하여 가장 높은 확률을 갖는 문자열을 선택 및 출력한다. 여기에서, 출력되는 문자열은 가장 높은 확률을 갖는 단어열(1-best)을 포함하거나, 가장 높은 확률을 갖는 n개의 단어열(n-best)을 포함하여 출력될 수 있으며, 음성 인식 결과의 문자열이 출력될 경우 음향 모델에 따른 인식 스코어 또는 언어 모델에 따른 인식 스코어를 포함하는 스코어 정보를 함께 출력할 수 있다.
그리고, 의미 표현 처리 장치(200)는 음성 인식 결과와 의미 표현을 매칭시켜 최종 문장을 생성 및 출력하는 것으로, 일 실시 예에 따르면, 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색 결과에 따라 변환된 의미 표현에 매칭된 의미 표현을 최종 의미 표현으로 결정하고, 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 1 언어의 최종 문장)을 생성하여 출력한다.
다른 한편, 의미 표현 처리 장치(200)는 다른 실시 예에 따르면, 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현들에 대한 매칭 스코어 정보를 참조하여 음성 인식 장치(100)로부터 출력되는 스코어 정보를 리스코어링하 고, 리스코어링 결과에 따라 최종 의미 표현을 결정하며, 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 1 언어의 최종 문장)을 생성하여 출력한다.
또 다른 한편, 의미 표현 처리 장치(200)는 또 다른 실시 예에 따르면, 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환하고, 변환된 의미 표현을 원시 언어(즉, 제 1 언어)로 기 구축된 원시 언어 의미 표현 집합을 참조하여 검색하며, 검색 결과에 따라 매칭된 의미 표현을 제 1 언어의 의미 표현으로 결정하고, 결정된 제 1 언어의 의미 표현을 기 구축된 목적 언어 의미 표현 집합을 참조하여 검색하며, 검색 결과에 따라 제 1 언어의 의미 표현을 제 2 언어의 의미 표현으로 대체하고, 대체된 제 2 언어의 의미 표현을 최종 의미 표현으로 결정하며, 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 2 언어의 최종 문장)을 생성하여 출력한다.
다음에, 자동 번역 장치(300)는 입력되는 제 1 언어의 문장을 제 2 언어의 문장으로 번역하는 것으로, 의미 표현 처리 장치(200)로부터 일 실시 예 또는 다른 실시 예에 따라 입력되는 최종 문장(즉, 제 1 언어의 최종 문장)을 제 2 언어의 문장으로 번역하여 출력한다.
이어서, 음성 출력 장치(400)는 입력되는 문장을 음성으로 변환하여 출력하는 것으로, 자동 번역 장치(300)로부터 입력되는 제 2 언어의 문장 또는 의미 표현 처리 장치(200)로부터 또 다른 실시 예에 따라 입력되는 최종 문장(즉, 제 2 언어의 최종 문장)을 음성으로 변환하여 출력한다.
따라서, 제 1 언어로 입력된 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현을 최종 의미 표현으로 결정하여 그에 대응하는 문장으로 변환하거나 검색된 의미 표현을 리스코어링하고, 리스코어링 결과에 따라 최종 의미 표현을 결정하여 그에 대응하는 문장으로 변환하거나 검색된 원시 언어의 의미 표현에 대응하는 목적 언어의 의미 표현으로 대체하고, 대체된 의미 표현을 목적 언어의 문장으로 변환한 후에, 자동 번역 및 음성 변환의 선택 수행을 통해 제 2 언어의 음성을 출력함으로써, 기 구축된 의미 표현 집합의 검색을 통해 사용자 의도를 반영하여 자동으로 통역할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 자동 통역 시스템에서 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 검색된 최종 의미 변환에 대응하는 최종 문장을 생성하는 의미 표현 처리 장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따라 검색된 최종 의미 표현을 이용하여 최종 문장을 생성하는데 적합한 의미 표현 처리 장치의 블록 구성도로서, 의미 표현 변환 장치(200)는 의미 표현 변환부(202a), 의미 표현 매칭부(204a), 의미 표현 집합 데이터베이스(206a), 문장 생성부(208a) 등을 포함할 수 있다.
도 2를 참조하면, 의미 표현 변환부(202a)는 입력되는 문자열을 사용자 의도가 반영되도록 의미 표현으로 변환하는 것으로, 음성 인식 장치(100)로부터 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분 석, 층위 변환 등의 과정을 통해 의미 표현으로 변환한다.
그리고, 의미 표현 매칭부(204a)는 의미 표현 변환부(202a)를 통해 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스(206a)를 참조하여 검색하고, 그 검색 결과에 따라 변환된 의미 표현에 매칭된 의미 표현을 최종 의미 표현으로 결정한다. 여기에서, 최종 의미 표현의 결정은 예를 들면, 변환된 의미 표현과 기 구축된 의미 표현 집합 데이터베이스(206a)를 참조하여 검색된 의미 표현의 공통 부분을 추출하고, 추출된 공통 부분의 상대적 비율에 따라 스코어링된 매칭 스코어 정보를 참조하여 다수의 의미 표현들 중 상대적으로 가장 높은 값을 갖는 의미 표현을 최종 의미 표현으로 결정하는 방식으로 수행될 수 있다.
다음에, 문장 생성부(208a)는 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 1 언어의 최종 문장)을 생성하여 출력한다. 여기에서, 음성 입력 장치(100)로부터 입력되는 음성 인식 결과의 문자열은 사용자의 발성을 입력으로 하여 자동 인식한 문자열을 의미하며, 최종 의미 표현에 대응하는 최종 문장은 기 구축된 의미 표현 집합에 포함되는 문자열로서, 오류를 포함하고 있지 않은 문자열을 의미한다.
따라서, 입력되는 음성 인식 결과에 따른 문자열을 의미 표현으로 변환하고, 이를 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현을 최종 의미 표현으로 결정하고, 결정된 최종 의미 표현에 대응하는 최종 문장을 효과적으로 생성할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 자동 통역 시스템에서 음성 인식 결 과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 매칭시키며, 그 매칭 결과와 음성 인식 결과에 따라 리스코어링하여 최종 의미 변환을 결정하고, 결정된 최종 의미 변환에 대응하는 최종 문장을 생성하는 의미 표현 처리 장치에 대해 설명한다.
도 3은 본 발명의 다른 실시 예에 따라 음성 인식 결과와 의미 표현 매칭 결과에 따라 리스코어링하여 최종 문장을 생성하는데 적합한 의미 표현 처리 장치의 블록 구성도로서, 의미 표현 변환 장치(200)는 의미 표현 변환부(202b), 의미 표현 매칭부(204b), 의미 표현 집합 데이터베이스(206b), 인식 결과 스코어링부(208b), 문장 생성부(210b) 등을 포함할 수 있다.
도 3을 참조하면, 의미 표현 변환부(202b)는 입력되는 문자열을 사용자 의도가 반영되도록 의미 표현으로 변환하는 것으로, 음성 인식 장치(100)로부터 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환한다. 이 때, 음성 인식 결과의 문자열과 함께 음성 인식 결과의 단어열에 대한 스코어 정보가 함께 입력될 수 있다.
그리고, 의미 표현 매칭부(204b)는 의미 표현 변환부(202b)를 통해 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스(206b)를 참조하여 검색하고, 검색된 의미 표현들에 대한 매칭 스코어 정보를 전달한다. 여기에서, 매칭 스코어 정보는 예를 들면, 변환된 의미 표현과 기 구축된 의미 표현 집합 데이터베이스(206a)를 참조하여 검색된 의미 표현의 공통 부분을 추출하고, 추출된 공통 부분 의 상대적 비율에 따라 스코어링된 매칭 스코어를 포함할 수 있으며, 이러한 매칭 스코어는 오류가 포함된 문장의 값이 오류가 포함되지 않은 문장의 값보다 상대적으로 낮은 값을 가질 수 있다.
이 때, 의미 표현 매칭부(206b)에서는 검색된 의미 표현들에 대한 매칭 스코어가 기 설정된 매칭 스코어값보다 작은 값을 갖는 경우 음성 인식 결과를 최종 결과로서 문장 생성부(210b)로 출력할 수 있다.
한편, 인식 결과 리스코어링부(206b)는 의미 표현 매칭부(204b)로부터 전달되는 매칭 스코어 정보와 음성 인식 장치(100)로부터 출력되는 스코어 정보를 가중합하여 리스코어링하고, 리스코어링 결과에 따라 검색된 의미 표현들 중에서 상대적으로 가장 높은 값을 갖는 의미 표현을 선택하여 최종 의미 표현을 결정한다. 여기에서, 매칭 스코어 정보는 검색된 다수의 의미 표현들에 대한 매칭 스코어를 포함할 수 있으며, 이러한 매칭 스코어를 반영하여 음성 인식 결과에 대한 스코어 정보를 예를 들면, 음향 모델 기반 스코어, 언어 모델 스코어 등의 방식으로 리스코어링 할 수 있다.
다음에, 문장 생성부(210b)는 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 1 언어의 최종 문장)을 생성하여 출력한다. 여기에서, 음성 입력 장치(100)로부터 입력되는 음성 인식 결과의 문자열은 사용자의 발성을 입력으로 하여 자동 인식한 문자열을 의미하며, 최종 의미 표현에 대응하는 최종 문장은 기 구축된 의미 표현 집합에 포함되는 문자열로서, 오류를 포함하고 있지 않은 문자열을 의미한다.
따라서, 입력되는 음성 인식 결과에 따른 문자열을 의미 표현으로 변환하고, 이를 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현들에 대한 매칭 스코어 정보를 참조하여 음성 인식 결과에 대한 스코어 정보를 리스코어링한 후에, 리스코어링 결과에 따라 선택된 의미 표현을 최종 의미 표현으로 결정하고, 결정된 최종 의미 표현에 대응하는 최종 문장을 효과적으로 생성할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 자동 통역 시스템에서 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 원시 언어로 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 원시 언어로 검색된 의미 표현을 목적 언어로 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 목적 언어로 검색된 최종 의미 변환에 대응하는 최종 문장을 생성하는 의미 표현 처리 장치에 대해 설명한다.
도 4는 본 발명의 또 다른 실시 예에 따라 원시 언어의 의미 표현에 대응하는 목적 언어의 최종 의미 표현을 이용하여 최종 문장을 생성하는데 적합한 의미 표현 처리 장치의 블록 구성도로서, 의미 표현 변환 장치(200)는 의미 표현 변환부(202c), 의미 표현 매칭부(204c), 원시 언어의 의미 표현 집합 데이터베이스(206c), 문장 생성부(208c), 목적 언어의 의미 표현 집합 데이터베이스(210c) 등을 포함할 수 있다.
도 4를 참조하면, 의미 표현 변환부(202c)는 입력되는 문자열을 사용자 의도가 반영되도록 의미 표현으로 변환하는 것으로, 음성 인식 장치(100)로부터 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분 석, 층위 변환 등의 과정을 통해 의미 표현으로 변환한다.
그리고, 의미 표현 매칭부(204c)는 의미 표현 변환부(202c)를 통해 변환된 의미 표현을 기 구축된 원시 언어의 의미 표현 집합 데이터베이스(206c)를 참조하여 검색하고, 그 검색 결과에 따라 변환된 의미 표현에 매칭된 의미 표현을 제 1 언어의 의미 표현으로 결정한다. 여기에서, 제 1 언어의 의미 표현의 결정은 예를 들면, 변환된 의미 표현과 기 구축된 원시 언어의 의미 표현 집합 데이터베이스(206c)를 참조하여 검색된 의미 표현의 공통 부분을 추출하고, 추출된 공통 부분의 상대적 비율에 따라 스코어링된 매칭 스코어 정보를 참조하여 다수의 의미 표현들 중 상대적으로 가장 높은 값을 갖는 의미 표현을 제 1 언어의 의미 표현으로 결정하는 방식으로 수행될 수 있다.
다음에, 문장 생성부(208c) 결정된 제 1 언어의 의미 표현을 기 구축된 목적 언어의 의미 표현 집합 데이터베이스(210c)를 참조하여 검색하며, 검색 결과에 따라 제 1 언어의 의미 표현을 제 2 언어의 의미 표현으로 대체하고, 대체된 제 2 언어의 의미 표현을 최종 의미 표현으로 결정하며, 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 2 언어의 최종 문장)을 생성하여 출력한다.
따라서, 입력되는 음성 인식 결과에 따른 문자열을 의미 표현으로 변환하고, 이를 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현을 제 1 언어의 의미 표현으로 결정하고, 결정된 제 1 언어의 의미 표현을 제 2 언어의 의미 표현으로 대체하며, 대체된 제 2 언어의 의미 표현에 대응하는 최종 문장을 효과적으로 생성할 수 있다.
다음에, 상술한 바와 같은 일 실시 예에 따른 의미 표현 처리 장치를 이용하여 입력된 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 검색된 최종 의미 변환에 대응하는 최종 문장을 생성하고, 최종 문장을 자동 번역한 후, 목적 언어로 음성 출력하는 과정에 대해 설명한다.
도 5는 본 발명의 일 실시 예에 따라 검색된 최종 의미 표현에 대응하는 최종 문장을 생성하여 자동 통역을 수행하는 과정을 도시한 플로우차트이다.
도 5를 참조하면, 자동 통역 시스템의 자동 통역 모드에서(단계502), 음성 인식 장치(100)에서는 자동 통역을 위해 사용자가 발화한 제 1 언어의 음성이 입력되는지를 체크한다(단계504).
상기 단계(504)에서의 체크 결과, 제 1 언어의 음성이 입력되면, 음성 인식 장치(100)에서는 입력된 음성을 전처리하여 음성 인식을 위한 특징을 추출하고, 추출된 특징과 단어들의 음향 모델 및 단어들 간의 연결 확률을 나타내는 언어 모델과 비교하여 가장 높은 확률을 갖는 문자열을 선택 및 출력한다(단계506). 여기에서, 출력되는 문자열은 가장 높은 확률을 갖는 단어열(1-best)을 포함하거나, 가장 높은 확률을 갖는 n개의 단어열(n-best)을 포함하여 출력될 수 있으며, 음성 인식 결과의 문자열이 출력될 경우 음향 모델에 따른 인식 스코어 또는 언어 모델에 따른 인식 스코어를 포함하는 스코어 정보를 함께 출력할 수 있다.
그리고, 의미 표현 처리 장치(200)의 의미 표현 변환부(202a)에서는 음성 인식 장치(100)로부터 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환한다(단계508).
그리고, 의미 표현 매칭부(204a)에서는 의미 표현 변환부(202a)를 통해 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스(206a)를 참조하여 검색하고, 그 검색 결과에 따라 변환된 의미 표현에 매칭된 의미 표현을 최종 의미 표현으로 결정한다(단계510). 여기에서, 최종 의미 표현의 결정은 예를 들면, 변환된 의미 표현과 기 구축된 의미 표현 집합 데이터베이스(206a)를 참조하여 검색된 의미 표현의 공통 부분을 추출하고, 추출된 공통 부분의 상대적 비율에 따라 스코어링된 매칭 스코어 정보를 참조하여 다수의 의미 표현들 중 상대적으로 가장 높은 값을 갖는 의미 표현을 최종 의미 표현으로 결정하는 방식으로 수행될 수 있다.
다음에, 문장 생성부(208a)에서는 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 1 언어의 최종 문장)을 생성하여 출력한다(단계512). 여기에서, 음성 입력 장치(100)로부터 입력되는 음성 인식 결과의 문자열은 사용자의 발성을 입력으로 하여 자동 인식한 문자열을 의미하며, 최종 의미 표현에 대응하는 최종 문장은 기 구축된 의미 표현 집합에 포함되는 문자열로서, 오류를 포함하고 있지 않은 문자열을 의미한다.
그리고, 자동 번역 장치(300)에서는 의미 표현 처리 장치(200)의 문장 생성부(208a)로부터 입력되는 최종 문장(즉, 제 1 언어의 최종 문장)을 제 2 언어의 문장으로 번역하여 출력한다(단계514).
이어서, 음성 출력 장치(400)에서는 자동 번역 장치(300)로부터 입력되는 제 2 언어의 문장을 음성으로 변환하여 출력한다(단계516).
따라서, 제 1 언어로 입력된 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현을 최종 의미 표현으로 결정하여 그에 대응하는 문장으로 변환한 후에, 자동 번역 및 음성 변환의 선택 수행을 통해 제 2 언어의 음성을 출력함으로써, 기 구축된 의미 표현 집합의 검색을 통해 사용자 의도를 반영하여 자동으로 통역할 수 있다.
다음에, 상술한 바와 같은 다른 실시 예에 따른 의미 표현 처리 장치를 이용하여 입력 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 매칭시키며, 그 매칭 결과와 음성 인식 결과에 따라 리스코어링하여 최종 의미 변환을 결정하고, 결정된 최종 의미 변환에 대응하는 최종 문장을 생성하고, 최종 문장을 자동 번역한 후, 목적 언어로 음성 출력하는 과정에 대해 설명한다.
도 6은 본 발명의 다른 실시 예에 따라 음성 인식 결과와 의미 표현 매칭 결과에 따른 리스코어링을 통해 최종 문장을 생성하여 자동 통역을 수행하는 과정을 도시한 플로우차트이다.
도 6을 참조하면, 자동 통역 시스템의 자동 통역 모드에서(단계602), 음성 인식 장치(100)에서는 자동 통역을 위해 사용자가 발화한 제 1 언어의 음성이 입력되는지를 체크한다(단계604).
상기 단계(604)에서의 체크 결과, 제 1 언어의 음성이 입력되면, 음성 인식 장치(100)에서는 입력된 음성을 인식하여 그 음성 인식 결과를 출력하는 것으로, 제 1 언어의 음성이 입력되면, 입력된 음성을 전처리하여 음성 인식을 위한 특징을 추출하고, 추출된 특징과 단어들의 음향 모델 및 단어들 간의 연결 확률을 나타내는 언어 모델과 비교하여 가장 높은 확률을 갖는 문자열을 선택 및 출력한다(단계606). 여기에서, 출력되는 문자열은 가장 높은 확률을 갖는 단어열(1-best)을 포함하거나, 가장 높은 확률을 갖는 n개의 단어열(n-best)을 포함하여 출력될 수 있으며, 음성 인식 결과의 문자열이 출력될 경우 음향 모델에 따른 인식 스코어 또는 언어 모델에 따른 인식 스코어를 포함하는 스코어 정보를 함께 출력할 수 있다.
그리고, 의미 표현 처리 장치(200)의 의미 표현 변환부(202b)에서는 음성 인식 장치(100)로부터 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환한다(단계608). 이 때, 음성 인식 결과의 문자열과 함께 음성 인식 결과의 단어열에 대한 스코어 정보가 함께 입력될 수 있다.
그리고, 의미 표현 매칭부(204b)에서는 의미 표현 변환부(202b)를 통해 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스(206b)를 참조하여 검색하고, 검색된 의미 표현들에 대한 매칭 스코어 정보를 전달한다(단계610).여기에서, 매칭 스코어 정보는 예를 들면, 변환된 의미 표현과 기 구축된 의미 표현 집합 데이터베이스(206a)를 참조하여 검색된 의미 표현의 공통 부분을 추출하고, 추출된 공통 부분의 상대적 비율에 따라 스코어링된 매칭 스코어를 포함할 수 있으며, 이러한 매칭 스코어는 오류가 포함된 문장의 값이 오류가 포함되지 않은 문장의 값보 다 상대적으로 낮은 값을 가질 수 있다. 이 때, 의미 표현 매칭부(206b)에서는 검색된 의미 표현들에 대한 매칭 스코어가 기 설정된 매칭 스코어값보다 작은 값을 갖는 경우 음성 인식 결과를 최종 결과로서 문장 생성부(210b)로 출력할 수 있다.
한편, 인식 결과 리스코어링부(206b)에서는 의미 표현 매칭부(204b)로부터 전달되는 매칭 스코어 정보와 음성 인식 장치(100)로부터 출력되는 스코어 정보를 가중합하여 리스코어링하고, 리스코어링 결과에 따라 검색된 의미 표현들 중에서 상대적으로 가장 높은 값을 갖는 의미 표현을 선택하여 최종 의미 표현을 결정한다(단계612). 여기에서, 매칭 스코어 정보는 검색된 다수의 의미 표현들에 대한 매칭 스코어를 포함할 수 있으며, 이러한 매칭 스코어를 반영하여 음성 인식 결과에 대한 스코어 정보를 예를 들면, 음향 모델 기반 스코어, 언어 모델 스코어 등의 방식으로 리스코어링 할 수 있다.
다음에, 문장 생성부(210b)에서는 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 1 언어의 최종 문장)을 생성하여 출력한다(단계614). 여기에서, 음성 입력 장치(100)로부터 입력되는 음성 인식 결과의 문자열은 사용자의 발성을 입력으로 하여 자동 인식한 문자열을 의미하며, 최종 의미 표현에 대응하는 최종 문장은 기 구축된 의미 표현 집합에 포함되는 문자열로서, 오류를 포함하고 있지 않은 문자열을 의미한다.
그리고, 자동 번역 장치(300)에서는 의미 표현 처리 장치(200)로부터 입력되는 최종 문장(즉, 제 1 언어의 최종 문장)을 제 2 언어의 문장으로 번역하여 출력한다(단계616).
이어서, 음성 출력 장치(400)에서는 자동 번역 장치(300)로부터 입력되는 제 2 언어의 문장을 음성으로 변환하여 출력한다(단계618).
따라서, 제 1 언어로 입력된 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 의미 표현을 리스코어링하고, 리스코어링 결과에 따라 최종 의미 표현을 결정하여 그에 대응하는 문장으로 변환한 후에, 자동 번역 및 음성 변환의 선택 수행을 통해 제 2 언어의 음성을 출력함으로써, 기 구축된 의미 표현 집합의 검색을 통해 사용자 의도를 반영하여 자동으로 통역할 수 있다.
다음에, 상술한 바와 같은 또 다른 실시 예에 따른 의미 표현 처리 장치를 이용하여 입력 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 원시 언어로 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 원시 언어로 검색된 의미 표현을 목적 언어로 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하며, 목적 언어로 검색된 최종 의미 변환에 대응하는 최종 문장을 생성하고, 생성된 최종 문장을 음성으로 출력하는 과정에 대해 설명한다.
도 7은 본 발명의 또 다른 실시 예에 따라 원시 언어의 의미 표현에 대응하는 목적 언어의 최종 의미 표현을 통해 최종 문장을 생성하여 자동 통역을 수행하는 과정을 도시한 플로우차트이다.
도 7을 참조하면, 자동 통역 시스템의 자동 통역 모드에서(단계702), 음성 인식 장치(100)에서는 자동 통역을 위해 사용자가 발화한 제 1 언어의 음성이 입력 되는지를 체크한다(단계704).
상기 단계(704)에서의 체크 결과, 제 1 언어의 음성이 입력되면, 음성 인식 장치(100)에서는 입력된 음성을 전처리하여 음성 인식을 위한 특징을 추출하고, 추출된 특징과 단어들의 음향 모델 및 단어들 간의 연결 확률을 나타내는 언어 모델과 비교하여 가장 높은 확률을 갖는 문자열을 선택 및 출력한다(단계706). 여기에서, 출력되는 문자열은 가장 높은 확률을 갖는 단어열(1-best)을 포함하거나, 가장 높은 확률을 갖는 n개의 단어열(n-best)을 포함하여 출력될 수 있으며, 음성 인식 결과의 문자열이 출력될 경우 음향 모델에 따른 인식 스코어 또는 언어 모델에 따른 인식 스코어를 포함하는 스코어 정보를 함께 출력할 수 있다.
그리고, 의미 표현 처리 장치(200)의 의미 표현 변환부(202c)에서는 음성 인식 장치(100)로부터 음성 인식 결과에 따른 문자열이 입력되면, 입력된 문자열에 대한 형태소 분석, 구문 분석, 층위 변환 등의 과정을 통해 의미 표현으로 변환한다(단계708).
그리고, 의미 표현 매칭부(204c)에서는 의미 표현 변환부(202c)를 통해 변환된 의미 표현을 기 구축된 원시 언어의 의미 표현 집합 데이터베이스(206c)를 참조하여 검색하고, 그 검색 결과에 따라 변환된 의미 표현에 매칭된 의미 표현을 제 1 언어의 의미 표현으로 결정한다(단계710). 여기에서, 제 1 언어의 의미 표현의 결정은 예를 들면, 변환된 의미 표현과 기 구축된 원시 언어의 의미 표현 집합 데이터베이스(206c)를 참조하여 검색된 의미 표현의 공통 부분을 추출하고, 추출된 공통 부분의 상대적 비율에 따라 스코어링된 매칭 스코어 정보를 참조하여 다수의 의 미 표현들 중 상대적으로 가장 높은 값을 갖는 의미 표현을 제 1 언어의 의미 표현으로 결정하는 방식으로 수행될 수 있다.
다음에, 문장 생성부(208c)에서는 결정된 제 1 언어의 의미 표현을 기 구축된 목적 언어의 의미 표현 집합 데이터베이스(210c)를 참조하여 검색하며, 검색 결과에 따라 제 1 언어의 의미 표현을 제 2 언어의 의미 표현으로 대체하고, 대체된 제 2 언어의 의미 표현을 최종 의미 표현으로 결정한다(단계712).
그리고, 문장 생성부(208c)에서는 결정된 최종 의미 표현에 대응하는 최종 문장(즉, 제 2 언어의 최종 문장)을 생성하여 출력한다(714).
이어서, 음성 출력 장치(400)는 의미 표현 처리 장치(200)의 문장 생성부(208c)로부터 입력되는 최종 문장(즉, 제 2 언어의 최종 문장)을 음성으로 변환하여 출력한다(단계716).
따라서, 제 1 언어로 입력된 음성의 음성 인식 결과에 대응하는 문자열을 의미 표현으로 변환하고, 변환된 의미 표현을 기 구축된 의미 표현 집합을 참조하여 검색하며, 검색된 제 1 언어의 의미 표현에 대응하는 제 2 언어의 의미 표현으로 대체하고, 대체된 제 2 언어의 의미 표현을 제 2 언어의 문장으로 변환한 후에, 자동 번역 및 음성 변환의 선택 수행을 통해 제 2 언어의 음성을 출력함으로써, 기 구축된 의미 표현 집합의 검색을 통해 사용자 의도를 반영하여 자동으로 통역할 수 있다.
이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
도 1은 본 발명의 실시 예에 따라 입력 음성에 대응하여 매칭된 의미 표현을 이용하여 자동 통역을 수행하는데 적합한 자동 통역 시스템의 블록 구성도,
도 2는 본 발명의 일 실시 예에 따라 검색된 최종 의미 표현을 이용하여 최종 문장을 생성하는데 적합한 의미 표현 처리 장치의 블록 구성도,
도 3은 본 발명의 다른 실시 예에 따라 음성 인식 결과와 의미 표현 매칭 결과에 따라 리스코어링하여 최종 문장을 생성하는데 적합한 의미 표현 처리 장치의 블록 구성도,
도 4는 본 발명의 또 다른 실시 예에 따라 원시 언어의 의미 표현에 대응하는 목적 언어의 최종 의미 표현을 이용하여 최종 문장을 생성하는데 적합한 의미 표현 처리 장치의 블록 구성도,
도 5는 본 발명의 일 실시 예에 따라 검색된 최종 의미 표현에 대응하는 최종 문장을 생성하여 자동 통역을 수행하는 과정을 도시한 플로우차트,
도 6은 본 발명의 다른 실시 예에 따라 음성 인식 결과와 의미 표현 매칭 결과에 따른 리스코어링을 통해 최종 문장을 생성하여 자동 통역을 수행하는 과정을 도시한 플로우차트,
도 7은 본 발명의 또 다른 실시 예에 따라 원시 언어의 의미 표현에 대응하는 목적 언어의 최종 의미 표현을 통해 최종 문장을 생성하여 자동 통역을 수행하는 과정을 도시한 플로우차트.
<도면의 주요부분에 대한 부호의 설명>
100 : 음성 인식 장치 200 : 의미 표현 처리 장치
202a, 202b, 202c : 의미 표현 변환부 204a, 204b, 206c : 의미 표현 매칭부
206a, 206b : 의미 표현 집합 데이터베이스
206c : 원시 언어의 의미 표현 집합 데이터베이스
208a 208c, 210b : 문장 생성부 208b : 인식 결과 리스코어링부
210c : 목적 언어의 의미 표현 집합 데이터베이스
300 : 자동 번역 장치 400 : 음성 합성 장치

Claims (8)

  1. 삭제
  2. 삭제
  3. 입력되는 음성 인식 결과의 단어열을 의미 표현으로 변환하는 의미 표현 변환부와,
    상기 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하 여 검색하고, 검색된 의미 표현들을 매칭 스코어와 함께 전달하는 의미 표현 매칭부와,
    상기 매칭 스코어와 상기 음성 인식 결과의 스코어를 가중합하여 리스코어링하고, 리스코어링 결과에 따라 상기 검색된 의미 표현들 중에서 어느 하나를 최종 의미 표현으로 결정하는 인식 결과 리스코어링부와,
    상기 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력하는 문장 생성부를 포함하는
    의미 표현 처리 장치.
  4. 제 3 항에 있어서,
    상기 의미 표현 매칭부는, 상기 변환된 의미 표현과 상기 검색된 의미 표현들의 공통 부분을 추출하고, 상기 추출된 공통 부분의 상대적 비율에 따라 상기 매칭 스코어를 스코어링하는
    의미 표현 처리 장치.
  5. 입력되는 음성 인식 결과의 단어열을 의미 표현으로 변환하는 단계와,
    상기 변환된 의미 표현을 기 구축된 의미 표현 집합 데이터베이스를 참조하여 검색하고, 검색된 의미 표현들을 매칭 스코어와 함께 전달하는 단계와,
    상기 매칭 스코어와 상기 음성 인식 결과의 스코어를 가중합하여 리스코어링하고, 리스코어링 결과에 따라 상기 검색된 의미 표현들 중에서 어느 하나를 최종 의미 표현으로 결정하는 단계와,
    상기 결정된 최종 의미 표현을 최종 문장으로 생성 및 출력하는 단계를 포함하는
    의미 표현 처리 방법.
  6. 제 5 항에 있어서,
    상기 매칭 스코어와 함께 전달하는 단계는, 상기 변환된 의미 표현과 상기 검색된 의미 표현들의 공통 부분을 추출하고, 상기 추출된 공통 부분의 상대적 비율에 따라 상기 매칭 스코어가 스코어링되는
    의미 표현 처리 방법.
  7. 삭제
  8. 삭제
KR1020090068268A 2009-07-27 2009-07-27 의미 표현 처리 장치 및 그 방법 KR101134467B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090068268A KR101134467B1 (ko) 2009-07-27 2009-07-27 의미 표현 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090068268A KR101134467B1 (ko) 2009-07-27 2009-07-27 의미 표현 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110010916A KR20110010916A (ko) 2011-02-08
KR101134467B1 true KR101134467B1 (ko) 2012-04-13

Family

ID=43771200

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090068268A KR101134467B1 (ko) 2009-07-27 2009-07-27 의미 표현 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101134467B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867136B2 (en) 2016-07-07 2020-12-15 Samsung Electronics Co., Ltd. Automatic interpretation method and apparatus
US11501089B2 (en) 2019-06-05 2022-11-15 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof based on determining intent of a user speech in a first language machine translated into a predefined second language

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101240532B1 (ko) * 2011-02-18 2013-03-11 윤현식 단어조합을 이용한 양방향 통역방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020076044A (ko) * 2001-03-27 2002-10-09 삼성전자 주식회사 대화 모델을 이용한 자동 통역 장치 및 방법
KR100807307B1 (ko) * 2006-07-10 2008-02-28 한국전자통신연구원 대화형 음성 인터페이스 시스템 및 그 응답 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020076044A (ko) * 2001-03-27 2002-10-09 삼성전자 주식회사 대화 모델을 이용한 자동 통역 장치 및 방법
KR100807307B1 (ko) * 2006-07-10 2008-02-28 한국전자통신연구원 대화형 음성 인터페이스 시스템 및 그 응답 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10867136B2 (en) 2016-07-07 2020-12-15 Samsung Electronics Co., Ltd. Automatic interpretation method and apparatus
US11501089B2 (en) 2019-06-05 2022-11-15 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device thereof based on determining intent of a user speech in a first language machine translated into a predefined second language

Also Published As

Publication number Publication date
KR20110010916A (ko) 2011-02-08

Similar Documents

Publication Publication Date Title
KR101377459B1 (ko) 자동 통역 장치 및 그 방법
US9710463B2 (en) Active error detection and resolution for linguistic translation
US8954333B2 (en) Apparatus, method, and computer program product for processing input speech
JP4694111B2 (ja) 用例ベースの機械翻訳システム
US6266642B1 (en) Method and portable apparatus for performing spoken language translation
KR101762866B1 (ko) 구문 구조 변환 모델과 어휘 변환 모델을 결합한 기계 번역 장치 및 기계 번역 방법
US8566076B2 (en) System and method for applying bridging models for robust and efficient speech to speech translation
KR20100135757A (ko) 언어-내 통계적 머신 번역
US20090204401A1 (en) Speech processing system, speech processing method, and speech processing program
JP2015026057A (ja) インタラクティブキャラクター基盤の外国語学習装置及び方法
KR20090066067A (ko) 한영 자동번역 방법 및 장치
WO2000045377A1 (en) A method and apparatus for performing spoken language translation
JP2000353161A (ja) 自然言語生成における文体制御方法及び装置
KR100853173B1 (ko) 통계적 자동 번역 방식에 기반한 음성 자동 통역 시스템 및그에 적용되는 번역 처리 방법 및 그 훈련방법
KR20110024075A (ko) 패턴 데이터베이스화 장치 및 그 방법, 이를 이용한 음성 이해 장치 및 그 방법
US11295730B1 (en) Using phonetic variants in a local context to improve natural language understanding
JP2008243080A (ja) 音声を翻訳する装置、方法およびプログラム
JP2015201215A (ja) 機械翻訳装置、方法、およびプログラム
KR101134467B1 (ko) 의미 표현 처리 장치 및 그 방법
KR101709693B1 (ko) 크라우드 소싱을 이용한 웹툰 언어 자동 번역 방법
KR20150027465A (ko) 외국어 고유명사에 대한 다중 발음열 생성 방법 및 장치
JP2004271895A (ja) 複数言語音声認識システムおよび発音学習システム
KR100908445B1 (ko) 응답 문장 생성 장치 및 방법
Shukla et al. A Framework of Translator from English Speech to Sanskrit Text
JP2007264229A (ja) 対話装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee