KR102450816B1 - 실시간 자동 통역 시스템 및 이의 발화 검증 방법 - Google Patents

실시간 자동 통역 시스템 및 이의 발화 검증 방법 Download PDF

Info

Publication number
KR102450816B1
KR102450816B1 KR1020170160108A KR20170160108A KR102450816B1 KR 102450816 B1 KR102450816 B1 KR 102450816B1 KR 1020170160108 A KR1020170160108 A KR 1020170160108A KR 20170160108 A KR20170160108 A KR 20170160108A KR 102450816 B1 KR102450816 B1 KR 102450816B1
Authority
KR
South Korea
Prior art keywords
utterance
listener
speaker
interpretation
semantic analysis
Prior art date
Application number
KR1020170160108A
Other languages
English (en)
Other versions
KR20190061579A (ko
Inventor
김창현
김영길
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170160108A priority Critical patent/KR102450816B1/ko
Priority to US16/202,580 priority patent/US11056103B2/en
Publication of KR20190061579A publication Critical patent/KR20190061579A/ko
Application granted granted Critical
Publication of KR102450816B1 publication Critical patent/KR102450816B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Abstract

본 발명에 따른 발화 검증 기반의 실시간 자동 통역 시스템은 발화자의 발화를 인식하는 음성 인식부, 상기 발화자의 발화를 실시간으로 검증 및 자동 통역하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 발화자의 발화에 대한 목록을 생성하여 저장하고, 상기 목록에 포함된 발화 각각에 대한 의미 분석을 수행하며, 상기 의미 분석 수행 결과 청자에게 부적합한 발화인 것으로 판단되는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성한다.

Description

실시간 자동 통역 시스템 및 이의 발화 검증 방법{REAL-TIME AUTO-INTERPRETATION SYSTEM AND METHOD FOR VERIFYING UTTERANCE THEREOF}
본 발명은 실시간 자동 통역 시스템 및 이의 발화 검증 방법에 관한 것이다.
현재까지의 실시간 동시 통역 기술에서는 통역의 정확도가 가장 큰 관심사이다. 즉, 발화자가 발화하는 문장에 대해 올바르게 발화 내용을 인식하고 이를 정확하게 번역하여 청자에게 들려주도록 하는 기술을 개발하는 데에 집중하고 있다.
이러한 목적을 달성하기 위해 필요한 핵심 기술로는, 발화자의 발화를 텍스트 형태의 올바른 문장으로 만들어주는 음성 인식 기술, 발화된 문장을 청자의 언어로 정확히 번역해주는 자동 번역 기술을 들 수 있다. 이러한 기술들을 활용하여 동시 통역시 발생하는 형태적 오류를 해소할 수 있다.
그러나 종래 기술에서는 실시간 동시 통역에서 발생하는 형태적 오류의 개선만을 문제삼고 있는바, 이러한 형태적 오류에 대한 개선뿐 아니라 내용적 오류에 대한 개선 또한 필요한 실정이다.
본 발명의 실시예는 실시간 발화를 대상으로 하는 대화나 강연 등의 실시간 동시통역 상황에서, 적절하지 못한 발화를 검증하고 이를 발화자에게 실시간으로 알려줌으로써, 발화자가 적절치 못한 발화를 인식 및 수정하여 청자에게 올바른 자동 통역이 제공될 수 있도록 하는 실시간 자동 통역 시스템 및 이의 발화 검증 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 발화 검증 기반의 실시간 자동 통역 시스템은 발화자의 발화를 인식하는 음성 인식부, 상기 발화자의 발화를 실시간으로 검증 및 자동 통역하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 발화자의 발화에 대한 목록을 생성하여 저장하고, 상기 목록에 포함된 발화 각각에 대한 의미 분석을 수행하며, 상기 의미 분석 수행 결과 청자에게 부적합한 발화인 것으로 판단되는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성한다.
상기 프로세서는 상기 통역 제한 정보를 상기 발화자에게 제공하고, 상기 발화자로부터 상기 통역 제한 정보가 해소된 발화를 수신함에 따라 상기 수신한 발화에 대한 의미를 분석할 수 있다.
상기 프로세서는 상기 통역 제한 정보를 상기 발화자의 발화가 자동 통역되어 상기 청자에게 제공되기 이전에 상기 발화자에게 제공할 수 있다.
상기 프로세서는 상기 음성 인식부를 통해 인식된 발화에 포함된 노이즈 및 상기 통역에 이용되지 않는 음성 중 하나 이상을 제거할 수 있다.
상기 프로세서는 상기 목록에 포함된 발화에 대하여 주어, 목적어, 서술어, 보어, 관형어, 부사어, 시간 정보, 문형 정보 및 시제 정보 중 하나 이상의 동일 또는 유사 의미에 기초하여 상기 의미를 분석할 수 있다. 혹은 단어 임베딩(word embedding)과 같은 벡터에 기반하여 연속된 하나 또는 그 이상의 문장들에 대해 의미 벡터를 구성하여 이들 벡터들에 기초하여 상기 의미를 분석할 수 있다.
상기 메모리에 저장된 지식 데이터베이스에는 청자로부터 수집된 청자 관련 지식이 저장되고, 미리 학습을 통해 수집된 청자 관련 제한 지식이 저장되며, 상기 프로세서는 상기 의미 분석 수행 결과 상기 청자 관련 지식에 매칭되는 상기 청자 관련 제한 지식이 존재하는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성할 수 있다.
상기 프로세서는 상기 발화자와 청자 간의 대화에 대한 의미 분석을 수행한 결과에 기초하여 상기 지식 데이터베이스에 저장된 상기 청자 관련 지식 및 상기 청자 관련 제한 지식을 갱신할 수 있다.
상기 프로세서는 상기 목록에 포함된 상기 발화자의 제 1 발화 및 제 2 발화에 대한 의미 분석을 수행하고, 상기 의미 분석 수행 결과 상기 제 1 발화 및 제 2 발화 간의 의미적 연관도가 기 설정된 조건을 만족하지 않는 경우 상기 통역 제한 정보를 생성할 수 있다. 이때, 상기 제 1 발화는 하나 이상의 선행발화이고 상기 제 2 발화는 현재 발화일 수 있다.
또한, 본 발명의 제 2 측면에 따른 실시간 자동 통역 시스템에서의 발화 검증 방법은 발화자의 발화를 수신하는 단계; 상기 발화자의 발화를 텍스트로 변환하는 단계; 상기 변환된 발화에 대한 목록을 생성하여 저장하는 단계; 상기 목록에 포함된 발화 각각에 대한 의미 분석을 수행하는 단계 및 상기 의미 분석 수행 결과 청자에게 부적합한 발화인 것으로 판단되는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 발화 검증 방법은 상기 생성된 통역 제한 정보를 상기 발화자에게 제공하는 단계; 상기 발화자로부터 상기 통역 제한 정보가 해소된 발화를 수신하는 단계 및 상기 수신한 발화에 대한 의미 분석을 수행하는 단계를 더 포함할 수 있다.
상기 생성된 통역 제한 정보를 상기 발화자에게 제공하는 단계는, 상기 발화자의 발화에 대응하는 자동 통역이 청자에게 제공되기 이전에 상기 발화자에게 제공될 수 있다.
상기 통역 제한 정보를 생성하는 단계는, 상기 의미 분석 수행 결과 상기 청자 관련 지식에 매칭되는 상기 청자 관련 제한 지식이 존재하는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성하되, 상기 청자 관련 지식은 청자로부터 수집되고, 상기 청자 관련 제한 지식은 미리 학습을 통해 수집되어 지식 데이터베이스에 저장될 수 있다.
본 발명의 일 실시예에 따른 발화 검증 방법은 상기 발화자와 청자 간의 대화에 대한 의미 분석을 수행한 결과에 기초하여 상기 지식 데이터베이스에 저장된 상기 청자 관련 지식 및 상기 청자 관련 제한 지식을 갱신하는 단계를 더 포함할 수 있다.
상기 의미 분석을 수행하는 단계는, 상기 목록에 포함된 상기 발화자의 제 1 발화 및 제 2 발화에 대한 의미 분석을 수행하는 것이고, 상기 통역 제한 정보를 생성하는 단계는, 상기 의미 분석 수행 결과 상기 제 1 발화 및 제 2 발화 간의 의미적 연관도가 기 설정된 조건을 만족하지 않는 경우 상기 통역 제한 정보를 생성할 수 있다. 이때, 상기 제 1 발화는 하나 이상의 선행발화이고 상기 제 2 발화는 현재 발화일 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 실시간 발화를 대상으로 하는 대화나 강연 등의 실시간 동시통역 상황에서, 발화자의 발화가 청자에게 내용적으로 문제가 될 수 있는지 여부를 파악하고, 해당 발화 내용이 자동통역을 통해 청자에게 전달되기 이전에 발화자에게 실시간으로 알려줄 수 있다.
이에 따라, 본 발명의 일 실시예는 기존의 실시간 통역에 있어 실시간성으로 인해 발생할 수 있는 개인적, 문화적, 상황적 문제를 미리 제거할 수 있어 동시 통역이 원활하게 진행될 수 있게끔 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템의 기능을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템에서의 양방향 흐름을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 발화 검증 방법의 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명의 일 실시예는 실시간 자동 통역 시스템(100) 및 이의 발화 검증 방법에 관한 것이다.
실시간 동시 통역은 음성을 입력으로 하기 때문에, 번역과는 달리 발화자의 발화에 노이즈가 존재할 수 있다. 이는 통역의 입장에서 번역 오류를 발생시키는 요소가 되므로, 음성인식 및 자동번역 단계에서는 이러한 번역 오류를 발생시키는 요소들을 파악하여 번역 오류를 줄여야 한다.
즉, 발화자의 발화 문장에서 부적절한 음성 및 단어 등을 파악하여 이들을 제거하거나 변형시키는 등의 발화에 대한 형태적인 오류를 파악하고 수정해야 한다.
또한, 음성인식이 올바르게 수행되더라도 번역 과정에서 오류가 발생할 수 있는데, 이러한 문제는 번역 결과에 대한 재번역을 수행하여 발화자에게 알려주는 형태의 피드백을 전달하고, 발화자는 이를 통해 자신의 발화가 청자에게 전달된 결과를 추정하도록 하는 방법이 있다.
이와 같이 실시간 동시 통역에 있어서 이러한 형태적 오류에 대한 개선뿐만 아니라 내용적인 면에서의 개선 또한 필요하다. 즉, 상술한 형태적 오류를 개선하기 위한 기술들은 기본적으로 발화자의 발화가 해당 실시간 통역 상황에서 문제가 없는 발화라는 기본 가정을 하고 있다.
그러나 실제로는 실시간 통역이 요구되는 상황에서는 발화자가 본인의 발화를 충분히 검증하고 통제하는 데에 한계가 있을 수밖에 없으며, 이러한 문제점들로 인해 해당 발화가 청자에게는 문제가 되는 경우들이 발생할 수 있다. 즉, 발화자의 발화에 대한 형태적인 문제점이 아닌 내용적인 문제점으로 인해 실시간 동시 통역에 문제가 발생할 수 있다.
본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100) 및 이의 발화 검증 방법은 실시간 발화를 대상으로 하는 대화나 강연 등의 실시간 동시통역 상황에서, 발화자의 발화가 청자에게 내용적으로 문제가 될 수 있는지 여부를 파악하고, 해당 발화 내용이 자동 통역을 통해 청자에게 전달되기 이전에 발화자에게 실시간으로 알려줄 수 있다.
이에 따라, 본 발명의 일 실시예는 기존의 실시간 자동 통역에 있어 실시간성으로 인해 발생할 수 있는 개인적, 문화적, 상황적 문제를 미리 제거할 수 있어 동시 통역이 원활하게 진행될 수 있게끔 할 수 있다.
이하에서는 도 1 내지 도 3을 참조하여 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)의 블록도이다.
본 발명의 일 실시예에 따른 발화 검증 기반의 실시간 자동 통역 시스템(100)은 음성 인식부(110), 메모리(120) 및 프로세서(130)를 포함한다.
음성 인식부(110)는 발화자의 발화를 인식하기 위한 구성으로서, 마이크가 이에 해당할 수 있다. 마이크에 의해 입력된 발화나 이에 대한 통역 결과는 스피커를 통해 출력될 수 있음은 물론이다.
메모리(120)에는 발화자의 발화를 실시간으로 검증 및 자동 통역하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.
예를 들어, 메모리(120)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.
또한, 메모리(120)에는 후술하는 지식 데이터베이스(121)가 저장될 수 있다.
한편, 본 발명의 일 실시예에 따른 실시간 통역 시스템(100)은 디스플레이 모듈(미도시)을 더 포함할 수 있다. 디스플레이 모듈을 통해 발화자의 발화를 실시간으로 통역한 결과나 발화자의 발화에 대한 검증 결과를 출력할 수 있다. 또한, 청자 관련 지식, 청자 관련 제한 지식도 출력할 수 있다.
그밖에 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)은 발화자의 단말 및 청자의 단말과 구별되는 컴퓨터 시스템으로 구현될 수도 있으며, 이 경우 통신모듈을 더 포함할 수 있다.
통신모듈(140)은 발화자의 단말 및 청자의 단말과 데이터를 송수신할 수 있다. 즉, 통신모듈(140)은 발화자의 단말 및 청자의 단말로 발화자의 발화를 실시간으로 자동 통역한 결과를 제공해줄 수 있으며, 발화자의 발화에 대한 검증 결과를 발화자의 단말로 제공해줄 수 있다. 또한, 청자의 단말을 통해 수집된 청자 관련 지식 및 청자 관련 제한 지식을 수신할 수도 있다.
이때, 통신 모듈(140)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.
한편, 본 발명에서의 발화자의 단말 및 청자의 단말은, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등이나, 휴대용 단말기에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 단말기로서, 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 휴대폰, 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 단말, 기타 이동통신 단말 등일 수 있다.
뿐만 아니라, 케이블 TV, IPTV, 위성 방송, 공중파 데이터 방송, DMB, 인터넷 방송 등 방송 서비스와 연동되는 TV 형태로 구현될 수 있다.
프로세서(130)는 메모리(120)에 저장된 프로그램을 실행시킨다. 이하에서는 도 2 내지 도 3을 참조하여 본 발명의 프로세서(130)에 의해 수행되는 각 기능에 대하여 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)의 기능을 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)에서의 양방향 흐름을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)은 먼저 음성 인식부(110)를 통해 발화자의 발화를 수신한다.
이때, 발화자의 발화는 프로세서(130)에 의해 텍스트 형태로 변환될 수 있다. 이 과정에서 프로세서는 음성 인식부(110)를 통해 인식된 발화에 포함된 여러가진 노이즈를 파악하여 제거할 수 있다. 또한, 발화자의 발화에는 포함되어 있으나 번역에 이용되지 않는 음성 등을 파악하여 제거할 수 있다.
발화 검증부(131)는 음성 인식부(110)에 의해 인식된 발화자의 발화가 해당 통역 환경에서 적절한 발화인지 여부를 검증하고, 검증 결과 청자에게 부적합한 발화인 것으로 판단되는 경우 부적합한 발화에 대응하는 통역 제한 정보를 생성하는 구성으로서, 통상적인 통역 시스템과 대비되는 구성에 해당한다.
이때, 발화자의 발화가 해당 통역 환경에서 적절한 발화인지 여부를 검증하기 위하여, 본 발명의 일 실시예는 발화 관리부(132) 및 지식 데이터베이스(121)를 포함할 수 있다.
발화 관리부(132)는 발화자의 발화에 대한 목록을 생성하고, 상기 목록에 포함된 발화 각각에 대한 의미 분석을 수행한다. 이때, 발화 관리부(132)는 목록에 포함된 발화에 대하여 주어, 목적어, 서술어, 보어, 관형어, 부사어, 시간 정보, 문형 정보 및 시제 정보 중 하나 이상의 동일 또는 유사 의미에 기초하여 의미 분석을 수행할 수 있다. 혹은 단어 임베딩(word embedding)과 같은 벡터에 기반하여 연속된 하나 또는 그 이상의 문장들에 대해 의미 벡터를 구성하여 이들 벡터들에 기초하여 상기 의미를 분석할 수 있다. 이러한 의미 분석은 문장, 문단 단위뿐만 아니라 전체 문맥과의 관계에서 분석될 수도 있음은 물론이다.
예를 들어 다음과 같은 2개의 문장이 발화되었다고 가정하자.
A: “제가 점심에 무엇을 먹었을까요?”
B: “돼지고기요.”
이러한 2개의 발화에 대하여, 발화 관리부(132)는 각각의 문장에 대해 각각의 의미를 분석하여 함께 저장하게 된다. 각 문장의 분석으로 구성된 의미의 일 예시는 다음과 같으며, 의미 분석 결과는 반드시 다음과 같은 형태로 한정되는 것은 아니다.
A: 먹다(주어: 나, 목적어: 무엇, 시간: 점심, 문형: 의문문, 시제: 과거)
B: 먹다(주어: 나, 목적어: 돼지고기, 시간: 점심, 문형: 평서문, 시제: 과거)
이때, 발화 관리부(132)는 제 1 발화자의 연속되는 발화, 제1 발화자의 발화에 연속되는 제 2 발화자의 발화를 대상으로 의미 분석을 수행할 수 있다. 이에 따라, 상기 B 문장의 분석 결과는 A 문장의 흐름과 연관되어 분석될 수 있다.
지식 데이터베이스(121)는 발화 관리부(132)에서 분석된 발화의 의미에 대하여 해당 발화가 적절한 발화인지 여부를 판단하기 위한 지식을 구축하고 있으며, 이러한 지식에는 청자로부터 수집된 청자 관련 지식 및 미리 학습을 통해 수집된 청자 관련 제한 지식을 포함할 수 있다.
한편, 지식 데이터베이스(121)에 포함되는 지식은 온라인 또는 오프라인으로부터 제공받아 구축될 수 있으며, 특별히 어느 하나로 한정되는 것은 아니다.
청자 관련 지식과 청자 관련 제한 지식은 청자의 단말로부터 수집되거나, 청자와의 대면을 통해 미리 수집되거나 실시간으로 수집되어 파악되는 정보를 대상으로 구축된 지식을 의미한다.
예를 들어, 청자와의 대면을 통해 수집할 수 있는 지식으로는, 언어, 국적 및 출생지, 종교, e-mail 주소, SNS 정보, 대화가 발생하는 국가 및 위치, 청자의 대화 내용 등일 수 있다.
이와 같이 본 발명의 일 실시예는 청자 관련 지식 및 청자 관련 제한 지식을 수집하여 구축함으로써 청자로 하여금 문제를 유발할 수 있는 개인적, 문화적, 상황적 정보 및 이에 대응하는 발화의 유형을 결정할 수 있다.
또한, 청자의 언어, 국적, 출생지, 종교 등을 파악함으로써, 해당 청자에게 언어, 국적, 출생지, 종교 등의 관점에서 문제가 되거나 결례가 되는 상황을 파악할 수 있다.
이와 더불어, SNS 정보를 통해 청자의 SNS 내용을 분석함으로써, 청자의 관심사, 취미 등 다양한 정보 및 성향을 파악할 수 있다.
이때, 청자의 언어에 대한 분석은 해당 언어를 직접 분석하거나, 또는 해당 언어를 발화자의 언어로 자동 번역한 후 수행될 수 있다.
한편, 청자와의 대면이 아닌 즉, 실시간성으로 파악될 필요가 없는 지식들도 지식 데이터베이스(121)에 저장될 수 있다. 이러한 정보의 예로, 이슬람 종교를 믿는 사람들은 돼지고기를 먹지 않는다거나, 서양에서는 개인의 나이나 키 등의 사적인 영역에 속하는 정보를 묻지 않는다는 등의 지식이 이에 해당할 수 있다.
또한, 프로세서(130)는 발화자와 청자 간의 대화에 대한 의미 분석을 수행한 결과에 기초하여 지식 데이터베이스(121)에 저장된 청자 관련 지식 및 후술하는 청자 관련 제한 지식을 갱신할 수 있다. 이에 따라, 미처 파악되지 못한 청자에 대한 정보는 청자와의 대화 시에 청자의 발화를 통해 추가적으로 파악함으로써 문제 상황을 파악할 수 있다.
발화 검증부(131)는 지식 데이터베이스(121)에 저장된 지식을 이용하여 분석된 의미 분석 결과에 기초하여, 청자 관련 지식에 매칭되는 청자 관련 제한 지식이 존재하는 경우 부적합한 발화에 대응하는 통역 제한 정보를 생성할 수 있다.
상술한 예시에서, 만약 청자가 본인의 발화를 통해 종교, 국적, 성향 등을 이야기하였거나 본인의 SNS를 알려줌으로써, 해당 청자가 이슬람교도이거나 채식주의자임을 파악하게 된 상태에서, 발화자가 청자의 점심 메뉴를 ‘돼지고기’라고 추정하여 발화한 경우, 발화 검증부(131)는 해당 발화가 부적절함을 상기 지식 데이터베이스(121)에 구축된 지식을 이용하여 확인하여, 해당 발화에 대응하는 통역 제한 정보를 생성하여 발화자에게 제공할 수 있다.
이러한 통역 제한 정보는 발화자의 발화가 통역되어 청자에게 제공되기 이전에 발화자에게 제공될 수 있다. 발화자는 이러한 통역 제한 정보를 제공받아 자신의 발화를 수정하게 되고, 발화 검증부(131)는 통역 제한 정보가 해소된 발화를 수신함에 따라 수신한 발화에 대한 의미 분석을 다시 수행하여 적합한 발화인지 여부를 판단하게 된다.
또한, 발화 검증부(131)는 발화자의 발화 내용뿐만 아니라, 발화자 자신의 발화 자체를 검증하는 역할을 수행할 수도 있다. 이를 위해 발화 관리부(132)는 상기 목록에 포함된 발화자의 제 1 발화 및 제 2 발화에 대한 의미 분석을 수행하고, 발화 검증부(131)는 의미 분석 수행 결과 제 1 발화 및 제 2 발화 간의 의미적 연관도가 기 설정된 조건을 만족하지 않는 경우 통역 제한 정보를 생성할 수 있다. 이때, 상기 제 1 발화는 하나 이상의 선행발화이고 상기 제 2 발화는 현재 발화일 수 있다.
예를 들어, 발화자가 다음과 같이 일치하지 않는 두 발화를 발생시켰다고 가정하자.
발화 A: “내가 점심 때 먹은 칼국수는 정말 맛있었어요.”
발화 B: “…”
발화 A: “시간 되시면 제가 그 고깃집에 모시고 갈께요.”
발화 검증부(131)는 일 예시로 위와 같은 발화에 대하여 현재의 발화가 이전에 한 발화와 연관성이 있는지 여부를 판단하고, 해당 결과를 통역 제한 정보로 생성하여 발화자에게 통보함으로써 발화자가 자신의 발화가 실제 의도한 발화인지 아니면 실수가 발생한 것인지를 판단할 수 있도록 할 수 있다.
그밖에 자동 번역부(133)는 발화자의 발화에 대하여 실시간 번역 및 지식 구축에 필요한 번역을 수행하며, 발화 생성부(134)는 발화에 대한 번역 결과, 즉 자동 통역 결과를 텍스트 또는 음성으로 출력한다.
한편, 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100’)은 도 3에 도시된 바와 같이 발화자가 청자가 될 수 있고, 청자도 발화자가 되는 통역의 특성상 양방향으로 진행될 수도 있다.
참고로, 본 발명의 실시예에 따른 도 1 내지 도 3에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.
그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.
구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.
이하에서는 도 4를 참조하여 본 발명의 일 실시예에 따른 실시간 자동 통역 시스템(100)에서의 발화 검증 방법에 대해 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 발화 검증 방법의 순서도이다.
본 발명의 일 실시예에 따른 발화 검증 방법은 먼저, 발화자의 발화를 수신하면(S110), 발화자의 발화를 텍스트로 변환한다(S120).
다음으로, 변환된 발화에 대한 목록을 생성하여 저장하고(S130), 목록에 포함된 발화 각각에 대한 의미 분석을 수행한다(S140).
다음으로, 의미 분석 수행 결과 청자에게 부적합한 발화인 것으로 판단되는 경우, 부적합한 발화에 대응하는 통역 제한 정보를 생성하여 발화자에게 제공한다(S150).
통역 제한 정보가 발화자에게 제공되어 발화자가 확인함에 따라, 발화자로부터 통역 제한 정보가 해소된 발화를 수신하게 되면, 다시 수신한 발화에 대하여 의미 분석을 수행함으로써 해당 발화가 통역되어 청자에게 제공되도 되는 것인지 여부를 판단하게 된다.
이와 같이, 본 발명의 일 실시예는 통역 제한 정보를 발화자의 발화에 대응하는 통역이 청자에게 제공되기 이전에 발화자에게 먼저 제공되도록 함으로써, 청자로 하여금 개인적, 문화적, 상황적으로 문제되는 통역이 제공되는 것을 사전에 방지할 수 있다는 장점이 있다.
한편, 통역 제한 정보는 의미 분석을 수행한 결과 청자 관련 지식에 매칭되는 청자 관련 제한 지식이 존재하는 경우에 생성될 수 있다. 이때, 통역 제한 정보는 지식 데이터베이스(121)에 구축된 청자로부터 수집된 청자 관련 지식과, 미리 학습을 통해 수집된 청자 제한 지식에 기반하여 생성될 수 있다.
이와 같이 구축된 지식 데이터베이스(121)는 발화자와 청자 간의 대화에 대한 의미 분석을 수행한 결과에 기초하여 추가적으로 갱신될 수 있음은 물론이다.
한편, 상술한 설명에서, 단계 S110 내지 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 3에서의 실시간 자동 통역 시스템(100)에서 기술된 내용은 도 4의 발화 검증 방법에도 적용될 수 있다.
한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 실시간 자동 통역 시스템
110: 음성 인식부
120: 메모리
121: 지식 데이터베이스
130: 프로세서
131, 131’: 발화 검증부
132, 132’: 발화 관리부
133, 133’: 자동 번역부
134, 134’: 발화 생성부
140: 통신모듈

Claims (13)

  1. 발화 검증 기반의 실시간 자동 통역 시스템에 있어서,
    발화자의 발화를 인식하는 음성 인식부,
    상기 발화자의 발화를 실시간으로 검증 및 자동 통역하기 위한 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
    상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 발화자의 발화에 대한 목록을 생성하여 저장하고, 상기 목록에 포함된 발화 각각에 대한 의미 분석을 수행하며, 상기 의미 분석 수행 결과 청자에게 부적합한 발화인 것으로 판단되는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성하고,
    상기 프로세서는 상기 목록에 포함된 상기 발화자의 하나 이상의 선행발화인 제 1 발화 및 현재 발화인 제 2 발화에 대한 의미 분석을 수행하고, 상기 의미 분석 수행 결과 상기 제 1 발화 및 제 2 발화 간의 의미적 연관도가 기 설정된 조건을 만족하지 않는 경우 상기 통역 제한 정보를 생성하는 것인 실시간 자동 통역 시스템.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 통역 제한 정보를 상기 발화자에게 제공하고, 상기 발화자로부터 상기 통역 제한 정보가 해소된 발화를 수신함에 따라 상기 수신한 발화에 대한 의미 분석하는 것인 실시간 자동 통역 시스템.
  3. 제 2 항에 있어서,
    상기 프로세서는 상기 통역 제한 정보를 상기 발화자의 발화가 자동 통역되어 상기 청자에게 제공되기 이전에 상기 발화자에게 제공하는 것인 실시간 자동 통역 시스템.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 목록에 포함된 발화에 대하여 주어, 목적어, 서술어, 보어, 관형어, 부사어, 시간 정보, 문형 정보 및 시제 정보 중 하나 이상의 동일 또는 유사 의미에 기초하여 상기 의미를 분석하거나, 단어 임베딩 벡터에 기반하여 연속된 하나 이상의 문장에 대한 의미 벡터를 구성하고 이에 기초하여 상기 의미를 분석하는 것인 실시간 자동 통역 시스템.
  5. 제 1 항에 있어서,
    상기 메모리에 저장된 지식 데이터베이스에는 청자로부터 수집된 청자 관련 지식이 저장되고, 미리 학습을 통해 수집된 청자 관련 제한 지식이 저장되며,
    상기 프로세서는 상기 의미 분석 수행 결과 상기 청자 관련 지식에 매칭되는 상기 청자 관련 제한 지식이 존재하는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성하는 것인 실시간 자동 통역 시스템.
  6. 제 5 항에 있어서,
    상기 프로세서는 상기 발화자와 청자 간의 대화에 대한 의미 분석을 수행한 결과에 기초하여 상기 지식 데이터베이스에 저장된 상기 청자 관련 지식 및 상기 청자 관련 제한 지식을 갱신하는 것인 실시간 자동 통역 시스템.
  7. 삭제
  8. 실시간 자동 통역 시스템에서의 발화 검증 방법에 있어서,
    발화자의 발화를 수신하는 단계;
    상기 발화자의 발화를 텍스트로 변환하는 단계;
    상기 변환된 발화에 대한 목록을 생성하여 저장하는 단계;
    상기 목록에 포함된 발화 각각에 대한 의미 분석을 수행하는 단계 및
    상기 의미 분석 수행 결과 청자에게 부적합한 발화인 것으로 판단되는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성하는 단계를 포함하되,
    상기 의미 분석을 수행하는 단계는, 상기 목록에 포함된 상기 발화자의 하나 이상의 선행발화인 제 1 발화 및 현재 발화인 제 2 발화에 대한 의미 분석을 수행하는 것이고,
    상기 통역 제한 정보를 생성하는 단계는, 상기 의미 분석 수행 결과 상기 제 1 발화 및 제 2 발화 간의 의미적 연관도가 기 설정된 조건을 만족하지 않는 경우 상기 통역 제한 정보를 생성하는 것인 발화 검증 방법.
  9. 제 8 항에 있어서,
    상기 생성된 통역 제한 정보를 상기 발화자에게 제공하는 단계;
    상기 발화자로부터 상기 통역 제한 정보가 해소된 발화를 수신하는 단계 및
    상기 수신한 발화에 대한 의미 분석을 수행하는 단계를 더 포함하는 발화 검증 방법.
  10. 제 9 항에 잇어서,
    상기 생성된 통역 제한 정보를 상기 발화자에게 제공하는 단계는,
    상기 발화자의 발화에 대응하는 통역이 청자에게 제공되기 이전에 상기 발화자에게 제공되는 것인 발화 검증 방법.
  11. 제 8 항에 있어서,
    상기 통역 제한 정보를 생성하는 단계는,
    상기 의미 분석 수행 결과 상기 청자 관련 지식에 매칭되는 상기 청자 관련 제한 지식이 존재하는 경우 상기 부적합한 발화에 대응하는 통역 제한 정보를 생성하되,
    상기 청자 관련 지식은 청자로부터 수집되고, 상기 청자 관련 제한 지식은 미리 학습을 통해 수집되어 지식 데이터베이스에 저장되는 것인 발화 검증 방법.
  12. 제 11 항에 있어서,
    상기 발화자와 청자 간의 대화에 대한 의미 분석을 수행한 결과에 기초하여 상기 지식 데이터베이스에 저장된 상기 청자 관련 지식 및 상기 청자 관련 제한 지식을 갱신하는 단계를 더 포함하는 발화 검증 방법.
  13. 삭제
KR1020170160108A 2017-11-28 2017-11-28 실시간 자동 통역 시스템 및 이의 발화 검증 방법 KR102450816B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170160108A KR102450816B1 (ko) 2017-11-28 2017-11-28 실시간 자동 통역 시스템 및 이의 발화 검증 방법
US16/202,580 US11056103B2 (en) 2017-11-28 2018-11-28 Real-time utterance verification system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170160108A KR102450816B1 (ko) 2017-11-28 2017-11-28 실시간 자동 통역 시스템 및 이의 발화 검증 방법

Publications (2)

Publication Number Publication Date
KR20190061579A KR20190061579A (ko) 2019-06-05
KR102450816B1 true KR102450816B1 (ko) 2022-10-05

Family

ID=66632567

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170160108A KR102450816B1 (ko) 2017-11-28 2017-11-28 실시간 자동 통역 시스템 및 이의 발화 검증 방법

Country Status (2)

Country Link
US (1) US11056103B2 (ko)
KR (1) KR102450816B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635031B1 (ko) 2023-09-27 2024-02-13 주식회사 에이아이노미스 의미 단위 시각화를 기반으로 한 화자 분리 실시간 통역 서비스 제공 방법, 장치 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112735421A (zh) * 2019-10-28 2021-04-30 北京京东尚科信息技术有限公司 一种语音通话的实时质检方法和装置
CN111079438A (zh) * 2019-12-04 2020-04-28 北京声智科技有限公司 身份验证方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271727A (ja) 2003-03-06 2004-09-30 Seiko Epson Corp 音声データ提供システムならびに音声データ作成装置および音声データ作成プログラム
JP2004271728A (ja) * 2003-03-06 2004-09-30 Seiko Epson Corp 音声データ提供システムならびに音声データ作成装置および音声データ作成プログラム
KR101626109B1 (ko) 2012-04-04 2016-06-13 한국전자통신연구원 통역 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110065916A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 통역오류 정정 및 오류 자동추출 절차를 수행하는 통역시스템
KR20130128716A (ko) * 2012-05-17 2013-11-27 포항공과대학교 산학협력단 어학 학습 시스템 및 학습 방법
KR20140079598A (ko) 2012-12-17 2014-06-27 한국전자통신연구원 문맥 검증 장치 및 방법
US9904673B2 (en) * 2014-12-17 2018-02-27 International Business Machines Corporation Conversation advisor
KR102195627B1 (ko) 2015-11-17 2020-12-28 삼성전자주식회사 통역 모델 생성 장치 및 방법과, 자동 통역 장치 및 방법
KR20170060439A (ko) 2015-11-24 2017-06-01 한국전자통신연구원 자동 언어설정 기능을 갖는 다국어 통번역 장치 및 방법
EP3516566A1 (en) * 2016-09-22 2019-07-31 nference, inc. Systems, methods, and computer readable media for visualization of semantic information and inference of temporal signals indicating salient associations between life science entities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004271727A (ja) 2003-03-06 2004-09-30 Seiko Epson Corp 音声データ提供システムならびに音声データ作成装置および音声データ作成プログラム
JP2004271728A (ja) * 2003-03-06 2004-09-30 Seiko Epson Corp 音声データ提供システムならびに音声データ作成装置および音声データ作成プログラム
KR101626109B1 (ko) 2012-04-04 2016-06-13 한국전자통신연구원 통역 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102635031B1 (ko) 2023-09-27 2024-02-13 주식회사 에이아이노미스 의미 단위 시각화를 기반으로 한 화자 분리 실시간 통역 서비스 제공 방법, 장치 및 시스템

Also Published As

Publication number Publication date
US20190164541A1 (en) 2019-05-30
KR20190061579A (ko) 2019-06-05
US11056103B2 (en) 2021-07-06

Similar Documents

Publication Publication Date Title
US20230377577A1 (en) System, apparatus, and method for processing natural language, and non-transitory computer readable recording medium
US10586541B2 (en) Communicating metadata that identifies a current speaker
US9633657B2 (en) Systems and methods for supporting hearing impaired users
US9582496B2 (en) Facilitating a meeting using graphical text analysis
CN107430616A (zh) 语音查询的交互式再形成
US9286292B2 (en) Real-time jargon translation in a communication system
US20200227030A1 (en) Adversarial Training Data Augmentation for Generating Related Responses
US10540963B2 (en) Input generation for classifier
KR102450816B1 (ko) 실시간 자동 통역 시스템 및 이의 발화 검증 방법
US9972308B1 (en) Splitting utterances for quick responses
US11151996B2 (en) Vocal recognition using generally available speech-to-text systems and user-defined vocal training
US11301626B2 (en) Artificial intelligence based context dependent spellchecking
CN113111658B (zh) 校验信息的方法、装置、设备和存储介质
KR102102287B1 (ko) 챗봇을 위한 대화 모델의 데이터 크라우드소싱 방법
US11620328B2 (en) Speech to media translation
US9779722B2 (en) System for adapting speech recognition vocabulary
WO2022057452A1 (en) End-to-end spoken language understanding without full transcripts
US11361761B2 (en) Pattern-based statement attribution
KR101971696B1 (ko) 음향모델 생성 장치 및 방법
US20230133027A1 (en) Method and apparatus for intent-guided automated speech recognition
US11984125B2 (en) Speech recognition using on-the-fly-constrained language model per utterance
US20240135918A1 (en) Knowledge Distillation with Domain Mismatch For Speech Recognition
US20220343913A1 (en) Speech recognition using on-the-fly-constrained language model per utterance
KR102441371B1 (ko) 동시통역 시스템 및 이의 실시간 청자 피드백 제공 방법
Varada et al. Extracting and translating a large video using Google cloud speech to text and translate API without uploading at Google cloud

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant