KR20190061578A - 동시통역 시스템 및 이의 실시간 청자 피드백 제공 방법 - Google Patents

Abstract

본 발명에 따른 실시간 청자 피드백 기반의 동시통역 시스템은 발화자의 발화를 인식하는 음성 인식부, 하나 이상의 청자 디바이스와 데이터를 송수신하는 통신모듈, 상기 발화에 대한 번역 결과 및 이에 대응하는 피드백 결과를 제공하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 발화에 대한 음성인식 결과를 토대로 번역 결과를 생성하여 청자 디바이스에 제공하고, 상기 통신모듈을 통해 상기 청자 디바이스로부터 상기 번역 결과에 대응하는 번역 이해도에 대한 피드백 결과를 수신함에 따라 상기 피드백 결과를 발화자에게 제공한다.

Description

동시통역 시스템 및 이의 실시간 청자 피드백 제공 방법{SIMULTANEOUS INTERPRETATION SYSTEM AND METHOD FOR PROVIDING REAL-TIME AUDIENCE FEEDBACK THEREOF}

본 발명은 동시통역 시스템 및 이의 실시간 청자 피드백 제공 방법에 관한 것이다.

종래의 실시간 동시통역 기술에서 기술적 진보를 위한 주된 관심사는 동시통역 성능이었다. 즉, 동시통역 시스템을 구성하는 2가지 주요 기술인 음성인식 및 자동번역 기술의 성능 개선이 주된 관심사였다.

하지만 현재의 기술 수준에서 동시통역을 활용하여 실제 강연에 적용할 수 있는 활용성 측면에서는 음성인식 및 자동번역 성능 못지않게 중요한 것이 피드백 기술이다.

특히, 동시통역이 이루어지는 환경은 강연자와 청중이 서로 다른 언어를 사용하기 때문에 언어에 의한 의사소통이 어려운 환경이다. 정보의 전달이라는 강연의 목적을 고려해 볼 때, 강연자와 청중 간의 의사소통 부재는 일방적인 정보전달만을 가능하게 한다. 또한, 실시간 동시통역 기술의 현재 기술수준에 비추어볼 때, 강연자의 일방적인 발화는 청중으로 하여금 정보의 습득을 어렵게 한다는 문제가 있다.

뿐만 아니라, 문장 단위로 짧게 통역함에 따라 잘못된 의미 전달이 이루어지거나, 실시간 통역으로 인한 의사소통 단위 분리로 인해 번역 결과가 파편화되고 있다. 이로 인해 발화 내용에 대하여 청자들이 이해하기 어려운 상황들이 빈번하게 발생되고 있는바, 청자의 피드백을 활용하여 이를 해소하는 방법이 필요한 실정이다.

본 발명의 실시예는 발화자의 발화에 대한 동시통역 결과를 실시간으로 청자에게 제공함과 더불어, 동시통역 결과에 대한 청자의 이해도를 기반으로 하는 피드백을 발화자에게 제공함으로써 발화자로 하여금 보다 효율적인 발화를 하게끔 유도하고 청자의 이해도를 더욱 높일 수 있도록 하는 동시통역 시스템 및 이의 실시간 청자 피드백 제공 방법을 제공한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 실시간 청자 피드백 기반의 동시통역 시스템은 발화자의 발화를 인식하는 음성 인식부, 하나 이상의 청자 디바이스와 데이터를 송수신하는 통신모듈, 상기 발화에 대한 번역 결과 및 이에 대응하는 피드백 결과를 제공하기 위한 프로그램이 저장된 메모리 및 상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함한다. 이때, 상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 발화에 대한 음성인식 결과를 토대로 번역 결과를 생성하여 청자 디바이스에 제공하고, 상기 통신모듈을 통해 상기 청자 디바이스로부터 상기 번역 결과에 대응하는 번역 이해도에 대한 피드백 결과를 수신함에 따라 상기 피드백 결과를 발화자에게 제공한다.

상기 피드백 결과는 상기 번역 결과에 대하여 상기 청자의 번역 이해도가 기 설정된 번역 단위 또는 상기 번역 단위 이상의 단위를 기준으로 평가될 수 있다.

상기 프로세서는 상기 피드백 결과를 수신함에 따라 기 설정된 조건을 만족하는 경우 상기 피드백 결과를 상기 발화자에게 제공하되, 상기 기 설정된 조건은 전체 청자 디바이스의 수 대비 상기 피드백 결과를 제공한 청자 디바이스의 수 및 일정 등급 또는 일정 점수 이상의 번역 이해도에 대응하는 피드백 결과 중 하나 이상을 포함할 수 있다.

상기 프로세서는 상기 통신모듈을 통해 상기 하나 이상의 청자 디바이스로부터 음성 및 텍스트 중 하나 이상을 이용하여 상기 청자에 의해 입력된 질의를 수신함에 따라, 상기 질의에 대응하는 번역 결과를 생성하여 상기 발화자에게 제공할 수 있다.

상기 프로세서는 상기 질의의 의미적 유사도 또는 상기 질의에 대응하는 번역 결과간의 의미적 유사도에 기초하여 상기 질의 또는 상기 질의에 대한 번역 결과를 그룹화하고, 기 설정된 개수 이상으로 분류된 그룹에 대응되는 질의에 대한 번역 결과를 상기 발화자에게 제공할 수 있다.

본 발명에 따른 동시통역 시스템은 상기 피드백 결과를 표시하는 디스플레이부를 더 포함하되, 상기 프로세서는 상기 디스플레이부를 통해 상기 발화의 원문 및 번역 이해도의 형태 또는 상기 발화의 원문, 상기 원문에 대한 번역 결과 및 번역 이해도의 형태로 상기 피드백 결과를 상기 발화자에게 제공할 수 있다.

상기 프로세서는 상기 음성인식 결과가 번역을 위해 기 설정된 번역 단위를 만족하지 않는 경우, 일정 시간 동안 상기 음성 인식부를 통해 추가적으로 인식된 발화에 기초한 음성인식 결과를 더 반영하여 상기 번역 결과를 생성할 수 있다.

상기 프로세서는 상기 인식된 발화 및 각 발화에 대응하는 번역 결과에 대하여 쌍별로 고유 번호를 설정하여 관리할 수 있다.

또한, 본 발명의 제 2 측면에 따른 동시통역 시스템에서의 실시간 청자 피드백 제공 방법은 발화자의 발화를 수신하는 단계; 상기 발화에 대한 음성인식 결과를 토대로 번역 결과를 생성하는 단계; 상기 번역 결과를 청자 디바이스로 제공하는 단계; 상기 청자 디바이스로부터 상기 번역 결과에 대응하는 번역 이해도에 대한 피드백 결과를 수신하는 단계 및 상기 피드백 결과를 상기 발화자에게 제공하는 단계를 포함한다.

상기 피드백 결과는 상기 번역 결과에 대하여 상기 청자의 번역 이해도가 기 설정된 번역 단위 또는 상기 번역 단위 이상의 단위를 기준으로 평가될 수 있다.

상기 피드백 결과를 상기 발화자에게 제공하는 단계는, 전체 청자 디바이스의 수 대비 상기 피드백 결과를 제공한 청자 디바이스의 수 및 일정 등급 또는 일정 점수 이상의 번역 이해도에 대응하는 피드백 결과 중 하나 이상의 기 설정된 조건을 만족하는 경우 상기 피드백 결과를 상기 발화자에게 제공할 수 있다.

상기 피드백 결과를 상기 발화자에게 제공하는 단계는, 상기 발화의 원문 및 번역 이해도의 형태 또는 상기 발화의 원문, 상기 원문에 대한 번역 결과 및 번역 이해도의 형태로 상기 피드백 결과를 상기 발화자에게 제공할 수 있다.

본 발명에 따른 실시간 청자 피드백 제공 방법은 상기 하나 이상의 청자 디바이스로부터 음성 및 텍스트 중 하나 이상을 이용하여 상기 청자에 의해 입력된 질의를 수신하는 단계 및 상기 질의에 대응하는 번역 결과를 생성하여 상기 발화자에게 제공하는 단계를 더 포함할 수 있다.

상기 질의에 대응하는 번역 결과를 생성하여 상기 발화자에게 제공하는 단계는, 상기 질의의 의미적 유사도 또는 상기 질의에 대응하는 번역 결과간의 의미적 유사도에 기초하여 상기 질의 또는 상기 질의에 대한 번역 결과를 그룹화하고, 기 설정된 개수 이상으로 분류된 그룹에 대응되는 질의에 대응하는 번역 결과를 상기 발화자에게 제공할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 발화자의 발화에 대한 청자들의 번역 단위별 평가 결과인 피드백 결과를 실시간으로 발화자에게 제공함으로써, 발화자로 하여금 보다 효율적인 발화를 하게끔 유도함과 더불어 청자의 이해도를 더욱 높일 수 있다.

또한, 본 발명의 일 실시예는 청자들의 질의에 대한 번역 결과를 취합 및 필터링하여 발화자에게 제공함으로써, 발화자와 청자 간의 유기적인 소통 및 이해를 높일 수 있다는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 동시통역 시스템의 블록도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 동시통역 시스템의 기능을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 실시간 청자 피드백 제공 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명의 일 실시예는 동시통역 시스템(100) 및 이의 실시간 청자 피드백 제공 방법에 관한 것이다.

실시간 동시통역 기반의 발화환경에서는 발화의 일방성을 보완하여 발화자의 발화를 보다 효과적으로 청자가 이해할 수 있도록 하는 여러 피드백 기술들이 제안되고 있다. 이러한 피드백 기술들은 예를 들어, 음성인식 오류를 확인하거나 번역 오류 가능성을 알려주도록 하는 기술들이 있다.

그러나 이러한 피드백 기술들은 발화자가 해당 오류 또는 오류 가능성에 대해 직접 판단을 하고 이에 대해 대처를 해야 한다는 문제가 있다. 또한, 실제로 문제가 되지 않는 오류들에 대해서도 대처를 하게 되는 문제가 있다.

예를 들어, 음성인식 오류의 경우 의미전달에 영향을 미치지 않는 경우와 그렇지 않은 경우로 나눌 수 있는데, 이에 대해 어떠한 기준으로 그리고 실시간으로 어떻게 대처 가능한지를 판단하는 것은 쉽지 않다.

또한, 발화에 대한 번역 결과에 대해 청자가 쉽게 이해할 수 없는 상황들도 발생할 수 있으나, 종래에는 이러한 문제점을 해소하기 위한 기술이 제시되지 않았다.

본 발명의 일 실시예에 따른 동시통역 시스템(100) 및 이의 실시간 청자 피드백 제공 방법은 강연 등과 같이 실시간 동시통역을 제공하는 환경에 있어서 발화자에게 자신의 발화에 해당하는 동시통역 내용에 대한 청자의 실시간 피드백 결과를 제공할 수 있다.

이에 따라, 본 발명의 일 실시예는 발화자가 자신의 발화에 대한 청자의 이해도를 실시간으로 파악이 가능한바, 발화자로 하여금 보다 효율적인 발화를 하게끔 유도함과 더불어 청자의 이해도를 더욱 높일 수 있다는 장점이 있다.

한편, 본 발명의 일 실시예는 발화자와 청자가 모두 상이한 언어를 사용하는 환경에서의 동시통역을 대상으로 하고 있으나, 반드시 이에 한정되는 것은 아니며 동일한 언어를 사용하는 환경에서도 피드백 결과나 질의를 실시간으로 제공하여 발화자의 발화에 대한 청자의 이해도를 높이기 위해 적용될 수도 있음은 물론이다. 또는, 발화자와 동일한 언어를 사용하거나 상이한 언어를 사용하는 청자들이 혼재하는 경우에도 적용될 수 있음은 물론이다.

이하에서는 도 1 내지 도 2를 참조하여 본 발명의 일 실시예에 따른 동시통역 시스템(100)에 대하여 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 동시통역 시스템(100)의 블록도이다.

본 발명의 일 실시예에 따른 실시간 청자 피드백 기반의 동시통역 시스템(100)은 음성 인식부(110), 통신모듈(120), 메모리(130) 및 프로세서(140)를 포함한다.

음성 인식부(110)는 발화자의 발화를 인식하기 위한 구성으로서, 마이크가 이에 해당할 수 있다. 마이크에 의해 입력된 발화나 이에 대한 통역 결과는 스피커를 통해 출력될 수 있음은 물론이다.

통신모듈(120)은 하나 이상의 청자 디바이스(200)와 데이터를 송수신한다. 이때, 통신 모듈(120)은 유선 통신 모듈 및 무선 통신 모듈을 모두 포함할 수 있다. 유선 통신 모듈은 전력선 통신 장치, 전화선 통신 장치, 케이블 홈(MoCA), 이더넷(Ethernet), IEEE1294, 통합 유선 홈 네트워크 및 RS-485 제어 장치로 구현될 수 있다. 또한, 무선 통신 모듈은 WLAN(wireless LAN), Bluetooth, HDR WPAN, UWB, ZigBee, Impulse Radio, 60GHz WPAN, Binary-CDMA, 무선 USB 기술 및 무선 HDMI 기술 등으로 구현될 수 있다.

통신모듈(120)은 청자의 디바이스(200)로 발화자의 발화를 실시간으로 통역한 결과를 제공해줄 수 있으며, 청자의 디바이스(200)로부터 수신한 피드백 결과를 수신할 수 있다.

한편, 본 발명의 일 실시예에 따른 동시통역 시스템(100)과 발화자의 디바이스가 별개인 경우, 통신모듈(120)을 통해 상기 번역 결과나 피드백 결과를 발화자의 디바이스로 제공할 수도 있다.

메모리(130)에는 발화자의 발화에 대한 번역 결과 및 이에 대응하는 피드백 결과를 제공하기 위한 프로그램이 저장된다. 이때, 메모리(120)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 휘발성 저장장치를 통칭하는 것이다.

예를 들어, 메모리(130)는 콤팩트 플래시(compact flash; CF) 카드, SD(secure digital) 카드, 메모리 스틱(memory stick), 솔리드 스테이트 드라이브(solid-state drive; SSD) 및 마이크로(micro) SD 카드 등과 같은 낸드 플래시 메모리(NAND flash memory), 하드 디스크 드라이브(hard disk drive; HDD) 등과 같은 마그네틱 컴퓨터 기억 장치 및 CD-ROM, DVD-ROM 등과 같은 광학 디스크 드라이브(optical disc drive) 등을 포함할 수 있다.

한편, 본 발명의 일 실시예에 따른 동시통역 시스템(100)은 음성 및 화면 중 하나 이상을 이용하여 출력하는 디스플레이부(150)를 더 포함할 수 있다. 이때, 본 발명의 일 실시예는 디스플레이부(150)를 통해 발화의 원문 및 번역 이해도의 형태나, 발화의 원문, 원문에 대한 번역 결과 및 번역 이해도의 형태로 피드백 결과를 발화자에게 제공할 수 있다.

이에 따라, 발화자는 본인의 발화에 대한 피드백 결과를 실시간으로 모니터링할 수 있으며, 피드백 결과에 기초하여 추가적인 부연 설명이나 재설명 등을 할 수 있다.

또한, 본 발명의 일 실시예는 디스플레이부(150)를 통해 후술하는 청자의 질의를 번역하여 출력할 수도 있다. 이때, 청자의 질의는 발화의 내용상의 질의일 수도 있고, 발화의 형태(속도, 소리의 크기 등)에 대한 요청사항 등일 수도 있다.

그밖에 본 발명의 일 실시예에 따른 동시통역 시스템(100)은 발화자의 디바이스와 일체로 구현되거나, 발화자의 디바이스 및 청자의 디바이스(200)와 구별되는 컴퓨터 시스템으로 구현될 수도 있다.

한편, 본 발명에서의 발화자의 디바이스 및 청자의 디바이스(200)는, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등이나, 휴대용 디바이스기에 인터넷 통신과 정보 검색 등 컴퓨터 지원 기능을 추가한 지능형 디바이스기로서, 사용자가 원하는 다수의 응용 프로그램(즉, 애플리케이션)을 설치하여 실행할 수 있는 휴대폰, 스마트 폰(smart phone), 패드(Pad), 스마트 워치(Smart watch), 웨어러블(wearable) 디바이스, 기타 이동통신 디바이스 등일 수 있다.

뿐만 아니라, 케이블 TV, IPTV, 위성 방송, 공중파 데이터 방송, DMB, 인터넷 방송 등 방송 서비스와 연동되는 TV 형태로 구현될 수 있다.

프로세서(140)는 메모리(130)에 저장된 프로그램을 실행시킨다. 이하에서는 도 2를 참조하여 본 발명의 프로세서(140) 또는 청자 디바이스(200)에 의해 수행되는 각 기능에 대하여 구체적으로 설명하도록 한다.

도 2a 및 도 2b는 본 발명의 일 실시예에 따른 동시통역 시스템(100)의 기능을 설명하기 위한 도면이다.

먼저 도 2a를 참조하면, 본 발명의 일 실시예에 따른 동시통역 시스템(100)은 먼저 음성 인식부(110)를 통해 발화자의 발화를 수신한다.

이때, 발화자의 발화는 프로세서(140)에 의해 텍스트 형태로 변환될 수 있다. 이 과정에서 프로세서는 음성 인식부(110)를 통해 인식된 발화에 포함된 여러가지 노이즈를 파악하여 제거할 수 있다. 또한, 발화자의 발화에는 포함되어 있으나 번역에 이용되지 않는 음성 등을 파악하여 제거할 수 있다.

자동 번역부(141)는 발화자에 대한 음성인식 결과를 토대로 발화에 대한 번역 결과를 생성한다. 이때, 자동 번역부(141)는 발화자의 발화와 번역 간의 지연을 최소화하기 위하여 일정 수준 이상의 음성인식 정확도가 확보된 음성 인식 결과를 이용하여 번역할 수 있다.

그리고 음성 인식 결과에 대하여 번역을 수행하기 전에 기 설정된 번역 결과가 해당 음성 인식 결과에 대해 적절한 번역 단위에 해당하는지 여부를 판단할 수 있다.

이에 따라, 자동 번역부(141)는 상기 음성 인식 결과가 번역을 위해 기 설정된 번역 단위를 만족하지 않는 경우, 일정 시간 동안 상기 음성 인식부(110)를 통해 추가적으로 인식된 발화나 추가적인 음성 인식 결과를 더 반영하여 번역 결과를 생성할 수 있다.

즉, 본 발명의 일 실시예는 발화자의 발화에 대한 발화 및 번역 간의 지연을 최소화시키기 위하여 기 설정된 번역 단위로 음성인식 및 자동번역이 이루어질 수 있다. 이때, 기 설정된 번역 단위는 문장 단위 또는 필요에 따라 그보다 더 작은 단위들로 구성될 수 있다.

이때, 발화자는 번역 단위에 기초하여 발화를 수행하는 것은 아니며, 평상시와 같이 발화를 수행하면 되며, 자동 번역부(141)가 이러한 번역 단위에 기초하여 음성인식 및 자동번역을 수행할 수 있다.

한편, 자동 번역부(141)는 추가적인 발화나 음성인식 결과를 더 필요로 하는 상황이라 하더라도 기 설정된 시간이 초과한 경우, 지연 시간 문제가 더 크다고 판단되어 현재 상황에 따른 음성인식 결과에 따라 번역 결과를 생성하여 제공할 수 있다.

발화 생성부(142)는 상기 인식된 발화 및 각 발화에 대응하는 번역 결과에 대하여 쌍별로 고유 번호를 생성하여 관리할 수 있다. 이러한 고유 번호를 참조하여 향후 청자로 하여금 자신이 확인하고 싶은 발화에 대한 편리한 참조가 가능하게끔 할 수 있다.

발화 표시부(160)는 발화자의 발화에 대한 번역 결과를 텍스트 또는 음성으로 출력하여 청자 또는 발화자가 확인할 수 있게끔 하기 위한 것으로, 예를 들어 강연장의 모니터, 개인용 휴대 기기 등이 이에 해당할 수 있다.

이때, 발화 표시부(160)는 발화에 수반되는 자료나 번역 결과를 출력하기 위한 것으로 주로 청자를 위해 제공되는 것이며, 상술한 디스플레이부(150)는 청자로부터 수신한 피드백 결과를 출력하기 위한 것으로서 주로 발화자를 위해 제공된다는 점에서 차이가 있다.

또한, 번역 결과는 상술한 바와 같이 발화 표시부뿐만 아니라 청자 디바이스(200)로 제공될 수 있음은 물론이다.

이렇게 발화자의 발화에 대한 번역 결과가 발화 표시부(160) 또는 청자 디바이스(200)로 제공됨에 따라 청자는 발화자의 발화 내용을 확인할 수 있다. 이에 따라 각 청자들은 번역 결과에 대한 자신들의 번역 이해도를 기 설정된 번역 단위 또는 그 이상의 단위를 기준으로 평가하게 되고, 청자 디바이스(200)는 이를 피드백 결과를 생성하여 상기 통신모듈(120)로 전송하게 된다.

이때, 발화 및 번역 결과가 다양한 장치를 통해 청자에게 전달되는 것과 같이, 청자도 다양한 방식을 통해 번역 이해도에 대한 평가 결과인 피드백 결과를 통신모듈(120)로 제공할 수 있다. 예를 들어, 개인용 휴대용 기기에 어플리케이션과 같은 전용 프로그램을 설치하고 이를 이용하여 전달하거나, 문자, ARS, 웹페이지나 전용 단말을 이용할 수 있음은 물론이다.

도 2b를 참조하면, 청자 디바이스(200)의 번역 이해도 평가부(210)는 번역 결과에 대한 청자의 번역 이해도를 평가하기 위한 구성이다. 이때, 청자의 번역 이해도에 대한 평가 방식은 다양한 방식을 취할 수 있다.

예를 들어, 일정 등급(예를 들어, 2단계(good/bad), 3단계(good/normal/bad),…)에서 선택할 수도 있고, 일정 점수(예를 들어, 0에서 100점 사이)에서 지정할 수도 있다.

이러한 청자의 번역 이해도가 평가되면, 각 청자별 번역 이해도의 평가 결과는 피드백 결과 취합부(143)가 취합한다.

한편, 번역 이해도 평가부(210)에 의해 제공된 평가 방식에 따라 청자의 다양한 이해도가 평가된다 하더라도, 피드백 결과 취합부(143)에 의해 취합된 모든 결과를 그대로 강연자에게 제공할 수는 없다. 평가 결과가 단시간 내에 너무 많을 수도 있고, 또한 너무 편파적인 개인의 평가일 수도 있기 때문이다.

따라서, 각 청자의 이해도를 취합하여 합리적인 선에서 해당 평가를 발화자에게 전달하는 것이 필요하다. 물론 발화자의 선택에 따라 평가 결과를 모두 확인해볼 수 있음은 물론이다.

이에 따라, 피드백 결과 취합부(143)는 청자 디바이스로(200)부터 수신한 피드백 결과에 대하여 기 설정된 조건을 만족하는 피드백 결과를 발화자에게 제공할 수 있다.

이때, 기 설정된 조건은 전체 청자 디바이스의 수 대비 피드백 결과를 제공한 청자 디바이스의 수 및 일정 등급 또는 일정 점수 이상의 번역 이해도에 대응하는 피드백 결과 중 하나 이상을 포함할 수 있다.

즉, 피드백 결과 취합부(143)는 각 청자가 평가한 번역 단위별 번역 이해도 결과를 취합하고 이를 강연자에게 제공하는 것이 적절한지 여부를 판단할 수 있다. 이때, 적절성이란 번역 결과에 대한 평가 결과가 객관성을 갖는지 여부를 의미한다.

예를 들어, 실제 강연 상황에서, 청자들은 번역 결과에 대해 이해도가 높은 경우 별다른 행동을 취하지 않을 가능성이 높으며, 따라서 번역 이해도의 평가에 참여할 가능성이 떨어진다. 이 경우, 번역 이해도에 대한 전체 평가 결과가 부정적이라 하더라도 번역 이해도 평가에 대한 참여자가 적다면 이 결과는 적절하지 않을 가능성이 높다.

반면 이해도가 낮은 경우 청자들은 번역 이해도 평가에 참여할 가능성이 높다. 이 경우는 평가 결과의 부정적인 정도가 그리 높지 않다 하더라도 참여자가 많음으로 강연자에 해당 평가 결과를 제공하는 것이 적절할 수 있다.

한편, 본 발명의 일 실시예에 따른 동시통역 시스템(100)은 번역 결과에 대한 청자의 이해도를 높이기 위하여 청자에 의해 입력된 질의를 수신하여 발화자에게 제공할 수 있다.

즉, 발화자의 발화에 대하여 각 번역 단위 별로 평가를 한 피드백 결과를 발화자에게 제공하는 것도 양방향 소통성을 제공하고 이를 통해 청자의 이해도를 높일 수 있으나, 이와 더불어 전반적인 발화 과정에 있어서의 청자의 이해도를 높이는 것도 필요하다.

이에 대한 가장 효과적인 방법 중 하나는 청자가 발화 내용에 대하여 직접적인 질의를 하는 것이다. 그러나 발화자와 청자가 1 대 1 대화 관계이면 별 문제가 없으나, 1 대 N의 대화 관계인 경우 다수인 청자들은 본인의 이해도를 높이기 위한 질의를 자유로이 하기가 쉽지 않다.

발화자와 청자가 모두 동일 언어를 사용하는 1 대 N의 대화 관계에서조차 발화자의 발화 중에 자유로이 질의를 하는 것이 쉽지 않은데, 더욱이 발화자와 청자가 상이한 언어를 사용하는 발화 환경에서는 해당 외국어로 질의를 하는 것 자체가 질의를 어렵게 하는 요소로 작용하게 된다.

이러한 문제를 해소하기 위하여, 본 발명의 일 실시예는 청자가 번역 결과에 대한 번역 이해도 평가를 수행한 것과 유사한 방식으로, 질의 입력부(220)를 통해 청자가 본인의 질의를 음성 또는 텍스트를 이용하여 입력할 수 있다.

음성으로 입력된 질의는 음성 인식부(110) 및 자동 번역부(141)를 거쳐 번역 결과로 생성되며, 이와 같이 생성된 질의에 대한 번역 결과는 피드백 결과 취합부(143)에서 취합된다. 텍스트로 입력된 질의도 동일하게 자동 번역부(141)를 거쳐 번역 결과로 생성되어 피드백 결과 취합부(143)에서 취합된다.

피드백 결과 취합부(143)는 상술한 번역 단위별 평가 결과인 피드백 결과를 취합하는 역할과 함께, 각 청자들의 질의에 대한 번역 결과도 취합할 수 있고 이를 발화자에게 제공할 수 있다.

이때, 발화자와 청자가 1 대 N의 대화 관계인 경우, 오프라인 질의와는 달리 누구나 동시에 질의할 수 있는 온라인을 이용한 질의 형태이기 때문에, 질의의 개수가 많고 또한 동일한 질의라 하더라도 다양한 형태를 취할 수 있다.

따라서, 본 발명의 일 실시예는 질의의 의미적 유사도 또는 상기 질의에 대응하는 번역 결과간의 의미적 유사도에 기초하여 질의 또는 상기 질의에 대한 번역 결과를 그룹화하고, 기 설정된 개수 이상으로 분류된 그룹에 대응되는 질의에 대한 번역 결과를 발화자에게 제공할 수 있다.

즉, 본 발명의 일 실시예는 개별 질의에 대한 우선 순위를 부여할 수 있으며, 이를 위해 피드백 결과 취합부(143)에서는 2단계를 거쳐 질의 개수에 우선 순위를 부여할 수 있다.

첫 번째로 표면적으로 다양한 형태를 취하는 질의들에 대해 의미적 유사도에 기초하여 의미적으로 동일 또는 유사한 질의를 하는 것들끼리 그룹화한다. 두 번째로, 이와 같이 그룹화된 질의에 대하여 질의의 개수가 많은 기준 순서대로 정렬한 다음 일정 수 이상의 질의를 포함하는 그룹에 대한 질의에 대한 번역 결과를 발화자에게 제공할 수 있다.

이때, 의미적 유사도는 원문의 의미와 번역문의 의미를 각각 또는 모두 이용하여 판단할 수 있으며, 질의에 대하여 주어, 목적어, 서술어, 보어, 관형어, 부사어, 시간 정보, 문형 정보 및 시제 정보 중 하나 이상의 동일 또는 유사 의미에 기초하여 상기 의미를 분석할 수 있다. 혹은 단어 임베딩(word embedding)과 같은 벡터에 기반하여 연속된 하나 또는 그 이상의 문장들에 대해 의미 벡터를 구성하여 이들 벡터들에 기초하여 상기 의미를 분석할 수 있다.

발화자는 이러한 청자의 내용적 또는 발화 형태에 대한 질의를 실시간으로 확인할 수 있다. 그리고 이에 대한 적절한 해결 방안을 실시간으로 제공할 수도 있으며, 이를 통해 청자들의 발화 이해도 및 만족도를 더욱 향상시킬 수 있다.

참고로, 본 발명의 실시예에 따른 도 1 내지 도 2b에 도시된 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다.

그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.

이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 동시통역 시스템(100)에서의 실시간 청자 피드백 제공 방법에 대해 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 실시간 청자 피드백 제공 방법의 순서도이다.

본 발명의 일 실시예에 따른 실시간 청자 피드백 제공 방법은 먼저 발화자로부터 발화를 수신하면(S110), 상기 발화에 대한 음성인식 결과를 토대로 번역 결과를 생성하고(S120), 생성된 번역 결과를 청자 디바이스(200)로 제공한다(S130).

다음으로, 청자 디바이스(200)로부터 번역 결과에 대응하는 번역 이해도에 대한 피드백 결과를 수신하면(S140), 상기 피드백 결과를 발화자에게 제공한다(S150).

이때, 피드백 결과는 상기 생성된 번역 결과에 대하여 청자의 번역 이해도가 기 설정된 번역 단위 또는 상기 번역 단위 이상의 단위를 기준으로 평가된 것일 수 있다.

이때, 본 발명의 일 실시예는 적절한 피드백 결과를 발화자에게 제공하기 위하여, 이러한 피드백 결과는 전체 청자 디바이스의 수 대비 피드백 결과를 제공한 청자 디바이스의 수와, 또한 일정 등급 또는 일정 점수 이상의 번역 이해도에 대응하는 피드백 결과 중 하나 이상을 만족하는 경우에 피드백 결과를 발화자에게 제공할 수 있다.

이와 같이 생성된 피드백 결과는 발화자에게, 발화의 원문 및 번역 이해도의 형태로 제공되거나 또는, 발화의 원문, 원문에 대한 번역 결과 및 번역 이해도의 형태로 제공될 수 있다.

한편, 본 발명의 일 실시예에 따른 실시간 청자 피드백 제공 방법은 하나 이상의 청자 디바이스(200)로부터 음성 및 텍스트 중 하나 이상을 이용하여 청자에 의해 입력된 질의를 수신하고, 질의에 대응하는 번역 결과를 생성하여 발화자에게 제공하는 단계를 더 포함할 수 있다.

이때, 본 발명의 일 실시예는 원활한 발화 진행을 위하여, 질의에 대응하는 번역 결과를 제공하는 단계는, 질의의 의미적 유사도 또는 상기 질의에 대응하는 번역 결과간의 의미적 유사도에 기초하여 질의 또는 상기 질의에 대한 번역 결과를 그룹화하고, 기 설정된 개수 이상으로 분류된 그룹에 대응되는 질의에 대한 번역 결과를 발화자에게 제공할 수 있다.

한편, 상술한 설명에서, 단계 S110 내지 S150은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다. 아울러, 기타 생략된 내용이라 하더라도 도 1 내지 도 2b에서의 동시통역 시스템(100)에서 기술된 내용은 도 3의 실시간 청자 피드백 제공 방법에도 적용될 수 있다.

이와 같은 본 발명의 일 실시예에 의하면, 발화자의 발화에 대한 번역 결과를 청자에게 제공하고, 청자는 이에 대한 피드백 결과를 발화자에게 제공함으로써, 발화자로 하여금 자신의 발화에 대한 문제점을 실시간으로 파악할 수 있게끔 할 수 있다. 이에 따라, 발화자는 청자가 이해하지 못한 내용을 파악하여 재설명하거나, 발음, 발화 속도 등의 발화 형태를 조절함으로써 궁극적으로 청자의 이해도를 높여 효율적인 실시간 동시통역이 가능하게 할 수 있다.

특히, 실시간 동시통역의 특성 상, 발화와 번역문 간의 지연시간이 길어질 경우 청자의 이해도가 급격히 떨어지게 된다. 이를 위해 지연시간 축소를 위해 발화문을 보다 작은 여러 조각으로 분할하여 의사소통 단위로 통역을 진행할 경우, 제대로 분할이 이루어지지 못하거나 또는 분할로 인해 번역 결과의 이해도가 떨어지는 경우가 발생할 수 있다. 이렇게 이해도가 떨어지는 상황이 발생할 경우 이에 대한 즉각적인 청자의 피드백 및 이에 기반한 발화자의 실시간 대응은 효과적인 발화에 반드시 필요하다.

본 발명의 일 실시예는 기존의 피드백 방법들의 문제점들인 발화의 실시간 동시통역에 대한 오류 판단의 주체를 발화자가 아닌 청자가 되도록 하여, 가장 정확한 피드백 결과를 제공받을 수 있어 발화의 본래 목적인 청자의 이해도를 향상시킬 수 있다.

한편, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 동시통역 시스템
110: 음성 인식부
120: 통신모듈
130: 메모리
140: 프로세서
150: 디스플레이부
200: 청자 디바이스

Claims (14)

1. 실시간 청자 피드백 기반의 동시통역 시스템에 있어서,
   발화자의 발화를 인식하는 음성 인식부,
   하나 이상의 청자 디바이스와 데이터를 송수신하는 통신모듈,
   상기 발화에 대한 번역 결과 및 이에 대응하는 피드백 결과를 제공하기 위한 프로그램이 저장된 메모리 및
   상기 메모리에 저장된 프로그램을 실행시키는 프로세서를 포함하되,
   상기 프로세서는 상기 프로그램을 실행시킴에 따라, 상기 발화에 대한 음성인식 결과를 토대로 번역 결과를 생성하여 청자 디바이스에 제공하고, 상기 통신모듈을 통해 상기 청자 디바이스로부터 상기 번역 결과에 대응하는 번역 이해도에 대한 피드백 결과를 수신함에 따라 상기 피드백 결과를 발화자에게 제공하는 것인 동시 통역 시스템.
2. 제 1 항에 있어서,
   상기 피드백 결과는 상기 번역 결과에 대하여 상기 청자의 번역 이해도가 기 설정된 번역 단위 또는 상기 번역 단위 이상의 단위를 기준으로 평가된 것인 동시통역 시스템.
3. 제 1 항에 있어서,
   상기 프로세서는 상기 피드백 결과를 수신함에 따라 기 설정된 조건을 만족하는 경우 상기 피드백 결과를 상기 발화자에게 제공하되,
   상기 기 설정된 조건은 전체 청자 디바이스의 수 대비 상기 피드백 결과를 제공한 청자 디바이스의 수 및 일정 등급 또는 일정 점수 이상의 번역 이해도에 대응하는 피드백 결과 중 하나 이상을 포함하는 것인 동시통역 시스템.
4. 제 1 항에 있어서,
   상기 프로세서는 상기 통신모듈을 통해 상기 하나 이상의 청자 디바이스로부터 음성 및 텍스트 중 하나 이상을 이용하여 상기 청자에 의해 입력된 질의를 수신함에 따라, 상기 질의에 대응하는 번역 결과를 생성하여 상기 발화자에게 제공하는 것인 동시통역 시스템.
5. 제 4 항에 있어서,
   상기 프로세서는 상기 질의의 의미적 유사도 또는 상기 질의에 대응하는 번역 결과간의 의미적 유사도에 기초하여 상기 질의 또는 상기 질의에 대한 번역 결과를 그룹화하고, 기 설정된 개수 이상으로 분류된 그룹에 대응되는 질의에 대한 번역 결과를 상기 발화자에게 제공하는 것인 동시통역 시스템.
6. 제 1 항에 있어서,
   상기 피드백 결과를 표시하는 디스플레이부를 더 포함하되,
   상기 프로세서는 상기 디스플레이부를 통해 상기 발화의 원문 및 번역 이해도의 형태 또는 상기 발화의 원문, 상기 원문에 대한 번역 결과 및 번역 이해도의 형태로 상기 피드백 결과를 상기 발화자에게 제공하는 것인 동시통역 시스템.
7. 제 1 항에 있어서,
   상기 프로세서는 상기 음성인식 결과가 번역을 위해 기 설정된 번역 단위를 만족하지 않는 경우, 일정 시간 동안 상기 음성 인식부를 통해 추가적으로 인식된 발화에 기초한 음성인식 결과를 더 반영하여 상기 번역 결과를 생성하는 것인 동시통역 시스템.
8. 제 1 항에 있어서,
   상기 프로세서는 상기 인식된 발화 및 각 발화에 대응하는 번역 결과에 대하여 쌍별로 고유 번호를 설정하여 관리하는 것인 동시통역 시스템.
9. 동시통역 시스템에서의 실시간 청자 피드백 제공 방법에 있어서,
   발화자의 발화를 수신하는 단계;
   상기 발화에 대한 음성인식 결과를 토대로 번역 결과를 생성하는 단계;
   상기 번역 결과를 청자 디바이스로 제공하는 단계;
   상기 청자 디바이스로부터 상기 번역 결과에 대응하는 번역 이해도에 대한 피드백 결과를 수신하는 단계 및
   상기 피드백 결과를 상기 발화자에게 제공하는 단계를 포함하는 실시간 청자 피드백 제공 방법.
10. 제 9 항에 있어서,
    상기 피드백 결과는 상기 번역 결과에 대하여 상기 청자의 번역 이해도가 기 설정된 번역 단위 또는 상기 번역 단위 이상의 단위를 기준으로 평가된 것인 실시간 청자 피드백 제공 방법.
11. 제 9 항에 있어서,
    상기 피드백 결과를 상기 발화자에게 제공하는 단계는,
    전체 청자 디바이스의 수 대비 상기 피드백 결과를 제공한 청자 디바이스의 수 및 일정 등급 또는 일정 점수 이상의 번역 이해도에 대응하는 피드백 결과 중 하나 이상의 기 설정된 조건을 만족하는 경우 상기 피드백 결과를 상기 발화자에게 제공하는 것인 실시간 청자 피드백 제공 방법.
12. 제 9 항에 있어서,
    상기 피드백 결과를 상기 발화자에게 제공하는 단계는,
    상기 발화의 원문 및 번역 이해도의 형태 또는 상기 발화의 원문, 상기 원문에 대한 번역 결과 및 번역 이해도의 형태로 상기 피드백 결과를 상기 발화자에게 제공하는 것인 실시간 청자 피드백 제공 방법.
13. 제 9 항에 있어서,
    상기 하나 이상의 청자 디바이스로부터 음성 및 텍스트 중 하나 이상을 이용하여 상기 청자에 의해 입력된 질의를 수신하는 단계 및
    상기 질의에 대응하는 번역 결과를 생성하여 상기 발화자에게 제공하는 단계를 더 포함하는 실시간 청자 피드백 제공 방법.
14. 제 13 항에 있어서,
    상기 질의에 대응하는 번역 결과를 생성하여 상기 발화자에게 제공하는 단계는,
    상기 질의의 의미적 유사도 또는 상기 질의에 대응하는 번역 결과간의 의미적 유사도에 기초하여 상기 질의 또는 상기 질의에 대한 번역 결과를 그룹화하고, 기 설정된 개수 이상으로 분류된 그룹에 대응되는 질의에 대응하는 번역 결과를 상기 발화자에게 제공하는 것인 실시간 청자 피드백 제공 방법.

Images