KR102442531B1 - 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법 - Google Patents

발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102442531B1
KR102442531B1 KR1020200181609A KR20200181609A KR102442531B1 KR 102442531 B1 KR102442531 B1 KR 102442531B1 KR 1020200181609 A KR1020200181609 A KR 1020200181609A KR 20200181609 A KR20200181609 A KR 20200181609A KR 102442531 B1 KR102442531 B1 KR 102442531B1
Authority
KR
South Korea
Prior art keywords
text
user
voice
gender
language
Prior art date
Application number
KR1020200181609A
Other languages
English (en)
Other versions
KR20220090759A (ko
Inventor
안치연
김준현
조진욱
Original Assignee
주식회사 한글과컴퓨터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 한글과컴퓨터 filed Critical 주식회사 한글과컴퓨터
Priority to KR1020200181609A priority Critical patent/KR102442531B1/ko
Publication of KR20220090759A publication Critical patent/KR20220090759A/ko
Application granted granted Critical
Publication of KR102442531B1 publication Critical patent/KR102442531B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/15—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being formant information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Circuits Of Receivers In General (AREA)
  • Electric Clocks (AREA)

Abstract

발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법이 개시된다. 본 발명에 따른 전자 장치 및 그 동작 방법은 사용자에 의해 발화되는 제1 언어로 구성된 음성을 인식한 후, 번역 엔진에 대한 데이터를 기초로, 상기 제1 언어로 구성된 음성을 상기 사용자의 성별 및 현재 시간에 따른 제2 언어의 음성으로 출력함으로써, 상기 사용자의 성별 및 현재 시간에 맞는 보다 적절한 통역이 가능하도록 지원할 수 있다.

Description

발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법{ELECTRONIC APPARATUS THAT AUTOMATICALLY INTERPRETS THE TALKER'S VOICE ACCORDING TO GENDER AND TIME, AND THE OPERATING METHOD THEREOF}
본 발명은 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법에 대한 것이다.
최근, 글로벌 시대에 맞춰 해외 교류가 잦아짐에 따라, 해외 여행객 숫자가 엄청난 속도로 늘어나고 있다.
특히, 한국인 해외 여행객 숫자가 급속도로 늘어남에 따라, 해외 유명 관광지들은 점차 한국어 표지판, 한국어 자동 안내기 등을 배치하고 있는 추세이지만, 한국어가 국제어가 아닌 만큼, 다양한 언어를 사용하는 각국의 현지인들과 원활히 소통하기 위해서는 한국인 해외 여행객에게 통역기가 꼭 필요할 것이다.
한편, 많은 나라에서는 성별이나 시간 등에 따라, 표현하는 인사말이나 대화 내용이 다르게 표현되는 경우가 많이 있다.
예를 들어, 태국의 경우에는 '안녕하세요'를 표현할 때 남성의 경우 '사와디캅'이라고 하고, 여성의 경우 '사와디카'라고 표현하고 있다. 또한, 일본의 경우, 아침 인사말로 '오하요', 점심 인사말로는 '곤니치와', 저녁 인사말로 '곤방와'의 형태로 시간에 따라 다르게 표현하고 있다.
이처럼, 나라마다 성별이나 시간에 따라 다른 형태의 문장을 사용하고 있지만, 일반적인 통역기는 성별이나 시간 등에 따른 별도의 통역 기능이 제공되지 않고 있어서, 사용자의 의도와 맞지 않게 통역될 때가 종종 발생한다.
따라서, 통역을 진행할 때, 사용자의 다양한 정보를 취득하고, 해당 정보의 내용을 고려하여, 사용자에게 그 나라의 표현에 맞는 적절한 통역 결과를 출력해줄 수 있는 통역기 기술에 대한 연구가 필요하다.
본 발명에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법은 사용자에 의해 발화되는 제1 언어로 구성된 음성을 인식한 후, 번역 엔진에 대한 데이터를 기초로, 상기 제1 언어로 구성된 음성을 상기 사용자의 성별 및 현재 시간에 따른 제2 언어의 음성으로 출력함으로써, 상기 사용자의 성별 및 현재 시간에 맞는 보다 적절한 통역이 가능하도록 지원하고자 한다.
본 발명의 일실시예에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치는 제1 언어의 텍스트를 제2 언어의 텍스트로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 사전 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있는 번역 엔진 저장부, 상기 제1 언어로 발화되는 사용자의 음성을 인식하여 상기 제1 언어로 구성된 상기 사용자의 음성을 제1 텍스트로 변환하는 변환부, 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 주파수를 확인하여 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간을 확인하는 확인부, 상기 사용자의 성별과 상기 현재 시간이 확인되면, 상기 제1 텍스트와 함께 상기 사용자의 성별 및 상기 현재 시간에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가하여 상기 제1 텍스트를 상기 제2 언어의 텍스트로 번역 처리하되, 상기 사용자의 성별과 상기 현재 시간에 따른 시간대에 대응되는 제1 번역 결과 텍스트를 생성하는 생성부 및 상기 제1 번역 결과 텍스트가 생성되면, 상기 제1 번역 결과 텍스트를 음성으로 변환하기 위한 음성 합성을 수행하여 상기 제1 번역 결과 텍스트를 상기 제2 언어의 음성으로 출력하는 출력부를 포함한다.
또한, 본 발명의 일실시예에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치의 동작 방법은 제1 언어의 텍스트를 제2 언어의 텍스트로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 사전 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있는 번역 엔진 저장부를 유지하는 단계, 상기 제1 언어로 발화되는 사용자의 음성을 인식하여 상기 제1 언어로 구성된 상기 사용자의 음성을 제1 텍스트로 변환하는 단계, 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 주파수를 확인하여 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간을 확인하는 단계, 상기 사용자의 성별과 상기 현재 시간이 확인되면, 상기 제1 텍스트와 함께 상기 사용자의 성별 및 상기 현재 시간에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가하여 상기 제1 텍스트를 상기 제2 언어의 텍스트로 번역 처리하되, 상기 사용자의 성별과 상기 현재 시간에 따른 시간대에 대응되는 제1 번역 결과 텍스트를 생성하는 단계 및 상기 제1 번역 결과 텍스트가 생성되면, 상기 제1 번역 결과 텍스트를 음성으로 변환하기 위한 음성 합성을 수행하여 상기 제1 번역 결과 텍스트를 상기 제2 언어의 음성으로 출력하는 단계를 포함한다.
본 발명에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법은 사용자에 의해 발화되는 제1 언어로 구성된 음성을 인식한 후, 번역 엔진에 대한 데이터를 기초로, 상기 제1 언어로 구성된 음성을 상기 사용자의 성별 및 현재 시간에 따른 제2 언어의 음성으로 출력함으로써, 상기 사용자의 성별 및 현재 시간에 맞는 보다 적절한 통역이 가능하도록 지원할 수 있다.
도 1은 본 발명의 일실시예에 따른 전자 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 전자 장치의 동작 방법을 도시한 순서도이다.
이하에서는 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명하기로 한다. 이러한 설명은 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였으며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 본 명세서 상에서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.
본 문서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 본 발명의 다양한 실시예들에 있어서, 각 구성요소들, 기능 블록들 또는 수단들은 하나 또는 그 이상의 하부 구성요소로 구성될 수 있고, 각 구성요소들이 수행하는 전기, 전자, 기계적 기능들은 전자회로, 집적회로, ASIC(Application Specific Integrated Circuit) 등 공지된 다양한 소자들 또는 기계적 요소들로 구현될 수 있으며, 각각 별개로 구현되거나 2 이상이 하나로 통합되어 구현될 수도 있다.
한편, 첨부된 블록도의 블록들이나 흐름도의 단계들은 범용 컴퓨터, 특수용 컴퓨터, 휴대용 노트북 컴퓨터, 네트워크 컴퓨터 등 데이터 프로세싱이 가능한 장비의 프로세서나 메모리에 탑재되어 지정된 기능들을 수행하는 컴퓨터 프로그램 명령들(instructions)을 의미하는 것으로 해석될 수 있다. 이들 컴퓨터 프로그램 명령들은 컴퓨터 장치에 구비된 메모리 또는 컴퓨터에서 판독 가능한 메모리에 저장될 수 있기 때문에, 블록도의 블록들 또는 흐름도의 단계들에서 설명된 기능들은 이를 수행하는 명령 수단을 내포하는 제조물로 생산될 수도 있다. 아울러, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 명령들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 가능한 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 정해진 순서와 달리 실행되는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 실질적으로 동시에 수행되거나, 역순으로 수행될 수 있으며, 경우에 따라 일부 블록들 또는 단계들이 생략된 채로 수행될 수도 있다.
도 1은 본 발명의 일실시예에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치의 구조를 도시한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 전자 장치(110)는 번역 엔진 저장부(111), 변환부(112), 확인부(113), 생성부(114) 및 출력부(115)를 포함한다.
번역 엔진 저장부(111)에는 제1 언어의 텍스트를 제2 언어의 텍스트로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 사전 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있다.
예컨대, 상기 제1 언어의 텍스트가 '한국어'이고, 상기 제2 언어의 텍스트는 '일본어'라고 하는 경우, 번역 엔진 저장부(111)에는 상기 제1 언어의 텍스트인 '한국어'를 상기 제2 언어의 텍스트인 '일본어'로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있을 수 있다. 이와 관련해서, 상기 번역 엔진은 발화자의 성별로 '여성', 현재 시간대로 '아침 9시'라고 하는 정보가 주어지는 경우, '한국어' 텍스트를 '일본어' 텍스트로 기계번역하되, '여성'이 '아침 9시'에 발화하였을 경우에 대응되는 '일본어' 텍스트를 출력하도록 사전 학습된 번역 엔진일 수 있다.
변환부(112)는 상기 제1 언어로 발화되는 사용자의 음성을 인식하여 상기 제1 언어로 구성된 상기 사용자의 음성을 제1 텍스트로 변환한다.
확인부(113)는 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 주파수를 확인하여 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간을 확인한다.
이하에서는, 변환부(112) 및 확인부(113)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 상기 제1 언어가 '한국어'이고, 상기 제1 언어로 발화되는 상기 사용자의 음성은 '안녕하세요. 내 이름은 철수입니다.'라고 하며, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간은 '저녁 7시'라고 가정하자.
이때, 변환부(112)는 상기 제1 언어인 '한국어'로 발화되는 사용자의 음성인 '안녕하세요. 내 이름은 철수입니다.'를 인식하여, 상기 제1 언어인 '한국어'로 구성된 상기 사용자의 음성인 '안녕하세요. 내 이름은 철수입니다.'를 제1 텍스트로 변환할 수 있다.
이렇게, 변환부(112)에 의해, 상기 제1 언어인 '한국어'로 구성된 상기 사용자의 음성인 '안녕하세요. 내 이름은 철수입니다.'가 상기 제1 텍스트로 변환되면, 확인부(113)는 상기 사용자의 음성에 대한 주파수를 확인하여, 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간인 '저녁 7시'를 확인할 수 있다.
이때, 본 발명의 일실시예에 따르면, 확인부(113)는 변환부(112)에 의해 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 성별을 구분하기 위한 구성으로, 테이블 유지부(116) 및 성별 확인부(117)를 포함할 수 있다.
테이블 유지부(116)는 성별에 따른 사전 설정된 서로 다른 주파수 대역에 대한 정보가 기록된 테이블을 저장하여 유지한다.
예컨대, 테이블 유지부(116)는 하기의 표 1과 같이, 상기 성별에 따른 사전 설정된 서로 다른 주파수 대역에 대한 정보가 기록된 테이블을 저장하여 유지할 수 있다.
성별 주파수 대역
남성 150~199Hz
여성 200~250Hz
성별 확인부(117)는 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 평균 주파수를 확인하고, 상기 테이블을 참조하여 상기 평균 주파수가 상기 성별에 따른 주파수 대역 중 어느 대역에 포함되어 있는지 확인해서 상기 사용자의 성별을 구분한다.
예컨대, 상기 사용자가 '안녕하세요. 내 이름은 철수입니다.'를 발음하였을 때의 음성의 평균 주파수가 '160Hz'라고 가정하는 경우, 성별 확인부(117)는 상기 표 1과 같은 상기 테이블을 참조하여, 상기 사용자의 평균 주파수인 '160Hz'가 남성, 여성의 주파수 대역 중 상기 남성 주파수 대역인 '150~199Hz'에 포함되어 있는 것으로 확인할 수 있다.
그러고 나서, 성별 확인부(117)는 상기 사용자의 성별을 '남성'으로 구분할 수 있다.
생성부(114)는 상기 사용자의 성별과 상기 현재 시간이 확인되면, 상기 제1 텍스트와 함께 상기 사용자의 성별 및 상기 현재 시간에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가하여 상기 제1 텍스트를 상기 제2 언어의 텍스트로 번역 처리하되, 상기 사용자의 성별과 상기 현재 시간에 따른 시간대에 대응되는 제1 번역 결과 텍스트를 생성한다.
예컨대, 전술한 예와 같이, 상기 제1 텍스트가 '안녕하세요. 내 이름은 철수입니다.'라고 하고, 확인부(113)에 의해 상기 사용자의 성별이 '남성', 상기 현재 시간이 '저녁 7시'로 확인되었다고 하며, 상기 제2 언어가 '일본어'라고 가정하면, 생성부(114)는 상기 제1 텍스트인 '안녕하세요. 내 이름은 철수입니다.'와 함께 상기 사용자의 성별인 '남성' 및 상기 현재 시간인 '저녁 7시'에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가할 수 있다.
그 이후, 생성부(114)는 상기 제1 텍스트인 '안녕하세요. 내 이름은 철수입니다.'를 상기 제2 언어인 '일본어'의 텍스트로 번역 처리하되, 상기 사용자의 성별인 '남성'과 상기 현재 시간인 '저녁 7시'에 따른 시간대에 대응되는 제1 번역 결과 텍스트인 'こんばんは。僕の名前はチョルスです。'를 생성할 수 있다.
만약, 상기 사용자의 성별이 '남성'이 아니라 '여성'으로 확인되었고, 현재 시간이 '저녁 7시'가 아니라 '오후 1시'로 확인되었다고 한다면, 생성부(114)는 상기 사용자의 성별인 '여성'과 현재 시간인 '오후 1시'에 대응되는 제1 번역 결과 텍스트를 'こんにちは。私の名前はチョルスです。'로 생성할 수 있다.
출력부(115)는 상기 제1 번역 결과 텍스트가 생성되면, 상기 제1 번역 결과 텍스트를 음성으로 변환하기 위한 음성 합성을 수행하여 상기 제1 번역 결과 텍스트를 상기 제2 언어의 음성으로 출력한다.
이때, 본 발명의 일실시예에 따르면, 출력부(115)는 생성부(114)에 의해 상기 제1 번역 결과 텍스트가 생성되면, 상기 사용자의 성별에 따른 음성 합성 모델을 기초로, 상기 제1 번역 결과 텍스트에 대해 음성 합성을 수행하기 위한 구성으로, 음성 합성 저장부(118) 및 수행부(119)를 포함할 수 있다.
음성 합성 저장부(118)에는 성별에 따른 음성이 출력되도록 사전 구축된 서로 다른 음성 합성 모델에 대한 데이터가 저장되어 있다.
관련해서, 음성 합성 저장부(118)에는 남성에 따른 음성이 출력되도록 사전 구축된 남성용 음성 합성 모델과 여성에 따른 음성이 출력되도록 사전 구축된 여성용 음성 합성 모델에 대한 데이터가 저장되어 있을 수 있다.
수행부(119)는 상기 제1 번역 결과 텍스트가 생성되면, 음성 합성 저장부(118)를 참조하여 상기 사용자의 성별에 따른 음성 합성 모델을 기초로 상기 제1 번역 결과 텍스트에 대해 음성 합성을 수행한다.
예컨대, 전술한 예와 같이, 상기 사용자의 성별이 '남성'이라고 하고, 상기 제1 번역 결과 텍스트가 'こんばんは。僕の名前はチョルスです。'라고 하는 경우, 수행부(119)는 음성 합성 저장부(118)를 참조하여, 상기 사용자의 성별인 '남성'에 따른 음성 합성 모델을 기초로 상기 제1 번역 결과 텍스트인 'こんばんは。僕の名前はチョルスです。'에 대해 음성 합성을 수행할 수 있다.
즉, 상기 출력부(115)는 상기 제1 번역 결과 텍스트인 'こんばんは。僕の名前はチョルスです。'가 생성되면, 상기 사용자의 성별인 '남성'에 따른 음성을 출력하기 위해서, 음성 합성 모델을 기초로, 상기 제1 번역 결과 텍스트인 'こんばんは。僕の名前はチョルスです。'에 대해 음성 합성을 수행한 후, 상기 제1 번역 결과 텍스트인 'こんばんは。僕の名前はチョルスです。'를 상기 사용자의 성별인 '남성'의 음성으로 출력할 수 있다.
본 발명의 일실시예에 따르면, 전자 장치(110)는 출력부(115)를 통해, 상기 제1 번역 결과 텍스트가 상기 제2 언어의 음성으로 출력되면, 상기 제1 텍스트에 이어서 발화할 문장을 추천하기 위한 구성으로, 키워드 저장부(120), 기준 행렬 저장부(121), 행벡터 생성부(122), 텍스트 행렬 생성부(123), 노름 연산부(124), 선택부(125) 및 표시부(126)를 더 포함할 수 있다.
키워드 저장부(120)에는 사전 설정된 k(k는 2이상의 자연수임)개의 주제들 각각에 대응되는 사전 설정된 n(n은 2이상의 자연수임)개의 주제별 키워드들이 저장되어 있다.
예컨대, k와 n이 각각 '3'이라고 하는 경우, 키워드 저장부(120)에는 하기의 표 2와 같은 사전 설정된 '3'개의 주제들 각각에 대응되는 사전 설정된 '3'개의 주제별 키워드들이 저장되어 있을 수 있다.
주제들 주제별 키워드
인사 안녕, 감사, 날씨
거래 요금, 가격, 물건
식사 1인분, 음식, 추가
기준 행렬 저장부(121)에는 서로 다른 복수의 문장들로 구성된 복수의 문장 세트들과 각 문장 세트에 대응되는 k x n 크기의 서로 다른 기준 행렬이 저장되어 있다.
여기서, 상기 기준 행렬은 1과 0의 코드 값을 성분으로 갖는 행렬로, 추천 문장 세트를 선택하기 위한 사전 설정된 기준치를 의미한다.
관련해서, 상기 복수의 문장 세트들은 상기 주제들에 대한 상황에 맞는 유사한 복수의 문장들로 구성되어 있을 수 있다.
예컨대, 전술한 예와 같이, k와 n이 각각 '3'이라고 하는 경우, 기준 행렬 저장부(121)에는 하기의 표 3과 같은 서로 다른 복수의 문장들로 구성된 복수의 문장 세트들과 각 문장 세트에 대응되는 '3' x '3' 크기의 서로 다른 기준 행렬이 저장되어 있을 수 있다.
복수의 문장 세트들 복수의 문장들 3 x 3의 기준 행렬
문장 세트 1 반갑습니다.
Figure 112020140103881-pat00001
식사하셨나요?
잘 지내시죠?
문장 세트 2 이걸로 주세요.
Figure 112020140103881-pat00002
얼마에요?
계산해주세요.
문장 세트 3 맛있어요?
Figure 112020140103881-pat00003
메뉴 추천해주세요.
음식은 언제 나와요?
행벡터 생성부(122)는 출력부(115)를 통해 상기 제1 번역 결과 텍스트가 상기 제2 언어의 음성으로 출력되면, 상기 제1 텍스트에서 상기 k개의 주제들 각각에 대응되는 상기 n개의 주제별 키워드들이 존재하는지 확인하여, 상기 k개의 주제들 각각에 대해, 상기 n개의 주제별 키워드들 중 상기 제1 텍스트에서 존재하는 키워드에 대해 1의 코드를 할당하고, 상기 제1 텍스트에서 존재하지 않는 키워드에 대해 0의 코드를 할당함으로써, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 생성한다.
텍스트 행렬 생성부(123)는 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터가 생성되면, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 순차적으로 결합함으로써, 상기 제1 텍스트에 대응되는 k x n 크기의 텍스트 행렬을 생성한다.
노름 연산부(124)는 기준 행렬 저장부(121)를 참조하여, 상기 텍스트 행렬과 상기 복수의 문장 세트들 각각에 대응되는 기준 행렬 간의 아다마르 곱(Hadamard Product)을 연산함으로써, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬을 생성한 후, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬에 대한 맨해튼 노름(Manhattan norm)을 연산한다.
여기서, 아다마르 곱이란, 같은 크기의 행렬에서 각 성분을 곱하는 연산을 의미한다. 예컨대, '[a b c]'와 '[x y z]'라는 행렬이 있을 때, 두 행렬간의 아다마르 곱을 연산하면, '[ax by cz]'라는 행렬이 산출될 수 있다.
그리고, 맨해튼 노름이란, 벡터나 행렬의 크기를 나타내는 L1 노름으로, 하기의 수학식 1과 같이 나타낼 수 있다.
Figure 112020140103881-pat00004
여기서,
Figure 112020140103881-pat00005
이 맨해튼 노름,
Figure 112020140103881-pat00006
는 벡터 또는 행렬의 s번째 성분을 의미한다.
선택부(125)는 상기 복수의 문장 세트들 중 상기 맨해튼 노름이 최대로 연산된 제1 문장 세트를 선택한다.
표시부(126)는 상기 제1 문장 세트에 포함된 문장들을 상기 제1 텍스트에 이어서 발화할 추천 문장으로 화면에 표시한다.
이하에서는, 행벡터 생성부(122), 텍스트 행렬 생성부(123), 노름 연산부(124), 선택부(125) 및 표시부(126)의 동작을 예를 들어, 상세히 설명하기로 한다.
먼저, 전술한 예와 같이, k와 n이 각각 '3'이라고 하고, 상기 제1 텍스트가 '안녕하세요? 오늘 날씨가 좋네요.'라고 가정하자.
이때, 출력부(115)를 통해 상기 제1 번역 결과 텍스트가 상기 제2 언어의 음성으로 출력되면, 행벡터 생성부(122)는 키워드 저장부(120)를 참조하여, 상기 제1 텍스트인 '안녕하세요? 오늘 날씨가 좋네요.'에서 '인사'라는 주제에 대응되는 '안녕', '감사', '날씨'라는 주제별 키워드들이 존재하는지 확인할 수 있다.
그러고 나서, 행벡터 생성부(122)는 '인사'라는 주제에 대해, '안녕', '감사', '날씨'라는 주제별 키워드들 중 상기 제1 텍스트인 '안녕하세요? 오늘 날씨가 좋네요.'에서 존재하는 키워드에 대해 1의 코드를 할당하고, 상기 제1 텍스트인 '안녕하세요? 오늘 날씨가 좋네요.'에서 존재하지 않는 키워드에 대해 0의 코드를 할당함으로써, '인사'라는 주제에 대응되는 '[1 0 1]'이라고 하는 '3'차원의 행벡터를 생성할 수 있다.
이러한 방식으로, 행벡터 생성부(122)는 나머지 '거래', '식사'라는 주제들 각각에 대응되는 '[0 0 0]', '[0 0 0]'이라고 하는 '3'차원의 행벡터도 생성할 수 있다.
이렇게, 행벡터 생성부(122)를 통해, '인사', '거래', '식사'라는 주제들 각각에 대응되는 '[1 0 1]', '[0 0 0]', '[0 0 0]'이라고 하는 '3'차원의 행벡터가 생성되면, 텍스트 행렬 생성부(123)는 '인사', '거래', '식사'라는 주제들 각각에 대응되는 '[1 0 1]', '[0 0 0]', '[0 0 0]'이라고 하는 '3'차원의 행벡터를 순차적으로 결합함으로써, 상기 제1 텍스트인 '안녕하세요? 오늘 날씨가 좋네요.'에 대응되는 '3' x '3' 크기의 텍스트 행렬을 '
Figure 112020140103881-pat00007
'로 생성할 수 있다.
그 이후, 노름 연산부(124)는 기준 행렬 저장부(121)를 참조하여, 상기 텍스트 행렬인 '
Figure 112020140103881-pat00008
'과 '문장 세트 1'에 대응되는 기준 행렬인 '
Figure 112020140103881-pat00009
' 간의 아다마르 곱을 연산함으로써, '문장 세트 1'에 대응되는 연산 행렬을 '
Figure 112020140103881-pat00010
'로 생성할 수 있다.
그러고 나서, 노름 연산부(124)는 '문장 세트 1'에 대응되는 연산 행렬인 '
Figure 112020140103881-pat00011
'에 대한 맨해튼 노름을 '2'로 연산할 수 있다.
또한, 노름 연산부(124)는 상기 텍스트 행렬인 '
Figure 112020140103881-pat00012
'과 '문장 세트 2'에 대응되는 기준 행렬인 '
Figure 112020140103881-pat00013
' 간의 아다마르 곱을 연산함으로써, '문장 세트 2'에 대응되는 연산 행렬을 '
Figure 112020140103881-pat00014
'로 생성하고, '문장 세트 2'에 대응되는 연산 행렬인 '
Figure 112020140103881-pat00015
'에 대한 맨해튼 노름을 '0'으로 연산할 수 있다.
또한, 노름 연산부(124)는 상기 텍스트 행렬인 '
Figure 112020140103881-pat00016
'과 '문장 세트 3'에 대응되는 기준 행렬인 '
Figure 112020140103881-pat00017
' 간의 아다마르 곱을 연산함으로써, '문장 세트 3'에 대응되는 연산 행렬을 '
Figure 112020140103881-pat00018
'로 생성하고, '문장 세트 3'에 대응되는 연산 행렬인 '
Figure 112020140103881-pat00019
'에 대한 맨해튼 노름을 '0'으로 연산할 수 있다.
이렇게, 노름 연산부(124)에 의해 '문장 세트 1', '문장 세트 2', '문장 세트 3'에 대한 맨해튼 노름이 '2', '0', '0'으로 연산되면, 선택부(125)는 '문장 세트 1', '문장 세트 2', '문장 세트 3' 중 상기 맨해튼 노름이 최대로 연산된 '문장 세트 1'을 선택할 수 있다.
그 이후, 표시부(126)는 '문장 세트 1'에 포함된 문장들인 '반갑습니다.', '식사하셨나요?', '잘 지내시죠?'를 상기 제1 텍스트인 '안녕하세요? 오늘 날씨가 좋네요.'에 이어서 발화할 추천 문장으로 화면에 표시할 수 있다.
이를 통해, 사용자는 상기 추천 문장들을 참고하여 '안녕하세요? 오늘 날씨가 좋네요.'라는 문장에 이어서 발화할 문장을 결정한 후 상대방과 대화를 지속해 나갈 수 있다.
도 2는 본 발명의 일실시예에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치의 동작 방법을 도시한 순서도이다.
단계(S210)에서는 제1 언어의 텍스트를 제2 언어의 텍스트로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 사전 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있는 번역 엔진 저장부를 유지한다.
단계(S220)에서는 상기 제1 언어로 발화되는 사용자의 음성을 인식하여 상기 제1 언어로 구성된 상기 사용자의 음성을 제1 텍스트로 변환한다.
단계(S230)에서는 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 주파수를 확인하여 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간을 확인한다.
단계(S240)에서는 상기 사용자의 성별과 상기 현재 시간이 확인되면, 상기 제1 텍스트와 함께 상기 사용자의 성별 및 상기 현재 시간에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가하여 상기 제1 텍스트를 상기 제2 언어의 텍스트로 번역 처리하되, 상기 사용자의 성별과 상기 현재 시간에 따른 시간대에 대응되는 제1 번역 결과 텍스트를 생성한다.
단계(S250)에서는 상기 제1 번역 결과 텍스트가 생성되면, 상기 제1 번역 결과 텍스트를 음성으로 변환하기 위한 음성 합성을 수행하여 상기 제1 번역 결과 텍스트를 상기 제2 언어의 음성으로 출력한다.
이때, 본 발명의 일실시예에 따르면, 단계(S230)에서는 성별에 따른 사전 설정된 서로 다른 주파수 대역에 대한 정보가 기록된 테이블을 저장하여 유지하는 단계 및 상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 평균 주파수를 확인하고, 상기 테이블을 참조하여 상기 평균 주파수가 상기 성별에 따른 주파수 대역 중 어느 대역에 포함되어 있는지 확인해서 상기 사용자의 성별을 구분하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S250)에서는 성별에 따른 음성이 출력되도록 사전 구축된 서로 다른 음성 합성 모델에 대한 데이터가 저장되어 있는 음성 합성 저장부를 유지하는 단계 및 상기 제1 번역 결과 텍스트가 생성되면, 상기 음성 합성 저장부를 참조하여 상기 사용자의 성별에 따른 음성 합성 모델을 기초로 상기 제1 번역 결과 텍스트에 대해 음성 합성을 수행하는 단계를 포함할 수 있다.
또한, 본 발명의 일실시예에 따르면, 상기 전자 장치의 동작 방법은 사전 설정된 k(k는 2이상의 자연수임)개의 주제들 각각에 대응되는 사전 설정된 n(n은 2이상의 자연수임)개의 주제별 키워드들이 저장되어 있는 키워드 저장부를 유지하는 단계, 서로 다른 복수의 문장들로 구성된 복수의 문장 세트들과 각 문장 세트에 대응되는 k x n 크기의 서로 다른 기준 행렬(상기 기준 행렬은 1과 0의 코드 값을 성분으로 갖는 행렬로, 추천 문장 세트를 선택하기 위한 사전 설정된 기준치를 의미함)이 저장되어 있는 기준 행렬 저장부를 유지하는 단계, 단계(S250)을 통해 상기 제1 번역 결과 텍스트가 상기 제2 언어의 음성으로 출력되면, 상기 제1 텍스트에서 상기 k개의 주제들 각각에 대응되는 상기 n개의 주제별 키워드들이 존재하는지 확인하여, 상기 k개의 주제들 각각에 대해, 상기 n개의 주제별 키워드들 중 상기 제1 텍스트에서 존재하는 키워드에 대해 1의 코드를 할당하고, 상기 제1 텍스트에서 존재하지 않는 키워드에 대해 0의 코드를 할당함으로써, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 생성하는 단계, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터가 생성되면, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 순차적으로 결합함으로써, 상기 제1 텍스트에 대응되는 k x n 크기의 텍스트 행렬을 생성하는 단계, 상기 기준 행렬 저장부를 참조하여, 상기 텍스트 행렬과 상기 복수의 문장 세트들 각각에 대응되는 기준 행렬 간의 아다마르 곱을 연산함으로써, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬을 생성한 후, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬에 대한 맨해튼 노름을 연산하는 단계, 상기 복수의 문장 세트들 중 상기 맨해튼 노름이 최대로 연산된 제1 문장 세트를 선택하는 단계 및 상기 제1 문장 세트에 포함된 문장들을 상기 제1 텍스트에 이어서 발화할 추천 문장으로 화면에 표시하는 단계를 더 포함할 수 있다.
이상, 도 2를 참조하여 본 발명의 일실시예에 따른 전자 장치의 동작 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 전자 장치의 동작 방법은 도 1을 이용하여 설명한 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치(110)의 동작에 대한 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치의 동작 방법은 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 본 발명의 일실시예에 따른 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
110: 전자 장치 111: 번역 엔진 저장부
112: 변환부 113: 확인부
114: 생성부 115: 출력부
116: 테이블 유지부 117: 성별 확인부
118: 음성 합성 저장부 119: 수행부
120: 키워드 저장부 121: 기준 행렬 저장부
122: 행벡터 생성부 123: 텍스트 행렬 생성부
124: 노름 연산부 125: 선택부
126: 표시부

Claims (10)

  1. 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치에 있어서,
    제1 언어의 텍스트를 제2 언어의 텍스트로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 사전 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있는 번역 엔진 저장부;
    사전 설정된 k(k는 2이상의 자연수임)개의 주제들 각각에 대응되는 사전 설정된 n(n은 2이상의 자연수임)개의 주제별 키워드들이 저장되어 있는 키워드 저장부;
    서로 다른 복수의 문장들로 구성된 복수의 문장 세트들과 각 문장 세트에 대응되는 k x n 크기의 서로 다른 기준 행렬 - 상기 기준 행렬은 1과 0의 코드 값을 성분으로 갖는 행렬로, 추천 문장 세트를 선택하기 위한 사전 설정된 기준치를 의미함 - 이 저장되어 있는 기준 행렬 저장부;
    상기 제1 언어로 발화되는 사용자의 음성을 인식하여 상기 제1 언어로 구성된 상기 사용자의 음성을 제1 텍스트로 변환하는 변환부;
    상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 주파수를 확인하여 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간을 확인하는 확인부;
    상기 사용자의 성별과 상기 현재 시간이 확인되면, 상기 제1 텍스트와 함께 상기 사용자의 성별 및 상기 현재 시간에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가하여 상기 제1 텍스트를 상기 제2 언어의 텍스트로 번역 처리하되, 상기 사용자의 성별과 상기 현재 시간에 따른 시간대에 대응되는 제1 번역 결과 텍스트를 생성하는 생성부;
    상기 제1 번역 결과 텍스트가 생성되면, 상기 제1 번역 결과 텍스트를 음성으로 변환하기 위한 음성 합성을 수행하여 상기 제1 번역 결과 텍스트를 상기 제2 언어의 음성으로 출력하는 출력부;
    상기 출력부를 통해 상기 제1 번역 결과 텍스트가 상기 제2 언어의 음성으로 출력되면, 상기 제1 텍스트에서 상기 k개의 주제들 각각에 대응되는 상기 n개의 주제별 키워드들이 존재하는지 확인하여, 상기 k개의 주제들 각각에 대해, 상기 n개의 주제별 키워드들 중 상기 제1 텍스트에서 존재하는 키워드에 대해 1의 코드를 할당하고, 상기 제1 텍스트에서 존재하지 않는 키워드에 대해 0의 코드를 할당함으로써, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 생성하는 행벡터 생성부;
    상기 k개의 주제들 각각에 대응되는 n차원의 행벡터가 생성되면, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 순차적으로 결합함으로써, 상기 제1 텍스트에 대응되는 k x n 크기의 텍스트 행렬을 생성하는 텍스트 행렬 생성부;
    상기 기준 행렬 저장부를 참조하여, 상기 텍스트 행렬과 상기 복수의 문장 세트들 각각에 대응되는 기준 행렬 간의 아다마르 곱(Hadamard Product)을 연산함으로써, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬을 생성한 후, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬에 대한 맨해튼 노름(Manhattan norm)을 연산하는 노름 연산부;
    상기 복수의 문장 세트들 중 상기 맨해튼 노름이 최대로 연산된 제1 문장 세트를 선택하는 선택부; 및
    상기 제1 문장 세트에 포함된 문장들을 상기 제1 텍스트에 이어서 발화할 추천 문장으로 화면에 표시하는 표시부
    를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 확인부는
    성별에 따른 사전 설정된 서로 다른 주파수 대역에 대한 정보가 기록된 테이블을 저장하여 유지하는 테이블 유지부; 및
    상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 평균 주파수를 확인하고, 상기 테이블을 참조하여 상기 평균 주파수가 상기 성별에 따른 주파수 대역 중 어느 대역에 포함되어 있는지 확인해서 상기 사용자의 성별을 구분하는 성별 확인부
    를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 출력부는
    성별에 따른 음성이 출력되도록 사전 구축된 서로 다른 음성 합성 모델에 대한 데이터가 저장되어 있는 음성 합성 저장부; 및
    상기 제1 번역 결과 텍스트가 생성되면, 상기 음성 합성 저장부를 참조하여 상기 사용자의 성별에 따른 음성 합성 모델을 기초로 상기 제1 번역 결과 텍스트에 대해 음성 합성을 수행하는 수행부
    를 포함하는 전자 장치.
  4. 삭제
  5. 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치의 동작 방법에 있어서,
    제1 언어의 텍스트를 제2 언어의 텍스트로 기계 번역하되, 발화자의 성별 및 시간대에 대응되는 번역 결과 텍스트를 출력하도록 사전 구축되어 있는 번역 엔진에 대한 데이터가 저장되어 있는 번역 엔진 저장부를 유지하는 단계;
    사전 설정된 k(k는 2이상의 자연수임)개의 주제들 각각에 대응되는 사전 설정된 n(n은 2이상의 자연수임)개의 주제별 키워드들이 저장되어 있는 키워드 저장부를 유지하는 단계;
    서로 다른 복수의 문장들로 구성된 복수의 문장 세트들과 각 문장 세트에 대응되는 k x n 크기의 서로 다른 기준 행렬 - 상기 기준 행렬은 1과 0의 코드 값을 성분으로 갖는 행렬로, 추천 문장 세트를 선택하기 위한 사전 설정된 기준치를 의미함 - 이 저장되어 있는 기준 행렬 저장부를 유지하는 단계;
    상기 제1 언어로 발화되는 사용자의 음성을 인식하여 상기 제1 언어로 구성된 상기 사용자의 음성을 제1 텍스트로 변환하는 단계;
    상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 주파수를 확인하여 상기 사용자의 성별을 구분하고, 상기 사용자의 음성이 상기 제1 텍스트로 변환된 시점에 대한 현재 시간을 확인하는 단계;
    상기 사용자의 성별과 상기 현재 시간이 확인되면, 상기 제1 텍스트와 함께 상기 사용자의 성별 및 상기 현재 시간에 따른 시간대에 대한 정보를 상기 번역 엔진에 입력으로 인가하여 상기 제1 텍스트를 상기 제2 언어의 텍스트로 번역 처리하되, 상기 사용자의 성별과 상기 현재 시간에 따른 시간대에 대응되는 제1 번역 결과 텍스트를 생성하는 단계;
    상기 제1 번역 결과 텍스트가 생성되면, 상기 제1 번역 결과 텍스트를 음성으로 변환하기 위한 음성 합성을 수행하여 상기 제1 번역 결과 텍스트를 상기 제2 언어의 음성으로 출력하는 단계;
    상기 출력하는 단계를 통해 상기 제1 번역 결과 텍스트가 상기 제2 언어의 음성으로 출력되면, 상기 제1 텍스트에서 상기 k개의 주제들 각각에 대응되는 상기 n개의 주제별 키워드들이 존재하는지 확인하여, 상기 k개의 주제들 각각에 대해, 상기 n개의 주제별 키워드들 중 상기 제1 텍스트에서 존재하는 키워드에 대해 1의 코드를 할당하고, 상기 제1 텍스트에서 존재하지 않는 키워드에 대해 0의 코드를 할당함으로써, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 생성하는 단계;
    상기 k개의 주제들 각각에 대응되는 n차원의 행벡터가 생성되면, 상기 k개의 주제들 각각에 대응되는 n차원의 행벡터를 순차적으로 결합함으로써, 상기 제1 텍스트에 대응되는 k x n 크기의 텍스트 행렬을 생성하는 단계;
    상기 기준 행렬 저장부를 참조하여, 상기 텍스트 행렬과 상기 복수의 문장 세트들 각각에 대응되는 기준 행렬 간의 아다마르 곱(Hadamard Product)을 연산함으로써, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬을 생성한 후, 상기 복수의 문장 세트들 각각에 대응되는 연산 행렬에 대한 맨해튼 노름(Manhattan norm)을 연산하는 단계;
    상기 복수의 문장 세트들 중 상기 맨해튼 노름이 최대로 연산된 제1 문장 세트를 선택하는 단계; 및
    상기 제1 문장 세트에 포함된 문장들을 상기 제1 텍스트에 이어서 발화할 추천 문장으로 화면에 표시하는 단계
    를 포함하는 전자 장치의 동작 방법.
  6. 제5항에 있어서,
    상기 확인하는 단계는
    성별에 따른 사전 설정된 서로 다른 주파수 대역에 대한 정보가 기록된 테이블을 저장하여 유지하는 단계; 및
    상기 제1 언어로 구성된 상기 사용자의 음성이 상기 제1 텍스트로 변환되면, 상기 사용자의 음성에 대한 평균 주파수를 확인하고, 상기 테이블을 참조하여 상기 평균 주파수가 상기 성별에 따른 주파수 대역 중 어느 대역에 포함되어 있는지 확인해서 상기 사용자의 성별을 구분하는 단계
    를 포함하는 전자 장치의 동작 방법.
  7. 제5항에 있어서,
    상기 출력하는 단계는
    성별에 따른 음성이 출력되도록 사전 구축된 서로 다른 음성 합성 모델에 대한 데이터가 저장되어 있는 음성 합성 저장부를 유지하는 단계; 및
    상기 제1 번역 결과 텍스트가 생성되면, 상기 음성 합성 저장부를 참조하여 상기 사용자의 성별에 따른 음성 합성 모델을 기초로 상기 제1 번역 결과 텍스트에 대해 음성 합성을 수행하는 단계
    를 포함하는 전자 장치의 동작 방법.
  8. 삭제
  9. 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  10. 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터와의 결합을 통해 실행시키기 위한 저장매체에 저장된 컴퓨터 프로그램.
KR1020200181609A 2020-12-23 2020-12-23 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법 KR102442531B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200181609A KR102442531B1 (ko) 2020-12-23 2020-12-23 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200181609A KR102442531B1 (ko) 2020-12-23 2020-12-23 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20220090759A KR20220090759A (ko) 2022-06-30
KR102442531B1 true KR102442531B1 (ko) 2022-09-13

Family

ID=82215224

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200181609A KR102442531B1 (ko) 2020-12-23 2020-12-23 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102442531B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273712B2 (ja) * 2008-08-11 2013-08-28 シャープ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200027331A (ko) * 2018-09-04 2020-03-12 엘지전자 주식회사 음성 합성 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5273712B2 (ja) * 2008-08-11 2013-08-28 シャープ株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
KR20220090759A (ko) 2022-06-30

Similar Documents

Publication Publication Date Title
KR101683943B1 (ko) 음성번역 시스템, 제1 단말장치, 음성인식 서버장치, 번역 서버장치, 및 음성합성 서버장치
JP4478939B2 (ja) 音声処理装置およびそのためのコンピュータプログラム
US8626489B2 (en) Method and apparatus for processing data
US20090012793A1 (en) Text-to-speech assist for portable communication devices
US20060229874A1 (en) Speech synthesizer, speech synthesizing method, and computer program
KR20200027331A (ko) 음성 합성 장치
TW201822190A (zh) 語音辨識系統及其方法、詞彙建立方法與電腦程式產品
US10923106B2 (en) Method for audio synthesis adapted to video characteristics
KR102442531B1 (ko) 발화자의 음성을 성별 및 시간에 따라 자동으로 통역하는 전자 장치 및 그 동작 방법
CN111898363B (zh) 文本长难句的压缩方法、装置、计算机设备及存储介质
Mukherjee et al. A Bengali speech synthesizer on Android OS
KR102464156B1 (ko) 사용자의 상태 및 상담원의 상태에 기초하여 사용자와 상담원을 매칭하는 콜센터 서비스 제공 장치, 방법 및 프로그램
JP5722375B2 (ja) 文末表現変換装置、方法、及びプログラム
KR20220104106A (ko) 음성 합성 방법, 장치, 전자 기기 및 저장 매체
KR102215581B1 (ko) 사용자의 위치 정보에 의해 자동 지정된 타겟 언어를 기반으로 번역 문장 추천 기능을 제공하는 전자 단말 장치 및 그 동작 방법
JP2019124901A (ja) 手話翻訳装置及びプログラム
JP2758851B2 (ja) 自動翻訳装置及び自動通訳装置
CN108255917A (zh) 图像管理方法、设备及电子设备
JP5103718B2 (ja) 自動翻訳システムおよび方法並びにそのプログラム
JP2002132291A (ja) 自然言語対話処理装置およびその方法並びにその記憶媒体
KR102376552B1 (ko) 음성 합성 장치 및 음성 합성 방법
KR20200004176A (ko) 선택적 음성 모델의 적용에 기초한 번역 기능을 제공하는 텍스트 음성 변환 장치 및 그 동작 방법
KR102345818B1 (ko) 텍스트 데이터로부터 타겟팅 된 품사의 단어를 통해 사고구조 마인드맵을 생성하는 방법 및 시스템
KR102500730B1 (ko) 문장의 스타일 정보를 유지하는 번역 기능을 제공하는 전자 장치 및 그 동작 방법
US12026632B2 (en) Response phrase selection device and method

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant