KR20110100649A - 음성을 합성하기 위한 방법 및 장치 - Google Patents

음성을 합성하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20110100649A
KR20110100649A KR1020117016216A KR20117016216A KR20110100649A KR 20110100649 A KR20110100649 A KR 20110100649A KR 1020117016216 A KR1020117016216 A KR 1020117016216A KR 20117016216 A KR20117016216 A KR 20117016216A KR 20110100649 A KR20110100649 A KR 20110100649A
Authority
KR
South Korea
Prior art keywords
text
text data
portions
voice
speech
Prior art date
Application number
KR1020117016216A
Other languages
English (en)
Inventor
하. 엠. 메울렌브렉스 프란치스코스 예이.
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20110100649A publication Critical patent/KR20110100649A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Machine Translation (AREA)

Abstract

텍스트 데이터의 복수의 부분들로부터의 음성을 합성하기 위한 방법 및 장치로서, 각각의 부분은 적어도 하나의 연관된 속성을 갖는다. 상기 발명은 텍스트 데이터의 부분들 각각에 대한 속성의 값을 결정하는 단계(25, 35, 45), 상기 결정된 속성 값들 각각에 기초하여 복수의 후보 보이스들로부터 보이스를 선택하는 단계(27, 37, 47), 및 상기 각각의 선택된 보이스를 이용하여 텍스트 데이터의 각각의 부분을 합성된 음성으로 변환하는 단계(29, 39, 49)에 의해 달성된다.

Description

음성을 합성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR SYNTHESIZING SPEECH}
본 발명은 음성(speech)을 합성하기 위한 방법 및 장치에 관한 것으로, 특히 텍스트 데이터의 복수의 부분들로부터의 음성을 합성하는 방법 및 장치에 관한 것이다.
음성 합성, 특히 텍스트-대-음성 변환은 당업계에 널리 공지되어 있고 예를 들어 소스 텍스트(source text)로부터 인간의 음성의 인위적인 생성을 포함한다. 이 방식에서, 텍스트는 음성으로 전환되는데, 이 음성은 문맹인 사람들이나 앞이 잘 보이지 않는 사람들에게 유용하다. 소스 텍스트의 기계 번역과 함께, 텍스트-대-음성 변환은 또한 외국어를 이용자의 모국어로 오디오 재생하는 것을 가능하게 할 수 있다.
음성으로 변환될 수 있는 텍스트의 한 형태는 자막들이다. 자막들은 텔레비전 프로그램 또는 영화와 같은 비디오 아이템의 재생 동안 디스플레이되는 텍스트 부분들이다. 자막들은 당업자에게 널리 공지되어 있는 세 유형들에 해당한다: 자막 텍스트가 종래의 방식으로 원래의 비디오 스트림(video stream)으로부터의 비디오 프레임들과 통합되어 후속 디스플레이용 최종 비디오 스트림을 생성하는 '개방형' 자막; 함께 보기 위하여 자막들이 원래의 비디오 스트림에 선택적으로 오버레이(overlay)될 수 있는 별개의 비디오 프레임들로 저장되는, '사전 렌더링(prerendering)' 자막들; 및 자막 텍스트가 마크-업된 텍스트(marked-up text)(즉, XML 또는 HTML과 같은 마크-업된 주석들을 구비한 텍스트)로 저장되고 원래의 비디오 스트림과 동기 재생할 수 있는 전용 시스템에 의해 재생되는, 예를 들어 텔레텍스트 자막들 또는 폐쇄형 캡셔닝 정보(closed captioning information)인 "패쇄형" 자막들.
텍스트의 부분이 발성되는 것인지 아니면 노래가 되고 있는 것인지, 또는 텍스트의 부분이 음성 이외의 사운드를 표현하고 있는지(예를 들어 문이 꽝 닫히거나 한숨 소리)와 같이, 뷰어에게 추가 정보를 전달하기 위해 자막 텍스트에 적용되는 다양한 심볼들 및 스타일들에 대하여 공지되어 있다. 게다가, 다양한 컬러들로 재생되어, 각각의 컬러가 주어진 화자들 또는 화자들의 그룹들을 나타내는 자막에 대해 공지되어 있다. 그러므로, 난청이 있는 사람들은 컬러를 각각의 화자와 연관시킴으로써 텔레비전 브로드캐스트 동안 화자들을 구별할 수 있다.
자막들은 또한 번역의 목적을 위해 이용될 수 있다. 예를 들어, 제 1 언어로 되어 있는 음성을 포함하는 영화가 상기 영화에 적용되는 제 2 언어의 자막들을 가짐으로써, 제 2 언어의 판독자들이 상기 영화를 이해하도록 할 수 있다. 그러나, 이 해법은 읽는데 어려움이 있는(예를 들어 시각 장애 또는 문맹에 의해) 제 2 언어의 상기 화자들에게는 불충분하다. 영화제작자들에 의해 널리 이용되는 하나의 선택사양은 배우들이 원어에 더빙하는 것을 이용하는 것인데, 이는 비용이 많이 들고 시간 소모적인 프로세스이다.
본 장치들 중 어느 것도 읽기에 어려움이 있는 이용자로 하여금 텍스트 형태로 제공되는 정보의 상이한 카테고리들을 구분하지 못하게 한다.
본 발명은 텍스트의 각각의 카테고리 또는 카테고리들의 그룹에 대한 각각의 보이스 상태인 음성 합성을 제공함으로써 이용자가 텍스트의 상이한 카테고리들을 구분할 수 있도록 의도한다.
본 발명의 제 1 양태에 따르면, 음성을 합성하는 방법이 제공되고, 상기 방법은: 텍스트 데이터의 복수의 부분들을 수신하는 단계로서, 텍스트 데이터의 각각의 부분은 자신과 연관되는 적어도 하나의 속성을 갖는, 상기 수신 단계; 텍스트 데이터의 부분들 각각에 대하여 적어도 하나의 속성의 값을 결정하는 단계; 상기 결정된 속성 값들 각각에 기초하여, 복수의 후보 보이스들로부터 보이스를 선택하는 단계; 및 상기 각각의 선택된 보이스를 이용하여 텍스트 데이터의 각각의 부분을 합성된 음성으로 변환하는 단계를 포함한다.
이 방식으로, 텍스트의 상이한 카테고리들이(예를 들어, 상이한 화자들과 관련되거나, 제목들 및 섹션 콘텐츠에 대한 섹션들의 헤딩(heading)들과 같은 정보 콘텐츠의 상이한 카테고리들과 관련되는) 서로 구분되는 것이 가능하다.
텍스트 데이터의 복수의 부분들이 폐쇄형 자막들(예를 들어 마크-업된 텍스트 데이터와 같은) 내에 포함될 수 있다. 더욱이, 텍스트 데이터의 부분들 각각에 대하여 적어도 하나의 속성의 값을 결정하는 단계는, 텍스트 데이터의 부분들 각각의 대해, 텍스트 데이터의 각각의 부분과 연관되는 폐쇄형 자막들 내에 포함되는 코드를 결정하는(예를 들어, 마크-업된 텍스트 테이터에 대한 주석들을 식별함으로써) 단계를 포함한다.
대안으로, 텍스트 데이터의 복수의 부분들을 수신하는 단계는 복수의 이미지들(예를 들어 비디오의 프레임들)에 대한 광학 문자 인식(optical character recognition: OCR) 또는 유사한 패턴 매칭(pattern matching) 기술을 실행하는 단계를 포함할 수 있고, 상기 복수의 이미지들 각각은 텍스트 데이터의 복수의 부분들을 제공하기 위해 폐쇄형 자막들, 사전 렌더링 자막들, 또는 개방형 자막들을 포함하는 텍스트 부분의 적어도 하나의 비주얼 표현을 포함한다. 더욱이, 텍스트 데이터의 복수의 부분들 중 하나의 적어도 하나의 속성은: 텍스트 부분의 비주얼 표현들 중 하나의 텍스트 특성(예를 들어, 컬러, 활자체, 폰트, 폰트 웨이트(font weight), 크기 또는 폭, 이태릭 또는 볼드와 같은 폰트 스타일 등); 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나의 위치(예를 들어, 비디오 프레임의 좌측 또는 우측으로의, 상부 또는 하부로의, 또는 이미지 내의 다른 텍스트 부분과 인접한), 또는 각각의 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나와 동시 재생하기 위한 오디오 신호의 피치(pitch)(예를 들어, 제 1 언어인 화자의 보이스의 피치로서, 제 1 언어의 텍스트 부분은 제 2 언어로의 번역문이다)를 포함할 수 있다.
후보 보이스들은 남성 및 여성 보이스들을 포함할 수 있고, 보이스들은 상이한 엑센트들 및/또는 각각의 피치들 또는 볼륨들이 상이한 보이스들을 포함한다.
보이스를 선택하는 단계는 복수의 후보 보이스들로부터 최선의(즉, 가장 적절한) 보이스를 선택하는 단계를 포함한다. 예를 들어, 텍스트 데이터의 부분과 연관되는 속성이 텍스트가 대문자 상태임을 표시하는 경우, 음성은 더 높은 볼륨으로, 또는 더 급박한 사운딩 보이스와 합성될 수 있다. 유사하게, 속성이 텍스트의 부분에 선행하는 술어의 형태(예를 들어 '[속삭임]'과 같은)이면, 음성은 더 낮은 볼륨으로 합성될 수 있다. 한편, 텍스트의 부분과 연관되는 속성이 동시 재생을 위한 오디오 신호의 볼륨 또는 피치에 대응하는 경우, 보이스는 합성된 음성의 볼륨 또는 피치가 대응하도록 선택될 수 있다. 대안으로, 적절한 보이스의 선택은, 이용자에 의해 행해질 수 있거나, 대신, 자동 선택에 의해 오버라이드(override)될 수 있다.
본 발명의 제 2 양태에 따르면, 상기 방법을 실행하기 위한 복수의 프로그램 코드 부분들을 포함하는 컴퓨터 프로그램 제품이 제공된다.
본 발명의 제 3 양태에 따르면, 텍스트 데이터의 복수의 부분들로부터 음성을 합성하기 위한 장치가 제공되고, 텍스트 데이터의 각각의 부분은 자신과 연관되는 적어도 하나의 속성을 가지며, 상기 장치는: 텍스트 데이터의 복수의 부분들 각각에 대하여 적어도 하나의 속성의 값을 결정하기 위한, 값 결정 유닛; 상기 결정된 속성 값들 각각에 기초하여, 복수의 후보 보이스들로부터 보이스를 선택하기 위한, 보이스 선택 유닛; 및 상기 각각의 선택된 보이스를 이용하여, 텍스트 데이터의 각각의 부분을 합성된 음성으로 변환하기 위한, 텍스트-대-음성 변환기를 포함한다.
상기 값 결정 유닛은 텍스트 데이터의 부분들 각각에 대해, 텍스트 데이터의 각각의 부분과 연관되고 폐쇄형 자막들 내에 포함되는 코드를 결정하기 위한 코드 결정 수단을 포함할 수 있다.
대안으로, 상기 장치는 복수의 이미지들에 대한 광학 문자 인식(OCR) 또는 유사한 패턴 매칭 기술을 실행하기 위한 텍스트 데이터 추출 유닛을 더 포함할 수 있고, 상기 복수의 이미지들 각각은 텍스트 데이터의 복수의 부분들을 제공하기 위해 폐쇄형 자막들, 사전 렌더링 자막들, 또는 개방형 자막들을 포함하는 텍스트 부분의 적어도 하나의 비주얼 표현을 포함한다. 더욱이, 텍스트 데이터의 복수의 부분들 중 하나의 적어도 하나의 속성은: 텍스트 부분의 비주얼 표현들 중 하나의 텍스트 특성(예를 들어, 컬러, 활자체, 폰트, 폰트 웨이트, 크기 또는 폭, 이태릭 또는 볼드와 같은 폰트 스타일 등); 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나의 위치; 또는 각각의 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나와 동시 재생하기 위한 오디오 신호의 피치를 포함할 수 있다.
도 1a는 본 발명의 제 1 실시예에 따른 장치를 도시한 도면.
도 1b는 본 발명의 제 2 실시예에 따른 장치를 도시한 도면.
도 1c는 본 발명의 제 3 실시예에 따른 장치를 도시한 도면.
도 2는 본 발명의 제 4 실시예에 따른 장치를 도시한 도면.
도 3a는 본 발명의 제 5 실시예에 따른 방법을 기술하는 흐름도.
도 3b는 본 발명의 제 6 실시예에 따른 방법을 기술하는 흐름도.
도 3c는 본 발명의 제 7 실시예에 따른 방법을 기술하는 흐름도.
본 발명의 더 양호한 이해를 위해, 그리고 본 발명이 어떻게 실시될 수 있는지를 더 명확하게 도시하기 위해, 예를 통해 다음의 도면들을 참조할 것이다.
도 1a를 참조하면, 본 발명의 실시예에 따른 장치(1)는 텍스트 데이터 추출 유닛(3), 값 결정 유닛(5), 보이스 선택 유닛(9), 메모리 유닛(11), 및 텍스트-대-음성 변환기(13)를 포함한다.
상기 장치(1)의 입력 단자(15)는 텍스트 데이터 추출 유닛(3)의 입력 및 값 결정 유닛(5)의 입력에 접속된다. 값 결정 유닛(5)의 출력은 보이스 선택 유닛(9)의 입력에 접속된다. 보이스 선택 유닛(9) 및 메모리 유닛(11)은 서로 동작 가능하게 결합된다. 텍스트 데이터 추출 유닛(3) 및 보이스 선택 유닛(9)의 출력들은 텍스트-대-음성 변환기(13)의 입력들에 접속된다. 텍스트-대-음성 변환기(13)의 출력은 장치(1)의 출력 단자(17)에 접속된다.
동작 시에, 텍스트 데이터 추출 유닛(3)은 입력 단자(15)를 통해 데이터를 수신한다. 텍스트 데이터 추출 유닛(3)은 텍스트의 부분을 추출하기 위해 수신된 데이터를 프로세싱하고나서 프로세싱된 데이터가 텍스트-대-음성 변환기(13)로 전달되도록 구성된다. 예를 들어, 데이터가 오디오-비주얼 또는 비디오 스트림(이로부터 텍스트 부분의 비주얼 표현을 포함하는 이미지가 취해진다), 또는 단지 텍스트 부분의 비주얼 표현을 포함하는 이미지인 경우, 텍스트 데이터 추출 유닛(3)은 이미지에 대한 광학 문자 인식을 실행하여 텍스트의 부분을 추출하고나서 추출된 부분이 텍스트-대-음성 변환기(13)로 전달되도록 구성된다. 대안으로 또는 추가로, 데이터는 주석들을 갖는 마크-업된 텍스트의 형태인 경우, 텍스트 추출 유닛(3)은 주석이 있는(마크-업된) 텍스트로부터 텍스트를 추출하고나서, 이 텍스트의 부분을 텍스트-대-음성 변환기(13)로 전달하도록 구성된다.
값 결정 유닛(5)은 또한 입력 단자(15)를 통해 데이터를 직접적으로 수신하도록 구성된다. 값 결정 유닛(5)은 입력 단자(15)로부터의 데이터에 기초하여, 텍스트의 추출된 부분의 적어도 하나의 속성의 값을 결정하도록 구성된다. 예를 들어, 데이터가 오디오-비주얼 또는 비디오 스트림(이로부터 텍스트 부분의 비주얼 표현을 포함하는 이미지가 취해진다), 또는 단지 텍스트 부분의 비주얼 표현을 포함하는 이미지인 경우, 값 결정 유닛(5)은 이미지 내의 텍스트 특성을 식별하고, 값을 상기 텍스트 특성에 할당하도록 구성된다. 상기 데이터가 오디오-비주얼 스트림인 경우, 값 결정 유닛(5)은 오디오-비주얼 스트림의 오디오 성분의 피치를 식별하고, 피치와 연관되는 값을 선택하도록 구성된다. 데이터가 주석으로 마크-업된 텍스트의 형태라면, 값 결정 유닛(5)은 특정 주석을 식별하고, 값을 상기 주석에 할당하도록 구성된다. 그 후에 이 값은 보이스 선택 유닛(9)으로 송신된다.
보이스 선택 유닛(9)은 상기 값에 기초하여, 메모리 유닛(11) 내에 저장된 복수의 후보 보이스들로부터 보이스를 선택한다. 텍스트-대-음성 변환기(13)는 텍스트 데이터 추출 유닛(3)에 의해 자신에게 전달된 텍스트의 부분을 선택된 보이스를 이용하여 음성으로 변환하도록 표준 기술들을 채용해서, 상기 음성은 출력 단자(17)에서 출력된다.
도 1b는 도 1a의 장치(1)와 유사한 본 발명의 실시예에 따른 장치(1')를 도시한다. 장치(1')는 텍스트 데이터 추출 유닛(3'), 값 결정 유닛(5'), 보이스 선택 유닛(9), 메모리 유닛(11), 및 텍스트-대-음성 변환기(13)를 갖는다.
장치(1')의 입력 단자(15)는 텍스트 데이터 추출 유닛(3')의 입력에 접속된다. 텍스트 데이터 추출 유닛(3')의 하나의 출력은 값 결정 유닛(5')의 입력에 접속된다. 값 결정 유닛(5')의 출력은 보이스 선택 유닛(9)의 입력에 접속된다. 보이스 선택 유닛(9) 및 메모리 유닛(11)은 서로 동작가능하게 결합된다. 텍스트 데이터 추출 유닛(3')의 제 2 출력 및 보이스 선택 유닛(9)의 출력은 텍스트-대-음성 변환기(13)의 입력들에 접속된다. 텍스트-대-음성 변환기(13)의 출력은 장치(1')의 출력 단자(17)에 접속된다.
동작 시에, 텍스트 데이터 추출 유닛(3')은 입력 단자(15)를 통해 데이터를 수신한다. 텍스트 데이터 추출 유닛(3')은 텍스트의 부분을 추출하기 위해 수신된 데이터를 프로세싱하여 추출된 부분이 텍스트-대-음성 변환기(13)로 전달되도록 구성된다. 텍스트 데이터 추출 유닛(3')은 또한 텍스트의 부분과 연관되는 속성을 식별하고나서, 상기 속성이 값 결정 유닛(5')으로 전달되도록 구성된다. 예를 들어, 데이터가 오디오-비주얼 또는 비디오 스트림(이로부터 텍스트 부분의 비주얼 표현을 포함하는 이미지가 취해진다), 또는 단지 텍스트 부분의 비주얼 표현을 포함하는 이미지인 경우, 텍스트 데이터 추출 유닛(3')은 이미지에 대한 광학 문자 인식을 실행하여 텍스트의 부분을 추출하고나서, 추출된 부분이 텍스트-대-음성 변환기(13)로 전달되도록 구성된다. 텍스트 데이터 추출 유닛(3')은 추가적으로 이미지 내의 텍스트의 텍스트 특성, 이미지 내의 텍스트의 위치, 또는 이미지를 수반하는 오디오-비주얼 스트림의 오디오 성분과 같이, 광학 문자 인식을 통해 획득되는 텍스트와 연관되는 속성을 식별하고나서, 이 속성을 값 결정 유닛(5')으로 전달하도록 구성된다.
대안으로 또는 추가로, 데이터가 주석들을 갖는 마크-업된 텍스트의 형태인 경우, 텍스트 추출 유닛(3')은 주석이 있는(마크-업된) 텍스트로부터 텍스트를 추출하고나서, 이 텍스트의 부분을 텍스트-대-음성 변환기(13)로 전달하도록 구성된다. 텍스트 데이터 추출 유닛(3')은 추출을 통해 획득된 데이터와 연관된 주석을 식별하고 이 주석을 값 결정 유닛(5')으로 전달하도록 구성된다.
값 결정 유닛(5')은 텍스트 추출 유닛(3')에 의해 자신에게 전달된 속성의 값을 결정하도록 구성된다.
보이스 선택 유닛(9)은 상기 값에 기초하여, 메모리 유닛(11) 내에 저장된 복수의 후보 보이스들로부터 보이스를 선택한다. 텍스트-대-음성 변환기(13)는 이 음성을 이용하여, 텍스트 데이터 추출 유닛(3)에 의해 자신에게 전달된 텍스트의 부분을 음성으로 변환하고나서 출력 단자(17)에서 출력한다.
상기 두 실시예들에 대한 다양한 변형들 및 결합들이 예상된다. 예를 들어, 도 1c는 텍스트 데이터 추출 유닛(3''), 값 결정 유닛(5''), 보이스 선택 유닛(9), 메모리 유닛(11), 및 텍스트-대-음성 변환기(13)를 포함하는 본 발명의 실시예에 따른 장치(1'')를 도시한다.
장치(1'')의 입력 단자(15)는 텍스트 데이터 추출 유닛(3'')의 입력 및 값 결정 유닛(3'')의 하나의 입력에 접속된다. 텍스트 데이터 추출 유닛(3'')의 하나의 출력은 값 결정 유닛(5'')의 제 2 입력에 접속된다. 값 결정 유닛(5'')의 출력은 보이스 선택 유닛(9)의 입력에 접속된다. 보이스 선택 유닛(9) 및 메모리 유닛(11)은 서로 동작가능하게 결합된다. 텍스트 데이터 추출 유닛(3'')의 제 2 출력 및 보이스 선택 유닛(9)의 출력은 텍스트-대-음성 변환기(13)의 입력들에 접속된다. 텍스트-대-음성 변환기(13)의 출력은 장치(1'')의 출력 단자(17)에 접속된다.
이 실시예에서, 텍스트 데이터 추출 유닛(3'') 및 값 결정 유닛(5'')은 이용자 선호도 또는 입력(15)을 통해 수신되는 데이터의 형태에 따라, 도 1a 또는 도 1b의 장치들 중 어느 하나로 작동하도록 구성된다.
도 2는 값 결정 유닛(5), 보이스 선택 유닛(9), 메모리 유닛(11), 및 텍스트-대-음성 변환기(19)를 갖는 장치(2)의 형태인 본 발명의 추가 대안의 실시예를 도시한다.
장치(2)의 입력 단자(15)는 텍스트-대-음성 변환기(19)의 제 1 입력 및 값 결정 유닛(5)의 입력에 접속된다. 값 결정 유닛(5)의 출력은 보이스 선택 유닛(9)의 입력에 접속된다. 보이스 선택 유닛(9) 및 메모리 유닛(11)은 서로 동작가능하게 결합된다. 보이스 선택 유닛(9)의 출력은 텍스트-대-음성 변환기(19)의 제 2 입력에 접속된다. 텍스트-대-음성 변환기(19)의 출력은 장치(2)의 출력 단자(17)에 접속된다.
동작 시에, 텍스트-대-음성 변환기(19)는 입력(15)을 통해 수신되는 데이터를 직접적으로 해석하도록 구성됨으로써, 텍스트 추출 유닛에 대한 필요성을 방지한다.
도면들에 도시되지 않을지라도, 본 발명의 다양한 실시예들은 장치 및 이용자의 상호작용을 위한 이용자 인터페이스 디바이스를 더 포함한다. 그와 같은 상호 작용은, 값 결정 유닛의 소정의 출력을 위해, 메모리 유닛(11) 내에 저장되는 복수의 후보 보이스들로부터 최선의(즉, 가장 적절한) 보이스를 선택하기 위하여 보이스 선택 유닛(9)을 조작하는 것을 포함한다. 대안으로, 최선의 보이스의 선택은 값 결정 유닛의 출력에 기초하여, 보이스 선택 유닛에 의해 자동으로 달성될 수 있다.
본 발명의 실시예에 따른, 음성을 합성하는 하나의 예시적인 방법은 도 3a의 흐름도에 도시된다. 21에서, 주석들로 마크-업된 텍스트의 부분이 수신된다. 23에서, 마크-업된 텍스트의 부분과 연관되는 주석이 식별된다. 25에서, 주석의 값이 결정된다. 27에서, 상기 값에 기초하여 복수의 후보 보이스들로부터 보이스가 선택된다. 28에서, 마크-업된 텍스트의 부분으로부터 평문의 텍스트가 추출되어 평문 텍스트의 부분이 생성된다. 29에서, 평문 텍스트의 부분은 선택된 보이스를 이용하여 합성된 음성으로 변환된다. 그리고나서 상기 단계들은 마크-업된 텍스트와 연관되는 상이한 값의 주석을 갖는, 마크-업된 텍스트의 새로운 부분에 대해 반복된다.
본 발명의 실시예에 따른, 음성을 합성하는 다른 예시적인 방법이 도 3b에 도시된다. 31에서, 텍스트 데이터의 부분 및 연관된 속성을 제공하도록 광학 문자 인식이 비디오의 프레임에 대해 실행된다. 36에서, 속성의 값이 결정된다. 37에서, 상기 값에 기초하여, 복수의 후보 보이스들로부터 보이스가 선택된다. 단계 39에서, 텍스트 데이터의 부분은 선택된 보이스를 이용하여 합성된 음성으로 변환된다. 그 후에 상기 단계들을 새로운 비디오 프레임에 대해 반복된다.
본 발명의 실시예에 따른, 부가의 예시적인 음성을 합성하는 방법이 도 3c에 도시된다. 41에서, 텍스트 데이터의 부분을 제공하기 위해, 오디오-비주얼 스트림의 비디오 성분의 이미지에 광학 문자 인식을 실행한다. 45에서, 프레임과의 동시 재생을 위해, 오디오-비주얼 스트림의 오디오 성분의 각각의 피치가 결정된다. 47에서, 결정된 피치에 기초하여, 복수의 후보 보이스들로부터 보이스가 선택된다. 49에서, 텍스트 데이터의 부분은 선택된 보이스를 이용하여 합성된 음성으로 변환된다. 그 후에, 상기 단계들은 새로운 이미지 및 연관된 오디오 성분에 대해 반복된다.
본 발명의 실시예들이 첨부 도면들에 도시되고 상기의 상세한 설명들에 기술되었을지라도, 본 발명은 개시된 실시예들로 제한되지 않고, 다음의 청구항들에서 진술되는 바와 같이 본 발명의 범위를 벗어나지 않고 많은 수정들이 가능하다는 것이 이해될 것이다.
당업자들에게 명확한 바와 같이, "수단"은, 단독으로 또는 다른 기능들과 함께, 독자적으로 또는 다른 요소들과 협력하도록, 동작 시에 재생되거나 특정한 기능을 재생하도록 설계된 임의의 하드웨어(별도의 회로들 또는 집적 회로들 또는 전자 부품들) 또는 소프트웨어(프로그램들 또는 프로그램들의 일부)를 포함하는 것이 의도된다. 본 발명은 여러 개별 요소들을 포함하는 하드웨어에 의해, 그리고 적절하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단들을 열거하는 장치 청구항에서, 이 수단들 중 몇몇 수단은 하나의 그리고 동일한 아이템의 하드웨어에 의해 구현될 수 있다. "컴퓨터 프로그램 제품"은 플로피 디스크와 같은 컴퓨터-판독 가능 매체 상에 저장되거나, 인터넷과 같은 네트워크를 통해 다운로딩 가능하거나, 또는 임의의 다른 방식으로 시장 구입 가능한 임의의 소프트웨어 제품을 의미하는 것이 이해되어야 한다.
1, 1', 1'', 2 : 장치 3 , 3', 3'': 텍스트 데이터 추출 유닛
5 , 5' : 값 결정 유닛 13 : 텍스트-대-음성 변환기

Claims (15)

  1. 음성을 합성하는 방법에 있어서:
    텍스트 데이터의 복수의 부분들을 수신하는 단계로서, 텍스트 데이터의 각각의 부분은 자신과 연관되는 적어도 하나의 속성을 갖는, 상기 수신 단계(21, 31, 41);
    상기 텍스트 데이터의 부분들 각각에 대하여 적어도 하나의 속성의 값을 결정하는 단계(25, 35, 45);
    상기 결정된 속성 값들 각각에 기초하여, 복수의 후보 보이스들로부터 보이스를 선택하는 단계(27, 37, 47); 및
    상기 각각의 선택된 보이스를 이용하여 텍스트 데이터의 각각의 부분을 합성된 음성으로 변환하는 단계(29, 39, 49)를 포함하는, 음성 합성 방법.
  2. 제 1 항에 있어서, 텍스트 데이터의 복수의 부분들을 수신하는 단계(21, 31, 41)는 텍스트 데이터의 복수의 부분들을 포함하는 폐쇄형 자막들을 수신하는 단계(21)를 포함하는, 음성 합성 방법.
  3. 제 2 항에 있어서, 텍스트 데이터의 부분들 각각에 대하여 적어도 하나의 속성의 값을 결정하는 단계(25, 35, 45)는, 텍스트 데이터의 부분들 각각의 대해, 상기 텍스트 데이터의 각각의 부분과 연관되는 폐쇄형 자막들 내에 포함되는 코드를 결정하는 단계(25)를 포함하는, 음성 합성 방법.
  4. 제 1 항에 있어서, 텍스트 데이터의 복수의 부분들을 수신하는 단계(21, 31, 41)는 복수의 이미지들에 대한 광학 문자 인식(optical character recognition: OCR) 또는 유사한 패턴 매칭(pattern matching) 기술을 실행하는 단계(31, 41)를 포함할 수 있고, 상기 복수의 이미지들 각각은 텍스트 데이터의 복수의 부분들을 제공하기 위해 폐쇄형 자막들, 사전 렌더링 자막들, 또는 개방형 자막들을 포함하는 텍스트 부분의 적어도 하나의 비주얼 표현을 포함하는, 음성 합성 방법.
  5. 제 4 항에 있어서, 텍스트 데이터의 복수의 부분들 중 하나의 적어도 하나의 속성은: 텍스트 부분의 비주얼 표현들 중 하나의 텍스트 특성;
    상기 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나의 위치; 또는
    각각의 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나와 동시 재생하기 위한 오디오 신호의 피치(pitch)를 포함하는, 음성 합성 방법.
  6. 제 1 항에 있어서, 상기 후보 보이스들은 상기 남성 및 여성 보이스들 및/또는 각각의 볼륨들이 상이한 보이스들을 포함하는, 음성 합성 방법.
  7. 제 1 항에 있어서, 보이스를 선택하는 단계는 복수의 후보 보이스들로부터 최선의 보이스를 선택하는 단계를 포함하는, 음성 합성 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 따른 방법을 실행하기 위한 복수의 프로그램 코드 부분들을 포함하는, 컴퓨터 프로그램 제품.
  9. 텍스트 데이터의 복수의 부분들로부터 음성을 합성하기 위한 장치(1, 1', 1'', 2)로서, 텍스트 데이터의 각각의 부분은 자신과 연관되는 적어도 하나의 속성을 가지는, 음성을 합성하기 위한 장치에 있어서:
    텍스트 데이터의 복수의 부분들 각각에 대하여 적어도 하나의 속성의 값을 결정하기 위한, 값 결정 유닛(5, 5', 5'');
    상기 결정된 속성 값들 각각에 기초하여, 복수의 후보 보이스들로부터 보이스를 선택하기 위한, 보이스 선택 유닛(9); 및
    상기 각각의 선택된 보이스를 이용하여, 텍스트 데이터의 각각의 부분을 합성된 음성으로 변환하기 위한, 텍스트-대-음성 변환기(13, 19)를 포함하는, 음성 합성 장치(1, 1', 1'', 2).
  10. 제 9 항에 있어서, 상기 값 결정 유닛(5, 5', 5'')은 텍스트 데이터의 부분들 각각에 대해, 상기 텍스트 데이터의 각각의 부분과 연관되고 폐쇄형 자막들 내에 포함되는 코드를 결정하기 위한 코드 결정 수단을 포함하는, 음성 합성 장치(1, 1', 1'', 2).
  11. 제 9 항에 있어서, 복수의 이미지들에 대한 광학 문자 인식(OCR) 또는 유사한 패턴 매칭 기술을 실행하기 위한 텍스트 데이터 추출 유닛(3, 3', 3'')을 더 포함하고, 상기 복수의 이미지들 각각은 텍스트 데이터의 복수의 부분들을 제공하기 위해 폐쇄형 자막들, 사전 렌더링 자막들, 또는 개방형 자막들을 포함하는 텍스트 부분의 적어도 하나의 비주얼 표현을 포함하는, 음성 합성 장치(1, 1', 1'', 2).
  12. 제 11 항에 있어서, 텍스트 데이터의 복수의 부분들 중 하나의 적어도 하나의 속성은:
    텍스트 부분의 비주얼 표현들 중 하나의 텍스트 특성;
    이미지 내의 텍스트 부분의 비주얼 표현들 중 하나의 위치; 또는
    각각의 이미지 내의 텍스트 부분의 비주얼 표현들 중 하나와 동시 재생하기 위한 오디오 신호의 피치를 포함하는, 음성 합성 장치(1, 1', 1'', 2).
  13. 제 9 항에 있어서, 상기 후보 보이스들은 남성 및 여성 보이스들 및/또는 각각의 볼륨들이 상이한 보이스들을 포함하는, 음성 합성 장치(1, 1', 1'', 2).
  14. 제 9 항에 있어서, 상기 보이스 선택 유닛(9)은, 상기 결정된 속성 값들 각각에 기초하여, 복수의 후보 보이스들로부터 최선의 보이스를 선택하기 위한 것인, 음성 합성 장치(1, 1', 1'', 2).
  15. 제 9 항 내지 제 13 항 중 어느 한 항의 장치(1, 1', 1'', 2)를 포함하는, 오디오 비주얼 디스플레이 디바이스.
KR1020117016216A 2008-12-15 2009-12-07 음성을 합성하기 위한 방법 및 장치 KR20110100649A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP08171611.0 2008-12-15
EP08171611 2008-12-15

Publications (1)

Publication Number Publication Date
KR20110100649A true KR20110100649A (ko) 2011-09-14

Family

ID=41692960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117016216A KR20110100649A (ko) 2008-12-15 2009-12-07 음성을 합성하기 위한 방법 및 장치

Country Status (8)

Country Link
US (1) US20110243447A1 (ko)
EP (1) EP2377122A1 (ko)
JP (1) JP2012512424A (ko)
KR (1) KR20110100649A (ko)
CN (1) CN102246225B (ko)
BR (1) BRPI0917739A2 (ko)
RU (1) RU2011129330A (ko)
WO (1) WO2010070519A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5104709B2 (ja) * 2008-10-10 2012-12-19 ソニー株式会社 情報処理装置、プログラム、および情報処理方法
US20130124242A1 (en) * 2009-01-28 2013-05-16 Adobe Systems Incorporated Video review workflow process
CN102984496B (zh) * 2012-12-21 2015-08-19 华为技术有限公司 视频会议中的视音频信息的处理方法、装置及系统
US9552807B2 (en) * 2013-03-11 2017-01-24 Video Dubber Ltd. Method, apparatus and system for regenerating voice intonation in automatically dubbed videos
KR102299764B1 (ko) * 2014-11-28 2021-09-09 삼성전자주식회사 전자장치, 서버 및 음성출력 방법
KR20190056119A (ko) * 2017-11-16 2019-05-24 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11386901B2 (en) 2019-03-29 2022-07-12 Sony Interactive Entertainment Inc. Audio confirmation system, audio confirmation method, and program via speech and text comparison

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7181692B2 (en) * 1994-07-22 2007-02-20 Siegel Steven H Method for the auditory navigation of text
US5924068A (en) * 1997-02-04 1999-07-13 Matsushita Electric Industrial Co. Ltd. Electronic news reception apparatus that selectively retains sections and searches by keyword or index for text to speech conversion
JP2000092460A (ja) * 1998-09-08 2000-03-31 Nec Corp 字幕・音声データ翻訳装置および字幕・音声データ翻訳方法
JP2002007396A (ja) * 2000-06-21 2002-01-11 Nippon Hoso Kyokai <Nhk> 音声多言語化装置および音声を多言語化するプログラムを記録した媒体
US6963839B1 (en) * 2000-11-03 2005-11-08 At&T Corp. System and method of controlling sound in a multi-media communication application
US6792407B2 (en) * 2001-03-30 2004-09-14 Matsushita Electric Industrial Co., Ltd. Text selection and recording by feedback and adaptation for development of personalized text-to-speech systems
JP3953886B2 (ja) * 2002-05-16 2007-08-08 セイコーエプソン株式会社 字幕抽出装置
JP2004140583A (ja) * 2002-10-17 2004-05-13 Matsushita Electric Ind Co Ltd 情報提示装置
WO2005106846A2 (en) * 2004-04-28 2005-11-10 Otodio Limited Conversion of a text document in text-to-speech data
ATE362164T1 (de) * 2005-03-16 2007-06-15 Research In Motion Ltd Verfahren und system zur personalisierung von text-zu-sprache umsetzung
US8015009B2 (en) * 2005-05-04 2011-09-06 Joel Jay Harband Speech derived from text in computer presentation applications
RU2007146365A (ru) * 2005-05-31 2009-07-20 Конинклейке Филипс Электроникс Н.В. (De) Способ и устройство для выполнения автоматического дублирования мультимедийного сигнала
US20070174396A1 (en) * 2006-01-24 2007-07-26 Cisco Technology, Inc. Email text-to-speech conversion in sender's voice
US9087507B2 (en) * 2006-09-15 2015-07-21 Yahoo! Inc. Aural skimming and scrolling

Also Published As

Publication number Publication date
CN102246225A (zh) 2011-11-16
US20110243447A1 (en) 2011-10-06
EP2377122A1 (en) 2011-10-19
CN102246225B (zh) 2013-03-27
BRPI0917739A2 (pt) 2016-02-16
JP2012512424A (ja) 2012-05-31
WO2010070519A1 (en) 2010-06-24
RU2011129330A (ru) 2013-01-27

Similar Documents

Publication Publication Date Title
JP4430036B2 (ja) 拡張型字幕ファイルを用いて付加情報を提供する装置及び方法
US8645121B2 (en) Language translation of visual and audio input
US9552807B2 (en) Method, apparatus and system for regenerating voice intonation in automatically dubbed videos
KR20110100649A (ko) 음성을 합성하기 위한 방법 및 장치
US20120196260A1 (en) Electronic Comic (E-Comic) Metadata Processing
EP2816559A2 (en) Translation system comprising display apparatus and server and control method thereof
US8611724B2 (en) Computer readable medium, information processing apparatus and method for processing moving image and sound
JP2011250100A (ja) 画像処理装置および方法、並びにプログラム
JP6641045B1 (ja) コンテンツ生成システム、及びコンテンツ生成方法
KR102136059B1 (ko) 그래픽 객체를 이용한 자막 생성 시스템
US9666211B2 (en) Information processing apparatus, information processing method, display control apparatus, and display control method
JP2004343488A (ja) 字幕挿入方法、字幕挿入システム、および字幕挿入プログラム
CN117596433B (zh) 一种基于时间轴微调的国际中文教学视听课件编辑系统
WO2015019774A1 (ja) データ生成装置、データ生成方法、翻訳処理装置、プログラム、およびデータ
US8553855B2 (en) Conference support apparatus and conference support method
KR101990019B1 (ko) 하이브리드 자막 효과 구현 단말 및 방법
JP4496358B2 (ja) オープンキャプションに対する字幕表示制御方法
JP4210723B2 (ja) 自動字幕番組制作システム
US11948555B2 (en) Method and system for content internationalization and localization
KR102463283B1 (ko) 청각 장애인 및 비장애인 겸용 영상 콘텐츠 자동 번역 시스템
JP2013201505A (ja) テレビ会議システム及び多地点接続装置並びにコンピュータプログラム
JP2002197488A (ja) リップシンクデータ生成装置並びに方法、情報記憶媒体、及び情報記憶媒体の製造方法
KR20170052084A (ko) 외국어 말하기 학습 장치 및 방법
WO2024034401A1 (ja) 映像編集装置、映像編集プログラム、及び映像編集方法
CN118733798A (zh) 产品的说明附件的展示方法及装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid