RU2606312C2 - Устройство синтеза речи - Google Patents
Устройство синтеза речи Download PDFInfo
- Publication number
- RU2606312C2 RU2606312C2 RU2014148001A RU2014148001A RU2606312C2 RU 2606312 C2 RU2606312 C2 RU 2606312C2 RU 2014148001 A RU2014148001 A RU 2014148001A RU 2014148001 A RU2014148001 A RU 2014148001A RU 2606312 C2 RU2606312 C2 RU 2606312C2
- Authority
- RU
- Russia
- Prior art keywords
- parameters
- unit
- speech
- generating
- speaker
- Prior art date
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 24
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 19
- 230000003304 psychophysiological effect Effects 0.000 claims abstract description 10
- 230000005236 sound signal Effects 0.000 claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 6
- 230000033764 rhythmic process Effects 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract 1
- 230000002996 emotional effect Effects 0.000 abstract 1
- 238000000926 separation method Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000000034 method Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 5
- 238000013518 transcription Methods 0.000 description 5
- 230000035897 transcription Effects 0.000 description 5
- 238000004040 coloring Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Circuits Of Receivers In General (AREA)
Abstract
Изобретение направлено на формирование речевого сигнала с заданными характеристиками. Технический результат заключается в повышении естественности, разборчивости речи и ее эмоциональной окраски при генерации речевого сигнала при уменьшении вычислительной сложности за счет усовершенствования структуры элементов системы синтеза речи и разделения используемых баз данных. Устройство синтеза речи на основе текста, содержит блок, принимающий текстовую строку и формирующий из нее последовательность идентификаторов звуковых единиц, подаваемую в блок формирования звукового сигнала, а затем в блок воспроизведения. В блок формирования звукового сигнала параллельно подаются дополнительные команды управления, вырабатываемые из сформированной последовательности идентификаторов звуковых единиц блоком формирования управляющих команд, зависящих от языка, блоком формирования управляющих команд, зависящих от моделируемых параметров диктора, а именно параметров голоса и/или его физических и физиологических параметров, и блоком формирования управляющих параметров окраса голоса, настроенных на определенное психофизиологическое состояние, предназначенных для формирования управляющих параметров для коррекции интенсивности речевого сигнала. 1 з.п. ф-лы, 1 ил.
Description
Изобретение относится к речевой информатике и приборостроению для синтеза речи по печатному тексту для вывода из ЭВМ.
Известным способом синтезирования речи по печатному тексту является компиляционный синтез речи. Синтез речи по этому способу обеспечивается путем компиляции фрагментов заранее записанных речевых сигналов, их обработки и последовательного воспроизведения [1, 2, 3].
Недостатками этого способа является необходимость хранения участков речевых сегментов в виде базы данных, сложность «стыкования» различных речевых участков при коартикуляции звуков речи, а также значительная трудоемкость при изменении параметров голоса. Как правило, для этого требуется новая база данных речевых сегментов.
Известен способ синтеза речи [4], ориентированный на повышение естественности, разборчивости речи при генерации речевого сигнала при уменьшении вычислительной сложности за счет усовершенствования структуры элементов системы синтеза речи и разделения используемых баз данных, являющийся аналогом данного патента. Недостатком данного способа является необходимость хранения в базе данных диктора нескольких вариантов его психофизиологического состояния, которые существенно влияют на окрас речевого сигнала.
Известен способ синтеза речи [5] с улучшением качества синтезируемой речи за счет точной передачи интонации. Технический результат в данном способе достигается тем, что выделяют в тексте, по меньшей мере, одну часть, определяют интонацию каждой части, ставят в соответствие каждой части целевые речевые звуки, определяют физические параметры целевых речевых звуков, находят в речевой базе речевые звуки, наиболее близкие по физическим параметрам к целевым речевым звукам, синтезируют речь в виде последовательности из найденных речевых звуков, причем физические параметры указанных целевых речевых звуков определяют в соответствии с определенной интонацией. Недостатком данного способа является необходимость хранения значительных объемов информации по каждому аллофону и необходимость поиска по данной базе данных, а также сложность психофизиологической окраски голоса.
Известен способ автоматизированной обработки текста и компьютерное устройство для реализации этого способа [6]. Техническим результатом данного способа является повышение качества, увеличение скорости обработки и уменьшение количества информационных ресурсов. Указанный результат достигается тем, что способ включает в себя объединение слов в синтагмы с простановкой символов пауз в конце синтагм с последующим транскрибированием синтагм для получения идеальных транскрипций синтагм в терминах фонем и аллофонов. Затем дополнительно формируют базу данных эталонных аллофонов, сравнивают совпадение аллофонов идеальных транскрипций синтагм с эталонными аллофонами и исключают аллофоны идеальных транскрипций синтагм, не совпадающие с эталонными аллофонами. По аллофонам идеальных транскрипций синтагм, совпадающим с эталонными аллофонами, формируют сбалансированные синтагмы текста - имеющие наибольшее число совпадений аллофонов идеальных транскрипций синтагм с эталонными аллофонами. Недостатком данного способа является сложность модификации идеальных аллофонов для формирования психофизиологической окраски голоса, а также необходимость хранения излишней информации об аллофонах.
Известно устройство [7], которое осуществляет ввод теста в текстовый процессор, соединенный с устройствами выбора «мультиволн», которые вместе формируют речевой сигнал. Достоинством данного способа является относительно небольшое количество речевых сегментов («мультиволн», звуковых волн), т.е. база данных значительно меньше по сравнению с базой данной, используемой при компилятивном синтезе. Недостатком мультиволнового синтеза является значительная вычислительная сложность при получении итогового речевого сигнала, возникающая при обработке получающегося речевого сигнала.
Русская речь имеет широкий диапазон изменений по просодической и артикуляционной составляющей, что не позволяет использовать в полной мере способы и устройства синтеза иноязычной речи. Получающая речь при использовании этих способов и устройств, как правило, является неестественной, либо существенно ограничена в вариативности произносимого голоса. Кроме того, как правило, разработчики систем не учитывают вариативность психофизиологической окраски голоса. Необходимо разработать такое устройство, которое при функционировании учитывало бы орфоэпические особенности русского языка, с одной стороны, и, с другой стороны, позволяло моделировать произношение конкретного диктора, и имело бы возможность психофизиологической окраски речи, генерируемой ЭВМ.
Известно [7, 8, 9], что качество синтезирования речи по печатному тексту может быть улучшено за счет изменения структуры системы синтеза речи.
Цель изобретения - повышение естественности и разборчивости речи, обусловленной увеличением вариативности темпа, тембра, психофизиологической окраски и других особенностей синтезируемого речевого сигнала, при уменьшении вычислительной сложности за счет усовершенствования структуры элементов устройства синтеза речи по печатному тексту и разделения используемых баз данных и параметров процесса генерации речи.
Это достигается тем, что в предлагаемом устройстве производят раздельное формирование управляющих сигналов для блока формирования звукового сигнала. При этом один из блоков учитывает особенности языка и, по сути, является формирователем основы речевого сигнала, а два остальных используются для формирования коррекционных команд над результатом работы первого блока и основываются на принятой модели диктора.
Сущность предлагаемого устройства представлена на Фиг. Устройство состоит из следующих блоков: 1 - текстовый процессор; 2 - блок формирования последовательности акустических единиц, зависящих от языка; 3 - блок формирования управляющих команд, зависящих от моделируемого диктора; 4 - блок формирования управляемых параметров окраса голоса, зависящих от необходимого психофизиологического окраса речевого сигнала; 5 - блок формирования звукового сигнала; 6 - блок воспроизведения.
Текстовый процессор (1) осуществляет функции нормализации текста, фонетического транскрибирования, разметки длительностей и фразовых ударений. Блок (2) формирования последовательности акустических единиц, зависящих от языка, выбирает базовые акустические сегменты, которые являются базовыми для речевого сигнала. Блок (3) формирования управляющих команд, зависящих от моделируемого диктора, формирует команды управления, которые будут корректировать звуковые единицы в соответствии с моделью диктора. Блок (4) формирования управляемых параметров окраса голоса, настроенных на определенное психофизиологическое состояние (гнев, радость, счастье, удивление, спокойствие и др.), формирует управляемые параметры для коррекции генерируемого речевого сигнала. Блок формирования звукового сигнала (5) выполняет операции формирования элементов управления параметрами воспроизведения в зависимости от способа синтеза (компилятивный, артикуляционный, фонемный), действия проводятся на последовательности акустических сегментов по командам, зависящим от диктора и последовательности идентификаторов звуковых единиц в соответствии с параметрами окраса голоса. Блок воспроизведения (6) воспроизводит синтезированную речь.
Предлагаемое устройство работает следующим образом. Информация после текстового процессора (1), освобожденная от цифр и знаков пунктуации, представляет собой последовательность идентификаторов звуковых единиц. Эта последовательность поступает на вход блока (2) формирования управляющих команд, зависящих от языка. Этот блок выбирает звуковые единицы акустических сегментов (или их аналогов - мультиволн, аллофонов, фонем, дифонов и пр.) из базы данных (2.А), соответствующие заданном языку и его особенностям: коэффициенты длительностей, мощностей звуков, а также интонационным параметрам. Одновременно с этим последовательность идентификаторов звуковых единиц поступает на вход блока (3) формирования управляющих команд, зависящих от моделируемого диктора. Этот блок выбирает параметры управления из базы данных (3.Р), соответствующие заданным параметрам голоса: полу диктора, высоте, темпу, ритму, мощности, индивидуальной ритмомелодической картине (в том числе при артикуляционном синтезе - физические и физиологические параметры диктора). В это же время в блоке (4) по поступающей последовательности идентификаторов звуковых единиц формируются параметры генерации (коррекции) речевого сигнала для его психофизиологического окраса путем выбора корректирующих параметров из базы данных (4.А). Последовательность идентификаторов звуковых единиц с блока (1) вместе со звуковыми единицами акустических сегментов с блока (2), управляющей информацией, полученной с блока (3), и параметрами окраса речевого сигнала (4) подаются на блок формирования звукового сигнала (5), где формируется итоговая сборка звукового сигнала по результатам работы блока (2) и коррекцией по результатам работы блоков (3) и (4), который поступает на блок воспроизведения (6).
Таким образом, при разделении баз данных и блоков управления по языку и диктору позволяет расширить диапазон изменения параметров синтезируемого речевого сигнала при одновременном сокращении количества вычислительных операций.
Использованные источники информации
1. Способ компиляционного фонемного синтеза русской речи и устройство для его реализации. Алперин Е.Д., Кнох В.Я. Патент RU 2298234, G10L 13/08, заявл. 21.07.2005, опубл. 27.04.2007.
2. Преобразование буквы в звук для синтезированного произношения сегмента текста. Чэнь Гуй-Линь, Хуан Цзянь-Чэн. Заявка на изобретение RU 2006114705, G10L 13/08, заявл. 17.09.2004, опубл. 10.11.2007.
3. Способ компиляционного фонемного синтеза русской речи и устройство для его реализации. Алперин Е.Д., Кнох В.Я. Заявка на изобретение RU 2005123222, G10L 15/00, заявл. 21.07.2005, опубл. 27.01.2007.
4. Способ синтеза речи и устройство для его реализации. Мещеряков Р.В. Заявка на изобретение RU 2009111740, G10L 13/08, заявл. 30.03.2009, опубл. 30.03.2009.
5. Способ синтеза речи. Хитров М.В. Патент на изобретение RU 2421827, G10L 13/08, заявл. 07.08.2009, опубл. 20.06.2011.
6. Способ автоматизированной обработки текста и компьютерное устройство для реализации этого способа. Бредихин А.Ю., Сергейчев Н.Е. Патент на изобретение RU 2460154, G10L 13/08, G06F 17/21, заявл. 15.06.2011, опубл. 27.08.2012.
7. Лобанов Б.М. Компьютерный синтез и клонирование речи / Б.М. Лобанов, Л.И. Цирюльник. - Минск: Белорус. наука, 2008. - 343 с.
8. Златоустова Л.В. Общая и прикладная фонетика / Л.В. Златоустова, Р.К. Потапова, В.Н. Трунин-Донской. - М.: Издательство МГУ, 1986. - 304 с.
9. Потапова Р.К. Речь: коммуникация, информация, кибернетика. - М.: Радио и связь. - 1997. - 528 с.
Claims (2)
1. Устройство синтеза речи на основе текста, содержащее блок, принимающий текстовую строку и формирующий из нее последовательность идентификаторов звуковых единиц, подаваемую в блок формирования звукового сигнала, а затем в блок воспроизведения, отличающееся тем, что в блок формирования звукового сигнала параллельно подаются дополнительные команды управления, вырабатываемые из сформированной последовательности идентификаторов звуковых единиц блоком формирования управляющих команд, зависящих от языка, блоком формирования управляющих команд, зависящих от моделируемых параметров диктора, а именно параметров голоса и/или его физических и физиологических параметров, и блоком формирования управляющих параметров окраса голоса, настроенных на определенное психофизиологическое состояние, предназначенных для формирования управляющих параметров для коррекции интенсивности речевого сигнала.
2. Устройство синтеза речи на основе текста по п. 1, отличающееся тем, что в качестве моделируемых параметров диктора используются пол диктора, высота, темп, ритм, мощность, индивидуальная ритмомелодическая картина.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014148001A RU2606312C2 (ru) | 2014-11-27 | 2014-11-27 | Устройство синтеза речи |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014148001A RU2606312C2 (ru) | 2014-11-27 | 2014-11-27 | Устройство синтеза речи |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014148001A RU2014148001A (ru) | 2016-06-20 |
| RU2606312C2 true RU2606312C2 (ru) | 2017-01-10 |
Family
ID=56131832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014148001A RU2606312C2 (ru) | 2014-11-27 | 2014-11-27 | Устройство синтеза речи |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2606312C2 (ru) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4685135A (en) * | 1981-03-05 | 1987-08-04 | Texas Instruments Incorporated | Text-to-speech synthesis system |
| US5278943A (en) * | 1990-03-23 | 1994-01-11 | Bright Star Technology, Inc. | Speech animation and inflection system |
| JP2002202789A (ja) * | 2000-12-28 | 2002-07-19 | Sharp Corp | テキスト音声合成装置およびプログラム記録媒体 |
| RU2298234C2 (ru) * | 2005-07-21 | 2007-04-27 | Государственное образовательное учреждение высшего профессионального образования "Воронежский государственный технический университет" | Способ компиляционного фонемного синтеза русской речи и устройство для его реализации |
| RU2006114705A (ru) * | 2003-09-29 | 2007-11-10 | Моторола, Инк. (US) | Преобразование буквы в звук для синтезированного произношения сегмента текста |
| RU2009111740A (ru) * | 2009-03-30 | 2010-10-10 | Роман Валерьевич Мещеряков (RU) | Способ синтеза речи и устройство для его реализации |
-
2014
- 2014-11-27 RU RU2014148001A patent/RU2606312C2/ru not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4685135A (en) * | 1981-03-05 | 1987-08-04 | Texas Instruments Incorporated | Text-to-speech synthesis system |
| US5278943A (en) * | 1990-03-23 | 1994-01-11 | Bright Star Technology, Inc. | Speech animation and inflection system |
| JP2002202789A (ja) * | 2000-12-28 | 2002-07-19 | Sharp Corp | テキスト音声合成装置およびプログラム記録媒体 |
| RU2006114705A (ru) * | 2003-09-29 | 2007-11-10 | Моторола, Инк. (US) | Преобразование буквы в звук для синтезированного произношения сегмента текста |
| RU2298234C2 (ru) * | 2005-07-21 | 2007-04-27 | Государственное образовательное учреждение высшего профессионального образования "Воронежский государственный технический университет" | Способ компиляционного фонемного синтеза русской речи и устройство для его реализации |
| RU2009111740A (ru) * | 2009-03-30 | 2010-10-10 | Роман Валерьевич Мещеряков (RU) | Способ синтеза речи и устройство для его реализации |
Non-Patent Citations (1)
| Title |
|---|
| Л.И. ЦИРУЛЬНИК, "Автоматизированная система клонирования фонетико-акустических характеристик речи", Информатика, апрель-июнь 2006, N2, с. 46-55. * |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2014148001A (ru) | 2016-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7500020B2 (ja) | 多言語テキスト音声合成方法 | |
| CN109949783B (zh) | 歌曲合成方法及系统 | |
| US9195656B2 (en) | Multilingual prosody generation | |
| EP3504709B1 (en) | Determining phonetic relationships | |
| US8219398B2 (en) | Computerized speech synthesizer for synthesizing speech from text | |
| JP4189051B2 (ja) | 発音測定装置および方法 | |
| CN109036377A (zh) | 一种语音合成方法及装置 | |
| US9978359B1 (en) | Iterative text-to-speech with user feedback | |
| US20190130894A1 (en) | Text-based insertion and replacement in audio narration | |
| Qian et al. | A cross-language state sharing and mapping approach to bilingual (Mandarin–English) TTS | |
| Felps et al. | Foreign accent conversion through concatenative synthesis in the articulatory domain | |
| US20180247640A1 (en) | Method and apparatus for an exemplary automatic speech recognition system | |
| US9508338B1 (en) | Inserting breath sounds into text-to-speech output | |
| KR20160058470A (ko) | 음성 합성 장치 및 그 제어 방법 | |
| JP2018146803A (ja) | 音声合成装置及びプログラム | |
| Aryal et al. | Accent conversion through cross-speaker articulatory synthesis | |
| Zhang et al. | Extracting and predicting word-level style variations for speech synthesis | |
| CN112382274A (zh) | 音频合成方法、装置、设备以及存储介质 | |
| JP2017167526A (ja) | 統計的パラメトリック音声合成のためのマルチストリームスペクトル表現 | |
| Bunnell et al. | The ModelTalker system | |
| RU2606312C2 (ru) | Устройство синтеза речи | |
| Ronanki et al. | The CSTR entry to the Blizzard Challenge 2017 | |
| Evrard et al. | Comparison of chironomic stylization versus statistical modeling of prosody for expressive speech synthesis. | |
| Pitrelli et al. | Expressive speech synthesis using American English ToBI: questions and contrastive emphasis | |
| Li et al. | Improving prosody for unseen texts in speech synthesis by utilizing linguistic information and noisy data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20171128 |