RU153322U1 - Устройство для обучения разговорной(устной) речи с визуальной обратной связью - Google Patents
Устройство для обучения разговорной(устной) речи с визуальной обратной связью Download PDFInfo
- Publication number
- RU153322U1 RU153322U1 RU2014139488/12U RU2014139488U RU153322U1 RU 153322 U1 RU153322 U1 RU 153322U1 RU 2014139488/12 U RU2014139488/12 U RU 2014139488/12U RU 2014139488 U RU2014139488 U RU 2014139488U RU 153322 U1 RU153322 U1 RU 153322U1
- Authority
- RU
- Russia
- Prior art keywords
- unit
- block
- output
- pronunciation
- speech signal
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000004140 cleaning Methods 0.000 claims abstract 2
- 238000013518 transcription Methods 0.000 claims description 5
- 230000035897 transcription Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 8
- 230000033764 rhythmic process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 206010048865 Hypoacusis Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002630 speech therapy Methods 0.000 description 1
- 230000002103 transcriptional effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
1. Устройство для помощи в обучении разговорной (устной) речи с визуальной обратной связью, содержащее блок приема речевого сигнала, аналого-цифровой преобразователь, блок шумоочистки, блок хранения входящего речевого сигнала, преобразователь-нормализатор в частотные зоны, блок управления, блок хранения акустических эталонов языка, блок настроек параметров зон фильтров на выбранный язык, блок анализа траекторий энергии в частотных зонах во времени, блок сравнения траекторий произношения звуков, блок вычисления оценки произношения, блок памяти, обеспечивающий возможности записи и хранения акустических эталонов языка, блок признаков параметров траекторий звуков, блок вывода речевого сигнала, блок вывода визуальных признаков и блок отображения информации, причем блок приема речевого сигнала соединен с аналого-цифровым преобразователем, выход которого подключен к входу блока шумоочистки, выход которого подключен к входу блока хранения входящего речевого сигнала, выход которого подключен к входу преобразователя-нормализатора, вход которого подключен к выходу блока хранения акустических эталонов языка, также вход подключен к выходу блока настроек параметров зон фильтров на выбранный язык, выход преобразователя-нормализатора подключен к блоку управления и блоку анализа траекторий энергии в частотных зонах, выход которого подключен к блоку сравнения траекторий произношения звуков, выход которого подключен к блоку вычисления.2. Устройство по п. 1, характеризующееся тем, что аналого-цифровой преобразователь имеет фиксированную частоту дискредитации.3. Устройство по п. 1, характеризующееся тем, что при пре�
Description
ОБЛАСТЬ ТЕХНИКИ
Устройство предназначено для обучения произношения разговорной речью с визуальной обратной связью и может быть использовано для обучению иностранным языкам, слабослышащих людей говорению, в логопедии, коррекции произношения, автоматической стенографии, обучении диалектам.
УРОВЕНЬ ТЕХНИКИ
Полезная модель относится к устройствам, предназначенным для обучения разговорной речи иностранным языкам, и диалектам родной речи посредством тренировки и развития способности восприятия речи на слух и правильного произношения, в частности для отработки навыка аудирования слабослышащих людей.
Из предшествующего уровня техники, известны различные способы изучения иностранных языков. Широко известны способы обучения с запоминанием иностранных слов по бумажным карточкам, на которых они нанесены с одной стороны, а их перевод - с другой, применяемые в вузах.
Однако эти способы требуют немалых усилий и затрат времени, особенно при усвоении большого количества иностранных слов и выражений. Также известно и широко распространено обучение обычным заучиванием иностранных слов со словаря, учебника и т.п. с самостоятельным их речевым произношением по написанной транскрипции. Здесь возможны ошибки в произношении этих слов обучающимся.
Существуют традиционные методы обучения иностранному языку, которые учат произносить слова, проговаривать фразы. Данные метода также подойдут для обучения, например, слабослышащего человека.
Однако все эти методы практически не направленны на отработку таких важных аспектов речи как умение правильно говорить (артикулировать) и слышать (различать) звуки речи, являющих основой устной речи.
Известны средства обучения иностранным языкам с использованием звукового воспроизведения языковых фрагментов с прослушиванием. Такие средства используются для отработки правильного произношения. Например, известно средство отработки правильного произношения, осуществляющее анализ произносимых фрагментов, разделение речи на фонемы и анализ их частотного спектра (WO 2004049283 (A1), опубликовано 2004.06.10). В изобретении используются так называемые форманты для оценки произношения, которые выводят для сравнения. Следует отметить, что данное техническое средство имеет узкое применение и предназначено для пользователей, владеющих иностранным языком, для дальнейшего совершенствования их знаний и не может быть использовано для развития навыков аудирования, т.е. дословного повторения.
Недостатком данного технического решения является низкая различительная способность, связанная с тем, что форманты не являются теми характеристиками, которые определяют звук - это только один из способов создания в речевом сигнале соответствующих физических характеристик, создающих ощущение звука. Известно, например, что звук А может иметь от одной до трех формант в зависимости от голоса говорящего.
Известно устройство для фонетического анализа и обучения речи (патент на полезную модель RU 90251, G10L 15/00, опубликовано 27.12.2009). Устройство содержит последовательно соединенные микрофон, блок сегментного анализа, спектроанализатор, блок нормализации, блок измерения сходства, блок памяти эталонов, блок оперативной памяти и блок коммутации, последовательно соединенные второй блок принятия решений, второй блок измерения сходства и блок визуализации данных, выход которого является выходом устройства.
Недостатком этого устройства является то, что вычисление сходства произношения с каким-либо эталоном производится на основании анализа всего сигнала. В то же время при обучении произношению, скажем, отдельных слов, интерес представляет, прежде всего, коррекция произношения отдельного звука (например, фонемы или слога) внутри выбранного слова. Однако предложенное устройство не позволяет проводить анализ качества произношения отдельных частей слова, учитывая информацию об интонации, акценте, ритмике, тоне (мелодики речи), громкости, темпе речи и ее отдельных отрезков, особенностей фонации.
СУЩНОСТЬ ПОЛЕЗНОЙ МОДЕЛИ
Данная полезная модель направлена на устранение недостатков, присущих существующим аналогам.
Предполагаемый технический результат, достигаемый заявленной полезной моделью, состоит в повышении эффективности обучения за счет качества определения правильности произношения звуков, звуков в словах и предложениях, интонации, ритмики и акцента, и ввода визуальной обратной связи позволяющей обучаемому не только услышать, но и увидеть на специальных графиках, отличия произносимых звуков, слов, и предложений, а также других характеристик речи таких как ритмика, и акцент от эталонного произношения. Применения аудиовизуального анализа и оригинальной системы распознавания речи, позволяет визуально сравнить правильность произношения характеристик звукового объекта относительно эталона, получить оценку его произнесения, поскольку обучающемуся необходимо знать не только то, что он совершает ошибку, но также конкретный неправильный звук, акцент, интонацию, ритмику, и получить рекомендации как ее исправить.
Указанный технический результат достигается тем, что устройство перевода речевого сигнала в транскрипционное представление, содержит блок приема речевого сигнала, последовательно соединенный с аналого-цифровым преобразователем, блок шумоотчистки, блок хранения входящего речевого сигнала, выход которого соединен с блоком преобразователя-нормализатора в частотные зоны, превышение относительной энергии в которых создает ощущение звука речи, соединенного с блоком анализа траекторий энергии в частотных зонах во времени, выходы которого соединены блоком сравнения траекторий произношения звуков, блок определения символа транскрипции, блок вычисления оценки произношения, блок управления и блок памяти, обеспечивающий возможности записи и хранения акустических эталонов языка, траекторий параметров признаков звуков, вывода речевого сигнала и визуализации параметров признаков.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Сущность полезной модели поясняется чертежами.
На фиг. 1 - представлена блок-схема предлагаемого устройства;
ПОДРОБНОЕ ОПИСАНИЕ ПОЛЕЗНОЙ МОДЕЛИ
Данная полезная модель в различных своих вариантах осуществления может быть выполнена в виде устройства, реализующего способ.
Устройство работает следующим образом:
Блок приема речевого сигнала (1) (Фиг. 1) принимает речевой сигнал в виде звукового потока данных на вход. В качестве блока приема речевого сигнала может быть использован микрофон, как встроенный, так и внешний.
Далее речевой сигнал преобразовывается в дискретный код (цифровой сигнал) в аналого-цифровом преобразователе (2) с частотой дискретизации не менее 22 кГ (точность сигнала 16 бит). Блок приема речевого сигнала соединяется с аналого-цифровым преобразователем последовательно.
Акустический сигнал подается на блок шумоотчистки (3), в котором происходит предварительная очистка от шумов и нормализация динамического диапазона. Это осуществляется путем дополнительного усиления сигналов малого уровня, чтобы поднять их выше уровня шумов передающего тракта.
Блок хранения входящего речевого сигнала (4) соединен с преобразователем-нормализатором (5) в частотные зоны, создающие ощущение звука речи, который состоит из группы цифровых фильтров с параметрами преобразования, нормализованными с учетом характеристик чувствительности улитки уха по частоте, амплитуде и времени. Блок (5) соединен с Блоком (7), анализа траекторий энергии в частотных зонах во времени, который определяет наличие превышения энергии в частотных зонах. Блок (7) соединен с Блоком (8) сравнения траекторий произношения звуков, определения символов транскрипций формирует последовательности символов, обозначающих группы фонем, который соединен с Блоком (9) вычисления оценки правильности произнесения символов дополнительно соединенным с выходом Блока (10) признаков параметров траекторий звуков. Также Блок (5) соединен с Блоком (12) хранения акустических эталонов языка, Блоком (13) настроек параметров зон фильтров на выбранный язык.
Блок управления (6), выполненный на основе многоканального центрального микропроцессора, организует процесс взаимодействия всех блоков. Блок управления соединен по стандартным мультиплексным каналам информационного обмена с последовательно соединенными друг с другом блоком анализа траекторий энергии (7) в частотных зонах во времени, блоком сравнения траекторий произношения звуков(8), определения символов транскрипций.
Мультиплексный канал связи предназначен для связи с медленно действующими компонентами, которые могут работать одновременно. Мультиплексный канал обеспечивает работу, как в монопольном, так и мультиплексном режиме. В данной полезной модели могут применяться мультиплексные каналы по ГОСТ 26765.52-87 (отечественный аналог интерфейса по международному стандарту MIL STD 1553 В).
Также для связи блока управления (6) с периферийными блоками, могут использоваться каналы с интерфейсами EIA RS-232C (известный также как интерфейс CCITT V. 24), PCI (Peripheral Component Interconnect - Соединение внешних компонентов), PCMCIA (Personal Computer Memory Card International Association - Стандарт международной ассоциации производителей плат памяти для персональных компьютеров), USB (Universal Serial Bus - Универсальная последовательная шина).
Блок памяти (11), соединенный с блоком управления (6), также соединен по каналам интерфейсной связи с блоком признаков параметров траекторий звуков (10). Блок (6) обеспечивает возможность вызова из блока памяти (11) любого признака параметра траектории, определяющей символ звука предустановленного тематического словаря или группы словарей, размеченных по символам групп фонем, и осуществляет отбор слов, соответствующих комбинациям символов групп фонем в текущей последовательности.
Блок памяти (11) через блок управления (6), соединен с устройством (14) вывода визуальных признаков, один выход которого соединен с блоком отображения информации (15), выполненного, например, в виде дисплея, обеспечивающего возможность отображения цифровой, графической и символьной информации.
Блок отображения информации (15) может быть реализован на основе миниатюрных технических решений, широко используемых в мобильных телефонах, плеерах и других портативных устройствах.
Также блок памяти (11) через блок управления (6), соединен с блоком (16) вывода речевого сигнала, который выводит данные на порт A/V для воспроизведения посредством внешнего звукового проигрывателя или устройства, имеющего поддержку воспроизведения звука. Блок (16) вывода речевого сигнала может содержать стандартные разъемы, например, такие как S/PDIF; TOSLINK или RCA-разъем с коаксиальным кабелем.
Claims (5)
1. Устройство для помощи в обучении разговорной (устной) речи с визуальной обратной связью, содержащее блок приема речевого сигнала, аналого-цифровой преобразователь, блок шумоочистки, блок хранения входящего речевого сигнала, преобразователь-нормализатор в частотные зоны, блок управления, блок хранения акустических эталонов языка, блок настроек параметров зон фильтров на выбранный язык, блок анализа траекторий энергии в частотных зонах во времени, блок сравнения траекторий произношения звуков, блок вычисления оценки произношения, блок памяти, обеспечивающий возможности записи и хранения акустических эталонов языка, блок признаков параметров траекторий звуков, блок вывода речевого сигнала, блок вывода визуальных признаков и блок отображения информации, причем блок приема речевого сигнала соединен с аналого-цифровым преобразователем, выход которого подключен к входу блока шумоочистки, выход которого подключен к входу блока хранения входящего речевого сигнала, выход которого подключен к входу преобразователя-нормализатора, вход которого подключен к выходу блока хранения акустических эталонов языка, также вход подключен к выходу блока настроек параметров зон фильтров на выбранный язык, выход преобразователя-нормализатора подключен к блоку управления и блоку анализа траекторий энергии в частотных зонах, выход которого подключен к блоку сравнения траекторий произношения звуков, выход которого подключен к блоку вычисления.
2. Устройство по п. 1, характеризующееся тем, что аналого-цифровой преобразователь имеет фиксированную частоту дискредитации.
3. Устройство по п. 1, характеризующееся тем, что при преобразовании речевого сигнала в частотные зоны, формируют последовательности символов транскрипции звука, слова, предложения и производят визуализацию параметров звуков и оценку их правильности произношения относительно акустических эталонов.
4. Устройство по п. 1, характеризующееся тем, что блок отображения информации отображает акустические параметры звука в виде 2D- и 3D-графических представлений, позволяющие сравнить правильность произношения характеристик звукового объекта относительно акустического эталона.
5. Устройство по п. 1, характеризующееся тем, что блок сравнения траекторий произношения звуков в частотных зонах анализирует данные частотные зоны и выделяет группы звуков по похожим траекториям энергий.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014139488/12U RU153322U1 (ru) | 2014-09-30 | 2014-09-30 | Устройство для обучения разговорной(устной) речи с визуальной обратной связью |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014139488/12U RU153322U1 (ru) | 2014-09-30 | 2014-09-30 | Устройство для обучения разговорной(устной) речи с визуальной обратной связью |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU153322U1 true RU153322U1 (ru) | 2015-07-10 |
Family
ID=53539164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014139488/12U RU153322U1 (ru) | 2014-09-30 | 2014-09-30 | Устройство для обучения разговорной(устной) речи с визуальной обратной связью |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU153322U1 (ru) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2641222C2 (ru) * | 2016-09-26 | 2018-01-16 | Владимир Анатольевич Ефремов | Способ автоматического перевода устной речи с одного языка на другой и устройство для его реализации |
| RU2688277C1 (ru) * | 2016-02-05 | 2019-05-21 | ГУГЛ ЭлЭлСи | Повторное распознавание речи с внешними источниками данных |
-
2014
- 2014-09-30 RU RU2014139488/12U patent/RU153322U1/ru not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2688277C1 (ru) * | 2016-02-05 | 2019-05-21 | ГУГЛ ЭлЭлСи | Повторное распознавание речи с внешними источниками данных |
| RU2641222C2 (ru) * | 2016-09-26 | 2018-01-16 | Владимир Анатольевич Ефремов | Способ автоматического перевода устной речи с одного языка на другой и устройство для его реализации |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Cole et al. | Speech as patterns on paper | |
| US8972259B2 (en) | System and method for teaching non-lexical speech effects | |
| Daniels et al. | The suitability of cloudbased speech recognition engines for language learning | |
| KR20140071070A (ko) | 음소기호를 이용한 외국어 발음 학습방법 및 학습장치 | |
| Cole et al. | Speech as eyes see it | |
| RU153322U1 (ru) | Устройство для обучения разговорной(устной) речи с визуальной обратной связью | |
| Kabashima et al. | Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings | |
| Simmons et al. | Cross-modal transfer of talker-identity learning | |
| JP2844817B2 (ja) | 発声練習用音声合成方式 | |
| CN116403607B (zh) | 一种发音检测方法与发音检测装置 | |
| Derrick et al. | Aero-tactile integration in fricatives: converting audio to air flow information for speech perception enhancement. | |
| US8768697B2 (en) | Method for measuring speech characteristics | |
| Martens et al. | Applying adaptive recognition of the learner’s vowel space to English pronunciation training of native speakers of Japanese | |
| WO2016053141A1 (ru) | Устройство для обучения разговорной (устной) речи с визуальной обратной связью | |
| Cucchiarini et al. | The nature of phonetic transcription | |
| Choe | The effect of pronunciation teaching on the realization of English rhythm by Korean learners of English | |
| Chang et al. | Using automatic speech recognition for speech comprehension evaluation in the cochlear implant | |
| CN111508523A (zh) | 一种语音训练提示方法及系统 | |
| CN1952995B (zh) | 智能互动型语言练习装置及其方法 | |
| Ooigawa | < Phonetics and Phonology> Perception of American English Utterance-Final'can'and'can't'by Japanese Listeners | |
| JP7039637B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム | |
| KR102610871B1 (ko) | 청각장애인 음성언어훈련 시스템 | |
| Pandi et al. | Japanese Language Learners of Manado State University's Ability to Produce Long Duration Vowels/AA/, II/,/UU/,/EE/and/OO | |
| Xu et al. | Interactions of tone and intonation in whispered Mandarin | |
| Fry | Future phoneticians |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM1K | Utility model has become invalid (non-payment of fees) |
Effective date: 20161001 |