RU2743049C1 - Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий - Google Patents
Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий Download PDFInfo
- Publication number
- RU2743049C1 RU2743049C1 RU2020129492A RU2020129492A RU2743049C1 RU 2743049 C1 RU2743049 C1 RU 2743049C1 RU 2020129492 A RU2020129492 A RU 2020129492A RU 2020129492 A RU2020129492 A RU 2020129492A RU 2743049 C1 RU2743049 C1 RU 2743049C1
- Authority
- RU
- Russia
- Prior art keywords
- speech
- test
- sequence
- user
- screening
- Prior art date
Links
- 238000012216 screening Methods 0.000 title claims abstract description 40
- 238000012076 audiometry Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims description 49
- 238000012360 testing method Methods 0.000 claims abstract description 107
- 230000004044 response Effects 0.000 claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 238000004088 simulation Methods 0.000 claims abstract description 4
- 230000002452 interceptive effect Effects 0.000 claims description 25
- 210000000988 bone and bone Anatomy 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000002405 diagnostic procedure Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 10
- 208000016354 hearing loss disease Diseases 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 206010011878 Deafness Diseases 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000000613 ear canal Anatomy 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000010370 hearing loss Effects 0.000 description 3
- 231100000888 hearing loss Toxicity 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 201000010374 Down Syndrome Diseases 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 206010033078 Otitis media Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 241000746998 Tragus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000012074 hearing test Methods 0.000 description 1
- 238000013101 initial test Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 235000019271 petrolatum Nutrition 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 229910052719 titanium Inorganic materials 0.000 description 1
- 239000010936 titanium Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Otolaryngology (AREA)
- Neurosurgery (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Изобретение относится к средствам, обеспечивающим автоматизированное выполнение диагностических процедур в части выполнения доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью алгоритмов на базе машинного обучения. Техническим результатом является обеспечение доврачебной оценки качества распознавания речи в шуме и скрининговой аудиометрии на базе единого вычислительного устройства. Формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения. Осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов. Осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума. Получают устный ответ пользователя с помощью устройства ввода речевой информации. В автоматизированном режиме осуществляют автоматическое преобразование устного ответа пользователя в текстовый вид; анализ устного ответа пользователя. 2 н. и 17 з.п. ф-лы, 9 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к средствам и методам, обеспечивающим автоматизированное выполнение диагностических процедур в части выполнения доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью алгоритмов на базе машинного обучения.
УРОВЕНЬ ТЕХНИКИ
Основной характеристикой любого канала передачи речи, включая слуховой тракт восприятия речи человека, является понятность речи. Для определения этой характеристики в технических системах связи применяют статистический метод с участием большого числа слушателей и дикторов.
Под разборчивостью речи понимают относительное или процентное количество принятых (понятых) элементов речи из общего числа, переданных по каналу связи. Элементы речи составляют слоги, звуки, слова, фразы, числа. В соответствии им поставлены слоговая, звуковая, словесная, смысловая и числовая разборчивость. Для измерения разборчивости разработаны артикуляционные таблицы слогов, звукосочетаний и слов с учетом встречаемости их в русской речи.
Термином «социальная адекватность слуха» обозначают способность человека воспринимать звуковые стимулы различной сложности (включая речевые) и участвовать в диалоге. У людей с уровнем слуха ниже «социально адекватного» возникают сложности в общении с окружающими, появляются проблемы на работе, в быту. Так называемая стигма тугоухости заставляет людей скрывать свою коммуникативную проблему десятилетиями!
Исследования слуховой функции осуществляется посредством двух групп методов:
Субъективных (психоакустических):
- исследование слуха речью с шумом;
- исследование слуха при помощи камертонов;
- субъективная аудиометрия.
Объективных:
- объективная (компьютерная) аудиометрия;
- акустическая рефлексометрия;
- тимпанометрия;
- отоакустическая эмиссия;
- безусловные рефлекторные реакции;
- условные реакции на звук.
При всех субъективных методах исследования слуха сам испытуемый оценивает: слышит он звук или нет и каким-либо иным способом и сообщает об этом специалисту.
При объективных методах обследования полученные результаты не зависят от желания пациента, регистрация их в большинстве случаев происходит при помощи специальной аппаратуры.
К сожалению, результаты практически всех видов диагностики слуха, кроме прямой оценки разборчивости слуха речью, описывают результаты обследования в специфических терминах (децибелы, аудиограммы, номера пиков кривых и т.д.) и не дают пациенту объективной информации о его «реальной степени социальной адекватности». Все это множество научных терминов не дает человеку прямого ответа: как хорошо, или как плохо, он слышит и понимает «обычную» речь собеседника в реальном шуме, окружающем его ежедневно. Многочисленные результаты современных высокоточных обследований нужны специалистам; человеку с нарушениями слуха нужно знать только одно - насколько хорошо он понимает речь собеседника в обычных условиях. Для такой бытовой комплексной оценки хорошо подходит методика оценки удовлетворенности по шкале Ликерта.
Самым простым и доступным методом является исследование слуха речью в шумовом сигнале. Достоинства этого метода заключаются в его соответствии основной роли слуховой функции у человека - служить средством речевого общения.
При исследовании слуха речью применяется шепотная и громкая речь. Конечно, оба эти понятия не включают точной дозировки силы и высоты звука, однако некоторые показатели, определяющие динамическую (силовую) и частотную характеристику шепотной и громкой речи, все же имеются.
При исследовании слуха речью весь речевой материал произносится на резервном воздухе (вдох-выдох-речь). Это способствует уравниванию громкости при предъявлении всего речевого материала у разных лиц.
Важным обстоятельством при исследовании слуха является "заглушение" неисследуемго уха. Есть несколько способов заглушения: вложить в ушной проход ватку с вазелином, ввести в ушной проход палец, смоченный водой, вдавить в слуховой проход козелок уха, потирать тыльную сторону ладони, закрывающей ухо, другой рукой.
Основным преимуществом исследования слуха речью является его «физиологическая понятность» для испытуемого. Основными проблемными препятствиями для широкого применения являются:
- невозможность обеспечения воспроизводимости результатов для разных испытателей, так и для одного испытателя в разное время;
- относительную длительность и трудоемкость испытаний;
- необходимость выполнения исследования специально обученным медицинским персоналом.
Из существующего уровня техники известны различные подходы по оценке распознаваемости речи. Известно программное обеспечение DIRAC (http://asm-tm.ru/7841-izmerenie-razborchivosti-rechi-v-po-dirac.html), которое позволяет оценить акустическую обстановку помещения на предмет распознаваемости речи внутри него. Однако данный подход не применим для тестирования слуховых возможностей пациентов.
Известен способ диагностики уровня слуха (патент RU 2467691 С1, 27.11.2012), в котором используют речевую таблицу В. Воячека, которую записывают в память цифрового устройства в звуковом формате mp3. После повторения пациентом слов определяют процент правильно повторяемых от общего числа слов таблицы. При этом используют клавиатуру устройства для регистрации ответа пациента при громкостях звукового сигнала 10, 20 и 30% от максимальной мощности наушников соответственно. Затем выявляют снижение процента разборчивости речи. При снижении процента разборчивости речи менее 95% по любому размеру мощности наушников судят о наличии тугоухости.
Недостатком данного решения является недостаточная точность оценки разборчивости речи пациентом, которая заключается в отсутствии автоматизации процесса распознавания ответов пациента, с помощью перевода ответов пациента из голосового формата в текстовый для анализа правильности услышанных слов с помощью искусственного интеллекта.
С развитием уровня техники в области технологий, применяемых для диагностических целей различного профиля, в том числе и для проверки качества слуха, речевого распознавания и аудиометрии, все более насущной проблемой становится необходимость автоматизации всех ключевых функций, которые могут быть доступны конечному пользователю без необходимости прибегания к услугам профильных специалистов, а также упрощающих получение первичной картины состояния органов слуха, что позволяет решить проблему получения помощи населению в регионах, в которых отсутствует возможность обращения к профильному специалисту, как к таковому.
Авторами настоящего технического решения ранее был предложен метод на основании искусственного интеллекта для автоматической многофакторной оценки качества распознавания речи пациентом, за счет преобразования голосовых ответов пациента в текстовый формат и сравнения результатов с тестовой последовательностью слов, которая воспроизводилась с учетом шумовых сигналов, для повышения качества тестирования и моделирования бытовых ситуаций, критичных для пользователя с теми или иными нарушениями слуха (патент РФ №2729147, 05.08.2020).
Но эта разработка, хоть и снизила существенно трудоемкость выполнения процедуры оценки разборчивости речи в шуме, но не устранила основную ключевую проблему работоспособности всего первичного звена сурдологии - практического отсутствия в необходимых количествах подготовленных медицинских специалистов. При проведении оценки разборчивости фразовой речи требуются «человеческие способности» для перевода сгенерированного программой тестового предложения в голосовое сообщение, которое будет воспринято испытуемым человеком, как часть речи «живого» собеседника. Только полностью решив эту проблему можно было разработать полностью автоматический многофункциональный диагностический фронтэнд терминал, обеспечивший выполнение этой рутинной хорошо проработанной процедуры без участия специально подготовленного медперсонала. С помощью реализации заявленного технического решения миллионы людей смогу самостоятельно и достоверно оценить свои возможности к речевой коммуникации и принять обоснованное решение о срочности и необходимости дальнейшего обращения к специалисту.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Заявленное решение направлено на решение технической проблемы, заключающейся в создании многофункционального, простого и эффективного способа на базе стандартного вычислительного устройства для обеспечения доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии.
Техническим результатом является обеспечение доврачебной оценки качества распознавания речи в шуме и скрининговой аудиометрии на базе единого вычислительного устройства и формирование детального протокола для последующего использования.
Дополнительным техническим результатом является повышение эффективности и точности оценки качества распознавания речи и скрининговой аудиометрии за счет применения синтезированной речи с помощью модели машинного обучения и применении в тестировании откалиброванных устройства звукового воспроизведения в виде наушников воздушного типа и с костной звукопроводимостью.
Заявленный технический результат достигается с помощью интерактивного программно-аппаратного комплекса (ПАК) для доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии, содержащий связанные каналом передачи данных вычислительное устройство, устройства звукового воспроизведения, и устройство ввода речевой информации, при этом
вычислительное устройство выполнено с возможностью
- формирования тестовой речевой последовательности в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
- выбора шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
- управления отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
- получения устного ответа пользователя с помощью устройства ввода речевой информации и автоматическое преобразование его в текст;
- автоматического анализа устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя;
- автоматического расчета на основании устных ответов пользователя:
- формирования последовательности тоновых сигналов и осуществления процедуры оценочной скрининговой аудиометрии на основании формируемой последовательности тоновых сигналов и построением скрининговой аудиограммы;
- формирования протокола оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;
устройства звукового воспроизведения, выполненные в виде наушников воздушного и костного звукопроведения, обеспечивают:
- селективную двухканальную подачу звукового сигнала в левый и правый каналы, или в оба канала одновременно;
- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
В одном из частных примеров реализации интерактивного ПАК устройства звукового воспроизведения представляет собой стереофонические наушники воздушного и костного звукопроведения, работающие в расширенном диапазоне частот.
В другом частном примере реализации интерактивного ПАК вычислительное устройство представляет собой планшет или смартфон.
В другом частном примере реализации интерактивного ПАК звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
В другом частном примере реализации интерактивного ПАК скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.
В другом частном примере реализации интерактивного ПАК на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.
В другом частном примере реализации интерактивного ПАК начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
В другом частном примере реализации интерактивного ПАК устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
В другом частном примере реализации интерактивного ПАК устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
В другом частном примере реализации интерактивного ПАК внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
Заявленный технический результат также достигается с помощью способа доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью вышеуказанного интерактивного ПАК, при котором
с помощью вычислительного устройства
- формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
- осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
- осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
- получают устный ответ пользователя с помощью устройства ввода речевой информации;
- в автоматизированном режиме осуществляют
- формируют последовательность тоновых сигналов, с помощью которой выполняют процедуру оценочной скрининговой аудиометрии с формированием скрининговой аудиограммы;
- формируют протокол оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;
с помощью устройств звукового воспроизведения, выполненных в виде наушников воздушного и костного звукопроведения, осуществляют:
- селективную подачу звукового сигнала в левый и правый каналы;
- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
В одном из частных примеров осуществления способа вычислительное устройство представляет собой планшет или смартфон.
В другом частном примере осуществления способа звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
В другом частном примере осуществления способа скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.
В другом частном примере осуществления способа на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.
В другом частном примере осуществления способа начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
В другом частном примере осуществления способа устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
В другом частном примере осуществления способа устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
В другом частном примере осуществления способа внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 иллюстрирует общую схему интерактивного ПАК.
Фиг. 2 иллюстрирует блок-схему заявленного способа.
Фиг. 3-4 иллюстрируют пример интерфейса установки настроек для воспроизведения речевой последовательности.
Фиг. 5 иллюстрирует пример интерфейса с индикацией ответа пользователя.
Фиг. 6 иллюстрирует пример страницы протокола тестирования разборчивости речи.
Фиг. 7 иллюстрирует пример графического интерфейса выполнения скрининговой аудиометрии.
Фиг. 8 иллюстрирует пример аудиограммы.
Фиг. 9 иллюстрирует общий вид вычислительного устройства.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На Фиг. 1 представлена общая схема интерактивного ПАК (100). В его состав входит вычислительное устройство (110), представляющее собой планшет или смартфон, под управлением операционной системы iOS, Android или Windows. Устройство (110) осуществляется весь необходимый функционал, обеспечивающий взаимодействие с пользователем (10) для проведения оценки качества распознавания речи и скрининговой аудиометрии.
Вычислительное устройство (110) изготавливается на базе стандартных аппаратных средств, с тем отличием, что его звуковой тракт проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ, для его соответствия существующим аудиометрическим стандартам, например, для обеспечения его функционирования в соответствие с ГОСТ Р ИСО 8253-3-2014 «Акустика. Методы аудиометрических испытаний».
Вычислительное устройство (110) содержит подключаемые к нему посредством канала передачи данных, устройство ввода речевой информации (111) и устройства звукового воспроизведения (112, 113).
Устройство ввода речевой информации (111) может выполняться в виде встроенного или внешнего микрофона. Внешнее исполнение устройства (111) может подключаться с помощью любого пригодного принципа связи, например, USB кабель, Lightning разъем, Bluetooth связь и т.п.
Устройства звукового воспроизведения (112, 113) представляют собой два типа наушников - воздушной (например, Sennheiser hd 400s) и костной проводимости (например, Aftershock trekz titanium), которые обеспечивают возможность селективной двухканальной передачи звука пользователю (101), формируемого вычислительным устройством (110). Наушники (112, 113) калибруются с проверкой, например, с помощью приложения Tester, для соответствия выходных параметров изделия (громкость, частота) аудиометрическому оборудованию. Калибровочные параметры должны соответствовать международным и/или национальным стандартам, например, ГОСТ Р МЭК 60645-1-2017. Калибровка устройств звукового воспроизведения (112, 113) осуществляется с помощью искусственного уха, например, например производства фирмы В&K.
Вычислительное устройство (110) также может быть связано посредством сети передачи данных (120), например, сети «Интернет», с удаленным сервером (130), на котором может храниться различная информация, в том числе, настройки, данные пользователей, пакеты для обновления данных, параметры и информация для осуществления тестов и т.п.
Вычислительное устройство (110) обеспечивает формирование всех необходимых сигналов, звуков и графической информации для осуществления процесса тестирования пользователя (101) на предмет оценки распознавания речи и получения данных скрининговой аудиометрии.
На Фиг. 2 представлено описание процесса осуществления способа (200) оценки качества распознавания речи и скрининговой аудиометрии с помощью ПАК (100). Применение заявленного ПАК позволяет осуществить доврачебную объективированную и конкретизированную оценку возможности конкретного человека к речевой коммуникации, при этом, данный ПАК и применяемые в нем алгоритмы полностью автоматизированы и просты в использовании.
На первом этапе (201) осуществляется формирование с помощью устройства (110) тестовой речевой последовательности для чего пользователь (101) осуществляется вход в специализированное программное приложение на устройстве (110). Пользователь (101) осуществляет выбор языка тестовой последовательности, например, с помощью графического интерфейса приложения, или автоматически с помощью произнесения фразы, предложенной приложением для автоматического распознавания языка пользователя (101). Приложение, применяемое для тестирования с помощью устройства (110), основано на базе искусственного интеллекта, в частности, одной или нескольких моделях машинного обучения, например, с применением искусственной нейронной сети, обученной на распознавание речи пользователя (101).
После распознавания требуемого языка для осуществления формирования тестовой речевой последовательности, выполняется выбор соответствующего матричного теста для заданного языка. Такие типы тестов являются стандартизованными и позволяют определить степень возможности распознавания речи в шумовом сигнале (см, например, Nuesse et al. Measuring Speech Recognition With a Matrix Test Using Synthetic Speech // Trends Hear. 2019 Jan-Dec; 23: 2331216519862982. Published online 2019 Jul 19. doi: 10.1177/2331216519862982). Тестовая речевая последовательность включает в себя как отдельные слова, так и фразы, которые в рамках выбранного матричного теста будут воспроизводиться в случайном или заданном порядке.
Далее на этапе (202) выполняется установка конкурирующего шумового звука, который будет воспроизводиться одновременно с тестовой речевой последовательностью матричного теста. Перед запуском теста можно установить громкость речевого сигнала и громкость шума, количество слов в тесте, отключить левый или правый канал. При тестировании распознавания речи в шуме конкретный тестовый файл и файл шума можно выбрать в любой момент, используя меню настроек, представленный на Фиг. 3.
Пример первоначальных настроек тестирования:
По умолчанию установлены значения:
1. Выполнение фразового теста
- тип шума - шум толпы
- выполняемый тест - полная матрица;
- уровень громкости полезного речевого сигнала - «нормальная речь» (45 дБ);
- уровень шума - например, на 7 дб ниже уровня речевого сигнала;
- количество тестовых предложений - 10.
2. Выполнение словесного теста:
- выполняемый тест таблицы разносложных слов, содержащих все фонемы русского языка (Гринберг Г.И., Зиндер Л.Р.);
- количество тестовых слов - 20;
- уровень громкости полезного речевого сигнала - «нормальная речь» (45 дБ);
- тип шума - шум толпы;
- уровень шума - например, на 7 дБ ниже уровня речевого сигнала.
Речевая последовательность использует уникальные звуковые (речевые и шумовые) файлы собственной разработки. Перечень этих файлов может изменяться и дополняться в зависимости от конкретных целей исследования слуха.
Сформированная последовательность слов и фраз матричного теста на этапе (203) воспроизводится с помощью синтезатора речи, построенного на базе моделей машинного обучения. При этом, для более точного тестирования для каждого пользователя (101) может выбираться соответствующий тип голоса (женский, мужской, детский и т.п.), а также одновременно проведения тестирования на нескольких языках, с возможностью их переключения, что важно для людей, живущих в стране с несколькими официальными языками (например, Швейцария).
Перед запуском теста можно установить некоторые режимы проведения теста, представленные интерфейсом на Фиг. 4:
Важной особенностью заявленного решения является его реализация в части воспроизведения речи с помощью программного синтезатора с заданными параметрами (мужской, женский, детский, хриплый, шепотом и т.п.), с заданным уровнем громкости, скорости, разборчивости произношения фонем, слов, предложений с соблюдением интонационных особенностей данного национального языка.
Важной отличительной чертой ПАК (100) является возможность впервые проводить оценку разборчивости речи по костной проводимости с использованием наушников соответствующего типа, в частности, стереофонических наушников (113) костной проводимости с расширенным частотным диапазоном, прошедшим метрологическую калибровку на соответствие требованиям ГОСТ. Это впервые дает возможность проведения оценки разборчивости речи у людей с заболеваниями системы звукопроведения (отиты различной формы), подавая речевые сигналы через костную проводимость непосредственно к улитковой системе.
В ПАК (100) предусмотрена подсистема вычислительного устройства (110) калибровки звукового оборудования. Звуковые тракты применяемых устройств (110) разного вида, различных моделей, различные воздушные и костные наушники обладают разными характеристиками. Кроме того, устройство (110) обеспечивает возможность регулировки громкость выходного сигнала только в условных единицах от 0.0 до 1.0.
В сурдологии принято измерять уровень звукового сигнала в децибелах (дБ). Этот уровень зависит от уровня звукового давления логарифмически. Для преобразования условных единиц громкости выходного сигнала устройства (110) в дБ была разработана методика калибровки звукового оборудования, которую необходимо проводить для каждой конкретной модели применяемого устройства (110), воздушных (112) и костных наушников (113).
Предусмотрена автоматическая система защиты слуховой системы пользователя (101) от акустической перегрузки. Максимальный прослушиваемый уровень ограничен значением в 95 дБ на частоте 1000-3000 Гц, с возможностью срочного отключения звука с помощью графического интерфейса приложения для выполнения теста, запущенного на устройстве (110).
Сама по себе необходимость подавать уровни громкости прослушивания, превышающие значение 95 дБ, означает наличие у человека тяжелой потери слуха, требующего только срочного профессионального обследования профильным специалистом. Эта сигнальная информация формируется автоматически.
Применяемые для реализации программного синтезатора речи алгоритмы машинного обучения, могут представлять собой, например, Google Cloud AI & Machine Learning Products Speech-to-Text (https://cloud.google.com/speech-to-text), Google Cloud AI & Machine Learning Products Text-to-Speech (https://cloud.google.com/text-to-speech), или любые другие алгоритмы, которые могут быть обучены для целей реализации настоящего технического решения в составе интерактивного ПАК.
Обучение модели для синтезатора речи может осуществляться следующим образом. Устройство (110) случайным образом формирует одно за другим 40 тестовых фраз, выбирая случайным образом из каждой строки матрицы по одному слову в заданной последовательности. Диктор, голос которого копируется, зачитывает в вынесенный микрофон (111) устройства (110) каждое предложение. Длительность процесса может составлять от 25 до 35 минут. Полученный звуковой файл пересылается в обучающий сервер, например, удаленный сервер (130), который вырабатывает рабочую модель синтезатора голоса заданного конкретного человека, используемую программами перевода «текст - речь» или «речь - текст».
Замена голоса «живого» диктора или специалиста на синтезированный программами искусственного интеллекта (ИИ) точный акустический аналог с заданными характеристиками позволяет решить специфическую, но социально очень важную проблему. Ухудшение слуха у некоторой категории людей (пожилые люди с признаками деменции, дети с аутизмом и другими ментальными расстройствами) приводит к проблемам с речевой коммуникацией, поскольку они воспринимают голоса только очень близких людей. Ряд современных ИИ систем уже предоставляют возможность воспроизводить заданный произвольный текст голосом «очень похожим» на требуемый голос. Для диагностики уровня разборчивости речи у детей с синдромом дауна, как правило, все тесты должны воспроизводиться голосом матери или другого близкого человека, с которым ребенок идет на контакт. Таким образом, применение обученного синтезатора речи в составе ПАК (100) позволяет расширить его применение для различного рода ситуаций и более точного выявления тех или иных нарушений слуха у пациентов.
На этапе (203) приложение на устройстве (110) генерирует и воспроизводит слова и фразы соответствующего матричного теста с помощью наушников с воздушной проводимостью (112). По факту произнесения слов и фраз с помощью синтезатора речи, пользователь дает отклик (этап 204) с помощью взаимодействия интерфейсом устройства (110) или с помощью произнесения каждого слова и/или фразы теста. Голосовой ответ пользователя фиксируется с помощью микрофона (111) и преобразуется в текстовый формат для его анализа на правильность произнесенной фразы. В ходе теста в нижней части экрана устройства (110) указывается перечень всех вариантов ответа как его поняла система распознавания.
Отклик пользователя (101) оценивается устройством (110) с помощью программного модуля на базе модели машинного обучения, который переводит ответ пользователя (101) в текст и сравнивает его с воспроизведенным словом или фразой в тестовой речевой последовательности.
Речевая последовательность воспроизводится параллельно с конкурирующим шумовым звуком, чтобы более точно оценить степень разборчивости речи пользователем (101) в эмулируемой ситуации. Речевые звуковые файлы и соответствующие им текстовые файлы могут хранится на вычислительном устройстве (110), что обеспечивает формирование произвольной комбинации любого речевого звукового файла с любым шумовым, не изменяя программу тестирования, а также дополнять список файлов произвольными сигналами и шумами.
При тестировании распознавания речи в шуме конкретный тестовый файл и файл шума можно выбрать в любой момент, используя меню настроек с помощью графического интерфейса устройства (110), представленного на Фиг. 4.
После озвучивания одного синтезированного предложения пользователь (101) повторяет услышанное предложение так, как он его услышал и понял, после чего на этапе (205) выполняется автоматическое обнаружение начала речевого ответа и производится его пословное сравнение с тестовым вариантом, в ходе которого подсчитывается количество неправильно произнесенных или пропущенных слов. На Фиг. 5 представлен пример индикации правиьлности ответа пользователя (101).
Предусмотрена несколько тестов разной степени сложности на все возрастные группы:
1. скрининговая оценка разборчивости слуха у детей:
- возрастная группа от 7 до 14 лет.
2. Сбалансированные тесты (двухзначные числа)
3. Таблицы разносложных слов, содержащие все фонемы русского языка (Гринберг Г.И. 6 Зиндер Л.Р.)
4. Таблицы фонемосбалансированных слов (Нейман)
При проведении теста разборчивости речи в шуме обычно рекомендуется использовать в качесте помехи белый или розовый шумы, имитирующие речевой спектр голосов большой группы людей, стоящих на больших открытых пространствах. При этом, шумовой звук может быть смоделирован, выбором из большого диапазона различных ситуаций, наиболее подходящих для ситуации тестируемого пользователя, например, совещание, шумы цеха, стройка, шум толпы в закрытом помещении и т.п.
ПАК (100) обеспечивает возможность пользователю (101) самому выбрать тот режим проверки, в котором в его повседневной жизни он испытывает наибольший дискомфорт, в частности, тип голоса (мужской, женский, детский и т.п.), уровень громкости беседы в общепринятых терминах: шепотная речь, нормальный уровень громкости разговора, громкий разговор в группе. При этом устройство (110) автоматически заменит выбранный «словесный» уровень описания громкости на соответсвующий метрологически подтвержденный уровень интенсивности прослушивания в дБ (шепотная речь - 35 дБ, нормальная речь - 50 дБ и т.д.).
По окончании теста на этапе (205), устройство (110) с помощью соответствующей программной логики оценивает результат распознавания фраз по международной шкале STI. Тест распознавания речи в шуме можно повторить несколько раз с разными тестовыми файлами, уровнями громкости сигнала и шума и каналами. Обобщенные результаты тестирования распознавания случайных фраз и отдельных слов в шуме можно посмотреть на странице «Протоколы» (Фиг. 6).
Далее на этап (206) выполняется скрининговая аудиометрия с помощью применения наушников с костной проводимостью (113). В ходе данной проверки устрйоство (110) формирует тоновые сигналы для оценки порогов их восприятия пользователем (101).
Процедура скрининговой аудиометрии заключается в последовательном воспроизведении однотонных сигналов со следующими частотами:
- для воздушных наушников (112): 1, 1.5, 2, 3, 4, 6, 8, 12, 16 и 20 кГц и затем с частотами 750, 500, 250 и 125 Гц;
- для костных наушников (113): 1, 1.5, 2, 3, 4, 6, 8, 12, 16 и 20 кГц и затем с частотами 750, 500 и 250 Гц.
Сигналы воспроизводятся через наушники (112, 113) сначала в правое, а затем в левое ухо. Длительность звукового сигнала устанавливается в 2 секунды, но может быть изменена. Полный тест проводится для левого и правого уха с использованием воздушных (112) и костных наушников (113). Программа на устройстве (110) последовательно проверит все частоты из списка, но можно выбрать проверяемую частоту для повторной проверки. На Фиг. 7 приведен пример отображения интерфейса пользователя при выполнении процесса скрининговой аудиометрии.
При запуске теста последовательно воспроизводится однотонный звук заданной частоты в диапазоне от 125 Гц до 20 кГц указанной длительности. На каждой частоте выполняется дихотомический (бинарный) поиск порогового значения уровня слышимости в интервале 20-95 дБ, что позволяет найти порог за 6-7 шагов с точностью 1 дБ. На каждом шаге пользователю (101) воспроизводится звук определенной интенсивности, на который он реагирует нажатием кнопок графического интерфейса устройства (110) «Слышу» или «Не слышу». Стартовый уровень громкости на каждой частоте устанавливается в зависимости от значения порога на предыдущей частоте, что позволяет уменьшить количество шагов. По результатам проверки строится аудиограмма, представленная на Фиг. 8. Все результаты регистрации и тестирования сохраняются первично на устройстве (110) в файле Protocol.txt. Директория и файл создаются автоматически. При распознавании речи в шуме указываются все варианты, возвращенные программным распознавателем речи. На этапе (207) по итогам проведенной оценки распознавания речи и скрининговой аудиометрии формироуется итоговый детальный протокол, пример которого представлен ниже. Протокол может использоваться в дальнейшем при обращении пользователя (101) к профильному специалисту, например, врачу, с предоставлением настоящего протокола, или посредством средств телемедицины, направляя протокол врачу в цифровом виде.
***** Вход в Регистрацию *****
Иванов Иван Иванович 1987
* 09.08.2020 13:39
* Распознавание фраз в шуме
* Лена ищет восемь главных комнат > Лена ищет восемь главных комнат
* Лена делает семь нужных рядов > Лена делает семь нужных рядов
* Павел ищет шесть чужих рядов > Павел ищет шесть чужих рядов
* Результат: 3/3 -> ОТЛИЧНО
* Распознавание слов в шуме
* Все тесты Гринберга (3/80) 95 дБ, Толпа людей 15 дБ, ухо Оба
* Жалоба > Жалоба
* Пьяный > Пьяный
* Искать > Искать
* Результат: 3/3 -> ОТЛИЧНО
* Аудиометрия, правое ухо
** Правое ухо, воздушные наушники
* 125 Гц -> слышно при 38.0 дБ
* 250 Гц -> слышно при 44.0 дБ
* 500 Гц -> слышно при 39.0 дБ
* 750 Гц -> слышно при 48.0 дБ
* 1000 Гц -> слышно при 48.0 дБ
* 1500 Гц -> слышно при 38.0 дБ
* 2000 Гц -> слышно при 35.0 дБ
* 3000 Гц -> слышно при 43.0 дБ
* 4000 Гц -> слышно при 30.0 дБ
* 6000 Гц -> слышно при 65.0 дБ
* 8000 Гц -> слышно при 67.0 дБ
* 12000 Гц -> слышно при 96.0 дБ
* 16000 Гц -> слышно при 100.0 дБ
* Аудиометрия, левое ухо
** Левое ухо, воздушные наушники
* 125 Гц -> слышно при 40.0 дБ
* 250 Гц -> слышно при 40.0 дБ
* 500 Гц -> слышно при 55.0 дБ
* 750 Гц -> слышно при 63.0 дБ
* 1000 Гц -> слышно при 34.0 дБ
* 1500 Гц -> слышно при 58.0 дБ
* 2000 Гц -> слышно при 60.0 дБ
* 3000 Гц -> слышно при 63.0 дБ
* 4000 Гц -> слышно при 46.0 дБ
* 6000 Гц -> слышно при 64.0 дБ
* 8000 Гц -> слышно при 68.0 дБ
* 12000 Гц -> слышно при 78.0 дБ
* 16000 Гц -> слышно при 89.0 дБ
* 20000 Гц -> слышно при 100.0 дБ
Протокол всех этапов тестирования, включая регистрацию пользователя (101), сохраняется на устройвтве (110) и может быть также направлен на удаленное хранилище, например, сервер (130) или сторонние системы, в частности, применяемых для телемедицины.
На Фиг. 9 представлен общий пример компьютерного устройства (300), которое может применяться для реализации устройств, входящих в ПАК (100), например, вычислительного устройства (110). В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну оперативную память (302), средство постоянного хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).
Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функционала одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).
Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), идентификаторов пользователей, звуковые файлы и т.п.
Интерфейсы (304) представляют собой стандартные средства для подключения и работы различного вида устройств (300), например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
В качестве средств В/В данных (305) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средства (306) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
Компоненты устройства (300), как правило, сопряжены посредством общей шины передачи данных или посредством любого друго типа связи, обеспечивающего взаимодействие элементов устройства (300).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
Claims (49)
1. Интерактивный программно-аппаратный комплекс (ПАК) для доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии, содержащий связанные каналом передачи данных вычислительное устройство, устройства звукового воспроизведения и устройство ввода речевой информации, при этом
вычислительное устройство выполнено с возможностью :
формирования тестовой речевой последовательности в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
выбора шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
управления отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
получения устного ответа пользователя с помощью устройства ввода речевой информации;
автоматического анализа устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с преобразованием его в текстовый вид и отображением правильности ответа пользователя;
автоматического расчета на основании устных ответов пользователя:
показателя качества распознавания речи;
наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;
формирования последовательности тоновых сигналов и осуществления процедуры оценочной скрининговой аудиометрии на основании формируемой последовательности тоновых сигналов и построением скрининговой аудиограммы;
формирования протокола оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;
устройства звукового воспроизведения, выполненные в виде наушников воздушного и костного звукопроведения, обеспечивают:
селективную двухканальную подачу звукового сигнала в левый и правый каналы или в оба канала одновременно;
воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
2. Интерактивный ПАК по п. 1, в котором устройства звукового воспроизведения представляют собой стереофонические наушники воздушного и костного звукопроведения, работающие в расширенном диапазоне частот.
3. Интерактивный ПАК по п. 1, в котором вычислительное устройство представляет собой планшет или смартфон.
4. Интерактивный ПАК по п. 3, в котором звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
5. Интерактивный ПАК по п. 1, в котором скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения с фиксацией ответа пользователя по распознаванию тоновых сигналов.
6. Интерактивный ПАК по п. 5, в котором на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.
7. Интерактивный ПАК по п. 6, в котором начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
8. Интерактивный ПАК по п. 1, в котором устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
9. Интерактивный ПАК по п. 1, в котором устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
10. Интерактивный ПАК по п. 8, в котором внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
11. Способ доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии с помощью интерактивного ПАК по любому из пп. 1-10, при котором
с помощью вычислительного устройства
формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
получают устный ответ пользователя с помощью устройства ввода речевой информации;
в автоматизированном режиме осуществляют
автоматическое преобразование устного ответа пользователя в текстовый вид;
анализ устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя;
расчет на основании устных ответов пользователя показателя качества распознавания речи и наличия отклонения от нормы при распознавании речи на основании анализа типа слов в тестовой последовательности;
формируют последовательность тоновых сигналов, с помощью которой выполняют процедуру оценочной скрининговой аудиометрии с формированием скрининговой аудиограммы;
формируют протокол оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;
с помощью устройств звукового воспроизведения, выполненных в виде наушников воздушного и костного звукопроведения, осуществляют:
селективную подачу звукового сигнала в левый и правый каналы;
воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
12. Способ по п. 11, в котором вычислительное устройство представляет собой планшет или смартфон.
13. Способ по п. 12, в котором звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
14. Способ по п. 11, в котором скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения с фиксацией ответа пользователя по распознаванию тоновых сигналов.
15. Способ по п. 14, в котором на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.
16. Способ по п. 15, в котором начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
17. Способ по п. 11, в котором устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
18. Способ по п. 11, в котором устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
19. Способ по п. 17, в котором внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020129492A RU2743049C1 (ru) | 2020-09-07 | 2020-09-07 | Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий |
| PCT/RU2021/050297 WO2022050877A1 (ru) | 2020-09-07 | 2021-09-15 | Доврачебная оценка качества распознавания речи и скрининговая аудиометрия |
| ZA2023/00918A ZA202300918B (en) | 2020-09-07 | 2023-01-20 | Pre-medical speech recognition assessment and audiometry screening |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2020129492A RU2743049C1 (ru) | 2020-09-07 | 2020-09-07 | Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2743049C1 true RU2743049C1 (ru) | 2021-02-15 |
Family
ID=74666016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2020129492A RU2743049C1 (ru) | 2020-09-07 | 2020-09-07 | Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий |
Country Status (3)
| Country | Link |
|---|---|
| RU (1) | RU2743049C1 (ru) |
| WO (1) | WO2022050877A1 (ru) |
| ZA (1) | ZA202300918B (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2784957C1 (ru) * | 2021-11-30 | 2022-12-01 | Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-медицинская академия имени С.М. Кирова" Министерства обороны Российской Федерации (ВМедА) | Способ прогнозирования тугоухости у лиц, подвергающихся воздействию шума стрелкового оружия |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3135890A1 (fr) * | 2022-05-25 | 2023-12-01 | My Medical Assistant | Procédé de test d’audiométrie vocale mettant en œuvre une reconnaissance vocale et dispositif électronique associé |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7024352B2 (en) * | 2000-09-06 | 2006-04-04 | Koninklijke Kpn N.V. | Method and device for objective speech quality assessment without reference signal |
| EP1611571B1 (en) * | 2003-03-31 | 2007-12-12 | Koninklijke KPN N.V. | Method and system for speech quality prediction of an audio transmission system |
| RU2379767C2 (ru) * | 2005-06-27 | 2010-01-20 | Нокиа Корпорейшн | Коррекция ошибок для систем распознавания речи |
| US7966187B1 (en) * | 2001-02-15 | 2011-06-21 | West Corporation | Script compliance and quality assurance using speech recognition |
| US8050918B2 (en) * | 2003-12-11 | 2011-11-01 | Nuance Communications, Inc. | Quality evaluation tool for dynamic voice portals |
| RU2467691C1 (ru) * | 2011-05-25 | 2012-11-27 | Государственное образовательное учреждение высшего профессионального образования "Астраханская государственная медицинская академия" Министерства здравоохранения и социального развития Российской Федерации | Способ диагностики уровня слуха |
| RU134381U1 (ru) * | 2012-10-30 | 2013-11-10 | Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН" | Аппаратно-программный комплекс для настройки слуховых аппаратов |
| RU2729147C1 (ru) * | 2020-04-02 | 2020-08-05 | Общество С Ограниченной Ответственностью "Центр Коррекции Слуха И Речи "Мелфон" (Ооо "Цкср "Мелфон") | Способ автоматизированной оценки качества распознавания речи пациентом |
-
2020
- 2020-09-07 RU RU2020129492A patent/RU2743049C1/ru active
-
2021
- 2021-09-15 WO PCT/RU2021/050297 patent/WO2022050877A1/ru active Application Filing
-
2023
- 2023-01-20 ZA ZA2023/00918A patent/ZA202300918B/en unknown
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7024352B2 (en) * | 2000-09-06 | 2006-04-04 | Koninklijke Kpn N.V. | Method and device for objective speech quality assessment without reference signal |
| US7966187B1 (en) * | 2001-02-15 | 2011-06-21 | West Corporation | Script compliance and quality assurance using speech recognition |
| EP1611571B1 (en) * | 2003-03-31 | 2007-12-12 | Koninklijke KPN N.V. | Method and system for speech quality prediction of an audio transmission system |
| US8050918B2 (en) * | 2003-12-11 | 2011-11-01 | Nuance Communications, Inc. | Quality evaluation tool for dynamic voice portals |
| RU2379767C2 (ru) * | 2005-06-27 | 2010-01-20 | Нокиа Корпорейшн | Коррекция ошибок для систем распознавания речи |
| RU2467691C1 (ru) * | 2011-05-25 | 2012-11-27 | Государственное образовательное учреждение высшего профессионального образования "Астраханская государственная медицинская академия" Министерства здравоохранения и социального развития Российской Федерации | Способ диагностики уровня слуха |
| RU134381U1 (ru) * | 2012-10-30 | 2013-11-10 | Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН" | Аппаратно-программный комплекс для настройки слуховых аппаратов |
| RU2729147C1 (ru) * | 2020-04-02 | 2020-08-05 | Общество С Ограниченной Ответственностью "Центр Коррекции Слуха И Речи "Мелфон" (Ооо "Цкср "Мелфон") | Способ автоматизированной оценки качества распознавания речи пациентом |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2784957C1 (ru) * | 2021-11-30 | 2022-12-01 | Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-медицинская академия имени С.М. Кирова" Министерства обороны Российской Федерации (ВМедА) | Способ прогнозирования тугоухости у лиц, подвергающихся воздействию шума стрелкового оружия |
| RU2791159C1 (ru) * | 2022-09-13 | 2023-03-03 | Закрытое акционерное общество "ОКБ "РИТМ" | Аудиометр |
| RU2809013C1 (ru) * | 2023-08-25 | 2023-12-05 | Закрытое акционерное общество "ОКБ "РИТМ" | Аудиометр |
Also Published As
| Publication number | Publication date |
|---|---|
| ZA202300918B (en) | 2023-03-29 |
| WO2022050877A1 (ru) | 2022-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gelfand | Optimizing the reliability of speech recognition scores | |
| Theunissen et al. | Sentence recognition in noise: Variables in compilation and interpretation of tests | |
| Lawson et al. | Speech audiometry | |
| JP4769336B2 (ja) | 補聴器の調整装置、方法およびプログラム | |
| Reinhart et al. | Intelligibility and clarity of reverberant speech: Effects of wide dynamic range compression release time and working memory | |
| Brännström et al. | The acceptable noise level: The effect of repeated measurements | |
| US20220036878A1 (en) | Speech assessment using data from ear-wearable devices | |
| RU2743049C1 (ru) | Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий | |
| Yu et al. | Diagnostic precision of open-set versus closed-set word recognition testing | |
| Tye-Murray et al. | Differences in children’s sound production when speaking with a cochlear implant turned on and turned off | |
| RU2729147C1 (ru) | Способ автоматизированной оценки качества распознавания речи пациентом | |
| RU2765108C1 (ru) | Способ и программно-аппаратный комплекс для доврачебной предварительной классифицирующей многофакторной оценки возможности слухового анализатора человека при проведении массовых профилактических осмотров населения | |
| RU2720401C1 (ru) | Многофункциональный интерактивный программно-аппаратный комплекс для объективной оценки уровня субъективной удовлетворенности пациента результатами электроакустической коррекции слуха и способ его применения | |
| Gelfand et al. | Large-corpus phoneme and word recognition and the generality of lexical context in CVC word perception | |
| Ellis et al. | Measurements of loudness growth in 1/2-octave bands for children and adults with normal hearing | |
| JP6639857B2 (ja) | 聴力検査装置、聴力検査方法および聴力検査プログラム | |
| Davidson et al. | Spectral modulation detection performance and speech perception in pediatric cochlear implant recipients | |
| TW202137939A (zh) | 病理狀況分析系統，病理狀況分析裝置，病理狀況分析方法和病理狀況分析程式 | |
| Zanichelli et al. | Percentage of Consonants Correct (PCC) in children with and without hearing loss | |
| Başkent et al. | Perception of spectrally degraded reflexives and pronouns by children | |
| Derrick et al. | Aero-tactile integration in Mandarin | |
| Lalonde et al. | Predictors of Susceptibility to Noise and Speech Masking Among School-Age Children With Hearing Loss or Typical Hearing | |
| Wasiuk et al. | Predicting speech-in-speech recognition: Short-term audibility and spatial separation | |
| POLO et al. | Development and evaluation of a novel adaptive staircase procedure for automated speech-in-noise testing | |
| Kurkowski et al. | Phonetic Audiometry and its Application in the Diagnosis of People with Speech Disorders |