WO2022050877A1 - Доврачебная оценка качества распознавания речи и скрининговая аудиометрия - Google Patents

Доврачебная оценка качества распознавания речи и скрининговая аудиометрия Download PDF

Info

Publication number
WO2022050877A1
WO2022050877A1 PCT/RU2021/050297 RU2021050297W WO2022050877A1 WO 2022050877 A1 WO2022050877 A1 WO 2022050877A1 RU 2021050297 W RU2021050297 W RU 2021050297W WO 2022050877 A1 WO2022050877 A1 WO 2022050877A1
Authority
WO
WIPO (PCT)
Prior art keywords
speech
test
sequence
user
screening
Prior art date
Application number
PCT/RU2021/050297
Other languages
English (en)
French (fr)
Inventor
Валерий Степанович Сироткин
Владимир Владимирович Ханыков
Original Assignee
Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН" filed Critical Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН"
Publication of WO2022050877A1 publication Critical patent/WO2022050877A1/ru
Priority to ZA2023/00918A priority Critical patent/ZA202300918B/en

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception

Definitions

  • This technical solution relates to tools and methods that provide automated execution of diagnostic procedures in terms of performing pre-medical assessment of the quality of speech recognition and screening audiometry using algorithms based on machine learning.
  • the main characteristic of any speech transmission channel including the auditory tract of human speech perception, is the intelligibility of speech.
  • a statistical method is used with the participation of a large number of listeners and speakers.
  • Speech intelligibility is understood as the relative or percentage of received (understood) speech elements out of the total number transmitted over the communication channel.
  • the elements of speech are syllables, sounds, words, phrases, numbers. In accordance with them, syllabic, sound, verbal, semantic and numerical intelligibility are set.
  • articulation tables of syllables, sound combinations and words have been developed, taking into account their occurrence in Russian speech.
  • the simplest and most accessible method is the study of hearing by speech in a noise signal.
  • the advantages of this method lie in its compliance with the main role of the auditory function in humans - to serve as a means of verbal communication.
  • DIRAC software is known (htp://asm-ttn.ru/7841 - which allows you to evaluate the acoustic environment of the room for the recognition of speech inside it.
  • this approach is not applicable to testing the auditory abilities of patients.
  • the disadvantage of this solution is the lack of accuracy in assessing the intelligibility of speech by the patient, which consists in the lack of automation of the process of recognizing the patient's responses by translating the patient's responses from the voice format to text to analyze the correctness of the words heard using artificial intelligence.
  • the claimed solution is aimed at solving the technical problem, which consists in creating a multifunctional, simple and effective method based on a standard computing device for providing pre-medical multifactorial assessment of the quality of speech recognition and screening audiometry.
  • the technical result is to provide a pre-medical assessment of the quality of speech recognition in noise and screening audiometry based on a single computing device and the formation of a detailed protocol for subsequent use.
  • An additional technical result is to increase the efficiency and accuracy of assessing the quality of speech recognition and screening audiometry through the use of synthesized speech using a machine learning model and the use of calibrated audio playback devices in the form of air-type and bone conduction headphones in testing.
  • the claimed technical result is achieved using an interactive software and hardware complex (HSC) for pre-medical multifactorial assessment of the quality of speech recognition and screening audiometry, containing a computing device connected by a data transmission channel, audio playback devices, and a speech information input device, while the computing device is configured to
  • HSC software and hardware complex
  • test speech sequence in the form of words and/or phrases with a given volume level and in a given language based on a matrix test that supports the selected language, wherein the test speech sequence is reproduced using speech simulation based on a deep machine learning model;
  • o speech recognition quality indicator about the presence of deviations from the norm in speech recognition, based on the analysis of the type of words in the test sequence
  • the sound reproduction device is a stereo air and bone conduction headphones operating in an extended frequency range.
  • the computing device is a tablet or smartphone.
  • the audio path of the computing device undergoes a preliminary procedure for metrological calibration and billing of the loudness scale in dB.
  • screening audiometry is carried out by supplying a sequence of tone signals of a standard set of frequencies in a semi-automatic mode separately to each of the channels of the playback device, with fixation of the user's response to recognize the tone signals.
  • a dichotomous search for the threshold value of the audibility level of tonal sounds in the range of 20 - 95 dB is performed at each frequency.
  • the initial volume level at each frequency is set depending on the threshold value at the previous frequency.
  • the voice input device is a built-in or external microphone.
  • the audio playback devices are connected to the computing device via a wired and/or wireless data transmission channel.
  • an external microphone is connected to a computing device via a wired or wireless data transmission channel.
  • the claimed technical result is also achieved using a method for pre-medical assessment of the quality of speech recognition and screening audiometry using the above interactive PAK, in which using a computing device
  • test speech sequence in the form of words and/or phrases with a given volume level and in a given language based on a matrix test that supports the selected language, and the test speech sequence is reproduced using speech simulation based on a deep machine learning model;
  • the computing device is a tablet or smartphone.
  • the audio path of the computing device undergoes a preliminary procedure for metrological calibration and billing of the loudness scale in dB.
  • screening audiometry is carried out by semi-automatically supplying a sequence of tone signals of a standard set of frequencies separately to each of the channels of the playback device, with fixing the user's response to recognize tone signals.
  • a dichotomous search for the threshold value of the audibility level of tonal sounds in the range of 20 - 95 dB is performed at each frequency.
  • the initial volume level at each frequency is set depending on the threshold value at the previous frequency.
  • the voice input device is a built-in or external microphone.
  • audio playback devices are connected to a computing device via a wired and/or wireless data transmission channel.
  • an external microphone is connected to a computing device via a wired or wireless data transmission channel.
  • Fig. 1 illustrates the general layout of an interactive HAC.
  • Fig. 2 illustrates a block diagram of the claimed method.
  • Fig. 3 - Fig. 4 illustrate an example of a setting interface for reproducing a speech sequence.
  • Fig. 5 illustrates an example of an interface with user response indication.
  • Fig. 6 illustrates an example of a speech intelligibility test protocol page.
  • Fig. 7 illustrates an example screening audiometry execution GUI.
  • Fig. 8 illustrates an example of an audiogram.
  • Fig. 9 illustrates a general view of the computing device.
  • Figure 1 shows the General scheme of the interactive PAK (100). It includes a computing device (110), which is a tablet or smartphone running an iOS, Android or Windows operating system. The device (110) implements all the necessary functionality that provides interaction with the user (10) to assess the quality of speech recognition and screening audiometry.
  • a computing device 110
  • the device (110) implements all the necessary functionality that provides interaction with the user (10) to assess the quality of speech recognition and screening audiometry.
  • the computing device (110) is manufactured on the basis of standard hardware, with the difference that its audio path undergoes a preliminary procedure of metrological calibration and billing of the loudness scale in dB, in order to comply with existing audiometric standards, for example, to ensure its functioning in accordance with GOSTR ISO 8253-3 - 2014 “Acoustics. Methods of audiometric tests”.
  • the computing device (110) contains connected to it via a data transmission channel, a device for inputting speech information (111) and audio playback devices (112, 113).
  • the voice input device (111) can be in the form of a built-in or external microphone.
  • the external version of the device (111) can be connected using any suitable connection principle, eg USB cable, Lightning connector, Bluetooth connection, etc.
  • Sound playback devices (112, FM) are two types of headphones - air (for example, Sennheiser hd 400s) and bone conduction (for example, Aftershock trekz titanium), which provide the possibility of selective two-channel sound transmission to the user (101), generated by a computing device (110 ).
  • Headphones (112, FM) are calibrated with verification, for example, using the Tester application, to match the output parameters of the product (volume, frequency) of the audiometric equipment. Calibration parameters must comply with international and / or national standards, for example, GOST R IEC 60645-1-2017.
  • Calibration of audio playback devices (112, FROM) is carried out using an artificial ear, for example, for example, manufactured by V&K.
  • the computing device (110) can also be connected via a data network (120), for example, the Internet, to a remote server (130), which can store various information, including settings, user data, update packages data, parameters and information for performing tests, etc.
  • a data network 120
  • the Internet for example, the Internet
  • a remote server 130
  • various information including settings, user data, update packages data, parameters and information for performing tests, etc.
  • the computing device (110) generates all the necessary signals, sounds and graphic information for the user testing process (101) to evaluate speech recognition and obtain screening audiometry data.
  • FIG. 2 is a description of a process for implementing a method (200) for assessing the quality of speech recognition and screening audiometry using an ACS (100).
  • the use of the claimed AAC allows for a pre-medical objectified and concretized assessment of the ability of a particular person to speech communication, while this HSS and the algorithms used in it are fully automated and easy to use.
  • a test speech sequence is formed using the device (software), for which the user (101) enters a specialized software application on the device (110).
  • the user (101) selects the language of the test sequence, for example, using the graphical interface of the application, or automatically by speaking a phrase suggested by the application for automatically recognizing the user's language (101).
  • the application used for device-assisted testing (SW) is based on artificial intelligence, in particular one or more machine learning models, for example, using an artificial neural network trained to recognize the user's speech (101).
  • test speech sequence After recognizing the required language for the implementation of the formation of a test speech sequence, the selection of the appropriate matrix test for a given language is performed. These types of tests are standardized and allow you to determine the degree of speech recognition ability in a noise signal (see, for example, Nuesse et al. Measuring Speech Recognition With a Matrix Test Using Synthetic Speech // Trends Hear. 2019 Jan-Dec; 23: 2331216519862982. Published online 2019 Jul 19. doi: 10.1177/2331216519862982).
  • the test speech sequence includes both individual words and phrases, which, within the framework of the selected matrix test, will be played in a random or specified order.
  • step (202) the setting of the competing noise sound is performed to be played simultaneously with the test speech sequence of the matrix test.
  • a specific test file and noise file can be selected at any time using the settings menu shown in FIG. 3.
  • noise level - for example, 7 dB below the level of the speech signal
  • noise level - for example, 7 dB below the level of the speech signal.
  • the speech sequence uses unique sound (speech and noise) files of our own design.
  • the list of these files can be changed and supplemented depending on the specific goals of the hearing test.
  • the generated sequence of words and phrases of the matrix test at step (203) is reproduced using a speech synthesizer built on the basis of machine learning models.
  • the appropriate type of voice female, male, children's, etc.
  • the appropriate type of voice can be selected, as well as simultaneously testing in several languages, with the possibility of switching them, which is important for people living in a country with several official languages (eg Switzerland).
  • PAK An important distinguishing feature of PAK (100) is the ability for the first time to assess speech intelligibility by bone conduction using headphones of the appropriate type, in particular, bone conduction stereo headphones (113) with an extended frequency range that have passed metrological calibration for compliance with GOST requirements. This makes it possible for the first time to assess the intelligibility of speech in people with diseases of the sound conduction system (otitis media of various forms), by applying speech signals through bone conduction directly to the cochlear system.
  • the PAC (100) provides a subsystem of the computing device (110) for calibrating audio equipment.
  • the sound paths of the used devices (110) of different types, different models, different air and bone headphones have different characteristics.
  • the device (110) provides the ability to adjust the volume of the output signal only in conventional units from 0.0 to 1.0.
  • dB decibels
  • An automatic system is provided to protect the user's auditory system (101) from acoustic overload.
  • the maximum listening level is limited to 95 dB at 1000 - 3000 Hz, with the ability to urgently mute the sound using the graphical interface of the application to perform a test running on the device (110).
  • Machine learning algorithms used to implement a software speech synthesizer can be, for example, Google Cloud Al & Machine Learning Products Speech-to-Text Google Cloud Al & Machine Learning Products Text-to-Speech (https://cloud.google.coni/text-to-speech), or any other algorithms that can be trained for the purpose of implementing this technical solution as part of an interactive HSS.
  • Training a model for a speech synthesizer can be carried out as follows.
  • the device (110) randomly generates 40 test phrases one after the other, randomly selecting one word in a given sequence from each row of the matrix.
  • the speaker, whose voice is copied, reads each sentence into the remote microphone (111) of the device (110).
  • the duration of the process can be from 25 to 35 minutes.
  • the resulting sound file is sent to a training server, for example, a remote server (130), which generates a working voice synthesizer model of a given specific person, used by text-to-speech or speech-to-text translation programs.
  • the application on the device (110) generates and plays the words and phrases of the corresponding matrix test using air conduction headphones (112).
  • the user responds (step 204) by interacting with the device interface (110) or by speaking each word and/or phrase of the test.
  • User voice response is captured by a microphone (111) and converted into text format for analysis for the correctness of the spoken phrase.
  • a list of all answer options is indicated as understood by the recognition system.
  • the user's response (101) is evaluated by the device (110) using a software module based on a machine learning model, which translates the user's response (101) into text and compares it with the reproduced word or phrase in the test speech sequence.
  • Speech sequence is played in parallel with the competing noise sound to more accurately assess the degree of speech intelligibility by the user (101) in the emulated situation.
  • Speech sound files and their corresponding text files can be stored on the computing device (110), which ensures the formation of an arbitrary combination of any speech sound file with any noise file without changing the testing program, as well as supplementing the list of files with arbitrary signals and noise.
  • test file and noise file can be selected at any time using the settings menu using the graphical interface of the device (110) shown in FIG. 4.
  • the user (101) After voicing one synthesized sentence, the user (101) repeats the heard sentence as he heard and understood it, after which, at step (205), the beginning of the speech response is automatically detected and compared word by word with the test variant, during which the number of incorrectly pronounced or missing words.
  • FIG. 5 shows an example of an indication of the correctness of the user's answer (101).
  • PAC allows the user (101) to choose the verification mode in which he experiences the greatest discomfort in his daily life, in particular, the type of voice (male, female, children's, etc.), the volume level of the conversation in generally accepted terms: whispered speech, normal conversation volume, loud conversation in a group.
  • the device (110) will automatically replace the selected “verbal” loudness description level with the corresponding metrologically confirmed listening intensity level in dB (whispered speech - 35 dB, normal speech - 50 dB, etc.).
  • the device (110) Upon completion of the test at step (205), the device (110) evaluates the phrase recognition result according to the international STI scale using the appropriate program logic.
  • the speech-in-noise test can be repeated several times with different test files, signal and noise levels, and channels.
  • the generalized results of testing the recognition of random phrases and individual words in noise can be viewed on the "Protocols" page (Fig. 6).
  • step (206) screening audiometry is performed using bone conduction (BM) headphones.
  • BM bone conduction
  • the device (110) generates tone signals to assess the thresholds of their perception by the user (101).
  • the procedure for screening audiometry consists in the sequential reproduction of single-tone signals with the following frequencies:
  • FM bone headphones
  • Signals are played through headphones (112, OUT) first to the right and then to the left ear.
  • the duration of the beep is set to 2 seconds, but can be changed.
  • a complete test is performed on the left and right ear using air (112) and bone ear (BM) earphones.
  • Program on the device (110) sequentially will check all frequencies from the list, but you can select the frequency to be checked for re-checking.
  • FIG. 7 is an example of the display of the user interface during the screening audiometry process.
  • a single-tone sound of a specified frequency is played in sequence in the range from 125 Hz to 20 kHz for the specified duration.
  • a dichotomous (binary) search for the threshold value of the audibility level is performed in the range of 20 - 95 dB, which makes it possible to find the threshold in 6 - 7 steps with an accuracy of 1 dB.
  • the user (101) is played a sound of a certain intensity, to which he reacts by pressing the buttons of the graphical interface of the device (110) "I hear” or "I do not hear”.
  • the starting volume level at each frequency is set depending on the threshold value at the previous frequency, which allows you to reduce the number of steps.
  • an audiogram is constructed, shown in Fig. 8. All registration and testing results are stored primarily on the device (110) in the Protocol.txt file. The directory and file are created automatically. When recognizing speech in noise, all variants returned by the software speech recognizer are indicated.
  • a final detailed protocol is formed, an example of which is presented below. The protocol can be used later when the user (101) contacts a specialist, for example, a doctor, with the provision of this protocol, or through telemedicine, sending the protocol to the doctor in digital form.
  • Lena is looking for eight main rooms > Lena is looking for eight main rooms
  • Lena makes the right seven rows > Lena makes the right seven rows
  • the protocol of all testing stages, including user registration (101), is stored on the device (software) and can also be sent to a remote storage, for example, a server (130) or third-party systems, in particular, used for telemedicine.
  • FIG. 9 shows a general example of a computing device (300) that can be used to implement the devices included in the HAC (100), such as a computing device (110).
  • the device (300) contains components such as: one or more processors (301), at least one random access memory (302), persistent data storage (303), input/output interfaces (304), I/O At (305), networking tools (306).
  • the processor (301) of the device performs the basic computing operations necessary for the operation of the device (300) or the functionality of one or more of its components.
  • the processor (301) executes the necessary machine-readable instructions contained in the main memory (302).
  • the memory (302) is typically in the form of RAM and contains the necessary software logic to provide the required functionality.
  • the data storage means (303) can be in the form of HDD, SSD disks, raid array, network storage, flash memory, optical information storage devices (CD, DVD, MD, Blue-Ray disks), etc.
  • the tool (303) allows long-term storage of various types of information, such as request processing history (logs), user IDs, sound files, etc.
  • Interfaces (304) are standard means for connecting and operating various types of devices (300), such as USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire, etc.
  • the choice of interfaces (304) depends on the specific implementation of the device (300), which can be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, and the like.
  • I/O data (305) can be used: a keyboard, a joystick, a display (touchscreen), a projector, a touchpad, a mouse, a trackball, a light pen, speakers, a microphone, and the like.
  • Means of networking (306) are selected from a device that provides network data reception and transmission, for example, an Ethernet card, WLAN/Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc. FROM the tool (306) provides the organization of data exchange over a wired or wireless data transmission channel, for example, WAN, PAN, LAN (LAN), Intranet, Internet, WLAN, WMAN or GSM.
  • a wired or wireless data transmission channel for example, WAN, PAN, LAN (LAN), Intranet, Internet, WLAN, WMAN or GSM.
  • the components of the device (300) are typically connected via a common data bus or any other type of communication that allows the elements of the device (300) to interact.

Abstract

Изобретение относится к средствам, обеспечивающим автоматизированное выполнение диагностических процедур в части выполнения доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью алгоритмов на базе машинного обучения. Техническим результатом является обеспечение доврачебной оценки качества распознавания речи в шуме и скрининговой аудиометрии на базе единого вычислительного устройства. Формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения. Осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов. Осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума. Получают устный ответ пользователя с помощью устройства ввода речевой информации. В автоматизированном режиме осуществляют автоматическое преобразование устного ответа пользователя в текстовый вид; анализ устного ответа пользователя.

Description

ДОВРАЧЕБНАЯ ОЦЕНКА КАЧЕСТВА РАСПОЗНАВАНИЯ РЕЧИ И СКРИНИНГОВАЯ АУДИОМЕТРИЯ
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к средствам и методам, обеспечивающим автоматизированное выполнение диагностических процедур в части выполнения доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью алгоритмов на базе машинного обучения.
УРОВЕНЬ ТЕХНИКИ
Основной характеристикой любого канала передачи речи, включая слуховой тракт восприятия речи человека, является понятность речи. Для определения этой характеристики в технических системах связи применяют статистический метод с участием большого числа слушателей и дикторов.
Под разборчивостью речи понимают относительное или процентное количество принятых (понятых) элементов речи из общего числа, переданных по каналу связи. Элементы речи составляют слоги, звуки, слова, фразы, числа. В соответствии им поставлены слоговая, звуковая, словесная, смысловая и числовая разборчивость. Для измерения разборчивости разработаны артикуляционные таблицы слогов, звукосочетаний и слов с учетом встречаемости их в русской речи.
Термином «социальная адекватность слуха» обозначают способность человека воспринимать звуковые стимулы различной сложности (включая речевые) и участвовать в диалоге. У людей с уровнем слуха ниже «социально адекватного» возникают сложности в общении с окружающими, появляются проблемы на работе, в быту. Так называемая стигма тугоухости заставляет людей скрывать свою коммуникативную проблему десятилетиями !
Исследования слуховой функции осуществляется посредством двух групп методов:
Субъективных (психоакустических) :
- исследование слуха речью с шумом;
- исследование слуха при помощи камертонов; субъективная аудиометрия. Объективных:
- объективная (компьютерная) аудиометрия;
- акустическая рефлексометрия;
- тимпанометрия;
- отоакустическая эмиссия;
- безусловные рефлекторные реакции;
- условные реакции на звук.
При всех субъективных методах исследования слуха сам испытуемый оценивает: слышит он звук или нет и каким-либо иным способом и сообщает об этом специалисту.
При объективных методах обследования полученные результаты не зависят от желания пациента, регистрация их в большинстве случаев происходит при помощи специальной аппаратуры.
К сожалению, результаты практически всех видов диагностики слуха, кроме прямой оценки разборчивости слуха речью, описывают результаты обследования в специфических терминах (децибелы, аудиограммы, номера пиков кривых и т.д.) и не дают пациенту объективной информации о его «реальной степени социальной адекватности». Все это множество научных терминов не даёт человеку прямого ответа: как хорошо, или как плохо, он слышит и понимает «обычную» речь собеседника в реальном шуме, окружающем его ежедневно. Многочисленные результаты современных высокоточных обследований нужны специалистам; человеку с нарушениями слуха нужно знать только одно - насколько хорошо он понимает речь собеседника в обычных условиях. Для такой бытовой комплексной оценки хорошо подходит методика оценки удовлетворённости по шкале Ликерта.
Самым простым и доступным методом является исследование слуха речью в шумовом сигнале. Достоинства этого метода заключаются в его соответствии основной роли слуховой функции у человека — служить средством речевого общения.
При исследовании слуха речью применяется шепотная и громкая речь. Конечно, оба эти понятия не включают точной дозировки силы и высоты звука, однако некоторые показатели, определяющие динамическую (силовую) и частотную характеристику шепотной и громкой речи, все же имеются. При исследовании слуха речью весь речевой материал произносится на резервном воздухе (вдох-выд ox-речь). Это способствует уравниванию громкости при предъявлении всего речевого материала у разных лиц.
Важным обстоятельством при исследовании слуха является "заглушение" неисследуемго уха. Есть несколько способов заглушения: вложить в ушной проход ватку с вазелином, ввести в ушной проход палец, смоченный водой, вдавить в слуховой проход козелок уха, потирать тыльную сторону ладони, закрывающей ухо, другой рукой.
Основным преимуществом исследования слуха речью является его «физиологическая понятность» для испытуемого. Основными проблемными препятствиями для широкого применения являются:
- невозможность обеспечения воспроизводимости результатов для разных испытателей, так и для одного испытателя в разное время;
- относительную длительность и трудоёмкость испытаний;
- необходимость выполнения исследования специально обученным медицинским персоналом.
Из существующего уровня техники известны различные подходы по оценке распознаваемости речи. Известно программное обеспечение DIRAC (htp://asm-ttn.ru/7841 -
Figure imgf000005_0001
которое позволяет оценить акустическую обстановку помещения на предмет распознаваемости речи внутри него. Однако данный подход не применим для тестирования слуховых возможностей пациентов.
Известен способ диагностики уровня слуха (патент RU 2467691 С1, 27.11.2012), в котором используют речевую таблицу В. Воячека, которую записывают в память цифрового устройства в звуковом формате mp3. После повторения пациентом слов определяют процент правильно повторяемых от общего числа слов таблицы. При этом используют клавиатуру устройства для регистрации ответа пациента при громкостях звукового сигнала 10, 20 и 30% от максимальной мощности наушников соответственно. Затем выявляют снижение процента разборчивости речи. При снижении процента разборчивости речи менее 95% по любому размеру мощности наушников судят о наличии тугоухости.
Недостатком данного решения является недостаточная точность оценки разборчивости речи пациентом, которая заключается в отсутствии автоматизации процесса распознавания ответов пациента, с помощью перевода ответов пациента из голосового формата в текстовый для анализа правильности услышанных слов с помощью искусственного интеллекта.
С развитием уровня техники в области технологий, применяемых для диагностических целей различного профиля, в том числе и для проверки качества слуха, речевого распознавания и аудиометрии, все более насущной проблемой становится необходимость автоматизации всех ключевых функций, которые могут быть доступны конечному пользователю без необходимости прибегания к услугам профильных специалистов, а также упрощающих получение первичной картины состояния органов слуха, что позволяет решить проблему получения помощи населению в регионах, в которых отсутствует возможность обращения к профильному специалисту, как к таковому.
Авторами настоящего технического решения ранее был предложен метод на основании искусственного интеллекта для автоматической многофакторной оценки качества распознавания речи пациентом, за счет преобразования голосовых ответов пациента в текстовый формат и сравнения результатов с тестовой последовательностью слов, которая воспроизводилась с учетом шумовых сигналов, для повышения качества тестирования и моделирования бытовых ситуаций, критичных для пользователя с теми или иными нарушениями слуха (патент РФ №2729147, 05.08.2020).
Но эта разработка, хоть и снизила существенно трудоёмкость выполнения процедуры оценки разборчивости речи в шуме, но не устранила основную ключевую проблему работоспособности всего первичного звена сурдологии - практического отсутствия в необходимых количествах подготовленных медицинских специалистов. При проведении оценки разборчивости фразовой речи требуются «человеческие способности» для перевода сгенерированного программой тестового предложения в голосовое сообщение, которое будет воспринято испытуемым человеком, как часть речи «живого» собеседника. Только полностью решив эту проблему можно было разработать полностью автоматический многофункциональный диагностический фронтэнд терминал, обеспечивший выполнение этой рутинной хорошо проработанной процедуры без участия специально подготовленного медперсонала. С помощью реализации заявленного технического решения миллионы людей смогу самостоятельно и достоверно оценить свои возможности к речевой коммуникации и принять обоснованное решение о срочности и необходимости дальнейшего обращения к специалисту. СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Заявленное решение направлено на решение технической проблемы, заключающейся в создании многофункционального, простого и эффективного способа на базе стандартного вычислительного устройства для обеспечения доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии.
Техническим результатом является обеспечение доврачебной оценки качества распознавания речи в шуме и скрининговой аудиометрии на базе единого вычислительного устройства и формирование детального протокола для последующего использования.
Дополнительным техническим результатом является повышение эффективности и точности оценки качества распознавания речи и скрининговой аудиометрии за счет применения синтезированной речи с помощью модели машинного обучения и применении в тестировании откалиброванных устройства звукового воспроизведения в виде наушников воздушного типа и с костной звукопроводимостью.
Заявленный технический результат достигается с помощью интерактивного программноаппаратного комплекса (ПАК) для доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии, содержащий связанные каналом передачи данных вычислительное устройство, устройства звукового воспроизведения, и устройство ввода речевой информации, при этом вычислительное устройство выполнено с возможностью
- формирования тестовой речевой последовательности в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
- выбора шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
- управления отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
- получения устного ответа пользователя с помощью устройства ввода речевой информации и автоматическое преобразование его в текст; - автоматического анализа устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя;
- автоматического расчета на основании устных ответов пользователя: о показателя качества распознавания речи; о наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;
- формирования последовательности тоновых сигналов и осуществления процедуры оценочной скрининговой аудиометрии на основании формируемой последовательности тоновых сигналов и построением скрининговой аудиограммы;
- формирования протокола оценки качества распознавания речи пользователем и данных скрининговой аудиограммы; устройства звукового воспроизведения, выполненные в виде наушников воздушного и костного звукопроведения, обеспечивают:
- селективную двухканальную подачу звукового сигнала в левый и правый каналы, или в оба канала одновременно;
- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
В одном из частных примеров реализации интерактивного ПАК устройства звукового воспроизведения представляет собой стереофонические наушники воздушного и костного звукопроведения, работающие в расширенном диапазоне частот.
В другом частном примере реализации интерактивного ПАК вычислительное устройство представляет собой планшет или смартфон.
В другом частном примере реализации интерактивного ПАК звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
В другом частном примере реализации интерактивного ПАК скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов. В другом частном примере реализации интерактивного ПАК на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20 - 95 дБ.
В другом частном примере реализации интерактивного ПАК начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
В другом частном примере реализации интерактивного ПАК устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
В другом частном примере реализации интерактивного ПАК устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
В другом частном примере реализации интерактивного ПАК внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
Заявленный технический результат также достигается с помощью способа доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью вышеуказанного интерактивного ПАК, при котором с помощью вычислительного устройства
- формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
- осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
- осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
- получают устный ответ пользователя с помощью устройства ввода речевой информации;
- в автоматизированном режиме осуществляют о автоматическое преобразование устного ответа пользователя в текстовый вид; о анализ устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя; о расчет на основании устных ответов пользователя показателя качества распознавания речи и наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;
- формируют последовательность тоновых сигналов, с помощью которой выполняют процедуру оценочной скрининговой аудиометрии с формированием скрининговой аудиограммы;
- формируют протокол оценки качества распознавания речи пользователем и данных скрининговой аудиограммы; с помощью устройств звукового воспроизведения, выполненных в виде наушников воздушного и костного звукопроведения, осуществляют:
- селективную подачу звукового сигнала в левый и правый каналы;
- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
В одном из частных примеров осуществления способа вычислительное устройство представляет собой планшет или смартфон.
В другом частном примере осуществления способа звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
В другом частном примере осуществления способа скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.
В другом частном примере осуществления способа на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20 - 95 дБ.
В другом частном примере осуществления способа начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
В другом частном примере осуществления способа устройство ввода речевой информации представляет собой встроенный или внешний микрофон. В другом частном примере осуществления способа устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
В другом частном примере осуществления способа внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 иллюстрирует общую схему интерактивного ПАК.
Фиг. 2 иллюстрирует блок-схему заявленного способа.
Фиг. 3 - Фиг. 4 иллюстрируют пример интерфейса установки настроек для воспроизведения речевой последовательности.
Фиг. 5 иллюстрирует пример интерфейса с индикацией ответа пользователя.
Фиг. 6 иллюстрирует пример страницы протокола тестирования разборчивости речи.
Фиг. 7 иллюстрирует пример графического интерфейса выполнения скрининговой аудиометрии.
Фиг. 8 иллюстрирует пример аудиограммы.
Фиг. 9 иллюстрирует общий вид вычислительного устройства.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
На Фиг.1 представлена общая схема интерактивного ПАК (100). В его состав входит вычислительное устройство (110), представляющее собой планшет или смартфон, под управлением операционной системы iOS, Android или Windows. Устройство (110) осуществляется весь необходимый функционал, обеспечивающий взаимодействие с пользователем (10) для проведения оценки качества распознавания речи и скрининговой аудиометрии.
Вычислительное устройство (110) изготавливается на базе стандартных аппаратных средств, с тем отличием, что его звуковой тракт проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ, для его соответствия существующим аудиометрическим стандартам, например, для обеспечения его функционирования в соответствие с ГОСТР ИСО 8253-3 — 2014 «Акустика. Методы аудиометрических испытаний».
Вычислительное устройство (110) содержит подключаемые к нему посредством канала передачи данных, устройство ввода речевой информации (111) и устройства звукового воспроизведения (112, 113).
Устройство ввода речевой информации (111) может выполняться в виде встроенного или внешнего микрофона. Внешнее исполнение устройства (111) может подключаться с помощью любого пригодного принципа связи, например, USB кабель, Lightning разъем, Bluetooth связь и т. и.
Устройства звукового воспроизведения (112, ИЗ) представляют собой два типа наушников - воздушной (например, Sennheiser hd 400s) и костной проводимости (например, Aftershock trekz titanium), которые обеспечивают возможность селективной двухканальной передачи звука пользователю (101), формируемого вычислительным устройством (110). Наушники (112, ИЗ) калибруются с проверкой, например, с помощью приложения Tester, для соответствия выходных параметров изделия (громкость, частота) аудиометрическому оборудованию. Калибровочные параметры должны соответствовать международным и/или национальным стандартам, например, ГОСТ Р МЭК 60645-1-2017. Калибровка устройств звукового воспроизведения (112, ИЗ) осуществляется с помощью искусственного уха, например, например производства фирмы В&К.
Вычислительное устройство (110) также может быть связано посредством сети передачи данных (120), например, сети «Интернет», с удаленным сервером (130), на котором может храниться различная информация, в том числе, настройки, данные пользователей, пакеты для обновления данных, параметры и информация для осуществления тестов и т.п.
Вычислительное устройство (110) обеспечивает формирование всех необходимых сигналов, звуков и графической информации для осуществления процесса тестирования пользователя (101) на предмет оценки распознавания речи и получения данных скрининговой аудиометрии.
На Фиг. 2 представлено описание процесса осуществления способа (200) оценки качества распознавания речи и скрининговой аудиометрии с помощью ПАК (100). Применение заявленного ПАК позволяет осуществить доврачебную объективированную и конкретизированную оценку возможности конкретного человека к речевой коммуникации, при этом, данный ПАК и применяемые в нем алгоритмы полностью автоматизированы и просты в использовании.
На первом этапе (201) осуществляется формирование с помощью устройства (ПО) тестовой речевой последовательности для чего пользователь (101) осуществляется вход в специализированное программное приложение на устройстве (110). Пользователь (101) осуществляет выбор языка тестовой последовательности, например, с помощью графического интерфейса приложения, или автоматически с помощью произнесения фразы, предложенной приложением для автоматического распознавания языка пользователя (101). Приложение, применяемое для тестирования с помощью устройства (ПО), основано на базе искусственного интеллекта, в частности, одной или нескольких моделях машинного обучения, например, с применением искусственной нейронной сети, обученной на распознавание речи пользователя (101).
После распознавания требуемого языка для осуществления формирования тестовой речевой последовательности, выполняется выбор соответствующего матричного теста для заданного языка. Такие типы тестов являются стандартизованными и позволяют определить степень возможности распознавания речи в шумовом сигнале (см, например, Nuesse et al. Measuring Speech Recognition With a Matrix Test Using Synthetic Speech // Trends Hear. 2019 Jan-Dec; 23: 2331216519862982. Published online 2019 Jul 19. doi: 10.1177/2331216519862982). Тестовая речевая последовательность включает в себя как отдельные слова, так и фразы, которые в рамках выбранного матричного теста будут воспроизводиться в случайном или заданном порядке.
Далее на этапе (202) выполняется установка конкурирующего шумового звука, который будет воспроизводиться одновременно с тестовой речевой последовательностью матричного теста. Перед запуском теста можно установить громкость речевого сигнала и громкость шума, количество слов в тесте, отключить левый или правый канал. При тестировании распознавания речи в шуме конкретный тестовый файл и файл шума можно выбрать в любой момент, используя меню настроек, представленный на Фиг. 3.
Пример первоначальных настроек тестирования:
По умолчанию установлены значения:
1. Выполнение фразового теста
- тип шума - шум толпы
- выполняемый тест - полная матрица; - уровень громкости полезного речевого сигнала - «нормальная речь» (45 дБ);
- уровень шума - например, на 7 дб ниже уровня речевого сигнала;
- количество тестовых предложений - 10.
2. Выполнение словесного теста:
- выполняемый тест таблицы разносложных слов, содержащих все фонемы русского языка (Гринберг Г. И., Зиндер Л.Р.);
- количество тестовых слов - 20;
- уровень громкости полезного речевого сигнала - «нормальная речь» (45 дБ);
- тип шума - шум толпы;
- уровень шума - например, на 7 дБ ниже уровня речевого сигнала.
Речевая последовательность использует уникальные звуковые (речевые и шумовые) файлы собственной разработки. Перечень этих файлов может изменяться и дополняться в зависимости от конкретных целей исследования слуха.
Сформированная последовательность слов и фраз матричного теста на этапе (203) воспроизводится с помощью синтезатора речи, построенного на базе моделей машинного обучения. При этом, для более точного тестирования для каждого пользователя (101) может выбираться соответствующий тип голоса (женский, мужской, детский и т.п.), а также одновременно проведения тестирования на нескольких языках, с возможностью их переключения, что важно для людей, живущих в стране с несколькими официальными языками (например, Швейцария).
Перед запуском теста можно установить некоторые режимы проведения теста, представленные интерфейсом на Фиг. 4:
• выбрать проверяемое ухо (оба, правое или левое);
• установить счётчик тестовых фраз;
• выбрать голос; установить соотношение громкости полезного сигнала и шума одним из типичных значений или вручную. Важной особенностью заявленного решения является его реализация в части воспроизведения речи с помощью программного синтезатора с заданными параметрами (мужской, женский, детский, хриплый, шепотом и т.п.), с заданным уровнем громкости, скорости, разборчивости произношения фонем, слов, предложений с соблюдением интонационных особенностей данного национального языка.
Важной отличительной чертой ПАК (100) является возможность впервые проводить оценку разборчивости речи по костной проводимости с использованием наушников соответствующего типа, в частности, стереофонических наушников (113) костной проводимости с расширенным частотным диапазоном, прошедшим метрологическую калибровку на соответствие требованиям ГОСТ. Это впервые даёт возможность проведения оценки разборчивости речи у людей с заболеваниями системы звукопроведения (отиты различной формы), подавая речевые сигналы через костную проводимость непосредственно к улитковой системе.
В ПАК (100) предусмотрена подсистема вычислительного устройства (110) калибровки звукового оборудования. Звуковые тракты применяемых устройств (110) разного вида, различных моделей, различные воздушные и костные наушники обладают разными характеристиками. Кроме того, устройство (110) обеспечивает возможность регулировки громкость выходного сигнала только в условных единицах от 0.0 до 1.0.
В сурдологии принято измерять уровень звукового сигнала в децибелах (дБ). Этот уровень зависит от уровня звукового давления логарифмически. Для преобразования условных единиц громкости выходного сигнала устройства (110) в дБ была разработана методика калибровки звукового оборудования, которую необходимо проводить для каждой конкретной модели применяемого устройства (110), воздушных (112) и костных наушников (113).
Предусмотрена автоматическая система защиты слуховой системы пользователя (101) от акустической перегрузки. Максимальный прослушиваемый уровень ограничен значением в 95 дБ на частоте 1000 — 3000 Гц, с возможностью срочного отключения звука с помощью графического интерфейса приложения для выполнения теста, запущенного на устройстве (110).
Сама по себе необходимость подавать уровни громкости прослушивания, превышающие значение 95 дБ, означает наличие у человека тяжелой потери слуха, требующего только срочного профессионального обследования профильным специалистом. Эта сигнальная информация формируется автоматически. Применяемые для реализации программного синтезатора речи алгоритмы машинного обучения, могут представлять собой, например, Google Cloud Al & Machine Learning Products Speech-to-Text
Figure imgf000016_0001
Google Cloud Al & Machine Learning Products Text-to-Speech (https://cloud.google.coni/text-to-speech), или любые другие алгоритмы, которые могут быть обучены для целей реализации настоящего технического решения в составе интерактивного ПАК.
Обучение модели для синтезатора речи может осуществляться следующим образом. Устройство (110) случайным образом формирует одно за другим 40 тестовых фраз, выбирая случайным образом из каждой строки матрицы по одному слову в заданной последовательности. Диктор, голос которого копируется, зачитывает в вынесенный микрофон (111) устройства (110) каждое предложение. Длительность процесса может составлять от 25 до 35 минут. Полученный звуковой файл пересылается в обучающий сервер, например, удаленный сервер (130), который вырабатывает рабочую модель синтезатора голоса заданного конкретного человека, используемую программами перевода «текст - речь» или «речь - текст».
Замена голоса «живого» диктора или специалиста на синтезированный программами искусственного интеллекта (ИИ) точный акустический аналог с заданными характеристиками позволяет решить специфическую, но социально очень важную проблему. Ухудшение слуха у некоторой категории людей (пожилые люди с признаками деменции, дети с аутизмом и другими ментальными расстройствами) приводит к проблемам с речевой коммуникацией, поскольку они воспринимают голоса только очень близких людей. Ряд современных ИИ систем уже предоставляют возможность воспроизводить заданный произвольный текст голосом «очень похожим» на требуемый голос. Для диагностики уровня разборчивости речи у детей с синдромом дауна, как правило, все тесты должны воспроизводиться голосом матери или другого близкого человека, с которым ребенок идет на контакт. Таким образом, применение обученного синтезатора речи в составе ПАК (100) позволяет расширить его применение для различного рода ситуаций и более точного выявления тех или иных нарушений слуха у пациентов.
На этапе (203) приложение на устройстве (110) генерирует и воспроизводит слова и фразы соответствующего матричного теста с помощью наушников с воздушной проводимостью (112). По факту произнесения слов и фраз с помощью синтезатора речи, пользователь дает отклик (этап 204) с помощью взаимодействия интерфейсом устройства (110) или с помощью произнесения каждого слова и/или фразы теста. Голосовой ответ пользователя фиксируется с помощью микрофона (111) и преобразуется в текстовый формат для его анализа на правильность произнесенной фразы. В ходе теста в нижней части экрана устройства (110) указывается перечень всех вариантов ответа как его поняла система распознавания.
Отклик пользователя (101) оценивается устройством (110) с помощью программного модуля на базе модели машинного обучения, который переводит ответ пользователя (101) в текст и сравнивает его с воспроизведенным словом или фразой в тестовой речевой последовательности .
Речевая последовательность воспроизводится параллельно с конкурирующим шумовым звуком, чтобы более точно оценить степень разборчивости речи пользователем (101) в эмулируемой ситуации. Речевые звуковые файлы и соответствующие им текстовые файлы могут хранится на вычислительном устройстве (110), что обеспечивает формирование произвольной комбинации любого речевого звукового файла с любым шумовым, не изменяя программу тестирования, а также дополнять список файлов произвольными сигналами и шумами.
При тестировании распознавания речи в шуме конкретный тестовый файл и файл шума можно выбрать в любой момент, используя меню настроек с помощью графического интерфейса устройства (110), представленного на Фиг. 4.
После озвучивания одного синтезированного предложения пользователь (101) повторяет услышанное предложение так, как он его услышал и понял, после чего на этапе (205) выполняется автоматическое обнаружение начала речевого ответа и производится его пословное сравнение с тестовым вариантом, в ходе которого подсчитывается количество неправильно произнесённых или пропущенных слов. На Фиг. 5 представлен пример индикации правиьлности ответа пользователя (101).
Предусмотрена несколько тестов разной степени сложности на все возрастные группы:
1. скрининговая оценка разборчивости слуха у детей:
- возрастная группа от 7 до 14 лет.
2. Сбалансированные тесты (двухзначные числа)
3. Таблицы разносложных слов, содержащие все фонемы русского языка (Гринберг Г. И.6 Зиндер Л.Р.)
4. Таблицы фонемосбалансированных слов (Нейман) При проведении теста разборчивости речи в шуме обычно рекомендуется использовать в качеств помехи белый или розовый шумы, имитирующие речевой спектр голосов большой группы людей, стоящих на больших открытых пространствах. При этом, шумовой звук может быть смоделирован, выбором из большого диапазона различных ситуаций, наиболее подходящих для ситуации тестируемого пользователя, например, совещание, шумы цеха, стройка, шум толпы в закрытом помещении и т.п.
ПАК (100) обеспечивает возможность пользователю (101) самому выбрать тот режим проверки, в котором в его повседневной жизни он испытывает наибольший дискомфорт, в частности, тип голоса (мужской, женский, детский и т.п.), уровень громкости беседы в общепринятых терминах: шепотная речь, нормальный уровень громкости разговора, громкий разговор в группе. При этом устройство (110) автоматически заменит выбранный «словесный» уровень описания громкости на соответсвующий метрологически подтверждённый уровень интенсивности прослушивания в дБ (шепотная речь - 35 дБ, нормальная речь - 50дБ и т.д.).
По окончании теста на этапе (205), устройство (110) с помощью соответствующей программной логики оценивает результат распознавания фраз по международной шкале STI. Тест распознавания речи в шуме можно повторить несколько раз с разными тестовыми файлами, уровнями громкости сигнала и шума и каналами. Обобщённые результаты тестирования распознавания случайных фраз и отдельных слов в шуме можно посмотреть на странице «Протоколы» (Фиг. 6).
Далее на этап (206) выполняется скрининговая аудиометрия с помощью применения наушников с костной проводимостью (ИЗ). В ходе данной проверки устрйоство (110) формирует тоновые сигналы для оценки порогов их восприятия пользователем (101).
Процедура скрининговой аудиометрии заключается в последовательном воспроизведении однотонных сигналов со следующими частотами:
- для воздушных наушников (112): 1, 1.5, 2, 3, 4, 6, 8, 12, 16 и 20 кГц и затем с частотами 750, 500, 250 и 125 Гц;
- для костных наушников (ИЗ): 1, 1.5, 2, 3, 4, 6, 8, 12, 16 и20 кГц и затем с частотами 750, 500 и 250 Гц.
Сигналы воспроизводятся через наушники (112, ИЗ) сначала в правое, а затем в левое ухо. Длительность звукового сигнала устанавливается в 2 секунды, но может быть изменена. Полный тест проводится для левого и правого уха с использованием воздушных (112) и костных наушников (ИЗ). Программа на устройстве (110) последовательно проверит все частоты из списка, но можно выбрать проверяемую частоту для повторной проверки. На Фиг. 7 приведен пример отображения интерфейса пользователя при выполнении процесса скрининговой аудиометрии.
При запуске теста последовательно воспроизводится однотонный звук заданной частоты в диапазоне от 125 Гц до 20 кГц указанной длительности. На каждой частоте выполняется дихотомический (бинарный) поиск порогового значения уровня слышимости в интервале 20 - 95 дБ, что позволяет найти порог за 6 - 7 шагов с точностью 1 дБ. На каждом шаге пользователю (101) воспроизводится звук определённой интенсивности, на который он реагирует нажатием кнопок графического интерфейса устройства (110) «Слышу» или «Не слышу». Стартовый уровень громкости на каждой частоте устанавливается в зависимости от значения порога на предыдущей частоте, что позволяет уменьшить количество шагов. По результатам проверки строится аудиограмма, представленная на Фиг. 8. Все результаты регистрации и тестирования сохраняются первично на устройстве (110) в файле Protocol.txt. Директория и файл создаются автоматически. При распознавании речи в шуме указываются все варианты, возвращённые программным распознавателем речи. На этапе (207) по итогам проведенной оценки распознавания речи и скрининговой аудиометрии формироуется итоговый детальный протокол, пример которого представлен ниже. Протокол может использоваться в дальнейшем при обращении пользователя (101) к профильному специалисту, например, врачу, с предоставлением настоящего протокола, или посредством средств телемедицины, направляя протокол врачу в цифровом виде.
***** вХОд в Регистрацию *****
Иванов Иван Иванович 1987
* 09.08.2020 13:39
* Распознавание фраз в шуме
* Лена ищет восемь главных комнат > Лена ищет восемь главных комнат
* Лена делает семь нужных рядов > Лена делает семь нужных рядов
* Павел ищет шесть чужих рядов > Павел ищет шесть чужих рядов
* Результат: 3 / 3 -> ОТЛИЧНО
* Распознавание слов в шуме
* Все тесты Гринберга (3/80) 95 дБ, Толпа людей 15 дБ, ухо Оба
* Жалоба > Жалоба
* Пьяный > Пьяный * Искать > Искать
* Результат: 3 / 3 -> ОТЛИЧНО
* Аудиометрия, правое ухо
* * Правое ухо, воздушные наушники
* 125 Гц -> слышно при 38.0 дБ
* 250 Гц -> слышно при 44.0 дБ
* 500 Гц -> слышно при 39.0 дБ
* 750 Гц -> слышно при 48.0 дБ
* 1000 Гц -> слышно при 48.0 дБ
* 1500 Гц -> слышно при 38.0 дБ
* 2000 Гц -> слышно при 35.0 дБ
* 3000 Гц -> слышно при 43.0 дБ
* 4000 Гц -> слышно при 30.0 дБ
* 6000 Гц -> слышно при 65.0 дБ
* 8000 Гц -> слышно при 67.0 дБ
* 12000 Гц -> слышно при 96.0 дБ
* 16000 Гц -> слышно при 100.0 дБ
* Аудиометрия, левое ухо
* * Левое ухо, воздушные наушники
* 125 Гц -> слышно при 40.0 дБ
* 250 Гц -> слышно при 40.0 дБ
* 500 Гц -> слышно при 55.0 дБ
* 750 Гц -> слышно при 63.0 дБ
* 1000 Гц -> слышно при 34.0 дБ
* 1500 Гц -> слышно при 58.0 дБ
* 2000 Гц -> слышно при 60.0 дБ
* 3000 Гц -> слышно при 63.0 дБ
* 4000 Гц -> слышно при 46.0 дБ
* 6000 Гц -> слышно при 64.0 дБ
* 8000 Гц -> слышно при 68.0 дБ
* 12000 Гц -> слышно при 78.0 дБ
* 16000 Гц -> слышно при 89.0 дБ
* 20000 Гц -> слышно при 100.0 дБ Протокол всех этапов тестирования, включая регистрацию пользователя (101), сохраняется на устройвтве (ПО) и может быть также направлен на удаленное хранилище, например, сервер (130) или сторонние системы, в частности, применяемых для телемедицины.
На Фиг. 9 представлен общий пример компьютерного устройства (300), которое может применяться для реализации устройств, входящих в ПАК (100), например, вычислительного устройства (110). В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну оперативную память (302), средство постоянного хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).
Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функционала одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).
Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), идентификаторов пользователей, звуковые файлы и т.п.
Интерфейсы (304) представляют собой стандартные средства для подключения и работы различного вида устройств (300), например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
В качестве средств В/В данных (305) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средства (306) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
Компоненты устройства (300), как правило, сопряжены посредством общей шины передачи данных или посредством любого друго типа связи, обеспечивающего взаимодействие элементов устройства (300).
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Claims

ФОРМУЛА
1. Интерактивный программно-аппаратный комплекс (ПАК) для доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии, содержащий связанные каналом передачи данных вычислительное устройство, устройства звукового воспроизведения, и устройство ввода речевой информации, при этом вычислительное устройство выполнено с возможностью
- формирования тестовой речевой последовательности в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
- выбора шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
- управления отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
- получения устного ответа пользователя с помощью устройства ввода речевой информации;
- автоматического анализа устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с преобразованием его в текстовый вид и отображением правильности ответа пользователя;
- автоматического расчета на основании устных ответов пользователя: о показателя качества распознавания речи; о наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;
- формирования последовательности тоновых сигналов и осуществления процедуры оценочной скрининговой аудиометрии на основании формируемой последовательности тоновых сигналов и построением скрининговой аудиограммы;
- формирования протокола оценки качества распознавания речи пользователем и данных скрининговой аудиограммы; устройства звукового воспроизведения, выполненные в виде наушников воздушного и костного звукопроведения, обеспечивают:
- селективную двухканальную подачу звукового сигнала в левый и правый каналы, или в оба канала одновременно: - воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
2. Интерактивный ПАК по и. 1, в котором устройства звукового воспроизведения представляет собой стереофонические наушники воздушного и костного звукопроведения, работающие в расширенном диапазоне частот.
3. Интерактивный ПАК по и. 1, в котором вычислительное устройство представляет собой планшет или смартфон.
4. Интерактивный ПАК по и. 3, в котором звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
5. Интерактивный ПАК по и. 1, в котором скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.
6. Интерактивный ПАК по и. 5, в котором на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20 - 95 дБ.
7. Интерактивный ПАК по и. 6, в котором начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
8. Интерактивный ПАК по и. 1, в котором устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
9. Интерактивный ПАК по и. 1, в котором устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
10. Интерактивный ПАК по и. 8, в котором внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
11. Способ доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии с помощью интерактивного ПАК по любому из пап. 1-10, при котором с помощью вычислительного устройства
- формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;
- осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;
- осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;
- получают устный ответ пользователя с помощью устройства ввода речевой информации;
- в автоматизированном режиме осуществляют о автоматическое преобразование устного ответа пользователя в текстовый вид; о анализ устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя; о расчет на основании устных ответов пользователя показателя качества распознавания речи и наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;
- формируют последовательность тоновых сигналов, с помощью которой выполняют процедуру оценочной скрининговой аудиометрии с формированием скрининговой аудиограммы;
- формируют протокол оценки качества распознавания речи пользователем и данных скрининговой аудиограммы; с помощью устройств звукового воспроизведения, выполненных в виде наушников воздушного и костного звукопроведения, осуществляют:
- селективную подачу звукового сигнала в левый и правый каналы;
- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;
- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.
12. Способ по и. 11, в котором вычислительное устройство представляет собой планшет или смартфон.
13. Способ по п. 12, в котором звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.
14. Способ по и. 11, в котором скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.
15. Способ по и. 14, в котором на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20 - 95 дБ.
16. Способ по и. 15, в котором начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.
17. Способ по и. 11, в котором устройство ввода речевой информации представляет собой встроенный или внешний микрофон.
18. Способ по и. 11, в котором устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.
19. Способ по и. 17, в котором внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.
PCT/RU2021/050297 2020-09-07 2021-09-15 Доврачебная оценка качества распознавания речи и скрининговая аудиометрия WO2022050877A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
ZA2023/00918A ZA202300918B (en) 2020-09-07 2023-01-20 Pre-medical speech recognition assessment and audiometry screening

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2020129492A RU2743049C1 (ru) 2020-09-07 2020-09-07 Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий
RU2020129492 2020-09-07

Publications (1)

Publication Number Publication Date
WO2022050877A1 true WO2022050877A1 (ru) 2022-03-10

Family

ID=74666016

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2021/050297 WO2022050877A1 (ru) 2020-09-07 2021-09-15 Доврачебная оценка качества распознавания речи и скрининговая аудиометрия

Country Status (3)

Country Link
RU (1) RU2743049C1 (ru)
WO (1) WO2022050877A1 (ru)
ZA (1) ZA202300918B (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228103A1 (fr) * 2022-05-25 2023-11-30 My Medical Assistant Procédé de test d'audiométrie vocale mettant en œuvre une reconnaissance vocale et dispositif électronique associé

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024352B2 (en) * 2000-09-06 2006-04-04 Koninklijke Kpn N.V. Method and device for objective speech quality assessment without reference signal
US7966187B1 (en) * 2001-02-15 2011-06-21 West Corporation Script compliance and quality assurance using speech recognition
US8050918B2 (en) * 2003-12-11 2011-11-01 Nuance Communications, Inc. Quality evaluation tool for dynamic voice portals
RU134381U1 (ru) * 2012-10-30 2013-11-10 Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН" Аппаратно-программный комплекс для настройки слуховых аппаратов
RU2729147C1 (ru) * 2020-04-02 2020-08-05 Общество С Ограниченной Ответственностью "Центр Коррекции Слуха И Речи "Мелфон" (Ооо "Цкср "Мелфон") Способ автоматизированной оценки качества распознавания речи пациентом

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1465156A1 (en) * 2003-03-31 2004-10-06 Koninklijke KPN N.V. Method and system for determining the quality of a speech signal
US20060293889A1 (en) * 2005-06-27 2006-12-28 Nokia Corporation Error correction for speech recognition systems
RU2467691C1 (ru) * 2011-05-25 2012-11-27 Государственное образовательное учреждение высшего профессионального образования "Астраханская государственная медицинская академия" Министерства здравоохранения и социального развития Российской Федерации Способ диагностики уровня слуха

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7024352B2 (en) * 2000-09-06 2006-04-04 Koninklijke Kpn N.V. Method and device for objective speech quality assessment without reference signal
US7966187B1 (en) * 2001-02-15 2011-06-21 West Corporation Script compliance and quality assurance using speech recognition
US8050918B2 (en) * 2003-12-11 2011-11-01 Nuance Communications, Inc. Quality evaluation tool for dynamic voice portals
RU134381U1 (ru) * 2012-10-30 2013-11-10 Общество с ограниченной ответственностью "Центр коррекции слуха и речи "МЕЛФОН" Аппаратно-программный комплекс для настройки слуховых аппаратов
RU2729147C1 (ru) * 2020-04-02 2020-08-05 Общество С Ограниченной Ответственностью "Центр Коррекции Слуха И Речи "Мелфон" (Ооо "Цкср "Мелфон") Способ автоматизированной оценки качества распознавания речи пациентом

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228103A1 (fr) * 2022-05-25 2023-11-30 My Medical Assistant Procédé de test d'audiométrie vocale mettant en œuvre une reconnaissance vocale et dispositif électronique associé
FR3135890A1 (fr) * 2022-05-25 2023-12-01 My Medical Assistant Procédé de test d’audiométrie vocale mettant en œuvre une reconnaissance vocale et dispositif électronique associé

Also Published As

Publication number Publication date
RU2743049C1 (ru) 2021-02-15
ZA202300918B (en) 2023-03-29

Similar Documents

Publication Publication Date Title
Gelfand Optimizing the reliability of speech recognition scores
Sininger et al. Auditory development in early amplified children: Factors influencing auditory-based communication outcomes in children with hearing loss
Theunissen et al. Sentence recognition in noise: Variables in compilation and interpretation of tests
Lawson et al. Speech audiometry
US9149202B2 (en) Device, method, and program for adjustment of hearing aid
US20170273602A1 (en) System for defining and executing audiometric tests
WO2005124722A2 (en) Aural rehabilitation system and method
Reinhart et al. Intelligibility and clarity of reverberant speech: Effects of wide dynamic range compression release time and working memory
Larangeira et al. Speech nasality and nasometry in cleft lip and palate
RU2743049C1 (ru) Способ доврачебной оценки качества распознавания речи, скрининговой аудиометрии и программно-аппаратный комплекс, его реализующий
US20220036878A1 (en) Speech assessment using data from ear-wearable devices
RU2729147C1 (ru) Способ автоматизированной оценки качества распознавания речи пациентом
Tye-Murray et al. Differences in children’s sound production when speaking with a cochlear implant turned on and turned off
Gordon-Hickey et al. Intertester reliability of the acceptable noise level
RU2765108C1 (ru) Способ и программно-аппаратный комплекс для доврачебной предварительной классифицирующей многофакторной оценки возможности слухового анализатора человека при проведении массовых профилактических осмотров населения
RU2720401C1 (ru) Многофункциональный интерактивный программно-аппаратный комплекс для объективной оценки уровня субъективной удовлетворенности пациента результатами электроакустической коррекции слуха и способ его применения
JP7307507B2 (ja) 病態解析システム、病態解析装置、病態解析方法、及び病態解析プログラム
Ellis et al. Measurements of loudness growth in 1/2-octave bands for children and adults with normal hearing
JP4796199B1 (ja) 聴力測定方法及び該方法に用いる聴力評価装置
JP6639857B2 (ja) 聴力検査装置、聴力検査方法および聴力検査プログラム
Nudelman et al. Reducing Vocal Fatigue With Bone Conduction Devices: Comparing Forbrain and Sidetone Amplification
Davidson et al. Spectral modulation detection performance and speech perception in pediatric cochlear implant recipients
Derrick et al. Aero-tactile integration in Mandarin
Wasiuk et al. Predicting speech-in-speech recognition: Short-term audibility and spatial separation
POLO et al. Development and evaluation of a novel adaptive staircase procedure for automated speech-in-noise testing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21864801

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21864801

Country of ref document: EP

Kind code of ref document: A1