RU2525366C1 - Method for audio-verbal rehabilitation and device for implementation thereof - Google Patents
Method for audio-verbal rehabilitation and device for implementation thereof Download PDFInfo
- Publication number
- RU2525366C1 RU2525366C1 RU2013103897/14A RU2013103897A RU2525366C1 RU 2525366 C1 RU2525366 C1 RU 2525366C1 RU 2013103897/14 A RU2013103897/14 A RU 2013103897/14A RU 2013103897 A RU2013103897 A RU 2013103897A RU 2525366 C1 RU2525366 C1 RU 2525366C1
- Authority
- RU
- Russia
- Prior art keywords
- patient
- signal
- hearing
- residual
- frequency
- Prior art date
Links
Images
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
Изобретение относится к сурдологии, точнее к аудиологии и сурдопедагогике, и может найти применение при лечении нарушений восприятия речи вследствие потери слуха.The invention relates to audiology, more specifically to audiology and audiopedagogy, and may find application in the treatment of speech impairment due to hearing loss.
Изобретение также относится к обучению и может быть использовано в педагогике, логопедии, психотерапии, практике актерской и дикторской работы, в самых широких бытовых и различных профессиональных условиях для улучшения атмосферы межличностного общения.The invention also relates to training and can be used in pedagogy, speech therapy, psychotherapy, the practice of acting and speaker work, in the widest household and various professional conditions to improve the atmosphere of interpersonal communication.
Сложившийся рынок слуховых аппаратов охватывает лишь часть потребителей, а именно лиц с незначительной степенью потери слуха (приблизительно 60% от общего числа глухих). Слуховые аппараты, работающие лишь по принципу усиления звука, не устраивают другую часть глухих людей (40% от общего числа глухих), имеющих остаточный слух в частотном диапазоне ниже 1000 Гц. Это положение является причиной их низкой социальной адаптации, отсутствия возможности получить полноценное образование, вести активный образ жизни, заниматься трудовой деятельностью.The existing market for hearing aids covers only a fraction of consumers, namely, people with a slight degree of hearing loss (approximately 60% of the total number of deaf). Hearing aids, working only on the principle of amplification of sound, do not suit the other part of deaf people (40% of the total number of deaf) who have residual hearing in the frequency range below 1000 Hz. This situation is the reason for their low social adaptation, lack of opportunities to receive a full education, lead an active lifestyle, and engage in labor activities.
Известен способ коррекции эмоционального состояния, речевой, слуховой и мыслительной деятельности человека с помощью специального, звуковоспроизводящего, радиоэлектронного устройства индивидуального пользования (патент №2177648, МПК G09B 19/04, опубл. 27.12.2001 г.), при котором на него воздействуют с помощью радиоэлектронного, звуковоспроизводящего устройства фонограммами, которые в качестве акустико-семантического образца содержат записи собственного в данный момент звучащего голоса человека в пассивном режиме, включающем постоянную запись и воспроизведение своего голоса в обычном или измененном виде, сразу или через определенное время, в качестве акустико-семантического образца используют дополнительно записи сигналов психофизиологических реакций своего организма, которыми, преобразовав их согласно заданной режимной программе, воздействуют на слуховые анализаторы, а через них - на различные отделы головного мозга для стимуляции его сознательной и бессознательной активности, при этом воздействие записями собственного голоса осуществляют в полуактивном и активном режимах, причем в полуактивном режиме записываемый голос озвучивают выборочно - в неизменном или искаженном виде воспроизводят только те фонемы, которые выходят за пределы нормальных голосовых параметров, а в активном режиме записываемый голос сопоставляют с внесенными в память звуковоспроизводящего устройства звукосочетаниями, нежелательными в употреблении, которые, при их произнесении, озвучивают выразительными тонами или речевыми формулами, воздействующими как условно-рефлекторные раздражители, подобным образом в активном режиме озвучивают и аномальные проявления физиологических реакций организма человека.There is a method of correcting the emotional state, speech, auditory and mental activity of a person using a special, sound-reproducing, electronic electronic device for personal use (patent No. 2177648, IPC G09B 19/04, published on December 27, 2001), in which it is affected by electronic, sound-reproducing device with phonograms which, as an acoustic-semantic sample, contain recordings of a person’s own currently sounding voice in a passive mode, including continuous recording and the reproduction of your voice in the usual or altered form, immediately or after a certain time, as an acoustic-semantic sample, use additional recordings of the signals of the psychophysiological reactions of your body, which, after converting them according to a given regime program, act on auditory analyzers, and through them on various parts of the brain to stimulate its conscious and unconscious activity, while the impact of recording your own voice is carried out in a semi-active and active mode ah, moreover, in semi-active mode, the recorded voice is voiced selectively - only those phonemes that go beyond the normal voice parameters are reproduced in an unchanged or distorted form, and in the active mode, the recorded voice is compared with the sound combinations that are stored in the memory of the sound reproducing device that are undesirable in use, which, when pronouncing them, they are voiced by expressive tones or speech formulas acting as conditioned reflex stimuli, similarly in the active mode of sound learn and abnormal manifestations of the physiological reactions of the human body.
Основным недостатком данного способа является тот факт, что воспроизведение собственного голоса осуществляется через достаточно большой интервал времени, а именно до 5 секунд и более. Причем воздействие осуществляется не на слуховой аппарат пациента, а на психику пациента, причем выборочными отрывками, вырезанными из произнесенных пациентом фраз, произведшими определенные изменения психофизического его состояния, зарегистрированного соответствующими техническими средствами. При этом возможно применение искажения собственного голоса за счет ускорения или замедления воспроизведения записанной фразы, опять же для усиления психофизического воздействия.The main disadvantage of this method is the fact that the reproduction of your own voice is carried out after a sufficiently large interval of time, namely up to 5 seconds or more. Moreover, the effect is carried out not on the patient’s hearing aid, but on the patient’s psyche, with selective excerpts cut out from the phrases uttered by the patient, making certain changes to his psychophysical state, registered by appropriate technical means. In this case, it is possible to use distortion of one’s own voice by speeding up or slowing down the playback of a recorded phrase, again to enhance the psychophysical effect.
Отличием же заявляемого способа является воздействие именно на слух пациента, причем упор делается на минимизацию задержки сигнала в процессе обработки в аппарате с целью исключения негативного, именно психофизического воздействия, обусловленного несинхронностью видеоинформации, воспринимаемой визуально при чтении с губ или собственными тактильными ощущениями при произнесении фразы, и аудиоинформации, воспринимаемой посредством слуха.The difference of the proposed method is the effect on the patient’s hearing, the emphasis being on minimizing the signal delay during processing in the apparatus in order to exclude the negative, namely psychophysical, effect due to the non-synchronization of the video information, perceived visually when reading from the lips or own tactile sensations when pronouncing the phrase, and audio information perceived through hearing.
Известен способ слухоречевой реабилитации и ее оценки у пациентов с кохлеарными имплантами (патент №2209057, МПК A61F 11/00, опубл. 27.07.2003 г.), ближайший по технической сущности к заявляемому способу и принятый за прототип, осуществляемый путем подачи звуковых речевых сигналов и анализа ответных реакций, при подаче речевых сигналов используют переменные экстралингвистические параметры и локальные виды искажений, тренируют у пациентов умение инвариантно и помехоустойчиво распознавать речь, при этом не ранее чем через 3 дня после 1-го включения кохлеарного импланта и далее через 2-3 недели, а затем не реже 1 раза в 3 месяца в течение первого года и не реже 1 раза в год в дальнейшем речевые сигналы подают с одинаковыми изменениями частоты основного тона и темпа речи, определяют количество правильных ответов и время реакции пациента, причем данные анализа сопоставляют с ранее полученными у этого пациента и с таковыми у здоровых лиц и, если число правильных ответов статистически значимо выше, а время реакции пациента ниже, чем ранее полученные у него, динамику реабилитации считают удовлетворительной, но, если количество правильных ответов значимо ниже, чем у здоровых лиц, слухоречевую реабилитацию считают незавершенной.A known method of auditory-speech rehabilitation and its assessment in patients with cochlear implants (patent No. 2209057, IPC A61F 11/00, published July 27, 2003), closest in technical essence to the claimed method and adopted as a prototype, carried out by supplying sound speech signals and analysis of responses, when applying speech signals, variable extralinguistic parameters and local types of distortion are used, patients are trained in the ability to recognize speech invariantly and noise-immunity, while not earlier than 3 days after the 1st inclusion of the coch the laryngeal implant and then after 2-3 weeks, and then at least 1 time in 3 months during the first year and at least 1 time per year in the future, speech signals are sent with the same changes in the frequency of the fundamental tone and rate of speech, determine the number of correct answers and the patient’s reaction time, and the analysis data are compared with previously obtained from this patient and with those of healthy individuals, and if the number of correct answers is statistically significantly higher and the patient’s reaction time is lower than previously received from him, the dynamics of rehabilitation is considered satisfactory ritelnoy, but if the number of correct answers was significantly lower than in healthy subjects, oral-aural rehabilitation is considered incomplete.
Недостатком данного метода реабилитации является то, что он основан на введении предискажений во входной сигнал только для адаптации пациента к восприятию классифицированной информации различных дикторских свойств в условиях меняющейся помеховой обстановки и используют его периодически для пациентов с предварительно установленными дорогостоящими кохлеарными имплантами.The disadvantage of this rehabilitation method is that it is based on the introduction of bias in the input signal only to adapt the patient to the perception of classified information of various announcer properties in a changing jamming environment and is used periodically for patients with pre-installed expensive cochlear implants.
В заявляемом же способе, предискажения входного сигнала осуществляются целевым образом и постоянно в обеспечение акустического воздействия на нейросенсорные участки слухового аппарата пациента, способные к восприятию.In the claimed method, the input signal predistortion is carried out in a targeted manner and constantly in order to perceive the acoustic effects on the neurosensory sections of the patient’s hearing aid.
Известен цифровой слуховой аппарат (US 4791672 A, Audiotone, Ink, 13.12.88, МПК H04R 25/02), состоящий из микрофона, подключенного к предварительному усилителю, соединенному с блоком процессора, интерфейсы которого на входе и выходе осуществляют аналого-цифровое и цифроаналоговое преобразование сигнала, поступающего на усилитель преобразователя электрического сигнала в акустический.Known digital hearing aid (US 4791672 A, Audiotone, Ink, 12.13.88, IPC H04R 25/02), consisting of a microphone connected to a preamplifier connected to a processor unit, the interfaces of which are input-output analog-to-digital and digital-to-analog conversion of the signal supplied to the amplifier of the converter of the electrical signal into acoustic.
Недостатками данного слухового аппарата являются: большой уровень искажений на малых уровнях громкости, наличие в спектре выходного сигнала сильно усиленных составляющих, которые не слышит больной человек, но, воздействуя на слуховой анализатор, они вызывают дальнейшее ухудшение слуха, наличие акустической обратной связи.The disadvantages of this hearing aid are: a large level of distortion at low volume levels, the presence in the spectrum of the output signal of strongly amplified components that a sick person does not hear, but, acting on the auditory analyzer, they cause further hearing impairment, the presence of acoustic feedback.
Известен слуховой аппарат для тугоухих и глухих с остатками нейросенсорной чувствительности (патент RU №2159099, МПК A61F 11/04, H04R 25/00, опубл. 20.11.2000), ближайший по технической сущности к заявляемому устройству и принятый за прототип, состоящий из микрофона, предварительного усилителя, аналого-цифрового преобразователя, спецпроцессора, цифроаналогового преобразователя, выходного усилителя и микротелефона, соединенных последовательно, в предварительном усилителе введены цепи отрицательной обратной связи, выполненные с возможностью приведения характеристики усилителя к виду, характерному для биологической характеристики слухового анализатора здорового человека по передаточной функции, времени реакции и времени восстановления, спецпроцессор выполнен с возможностью трансформации сигнала по диапазону воспринимаемых частот, порогам слышимости и дискомфорта на всех частотах звукового диапазона по остаточным возможностям слухового анализатора.Known hearing aid for the deaf and deaf with the remains of neurosensory sensitivity (patent RU No. 2159099, IPC A61F 11/04, H04R 25/00, publ. 20.11.2000), the closest in technical essence to the claimed device and adopted for the prototype, consisting of a microphone , a pre-amplifier, an analog-to-digital converter, a special processor, a digital-to-analog converter, an output amplifier, and a mic-phone, connected in series, negative feedback circuits are introduced in the pre-amplifier, adapted to bring Characteristics of the amplifier to a form characteristic of the biological characteristics of the acoustic analyzer on a healthy human of the transfer function, reaction time and recovery time, special processor configured to transformation of perceptible frequency range signal, the thresholds of discomfort and hearing at all frequencies of the sound spectrum of the residual acoustic analyzer capabilities.
Недостатком приведенного устройства является то, что в результате трансформации спектра выходной акустический сигнал довольно сильно изменяется, что требует привыкания пациента к новой форме звучания речи, но отсутствует возможность обучения пациента к распознаванию складывающихся звуковых образов, а также отсутствует возможность сравнения звучания собственно произносимых фраз со звучанием тех же фраз, произносимых здоровым человеком, с целью формирования навыков правильной речи.The disadvantage of this device is that as a result of the transformation of the spectrum, the output acoustic signal changes quite a lot, which requires the patient to get used to a new form of speech, but there is no possibility of training the patient to recognize folding sound images, and there is no way to compare the sound of pronounced phrases with sound the same phrases pronounced by a healthy person, with the aim of forming the right speech skills.
Задачей, на решение которой направлено заявляемое изобретение, является улучшение слуховосприятия речевой информации и повышение качества речи больного человека.The problem to which the invention is directed, is to improve the auditory perception of speech information and improve the quality of speech of a sick person.
Для решения этой задачи разработано устройство с расширенными функциональными возможностями, работающее на принципе переноса информации из частотной области, где человек не слышит, в область сохранных волосковых клеток (аудиокоррекция).To solve this problem, a device with advanced functionality has been developed that works on the principle of transferring information from the frequency domain where a person does not hear to the area of preserved hair cells (audio correction).
Устройство позволяет уменьшить уровень искажений на малых уровнях громкости при отсутствии акустической обратной связи, усилить звуковой сигнал при полной безопасности для слуха больного человека, расширить спектр возможностей человека с нарушениями функций слуха.The device allows to reduce the level of distortion at low volume levels in the absence of acoustic feedback, to enhance the sound signal with complete safety for the hearing of a sick person, to expand the range of capabilities of a person with hearing impairment.
Также устройство устойчиво к мелким механическим повреждениям, простое в обращении и обслуживании, что делает его удобным для пожилых людей.Also, the device is resistant to minor mechanical damage, easy to handle and maintain, which makes it convenient for older people.
Техническим результатом, достигаемым при реализации изобретения, является повышение эффективности слухового восприятия больными людьми, формирование помехоустойчивого и инвариантного распознавания речевых сигналов и уменьшение длительности слухоречевой реабилитации у пациентов за счет специального тренинга слухового восприятия речевыми сигналами, а также объективной оценки способности пациента помехоустойчиво и инвариантно воспринимать речь и оценки динамики процесса его слухоречевой реабилитации.The technical result achieved by the implementation of the invention is to increase the efficiency of auditory perception by sick people, the formation of noise-tolerant and invariant recognition of speech signals and the reduction in the duration of auditory-speech rehabilitation in patients due to special training in auditory perception by speech signals, as well as an objective assessment of the patient's ability to intermittently and invariantly perceive speech and assessing the dynamics of the process of his auditory-speech rehabilitation.
Технический результат достигается тем, что в способе слухоречевой реабилитации, характеризующемся подачей звуковых речевых сигналов пациенту и анализом ответных реакций, новым является то, что предварительно с помощью процедуры аудиометрии оценивают амплитудно-частотную характеристику слуха пациента и выделяют частотный диапазон остаточной нейросенсорной чувствительности слуха пациента, формируют базу зрительных образов, озвученных соответствующими эталонными речевыми сигналами, зрительный образ выбирают из базы данных, воспроизводят его изображение и буквенное обозначение и одновременно озвучивают, при этом соответствующий ему эталонный речевой сигнал перед подачей к пациенту преобразуют путем переноса его спектра в частотный диапазон остаточной нейросенсорной чувствительности слуха пациента, после чего подают на органы слуха пациента, а анализ ответных реакций пациента ведут путем сравнения сигнала, поступившего от пациента после воспроизведения им эталонного речевого сигнала, с соответствующим ему эталонным речевым сигналом, и оценивают степень их совпадения, которую затем визуально отображают в виде числового значения уровня корреляции, по которому судят о правильном произношении пациента.The technical result is achieved by the fact that in the method of auditory-speech rehabilitation, characterized by the supply of audible speech signals to the patient and the analysis of the responses, it is new that the amplitude-frequency response characteristic of the patient’s hearing is preliminarily evaluated using the audiometry procedure and the frequency range of the patient’s residual neurosensory hearing sensitivity is distinguished, and the base of visual images voiced by the corresponding reference speech signals, the visual image is selected from the database, reproducing the image and the letter designate and are simultaneously voiced, while the corresponding reference speech signal is converted to the patient by transferring its spectrum to the frequency range of the patient’s residual neurosensory hearing sensitivity, and then fed to the patient’s hearing organs, and the patient’s response is analyzed by comparing the signal received from the patient after playing the reference speech signal with the corresponding reference speech signal, and assess the degree of their fall, which is then visually displayed in the form of a numerical value of the level of correlation, according to which the correct pronunciation of the patient is judged.
Речевой сигнал, поступивший от пациента после воспроизведения им эталонного речевого сигнала и его преобразования, снова подают на органы слуха пациента.The speech signal received from the patient after he reproduces the reference speech signal and its conversion, again served on the hearing organs of the patient.
Преобразование сигнала осуществляют путем переноса спектра сигнала в частотный диапазон остаточной нейросенсорной чувствительности слуха пациента, ограничивая его частотный диапазон с помощью низкочастотной фильтрации, далее посредством прямого Фурье-преобразования переводят сигнал в спектральную область и осуществляют сжатие.The signal is converted by transferring the signal spectrum to the frequency range of the patient’s residual neurosensory sensitivity, limiting its frequency range using low-pass filtering, then using the direct Fourier transform, the signal is transferred to the spectral region and compressed.
Непосредственно перед подачей на органы слуха пациента преобразованный сигнал посредством обратного Фурье-преобразования переводят из спектральной области во временную, подвергают цифроаналоговому преобразованию и усиливают.Immediately before applying to the patient’s hearing organs, the converted signal is transferred from the spectral domain to the temporary one by means of the inverse Fourier transform, subjected to digital-to-analog conversion and amplified.
Речевой сигнал, поступивший от пациента, для его анализа преобразуют в электрический, который далее предварительно усиливают и подвергают аналоговой низкочастотной фильтрации, полученный низкочастотный аналоговый сигнал Sвх(t), ограниченный верхней частотой fв, преобразуют в цифровой x(tn), где tn - момент выборки n-го отсчета, (tn-tn-1)=1/fд.The speech signal received from the patient is converted into an electric signal for analysis, which is further pre-amplified and subjected to analog low-pass filtering, the obtained low-frequency analog signal S in (t), limited by the upper frequency f in , is converted into digital x (t n ), where t n - sampling time of the n-th sample, (t n -t n-1 ) = 1 / f d .
Процесс обучения повторяют до тех пор, пока уровень корреляции не достигнет 0,5-0,9.The learning process is repeated until the correlation level reaches 0.5-0.9.
Формируют базу речевых сигналов пациента и базу сравнительных характеристик эталонных речевых сигналов с речевыми сигналами пациента, с помощью которой по изменению уровня корреляции во времени судят о динамике обучения пациента.The base of the patient’s speech signals and the base of comparative characteristics of the reference speech signals with the patient’s speech signals are formed, with the help of which the patient’s learning dynamics is judged by changing the level of correlation in time.
Речевые сигналы пациента сопоставляют с ранее полученными у него же и с эталонными речевыми сигналами, и, если число речевых сигналов пациента с высоким уровнем корреляции статистически значимо выше, чем ранее полученные у него, динамику обучения считают удовлетворительной, но, если число таких сигналов значимо ниже, чем эталонных, обучение считают незавершенным.The patient’s speech signals are compared with his previous speech and reference speech signals, and if the patient’s speech signals with a high level of correlation are statistically significantly higher than previously received, the learning dynamics are considered satisfactory, but if the number of such signals is significantly lower than reference, training is considered incomplete.
Зрительные образы и эталонные речевые сигналы представлены в виде фотографий и аудиозаписей голоса здорового человека, озвучивающего данные визуальные образы.Visual images and reference speech signals are presented in the form of photographs and audio recordings of the voice of a healthy person, voicing these visual images.
Выделяют частотный диапазон остаточной нейросенсорной чувствительности к акустическим сигналам с уровнем, не превышающим 90-100 дБ относительно минимального порогового уровня чувствительности слуха здорового человека.The frequency range of the residual neurosensory sensitivity to acoustic signals with a level not exceeding 90-100 dB relative to the minimum threshold level of hearing sensitivity of a healthy person is distinguished.
При выделении частотного диапазона остаточной нейросенсорной чувствительности к акустическим сигналам оценивают ширину полосы ΔF остаточной чувствительности слуха, нижнюю и верхнюю частоту Fн и Fв частотного диапазона остаточной чувствительности слуха, задают минимальный информативный диапазон частот и устанавливают при низкочастотной фильтрации верхнюю частоту полосы пропускания fв не менее 4 кГц, устанавливают частоту дискретизации аналого-цифрового преобразования не менее fд=2 fв.When selecting the frequency range of the residual neurosensory sensitivity to acoustic signals, evaluate the bandwidth ΔF of the residual hearing sensitivity, the lower and upper frequencies F n and F in the frequency range of the residual hearing sensitivity, set the minimum informative frequency range and set the low-pass filtering to the upper frequency of the passband f in not less than 4 kHz, set the sampling frequency of the analog-to-digital conversion of at least f d = 2 f in .
В соответствии с полученной оценкой ширины полосы частот ΔF остаточной чувствительности слуха пациента определяют коэффициент сжатия спектра Kсж=fв/ΔF.In accordance with the received bandwidth estimation ΔF residual hearing sensitivity of the patient is determined compression factor K spectral compression channel = f in / ΔF.
Технический результат также достигается тем, что в устройстве для реализации способа, содержащем микрофон, электронную плату и наушники, новым является то, что электронная плата выполнена с возможностью формирования базы данных для хранения обучающих изображений и аудиофайлов, вывода обучающих изображений на дисплей, и снабжена разъемом для подключения к компьютеру.The technical result is also achieved by the fact that in the device for implementing the method comprising a microphone, an electronic board and headphones, it is new that the electronic board is configured to create a database for storing training images and audio files, display training images on a display, and is equipped with a connector to connect to a computer.
Электронная плата размещена в корпусе, состоящем из верхней и нижней крышек.The electronic board is housed in a housing consisting of upper and lower covers.
На верхней крышке корпуса выполнена накладка.An overlay is made on the upper case cover.
Электронная плата связана с сенсорным навигатором, выполненным с возможностью выборки слов и выражений из базы данных.The electronic board is connected with a touch navigator, configured to select words and expressions from the database.
Технический результат также достигается тем, что аппаратно-программный комплекс пациента для реализации способа включает компьютер, снабженный разъемом для подключения электронной платы устройства, аудиокартой и компьютерно-читаемым носителем.The technical result is also achieved by the fact that the hardware-software complex of the patient for the implementation of the method includes a computer equipped with a connector for connecting the electronic board of the device, an audio card and a computer-readable medium.
Технический результат также достигается тем, что интерактивный обучающий стенд, содержащий локальную сеть, включает аппаратно-программные комплексы пациентов и компьютер сурдопедагога.The technical result is also achieved by the fact that an interactive training stand containing a local area network includes hardware and software complexes of patients and a computer of the sound educator.
Заявляемые способ и устройства предназначены для пациентов с глубокой потерей слуха, для тугоухих 3-й, 4-й степени и глухих с остатками слуха.The inventive method and devices are intended for patients with deep hearing loss, for the hearing impaired 3rd, 4th degree and deaf with hearing impairment.
В основе способа обучения «Слышать и говорить» заложена функция «расширения слышимого диапазона», т.е. переноса информации из области, где глухой человек не слышит, в сохранную область слуха.The learning method “Hear and Speak” is based on the function of “expanding the audible range”, i.e. transferring information from the area where the deaf person does not hear to the preserved hearing area.
Поскольку для тугоухих 4-й степени и глухих с остатками слуха внутриушные и внутриканальные аппараты не применяются, разработано устройство, реализующее заявленный способ, а именно карманный слуховой аппарат.Since for the deaf of the 4th degree and the deaf with hearing impairment, intra-ear and in-ear devices are not used, a device has been developed that implements the claimed method, namely a pocket hearing aid.
В устройстве для реализации заявленного способа - карманном слуховом аппарате разработана специальная подсистема (блок памяти, ЖК-экран, манипулятор), позволяющая глухому человеку самостоятельно заниматься тренингом по многократному прослушиванию звуков, слов, выражений, произнесенных сурдопедагогом, близкими людьми, проговариванию глухим человеком этих фонем и прослушиванию собственного голоса, корректируя произношение.A special subsystem (memory unit, LCD screen, manipulator) has been developed in the device for implementing the claimed method — a pocket hearing aid — that allows a deaf person to independently conduct training in repeatedly listening to sounds, words, expressions uttered by an audio teacher, close people, and speaking these phonemes by a deaf person and listening to your own voice, adjusting the pronunciation.
Предлагаемый слуховой аппарат позволяет более комфортно воспринимать окружающие звуки, существенно повысить разборчивость речи, как в ближнем, так и в дальнем поле, уменьшить сроки привыкания к аппарату и практически исключить влияние аппарата на дальнейшее ухудшение слуха, т.о. позволяет расширить спектр возможностей человека с нарушениями функций слуха.The proposed hearing aid allows you to more comfortably perceive the surrounding sounds, significantly increase speech intelligibility, both in the near and in the far field, reduce the time of getting used to the device and practically eliminate the influence of the device on further hearing impairment, i.e. allows you to expand the range of capabilities of a person with hearing impairment.
Слуховой аппарат легко перестраивается под конкретного человека путем смены программы обработки сигнала, что дает возможность автоматизировать процесс подбора и выдачи слуховых аппаратов.The hearing aid is easily tuned to a specific person by changing the signal processing program, which makes it possible to automate the process of selecting and issuing hearing aids.
Заявляемый способ слухоречевой реабилитации основан на трансформации спектра входного акустического сигнала, обеспечивающей перенос информативной части основных звуков речи в ту область частот, в которой у пациента осталась чувствительность, а также на обеспечении возможности говорить, слышать и сравнивать собственную и произнесенную здоровым человеком трансформированную речь.The inventive method of auditory-speech rehabilitation is based on the transformation of the spectrum of the input acoustic signal, which ensures the transfer of the informative part of the main sounds of speech to the frequency region in which the patient has sensitivity, as well as providing the ability to speak, hear and compare the transformed speech made by a healthy person.
На фиг.1 представлены кривые порогов чувствительности слухового аппарата здорового и больного человека (пациента), получаемые для каждого пациента стандартной процедурой аудиометрии.Figure 1 presents the curves of thresholds of sensitivity of the hearing aid of a healthy and sick person (patient), obtained for each patient by the standard procedure of audiometry.
На фиг.2 представлены фрагменты спектрального преобразования некоторых фонем.Figure 2 presents fragments of the spectral conversion of some phonemes.
На фиг.3 показан схематично процесс для коэффициента сжатия Ксж=2, где X11-X18 - комплексные отсчеты спектра входного сигнала, Х21-Х28 - комплексные отсчеты спектра входного сигнала.Figure 3 shows schematically the process for the compression coefficient K sr = 2, where X1 1 -X1 8 are the complex samples of the spectrum of the input signal, X2 1 -X2 8 are the complex samples of the spectrum of the input signal.
На фиг.4 представлен общий вид устройства слухового аппарата для реализации заявленного способа.Figure 4 presents a General view of the device of the hearing aid for implementing the inventive method.
Остатки нейросенсорной чувствительности у пациентов с глубокой потерей слуха наблюдаются, в основном, в диапазоне частот ниже 2 кГц. Поэтому если в нижнем частотном диапазоне путем усиления звука можно донести до сознания пациента звуковую информацию, то попытка доведения до пациента звуковой информации верхнего частотного диапазона путем только усиления сигнала приводит к возникновению у пациента ощущения сильного дискомфорта и к дальнейшему ухудшению слуха.Residues of neurosensory sensitivity in patients with deep hearing loss are observed mainly in the frequency range below 2 kHz. Therefore, if sound information can be brought to the patient’s consciousness in the lower frequency range by amplifying the sound, then an attempt to bring to the patient sound information of the upper frequency range by only amplifying the signal leads to a feeling of great discomfort in the patient and to further hearing impairment.
Поэтому, для обеспечения возможности восприятия звуковой информации, спектральный состав которой лежит выше диапазона частот остаточной слышимости (в данном случае 2 кГц), а тем более лежащей выше пересечения порога слышимости с порогом дискомфорта, эту информацию переносят в диапазон остаточной слышимости.Therefore, to ensure the perception of sound information whose spectral composition lies above the frequency range of residual audibility (in this
Основная часть акустической информации, необходимой для полноценных психофизических ощущений в повседневной деятельности человека, лежит в диапазоне частот до 8 кГц, однако возможно и даже целесообразно ограничиться минимальным информативным (телефонным) диапазоном частот, не превышающим 4-х кГц, который необходимо вложить в диапазон остаточной слухочувствительности пациента.The main part of the acoustic information necessary for full-fledged psychophysical sensations in everyday human activity lies in the frequency range up to 8 kHz, however, it is possible and even advisable to limit ourselves to the minimum informative (telephone) frequency range not exceeding 4 kHz, which must be enclosed in the residual range hearing sensitivity of the patient.
Осуществить это можно путем низкочастотной фильтрации входного сигнала, аналого-цифрового преобразования, перевода в спектральную область посредством прямого дискретного преобразования Фурье, сжатия спектра и перевода во временную область посредством обратного дискретного преобразования Фурье.This can be achieved by low-pass filtering of the input signal, analog-to-digital conversion, transfer to the spectral region by means of the direct discrete Fourier transform, spectrum compression and transfer into the time domain by the inverse discrete Fourier transform.
Ограничение частотного диапазона входного сигнала осуществляется путем аналоговой низкочастотной фильтрации, переводом сигнала в спектральную область посредством прямого дискретного преобразования Фурье, сжатием спектра в соответствующее число раз (определяемое отношением выбранного информативного диапазона частот входных полезных сигналов к диапазону частот остаточной слухочувствительности пациента), переводом сигнала из спектральной во временную область посредством обратного дискретного преобразования Фурье, усилением и выдачей на наушные телефоны, установленные на органы слуха пациента.The frequency range of the input signal is limited by analogue low-pass filtering, transferring the signal to the spectral region using a direct discrete Fourier transform, compressing the spectrum a corresponding number of times (determined by the ratio of the selected informative frequency range of the input useful signals to the frequency range of the patient’s residual hearing sensitivity), by transferring the signal from the spectral into the time domain by means of the inverse discrete Fourier transform, amplification and you achey to PHONES phones mounted on the patient's hearing organs.
Сущность способа слухоречевой реабилитации пациентов с остатками нейросенсорной чувствительности органов слуха заключается в следующем.The essence of the method of auditory-speech rehabilitation of patients with residual neurosensory sensitivity of the hearing organs is as follows.
С помощью процедуры аудиометрии оценивают аплитудно-частотную характеристику слуха пациента и определяют частотный диапазон ΔF остаточной нейросенсорной чувствительности к акустическим сигналам по уровню, не превышающему, например, 90 дБ относительно минимального порогового уровня чувствительности слуха здорового человека, задаются минимальным информативным частотным диапазоном входных акустических сигналов с верхней частотой fв, определяют коэффициент сжатия спектра Kсж=fв/ΔF входного сигнала и далее, перед подачей акустического сигнала на органы слуха пациента осуществляют амплитудно-частотную трансформацию сигналов, включая низкочастотную фильтрацию входного акустического сигнала в диапазоне частот, например, до fв=4 кГц, аналого-цифровое преобразование входного сигнала с частотой дискретизации не менее fд=2 fв, прямое преобразование Фурье и получение спектра входного сигнала, сжатие спектра входного сигнала и перенос его в частотный диапазон остаточной нейросенсорной чувствительности, обратное преобразование Фурье и получение цифрового сигнала, цифроаналоговое преобразование и получение аналогового выходного сигнала, далее подаваемого на органы слуха пациента.Using the audiometry procedure, the amplitude-frequency characteristic of the patient’s hearing is evaluated and the frequency range ΔF of the residual sensor sensitivity to acoustic signals is determined from a level not exceeding, for example, 90 dB relative to the minimum threshold level of hearing sensitivity of a healthy person, and the minimum informative frequency range of input acoustic signals from the upper frequency f in , determine the compression coefficient of the spectrum K sf = f in / ΔF of the input signal and then, before applying the acoustic about the signal to the patient’s hearing organs, they perform amplitude-frequency transformation of signals, including low-frequency filtering of the input acoustic signal in the frequency range, for example, up to f in = 4 kHz, analog-to-digital conversion of the input signal with a sampling frequency of at least f d = 2 f in , direct Fourier transform and obtaining the spectrum of the input signal, compressing the spectrum of the input signal and transferring it to the frequency range of the residual sensor sensitivity, the inverse Fourier transform and receiving a digital signal, digital tax receipt and conversion of the analog output signal further supplied to the patient's hearing organs.
Для ускорения слухоречевой реабилитации путем автотренинга обеспечивают возможность визуализации образов предметов и прослушивания их вербальных обозначений, записанных голосом нормального здорового человека и далее подвергшихся указанной выше амплитудно-частотной трансформации, а также возможность самостоятельно проговорить вербальное обозначение увиденного образа, услышать собственную речь, подвергшуюся той же амплитудно-частотной трансформации, и сравнить собственную речь с речью здорового человека.To accelerate auditory-speech rehabilitation by means of auto-training, it is possible to visualize images of objects and listen to their verbal designations recorded by the voice of a normal healthy person and then subjected to the above amplitude-frequency transformation, as well as the ability to independently speak the verbal designation of the seen image, to hear your own speech, subjected to the same amplitude -frequency transformation, and compare your own speech with the speech of a healthy person.
В устройстве слухоречевой реабилитации пациентов с остатками нейросенсорной чувствительности органов слуха происходит следующее.In the device of auditory-speech rehabilitation of patients with residual neurosensory sensitivity of the organs of hearing, the following occurs.
Входной сигнал с микрофона, осуществляющего преобразование акустического сигнала в электрический, подают на предварительный усилитель и аналоговый низкочастотный фильтр, с выхода которого низкочастотный сигнал, ограниченный верхней частотой fв, подают на аналого-цифровой преобразователь (АЦП), осуществляющий преобразование аналогового сигнала Sвх(t) в цифровой x(tn), где tn - момент выборки n-го отсчета, (tn-tn-1)=1/fд.The input signal from the microphone, which converts the acoustic signal into an electric signal, is fed to a preamplifier and an analog low-pass filter, from the output of which a low-frequency signal limited by the upper frequency f in is fed to an analog-to-digital converter (ADC) that converts the analog signal S in ( t) in digital x (t n ), where t n is the sampling time of the n-th sample, (t n -t n-1 ) = 1 / f d .
Далее отсчеты цифрового сигнала x(tn) поступают в буфер обмена оперативной памяти цифрового процессора размерностью Nбуф ячеек, где осуществляется накопление цифровых отсчетов. По заполнении буфера обмена цифровые отсчеты передаются во второй буфер той же размерности, а первый буфер очищается и начинает вновь заполняться поступающими из АЦП отсчетами. Полученная реализация второго буфера подвергается Фурье-преобразованию с переводом в комплексный вид и получением амплитудно-частотного спектра, отсчеты которого далее подвергаются сжатию в Ксж раз путем комплексного суммирования нескольких соседних спектральных отсчетов и сответственно переноса высокочастотных компонент спектра в низкочастотную область (фиг.3).Further, the samples of the digital signal x (t n ) go to the clipboard of the digital processor’s random access memory with a dimension of N cell buffers , where digital samples are accumulated. When the clipboard is full, digital samples are transferred to the second buffer of the same dimension, and the first buffer is cleared and begins to be filled again with the samples coming from the ADC. The resulting implementation of the second buffer subjected to Fourier transformation by transfer into a complex form and produce an amplitude-frequency spectrum, which further samples are compressed in time compression channel K by the complex summation of several neighboring spectral samples and transfer suitability in high-frequency spectral component frequency region (Figure 3) .
На фиг.3 показан пример, на котором видно, каким образом из комплексного ряда X1, представляющего собой комплексные отсчеты спектра входного сигнала, формируются комплексные отсчеты ряда Х2 спектра выходного сигнала, в котором оказываются заполненными только низкочастотные спектральные отсчеты, а высокочастотные спектральные отсчеты оказываются незаполненными. Соответственно спектр выходного сигнала оказывается сжатым в два раза.Figure 3 shows an example that shows how from a complex series X1, which is complex samples of the spectrum of the input signal, complex samples of series X2 of the spectrum of the output signal are formed, in which only low-frequency spectral samples are filled, and high-frequency spectral samples are unfilled . Accordingly, the spectrum of the output signal is compressed twice.
Далее полученный спектр Х2 подвергается обратному Фурье-преобразованию с получением комплексной цифровой реализации, действительные отсчеты которой поступают на цифроаналоговый преобразователь, на выходе которого появляется выходной аналоговый сигнал Sвых(t), поступающий через выходной усилитель мощности на головные телефоны (наушники) слухового аппарата.Next, the obtained spectrum of X2 is subjected to the inverse Fourier transform to obtain a complex digital implementation, the actual readings of which are sent to a digital-to-analog converter, the output of which is the output analog signal S o (t), which is transmitted through the output power amplifier to the head phones (headphones) of the hearing aid.
Учитывая, что в процессе трансформации спектров существенно меняется форма звучания отдельных фраз и звуков и возникает необходимость обучения пациента восприятию этих фраз и звуков в новом звучании и правильному их произношению.Given that in the process of transforming the spectra, the sound form of individual phrases and sounds changes significantly and there is a need to educate the patient on the perception of these phrases and sounds in a new sound and their correct pronunciation.
Существенной особенностью пациентов с детства развитой глухотой является слабое умение говорить или даже его полное отсутствие. Поэтому важным шагом является обучение пациента правильно говорить.An essential feature of patients with developed deafness since childhood is a poor ability to speak or even its complete absence. Therefore, an important step is to train the patient to speak correctly.
Для этого в аппарат введена дополнительная функция визуального обучения пациента по принципу «Видеть-Слышать-Говорить».For this, an additional function of visual training of the patient is introduced into the device according to the principle of “See-Hear-Speak”.
Реализация данной функции заключается в обеспечении возможности демонстрации пациенту изображений некоторых предметов и озвучивании слов их обозначающих. Обеспечивается возможность выборки из базы данных аппарата и воспроизведения на дисплее некоторого изображения, например Слона. Одновременно обеспечивается возможность появления читаемой надписи «Слон» и звукового воспроизведения этого слова. Причем записанная нормальным человеческим голосом с хорошей дикцией и хранящаяся в базе данных фраза «Слон», проходит через все преобразования и трансформации спектра, соответствующие текущим настройкам слухового аппарата, обеспечивающим восприятие пациентом звуков. У пациента вырабатывается четкое соответствие представляемых видео- и аудиорядов.The implementation of this function is to provide the patient with the possibility of demonstrating images of certain objects to the patient and voicing their words. It is possible to select from the device database and display on the display a certain image, for example, an Elephant. At the same time, the readable inscription “Elephant” and the sound reproduction of this word are provided. Moreover, the phrase “Elephant” recorded in a normal human voice with good diction and stored in the database goes through all the transformations and transformations of the spectrum that correspond to the current settings of the hearing aid, which ensure that the patient perceives sounds. The patient develops a clear correspondence of the presented video and audio sequences.
После прослушивания пациентом аудиозаписей, соответствующих видеоизображениям, пациенту представляется возможность самому озвучивать только что услышанные фразы. Его голос воспринимается микрофоном, преобразуется в электрический сигнал, над которым осуществляются те же преобразования и трансформации спектра, соответствующие текущим настройкам слухового аппарата. Одновременно воспринятый микрофоном и оцифрованный сигнал поступает на коррелятор, где оценивается степень совпадения (похожести) фразы, озвученной диктором (из памяти аппарата) и воспроизведенной пациентом, и в виде числового значения уровня корреляции отображается на экране дисплея. Уровень корреляции, или коэффициент корреляции, измеряется в относительных единицах и лежит в диапазоне от 0 до 1.After the patient listens to audio recordings corresponding to the video images, the patient is given the opportunity to voice the phrases he has just heard. His voice is perceived by the microphone, converted into an electrical signal, over which the same transformations and spectrum transformations are carried out, corresponding to the current settings of the hearing aid. At the same time, the signal received by the microphone and the digitized signal is sent to the correlator, where the degree of coincidence (similarity) of the phrase sounded by the speaker (from the device’s memory) and reproduced by the patient is evaluated and displayed as a numerical value of the correlation level on the display screen. The correlation level, or correlation coefficient, is measured in relative units and lies in the range from 0 to 1.
При положительной динамике в обучении уровень корреляции должен находиться в диапазоне от 0 до 1 и должен постепенно расти и остановиться на каком-то значении 0.5, 0.7 или даже 0.9.With positive dynamics in training, the level of correlation should be in the range from 0 to 1 and should gradually grow and stop at some value of 0.5, 0.7 or even 0.9.
В результате пациент может слышать свой же трансформированный голос и сравнивать его с голосом нормально говорящего человека, а также видеть формальную оценку степени совпадения его голоса и голоса нормального человека (эталона). По значению отображаемого уровня корреляции (чем выше - тем лучше) пациент может судить о достигнутом им уровне обучения.As a result, the patient can hear his own transformed voice and compare it with the voice of a normally speaking person, as well as see a formal assessment of the degree of coincidence of his voice and the voice of a normal person (standard). By the value of the displayed correlation level (the higher the better), the patient can judge the level of training he has achieved.
При этом он инстинктивно будет добиваться максимального совпадения его личного восприятия результирующих звуковых образов и повышения значения уровня корреляции, а это, соответственно, будет означать, что для людей с нормальным слухом его фразы будут максимально разборчивы.At the same time, he will instinctively achieve the maximum coincidence of his personal perception of the resulting sound images and increase the value of the correlation level, and this, accordingly, will mean that for people with normal hearing his phrases will be as legible as possible.
Возможность визуализации предметов и одновременное их озвучивание с соответствующей предварительной трансформацией обеспечивает более быстрое привыкание пациента к восприятию трансформированной речи.The ability to visualize objects and simultaneously sound them with the corresponding preliminary transformation provides a more rapid patient’s addiction to the perception of transformed speech.
Достижение положительного эффекта, выражающегося в обеспечении реализации функции «Видеть-Слышать-Говорить», достигается путем введения в состав аппарата дисплея, на который из базы данных аппарата выводятся изображения отдельных предметов с визуализацией их буквенных обозначений и одновременного озвучивания слов, обозначающих визуализируемые предметы, путем выборки из базы данных временных реализаций фраз, озвучивших данные предметы нормальным языком, а также тем, что озвучиваемые слова, обозначающие визуализируемые предметы, проходят цифровую обработку в соответствии с параметрами, подобранными для данного пациента.Achieving a positive effect in terms of ensuring the implementation of the “See-Hear-Speak” function is achieved by introducing into the device a display on which images of individual objects are displayed from the device’s database with visualization of their alphabetic designations and simultaneous voicing of words representing visualized objects, by samples from the database of temporary implementations of phrases voicing these objects in a normal language, as well as the fact that the voiced words denoting the visualized objects are digital processing in accordance with the parameters selected for this patient.
По повышению уровня корреляции судят о положительной динамике в обучении пациента говорить.By increasing the level of correlation judged about the positive dynamics in teaching the patient to speak.
В устройстве, реализующем заявленный способ, должна быть обеспечена возможность выполнения следующих функций:In a device that implements the claimed method, it must be possible to perform the following functions:
- ввод сигнала с микрофона или внешнего устройства;- input signal from a microphone or external device;
- аналого-цифровое преобразование введенного сигнала;- analog-to-digital conversion of the input signal;
- цифровая обработка сигнала, включая:- digital signal processing, including:
- преобразование временного сигнала в спектральную область;- conversion of a temporary signal into a spectral region;
- сжатие спектра входного сигнала;- compression of the spectrum of the input signal;
- преобразование сигнала из спектральной во временную область;- conversion of the signal from the spectral to the time domain;
- цифроаналоговое преобразование сигнала;- digital-to-analog signal conversion;
- регулировка уровня выходного сигнала по двум каналам;- adjustment of the output signal level on two channels;
- вывод аналогового сигнала на головные телефоны.- output of an analog signal to headphones.
Устройство, реализующее заявленный способ, состоит из накладки 1, верхней крышки корпуса 2, платы электронной 3, дисплея 4, разъемов для подключения микрофона и телефонов 5, сенсорного навигатора 6, аккумуляторной батареи 7, разъема подключения к компьютеру 8, нижней крышки корпуса 9.A device that implements the claimed method consists of a
Нижняя и верхняя крышки 2, 9 корпуса устройства выполнены из пластмассы.The lower and
Сенсорный навигатор 6 является пультом управления типа джойстика.
Разъем 8 для подключения к персональному компьютеру обеспечивает возможность перепрограммирования устройства, формирования и пополнения базы данных обучающих слов, из которой осуществляется перекачка соответствующих файлов изображений и звуковых файлов.
Работает устройство следующим образом.The device operates as follows.
Устройство в корпусе, состоящем из верхней крышки 2 с накладкой 1 и нижней крышкой 9, подключается к компьютеру через разъем подключения к компьютеру 8.The device in the case, consisting of a
В память устройства, расположенную на плате электронной 3, заносятся аудиограмма пациента, программа цифровой обработки с заданными параметрами преобразования и трансформации спектров входных сигналов, а также видео- и аудиофайлы для обучения пациента.The patient’s audiogram, a digital processing program with the specified parameters for converting and transforming the spectra of input signals, as well as video and audio files for training the patient, are recorded in the device’s memory located on the
В рабочем режиме сигнал с микрофона, подключенного к устройству через разъем 5, поступает на вход платы электронной 3, где осуществляется его низкочастотная фильтрация, аналого-цифровое преобразование, цифровая обработка, включая перевод сигнала в спектральную область, сжатие спектра и перенос в область частот остаточной нейросенсорной чувствительности, корректировка амплитудно-частотной характеристики с учетом реальной аудиограммы пациента, цифроаналоговое преобразование, усиление аналогового сигнала и подача на головные наушники пациента, соединенные с устройством через разъем телефонов 5.In the operating mode, the signal from the microphone connected to the device through connector 5 is fed to the input of the electronic 3 board, where it is low-pass filtered, analog-to-digital conversion, digital processing, including transferring the signal to the spectral region, compressing the spectrum, and transferring the residual sensorial sensitivity, correction of the amplitude-frequency characteristic taking into account the real audiogram of the patient, digital-to-analogue conversion, amplification of the analog signal and supply to the headphone atsienta connected to the device via a phone jack 5.
В режиме обучения пациент с помощью сенсорного навигатора 6 осуществляет выборку из базы данных устройства любого изображения объекта, поступающего на дисплей 4, а реализация аудиофайла, соответствующая отображаемому объекту, поступает на вход устройства цифровой обработки информации, расположенного на плате электронной 3, где подвергается преобразованиям с заданными параметрами трансформации спектра сигнала в соответствии с аудиограммой пациента и далее через цифроаналоговый преобразователь поступает на наушники пациента.In the training mode, the patient using the
Параметры преобразования спектра сигнала подобраны таким образом, чтобы пациент мог услышать доносимую до него информацию. В процессе обучения пациент привыкает к звучанию слов, обозначающих отображаемый объект, и далее пытается произносить эти слова, звук которых через микрофон, аналого-цифровой преобразователь, устройство цифровой обработки, цифроаналоговый преобразователь попадает в наушники, добиваясь максимального совпадения произнесенных самим пациентом фраз и фраз, выведенных из базы данных.The parameters of the signal spectrum conversion are selected so that the patient can hear the information conveyed to him. In the process of training, the patient gets used to the sound of words denoting the displayed object, and then tries to pronounce these words, the sound of which through the microphone, analog-to-digital converter, digital processing device, digital-to-analog converter falls into the headphones, achieving the maximum match of the phrases and phrases uttered by the patient, derived from the database.
Режим обучения «Видеть-Слышать-Говорить» ускоряет процесс привыкания пациента к необычному звучанию слов и фраз и способствует скорейшей психологической адаптации пациента к устройству (аппарату) и ускорению его слухоречевой реабилитации.The “See-Hear-Speak” training mode accelerates the patient’s getting used to the unusual sound of words and phrases and contributes to the patient’s quickest psychological adaptation to the device (apparatus) and acceleration of his auditory and speech rehabilitation.
Все составные части устройства, включая плату электронную 3, элементы конструкции и покупные электронные компоненты и изделия отработаны в условиях серийных производств.All components of the device, including the
Заявляемое устройство является универсальным цифровым программируемым аппаратом с возможностью трансформации звуков в любую слышимую область частотного диапазона пациента.The inventive device is a universal digital programmable device with the ability to transform sounds into any audible region of the frequency range of the patient.
Заявляемый способ также может быть реализован в аппаратном обеспечении, встроенном программном обеспечении или в любой их комбинации (аппаратно-программный комплекс или целая сеть аппаратно-программных комплексов).The inventive method can also be implemented in hardware, firmware, or in any combination thereof (hardware-software complex or a whole network of hardware-software complexes).
В программном обеспечении все необходимые функции могут быть сохранены или переданы на компьютерно-читаемый или процессорно-читаемый носитель как одна или более команда или код.In software, all necessary functions can be stored or transferred to a computer-readable or processor-readable medium as one or more instructions or code.
Компьютерно-читаемый и процессорно-читаемый носители включают в себя и компьютерные носители данных, и среду передачи для переноса программы из одного места в другое.Computer-readable and processor-readable media include both computer storage media and a transmission medium for transferring a program from one place to another.
Носитель данных может быть любым доступным носителем, к которому может осуществлять доступ компьютер или процессор. Такой носитель может содержать RAM, ROM, EEPROM, CD-ROM или другой оптический дисковый накопитель, магнитный дисковый накопитель или другие магнитные устройства хранения, или любой другой носитель, который может быть использован для переноса или хранения желаемого программного кода в виде команд или структур данных, и к которому может осуществлять доступ компьютер или процессор.The storage medium may be any available medium that can be accessed by a computer or processor. Such media may contain RAM, ROM, EEPROM, CD-ROM or other optical disk drive, magnetic disk drive or other magnetic storage devices, or any other medium that can be used to transfer or store the desired program code in the form of instructions or data structures , and which can be accessed by a computer or processor.
Программное обеспечение может передаваться с веб-сайта, сервера, или другого удаленного источника с использованием коаксиального кабеля, оптоволоконного кабеля, витой пары, цифровой абонентской линии (DSL) или беспроводной технологии, например инфракрасной, радио- и микроволновой, то подключение коаксиальным кабелем, оптоволоконным кабелем, витой парой, DSL или с помощью беспроводных технологий, например инфракрасной, радио- и микроволновой.The software can be transferred from a website, server, or other remote source using a coaxial cable, fiber optic cable, twisted pair cable, digital subscriber line (DSL) or wireless technology such as infrared, radio and microwave, then connecting with a coaxial cable, fiber optic cable, twisted pair, DSL, or wireless technologies such as infrared, radio, and microwave.
Оптический диск и магнитный диск могут включать в себя компакт-диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD), гибкий диск и blu-ray диск, причем магнитные диски обычно воспроизводят данные магнитным образом, а оптические диски воспроизводят данные оптическим образом с помощью лазеров. Комбинации таких дисков также являются компьютерно-читаемыми носителями.An optical disk and a magnetic disk may include a compact disk (CD), a laser disk, an optical disk, a digital versatile disk (DVD), a floppy disk and a blu-ray disk, with magnetic disks typically reproducing data in a magnetic manner and optical disks reproducing optical data using lasers. Combinations of such discs are also computer-readable media.
Для реализации способа также может быть использован интерактивный обучающий стенд, состоящий из объединенных в локальную сеть компьютера сурдопедагога и компьютеров обучающихся с подключенными к ним аппаратно-программными комплексами.To implement the method, an interactive training stand can also be used, consisting of a sign language teacher computer and student computers connected to them with hardware and software complexes.
Преимущества заявляемого изобретения:The advantages of the claimed invention:
а) позволяет слышать всем глухим людям, кроме людей с полной глухотой;a) allows all deaf people to hear, except for people with complete deafness;
б) обеспечивает понимание 85-90% речевой информации без чтения с губ;b) provides an understanding of 85-90% of speech information without lip reading;
в) не ведет к дальнейшему ухудшению слуха;c) does not lead to further hearing impairment;
г) исключает появление «лишних» шумов и дискомфорта;d) excludes the appearance of "excess" noise and discomfort;
д) значительно снижает время адаптации к слуховому аппарату;d) significantly reduces the adaptation time to the hearing aid;
е) обеспечивает возможность самостоятельного тренинга в режиме «Видеть-Слышать-Говорить», существенно ускоряющего процесс слухоречевой реабилитации.f) provides the opportunity for independent training in the mode of "See-Hear-Speak", which significantly accelerates the process of auditory-speech rehabilitation.
Для обучения глухих в режиме «слышать и говорить» применяется специальный языковый словарь, состоящий из «запоминающихся» слов и выражений русского (или любого другого) языка.To teach the deaf in the “hear and speak” mode, a special language dictionary is used, consisting of “catchy” words and expressions of the Russian (or any other) language.
В результате использования изобретения достигается ускорение привыкания пациента к восприятию трансформированной информации и развитие у него речевых способностей.As a result of using the invention, acceleration of the patient’s addiction to the perception of transformed information and the development of his speech abilities are achieved.
Claims (18)
отличающийся тем, что
предварительно с помощью процедуры аудиометрии оценивают амплитудно-частотную характеристику слуха пациента и выделяют частотный диапазон остаточной нейросенсорной чувствительности слуха пациента,
формируют базу зрительных образов, озвученных соответствующими эталонными речевыми сигналами,
зрительный образ выбирают из базы данных, воспроизводят его изображение и буквенное обозначение и одновременно озвучивают,
при этом соответствующий ему эталонный речевой сигнал перед подачей к пациенту преобразуют путем переноса его спектра в частотный диапазон остаточной нейросенсорной чувствительности слуха пациента,
после чего подают на органы слуха пациента,
а анализ ответных реакций пациента ведут путем сравнения сигнала, поступившего от пациента после воспроизведения им эталонного речевого сигнала, с соответствующим ему эталонным речевым сигналом, и оценивают степень их совпадения, которую затем визуально отображают в виде числового значения уровня корреляции, по которому судят о правильном произношении пациента.1. The method of auditory-speech rehabilitation, characterized by the supply of sound speech signals to the patient and the analysis of responses,
characterized in that
first, using the procedure of audiometry, the amplitude-frequency characteristic of the patient’s hearing is evaluated and the frequency range of the residual sensorineural hearing sensitivity of the patient is isolated,
form the base of visual images voiced by the corresponding reference speech signals,
the visual image is selected from the database, its image and letter designation are reproduced and at the same time voiced,
wherein the corresponding reference speech signal before being fed to the patient is converted by transferring its spectrum to the frequency range of the patient’s residual sensorineural hearing sensitivity,
then served on the patient’s hearing organs,
and the analysis of the patient’s responses is carried out by comparing the signal received from the patient after playing the reference speech signal with the corresponding reference speech signal, and the degree of their coincidence is evaluated, which is then visually displayed as a numerical value of the correlation level, according to which the correct pronunciation is judged the patient.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013103897/14A RU2525366C1 (en) | 2013-01-30 | 2013-01-30 | Method for audio-verbal rehabilitation and device for implementation thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2013103897/14A RU2525366C1 (en) | 2013-01-30 | 2013-01-30 | Method for audio-verbal rehabilitation and device for implementation thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2525366C1 true RU2525366C1 (en) | 2014-08-10 |
| RU2013103897A RU2013103897A (en) | 2014-08-10 |
Family
ID=51354834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013103897/14A RU2525366C1 (en) | 2013-01-30 | 2013-01-30 | Method for audio-verbal rehabilitation and device for implementation thereof |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2525366C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2657941C1 (en) * | 2017-04-06 | 2018-06-18 | Федеральное государственное бюджетное учреждение науки "Российский научно-практический центр аудиологии и слухопротезирования Федерального медико-биологического агентства" | Method for encoding a stimulation signal in a cochlear implant |
| RU2764733C1 (en) * | 2021-04-19 | 2022-01-20 | Александр Сергеевич Клемёнов | Device for the development of hearing and speech in the cloth-eared and deaf |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2159099C1 (en) * | 2000-02-09 | 2000-11-20 | Кочергин Анатолий Васильевич | Hearing apparatus for hypoacusic and deaf persons with leftovers of neurosensory sensitivity |
| RU2209057C1 (en) * | 2002-04-02 | 2003-07-27 | Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи | Method for carrying out speech rehabilitation and evaluating it in patients with cochlear implants |
| RU102421U1 (en) * | 2010-07-08 | 2011-02-27 | Анатолий Васильевич Кочергин | UNIVERSAL TWO CHANNEL HEARING SYSTEM |
-
2013
- 2013-01-30 RU RU2013103897/14A patent/RU2525366C1/en not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2159099C1 (en) * | 2000-02-09 | 2000-11-20 | Кочергин Анатолий Васильевич | Hearing apparatus for hypoacusic and deaf persons with leftovers of neurosensory sensitivity |
| RU2209057C1 (en) * | 2002-04-02 | 2003-07-27 | Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи | Method for carrying out speech rehabilitation and evaluating it in patients with cochlear implants |
| RU102421U1 (en) * | 2010-07-08 | 2011-02-27 | Анатолий Васильевич Кочергин | UNIVERSAL TWO CHANNEL HEARING SYSTEM |
Non-Patent Citations (1)
| Title |
|---|
| ПЕТРОВ С.М. Восприятие спектрально депривированного речевого сигнала. Физиология человека. 2003, 29, 1, с. 23. BERNSTEIN J.G. et al. Auditory and auditory-visual intelligibility of speech in fluctuating maskers for normal-hearing and hearing-impaired listeners. J Acoust Soc Am. 2009 May;125(5):3358-72 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2657941C1 (en) * | 2017-04-06 | 2018-06-18 | Федеральное государственное бюджетное учреждение науки "Российский научно-практический центр аудиологии и слухопротезирования Федерального медико-биологического агентства" | Method for encoding a stimulation signal in a cochlear implant |
| RU2764733C1 (en) * | 2021-04-19 | 2022-01-20 | Александр Сергеевич Клемёнов | Device for the development of hearing and speech in the cloth-eared and deaf |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2013103897A (en) | 2014-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sadikovna | COCHLEAR IMPLANTATION: AN INNOVATION IN THE DEVELOPMENT OF TECHNOLOGY, MEDICINE, DEAF PEDAGOGY AND SPEECH THERAPY | |
| Pittman | Short-term word-learning rate in children with normal hearing and children with hearing loss in limited and extended high-frequency bandwidths | |
| Humes et al. | Speech-recognition difficulties of the hearing-impaired elderly: The contributions of audibility | |
| Versfeld et al. | Method for the selection of sentence materials for efficient measurement of the speech reception threshold | |
| Lane et al. | The Lombard sign and the role of hearing in speech | |
| Calandruccio et al. | Development and preliminary evaluation of a pediatric Spanish–English speech perception task | |
| Humes et al. | Auditory speech recognition and visual text recognition in younger and older adults: Similarities and differences between modalities and the effects of presentation rate | |
| Lawson et al. | Speech audiometry | |
| Meister et al. | The use of voice cues for speaker gender recognition in cochlear implant recipients | |
| Zaltz et al. | Voice discrimination by adults with cochlear implants: The benefits of early implantation for vocal-tract length perception | |
| Moradi et al. | Visual cues contribute differentially to audiovisual perception of consonants and vowels in improving recognition and reducing cognitive demands in listeners with hearing impairment using hearing aids | |
| Zhu et al. | Development and validation of a new Mandarin tone identification test | |
| Pilling et al. | Audiovisual cues and perceptual learning of spectrally distorted speech | |
| JP3973530B2 (en) | Hearing aid, training device, game device, and sound output device | |
| Kleczkowski et al. | Lombard effect in Polish speech and its comparison in English speech | |
| Devesse et al. | Speech intelligibility of virtual humans | |
| KR102535005B1 (en) | Auditory training method and system in noisy environment | |
| RU2525366C1 (en) | Method for audio-verbal rehabilitation and device for implementation thereof | |
| Nittrouer et al. | Low-frequency signals support perceptual organization of implant-simulated speech for adults and children | |
| Kiktová et al. | The role of hearing screening using an audiometry application in the education of children with hearing impairment | |
| Jamaluddin | Development and evaluation of the digit triplet and auditory-visual matrix sentence tests in Malay | |
| Kosky et al. | Perception and Production of Sibilants by Children with | |
| Schiller | Spoken language processing in children: Effects of noise and the speaker’s voice quality | |
| Levin et al. | Voice Discrimination in Quiet and in Background Noise by Simulated and Real Cochlear Implant Users | |
| Rotman | Rapid perceptual learning of time-compressed speech and the perception of natural fast speech in older adults with presbycusis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160131 |