RU2758649C1

RU2758649C1 - Технология анализа акустических данных на наличие признаков заболевания covid-19

Info

Publication number: RU2758649C1
Application number: RU2021103370A
Authority: RU
Inventors: Павел Романович Самсонов; Дмитрий Михайлович Михайлов; Вера Васильевна Чуманская; Сергей Владимирович Дворянкин
Original assignee: Общество с ограниченной ответственностью «Кардио Маркер»
Priority date: 2021-02-11
Filing date: 2021-02-11
Publication date: 2021-11-01
Also published as: WO2022173332A1

Abstract

Изобретение относится к области информационных и коммуникационных технологий (ИКТ), специально предназначенных для медицинской диагностики, в частности к диагностированию коронавирусной инфекции (COVID-19) на основе анализа акустических данных пациента с помощью методов глубокого обучения для выявления акустических признаков, вызванных сопутствующими коронавирусной инфекции изменениями в дыхательном тракте пациента. Предложен способ, в котором методами глубокого обучения решается задача регрессии, определения вероятности по записям кашля, дыхания и речи пациента наличия у него заражения коронавирусной инфекцией (COVID-19), оказывающей влияние на дыхательный тракт человека. В заявленном изобретении для диагностирования COVID-19 используют ансамбль рекуррентных нейронных сетей RNN с LSTM, механизмом внимания и линейными слоями, и со сверточной нейронной сетью CNN в качестве энкодера, и диагноз ставится на основании решений по трём веткам - кашля, дыхания и речи. Изобретение обеспечивает способ быстрого диагностирования коронавирусной инфекции (COVID-19) у пациента с большой точностью. 4 з.п. ф-лы, 9 ил.

Description

МПК:

G16H 50/00 (2018.01)

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области информационных и коммуникационных технологий (ИКТ), специально предназначенных для медицинской диагностики, в частности к диагностированию коронавирусной инфекции (COVID-19) на основе анализа акустических данных пациента с помощью методов глубокого обучения для выявления акустических признаков, вызванных сопутствующими коронавирусной инфекции изменениями в дыхательном тракте пациента.

Коронавирусная инфекция стала настоящим испытанием для общественности. Невозможно не оценить труд врачей, столкнувшихся с огромным количеством пациентов. Однако, вспышка коронавируса обнажила некоторые проблемы в области здравоохранения, в частности, недостаток медицинских работников. В век высоких технологий стоит задуматься о снабжении больниц специальным программным обеспечением, способным помочь доктору в диагностировании заболевания. В связи с растущей популярностью методов машинного и глубокого обучения становится очевидным обращение к этой области для поиска решения.

УРОВЕНЬ ТЕХНИКИ

На сегодняшний день существует несколько подходов, посвященных диагностированию респираторных и вирусных заболеваний. Основная идея большей части из них основана на обработке аудиосигналов человеческого тела: кашля, дыхания, звуков грудной клетки. По результатам исследований, проведенным исследовательскими группами, простые бинарные классификаторы данных, в основе которых лежит логистическая регрессия, градиентный бустинг и метод опорных векторов (SVM) дают точность до 82%. Подход, использующий случайный лес, дает точность классификации на тестовых данных, достигающую 66.74%. Некоторые исследователи идут по пути разработки классификатора, представленного тремя ветками и медиатором по аналогии принятия решения на основе независимых мнений нескольких врачей.

Помимо обработки звуков тела человека, для диагностирования COVID-19 методами глубокого обучения также используются снимки рентгена и компьютерной томографии грудной клетки.

Наиболее близким аналогом заявляемого изобретения является техническое решение, раскрытое в заявке US 2019088367 A1. Описан способ определения патологии легких по звуковому респираторному сигналу, который включает ввод множества аудиофайлов, содержащих обучающий набор, в искусственную нейронную сеть (ИНС), при этом множество аудиофайлов содержат сеансы с пациентами с известными патологиями известной степени тяжести. Способ дополнительно включает аннотирование множества аудиофайлов метаданными, относящимися к пациентам с известными патологиям, и анализ множества аудиофайлов, при этом анализ включает извлечение спектрограмм для каждого из множества аудиофайлов и множества дескрипторов, связанных с хрипом и влажным хрипом во множестве аудиофайлов. Кроме того, способ включает обучение ИНС с использованием множества аудиофайлов, спектрограмм, метаданных и множества дескрипторов. Наконец, способ включает определение патологии легких, связанной с новой записью звука, введенной в ИНС.

В отличие от наиболее близкого аналога, в заявленном решении для диагностирования респираторного заболевания на основе анализа акустических данных пациента используют ансамбль рекуррентных нейронных сетей RNN с LSTM, механизмом внимания и линейными слоями, и со сверточной нейронной сетью CNN в качестве энкодера, и диагноз ставится на основании решений по трём веткам - кашля, дыхания и речи.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Техническая проблема, на решение которой направлено заявляемое изобретение, заключается в разработке метода диагностирования коронавирусной инфекции (COVID-19) на основе анализа акустических данных пациента - кашля, дыхания и речи, с использованием ансамбля рекуррентных нейронных сетей RNN с LSTM, механизмом внимания и линейными слоями, и со сверточной нейронной сетью CNN в качестве энкодера, и диагноз ставится на основании решений по трём веткам - кашля, дыхания и речи.

Техническим результатом заявляемого изобретения является обеспечение способа быстрого диагностирования коронавирусной инфекции (COVID-19) у пациента с большой точностью.

Указанный технический результат достигается за счёт того, что

способ диагностирования пациента на наличие признаков коронавирусной инфекции (COVID-19) содержит следующие этапы:

– получение от пациента аудиозаписей кашля, дыхания, речи;

– получение трех наборов спектрограмм отдельно для каждой из аудиозаписей кашля, дыхания, речи;

– для каждого из трех наборов спектрограмм дополнительная сегментация набора спектрограмм на отдельные фрагменты с пересечениями по времени, в результате которой получают сегментированную аудиозапись отдельно для каждой из аудиозаписей кашля, дыхания, речи;

– для каждой из трех сегментированных аудиозаписей экстракция из сегментированной аудиозаписи признаков путем обработки полученных фрагментов спектрограмм посредством свёрточных нейронных сетей CNN, в результате которой получают набор преобразованных спектрограмм отдельно для каждой из аудиозаписей кашля, дыхания, речи;

– для каждого из трех полученных наборов преобразованных спектрограмм получение вектора взвешенных сумм посредством:

– подача набора преобразованных спектрограмм на вход слоев долгой краткосрочной памяти LSTM, и получение сформированного вектора признаков, причем каждый отдельный фрагмент спектрограмм после прохождения через CNN попадает на отдельный слой LSTM;

– преобразование сформированного вектора признаков для каждого слоя LSTM с применением линейного слоя с гиперболическим тангенсом в качестве его функции активации, скалярное перемножение с вектором весов и нормализация, в результате получают преобразованный вектор признаков;

– для каждого слоя LSTM перемножение преобразованного вектора признаков с исходным вектором признаков, полученными на LSTM слое;

– взвешенное суммирование выходов всех LSTM слоев и получение вектора взвешенных сумм для каждой из аудиозаписей кашля, дыхания, речи;

– конкатенация полученных векторов взвешенных сумм для каждой из аудиозаписей кашля, дыхания, речи;

– преобразование полученного в результате конкатенации вектора с применением линейного слоя с гиперболическим тангенсом в качестве его функции активации, в результате которого получают результирующий вектор взвешенных сумм;

– формирование заключения о наличии признаков коронавирусной инфекции (COVID-19) у пациента на основании результирующего вектора взвешенных сумм.

В способе может быть дополнительно осуществлена нормализация соответствующих требуемым параметрам аудиозаписей кашля, дыхания, речи, в результате которой получают нормализованные аудиозаписи кашля, дыхания, речи.

В способе может быть проведена проверка исходных данных на соответствие требуемым формату данных, частоте дискретизации, битрейту, количеству каналов.

В способе может быть получен набор спектрограмм для аудиозаписи с использованием оконного преобразования Фурье или вейвлет-преобразования.

В способе может быть осуществлено отображение полученных данных, на основе которых формируют заключение о наличии признаков коронавирусной инфекции (COVID-19) у пациента, на шкалу значений от 0 до 1, путем применения к указанным данным функции сигмоиды.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения.

Заявляемое изобретение проиллюстрировано фигурами 1 – 9, на которых изображены:

Фиг. 1 – общая архитектура системы.

Фиг. 2 – вейвлет Морле и его первая производная.

Фиг. 3 – функция Фабиуса и её первая производная.

Фиг. 4 – извлечение признаков с применением оконного преобразования Фурье.

Фиг. 5 (а), (б) –извлечение признаков с применением оконного преобразования Фурье, взвешивание.

Фиг. 6 (а), (б) – извлечение признаков с применением оконного преобразования Фурье, разложение единицы.

Фиг. 7 – схема извлечения признаков с применением оконного преобразования Фурье.

Фиг. 8 – архитектура предлагаемого алгоритма глубокого обучения.

Фиг. 9 – общая схема вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Настоящее изобретение описывает метод диагностирования акустических признаков, вызванных сопутствующими заболеванию COVID-19 изменениями в дыхательном тракте, с использованием методов глубокого обучения. С помощью методов глубокого обучения решается задача регрессии, определения вероятности по записям кашля, дыхания и речи наличия у человека заражения вирусными заболеваниями, оказывающими влияние на дыхательный тракт человека. Метод диагностирования включает в себя конвертирование, подготовку, предобработку и анализ данных методами глубокого обучения.

Модель для диагностики заболеваний представляет собой ансамбль рекуррентных нейронных сетей RNN с энкодером, механизмом внимания и линейными слоями, следующими за ним.

Заявленное изобретение представляет собой метод обработки записей, поступающих от пользователей. Архитектура метода представлена ансамблем нейронных сетей, которые представлены тремя независимыми ветками с последующей конкретизацией результатов полносвязными слоями.

Для анализа на вход системы подаются три аудиозаписи: речь, кашель, дыхание. Каждая аудиозапись имеет одинаковый процесс обработки. Записи обрабатываются параллельно, каждая запись обрабатывается в отдельной ветке, причем схема каждой ветки одинакова. На Фиг. 1 представлена общая архитектура системы.

Обработка аудиозаписей включает следующие этапы:

– проверка и конвертация параметров аудиозаписи;

– нарезка и экстракция признаков для каждого отдельного окна аудиозаписи;

– получение вектора признаков с помощью RNN для полной аудиозаписи;

Проверка и конвертация аудиозаписи.

Аудиозаписи от пользователей поступают в блок обработки. Блок проверяет аудиофайл на соответствие требованиям системы по формату данных, частоте дискретизации, битрейту, количеству каналов. При несовпадении параметров происходит конвертация данных к требуемым параметрам системы. Например, требованиями к формату данных, подаваемых на вход модели, являются перевод аудиодорожки в числовой массив, перевод из стерео- в моно- режим, ресемплинг к частоте дискретизации 44.1 кГц. При невозможности конвертации к требуемым параметрам блок генерирует ошибку с указанием невалидных параметров аудиофайла.

Нарезка и экстракция признаков.

На этапе экстракции признаков в аудиофайлах выделяются наиболее значимые признаки, которые выражены в виде числового вектора и получены путем сверток из многомерной матрицы (спектрограммы). Далее, полученные вектора признаков подают в рекуррентную нейронную сеть RNN для извлечения закономерностей и паттернов. Экстракция признаков может быть проведена разными способами, например, такими как интегральные преобразования (оконное преобразование Фурье, вейвлет-преобразование, и другие), извлечение i-векторов, скрытые марковские модели, и другие.

Непрерывные интегральные преобразования анализа временных сигналов.

Существуют различные семейства интегральных преобразований нестационарных временных сигналов. Предполагают, что временной сигнал переводится в область частот, где удобнее проводить анализ поведения динамики процесса и проще извлекать числовые характеристики. При этом, существуют различные виды частотно-временных интегральных преобразований, осуществляющих перевод сигнала в частотную область. Помимо преобразования Фурье (FT) в приложениях анализа сигналов применяют также оконное преобразование Фурье (STFT), преобразование Габора (GT), вейвлет преобразование (WT), функцию распределения Вигнера (WDF), и т.д. [1].

Оконное преобразование Фурье (STFT).

По определению, непрерывное оконное преобразование Фурье (1) представимо в виде интеграла:

(1)

,

где

оконная функция, позволяющая выполнять селекцию интересующего отрезка времени, и проводить дополнительную обработку внутри него. В случае, когда в качестве оконной функции выбирают функцию Гаусса, оконное преобразование Фурье (STFT) называют преобразованием Габора (GT).

Вейвлет преобразование WT.

Обобщением STFT является вейвлет преобразование. В общем случае, интегральное вейвлет-преобразование (2) записывается в виде:

(2)

,

где ядром преобразования является вейвлет функция

, а в самом преобразовании используется её комплексное сопряжение

. В то время как оконная функция в STFT зависит от одного параметра

определяющего сдвиг во времени, вейвлет в CWT зависит от двух параметров

которые отвечают за масштаб (сжатие или растяжение ядра преобразования) и сдвиг (трансляцию), соответственно. Например, в качестве ядра

в медицинских приложениях применяют вейвлет Морле (3), то есть функцию вида:

(3)

На Фиг. 2 представлена вейвлет функция Морле и ее первая производная.

Кроме того, вейвлет функция должна удовлетворять следующим свойствам [2].

1. Конечность энергии

2. Условие допустимости

3. Для комплексных вейвлет функций преобразование Фурье должно быть действительным и обращаться в нуль для отрицательных частот.

Отметим, что существуют различные способы построения вейвлет-систем как ортогональных, так и неортогональных. Так, в качестве аппроксимационного базиса для построения различных систем вейвлет функций могут быть использованы бесконечно-дифференцируемые сплайны или атомарные функции [3]. Примеры вычисления количественных характеристик временных сигналов с помощью подобных синтезированных систем вейвлет функций также представлены в [4]. Пример простейшей атомарной функции, совпадающей с функцией Фабиуса на отрезке [0; 2] показан на Фиг. 3.

Отметим, что существуют библиотека визуализации вейвлет систем на Python [6] и библиотека вейвлет-преобразований на Python [7].

Дискретные интегральные преобразования анализа временных сигналов.

В силу дискретности входных данных, возникает необходимость учёта конечности числа отсчётов, и, как следствие, появляются дискретные аналоги непрерывных интегральных преобразований, указанных выше.

Дискретный вариант непрерывного оконного преобразования Фурье (DWFT).

Дискретный вариант непрерывного оконного преобразования Фурье (DWFT) принимает вид:

(4)

где

дискретная частоты временной последовательности

,

временной индекс,

частотный индекс,

количество отсчётов,

отсчёты оконной функции. При этом, оконная функция может быть выбрана различными способами. Так, в практических приложениях используется окно Ханна, которое определяется следующим образом:

(5)

Извлечение i-векторов.

Метод i-векторов представляет собой метод выделения и использования вспомогательных признаков. На настоящий момент, класс методов i-векторов является сравнительно новым способом решения задач распознавания объектов различной природы. Первоначально метод i-векторов возник для решения задачи распознавания речи. Идея метода основана на представлении моделей выражений гауссовой смеси

(6)

При этом, изображение этого выражения также применяется в качестве вектора признаков в языковом классификаторе [5].

Применение оконного преобразования Фурье.

Для примера рассмотрим схему извлечения признаков методом дискретного оконного преобразования Фурье. Стандартная схема применения DWFT состоит в следующем. Из полного сигнала с данными выделяется фрагмент (окно) определенной длины для анализа (Фиг. 4).

Та часть сигнала, которая попала в область интереса, скалярно умножается на некую оконную функцию, т.е. происходит «взвешивание» (Фиг. 5 (a), (б)).

При этом, сумма сдвигов оконной функции Ханна (5) обеспечивает разложение единицы (Фиг. 6 (a), (б)). Однако, в качестве оконных функций можно также использовать вейвлеты и атомарные функции, сумма сдвигов которых также удовлетворяет разложению единицы.

В настоящем изобретении данный подход позволяет получить спектрограмму, после чего она разбивается на фрагменты длительностью
1 секунда с шагом 0.5 секунд, которые подаются на вход CNN энкодеров.

В таком случае, CNN энкодеры служат для извлечения (экстракции) репрезентативных (значимых) признаков и уменьшения размерности входных данных в LSTM слои. Энкодер состоит из четырех блоков, включающих в себя операцию свертки с ядром 3х3, слой активации с функцией LeakyReLu, метод прореживания с вероятностью исключения нейрона 0.7 для предотвращения переобучения и батчнормализацию. Энкодеры обрабатывают поступившие в качестве входных данных окна спектрограммы и полученные признаки подаются на вход LSTM слоев (Фиг. 7).

Рекуррентная нейронная сеть RNN с LSTM.

Рекуррентная нейронная сеть с LSTM устроена по принципу «многие-ко-многим». Каждый отдельный фрагмент аудиозаписи после прохождения через экстракторы признаков попадает на отдельный слой LSTM.

Выход с каждого слоя рекуррентной сети передается далее в блок внимания (Attention).

Механизм внимания Attention.

Выходные данные каждого LSTM слоя, представляющие собой одномерный вектор, проходят через линейный слой с гиперболическим тангенсом в качестве его функции активации.

Полученные вектора после линейного слоя скалярно перемножаются с вектором весов, и сформированные признаки передаются в softmax для нормализации. В процессе обучения модели корректируют веса методом градиентного спуска.

Нормализованные значения перемножаются с исходными признаками, полученными на LSTM слоях, и полученные значения взвешенно суммируются с выходами всех других слоев. Архитектура предлагаемого алгоритма глубокого обучения представлена на Фиг. 8.

Полученные вектора взвешенных сумм всех трех аудиозаписей подаются на вход блока конкатенации и последующего линейного преобразования, и на выходе получаем вероятность заражения пациента COVID-19.

Особенности обучения модели.

При обучении модели используется оптимизационный алгоритм adam и происходит снижение скорости обучения алгоритма в 10 раз каждые 100 шагов.

Заявленный метод может быть реализован с использованием любого устройства, имеющего микрофон и способного использовать его на запись, включая, но не ограничиваясь: диктофон, кнопочный мобильный телефон, смартфон, умные часы, терминал, умная колонка и т.п. Специализированное программное обеспечение, адаптированное под указанное устройство, например, такое как мобильное приложение для телефона или приложение для наручного браслета, помогает пользователю выполнить необходимую последовательность шагов для подготовки и записи звуковых файлов. Записанные в файлы данные передаются на сервер с развернутой на нем системой обработки файлов через любые каналы передачи данных. Система на сервере обрабатывает звуковые файлы в соответствии с заявленным методом и передает результат пользователю или иному адресату (как человеку, так и другой системе), определенному настройкой системы с использованием адаптируемых форматов и любых доступных каналов связи.

Детальное описание процесса обработки трёх типов аудиозаписей от пациента: кашля, дыхания, речи.

– Конвертирование формата исходных данных в используемый в системе формат.

– Нормализация данных - приведение параметров аудиосигнала к значениям параметров, используемых в системе.

– Запись нормализованных данных, полученных в результате первичной обработки и нормализации.

– Применение дискретного интегрального преобразования:

– использование оконного преобразования Фурье (или вейвлет-преобразования) для получения набора спектрограмм нормализованных аудиоданных;

– дополнительная сегментация спектрограмм на отдельные фрагменты (окна/фреймы) с пересечениями по времени.

– Экстракция признаков из сегментированных данных:

– к полученным сегментированным данным применяются свёрточные нейронные сети CNN, в результате получается набор преобразованных спектрограмм, которые подаются на вход слою долгой краткосрочной памяти LSTM;

– на выходе LSTM с механизмом внимания получается сформированный вектор признаков.

– Конкатенация (объединение) полученных векторов признаков от трех исходных аудиозаписей от пациента: кашля, дыхания, речи.

– Преобразование полученного вектора с применением линейного слоя, гиперболического тангенса в качестве его функции активации.

– Формирование заключения о здоровье пациента:

– однозначное заключение о здоровье пациента производится в бинарном формате (здоров/болен);

– полученные данные отображаются на шкалу значений от 0 до 1, путем применения к данным функции сигмоиды.

На Фиг. 9 представлена общая схема вычислительного устройства (N00), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (N00) содержит такие компоненты, как: один или более процессоров (N01), по меньшей мере одну память (N02), средство хранения данных (N03), интерфейсы ввода/вывода (N04), средство В/В (N05), средства сетевого взаимодействия (N06).

Процессор (N01) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (N00) или функциональности одного или более его компонентов. Процессор (N01) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (N02). Выполнение вычислительных операций может выполняться как на Центральном вычислительном процессоре (ЦПУ), так и на графических ядрах (GPU).

Память (N02), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (N03) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (N03) позволяет выполнять долгосрочное хранение различного вида информации.

Интерфейсы (N04) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (N04) зависит от конкретного исполнения устройства (N00), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (N05) в любом воплощении системы должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (N06) выбираются из устройств, обеспечивающих сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (N05) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G.

Компоненты устройства (N00) сопряжены посредством общей шины передачи данных (N10).

В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.

Источники

[1] Al-Khassaweneh M., Abdelrahman B. A signal processing approach for the diagnosis of asthma from cough sounds. J Med Eng Technol, 2013; 37(3): 165-171.

DOI: 10.3109/03091902.2012.758322

[2] Jin Y., Angelini E., Laine A. 2005. Wavelets in medical image processing: denoising, segmentation, and registration. Springer, Boston.

DOI: 10.1007/0-306-48551-6_6

[3] Cooklev T., Berbecel G.I., Venetsanopoulos A.N. Wavelets and Differential-Dilation Equations. IEEE Transactions on signal processing, 2000; 48(8): 2258-2268.

DOI: 10.1109/78.852007

[4] Kravchenko V.F., Perez-Meana H.M., Ponomaryov V.I. 2009. Adaptive digital processing of multidimensional signals with applications. Fizmatlit, Moscow.

URL: https://www.elibrary.ru/item.asp?id=19594648

[5] Tomashenko N.A., Khokhlov Yu.Yu., Larchera A., Estève Ya., Matveev Yu.N. Gaussian mixture models for adaptation of deep neural network acoustic models in automatic speech recognition systems. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016; 16(6): 1063-1072.

DOI: 10.17586/2226-1494-2016-16-6-1063-1072

[6] Визуализатор вейвлетов на Python http://wavelets.pybytes.com/

[7] Библиотека вейвлетов на Python https://pywavelets.readthedocs.io/

Claims

1. Способ диагностирования пациента на наличие признаков коронавирусной инфекции (COVID-19), содержащий следующие этапы:

- получение от пациента аудиозаписей кашля, дыхания, речи;

- проверка аудиозаписей кашля, дыхания, речи на соответствие параметрам системы и получение соответствующих параметрам системы аудиозаписей кашля, дыхания, речи;

- получение трех наборов спектрограмм отдельно для каждой из соответствующих параметрам системы аудиозаписей кашля, дыхания, речи;

- для каждого из трех наборов спектрограмм дополнительная сегментация набора спектрограмм на отдельные фрагменты с пересечениями по времени, в результате которой получают сегментированную аудиозапись отдельно для каждой из аудиозаписей кашля, дыхания, речи;

- для каждой из трех сегментированных аудиозаписей экстракция из сегментированной аудиозаписи признаков путем обработки полученных фрагментов спектрограмм посредством сверточных нейронных сетей CNN, в результате которой получают набор преобразованных спектрограмм отдельно для каждой из аудиозаписей кашля, дыхания, речи;

- для каждого из трех полученных наборов преобразованных спектрограмм получение вектора взвешенных сумм посредством:

- подачи набора преобразованных спектрограмм на вход слоев долгой краткосрочной памяти LSTM и получения сформированного вектора признаков, причем каждый отдельный фрагмент спектрограмм после прохождения через CNN попадает на отдельный слой LSTM;

- преобразования сформированного вектора признаков для каждого слоя LSTM с применением линейного слоя с гиперболическим тангенсом в качестве его функции активации, скалярного перемножения с вектором весов и нормализаци, в результате получают преобразованный вектор признаков;

- для каждого слоя LSTM перемножения преобразованного вектора признаков с исходным вектором признаков, полученным на LSTM слое;

- взвешенного суммирования выходов всех LSTM слоев и получения вектора взвешенных сумм для каждой из аудиозаписей кашля, дыхания, речи;

- конкатенации полученных векторов взвешенных сумм для каждой из аудиозаписей кашля, дыхания, речи;

- преобразования полученного в результате конкатенации вектора с применением линейного слоя с гиперболическим тангенсом в качестве его функции активации, в результате которого получают результирующий вектор взвешенных сумм;

- формирования заключения о наличии признаков коронавирусной инфекции (COVID-19) у пациента на основании результирующего вектора взвешенных сумм.

2. Способ по п. 1, характеризующийся тем, что проверяют аудиозаписи кашля, дыхания, речи на соответствие следующим параметрам системы: формату данных, частоте дискретизации, битрейту, количеству каналов.

3. Способ по п. 1, характеризующийся тем, что сформированный вектор признаков для каждого слоя LSTM с применением линейного слоя с гиперболическим тангенсом в качестве его функции активации, скалярно перемноженный с вектором весов, передают в softmax для нормализации.

4. Способ по п. 1, характеризующийся тем, что получают набор спектрограмм для аудиозаписи с использованием оконного преобразования Фурье или вейвлет-преобразования.

5. Способ по п. 1, характеризующийся тем, что полученные данные, на основе которых формируют заключение о наличии признаков коронавирусной инфекции (COVID-19) у пациента, отображаются на шкалу значений от 0 до 1, путем применения к указанным данным функции сигмоиды.