RU2679864C2 - Система и способ мониторинга пациента - Google Patents

Abstract

Изобретение относится к медицине, а именно к мониторингу пациентов. Подсистема анализа видеоданных для использования в системе мониторинга пациента для мониторинга пациента в постели содержит: систему оценки или обнаружения движения для приема видеоизображений (V1, V2) пациента, захватываемых видеокамерой; блок локализации для получения сигналов (S1, S2, S3) датчиков от комплекта датчиков, связанных с компонентами оборудования, расположенными вблизи постели, для обнаружения взаимодействия с указанными компонентами оборудования, осуществляемого пациентом. Причем подсистема анализа видеоданных выполнена с возможностью определения и отслеживания положения частей тела пациента по видеоизображениям (V1, V2) и с возможностью использования сигналов (S1, S2, S3) датчиков при указанном определении и отслеживании положения частей тела пациента по видеоизображениям (V1, V2). Причем датчики мониторинга двигательного поведения пациентов выполнены с возможностью передачи сигналов о взаимодействии пациента с окружающими объектами. Система мониторинга пациента для мониторинга пациента в постели содержит: видеокамеру для захвата видеоизображений (V1, V2) пациента; комплект датчиков, связанных с компонентами оборудования вблизи постели, для обнаружения взаимодействия пациента с компонентами оборудования вблизи постели и получения сигналов (S1, S2, S3) датчиков, подсистему анализа видеоданных, выполненную с возможностью приема указанных захваченных видеоизображений (V1, V2) и указанных обнаруженных сигналов (S1, S2, S3) датчиков. Способ включает: прием видеоизображений (V1, V2) пациента, захватываемых видеокамерой; прием сигналов (S1, S2, S3) датчиков, получаемых от комплекта датчиков, связанных с компонентами оборудования, расположенными вблизи постели, для обнаружения взаимодействия с указанными компонентами оборудования, осуществляемого пациентом, и определение и отслеживание положения частей тела пациента по видеоизображениям (V1, V2) с использованием сигналов (S1, S2, S3) датчиков при указанном определении и отслеживании положения частей тела пациента по видеоизображениям (V1, V2). Способ мониторинга пациента для мониторинга пациента в постели, включающий: захват видеоизображений (V1, V2) пациента; обнаружение взаимодействия пациента с компонентами оборудования вблизи постели и получения сигналов (S1, S2, S3) датчиков с помощью комплекта датчиков, связанных с компонентами оборудования вблизи постели; и осуществление анализа видеоданных согласно способу по п.6 на основе захваченных видеоизображений (V1, V2) и указанных обнаруженных сигналов датчиков. Компьютерочитаемый носитель, содержащий компьютерную программу со средствами программного кода, сконфигурированный для выполнения компьютером этапов способа при выполнении указанной компьютерной программы на компьютере. 5 н.з. ф-лы., 6 з.п. ф-лы.

Description

ОБЛАСТЬ ТЕХНИКИ

[001] Настоящее изобретение относится к мониторингу пациентов, особенно когда они находятся в постели для лечения, например, в больничной постели.

УРОВЕНЬ ТЕХНИКИ

[002] Обычно двигательное поведение больничного пациента наблюдают, когда представитель медицинского персонала посещает пациента. Часто медицинскому персоналу трудно заметить изменение в двигательном поведении между предыдущим и текущим посещением. Особенно трудно вспомнить предыдущие наблюдения во время повышенной занятости. Данный тип осмотра обуславливает достаточно заметное запаздывание в выявлении критических проблем, таких как наступление заболеваний, выявляемых по изменению двигательного поведения, или критических ситуаций, вызванных движениями пациентов.

[003] Для решения этой проблемы был предложен автоматический видеомониторинг пациентов. Это сравнительно новая методика, средства реализации которой находятся в зачаточном состоянии.

[004] Видеомониторинг с помощью камеры является многообещающим подходом и позволяет автоматически обнаруживать изменения клинического состояния. Теоретически, это позволяет полностью анализировать движения тела ненавязчивым способом. Таким образом, считается, что непрерывный и автоматический видеомониторинг дает возможность получения улучшенной информации по сравнению с датчиками, носимыми на теле.

[005] Чтобы распознавать и классифицировать движения пациентов, из видеоизображений могут быть извлечены особенности естественных и необычных движений, которые затем могут быть предоставлены классификатору. Извлечение особенностей для мониторинга пациента обычно выполняют глобально, основываясь на движениях всего тела. Однако классификация движений, основанная на определенных частях тела, может обеспечить получение еще более значимой информации, поскольку отдельные движения часто выполняются конкретными частями тела (например, непрерывное перемещение головы слева направо является необычным, а повторяющееся движение руки во время еды не является необычным).

[006] Методы анализа видеоданных должны учитывать динамические аспекты больничной среды. Они могут приводить к изменениям в месте проведения мониторинга, например изменению угла наклона кровати и наклона спинки кровати, учитывать загораживание частей тела пациента людьми или объектами, такими как экран телевизора, различные положения лежащего в постели пациента и одеяла, закрывающего части тела пациента. Эти проблемы затрудняют включение типичных методов сегментирования тела и идентификации частей тела для мониторинга пациента.

[007] Например, наличие одеяла затрудняет подбор модели человека для лежащего пациента. Изменения в месте проведения мониторинга также ограничивают текущие методы анализа видеоданных для сегментирования частей тела (такие как анализ края/градиента, анализ значения яркости и обнаружение объекта).

[008] Также были предложены датчики, отличные от видеокамеры, для мониторинга двигательного поведения пациентов. Как правило, они являются специализированными датчиками для обнаружения конкретного инцидента (например, пациент вываливается из постели). Хотя для обнаружения определенных событий могут использоваться специализированные датчики, видеоданные несут гораздо больше информации. Если указанные выше проблемы, связанные с распознаванием видеоданных, могут быть по меньшей мере частично разрешены, это дает возможность выявления лица и рук пациента, анализа движений и взаимодействия с объектами или распознавания общего поведения. Таким образом, система видеодатчиков дает возможность автоматического анализа и распознавания различных типов движений, выполняемых пациентом, если можно решить проблемы, связанные с изменениями в месте проведения мониторинга и загораживаниями.

[009] Также было признано, что мониторинг перемещения пациента или отдельных частей тела пациента, таких как руки, может дать информацию о клиническом состоянии пациента. Например, в дополнение к мониторингу того, когда пациент вываливается из постели, имеется много дополнительной важной информации для медицинского персонала, которая может быть извлечена из движений пациента. Одним из примеров является показание того, что пациент тянет медицинское оборудование (например, эндотрахеальную трубку или питательную трубку). Некоторые движения пациента зависят от конкретного заболевания, такие как хватательные движения в воздухе или повторяющееся движение ног в случае бреда, эпилептических припадков и т.п.

[0010] Как указано выше, существуют различные системы, которые направлены на выявление вставания пациента с постели или риска вывалиться из постели. Например, в заявке WO 2012/040554 раскрыта система мониторинга пациента с помощью видеокамеры, одна цель которой заключается в обнаружения того, когда пациент собирается вставать с постели. Кроме того, можно контролировать параметры оборудования в палате пациента, например, чтобы определять, подняты или опущены боковые поручни постели.

[0011] Эти системы предоставляют ограниченную информацию и, например, не позволяют пациенту осуществлять движения, которые могут указывать на определенные медицинские состояния, которые должны быть идентифицированы. Таким образом, хотя известно, что в дополнение к системе видеомониторинга используются дополнительные датчики, все еще существуют проблемы с использованием системы видеомониторинга в окружении лежачего пациента.

РАСКРЫТИЕ СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0012] Изобретение определено пунктами формулы.

[0013] Согласно аспектам изобретения представлены подсистема анализа видеоданных по п. 1 и система мониторинга пациента для мониторинга пациента в постели по п. 5.

[0014] В данных системах используются сведения о расположении частей тела пациента, таких как кисть и рука, а также сведения о положении оборудования, с которым может взаимодействовать пациент. Такая дополнительная информация о взаимодействии может быть использована для классификации необычных, отличных от естественных, движений. Например, взаимодействие с экраном развлечений является естественным, а непрерывное потягивание медицинского оборудования может быть необычным. Повторяющиеся хватательные движения в воздухе могут даже указывать на особые медицинские состояния.

[0015] Компоненты оборудования могут быть зафиксированы на месте, и в этом случае их положение известно подсистеме анализа видеоданных в процессе конфигурирования. И наоборот, они могут быть выполнены подвижными, например, экран дисплея. В этом случае местоположение компонентов оборудования может также отслеживаться подсистемой анализа видеоданных, или их положения в режиме реального времени могут быть предоставлены видеосистеме другими способами.

[0016] Когда пациент осуществляет взаимодействие, на основе известных местоположений объектов, с которыми он взаимодействует, можно идентифицировать области изображения, в которых расположены кисти и руки. Это может быть использовано для их отслеживания и анализа повторяющихся движений кистей и рук в режиме реального времени или впоследствии.

[0017] Таким образом, определяется связанная система, в которой средства больничного помещения (или другого учреждения по уходу) могут поддерживать связь с системой видеонаблюдения. Эти средства, например, могут включать в себя экран, поручни постели и медицинские устройства, такие как датчики на теле пациента, трубки и внутривенные линии.

[0018] Подсистема анализа видеоданных, например, может быть адаптирована для идентификации областей видеоизображения, в которых расположены части тела пациента, на основе сигналов датчиков. Таким образом, подсистема анализа видеоданных может повысить степень достоверности, с которой можно правильно отслеживать расположение рук или предплечья (или другой части тела).

[0019] Комплект датчиков может включать в себя:

тактильный датчик для обнаружения того, когда пациент коснулся экрана дисплея.

[0020] Повторное движение взад и вперед рук пациента рядом с экраном может быть классифицировано как нормальное поведение, например, для сенсорного экрана или при настройке положения или параметров экрана.

[0021] Комплект датчиков может включать в себя: тактильный датчик для обнаружения того, когда пациент коснулся рукой поручней кровати.

[0022] Это может быть использовано для предупреждения о том, что пациент может пытаться встать с постели, а также дополнительно позволяет определить предполагаемое расположение руки пациента, например, в области поручня, опять-таки для повышения надежности обнаружения части тела.

[0023] Комплект датчиков может включать в себя: датчик с пальцевым зажимом, например, для пульсовой оксиметрии (SpO2).

[0024] Комплект датчиков может включать в себя: датчик для обнаружения того, когда пациент коснулся системы доставки лекарственных средств или воздуха для дыхания.

[0025] Это может быть использовано для обнаружения схватывания пациентом питающих его линий, что может вызвать предупреждающий сигнал.

[0026] Данный список возможных датчиков не является исчерпывающим. Естественно, для обнаружения того, что пациент взаимодействует с устройством или объектом, например чашками, бутылками и переключателями, могут использоваться датчики от любого подключенного устройства или объекта

[0027] Подсистема анализа видеоданных предпочтительно адаптирована для создания оповещения на основе анализа видеоданных, когда движение частей тела пациента считается ненормальным или представляет опасность.

[0028] Подсистема анализа видеоданных служит, например, для определения и отслеживания положения частей тела пациента, в том числе рук и ног. Таким образом, в дополнение к отслеживанию кистей возможно отслеживание рук и/или ног.

[0029] Согласно другим аспектам изобретения представлены способ анализа видеоданных по п. 7 и способ мониторинга пациента для мониторинга пациента в постели, по п. 10.

[0030] В данных способах используется информация о взаимодействии пациента с оборудованием в непосредственной близости от пациента, чтобы улучшить характеристики подсистемы анализа видеоданных, а также обеспечить возможность получения большего количества полезной информации из анализа видеоданных. Подсистема анализа видеоданных служит, например, для идентификации областей видеоизображения, в которых расположены части тела пациента, на основе обнаруженного взаимодействия.

[0031] Обнаружение взаимодействия может включать в себя обнаружение того, когда пациент коснулся экрана дисплея, или обнаружение того, когда пациент коснулся поручня кровати, или обнаружение того, когда пациент коснулся системы доставки лекарственных средств.

[0032] Способ может дополнительно включать в себя обнаружение присутствия других людей, отличных от пациента, на основе обнаруженных взаимодействий с компонентами оборудования. Другие люди могут быть медсестрами или посетителями. Данная информация может, кроме того, способствовать отслеживанию и обнаружению положения пациента.

[0033] Изобретение также представляет компьютерную программу, содержащую средства программного компьютерного кода, выполненные с возможностью реализации способа, при выполнении указанной компьютерной программы на компьютере. Компьютерная программа может быть воплощена на компьютерочитаемом носителе.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0034] Теперь будут подробно описаны примеры реализации изобретения со ссылкой на прилагаемые чертежи, на которых:

[0035] на фиг. 1 показана система мониторинга пациента в соответствии с одним примером реализации изобретения;

[0036] на фиг. 2 показана система при использовании для больничной постели;

[0037] на фиг. 3 более подробно показана обработка сигнала видеоданных;

[0038] на фиг. 4-6 показаны различные этапы при использовании системы, и

[0039] на фиг. 7 показан компьютер, используемый для реализации алгоритма распознавания видеоданных.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0040] Изобретение предоставляет систему мониторинга пациента для мониторинга пациента в постели. Для захвата видеоизображений пациента используется видеокамера. Для определения и отслеживания положения частей тела пациента, в том числе кистей рук, используется анализ видеоданных. Данный анализ улучшен благодаря использованию датчиков, которые обнаруживают взаимодействие пациента с компонентами оборудования вблизи постели.

[0041] Настоящее изобретение может применяться в любом учреждении, предоставляющем уход, или даже для обеспечения ухода в домашних условиях. Только в качестве примера, приведенное ниже описание относится только к больнице.

[0042] Данный подход означает, что средства больничной палаты в основном взаимодействуют с системой видеонаблюдения. Путем обмена информацией между средствами и системой видеонаблюдения можно получить больше сведений о видеоданных, например, где находится экран пациента, где находятся руки/кисти, где на видеоизображении расположены датчики тела.

[0043] Эта информация может быть использована для классификации движений пациента - как необычных или как естественных. Это может быть использовано для улучшения идентификации положения кистей и/или рук в изображении и использовано для отслеживания этих положений в будущих изображениях. Конечным результатом этого является улучшенная классификация необычных или естественных движений.

[0044] На фиг. 1 показана система 10 мониторинга пациента в соответствии с одним примером реализации изобретения.

[0045] Система содержит по меньшей мере одну видеокамеру для захвата видеоизображений пациента, когда он находится в постели в период лечения. На фиг. 1 показаны две видеокамеры 12, 14. Здесь представлены их видео выходы в подсистему 16 анализа видеоданных для определения и отслеживания положения частей тела пациента, в том числе кистей рук. Эта информация об отслеживании представлена как выход 18. Данный выход может быть в виде интерпретируемой информации об отслеживании. Однако система может дополнительно (или альтернативно) генерировать внутри предупреждение 19 на основе анализа видеоданных, когда движение частей тела пациента считается ненормальным или представляет опасность.

[0046] Используемые алгоритмы отслеживания видеоданных являются обычными. Так, примерами алгоритма отслеживания видеоданных являются:

[0047] Отслежение на основе сдвига среднего значения (см., например, J. Wang, and Y. Yagi, "Adaptive Mean-Shift Tracking With Auxiliary Particles", in IEEE Transactions on Systems, Man and Cybernetics - Part B, Vol. 39 (6), pp. 1578-1589 (2009)); и

[0048] фильтры Калмана и частиц (см., например, J.М. del Rincon et. al. "Tracking Human Position and Lower Body Parts Using Kalman and Particle Filters Constrained by Human Biomechanics" in IEEE Transactions on Systems, Man and Cybernetics - Part B, Vol. 41 (1), pp. 26-37 (2010).

[0049] Чтобы улучшить характеристики подсистемы анализа видеоданных, предусмотрен комплект связанных датчиков 20, 22, 24. Каждый датчик связан с компонентом оборудования вблизи постели, для обнаружения взаимодействия, осуществляемого пациентом. Сигналы датчиков подаются в подсистему анализа видеоданных, чтобы содействовать определению и отслеживанию положения частей тела пациента.

[0050] Датчики подают выходные сигналы в алгоритм отслеживания видеоданных без каких-либо изменений. Кроме того, система отслеживания видеоданных включает в себя блок слияния, который объединяет видеоданные и данные датчиков для их совместной обработки.

[0051] На фиг. 2 показана система в эксплуатации. Пациент 30 показан в больничной постели 31. Вблизи пациента находятся различные компоненты оборудования, в том числе боковые поручни 32, 34 постели, экран 36 развлечений, система 38 доставки лекарственных средств и система 40 доставки газа для дыхания. Каждый из них связан с соответствующим датчиком 32а, 34а, 36а, 38а, 40а. Эти датчики обнаруживают взаимодействие с пользователем. Они могут включать в себя, например, тактильные датчики, использующие, например, электрическую емкость для распознавания касания.

[0052] При этом для различных компонентов оборудования могут быть использованы другие датчики. Например, для экрана 36 развлечений определение может быть основано на сигналах управления, подаваемых экраном, которые указывают, что были выполнены изменения в настройках для экрана, такие как изменения каналов, изменения контрастности или яркости или какие-либо другие, вводимые пользователем, изменения. Тактильный датчик также может быть использован в сочетании с экраном, например, для указания того, когда пациент регулирует положение экрана.

[0053] Датчики для системы 38 доставки лекарственных средств или системы 40 доставки воздуха для дыхания могут быть основаны, например, на измерении силы обнаруженного усилия вытягивания, которое тоже указывает, что пациент взаимодействует с системой.

[0054] Как показано на фиг. 1, информация датчиков подается в подсистему 16 анализа видеоданных.

[0055] Часть оборудования будет иметь неизменное положение, так что обнаружение взаимодействия пациента с оборудованием может, например, использоваться для представления примерного положения кисти руки в подсистеме анализа видеоданных. Неизменное положение может быть запрограммировано в системе как часть процедуры установки. Для подвижного оборудования, такого как экран 36, положение может быть обновлено в режиме реального времени. Например, обработка видеоданных обеспечивает возможность легко идентифицировать положение экрана на основе его характерного размера и формы.

[0056] На оборудовании могут существовать маркеры, такие как коды QR (двумерные штрих-коды «Быстрого отклика»), для помощи подсистеме анализа видеоданных при распознавании определенного типа оборудования. Для определения положения объектов могут быть использованы другие системы слежения, такие как распознавание RFID (радиочастотная идентификация).

[0057] Датчики также могут выдавать предупреждения, основанные на получении ими сигналов о необычном поведении. Они могут предоставлять информацию, которая специально не направлена на обнаружение взаимодействия пациента, но которая используется для других целей мониторинга. Например, могут быть предусмотрены датчики, содержащие пальцевые прищепки или электроды ЭКГ. Если датчик, такой как электроды ЭКГ, обнаруживает поведение, являющееся ненормальным, это может происходить вследствие взаимодействия пациента (тянущего электроды) или это может происходить вследствие медицинской проблемы, такой как ненормальный режим работы сердца. Путем маркировки этого инцидента видеосистема может быть предупреждена, что нечто может происходить вблизи соответствующего датчика, так что могут быть проанализированы видеоизображения.

[0058] Когда датчик показывает, что произошло взаимодействие с элементом оборудования, и информация была передана в видеосистему, затем видеосистема может проверить, где произошло движение изображения. Ожидается, что движение будет происходить вблизи элемента оборудования. Если свойства характеристик градации серого/гистограммы/края/SIFT (Scale Invariant Feature Transform, масштабно-инвариантная трансформация возможностей) или другие характеристики изображения недостаточны для идентификации оборудования, различия между кадрами с другими кадрами (когда движение отсутствует) должны возвращать высокий уровень обнаружения вокруг нового положения. Таким образом, можно уточнить информацию о положении, даже если переносной элемент раньше был в другом положении.

[0059] Таким образом, в данной системе используются сведения о расположении частей тела пациента, таких как кисть и рука, а также сведения о положении оборудования, с которым может взаимодействовать пациент.

[0060] Если пациент совершает повторяющиеся движения вблизи экрана, это может быть полностью нормальным. Если пациент совершает повторяющиеся движения в воздухе или вблизи систем подачи лекарственных средств или воздуха для дыхания, это может быть большим основанием для тревоги.

[0061] На фиг. 3 показан один пример функций, реализованных с помощью подсистемы 16 анализа видеоданных. Система в данном примере служит для определения и отслеживания положений кистей и рук в видеоизображениях.

[0062] Видеосигналы V1 и V2 подаются в систему 50 оценки или обнаружения движения. Это обеспечивает информацию 51 об обнаружении движения для блока 52 локализации, который идентифицирует области видеоданных, где произошло обнаруженное движение. Система 50 может также включать в себя средства компьютерной обработки изображений для идентификации кистей рук или других частей тела в видеоизображениях, в дополнение к информации от датчиков. Информация об области показана как 53, которая относится к областям, где произошло движение, или которые идентифицированы как отдельные части тела. Блок локализации также получает такие входные сигналы, как сигналы S1, S2, S3 датчиков. Когда пациент взаимодействует с компонентом оборудования вблизи пациента, сигналы связанных датчиков к подключенной сети указывают, что их коснулись или использовали иным образом.

[0063] Информация 51 об обнаружении движения, а также информация 53 о локализации, относящаяся к соответствующим видеоизображениям, затем может быть обработана более эффективно на основе сведений о локализации кистей рук, для взаимодействий, о которых известно, что они происходят в помощью кистей рук.

[0064] Такой подход позволяет обнаруживать кисти рук (например) с высокой достоверностью, а затем позволяет отслеживать их. Такое двигательное поведение затем может быть проанализировано, чтобы прийти к выводу, является ли движение необычным или естественным. Сведения о том, когда касаются элемента оборудования, дает информацию о месте нахождения кистей рук, которые могут быть идентифицированы в изображении с помощью, например, обнаружения движения.

[0065] Использование дополнительного входа датчика также означает, что система может обнаружить, когда в изображении находится другое лицо (например, медсестра). Например, если нажата кнопка прикроватного монитора, можно сделать вывод, что в комнате находится медсестра. Зная расположение прикроватного монитора в комнате, движения медсестры могут быть исключены из анализа движений, вызванных пациентом.

[0066] Система и способ может включать в себя обнаружение присутствия других людей, отличных от пациента, на основе обнаруженных взаимодействий с компонентами оборудования. В общем случае это может быть реализовано за счет наличия датчиков вне зоны пациента (то есть не доступных пациенту, лежащему в постели). Человек, не являющийся пациентом, вероятно, находится в изображении, когда эти датчики включены, и движения от этого другого лица (лиц) могут быть проигнорированы.

[0067] Модуль 54 журнала движений хранит информацию 53 о локализации, информацию 51 обнаружения движения, а также сигналы датчика во времени. Это обеспечивает отслеживание, обновление положений и возможность распознавания повторяющихся движений. Это позволяет повысить уверенность в правильном определении местоположения кисти или руки. Это можно использовать, чтобы сделать систему более надежной при вычислении местоположения кисти или руки. Блок 56 обеспечивает обновление степени достоверности зоны кисти или руки, которая показывает, насколько надежным может быть результат обнаружения.

[0068] Например, когда сообщается о взаимодействии с элементом оборудования, высока достоверность, что область изображения, в которой находятся кисти рук, может быть найдена. Впоследствии кисти рук отслеживаются, и движения анализируются. На последующих этапах обработки местоположение кистей рук может стать менее точным. Когда сообщается о другом взаимодействии, и отслеживание кистей рук приводит к тому, что кисти рук находятся в области изображения, расположенной близко к устройству, снова возникает высокая степень достоверности того, что движения кистей рук между этими двумя взаимодействиями были найдены правильно.

[0069] Как только положения установлены, кисти и/или руки могут быть отслежены блоком 58. Это создает сигнал отслеживания кисти или руки Trk. Это может быть интерпретировано для создания предупреждения Alt с помощью блока 60 интерпретации. Таким образом, информация о положении кисти или руки может быть использована для улучшения алгоритма автоматической классификации необычного движения, который будет создавать предупреждение, а естественные движения будут проигнорированы. В частности, чем более подробная информация о местах расположения кистей рук известна, тем лучшее отслеживание может быть выполнено.

[0070] Сведения об устройстве, с которым взаимодействует пользователь, и типа взаимодействия могут принести пользу при классификации естественных или необычных движений с помощью блока 60 интерпретации. Некоторые устройства взаимодействуют с большей вероятностью, чем другие в естественном состоянии. Например, написание электронного письма с экрана компьютера даст типичную схему движений, которые могут быть распознаны.

[0071] На фиг. 4-6 графически показан используемый способ. Показан пациент 30 в постели 31 с дисплеем 36 над пациентом.

[0072] На фиг. 4, руки пациента 30 движутся, но вовсе нет взаимодействия с экраном. Область 70 показывает область, в которой подсистемой анализа видеоданных обнаружено движение. На фиг. 5, кисть руки пациента касается экрана, и экран сообщает подсистеме анализа видеоданных, что его коснулись.

[0073] Области движения в видеоизображении могут быть идентифицированы и основаны на прошлых перемещениях, область кисти и область экрана (если экран перемещается) может быть идентифицирована с большей точностью и/или степенью достоверности, как показано уменьшенной областью 70. На фиг. 6, последующее отслеживание положения кисти стало более точным, используя предыдущие сведения о местоположении кисти и руки.

[0074] Из вышеприведенного описания должно быть ясно, что в изобретении предложена система, в которой средства больничной палаты поддерживают связь с системой видеонаблюдения. Передача информации о том, с каким устройством осуществляется взаимодействие, может впоследствии помочь автоматически идентифицировать следующую информацию в видеоизображениях:

[0075] положение медицинского оборудования в изображении;

положение устройств для развлечения в изображении;

[0076] положение кистей и рук в изображении, когда оборудование с наибольшей вероятностью используется кистями и руками.

[0077] Это может быть использовано для обеспечения лучшей классификации текущего движения как необычного или естественного. Более точное определение положения кисти или руки позволяет обеспечить более надежное отслеживание в будущем. Это отслеживание позволяет улучшить классификацию необычных или естественных движений, основанных на движениях рук или кистей.

[0078] Расположение оборудования в палате может быть, например, инициализировано персоналом путем маркировки областей на экране, которые представляют материалы видеосъемки. Большую часть времени оборудование в палате (за исключением медицинского оборудования, прикрепленного к пациенту) является неподвижным и не перемещается. Например, экран будет перемещаться только к пациенту или от пациента в начале или в конце того времени, когда он хочет его использовать. Таким образом, может быть автоматически создан шаблон из всего оборудования в видеоизображении с использованием журнала изображений и путем проверки статических частей.

[0079] Когда также учитывается обнаруженное взаимодействие с датчиками, точное местоположение оборудования может быть обнаружено автоматически.

[0080] Следует заметить, что могут быть использованы многие дополнительные типы датчиков. Конечно, датчики могут быть предусмотрены на любом устройстве или объекте для обнаружения взаимодействия пациента с устройством или объектом. Возможность взаимного соединения устройств с использованием уникально идентифицируемых встроенных вычислительных устройств известна в области технологии, известной как «Интернет вещей».

[0081] Клиническому персоналу, возможно, потребуется взаимодействовать с медицинским оборудованием, таким как внутривенные линии, трубки для питания и т.п., например, проверять правильность крепления. Кроме того, экран развлечений может использоваться не только пациентом, но также посетителями или клиническим персоналом, помогающим пациенту. Для обеспечения того, чтобы в этих ситуациях не перепутать движения других людей с движениями пациента, журнал движения клинического персонала или других лиц в изображении также можно отслеживать и использовать.

[0082] Изобретение применимо в системах мониторинга пациента для многих различных типов палат в больнице (интенсивная терапия, неотложная помощь, общие палаты, гериатрические отделения). Его можно также использовать в домах престарелых или реабилитационных центрах, а также в домашних системах мониторинга состояния здоровья.

[0083] Автоматический и непрерывный анализ видеоданных движения может, например, использоваться для раннего выявления бреда или других заболеваний с необычными движениями или поведением. Ранние предупреждения могут предусматриваться, когда пациент взаимодействует с медицинским устройством, таким как внутривенные линии. Раннее обнаружение может быть предусмотрено, когда пациент пытается встать с постели, например, на основе взаимодействия с поручнем постели.

[0084] Анализ видеоданных может быть по существу выполнен в программном обеспечении, которым управляет устройство управления.

[0085] На фиг. 7 показан пример того, как может быть использован компьютер 600. Различные операции, описанные выше, могут использовать возможности компьютера 600.

[0086] Компьютер 600 может содержать, помимо прочего, ПК, рабочие станции, переносные компьютеры, карманные компьютеры, карманные компьютеры под управлением ОС Palm, серверы, запоминающие устройства и пр. Как правило, с точки зрения аппаратной архитектуры компьютер 600 может содержать один или несколько процессоров 610, память 620 и одно или больше устройств 670 ввода-вывода, которые связаны с помощью локального интерфейса (не показано). Локальный интерфейс может представлять собой, например, помимо прочего, одну или несколько шин или других проводных или беспроводных соединений, известных в данной области техники. Локальный интерфейс может иметь дополнительные элементы, такие как устройства управления, буферы (кэши), драйверы, ретрансляторы и приемники для обеспечения связи. Кроме того, локальный интерфейс может включать в себя адресацию, управление и/или информационные соединения для обеспечения соответствующей связи между вышеупомянутыми компонентами.

[0087] Процессор 610 представляет собой аппаратное устройство для выполнения программного обеспечения, которое может храниться в памяти 620. Процессор 610 может быть фактически любым изготовленным на заказ или имеющимся в продаже процессором, центральным процессором (CPU), цифровым сигнальным процессором (digital signal processor, DSP) или дополнительным процессором среди нескольких процессоров, связанных с компьютером 600, и процессор 610 может быть полупроводниковым микропроцессором (в форме микросхемы) или микропроцессором.

[0088] Память 620 может содержать любой один элемент или комбинацию элементов энергозависимой памяти (например, оперативную память (RAM), такую как динамическое оперативное запоминающее устройство (DRAM), статическое оперативное запоминающее устройство (SRAM) и т.д.) и элементы энергонезависимой памяти (например, ROM, стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), программируемое постоянное запоминающее устройство (PROM), лента, постоянное запоминающее устройство на компакт-диске (CD-ROM), диск, дискета, картридж, кассета и т.п.). Кроме того, память 620 может включать в себя электронные, магнитные, оптические и/или другие типы носителей. Следует заметить, что память 620 может иметь распределенную архитектуру, в которой различные компоненты расположены удаленно друг от друга, но могут быть доступны с помощью процессора 610.

[0089] Программное обеспечение в памяти 620 может включать в себя одну или несколько отдельных программ, каждая из которых содержит упорядоченный список выполняемых команд для реализации логических функций. Программное обеспечение в памяти 620 включает в себя подходящую операционную систему (ОС) 650, компилятор 640, исходный код 630 и одно или больше приложений 660 в соответствии с иллюстративными вариантами реализации. Как показано, приложение 660 содержит многочисленные функциональные компоненты для реализации функций и операций иллюстративных вариантов реализации. Приложение 660 компьютера 600 может представлять различные приложения, вычислительные устройства, логические, функциональные блоки, процессы, операции, виртуальные объекты и/или модули в соответствии с иллюстративными вариантами реализации, но приложение 660 не имеет ограничительного характера.

[0090] Приложение 660 может быть исходной программой, выполняемой программой (объектным кодом), сценарием или любым другим объектом, содержащим набор команд, которые должны выполняться. Если это исходная программа, то программа обычно передается через компилятор (такой как компилятор 640), ассемблер, интерпретатор и т.п., который может (или не может) быть включен в память 620, чтобы правильно работать в связи с ОС 650.

[0091] Устройства 670 ввода/вывода могут включать в себя устройства ввода, такие как, например, помимо прочего, мышь, клавиатура, сканер, микрофон, камера и т.п. Кроме того, устройства 670 ввода/вывода могут также включать в себя устройства вывода, например, помимо прочего, принтер, дисплей и т.п.

[0092] Приложение 660 может быть реализовано на любом компьютерочитаемом носителе для использования или в связи с системой, аппаратом или устройством выполнения команд, таким как компьютерная система, система, содержащая процессор, или другая система, которая может извлекать команды из системы, аппарата или устройства выполнения команд и выполнять команды. В контексте настоящего документа «компьютерочитаемый носитель» может быть любым средством, которое может хранить, сообщать, распространять или передавать программу для использования или в связи с системой, аппаратом или устройством выполнения команд. Компьютерочитаемый носитель может представлять собой, например, помимо прочего, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, аппарат, устройство или среду распространения.

[0093] Настоящее изобретение может представлять собой систему, способ и/или компьютерный программный продукт. Компьютерный программный продукт может включать в себя компьютерочитаемый носитель (или среду), содержащий компьютерочитаемые программные команды на нем, принуждающие процессор выполнять аспекты настоящего изобретения.

[0094] Компьютерочитаемый носитель данных может быть материальным устройством, которое может сохранять и хранить команды для использования устройством выполнения команд. Компьютерочитаемый носитель данных может быть, например, помимо прочего, электронным запоминающим устройством, магнитным запоминающим устройством, оптическим запоминающим устройством, электромагнитным запоминающим устройством, полупроводниковым запоминающим устройством или любой подходящей комбинацией указанных устройств. Не исчерпывающий список более конкретных примеров компьютерочитаемого носителя данных включает в себя следующее: портативную компьютерную дискету, жесткий диск, оперативное запоминающее устройство (RAM), постоянное запоминающее устройство (ROM), стираемое программируемое постоянное запоминающее устройство (EPROM или флэш-память), статическое оперативное запоминающее устройство (SRAM), постоянное запоминающее устройство на компакт-диске (CD-ROM), цифровой универсальный диск (DVD), карту памяти, гибкий диск, механически закодированное устройство, такое как перфокарты или рельефы в канавке с записанными на нем командами и любая подходящая комбинация вышеизложенного.

[0095] Другие изменения раскрытых вариантов реализации могут быть поняты и реализованы специалистами в данной области техники при практическом осуществлении заявленного изобретения, после изучения чертежей, описания и прилагаемой формулы изобретения. В формуле изобретения слово «содержащий» не исключает другие элементы или этапы, а единственное число не исключает множественное число. Сам факт того, что определенные показатели перечисляются во многих различных зависимых пунктах формулы изобретения, не означает, что комбинация этих показателей не может быть использована с выгодой. Любые ссылочные обозначения в пунктах формулы изобретения не должны быть истолкованы как ограничивающие объем.

Claims (31)

1. Подсистема (16) анализа видеоданных для использования в системе (10) мониторинга пациента для мониторинга пациента в постели, содержащая:

систему (50) оценки или обнаружения движения для приема видеоизображений (V1, V2) пациента, захватываемых видеокамерой (12, 14);

блок (52) локализации для получения сигналов (S1, S2, S3) датчиков от комплекта датчиков (32а, 34а, 36а, 38а), связанных с компонентами оборудования (32, 34, 36, 38), расположенными вблизи постели, для обнаружения взаимодействия с указанными компонентами оборудования, осуществляемого пациентом, причем

подсистема (16) анализа видеоданных выполнена с возможностью определения и отслеживания положения частей тела пациента по видеоизображениям (V1, V2) и с возможностью использования сигналов (S1, S2, S3) датчиков при указанном определении и отслеживании положения частей тела пациента по видеоизображениям (V1, V2),

причем датчики мониторинга двигательного поведения пациентов выполнены с возможностью передачи сигналов о взаимодействии пациента с окружающими объектами.

2. Подсистема (16) анализа видеоданных по п. 1, которая выполнена с возможностью идентификации областей видеоизображения, на которых расположены части тела пациента, на основе сигналов (S1, S2, S3) датчиков.

3. Подсистема (16) анализа видеоданных по п. 1, в которой части тела пациента включают одно или более из следующего: кисти рук, руки и ноги.

4. Система (10) мониторинга пациента для мониторинга пациента в постели, содержащая:

видеокамеру (12, 14) для захвата видеоизображений (V1, V2) пациента;

комплект датчиков (32а, 34а, 36а, 38а), связанных с компонентами оборудования (32, 34, 36, 38) вблизи постели, для обнаружения взаимодействия пациента с компонентами оборудования вблизи постели и получения сигналов (S1, S2, S3) датчиков,

подсистему (16) анализа видеоданных по п. 1, выполненную с возможностью приема указанных захваченных видеоизображений (V1, V2) и указанных обнаруженных сигналов (S1, S2, S3) датчиков.

5. Система (10) мониторинга пациента по п. 4, в которой комплект (32а, 34а, 36а, 38а) датчиков содержит одно или более из следующего:

тактильный датчик (36а) для обнаружения того, когда пациент коснулся экрана дисплея;

тактильный датчик (32а, 34а) для обнаружения того, когда пациент коснулся рукой поручня кровати;

датчик с пальцевым зажимом и

датчик для обнаружения того, когда пациент коснулся системы (38, 40) доставки лекарственных средств или воздуха для дыхания.

6. Способ анализа видеоданных для использования в системе по п. 4, включающий:

прием видеоизображений (V1, V2) пациента, захватываемых видеокамерой (12, 14);

прием сигналов (S1, S2, S3) датчиков, получаемых от комплекта датчиков (32а, 34а, 36а, 38а), связанных с компонентами оборудования (32, 34, 36, 38), расположенными вблизи постели, для обнаружения взаимодействия с указанными компонентами оборудования, осуществляемого пациентом, и

определение и отслеживание положения частей тела пациента по видеоизображениям (V1, V2) с использованием сигналов (S1, S2, S3) датчиков при указанном определении и отслеживании положения частей тела пациента по видеоизображениям (V1, V2).

7. Способ по п. 6, в котором анализ видеоданных используют для идентификации областей видеоизображения, в которых расположены части тела пациента, на основе обнаруженного взаимодействия.

8. Способ мониторинга пациента для мониторинга пациента в постели, включающий:

захват видеоизображений (V1, V2) пациента;

обнаружение взаимодействия пациента с компонентами оборудования (32а, 34а, 36а, 38а) вблизи постели и получение сигналов (S1, S2, S3) датчиков с помощью комплекта датчиков (32а, 34а, 36а, 38а), связанных с компонентами оборудования (32, 34, 36, 38) вблизи постели; и

осуществление анализа видеоданных согласно способу по п.6 на основе захваченных видеоизображений (V1, V2) и указанных обнаруженных сигналов (S1, S2, S3) датчиков.

9. Способ по п. 8, в котором обнаружение взаимодействия включает в себя одно или более из следующего:

определение того, когда пациент коснулся экрана (36) дисплея;

определение того, когда пациент коснулся поручня кровати (32, 34), и

определение того, когда пациент коснулся системы (38, 40) доставки лекарственных средств или воздуха для дыхания.

10. Способ по любому из пп. 8, 9, дополнительно включающий в себя определение присутствия других людей, отличных от пациента, на основе обнаружения взаимодействий с компонентами оборудования, не доступными пациенту, лежащему в постели.

11. Компьютерочитаемый носитель, содержащий компьютерную программу со средствами программного кода, сконфигурированный для выполнения компьютером этапов способа по любому из пп. 6, 8 при выполнении указанной компьютерной программы на компьютере.

Images