RU2604701C2 - Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати - Google Patents
Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати Download PDFInfo
- Publication number
- RU2604701C2 RU2604701C2 RU2013158869/14A RU2013158869A RU2604701C2 RU 2604701 C2 RU2604701 C2 RU 2604701C2 RU 2013158869/14 A RU2013158869/14 A RU 2013158869/14A RU 2013158869 A RU2013158869 A RU 2013158869A RU 2604701 C2 RU2604701 C2 RU 2604701C2
- Authority
- RU
- Russia
- Prior art keywords
- motion
- images
- subjects
- breathing
- bed
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 161
- 230000029058 respiratory gaseous exchange Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 title claims abstract description 30
- 230000003287 optical effect Effects 0.000 claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 37
- 230000002123 temporal effect Effects 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 8
- 238000004590 computer program Methods 0.000 claims abstract description 7
- 238000006073 displacement reaction Methods 0.000 claims abstract description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 5
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 241001465754 Metazoa Species 0.000 claims description 2
- 238000012806 monitoring device Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 4
- 239000003814 drug Substances 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000007958 sleep Effects 0.000 description 44
- 206010019280 Heart failures Diseases 0.000 description 27
- 230000000241 respiratory effect Effects 0.000 description 23
- 230000034994 death Effects 0.000 description 10
- 231100000517 death Toxicity 0.000 description 10
- 210000000038 chest Anatomy 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 208000024891 symptom Diseases 0.000 description 8
- 230000000737 periodic effect Effects 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 6
- 208000023504 respiratory system disease Diseases 0.000 description 6
- 230000003860 sleep quality Effects 0.000 description 6
- 206010013975 Dyspnoeas Diseases 0.000 description 5
- 230000036541 health Effects 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- 230000033764 rhythmic process Effects 0.000 description 5
- 208000000059 Dyspnea Diseases 0.000 description 4
- 208000019693 Lung disease Diseases 0.000 description 4
- 206010031123 Orthopnoea Diseases 0.000 description 4
- 206010041235 Snoring Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 208000012144 orthopnea Diseases 0.000 description 4
- 230000037081 physical activity Effects 0.000 description 4
- 208000013220 shortness of breath Diseases 0.000 description 4
- 201000002859 sleep apnea Diseases 0.000 description 4
- 230000035882 stress Effects 0.000 description 4
- 208000001647 Renal Insufficiency Diseases 0.000 description 3
- 208000008784 apnea Diseases 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000012530 fluid Substances 0.000 description 3
- 201000006370 kidney failure Diseases 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000002040 relaxant effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 208000024172 Cardiovascular disease Diseases 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 2
- 206010013974 Dyspnoea paroxysmal nocturnal Diseases 0.000 description 2
- 208000004327 Paroxysmal Dyspnea Diseases 0.000 description 2
- 206010062519 Poor quality sleep Diseases 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 2
- 208000009982 Ventricular Dysfunction Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 208000007502 anemia Diseases 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 208000020020 complex sleep apnea Diseases 0.000 description 2
- 238000005305 interferometry Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 201000006646 mixed sleep apnea Diseases 0.000 description 2
- 230000000414 obstructive effect Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000009531 respiratory rate measurement Methods 0.000 description 2
- 210000002345 respiratory system Anatomy 0.000 description 2
- 230000006815 ventricular dysfunction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000010444 Acidosis Diseases 0.000 description 1
- 206010006448 Bronchiolitis Diseases 0.000 description 1
- 201000003883 Cystic fibrosis Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010027406 Mesothelioma Diseases 0.000 description 1
- 206010027417 Metabolic acidosis Diseases 0.000 description 1
- 241001406857 Narosa Species 0.000 description 1
- 208000004756 Respiratory Insufficiency Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 206010064097 avian influenza Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 206010012601 diabetes mellitus Diseases 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003743 erythrocyte Anatomy 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 230000036449 good health Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 206010022437 insomnia Diseases 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002574 poison Substances 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 201000004193 respiratory failure Diseases 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 208000019116 sleep disease Diseases 0.000 description 1
- 208000022925 sleep disturbance Diseases 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
Группа изобретений относится к медицинской технике, а именно к средствам мониторинга движений и дыхания двух или более субъектов, занимающих общую постель. Способ мониторинга движений содержит этапы формирования изображения постели посредством оптического датчика, осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые принимают от оптического датчика, вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения, сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту, основанное на пространственном и/или временном сходстве кластеров движений между собой и на предыдущих результатах сегментации. Способ осуществляется посредством устройства мониторинга с машиночитаемым носителем, содержащим компьютерную программу. Использование изобретений позволяет повысить точность мониторинга. 3 н. и 8 з.п. ф-лы, 8 ил.
Description
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к способу и устройству для мониторинга движений и дыхания в общей постели, например партнеров по кровати. В частности, изобретение относится к способу мониторинга движений субъектов, находящихся в общей постели, причем способ содержит этапы:
- формирования изображения постели посредством оптического датчика;
- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые приняты от указанного оптического датчика;
- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;
- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,
причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущих результатах присвоения движений.
УРОВЕНЬ ТЕХНИКИ
Дыхание представляет собой параметр сна, имеющий большое значение, например, он обеспечивает обнаружение состояния, в частности расслабления, глубины сна, апноэ и эпизодов храпа. Движение также представляет собой параметр сна, который имеет большое значение, например, он обеспечивает обнаружение состояния сна-бодрствования человека и периодических движений конечностей. Больше чем один человек в кровати создает трудности для мониторинга дыхания и движений в кровати. Это имеет место не только тогда, когда два человека спят вместе близко, но также когда спят вместе не так близко, но под одним одеялом. Следовательно, данное изобретение относится к мониторингу дыхания и движений, когда два или более субъектов совместно используют общую кровать. В этом отношении «субъект» следует понимать как человек и/или животное, а общую кровать следует понимать как место для отдыха, например, такое как кровать, которую совместно используют по меньшей мере два субъекта одновременно.
Можно осуществлять мониторинг дыхания бесконтактным путем с использованием оптических датчиков и небольших микрофонов. Мониторинг дыхания можно использовать во многих применениях ко сну/расслаблению, таких как задающее ритм дыхательное устройство с замкнутым контуром или другие расслабляющие устройства, устройство для мониторинга различных типов апноэ или храпа, инструктор по сну, монитор глубины сна, бесконтактный «оценщик качества сна» и т.д. Движения во время сна также представляют собой параметр сна, имеющий большое значение, например, он обеспечивает обнаружение состояния сна-бодрствования человека и периодических движений конечностей. Также можно осуществлять мониторинг движения бесконтактным образом с использованием оптических датчиков. Мониторинг движений можно использовать в нескольких применениях ко сну/расслаблению, таких как системы, которые реагируют на состояние сна/бодрствования человека (например, система, которая выключается, когда человек засыпает), устройство для мониторинга периодических движений конечностей, монитор глубины сна, бесконтактный «оценщик качества сна» и т.д.
Указанные выше устройства типично направлены на мониторинг одного пользователя или влияние на него; однако, многие люди используют свои кровати совместно с партнером по кровати. Партнеры по кровати могут спать вместе ближе или дальше друг от друга. Существует множество положений, в которых спят пары, например:
- «Порознь» - партнеры спят в самых дальних углах кровати или головой к ступням;
- «В обнимку» - партнеры спят со своим партнером лицом к лицу в тесных объятиях;
- «Ложками» - один партнер лежит на своем боку и другой партнер лежит позади этого партнера, обняв одной рукой его или ее;
- «Свободно с сохранением контакта» - это положение похоже на «Ложки», но различие состоит в том, что один партнер сохраняет некоторое расстояние между собой и своим партнером; тем не менее, всегда имеет место контакт между обоими партнерами: колено, рука, ступня и т.д.
Многие люди спят вместе в одной кровати и под одним одеялом. Исследование, проведенное National Sleep Foundation, в котором опрашивали более тысячи взрослых респондентов, выявило, что большинство ночей 61% респондентов спит с близким человеком, 12% спят большинство ночей со своим домашним животным и 5% спят со своим ребенком (детьми). Больше чем шесть из десяти респондентов (62%) сообщают, что они предпочитают спать со своим близким человеком.
Нательные датчики можно использовать для того, чтобы осуществлять мониторинг движений (например, актиграфию) или дыхания во время сна (например, дыхательные ремни, которые носят вокруг грудной клетки или/и живота), однако эти датчики не являются ни комфортными, ни удобными для пользователя. Следовательно, ненательные датчики, такие как оптические датчики, лучше подходят для пользователя и обладают потенциалом для того, чтобы осуществлять мониторинг сна даже более надежным путем.
Совместный сон создает сложности для мониторинга дыхания и/или движений посредством ненательного датчика, который имеет фиксированное местоположение в течение ночи. Это имеет место не только тогда, когда два человека спят физически близко друг к другу, но также когда спят не так близко друг к другу, но под одним одеялом, поскольку как большие, так и менее крупные движения, включая дыхательные движения, могут перемещаться с одной стороны кровати на другую.
В публикации «A method for measuring respiration and physical activity in bed by optical flow analysis» авторов Nakajima et al., в Proceedings - 19th Int. Conference IEEE/EMBS, Oct. 30-Nov. 2, 1997 Chicago, IL, USA, раскрыт полностью бесконтактный и нестесняющий способ мониторинга, основанный на оптическом обнаружении последовательности движений тела посредством внедрения анализа последовательности изображений. Способ пространственно-временной локальной оптимизации применяют для того, чтобы определять оптическую последовательность в последовательности изображений. Оптическая последовательность визуализирует поле кажущихся скоростей всех движений тела, включая движения груди в связи с дыханием и изменения положения в кровати. Временное повышение частоты сердечных сокращений отражает величину физической активности. Предложены два возможных параметра для оценки дыхательной и физической активности на основе сравнения экспериментальных результатов. Среднее значение квадратов скоростей движения отражает величину физической активности. Репрезентативный усредненный по полю компонент показывает форму сигнала с периодической флуктуацией, соответствующей такому дыханию, которое получено с помощью использования носового терморезистора.
В публикации «A monitor for posture changes and respiration in bed using real time image sequence analysis» авторов Nakajima et al., в Proceedings of the 22nd annual EMBS international conference, July 23-28, 2000, Chicago, IL, USA, раскрыта система анализа последовательности изображений в реальном времени для того, чтобы оценивать как изменения положения субъекта, так и дыхание в кровати. Система состоит из CCD видеокамеры (используемой в качестве датчика), платы обработки изображения и ПК. Плата обработки изображения, которая содержит 256 CPU, обнаруживает оптическую последовательность (кажущуюся скорость) 256×240 пикселей в течение 150 мс. Репрезентативная усредненная по полю скорость показывает форму сигнала, содержащего два компонента с большими пиками и периодической флуктуацией. Большие пики возникают во время изменения положения, и периодическая флуктуация соответствует дыханию, получаемому с помощью использования носового терморезистора. Систему тестировали в центре сестринского ухода, где она работала в целом в течение пятидесяти шести часов без проблем.
В публикации «A visual context-awareness-based sleeping-respiration measurement system» авторов Kuo et al. в IEEE Transactions on Information Technology in Biomedicine, Vol. 14, №2, March 2010, раскрыто, что из-за быстрого роста популяции престарелых, улучшение конкретных аспектов здравоохранения для престарелых стало более важным. Системы мониторинга сна для престарелых редки. В этой публикации предложена осведомленная визуальным контекстом система измерения дыхания во сне, которая измеряет информацию о дыхании спящих престарелых. Точное измерение дыхания требует учета всех возможных контекстов для спящего человека. Предложенная система состоит из подсистемы обнаружения контекста движений тела, подсистемы обнаружения контекста дыхания и подсистемы измерения дыхания на основе оценки векторов быстрых движений. Система давала точные дыхательные измерения для исследуемой популяции.
В US 7431700 B2 раскрыт монитор, который может обнаруживать дыхание спящего человека без воздействия светом внутреннего освещения и может легко оценивать обнаруживаемое дыхание количественно через измерения изображений. Монитор содержит средство проецирования конкретного паттерна освещения, средство непрерывного захвата изображения проецируемого света, средство вычисления межкадрового движения паттерна освещения по изображениям из двух кадров, получаемых посредством средства захвата изображения в различные моменты времени, средство генерации данных о форме сигнала движения, содержащего межкадровые движения, находящиеся во временной последовательности, и средство обнаружения движения объекта по данным формы сигнала движения.
В WO 2010/070463 A1 раскрыта система обнаружения настроения для того, чтобы указывать расположение человека к сексу, система содержит устройство обнаружения телесных знаков, которое генерирует ответный сигнал, который представляет параметр тела указанного человека, детектор контакта тела, который генерирует сигнал контакта, отражающий наличие телесного контакта между указанным человеком и партнером, процессор сигнала, в котором предусмотрена память, и устройство вывода, которым управляет процессор. В режиме анализа процессор анализирует сигнал(ы) реакции, получаемые от устройства обнаружения телесных знаков, определяет настроение человека и, в зависимости от результата определения, приводит в действие устройство вывода. В ответ на прием сигнала контакта от детектора контакта тела, который указывает на то, что тела человека и партнера имеют физический контакт, процессор переключается из режима регистрации в режим анализа.
В публикации «Motion segmentation and tracking using normalized cuts» авторов Shi и Malik, в Sixth International Conference on Computer Vision. Narosa, New Delhi, pages 1154-1160 предложен алгоритм сегментации движений, который нацелен на разбиение сцены на ее наиболее выраженные группы движения. По последовательности изображений конструируют взвешенный граф посредством соединения пикселей, которые находятся в пространственно-временном соседстве друг с другом. В каждом пикселе определяют векторы профиля движения, которые содержат распределение вероятности скорости изображения. Расстояние между профилями движения используют для того, чтобы присвоить вес ребрам графа. Используя нормализованные пороги, находят наиболее выступающие части пространственно-временного графа, образуемого посредством последовательности изображений.
В EP 1410755 A1 раскрыто устройство мониторинга, которое может обнаруживать состояния спящего человека. Устройство мониторинга содержит множество независимых датчиков расстояния, установленных обращенными к различным положениям в целевой области, мониторинг которой осуществляют, которая подлежит мониторингу для измерения расстояния до цели, мониторинг которой осуществляют, вычислительный блок для вычисления изменений с течением времени в выходных сигналах датчиков расстояния и процессор обнаружения для обнаружения изменений в геометрической форме цели, мониторинг которой осуществляют, основываясь на вычисляемых изменениях с течением времени в одном или множестве датчиков расстояния среди множества датчиков расстояния.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Следовательно, цель данного изобретения состоит в том, чтобы повысить точность мониторинга дыхания и движений посредством ненательного датчика, в частности, когда два или более субъектов совместно используют кровать.
Эту цель изобретения достигают посредством способа мониторинга движения субъектов, расположенных на общей постели, причем способ содержит этапы:
- формирования изображения постели посредством оптического датчика;
- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров (число кадров зависит от частоты кадров, заданной в камере), которые принимают от указанного оптического датчика;
- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;
- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,
причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущих присвоениях векторов движений.
Настоящим изобретением предложена технология с использованием оптического датчика, которая может адаптивно присваивать части изображения одному субъекту или/и другому для того, чтобы анализировать собственные движения и ритм дыхания субъекта правильно на всем протяжении ночи. Это применимо даже когда субъекты спят на двух отдельных матрасах, а также когда они лежат близко вместе и под одним одеялом. Кроме того, в предложенной технологии используется только один датчик, чтобы одновременно осуществлять мониторинг нескольких субъектов в кровати.
Формирование изображения
Визуализацию в этом отношении следует понимать как сбор оптической информации о субъектах в общей кровати. Однако нет необходимости получать эту оптическую информацию посредством систем камер высокого разрешения. Для осуществления оценки движений изображения низкого разрешения, например, собирают с оптического датчика, похожего на оптический датчик, используемый в оптической мыши с разрешением 16×16 пискелей. Обработка изображений низкого разрешения снижает необходимые вычислительные мощности, что в свою очередь делает способ более быстрым, даже когда используют только небольшие вычислительные системы. Дополнительно, использование изображений низкого разрешения делает возможным анонимный мониторинг субъектов с такими нераспознаваемыми признаками, как лицо. Кроме того, оптическая информация не должна находиться в видимом диапазоне электромагнитного спектра. Например, оптическую информацию можно собирать в инфракрасном (ИК) диапазоне электромагнитного спектра. Использование ИК обеспечивает такой эффект, что способ является еще менее тревожащим для субъектов, мониторинг которых осуществляют, поскольку он не видим невооруженному глазу, и, следовательно, более комфортным.
Для оценки движений можно применять алгоритм любого типа, предоставляющий подходящие вектора движения, например алгоритм, предложенный в публикации «True-motion estimation with 3-D recursive search block matching» авторов de Haan et al., в IEEE Transactions on Circuits and Systems for Video Technology, Vol. 3, № 5, October 1993. Однако, в целом, можно применять любой алгоритм, который вычисляет информацию о движении, например, для патентоспособного способа можно применять оценку оптической последовательности, оценку максимальной апостериорной вероятности, оценку марковского случайного поля, вычисление среднеквадратической ошибки, вычисление суммы абсолютных разностей, вычисление средних абсолютных разностей, вычисление суммы квадратов ошибок и вычисление суммы абсолютных преобразованных разностей.
Согласно одному из вариантов осуществления изобретения результаты сегментации предшествующих изображений учитывают для присвоения кластеров движений соответствующему субъекту на последующем изображении. Поступая таким образом, повышают точность присвоения, и при этом происходит снижение необходимых вычислительных мощностей.
Согласно другому варианту осуществления изобретения, анализ дыхания осуществляют для каждого субъекта в общей кровати, основываясь на данных из последовательных изображений или изображений, которые отстоят на несколько кадров (число кадров зависит от частоты кадров, заданной в камере), предоставляемых посредством оптического датчика.
Измерение дыхания является полезным в здравоохранении и на потребительском рынке. В здравоохранении большое число заболеваний (например, сердечная недостаточность, респираторные или легочные заболевания, почечная недостаточность) можно распознавать посредством анализа дыхательного паттерна субъекта. Например, когда прогрессирует сердечная недостаточность, может развиваться дыхание Чейна-Стокса (периодическое дыхание). Далее описано, как симптомы сердечной недостаточности могут проявлять себя в конкретных дыхательных паттернах. Симптомы сердечной недостаточности могут возникнуть внезапно, в частности, если причиной является сердечный приступ. Однако большинство людей не имеют симптомов, когда в сердце впервые начинают развиваться проблемы. Затем симптомы проявляются постепенно в течение суток, месяцев или лет. Наиболее общими симптомами являются укорочение дыхания и утомляемость. Может происходить стабилизация сердечной недостаточности в течение определенных периодов времени, но часто она прогрессирует медленно и постепенно. Правосторонняя сердечная недостаточность и левосторонняя сердечная недостаточность создают различные симптомы. Несмотря на то, что могут присутствовать оба типа сердечной недостаточности, часто преобладают симптомы отказа одной стороны. В конечном итоге, левосторонняя сердечная недостаточность вызывает правосторонний отказ. Левосторонняя сердечная недостаточность ведет к накоплению жидкости в легких, которая вызывает укорочение дыхания. Сначала укорочение дыхания возникает только во время напряжения, но по мере прогрессирования сердечной недостаточности, она возникает при все меньшем и меньшем напряжении и в конечном итоге возникает даже в покое. Люди с тяжелой левосторонней сердечной недостаточностью могут коротко дышать, когда ложатся (состояние, называемое ортопноэ), поскольку гравитация заставляет большее количество жидкости перемещаться в легкие. Сидячее положение заставляет некоторое количество жидкости оттекать в нижнюю часть легких и делает дыхание более легким. Когда прогрессирует сердечная недостаточность, может развиваться дыхание Чейна-Стокса (периодическое дыхание). При этом необычном паттерне дыхания человек дышит быстро и глубоко, затем медленнее, затем не дышит вовсе в течение нескольких секунд. Дыхание Чейна-Стокса развивается, потому что происходит снижение потока крови к головному мозгу, и, следовательно, области головного мозга, которые управляют дыханием, не получают достаточно кислорода. Некоторые люди с сердечной недостаточностью испытывают ортопноэ, пароксизмальную ночную одышку или и то и другое. Ортопноэ представляет собой укорочение дыхания, когда человек лежит, когда облегчается сидячим положением. Пароксизмальная ночная одышка представляет собой внезапный, часто пугающий, приступ укорочения дыхания во время сна. Это состояние является крайней формой ортопноэ и признаком тяжелой сердечной недостаточности. Одышка также может возникать у людей, которые страдают анемией или потерей крови, по причине сниженного числа красных клеток крови, которые несут кислород к тканям. Человек дышит часто и глубоко, в рефлекторной попытке увеличить количество кислорода в крови. Некто с тяжелой почечной недостаточностью, внезапным ухудшением сахарного диабета или некто, кто принял определенные лекарственные средства или яды, ощущает нарушение дыхания и может начать быстро задыхаться по причине накопления большого количества кислот в крови (состояние, называемое метаболический ацидоз). Анемия и сердечная недостаточность также вносит вклад в одышку у людей с почечной недостаточностью. Дополнительно, существует три формы апноэ во сне: центральное (CSA), обструктивное (OSA) и комплексное или смешанное апноэ во сне (т.е. комбинация центрального и обструктивного). При CSA, дыхание прерывается за счет недостаточности дыхательного усилия; при OSA, дыхание прерывается за счет физического блока потока воздуха, несмотря на дыхательное усилие, и храп является обычным явлением.
Независимо от типа, индивидуум с апноэ во сне редко осведомлен о том, что имел затрудненное дыхание, даже после пробуждения. Апноэ во сне часто в качестве проблемы рассматривают другие люди, наблюдающие за индивидуумом во время эпизодов, или его предполагают по причине его эффектов, оказываемых на организм. Симптомы могут присутствовать в течение лет или даже десятилетий без идентификации, и в течение этого времени страдающий может впадать в состояние дневной сонливости и утомляемости, связанной со значительными уровнями нарушений сна.
Сердечная недостаточность (СН) представляет собой очень распространенное заболевание, как сообщает ESC (European Society of Cardiology) и HFSA (Heart Failure Society of America). ESC представляет страны с объединенной популяцией >900 миллионов, и по меньшей мере 15 миллионов пациентов с СН в этой 51 стране. Распространенность бессимптомных нарушений функции желудочков схожа, так что СН или бессимптомное нарушение функции желудочков выражено в ~4% популяции. Распространенность СН составляет между 2 и 3% и резко возрастает в возрасте ~75 лет, так что распространенность у людей в возрасте от 70 до 80 лет составляет между 10 и 20%. Общая распространенность СН также растет по причине старения мировой популяции. HFSA документирует, что сердечная недостаточность является обычной, но нераспознанной и часто ошибочно диагностированной. Она поражает приблизительно 5 миллионов американцев. Сердечная недостаточность представляет собой только основное растущее сердечно-сосудистое нарушение. По оценкам, от 400000 до 700000 новых случаев сердечной недостаточности диагностируют каждый год, а число смертей в Соединенных Штатах от этого состояния возросло больше чем в два раза с 1979 года, приблизительно 250000 смертей ежегодно.
Большое количество случаев СН естественно сопровождается высокими затратами на здравоохранение. Помимо сердечных заболеваний, широко распространены респираторные заболевания, где более раннее вмешательство или более простое диагностирование будут полезны как для здоровья человека, так и для связанных затрат на здравоохранение. British Lung Foundation выявляет следующие факты:
- Существует больше сорока состояний, которые поражают легкие и/или дыхательные пути и влияют на способность человека дышать. Они включают, среди прочих, злокачественную опухоль легких, туберкулез, астму, ХОЗЛ (хроническое обструктивное заболевание легких), кистозный фиброз, апноэ во сне, птичий грипп, бронхиолит;
- 1 человек из каждых 7 в Великобритании страдает легочным заболеванием - это равно приблизительно 8 миллионам людей;
- Респираторное заболевание представляет собой вторую по распространенности причину смерти в Великобритании (117456 смертей в 2004 году) после всех злокачественных опухолей за пределами дыхательной системы вместе, которые насчитывают лишь немного больше смертей (122500 смертей в Великобритании в 2004 году);
- Респираторное заболевание представляет собой вторую по распространенности причину смерти по всему миру после сердечно-сосудистых заболеваний;
- В 2020 году из 68 миллионов смертей по всему миру 11,9 миллиона будут обусловлены легочными заболеваниями;
- В Великобритании смертность от респираторных заболеваний почти вдвое превышает среднюю по Европе и находится на 6-м месте в Европе;
- Смерти от профессиональных легочных заболеваний быстро растут из-за 75% увеличения числа смертей от мезотелиом в 1988-1998 годах;
- Респираторное заболевание представляет собой наиболее часто описываемое длительное заболевание у детей и на третьем месте по частоте у взрослых.
Мониторинг дыхания является полезным на потребительском рынке, в частности, для расслабления. В наше время сложнее уснуть расслабленным образом из-за нерегулярного сна, сменного дежурства, давления эффективности и стресса. Решения, связанные с расслаблением, становятся все более и более важными. Состояние расслабления человека тесно связано с характеристиками его дыхания. Поскольку дыхательный паттерн меняется на всем протяжении процесса засыпания, анализ дыхания может предоставлять управляющие параметры для вмешательств по улучшению сна, например, дыхание с заданным ритмом для расслабления.
Кроме того, поскольку люди проводят почти треть своей жизни во сне, хорошее качество сна важно для хорошего здоровья и благополучия. Однако образ жизни и факторы окружающей среды вызывают все больше трудностей со сном, как рассмотрено в настоящем документе. В наше время имеет место возрастающее ухудшение качества сна из-за заболеваний, нерегулярного сна, сменного дежурства, давления эффективности и стресса. Плохой сон оказывает негативные эффекты на поведение, настроение, эффективность, безопасность, душевное и физическое здоровье.
Анализ дыхания можно осуществлять посредством способа, сравнимого с интерферометрией фазового сдвига, как типично используют для количественного определения глубины. Чтобы выполнить это, световой паттерн проецируют на область, подлежащую анализу. В отсутствие проецируемого светового паттерна анализируют зависимость между наблюдаемым вертикальным сдвигом и действительным вертикальным сдвигом отраженного света, идущего от природных источников. Микродвижения от дыхания значительно деформируют этот паттерн проецируемого света от естественного света. Если требования смягчаются, и качество изображения является достаточным, микродвижения можно извлекать из изображений без проецирования какого-либо дополнительного паттерна.
Согласно изобретению, анализ дыхания субъектов в общей постели выполняется с использованием наиболее крупных областей движения в последовательных изображениях или изображениях, которые отстоят на несколько кадров (число кадров зависит от частоты кадров, заданной в камере), которые идентифицируются в моменты отсутствия движения конечностей субъектов. Когда осуществляют оценку движений для того, чтобы предоставить векторы движения, наиболее крупные области движения представляют собой области, которые имеют наибольшие векторы движения. Для того чтобы идентифицировать моменты отсутствия движений конечностей, можно применять пороговое значение для векторов движения. Если векторы движения ниже порогового значения, идентифицируют области наибольших векторов движения и осуществляют анализ дыхания только в этих областях. Это снижает вычислительную мощность, необходимую для анализа, и делает возможной реализацию способа для небольших устройств мониторинга, которые действуют в качестве обособленных систем.
Согласно другому варианту осуществления изобретения, анализ дыхания индивидуума для каждого субъекта осуществляют посредством осуществления независимого анализа дыхания для каждой идентифицированной наиболее крупной области движения. Это делает возможным точный мониторинг дыхания для каждого индивидуального субъекта, даже когда субъекты расположены в непосредственной близости друг к другу, например в общей кровати или под одним одеялом.
Согласно другому варианту осуществления изобретения, изображения, поступающие от оптического датчика, сегментируют по границам преобладающих движений грудной клетки. Такая сегментация может быть основана на результатах оценки движений и вычисляемых векторах движения, например посредством присвоения векторов движения, имеющих одинаковое направление, одному сегменту. Направление может варьировать в пределах определяемого порогового уровня для присвоения. Обнаружено, что в целом векторы движения грудной клетки различных субъектов, расположенных в общей окрестности, различаются значительно своим направлением, чтобы присвоение векторов различным сегментам, представляющим различные субъекты, было возможным.
Согласно другому варианту осуществления изобретения, оптический датчик визуализирует окрестность кровати в дополнение к субъектам, совместно использующим общую кровать. Поступая таким образом, можно осуществлять мониторинг движения субъекта прямо в тот момент, когда субъект входит в окрестность, мониторинг которого осуществляют, например, в спальную комнату или тому подобное. Посредством постоянного мониторинга движений субъектов, присвоение движений различным субъектам происходит проще, поскольку результаты оценки движений, получаемые из предыдущих изображений, можно учитывать, когда анализируются последовательные изображения или изображения, которые отстоят на несколько кадров.
Согласно другому варианту осуществления изобретения, векторы движения, являющиеся результатом оценки движений, используются для того, чтобы отслеживать субъекты также в окрестности постели. Поступая таким образом, можно осуществлять мониторинг движения субъектов и тогда, когда они покидают общую постель, до тех пор, пока они остаются в общей окрестности, например в спальной комнате или тому подобном. Посредством постоянного мониторинга движений субъектов, присвоение движений различным субъектам происходит легче, поскольку результаты оценки движений, поступающие с предыдущих изображений, можно принимать во внимание, когда анализируются последовательные изображения или изображения, которые отстоят на несколько кадров.
В другом аспекте изобретение относится к устройству для мониторинга движения субъектов, расположенных в общей постели, устройство содержит оптический датчик и блок обработки данных, причем оптический датчик способен визуализировать общую постель и доставлять данные последовательных изображений или изображений, которые отстоят на несколько кадров, в блок обработки данных, причем блок обработки данных способен осуществлять компьютерную программу, которая содержит набор инструкций, способных побуждать блок обработки осуществлять способ, как описано выше.
В частности, компьютерная программа обладает возможностями осуществления оценки движений на изображениях, получаемых от указанного оптического датчика, посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые получают от указанного оптического датчика, вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения, сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту, где присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущими результатами сегментации.
В другом варианте осуществления изобретения устройство содержит проецирующее свет средство, способное проецировать световой паттерн на упомянутую общую постель. Предпочтительно, проецирующее свет средство проецирует световые паттерны на длине волны, невидимой для человеческого глаза, например, в ИК-диапазоне электромагнитного спектра.
В другом аспекте изобретение относится к компьютерной программе, которая содержит набор инструкций, способных, когда встроены в машиночитаемый носитель, побуждать систему обработки информации осуществлять описанный выше способ. В частности, компьютерная программа обладает возможностями для того, чтобы осуществлять оценку движений на изображениях, получаемых от оптического датчика, посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые получают от указанного оптического датчика, вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения, сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту, причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой и предыдущих результатах сегментации.
Мониторинг дыхания можно использовать во многих применениях для сна/расслабления, например, в задающем ритм дыхательном устройстве с замкнутым контуром или других расслабляющих устройствах, устройстве для мониторинга апноэ или храпа, инструкторе по сну, мониторе глубины сна, бесконтактном «оценщике качества сна» и т.д. Мониторинг движений также можно использовать во многих применениях для сна/расслабления, таких как системы, которые реагируют на состояние сна/бодрствования человека (например, система, которая выключается, когда человек засыпает), устройство для мониторинга периодических движений конечностей, монитор глубины сна, бесконтактный «оценщик качества сна» и т.д. Они типично представляют собой устройства, нацеленные на мониторинг одного пользователя или оказания влияния на него; однако многие люди совместно используют свои кровати с другими. Это изобретение дополнительно имеет отношение к системам, которые нацелены на двух людей, например, задающему ритм дыхательному устройству или другому расслабляющему устройству, которое разработано для использования двумя (или больше) людьми.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения видны из вариантов осуществления, описанных далее в настоящем документе, и разъяснены со ссылкой на них.
На чертежах:
на фиг. 1 представлены векторы движения двух спящих субъектов;
на фиг. 2 представлена блок-схема присвоения движений правильным субъектам;
на фиг. 3 представлена блок-схема извлечения сигналов дыхания индивидуума;
на фиг. 4 представлено тоновое изображение из последовательности сна в течение ночи;
на фиг. 5 представлен момент во время дыхательного цикла;
на фиг. 6 представлен другой момент во время дыхательного цикла;
на фиг. 7 представлен другой момент во время дыхательного цикла; и
на фиг. 8 представлена диаграмма, представляющая индивидуально обработанные сигналы дыхания.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
Несмотря на то, что изобретение иллюстрировано и описано в деталях на чертежах и в приведенном выше описании, такие иллюстрации и описание следует рассматривать как иллюстративные или образцовые, но не ограничивающие; изобретение не ограничено раскрытыми вариантами осуществления. Другие вариации раскрытых вариантов осуществления могут понять и осуществить специалисты в данной области техники при практическом осуществлении описываемого в заявке изобретения, изучив чертежи, раскрытие и приложенную формулу изобретения. В формуле изобретения слово «содержит» не исключает другие элементы или этапы, а формы единственного числа не исключают множество. Сам факт того, что определенные средства перечислены во взаимно различных зависимых пунктах формулы изобретения, не указывает на то, что комбинация этих средств не может быть использована с пользой. Какие-либо ссылочные позиции в формуле изобретения не следует толковать в качестве ограничения объема.
На фиг. 1 представлены векторы движения двух спящих субъектов 10 и 20. Векторы движения двух спящих субъектов, зарегистрированные в обстановке настоящего дома, имеют цветовое/числовое кодирование. Различные цвета/числа обозначают различные векторы движения. Два субъекта лежат близко друг к другу и совершают движения, пока спят. На фиг 1A: различные типы векторов движения можно использовать для того, чтобы сегментировать субъекты друг от друга, т.е. голубая область 100 относится к правому субъекту, фиолетовая область 200 к левому субъекту. На фиг. 1B: преимущественно правый субъект совершает движения, которые видны из-за выраженных векторов движения 100 на его стороне. Голова двигается (красная область 115) в другом направлении от тела (зеленая область 120).
На фиг. 2 представлена блок-схема присвоения движений конкретному субъекту. После осуществления оценки движений 300 по данным изображения, получаемого от оптического датчика, которая дает в результате векторы движения 310, например, посредством алгоритма оптической последовательности, на стадии 320 измеряют пространственные и временные корреляции между векторами движения 310. Векторы движения 310, которые имеют одинаковое направление, в пределах области допуска, объединяют в кластеры движений 330. Эти кластеры движений 330 присваивают соответствующему субъекту. Для повышения точности присвоения, а также снижения необходимой вычислительной мощности учитывают историю 340 сегментации из предыдущего анализа изображения, когда измеряют пространственные и временные корреляции векторов движения 310.
На фиг. 3 представлена блок-схема извлечения сигналов дыхания индивидуума. Для того чтобы извлекать дыхательную форму волны для каждого субъекта с использованием одного датчика, предложен подход, описанный на фиг. 3. Можно применять какой-либо тип алгоритм дыхания на основе оптического датчика, например, посредством способа, сравнимого с интерферометрией фазового сдвига, как его типично используют для количественного определения глубины. Чтобы выполнить это, световой паттерн проецируют на область, подлежащую анализу. В отсутствие проецируемого светового паттерна наблюдают временную взаимозависимость между одними и теми же областями изображений (например, блоками изображения), например, количество отраженного инфракрасного света будет варьировать с течением времени в области дыхания. Микродвижения от дыхания значительно деформируют паттерн проецируемого света от естественного света. Можно анализировать области 400 движения, вносящие главным образом вклад в глобальный сигнал дыхания всего изображения (исходное входное изображение см. на фиг. 4), и получают преобладающие центры 410 движения (см. подсвеченные области на фиг. 5, 6, 7). Изображение дополнительно сегментируют по найденным центрам движения и осуществляют анализ дыхания алгоритм 420 в множестве (двух или более, в зависимости от числа субъектов в кровати) участков изображения независимо. Это ведет к двум независимым формам волны, как показано на фиг. 8. Формы волны визуально верифицируют посредством субъективной оценки дыхательного движения на изображениях.
На фиг. 4 представлено тоновое изображение из последовательности сна в течение ночи. Исходное тоновое изображение из последовательности сна в течение ночи с двумя субъектами, лежащими близко бок о бок, представляет собой пример для последовательных изображений или изображений, которые отстоят на несколько кадров, которые используют в качестве входных данных для оценки движений как описано выше.
На фиг. 5 представлен момент во время дыхательного цикла. Он представляет собой момент во время дыхательного цикла, когда грудные клетки обоих субъектов двигаются. На левом чертеже представлены подсвеченные области 500, 510 движения во время мониторинга дыхания, тогда как на правом чертеже представлено наложение выходных данных 500, 510 выраженных движений грудной на исходное тоновое изображение (справа).
На фиг. 6 представлен другой момент во время дыхательного цикла. Здесь представлен момент во время дыхательного цикла, когда грудная клетка левого субъекта совершает движения. Представлены подсвеченные области движения во время мониторинга 600 дыхания (слева) и наложение выходных данных 600 выраженных движений грудной клетки на исходное тоновое изображение (справа).
На фиг. 7 представлен другой момент во время дыхательного цикла. Здесь представлен момент во время дыхательного цикла, когда грудная клетка правого субъекта совершает движения. Представлены подсвеченные области движения во время мониторинга 700 дыхания (слева) и наложение выходных данных 700 выраженных движений грудной клетки на исходное тоновое изображение (справа).
На фиг. 8 представлена диаграмма, представляющая индивидуально обработанные сигналы дыхания. Изображены индивидуально обработанные сигналы дыхания двух спящих субъектов после сегментирования областей изображений и присвоения их соответствующему субъекту. Видно, что левый субъект (черный, 800) имеет более высокую частоту дыхания, чем правый субъект (голубой, 900) и иногда дышит в той же фазе, что и правый субъект, и иногда в противоположной фазе. Следует отметить, что масштаб по амплитуде можно не учитывать, поскольку дыхательный сигнал не нормализован.
Claims (11)
1. Способ мониторинга движения субъектов, находящихся в общей постели, причем упомянутые субъекты являются людьми и/или животными, при этом способ содержит этапы:
- формирования изображения постели посредством оптического датчика;
- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые принимают от указанного оптического датчика;
- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;
- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,
причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой, и
причем анализ дыхания осуществляют для каждого субъекта в общей постели, основываясь на данных последовательных изображений или отстоящих на несколько изображений, предоставляемых посредством оптического датчика, тем что анализ дыхания двух или более субъектов в общей постели осуществляют посредством использования наиболее крупных областей движения на указанных последовательных изображениях или изображениях, которые отстоят на несколько кадров, которые идентифицируют в моменты отсутствия движения конечностей субъектов.
- формирования изображения постели посредством оптического датчика;
- осуществления оценки движений посредством получения векторов движения, отражающих локальное смещение соответствующих блоков изображения между последовательными изображениями или изображениями, отстоящими на несколько кадров, которые принимают от указанного оптического датчика;
- вычисления кластеров движений посредством измерения пространственных и временных корреляций векторов движения;
- сегментирования вычисляемых кластеров движений посредством присвоения каждого кластера движений соответствующему субъекту,
причем присвоение кластеров движений соответствующему субъекту основано на пространственном и/или временном сходстве кластеров движений между собой, и
причем анализ дыхания осуществляют для каждого субъекта в общей постели, основываясь на данных последовательных изображений или отстоящих на несколько изображений, предоставляемых посредством оптического датчика, тем что анализ дыхания двух или более субъектов в общей постели осуществляют посредством использования наиболее крупных областей движения на указанных последовательных изображениях или изображениях, которые отстоят на несколько кадров, которые идентифицируют в моменты отсутствия движения конечностей субъектов.
2. Способ по п. 1, в котором результаты сегментации предыдущих изображений принимают во внимание для присвоения кластеров движений соответствующему субъекту на последующем изображении.
3. Способ по п. 1, в котором указанные изображения сегментируют по границам преобладающего движения грудной клетки.
4. Способ по п. 1 или 3, в котором анализ дыхания индивидуума для каждого субъекта осуществляют посредством исполнения независимого анализа дыхания для каждой идентифицированной указанной наиболее крупной области движения.
5. Способ по п. 4, в котором световой паттерн проецируют на упомянутую общую постель и упомянутый паттерн проецируемого света деформируют так, что микродвижения из-за дыхания одного субъекта или другого субъекта могут извлекаться из изображений.
6. Способ по п. 1, в котором оптический датчик также дополнительно визуализирует окрестность постели в дополнение к указанным двум или более субъектам, спящим в упомянутой общей постели.
7. Способ по п. 6, в котором векторы движения, являющиеся результатом оценки движений, используют для того, чтобы отслеживать субъектов в пределах указанной окрестности постели.
8. Способ по п. 1, в котором упомянутую оценку движений осуществляют посредством по меньшей мере одного алгоритма из группы, состоящей из алгоритма сопоставления блоков, оценки оптической последовательности, оценки максимальной апостериорной вероятности, оценки марковского случайного поля, вычисления среднеквадратической ошибки, вычисления суммы абсолютных разностей, вычисления средних абсолютных разностей, вычисления суммы квадратов ошибок или вычисления суммы абсолютных преобразованных разностей.
9. Устройство для мониторинга движения субъектов, находящихся в окрестности общей постели, причем устройство содержит оптический датчик и блок обработки данных, причем оптический датчик способен визуализировать общую постель и доставлять данные последовательных изображений или изображений, которые отстоят на несколько кадров, в блок обработки данных, причем блок обработки данных способен выполнять компьютерную программу, которая содержит набор инструкций, способных побуждать блок обработки осуществлять способ по любому из пп. 1-8.
10. Устройство по п. 9, дополнительно содержащее средство проецирования светового паттерна на упомянутую общую постель.
11. Машиночитаемый носитель для мониторинга движения субъектов, содержащий сохраненную на нем компьютерную программу, которая содержит набор инструкций, способных предписывать устройству осуществлять способ по любому из пп. 1-8.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP11305655 | 2011-05-30 | ||
| EP11305655.0 | 2011-05-30 | ||
| PCT/IB2012/052605 WO2012164453A1 (en) | 2011-05-30 | 2012-05-24 | Method and apparatus for monitoring movement and breathing of multiple subjects in a common bed |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2013158869A RU2013158869A (ru) | 2015-07-10 |
| RU2604701C2 true RU2604701C2 (ru) | 2016-12-10 |
Family
ID=46208123
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2013158869/14A RU2604701C2 (ru) | 2011-05-30 | 2012-05-24 | Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US9339215B2 (ru) |
| EP (1) | EP2713875B1 (ru) |
| JP (1) | JP6006790B2 (ru) |
| CN (1) | CN103561648B (ru) |
| RU (1) | RU2604701C2 (ru) |
| WO (1) | WO2012164453A1 (ru) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10335060B1 (en) | 2010-06-19 | 2019-07-02 | Dp Technologies, Inc. | Method and apparatus to provide monitoring |
| US9192326B2 (en) | 2011-07-13 | 2015-11-24 | Dp Technologies, Inc. | Sleep monitoring system |
| US9459597B2 (en) | 2012-03-06 | 2016-10-04 | DPTechnologies, Inc. | Method and apparatus to provide an improved sleep experience by selecting an optimal next sleep state for a user |
| US10791986B1 (en) | 2012-04-05 | 2020-10-06 | Dp Technologies, Inc. | Sleep sound detection system and use |
| EP2772884A1 (en) * | 2013-02-28 | 2014-09-03 | Koninklijke Philips N.V. | Apparatus and method for detecting subjects on the basis of vital signs |
| US9594354B1 (en) | 2013-04-19 | 2017-03-14 | Dp Technologies, Inc. | Smart watch extended system |
| RU2676147C2 (ru) * | 2013-07-22 | 2018-12-26 | Конинклейке Филипс Н.В. | Непрерывное автоматическое наблюдение за движениями пациента |
| JP6595479B2 (ja) | 2013-12-18 | 2019-10-23 | コーニンクレッカ フィリップス エヌ ヴェ | 心臓特性または呼吸特性に基づき睡眠除波活動をエンハンスするシステム及び方法 |
| US10568565B1 (en) * | 2014-05-04 | 2020-02-25 | Dp Technologies, Inc. | Utilizing an area sensor for sleep analysis |
| US10278638B2 (en) * | 2014-07-21 | 2019-05-07 | Withings | System and method to monitor and assist individual's sleep |
| US10610153B2 (en) * | 2014-07-21 | 2020-04-07 | Withings | System and method to monitor and assist individual's sleep |
| US10078795B2 (en) * | 2014-08-11 | 2018-09-18 | Nongjian Tao | Systems and methods for non-contact tracking and analysis of physical activity using imaging |
| US10121062B2 (en) | 2014-11-03 | 2018-11-06 | Koninklijke Philips N.V. | Device, system and method for automated detection of orientation and/or location of a person |
| CN104490399B (zh) * | 2014-12-19 | 2017-08-01 | 北京智谷睿拓技术服务有限公司 | 人体运动信息获取方法和装置 |
| US11883188B1 (en) | 2015-03-16 | 2024-01-30 | Dp Technologies, Inc. | Sleep surface sensor based sleep analysis system |
| US20180235473A1 (en) * | 2015-09-04 | 2018-08-23 | Koninklijke Philips N.V | System, method and processor for monitoring a vital sign of a subject |
| CN105559751B (zh) * | 2015-12-14 | 2018-06-12 | 安徽华米信息科技有限公司 | 监测微活动状态的方法、装置及可穿戴设备 |
| JP6268220B2 (ja) * | 2016-05-17 | 2018-01-24 | ミネベアミツミ株式会社 | 呼吸波形描画システム |
| JP6268219B2 (ja) * | 2016-05-17 | 2018-01-24 | ミネベアミツミ株式会社 | 呼吸波形描画システム及び生体情報モニタリングシステム |
| EP3245943A1 (de) * | 2016-05-18 | 2017-11-22 | Motognosis UG (haftungsbeschränkt) | Verfahren zur berührungslosen ermittlung und aufbereitung von schlafbewegungsdaten |
| JP6284574B2 (ja) * | 2016-05-20 | 2018-02-28 | ミネベアミツミ株式会社 | 生体情報モニタリングシステム |
| JP6321719B2 (ja) * | 2016-05-20 | 2018-05-09 | ミネベアミツミ株式会社 | 生体情報モニタリングシステム |
| US11412943B2 (en) | 2016-07-16 | 2022-08-16 | Olesya Chornoguz | Methods and systems for obtaining physiologic information |
| US10925496B2 (en) | 2016-07-16 | 2021-02-23 | Alexander Misharin | Methods and systems for obtaining physiologic information |
| DE102018104913A1 (de) * | 2018-03-05 | 2019-09-05 | Prüftechnik Dieter Busch AG | Schwingungsüberwachung eines Objekts mittels Videokamera |
| US11382534B1 (en) | 2018-10-15 | 2022-07-12 | Dp Technologies, Inc. | Sleep detection and analysis system |
| EP3671630A1 (en) | 2018-12-19 | 2020-06-24 | Nokia Technologies Oy | Movement indication |
| CN113164097B (zh) * | 2019-03-01 | 2024-01-26 | 深圳市大耳马科技有限公司 | 一种生命体征监测方法、设备和系统 |
| CN113164048B (zh) * | 2019-03-01 | 2024-02-02 | 深圳市大耳马科技有限公司 | 一种生命体征监测方法、设备和系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1410755A1 (en) * | 2001-06-15 | 2004-04-21 | Sumitomo Osaka Cement Co., Ltd. | Monitoring apparatus |
| US7431700B2 (en) * | 2000-12-07 | 2008-10-07 | Keio University | Body movement and respiration monitor |
| RU2336808C2 (ru) * | 2003-04-10 | 2008-10-27 | Интиллектчуал Проперти Бэнк Корп. | Система контроля биологической информации |
| WO2010070463A1 (en) * | 2008-12-15 | 2010-06-24 | Koninklijke Philips Electronics N.V. | Method and device for automatically creating a romantic atmosphere, and method and system for mood detection |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08510373A (ja) | 1993-05-14 | 1996-10-29 | アールシーティー・システムズ・インコーポレーテッド | 商店等におけるビデオ通行モニタ装置 |
| JP3531512B2 (ja) * | 1998-12-25 | 2004-05-31 | 松下電工株式会社 | 睡眠状態監視装置 |
| US7612796B2 (en) | 2000-01-13 | 2009-11-03 | Countwise, Llc | Video-based system and method for counting persons traversing areas being monitored |
| JP2006034377A (ja) * | 2004-07-22 | 2006-02-09 | Toshiba Corp | 呼吸計測装置 |
| JP2011030919A (ja) * | 2009-08-05 | 2011-02-17 | Kandenko Co Ltd | 被験者検知システム |
| EP2380493A1 (en) * | 2010-04-21 | 2011-10-26 | Koninklijke Philips Electronics N.V. | Respiratory motion detection apparatus |
-
2012
- 2012-05-24 WO PCT/IB2012/052605 patent/WO2012164453A1/en active Application Filing
- 2012-05-24 RU RU2013158869/14A patent/RU2604701C2/ru not_active IP Right Cessation
- 2012-05-24 CN CN201280026290.6A patent/CN103561648B/zh not_active Expired - Fee Related
- 2012-05-24 JP JP2014513284A patent/JP6006790B2/ja not_active Expired - Fee Related
- 2012-05-24 US US14/116,781 patent/US9339215B2/en not_active Expired - Fee Related
- 2012-05-24 EP EP12725525.5A patent/EP2713875B1/en not_active Not-in-force
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7431700B2 (en) * | 2000-12-07 | 2008-10-07 | Keio University | Body movement and respiration monitor |
| EP1410755A1 (en) * | 2001-06-15 | 2004-04-21 | Sumitomo Osaka Cement Co., Ltd. | Monitoring apparatus |
| RU2336808C2 (ru) * | 2003-04-10 | 2008-10-27 | Интиллектчуал Проперти Бэнк Корп. | Система контроля биологической информации |
| WO2010070463A1 (en) * | 2008-12-15 | 2010-06-24 | Koninklijke Philips Electronics N.V. | Method and device for automatically creating a romantic atmosphere, and method and system for mood detection |
Non-Patent Citations (2)
| Title |
|---|
| K Nakajima, et al. Development of real-time image sequence analysis for evaluating posture change and respiratory rate of a subject in bed, Physiological Measurement, Volume 22, Number 3, pp.21-27 . * |
| Kazuki Nakajima et al. A METHOD FOR MEASURING RESPIRATION AND PHYSICAL ACTIVITY IN BED BY OPTICAL FLOW ANALYSIS, Proceedings - 19th International Conference - IEEE/EMBS Oct. 30 - Nov. 2, 1997 Chicago, IL. USA, pp.2054-2057. JIANBO Shi et al. Motion segmentation and tracking using normalized cuts, Computer Vision, 1998. Sixth International Conference on, 4-7 Jan 1998, pp. 1154 - 1160. * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014518728A (ja) | 2014-08-07 |
| US20150073283A1 (en) | 2015-03-12 |
| EP2713875A1 (en) | 2014-04-09 |
| RU2013158869A (ru) | 2015-07-10 |
| JP6006790B2 (ja) | 2016-10-12 |
| CN103561648B (zh) | 2017-06-09 |
| WO2012164453A1 (en) | 2012-12-06 |
| EP2713875B1 (en) | 2017-12-06 |
| US9339215B2 (en) | 2016-05-17 |
| CN103561648A (zh) | 2014-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2604701C2 (ru) | Способ и устройство для мониторинга движений и дыхания множества субъектов в общей кровати | |
| US20200237261A1 (en) | Apparatus and method for the detection of the body position while sleeping | |
| US11471073B2 (en) | Respiratory motion detection apparatus | |
| Li et al. | Noncontact vision-based cardiopulmonary monitoring in different sleeping positions | |
| RU2663175C2 (ru) | Устройство получения дыхательной информации пациента | |
| US20170367625A1 (en) | Motion monitor | |
| US20150094597A1 (en) | Breathing pattern identification for respiratory function assessment | |
| Yu et al. | Multiparameter sleep monitoring using a depth camera | |
| WO2016151966A1 (ja) | 乳幼児監視装置、乳幼児監視方法、及び、乳幼児監視プログラム | |
| EP2663230B1 (en) | Improved detection of breathing in the bedroom | |
| Kuo et al. | A visual context-awareness-based sleeping-respiration measurement system | |
| Lee et al. | A real-time camera-based adaptive breathing monitoring system | |
| Martinez et al. | A vision-based system for breathing disorder identification: A deep learning perspective | |
| Lorato | Video respiration monitoring: Towards remote apnea detection in the clinic | |
| Tsujimura et al. | Evaluation of a new fiber-grating vision sensor for assessing pulmonary functions in healthy and COPD subjects | |
| Jakkaew | An Approach to Non-contact Respiration | |
| Scebba | Robust Health Monitoring with Digital Cameras | |
| Slastnikov et al. | Review of Instrumental Methods for Detecting the Respiratory Signal | |
| Nguyen et al. | A Computer Vision-Based Respiratory Rate Monitoring and Alarm System | |
| CN117796771A (zh) | 用于检测婴儿护理台中的患者特性的方法和系统 | |
| EP3445242A1 (en) | Body motion monitor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20190525 |