JP6559780B2 - 被験者のバイタルサイン情報を検出するデバイス及び方法 - Google Patents

Description

本発明は、被験者のバイタルサイン情報を検出するデバイス及び対応する方法に関する。本発明は特に、被験者の呼吸数又は脈拍数の遠隔測定に関する。

例えば呼吸数又は脈拍数（時に心拍数とも呼ばれる）といった人のバイタルサインは、その人の現在の状態を示すインジケータと、深刻な医療事象の予測としての役割を果たす。この理由から、バイタルサインは、入院患者及び退院患者の医療環境、家庭、又は、他のヘルス環境、娯楽環境及びフィットネス環境において、広くモニタリングされる。

例えば呼吸数又は脈拍数であるバイタルサインのカメラベースのモニタリングは、人のバイタルサインを完全に非接触で測定する既知の技術である。関心の被験者、即ち、測定対象者は、カメラの視野内に自由に位置付けられることができるため、各バイタルサイン情報がそこから収集されるべき関連領域は、各信号の予想の入力として規定されなければならない。更に、カメラは、２Ｄ情報を提供する。２Ｄ情報は、マルチスポット及び大領域測定を可能にし、しばしば、追加のコンテキスト情報を含む。関連測定点／領域への正しい配置に依存する接触式センサとは異なり、例えば呼吸信号又は脈拍数信号であるバイタルサインを測定するために使用される関心領域（ＲＯＩ）が、実際の画像から決定されなければならない。

非接触バイタルサイン測定のための多くの応用において、関心領域は、手動で選択されるか、又は、使用されるカメラが、事前に関心領域に方向付けられる。しかし、被験者の移動によって、不正確な測定と、システムの実用的ではない使用とにつながる。したがって、バイタルサイン情報のカメラベースのモニタリングを向上させるためには、関心領域の自動検出が望まれている。

例えば米国特許出願公開第２００９／０１４１１２４Ａ１号に、顔検出といった輪郭検出に基づく呼吸数又は心拍数検出のための関心領域を決定する従来の方法が開示されている。この方法の欠点は、被験者の測定される各部分が毛布によって覆われている場合、これは、呼吸数及び脈拍数のモニタリングが重要である病院における典型的な事例ではあるが、輪郭、即ち、顔が部分的又は完全に塞がれている又は隠されていると、関心領域は、信頼度が高く検出できないという点である。

関心領域検出のために、胸部／胸郭検出といった形状の解析に基づいている他の方法は、視野内の被験者の位置によって、又は、着用されている衣服によって制限されるので、これらの検出方法は、あまり信頼性がない。

例えば欧州特許第０９１９１８４Ａ１号から、呼吸モニタリングのための関心領域を特定する方法が知られている。関心領域は、視野から捕捉される連続画像間の変化した部分に基づいて決定されるが、連続画像間の変化は、バイタルサインに帰さない外乱信号に基づく場合がある。したがって、本文書から知られている方法は、あまり信頼性がない。

米国特許第７４３１７００Ｂ２号から、被験者の呼吸をモニタリングする更なる方法が知られている。画像データにおける時間ベースの変化が解析され、周期的な出現が呼吸として検出される。しかし、視野全体におけるすべての時間ベースの変化が考慮され、関心領域は検出されないので、外乱信号の存在が、呼吸数の正しくない測定結果につながる場合がある。したがって、本文書に開示される方法は、信頼性がなく、技術的努力も増加される。

更に、国際特許公開公報ＷＯ２０１４／１３１８５０Ａ１は、被験者からのバイタルサイン情報を決定する装置を開示している。当該装置は、視野からの放射線を検出し、視野の様々な領域から被験者のバイタルサイン情報を含む特性パラメータを決定する検出ユニットと、様々な領域から導出される特性パラメータのスペクトルパラメータを決定する周波数解析ユニットと、スペクトルパラメータに基づいて、視野の領域のうちの少なくとも１つの領域を選択する選択ユニットと、少なくとも１つの選択された領域からの特性パラメータに基づいて、バイタルサイン情報を計算する計算ユニットとを含む。

被験者からのバイタルサイン情報を遠隔検出するために関心領域を検出する既知の方法の幾つかの方法の欠点は、バイタルサイン情報を検出するために、視野から検出される画像全体が使用されるので、これらの方法は、視野内の外乱信号及び視野内の被験者の移動に影響を受け易い。したがって、被験者からのバイタルサインを決定する既知の方法は、あまり信頼性がない。更に、（例えば無呼吸時による）呼吸信号の不在下で呼吸情報を測定する場合、ＲＯＩは検出されないか、又は、見失ってしまう。したがって、無呼吸症状患者のバイタルサインの信頼できるモニタリングはできない。更に、身体が動いた後では、先に選択したＲＯＩは最適又は有効ではない。したがって、新しいＲＯＩが再初期化されるべきであるが、これは、時間に関連するバイタル信号の解析により、かなりの時間が必要となる。

本発明は、外乱信号、測定被験者の移動にあまり影響を受けないか、又は、より高い反応性、精度若しくは信頼性を提供する、被験者のバイタルサイン情報を検出する改良型装置及び対応する方法を提供することを目的とする。

本発明の一態様によれば、被験者のバイタルサイン情報を決定するデバイスが提供される。当該デバイスは、
経時的な画像のシーケンスを含む被験者の画像データを受信する入力ユニットと、
画像のシーケンスのうちの１つの画像内の初期関心領域（ＲＯＩ）を選択するＲＯＩ選択ユニットと、
初期ＲＯＩ内の被験者の身体部分の１つ以上の空間特徴を選択する特徴選択ユニットと、
初期ＲＯＩ内の画像データから、被験者の所望のバイタルサインに関連する身体部分の動作の方向及び／又は振幅を抽出する動作信号抽出ユニットと、
選択された空間特徴のうちの、その動作が被験者の所望のバイタルサインに関連していない１つ以上の空間特徴を検出する検出ユニットと、
最終ＲＯＩを取得するために、初期ＲＯＩ内の検出された１つ以上の空間特徴の位置の変化に基づいて、初期ＲＯＩを追跡する追跡ユニットと、
最終ＲＯＩから、所望のバイタルサインを抽出するバイタルサイン抽出ユニットとを含む。

本発明の別の態様によれば、被験者のバイタルサイン情報を決定する対応する方法が提供される。

本発明の更に別の態様によれば、コンピュータプログラムがコンピュータ上で実行された場合に、当該コンピュータに、本明細書に開示される方法のステップを行わせるプログラムコード手段を含む上記コンピュータプログラムと、プロセッサによって実行された場合に、本明細書に開示される方法を実行させるコンピュータプログラムプロダクトを格納した非一時的コンピュータ可読記憶媒体とが提供される。

本発明の好適な実施形態は、従属請求項に規定される。当然ながら、請求項に係る方法、プロセッサ、コンピュータプログラム及び媒体は、請求項に係るデバイスと同様及び／又は同一の好適な実施形態を有し、また、従属請求項に規定される通りである。

本発明は、上記国際特許公開ＷＯ２０１４／１３１８５０Ａ１に説明されているデバイス及び方法を、事前に選択されたＲＯＩ内の被験者の身体部分の空間特徴を追加的に選択及び追跡することによって、当該デバイス及び方法の持つ長所を使用して改良するという考えに基づいている。これは、抽出されたバイタルサインの精度及びＳＮＲを向上させ、また、ＲＯＩの高速適応及び追跡を可能にする。

バイタルサイン情報、具体的には呼吸信号の測定のためのＲＯＩを自動検出する既知のデバイス及び方法は、空間ブロックの時間的解析及び空間領域の選択に基づいている。これは、呼吸信号又は脈拍誘発動作といった予想バイタルサイン信号の所定の記述を満たす特性（振幅、周期性）を有する時間信号を生成する。このようなアプローチは、強いバイタルサイン信号を生成する領域の検出のみに非常に効率的である。例えば最も強い呼吸動作を有する空間ブロックの選択に基づいたＲＯＩの検出は、他の基準に基づいて選択されたＲＯＩからの呼吸信号の測定に比べて、抽出された信号の質を著しく向上させる。

このアプローチは、予め選択された空間領域、即ち、初期ＲＯＩ内の空間特徴（特徴点とも呼ばれる）を選択することによって、バイタルサインの抽出のためのＲＯＩを追跡し、当該空間特徴のうちの身体部分のバイタルサインに関連していない動作によって影響を受けていない１つ以上の空間特徴の動作（即ち、当該空間特徴の動作は、例えば呼吸によってもたらされる胸部の動作又は心拍によってもたらされる頭部の動作といったバイタルサインに関連する動作によってもたらされたものではない）を検出するために動作検出を適用することによって改良される。次に、動作推定又はパターンマッチング技術を使用して、バイタルサインに関連する身体部分の動作によってもたらされたものではない検出された空間特徴の動作に基づいて、（初期）ＲＯＩの位置が適応される。したがって、この追跡を介して新しいＲＯＩ（最終ＲＯＩと呼ぶ）が取得される。ＲＯＩの追跡は、非常に高速かつ正確である。更に、これは、安定したＲＯＩからバイタルサイン信号の不在（例えば無呼吸時）の検出も可能にする。

即ち、本発明によれば、ＲＯＩの検出及び追跡は、測定されたバイタルサインと、測定されたバイタルサインに対して不変の空間特徴との組み合わせ解析に基づいている。バイタルサインによって影響を受けていない初期ＲＯＩ内の空間特徴が、この目的に使用される。例えば心拍による頭部の横移動がある場合、１つの例示的な実施形態では、目の間の距離又は他の顔面特徴が、当該空間特徴として使用される。

好適な実施形態では、上記デバイスは、最終ＲＯＩを、新しい初期ＲＯＩとして再初期化するＲＯＩ再初期化ユニットを更に含む。したがって、提案されるＲＯＩ検出及び追跡方法は、ＲＯＩの移動を連続的に（又は定期的に）モニタリングし、追跡するために、連続的かつ繰り返し行われることが可能である。

別の実施形態では、追跡ユニットは、１つ以上の空間特徴の位置が、幾つかの画像フレームにわたって安定した後に、初期ＲＯＩの追跡から取得されたＲＯＩを、最終ＲＯＩとして使用する。このようにすると、最終ＲＯＩから抽出されたバイタルサインは、より正確になり、かつ、より信頼がある。

別の実施形態では、特徴選択ユニットは、被験者の所望のバイタルサインに関連する被験者の身体部分の動作に対して不変である、好適には最も不変である初期ＲＯＩ内の１つ以上の空間特徴を選択する。これは、バイタルサインとは全く関係がなく、例えば患者の動作によってもたらされた移動から、所望のバイタルサインを反映する移動をより簡単かつ正確に区別することを可能にする。

好適な実施態様では、被験者の所望のバイタルサインに関連する被験者の身体部分の動作は、呼吸動作であり、バイタルサイン情報は、呼吸情報である。別の好適な実施態様では、被験者の所望のバイタルサインに関連する被験者の身体部分の動作は、心拍誘発動作であり、バイタルサイン情報は、脈拍数情報である。呼吸動作は、例えば胸部又は腹部の移動から検出可能であり、心拍動作は、例えば左胸部又は更には（例えばhttp://newsoffice.mit.edu/2013/seeing-the-human-pulse-0620に現在説明されているように）頭部の移動から検出可能である。

好適には、このような実施態様では、特徴選択ユニットは、呼吸動作又は心拍動作に対して不変である、好適に最も不変である初期ＲＯＩ内の１つ以上の空間特徴、具体的には、初期ＲＯＩ内の呼吸動作又は心拍動作の主方向に沿って配置される初期ＲＯＩ内の画像において端又は線を示す空間特徴を選択する。呼吸動作又は心拍動作の主方向は、例えば動作信号抽出ユニットによって決定可能である。例えば動作推定アルゴリズムを、初期ＲＯＩ内の画素に適用した後、オプティカルフロー及び／又は動作ベクトルが解析される。取得された動作ベクトルの解析に基づいて、バイタルサイン信号に最も相関している主方向が規定される。例えばカメラの前に座っている人からの呼吸信号抽出の場合、呼吸動作は、垂直動作ベクトルに最も相関している一方で、水平ベクトルは、呼吸動作には対応していない。

有利なことに、検出ユニットは、初期ＲＯＩ内の選択された空間特徴の位置の変化、並びに、被験者の所望のバイタルサインに関連する被験者の身体部分の動作の抽出された方向及び／又は振幅を検出することによって、選択された空間特徴のうちの、その動作が被験者の所望のバイタルサインに関連していない１つ以上の空間特徴を検出する。好適には、初期ＲＯＩ内の選択された空間特徴間の距離の変化、初期ＲＯＩ内の選択された空間特徴の位置の変化の方向、及び／又は、被験者の所望のバイタルサインに関連する被験者の身体部分の動作からの、初期ＲＯＩ内の選択された空間特徴の位置の変化の偏差が解析される。これにより、このような空間特徴を検出するための単純であるが、効果的なやり方が提供される。

一実施形態では、ＲＯＩ選択ユニットは、当該画像を空間ブロックに分割し、当該空間ブロックの複数からバイタルサインを抽出し、最も強いバイタルサインが抽出される２つ以上の隣接空間ブロックをクラスタリングし、クラスタリングされた空間ブロックを、初期ＲＯＩとして選択することによって、画像内の初期ＲＯＩを選択する。これにより、最適なＲＯＩが提供される。

更なる実施形態では、ＲＯＩ選択ユニットは、先に取得された最終ＲＯＩに隣接する複数の空間ブロックからバイタルサインを抽出し、最も強いバイタルサインが抽出される２つ以上の隣接する空間ブロックをクラスタリングし、クラスタリングされた空間ブロックを、新しい初期ＲＯＩとして選択することによって、先に取得された最終ＲＯＩから初期ＲＯＩを選択する。これにより、初期ＲＯＩの質が向上される。

好適には、ＲＯＩ選択ユニットは、先に取得された最終ＲＯＩからのバイタルサインの信頼性又は質が、所定閾値を下回るか、又は、所定量だけ低下する場合に、先に取得された最終ＲＯＩから初期ＲＯＩを選択する。したがって、先の最終ＲＯＩから導出されたバイタルサインの信頼性又は質を改善するために、新しい最終ＲＯＩを取得するための提案方法のもう１つの繰り返しが行われる。

別の実施形態では、動作検出ユニットは、初期ＲＯＩが、少なくとも部分的に遮蔽されているかどうかを検出し、バイタルサイン抽出ユニットは、初期ＲＯＩの非遮蔽部分から所望のバイタルサインを抽出する。これによっても、抽出されたバイタルサインの精度が向上される。

本発明のこれらの及び他の態様は、以下に説明される実施形態から明らかとなり、また、以下に記載される実施形態を参照して説明される。

図１は、本発明による被験者のバイタルサイン情報を決定するシステム及びデバイスの一般的なレイアウトの概略図を示す。 図２は、例示的なバイタルサイン情報を示す被験者の動きの概略図を示す。 図３は、バイタルサイン情報に対応する、被験者から導出される交流信号のタイミング図を示す。 図４は、本発明による方法の一実施形態のフローチャートを示す。 図５ａは、本発明による方法のステップを説明する概略画像シーケンスを示す。 図５ｂは、本発明による方法のステップを説明する概略画像シーケンスを示す。 図５ｃは、本発明による方法のステップを説明する概略画像シーケンスを示す。

図１は、被験者２のバイタルサイン情報を決定するシステム１及びデバイス１０の概略図を示す。被験者２は、本例では、例えば病院又は他のヘルスケア設備内のベッド３に横たわる患者であるが、例えば保育器内で寝ている新生児若しくは早産児、又は、家若しくは異なる環境にいる人であってもよい。システム１は、デバイス１０以外に、概して、被験者２の画像データを収集する、例えばカメラといったイメージングユニット２０を含み、当該画像データは、経時的な画像シーケンスを含む。

イメージングユニット２０によって捕捉された画像フレームは、具体的には、例えば（デジタル）カメラ内のアナログ又はデジタル光センサによって捕捉されるビデオシーケンスに相当する。このようなカメラは、通常、特定のスペクトル範囲（可視、ＩＲ）でも動作するか、又は、様々なスペクトル範囲の情報を提供する、例えばＣＭＯＳ又はＣＣＤセンサといった光センサを含む。カメラは、アナログ又はデジタル信号を提供する。

デバイス１０は、イメージングユニット２０から直接的に、又は、前に収集された画像データが記憶若しくはバッファリングされている記憶装置から、被験者２の画像データを受信する入力ユニット１１を含む。

ＲＯＩ選択ユニット１２において、当該画像データに含まれる画像内の初期関心領域（ＲＯＩ）が選択される。これは、例えばユーザによって（インターフェースを介して）手動で、又は、例えば国際特許公開ＷＯ２０１４／１３１８５０Ａ１において開示されている方法といった上記既知の方法の１つに基づいて自動で、様々な態様で行われる。

特徴選択ユニット１３が、初期ＲＯＩ内の身体部分の１つ以上の空間特徴を選択する。空間特徴は、通常、付近における隣接画素の他の組み合わせから際立っている、また、画素領域のスケーリング又は移動後も変わらず際立っている隣接画素の組み合わせである。空間特徴は、好適には、画像データの画像を通して追跡可能である、初期ＲＯＩ内に示される容易に特定可能な特徴又は特徴点である。空間特徴の例としては、（例えば被験者の服又は毛布に印刷されているパターンの）隅部、端若しくは線、又は、目若しくは鼻といった解剖学的特徴が挙げられる。

初期ＲＯＩ内の当該画像データから、被験者の所望のバイタルサインに関連する被験者の身体部分の動きの方向及び／又は振幅（又は振幅範囲）を抽出する動作信号抽出ユニット１４が提供される。例えば被験者２の胸部領域４の呼吸動作がモニタリングされる場合、この呼吸動作の方向及び／又は振幅が、例えばパターン認識又は他の画像処理手段を使用して決定される。呼吸動作の場合、主に、垂直及び水平呼吸動作成分が決定される。他の実施形態では、胸部、頸動脈又は頭部の心拍関連動作が決定されてもよい。人がカメラの前に座っている場合、心拍は、主に、垂直軸に沿った頭部の動作に関連付けられる。これは、垂直動作に対して不変である空間特徴の任意の（組み合わせ）が選択可能であることを意味する。例えば頭部の垂直動作中に、目の間の距離は変化しないが、頭部の回転時には変化する。

更に、選択された空間特徴のうちの、その動きが被験者の所望のバイタルサインに関連していない１つ以上の空間特徴を検出する検出ユニット１５が提供される。したがって、所望のバイタルサインに関連している空間特徴の動き（例えば、呼吸による胸壁及び腹壁の上下といった呼吸又は心拍によってもたらされる胸部の移動）と、所望のバイタルサインに関連していない空間特徴の動き（例えば、身体全体の回転又は移動といった患者の動きによる側方又は回転方向における胸部の移動）とが区別される。検出ユニットの機能を実施する好適な実施形態が、以下に説明される。

初期ＲＯＩ内の１つ以上の検出された空間特徴の位置の変化に基づいて初期ＲＯＩを追跡し、最終ＲＯＩを取得する追跡ユニット１６が提供される。つまり、所望のバイタルサインに関連しておらず、また、その位置が、所望のバイタルサインに関連する動作（例えば心拍動作又は呼吸動作）によって影響を受けない空間特徴を使用して、所望のバイタルサインに関連している動作によってもたらされたものではない被験者の身体部分（又は身体全体）の動きが出現するかどうかが、経時的に決定される。次に、この情報が使用されて、初期ＲＯＩの位置が適切に適応される。即ち、（所望のバイタルサインに関連していない）検出された動きに従って初期ＲＯＩが新しい位置に移される。移されたＲＯＩが、最終ＲＯＩを表す。

最後に、バイタルサイン抽出ユニット１７において、所望のバイタルサイン、例えば呼吸数といった呼吸情報及び／又は脈拍数といった心拍情報が、最終ＲＯＩから抽出される。バイタルサインは、具体的には、最終ＲＯＩ内（又は上記のやり方で連続的に追跡されたＲＯＩ内）の身体部分の動きから、例えば呼吸によって引き起こされる胸壁及び／又は腹壁の上下移動の周波数を決定することによって、又は、心拍によって引き起こされる頭部の小さい移動（上下）の周波数を決定することによって、導出される。

抽出されたバイタルサインは、次に、更に処理されるか、又は、例えば患者モニタ、（例えばナースルーム内の）中央モニタリングステーション、（例えば看護師又は医師のスマートホンの）手持ち式モニタリングデバイス等のディスプレイ上に表示される。

好適には、デバイス１０は更に、図１に破線で示されるように、最終ＲＯＩを新しい初期ＲＯＩとして再初期化するＲＯＩ再初期化ユニット１８を含んでもよい。したがって、上記されたＲＯＩのモニタリング及び追跡は、抽出されたバイタルサインの精度及び信頼性を更に向上させるために、繰り返して実行される。したがって、初期ＲＯＩの再初期化後、処理は、特徴選択ユニット１３によって行われる、新しい初期ＲＯＩ内の身体部分の１つ以上の空間特徴の選択から続けることが好適である。一実施形態では、１つ以上の前の繰り返しにおいて使用されたものと同じ空間特徴が再び使用され、したがって、処理は更に、動作信号抽出ユニット１４又は検出ユニット１５によって行われるステップから続けられてもよい。

なお、デバイス１の要素の１つ以上は、専用ハードウェア、ソフトウェア又はそれらの組み合わせによって実現可能である。例えば一実施形態では、要素は、適切にプログラミングされたプロセッサ又はコンピュータといった処理手段によって実現される。

図２は、被験者２の呼吸数といった呼吸情報の遠隔測定を説明するための被験者の概略図を示す。被験者２は、呼吸による標示部４（例えば胸部）の特徴的な動作を経験する。呼吸時、肺の拡張及び収縮によって、例えば胸部４の上下運動である生物の特徴的部分の僅かな動作がもたらされる。更に腹式呼吸も、被験者の身体の各部分の特徴的な動作をもたらす。生理学的過程によって含まれる少なくとも部分的に周期的な動作パターンは、多くの生物、特に人間又は動物において生じる。

矢印６によって示されるように、標示部４は、経時的に、参照符号４ａ、４ｃによって示される収縮位置と、参照符号４ｂによって示される抽出位置との間で移動する。基本的に、この動作パターンに基づき、例えば呼吸数又は呼吸数変動性が、捕捉画像シーケンスにおけるパターン又はエッジ検出によって評価される。標示部４が経時的に波打つ間に、頭部５といった他の非標示部は、（被験者２が他の方法で動かない限り）実質的に静止したままである。即ち、非標示部も、経時的に多様な動作を経験する。しかし、これらの動作は、胸部４の周期的な波動に対応しない。即ち、所望のバイタルサイン（本例では呼吸情報）に関連しておらず、所望のバイタルサインから区別される。

図３は、例えばフレーム又はエッジ検出に基づいて決定可能であるＲＯＩの移動パターン及び／又は動作ベクトルから導出される経時的な交流信号Ｓの時間図を示す。交流信号Ｓは、この具体的な例では、画像データの画像のシーケンスにおけるＲＯＩから導出された被験者２の胸部４の移動に対応する。交流信号Ｓは、胸部４の移動に対応する特徴的な変動、即ち、被験者２の呼吸数を示す。交流信号Ｓは更に、呼吸数に重ね合わされた高周波ノイズも示す。周波数解析を使用することによって、呼吸動作の周波数、即ち、呼吸数が決定可能である。

図４は、本発明による方法１００の好適な実施形態のフローチャートを示す。図５ａ、図５ｂ及び図５ｃは、方法１００のこの実施形態のステップを説明するための概略画像シーケンスを示す。

第１のステップＳ１０において、図５ａに示されるように、画像３０が、複数の空間ブロック３２に分割される。第２のステップＳ１２において、バイタルサイン信号（例えば呼吸動作）が、複数のブロック３２又は更には各ブロック３２から抽出される。第３のステップＳ１４において、図５ｂに示されるように、（振幅、ＳＮＲ、周波数又は信号形状といった所定基準に従って）最も強い抽出信号を有する隣接空間ブロックがクラスタリングされる。クラスタリングされた空間ブロック３２ａ〜３２ｄは、初期ＲＯＩ３４を表すものとして示される。

第４のステップＳ１６において、追跡のために使用される初期ＲＯＩ３４内の強い空間特徴が選択される。このような強い空間特徴は、呼吸動作の方向における毛布の端、画素のダイナミックレンジ、毛布の端の向き、呼吸動作によって変化しない任意の他の特徴であってよい。毛布の端の場合、当該端は、各呼吸動作と共に動く一方で、その向きは、呼吸動作によって変わらない。しかし、任意の他の身体の動き（例えば身体の回転）によっては動く。

第５のステップＳ１８において、１つ以上のバイタルサインが、上記されたように、例えば被験者２の呼吸によってもたらされる胸部の動作を検出することによって、初期ＲＯＩ３４全体から抽出される。第６のステップＳ２０において、抽出されたバイタルサインに基づいて、抽出されたバイタルサインの信号の主方向（例えば多くの場合は垂直又は水平呼吸動作成分）及び振幅範囲が決定される。これは、すべての可能な方向に沿ったバイタルサイン（呼吸又は脈）によって誘発される動作の振幅を解析することによって行われ、バイタルサイン動作に最も相関する１つの方向が選択される。

第７のステップＳ２２において、例えば初期ＲＯＩ３４内の空間特徴（又は特徴点）間の距離の変化、空間特徴の変化の方向及び／又は抽出されたバイタルサイン信号の主な特徴からの空間特徴の運動の偏差を解析することによって、初期ＲＯＩ３４が動いているかどうかが制御される。

ステップＳ２２において、初期ＲＯＩ３４の動きが検出されると、第８のステップＳ２４において、動き推定アルゴリズムが開始され、初期ＲＯＩ３４内で検出された空間特徴が追跡される。空間特徴の新しい位置が、幾つかのフレームにわたって安定すると、第９のステップＳ２６において、この新しい（最終）ＲＯＩからのバイタルサイン信号、例えば呼吸信号の抽出が開始される。図５ｃに、この新しい（最終）ＲＯＩ３４’の位置が示され、患者が、ベッドに対して右側に少し移動したことが示され、これにより、初期ＲＯＩも同じ量及び同じ側に移されている。

最後に、第１０のステップＳ２８において、ＲＯＩの新しい場所の周りの空間ブロックが、例えば第３のステップＳ１４において使用されたものと同じアプローチを使用して解析され、新しい（最終）ＲＯＩが、新しい初期ＲＯＩとして再初期化される。その後、この手順は、繰り返し行われてよく、ステップＳ１６が次のステップである。更に、第１０のステップＳ３０において、所望のバイタルサイン情報が、新しい（最終）ＲＯＩから導出可能である。

第２のステップＳ１２において、バイタルサイン信号は、次の通りに導出される。最初に、画像フレーム３０の複数の画像ブロック３２又は各画像ブロック３２から移動パターンが導出され、交流信号Ｓが、上記されたように、画像ブロック３２のそれぞれの移動パターンから決定された動作ベクトルから決定される。動作ベクトルは、様々な画像ブロック３２におけるパターン検出又はエッジ検出によって決定される。例えば周波数解析ユニットによって行われる周波数解析に基づいて、様々な画像ブロック３２の移動パターンが、バイタルサイン情報に対応するかどうか、又は、移動パターンは外乱信号若しくはノイズであるかどうかが決定される。移動パターンがバイタルサイン情報を含むか否かの決定は、スペクトルパラメータ及び／又はスペクトルエネルギーに基づいて、また、所定の周波数帯域におけるスペクトルエネルギーが各交流信号のスペクトルエネルギー全体の所定の割合よりも大きいかどうかに基づいて行われてよい。

第４のステップＳ１６において、非バイタルサイン関連身体動作の検出及びＲＯＩの信頼できる追跡に使用される空間画像特徴が選択される。したがって、これらの画像特徴は、例えば呼吸情報をバイタルサイン情報として抽出する場合には呼吸動作といったバイタルサイン関連動作中に最も（時間的に）安定しているべきである。例えばモニタリングされる被験者がカメラの前に座っていて、呼吸動作が強い垂直動作成分を有する場合、ＲＯＩ内の選択される画像特徴は、垂直動作、例えば垂直エッジにほとんど影響を受けない（理想的には不変である）べきである。

一般に、ステップＳ２６において抽出されるバイタルサイン信号は、ステップＳ３０において抽出されるバイタルサイン信号よりも質が低い。同時に、このアプローチは、被験者の動作の完了後すぐに、（本実施形態ではステップＳ１２及びＳ１４において行われる）完全なＲＯＩ検出アルゴリズムをトリガする必要なく、バイタルサインの抽出を再開することができる。これは、動作中のバイタルサインのモニタリングの欠落部を減少させ、最終的には、デバイス全体及び方法の反応性を向上させる。このアプローチの追加の利点は、バイタルサイン信号が、ステップＳ１２及びＳ１４において特定された安定したＲＯＩからのみ抽出される点である。したがって、任意の外乱又は同様の呼吸動作を有する他の被験者が測定に影響を及ぼすことがない。

本発明の別の実施形態では、ステップＳ２８（先のＲＯＩの周りの空間領域の再選択）は、抽出された信号の信頼性又は質が特定の閾値を下回る度に、初期化されることが可能である。

本発明の更に別の実施形態では、ステップＳ２０及びＳ２２は、ＲＯＩの（部分的な）遮蔽の検出の方法を含んでよい。これは、初期ＲＯＩ内の非遮蔽部分からのバイタルサイン信号の抽出のためにステップＳ２６をトリガする。数多くある方法の中でも、遮蔽検出は、先のステップにおいて特定された空間特徴の可視性を解析することによって行われることが可能である。

要約するに、本発明は、特定の組み合わせにある２つの異なるモダリティ（即ち、バイタルサインベース及び空間特徴ベース）を、ＲＯＩの有利な選択及び追跡のために適用する。非呼吸（一般には、非バイタルサイン関連）身体動作の検出は、抽出されたバイタルサイン信号の解析ではなく、ＲＯＩ内の画像特徴の解析に基づいている。更に、バイタルサインモニタリングに使用されるＲＯＩの追跡は、ＲＯＩ内の、呼吸動作といったバイタルサイン関連動作によってほとんど影響を受けない画像特徴の動作解析に基づいている。

したがって、本発明は、時間特徴及び空間特徴の組み合わせに基づくＲＯＩの（再）初期化及び追跡を使用する。空間特徴（例えば端の方向、画素パターン）は、強いバイタルサイン関連動作（例えば強い呼吸動作）によって初期化された領域内でのみ検出され、例えば呼吸又は脈拍信号の不在下といったバイタルサイン信号の不在下でも、バイタルサイン関連動作によって変形されていない特徴（例えば端の角度）のみがＲＯＩの維持又は追跡に使用される。

更に、ＲＯＩを再初期化する決定は、呼吸の時間的パターンの変化のみに基づくのではなく、空間特徴の変位の解析に基づいている。したがって、ＲＯＩは、被験者が呼吸を止めた場合は、再初期化されない。同時に、時間的な呼吸パターンは変化しないが、空間特徴は変形する場合は、被験者の動作は検出され、ＲＯＩは（空間特徴の追跡に基づいて）追跡される。空間特徴は、バイタルサイン関連動作に対して不変であるべきである（例えば呼吸動作によって変化しないＲＯＩにおける端の方向）。したがって、これらの空間特徴の任意の変化は、ＲＯＩの例えば身体動作である非バイタルサイン関連動作を示す。このような特徴の一例として、垂直呼吸の存在下における画素の垂直端は、呼吸によって影響を受けないが、水平方向における身体の僅かな回転であっても変位する。

本発明は、主に、病院又はホームケア及びスポーツにおける呼吸モニタリングデバイス及び方法に適用されてよい。

本発明は、図面及び上記説明において詳細に例示及び説明されたが、このような例示及び説明は、例示的であって、限定的とはみなされない。本発明は、開示された実施形態に限定されない。開示された実施形態の変形態様は、図面、開示内容及び添付の請求項の検討から、請求項に係る発明を実施する当業者によって理解され、実施される。

請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「ａ」又は「ａｎ」との不定冠詞も、複数形を排除するものではない。単一の要素又は他のユニットが、請求項に記載される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶及び／又は分散されてもよいが、インターネット又は他の有線若しくは無線通信システムを介するといった他の形式で分配されてもよい。

請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

1. 被験者のバイタルサイン情報を検出するデバイスであって、
   経時的な画像のシーケンスを含む前記被験者の画像データを受信する入力ユニットと、
   前記画像のシーケンスのうちの１つの画像内の初期関心領域（ＲＯＩ）を選択するＲＯＩ選択ユニットであって、前記初期ＲＯＩは前記被験者の身体部分を含む、ＲＯＩ選択ユニットと、
   前記初期ＲＯＩ内の１つ以上の空間特徴を選択する特徴選択ユニットと、
   前記画像データから、前記被験者の所望のバイタルサインに関連する前記身体部分の動作の方向及び／又は振幅を抽出する動作信号抽出ユニットと、
   抽出された前記身体部分の動作の方向及び／又は振幅に基づいて、選択された前記空間特徴のうちの、その動作が前記被験者の前記所望のバイタルサインに関連していない１つ以上の空間特徴を検出する検出ユニットと、
   最終ＲＯＩを取得するために、検出された前記１つ以上の空間特徴の位置の変化を検出することによって、及び、検出された前記変化に基づいて前記初期ＲＯＩの位置を移すことによって、前記初期ＲＯＩを追跡する追跡ユニットと、
   前記画像のシーケンスのうちの画像内の前記最終ＲＯＩから、前記所望のバイタルサインを抽出するバイタルサイン抽出ユニットと、
   を含む、デバイス。
2. 前記最終ＲＯＩを、新しい初期ＲＯＩとして再初期化するＲＯＩ再初期化ユニットを更に含む、請求項１に記載のデバイス。
3. 前記追跡ユニットは、前記１つ以上の空間特徴の位置が、幾つかの画像フレームにわたって安定した後に、前記初期ＲＯＩの追跡から取得されたＲＯＩを、最終ＲＯＩとして使用する、請求項１に記載のデバイス。
4. 前記特徴選択ユニットは、前記被験者の所望のバイタルサインに関連する前記身体部分の動作に対して不変である、好適には最も不変である、前記初期ＲＯＩ内の１つ以上の空間特徴を選択する、請求項１に記載のデバイス。
5. 前記被験者の所望のバイタルサインに関連する前記身体部分の前記動作は、呼吸動作であり、前記バイタルサイン情報は、呼吸情報である、請求項１に記載のデバイス。
6. 前記被験者の所望のバイタルサインに関連する前記身体部分の前記動作は、心拍動作であり、前記バイタルサイン情報は、脈拍数情報である、請求項１に記載のデバイス。
7. 前記特徴選択ユニットは、呼吸動作又は心拍動作に対して不変である、好適に最も不変である、前記初期ＲＯＩ内の１つ以上の空間特徴、具体的には、前記初期ＲＯＩ内の前記呼吸動作又は前記心拍動作の主方向に沿って配置される前記初期ＲＯＩ内の画像において端又は線を示す空間特徴を選択する、請求項５又は６に記載のデバイス。
8. 前記検出ユニットは、前記初期ＲＯＩ内の前記選択された空間特徴の位置の変化、並びに、前記被験者の所望のバイタルサインに関連する前記身体部分の動作の抽出された前記方向及び／又は前記振幅を検出することによって、前記選択された空間特徴のうちの、その動作が前記被験者の前記所望のバイタルサインに関連していない１つ以上の空間特徴を検出する、請求項１に記載のデバイス。
9. 前記検出ユニットは、前記初期ＲＯＩ内の選択された空間特徴間の距離の変化、前記初期ＲＯＩ内の選択された空間特徴の位置の変化の方向、及び／又は、前記被験者の所望のバイタルサインに関連する前記身体部分の動作からの、前記初期ＲＯＩ内の選択された空間特徴の位置の変化の偏差を解析することによって、前記選択された空間特徴のうちの、その動作が前記被験者の前記所望のバイタルサインに関連していない１つ以上の空間特徴を検出する、請求項１に記載のデバイス。
10. 前記ＲＯＩ選択ユニットは、前記画像を空間ブロックに分割し、前記空間ブロックの複数からバイタルサインを抽出し、最も強いバイタルサインが抽出される２つ以上の隣接空間ブロックをクラスタリングし、クラスタリングされた前記空間ブロックを、初期ＲＯＩとして選択することによって、画像内の前記初期ＲＯＩを選択する、請求項１に記載のデバイス。
11. 前記ＲＯＩ選択ユニットは、先に取得された前記最終ＲＯＩに隣接する複数の空間ブロックからバイタルサインを抽出し、最も強いバイタルサインが抽出される２つ以上の隣接する空間ブロックをクラスタリングし、クラスタリングされた前記空間ブロックを、新しい初期ＲＯＩとして選択することによって、前記先に取得された最終ＲＯＩから前記初期ＲＯＩを選択する、請求項１に記載のデバイス。
12. 前記ＲＯＩ選択ユニットは、先に取得された最終ＲＯＩからの前記バイタルサインの信頼性又は質が、所定閾値を下回るか、又は、所定量だけ低下する場合に、前記先に取得された最終ＲＯＩから前記初期ＲＯＩを選択する、請求項１１に記載のデバイス。
13. 前記検出ユニットは、前記初期ＲＯＩが、少なくとも部分的に遮蔽されているかどうかを検出し、前記バイタルサイン抽出ユニットは、前記初期ＲＯＩの非遮蔽部分から前記所望のバイタルサインを抽出する、請求項１に記載のデバイス。
14. 被験者のバイタルサイン情報を検出する方法であって、
    経時的な画像のシーケンスを含む前記被験者の画像データを受信するステップと、
    １つの画像内の初期関心領域（ＲＯＩ）を選択するステップであって、前記初期ＲＯＩは前記被験者の身体部分を含む、ステップと、
    前記初期ＲＯＩ内の１つ以上の空間特徴を選択するステップと、
    前記画像データから、前記被験者の所望のバイタルサインに関連する前記身体部分の動作の方向及び／又は振幅を抽出するステップと、
    抽出された前記身体部分の動作の方向及び／又は振幅に基づいて、選択された前記空間特徴のうちの、その動作が前記被験者の前記所望のバイタルサインに関連していない１つ以上の空間特徴を検出するステップと、
    最終ＲＯＩを取得するために、検出された前記１つ以上の空間特徴の位置の変化を検出することによって、及び、検出された前記変化に基づいて前記初期ＲＯＩの位置を移すことによって、前記初期ＲＯＩを追跡するステップと、
    前記画像のシーケンスのうちの画像内の前記最終ＲＯＩから、前記所望のバイタルサインを抽出するステップと、
    を含む、方法。
15. コンピュータ上で実行された場合に、前記コンピュータに、請求項１４に記載の方法のステップを実行させるプログラムコード手段を含む、コンピュータプログラム。

Images