JP6378086B2 - データ管理システム及び方法 - Google Patents

Description

本発明は、データ管理システム及び方法に関する。更に、本発明は、斯かるデータ管理システムに用いられるプロセッサ及び処理方法に関する。また更に、本発明は、この処理方法を実現するコンピュータプログラムに関する。

カメラベースの生体信号監視は、心拍、呼吸及び酸化、ＳｐＯ２値及びアクティグラフィ（actigraphy）を遠くから控え目に測定することができる。心拍、呼吸、ＳｐＯ２及びアクティグラフィを測定する従来の接触センサは、対象物（即ち生体、特に人といった人間だが、可能であれば動物も）に取り付けられる。本質的に、これらのセンサにより生成される生体信号値は、対象物ＩＤ、即ち対象物を一意に特定する対象物の識別子に関連付けられる。例えば、病院環境において、患者が病院にいる１日目から、看護師は、患者にセンサを取り付け、測定された生体信号は、患者の名前及びベッド番号に関連付けられる。体上センサを介したカメラベースの生体信号監視の主な利点の１つは、高い使いやすさにある。なぜなら、生体にセンサを取り付ける必要はなく、カメラが、単に生体に向いていればよいからである。

カメラベースの生体信号監視は、コンタクトレスの態様において実行されるので、測定された値を対象物の識別に関連付ける方法が不明である。例えば、病院において、ベッドで横になっている１人の患者から時間ｔ０で測定される生体信号が、時間ｔ０＋ｔでのその同じ患者の生体信号であることを検出することができるシステムはない。新しい患者が、そこにいるかもしれないし、又は、患者は、それらのベッドを自発的に／強制的に交換したかもしれない。

一定の患者フローが原因で、患者のベッド位置に基づき固定された関連付けを持つことは、望ましくない。これは明らかに、許容可能でない医療データの混同をもたらす可能性がある。別の患者とのミスマッチの確率が極めて高いため、その生命パラメータだけに基づき患者を「追跡」しようと試みることも、好ましいソリューションではない。測定される生体信号の値の限られた範囲が原因で、ある時間点で同じパラメータを持つ２人の人を発見する可能性もある。更に、例えば病院における患者の進化する健康状態が、生体信号を変化させ、これが、この生体信号を患者の識別には適さないものとするという事実により、生体信号に基づかれる識別は、多くの用途において不適切であると考えられる。

本発明の目的は、リモートで測定された生体信号を正しい生体の識別及び可能性として更なるデータに自動的に関連付けることを可能にするデータ管理システム及び方法を提供することである。

本発明の第１の側面において、データ管理システムが提供され、このシステムは、
少なくとも生体の体部分の画像データを得るセンサユニットと、
上記生体の得られた画像データから上記生体の１つ又は複数の生体信号を抽出する生体信号抽出ユニットと、
上記生体の得られた画像データから上記生体の１つ又は複数の特徴を抽出する特徴抽出ユニットと、
上記生体の１つ又は複数の抽出された特徴を用いて、上記生体の識別を決定する識別ユニットと、
上記生体の１つ又は複数の抽出された生体信号と上記生体の決定された識別とを関連付けるデータ関連付けユニットとを有する。

本発明の更なる側面において、データ管理システムにおいて用いられるプロセッサが提供され、このプロセッサは、
上記生体の得られた画像データから上記生体の１つ又は複数の生体信号を抽出する生体信号抽出ユニットと、
上記生体の得られた画像データから上記生体の１つ又は複数の特徴を抽出する特徴抽出ユニットと、
上記生体の１つ又は複数の抽出された特徴を用いて、上記生体の識別を決定する識別ユニットと、
上記生体の１つ又は複数の抽出された生体信号と上記生体の決定された識別とを関連付けるデータ関連付けユニットとを有する。

本発明の更なる側面によれば、対応するデータ管理方法及び処理方法が与えられる。

本発明の好ましい実施形態は、従属項において規定される。請求項に記載の提案されたプロセッサ、提案された方法及び提案されたコンピュータプログラムは、請求項に記載されたデータ管理システム及び従属項に記載されるデータ管理システムと類似する及び／又は同一の好ましい実施形態を持つ点を理解されたい。

本発明は、生体（本書では、一般に対象物とも呼ばれ、これは一般に、人間及び動物を含む）の得られた画像データを、生体信号の抽出のためだけではなく、生体を一意に識別することを可能にする生体の特徴の抽出のために追加的に用いるというアイデアに基づかれる。その特定の生体の画像データから抽出される生体信号は、生体の決定された識別に関連付けられることができる。従って、例えばビデオカメラといったセンサユニットにより得られる画像データは、二重機能を持つ。別々に生体を特定する追加的な手段は必要とされない。この追加的手段を用いる場合、識別が異なる手段を用いて及び異なるデータから決定されるため、生体信号が正確な識別に対して関連付けられることを確実にする手段も必要とするが、これも必要とされない。

本発明は、例えば患者ＩＤといった対象物の識別の、その対象物に関して測定される生体信号への簡単、高速かつ信頼性が高い関連付けを可能にする。こうして、センサユニット、特にビデオカメラを用いてキャプチャされるすべての生体信号が、既知の識別に関連付けられることが確実にされることができる。これは、どの生体信号がどの対象物に属するかを後で探すことを可能にし、信頼性が高いデータベース、例えば患者データの医学的に許容可能な記録を構築することを可能にする。

本書の文脈において、対象物、例えば人の「識別」の決定は、完全な又は現実の識別（例えば、人の名前及び／又は例えば病院又はセキュリティ領域のデータベースに登録される人のＩＤ）の決定を含むだけでなく、部分的な識別の決定も含む点に留意されたい。斯かる部分的な識別、即ち部分的な又は不完全な識別の決定は例えば、完全な識別を提供することを試みることなし、対象物（例えば患者）がまだ同じであると検証することである。

好ましい実施形態によれば、提案されたデータ管理システムは更に、画像データの画像に含まれる１つ又は複数の画像領域を検出する画像領域検出ユニットを有する。画像領域は、単一の生体又は完全な生体の１つ又は複数の体部分のサイズの領域を覆う。上記センサユニットは、１つ以上の生体を可能性として有するシーンの画像を得るよう構成される。上記生体信号抽出ユニットは、少なくとも生体の体部分を有する画像領域の画像データからある生体の１つ又は複数の生体信号を抽出するよう構成される。上記特徴抽出ユニットは、少なくとも生体の体部分を有する画像領域の画像データから上記生体の１つ又は複数の特徴を抽出するよう構成される。この実施形態は例えば、病院の待合室において用いられる。待合室は、多くの新しい患者が到達するが、治療される前に待たなければならない場所である。受付での識別後、彼らは観測されることができ、その生体信号は、特定の患者の生体信号が即時的な注意及び治療を必要とする程度まで悪化しているかを見るために遠くから測定されることができる。患者が待合室において移動する場合であっても、彼らは追跡されることができる。なぜなら、画像が、常に又は規則的なインターバルで撮られる（又は、画像は、規則的なインターバルで評価される）からである。これは、特定の画像領域から得られる画像データから測定される生体信号が、（例えば患者が座席を交換したため）間違った患者に割り当てられることを回避するため、識別の決定を含む。

別の好ましい実施形態によれば、提案されたデータ管理システムは更に、上記生体の１つ又は複数の特徴を含む生体の識別のデータベースを格納するストレージユニットを有する。上記識別ユニットは、上記識別のデータベースに格納される特徴と、上記生体の１つ又は複数の抽出された特徴とを比較することで、上記生体の識別を決定するよう構成される。このデータベースは、例えば、病院又は開業医における患者記録データベースとすることができる。こうして、本発明は、データベースに格納される全てのデータが、受付にいる看護師又は緊急部門における医師に直ちに提供されることを可能にする。

好ましくは、上記ストレージユニットは、決定された識別のデータベースエントリにおける上記生体の１つ又は複数の抽出された生体信号を格納するよう構成される。これは、生体のすべてのデータを将来の使用のために一緒に保つことを可能にする。ストレージユニットは例えば、すべての患者のデータを格納する大容量ハードディスクを用いる病院のデータ管理システムといった中央ストレージとすることができる。

好ましくは、上記センサユニットは、特に視覚及び／又は赤外線波長範囲において画像データを得るビデオカメラといったカメラを含む。一般に、画像データを提供する任意の種類のセンサが用いられることができる。この画像データから、生体信号及び識別に有益な生体の特徴が抽出されることができる。ビデオカメラの場合、画像データは、画像のシーケンスを有する。ビデオカメラは、従来の種類のデジタルビデオカメラとすることができる。光の全体の可視スペクトルから画像データを得ることが可能である。代替的に、カメラは、波長のより狭いバンドに対して又は測定される生体信号に関して重要な特有の波長に対して適合されることができ、例えば赤外線カメラ又はＲＧＢカメラである。例えば、血液酸化が測定されるべきである場合、緑、赤及び赤外線波長バンドの組合せは主な関心事である。

カメラに関する更なる代替案は、テラヘルツカメラである。テラヘルツカメラは、電磁気スペクトルのマイクロ波及び近赤外領域の間に配置される電磁気スペクトルに適合される。この特有のカメラは、例えば衣服といった異なるタイプの物質を通して測定する利点を持つ。更に、これは、皮膚を通りより深く測定を行い、検査される生体の運動に対してあまり敏感でない。従って、テラヘルツカメラは、生体信号抽出及び特徴抽出に有益な高品質画像データを得るための非常に堅牢な態様を提供する。

更に、用途に基づき、所望の測定に使用される波長を含む追加的な光源が、特に生体信号抽出に関して、画像データの品質を改善するために用いられることができる。斯かるビデオカメラが非常に利用可能で、かつコスト効率がよいことは、利点である。更なる利点は、ビデオカメラにより得られる画像データが、複数の情報を含む点にある。この情報は、体部分を正確に特定し、決定されたシーンにおける変化、例えば光状態に適合するよう、時間にわたり解析されることができる。

有利には、上記センサユニットは、１つ又は複数の所定の測定領域から画像データを得るよう構成される。測定領域は、単一の生体又は完全な生体の１つ又は複数の体部分のサイズの領域を覆う。これは、特に、生体の体部分を含むそれらの測定領域だけから画像データを得るためである。これは生体信号抽出及び特徴抽出に関する負担を減らす。なぜなら、画像データの量がかなり減らされるからである。例えば、病院の待合室において、測定領域は、待合座席にリンクされることができる。

更なる改良された実施形態において、センサユニットは、生体の体部分を含むそれらの測定領域だけから、画像データを得る（測定領域が完全な生体を含む状態を含む）。例えば、上述された例では、治療を待つ患者により占有される待合座席のそれらの領域からのみ、画像データが取得される。この目的のために、どの測定領域が生体により「占められるか」について決定する手段が、センサユニットにおいて提供される。この手段は、対象物／人検出に関する従来の手段、運動検出に関する手段及び／又はフォアグラウンド／バックグラウンド検出に関する手段を含むことができる。従って、処理時間及び負担が、更に減らされる。例えば、センサユニットが待合室全体の画像を得ることが可能であるが、単一の患者だけが待っている場合、画像データは好ましくは、上記単一の患者が存在する測定領域だけから得られる。

好ましくは、上記生体信号抽出ユニットは、上記生体の１つ又は複数の関心領域を決定し、上記１つ又は複数の関心領域から１つ又は複数の生体信号を抽出するよう構成される。検出される特定の領域は、抽出される生体信号の種類にかなり依存する。これらの生体信号は、血液酸化、パルス、血圧、心拍変動、呼吸レート、麻酔の深度及び／又は血液量減少及び多血を含むが、これらに限定されるものではない。生体信号抽出ユニットは一般に、対応する生体信号（生体学計量信号とも呼ばれる）を得ることが可能である。抽出される生体信号に基づき、異なる抽出技術が用いられる。例えば、パルス、心拍変動及び呼吸レートは、周期的な現象である。これらの現象は、取得された画像データにおける周期的な変化に関する抽出技術により抽出されることができる。血液酸化現象及び血圧は、必ずしも周期的な種類のものではない。従って、より静的な抽出技術が必要である。

好ましくは、上記生体信号抽出ユニットは、呼吸監視方法、光プレチスモグラフィ方法及び／又はアクティグラフィ監視方法により、生体の得られた画像データから１つ又は複数の生体信号を抽出するよう構成される。監視を呼吸するための方法及び装置は、例えば、２０１１年４月１４日上に出願人により出願された欧州特許出願第ＥＰ １１１６２３８４号において説明される。基本的に、それは、胸部又は腹部／背中の変位から呼吸が測定されることができる方法を説明する。斯かる変位は、本発明に基づき得られる画像データにおいて認識されることができる。

光プレチスモグラフィ撮像（ＰＰＧ）と呼ばれる皮膚カラー変動を測定する方法は、Wim Verkruysse、Lars O. Svaasand及びJ. Stuart Nelsonによる「Remote plethysmographic imaging using ambient light」、Optics Express、Vol. 16、No. 26、December 2008において説明される。これは原理上、皮膚での血液量における時間的変動が、皮膚による光吸収における変動をもたらすことに基づかれる。斯かる変動は、皮膚領域、例えば顔の画像を撮るビデオカメラにより位置合わせされることができる。一方、処理は、手動で選択された領域（通常はこのシステムでは頬の部分）にわたり平均ピクセルを計算する。この平均信号の周期変化に注目することにより、心拍及び呼吸レートが抽出されることができる。

従って、動脈血の脈動は、光吸収における変化を引き起こす。光検出器（又は、光検出器のアレイ）で観測されるそれらの変化は、ＰＰＧ（光プレチスモグラフィ）信号（なかでもプレス波（pleth wave）とも呼ばれる）を形成する。血液の脈動は、心臓の鼓動によりもたらされ、即ち、ＰＰＧ信号におけるピークは、心臓の個別のビートに対応する。従って、ＰＰＧ信号は、それ自体鼓動信号である。この信号の正規化された振幅は、異なる波長に関して異なり、いくつかの波長に関しては、それは血液酸化の関数でもある。

心拍計算の堅牢性を改良するため、１つ以上のＰＰＧ信号を用いることが有益である。特に、正規化された振幅の差が最大にされる態様で、異なる波長で得られる信号を用いることが有益である。１つの信号を他の信号で割ることは、両方の信号に存在する歪みを排除するのに役立つ。

本発明の用途の別の分野は、ＳｐＯ２推定である。従って、好ましくは、処理手段は、異なる波長で少なくとも２つのＰＰＧ信号を抽出し、上記少なくとも２つのＰＰＧ信号からＳｐＯ２信号を決定することにより、上記少なくとも１つの組み合わされた色信号からＳｐＯ２信号を抽出するよう構成される。

ＳｐＯ２推定は、波長の２つの異なる範囲（１つは、スペクトルの赤で、他方は、赤外部分）でのＰＰＧ信号の正規化された振幅の比に基づかれ、

となる。

この「比」から、ＳｐＯ２値が、実験的に規定される定数Ｃ_１及びＣ_２を用いて得られ、

となる。

直接測定される生体測定信号は、ＰＰＧ信号である。ＳｐＯ２は、２つのＰＰＧ信号から計算される。同様に、他の言及された信号／特性（呼吸、麻酔の深度等）も、ＰＰＧ信号の派生体である。

本書におけるビデオアクティグラフィは、体運動解析を意味する。斯かるビデオアクティグラフィ方法は、Liao及びYangによる「Video-based Activity and Movement Pattern Analysis in Overnight Sleep Studies」、Pattern Recognition、2008、ICPR 2008において説明される。

好ましい実施形態において、上記特徴抽出ユニットは、特徴抽出方法のグループからの少なくとも１つの特徴抽出方法により、上記生体の得られた画像データから、上記生体の１つ又は複数の特徴を抽出するよう構成される。上記グループは、
ｉ）顔、胸部又は他の体部分から特徴を認識する対象物認識法、
ｉｉ）特に、高さ、幅、体輪郭、体ボリュームといった生体認証特徴を抽出する生体認証特徴抽出法、
ｉｉｉ）ゲートパターン認識に関するゲート解析方法、
ｉｖ）テクスチャ特徴を認識するテクスチャ認識法、及び
ｖ）色特徴を認識する色認識法を含む。生体の画像からの斯かる特徴抽出に用いられる方法は一般に、既知で利用可能である。

対象物認識法は例えば、Navneet Dalai、Bill Triggsによる「Histograms of Oriented Gradients for Human Detection」、CVPR、vol. 1、pp.886-893、2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPRO5) - Volume 1、2005において説明される。別の方法は、Paul Viola及びMichael Jonesによる「Robust Real-time object detection」、International Journal of Computer Vision、2001において説明される。さらに別の方法は、B Benfold及びI D Reidによる「Stable Multi-Target Tracking in Real-Time Surveillance Video」、Proceedings Computer Vision and Pattern Recognition (CVPR)、Colorado Springs、June 2011に記載される。

３Ｄを用いて人々を検出する方法は例えば、例えばＵＳ２０１０／０１９９２２８Ａ１号に記載され、商業的に利用可能なセンサ「Ｋｉｎｅｃｔ」において用いられる。更なる方法は、Matthias Luber、Luciano Spinello、Kai Arrasによる「Learning to Detect and Track People in RGBD Data」、RGB-D Workshop on RGB-D Cameras 2011において説明される。

運動セグメント化に基づき人々を検出する方法は、Garcia-Martin, A.、Martinez, J.M.による「Robust Real Time Moving People Detection in Surveillance Scenarios」、Advanced Video and Signal Based Surveillance (AVSS)、August 2010において説明される。

フォアグラウンド／バックグラウンド検出に関する方法は、Jian Yao及びJean-Marc Odobezによる「Multi-Layer Background Subtraction Based on Color and Texture」、Proc. CVPR Visual Surveillance workshop (CVPR-VS)、Minneapolis、June 2007において説明される。

ある実施形態において、上記センサユニットは、所定の監視された領域から画像データを得る複数のセンサを有する。この実施形態は、例えば患者が病院の中を歩く場合、上記監視された領域において、生体を追跡することを可能にする。

更に、異なるユニット、例えば生体信号抽出ユニット及び特徴抽出ユニットが、異なるセンサから画像データを受信することができる。異なるセンサは、それらの位置及び／又はそれらの仕様において異なることもできる。また更に、ある実施形態において、それらは異なる角度から及び／又は光の異なる波長を持つ画像データを得るのに用いられることができる。ここで、上記複数のセンサからの全て又は選択された画像データが、生体信号及び／又は特徴抽出に関して用いられる。こうして、生体を検査するための多くの情報が提供され、その結果、検査の精度が改善されることができる。

また更に、ある実施形態において、データ管理システムは更に、上記生体の音声データを得る音声センサ、特にマイクを有する。ここで、上記識別ユニットは、上記生体の１つ又は複数の抽出された特徴及び得られた音声データを用いて、上記生体の識別を決定するよう構成される。音声データは例えば、音声認識のために用いられることができる。斯かる技術はこれ自体、完全に信頼できるものではないが、最も実現しそうである。しかし、他の識別方法に関連付けられて、それは、全体の精度を改善することができる。

所定の状態にある場合、特に、生体の上記１つ又は複数の生体信号が、生体が悪化していることを示す場合、通知手段が、所定の人又はサービスに通知することが好ましい。上記通知手段は、医師又は緊急センターに知らせるため、緊急呼び出しユニットを含むことができる。

本発明によるデータ管理システムの第１の実施形態の概略を示す図である。 本発明によるデータ管理システムの第２の実施形態の概略を示す図である。 測定領域検出ユニットの動作を説明するダイヤグラムを示す図である。 本発明によるデータ管理システムの第３の実施形態の概略を示す図である。 様々な測定領域の検出を説明するダイヤグラムを示す図である。 監視された領域の監視を説明するダイヤグラムを示す図である。

本発明のこれらの及び他の態様が、以下に説明される実施形態より明らとなり、これらの実施形態を参照して説明されることになる。

図１は、本発明によるデータ管理システム１ａの第１の実施形態の概略図を示す。データ管理システム１ａは、少なくとも生体２の体部分の画像データを得るセンサユニット１０を有する。上記センサユニット１０は例えば、病院における患者２の体全体の画像又は少なくとも体の上部の画像をキャプチャするビデオカメラとすることができる。データ管理システム１ａは更に、上記生体２の１つ又は複数の生体信号を上記生体２の得られた画像データから抽出する生体信号抽出ユニット１２を有する。上記生体信号抽出ユニット１２は、例えば、心拍又はＳｐＯ２信号を患者２の画像から抽出するＰＰＧ（光プレチスモグラフ）デバイスとすることができる。この画像は、少なくとも患者の皮膚、例えば頬の部分の画像データを有する。

データ管理システム１ａは、上記生体２の得られた画像データから上記生体２の１つ又は複数の特徴を抽出する特徴抽出ユニット１４を更に有する。上記特徴抽出ユニットは例えば、顔又は胸部といった体部分から特徴を認識する対象物認識ユニットとすることができる。これにより、生体が一意に特徴づけられ及び特定されることができる。これらの１つ又は複数の抽出された特徴は、生体２の識別を決定する識別ユニット１６において用いられる。最終的に、データ関連付けユニット１８において、生体の１つ又は複数の抽出された生体信号が、生体の決定された識別に関連付けられる。

従って、本発明は、生体の識別、例えば患者識別をリモートで測定された生体信号に自動的に関連付けることを可能にし、生体信号が間違った生体に割り当てられることを確実に回避する。このアイデアは、様々なコンテキストにおいて適用されることができる。例えば、医療コンテキストにおいて、例えば病院において、本発明は、患者のデータの医学的に許容可能な記録保持を可能にし、極端な場合死に至らしめる場合がある患者の生体信号の混同を回避する。更に、本発明は、患者が病院により登録される前でさえ、患者の生体信号を追跡することを可能にする。これは、可能性として、待つ間に悪化する患者を検出する。本発明は更に、１つ又は複数の未知の人々を伴う全ての状況において、例えば、セキュリティ領域（例えば空港又は建物の入口での）、家庭での監視、公共の建物等において、適用されることができる。

データ管理システム１ａのこの実施形態の動作が、比限定的な例を用いて説明される。まず、センサユニット１０を用いて、連続的な画像のセットが取得される。取得された画像は例えば、抽出される生体信号に関して重要である波長に敏感なカメラでキャプチャされる。監視を呼吸するため、センサユニット１０は、スペクトルの可視部分及び／又は赤外線部分（これは、日中及び夜間検出を可能にする）における少なくとも１つの波長に敏感であることを必要とする。生体信号を遠隔ＰＰＧ信号から抽出するため、センサユニット１０は、スペクトルの可視部分における少なくとも２つの波長に敏感である。オプションで、スペクトルの赤外線部分における少なくとも１つの波長を用いる。上記オプションは、ＳｐＯ２信号抽出及び夜間監視を可能にする。アクティグラフィ監視のため、センサユニット１０は、スペクトルの可視及び／又は赤外線部分（再び、日中及び夜間監視を可能にする）における少なくとも１つの波長に敏感であることを必要とする。

オプションで、センサユニット１０が敏感であり、所望の生体信号を抽出するのに必要な波長を含む波長範囲における放射線を用いて、生体２を照射するための追加的な光源が用いられることができる。

生体信号の抽出のため、好ましくは少なくとも１つの関心領域（ＲＯＩ）が、上記画像データの１つ又は複数の画像において検出される。この関心領域は、所望の生体信号が抽出されることができる生体の詳細又は体部分を示すよう選択される。例えば、欧州特許出願第ＥＰ１１１６２３８４号又はK. S. Tan、R. Saatchi、H. Elphick及びD. Burkeによる「Real-Time Vision Based Respiration Monitoring System」、CSNDSP 2010において説明されるように、測定が運動パターン解析アルゴリズムを用いて実行される場合、監視を呼吸するため、ＲＯＩは胸部領域を有する。遠隔ＰＰＧから得られることができる生体信号（例えば心拍、心拍変動、パルス通過時間、呼吸及びＳｐＯ２）に関して、ＲＯＩは、例えば頬といった可視の皮膚を含む生体の体の少なくとも１つの部分を有する。アクティグラフィ監視のため、ＲＯＩは一般に、生体の完全な体（又は、少なくとも体の最大部分）を有する。

ＲＯＩの検出は、（事前訓練された）対象物検出（顔、胸部又は他の体部分）、色情報に基づかれる検出（例えば皮膚部分）、３Ｄカメラ又はステレオ視覚システムを用いて得られる３Ｄ情報に基づかれる体モデルを用いる検出、フォアグラウンド及び／又はバックグラウンド検出を含む方法のグループにおける１つ又は複数の方法を用いて実行されることができる。

ＲＯＩからの生体信号の抽出は、既知の方法を用いて、特に既知の呼吸検出方法、アクティグラフィ監視方法及び／又はＰＰＧ方法を用いて、上述したように実行される。斯かる方法の詳細は上述の文書において見つけられることができ、その結果、これらの方法の詳細は、本書ではこれ以上説明されることはない。

得られた画像データは更に、生体の１つ又は複数の特徴を抽出するのに用いられる。ある実施形態において、視覚マーカー（識別子とも呼ばれる）のセットが抽出される。これらのマーカーは、対象物認識に関する顔、胸部及び／又は他の体部分から抽出される特徴、生体認証特徴（例えば、３Ｄ情報から得られる高さ、幅、体輪郭、体ボリューム）、ゲート解析に基づく個人認識に関するゲートパターン、テクスチャ認識に関するテクスチャ特徴（衣服、毛髪等）、色特徴（例えば皮膚色検出、毛髪色検出）を含むが、これらに限定されるものではない。

好ましくは、これらの特徴の少なくとも１つは、生体を特定する識別ユニット１６により使用されるベクトルに格納される。好ましくは、斯かるベクトルは、識別の精度及び信頼性を増加させるため、識別に共通に用いられる複数の特徴を有する。

識別ユニット１６において実行される識別チェックは、データ管理システムにおいて登録された識別とのベストマッチが検索される最良適合手法を用いて実行されることができる。例えば、図２に示されるデータ管理システム１ｂの実施形態に示されるように、ストレージユニット２２が提供されることができる。このストレージユニット２２は、上記生体の１つ又は複数の特徴を含む、例えば、上記データ管理システムを用いる病院にこれまでに登録されていた患者の１つ又は複数の特徴のベクトルを含む、生体の識別のデータベースを格納することができる。生体、例えば病院への新規患者の実際に抽出された１つ又は複数の特徴のベクトルが、上記データベース２２に格納されるベクトルとの比較に用いられる。

ある実現では、例えば、適合が有意であるかをチェックするのに、閾値が用いられる。この処理は、複数の人が同じ識別を用いていないことを確実にするために実行される。最良適合の有意性が所定の閾値未満である場合、１つ又は複数の特徴の現在のベクトルが抽出された人は、新規とみなされ、後述するように新しい識別が作成される。即ち、新しいベクトルが、ストレージユニット２２に格納されるデータベースに入力される。

識別チェックは、初回の手動の識別の使用により、識別ユニット１６において実行されることもできる。新規の生体が存在すると、そこから生体信号が抽出される。例えば、病院において、患者は、受付で自身を登録し及び特定することを求められる。その結果、患者が待っている間、すでに抽出されたその生体信号が、正確な患者に関連付けられることができる。

また更に、識別チェックは、初回の自動識別の使用により、識別ユニット１６において実行されることもできる。従って、新しい人は、自動的に見つけ出される。例えば、画像データから、視覚マーカーが抽出される。良好な適合（距離＜閾値）がすでに格納された識別を用いて見つけ出されない場合、この人は、新規とみなされ、新しい識別が作成される。

ある実施形態において、「初回の」識別は、専用の位置（例えば入口又は受付）でユーザ、例えば看護師により手動で実行されると想定される。識別の登録は、上述したように特徴抽出ユニット１４により抽出される特徴の少なくとも１つと共に、ユーザ入力（患者の名前、社会保障番号、保険会社、…）に基づかれる。この実施形態は、識別データベース及び／又は病院データ管理システムにおけるそれらの実際の登録の前に患者の記録を可能にする。例えば、これは、病院の緊急部門の待合室において起こると予想される。それは、任意の聴診の前に医療チームが患者の医療データを持つことを可能にする。

図２に示されるデータ管理システム１ｂの実施形態において、正確な生体に関連付けられる（タグ付けされる）すべての生体信号が、それらの識別子と共に格納される（例えば、ストレージユニット２２に格納される中央データベースにおいて識別に割り当てられる番号とすることができる患者ＩＤが、医療レポート又は医学的に重要なデータ（例えば不整脈検出、無呼吸...）を生成するため、中央ユニットに格納される）。上記中央ユニットは、ストレージユニット２２又は異なるユニット、例えば病院の中央データ管理システムとすることができる。この文脈において、ストレージユニット２２が、提案されたデータ管理システムの他の実施形態において提供されることもできる点に留意されたい。

図２に示されるデータ管理システム１ｂの実施形態において、センサユニット１０により得られる画像データの画像に含まれる１つ又は複数の画像領域を検出する追加的な画像領域検出ユニット２０が、提供される。これは、図３に示される図において説明される。図３は、２人の人３ａ、３ｂを有するシーンから記録された画像４を示す。画像領域検出ユニット２０は、画像領域４ａ、４ｂを検出する。各領域は、少なくとも１つの又は複数の体部分のサイズの領域を覆う。本書の例では、単一の人の完全な体を覆う。言い換えると、画像領域４ａは、人全体３ａの領域を覆い、画像領域４ｂは人３ｂの全体の領域を覆う。例えばスチルカメラ又はビデオカメラによりとられる画像における斯かる画像領域検出に関して、この目的のために使用されることができる様々な検出技術が利用可能である。この利用可能な検出技術は、Viola及びJonesの対象物検出器フレームワークに基づかれる検出、３Ｄカメラ又はステレオ視覚システムにより得られる３Ｄ情報に基づかれる検出、運動セグメント化に基づかれる検出、フォアグラウンド／バックグラウンド検出に基づかれる検出を含む。

画像領域検出の使用は、生体信号抽出及び／又は特徴抽出が、完全な画像４の完全な画像データを処理するのではなく、生体信号抽出及び特徴抽出に関してそれぞれ、画像領域４ａ、４ｂから画像データだけを処理するという利点を提供する。これは、処理時間及びストレージ空間をかなり減らす。更に、画像領域につき、特徴のベクトルが、得られ、上記画像領域に割り当てられることができる。この領域に対して、識別が識別ユニット１６により決定される。

図４は、本発明によるデータ管理システム１ｃの第３の実施形態を示す。この実施形態において、センサユニット１０は、単一のビデオカメラ又は単一の画像センサといった単一のセンサだけでなく、複数のセンサ１０ａ、１０ｂ、１０ｃを有する。これらのセンサ１０ａ、１０ｂ、１０ｃは、同一であり、画像データを平行して得るために用いられることができる。このデータはすべて、生体信号及び生体の特徴の抽出の精度を増加させるために処理される。例えば、それらが生体信号及び特徴抽出に関して用いられる前に、画像データは平均化処理において用いられることができる。代替的に、最良の画像データが、この処理のために選択されることができる。

異なる実施形態において、図５に図示されるように、各センサ１０ａ、１０ｂ、１０ｃに対して、特定の測定領域５ａ、５ｂ、５ｃが割り当てられる、この領域から、各センサ１０ａ、１０ｂ、１０ｃは画像データを得る。斯かる管理領域５ａ、５ｂ、５ｃは、特に生体の体部分を含むそれらの測定領域だけから画像データを得るため、単一の生体又は完全な生体の１つ又は複数の体部分のサイズの領域を覆う。斯かる測定領域は例えば、病院における待合室の椅子に割り当てられることができる。即ち、椅子が患者により占められる場合に、画像データが、関連付けられるセンサにより上記椅子の測定領域から記録され、この場合にのみ、得られた画像データが、上述したように生体信号抽出及び特徴抽出のために更に処理される。この実施形態も、処理時間及び画像データを格納するためのストレージ空間をセーブする。なぜなら、空き椅子からは、何の画像データも好ましくは得られない（又は、少なくとも追加的な格納及び／又は処理は行われない）からである。

この文脈において、図５に図示されるように、２つ又はこれ以上の測定領域５ａ、５ｂ、５ｃを監視するのに、各測定領域に対して単一のセンサ１０ａ、１０ｂ、１０ｃを有するセンサユニット１０を持つ必要はない点に留意されたい。しかし、センサユニット１０が、所定の測定領域だけを監視するよう、及び／又はそれらの測定領域だけから画像データを得るよう構成されることも可能である。例えば、ある実施形態において、センサユニット１０は、（例えば、測定領域に含まれる運動を検出することにより）測定領域が人により占められるかどうかを見るため測定領域にわたりスイープし、測定領域が占められる場合、画像データを得るため上記測定領域に焦束するよう構成されることができる。

図４に示されるデータ管理システム１ｃの実施形態の使用に関する別のシナリオが、図６に示される。この実施形態において、センサユニット１０は、上記監視された領域６における生体の追跡を可能にするため、所定の監視された領域６から画像データを得るよう構成される。例えば、患者が病院において歩き回る場合、各センサ１０ａ、１０ｂ、１０ｃが特定の監視されたサブ領域６ａ、６ｂ、６ｃを監視するよう配置される複数のセンサ１０ａ、１０ｂ、１０ｃを用いて、患者を追跡することが容易に可能である。更に、人が特定の監視されたサブ領域において検出される場合、生体信号及び人の識別に関して有益な特徴の抽出を可能にする画像データが得られることができる。

図４に示される実施形態では、データ管理システム１ｃは、通知ユニットを追加的に有する。これは、特定された人の識別と共に生体信号を表示するモニタとすることができる。別の実施形態では、看護師又は医師がリモートで特定の患者の生体信号をフォローしたい場合、生体信号が、例えば緊急センター又は携帯デバイスといった所定のアドレスに、識別と共に送信されることができる。

また更に、図４に示される実施形態において、データ管理システム１ｃは更に、上記生体３の音声データを得る音声センサ１１、例えばマイクを有する。上記音声データは、識別の信頼性を更に増加させるべく生体を特定するため、生体の抽出された特徴に加えて、識別ユニットにおいて用いられることができる。

この文脈において、図１、２及び４に示される本発明のデータ管理システムの異なる実施形態に示される様々なオプションの要素が、他の組合せにおいても用いられることもできること、及びこれらの図に示されるような特定の組合せに必ずしもある必要はない点に留意されたい。

病院における本発明の使用に関する例示的なシナリオは、以下の通りである。新しい患者がベッドに到達する場合、提案されたシステムは、患者がまだシステムにおいて登録されていないことを検出し、看護師に通知する。特に生体信号抽出に関する患者の追跡が、匿名のＥＨＲ（電子健康記録）において行われ、この新しい患者に仮想識別（例えばジョン・ドウ１２４）を与える。看護師が新しい患者を登録した後、患者の顔及びベッド位置が、関連付けられるＥＨＲに結合され、匿名のＥＨＲは、患者の永久ＥＨＲと結合される。

患者がベッドを出る場合、提案されたシステムは、これを検出し、システムにおいてこれを管理する。その結果、例えば、看護師は、誰がベッドにいて、誰がいないかを調べることができる。オプションで、システムは、カメラハンドオーバーを用いて、病院中でユーザを追跡する。更に、システムはオプションで、看護師に通知する。

人が特定の位置でベッドに入る場合、患者が同じ人であるかをシステムはチェックする。これが事実ならば、この患者は、（生体信号に関して）監視され続け、この患者に関するシステム記録が更に更新される。患者がもはや同じことでないことが特定される場合、看護師は通知されることができる。（生体信号に関する）更なる追跡は、再度匿名のＥＨＲにおいて行われる。患者が同じなのに、誤って認識される場合、看護師はシステムを修正することができる。例えば、頭に包帯がされる、又は包帯が外されるということが、システムにまだ知らされていない場合である。更に、ベッドが異なる患者に再割り当てされる場合、看護師は、以前の患者を監視するのを止めることができる。また更に、看護師は、新しい患者を登録することができる。この患者が病院において異なる位置で以前に登録されている場合、システムは、この患者が新しいベッドに移動されたことを通知され、その結果、新しい患者が正確な位置で追跡されることができる。

緊急病棟における本発明の使用に関する別のシナリオは、以下の通りである。新しい患者が、待合室に到達し、監視された椅子に座る場合、システムは、新しい患者を検出し、追跡を開始し、匿名のＥＨＲにおいて得られた生体信号を格納する。オプションで、これらの生体信号は、例えばEWS-lite（早期警戒スコア）を採用するシステムといった警告システムに提供される。この警告システムが特定の閾値が越えられることを示す場合、即時的な注意が必要であり、その結果、看護師又は医師が警告されることができる。これは、警告において椅子番号及び顔の良好な画像を含める。

患者が受付で登録されるとき、看護師は、患者を特定し、システムは、匿名のＥＨＲと患者ＥＨＲとを結合する。患者が待ち続ける場合、システムは、患者ＥＨＲを用いて、患者を監視し続ける。患者が病院内に移動される場合、上述した病院における本発明の使用に関するシナリオに移行することができる。オプションで、システムは、病院のどこででも患者を追跡し続ける。

本発明は、患者データの医学的に許容可能な記録保持を可能にし、極端な場合死に至らしめる患者の生体信号パラメータの混同を確実に回避する。本発明の更なる用途は、例えば獣医師の待合室、セキュリティ領域、パブリック領域、建物の入口領域等の１つ又は複数の未知の生体が監視されるすべての状況である。

本発明が図面及び前述の説明において詳細に図示され及び説明されたが、斯かる図示及び説明は、説明的又は例示的であると考えられ、本発明を限定するものではない。本発明は、開示された実施形態に限定されるものではない。図面、開示及び添付された請求項の研究から、開示された実施形態に対する他の変形が、請求項に記載の本発明を実施する当業者により理解され、実行されることができる。

請求項において、単語「有する」は他の要素又はステップを除外するものではなく、不定冠詞「ａ」又は「ａｎ」は複数性を除外するものではない。単一の要素又は他のユニットが、請求項に記載される複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを意味するものではない。

コンピュータープログラムは、他のハードウェアと共に又はその一部として供給される光学的記憶媒体又は固体媒体といった適切な非一時的媒体に格納／配布されることができるが、インターネット又は他の有線若しくは無線通信システムを介してといった他の形式で配布されることもできる。

請求項における任意の参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (16)

1. データ管理システムであって、
   少なくとも生体の体部分の画像データをリモートで得るセンサユニットと、
   前記生体のリモートで得られた画像データから前記生体の１つ又は複数の生体信号を抽出する生体信号抽出ユニットと、
   前記生体のリモートで得られた前記画像データから前記生体の１つ又は複数の特徴を抽出する特徴抽出ユニットと、
   前記生体の１つ又は複数の抽出された特徴を用いて、前記生体の識別を決定する識別ユニットと、
   前記生体の１つ又は複数の抽出された生体信号と前記生体の決定された識別とを関連付けるデータ関連付けユニットとを有し、
   前記識別ユニットが、前記生体の１つ又は複数の抽出された特徴を用いて適合を行い、すでに格納された識別との良好な適合が見つけ出されない場合、仮想識別を与える、データ管理システム。
2. 前記画像データの画像に含まれる１つ又は複数の画像領域を検出する画像領域検出ユニットであって、前記画像領域が、単一の生体又は完全な生体の１つ又は複数の体部分のサイズの領域を覆う、画像領域検出ユニットを更に有し、
   前記センサユニットが、１つ以上の生体を可能性として有するシーンの画像を得るよう構成され、
   前記生体信号抽出ユニットは、前記少なくとも生体の体部分を有する画像領域の画像データから生体の１つ又は複数の生体信号を抽出するよう構成され、
   前記特徴抽出ユニットが、前記少なくとも生体の体部分を有する画像領域の画像データから、前記生体の１つ又は複数の特徴を抽出するよう構成される、請求項１に記載のデータ管理システム。
3. 前記生体の１つ又は複数の特徴を含む生体の識別のデータベースを格納するストレージユニットを更に有し、
   前記識別ユニットが、前記データベースに格納される特徴と、前記生体の１つ又は複数の抽出された特徴とを比較することにより、前記生体の識別を決定するよう構成される、請求項１に記載のデータ管理システム。
4. 前記ストレージユニットが、前記決定された識別のデータベースエントリに、前記生体の１つ又は複数の抽出された生体信号を格納するよう構成される、請求項３に記載のデータ管理システム。
5. 前記センサユニットが、視覚及び／又は赤外線波長範囲において画像データを得るカメラを含む、請求項１に記載のデータ管理システム。
6. 前記センサユニットが、１つ又は複数の所定の測定領域から画像データを得るよう構成され、測定領域は、単一の生体又は完全な生体の１つ又は複数の体部分のサイズの領域を覆う、請求項１に記載のデータ管理システム。
7. 前記生体信号抽出ユニットが、前記生体の１つ又は複数の関心領域を決定し、前記１つ又は複数の関心領域から１つ又は複数の生体信号を抽出するよう構成される、請求項１に記載のデータ管理システム。
8. 前記生体信号抽出ユニットが、呼吸監視法、光プレチスモグラフィ法及び／又はアクティグラフィ監視法により、前記生体のリモートで得られた画像データから１つ又は複数の生体信号を抽出するよう構成される、請求項１に記載のデータ管理システム。
9. 前記特徴抽出ユニットが、
   ｉ）顔、胸部又は他の体部分から特徴を認識する対象物認識法、
   ｉｉ）生体認証特徴を抽出する生体認証特徴抽出法、
   ｉｉｉ）ゲートパターン認識に関するゲート解析方法、
   ｉｖ）テクスチャ特徴を認識するテクスチャ認識法、及び
   ｖ）色特徴を認識する色認識法を含む特徴抽出方法のグループからの少なくとも１つの特徴抽出方法により、前記生体のリモートで得られた画像データから、前記生体の１つ又は複数の特徴を抽出するよう構成される、請求項１に記載のデータ管理システム。
10. 前記センサユニットが、所定の監視された領域において生体を追跡することを可能にするため、前記監視された領域から画像データを得る複数のセンサを有する、請求項１に記載のデータ管理システム。
11. 前記生体の音声データを得る音声センサを更に有し、
    前記識別ユニットが、前記生体の１つ又は複数の抽出された特徴及び前記得られた音声データを用いて、前記生体の識別を決定するよう構成される、請求項１に記載のデータ管理システム。
12. データ管理方法において、
    少なくとも生体の体部分の画像データをリモートで得るステップと、
    前記生体のリモートで得られた画像データから、前記生体の１つ又は複数の生体信号を抽出するステップと、
    前記生体のリモートで得られた前記画像データから、前記生体の１つ又は複数の特徴を抽出するステップと、
    前記生体の１つ又は複数の抽出された特徴を用いて、前記生体の識別を決定するステップと、
    前記生体の決定された識別と、前記生体の１つ又は複数の抽出された生体信号とを関連付けるステップとを有し、
    前記生体の識別を決定するステップが、前記生体の１つ又は複数の抽出された特徴を用いて適合を行い、すでに格納された識別との良好な適合が見つけ出されない場合、仮想識別を与えるステップを含む、方法。
13. データ管理システムにおいて用いられるプロセッサであって、
    生体のリモートで得られた画像データから前記生体の１つ又は複数の生体信号を抽出する生体信号抽出ユニットと、
    前記生体のリモートで得られた前記画像データから前記生体の１つ又は複数の特徴を抽出する特徴抽出ユニットと、
    前記生体の１つ又は複数の抽出された特徴を用いて、前記生体の識別を決定する識別ユニットと、
    前記生体の１つ又は複数の抽出された生体信号と前記生体の決定された識別とを関連付けるデータ関連付けユニットとを有し、
    前記識別ユニットが、前記生体の１つ又は複数の抽出された特徴を用いて適合を行い、すでに格納された識別との良好な適合が見つけ出されない場合、仮想識別を与える、プロセッサ。
14. データ管理システムにおいて用いられる処理方法において、
    生体のリモートで得られた画像データから、前記生体の１つ又は複数の生体信号を抽出するステップと、
    前記生体のリモートで得られた前記画像データから、前記生体の１つ又は複数の特徴を抽出するステップと、
    前記生体の１つ又は複数の抽出された特徴を用いて、前記生体の識別を決定するステップと、
    前記生体の決定された識別と、前記生体の１つ又は複数の抽出された生体信号とを関連付けるステップとを有し、
    前記生体の識別を決定するステップが、前記生体の１つ又は複数の抽出された特徴を用いて適合を行い、すでに格納された識別との良好な適合が見つけ出されない場合、仮想識別を与えるステップを含む、方法。
15. コンピュータに、請求項１４に記載の方法を実行させるための、コンピュータプログラム。
16. データ管理システムにおいて用いられる装置であって、
    生体のリモートで得られた画像データから前記生体の１つ又は複数の生体信号を抽出する生体信号抽出ユニットと、
    前記生体のリモートで得られた前記画像データから前記生体の１つ又は複数の特徴を抽出する特徴抽出ユニットと、
    前記生体の１つ又は複数の抽出された特徴を用いて、前記生体の識別を決定する識別ユニットと、
    前記生体の１つ又は複数の抽出された生体信号と前記生体の決定された識別とを関連付けるデータ関連付けユニットとを有し、
    前記識別ユニットが、前記生体の１つ又は複数の抽出された特徴を用いて適合を行い、すでに格納された識別との良好な適合が見つけ出されない場合、仮想識別を与える、装置。

Images