JP2023506543A - 被験者のバイタルサインを決定するためのデバイス、システム、及び方法 - Google Patents
被験者のバイタルサインを決定するためのデバイス、システム、及び方法 Download PDFInfo
- Publication number
- JP2023506543A JP2023506543A JP2022537410A JP2022537410A JP2023506543A JP 2023506543 A JP2023506543 A JP 2023506543A JP 2022537410 A JP2022537410 A JP 2022537410A JP 2022537410 A JP2022537410 A JP 2022537410A JP 2023506543 A JP2023506543 A JP 2023506543A
- Authority
- JP
- Japan
- Prior art keywords
- illumination
- spot
- skin area
- spots
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005286 illumination Methods 0.000 claims abstract description 164
- 238000001514 detection method Methods 0.000 claims abstract description 84
- 230000005670 electromagnetic radiation Effects 0.000 claims abstract description 58
- 238000005259 measurement Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000012935 Averaging Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 5
- 238000001454 recorded image Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 3
- 210000003491 skin Anatomy 0.000 description 156
- 229920001451 polypropylene glycol Polymers 0.000 description 140
- 238000010586 diagram Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 17
- 230000000541 pulsatile effect Effects 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 10
- 239000008280 blood Substances 0.000 description 7
- 210000004369 blood Anatomy 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 210000002565 arteriole Anatomy 0.000 description 5
- 210000002615 epidermis Anatomy 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 4
- 230000035515 penetration Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 210000000264 venule Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008081 blood perfusion Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
- A61B5/02427—Details of sensor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
- A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
- A61B5/14552—Details of sensors specially adapted therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Cardiology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
本発明は、PPGの使用によって、被験者のバイタルサインを決定するためのデバイス100に関する。デバイスは、1つ又は複数の照明スポット20で照明された被験者の、皮膚領域12における複数の測定スポット30から、複数の第1の検出信号を取得するように構成された処理ユニット110を備え、ここで、第1の検出信号は、1つ又は複数の照明スポット20において皮膚領域12に入り、複数の測定スポット30において皮膚領域12を出る電磁放射線90から導出される。処理ユニット110はさらに、皮膚領域12の3D画像情報130を取得し、これにより、測定スポット30と照明スポット20との間の実際のスポット距離15をそれぞれ決定することができる。この情報は、PPG信号をより正確に解釈するために使用できる。なぜなら、3D画像情報がないと、皮膚の表面が傾いている場合しか、投影距離を決定できないからである。それに加えて、これにより、均質な皮膚領域から導出されたPPG信号を平均して、PPG信号強度を向上させ、ノイズを低減することができる。そのようなデバイス及び対応する方法を含むシステム500がさらに説明される。
Description
本発明は、被験者のバイタルサインを決定するためのデバイス、システム、及び方法に関する。
例えば、心拍数、呼吸数、又は動脈血酸素飽和度などの人のバイタルサインは、人の現在の状態の指標として、また深刻な医療事象の強力な予測因子として機能する。このため、バイタルサインは、入院患者及び外来患者のケア環境、自宅、又はさらなる健康、レジャー、及びフィットネスの環境で、広範囲に監視される。
バイタルサインを測定する1つの手法は、プレチスモグラフィ(PPG)である。PPGは、一般に、器官又は体部分の体積変化の測定を指し、特に、心拍ごとに被験者の体を移動する心臓血管脈波による体積変化の検出を指す。
より具体的には、PPGは、関心のある領域又は体積の光の反射率又は透過率の時間変化変動を評価する光学測定技法であり、血液が周囲の組織よりも多くの光を吸収するという原理に基づく。したがって、心拍ごとの血液量の変化は、それに応じて透過率又は反射率に影響する。心拍数に関する情報に加えて、PPG波形は、呼吸などのさらなる生理学的現象に起因する情報を含むことができる。(通常は、赤及び赤外線である)異なる波長における透過率及び/又は反射率を評価することにより、血中酸素飽和度SpO2を決定することもできる。
最近、目立たない測定のための非接触リモートPPG(rPPG)デバイスが導入された。リモートPPGは、光源、又は一般的には被験者から離れて配置された放射線源を利用する。同様に、例えば、カメラ又は光検出器のような検出器もまた、関心のある被験者から離れて配置される。特殊な種類の非接触リモートPPGとしての非接触カメラベースのPPGは、通常、広視野(均一)照明及び検出を使用する。したがって、この技法は、以下では「広視野PPG」と呼ばれる。広視野PPGにおけるPPG信号強度は、通常、非常に小さい(変調の1%未満)。これは、後方散乱/透過光のほとんどが、被験者の皮膚を、非常に短い距離しか移動しないためである。この非常に小さな信号強度は、(少なくとも10~100倍の差がある)従来の接触PPGプローブと比較して、非接触カメラベースのPPGの重大な欠点である。多くの解剖学的場所では、広視野PPG信号は、(例えば、脚や腕では)実際には測定できないが、接触センサを使用すると、これが可能になる。
非接触カメラベースのPPGの別の可能性は、照明パターンの使用に基づくか、又は、例えば、レーザによって作成された単一のスポットの使用に基づくものであり、本明細書で提案され、以下では「放射状PPG」と呼ばれる。放射状PPGの利点は、広視野PPGの場合よりも、皮膚を長距離移動した光を測定できることである。その結果、大幅に大きなPPG変調深さを測定でき、これにより、上記で論じた通常の広視野カメラベースのPPGの欠点を克服できる。しかしながら、欠点は、広視野PPGと比較して、空間分解能が低下することである。放射状PPGから生じる別の問題は、1つの照明スポットのみが評価される場合、ほんの数個のカメラピクセルしか、カメラのダイナミックレンジで信号を送信できないことである。さらに、画像のスケールは較正されていないため、放射状PPG信号の有意な評価はできない。
US2018/000359A1は、光源、画像キャプチャデバイス、及び1つ又は複数の演算回路を含む、生物学的情報検出デバイスを開示する。光源は、光によって形成されたドットを、生体を含むターゲットに投影する。画像キャプチャデバイスは、光検出器セルを含み、ドットが投影されるターゲットの画像を表す画像信号を生成する。1つ又は複数の演算回路は、画像信号を用いて、画像中の生体の少なくとも一部に対応する部分を検出し、その部分の画像信号を用いて、生体の生物学的情報を計算する。
US2017/095170A1は、生物のバイタルサイン関連情報を取得するためのデバイス、システム、及び方法に関する。提案されたデバイスは、生物の皮膚領域から反射され、少なくとも1つの波長間隔で受信された光から生成された、入力信号を受信するための入力ユニットであって、前記入力信号は、生物のバイタルサインが導出されるバイタルサイン関連情報を表す、入力ユニットと、入力信号を処理し、前記入力信号から、前記生物のバイタルサイン関連情報を導出するための処理ユニットと、前記皮膚領域の方位を推定するための方位推定ユニットと、前記皮膚領域の推定された方位に基づいて、前記皮膚領域を照明するための光を用いて、前記皮膚領域を照明する照明ユニットを制御するための、及び/又は、前記皮膚領域の推定された方位に基づいて、選択された時間間隔中に取得された前記入力信号から、バイタルサイン関連情報を導出するように前記処理ユニットを制御するための処理ユニットとを備える。
従来の放射状PPGから生じる異なる問題に基づいて、本発明の目的は、被験者のバイタルサインを決定するための、より正確なデバイス、方法、及びシステムを提供することである。
本発明の第1の態様では、被験者のバイタルサインを決定するためのデバイスが提示され、これは、
- 1つ又は複数の照明スポットで照明された被験者の皮膚領域における複数の測定スポットから、複数の第1の検出信号を取得し、ここで、複数の第1の検出信号は、1つ又は複数の照明スポットにおいて皮膚領域に入り、複数の測定スポットにおいて皮膚領域から出る電磁放射線から導出され、
- 皮膚領域の3D画像情報を取得し、
- 複数の第1の検出信号に対して、取得された皮膚領域の3D画像情報に基づいて、それぞれの測定スポットと照明スポットとの間の、それぞれのスポット距離を決定し、
- 複数の第1の検出信号を、それぞれのスポット距離と、それぞれのスポット距離が決定される照明スポットとに割り当て、
- 同じ照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた第1の検出信号を平均して、平均された第1の検出信号を取得し、平均された第1の前記検出信号から、平均されたバイタルサインを決定するか、又は、同じ照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた、第1の検出信号から、バイタルサインを決定し、前記バイタルサインを平均して、平均されたバイタルサインを取得するように構成された、処理ユニットを備える。
- 1つ又は複数の照明スポットで照明された被験者の皮膚領域における複数の測定スポットから、複数の第1の検出信号を取得し、ここで、複数の第1の検出信号は、1つ又は複数の照明スポットにおいて皮膚領域に入り、複数の測定スポットにおいて皮膚領域から出る電磁放射線から導出され、
- 皮膚領域の3D画像情報を取得し、
- 複数の第1の検出信号に対して、取得された皮膚領域の3D画像情報に基づいて、それぞれの測定スポットと照明スポットとの間の、それぞれのスポット距離を決定し、
- 複数の第1の検出信号を、それぞれのスポット距離と、それぞれのスポット距離が決定される照明スポットとに割り当て、
- 同じ照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた第1の検出信号を平均して、平均された第1の検出信号を取得し、平均された第1の前記検出信号から、平均されたバイタルサインを決定するか、又は、同じ照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた、第1の検出信号から、バイタルサインを決定し、前記バイタルサインを平均して、平均されたバイタルサインを取得するように構成された、処理ユニットを備える。
本発明の別の態様によれば、被験者のバイタルサインを決定するためのシステムが提示され、これは、上記のデバイスに加えて、電磁放射線を放出して、1つ又は複数の照明スポットで、被験者の皮膚領域を照明するように構成された照明ユニットと、1つ又は複数の照明スポットで照明され、皮膚領域から反射されて、検出された電磁放射線の画像を記録し、記録された画像から、複数の第1の検出信号を導出するように構成されたカメラとを備える。
本発明のさらに別の態様では、対応する方法と、コンピュータにおいて実行された場合、コンピュータに対して、本明細書に開示される方法のステップを実行させるためのプログラムコード手段を含むコンピュータプログラムとに加えて、プロセッサによって実行された場合、本明細書に開示される方法を実行させる、コンピュータプログラム製品を格納する、非一時的コンピュータ可読記録媒体とが提供される。
本発明の好適な実施形態は、従属請求項に定義される。特許請求された方法、システム、コンピュータプログラム、及び媒体は、特に、従属請求項で定義され、本明細書で開示されるように、特許請求されたデバイスと同様の、及び/又は、同一の、好ましい実施形態を有することが理解されるべきである。
本発明は、(例えば、レーザによって放出される)1つ又は複数の照明スポットによる照明を用いた放射状PPG測定は、皮膚領域における照明スポットに対する、PPG信号が導出される測定スポットの実際のスポット距離に関する知識を必要とする、という考えに基づく。被験者の皮膚が均一に照明され、広視野PPG信号強度が、皮膚における位置及び皮膚の局所的な方位に依存しない、広視野PPGとは対照的に、放射状PPG信号は、(照明された部分に対する)位置と、皮膚表面の方位との両方に強く依存する可能性がある。
皮膚表面の方位が、照明方向に垂直で、記録カメラに垂直である場合、(例えば、照明ドットと測定ドットとの間の、知られている角度距離によって)画像の横方向の距離を簡単に較正できるため、カメラを用いて、絶対的なスポット距離を測定するのは比較的容易である。湾曲した皮膚領域の場合、投影の補正が必要であり、実際のスポット距離の決定は、はるかに複雑である。記録カメラに垂直な皮膚表面の方位は、コンテキストにおいて、皮膚表面が、その全表面を、記録カメラに向けることを意味すると理解されるものとする。
この目的のために、特許請求されたデバイスの処理ユニットは、皮膚領域の3D画像情報を取得するように構成される。これにより、皮膚領域に位置する複数の測定スポットからの電磁放射線から導出される複数の第1の検出信号に対して、取得された皮膚領域の3D画像情報に基づいて、それぞれの測定スポットと照明スポットとの間のそれぞれのスポット距離を決定することができる。これは、上述したように、湾曲した皮膚領域では特に重要である。皮膚領域の3D画像情報を取得しないと、投影距離しか決定されないため、実際のそれぞれのスポット距離を決定することはできない。
本発明の原理によれば、実際のスポット距離に関する知識を用いて、複数の第1の検出信号が、それぞれのスポット距離と、それぞれのスポット距離が決定される照明スポットとに割り当てられる。これは、カメラによって記録された画像から導出された第1の検出信号を取得する、処理ユニットによって行われる。したがって、処理ユニットは、統計的技法、構造的技法、テンプレートマッチング、ニューラルネットワークアプローチ、ファジーモデル、及びハイブリッドモデルなど、当該技術分野で知られている任意の種類の画像認識によって、複数の測定スポットの場所、及び照明スポットの場所に関する情報を、記録された前記画像から抽出して、それぞれの間の距離を決定するように構成される。
コンテキストにおいて、それぞれのスポット距離は、それぞれの第1の検出信号が導出される測定スポットと、(スポットパターンが照明に使用される場合、複数の照明スポットのうちの)照明スポットとの間の距離である。これはさらに、同じ照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた、第1の検出信号を平均し、均質な皮膚領域から導出されるPPG信号を平均することによって、ノイズレベルを低減することを可能にする。このしきい距離値は、PPG信号が測定される被験者の皮膚領域における場所に応じて、任意であり、処理ユニットによって、又はユーザによって手動で設定される。一般的な値は、数ミリメートルから数センチメートルの範囲である。
複数の信号を平均することにより、所与の領域における照明スポットまでの距離が実質的に等しい(複数の測定スポットからの)複数のピクセルを平均することにより、放射状PPGに本質的に関連付けられた高ノイズを低減できる。これは、放射状PPGにおける相対的な脈動性信号(AC/DC)が大きくても、DC成分が非常に小さく、したがって非常にノイズが多いため、放射状PPGにとって特に重要である。これは2つの理由による。第1には、平均は、通常、より大きな皮膚領域が、均一に照明される広視野PPGと比較して少ないピクセルで行われ、第2には、DC信号は、照明スポットから離れて測定され、多くの信号強度が、皮膚によって吸収されるため、はるかに弱くなるからである。
実施形態によれば、処理ユニットは、同じ照明スポットに割り当てられた第1の検出信号から、第1の検出関数を導出するようにさらに構成され、ここで、第1の検出関数は、スポット距離の関数である。上述したように、皮膚領域の3D画像情報を使用すると、投影されたスポット距離ではなく、実際のスポット距離を決定することができる。したがって、照明スポットに対する皮膚領域における実際の距離に関する知識が決定される。これは、照明スポットから離れた前記横方向距離の関数である、第1の検出関数を導出することを可能にする。第1の前記検出関数を分析し、(例えば、それぞれのバイタルサインを計算することによって、又は単にそれぞれの相対的なPPG振幅を決定することによって)第1の検出信号をさらに処理することにより、生理学的信号の空間分解能を得ることができる。これは、例えば、測定された皮膚領域の、異なる皮膚ピクセルのPPG振幅を表す、カラーマップを定義するために使用される。したがって、改善されたカラーマップが得られ、臨床医に、さらなるサポートを与え、医療環境におけるPPGイメージングの受け入れを増やすことができる。
別の実施形態によれば、処理ユニットは、皮膚領域が、複数の照明スポットで照明される場合に、複数の第1の検出信号から、皮膚領域の3D情報を決定するように構成される。好ましくは、被験者を照明する照明ユニットによって放出される光は、赤外線光である。構造化された赤外線光の投影は、深さイメージングで一般的に知られている技法である。複数の第1の検出信号から、皮膚領域の3D情報を決定するように、処理ユニットが、それ自体で構成されている場合、3D深さ情報を取得するための外部センサ(飛行時間(TOF)センサなど)は、必要とされない。したがって、深さ情報を決定するために、それ自体で構成されることによって、より正確なバイタルサインを決定することができる、コンパクトなデバイスが提示される。したがって、デバイスは、コンパクトで携帯可能なデバイスであり、これは、静止した臨床環境で使用されるだけでなく、さらに、例えば、歩行可能な患者のために使用される。
別の実施形態によれば、処理ユニットは、複数の照明スポットの場合、複数の第1の検出信号について、それぞれの測定スポットと、他の照明スポットとの関係においてそれぞれの測定スポットに最も近い照明スポットである照明スポットとの間の、それぞれのスポット距離を決定するように構成される。したがって、測定スポットと、互いに近い照明スポットとの間のそれぞれの距離のみを考慮して、それらの間のそれぞれの距離を決定する必要がある。これは、処理時間を短縮し、それぞれのスポット距離をすばやく決定し、すべての測定スポットを、それぞれの照明スポットに割り当てる。
別の実施形態によれば、処理ユニットは、
- 1つ又は複数の照明スポットで照明された被験者の皮膚領域から反射されたすべての電磁放射線の空間積分から導出されたか、又は均質照明によって照明された被験者の皮膚領域から反射若しくは透過された電磁放射線から導出された、第2の検出信号を取得し、
- 1つ又は複数の正規化信号を決定するように構成され、正規化信号は、複数の第1の検出信号のうちの第1の検出信号と、第2の検出信号との比を計算することによって計算される。
- 1つ又は複数の照明スポットで照明された被験者の皮膚領域から反射されたすべての電磁放射線の空間積分から導出されたか、又は均質照明によって照明された被験者の皮膚領域から反射若しくは透過された電磁放射線から導出された、第2の検出信号を取得し、
- 1つ又は複数の正規化信号を決定するように構成され、正規化信号は、複数の第1の検出信号のうちの第1の検出信号と、第2の検出信号との比を計算することによって計算される。
好ましくは、この第2の検出信号はまた、カメラによって記録された画像から導出される。したがって、第2の検出信号は、照明されたすべての皮膚ピクセルから反射された電磁放射線の空間積分から導出される。第2の検出信号は、広視野PPG信号である。広視野PPGは通常、被験者の皮膚領域に、均一に電磁放射線を放出する光源を使用して測定される。しかしながら、構造化光、すなわち、ドット、ストライプ、円などのパターンを使用しても良好に機能する。実際、大きなデコンボリューション機能はあるが、非均質な照明パターンであればいずれでも機能する。さらに、スポット照明(すなわち、被験者の皮膚上の1つのレーザスポット)のみを使用し、被験者の皮膚から反射されたすべての光の空間積分を決定することも、広視野PPGを提供するのに適している。
正規化信号は、複数の第1の検出信号(放射状PPG信号)のうちの第1の検出信号と、第2の検出信号(広視野PPG信号)との比を計算することによって決定される。好ましくは、第1の検出信号及び第2の検出信号は、典型的には、近赤外線スペクトル範囲における電磁放射線のように、同じ波長の電磁放射線から導出される。したがって、正規化信号は、近赤外線スペクトル範囲における電磁放射線に関連する信号を示す。コンテキストにおいて、放射状PPG信号と広視野PPG信号との比により、皮膚領域における脈動層の深さの推定値を取得できるので、第1の正規化信号は、被験者の皮膚における近赤外線スペクトル範囲における、電磁放射線の侵入深さの尺度である。これは、常に曖昧さの問題がある従来のPPGイメージングと比較して、非常に有利である。より具体的には、実際のPPG振幅は、異なる皮膚の深さに起因するPPG変調の積分であるため、従来のPPGイメージングでは、解釈することは困難である。脈動性が非常に小さい浅い血管は、例えば、脈動性が強い深い血管と同じPPG信号強度を与える。
本明細書に開示されるように、正規化信号を決定することによって、脈動性血管の深さが推定される。これにより、PPG画像をより正確に、曖昧さを抑えて解釈できる。
本発明による上記のシステムは、1つ又は複数の照明スポットで、被験者の皮膚領域を照明するために、電磁放射線を放出するように構成された、照明ユニットを備える。これらの照明スポットは、ドット、円、楕円、又はストライプの形状を有する。したがって、コンテキストにおいて、「スポット」という用語は、いかなる種類の形状にも限定されない。皮膚領域から反射された、検出された電磁放射線の画像を記録する、カメラのダイナミックレンジにあるピクセルの数は、ドットのような他の照明プロファイルと比較して増加するため、円はいくつかの利点を有することに留意されたい。
システムはさらに、1つ又は複数の照明スポットで照明され、皮膚領域から反射された、検出された電磁放射線から、皮膚領域の3D画像情報を決定するための飛行時間(TOF)センサ、及び/又は、ステレオビジョンによって、3D画像情報を決定するためのステレオ深さセンサを備える。別のオプションは、3D皮膚モデル(3D顔モデルなど)を想定し、3D顔のポーズを推定し、これを3D画像情報として使用することである。別のオプションは、TOFセンサやステレオ深さセンサなど、様々な異なるセンサを、1つの組み合わされたセンサアプローチに組み合わせることである。
上述したように、デバイスの処理ユニットは、皮膚領域が、複数の照明スポットで照明されている場合に、複数の第1の検出信号から、皮膚領域の3D画像情報を決定するように構成される。皮膚領域が、1つの照明スポットのみで照明されている場合、TOFセンサ及び/又はステレオ深さセンサを使用して、より正確なバイタルサインを決定するために必要な3D画像情報を取得するオプションがある。ステレオ深さセンサの利点は、飛行時間型カメラや構造化光など、深さ検出用の他のセンサとは対照的に、ステレオビジョンは、純粋にパッシブな処理であるため、屋外の日光の下でも使用できることである。これにより、明るい日光、長距離測定、又は重複範囲など、困難な条件下でも、正確な3D知覚を提供できる。
実施形態によれば、システムは、好ましくは照明ユニット及びカメラに接続された制御ユニットをさらに備える。照明ユニットが、円又は楕円の形状を有する1つ又は複数の照明スポットで、電磁放射線を放出するように構成されている場合、前記制御ユニットは、カラーカメラであるカメラによって記録された、皮膚領域の3D画像情報と、照明された皮膚領域のカラー画像とを受け取るように構成される。3D深さ情報は、実施形態では、デバイスの処理ユニットから受け取られ、前記処理ユニットは、それ自体で、又はTOFセンサから、及び/又は、ステレオ深さセンサから、3D画像情報を決定するように構成される。受け取られた3D画像情報及びカラー画像に基づいて、制御ユニットは、照明ユニットによって放出される1つ又は複数の照明スポットの形状を制御して、1つ又は複数の照明スポットが、カラーカメラによって記録されたカラー画像における皮膚領域に、円の形状を有する、楕円のような形状を有する1つ又は複数の照明スポットを放出することができる。これは、制御ユニットによる任意の適切な種類の画像認識を使用して、受け取られた記録画像における楕円の形状を認識し、それに基づいて、放出された楕円の形状を適合させることによって行うことができる。
この場合、皮膚表面に投影された円が、カメラによって記録された画像に楕円の形状をもたらす可能性があるため、皮膚表面が、照明方向に垂直ではない場合、これはすべて特に興味深い。しかしながら、いくつかの実施形態によれば、楕円の形状は望ましくない。楕円は、円対称性が崩れるため、取得した信号の後処理がはるかに複雑になる。したがって、制御ユニットは、カメラの、記録された画像が、再び円形のスポットを含むように、照明ユニットの照明を制御する。
本発明のこれら及び他の態様は、以下に記載される実施形態から明らかであり、参照して解明されるであろう。
図1A及び図1Bは、広視野PPG(左)及び放射状PPG(右)について、被験者の皮膚領域12を通る電磁放射線90の経路を示す概略図を示す。広視野PPGは、永年にわたり、カメラモードで一般的に使用されているモードであり、電磁放射線90による照明が、皮膚領域12全体に均一に分布され、PPG信号が、その同じ皮膚領域12全体で測定される。このモードが図1Aに示される。典型的には、電磁放射線90は、複数の照明源200によって放出され、皮膚領域12を出て、カメラのような検出ユニット300によって検出される前に、皮膚領域12の表皮13を通り、様々な細静脈14及び細動脈16を有する、より深い皮膚層に移動する。検出された電磁放射線及び導出されたPPG信号は、カメラ300によって検出されたすべての電磁放射線90の平均である。
図1Bは、放射状PPGモードを示す。非接触放射状PPGの最も単純な形態は、図1Bに示すように、光注入のスポットを1つだけ使用することである。これは、例えば、赤又は赤外線スペクトル範囲に位置する、電磁放射線90を放出するように構成されたレーザを使用することによって達成される。放射状PPGは、原則として、従来のコンタクトプローブPPG測定と非常によく似ている。皮膚領域12は、スポット(円、ストライプ、ドット、楕円など)によって照明され、PPG信号は、皮膚領域12におけるその照明スポット20から、数ミリメートル又はセンチメートル離れて測定される。皮膚領域12における照明スポット20と、PPG信号が測定される測定スポット30との間のスポット距離15は、図1Bにおける1つの反射ビームについて典型的に示される。したがって、放射状PPG信号は、一般に、スポット距離15に依存する信号である。より具体的には、被験者の皮膚領域12から反射された電磁放射線は、照明スポット20において、表皮13を通って皮膚領域12に入り、皮膚領域12の構成要素から反射され、照明スポット20から離れたスポット距離15に位置する測定スポット30において、表皮13を通って皮膚領域12を出ることによって、前記皮膚領域12から反射される。言い換えれば、検出ユニット300によって検出された電磁放射線は、皮膚領域12から散乱されて戻り、表皮13の下の皮膚領域12に位置する異なる細静脈14及び細動脈16から脈動性情報を収集する。
いくつかの実施形態によれば、本発明は、これらの2つの測定モードから、すなわち、放射状PPG及び広視野PPGから取得されたPPG信号を、組み合わせることが以下に示される。
図2A及び図2Bは、広視野PPG及び放射状PPGの、検出された反射光を示す概略図を示す。図2A及び図2Bの上部にある概略図は、以前の図1A及び図1Bを参照してすでに論じたものと同じである。
図2Aは、広視野PPG環境の、検出された反射光を示す図を(下部に)示す。この目的のために、縦軸は、検出された反射光(「R」で示される)を示し、横軸は、測定時間を示す。曲線253は、DC成分255及びAC成分254を含む、検出された反射光を示す。AC成分254は、脈動性動脈血に由来する光吸収の脈動性成分を表し、DC成分255は、非脈動性動脈血、静脈血、及び他の組織からの寄与を含む非脈動性成分を表す。
図2Bは、中央行に、放射状PPG環境の、検出された反射光を示す3つの異なる図を示す。この目的のために、縦軸は、検出された反射光を示し、横軸は、測定時間を示す。3つの曲線263、264、265から、照明スポット20と、それぞれの測定スポット30との間のスポット距離15が大きいほど、検出された反射光のDC成分が小さいことが明らかになる(図1Bを参照した説明を参照方)。これは、曲線263、264、265それぞれのオフセットによって概略的に示される。この理由は、光がより長い経路、皮膚を移動する場合、より多くの光又は電磁放射線90が、皮膚領域12によって吸収されるためである。
これらの依存性は、図2Bの下部にある一番下の図にも示される。この図は、縦軸に、検出された反射光のAC又はDC成分を、横軸に、スポット距離15を示す。第1の曲線273は、検出された反射光のDC成分を示し、第2の曲線274は、検出された反射光のAC/DC成分(相対的なPPG振幅)を示す。すでに論じた傾向が、明らかになる。スポット距離15が大きいほど、比AC/DCが大きくなる(相対的な脈動性成分が大きくなる)ことが明らかになる。
図3は、放射状PPGの被験者の皮膚領域12を通る光の経路のモンテカルロシミュレーションの概略図を示す。皮膚領域12内の光分布は、異なる侵入深さ20を示すために視覚化され、これは、到来する電磁放射線90が、細静脈及び細動脈から散乱されて戻る前に、皮膚領域12にどの程度の深さ侵入をするのかを示す。
図4A及び図4Bは、放射状PPGの被験者の皮膚領域12を通る電磁放射線90の経路を、よりさらに明確に示す、さらなる概略図を示す。図4Aに示されるように、電磁放射線90は、照明スポット20において皮膚領域12に入り、皮膚領域12の構成要素(主に細静脈14及び細動脈16)から反射され、照明スポット20から距離の離れた測定スポット30において皮膚領域12を出る。典型的に、3つの異なる測定スポットが、図4Aに示される。これらの3つの異なる測定スポット30は、典型的に、ペンシルビーム(例えば、レーザビーム)が皮膚表面に当たる照明スポット20までの距離が0.1mm、0.2mm、及び0.3mmである。
図4Bには、測定時間に応じて、3つの異なる測定スポット30から導出された、検出された電磁放射線90の光強度が示される。3つの異なる曲線413、414、及び415のAC成分及びDC成分は、電磁放射線90が、組織を移動した時間に明らかに依存している。光が、脈動性体積吸収体を備えた皮膚領域12を、より長く移動するほど、その強度の変調深さが大きくなることが明らかになる。
図5は、従来のPPGで生じる曖昧さの問題を示す概略図を示す。PPG画像は、図4A及び図4Bに示すように、血液灌流の指標を与える一方、実際の振幅(すなわち、AC成分とDC成分との比であり、正規化された脈動性とも呼ばれる)は、異なる皮膚深さ20からの反射光から生じるPPG変調の積分であるため、解釈することは困難である。したがって、図5の左図に示すように、脈動性が非常に小さい浅い血管は、右図に示すように、脈動性が強い深い血管と同じPPG信号強度を与える。したがって、図5に示されるように、皮膚領域12において、強く又は弱く脈動する成分の、異なる場所は、上側の図の曲線I(t)によって示されるものとまったく同じPPG信号強度となる。
図6は、本発明による被験者のバイタルサインを決定するためのシステム500を示す。システム500は、少なくとも、照明ユニット200、検出ユニット300、及び被験者のバイタルサインを決定するためのデバイス100を備える。前記デバイス100のより詳細な説明は、図8を参照して以下に与えられる。
照明ユニット200は、被験者の皮膚領域12を照明するために電磁放射線90を放出するように構成される。好ましくは、前記照明ユニット200は、好ましくは可視又は赤外線スペクトル範囲に配置された、制御可能な狭い電磁放射線90のビームを放出するように構成される。赤外線は、患者の邪魔にならないように、目に見えないため、一部の臨床環境では好適である。
図6に示される実施形態によれば、システム500は、オプションで、被験者の皮膚領域12を、測定されるべき限定された皮膚領域に限定するためのサポート250をさらに備える。サポート250は、図6に示されるように、被験者の皮膚に配置することができ、好ましくは、到来する電磁放射線90に対して不透明である材料でできている。したがって、さらに好ましくは、測定のために使用される皮膚領域12は、測定されるべき領域に沿って、均質な表面を有する皮膚領域12を含む領域に限定される。
図6における入口は、皮膚領域12における照明スポット20の照明プロファイルの写真を示す。1つの照明スポット20は、単に典型的であると理解されるものとする。照明ユニット20はまた、照明パターン、すなわち、被験者の皮膚領域12に、複数の照明スポットを投影するように構成される。
図7は、皮膚領域を均一に照明するために、図6に示されるシステムの修正された実施形態を示す。前記目的のために、システム500は、ディフューザ220を備える。前記ディフューザ220は、照明ユニット200によって放出される電磁放射線90の制御可能な狭いビームを拡散して、被験者の皮膚領域12に、均質な照明プロファイル及び/又は構造化光を生成するように構成される。したがって、図7に示す構成によって、広視野PPGを測定できる。
均質照明を用いて広視野PPGを、及びスポット照明を用いて放射状PPGを測定するために、別個の照明ユニットを使用するオプションもあることが理解されるものとする。しかしながら、図7に示される実施形態は、放出された電磁放射線90の経路にディフューザを配置しないことによって、放射状PPGを測定するための第1の測定を実行でき、放出された電磁放射線90の経路にディフューザを配置することによって、広視野PPGを測定するための第2の測定を実行できるので、利点を提供する。本発明のいくつかの実施形態によれば、放射状PPG及び広視野PPGについて取得されたPPG信号が組み合わされることが、以下に説明される。
図8は、本発明にしたがって、被験者のバイタルサインを決定するために、デバイス100によって実行される方法を示すフローチャートを示す。
デバイス100は、ステップS10において、1つ又は複数の照明スポット20によって照明された被験者の皮膚領域12における複数の測定スポットから、電磁放射線90から導出される複数の第1の検出信号120を取得する処理ユニット110を備え、電磁放射線90は、1つ又は複数の照明スポット20において皮膚領域12に入り、複数の測定スポット30において皮膚領域12を出る。これは、電磁放射線90が皮膚領域12に入る、1つの照明スポット20が典型的に示されている図4Aを参照して、すでに論じられた。
ステップS20において、処理ユニット110は、皮膚領域12の3D画像情報130を取得する。処理ユニットは、外部センサから3D画像情報を取得するか、又は、特に皮膚領域12が、複数の照明スポット20によって照明される場合、複数の第1の検出信号から、皮膚領域12の3D画像情報を決定する。
ステップS30において、処理ユニット110は、複数の第1の検出信号120について、皮膚領域12の、取得された3D画像情報130に基づいて、それぞれの測定スポット30と照明スポット20との間の、それぞれのスポット距離15を決定する。ステップS40において、処理ユニット110は、複数の第1の検出信号120を、それぞれのスポット距離15と、それぞれのスポット距離15が決定される照明スポット20とに割り当てる。続いて、処理ユニット110は、i)ステップS50及びS60、又はii)ステップS70及びS80のいずれかを実行する。したがって、ステップS50において、処理ユニット110は、同じ照明スポット20と、しきい距離値よりも小さいそれぞれのスポット距離15とに割り当てられた第1の検出信号120を平均して、平均された第1の検出信号140を取得し、ステップS60において、平均された第1の前記検出信号から、平均されたバイタルサイン160を決定する。或いは、処理ユニット110は、ステップS70において、同じ照明スポット20と、しきい距離値よりも小さいそれぞれのスポット距離15とに割り当てられた第1の検出信号120から、バイタルサイン150を決定し、ステップS80において、前記バイタルサイン150を平均して、平均されたバイタルサイン160を取得する。これら2つのオプションは、同等であると理解されるものとする。したがって、平均は、バイタルサインを決定する前又は後に行うことができる。
図9は、皮膚領域の3D構造に関する知識がなく、放射状PPGから生じる問題を示す概略図を示す。典型的に、複数の照明スポット20によって被験者の皮膚領域12(例えば、頭部)を照明するために、電磁放射線を放出するための照明ユニット200を備えるモジュール210が使用される。さらに、モジュール210は、複数の照明スポット20によって照明された皮膚領域12から反射された、検出された電磁放射線90の画像を記録するように構成された3つのカメラ300を備える。これは単に典型的であると理解されるものとする。一般に、少なくとも1つのカメラ300及び少なくとも1つの照明ユニット200が必要とされるが、これらはまた、図9に典型的に示されるように、1つのモジュールに一体的に形成される必要はない。
(矢印914によって示される)被験者の額における照明スポット20間の距離は、被験者までのモジュール210への距離によって、すなわち、例えば、飛行時間TOFを使用することによって、容易に決定される。前記目的のために、図6及び図7に示されるようなシステムは、例えば、皮膚領域12の3D画像情報を決定するように構成されたTOFセンサをさらに備える。別のオプションは、例えば、距離情報がステレオビジョンによって取得される、前記目的のためのステレオ深さセンサを使用する。
被験者の額におけるスポット20とは異なり、問題は、(矢印913及び915によって示されるように)頬における照明スポット20間の距離から生じる。前記距離は、照明方向に対する皮膚の角度のために大きくなる。したがって、皮膚領域12の3D構造に関する知識がなければ、カメラ300によって記録されたカラー画像から投影距離しか決定されないので、PPG信号を定量的に解釈することは不可能である。これは、放射状PPG信号が、実際の距離ではなく、投影距離に誤って割り当てられるという欠点をもたらす。
本発明は、3D深さ画像情報を使用することにより、前記問題を克服することができる。これにより、投影距離だけでなく、皮膚領域20の表面における照明スポット20の実際の距離を決定することができる。本発明から生じる別の利点は、皮膚領域の3D構造に関する知識を有することによって、均質な皮膚領域からの複数の測定スポットを平均して、PPG信号強度を増加させることができることである。
図10は、マネキンの赤外線画像(左)と、3D深さ画像(右)とを示す。深さ情報を抽出するために、スポットパターンによって物体を照明することは、よく知られている技法である。前記目的のために、赤外線パターンが、物体(すなわち、図10に示すマネキン)に投影され、例えば、カメラの1つ又は複数の標準CMOSセンサが、反射光をイメージングする。次に、投影された光パターンの知識を使用するか、(少なくとも2つのCMOSセンサの画像を使用する場合、)視差推定を使用して、各ピクセルの深さを推定できる。これは、例えば、図9に示されるモジュール210を使用することによって達成され、赤外線パターンが、被験者に投影され、3つのカメラを使用して、深さを推測するために使用される。
図11は、特許請求されたデバイス100のプロセッサ110によって実行されるオプションの方法を示すフローチャートを示す。図8を参照して既に説明したように、ステップS10において、プロセッサは、被験者の皮膚領域20における複数の測定スポットから、電磁放射線90から導出される第1の検出信号を取得する。皮膚領域12が、複数の照明スポット20によって照明される場合、プロセッサは、ステップS22において、複数の第1の検出信号120から3D画像情報を決定する。したがって、プロセッサは、外部センサ(TOFセンサなど)から、この3D情報を取得することなく、この情報を独自に決定する。これは、深さ情報を測定するように構成された外部センサが必要とされないという利点を提供する。したがって、プロセッサ110を備えるデバイス100は、コンパクトなデバイスであり、これはさらに、非定常的な環境及び歩行可能な患者などの、様々な異なる環境で使用するために、携帯可能である。
図12A及び図12Bは、図9のように、測定された皮膚領域12の3D構造に関する知識がなく、従来の放射状PPGから生じる問題を示す概略図を示す。すでに上述したように、放射状PPGは、照明スポット20から離れた横方向(放射状)距離の関数として、光強度を測定することを目的とする。典型的に、1つの照明スポット20によって皮膚領域12を照明する、1つの照明ユニット200が示される。カメラ300は、皮膚領域12から反射された電磁放射線を検出し、カメラ300の視野FOV内の反射光のみが検出される。
図12Aは、皮膚領域12の表面が、照明ユニット200の照明方向に垂直であるシナリオを示す。言い換えると、皮膚表面によって定義される平面の法線は、照明方向に平行である。この場合、皮膚領域における距離は、皮膚領域12からカメラ300までの距離によって、すなわち、例えば、TOF技法を使用して、前記距離を測定することによって、容易に決定される。典型的に、単位距離及び距離rが示される一方、距離rは、(上記で説明したように)照明スポット20と測定スポット30との間のスポット距離15である。
図12Bは、皮膚領域の表面が、照明ユニット200の照明方向に垂直ではないシナリオを示す。この場合、皮膚領域12の3D構造に関する知識がなければ、皮膚領域12における距離を、容易に決定することはできない。これは、同じ単位距離及び距離rによって再び示される。前記単位距離及び距離r(すなわち、スポット距離15)を示す矢印の長さは、図12Aの矢印の長さよりも短い。これは、皮膚が、照明ユニット200の照明方向に垂直ではない場合、投影を補正する必要があることを示す。それ以外の場合、測定された放射状PPG信号は、実際の(正しい)距離ではなく、投影された(小さい)距離に割り当てられる。
図13は、スポットパターンによって照明された領域を示す概略図を示す。この領域は、上記のように、PPG測定のために照明された皮膚領域である。
照明ユニット200及び3つのカメラ300を備え、図9を参照して既に説明したものと同じモジュール210が、ここで使用される。照明ユニット200は、複数の照明スポット20によって、皮膚領域12を照明する。典型的に、照明スポット20は、ドットの形状を有する。しかしながら、照明スポット20はまた、線、楕円、円などの形状を有すると理解されるものとする。
照明スポット20の周りの各破線の円は、可能な測定スポット30を表し、それらはすべて、それぞれの照明スポット20に対して同じスポット距離15を有する。したがって、内側の破線の円における測定スポットは、典型的に、それぞれの照明スポット20まで1mmのスポット距離を有する。外側の破線の円における測定スポットは、典型的に、それぞれの照明スポットまで2mmのスポット距離を有する。したがって、複数の照明スポットで照明された被験者の、皮膚領域における複数の測定スポットから、電磁放射線から導出される第1の検出信号は、図13に示されるようにそれぞれ、I(r=1mm)及びI(r=2mm)と略される。領域が平坦ではなく湾曲している場合、すなわち、領域が、照明ユニット200の照明方向に垂直ではない場合、破線の円は、破線の楕円に変換され、これは、図9及び図12を参照して既に論じた問題を表す。したがって、破線の円は、図13に示されている領域の下部に示されているように、湾曲した領域について、楕円に変換される。
図14A及び図14Bは、おのおのが照明ユニット200及び3つのカメラ300を備える、複数のモジュール210の使用を示す概略図を示す。強力な技法は、複数のモジュール210を組み合わせることによって、測定された第1の検出信号のノイズを低減し、スポットパターンを使用して、これらのカメラ画像を登録することである。図14Aに示されるように、モジュール210のうちの1つは、(矢印によって示されるように)照明パターンを投影するために使用され、他のモジュールは、イメージングのみ、すなわち、(測定された皮膚領域などの)領域から反射された電磁放射線を記録するために使用される。図14Bは、モジュールアレイ211として、10個のモジュールの使用を示す概略図を示す。垂直配置は、視差が制限された小さな距離に、10個(又はそれ以上)のモジュール210を配置することを可能にする。したがって、ノイズは、複数のモジュール210から取得された信号を平均することによって、さらに低減される。
図15は、被験者の皮膚領域への円のパターンの投影を示す概略図を示す。皮膚領域12は、図12Aに示されるように被験者の頭上にあるか、又は図12Bに示されるように手の上にあるかのいずれかである。しかしながら、これら2つの皮膚領域は、単なる例示に過ぎないと理解されるものとする。図15Aに示されるように被験者の頬又は額からPPG信号を測定することは、適切なPPG信号強度を与えることがよく知られている一方で、腕などの他の解剖学的場所においてPPG信号を測定することは、はるかに低いPPG信号強度を与えることが知られていることが留意されるものとする。
図15Aに示されるように、照明ユニット200は、円のパターンを、照明ユニット200から、距離Dに位置する被験者の皮膚領域12に投影するために使用される。被験者の手に投影されたそのようなパターンの画像が、図15Bに示される。この画像は、照明ユニット200に直接隣接して配置された、図15Aに示されるカメラ300によって記録される。視差を補正するために、第2のカメラが使用される。
投影されたパターンの形状は、照明方向に対する皮膚領域12の角度αに依存することが明らかになる。この角度がゼロである場合、すなわち、皮膚領域12が、照明方向に垂直である場合、皮膚領域12に投影されたパターンは、円を含む一方、角度がゼロとは異なる場合、すなわち、皮膚領域12が、照明方向に対して垂直ではない場合、投影されたパターンは、楕円を含む。言い換えれば、円の投影されたパターンは、非ゼロの角度αのために、皮膚領域12において楕円として現れる。
図15Cは、図15Aにおいて「A」及び「B」によって示される皮膚領域12における異なる場所に投影された円の形状を示す概略図を示し、場所「B」は、場所「A」とは異なる、被験者の鼻からさらに離れて位置する。角度αは、場所「B」でははるかに大きい一方、前記角度は、場所「A」ではほぼゼロである。したがって、場所「A」に投影された円の直径dAは、図15Cに示すように大幅に修正される。投影された円は、修正された直径dA’=dA/cos(α)を有する楕円として現れる。場所「B」に投影された円の直径dBは、ほとんど修正されない(dB≒dB’)。したがって、場所「B」に投影された円は、円として現れ、楕円に変換されない。これは、図15Bでも見ることができ、指の内側など、角度αが大きい場所に投影された円は、楕円として現れる。投影された円の、楕円への修正は、投影された円の直径、及び角度αだけではなく、照明ユニット200と、被験者の類似領域12との間の距離Dにも依存することが理解されるものとする。
スポット距離が大きくなると(つまり、スポットパターンの照明と、それぞれの測定スポットとの間の距離が大きくなると)、PPG信号強度が大きく低下することが後で示される。低ノイズ/高感度カメラでも、これは非常に難しいダイナミックレンジである。円形の照明パターンを使用することにより、より多くのカメラピクセルが、放射状PPG信号を測定する機能を失うことなく、特定のダイナミックレンジ内にある。
したがって、円のパターンのみの使用は、様々な可能性がある。1つのオプションは、PPG信号をさらに処理するために、(例えば、角度α>10°の場合に)強い楕円体照明を有する、すべての照明スポットを破棄することである。したがって、(図15Aにおける場所「A」など)多くの楕円体照明を含む、カメラ200の記録画像における画像領域から導出された信号を破棄するオプションがある。
別のオプションは、実際の照明が再び円になるように、場所「A」における照明スポットの照明を修正することである。これは次のように行われる。図15Aに示すように、制御ユニット400は、照明200及びカメラ300に接続される。前記制御ユニット400は、皮膚領域12の3D画像情報と、カラーカメラであるカメラ300によって記録された、照明された皮膚領域12のカラー画像とを受け取る。これに基づいて、制御ユニット400は、照明ユニット200によって放出された照明スポットの形状(円のパターン)を制御して、照明スポットが、(カメラ300によって記録された画像に)再び円形スポットとして現れるような楕円の形状を有する照明スポットを放出する。
図16は、ドットパターンによる照明と、円形パターンによる照明との比較を示す概略図を示す。上側の3つの図は、スポット距離15に依存する反射強度のDC成分をそれぞれ示す。円形スポットパターンの場合、スポット距離は、照明スポット20までのそれぞれの測定30スポットの(最小の)距離によって再び決定される。それぞれの図における上側の曲線は、円形のスポットパターンについて導出された反射強度を示し、下側の曲線は、ドットパターンについて導出された反射強度を示す。左の図は、投影されたスポットの直径が1mmの、円形スポットパターンについて導出された反射強度を示す。中央の図、及び右の図は、それぞれ3mm、及び5mmの円形の直径を有する照明を称する(以下のそれぞれの円のスケッチを参照方)。3つの図すべてにおいて、円形のスポットパターン曲線は、ドットパターン曲線よりも大きな強度値を含んでいるため、照明円内のDC強度の低下は、ドットの場合よりもはるかに小さい。これは、円形の照明パターンを使用することにより、放射状PPG信号を測定する機能を失うことなく、はるかに多くのカメラピクセルが、特定のダイナミックレンジ内にあることを示す。
図17は、局所的に測定されたPPG振幅を示す概略図を示す。右のカラーマップ画像は、局所的に測定されたPPG振幅の振幅を表示し、左の図は、番号で示された皮膚領域12における4つの異なる場所において測定された、それぞれのPPG振幅の時間信号を示す。表示される信号は、図5を参照してすでに説明したように、異なる皮膚の深さに起因するPPG変調の畳み込みであるため、カラー画像を臨床用途のために解釈することは困難である。脈動性が非常に小さい表在性血管は、例えば、より強い脈動性を有するより深い血管と、同じPPG信号強度を与える。したがって、全体的な信号は、様々な深さにおける脈動性成分の加重和であるので、図17に示すカラーマップからは、数字「1」によって示される顔領域における大きな信号が、比較的浅い細動脈によるものなのか、又は高密度の動脈であるか否かが分からない。この曖昧さは、PPGイメージングが、臨床診療において受け入れが遅い理由のうちの1つでもある。臨床医が、カラーマップを解釈する場合、使用される波長における脈動性血管の光学的深さ、体積脈動性の強さ、脈動性血管の密度、血液の吸収係数などの多くのパラメータが関与するため、実際に何を指しているのかを説明することは困難である。後続する図18を参照して、脈動性血管の光学的深さを示し、したがって曖昧さの少ないPPGイメージングに使用される信号を定義する方法が説明される。
図18は、従来のPPGから生じる問題を克服するための放射状PPG信号及び広視野PPG信号の処理を示す。上記で説明したように、第1の検出信号は、放射状PPG信号を指し、特許請求されたデバイスの処理ユニットは、同じ照明スポット20に割り当てられた第1の検出信号から、第1の検出関数170を導出するように構成される。第1の検出関数170は、図18に示されるようなスポット距離の関数であり、第1の検出信号の相対的な脈動性成分(AC/DC)を描写する。
上記で説明したように、第2の検出信号は、広視野PPG信号を指す。特許請求されたデバイスの処理ユニットは、第2の検出信号から、第2の検出関数174を導出するようにさらに構成される。第2の検出関数は、広視野PPG及び均質照明を指すので、第2の検出信号は、第2の検出信号の相対的な脈動性成分(AC/DC)も描写するが、スポット距離から独立している。
次のステップでは、処理ユニットは、第1の検出信号から導出された第1の検出関数170と、第2の検出信号から導出された第2の検出関数174との比を計算することによって、正規化信号190を決定するように構成される。放射状PPG信号振幅と広視野PPG信号振幅との比を指すこの正規化信号190は、スポット距離15に依存する指標を与えるために使用できる。この指数は「光学的深さ指数」又は「ODI」と呼ばれ、PPGの源の相対的な光学的深さの推定値を表す。言い換えれば、前記正規化信号190又は前記ODIは、脈動性血管の支配的な深さの推定値を与える。したがって、このODIは、電磁放射線が散乱されて戻る、脈動性血管の支配的な深さに関する情報を取得することを可能にする。
図19は、改善されたPPGカラーマップを取得する処理を示す概略図を示す。最上部のカラーマップは、従来のPPGイメージングから導出される典型的なカラーマップを表しており、色は、PPG振幅の強度を表す。前記カラーマップは、すでに上述したように、全体的な信号が、異なる深さにおける脈動性成分の加重和であるため、前記カラーマップからは、番号「1」で示される顔領域における大きな信号が、比較的浅い細動脈によるものであるか、又はより高密度の動脈があるか否かが分からないため、解釈することは困難である。しかしながら、図18を参照して説明したように、放射状PPG信号と広視野PPG信号との比は、被験者の皮膚における電磁放射線の侵入深さを推定できる指標ODIを与える。このODIは、図18の右図に示すように、スポット距離15に依存する。したがって、単純化のために、一定のODI値は、例えば、スポット距離を1cmに設定することによって定義される。これにより、離散的なODI値を有する各皮膚ピクセルのカラーマップを決定することができる。このカラーマップは、図19の左下に示される。前記カラーマップは、額におけるODIが通常低い一方、頬におけるODIが通常大きいことを示す。図19の右下のカラーマップは、ODIカラーマップと、脈動層の光学的深さに関する情報を有していない、従来のPPGイメージングから取得されたカラーマップとの和である。したがって、このカラーマップは、PPG信号強度が、ODIで重み付けされるため、より正確な結果を与え、PPGイメージングを改善すると推測される。
本発明は、図面及び前述の説明において詳細に例示及び説明されたが、そのような例示及び説明は、例示的又は典型的であり、限定的ではないと見なされるべきであり、本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示、及び添付の特許請求の範囲の研究から、特許請求される発明を実施する当業者によって理解され、実施される。
請求項において、「備える」という用語は、他の要素又はステップを除外せず、単数形は、複数を除外しない。単一の要素又は他のユニットは、特許請求の範囲に記載されたいくつかの項目の機能を果たす。特定の尺度が、相互に異なる従属請求項に記載されているという単なる事実は、これらの尺度の組合せを、有利に使用できないことを示すものではない。
コンピュータプログラムは、他のハードウェアとともに、又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体などの、適切な非一時的媒体において格納/配布されるが、インターネット又は他のワイヤ又はワイヤレス通信システムを介するような他の形態でも配布される。
請求項におけるどの参照記号も、範囲を限定するものとして解釈されるべきではない。
Claims (14)
- 被験者のバイタルサインを決定するためのデバイスであって、
1つ又は複数の照明スポットで照明された前記被験者の皮膚領域における複数の測定スポットから、複数の第1の検出信号を取得し、ここで、前記複数の第1の検出信号は、前記1つ又は複数の照明スポットにおいて前記皮膚領域に入り、前記複数の測定スポットにおいて前記皮膚領域から出る電磁放射線から導出され、
前記皮膚領域の3D画像情報を取得し、
前記複数の第1の検出信号に対して、取得された前記皮膚領域の前記3D画像情報に基づいて、それぞれの前記測定スポットと照明スポットとの間の、それぞれのスポット距離を決定し、
前記複数の第1の検出信号を、それぞれの前記スポット距離と、それぞれの前記スポット距離が決定される前記照明スポットとに割り当て、
同じ前記照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた前記第1の検出信号を平均して、平均された第1の検出信号を取得し、前記平均された第1の検出信号から、平均されたバイタルサインを決定するか、又は、同じ前記照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた、前記第1の検出信号から、バイタルサインを決定し、前記バイタルサインを平均して、平均されたバイタルサインを取得する、処理ユニットを備える、デバイス。 - 前記処理ユニットはさらに、同じ前記照明スポットに割り当てられた前記第1の検出信号から、第1の検出関数を導出し、前記第1の検出関数は、前記スポット距離の関数である、請求項1に記載のデバイス。
- 前記処理ユニットは、前記皮膚領域が、複数の照明スポットで照明される場合、前記複数の第1の検出信号から、前記皮膚領域の前記3D画像情報を決定する、請求項1又は2に記載のデバイス。
- 前記処理ユニットは、複数の照明スポットの場合、前記複数の第1の検出信号に対して、それぞれの前記測定スポットと、他の照明スポットとの関係においてそれぞれの前記測定スポットに最も近い照明スポットである照明スポットとの間の、それぞれの前記スポット距離を決定する、請求項1から3のいずれか一項に記載のデバイス。
- 前記処理ユニットは、
1つ又は複数の照明スポットで照明された前記被験者の前記皮膚領域から反射されたすべての電磁放射線の空間積分から導出された、又は均質照明によって照明された前記被験者の皮膚領域から反射又は透過された電磁放射線から導出された、第2の検出信号を取得し、
1つ又は複数の正規化信号を決定し、正規化信号は、前記複数の第1の検出信号のうちの一つの第1の検出信号と、前記第2の検出信号との比を計算することによって計算される、請求項1から4のいずれか一項に記載のデバイス。 - 前記複数の第1の検出信号及び第2の前記検出信号は、同じ波長の電磁放射線から導出される、請求項1から5のいずれか一項に記載のデバイス。
- 被験者のバイタルサインを決定するためのシステムであって、前記システムは、
電磁放射線を放出して、1つ又は複数の照明スポットで前記被験者の皮膚領域を照明する照明ユニットと、
1つ又は複数の照明スポットで照明され、前記皮膚領域から反射されて、検出された前記電磁放射線の画像を記録し、記録された前記画像から、複数の第1の検出信号を導出するカメラと、
被験者の平均されたバイタルサインを決定するための、請求項1から6のいずれか一項に記載のデバイスとを備える、システム。 - 前記1つ又は複数の照明スポットは、円、楕円、ドット又はストライプのうちの任意の1つの形状を有する、請求項7に記載のシステム。
- 1つ又は複数の照明スポットで照明され、前記皮膚領域から反射されて、検出された前記電磁放射線から、前記皮膚領域の3D画像情報を決定する飛行時間センサ、及び/又は、ステレオビジョンによって、前記皮膚領域の3D画像情報を決定するステレオ深さセンサをさらに備える、請求項7又は8に記載のシステム。
- 制御ユニットをさらに備え、
前記照明ユニットが、円又は楕円の形状を有する1つ又は複数の照明スポットで電磁放射線を放出する場合、前記制御ユニットは、カラーカメラである前記カメラによって記録された、前記皮膚領域の3D画像情報と、照明された前記皮膚領域のカラー画像とを受け取り、受け取られた前記3D画像情報と、受け取られた前記カラー画像とに基づいて、前記照明ユニットによって放出される前記1つ又は複数の照明スポットの前記形状を制御して、前記1つ又は複数の照明スポットが、前記カラーカメラによって記録された前記カラー画像における前記皮膚領域に円の形状を有するように、楕円の形状を有する1つ又は複数の照明スポットを放出させる、請求項7から9のいずれか一項に記載のシステム。 - 前記処理ユニットは、前記デバイスの前記処理ユニットから、又は飛行時間センサから、又はステレオ深さセンサから、前記3D画像情報を受け取る、請求項9又は10に記載のシステム。
- 前記カメラは、複数の検出素子、特にフォトダイオードのアレイ、CCDアレイ、又はCMOSアレイを備える、請求項7から11のいずれか一項に記載のシステム。
- 被験者のバイタルサインを決定するための方法であって、前記方法は、
1つ又は複数の照明スポットで照明された前記被験者の皮膚領域における複数の測定スポットから、複数の第1の検出信号を取得するステップであって、ここで、前記複数の第1の検出信号は、前記1つ又は複数の照明スポットにおいて前記皮膚領域に入り、前記複数の測定スポットにおいて前記皮膚領域から出る電磁放射線から導出される、前記複数の第1の検出信号を取得するステップと、
前記皮膚領域の3D画像情報を取得するステップと、
前記複数の第1の検出信号に対して、取得された前記皮膚領域の前記3D画像情報に基づいて、それぞれの前記測定スポットと照明スポットとの間の、それぞれのスポット距離を決定するステップと、
前記複数の第1の検出信号を、それぞれのスポット距離と、それぞれの前記スポット距離が決定される前記照明スポットとに割り当てるステップと、
同じ前記照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた第1の前記検出信号を平均して、平均された第1の検出信号を取得し、平均された前記第1の検出信号から、平均されたバイタルサインを決定するか、又は、同じ前記照明スポットと、しきい距離値よりも小さいそれぞれのスポット距離とに割り当てられた、前記第1の検出信号から、バイタルサインを決定し、前記バイタルサインを平均して、平均されたバイタルサインを取得するステップとを有する、方法。 - コンピュータにおいて実行された場合、前記コンピュータに、請求項13に記載の方法のステップを実行させるためのプログラムコード手段を含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19217834.1A EP3838115A1 (en) | 2019-12-19 | 2019-12-19 | Device, system and method for determining a vital sign of a subject |
EP19217834.1 | 2019-12-19 | ||
PCT/EP2020/086316 WO2021122667A1 (en) | 2019-12-19 | 2020-12-16 | Device, system and method for determining a vital sign of a subject |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023506543A true JP2023506543A (ja) | 2023-02-16 |
JPWO2021122667A5 JPWO2021122667A5 (ja) | 2023-12-21 |
Family
ID=68965783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022537410A Pending JP2023506543A (ja) | 2019-12-19 | 2020-12-16 | 被験者のバイタルサインを決定するためのデバイス、システム、及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230035959A1 (ja) |
EP (2) | EP3838115A1 (ja) |
JP (1) | JP2023506543A (ja) |
CN (1) | CN115135231A (ja) |
WO (1) | WO2021122667A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115844334B (zh) * | 2022-12-19 | 2024-05-28 | 哈尔滨工业大学 | 一种基于物理过程的间接型ToF相机对人体皮肤组织深度测量值误差的获取方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10893814B2 (en) * | 2015-10-06 | 2021-01-19 | Koninklijke Philips N.V. | System and method for obtaining vital sign related information of a living being |
CN107550474A (zh) * | 2016-06-30 | 2018-01-09 | 松下知识产权经营株式会社 | 生物体信息检测装置 |
-
2019
- 2019-12-19 EP EP19217834.1A patent/EP3838115A1/en not_active Withdrawn
-
2020
- 2020-12-16 CN CN202080096740.3A patent/CN115135231A/zh active Pending
- 2020-12-16 JP JP2022537410A patent/JP2023506543A/ja active Pending
- 2020-12-16 US US17/786,584 patent/US20230035959A1/en active Pending
- 2020-12-16 WO PCT/EP2020/086316 patent/WO2021122667A1/en unknown
- 2020-12-16 EP EP20824555.5A patent/EP4076147A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115135231A (zh) | 2022-09-30 |
WO2021122667A1 (en) | 2021-06-24 |
US20230035959A1 (en) | 2023-02-02 |
EP3838115A1 (en) | 2021-06-23 |
EP4076147A1 (en) | 2022-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242278B2 (en) | Device and method for skin detection | |
CN105009173B (zh) | 用于确定对象的动脉血氧饱和度的设备和方法 | |
US10893814B2 (en) | System and method for obtaining vital sign related information of a living being | |
US9999355B2 (en) | Device, system and method for determining vital signs of a subject based on reflected and transmitted light | |
JP7116042B2 (ja) | 被検体の末梢動脈灌流をモニタリングするためのデバイス、システム及び方法 | |
CN104968259B (zh) | 用于确定对象的生命体征信息的系统和方法 | |
US9265456B2 (en) | Device and method for determining vital signs of a subject | |
EP3380002B1 (en) | Wearable device and system for acquiring physiological information of a subject | |
US10506960B2 (en) | System for screening of the state of oxygenation of a subject | |
JP6270287B2 (ja) | 生理的情報を抽出するデバイス及び方法 | |
US20170086755A1 (en) | Device, system and method for extracting physiological information | |
JP2019531825A (ja) | 対象の深部体温を決定するデバイス、システム及び方法 | |
WO2015121070A1 (en) | Device, system and method for determining vital signs of a subject based on reflected and transmitted light | |
CN108135515A (zh) | 用于获得生命体的生命体征相关信息的设备、系统和方法 | |
US20230035959A1 (en) | Device, system and method for determining a vital sign of a subject | |
CN108430317A (zh) | 用于计算光学性血液动力学的血压的方法及装置 | |
US20240032810A1 (en) | Device, method and systems for providing imaging of one or more aspects of blood perfusion | |
JP2023506542A (ja) | 対象者の酸素飽和度を特定するためのデバイス、システム、及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231213 |