JP2023545426A - 光学データによる血中アルコール測定値のためのシステム及び方法 - Google Patents

光学データによる血中アルコール測定値のためのシステム及び方法 Download PDF

Info

Publication number
JP2023545426A
JP2023545426A JP2023521555A JP2023521555A JP2023545426A JP 2023545426 A JP2023545426 A JP 2023545426A JP 2023521555 A JP2023521555 A JP 2023521555A JP 2023521555 A JP2023521555 A JP 2023521555A JP 2023545426 A JP2023545426 A JP 2023545426A
Authority
JP
Japan
Prior art keywords
optical data
camera
face
subject
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023521555A
Other languages
English (en)
Inventor
ママン,デイビッド
ゲダリン,コンスタンティン
マルクゾン,マイケル
Original Assignee
ビナー.エーアイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビナー.エーアイ リミテッド filed Critical ビナー.エーアイ リミテッド
Publication of JP2023545426A publication Critical patent/JP2023545426A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4845Toxicology, e.g. by detection of alcohol, drug or toxic products
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1341Sensing with light passing through the finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30076Plethysmography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Pulmonology (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Toxicology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

血中アルコール測定値の精度を向上させるための新しいシステム及び方法が提供される。カメラの出力/入力の前処理、前処理されたカメラ信号からの脈動信号の抽出、それに続く脈動信号のポストフィルタリングを含むがこれらに限定されない、様々な態様が精度の向上に寄与する。この向上した情報は、HRV決定などの解析に使用されることができる。それらのような複数の生理学的測定値を使用して血中アルコールレベルを決定することが好ましい。【選択図】図2

Description

本発明は、光学データから決定される血中アルコール測定値のためのシステム及び方法のものであり、特に、それらのような測定値を被検者のビデオデータから決定するためのシステム及び方法のものである。
心拍数測定装置は、第一の心電図(ECGまたはEKG)を得た1870年代にまでさかのぼり、心臓の心周期(または心拍動)による電圧変化を測定するものである。EKG信号は、3つの主な成分、心房脱分極を表すP波、心室脱分極を表すQRS複合、及び心室再分極を表すT波で構成される。
第二の脈拍数検出技法は、フォトプレチスモグラフィ(PPG)と呼ばれる組織の微小血管床における血液量変化を検出する光学測定である。PPG測定では、末梢脈波は収縮期ピーク及び拡張期ピークを特徴的に示す。収縮期ピークは、左心室から身体の末梢に伝わる直接的な圧波の結果であり、拡張期ピーク(または変曲)は、下半身の動脈による圧波の反射の結果である。
PPGベースのデバイスには、接触ベース及びリモート(rPPG)という2つのカテゴリがある。接触ベースのデバイスは、通常、指の上で使用され、通常、赤色及びIR(赤外)波長で光反射を測定する。一方、リモートPPGデバイスは、通常、顔の皮膚表面から反射された光を測定する。ほとんどのrPPGアルゴリズムは、RGBカメラを使用し、IRカメラを使用しない。
PPG信号は、光と生体組織の相互作用に由来するため、(複数の)散乱、吸収、反射、透過、及び蛍光に依存する。接触ベースまたはリモートのPPG測定には、デバイスのタイプに応じて異なるエフェクトが重要になる。rPPG解析では、信号の便利な一次分解は、強度ゆらぎ、散乱(生体組織と相互作用しなかった)、及び脈動信号に対するものである。瞬時脈波時間は、EKG測定中のR時間またはPPG測定中の収縮期ピークから設定される。EKG表記は、rPPG測定の収縮期ピークをR時間と呼ぶために使用される。瞬時心拍数は、1分あたりの拍動で60/RR(n)として、連続したR時間の間の差、RR(n)=R(n)-R(n-1)から評価される。
RR間隔におけるゆらぎは、心臓血管系が恒常性に対する突然の身体的及び心理的課題にどのように適応しているかを示す。これらのゆらぎの尺度は、心拍変動(HRV)と呼ばれる。
残念ながら、精確な脈拍数の光学的検出には、様々な技術的問題があった。主な問題は、達成された信号対ノイズが低かったため、脈拍数を検出できないことである。心拍変動(HRV)を決定することができるには、精確な脈拍数の検出が必要である。
HRVは、長期間にわたる脈拍数からの統計パラメータの抽出である。従来、測定時間は、0.5~24時間で変動するが、近年では、研究者らは、さらに短い期間からでもHRVを抽出した。HRVから導出された統計情報は、例えばストレス推定に関するものを含む、被検者の健康状態の一般的な指標を提供することができる。
アルコール摂取が心血管系に影響を与えることが知られている。例えば、アルコールの急激な過剰摂取は心拍数を増加させる可能性がある。ただし、現在、血中アルコールレベルの決定は、被検者が機械に息を吹き込む呼気分析器のみで行われている。次に、血中アルコールレベルは、呼気中のこのレベルから推定される。ただし、これらの機械は誤った結果を出すことで有名であり、多くの場合、血中アルコールレベルを実際よりも高く示すこともあれば、真のレベルよりも低く示すこともある。血中アルコールレベルの測定における両方の不精確さは、潜在的な犯罪及び法執行機関の紛糾など、深刻な影響を与える可能性がある。さらに、これらの機械は高価で扱いにくいだけでなく、適切に使用するのが困難である。
現在特許請求されている発明は、血中アルコールレベル測定の精度を向上させると同時に、そのような測定の容易さを向上させる新しいシステム及び方法を提供することにより、これらの問題を克服する。カメラの出力/入力の前処理、前処理されたカメラ信号からの脈動信号の抽出、それに続く脈動信号のポストフィルタリングを含むがこれらに限定されない、より精確で完全な心血管系の測定をはじめ、様々な態様が精度の向上に寄与する。次いで、この向上した情報は、光学的な脈拍数検出の不精確な方法では不可能である、HRV決定などの解析に使用されることができる。
HRVパラメータを酸素レベル及び呼吸変動と統合して、正しい血圧を決定する。好ましくは、体重、年齢、性別などに関連するメタデータも使用して、正しい血圧を決定する。次に、これらの様々な計算及び測定のすべてを統合して、精確な血中アルコールレベル測定値を提供する。
少なくともいくつかの実施形態によれば、被検者の血中アルコールレベルを決定するための方法が提供され、この方法は、被検者の顔から光学データを取得することと、この光学データを解析して被検者の顔に関連するデータを選択することと、顔の皮膚から光学データを検出することと、経過期間に達するまで光学データを収集して、次に経過期間に収集された光学データから時系列を計算することによって光学データから時系列を決定することと、時系列から少なくとも1つの生理学的信号を計算することであって、少なくとも1つの生理学的信号は血圧を含む、計算することと、血中アルコールレベルを少なくとも1つの生理学的信号から決定することとを含む。任意選択で、光学データはビデオデータを含み、光学データを取得することは、被検者の皮膚のビデオデータを取得することを含む。任意選択で、光学データを取得することは、カメラからビデオデータを取得することをさらに含む。任意選択で、カメラは携帯電話のカメラを含む。
任意選択で、光学データを取得することは、被検者の顔の皮膚のビデオデータを取得することをさらに含む。任意選択で、光学データを取得することは、被検者の指の皮膚のビデオデータを取得することをさらに含む。任意選択で、ビデオデータを取得することは、被検者の指先を携帯電話のカメラの上に置くことにより、この指先の皮膚のビデオデータを取得することを含む。任意選択で、携帯電話のカメラは、正面カメラ及び背面カメラを含み、被検者の顔の皮膚のビデオデータは、指先が背面カメラの上に置かれるように、正面カメラで取得される。任意選択で、携帯電話のカメラの上の指先は、携帯電話のカメラに関連するフラッシュを作動させて光を与えることをさらに含む。
任意選択で、光学データを顔の皮膚から検出することは、複数の顔または指先の境界を決定することと、最も確率の高い顔または指先の境界を選択することと、顔または指先からのビデオデータにヒストグラム解析を適用することとを含む。任意選択で、複数の顔または指先の境界を決定することは、マルチパラメータ畳み込みニューラルネット(CNN)をビデオデータに適用して顔または指先の境界を決定することを含む。任意選択で、生理学的信号は、心拍数、呼吸量、呼吸変動、心拍変動(HRV)、ECG様信号、血圧及びpSO2(酸素飽和度)からなる群から選択される。任意選択で、生理学的信号は血圧及びHRVを含む。
任意選択で、血中アルコールレベルを決定することは、少なくとも1つの生理学的信号からの測定値とメタデータを統合することをさらに含み、メタデータは、被検者の体重、年齢、身長、生物学上の性別、体脂肪率及び身体筋肉率のうちの1つ以上を含む。任意選択で、方法は、被検者によって取られるアクションを決定することと、このアクションに従って血中アルコールレベルを基準と比較することと、この比較に従って被検者がアクションを取ることができるかどうかを決定することとをさらに含む。任意選択で、アクションは、車両の操作、重機の操作、及び状況に応じた役割を果たすことからなる群から選択される。
少なくともいくつかの実施形態によれば、被検者から生理学的信号を取得するためのシステムが提供され、このシステムは、被検者の顔から光学データを取得するためのカメラと、カメラから光学データを受信するためのユーザコンピュータデバイスとを含み、ユーザコンピュータデバイスは、プロセッサ、及び複数の命令を格納するためのメモリを含み、プロセッサは、光学データを解析して被検者の顔に関連するデータを選択するための命令と、顔の皮膚から光学データを検出するための命令と、経過期間に達するまで光学データを収集して、次に経過期間に収集された光学データから時系列を計算することにより、時系列を光学データから決定するための命令と、時系列から生理学的信号を計算するための命令であって、少なくとも1つの生理学的信号は血圧を含む、命令と、少なくとも1つの生理学的信号から血中アルコールレベルを決定するための命令とを実行する。
任意選択で、メモリは、定義されたネイティブ命令セットのコードを格納するように構成され、プロセッサは、メモリに格納された定義されたネイティブ命令セットのコードから選択された対応する基本命令を受信することに応答して、定義されたセットの基本操作を実行するように構成され、メモリは、光学データを解析して被検者の顔に関連するデータを選択するためのネイティブ命令セットから選択された第一セットのマシンコードと、顔の皮膚から光学データを検出するためのネイティブ命令セットから選択された第二セットのマシンコードと、経過期間に達するまで光学データを収集して、次に経過期間に収集された光学データから時系列を計算することにより、時系列を光学データから決定するためのネイティブ命令セットから選択された第三セットのマシンコードと、時系列から生理学的信号を計算するためのネイティブ命令セットから選択された第四セットのマシンコードであって、少なくとも1つの生理学的信号は血圧を含む、第四セットのマシンコードと、少なくとも1つの生理学的信号から血中アルコールレベルを決定するためのネイティブ命令セットから選択された第五セットのマシンコードと、を格納する。
任意選択で、顔の皮膚から光学データを検出することは、複数の顔の境界を決定することと、最も確率の高い顔の境界を選択することと、ヒストグラム解析を顔からのビデオデータに適用することとを含み、そのため、メモリは、複数の顔の境界を決定することを含む顔の皮膚から光学データを検出するためのネイティブ命令セットから選択された第六セットのマシンコードと、最も確率の高い顔の境界を選択するためのネイティブ命令セットから選択された第七セットのマシンコードと、ヒストグラム解析を顔からのビデオデータに適用するためのネイティブ命令セットから選択された第八セットのマシンコードと、をさらに含む。
任意選択で、複数の顔の境界を決定することは、マルチパラメータ畳み込みニューラルネット(CNN)をビデオデータに適用して顔の境界を決定することを含み、そのため、メモリは、ビデオデータにマルチパラメータ畳み込みニューラルネット(CNN)を適用して顔の境界を決定するためのネイティブ命令セットから選択された第九セットのマシンコードをさらに含む。
任意選択で、カメラは携帯電話のカメラを含み、光学データは携帯電話のカメラからビデオデータとして取得される。任意選択で、コンピュータデバイスは移動体通信デバイスを含む。任意選択で、携帯電話のカメラは背面カメラを含み、ビデオデータを取得するために、このカメラの上に被検者の指先は置かれる。
任意選択で、システムは、携帯電話のカメラに関連するフラッシュをさらに含み、フラッシュは光学データを取得するための光を与える。
任意選択で、メモリは、複数の顔または指先の境界を決定するためのネイティブ命令セットから選択された第十セットのマシンコードと、最も確率の高い顔または指先の境界を選択するためのネイティブ命令セットから選択された第十一セットのマシンコードと、顔または指先からのビデオデータにヒストグラム解析を適用するためのネイティブ命令セットから選択された第十二セットのマシンコードとをさらに含む。
任意選択で、メモリは、マルチパラメータ畳み込みニューラルネット(CNN)をビデオデータに適用して顔または指先の境界を決定するためのネイティブ命令セットから選択された第十三セットのマシンコードをさらに含む。
任意選択で、システムは、プロセッサによって実行された命令に従って、顔または指先の画像から解析されたデータを統合して生理学的測定値を決定することをさらに含む。
任意選択で、システムは、生理学的測定値及び/または信号を表示するためのディスプレイをさらに含む。任意選択で、ユーザコンピュータデバイスは、ディスプレイをさらに含む。任意選択で、ユーザコンピュータデバイスは、生理学的測定値及び/または信号を伝送するための伝送器をさらに含む。任意選択で、生理学的信号を決定することは、少なくとも1つの生理学的信号からの測定値とメタデータを統合することをさらに含み、メタデータは、被検者の体重、年齢、身長、生物学上の性別、体脂肪率及び身体筋肉率のうちの1つ以上を含む。
任意選択で、生理学的信号は、ストレス、血圧、呼吸量、及びpSO2(酸素飽和度)からなる群から選択される。
少なくともいくつかの実施形態によれば、被検者から生理学的信号を取得するためのシステムが提供され、このシステムは、被検者の指から光学データを取得するための背面カメラと、このカメラから光学データを受信するためのユーザコンピュータデバイスとを含み、ユーザコンピュータデバイスは、プロセッサ、及び複数の命令を格納するためのメモリを含み、プロセッサは、光学データを解析して被検者の顔に関連するデータを選択するための命令と、指の皮膚から光学データを検出するための命令と、経過期間に達するまで光学データを収集して、次に経過期間に収集された光学データから時系列を計算することにより、時系列を光学データから決定するための命令と、時系列から生理学的信号を計算するための命令であって、少なくとも1つの生理学的信号は血圧を含む、命令と、少なくとも1つの生理学的信号から血中アルコールレベルを決定するための命令とを実行する。
任意選択で、システムは、本明細書に記載の任意の実施形態または特徴による、システムをさらに含む。
少なくともいくつかの実施形態によれば、被検者から生理学的信号を取得するための方法が提供され、この方法は、本明細書に記載のシステムを操作して、被検者から生理学的信号を取得することであって、少なくとも1つの生理学的信号は血圧を含む、取得することと、少なくとも1つの生理学的信号から血中アルコールレベルを決定することとを含む。
本発明の方法及びシステムの実装には、特定の選択されたタスクまたはステップを手動で、自動で、またはそれらの組み合わせで実行することまたは完了することが含まれる。さらに、本発明の方法及びシステムの好ましい実施形態の実際の計装及び機器によれば、いくつかの選択されたステップは、ハードウェアによって、または任意のファームウェアの任意のオペレーティングシステム上のソフトウェアによって、またはそれらの組み合わせによって実装され得る。例えば、ハードウェアとして、本発明の選択されたステップは、チップまたは回路として実装されることができる。ソフトウェアとして、本発明の選択されたステップは、任意の適切なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として実装されることができる。いずれにせよ、本発明の方法及びシステムの選択されたステップは、複数の命令を実行するためのコンピューティングプラットフォームなどのデータプロセッサによって実行されるものとして記述されることができる。
本発明は、「コンピューティングデバイス」、「コンピュータ」、または「モバイルデバイス」に関して説明されているが、任意選択で、データプロセッサ及び1つまたは複数の命令を実行する能力を特徴とする任意のデバイスが、任意のタイプのパーソナルコンピュータ(PC)、サーバ、分散型サーバ、仮想サーバ、クラウドコンピューティングプラットフォーム、携帯電話、IP電話、スマートフォン、またはPDA(パーソナルデジタルアシスタント)を含むがこれらに限定されないコンピュータとして説明され得ることに留意されたい。互いに通信するそれらのようなデバイスの任意の2つ以上は、任意選択で、「ネットワーク」または「コンピュータネットワーク」を含むことができる。
本明細書では、本発明は、単に例示し添付の図面を参照して説明する。ここで詳細な図面を特に参照すると、示される詳細が、例として、そして本発明の好ましい実施形態の例示的な説明のためだけのものであり、本発明の原理及び概念的態様の最も有用で容易に理解される説明であると考えられるものを提供するために提示されることが強調される。この点について、本発明の基本的理解に必要である以上に本発明の構造的な詳細を示す試みはなされておらず、図面とともに行われる説明は、本発明の様々な形態が実際にどのように具現化され得るかを当業者に対して明らかにするものである。以下の図面である。
ユーザのビデオデータを取得し、このビデオデータを解析して1つまたは複数の生体信号を決定するための非限定的で例示的なシステムの例を示す。 ユーザのビデオデータを取得し、このビデオデータを解析して1つまたは複数の生体信号を決定するための非限定的で例示的なシステムの例を示す。 信号解析を実行するための非限定的で例示的な方法を示す。 ユーザがアプリを使用して生物学的統計値を取得することを可能にするための非限定的で例示的な方法を示す。 ユーザがアプリを使用して生物学的統計値を取得することを可能にするための非限定的で例示的な方法を示す。 血中アルコールレベルの測定のための詳細な生物学的統計値を作成するための非限定的で例示的なプロセスを示す。 ビデオデータを取得し、次に初期処理を実行するための非限定的で例示的な方法を示す。 ビデオデータを取得し、次に初期処理を実行するための非限定的で例示的な方法を示す。 ビデオデータを取得し、次に初期処理を実行するための非限定的で例示的な方法を示す。 ビデオデータを取得し、次に初期処理を実行するための非限定的で例示的な方法を示す。 ビデオデータを取得し、次に初期処理を実行するための非限定的で例示的な方法を示す。 脈拍数推定及びrPPGの決定のための非限定的で例示的な方法に関する。 図6Aの方法のいくつかの結果に関する。 図6Aの方法のいくつかの結果に関する。 HRVまたは心拍変動時間領域解析を実行するための非限定的で例示的な方法を示す。 心拍変動またはHRV周波数領域を計算するための非限定的で例示的な方法を示す。 血中アルコールレベルによる、車両の操作を制御するための非限定的で例示的な方法を示す。 血中アルコールレベルによる、重機の操作を制御するための非限定的で例示的な方法を示す。 血中アルコールレベルによる、状況に応じた制御のための非限定的で例示的な方法を示す。
rPPGメカニズムの重要な根本的な問題は、解析に適した精確な顔の検出と、詳細な皮膚表面の選択である。現在特許請求されている発明は、ニューラルネットワーク方法論に基づいて顔及び皮膚の検出に関するこの問題を克服する。非限定的な例を以下に提供する。好ましくは、皮膚の選択のために、ヒストグラムベースのアルゴリズムを使用する。顔のみを含むビデオフレームの一部にこのプロシージャを適用すると、チャネル、赤、緑、及び青(RGB)ごとの平均値がフレームデータを構築する。結果として生成されたビデオフレームに上記のプロシージャを連続して使用すると、RGBデータの時系列が取得される。RGB値で表されるこれらの時系列の各要素がタイムスタンプと共にフレームごとに取得されると、これらのタイムスタンプを使用して、第一要素の第一出現からの経過時間を決定する。次に、総経過時間が時間窓(Lalgo)の完了のための、外部パラメータで定義された脈拍数推定に使用される平均期間に達すると、rPPG解析を開始する。可変フレーム取得レートを考慮して、時系列データは、固定された所与のフレームレートに対して補間される必要がある。
補間後、前処理メカニズムを適用して、より適切な三次元信号(RGB)を構築する。そのような前処理は、例えば、正規化及びフィルタリングを含み得る。前処理に続いて、平均脈拍数の推定を含む、rPPGトレース信号を計算する。
ここで図面を参照すると、図1A及び図1Bは、ユーザのビデオデータを取得し、このビデオデータを解析して1つまたは複数の生体信号を決定するための非限定的で例示的なシステムの例を示す。
図1Aは、サーバ118と通信する、ユーザコンピュータデバイス102を特徴とするシステム100を示す。ユーザコンピュータデバイス102は、コンピュータネットワーク116を介してサーバ118と通信することが好ましい。ユーザコンピュータデバイス102は、ユーザ入力デバイス106を含むことが好ましく、これは、例えば、マウス、キーボード、及び/または他の入力デバイスなどのポインティングデバイスを含むことができる。
さらに、ユーザコンピュータデバイス102は、好ましくは、ユーザの顔のビデオデータを取得するためのカメラ114を含む。またカメラは、ユーザコンピュータデバイスとは別個のものであってもよい。ユーザは、信号解析のタイプを決定するためのコマンド、信号解析を開始するためのコマンド、及び信号解析の結果を受信するためのコマンドを提供するために、ユーザアプリインタフェース104とインタラクトする。
例えば、ユーザは、ユーザコンピュータデバイス102を介して、カメラ114を別個に起動させるか、ユーザアプリインタフェース104を介してコマンドを発行することでそのようなデータを記録するかいずれかによって、カメラ114によるビデオデータの記録を開始することができる。
次に、ビデオデータは、好ましくは、サーバ118に送信され、サーバアプリインタフェース120によって受信される。次に、それは信号解析エンジン122によって解析される。信号解析エンジン122は、好ましくは、ビデオ信号での顔の検出、その後の皮膚の検出を含む。以下で詳細に説明されるように、この情報から脈波信号を取得することをサポートするために、様々な非限定的なアルゴリズムを適用することが好ましい。次に、脈波信号は、好ましくは、時間、周波数、及び非線形フィルタによって解析され、HRVの決定をサポートする。HRVが決定された後、血圧が決定される。任意選択で、他の生理学的パラメータも決定される。以下でより詳細に説明されるように、少なくとも血圧測定値、及び好ましくは他の生理学的パラメータが適用されると、血中アルコールレベルが決定される。任意選択で、この決定は、顔の血管拡張に関連するデータなしで実行される。
ユーザコンピュータデバイス102は、プロセッサ110A及びメモリ112Aを特徴とすることが好ましい。サーバ118は、好ましくは、プロセッサ110B及びメモリ112Bを特徴とする。
本明細書で使用される場合、プロセッサ110Aまたは110Bなどのプロセッサは、一般に、特定のシステムの通信及び/または論理機能を実装するために使用される回路を有するデバイスまたはデバイスの組み合わせを指す。例えば、プロセッサは、デジタル信号プロセッサデバイス、マイクロプロセッサデバイス、及び様々なアナログ-デジタル変換器、デジタル-アナログ変換器、及び他のサポート回路及び/または前述の組み合わせを含み得る。システムの制御及び信号処理機能は、これらの処理デバイス間に、それらのそれぞれの能力に従って割り振られる。プロセッサは、この非限定的な例ではメモリ112Aまたは112Bなどのメモリに格納され得る、そのコンピュータ実行可能プログラムコードに基づいて1つまたは複数のソフトウェアプログラムを動作させる機能をさらに含み得る。この用語が本明細書で使用される場合、プロセッサは、例えば、コンピュータ可読媒体に具現化された特定のコンピュータ実行可能プログラムコードを実行することで1つ以上の汎用回路に機能を実行させることによるもの、及び/または1つ以上の特定用途向け回路に機能を実行させることによるものを含む、様々な方法で特定の機能を実行するように「構成」されることができる。
任意選択で、メモリ112Aまたは112Bは、定義されたネイティブ命令セットのコードを格納するように構成される。プロセッサ110Aまたは110Bは、メモリ112Aまたは112Bに格納された、定義されたネイティブ命令セットのコードから選択された対応する基本命令を受信することに応答して、定義された基本操作セットを実行するように構成される。任意選択で、メモリ112Aまたは112Bは、光学データを解析して被検者の顔に関連するデータを選択するためのネイティブ命令セットから選択された第一セットのマシンコードと、顔の皮膚から光学データを検出するためのネイティブ命令セットから選択された第二セットのマシンコードと、経過期間に達するまで光学データを収集して、次に経過期間に収集された光学データから時系列を計算することにより、時系列を光学データから決定するためのネイティブ命令セットから選択された第三セットのマシンコードと、時系列から生理学的信号を計算するためのネイティブ命令セットから選択された第四セットのマシンコードであって、少なくとも1つの生理学的信号は血圧を含む、第四セットのマシンコードと、少なくとも1つの生理学的信号から血中アルコールレベルを決定するためのネイティブ命令セットから選択された第五セットのマシンコードとを格納する。
任意選択で、メモリ112Aまたは112Bは、複数の顔の境界を決定することを含む顔の皮膚から光学データを検出するためのネイティブ命令セットから選択された第六セットのマシンコードと、最も確率の高い顔の境界を選択するためのネイティブ命令セットから選択された第七セットのマシンコードと、顔からビデオデータにヒストグラム解析を適用するためのネイティブ命令セットから選択された第八セットのマシンコードとをさらに含む。
任意選択で、メモリ112Aまたは112Bは、マルチパラメータ畳み込みニューラルネット(CNN)をビデオデータに適用して顔の境界を決定するためのネイティブ命令セットから選択された第九セットのマシンコードをさらに含む。
任意選択で、メモリ112Aまたは112Bは、複数の顔または指先の境界を決定するためのネイティブ命令セットから選択された第十セットのマシンコードと、最も確率の高い顔または指先の境界を選択するためのネイティブ命令セットから選択された第十一セットのマシンコードと、顔または指先からのビデオデータにヒストグラム解析を適用するためのネイティブ命令セットから選択された第十二セットのマシンコードとをさらに含む。
任意選択で、メモリ112Aまたは112Bは、マルチパラメータ畳み込みニューラルネット(CNN)をビデオデータに適用して顔または指先の境界を決定するためのネイティブ命令セットから選択された第十三セットのマシンコードをさらに含む。任意選択で、プロセッサ110Aまたは110Bは、それぞれメモリ112Aまたは112Bに格納された命令に従って、顔及び指先の画像から解析されたデータを統合して、プロセッサ110Aまたは110Bが実行する命令に従って生理学的測定値を決定する。
さらに、ユーザコンピュータデバイス102は、信号解析の結果、発行された1つまたは複数のコマンドの結果などを表示するためのユーザ表示装置108を特徴としてもよい。
図1Bは、上記の機能がユーザコンピュータデバイス102によって実行されるシステム150を示す。図1Aか1Bかいずれについて、ユーザコンピュータデバイス102は携帯電話を含むことができる。図1Bでは、前述の信号解析エンジンは、信号解析エンジン152としてユーザコンピュータデバイス102によってここでは操作される。信号解析エンジン152は、図1Aでのシグナルアナライザエンジンについて説明されたものと同一または同様の機能を有することができる。図1Bでは、ユーザコンピュータデバイス102は、インターネット(図示せず)などのコンピュータネットワークに接続されることができ、他のコンピュータデバイスと通信することもできる。少なくともいくつかの実施形態では、機能のいくつかはユーザコンピュータデバイス102によって実行されるが、他の機能は例えばサーバ(図1Bに図示せず、図1Aを参照)などの別のコンピュータデバイスによって実行される。
図2は、信号分析を実行するための非限定的で例示的な方法を示す。プロセス200は、ブロック202では、データを取得するプロセスを開始することによって、例えば、ビデオカメラ204を起動することによって始まる。次いで、任意選択で206では、顔認識を実行し、最初にユーザの顔の位置を特定する。これは、例えば、深層学習顔検出モジュール208によって、また追跡プロセス210によって実行されてもよい。信号解析の最も精確な結果を得るためには、ビデオデータがユーザの顔のものであることが好ましいため、ユーザの顔の位置を特定することが重要である。追跡プロセス210は、連続特徴点マッチングメカニズムに基づいている。これらの特徴点は、先に検出された顔を新しいフレームに表す。特徴点は、フレーム内の位置に従って、CNN(畳み込みニューラルネットワーク)などの画像認識プロセスの出力から決定される。フレーム内に顔が1つだけ現れる場合、追跡プロセス210は、フレーム内の顔認識に単純化されることができる。
非限定的な例として、任意選択で、マルチタスク畳み込みネットワークアルゴリズムが顔検出に適用され、リアルタイム条件下で最先端の精確さが達成される。これは、Liらによる刊行物(Haoxiang Li、Zhe Lin、Xiaohui Shen、Jonathan Brandt、及びGang HuaによるThe IEEE Conference on Computer Vision and Pattern Recognition(CVPR)、2015年6月の「A convolutional neural network cascade for face detection」)に紹介されたネットワークカスケードに基づいている。
次に212では、ユーザの顔の皮膚はビデオデータ内に位置している。好ましくは、皮膚の選択のために、ヒストグラムベースのアルゴリズムを使用する。前述の顔検出アルゴリズムに従って決定されるように、顔のみを含むビデオフレームの一部にこのプロシージャを適用すると、チャネル、赤、緑、及び青(RGB)ごとの平均値を好ましくは使用して、フレームデータを構築する。結果として生成されたビデオフレームに上記のプロシージャを連続して使用すると、RGBデータの時系列が取得される。そのRGB値を有する各フレームは、これらの時系列の要素を表す。各要素は、第一出現からの経過時間に従って決定されるタイムスタンプを有する。収集された要素は、L algo要素を有するスケーリングされたバッファ内にあると記述され得る。フレームは、十分な要素が収集されるまで収集されることが好ましい。要素数の十分性は、総経過時間に応じて決定されることが好ましい。214のrPPG解析は、総経過時間が脈拍数推定に使用される平均期間に必要な時間長に達するときに開始される。収集されたデータ要素は補間される場合がある。補間に続いて、より適切な三次元信号(RGB)を構築するために前処理メカニズムが適用されることが好ましい。
PPG信号は、214では、三次元信号から、特異的にはRGBデータの要素から作成される。例えば、脈拍数は、以下でより詳細に説明されるように、単一の計算から、または複数の相互相関計算から決定されることができる。次いで、これは、216では正規化されてもよく、フィルタリングされてもよく、218ではこれを使用して、PSO、ECG、及び呼吸を再構築してもよい。220では、基本周波数が見いだされ、222では、心拍数、PSO、及び呼吸数などの統計値が作成される。
次に224では、222からの統計値のうちの1つ以上から血中アルコールレベルが決定される。好ましくは、それらのような統計値の統合が使用される。
図3Aは、ユーザがアプリを使用して生物学的統計値を取得することを可能にするための非限定的で例示的な方法を示す。方法300では、302でユーザはアプリに登録する。次に、例えば304ではユーザコンピュータデバイスに取り付けられた、またはそれによって形成された、ビデオカメラで画像が取得される。ビデオカメラは、本明細書に記載のRGBカメラであることが好ましい。
顔は画像306内に位置している。これは、ユーザコンピュータデバイス、サーバ、または任意選択でその両方で実行されることができる。さらに、このプロセスは、マルチタスク畳み込みニューラルネットに関して、前述のように実行されることができる。次に、ヒストグラムをRGB信号データに適用することにより、皮膚の検出を実行する。光パルス検出及びHRV決定のために、皮膚から反射された光に関連するビデオデータのみが解析されることが好ましい。
信号の時系列は、例えば前述のように308で決定される。可変フレーム取得レートを考慮して、時系列データは、固定された所与のフレームレートに対して補間されることが好ましい。補間プロシージャを実行する前に、補間を実行することができるためには、以下の条件を解析することが好ましい。最初に、好ましくはフレーム数を解析して、補間及び前処理の後、rPPG解析に十分なフレームがあることを検証する。
次に、1秒あたりのフレーム数を考慮して、窓内で測定された1秒あたりのフレーム数が最小閾値を上回ることを検証する。その後、フレーム間の時間間隙を、それがある場合、解析して、何らかの外部で設定された閾値(例えば、0.5秒であってもよい)を下回ることを確保する。
上記の条件のいずれかが満たされない場合、プロシージャは、好ましくは、全データリセットで終了し、最後の有効なフレームから再開して、例えば上記のように304に戻る。
次に、ビデオ信号は、補間に続いて、310では前処理されることが好ましい。前処理メカニズムを適用して、より適切な三次元信号(RGB)を構築する。前処理は、好ましくは、各チャネルをトータルパワーに正規化することと、チャネル値をその平均値(ローパスフィルタによって推定されたもの)でスケーリングして、1を減算することと、次に、このデータを、ButterworthバンドパスIIRフィルタを通すこととを含む。
312では、統計情報を抽出する。次いで、314では、心拍を再構築する。316では呼吸信号を決定し、318では脈拍数を測定する。この後、320では血液酸化を測定する。次いで、322では血圧を決定する。血中アルコールレベルは、少なくとも血圧から、324では決定されるが、好ましくは、314の心拍、316の呼吸信号、及び318の脈拍数のうちの1つ以上からも決定される。
図3Bは、前述のように、例えばモバイルデバイスの背面カメラからの、ユーザの指先のビデオデータを解析する同様の非限定的で例示的な方法を示す。このプロセスは、例えば、ユーザの顔について、正面カメラから十分なビデオデータをキャプチャすることができない場合に使用されることができる。方法340では、方法は、342でユーザの指先をカメラの上または近くに置くことによって開始する。カメラの近くにある場合、指先はカメラに可視である必要がある。この配置は、例えばモバイルデバイスでは、ユーザにモバイルデバイスの背面カメラの上に指先を置かせることによって達成され得る。カメラは、指先の配置に関して既知の幾何学的位置に既にあるため、精確なビデオデータを収集するという点で、指先の正しい配置が奨励される。任意選択で、モバイルデバイスのフラッシュを長時間のモード(「トーチ」または「フラッシュライト」モード)で有効にして、十分な光を与えることができる。指先の精確なビデオデータを取得するのに十分な光がカメラによって検出されない場合、フラッシュの有効化が自動的に実行される場合がある。
344では、指、好ましくは指先の画像がカメラで取得される。次に346では、指、好ましくは指先、は画像内に位置している。このプロセスは、画像内の顔の位置に関して前述されるように実行されることができる。ただし、ニューラルネットは、使用される場合、指、そして好ましくは指先の位置を特定するように特異的にトレーニングされる必要がある。光学データからの手の追跡は当技術分野で知られており、修正された手の追跡のアルゴリズムを使用して、一連の画像内の指先を追跡することができる。
348では、画像の指部分、そして好ましくは指先部分内の皮膚が見いだされる。その上、このプロセスは、一般に、皮膚の位置について上記に説明されるように、任意選択で指または指先の皮膚の調整によって実行されることができる。これらの信号の時系列は、例えば前述のように350で決定されるが、背面カメラの使用及び/または指先皮膚のカメラの上への直接接触のいずれかの特性に対して調整されることが好ましい。可変フレーム取得レートを考慮して、時系列データは、固定された所与のフレームレートに対して補間されることが好ましい。補間プロシージャを実行する前に、補間を実行することができるためには、以下の条件を解析することが好ましい。最初に、好ましくはフレーム数を解析して、補間及び前処理の後、rPPG解析に十分なフレームがあることを検証する。
次に、1秒あたりのフレーム数を考慮して、窓内で測定された1秒あたりのフレーム数が最小閾値を上回ることを検証する。その後、フレーム間の時間間隙を、それがある場合、解析して、何らかの外部で設定された閾値(例えば、0.5秒であってもよい)を下回ることを確保する。
上記の条件のいずれかが満たされない場合、プロシージャは、好ましくは、全データリセットで終了し、最後の有効なフレームから再開して、例えば上記のように344に戻る。
次に、ビデオ信号は、補間に続いて、352では前処理されることが好ましい。前処理メカニズムを適用して、より適切な三次元信号(RGB)を構築する。前処理は、好ましくは、各チャネルをトータルパワーに正規化することと、チャネル値をその平均値(ローパスフィルタによって推定されたもの)でスケーリングして、1を減算することと、次に、このデータを、ButterworthバンドパスIIRフィルタを通すこととを含む。その上、このプロセスは、指先データに対して調整されることが好ましい。354では、統計情報が抽出され、その後、プロセスは、血中アルコールレベルを決定するために、例えば上記の図3Aに関して説明されたように、314から続けることができる。
図4は、正確な血中アルコールレベルを決定するための詳細な生物学的統計値を作成するための非限定的で例示的なプロセスを示す。プロセス400では、ユーザビデオデータは、カメラ404を備えたユーザコンピュータデバイス402によって取得される。次に、顔検出モデル406を使用して顔を見いだす。例えば、複数の異なる顔の境界についての顔ビデオデータが検出された後、最高スコアの顔の境界以外のすべてが破棄されることが好ましい。そのバウンディングボックスが入力画像からクロップされることで、ユーザの顔に関連するデータが他のビデオデータから分けられることが好ましい。皮膚ピクセルは、好ましくは、前述のように、ソフト閾値メカニズムを備えたヒストグラムベースのクラス分類器を使用して収集される。残りのピクセルから、平均値は、チャネルごとに計算され、410ではrPPGアルゴリズムに渡される。このプロセスは皮膚の色を決定することが可能であるため、光データに対するパルスの影響を下にある皮膚の色の影響から分離することができる。プロセスは、最高スコアの顔のバウンディングボックスに従って、408では顔を追跡する。
次に410では、PPG信号を作成する。前処理に続いて、スケーリングされたバッファのL algo要素を使用して、rPPGトレース信号を計算する。このプロシージャは次のように説明される。生の補間データ(CHROM様及び射影行列(PM))から構築された2つのrPPGの異なる解析信号間のマッチングフィルタを使用して、平均脈拍数を推定する。次に、相互相関を計算して、平均瞬時脈拍数を検索する。周波数推定は、追加のロックインメカニズムを使用した非線形最小二乗法(NLS)のスペクトル分解に基づいている。次に、rPPG信号は、適応的ウィナーフィルタを適用し、瞬時脈拍数周波数(νpr)に依存する初期推察信号sin(2πνprn)を用いて、PM法から導出される。さらに、周波数領域内に追加のフィルタを使用して、信号を再構築させる。最後に、指数フィルタを、以下でより詳細に説明されるプロシージャによって取得された瞬時RR値に適用する。
次に、412での信号プロセッサは、PPG信号に基づいて、いくつかの異なる機能を実行することが好ましい。これらは、好ましくは、414ではECG様信号を再構築することと、416ではHRV(心拍変動)パラメータを計算することと、次いで418ではストレス指数を計算することを含む。
HRVは、心拍間の時間間隔における変動の生理現象である。これは、拍動ごとの間隔における変動によって測定される。使用されるその他の用語には、「サイクル長変動」、「RR(NN)変動」(RはECG波のQRS複合のピークに対応する点であり、RRは連続するR間の間隔である)、及び「心臓周期変動」が含まれる。
以下でより詳細に説明されるように、時間領域、周波数領域、及び非線形測定値を使用して、24h、セミ(約15min)、短期(ST、約5min)または短時間、及び超短期(UST、<5min)のHRVを計算することが可能である。
さらに、420では即時に血圧を作成することができる。任意選択で、422では血圧統計値が決定されるが、このプロセスは実行されなくてもよい。任意選択で、424でのメタデータは、この計算に含まれる。メタデータは、例えば、身長、体重、性別またはその他の生理学的もしくは人口統計学的データに関連する場合がある。426では、PSO信号Oが再構築され、続いて428では、PSO統計値が計算される。次いで、428での統計値により、420及び422に関して前述されたように、血圧解析がさらに洗練され得る。
任意選択で、呼吸信号は、430では前述の信号プロセッサ412によって再構築され、続いて432では呼吸変動が計算される。434では、呼吸数及び呼吸量を好ましくは計算する。
432での呼吸変動を好ましくは使用して、420での血圧決定をさらに洗練する。
420での即時の血圧計算から、任意選択で436では血圧モデルが計算される。血圧モデルの計算は、438では、先に決定された血圧、呼吸数及び呼吸量、PSO、または他の計算などの履歴データによって影響されてもよく、または調整されてもよい。
次いで、血中アルコールレベルは、少なくとも420での血圧測定値から440では決定されることが好ましく、そのうえ414でのECG様信号、428でのPSO統計値、及び432での呼吸変動の再構築から洗練によって決定されることが好ましい。好ましくは、424からのメタデータもこの洗練された計算に含まれる。任意選択で、血中アルコールレベルを計算するために、即時の血圧及びHRVを単独で使用する、または代替に、これらの他の測定値のうちの1つもしくは複数と統合して使用する。
図5A~5Eは、ビデオデータを取得し、その後、好ましくは補間、前処理、及びrPPG信号決定を含む初期処理を実行するための非限定的で例示的な方法を示し、そのような初期処理からのいくつかの結果を伴う。ここで図5Aを参照すると、プロセス500では、例えば前述のように、502でビデオデータを取得する。
次に、504では、例えば前述のように、カメラチャネル入力バッファデータを取得する。次に好ましくは、506では、一定かつ所定の取得レートを決定する。例えば、一定かつ所定の取得レートは、Δt=1/fps~=33msに設定され得る。508では、各チャネルは、好ましくは、一定かつ所定の取得レートで時間バッファに別々に補間される。このステップにより、入力時間のジッタが除去される。補間プロシージャによってエイリアシング(及び/または周波数折り畳み)が追加されるが、カメラで画像が撮影されると、エイリアシング(及び/または周波数折り畳み)が既に発生している。一定のサンプルレートに補間することの重要性は、取得時間による心拍数の準定常という基本的な前提を満たすことである。補間に使用される方法は、例えば、キュービックHermite補間に基づいていることができる。
図5B~5Dは、スケーリングプロシージャの様々な段階に関連するデータを示す。色分けは、例えば赤は赤のチャネルに対応するなど、各チャネルの色に対応する。図5Bは、補間後のカメラチャネルデータを示す。
図5Aに戻り参照すると、510~514では、カラーチャネル(vec(c))のそれぞれを補間した後、脈動変調を強化するために前処理が実行される。前処理は、好ましくは、3つのステップを組み込む。510では、トータルパワーに対する各チャネルの正規化が実行されることにより、全体的な外部光変調によるノイズが低減する。
パワーの正規化は次の式で与えられる。
Figure 2023545426000002
ここで、-→cpはパワーの正規化されたカメラチャネルベクトルであり、-→cは説明されたように補間された入力ベクトルである。簡潔にするために、フレームインデックスは両側から除去された。
次に、512では、スケーリングが実行される。例えば、そのようなスケーリングは、平均値iによって実行され得、1を減算され得ることにより、静止した光源及びその輝度レベルの影響が軽減される。平均値はセグメント長(Lalgo)によって設定されるが、このタイプの解は低周波成分を強調することがある。あるいは、平均値でスケーリングする代わりに、ローパスFIRフィルタでスケーリングすることも可能である。
ローパスフィルタを使用すると固有のレイテンシが追加され、M/2フレームでの補償が必要になる。スケーリングされた信号は次の式で与えられる。
Figure 2023545426000003
ここで、cs(n)はフレームnの単一チャネルスケーリング値であり、bはローパスFIR係数である。簡潔にするために、チャネルの色の表記は上記の式から除去された。
514では、スケーリングされたデータがButterworthバンドパスIIRフィルタを通過する。このフィルタは次のように定義される。
Figure 2023545426000004
スケーリングプロシージャの出力は、-→sである。新しいフレームのそれぞれに、カメラチャネルごとのレイテンシを有する新しいフレームが追加される。簡潔にするためにフレームインデックスnが使用されるが、実際には(ローパスフィルタのため)フレームn-M/2を参照することに留意されたい。
図5Cは、カメラ入力のパワー正規化、バンドパスフィルタ前のローパススケーリングデータのプロットを示す。図5Dは、バンドパスフィルタ前のパワースケーリングデータのプロットを示す。図5Eは、2つの正規化プロシージャを使用したすべての被検者の平均絶対偏差の比較を示し、フィルタ応答は図5E-1として与えられ、重み応答(平均値による平均)は図5E-2として与えられる。図5E-1は、前処理フィルタの強さ及び周波数応答を示す。青い線はM=33タップのローパスFIRフィルタを表し、赤い線は三次IIR Butterworthフィルタを示す。図5E-2は、rPPGトレースを平均するために使用された64長のハン窓の重み応答を示す。
516では、CHROMアルゴリズムを適用して脈拍数を決定する。このアルゴリズムは、次のように定義される2つの平面上に信号を射影することによって適用される。
Figure 2023545426000005
次に、rPPG信号は、次のように2つの間の差として取られる。
Figure 2023545426000006
ここで、σ(...)は信号の標準偏差である。2つの射影された信号がそれらの最大ゆらぎによって正規化されたことに留意されたい。CHROM法を導出して、鏡面反射光を最小にする。
次に518では、射影行列を適用して脈拍数を決定する。射影行列(PM)方式の場合、信号は脈動方向に射影される。3つの要素は直交していないにもかかわらず、驚くべきことに、この射影がCHROMよりも優れた信号対ノイズで非常に安定した解を与えることがわかった。PM方式を導出するために、RGB信号の強度要素、鏡面反射要素、及び脈動要素の行列要素が次のように決定される。
Figure 2023545426000007
上記の行列要素は、例えば、de Haan及びvan Leestによる論文から決定されることができる(G de Haan and A van Leest.「Improved motion robustness of remote-ppg by using the blood volume pulse signature」.Physiological Measurement,35(9):1913,2014)。この論文では、動脈血からの信号(したがって脈拍からの信号)は、RGB信号から決定され、血液量スペクトルを決定するために使用されることができる。
この例では、強度は1に正規化される。脈動方向への射影は、上記の行列を逆にし、脈動に対応するベクトルを選択することによって求められる。これにより次の式が与えられる。
Figure 2023545426000008
520では、rPPGを決定するために、2つの脈拍数の結果が相互相関される。rPPGの決定は、図6Aに関してより詳細に説明される。
図6Aは、脈拍数推定及びrPPGの決定のための非限定的で例示的な方法に関し、図6B~6Cは、この方法のいくつかの結果に関する。この方法は、図5Aに関して上述されたCHROM方法及びPM rPPG方法の出力を使用して、脈拍数周波数vprを求める。この方法は、過去のLalgoフレームの平均脈拍数を検索することを含む。周波数は、ロックインメカニズムを適用した非線形最小二乗法のスペクトル分解を使用して、マッチングフィルタ(CHROMとPMとの間)の出力から抽出される。
ここで図6Aを参照すると、方法600では、プロセスは、602でCHROM出力とPM出力との間のマッチングフィルタを計算することによって開始する。マッチングフィルタは、CHROM方法の出力とPM方法の出力との間の相関性を計算することによって簡単に行われる。次に604では、非線形最小二乗法(NLS)の周波数推定のコスト関数は、その高調波を有する周期関数に基づいて計算される。
Figure 2023545426000009
上記の式では、xはモデル出力であり、al及びblは周波数成分の重みであり、lはその高調波の次数であり、Lはモデル内の次数であり、νは周波数であり、(n)は加算性ノイズ成分である。次いで606では、対数尤度スペクトルは、O(N log N)+O(NL)の計算複雑性では、Nielsen et.al(Jesper Kjaer Nielsen、Tobias Lindstrom Jensen、Jesper Rindom Jensen、Mads Gresboll Christensen、及びSoren Holdt Jensen.「Fast fundamental frequency estimation:Making a statistically efficient estimator computationally efficient」.Signal Processing,135:188-197,2017)で与えられたアルゴリズムを適応させることにより、計算される。
Nielsen et.Aでは、この周波数は全高調波次数の中で最大のピーク周波数として設定される。この方法自体は、一般的な方法であり、この場合には帯域周波数パラメータを変更することで適応することができる。モデルの固有の特徴は、コスト関数スペクトルでは高次であるほど低次よりも極大ピークが多くなることである。この特徴は、ロックインプロシージャに使用される。
608では、ロックインメカニズムは、入力として標的脈拍数周波数v標的を取得する。次いで610では、方法は、次数l=Lのコスト関数スペクトルのすべての極大ピークの振幅(Ap)及び周波数(νp)を求める。極大値ごとに、以下の関数が推定される。
Figure 2023545426000010
この関数は、信号強度と標的周波数からの距離との間のバランスを取る。610では、出力脈拍数は、上記の関数f(Ap,νp,ν標的)を最大にする局所的ピークνpとして設定される。
図6B及び6Cは、実行例の再構築されたrPPGトレース(青い線)の一例を示す。赤い丸はピークR時間を示す。図6Bは、実行開始時間t=0sから時間t=50sまでのトレースを示す。図6Cは、トレースのズームを示し、ミリ秒単位のRR間隔時間も示す。
次に612~614では、平均脈拍数周波数(νpr)付近の2つの動的フィルタ、すなわち、Wienerフィルタ及びFFTガウスフィルタを用いて、瞬時rPPG信号をフィルタリングする。612では、Wienerフィルタを適用する。所望の標的はsin(2πνprn)であり、ここで、nは指数(時間を表す)である。614では、FFTガウスフィルタはνpr付近の信号をクリーニングすることを目的としているため、次の形式のガウス形状になる。
Figure 2023545426000011
この形状には、その幅としてσgを使用する。その名前が示唆するように、フィルタリングは、信号をその周波数領域(FFT)に変換し、それをg(ν)で乗算し、変換して時間領域に戻し、実部成分を取得することによって行われる。
上記のプロシージャの出力は、νprの平均脈拍数で長さLalgoのフィルタリングされたrPPGトレース(pm)である。出力は、観測されたビデオフレームごとに取得され、重複する時系列のパルスを構築する。これらの時系列を平均して、HRV処理に適した平均最終rPPGトレースを生成する必要がある。これは、Wangらによる論文から以下の式(nは時間を表す)を使用して、フィルタリングされたrPPG信号(pm)の重複及び追加を用いて行われる(W.Wang、A.C. den Brinker、S.Stuijk、及びG.de Haan.「Algorithmic principles of remote ppg」.IEEE Transactions on Biomedical Engineering,64(7):1479-1491,2017年7月):

t(n-Lalgo+l)=t(n-Lalgo+l)+w(l)pm(l)(13)

lは0からLalgoの間のランニングインデックスであり、ここでは、w(i)は出力トレースのコンフィグレーション及びレイテンシを設定する重み関数である。結果として得られるピーク(収縮期ピークを表す最大値)を取得すると、いわゆるRR間隔を時間での距離として構築することが可能である。一連のRR間隔を使用すると、HRVパラメータを時間領域と周波数領域との両方で統計的測定値として取得することが可能である。
図7及び8は、様々なパラメータの統計的尺度を作成する方法に関するため、例えば呼吸数(RR)を計算するなど、上記の情報を提供するために使用されることができる。これらの表は、HRVパラメータの標準セットに関し、様々な期間に集約されたRR間隔から直接計算される。これらのパラメータのほとんどは、時間でのHR変動の統計的提示を参照する。
図7は、HRVまたは心拍変動時間領域解析を実行するための非限定的で例示的な方法を示す。方法700に示されるように、702では処理されたビデオ信号を取得する。次いで703では、処理されたビデオ信号を計算して心拍数(HR)を決定する。
704では、SDRRを計算する。706では、PRR50を計算する。708では、RMSSDを計算する。710では、三角形を計算する。712では、TINNを計算する。714では、HRV心拍変動時間領域を計算する。
716では、ステップ702~712を繰り返すことが好ましい。718では、SDARRを計算する。720では、SDRRIを計算する。任意選択で722では、ステップ714~720を繰り返す。次に任意選択で724では、ステップ702~704を繰り返す。最後に任意選択で726では、ステップ708~714を繰り返す。
HRV時間領域の尺度の頭字語の意味は次のとおりである。
Figure 2023545426000012
Figure 2023545426000013
拍動間隔、連続した心拍間の時間間隔;NN間隔、アーティファクトが除去された拍動間隔;RR間隔、すべての連続した心拍間の拍動間隔。
以下のパラメータ、すなわちSDRR、RMSSD、三角形(HRV triangular index)、及びTINNは、F.Shaffer及びJ.P.Ginsberg(「An Overview of Heart Rate Variability Metrics and Norms」,Front Public Health.2017;5:258)で提供された情報に従って計算されることができ、これは、本明細書では、完全に記載されているかのうように、参照により本明細書によって援用されている。
次のパラメータ、すなわちHRV時間領域は、Umetani et al(「Twenty-four hour time domain heart rate variability and heart rate:relations to age and gender over nine decades」,J Am Coll Cardiol.1998 Mar 1;31(3):593-601)で提供された情報に従って計算されることができる。
次のパラメータ、すなわちSDRRI(SDRRインデックス)、SDARR及びpRR50は、O.Murray(「The Correlation Between Heart Rate Variability and Diet」,Proceedings of The National Conference On Undergraduate Research(NCUR)2016,North Carolina)で提供された情報に従って計算されることができる。
図8は、心拍変動またはHRV周波数領域を計算するための非限定的で例示的な方法を示す。方法800では、802で処理されたビデオ信号を前述のように取得する。803では、心拍数を前述のように計算する。804では、ULFを計算する。806では、VLFを計算する。808では、LFピークを計算する。
810では、LFパワーを計算する。812では、HFピークを計算する。814では、HFパワーを計算する。816では、LFとHFとの比率を計算する。814では、HRVまたは心拍変動周波数を計算する。任意選択で820では、ステップ802~818を第一間隔で繰り返す。次に任意選択で822では、ステップ802~808を第二間隔で繰り返す。
HRV周波数領域の尺度の頭字語の意味は、以下でより詳細に説明される。
Figure 2023545426000014
Figure 2023545426000015
Figure 2023545426000016
加えて、または代わりに、HRVを計算するために様々な非線形尺度を決定することができる。
Figure 2023545426000017
Figure 2023545426000018
次のパラメータ、ULF、VLF、LFピーク、LFパワー、HFピーク、HFパワー、LF/HF及びHRV周波数は、F.Shaffer及びJ.P.Ginsbergによる前述の論文で提供された情報に従って計算されることができる。
図9は、血中アルコールレベルによる、車両の操作を制御するための非限定的で例示的な方法を示す。方法900に示されるように、902では、ユーザはアプリにログインする、または登録する。ユーザが以前にアプリを使用したことがない場合、ユーザは提供されたメタデータなどに登録する。それ以外の場合、ユーザはログインする。そのようなステップは、ユーザのメタデータを含む場合に計算が最も正確になるため好ましい。さらに、好ましくは、ユーザの血中アルコール測定値の記録が保持されるが、これは、測定値が特定のユーザに関連付けられる場合に実行され得る。
904では、ユーザのメタデータを提供する。好ましくは、そのようなメタデータを格納する。前述のように、そのようなメタデータは、好ましくは、体重、身長、生物学上の性別、年齢、及び任意選択で、身体の脂肪と筋肉との割合などの他のパラメータ、そのうえアルコール代謝に影響する可能性のある他の条件を含む。任意選択で、ユーザは体重などのメタデータを更新することを選択することができる。
906では、顔画像データは、前述のように、好ましくはスマートフォンまたは携帯電話からユーザの顔を撮影したビデオデータからキャプチャされる。908では、生理学的パラメータは、前述のように測定され、少なくとも血圧を含むが、任意選択で他のパラメータ(複数可)も含む。910では、これらの生理学的パラメータは、任意選択で1つまたは複数のヒューリスティックの適用によって、メタデータと統合される。912では、910での統合から、前述のように血中アルコールレベルを決定する。
次いで914では、この決定された血中アルコールレベルを基準と比較する。例えば、車両の操作の場合、米国の様々な州及び国際的には多くの国では、運転者が車両を運転するために許容される血中アルコールの最大レベルに関する法律がある。これらの規則の一部は、公共交通機関(バスまたは列車)、ハイヤーの車両(タクシーまたはリムジンなど)、社会的弱者(子供など)のための交通手段、トラック、またはその他の重量物輸送機関など、車両の種類によって異なる場合がある。これらの特殊な種類の車両は、運転のためにはるかに低い血中アルコールレベルを必要とする場合がある。
一部の法律には、様々な犯罪に該当する複数のレベルがある。例えば、コロラド州では、飲酒運転の制限は0.08%の血中アルコールであるのに対し、酒気帯び運転の制限(軽度ではあるが依然として犯罪行為)は0.05%である。特定の年齢未満の運転者、特定の州では21歳未満の運転者に対して、0.01%など、いずれかの血中アルコールレベルに応じて罰が与えられることがある。Arizonaのレベルは、0.08%を上回り、極度のDUI(酒気帯び運転)の場合には0.15%、超極度のDUIの場合には0.20%である。
タクシーと、ハイヤー、バス、列車、トラックなどのその他の車両と含む営業車の場合、車両の所有者及び/または運転手を雇っている会社は、例えば0.01%などのはるかに低い血中アルコールレベルを要求する場合がある。血中アルコールの基準が低いほど厳格であるため、法律で認められる。車両の所有者及び/または運転手を雇っている会社は、そのようなレベルの低下を要求する場合がある。
運転者が基準を満たしていない場合、916では運転者は車両の操作を許可されない場合がある。あるいは、例えば自家用車では、運転者は、血中アルコールレベルが一定量を上回っている酒気帯び運転の場合、保険の対象外となることがある。
運転者は、車両の操作中に定期的にこのプロセスを受ける必要があり得る。また、例えば、運転者がエンジンをオフにした、及び/または所定の期間アイドリングまたはパーキングモードであったため、車両の操作が停止されるたびに、運転者はこのプロセスを受ける必要があり得る。
図10は、血中アルコールレベルによる、重機の操作を制御するための非限定的で例示的な方法を示す。重機は、例えばフォークリフトなどの移動力のある重機、または代替に、ボーリング装置またはクレーンなど、操作中に独立して位置を変えない重機を含むことができる。
プロセス1000では、図9のステップ902~912について前述されたように、ステップ1002~1012を決定する。1014では、ユーザは、重機に関するどのアクション(複数可)を選択するかを指示する。例えば、重機に関する様々なアクションには、様々な厳格さの血中アルコールレベル、すなわち、0%の低さでさえも(または測定誤差が許す限り0%に近い値)要求される場合がある。1016では、血中アルコールレベルは、ユーザが選択したアクション(複数可)の基準と比較される。1018では、血中アルコールレベルと基準との比較に従って、アクション(複数可)が許可されるまたはブロックされる。
ユーザは、定期的に、または例えば異なる機械の操作の間に、またはユーザが機械の操作を停止してから開始する場合に、上記のプロセスを再度受ける必要があることがある。
図11は、血中アルコールレベルによる、状況に応じた制御のための非限定的で例示的な方法を示す。この場合の状況に応じた制御は、発電所の操作への参加など、ユーザが操作する進行中の環境またはプロセスに関連する可能性がある。この状況では、特定のタイプの機械または車両を操作することはできないが、ユーザは血中アルコールレベルに関する厳格な要件を満たす必要がある場合がある。
プロセス1100では、図9のステップ902~912について前述されたように、ステップ1102~1112を決定する。1114では、ユーザがユーザの役割を示すか、ユーザがその状況で特定の役割があると先に識別されているかいずれかである。例えば、特定の環境またはプロセスでの様々な役割には、血中アルコールレベルの様々な厳格さ、すなわち、0%の低さでさえも(または測定誤差が許す限り0%に近い値)が要求される場合がある。1116では、血中アルコールレベルは、ユーザが選択したアクション(複数可)の基準と比較される。1118では、血中アルコールレベルと基準との比較に従って、ユーザはその役割を果たすことを許可される、またはそうすることがブロックされる。
ユーザは、定期的に、または異なる状況に応じた条件下で、上記のプロセスを再度受ける必要がある場合がある。
明確にするために別個の実施形態の文脈において説明される本発明のある特徴を、単一の実施形態において組み合わせで提供することもできることが理解される。逆に、簡潔にするために単一の実施形態の文脈において説明される本発明の様々な特徴を、別々に、または任意の好適な副組み合わせで提供することもできる。
本発明をその特定の実施形態と併せて説明してきたが、多くの代替、修正及び変形が当業者には明らかであろうということは明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲内に含まれる、そのようなすべての代替、修正及び変形を包含することが意図されている。この本明細書に記述される全ての刊行物、特許及び特許出願は、各個別の刊行物、特許または特許出願が、明確かつ個別に参照により本明細書に組み込まれることが示されているのと同程度に、本明細書に参照によりそれらの全体が本明細書に組み込まれる。さらに、本出願におけるいずれの参考文献の引用または特定も、そのような参考文献が本発明の先行技術として利用可能であるという承認として解釈されてはならない。

Claims (35)

  1. 被検者の血中アルコールレベルを決定するための方法であって、前記被検者の顔から光学データを取得することと、前記光学データを解析して前記被検者の前記顔に関連するデータを選択することと、前記顔の皮膚から光学データを検出することと、経過期間に達するまで前記光学データを収集して、次に前記経過期間に前記収集された光学データから時系列を計算することによって前記光学データから前記時系列を決定することと、前記時系列から少なくとも1つの生理学的信号を計算することであって、前記少なくとも1つの生理学的信号は血圧を含む、前記計算することと、前記血中アルコールレベルを前記少なくとも1つの生理学的信号から決定することと、を含む、前記方法。
  2. 前記光学データはビデオデータを含み、前記光学データを前記取得することは、前記被検者の前記皮膚のビデオデータを取得することを含む、請求項1に記載の方法。
  3. 前記光学データを取得することは、カメラからビデオデータを取得することをさらに含む、請求項2に記載の方法。
  4. 前記カメラは携帯電話のカメラを含む、請求項3に記載の方法。
  5. 前記光学データを取得することは、前記被検者の顔の前記皮膚のビデオデータを取得することをさらに含む、請求項2~4のいずれかに記載の方法。
  6. 前記光学データを前記取得することは、前記被検者の指の前記皮膚のビデオデータを取得することをさらに含む、請求項2~5のいずれかに記載の方法。
  7. 前記ビデオデータを取得することは、前記被検者の指先を前記携帯電話のカメラの上に置くことによって前記指先の前記皮膚のビデオデータを取得することを含む、請求項6に記載の方法。
  8. 前記携帯電話のカメラは、正面カメラ及び背面カメラを含み、前記被検者の前記顔の前記皮膚の前記ビデオデータは、前記指先が前記背面カメラの上に置かれるように、前記正面カメラで取得される、請求項7に記載の方法。
  9. 前記携帯電話のカメラの上の前記指先は、前記携帯電話のカメラに関連するフラッシュを作動させて光を与えることをさらに含む、請求項7または8に記載の方法。
  10. 前記光学データを前記顔の前記皮膚から前記検出することは、複数の顔または指先の境界を決定することと、最も確率の高い前記顔または指先の境界を選択することと、前記顔または指先からのビデオデータにヒストグラム解析を適用することとを含む、先行請求項のいずれかに記載の方法。
  11. 前記複数の顔または指先の境界を決定することは、マルチパラメータ畳み込みニューラルネット(CNN)を前記ビデオデータに適用して前記顔または指先の境界を前記決定することを含む、請求項10に記載の方法。
  12. 前記生理学的信号は、心拍数、呼吸量、呼吸変動、心拍変動(HRV)、ECG様信号、血圧及びpSO2(酸素飽和度)からなる群から選択される、先行請求項のいずれかに記載の方法。
  13. 前記生理学的信号は血圧及びHRVを含む、請求項12に記載の方法。
  14. 前記血中アルコールレベルを前記決定することは、前記少なくとも1つの生理学的信号からの測定値とメタデータを統合することをさらに含み、前記メタデータは、前記被検者の体重、年齢、身長、生物学上の性別、体脂肪率及び身体筋肉率のうちの1つ以上を含む、先行請求項のいずれかに記載の方法。
  15. 前記被検者によって取られるアクションを決定することと、前記アクションに従って前記血中アルコールレベルを基準と比較することと、前記比較に従って前記被検者が前記アクションを取ることができるかどうかを決定することとをさらに含む、先行請求項のいずれかに記載の方法。
  16. 前記アクションは、車両の操作、重機の操作、及び状況に応じた役割を果たすことからなる群から選択される、請求項15に記載の方法。
  17. 被検者から生理学的信号を取得するためのシステムであって、前記被検者の顔から光学データを取得するためのカメラと、前記カメラから光学データを受信するためのユーザコンピュータデバイスと、を含み、前記ユーザコンピュータデバイスは、プロセッサ、及び複数の命令を格納するためのメモリを含み、前記プロセッサは、前記光学データを解析して前記被検者の前記顔に関連するデータを選択するための前記命令と、前記顔の皮膚から光学データを検出するための前記命令と、経過期間に達するまで前記光学データを収集して、次に前記経過期間に前記収集された光学データから時系列を計算することにより、前記時系列を前記光学データから決定するための前記命令と、前記時系列から前記生理学的信号を計算するための前記命令であって、前記少なくとも1つの生理学的信号は血圧を含む、前記命令と、前記少なくとも1つの生理学的信号から前記血中アルコールレベルを決定するための前記命令とを実行する、前記システム。
  18. 前記メモリは、定義されたネイティブ命令セットのコードを格納するように構成され、前記プロセッサは、前記メモリに格納された前記定義されたネイティブ命令セットのコードから選択された対応する基本命令を受信することに応答して、定義されたセットの基本操作を実行するように構成され、前記メモリは、前記光学データを解析して前記被検者の前記顔に関連するデータを選択するための前記ネイティブ命令セットから選択された第一セットのマシンコードと、前記顔の皮膚から光学データを検出するための前記ネイティブ命令セットから選択された第二セットのマシンコードと、経過期間に達するまで前記光学データを収集して、次に前記経過期間に前記収集された光学データから時系列を計算することにより、前記時系列を前記光学データから決定するための前記ネイティブ命令セットから選択された第三セットのマシンコードと、前記時系列から前記生理学的信号を計算するための前記ネイティブ命令セットから選択された第四セットのマシンコードであって、前記少なくとも1つの生理学的信号は血圧を含む、前記第四セットのマシンコードと、前記少なくとも1つの生理学的信号から前記血中アルコールレベルを決定するための前記ネイティブ命令セットから選択された第五セットのマシンコードとを格納する、請求項17に記載のシステム。
  19. 前記顔の前記皮膚から前記光学データを検出することは、複数の顔の境界を決定することと、最も確率の高い前記顔の境界を選択することと、ヒストグラム解析を前記顔からのビデオデータに適用することとを含み、そのため、前記メモリは、前記複数の顔の境界を決定することを含む前記顔の前記皮膚から前記光学データを検出するための前記ネイティブ命令セットから選択された第六セットのマシンコードと、前記最も確率の高い顔の境界を選択するための前記ネイティブ命令セットから選択された第七セットのマシンコードと、前記ヒストグラム解析を前記顔からのビデオデータに適用するための前記ネイティブ命令セットから選択された第八セットのマシンコードと、をさらに含む、請求項18に記載のシステム。
  20. 前記複数の顔の境界を決定することは、マルチパラメータ畳み込みニューラルネット(CNN)を前記ビデオデータに適用して前記顔の境界を決定することを含み、そのため、前記メモリは、前記マルチパラメータ畳み込みニューラルネット(CNN)を前記ビデオデータに適用して前記顔の境界を決定するための前記ネイティブ命令セットから選択された第九セットのマシンコードをさらに含む、請求項19に記載のシステム。
  21. 前記カメラは携帯電話のカメラを含み、前記光学データは前記携帯電話のカメラからビデオデータとして取得される、先行請求項のいずれかに記載のシステム。
  22. 前記コンピュータデバイスは移動体通信デバイスを含む、請求項21に記載のシステム。
  23. 前記携帯電話のカメラは、背面カメラを含み、前記ビデオデータを取得するために、前記被検者の指先は前記カメラの上に置かれる、請求項22に記載のシステム。
  24. 前記携帯電話のカメラに関連するフラッシュをさらに含み、前記フラッシュは前記光学データを取得するための光を与える、請求項22または23に記載のシステム。
  25. 前記メモリは、前記複数の顔または指先の境界を決定するための前記ネイティブ命令セットから選択された第十セットのマシンコードと、前記最も確率の高い顔または指先の境界を選択するための前記ネイティブ命令セットから選択された第十一セットのマシンコードと、前記顔または指先から前記ビデオデータに前記ヒストグラム解析を適用するための前記ネイティブ命令セットから選択された第十二セットのマシンコードとをさらに含む、請求項23または24に記載のシステム。
  26. 前記メモリは、前記マルチパラメータ畳み込みニューラルネット(CNN)を前記ビデオデータに適用して前記顔または指先の境界を決定するための前記ネイティブ命令セットから選択された第十三セットのマシンコードをさらに含む、請求項25に記載のシステム。
  27. 前記プロセッサによって実行された前記命令に従って、前記顔または指先の画像から解析されたデータを統合して前記生理学的測定値を決定することをさらに含む、請求項24~26のいずれかに記載のシステム。
  28. 前記生理学的測定値及び/または信号を表示するためのディスプレイをさらに含む、先行請求項のいずれかに記載のシステム。
  29. 前記ユーザコンピュータデバイスは、前記ディスプレイをさらに含む、請求項28に記載のシステム。
  30. 前記ユーザコンピュータデバイスは、前記生理学的測定値及び/または信号を伝送するための伝送器をさらに含む、先行請求項のいずれかに記載のシステム。
  31. 前記生理学的信号を決定することは、前記少なくとも1つの生理学的信号からの測定値とメタデータを統合することをさらに含み、前記メタデータは、前記被検者の体重、年齢、身長、生物学上の性別、体脂肪率及び身体筋肉率のうちの1つ以上を含む、先行請求項のいずれかに記載のシステム。
  32. 前記生理学的信号は、ストレス、血圧、呼吸量、及びpSO2(酸素飽和度)からなる群から選択される、先行請求項のいずれかに記載のシステム。
  33. 被検者から生理学的信号を取得するためのシステムであって、前記被検者の指から光学データを取得するための背面カメラと、前記カメラから光学データを受信するためのユーザコンピュータデバイスと、を含み、前記ユーザコンピュータデバイスは、プロセッサ、及び複数の命令を格納するためのメモリを含み、前記プロセッサは、前記光学データを解析して前記被検者の前記顔に関連するデータを選択するための前記命令と、前記指の皮膚から光学データを検出するための前記命令と、経過期間に達するまで前記光学データを収集して、次に前記経過期間に前記収集された光学データから時系列を計算することにより、前記時系列を前記光学データから決定するための前記命令と、前記時系列から前記生理学的信号を計算するための前記命令であって、前記少なくとも1つの生理学的信号は血圧を含む、前記命令と、前記少なくとも1つの生理学的信号から前記血中アルコールレベルを決定するための前記命令とを実行する、前記システム。
  34. 先行請求項のいずれかに記載の前記システムをさらに含む、請求項33に記載のシステム。
  35. 被検者から生理学的信号を取得するための方法であって、先行請求項のいずれかに記載の前記システムを操作して、前記被検者から前記生理学的信号を取得することであって、前記少なくとも1つの生理学的信号は血圧を含む、前記取得することと、前記少なくとも1つの生理学的信号から前記血中アルコールレベルを決定することとを含む、前記方法。
JP2023521555A 2020-10-09 2021-10-07 光学データによる血中アルコール測定値のためのシステム及び方法 Pending JP2023545426A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063090176P 2020-10-09 2020-10-09
US63/090,176 2020-10-09
PCT/IL2021/051203 WO2022074652A1 (en) 2020-10-09 2021-10-07 System and method for blood alcohol measurements from optical data

Publications (1)

Publication Number Publication Date
JP2023545426A true JP2023545426A (ja) 2023-10-30

Family

ID=81125733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023521555A Pending JP2023545426A (ja) 2020-10-09 2021-10-07 光学データによる血中アルコール測定値のためのシステム及び方法

Country Status (3)

Country Link
EP (1) EP4203779A1 (ja)
JP (1) JP2023545426A (ja)
WO (1) WO2022074652A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2891194A1 (en) * 2012-11-11 2014-05-15 Kenkou Gmbh Method and device for determining vital parameters
US10004410B2 (en) * 2013-12-19 2018-06-26 The Board Of Trustees Of The University Of Illinois System and methods for measuring physiological parameters
US10028669B2 (en) * 2014-04-02 2018-07-24 Massachusetts Institute Of Technology Methods and apparatus for physiological measurement using color band photoplethysmographic sensor
WO2017163248A1 (en) * 2016-03-22 2017-09-28 Multisense Bv System and methods for authenticating vital sign measurements for biometrics detection using photoplethysmography via remote sensors
WO2019088462A1 (ko) * 2017-11-03 2019-05-09 주식회사 딥메디 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법

Also Published As

Publication number Publication date
WO2022074652A1 (en) 2022-04-14
EP4203779A1 (en) 2023-07-05

Similar Documents

Publication Publication Date Title
Wang et al. A comparative survey of methods for remote heart rate detection from frontal face videos
Zhang et al. Combining ensemble empirical mode decomposition with spectrum subtraction technique for heart rate monitoring using wrist-type photoplethysmography
EP2665410B1 (en) Physiological parameter monitoring with a mobile communication device
US20110251493A1 (en) Method and system for measurement of physiological parameters
CN105813564A (zh) 用于确定对象的生命体征的设备和方法
Chatterjee et al. PPG based heart rate algorithm improvement with Butterworth IIR Filter and Savitzky-Golay FIR Filter
Gudi et al. Efficient real-time camera based estimation of heart rate and its variability
CN103890780A (zh) 失真降低的信号检测
US20230000376A1 (en) System and method for physiological measurements from optical data
Karthick et al. Analysis of vital signs using remote photoplethysmography (RPPG)
Qiao et al. Revise: Remote vital signs measurement using smartphone camera
Qayyum et al. Assessment of physiological states from contactless face video: a sparse representation approach
US20230397826A1 (en) Operation method for measuring biometric index of a subject
Pursche et al. Using the Hilbert-Huang transform to increase the robustness of video based remote heart-rate measurement from human faces
JP2023545426A (ja) 光学データによる血中アルコール測定値のためのシステム及び方法
Suriani et al. Non-contact Facial based Vital Sign Estimation using Convolutional Neural Network Approach
CN114387479A (zh) 一种基于人脸视频的非接触式心率测量方法及系统
Wang et al. KLT algorithm for non-contact heart rate detection based on image photoplethysmography
WO2022084991A1 (en) System and method for blood pressure measurements from optical data
US20230056557A1 (en) System and method for pulse transmit time measurement from optical data
Zhuang et al. Remote blood pressure measurement via spatiotemporal mapping of a short-time facial video
WO2023002477A1 (en) System and method for blood pressure estimate based on ptt from the face
Labunets et al. Heart Rate Estimation Based on Remote Photoplethysmography Signal Hilbert Transform
CN116269285A (zh) 一种非接触式常态化心率变异性估计系统
Penke An Efficient Approach to Estimating Heart Rate from Facial Videos with Accurate Region of Interest