JP2024502242A - 小型毛細血管スコープと機械学習技術を使用する非侵襲的血液分析 - Google Patents
小型毛細血管スコープと機械学習技術を使用する非侵襲的血液分析 Download PDFInfo
- Publication number
- JP2024502242A JP2024502242A JP2023537333A JP2023537333A JP2024502242A JP 2024502242 A JP2024502242 A JP 2024502242A JP 2023537333 A JP2023537333 A JP 2023537333A JP 2023537333 A JP2023537333 A JP 2023537333A JP 2024502242 A JP2024502242 A JP 2024502242A
- Authority
- JP
- Japan
- Prior art keywords
- light
- image capture
- capture device
- lens
- capillary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title description 8
- 238000005516 engineering process Methods 0.000 title description 2
- 238000004159 blood analysis Methods 0.000 title 1
- 238000004820 blood count Methods 0.000 claims description 109
- 210000000601 blood cell Anatomy 0.000 claims description 87
- 238000005259 measurement Methods 0.000 claims description 59
- 210000004027 cell Anatomy 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 42
- 238000013528 artificial neural network Methods 0.000 claims description 41
- 230000002441 reversible effect Effects 0.000 claims description 33
- 238000005286 illumination Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000009826 distribution Methods 0.000 claims description 13
- 238000005096 rolling process Methods 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 13
- 102000001554 Hemoglobins Human genes 0.000 claims description 11
- 108010054147 Hemoglobins Proteins 0.000 claims description 11
- 206010040047 Sepsis Diseases 0.000 claims description 11
- 238000005534 hematocrit Methods 0.000 claims description 11
- 230000003750 conditioning effect Effects 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000000034 method Methods 0.000 description 51
- 238000001514 detection method Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 238000012360 testing method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 14
- 230000006399 behavior Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000009534 blood test Methods 0.000 description 7
- 210000003743 erythrocyte Anatomy 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000017531 blood circulation Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 5
- 239000008280 blood Substances 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000002405 diagnostic procedure Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000090 biomarker Substances 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000003714 granulocyte Anatomy 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000001616 monocyte Anatomy 0.000 description 2
- 210000000440 neutrophil Anatomy 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 210000005166 vasculature Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010018910 Haemolysis Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 208000007502 anemia Diseases 0.000 description 1
- 210000003651 basophil Anatomy 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 210000000795 conjunctiva Anatomy 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000003979 eosinophil Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000008588 hemolysis Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 210000000265 leukocyte Anatomy 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000633 nuclear envelope Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14535—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring haematocrit
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/683—Means for maintaining contact with the body
- A61B5/6834—Means for maintaining contact with the body using vacuum
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/02—Investigating particle size or size distribution
- G01N15/0205—Investigating particle size or size distribution by optical means
- G01N15/0227—Investigating particle size or size distribution by optical means using imaging; using holography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
- G01N33/5094—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for blood cell populations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/72—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving blood pigments, e.g. haemoglobin, bilirubin or other porphyrins; involving occult blood
- G01N33/721—Haemoglobin
- G01N33/726—Devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0443—Modular apparatus
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0462—Apparatus with built-in sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
- A61B2562/0238—Optical sensor arrangements for performing transmission measurements on body tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/14—Coupling media or elements to improve sensor contact with skin or tissue
- A61B2562/146—Coupling media or elements to improve sensor contact with skin or tissue for optical coupling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/16—Details of sensor housings or probes; Details of structural supports for sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
- G01N2015/012—Red blood cells
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2800/00—Detection or diagnosis of diseases
- G01N2800/22—Haematology
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Optics & Photonics (AREA)
- Biochemistry (AREA)
- Cell Biology (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Food Science & Technology (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Microbiology (AREA)
- Biotechnology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Tropical Medicine & Parasitology (AREA)
- Ecology (AREA)
- Dispersion Chemistry (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
Abstract
1つの例示的な態様において、画像キャプチャデバイスと、画像キャプチャデバイスに取り付け可能な毛細血管スコープであって、中心水平軸線からオフセットされた角度及び位置でオフセット光を供給し、患者部位に対して斜めに傾く再帰光を生ずるように構成される光源を含む、該毛細血管スコープと、斜めの再帰光が通過するリバースレンズと、及び再帰光がリバースレンズを通過した後に通過して画像キャプチャデバイスのレンズに到達する1つ以上の望遠レンズと、を含むシステムが開示される。
Description
本特許出願は、2020年12月18日に出願された米国仮特許出願第63/127,668号の優先権を主張するものであり、その開示内容は参照により本明細書に組み込まれる。
全血算(「CBC」:complete blood counts)などの血液検査は、一般的に、侵襲的で痛みを伴う針採血を必要とする。反復的な採血は、一般的に、貧血、患者の不快感、特に、より敏感な患者(例えば、幼児、乳児など)の不快感を引き起こす。さらに、このような検査を行える頻度は、プロトコルによって制限される。加えて、採血には訓練された人員(例えば、採血技師及び検査技師)が必要である。また、CBCの採血と分析には高価な検査機器も必要であり、遠隔地と低資源環境におけるアクセスが制限される。さらにまだ、生体外での血液細胞の溶血は、サンプルが古くなるにつれ共通して起こる。加えてさらに、採血は一般的に、患者が病院又は他のケア施設に訪れることを必要とする。
本開示の実施例に従った、画像キャプチャデバイスと、前記画像キャプチャデバイスに取り付け可能な毛細血管スコープとを備えるシステムが開示される。前記毛細血管スコープは、中心水平軸線からオフセットされた角度及び位置でオフセット光を供給するように構成される光源であり、毛細管鏡によって捕捉した再帰光が正味の斜めの角度で毛細管鏡の焦点面に入射するようにオフセット光を供給する、該光源と、斜めの照明反射がそこを通過するリバースレンズと、及び1つ以上の望遠レンズであり、斜めの照明が前記リバースレンズを通過した後にして画像キャプチャデバイスのレンズに到達する、該1つ以上の望遠レンズと、を備える。
以下の特徴の1つ以上を含む様々な付加的特徴をシステムに含めることができる。前記画像キャプチャデバイスがポータブルデバイスである。前記画像キャプチャデバイスがスマートフォンである。前記画像キャプチャデバイスが携帯電話である。前記毛細血管スコープは、さらに、前記オフセット光を提供するために前記光源からの光を向けるように構成されるビームスプリッタを有する。前記光源は、前記患者部位に向かって角度を付けられ、前記リバースレンズを迂回する。前記毛細血管スコープは、さらに、前記光源又は前記斜め照明反射からの光を受光するための1つ以上のビーム調整部材を有する。本システムは、さらに、前記画像キャプチャデバイスの前記レンズを通過する前記斜め照明反射に基づいて診断ワークフローを実行するために、前記診断ワークフローへの入力として運用可能な血算データを出力するプロセッサを備えることができる。前記診断ワークフローは、訓練されたニューラルネットワークを使用して実行される。前記訓練されたニューラルネットワークは、教師あり、教師なし、又は半教師ありのトレーニングを使用して訓練される。前記診断ワークフローは、全血算を測定するための細胞量測定;鎌状赤血球分析;血球濃度測定;ヘマトクリット測定;又はヘモグロビン濃度測定;のうちの少なくとも1つを含む。前記運用可能な血算は:全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。本システムは、さらに、前記光源からの出力光を前記患者部位に結合させるライトガイドと、前記患者部位からの反射光を前記リバースレンズに結合させるリレーレンズ系と、を備えることができる。前記画像キャプチャデバイスは、前記毛細血管スコープによって捕捉した画像を示し、正確な測定値を取得するための前記毛細血管スコープの最適な場所に関するフィードバックをユーザに提供し、前記診断ワークフローによって作り出される結果を表示するユーザインターフェースを作り出すアプリケーションを有する。前記画像キャプチャデバイスは、さらに、高速ビデオの短いウィンドウを捕捉できるようにする、バーストモードでデータを取得するように構成される。本システムは、さらに、前記リバースレンズの外側の周囲に配置されるキャップを備えることができ、前記キャップは、使い捨て又は使用後に洗浄可能である。前記キャップは、使用中に前記毛細血管スコープを安定させるための吸引を提供する。前記画像キャプチャデバイスは、使用中に異なる焦点面で画像を取得し、診断のために3D細胞を分析するための診断ワークフローで使用される3次元データを作り出すように構成される。
本開示の実施例に従った、画像キャプチャデバイスに取り付け可能な毛細血管スコープを備えるシステムが開示される。前記毛細血管スコープは、中心水平軸線からオフセットされた角度及び位置でオフセット光を供給するように構成される光源であり、前記毛細血管スコープによって捕捉した再帰光が正味の斜めの角度で毛細血管スコープの焦点面に入射するように、オフセット光を供給する、該光源、斜めの照明反射がそこを通過するリバースレンズ、1つ以上の望遠レンズであり、前記斜めの照明反射が、前記リバースレンズを通過した後に通過して前記画像キャプチャデバイスのレンズに到達する、該1つ以上の望遠レンズを有する、該毛細血管スコープと、及び前記画像キャプチャデバイスの前記レンズを通過した前記斜めの照明反射に基づいて診断ワークフローを実行するために、前記診断ワークフローへの入力として運用可能な血算データを出力するプロセッサと、を備える。前記画像キャプチャデバイスは、前記毛細血管スコープによって捕捉した画像を示し、前記診断ワークフローによって作り出される結果を表示するユーザインターフェースを作り出すアプリケーションを備えることができる。前記診断ワークフローは、全血算を測定するための細胞量測定;鎌状赤血球分析;血球濃度測定;ヘマトクリット測定;又はヘモグロビン濃度測定;のうちの少なくとも1つを含む。前記運用可能な血算は、全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。
本開示の態様に従った、光源を有する画像キャプチャデバイスと、前記光源から患者部位に光を供給するライトガイドと、前記画像キャプチャデバイスに取り付け可能な毛細血管スコープと、を備えるシステムが開示される。前記毛細血管スコープは、前記患者部位からの再帰光がそこを通過するリバースレンズと、及び1つ以上の望遠レンズであり、斜めの照明が、リバースレンズを通過した後に通過して画像キャプチャデバイスのレンズに到達する、該1つ以上望遠レンズと、を備える。
本開示の態様に従った、光源からのオフセット光を、中心水平軸線からオフセットした角度及び位置で指向させるステップと、毛細血管スコープの焦点面において毛細血管スコープによって正味の斜角で捕捉した再帰光を受光するステップと、前記再帰光を、リバースレンズを通過するよう指向させるステップと、斜めの照明が前記リバースレンズを通過した後に、前記リバースレンズを通過した前記再帰光が通過して前記画像キャプチャデバイスのレンズに到達する1つ以上の望遠レンズに指向させるステップと、を備える方法が開示される。
以下の特徴の1つ以上を含む様々な付加的特徴を本方法に含めることができる。前記光源は、前記画像キャプチャデバイス又は別のデバイスによって提供される。前記画像キャプチャデバイスがポータブルデバイスである。前記画像キャプチャデバイスがスマートフォンである。前記画像キャプチャデバイスが携帯電話である。本方法は、さらに、前記オフセット光を提供するために、前記光源から前記毛細血管スコープのビームスプリッタを通じて前記オフセットのセットを指向させるステップを備える。前記光源は、前記患者部位に向かって角度を付けられ、前記リバースレンズを迂回する。本方法は、さらに、前記光源又は前記再帰光からの光を受光する1つ以上のビーム調整コンポーネントを更に有する前記毛細血管スコープの1つ以上のビーム調整コンポーネントによって、前記光源又は前記再帰光からの光を受光するステップを備える。本方法は、さらに、画像キャプチャデバイスの前記レンズを通過する前記再帰光に基づいて診断ワークフローを実行するために、前記診断ワークフローへの入力として運用可能な血算データを、プロセッサによって、処理するステップを備える。前記診断ワークフローは、訓練されたニューラルネットワークを使用して実行される。前記訓練されたニューラルネットワークは、教師あり、教師なし、又は半教師ありのトレーニングを使用して訓練される。前記診断ワークフローは、全血算を測定するための細胞量測定;鎌状赤血球分析;血球濃度測定;ヘマトクリット測定;又はヘモグロビン濃度測定;のうちの少なくとも1つを含む。前記運用可能な血算は、全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。本方法は、さらに、ライトガイドによって、前記光源からの出力光を前記患者部位に結合させるステップと、前記患者部位からの反射光を前記リバースレンズに結合させるリレーレンズ系とを備える。本方法は、さらに、画像キャプチャデバイス上で、前記毛細血管スコープによって捕捉した画像を示し、正確な測定値を取得するための毛細血管スコープの最適な場所に関するフィードバックをユーザに提供し、前記診断ワークフローによって作り出される結果を表示するユーザインターフェースを作り出すアプリケーションを作り出すステップを備える。前記画像キャプチャデバイスは、高速ビデオの短いウィンドウを捕捉できるようにする、バーストモードでデータを取得する。本方法は、さらに、前記リバースレンズの外側の周囲に配置されるキャップを準備するステップを備え、前記キャップは、使い捨て又は使用後に洗浄可能である。前記キャップは、使用中に前記毛細血管スコープを安定させるための吸引を行う。前記画像キャプチャデバイスは、使用中に異なる焦点面で画像を取得し、診断のために3D細胞を分析するための診断ワークフローで使用される3次元データを作り出す。
1つの例示的な態様では、画像キャプチャデバイスと、前記画像キャプチャデバイスに取り付け可能な毛細血管スコープであって、前記毛細血管スコープによって捕捉した再帰光が毛細血管スコープの焦点面に正味の斜めの角度で入射するように、中心水平軸線からオフセットされた角度及び位置でオフセット光を供給するように構成される光源、及び前記再帰光がリバースレンズを通過した後に通過して前記画像キャプチャデバイスのレンズに到達する1つ以上の望遠レンズを有する、毛細血管スコープと、を備えるシステムが開示される。
以下の特徴の1つ以上を含む様々な付加的特徴をシステムに含めることができる。前記画像キャプチャデバイスがポータブルデバイスである。前記画像キャプチャデバイスがスマートフォンである。前記画像キャプチャデバイスが携帯電話である。前記毛細血管スコープは、さらに、前記オフセット光を提供するために前記光源からの光を向けるように構成されるビームスプリッタを有する。前記光源は、前記患者部位に向かって角度を付けられ、前記リバースレンズを迂回する。前記毛細血管スコープは、さらに、前記光源からの光又は斜めの再帰光を受光する1つ以上のビーム調整部材を有する。
1つの例示的な態様では、血算データをトレーニングデータにマッピングするニューラルネットワークを訓練するステップと、患者の毛細血管の画像データを含む運用可能入力データを受信するステップと、前記運用可能入力データを前記訓練されたニューラルネットワークに適用するステップと、前記訓練されたニューラルネットワークから運用可能な血算データを取得するステップと、診断ワークフローを実行するために前記診断ワークフローへの入力として前記運用可能な血算データを出力するステップと、を含むコンピュータ実装方法が開示される。
以下の特徴の1つ以上を含む様々な付加的特徴をシステムに含めることができる。前記画像データは、1つ以上の画像又はビデオを含む。前記ニューラルネットワークを前記訓練するステップは、教師あり、教師なし、又は半教師ありの訓練を使用してニューラルネットワークを訓練するステップを含む。前記診断ワークフローは、全血算を測定するための細胞量測定;鎌状赤血球分析;血球濃度測定;ヘマトクリット測定;又はヘモグロビン濃度測定;のうちの少なくとも1つを含む。前記運用可能な血算は、全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。前記運用可能入力データは、前記毛細血管スコープから受信されるデプ運用可能入力データによって捕捉し、そこから受信される。前記毛細血管スコープは、携帯型又はポータブルのモバイルデバイス又はカメラデバイスに取り付けられ、非侵襲的な医療診断手順の一部として前記運用可能入力データを捕捉する。前記運用可能な血算は:全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。
別の例示的な態様において、コンピュータプログラム製品は、その中に具現化されたプログラム命令を有するコンピュータ可読記憶媒体を含む。プログラム命令は、血算データをトレーニングデータにマッピングするニューラルネットワークを訓練することと、患者の毛細血管又は他の血管系の画像データを含む運用可能入力データを受信することと、前記運用可能入力データを前記訓練されたニューラルネットワークに適用することと、運用可能な血算データを前記訓練されたニューラルネットワークから取得することと、診断ワークフローを実行するために前記診断ワークフローへの入力として前記運用可能な血算データを出力することとを含むオペレーションをコンピューティングデバイスで行うために、前記コンピューティングデバイスによって実行可能である。
以下の特徴のうちの1つ以上を含む様々な付加的特徴をコンピュータプログラム製品に含めることができる。前記画像データは、1つ以上の画像又はビデオを含む。前記ニューラルネットワークの前記訓練することは、教師あり、教師なし、又は半教師ありの訓練を使用してニューラルネットワークを訓練することを備える。前記診断ワークフローは、全血算を測定するための細胞量測定;鎌状赤血球分析;血球濃度測定;ヘマトクリット測定;又はヘモグロビン濃度測定;のうちの少なくとも1つを含む。前記運用可能な血算は、全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。前記運用可能入力データは、前記毛細血管スコープから受信した深層運用可能入力データによって捕捉し、そこから受信される。前記毛細血管スコープは、携帯型若しくはポータブルのモバイルデバイス又はカメラデバイスに取り付けられ、非侵襲的な医療診断手順の一部として前記運用可能入力データを捕捉する。前記運用可能な血算は、全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。
別の例示的な態様では、システムは、プロセッサと、コンピュータ可読メモリと、コンピューティングデバイスに関連した非一過性のコンピュータ可読記憶媒体と、血算データをトレーニングデータにマッピングするニューラルネットワークを訓練すること;患者の毛細血管又は他の血管系の画像データを含む運用可能入力データを受信すること;前記運用可能入力データを前記訓練されたニューラルネットワークに適用すること;運用可能な血算データを前記訓練されたニューラルネットワークから取得すること;診断ワークフローを実行するために前記診断ワークフローへの入力として前記運用可能な血算データを出力すること;を含む動作をコンピューティングデバイスで行うためにコンピューティングデバイスによって実行可能なプログラム命令とを含む。以下の特徴の1つ以上を含む様々な付加的特徴をシステムに含めることができる。前記画像データは、1つ以上の画像又はビデオを含む。前記ニューラルネットワークの前記訓練することは、教師あり、教師なし、又は半教師ありの訓練を使用してニューラルネットワークを訓練することを備える。前記診断ワークフローは、全血算を測定するための細胞量測定;鎌状赤血球分析;血球濃度測定;ヘマトクリット測定;又はヘモグロビン濃度測定;のうちの少なくとも1つを含む。前記運用可能な血算は、全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。前記運用可能入力データは、前記毛細血管スコープから受信した深層運用可能入力データによって捕捉し、そこから受信される。前記毛細血管スコープは、携帯型若しくはポータブルのモバイルデバイス又はカメラデバイスに取り付けられ、非侵襲的な医療診断手順の一部として前記運用可能入力データを捕捉する。前記運用可能な血算は:全血算(CBC)データ;血球マスク;血球の粘度;血球の転がり/粘着性;敗血症の血球分布幅;又は血球挙動の時間的傾向;のうちの少なくとも1つを含む。
図5中[数1]は下記の通りである。
[数1]
[数1]
本開示の態様は、小型毛細血管スコープと機械学習技術を使用して、全血算(「CBC」)などのような正確な非侵襲的血液検査を実施するシステム及び/又は方法を含んでもよい。本明細書に記載されるように、小型毛細血管スコープは、モバイルデバイス(例えば、スマートフォン、タブレット等)又は他のタイプのポータブル/携帯型カメラデバイスに取り付け可能なモジュラーコンポーネントであってもよい。いくつかの実施態様ででは、毛細血管スコープは、毛細血管がよく見える患者の検査部位の画像/ビデオを捕捉するものであってもよい。例示的な例として、検査部位は、患者の爪甲、口腔内(例えば、患者の下唇部の裏側、下唇の内側、上唇の内側、腹側舌、舌下、結膜、頬など)、又は他の検査部位であってもよい。本明細書に記載の技術は、特定の検査部位から非侵襲的血液検査を実施することに限定されないことに留意されたい。さらに、「画像」又は「画像データ」という用語は、「ビデオ」又は「ビデオデータ」を指す場合もあり、これらの用語は互換的に使用される場合があることに留意されたい。また、「毛細血管」という用語は、複数の毛細血管又はより太い血管を指す場合がある。
本明細書に記載されるように、毛細血管スコープは、毛細血管の検出及び可視性を改善するために、画像データに位相コントラストを提供するように構成されてもよい。いくつかの実施態様では、位相コントラストは、広視野画像を可能にするリバースレンズ幾何学を使用して提供されてもよい。さらに、無限遠空間又は対物レンズの外側で視野に結合されるオフセット照明源が提供されてもよい。いくつかの実施態様では、複数の望遠鏡レンズが、リバースレンズセットアップの倍率を増加させるために、提供されてもよい。いくつかの実施態様では、照明軸線と検出軸線のオフセットが、視野全体に強度の勾配を作り出し、正味の斜め照明による位相コントラストが結果として生じてもよい。いくつかの実施態様では、血液粒子同定のために、後方散乱と側方散乱の差の検出を活用する。こうして、本開示の態様に従った毛細血管スコープは、CBC及び/又は他の医療診断情報を正確に示し得る高度で詳細な画像及び/又はビデオを作り出すことができる。いくつかの実施態様では、本明細書に記載されるシステム及び/又は方法は、現在のポータブル及び/又は携帯型カメラシステムでは不可能な毛細血管の詳細なレベルを捕捉する高度で詳細な画像及び/又はビデオを作り出すことができる。例えば、本明細書に記載のシステム及び/又は方法は、血液細胞の種類を区別することができる吸収コントラスト及び/又は他のスペクトルベースの情報を提供することができる。加えて、本開示の態様は、全ての血球型、血小板、及びより小さい脂質粒子を含む細胞境界を強調するための位相コントラストを提供することができる。さらに、核膜と顆粒体などのような細胞内特徴が分解され、かつ細胞識別因子として機能し得る。
本明細書に記載されているように、毛細血管スコープは比較的安価に作製でき、操作に広範な訓練を必要としない。例えば、本開示の態様に従った毛細血管スコープは、医療技術者が使用可能な携帯型デバイスであってもよく、毛細血管スコープの形状因子は体温計に類似していてもよい。このように、非侵襲的血液検査は、比較的容易に実施することができ、本明細書に記載されるシステムのコストのために広く利用可能にされ得る。
本開示の態様は、さらに、本明細書に記載の毛細血管スコープによって捕捉した画像データを解明し、画像データ(例えば、CBC、血球のマスクなど)に基づいて医療診断情報を提供することができる機械学習システムを含んでもよい。例えば、本開示の態様は、トレーニングデータ(例えば、トレーニング画像データ)を血算データの真実性(例えば、CBCの真実性、マスクの真実性など)とマッピングすることによってニューラルネットワークを訓練してもよい。いくつかの実施態様において、トレーニングデータは、トレーニングデータが毛細血管スコープによって捕捉した高度で詳細な画像を含む毛細血管スコープによって捕捉した画像データであってもよい。このようにして、画像間の些細な差異であっても、血算データの真実性の異なるセットと関連付けられ得る。こうして、毛細血管スコープによって捕捉した画像のわずかな違いを検出して、患者のCBCの高精度の推定値を作り出すことができる。オペレーションにおいて、毛細血管スコープを使用して患者の検査部位の画像データを捕捉することができ、かつ、この画像データを訓練されたニューラルネットワークに適用して患者のCBCを推定することができる。いくつかの実施態様では、患者のCBCは、診断ワークフローに出力され、追加の診断情報(例えば、赤血球濃度、ヘマトクリット、ヘモグロビン濃度、鎌状赤血球分析など)を得るため、又は事前スクリーニング/トリアージプロセスのために使用されてもよい。
以下、本開示の特定の実施態様が添付図面を参照して記載されるが、ここで、同様の参照符号は同様の要素を示す。しかしながら、添付図面は、本明細書に記載される様々な実施形態のみを例示するものであり、本明細書に記載される様々な技術範囲を限定するものではないことを理解されたい。図面は、本開示の様々な実施態様を示し、記載する。
本開示の実施態様は、任意の可能な技術的詳細レベルの統合において、システム、方法、及び/又はコンピュータプログラム製品を含んでもよい。コンピュータプログラム製品は、プロセッサにその上で本開示の態様を遂行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体(又はいくつかの媒体)を含んでもよい。
図1A、図1B、図1C、図1D、図1E、図1F、図1G、図1H、及び図1Iは、本開示の態様に従った例示的な毛細血管スコープの概要を図示する。図1Aに示すように、毛細血管スコープ100は、モバイルデバイス102(例えば、スマートフォン、タブレット、カメラデバイスなど)に取り付けられてもよい。いくつかの実施態様では、無菌キャップ104が設けられてもよい(例えば、プラスチック、ゴム、及び/又は複合材料から製造される)。無菌キャップ104は、使い捨て可能であり、患者間で交換可能であってもよい。本明細書でより詳しく説明するように、毛細血管スコープ100は、モバイルデバイス102のカメラデバイスによって捕捉された画像及びビデオを向上させるための構成要素を収容するための円形に延在する本体を含んでもよい。いくつかの実施態様では、毛細血管スコープ100は、毛細血管スコープ100をモバイルデバイス102に固定する又は取り付けるための実装部品を含んでもよい。さらに、毛細血管スコープ100は、モバイルデバイス102から取り外し、別のモバイルデバイス102に取り付けてもよく、保管のために取り外してもよく、又は使用しないときに取り外してもよい。代替の実施態様では、図1Bを参照すると、毛細血管スコープ100は平らで、毛細血管スコープ100のカメラデバイスの上に配置されてもよい。
図1Cを参照すると、毛細血管スコープ100は、患者の下唇の裏側などなどのような患者部位から画像データを捕捉するために使用されてもよい。毛細血管スコープ100によって捕捉された画像の図1Bに例示的なインターフェース110を示す。いくつかの実施態様では、インターフェース110は、血球マスクが本明細書でより詳細に説明される技術を使用して識別することができる画像内から血球マスクを識別してもよい。
本明細書で記載するように、毛細血管スコープ100は、位相コントラストを提供し、かつ、毛細血管スコープ100を使用して患者の検査部位から捕捉された患者の毛細血管の画像/ビデオの品質を改善するために無限遠空間又は対物レンズの外側の視野に結合されたオフセット照明光源を設けるように構成されてもよい。例えば、図1Dを参照すると、毛細血管スコープ100は、電源125(例えば、バッテリ)によって給電されるオフセット発光ダイオード(LED)120を含んでもよい。本明細書で記載されるように、オフセットLED120は、患者部位にオフセット光を供給するように構成されてもよい(例えば、斜めに傾いた拡散光が患者部位から再帰し(remitted off)、この再帰光(remitted light)が毛細血管スコープによって捕捉され、正味の傾斜角度で毛細血管スコープの焦点面に入射するように、中心水平軸線からオフセットされた角度及び位置で)。オフセットLED120は、集光レンズ130を通して光を照射し、光をビームスプリッタ135に収束させてもよい。いくつかの実施態様では、ビームスプリッタ135は、光が患者部位においてオフセットされるような方法で、LED120からの光を患者部位に向けて反射してもよい(例えば、拡散光が患者部位から外れて検出されるときに位相オフセットを生ずるために)。例えば、図1Dに更に示すように、オフセット光の結果として、患者部位(例えば、患者の毛細血管)における斜めに傾いた拡散照明が生成されてもよい。いくつかの実施態様では、ビームスプリッタ135は、図示のように、患者の毛細血管によって再帰した光が斜め拡散光を形成するような角度に光を指向させるように構成してもよい。本明細書で記載するように、患者の毛細血管によって再帰させられた斜め拡散光は、位相コントラストを生成することができ、これにより、患者の毛細血管の画像及びビデオにおいての特徴の検出及び照明が改善される。
いくつかの実施態様では、患者の毛細血管から送り返される斜め拡散光は、リバースレンズ140を通過し、かつ、第1の望遠レンズ145及び第2の望遠レンズ150を通過してもよい。第1の望遠レンズ145及び第2の望遠レンズ150は、再帰光を(例えば、2倍に)拡大してもよく、拡大された光は、モバイルデバイス102によって受光されてもよい。より具体的には、再帰光は、前方レンズによって受光され、モバイルデバイス102の画像プロセッサ(例えば、CMOS160)によって処理されてもよい(例えば、毛細血管スコープ100と共にモバイルデバイス102が患者の毛細血管の画像及びビデオを捕捉するために使用される医療検査プロセス中でのように、画像データがモバイルデバイス102によって捕捉されるとき)。
いくつかの実施態様において、毛細血管スコープ100は、オフセットLED120からの光及び患者部位から送り返される光を調整するための追加の構成要素を含んでもよい。例えば、毛細血管スコープ100は、偏光子及び/又は波長フィルタ、位相コントラスト及び/又は光学的断面を得るためのグリッドパターン、軸外分解能を改善するための収差補正コンポーネント、分光法測定を可能にするための多波長コンポーネント等として含むことができるビームコンディショナ136及び155を含んでもよい。いくつかの実施態様では、第1の望遠レンズ145及び/又は第2の望遠レンズ150は、リソグラフィマスクなどのような1つ以上の収差補正素子を含んでもよい。毛細血管スコープ100を使用して画像データを捕捉することによって、位相コントラストが導入され、この位相コントラストは、毛細血管スコープ100を使用してモバイルデバイス102によって捕捉した視覚的画像/ビデオデータに基づいて、血液検査分析のために分析され得る血球マスク境界線及び/又は他の特徴などのような毛細血管内の特徴をより明確かつ視覚的に判別する。
いくつかの実施態様において、オフセットLED120は、リバースレンズ140を迂回するように角度を付けて配列されてもよい。例えば、図1Eを参照すると、オフセットLED120は、患者部位に向かって角度を付けられ、ビームスプリッタ135を必要とせずに斜め照明を作成するためにリバースレンズ140を迂回してもよい。リバースレンズ140を省略することにより、毛細血管スコープ100の物理的なサイズを小さくし得る。
図1Fを参照すると、いくつかの実施態様では、毛細血管スコープ100は、モバイルデバイス102に自然に統合されるフラッシュ165からの光を患者部位に向けるためのライトパイプ160(例えば、光ファイバ部品、プリズム、反射管、又はそれらのようなもの)を含んでもよい。有利には、フラッシュ165からの照明は、撮影と同期させてもよい。さらにフラッシュ165と組み合わせたライトパイプ160は、モーションノイズを避け、かつコントラストを更に高めるために、比較的明るく、持続時間の短い照明を提供してもよい。
図1Gは、LED170と、コリメートレンズ172と、ビームスプリッタ174と、ビームスプリッタ174によって作り出される第1の経路からの光を毛細管領域178に集光する集光素子176と、ビームスプリッタ174からの第2の経路からの光を検出器176に受光するチューブレンズ180とを含む毛細血管スコープ100を示す。
図1Hは、オフセットLED120からの光を患者部位に結合させるライトガイド178と、及び患者部位からの再帰光をリバースレンズ140に結合させるリレーレンズ系180とを追加した図1Eの毛細血管スコープ100を示す。
図1Iは、毛細血管スコープ100によって取得される画像と、及び処理の結果として生じた成果物をユーザインターフェースに表示するスマートフォンアプリケーション182とを追加した図1Eの毛細血管スコープ100を示す。この図は、カメラ、レンズ、及び光源が、データを取得し、表示及び解析のために無線又はケーブル接続を通してスマートフォンに送信する「リモートヘッド」上の構成を示す。スマート体温計のように舌の下に置き、スマートフォンに接続する。
いくつかの例において、毛細血管スコープ100は、フィールドを安定させるためにキャップ上に吸引機構を含むことができる。いくつかの例では、モバイルデバイス102は、高品質の毛細血管ビデオを記録するのに適した場所に毛細血管スコープ100を配置するように操作者をガイドするユーザインターフェースを含むことができる。いくつかの例では、モバイルデバイス102は、ユーザインターフェースを含み、ビデオを自動的に分析し、また、入力として予備知識(年齢、体重、民族性、性別、妊娠など)を取り込み、CBCと同様の診断値を出力する。いくつかの例では、毛細血管スコープ100又はモバイルデバイス102は、心拍数、体温、そのデータを測定に組み込む他の複合センサも測定することができる。いくつかの例では、モバイルデバイス102は、毛細血管にオートフォーカスする1つ以上のアルゴリズムを含むことができる。いくつかの例では、毛細血管スコープ100又はモバイルデバイス102は、特定の細胞に関する3D情報を入手するために、zフォーカスを素早く変更する軸方向の掃引を完了することもできる。いくつかの例では、毛細血管スコープ100は、血流速度及び血管サイズを測定するように構成することができる。
図2は、本開示の態様に従った非侵襲的血液検査を実施するための環境例を図示する。図2に示すように、環境200は、画像キャプチャデバイス210、血算測定システム220、診断ワークフローシステム230、及びネットワーク240を含む。
画像キャプチャデバイス210は、ネットワーク240などのようなネットワークを介して通信する能力を有するコンピューティングデバイス及び/又はカメラデバイスを含んでもよい。例示的な実施態様では、画像キャプチャデバイス210は、モバイル通信デバイス(例えば、スマートフォン又はパーソナルデジタルアシスタント(PDA))、タブレットデバイス、又はそれらのようなものを含んでもよい。いくつかの実施態様では、画像キャプチャデバイス210は、モバイルデバイス102に取り付けられた毛細血管スコープ100を含んでもよいが、画像キャプチャデバイス210は、任意の他のタイプのカメラ又は画像キャプチャデバイスを含んでもよい。いくつかの実施態様では、画像キャプチャデバイス210は、非侵襲的医療検査手順(例えば、本明細書に記載されるような血算検査手順)の一部として患者部位の画像データを捕捉するために使用される携帯型デバイスであってもよい。すなわち、画像キャプチャデバイス210は、携帯型非侵襲的検査デバイスとして機能し得る。
血算測定システム220は、画像キャプチャデバイス210から受信した画像データに基づいて血算情報を決定する1つ以上のコンピューティングデバイスを含んでもよい。いくつかの実施態様では、血算測定システム220は、画像データ(例えば、患者の毛細血管の)を解明するために使用される機械学習システム(例えば、ニューラルネットワーク)を構築、更新、及び/又は維持してもよい。より具体的には、血算測定システム220は、画像データを受信し、画像データをニューラルネットワークに適用し、ニューラルネットワークから血算情報(例えば、CBC値、画像データ内の血球マスク境界/位置を特定する情報など)を取得してもよい。いくつかの実施態様では、血算測定システム220は、血算情報を診断ワークフローシステム230に出力してもよい。こうして、血算情報は、非侵襲的医療手順を介して画像キャプチャデバイス210から得られる画像データから決定されてもよい。
診断ワークフローシステム230は、(例えば、血算測定システム220から)血算情報を受信する1つ以上のコンピューティングデバイスを含んでもよい。いくつかの実施態様では、診断ワークフローシステム230は、任意の様々な診断ワークフローを実行するために血算情報を使用してもよい。例えば、診断ワークフローシステム230は、(例えば、血算情報から鎌状赤血球分析を予測するニューラルネットワークに血算情報を適用することによって)鎌状赤血球分析を行うために血算情報を使用してもよい。付加的に、又は代替的に、診断ワークフローシステム230は、血算情報から血球濃度を決定してもよい。付加的に、又は代替的に、診断ワークフローシステム230は、完全血算を決定するための細胞量測定、鎌状赤血球分析、血球濃度測定、ヘマトクリット決定、又はヘモグロビン濃度測定のうちの少なくとも1つを測定してもよい。運用可能な血算は、全血算(CBC)データ、血球マスク、血球の粘度、血球の転がり/粘着性、敗血症の血球分布幅、又は血球挙動の時間的傾向のうちの少なくとも1つを含む。付加的に、又は代替的に、診断ワークフローシステム230は、血算情報に基づいていくつかの他の診断機能を行うために使用してもよい。
ネットワーク240は、ネットワークノード並びに1つ以上の有線ネットワーク及び/又は無線ネットワークを含んでもよい。例えば、ネットワーク240は、セルラーネットワーク(例えば、第2世代(2G)ネットワーク、第3世代(3G)ネットワーク、第4世代(4G)ネットワーク、第5世代(5G)ネットワーク、ロング・ターム・エボリューション(LTE)ネットワーク、移動体グローバルシステム(GSM)ネットワーク、符号分割多元接続(CDMA)ネットワーク、進化データ最適化(EVDO)ネットワーク、又はそれらのようなもの)、公衆陸上移動体ネットワーク(PLMN)、及び/又は別のネットワークを含んでもよい。付加的に、又は代替的に、ネットワーク240は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンネットワーク(MAN)、公衆交換電話網(PSTN)、アドホックネットワーク、管理されたインターネットプロトコル(IP)ネットワーク、仮想プライベートネットワーク(VPN)、イントラネット、インターネット、光ファイバベースのネットワーク、及び/又はこれら若しくは他のタイプのネットワークの組み合わせを含んでもよい。いくつかの実施態様では、ネットワーク240は、銅伝送ケーブル、光伝送ファイバ無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ及び/又はエッジサーバを含んでもよい。
環境200内のデバイス及び/又はネットワークの量は、図2に示されるものに限定されない。実際には、環境200は、追加のデバイス及び/若しくはネットワーク、より少ないデバイス及び/若しくはネットワーク、異なるデバイス及び/若しくはネットワーク、又は図2に図示されるものとは異なる配列のデバイス及び/若しくはネットワークを含んでもよい。また、いくつかの実施形態では、環境200のデバイスのうちの1つ以上が、環境200のデバイスのうちの別の1つ以上によって行われるものとして説明された1つ以上の機能を行ってもよい。例えば、画像キャプチャデバイス210は、血算測定システム220によって行われるものとして説明される機能を行ってもよい。すなわち、画像キャプチャデバイス210は、ネットワーク240を介さずに血算測定システム220の機能をローカルに行うソフトウェアコンポーネントを含むことができる。環境200のデバイスは、有線接続、無線接続、又は有線接続と無線接続との組合せを介して相互接続してもよい。
図3は、非侵襲的検査デバイスによって得られる画像データから血算情報を決定するために機械学習システムを訓練及び使用するためのプロセスのフローチャートの例を図示する。図3のブロックは、例えば、図2の環境内で実装されてもよく、図2に描かれている要素の参照番号を使用して記載される。本明細書で述べたように、フローチャートは、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、及び動作を図示する。
図3に図示するように、プロセス300は、画像データを血算データの真実にマッピングするトレーニングデータを受信するステップを含んでもよい(ブロック310)。例えば、血算測定システム220は、非侵襲的検査デバイス(例えば、画像キャプチャデバイス210)によって捕捉したトレーニングデータ(例えば、トレーニング画像データ)を受信してもよい。いくつかの実施形態では、複数セットのトレーニング画像データが、トレーニングプロセスの一部として受信されてもよい。
プロセス300はまた、トレーニングデータに関連した血算データを決定するステップを含みんでもよい(ブロック320)。より具体的には、血算測定システム220は、トレーニングデータにリンク付けされる血算データ(例えば、体積別赤血球数、体積別白血球数、顆粒球数、単球数、リンパ球数、顆粒球分類(好中球vs好酸球vs好塩基球)血小板数など)を決定してもよい。他の血球数データは、平均細胞容積、粘度、細胞の転がり/粘着性、感染症及び敗血症の血球分布幅(RDW、単球)などのようなバイオマーカー、並びに/又はそのようなバイオマーカー及び血球挙動(例えば、新生児などのような分単位の好中球数)の時間的傾向を含んでもよい。いくつかの実施態様では、血球数データは赤血球のマスクを含んでもよい。
いくつかの実施態様では、教師なしディープラーニング(深層学習)技術が、トレーニングデータにリンク付けされる血算データを決定するために使用されてもよい。一例として、トレーニングデータは、ディープラーニングがビデオデータ内のオブジェクトをフレームごとに追跡するために適用され得るビデオデータを含んでもよい。本明細書に記載される深層学習技術は、異なる血球成分を検出、分類、及び/又は計数するために、ビデオデータ内のオブジェクトを追跡してもよい。いくつかの実施態様では、任意の適切なディープラーニングフレームワーク及び/又は技術が、トレーニングビデオ入力から血球をセグメント化及び計数するために使用されてもよい(例えば、クラスタリング、関連付けなど)。一般的に、教師なし深層学習技術が血算データの真実性を決定するために使用されてもよいが、教師あり及び/又は半教師あり機械学習技術が使用されてもよく、その場合、以前に知られていた血算データの真実性/ラベルが訓練データに結びつけられてもよい。
プロセス300はまた、トレーニングデータに基づいてニューラルネットワークを構築し、格納するステップを含んでもよい(ブロック330)。例えば、血算測定システム220は、追加の訓練データが受信されるにつれてニューラルネットワークを構築してもよい。いくつかの実施態様では、決定された血算データ(例えば、ブロック320において決定される)は、対応するトレーニング入力データのセット(例えば、ブロック310で受信される)にリンク付けされてもよい。さらに、ニューラルネットワークは、逆伝播、教師あり/半教師あり確認入力、及び/又は他のニューラルネットワーク洗練技術を使用して洗練及び改善されてもよい。いくつかの実施態様では、ニューラルネットワークに加えて、又はニューラルネットワークの代わりに、他の機械学習システムを訓練してもよい。
プロセス300は、運用可能入力データを受信するステップを更に含んでもよい(ブロック340)。例えば、血算測定システム220は、血算情報が不明である患者部位の画像キャプチャデバイス210によって捕捉した画像データを含む運用可能入力データを受信してもよい。より具体的には、医療従事者は、患者の血算情報を得るための非侵襲的医療処置の一部として、患者部位の画像データを捕捉するために画像キャプチャデバイス210を使用してもよい。本明細書で記載するように、運用可能入力データは、患者の毛細血管の位相コントラストを有する高詳細画像を含んでもよい。
プロセス300はまた、ニューラルネットワークから血算データを取得するステップを含んでもよい(ブロック350)。例えば、血算測定システム220は、運用可能入力データをニューラルネットワーク(例えば、ブロック330において構築され、格納される)に適用して、運用可能入力データから血算データを取得してもよい。本明細書で記載するように、運用可能入力データは患者の毛細血管の位相コントラストを有する高度で詳細な画像を含み、かつ、ニューラルネットワークは高度で詳細なトレーニング画像に基づいて訓練されるので、血算測定システム220はニューラルネットワークから正確な血算情報を得ることができる。言い換えれば、異なる運用可能入力画像間のわずかな不一致は、ニューラルネットワークが異なる血算データを返す結果となり得る。本明細書に記載されるように、血算データは、全血算(CBC)、1つ以上の赤血球の1つ以上のマスクを定義する情報、及び/又は血算に関係する他の情報を含んでもよい。
プロセス300は、診断ワークフローへの入力として血算データを出力するステップを更に含んでもよい(ブロック360)。例えば、血算測定システム220は、血算データを診断ワークフローシステム230に出力してもよい。血算データの受信に基づいて、診断ワークフローシステム230は、血算データを入力として使用する任意の様々な診断ワークフローを実行してもよい。
図4を参照すると、血算測定システム220は、血算データ(例えば、RBCマスク)を診断ワークフローシステム230に出力してもよい。診断ワークフローシステム230は、血算データに基づいて診断ワークフローを実行してもよい。一例として、診断ワークフローシステム230は、血算データに基づいて鎌状赤血球解析を行うように構成されるニューラルネットワークに血算データを適用することによって、鎌状赤血球解析を行ってもよい。付加的に、又は代替的に、診断ワークフローシステム230は、血算データに基づいて赤血球濃度を決定してもよい。付加的に、又は代替的に、診断ワークフローシステム230は、血算データに基づいてヘマトクリット濃度及び/又はヘモグロビン濃度を決定してもよい。付加的に、又は代替的に、診断ワークフローシステム230は、完全血算を測定するための細胞量測定、鎌状赤血球分析、血球濃度測定、ヘマトクリット測定、又はヘモグロビン濃度測定のうちの少なくとも1つを行ってもよい。運用可能な血算は、全血算(CBC)データ、血球マスク、血球の粘度、血球の転がり/粘着性、敗血症の血球分布幅、又は血球挙動の時間的傾向のうちの少なくとも1つを含む。付加的に、又は代替的に、診断ワークフローシステム230は、年齢、妊娠状態、身長/体重などのような血算データに基づいて別のタイプの診断検査を行ってもよい。
診断ワークフローを行うことに基づいて、診断ワークフローシステム230は診断情報を出力してもよい。いくつかの実施態様では、診断情報は、医療専門家が患者を適宜治療する(例えば、フォローアップ検査の手配をする、医療コンサルティングを提供する、薬剤を処方する、処置の日程計画を立てる、及び/又は適切な他の任意な治療を実施する)ために使用されてもよい。
OBC細胞追跡のタスクはユニークで難問である。所与のクラスの細胞は、似たような大きさ、形状、及び粒状性と共に、似たような外観を有する。その上、個々の細胞の形状は、混雑した毛細血管を流れる際に、回転と衝突とによって変化する傾向がある。それゆえに、外見に基づくMOTモデルを使用する個々の細胞を区別して追跡することは困難である。上記の難問を解決するために、場所と動きの情報に基づいてオブジェクトの関連付けを達成する別の種類のトラッカーが使用される。例えば、予測トラッキングモデルであるSORTは、物体が時間的及び空間的に予測可能でかつ連続的なパターンで移動すると仮定し、前方方向的に追跡する。検出によるトラッキングモデルであるCenterTrackは、現在のオブジェクト中心の集まりを前フレームに遡って全体的にマッチングすることにより、後方方向的に働く。OBCビデオでは、血球は毛細血管に沿って一定方向に移動しており、これはSORTの仮定を凡そ満たす。混雑した毛細血管の近傍の細胞間の相対的な場所は、流れを通して一貫性を保つ傾向があるので、血球追跡もまたCenterTrackの適切なユースケースである。SORTとCenterTrackの組み合わせの別の利点は、SORTが流れの履歴を連続的に記録することで流速の長期的な記憶を維持するのに対し、CenterTrackは検出された細胞の相対的な場所が同様であることを強制しながら、速度の短期的な変化を許容することである。これらの経験則に従うと、SORTとCenterTrackを組み合わることによる時間的両方向にオブジェクトを追跡するロバストなトラッカーに、CycleTrackと呼ばれるアーキテクチャが使用される。その上、このような場所ベースのトラッカーは、ポイント・オブ・ケア用途にとって重要であるより高速な血球解析を行うことができる。
図5は、本開示の実施例によるCycleTrackフレームワークのワークフローを示し、ここで
[数2]
は、時間tにおける検出された細胞の中心ヒートマップを表す。
[数2]
は、時間tにおける検出された細胞の中心ヒートマップを表す。
CycleTrackフレームワークを図5に示す。CycleTrackは、2つの連続するフレーム間の後方及び前方追跡を実現するためにCenter-TrackとSORTを組み合わせる。本節では、CycleTrackの説明を、CenterTrackと、SORTと、新しい細胞検出とトラックレットと称される既存の細胞追跡との関連付けとの3つの主要なコンポーネントのあたりで構成する。
CycleTrackで使用される全ての細胞検出は、CenterTrackのCenterNetバックボーンによって出力される。CenterTrackとSORTからのマッチング推定値を結合させるため、これら2つのマッチングコスト行列(数23)
[数23]
の各要素について、より小さい距離を選択することにより、CycleTrackの最適マッチングコスト行列を最初に生成する。その後、(数23)に基づいて、最も近い相互距離を有する追跡オブジェクトに検出をマッチングさせるために、貪欲マッチングアルゴリズムを適用する。その上、付加的な制限として、マトリックス中の検出の全ての距離が、現在のフレームの細胞の平均直径の2倍として定義される妥当な範囲から外れている場合、それはマッチングされていないとみなされ、そのために新しいトラックレットが作成される。閾値は、同一フレームの隣接細胞間の平均距離となるように適応的に設定される。
[数23]
の各要素について、より小さい距離を選択することにより、CycleTrackの最適マッチングコスト行列を最初に生成する。その後、(数23)に基づいて、最も近い相互距離を有する追跡オブジェクトに検出をマッチングさせるために、貪欲マッチングアルゴリズムを適用する。その上、付加的な制限として、マトリックス中の検出の全ての距離が、現在のフレームの細胞の平均直径の2倍として定義される妥当な範囲から外れている場合、それはマッチングされていないとみなされ、そのために新しいトラックレットが作成される。閾値は、同一フレームの隣接細胞間の平均距離となるように適応的に設定される。
開示されたモデルは、OBCシステムによって取得された人の舌腹の毛細血管のビデオで訓練し、評価された。OBCシステムは、40倍の1.15NA液浸顕微鏡対物レンズを使用し、約200μmの照明-検出オフセットで緑色LEDを光源として使用し、1280×812ピクセルのフレームサイズを有するビデオを、416×264μm2の視野を伴う160Hz、0.5msの露光時間で取得した。
4つの異なる舌腹の毛細血管のビデオを取得した。モデルのハイパーパラメータのチューニングの間、毛細血管の特徴漏れを防ぐため、毛細血管に基づいてデータセットを分割し、4重クロスバリデーションを適用した。そして、最適なハイパーパラメータを用いて、最終的なモデルは3つの毛細血管のビデオで訓練し、一方、もう1つの毛細血管のビデオは検査用に残された。トレーニングデータセットには、607の細胞に対して合計4570のマスクを有する9つの異なるシーケンスから942の完全にアノテーションされたフレームが含まれる。手動のアノテーションは、訓練されたエキスパートによって作成され、各アノテーションはラベル付けされたマスクとトラッキングIDとで構成されている。全てのトラッキングIDは同一シーケンス中の同一細胞のフレーム全体で一貫している。テストデータセットには、197個の細胞に対して901個のマスクを有する300個のアノテーションフレームが含まれる。細胞計数の精度のさらなる検証のため、CycleTrackは各々が1000フレームを有する8つの追加ビデオに適用された。これらのビデオは、手作業で測定された細胞数をグランドトゥルースとして持っていたが、マスクアノテーションは持っていなかった。
CycleTrackは、DLAモデルをバックボーンとして修正されたPytorch中のCenterNetベースのCenterTrack及びSORTで構築される。トレーニングの入力は、標準的な正規化後のフレームペアで作り上げられた。限られたデータセットでのモデルの汎化性を高めるために、15度以内で一様に変化する回転、垂直/水平フリップ、0.5の確率を用いる時間フリップを含むデータ増強が、様々な血球の流れをシミュレートするために適用された。最大3倍の流速変動をシミュレートするため、フレームペアは[-3,3]のフレーム範囲内でランダムに生成された。訓練中、オリジナルのCenterNetにおける焦点損失は、オブジェクト検出のために使用され、変位ベクトル回帰のための損失Loffをオフセットし、学習率10-4でAdamを最適化し、300エポックのバッチサイズ16だった。学習率は60エポックごとに半分に減少した。CycleTrackのランタイムは、Intel Xeon E5-2620 v4 CPUとTitan V GPUでテストされた。検出は、信頼度ω≧0:6でのみ追跡された。テスト時の検出誤差のシミュレーションも、λfp=0:1とλfn=0:4とランダムな偽陽性と偽陰性の比率を設定するにことにより、不完全なオブジェクト検出をより許容するために使用された。モデル評価のために、CycleTrackは、CenterNetベースのSORTと、CenterTrackと、Tracktor++及びMaskTrackなどのような外観ベースのトラッカーと、を含むいくつかのベンチマークオンラインMOTモデルと比較された。
図6は、本開示の実施例によるニューラルネットワークアーキテクチャを示す。ストカスティックコンピューティング畳み込みニューラルネットワーク(SC-CNN)302は、i番目のRBCマスク306に変換されるマスクトラックR-CNN出力304を得る。
図7Aは、グランドトゥルース血球計数とCycleTrackからの結果との相関を示す。図7Bは、フレーム全体の分数計数誤差を示す。曲線:個々の絶対パーセンテージ計数誤差;黒い曲線は平均値であり、灰色のバーは8つの検査ビデオにわたる誤差の標準偏差である。図7Cは、4つの異なる検査ビデオにわたる速度推定と絶対計数誤差を示す。薄い線:全オブジェクトの平均速度、青い実線:ローパスフィルタをした平均速度、線:近傍50フレームにわたる絶対細胞計数誤差。
性能の定量的分析を表1に示す。表1には、MOT指標が完全なアノテーションを有する未見の300フレームビデオでテストされた比較モデルのリストである。似たような検出精度で、まず、我々のビデオ中で場所ベースのトラッカーが外観ベースのトラッカーよりもより良い追跡性能を有することが観察される。また、CycleTrackが追跡指標、特にオブジェクト検出とトラッキング両方の一般的な評価を提供する複数オブジェクト追跡精度(MOTA)とID F1スコア(IDFI)の観点において、他の全てのトラッカーよりも優れていることに注目することが重要である。また、SORT及びCenterTrackのような再識別(Re-ID)モデルなしのローカルトラッカーと比較して、我々のフレームワークの主な改善点はIDスイッチの大幅な削減であることも注目である。IDスイッチは、安定した長く一貫したトラックを反映する良い指標であることが広く示されている。連続する2つのフレームにのみ焦点を当てるローカルトラッカーにとって、検出ミス又は偏った変位ベクトルは、高いIDスイッチと断片を導くトラックレットの修復不可能な断絶を引き起こすだろう。IDスイッチの減少は、往復追跡パスを使用するローカルな関連付け精緻化が、一方向トラッカーからの追跡誤差を効果的に補正し、このように安定した長時間追跡を達成することを実証する。
また、8つの1000フレームビデオにおける細胞計数精度を、手作業でカウントしたグランドトゥルース(マスクなし)を用いて評価した。CycleTrack計数とグランドトゥルースの一致を図7Aに示す。これらの実験から計算された相関係数(γ)は0.9960であり、CycleTrack計数とグランドトゥルースとの間に非常に強い正の関係があることが指し示された。図7Bは、これら8つのビデオにおける時間全体の絶対計数誤差の変化率を示す。フレーム数が増加するにつれて、計数誤差の平均と分散の両方で下降傾向が観察され、これは、最初の300フレームで急速に減少し、そして、その後、CenterTrackからのベースベクトルが徐々に毛細管流の右方向に安定するにつれて、より安定する。モデルが通常400以上の細胞をカウントしたときにフレーム数が600を超えると、平均誤差は5%を下回り安定する。これは、臨床場面で信頼できる計数をするには、OBCビデオは少なくとも600フレーム(3:75s)であることが推奨されることを指し示す。1000フレーム(6:25s)になると、CycleTrack法は、オリジナルのセンタートラックとソートがそれぞれ93:45%と77:02%の精度であるのと比較して、96:58±2:43%の最先端の平均計数精度に到達する。これは、同じオブジェクト検出器であれば、より安定した長時間追跡が最終的な計数精度の大幅な改善に寄与することを実証する。Visらによる検証研究では、慣例の血液学における最新の分析血球計数精度は96:8%を超えると報告された。そして、ポイント・オブ・ケア機器からの指刺血球計数の平均変動係数は、少なくとも3倍高かった。CycleTrackは、1000フレームのOBCビデオにおいて、手動のグランドトゥルースの計数と比較して、96:58%の有望な平均精度を達成し、これはポイント・オブ・ケア技術として許容される臨床精度に近い。
実行時間は主に、入力画像の解像度と、検出及び追跡されるオブジェクトの数とに依存する。16ビットの画像入力を用いると、CycleTrackは約12フレーム/秒で動作させた。比較モデルの実行時間を表1の最後の列に示す。CenterNetの効率性のおかげで、CycleTrackは、良好な検出精度を維持しながら、速度の点で他のトラッカーよりも大きな優位性を有する。その上、SORTは、リアルタイムの追跡が可能な、高速で教師なしのオンライントラッキングモデルであるため、CycleTrackにこのモデルを組み込むことで、オリジナルのCenterTrackより増大な計算コストは追加されない。
図7Cは、過去50フレームの絶対誤差と共に予測された変位ベクトルからフレーム全体の平均速度を推定した4つの例を示す。これらのデータから、明確な正弦波信号が凡そ1Hzの周波数で存在することが観察される。これは、毎分約60拍の予想される正常な生理的心拍数の範囲内に収まる。それゆえに、血流指標、及びバイタルサインなどのような、血算以外の重要な生理学的情報をこの技術で評価することが可能であると考えられる。その上、これらのデータは、絶対誤差のピークが血流速度のピークと整列する傾向があることを示しており、これは計数誤差と血流速度の相関を指し示す。
要約すると、CycleTrackと呼ばれるディープトラッキングモデルは、OBCビデオから血球を自動的に計数することが開示されている。CycleTrackは、2つのオンライントラッキングモデル、SORTとCenterTrackを組み合わせ、最小限の実行時間の増加で、2つの連続するフレームにおいて、新たに検出された細胞と以前に追跡された細胞との最適なマッチングを達成するために前後の細胞変位ベクトルを予測する。2つの単純な仮定を我々のモデルの精度を高めるために血流について行った。(1)同じ毛細血管の細胞は1フレームで似たような方向に流れる傾向がある、(2)個々の細胞はフレーム全体でほぼ直線的な一定速度で移動する。CycleTrackの結果は、既存の4つのマルチオブジェクトトラッキングモデルを凌駕し、臨床の許容精度に近い96.58%の平均精度で、ロバストな細胞計数を実証する。加えて、CycleTrackは、血流速度、及び心拍数のような、OBCビデオから他の貴重な臨床バイオマーカーを探索する有望なモデルである。
図8は、CycleTrackの出力例を示す。1行目は連続するフレーム(t0-t4)におけるオリジナルの入力を示し、2行目はCycleTrackからオブジェクト検出器(CenterNet)によって予測されたバウンディングボックスを示し、3行目はCycleTrackによる最適マッチングプランの前方変位ベクトルを示し、最後の行は本開示の例による最終的なトラッキング結果を示す。異なるフレームで追跡された細胞は、同一のトラッキングIDに割り当てられるだろう。
図9は、図2の環境200内で使用され得るデバイス900の構成要素の例を図示する。デバイス900は、画像キャプチャデバイス210、血算測定システム220、及び/又は診断ワークフローシステム230に対応してもよい。画像キャプチャデバイス210、血算測定システム220、及び/又は診断ワークフローシステム230の各々は、1つ以上のデバイス900及び/又はデバイス900の1つ以上の構成要素を含んでもよい。
図9に示すように、デバイス500は、バス905、プロセッサ910、メインメモリ915、読み取り専用メモリ(ROM)920、記憶デバイス925、入力デバイス950、出力デバイス955、及び通信インターフェース940を含んでもよい。
バス905は、デバイス900の構成要素間の通信を可能にする経路を含んでもよい。プロセッサ910は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又は命令を解釈して実行する他のタイプのプロセッサを含んでもよい。メインメモリ915は、プロセッサ910による実行のための情報若しくは命令を記憶するランダムアクセスメモリ(RAM)又は別のタイプの動的記憶デバイスを含んでもよい。ROM920は、プロセッサ910が使用するための静的な情報若しくは命令を記憶するROMデバイス又は別のタイプの静的記憶デバイスを含んでよい。記憶デバイス925は、ハードディスクドライブなどのような磁気記憶媒体、又はフラッシュメモリなどのようなリムーバブルメモリを含んでもよい。
入力デバイス950は、制御ボタン、キーボード、キーパッド、又は他のタイプの入力デバイスなどのような操作者がデバイス900に情報を入力することを可能にする構成要素を含んでもよい。出力デバイス955は、発光ダイオード(LED)、ディスプレイ、又は他のタイプの出力デバイスなどのような、操作者に情報を出力する構成要素を含んでもよい。通信インターフェース940は、デバイス500が他のデバイス又はネットワークと通信することを可能にする任意のトランシーバのような構成要素を含んでもよい。いくつかの実施形態では、通信インターフェース940は、無線インターフェース、有線インターフェース、又は無線インターフェースと有線インターフェースとの組み合わせを含んでもよい。いくつかの実施態様において、通信インターフェース940は、ネットワークからコンピュータ可読プログラム命令を受信してもよく、コンピュータ可読記憶媒体(例えば、記憶デバイス925)に記憶するためにコンピュータ可読プログラム命令を転送してもよい。
デバイス900は、以下に詳細に説明するように、特定の動作を行ってもよい。デバイス900は、プロセッサ910がメインメモリ915などのようなコンピュータ可読媒体に含まれるソフトウェア命令を実行することに応答して、これらの動作を行ってもよい。コンピュータ可読媒体は、非一過性のメモリデバイスとして定義されてもよく、電波若しくは他の自由に伝播する電磁波、導波管若しくは他の伝送媒体(例えば、光ファイバケーブルを通過する光パルス)を介して伝播する電磁波、又はワイヤを介して伝送される電気信号などのような一過性の信号そのものであると解釈されるものではない。メモリデバイスは、単一の物理的記憶デバイス内のメモリ空間、又は複数の物理的記憶デバイス全体のメモリ空間を含んでもよい。
ソフトウェア命令は、記憶デバイス925などのような別のコンピュータ読み取り可能媒体から、又は通信インターフェース940を介して別のデバイスから、メインメモリ915に読み込まれてもよい。メインメモリ915中に含まれるソフトウェア命令は、プロセッサ910に、本明細書でより詳細に説明される処理を行うように指示してもよい。あるいは、本明細書で説明する処理を実現するために、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用してもよい。このように、本明細書で説明する実施形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
いくつかの実施形態において、デバイス900は、図5に示されているよりも追加の構成要素、より少ない構成要素、異なる構成要素、又は異なる配列の構成要素を含んでもよい。
本開示の態様は、本開示の実施態様による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図、及び/又はブロック図を参照して本明細書で記載される。フローチャート図、及び/又はブロック図の各ブロック、並びにフローチャート図、及び/又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施することができることが理解されるであろう。
これらのコンピュータ可読プログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び/又はブロック図のブロック若しくは複数のブロックで指定された機能/動作を実施するための手段を作成するような、機械を作り出すために、汎用コンピュータ、特殊用途コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラム可能なデータ処理装置、及び/又は他の装置に、その中に記憶された命令を有するコンピュータ可読記憶媒体が、フローチャート及び/又はブロック図のブロック若しくは複数のブロックで指定された機能/動作の態様を実施する命令を含む製造品を備えるように、特定の態様で機能するように指示することができるコンピュータ可読記憶媒体に記憶されてもよい。
図中のフローチャート及びブロック図は、本開示の様々な実施態様によるシステム、方法、及びコンピュータプログラム製品の可能な実施形態のアーキテクチャ、機能性、及び動作を図示する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能を実装するための1つ以上の実行可能命令を備える命令のモジュール、セグメント、又は部分を表し得る。いくつかの代替的な実施態様では、ブロックに記載された機能は、図に書き留められた順序から外れて発生してもよい。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行されてもよいし、又はブロックは、関与する機能に依存して、逆の順序で実行されてもよい。また、ブロック図及び/又はフローチャート図の各ブロック、並びにブロック図及び/又はフローチャート図のブロックの組み合わせは、指定された機能若しくは動きを行う、又は特別な目的のハードウェア及びコンピュータ命令の組み合わせを遂行する、特別な目的のハードウェアベースのシステムによって実装され得ることに留意されたい。
本開示の実施態様は、任意の可能な技術的詳細レベルの統合において、システム、方法、及び/又はコンピュータプログラム製品を含んでもよい。コンピュータプログラム製品は、プロセッサに本開示の態様及び/又はプロセスを遂行又は実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体(又は媒体)を含んでもよい。
実施態様において、コンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路用の構成データ、若しくは、Smalltalk、C++若しくはそれらのようなものなどのようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語若しくは似たようなプログラミング言語などのような手続き型プログラミング言語を含む1つ以上のプログラミング言語の任意の組み合わせで書かれたソースコード又はオブジェクトコードのいずれかであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行してもよく、部分的にユーザのコンピュータ上で実行してもよく、スタンドアロンソフトウェアパッケージとして実行してもよく、部分的にユーザのコンピュータ上と、部分的にリモートコンピュータ上とで実行してもよく、又は完全にリモートコンピュータ上若しくはサーバ上で実行してもよい。
いくつかの実施態様では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)、又はプログラマブルロジックアレイ(PLA)を含む電子回路は、本開示の態様を行うために、コンピュータ可読プログラム命令の状態情報を利用することで、コンピュータ可読プログラム命令を実行し、電子回路をパーソナライズしてもよい。
また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルな装置、若しくは他のデバイスで実行される命令が、フローチャート及び/若しくはブロック図のブロック若しくはブロックで指定された機能/動作を実装するように、コンピュータ実装プロセスを作り出すために、コンピュータ、他のプログラマブルな装置、又は他のデバイス上で一連の動作ステップを行わせるように、コンピュータ、他のプログラマブルなデータ処理装置、又は他のデバイスにロードされてもよい。
実施態様において、サービスプロバイダは、本明細書に記載されるプロセスを行うことを提供し得る。この場合、サービスプロバイダは、1つ以上の顧客のために、本開示のプロセスステップを行うコンピュータインフラストラクチャを作成、維持、展開、サポート等することができる。これらの顧客は、例えば、技術を使用する任意のビジネスであってもよい。その見返りとして、サービスプロバイダは、サブスクリプション及び/若しくは料金契約の下に顧客から支払いを受けることができ、並びに/又はサービスプロバイダは、1つ以上の第三者への広告コンテンツの販売から支払いを受けることができる。
前述の記載は、例示及び説明を提供するが、網羅的であること、又は可能な実装を開示された正確な形態に限定することを意図するものではない。修正及び変形は、上記の開示に照らして可能であり、又は実施形態の実践から取得し得る。
上記で提供された記載の異なる実施例は、図に示された実施形態において、ソフトウェア、ファームウェア、及びハードウェアの多くの異なる形態で実装されてもよいことが明らかであろう。これらの実施例を実施するために使用される実際のソフトウェアコード又は特殊な制御ハードウェアは、実施形態を限定するものではない。このように、これらの実施例の動作及び挙動は、特定のソフトウェアコードを参照することなく記載されている-ソフトウェア及び制御ハードウェアは、本明細書の記載に基づいてこれらの実施例を実装するように設計できることが理解される。
特徴の特定の組み合わせが特許請求の範囲に列挙され、及び/又は明細書に開示されているとしても、これらの組み合わせは、可能な実装の開示を制限することを意図していない。実際、これらの特徴の多くは、特許請求の範囲に具体的に列挙されていない方法及び/又は明細書に開示されていない方法で組み合わせてもよい。以下に載せられる各従属請求項は、他の1つの請求項のみに直接的に依存する場合があるが、可能な実装の開示は、請求項セット内の他の全ての請求項との組み合わせにおける各従属請求項を含む。
本開示は、限られた数の実施態様に関して開示されている一方で、本開示の利益を有する当業者は、そこから多数の修正及び変形を理解するであろう。添付の特許請求の範囲は、本開示の真の精神及び範囲内に入るような修正及び変形をカバーすることが意図される。
本出願で使用されるいかなる要素、動き、又は命令も、そのように明示的に記載されない限り、重要又は必須と解釈されるべきではない。また、本明細書で使用される場合、冠詞「1つ(a)」は、1つ以上の項目を含むことを意図しており、「1つ以上(one or more)」と互換的に使用されてもよい。1つの項目のみが意図されるところでは、用語「1つ(one)」又は類似の文言が使用される。さらに、「に基づく」という表現は、明示的に別段の記載がない限り、「少なくとも部分的に基づく」という意味を意図している。
Claims (20)
- 画像キャプチャデバイスと、
前記画像キャプチャデバイスに取り付け可能な毛細血管スコープと
を備えるシステムであって、前記毛細血管スコープは、
中心水平軸線からオフセットされた角度及び位置でオフセット光を供給するように構成される光源であり、前記毛細血管スコープによって捕捉した再帰光が前記毛細血管スコープの焦点面に正味の斜めの角度で入射するように前記オフセット光を供給する、該光源、
前記再帰光がそこを通過するリバースレンズ、及び
1つ以上の望遠レンズであり、斜めの照明が、前記リバースレンズを通過した後に通過して前記画像キャプチャデバイスのレンズに到達する、該1つ以上の望遠レンズ、
を有する、該毛細血管スコープと、
を備える、システム。 - 請求項1に記載のシステムにおいて、前記画像キャプチャデバイスがポータブルデバイスである、システム。
- 請求項1に記載のシステムにおいて、前記画像キャプチャデバイスがスマートフォンである、システム。
- 請求項1に記載のシステムにおいて、前記画像キャプチャデバイスが携帯電話である、システム。
- 請求項1に記載のシステムにおいて、さらに、前記毛細血管スコープは、前記オフセット光を供給するために前記光源からの光を向けるように構成されるビームスプリッタを備える、システム。
- 請求項1に記載のシステムにおいて、前記光源は、前記患者部位に向かって角度を付けられ、前記リバースレンズを迂回する、システム。
- 請求項1に記載のシステムにおいて、前記毛細血管スコープは、前記光源からの光又は前記再帰光を受光するための1つ以上のビーム調整コンポーネントを更に備える、システム。
- 請求項1に記載のシステムにおいて、さらに、前記画像キャプチャデバイスの前記レンズを通過する前記再帰光に基づいて診断ワークフローを実行するために、前記診断ワークフローへの入力として運用可能な血算データを出力するプロセッサを備える、システム。
- 請求項8に記載のシステムにおいて、前記診断ワークフローは、訓練されたニューラルネットワークを使用して実行される、システム。
- 請求項9に記載のシステムにおいて、前記訓練されたニューラルネットワークは、教師あり、教師なし、又は半教師ありのトレーニングを使用して訓練される、システム。
- 請求項8に記載のシステムにおいて、前記診断ワークフローは、
全血算を測定するための細胞量測定、
鎌状赤血球分析、
血球濃度測定、
ヘマトクリット測定、又は
ヘモグロビン濃度測定、
の少なくとも1つを含む、システム。 - 請求項8に記載のシステムにおいて、前記運用可能な血算は、
全血算(CBC)データ、
血球マスク、血球の粘度、
血球の転がり/粘着性、
敗血症の血球分布幅、又は
血球挙動の時間的傾向、
の少なくとも1つを含む、システム。 - 請求項1に記載のシステムにおいて、さらに、前記光源からの出力光を前記患者部位に結合させるライトガイドと、前記患者部位からの反射光を前記リバースレンズに結合させるリレーレンズ系と、を備える、システム。
- 請求項8に記載のシステムにおいて、前記画像キャプチャデバイスは、前記毛細血管スコープによって捕捉した画像を示し、正確な測定値を取得するための前記毛細血管スコープの最適な場所に関するフィードバックをユーザに提供し、前記診断ワークフローによって作り出される結果を表示するユーザインターフェースを作り出すアプリケーションを備える、システム。
- 請求項1に記載のシステムにおいて、前記画像キャプチャデバイスは、高速ビデオの短いウィンドウを捕捉できるようにする、バーストモードでデータを取得するように構成される、システム。
- 請求項1に記載のシステムにおいて、さらに、前記リバースレンズの外側の周囲に配置されるキャップを備え、前記キャップは、使い捨て又は使用後に洗浄可能である、システム。
- 請求項1に記載のシステムにおいて、前記キャップは、使用中に前記毛細血管スコープを安定させるための吸引を提供する、システム。
- 請求項1に記載のシステムにおいて、前記画像キャプチャデバイスは、使用中に異なる焦点面で画像を取得し、診断のために3D細胞を分析するための診断ワークフローで使用される3次元データを作り出すように構成される、システム。
- 画像キャプチャデバイスに取り付け可能な毛細血管スコープであって、
中心水平軸線からオフセットされた角度及び位置でオフセット光を供給するように構成される光源であり、前記毛細血管スコープによって捕捉した再帰光が前記毛細血管スコープの焦点面に正味の斜めの角度で入射するように、前記オフセット光を供給する、該光源、
前記再帰光がそこを通過するリバースレンズ、
1つ以上の望遠レンズであり、前記再帰光が、前記リバースレンズを通過した後に通過して前記画像キャプチャデバイスのレンズに到達する、該1つ以上の望遠レンズ
を有する、該毛細血管スコープと、及び
前記画像キャプチャデバイスの前記レンズを通過する前記再帰光に基づいて診断ワークフローを実行するために、前記診断ワークフローへの入力として運用可能な血算データを出力するプロセッサと、
を備える、システム。 - 光源を有する画像キャプチャデバイスと、
前記光源から患者部位に光を供給するライトガイドと、
前記画像キャプチャデバイスに取り付け可能な毛細血管スコープであって、
前記患者部位からの再帰光がそこを通過するリバースレンズ、及び
1つ以上の望遠レンズであり、斜めの照明が、前記リバースレンズを通過した後に通過して前記画像キャプチャデバイスのレンズに到達する、該1つ以上の望遠レンズ、
を有する、該毛細血管スコープと、
を備える、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063127668P | 2020-12-18 | 2020-12-18 | |
US63/127,668 | 2020-12-18 | ||
PCT/US2021/064172 WO2022133296A1 (en) | 2020-12-18 | 2021-12-17 | A compact capillaroscope for non-invasive blood analysis |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024502242A true JP2024502242A (ja) | 2024-01-18 |
Family
ID=82058530
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023537333A Pending JP2024502242A (ja) | 2020-12-18 | 2021-12-17 | 小型毛細血管スコープと機械学習技術を使用する非侵襲的血液分析 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240032827A1 (ja) |
EP (1) | EP4262558A1 (ja) |
JP (1) | JP2024502242A (ja) |
CN (1) | CN116847783A (ja) |
WO (1) | WO2022133296A1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7006223B2 (en) * | 2003-03-07 | 2006-02-28 | 3Gen, Llc. | Dermoscopy epiluminescence device employing cross and parallel polarization |
UA67709C2 (en) * | 2003-12-31 | 2007-12-25 | Uliana Bohdanivna Luschyk | Method for estimating disorders in the microcirculation system by the analysis of blood vessel capillarity |
RU2367340C2 (ru) * | 2007-02-12 | 2009-09-20 | Закрытое акционерное общество "Инженерное предприятие "Поток" | Прибор для регистрации капиллярного кровотока |
EP3716207B1 (en) * | 2019-03-26 | 2023-11-29 | Active Medical B.V. | Method and apparatus for diagnostic analysis of the function and morphology of microcirculation alterations |
-
2021
- 2021-12-17 JP JP2023537333A patent/JP2024502242A/ja active Pending
- 2021-12-17 EP EP21907945.6A patent/EP4262558A1/en active Pending
- 2021-12-17 WO PCT/US2021/064172 patent/WO2022133296A1/en active Application Filing
- 2021-12-17 US US18/257,661 patent/US20240032827A1/en active Pending
- 2021-12-17 CN CN202180092994.2A patent/CN116847783A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022133296A1 (en) | 2022-06-23 |
EP4262558A1 (en) | 2023-10-25 |
CN116847783A (zh) | 2023-10-03 |
US20240032827A1 (en) | 2024-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11963750B2 (en) | Systems, devices and methods for non-invasive hematological measurements | |
Herrick et al. | Quantitative nailfold capillaroscopy—update and possible next steps | |
JP2011206542A (ja) | 自閉症診断支援用装置 | |
US20220378300A1 (en) | Systems and methods for monitoring the functionality of a blood vessel | |
EP4045138A1 (en) | Systems and methods for monitoring the functionality of a blood vessel | |
CN115699108A (zh) | 一种从无创性毛细血管视频中检测白细胞和/或白细胞亚型的方法 | |
Carlsohn et al. | 3d real-time visualization of blood flow in cerebral aneurysms by light field particle image velocimetry | |
Martinez-Delgado et al. | Measuring heart rate variability using facial video | |
JP2024502242A (ja) | 小型毛細血管スコープと機械学習技術を使用する非侵襲的血液分析 | |
KR102389961B1 (ko) | 적외선 이미징 기반 혈류 측정 장치 및 방법 | |
CN106955089B (zh) | 一种脑功能成像和脑组织成分检测的方法及装置 | |
EP3805835B1 (en) | Optical imaging system and related apparatus, method and computer program | |
US11908129B2 (en) | Impairment analysis systems and related methods | |
JP7540711B2 (ja) | 眼球運動自動記録システム、演算装置、演算方法およびプログラム | |
JEMAA et al. | Digital Twin For A Human Heart Using Deep Learning and Stream Processing Platforms | |
Avilés et al. | An Ultrasound Transducer Tracking System Enhanced by Artificial Intelligence: A Camera-Based Approach | |
Lai et al. | Measuring Eye Movement Features using Mobile Devices to Track Neurodegenerative Diseases | |
JP2002355218A (ja) | 眼血流計 | |
Adler et al. | Application-driven Validation of Posteriors in Inverse Problems | |
Santa Barletta et al. | Check for updates DeskEmo, A Multi-platform Desktop Software for Remote Control and Monitoring of Hematological Parameters | |
Karapetyan et al. | Development and validation of an improved smartphone heart rate acquisition system | |
Kim et al. | Three-dimensional oral scanning system with the extended clinical utility of optical coherence tomography | |
Tonmoy et al. | Estimation of Oxygen Saturation from PPG Signal using Smartphone Recording | |
WO2024137310A1 (en) | Point-of-care devices and methods for biopsy assessment | |
KR20230031296A (ko) | 내부 및 외부 근접 스캐닝 |