JPWO2019046003A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2019046003A5
JPWO2019046003A5 JP2020503912A JP2020503912A JPWO2019046003A5 JP WO2019046003 A5 JPWO2019046003 A5 JP WO2019046003A5 JP 2020503912 A JP2020503912 A JP 2020503912A JP 2020503912 A JP2020503912 A JP 2020503912A JP WO2019046003 A5 JPWO2019046003 A5 JP WO2019046003A5
Authority
JP
Japan
Prior art keywords
data set
image
machine learning
pixels
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503912A
Other languages
Japanese (ja)
Other versions
JP2020532783A (en
JP7229996B2 (en
Publication date
Application filed filed Critical
Priority claimed from PCT/US2018/046530 external-priority patent/WO2019046003A1/en
Publication of JP2020532783A publication Critical patent/JP2020532783A/en
Publication of JPWO2019046003A5 publication Critical patent/JPWO2019046003A5/ja
Application granted granted Critical
Publication of JP7229996B2 publication Critical patent/JP7229996B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

テスト画像データセットに基づいて動作データを推定する方法であって、
第１の複数のピクセルの各ピクセルについて、捕捉された深部組織画像における前記ピクセルの強度を含むテスト画像データセットを受信することであって、前記捕捉された深部組織画像は、生体組織の表面下のある深度で対象を撮像しながら収集された画像である、前記テスト画像データセットを受信することと、
コンピュータシステムにおいて、前記テスト画像データセットを機械学習モデルに投入して処理することにより、前記テスト画像データセットに表される予測される動作を判定することであって、前記機械学習モデルは、前記機械学習モデルの１つ以上のパラメータを学習するための訓練データセットを使用して訓練されており、前記訓練データセットは、複数の訓練データ要素を含み、前記複数の訓練データ要素の各訓練データ要素は、
第２の複数のピクセルの各ピクセルについて、画像特性値を含む画像データセットであって、前記画像特性値は、少なくとも前記ピクセルの強度に基づいている、画像データセットと、
移動を表す前記第２の複数のピクセルの一部分を示す動作データセットと、を含む、前記予測される動作を判定することと、
前記テスト画像データセットについて、前記機械学習モデルからの前記予測される動作に対応する出力データを生成することと、を含む、方法。 A method of estimating motion data based on a test image dataset.
For each pixel of the first plurality of pixels, receiving a test image data set containing the intensity of the pixel in the captured deep tissue image, wherein the captured deep tissue image is the surface of the living tissue. Receiving the test image data set , which is an image collected while imaging an object at a certain depth below,
In a computer system, the test image data set is input to a machine learning model and processed to determine the expected operation represented by the test image data set, and the machine learning model is the machine learning model. Trained using a training data set to train one or more parameters of a machine learning model, the training data set comprises a plurality of training data elements and each training data of the plurality of training data elements. The element is
An image data set comprising an image characteristic value for each pixel of the second plurality of pixels, wherein the image characteristic value is based on at least the intensity of the pixel.
Determining the predicted behavior, including a motion data set representing a portion of the second plurality of pixels representing movement.
A method comprising generating output data corresponding to the predicted behavior from the machine learning model for the test image dataset . 前記機械学習モデルおよび前記テスト画像データセットを使用して生成された前記出力データに基づいて、前記テスト画像データセットに関連付ける１つ以上の流量値を判定することと、
前記１つ以上の流量値を出力することと、をさらに含む、請求項１に記載の方法。 Determining one or more flow values associated with the test image data set based on the output data generated using the machine learning model and the test image data set.
The method of claim 1, further comprising outputting one or more flow rates. 前記画像特性値は、１つ以上の他の強度にさらに基づいており、前記１つ以上の他の強度の各強度は、前記ピクセルを有する空間クラスタ内の別のピクセルの強度である、請求項１に記載の方法。 The image characteristic value is further based on one or more other intensities, wherein each intensity of the one or more other intensities is the intensity of another pixel in a spatial cluster having said pixels. The method according to 1. 前記１つ以上のパラメータは、
前記ピクセルの前記強度と、
前記空間クラスタ内の１つ以上のピクセルと、に基づく統計値を含む、請求項３に記載の方法。 The one or more parameters are
With the intensity of the pixel,
3. The method of claim 3, comprising one or more pixels in the spatial cluster and statistics based on. 前記複数の訓練データ要素の各訓練データ要素について、前記画像データセットに基づいて１つ以上の画像統計値を生成することをさらに含み、前記機械学習モデルは、前記１つ以上の画像統計値を使用して訓練され、前記１つ以上のパラメータは、前記１つ以上の画像統計値のうちの画像統計値に関連付けられた重みを含む、請求項１に記載の方法。 For each training data element of the plurality of training data elements, further comprising generating one or more image statistics based on the image data set, the machine learning model comprises the one or more image statistics. The method of claim 1, wherein the one or more parameters are trained using and include weights associated with an image statistic of the one or more image statistic values. 前記動作データセットは、前記生体組織内の流体の移動に対応する画像特性値を有する前記第２の複数のピクセルの不完全なサブセットを示す、請求項１に記載の方法。 The method of claim 1, wherein the motion data set represents an incomplete subset of the second plurality of pixels having image characteristic values corresponding to the movement of the fluid in the living tissue. 前記機械学習モデルは、畳み込みニューラルネットワークを含み、
畳み込みフィルタのセットは、前記１つ以上のパラメータに依存し、
前記機械学習モデルを訓練することは、前記畳み込みフィルタのセットに対する前記１つ以上のパラメータを特定することを含み、
前記テスト画像データセットについて前記出力データを生成することは、前記第１の複数のピクセルを含む画像を出力することを含む、請求項１に記載の方法。 The machine learning model includes a convolutional neural network.
The set of convolution filters depends on one or more of the above parameters.
Training the machine learning model involves identifying the one or more parameters for the set of convolution filters.
The method of claim 1, wherein generating the output data for the test image dataset comprises outputting an image containing the first plurality of pixels. 前記深度は、少なくとも１ｍｍである、請求項１に記載の方法。 The method of claim 1, wherein the depth is at least 1 mm. 前記動作データセットは、血液を使用して測定された流れに基づいている、請求項１に記載の方法。 The method of claim 1, wherein the motion data set is based on a flow measured using blood. テスト画像データセットに基づいて動作データを推定するためのシステムであって、１つ以上のプロセッサと、実行されるときに前記１つ以上のプロセッサに、
第１の複数のピクセルの各ピクセルについて、捕捉された深部組織画像における前記ピクセルの強度を含むテスト画像データセットを受信することであって、前記捕捉された深部組織画像は、生体組織の表面下のある深度で対象を撮像しながら収集された画像である、前記テスト画像データセットを受信することと、
前記テスト画像データセットを機械学習モデルに投入して処理することにより、前記テスト画像データセットに表される予測される動作を判定することであって、前記機械学習モデルは、前記機械学習モデルの１つ以上のパラメータを学習するための訓練データセットを使用して訓練されており、前記訓練データセットは、複数の訓練データ要素を含み、前記複数の訓練データ要素の各訓練データ要素は、
第２の複数のピクセルの各ピクセルについて、画像特性値を含む画像データセットであって、前記画像特性値は、少なくとも前記ピクセルの強度に基づいている、画像データセットと、
移動を表す前記第２の複数のピクセルの一部分を示す動作データセットと、を含む、前記予測される動作を判定することと、
前記テスト画像データセットについて、前記機械学習モデルからの前記予測される動作に対応する出力データを生成することと、を行わせる、複数の命令を記憶するコンピュータ可読媒体と、を含む、システム。 A system for estimating operational data based on a test image dataset, to one or more processors and to the one or more processors when executed .
For each pixel of the first plurality of pixels, receiving a test image data set containing the intensity of the pixel in the captured deep tissue image, wherein the captured deep tissue image is the surface of the living tissue. Receiving the test image data set , which is an image collected while imaging an object at a certain depth below,
By inputting the test image data set into the machine learning model and processing the test image data set, the expected operation represented by the test image data set is determined, and the machine learning model is the machine learning model. The training data set is trained using a training data set for learning one or more parameters, the training data set includes a plurality of training data elements, and each training data element of the plurality of training data elements is.
An image data set comprising an image characteristic value for each pixel of the second plurality of pixels, wherein the image characteristic value is based on at least the intensity of the pixel.
Determining the predicted behavior, including a motion data set representing a portion of the second plurality of pixels representing movement.
A system comprising, for the test image data set, a computer-readable medium for storing a plurality of instructions to generate and perform output data corresponding to the predicted behavior from the machine learning model . 前記複数の命令は、実行されるときに、前記１つ以上のプロセッサに、
前記機械学習モデルおよび前記テスト画像データセットを使用して生成された前記出力データに基づいて、前記テスト画像データセットに関連付けるために１つ以上の流量値を判定することと、
前記１つ以上の流量値を出力することと、をさらに行わせる、請求項１０に記載のシステム。 When the plurality of instructions are executed, the plurality of instructions are sent to the one or more processors.
Determining one or more flow values to associate with the test image data set based on the output data generated using the machine learning model and the test image data set.
The system according to claim 10 , wherein the output of one or more flow rate values is further performed. 前記画像特性値は、１つ以上の他の強度にさらに基づいており、前記１つ以上の他の強度の各強度は、前記捕捉された深部組織画像における前記ピクセルを有する空間クラスタ内の別のピクセルの強度である、請求項１０に記載のシステム。 The image characteristic values are further based on one or more other intensities, and each intensity of the one or more other intensities is another within the spatial cluster having the pixels in the captured deep tissue image. The system according to claim 10 , which is the intensity of pixels. 前記１つ以上のパラメータは、
前記ピクセルの前記強度と、
前記空間クラスタ内の１つ以上のピクセルと、に基づく統計値を含む、請求項１２に記載のシステム。 The one or more parameters are
With the intensity of the pixel,
12. The system of claim 12 , comprising one or more pixels in the spatial cluster and statistics based on. 前記複数の命令は、実行されるときに、前記１つ以上のプロセッサに、
前記複数の訓練データ要素の各訓練データ要素について、前記画像データセットに基づいて１つ以上の画像統計値を生成することをさらに行わせ、前記機械学習モデルは、前記１つ以上の画像統計値を使用して訓練され、前記１つ以上のパラメータは、前記１つ以上の画像統計値のうちの画像統計値に関連付けられた重みを含む、請求項１０に記載のシステム。 When the plurality of instructions are executed, the plurality of instructions are sent to the one or more processors.
For each training data element of the plurality of training data elements, one or more image statistics are further generated based on the image data set, and the machine learning model is the one or more image statistics. 10. The system of claim 10 , wherein the one or more parameters include weights associated with an image statistic of the one or more image statistic values. 前記動作データセットは、前記生体組織内の流体の移動に対応する画像特性値を有する前記第２の複数のピクセルの不完全なサブセットを示す、請求項１０に記載のシステム。 10. The system of claim 10 , wherein the motion data set represents an incomplete subset of the second plurality of pixels having image characteristic values corresponding to the movement of fluid in the living tissue. 前記機械学習モデルは、畳み込みニューラルネットワークを含み、
畳み込みフィルタのセットは、前記１つ以上のパラメータに依存し、
前記機械学習モデルを訓練することは、前記畳み込みフィルタのセットに対する前記１つ以上のパラメータを特定することを含み、
前記テスト画像データセットについて前記出力データを生成することは、前記第１の複数のピクセルを含む画像を出力することを含む、請求項１０に記載のシステム。 The machine learning model includes a convolutional neural network.
The set of convolution filters depends on one or more of the above parameters.
Training the machine learning model involves identifying the one or more parameters for the set of convolution filters.
10. The system of claim 10 , wherein generating the output data for the test image dataset comprises outputting an image comprising said first plurality of pixels. １つ以上のプロセッサによって実行されるとき、テスト画像データセットに基づいてデータを推定する方法を実行する複数の命令を記憶する非一時的コンピュータ可読媒体であって、前記方法は、
第１の複数のピクセルの各ピクセルについて、捕捉された深部組織画像における前記ピクセルの強度を含むテスト画像データセットを受信することであって、前記捕捉された深部組織画像は、生体組織の表面下のある深度で対象を撮像しながら収集されており、前記深度は、少なくとも１ｍｍである、前記テスト画像データセットを受信することと、
前記テスト画像データセットを機械学習モデルに投入して処理することにより、前記テスト画像データセットに表される予測される動作を判定することであって、前記機械学習モデルは、前記機械学習モデルの１つ以上のパラメータを学習するための訓練データセットを使用して訓練されており、前記訓練データセットは、複数の訓練データ要素を含み、前記複数の訓練データ要素の各訓練データ要素は、
第２の複数のピクセルの各ピクセルについて、画像特性値を含む画像データセットであって、前記画像特性値は、少なくとも前記ピクセルの強度に基づいている、画像データセットと、
移動を表す前記第２の複数のピクセルの一部分を示す動作データセットと、を含む、前記予測される動作を判定することと、
前記テスト画像データセットについて、前記機械学習モデルからの前記予測される動作に対応する出力データを生成することと、を含む、非一時的コンピュータ可読媒体。 A non-temporary computer-readable medium that stores multiple instructions that perform a method of estimating data based on a test image dataset when executed by one or more processors .
For each pixel of the first plurality of pixels, receiving a test image data set containing the intensity of the pixel in the captured deep tissue image, wherein the captured deep tissue image is the surface of the living tissue. Receiving the test image data set, which is collected while imaging an object at a certain depth below , said depth is at least 1 mm .
By inputting the test image data set into the machine learning model and processing the test image data set, the expected operation represented by the test image data set is determined, and the machine learning model is the machine learning model. The training data set is trained using a training data set for learning one or more parameters, the training data set includes a plurality of training data elements, and each training data element of the plurality of training data elements is.
An image data set comprising an image characteristic value for each pixel of the second plurality of pixels, wherein the image characteristic value is based on at least the intensity of the pixel.
Determining the predicted behavior, including a motion data set representing a portion of the second plurality of pixels representing movement.
A non-temporary computer-readable medium comprising, for the test image data set, generating output data corresponding to the predicted behavior from the machine learning model . 前記方法は、
前記機械学習モデルおよび前記テスト画像データセットを使用して生成された前記出力データに基づいて、前記テスト画像データセットに関連付けるために１つ以上の流量値を判定することと、
前記１つ以上の流量値を出力することと、をさらに含む、請求項１７に記載の非一時的コンピュータ可読媒体。 The method is
Determining one or more flow values to associate with the test image data set based on the output data generated using the machine learning model and the test image data set.
17. The non-temporary computer-readable medium of claim 17 , further comprising outputting one or more flow rates. 前記画像特性値は、１つ以上の他の強度にさらに基づいており、前記１つ以上の他の強度の各強度は、前記捕捉された深部組織画像における前記ピクセルを有する空間クラスタ内の別のピクセルの強度である、請求項１７に記載の非一時的コンピュータ可読媒体。 The image characteristic values are further based on one or more other intensities, and each intensity of the one or more other intensities is another within the spatial cluster having the pixels in the captured deep tissue image. The non-temporary computer-readable medium of claim 17 , which is the intensity of the pixels. 前記動作データセットは、前記生体組織内の流体の移動に対応する画像特性値を有する前記第２の複数のピクセルの不完全なサブセットを示す、請求項１７に記載の非一時的コンピュータ可読媒体。 17. The non-temporary computer-readable medium of claim 17 , wherein the motion data set represents an incomplete subset of the second plurality of pixels having image characteristic values corresponding to the movement of fluid in the living tissue.
JP2020503912A 2017-08-30 2018-08-13 Speckle contrast analysis using machine learning to visualize flow Active JP7229996B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762551997P 2017-08-30 2017-08-30
US62/551,997 2017-08-30
PCT/US2018/046530 WO2019046003A1 (en) 2017-08-30 2018-08-13 Speckle contrast analysis using machine learning for visualizing flow

Publications (3)

Publication Number Publication Date
JP2020532783A JP2020532783A (en) 2020-11-12
JPWO2019046003A5 true JPWO2019046003A5 (en) 2022-04-08
JP7229996B2 JP7229996B2 (en) 2023-02-28

Family

ID=63490686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503912A Active JP7229996B2 (en) 2017-08-30 2018-08-13 Speckle contrast analysis using machine learning to visualize flow

Country Status (5)

Country Link
US (2) US10776667B2 (en)
EP (1) EP3676797B1 (en)
JP (1) JP7229996B2 (en)
CN (2) CN111052180A (en)
WO (1) WO2019046003A1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019046003A1 (en) 2017-08-30 2019-03-07 Verily Life Sciences Llc Speckle contrast analysis using machine learning for visualizing flow
NL2021837B1 (en) * 2018-10-19 2020-05-13 Stichting Vu Multimode waveguide imaging
US11373298B2 (en) * 2019-03-28 2022-06-28 Canon Medical Systems Corporation Apparatus and method for training neural networks using small, heterogeneous cohorts of training data
CN114364298A (en) * 2019-09-05 2022-04-15 奥林巴斯株式会社 Endoscope system, processing system, method for operating endoscope system, and image processing program
CN110659591B (en) * 2019-09-07 2022-12-27 中国海洋大学 SAR image change detection method based on twin network
KR20210045229A (en) * 2019-10-16 2021-04-26 삼성전자주식회사 A computing apparatus and a method of operating the computing apparatus
JP2023505265A (en) * 2019-12-05 2023-02-08 テンパス・ラボズ・インコーポレイテッド Systems and methods for high-throughput drug screening
CN111260586B (en) * 2020-01-20 2023-07-04 北京百度网讯科技有限公司 Correction method and device for distorted document image
US11561178B2 (en) 2020-04-20 2023-01-24 Tempus Labs, Inc. Artificial fluorescent image systems and methods
US11393182B2 (en) * 2020-05-29 2022-07-19 X Development Llc Data band selection using machine learning
CN112288008B (en) * 2020-10-29 2022-03-01 四川九洲电器集团有限责任公司 Mosaic multispectral image disguised target detection method based on deep learning
CN115984405B (en) * 2023-01-12 2024-03-29 中国科学院宁波材料技术与工程研究所 Scattering imaging method, system and model training method based on autocorrelation enhancement

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4706003B2 (en) 2003-06-12 2011-06-22 ブラッコ・シュイス・ソシエテ・アノニム Blood flow evaluation method using supplemental curve fitting in ultrasound contrast images
US7397935B2 (en) * 2004-05-10 2008-07-08 Mediguide Ltd. Method for segmentation of IVUS image sequences
US9672471B2 (en) * 2007-12-18 2017-06-06 Gearbox Llc Systems, devices, and methods for detecting occlusions in a biological subject including spectral learning
WO2013096546A1 (en) 2011-12-21 2013-06-27 Volcano Corporation Method for visualizing blood and blood-likelihood in vascular images
US11206990B2 (en) * 2013-01-23 2021-12-28 Pedra Technology Pte Ltd Deep tissue flowmetry using diffuse speckle contrast analysis
WO2014152919A1 (en) * 2013-03-14 2014-09-25 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona For And On Behalf Of Arizona State University Kernel sparse models for automated tumor segmentation
US8824752B1 (en) * 2013-03-15 2014-09-02 Heartflow, Inc. Methods and systems for assessing image quality in modeling of patient anatomic or blood flow characteristics
US10722173B2 (en) * 2014-10-14 2020-07-28 East Carolina University Methods, systems and computer program products for visualizing anatomical structures and blood flow and perfusion physiology using imaging techniques
US9717417B2 (en) * 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
EP3229668A4 (en) * 2014-12-08 2018-07-11 Luis Daniel Munoz Device, system and methods for assessing tissue structures, pathology, and healing
US9839483B2 (en) * 2015-04-21 2017-12-12 Heartflow, Inc. Systems and methods for risk assessment and treatment planning of arterio-venous malformation
CN107977709B (en) 2017-04-01 2021-03-16 北京科亚方舟医疗科技股份有限公司 Deep learning model and system for predicting blood flow characteristics on blood vessel path of blood vessel tree
WO2019046003A1 (en) 2017-08-30 2019-03-07 Verily Life Sciences Llc Speckle contrast analysis using machine learning for visualizing flow

Similar Documents

Publication Publication Date Title
KR102058884B1 (en) Method of analyzing iris image for diagnosing dementia in artificial intelligence
JP2006318103A5 (en)
JPWO2019046003A5 (en)
JP2019525786A (en) System and method for automatically detecting, locating, and semantic segmentation of anatomical objects
KR101232010B1 (en) Method for calculating brightness level in the area of interest of the digital x-ray image for medical applications
US11333730B2 (en) Systems and methods for mapping neuronal circuitry and clinical applications thereof
JP7443002B2 (en) Image analysis device, image analysis method, and program
JP2020532783A (en) Speckle Contrast Analysis Using Machine Learning to Visualize Flow
CN110598582A (en) Eye image processing model construction method and device
CN107242876B (en) Computer vision method for mental state
CN114399480A (en) Method and device for detecting severity of vegetable leaf disease
DE112015006378T5 (en) Image processing apparatus, image processing method and image processing program
KR20220112269A (en) Neural Network Processing of OCT Data to Generate Predictions of Supervised Atrophy Growth Rates
CN113128585B (en) Deep neural network based multi-size convolution kernel method for realizing electrocardiographic abnormality detection and classification
Chen et al. Dropcluster: A structured dropout for convolutional networks
JPWO2021181627A5 (en) Image processing device, image recognition system, image processing method and image processing program
CN117058079A (en) Thyroid imaging image automatic diagnosis method based on improved ResNet model
CN113197558A (en) Heart rate and respiratory rate detection method and system and computer storage medium
WO2020116129A1 (en) Pre-processing device, pre-processing method, and pre-processing program
JP7349425B2 (en) Diagnosis support system, diagnosis support method, and diagnosis support program
US20220351373A1 (en) Systems and Methods Related to Age-Related Macular Degeneration
Jadhav et al. Image denoising using deep auto-encoder network for production monitoring in real-time
Yang et al. Plant stem segmentation using fast ground truth generation
Andrey et al. How to choose adaptively parameters of image denoising methods?
WO2024085118A1 (en) Information processing device, information processing method, and program