WO2023193290A1 - 面向体外心脏模拟器的医学成像系统和方法 - Google Patents
面向体外心脏模拟器的医学成像系统和方法 Download PDFInfo
- Publication number
- WO2023193290A1 WO2023193290A1 PCT/CN2022/087070 CN2022087070W WO2023193290A1 WO 2023193290 A1 WO2023193290 A1 WO 2023193290A1 CN 2022087070 W CN2022087070 W CN 2022087070W WO 2023193290 A1 WO2023193290 A1 WO 2023193290A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- basic
- heart
- simulator
- frame
- Prior art date
Links
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 17
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000000338 in vitro Methods 0.000 title claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 210000005246 left atrium Anatomy 0.000 claims abstract description 23
- 210000005241 right ventricle Anatomy 0.000 claims abstract description 15
- 210000005245 right atrium Anatomy 0.000 claims abstract description 13
- 210000005240 left ventricle Anatomy 0.000 claims abstract description 8
- 230000000747 cardiac effect Effects 0.000 claims description 28
- 230000009466 transformation Effects 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 229920001109 fluorescent polymer Polymers 0.000 claims description 4
- 239000002245 particle Substances 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- ZJPGOXWRFNKIQL-JYJNAYRXSA-N Phe-Pro-Pro Chemical compound C([C@H](N)C(=O)N1[C@@H](CCC1)C(=O)N1[C@@H](CCC1)C(O)=O)C1=CC=CC=C1 ZJPGOXWRFNKIQL-JYJNAYRXSA-N 0.000 claims 2
- 230000000712 assembly Effects 0.000 abstract 4
- 238000000429 assembly Methods 0.000 abstract 4
- 230000002159 abnormal effect Effects 0.000 description 11
- 230000000004 hemodynamic effect Effects 0.000 description 10
- 208000007536 Thrombosis Diseases 0.000 description 8
- 210000005242 cardiac chamber Anatomy 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 210000002837 heart atrium Anatomy 0.000 description 7
- 210000004115 mitral valve Anatomy 0.000 description 7
- 230000002861 ventricular Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000017531 blood circulation Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 230000010412 perfusion Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000010146 3D printing Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 101100173586 Schizosaccharomyces pombe (strain 972 / ATCC 24843) fft2 gene Proteins 0.000 description 1
- 230000001746 atrial effect Effects 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 206010008118 cerebral infarction Diseases 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003205 diastolic effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 210000003709 heart valve Anatomy 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 210000002540 macrophage Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 210000000591 tricuspid valve Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/029—Measuring or recording blood output from the heart, e.g. minute volume
Definitions
- the above-mentioned system of the present invention can capture signals for a certain cardiac chamber alone or simultaneously capture signals for multiple cardiac chambers.
- the above parallel circuit can also meet this need. Since the heart has a cardiac cycle, the systolic motions of the atria and ventricles are not completely synchronized, so the above system can also enable the entire capture system to have a temporal capture function. For example, only the left ventricular (LV) signal when the mitral valve is closed is observed and only the left atrium (LA) signal when the mitral valve is open is observed.
- LV left ventricular
- LA left atrium
- Fourier transformation is performed on each frame of image obtained to convert it into data that is easy to process.
- Fourier transformation is performed according to the following formula:
- the center point is then transferred to the center position.
- the selective search SS algorithm is used to select small target proposals, and the feedback convolutional neural network R-CNN is used to filter the proposed small targets.
- the entire system can automatically identify abnormal hemodynamics in the cardiac simulator and be robust.
- An embodiment of the present invention also provides a medical imaging method for an in vitro heart simulator, which uses the system as described above to perform simulated imaging on the heart simulator, wherein fluorescent polymer particles FPP are used for perfusion before imaging.
- fluorescent polymer particles FPP are used for perfusion before imaging.
- the diameter of the FPP is approximately 1-20 ⁇ m. .
- Figure 1 is a schematic structural diagram of the basic components of the imaging system of the present invention.
- Figure 2 is a front view and a top view of the imaging system of the present invention
- Figure 3 is a perspective view of the imaging system of the present invention.
- Figure 5 is a schematic diagram of imaging and signal collection of the present invention.
- Figure 7 is a schematic diagram of the AI-based abnormal hemodynamic detection of the present invention.
- Heart valves Located between the atria and ventricles, they open and close to control blood flow in the atria and ventricles.
- Vortex The fluid presents a nonlinear vortex state. If vortex appears in the heart blood flow, it may cause the formation of thrombus in the ventricular cavity, which may complicate the occurrence of myocardial infarction and cerebral infarction.
- Frame rate is a metric used to measure the number of frames displayed.
- the unit of measurement is "frame per second" (FPS) or "Hertz".
- FPS is used to describe how many frames per second a video, electronic drawing, or game plays.
- High-frequency video target recognition In videos with a large FPS, an AI algorithm is used to segment and identify specific targets in the video based on artificial intelligence.
- a medical imaging system for an extracorporeal heart simulator which includes four groups of basic imaging components.
- the four groups of basic imaging components respectively correspond to the left ventricle, the left atrium, the right ventricle and the right ventricle of the heart simulator.
- each group of basic imaging components includes a video camera and at least two LEDs.
- four groups of basic imaging components are connected to the power supply in parallel and are controlled by independent switches.
- the light source wavelength of each LED is 550nm.
- each set of imaging basic components is spatially aligned with a corresponding chamber of the cardiac simulator.
- the medical imaging system performs frame-by-frame segmentation on the video captured by the basic imaging components to obtain corresponding images to facilitate downstream data conversion and artificial intelligence training.
- the center point is then transferred to the center position.
- the present invention uses four groups of basic components, which respectively correspond to capturing the left ventricle (LV), left atrium (LA), right ventricle (RV) and right atrium (RA) of the heart simulator.
- the heart simulator Since the heart simulator is based on a 1:1 three-dimensional print of the human heart, its internal and external structures are exactly the same as a real heart, which means that it is not a regular structure, that is, the left ventricle is located at the rear right side of the simulator, and the left atrium is located at the simulated The right ventricle is located at the left front of the simulator, and the right atrium is located at the right front of the simulator.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Hematology (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
一种面向体外心脏模拟器的医学成像系统和方法，系统包括四组成像基本组件，四组成像基本组件分别对应心脏模拟器的左心室（LV）、左心房（LA）、右心室（RV）和右心房（RA）设置，每组成像基本组件包括视频摄像头以及至少两个LED，四组成像基本组件以并联形式连接至电源、并分别通过独立的开关（S1，S2，S3，S4）进行控制。通过设计分区管理系统，既可单独对某一心腔进行信号捕捉，也可同时对多个心腔进行信号捕捉，也使整个捕捉系统具有时间性捕捉的功能。
Description
本发明涉及心脏模拟器成像技术领域，尤其涉及一种面向体外心脏模拟器的医学成像系统和方法。
目前市面上并无类似针对心脏模拟器的医学影像成像系统，仅仅在实验室中存在几个用于基于实验的装置，其结构及功能较为简单，并不具备时空分控异常血流动力识别。同时无论实验室还是市面上并不存在基于视频的AI目标识别系统来辅助心脏模拟器的成像系统。总而言之，目前尚不存在具有时空性识别血流动力学异常的面向心脏模拟器使用的医学成像系统。
西班牙瓦伦西亚理工大学于2017年在Scientific Reports发表了针对心脏模拟器使用的成像系统。该成像系统的主要目的并非是探测心脏内的异常血流动力学，而是探测心脏内异常的电生理活动。但其应用的全景光学图谱可对特殊染剂灌注心脏的整个外表面进行电生理活动成像。迄今为止，它是唯一可以同时测量多个关键电生理参数，如跨膜电压和细胞内游离钙的全景心脏成像系统，因此具有很高的空间和时间分辨率。同时研究者使用染剂灌注的猪心来验证整套成像系统的性能，结果显示其具有高敏感性和时空探测性。
但这一成像系统也存在较大的弊端。首先这项研究的面向对象为真实哺乳动物或人类心脏，并不是面向心脏体外模拟器，因此，其并没有考虑3D打印材料对信号的干扰。其次，该成像系统的输出结果仍然为普通的图像，并不具备智能化，因此其并不能自动识别超出人 眼识别范围内的异常信号。
在日本广岛大学发表在Journal of Intelligent & Robotic Systems的论文中，研究者开发了一个长焦云台无人机搜索和跟踪系统，其用于在宽广区域内飞行的多旋翼无人机，该系统可以通过高帧率(HFR)视频检测到无人机螺旋桨周围的周期性亮度变化。HFR视频中的亮度信号的时间频率响应通过对信号进行像素级短时傅里叶转化(STFTs)来计算。其原理为在720×540像素的500帧视频中，使用图形处理单元加速的视频处理来执行像素级的STFTs，进而使得多旋翼无人机可以被主动视觉系统实时跟踪。当然由于其算法只是程序性的转化和追踪，该系统并不具备自主学习能力，即鲁棒性(Robustness)。因此，其应用场景和应用深度较为固定。
现有技术存在以下技术问题：
1.目前的市面上的心脏模拟器成像系统成均针对实验室开发，并无面向临床使用的心脏模拟器。
2.目前市面上并不存在具有时空分控的医学成像系统出现。
3.目前市面上并不存在可以自动识别心脏模拟器中异常血流动力学且具有鲁棒性的医学成像系统。
发明内容
针对上述技术问题1和2，本发明公开了一种面向体外心脏模拟器的医学成像系统，其包括四组成像基本组件，四组成像基本组件分别对应心脏模拟器的左心室、左心房、右心室和右心房设置，每组成像基本组件包括视频摄像头以及至少两个LED，其中，四组成像基本组件以并联形式连接至电源、并分别通过独立的开关进行控制。
本发明的上述系统通过设计分区管理系统，既可单独对某一心腔进行信号捕捉，也可以同时对多个心腔进行信号捕捉。另外，由于临床医生也需要对整个心脏模拟器的四个腔室或多个腔室进行宏观的同时观测，因此上述并联电路同样可满足这一需求。由于心脏具有心动周期，因此心房和心室的收缩运动并不完全同步，因此上述系统也可使整个捕捉系统具有时间性捕捉的功能。例如，在只观测二尖瓣闭合瞬间左心室(LV)的信号同时只观测二尖瓣打开时左心房(LA)的信号。
在进一步的技术方案中，所述视频摄像头为视频帧率为400fps-600fps的高帧率视频摄像头，并且每组成像基本组件包括两个LED。
在进一步的技术方案中，每个LED的光源波长为550nm。
在进一步的技术方案中，每组成像基本组件在空间上与心脏模拟器的相应腔室对齐。
在进一步的技术方案中，所述医学成像系统对由成像基本组件捕捉的视频进行逐帧分割来获得相应图像，以便于下游数据转换和人工智能的训练。
在进一步的技术方案中，对获得的每帧图像进行傅里叶转化，以转换为便于处理的数据，其中，对于像素点为M×N的图像，按照如下公式进行傅里叶转化：
在通过傅里叶转化获得频率分布后，再将中心点转移到中心位 置。
在进一步的技术方案中，在对图像进行傅里叶转化后，利用选择性搜索SS算法进行小目标提议框选，并使用反馈卷积神经网络R-CNN对提议的小目标进行过滤，过滤后使用小目标扰动随机算法对过滤后结果进行扰动，然后将结果导入待训练的卷积神经网络。
在本发明的上述技术方案中，通过利用视频数据训练具有高频视频目标识别的深度学习模型，进而使整套系统可以自动识别心脏模拟器中异常血流动力学且具有鲁棒性。
本发明的实施方式还提供了一种面向体外心脏模拟器的医学成像方法，其使用如上所述的系统对心脏模拟器进行模拟成像，其中，在进行成像前，使用荧光聚合物颗粒FPP来灌注心脏模拟器，FPP的直径约为1-20μm。。
图1是本发明的成像系统基本组件的结构示意图；
图2是本发明的成像系统的正视图和俯视图；
图3是本发明的成像系统的立体图；
图4是本发明的影像系统各个组件电路控制图；
图5是本发明的成像及信号收集的示意图；
图6是本发明的对图像信号进行傅里叶转化的示意图；
图7是本发明的基于AI的异常血流动力检测的示意图。
下面结合具体实施例对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
术语解释:
心脏瓣膜：位于心房心室之间，可开闭进而控制血流在心房和心室中流向。
基础心脏结构：心脏内部由两室两房构成，包括左心房(LA)、左心室(LV)、右心房(RA)和右心室(RV)，其中LA与LV之间为二尖瓣，RA与RV之间为三尖瓣。
心动周期：心脏每0.8秒完成一次宏观收缩。其中心房收缩期平均为0.11秒，舒张期平均为0.69秒。心室收缩期平均为0.27秒，舒张期平均为0.53秒。心房和心室的收缩舒张并不完全同步。
涡流：流体呈现非线性的涡流状态，在心脏血流中若出现涡流则可能引起心室腔内血栓的形成，进而并发心梗、脑梗的发生。
帧率(frame rate)是用于测量显示帧数的度量。测量单位为“每秒显示帧数”(frame per second，FPS)或“赫兹”，一般来说FPS用于描述视频、电子绘图或游戏每秒播放多少帧。
高频视频目标识别：即在FPS较大的视频中，基于人工智能对视频的特定目标进行分割与识别的AI算法。
在本发明的实施方式中，公开了一种面向体外心脏模拟器的医学成像系统，其包括四组成像基本组件，四组成像基本组件分别对应心脏模拟器的左心室、左心房、右心室和右心房设置，每组成像基本组件包括视频摄像头以及至少两个LED，其中，四组成像基本组件以并联形式连接至电源、并分别通过独立的开关进行控制。
本发明的上述系统通过设计分区管理系统，既可单独对某一心腔进行信号捕捉，也可以同时对多个心腔进行信号捕捉。另外，由于临床医生也需要对整个心脏模拟器的四个腔室或多个腔室进行宏观的 同时观测，因此上述并联电路同样可满足这一需求。由于心脏具有心动周期，因此心房和心室的收缩运动并不完全同步，因此上述系统也可使整个捕捉系统具有时间性捕捉的功能。例如，在只观测二尖瓣闭合瞬间左心室(LV)的信号同时只观测二尖瓣打开时左心房(LA)的信号。
在进一步的技术方案中，所述视频摄像头为视频帧率为400fps-600fps的高帧率视频摄像头，并且每组成像基本组件包括两个LED。
在进一步的技术方案中，每个LED的光源波长为550nm。
在进一步的技术方案中，每组成像基本组件在空间上与心脏模拟器的相应腔室对齐。
在进一步的技术方案中，所述医学成像系统对由成像基本组件捕捉的视频进行逐帧分割来获得相应图像，以便于下游数据转换和人工智能的训练。
在进一步的技术方案中，对获得的每帧图像进行傅里叶转化，以转换为便于处理的数据，其中，对于像素点为M×N的图像，按照如下公式进行傅里叶转化：
在通过傅里叶转化获得频率分布后，再将中心点转移到中心位置。
在进一步的技术方案中，为了实现待训练数据的标准化和特征简化，在对图像进行傅里叶转化后，利用选择性搜索SS算法进行小目 标提议框选，并使用反馈卷积神经网络R-CNN对提议的小目标进行过滤，过滤后使用小目标扰动随机算法对过滤后结果进行扰动，然后将结果导入待训练的卷积神经网络。
在本发明的上述技术方案中，通过利用视频数据训练具有高频视频目标识别的深度学习模型，进而使整套系统可以自动识别心脏模拟器中异常血流动力学且具有鲁棒性。
本发明的实施方式还提供了一种面向体外心脏模拟器的医学成像方法，其使用如上所述的系统对心脏模拟器进行模拟成像，其中，在进行成像前，使用荧光聚合物颗粒FPP来灌注心脏模拟器，FPP的直径约为1-20μm。。
具体实施例
图1示出了本发明的面向心脏模拟器用医学成像系统的基本组件，其包括两个LED光源和一个高帧率视频摄像头。心脏模拟器运行时将需要使用荧光聚合物颗粒(Fluorescent polymer particles，FPP)来灌注。FPP的直径约为1-20μm，类似巨噬细胞大小，其激发波长为550nm，发射波长590nm。因此基本组件中的LED的光源波长为550nm，用于激发FPP发光。基本组件中的高帧率视频摄像头配备590nm的滤波器，进而使得摄像头可以捕捉590nm的荧光信号，同时摄像头的视频帧率(fps)为400fps，即每秒400帧，用于瞬时捕捉短时异常信号。
为了使成像系统具备全景捕捉功能，本发明使用4组基本组件构成，其分别对应捕捉心脏模拟器左心室(LV)、左心房(LA)、右心室(RV)和右心房(RA)。
由于心脏模拟器是基于人体心脏的1：1三维打印而成，因此其 内外部结构与真是心脏完全相同，这意味着其并不是规则结构，即左心室位于模拟器右后方，左心房位于模拟器的左后方，右心室位于模拟器左前方，而右心房位于模拟器右前方。这就要求影像成像系统在立体空间中需要与各个对应腔室对齐，如图2和图3所示，各个基本组件在空间上与各个腔室对齐，进而实现捕捉的空间性。
为实现捕捉系统的分区捕捉功能，整个捕捉系统的电路图设计如图4所示。L1对应左心室(LV)捕捉组件，其由S1开关控制；L2对应左心房(LA)捕捉组件，其由S2开关控制；L3对应右心室(RV)捕捉组件，其由S3开关控制；L4对应右心房(RA)捕捉组件，其由S4开关控制，R为电阻，防止短路。
由图4所示，该系统可单独对某一心腔进行信号捕捉，也可以同时对多个心腔进行信号捕捉。这样做的目的首先考虑到3D打印材料对于光的折射效应，由于心脏模拟器将使用半透明的材料打印，因此位于不同心腔内的信号会在3D材料的折射效应下互相干扰，为避免这一效应的产生，因此设计了该分区管理系统。另外，由于临床医生也需要对整个心脏模拟器的四个腔室或多个腔室进行宏观的同时观测，因此此并联电路同样可满足这一需求。由于心脏具有心动周期，因此心房和心室的收缩运动并不完全同步，因此此系统也可使整个捕捉系统具有时间性捕捉的功能。例如，在只观测二尖瓣闭合瞬间左心室(LV)的信号同时只观测二尖瓣打开时左心房(LA)的信号。
整个影像系统在捕捉后将形成流体力场图像。由于本发明使用的是高帧率摄影机，因此图5的右侧部分仅仅是视频中的一帧，这里的每帧将由视频逐帧进行分割，进而更便于下游数据转换和人工智能的训练。右侧直虚线代表呈线性流动的液体，中间的黑框及曲虚线代表 涡旋的产生(心腔内涡旋的产生是血栓形成的关键致病因素，因此捕捉涡旋的所在是本发明的关键之处，一切围绕这一关键开展)。
参见图6，由于原始图像(左侧)数据较为复杂，因此需要进行傅里叶转化，将其转化为较为简单的数据(右侧)。对于像素点为MxN的图像，按照如下公式进行傅里叶转换。具体操作为使用Numpy中fft模块，具体代码为numpy.fft.fft2(a,n＝None,axis＝-1,norm＝None)，其中a为图像对象。通过以上操作得到频率分布，再使用fftshift()函数将中心点转移到中间位置。
图6中分别为T＝t帧时的图像以及其前一帧(T＝t-1)和其后一帧(T＝t+1)的图像，对其每一帧进行傅里叶转化，并使用选择性搜索(Selective Search，SS)算法进行小目标的提议框选，并使用已有的反馈卷积神经网络(R-CNN)对提议的小目标进行过滤，过滤后使用已有的小目标扰动随机算法对过滤后结果进行扰动，以模糊小目标的真实边界，进而提高卷积网络的泛化能力，并将扰动后结果导入最后的卷积神经网络中，卷积网络最终将目标框映射回原始图像/视频中。可以理解的，在本发明中，小目标是指上面流体力场图像中的涡流部分。
本发明的上述技术方案所解决的技术问题包括：
(1)时空分控心脏体外模拟成像：由于心脏的特殊结构，其在四个腔内产生血栓会对机体产生不同的影响。时空分控指的是可以在时间上和空间上分别对心脏模拟器进行成像。由于心房和心室的收缩 并不完全同步，因此血栓的形成具有时间性。同时心脏存在四腔结构，因此血栓的形成具有空间性。本成像系统将兼容时间性和空间性，即时空性。举个例子，成像系统将可以单独识别来自左心房(LA)(空间性)收缩期(时间性)的涡流产生/血栓形成，或单独识别来自右心室(RV)舒张期的涡流产生/血栓形成。
(2)涡流等其他流体/血流动力学异常的自动识别：当高频荧光摄像机捕捉荧光液体在心脏模拟器中流动的视频后，输出视频。这些视频将用于训练具有高频视频目标识别的深度学习模型，进而使整套系统具备自动识别异常血流动力学的功能。
(3)基于AI的时空分控异常血流动力识别：结合以上1和2，由于心脏的特殊时空性，深度学习模型同样需要具备时空性，即可单独识别某一心脏收缩期或者某一心脏结构内的异常血流血流动力学。例如单独自动识别来自左心房(LA)(空间性)收缩期(时间性)的涡流产生/血栓形成。
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
Claims (8)
- 一种面向体外心脏模拟器的医学成像系统，其特征在于，包括四组成像基本组件，四组成像基本组件分别对应心脏模拟器的左心室、左心房、右心室和右心房设置，每组成像基本组件包括视频摄像头以及至少两个LED，其中，四组成像基本组件以并联形式连接至电源、并分别通过独立的开关进行控制。
- 根据权利要求1所述的系统，其特征在于，所述视频摄像头为视频帧率为400fps-600fps的高帧率视频摄像头，并且每组成像基本组件包括两个LED。
- 根据权利要求1所述的系统，其特征在于，每个LED的光源波长为550nm。
- 根据权利要求1所述的系统，其特征在于，每组成像基本组件在空间上与心脏模拟器的相应腔室对齐。
- 根据权利要求1至4中任一项所述的系统，其特征在于，所述医学成像系统对由成像基本组件捕捉的视频进行逐帧分割来获得相应图像，以便于下游数据转换和人工智能的训练。
- 根据权利要求5所述的系统，其特征在于，对获得的每帧图像进行傅里叶转化，以转换为便于处理的数据，其中，对于像素点为M×N的图像，按照如下公式进行傅里叶转化：
在通过傅里叶转化获得频率分布后，再将中心点转移到中心位置。 - 根据权利要求6所述的系统，其特征在于，在对图像进行傅里 叶转化后，利用选择性搜索SS算法进行小目标提议框选，并使用反馈卷积神经网络R-CNN对提议的小目标进行过滤，过滤后使用小目标扰动随机算法对过滤后结果进行扰动，然后将结果导入待训练的卷积神经网络。
- 一种面向体外心脏模拟器的医学成像方法，其特征在于，使用如权利要求1-7中任一项所述的系统对心脏模拟器进行模拟成像，其中，在进行成像前，使用荧光聚合物颗粒FPP来灌注心脏模拟器，FPP的直径约为1-20μm。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210364392 | 2022-04-08 | ||
| CN202210364392.4 | 2022-04-08 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023193290A1 true WO2023193290A1 (zh) | 2023-10-12 |
Family
ID=88243943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/087070 WO2023193290A1 (zh) | 2022-04-08 | 2022-04-15 | 面向体外心脏模拟器的医学成像系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2023193290A1 (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150317799A1 (en) * | 2013-01-16 | 2015-11-05 | Fujifilm Corporation | Medical image processing apparatus, method, and program |
| CN105451549A (zh) * | 2013-06-12 | 2016-03-30 | 美敦力公司 | 心-肺标本及使用方法 |
| CN208422227U (zh) * | 2018-01-30 | 2019-01-22 | 曲靖医学高等专科学校 | 一种动态演示心脏膜瓣开闭的血液循环模型 |
| CN110120051A (zh) * | 2019-05-10 | 2019-08-13 | 上海理工大学 | 一种基于深度学习的右心室自动分割方法 |
| CN110808096A (zh) * | 2019-10-30 | 2020-02-18 | 北京邮电大学 | 基于卷积神经网络的心脏病变自动检测系统 |
| CN112102284A (zh) * | 2020-09-14 | 2020-12-18 | 推想医疗科技股份有限公司 | 图像分割模型的训练样本的标记方法、训练方法及装置 |
-
2022
- 2022-04-15 WO PCT/CN2022/087070 patent/WO2023193290A1/zh unknown
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150317799A1 (en) * | 2013-01-16 | 2015-11-05 | Fujifilm Corporation | Medical image processing apparatus, method, and program |
| CN105451549A (zh) * | 2013-06-12 | 2016-03-30 | 美敦力公司 | 心-肺标本及使用方法 |
| CN208422227U (zh) * | 2018-01-30 | 2019-01-22 | 曲靖医学高等专科学校 | 一种动态演示心脏膜瓣开闭的血液循环模型 |
| CN110120051A (zh) * | 2019-05-10 | 2019-08-13 | 上海理工大学 | 一种基于深度学习的右心室自动分割方法 |
| CN110808096A (zh) * | 2019-10-30 | 2020-02-18 | 北京邮电大学 | 基于卷积神经网络的心脏病变自动检测系统 |
| CN112102284A (zh) * | 2020-09-14 | 2020-12-18 | 推想医疗科技股份有限公司 | 图像分割模型的训练样本的标记方法、训练方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11922638B2 (en) | Medical image segmentation method and apparatus, computer device, and readable storage medium | |
| US20220028085A1 (en) | Method and system for providing an at least 3-dimensional medical image segmentation of a structure of an internal organ | |
| Zhao et al. | JAMSNet: A remote pulse extraction network based on joint attention and multi-scale fusion | |
| Zhu et al. | Event-based video reconstruction via potential-assisted spiking neural network | |
| Churchland et al. | A critique of pure vision | |
| CN105912980B (zh) | 无人机以及无人机系统 | |
| Gonzalez et al. | Fuzzy logic in the gravitational search algorithm for the optimization of modular neural networks in pattern recognition | |
| Liu et al. | Effective AER object classification using segmented probability-maximization learning in spiking neural networks | |
| CN110349156A (zh) | 眼底图片中病变特征的识别方法和装置、存储介质 | |
| KR102598762B1 (ko) | 관절체 포즈를 검출하기 위한 시스템 및 방법 | |
| Gao et al. | Detection and characterization of the fetal heartbeat in free-hand ultrasound sweeps with weakly-supervised two-streams convolutional networks | |
| Bartolozzi et al. | Embedded neuromorphic vision for humanoid robots | |
| Turan et al. | A deep learning based 6 degree-of-freedom localization method for endoscopic capsule robots | |
| CN105631859B (zh) | 三自由度仿生立体视觉系统 | |
| Hassan et al. | Video-based heartbeat rate measuring method using ballistocardiography | |
| Antonelli et al. | A hierarchical system for a distributed representation of the peripersonal space of a humanoid robot | |
| Ahmed et al. | Deep event stereo leveraged by event-to-image translation | |
| CN106725341A (zh) | 一种增强型舌诊系统 | |
| WO2023193290A1 (zh) | 面向体外心脏模拟器的医学成像系统和方法 | |
| Zeng et al. | Adaptive medical image deep color perception algorithm | |
| Bolhassani et al. | Semi-supervised segmentation of multi-vendor and multi-center cardiac MRI | |
| CN110503636A (zh) | 参数调整方法、病灶预测方法、参数调整装置及电子设备 | |
| Li et al. | Automatic pulmonary vein and left atrium segmentation for TAPVC preoperative evaluation using V-net with grouped attention | |
| Li et al. | Channel-wise Interactive Learning for Remote Heart Rate Estimation from Facial Video | |
| Nowak et al. | Polarimetric dynamic vision sensor p (DVS) principles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22936227 Country of ref document: EP Kind code of ref document: A1 |