WO2019200987A1 - 一种动态视觉刺激的多光谱眼底成像系统及方法 - Google Patents

一种动态视觉刺激的多光谱眼底成像系统及方法 Download PDF

Info

Publication number
WO2019200987A1
WO2019200987A1 PCT/CN2019/071807 CN2019071807W WO2019200987A1 WO 2019200987 A1 WO2019200987 A1 WO 2019200987A1 CN 2019071807 W CN2019071807 W CN 2019071807W WO 2019200987 A1 WO2019200987 A1 WO 2019200987A1
Authority
WO
WIPO (PCT)
Prior art keywords
fundus
spectral
image
light
imaging
Prior art date
Application number
PCT/CN2019/071807
Other languages
English (en)
French (fr)
Inventor
陶钧
刘刚军
余文超
Original Assignee
重庆贝奥新视野医疗设备有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 重庆贝奥新视野医疗设备有限公司 filed Critical 重庆贝奥新视野医疗设备有限公司
Priority to US16/965,224 priority Critical patent/US20200345284A1/en
Priority to EP19789119.5A priority patent/EP3785602B1/en
Priority to JP2020538838A priority patent/JP6970306B2/ja
Publication of WO2019200987A1 publication Critical patent/WO2019200987A1/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14555—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for the eye fundus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0008—Apparatus for testing the eyes; Instruments for examining the eyes provided with illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/024—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for determining the visual field, e.g. perimeter types
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals

Definitions

  • the fiber strands of each of the fiber bundles in the all-in-one loop fiber bundle are evenly distributed throughout the fiber loop.
  • the camera After finding the area of interest of the subject's fundus, the camera works in an external or internal trigger mode, the computer controls the multi-spectral light source and the camera to synchronize, and the monochromatic excitation light from the multi-spectral light source passes through the multi-in-one loop fiber bundle from the ring.
  • step 4 the blood oxygen saturation value and the dynamic blood oxygen saturation value monitoring are calculated, including the following steps:
  • a plurality of fundus images at one wavelength are manually segmented by an expert to obtain a manually segmented image of each fundus image;
  • the optical path adjusting device can set the optical path according to actual conditions; in some embodiments, the optical stimulation device is a high-brightness industrial display or pico projector; the controller is a computer or a device having a processing function. Through the control of the controller, the optical stimulation device can project a pattern of different modes (pattern color, light intensity, pattern pattern, etc.) to the fundus.
  • the optical stimulation device can project a pattern of different modes (pattern color, light intensity, pattern pattern, etc.) to the fundus.
  • the fiber strands of each of the fiber bundles in the all-in-one loop fiber bundle are evenly distributed throughout the fiber loop.
  • the camera ie, image acquisition device
  • the controller of the multispectral fundus imaging system controls multispectral
  • the light source is synchronized with the camera, and the monochromatic excitation light emitted by the multi-spectral light source is output from the annular light exit port through the multi-in-one annular fiber bundle to form ring light; the ring light is focused by the first focus lens and the optical path adjusting device to change the optical path; Reflecting around the central aperture of the middle mirror; after focusing by the second focusing lens, entering the fundus; the imaging light reflected back from the fundus is then focused by the focusing lens to the central aperture of the middle mirror and passes through the central aperture; After imaging the focusing lens group, entering the camera, the computer (ie, the controller) controls the camera to perform static imaging with the multi-spectral light source to complete a multi-spectral fundus image
  • the computer-controlled optical stimulation device emits a pattern, and the pattern is reflected by the dichroic mirror, sequentially passes through the imaging focusing lens group, the central aperture of the middle mirror, and the second focusing lens, and transmits to the fundus
  • the contrast between light and dark in the pattern corresponds to the optical stimulation of the fundus tissue, and the fundus tissue can be dynamically stimulated by regulating the pattern;
  • static multi-spectral fundus static imaging can be extended to dynamic functional imaging by combining dynamic visual stimulation, and combined with image processing and machine learning can improve the diagnosis of fundus diseases.
  • the universality and accuracy of the method can be extended to dynamic visual stimulation, and combined with image processing and machine learning can improve the diagnosis of fundus diseases.
  • the present application can capture the fundus physiological state before and after different optical stimulations, and detect the response of the fundus to external light stimulation, thereby realizing dynamic multi-spectral fundus function imaging.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种动态视觉刺激的多光谱眼底成像系统及方法，成像系统包括多光谱光源（3）、中通镜（5），以及成像聚焦透镜组（9）、图像采集装置（8）和控制器；多光谱光源（3）为能够发出多个不同波长的光源；中通镜（5）为反射镜及在反射镜上设置有贯穿反射镜的中心小孔；还包括光学刺激装置（6）；控制器控制光学刺激装置（6）和图像采集装置（8）同步工作，光学刺激装置（6）发出的图案，依次经成像聚焦透镜组（9）、中通镜（5）的中心小孔透射到眼底；从眼底反射回的成像光依次经中通镜（5）的中心小孔和成像聚焦透镜组（9）；由图像采集装置（8）采集图像，完成多光谱眼底图像采集。通过结合动态视觉刺激，将静态的多光谱眼底静态成像拓展到动态功能成像领域，并结合图像处理与机器学习致力于提高眼底疾病诊断方法的普适性和准确性。

Description

一种动态视觉刺激的多光谱眼底成像系统及方法
相关申请的交叉引用
本申请要求于2018年04月21日提交中国专利局的申请号为201810363180.8，名称为“一种动态视觉刺激的多光谱眼底成像系统及方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及眼底成像技术，具体涉及一种动态视觉刺激的多光谱眼底成像系统及方法。
背景技术
眼底是指眼球内后部的组织，包括视网膜、眼底血管、视神经乳头、视神经纤维、黄斑和视网膜后的脉络膜等。在这些部位发生的病变统称为眼底病。视网膜是一层结构高度复杂的薄膜，其上分布着大量的微血管网络，是人体中唯一可以采用非创伤方式直接观察到的较深层的微血管网络。对人眼视网膜上的血管脉络进行观测，可以为医生提供许多眼部疾病乃至全身疾病的诊断依据。例如高血压、高血脂、肾病、糖尿病、冠心病等疾病，其发病初期生理状态的改变均会在眼底上有所体现。
当疾病引起眼底状态改变时，对眼底进行检查是及时发现和控制病情的有效途径。目前临床上有效的眼底检查设备主要有检眼镜、裂隙灯显微镜、眼底相机、扫描激光检眼镜、光学相干层析成像等。因眼底相机具有较好的技术发展成熟度、实用度、操作简便、生产成本较低等优势，已成为目前应用最为广泛的眼底检查设备。多光谱眼底成像是利用多个单色光源分别投射入眼底，采集因眼底不同组织反射的信号，组织的类型和/或深度不同，会使反射的信号具有一定的光学差异。相对于传统的眼底成像方式，多光谱眼底成像具有宽光谱范围(500～850nm)，可以对视网膜进行逐层、正面成像，实现了对视网膜、脉络膜的非侵入式直接成像。该方式无需扩瞳，无创直观，可提高对眼底生理状态的判断准确性。传统的多光谱眼底成像主要关注静态结构成像，然而早期患者的眼底通常尚未能观察到显著的生理结构变化，静态结构成像难以适用于眼底疾病的早期筛查与诊断。
申请内容
本申请提供一种包含多种光学刺激方式的动态眼底成像系统及其方法，诸如，通过捕捉不同光学刺激前后的眼底生理状态，检测眼底对外界光刺激的响应，从而实现动态的多光谱眼底功能成像。
本申请的一个目的包括，诸如，提出一种结合动态视觉刺激的多光谱眼底功能成像系统。
本申请的结合动态视觉刺激的多光谱眼底功能成像系统，该成像系统包括多光谱光源、中通镜，以及成像聚焦透镜组、图像采集装置和控制器；所述多光谱光源为能够发出多个不同波长的光源；所述中通镜为反射镜及在所述反射镜上设置有贯穿所述反射镜的中心小孔；
控制器控制多光谱光源和图像采集装置同步工作，多光谱光源发出的单色激发光经中通镜的中心小孔周围反射进入眼底；从眼底反射回的成像光依次经中通镜的中心小孔和成像聚焦透镜组；由图像采集装置采集图像，完成一次多光谱眼底图像采集；
多光谱光源改变激发光的波长，图像采集装置同步相应拍摄不同波长的多光谱眼底图像，直至完成所有波长的拍摄，形成多光谱静态图像；
还包括光学刺激装置；
控制器控制光学刺激装置和图像采集装置同步工作，光学刺激装置发出的图案，依次经像聚焦透镜组、中通镜的中心小孔透射到眼底；从眼底反射回的成像光依次经中通镜的中心小孔和成像聚焦透镜组；由图像采集装置采集图像，完成多光谱眼底图像采集。本申请通过结合动态视觉刺激，将静态的多光谱眼底静态成像拓展到动态功能成像领域，并结合图像处理与机器学习致力于提高眼底疾病诊断方法的普适性和准确性。
在本申请的一种优选实施方式中，还包括在多光谱光源与中通镜光路上设置有第一聚焦透镜；有利于将多光谱光源发出的光源聚焦，防止光源分散。
或在多光谱光源与中通镜光路上设置有第一聚焦透镜，在第一聚焦透镜与中通镜光路上设置有光路调整装置；光路调整装置有利于调整光路的方向，摆放更加方便。
或/和在眼底与中通镜光路上设置有第二聚焦透镜；有利于将经过第二聚焦透镜的光源聚焦，防止光源分散。
或/和在光学刺激装置与成像聚焦透镜组光路上设置有二向色镜。二向色镜有利于一定波长的光几乎完全透过，另一些波长的光几乎完全反射。根据实际情况进行选择反射光还是透射光。
在本申请的一种优选实施方式中，多光谱光源采用多个不同波长的发光二极管；根据眼底组织不同物质对各个单色光的吸收和反射特性不同，在图像上呈现眼底不同层次的、反射重点各异的形态特征，帮助医生更准确地进行相关眼科病变的早期筛查和诊断。或/和所述多光谱光源包括多合一环状光纤束，多合一环状光纤束包括多根光纤分支、合束端和环状出光口；多根光纤分支的末端为合束端，在合束端设置环状出光口。在多合一环状光纤束的合束端设置环状出光口，传出的光斑呈环形，有利于减少光线在角膜上的反射。本申请通过使用多光谱光源配合多合一环状光纤，简化了眼底相机的结构，避免了传统的多光谱眼底相机转轮式机械设计，使光源之间的切换更加快速稳定，使每组图像的采集时间短于人眼的反应时间，降低了组图间图像配准的难度，提高了多光谱图像结果的可靠性，也提高了整个多光谱眼底功能成像的准确性。
在本申请的一种优选实施方式中，多合一环状光纤束中每一个光纤分支的光纤丝都均匀分布在整个光纤丝环中。当不同波长的LED点亮时，从环状出光口传出的环形光的位置基本固定，从而实现在同一套光路下不同波长光源之间的快速无位移切换。
在本申请的一种优选实施方式中，光纤分支的数目大于或者等于所需的发光二极管的数目，对于发光光强较弱的LED或需要通过滤光改善单色性的LED，可通过增加同种光纤分支的数目实现LED光强的增加，提高照明质量。每一光纤分支包括多根光纤丝，每条光纤分支的直径足以覆盖单灯珠的LED的发光表面，并采用贴合式耦合方式。采用贴合式耦合方式能够达到较好的耦合效率。
在本申请的一种优选实施方式中，每一光纤分支包括的光纤丝的数量为100至9999中的任一数值。
本申请在用光纤式多光谱光源替代原先白光光源的同时，用于监视使用的红外光也可以通过一路光纤分支导入整个系统，因此传统眼底相机结构中用于红外监视的光路部分亦可省去，大大简化了眼底相机模块结构。
在本申请的一种优选实施方式中，所述图像采集装置为拍照装置或摄影装置；
或/和所述光路调整装置包括聚焦透镜组和反射镜。
或/和所述光学刺激装置为高亮度的工业显示屏或微型投影仪；通过计算机控制，将不同模式的图案通过显示屏或微型投影仪投射到眼底，其中包括不同颜色、强度和不同图案等多种模式。
或/和控制器为计算机。
在本申请的一种优选实施方式中，所述拍照装置为CCD相机或CMOS相机。为了在光照后瞳孔出现明显收缩之前拍完整组多光谱图像，每一帧图像的曝光时间控制在数十毫 秒量级，对相机的敏感度要求大大增加，本申请相机采用科研级CMOS相机，能够满足短时曝光的敏感度需求。此外，在极短的曝光条件下，人眼近似维持在静止状态，拍摄得到的多光谱图像各帧结果之间无明显位移偏差，大大降低了图像配准需求。
在本申请的一种优选实施方式中，所述多光谱光源发出的光的波长包括500nm、530nm、570nm、600nm、630nm和850nm中的一种或多种。不同波长对应不同的眼底层次：蓝绿光(500nm)显示浅层视网膜结构，用于观察视网膜前膜、视网膜神经层、视网膜皱折、囊肿及黄斑裂孔等；绿光(530nm)、黄光(570nm)、琥珀光(600nm)用于显示中层视网膜结构，可用于观察出血、渗出及玻璃膜疣、新生血管等病变，例如糖尿病视网膜病变；红光(630nm)、近红外光(850nm)显示深层视网膜的结构，用于观察伴有视网膜色素紊乱、RPE层变性、黄斑变性、脉络膜黑色素瘤等病变。
本申请的另一个目的包括，诸如，提供一种动态视觉刺激的多光谱眼底成像系统的成像方法，该成像方法，包括以下步骤：
1)施加光学刺激前得到多光谱图像：
a)监视模式：
启动后相机首先工作在红外光监视模式，调整系统与被试者的眼底相对位置，并调节对焦，找到被试者眼底感兴趣的区域；
b)外部触发模式：
找到被试者眼底感兴趣的区域后，相机工作在外部或内部触发模式，计算机控制多光谱光源和相机同步，多光谱光源发出的单色激发光经多合一环状光纤束，从环状出光口输出，形成环形光；环形光经第一聚焦透镜和光路调整装置聚焦并改变光路；在中通镜的中心小孔的周围反射；经第二聚焦透镜聚焦后进入眼底；从眼底反射回的成像光再经聚焦透镜聚焦到中通镜的中心小孔，并穿过中心小孔；经过成像聚焦透镜组，进入相机，计算机控制相机与多光谱光源进行静态成像，完成一次多光谱眼底图像采集；
c)多光谱光源改变激发光的波长，计算机控制多光谱光源和相机同步，相机同步相应拍摄对应波长的多光谱眼底图像，重复步骤a)和b)，直至完成所有波长的拍摄；
d)传输至计算机形成一组多光谱图像；
2)施加光学刺激：
a)调整二向色镜进入光路；计算机控制光学刺激装置发出图案，经二向色镜的反射，依次经过成像聚焦透镜组、中通镜的中心小孔以及第二聚焦透镜，透射到眼底；图案中的明暗对比对应于对眼底组织的光学刺激强弱，调控动态刺激眼底组织；
b)光学刺激结束后，关闭光学刺激装置，将二向色镜移出光路；
3)施加光刺激后采集时间序列下的多组多光谱图像：
相机对光学刺激后的眼底，按照步骤1)中的方法，在不同时间点上多次进行多光谱图像的采集，并传输至计算机；
计算血氧饱和度值：
4)光学刺激施加前后不同时间点的多次静态成像构成功能成像，计算机根据光学刺激的施加前后的不同时间点上多次的多光谱图像，计算血氧饱和度值，以及动态的血氧饱和度值监测，评估眼底循环及神经系统对光学刺激的动态响应和恢复。
在本申请的一种优选实施方式中，在步骤4)中，计算血氧饱和度值，以及动态的血氧饱和度值监测，包括以下步骤：
计算机将同一时刻不同波长下的多光谱图像中的眼底图像进行预处理，包括图像不均匀度矫正、光照强度矫正和图像去噪操作；
通过预先训练及验证得到的网络模型对预处理后的眼底图像进行血管分割，得到分割后的图像；其中，所述网络模型为基于深度学习算法进行血管分割计算的模型；
对分割后的图像进行二值化处理和中心线提取，对于中心线的每个点R(i,j)进行遍历，搜寻每个点对应的八联通邻域的点，完成对整条血管的遍历搜索；其中，(i,j)代表图像中的横纵位置，R代表该点的灰度值；
基于血管的遍历搜索结果，计算每段血管在指定波长光下的光密度值；
根据每段血管在指定波长光下的光密度值，计算血氧饱和度；通过控制图像采集频率，勾勒眼底图像的感兴趣区域，基于所述感兴趣区域进行动态的血氧饱和度值监测。
在本申请的一种优选实施方式中，所述方法还包括：
获取训练样本和验证样本；其中，所述训练样本和所述验证样本均包括多组样本，每组样本包括眼底图像和与其对应的手动分割图像；
将所述训练样本的眼底图像作为深度全卷积网络的输入，对应的手动分割图像作为所述深度全卷积网络的输出，完成超参数优化，训练所述深度全卷积网络；
将所述验证样本的眼底图像作为深度全卷积网络的输入，对应的手动分割图像作为所述深度全卷积网络的输出，验证所述深度全卷积网络；
将分割正确率最高的深度全卷积网络确定为用于对多光谱图像中的不同波段眼底图像进行血管分割的网络模型。
在本申请的一种优选实施方式中，所述获取训练样本和验证样本的步骤，包括：
将一个波长下的多张眼底图像进行专家手动分割，得到每一张眼底图像的手动分割图 像；
对于得到的每一张眼底图像的手动分割图像，将眼底图像与其对应的手动分割图像为一组样本，样本的数量大于100；将所述样本中的一部分作为训练样本，将所述样本中的另一部分作为验证样本，且验证样本的数量大于20。
在本申请的一种优选实施方式中，所述网络模型为包含至少10层卷积层的全卷积网络结构。
在本申请的一种优选实施方式中，所述计算每段血管在指定波长光下的光密度值的步骤，包括：
通过下式计算每段血管的光密度值：
Figure PCTCN2019071807-appb-000001
其中，I为入射光穿过溶液后的强度，I 0为原入射光的强度，ε为溶液的吸收系数，C为溶液的浓度，d为光线穿过溶液的距离，ε Hbo2为氧和血红蛋白溶液吸收系数，ε Hb为血红蛋白的溶液吸收系数，C Hbo2为氧和血红蛋白的溶液浓度；C Hb为血红蛋白的溶液浓度。
在本申请的一种优选实施方式中，所述根据每段血管在指定波长光下的光密度值，计算血氧饱和度的步骤，包括：
通过下式计算血氧饱和度SO 2：
SO 2＝a·ODR+b
其中，
Figure PCTCN2019071807-appb-000002
为吸收系数不相等的光密度和等吸收系数的光密度的比率，a和b为常数。
附图说明
图1为本申请的动态视觉刺激的多光谱眼底成像系统的一个实施例的光路示意图。
图2为本申请的动态视觉刺激的多光谱眼底成像系统的多合一环状光纤束的示意图。
图3为本申请的动态视觉刺激的多光谱眼底成像方法的对一张眼底视网膜图像进行血管分割的结果示意图。
图4为本申请的结合动态视觉刺激的多光谱眼底功能成像方法的血氧饱和度计算与监测流程示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
考虑到传统的多光谱眼底成像主要关注静态结构成像，而早期患者的眼底通常尚未能观察到显著的生理结构变化，静态结构成像难以适用于眼底疾病的早期筛查与诊断。为改善此问题，本申请创造性地提出利用多种光学刺激方式、通过监测眼底由于血氧饱和度等其他机制导致光学性质变化实现动态眼底功能成像。诸如，通过捕捉不同光学刺激前后的眼底生理状态，检测眼底对外界光刺激的响应，从而实现动态的多光谱眼底功能成像。
除了循环系统以外，由于眼底视神经系统的活动依赖细胞代谢功能的支持，当视神经被激活时，它的响应在血氧饱和度指标上也将部分体现，从而使血氧饱和度成为研究疾病早期眼底神经和循环系统的功能性变化指标，为眼底疾病的早期诊断提供一种革命性新技术。
下面结合附图，通过具体实施例，进一步阐述本申请。
如图1所示，本实施例的动态视觉刺激的多光谱眼底成像系统，包括多光谱光源3、第一聚焦透镜11、光路调整装置4、中通镜5、第二聚焦透镜10、成像聚焦透镜组9、图像采集装置8、光学刺激装置6、二向色镜7和控制器。
在一些实施方式中，多光谱光源3与中通镜5之间的光路上设置有第一聚焦透镜11；其中，设置第一聚焦透镜的其中一个作用包括：有利于将多光谱光源发出的光源聚焦，防止光源分散。
和/或，第一聚焦透镜11与中通镜5之间的光路上设置有光路调整装置4；其中，设置 光路调整装置的其中一个作用包括：有利于调整光路的方向，使系统摆放更加方便。
和/或，眼底与中通镜5之间的光路上设置有第二聚焦透镜10；其中，设置第二聚焦透镜的其中一个作用包括：有利于将经过第二聚焦透镜的光源聚焦，防止光源分散。
和/或，光学刺激装置6与成像聚焦透镜组9之间的光路上设置有二向色镜7。二向色镜7又称双色镜，其特点是对一定波长的光几乎完全透过，而对另一些波长的光几乎完全反射。根据实际情况进行选择反射光还是透射光。
在本实施方式中，多光谱光源为能够发出多个不同波长的光源，可以是同一时刻发出同一波长的光源，也可以是同一时刻发出不同波长的光源；中通镜为反射镜及在反射镜上设置有贯穿反射镜的中心小孔；也可将中通镜的结构表述为：中通镜包括反射镜及在反射镜上设置的中心小孔，该中心小孔贯穿反射镜；光路调整装置包括聚焦透镜组和反射镜，聚焦透镜组包括一个或多个聚焦透镜。光路调整装置可以根据实际情况设置光路；在一些实施方式中，光学刺激装置为高亮度的工业显示屏或微型投影仪；控制器为计算机或具有处理功能的设备。通过控制器的控制，可以令光学刺激装置将不同模式(图案颜色、光照强度、图案样式等)的图案投射到眼底。
在实际应用中，控制器控制多光谱光源3和图像采集装置8同步工作，多光谱光源3发出的单色激发光经中通镜5的中心小孔周围反射进入眼底；从眼底反射回的成像光依次经中通镜5的中心小孔和成像聚焦透镜组9；由图像采集装置8采集图像，完成一次多光谱眼底图像采集。
多光谱光源3改变单色激发光的波长，图像采集装置8同步相应拍摄不同波长的多光谱眼底图像，直至完成所有波长的拍摄，形成多光谱静态图像。在实际应用中，多光谱光源发出的光的波长包括500nm、530nm、570nm、600nm、630nm和850nm中的一种或多种。不同波长对应不同的眼底层次：蓝绿光(500nm)用于显示浅层视网膜结构，用于观察视网膜前膜、视网膜神经层、视网膜皱折、囊肿及黄斑裂孔等；绿光(530nm)、黄光(570nm)、琥珀光(600nm)用于显示中层视网膜结构，可用于观察出血、渗出及玻璃膜疣、新生血管等病变，例如糖尿病视网膜病变；红光(630nm)和近红外光(850nm)用于显示深层视网膜的结构，用于观察伴有视网膜色素紊乱、RPE层变性、黄斑变性、脉络膜黑色素瘤等病变。
在一种实施方式中，多光谱光源3可以采用多个不同波长的发光二极管；在一种实施方式中，多光谱光源包括多合一环状光纤束，多合一环状光纤束包括多根光纤分支、合束端和环状出光口；多根光纤分支的末端为合束端，在合束端设置环状出光口。如图2所示，多合一环状光纤束包括多根光纤分支1、合束端2的环状出光口30；光纤分支1的末端为合束端2，在合束端2上设置环状出光口30。在多合一环状光纤束的合束端设置环状出光 口，传出的光斑呈环形，有利于减少光线在角膜上的反射。
通过使用多光谱光源配合多合一环状光纤，简化了多光谱眼底成像系统(又可称为多光谱眼底相机)的结构，避免了传统的多光谱眼底相机转轮式机械设计，使光源之间的切换更加快速稳定，使每组图像的采集时间短于人眼的反应时间，降低了组图间图像配准的难度，提高了多光谱图像结果的可靠性，也提高了整个多光谱眼底功能成像的准确性。
在一种具体的实施方式中，多合一环状光纤束中每一个光纤分支的光纤丝都均匀分布在整个光纤丝环中。当不同波长的LED点亮时，从环状出光口传出的环形光的位置基本固定，从而实现在同一套光路下不同波长光源之间的快速无位移切换。
在一种具体的实施方式中，光纤分支的数目大于或者等于所需的发光二极管的数目；对于发光光强较弱的LED或需要通过滤光改善单色性的LED，可通过增加同种光纤分支的数目实现LED光强的增加，提高照明质量。每一光纤分支包括100～9999根光纤丝，每条光纤分支的直径覆盖单灯珠的LED的发光表面，并采用贴合式耦合方式。也即，多根光纤丝采用贴合式耦合方式，形成光纤分支。采用贴合式耦合方式能够达到较好的耦合效率。
控制器控制光学刺激装置6和图像采集装置8同步工作，光学刺激装置6发出的图案，依次经像聚焦透镜组9、中通镜5的中心小孔透射到眼底；从眼底反射回的成像光依次经中通镜5的中心小孔和成像聚焦透镜组9；由图像采集装置8采集图像，完成多光谱眼底图像采集。在实际应用中，图像采集装置8可以为拍照装置或摄影装置。拍照装置可以采用CCD(charge coupled device，电荷耦合器件)相机或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物导体器件相机)。
为了在光照后瞳孔出现明显收缩之前拍完整组多光谱图像，每一帧图像的曝光时间最好控制在数十毫秒量级，因此对图像采集装置的敏感度要求大大增加，本申请中的图像采集装置可以采用CCD相机或者科研级CMOS相机，能够满足短时曝光的敏感度需求。此外，在极短的曝光条件下，人眼近似维持在静止状态，拍摄得到的多光谱图像各帧结果之间无明显位移偏差，大大降低了图像配准需求。
应当注意的是，图1仅示出了多光谱眼底成像系统的一种实施方式，在实际应用中，还可以采用其它实施方式，包括比图1中的系统更多或更少的部件，在此不进行限制。
为便于理解，以下以静态成像和功能成像为例，对多光谱眼底成像系统的工作原理示例性说明如下：
(1)在静态成像下：多光谱光源发出的单色激发光(也可称为单色激光)经多合一环状光纤束，从环状出光口输出，形成环形光；环形光经第一聚焦透镜11聚焦，以及经光路调整装置4改变光路后照射到中通镜，然后在中通镜5的中心小孔周围反射；经第二聚焦 透镜10聚焦后进入眼底；从眼底反射回的成像光再经第二聚焦透镜10聚焦到中通镜5的中心小孔，并穿过中心小孔；穿过中心小孔的成像光经过成像聚焦透镜组9，进入图像采集装置。
(2)在功能成像下：调整二向色镜7进入光路；控制器控制光学刺激装置6发出图案，经二向色镜7的反射或透射后的图案依次经过成像聚焦透镜组9、中通镜5的中心小孔以及第二聚焦透镜10，透射到眼底；图案中的明暗对比对应于对眼底组织的光学刺激强弱，通过调控光学刺激装置6发出的图案可动态刺激眼底组织；图像采集装置8在不同时间点多次采集光学刺激后的眼底的多光谱图像；然后将采集得到的多光谱图像传输至控制器，以使控制器基于采集得到的多光谱图像进行分析。
通过上述多光谱眼底成像系统，可基于眼底生理状态的检测指标对眼底进行检测。以检测指标是血氧饱和度为例，眼底的血氧饱和度的无创测量的一个基本前提是含氧血红蛋白和去氧血红蛋白具有不同的光学吸收系数。因此多光谱眼底成像系统至少要用两种不同波长的光对眼底进行检测。例如，选取两个不同波长，让含氧血红蛋白和去氧血红蛋白在其中一个波长光下具有相同的吸收系数，让含氧血红蛋白和去氧血红蛋白在另一个波长光下具有不同的吸收系数。在一种实施方式中，可以选择570nm和600nm这两种波长的光，对于570nm波长的光，由于在该波长下的含氧血红蛋白和去氧血红蛋白的吸收系数相等，因此570nm波长的光为对血氧饱和度不敏感的光；对于600nm波长的光，由于在该波长下的含氧血红蛋白和去氧血红蛋白的吸收系数相差较大，因此600nm波长的光为对血氧饱和度敏感的光。选取这两种波长光下的视网膜眼底图像可以进行视网膜血氧饱和度的计算。
为了对多光谱眼底成像系统具有进一步的认识，以下给出两种多光谱眼底成像系统的应用示例：
示例一
本示例应用于对糖尿病患者进行静态与动态结合的多光谱眼底功能成像，以评估糖尿病进程对眼底循环与神经生理状态的影响。
大约有70％的糖尿病患者会出现全身小血管和微血管病变，从而影响全身组织的供养，进而导致一系列严重的并发症。糖尿病也可以引起一系列眼部疾病，包括白内障、青光眼、眼球运动障碍等，其中引发的最为严重的眼部疾病就是糖尿病视网膜病变，它是严重影响视力的一种疾病，已经成为主要致盲疾病之一。据有关资料统计，糖尿病患病时间越长，患者出现视网膜病变的比率越大。早期患者没有任何感觉，却是预防的最佳时机，在病变早期发现异常能够大大提高该病的诊断率，避免发现时为时已晚。
血糖指标与血氧饱和度指标是本示例的两大监测重点。本示例选用处于不同疾病阶段 的糖尿病患者分别与相同年龄的健康人群作为对照，测量所有糖尿病患者的血糖指标，并依据糖尿病患者的不同疾病阶段进行分组。对同一组中相同年龄的患者与健康人群，测量其静息状态下的多光谱眼底成像结果，并通过多光谱眼底成像系统的控制器中的图像处理模块计算得出静息时眼底血氧饱和度；在施加相同的光学刺激后，再次选取若干时间点，获得各时间点对应的多光谱眼底成像结果图，并计算得出眼底在接受光学刺激后血氧饱和度的动态变化趋势。
对同一位患者，光学刺激所采用的明暗图案形成了对眼底视网膜不同光照强度的光学刺激，可在眼底的不同区域间进行血氧饱和度变化趋势分析，寻找不同强度光刺激对血氧饱和度动态变化的影响规律；对同一组中的患者与健康人群，可对比整个眼底的差异，以寻找由病变导致的眼底视网膜组织对光刺激响应的改变。
控制器中的图像处理模块具有两个功能：第一是根据多光谱眼底相机系统的两个不同波长(诸如，570nm和600nm)的光进行眼底视网膜血氧饱和度计算，可以获得某一时刻的血氧饱和度值；第二是可以选择成像感兴趣区域、局部血管区域或整个血管区域进行动态的光刺激血氧饱和度的监测，用来进行不同视觉疾病检测和血管系统、神经系统血氧代谢能力的研究。
根据郎伯比尔定律，光穿过溶液后的光强与原光强有如下的关系：
I＝I 0·10 -ε·c·d      (1.1)
其中I为入射光穿过溶液后的强度，I 0为原入射光的强度，ε为溶液的吸收系数，C为溶液的浓度，d为光线穿过溶液的距离。
在波长为λ的光线下的光密度函数定义如下：
Figure PCTCN2019071807-appb-000003
对于血液，在波长为λ的光线下的光密度函数为：
Figure PCTCN2019071807-appb-000004
其中，ε Hbo2为氧和血红蛋白溶液吸收系数，ε Hb为血红蛋白的溶液吸收系数，C Hbo2为氧和血红蛋白的溶液浓度；C Hb为血红蛋白的溶液浓度；
因此吸收系数不相等的光密度OD 不等吸收和等吸收系数的光密度 OD 等吸收的比率ODR为：
Figure PCTCN2019071807-appb-000005
光密度函数是与吸收系数、溶液浓度和光通过溶液样品路程距离相关的函数。对于吸收系数不相等的光密度函数而言，其值依赖于距离、总的血红蛋白浓度和血氧饱和度；而吸收系数相等的光密度函数的数值仅仅与距离还有总的血红蛋白的浓度有关，因此其比值ODR与血氧饱和度SO 2成线性关系，即
SO 2＝a·ODR+b       (1.5)
其中a和b为常数，通过对其标定可以计算出每段血氧饱和度的值。对于眼底成像的血氧饱和度检测而言，直接测量透射光的强度比较困难，因此采用反射光的强度来代替透射光的强度。上述公式的I 0和I都是基于眼底反射光强来估算的，I 0是视网膜血管附近的背景反射回来的光强，没有透过血管，因此未受血管影响；而I则是经过血管反射回来的、经血管衰减后的光强。在得到眼底图像后，入射光强和透射光强可以分别用血管附近区域的像素点数值和血管的像素点数值大小来表示。这样通过选取靠近血管附近的背景像素点数值，I 0和I的大小就受到相同的因素作用，仅仅存在血管内的反射和背景区域反射的不同。出射光强I为血管内像素段内的灰度最小值，入射光强I 0为血管外像素段的灰度平均值。
图像处理模块通过对100张570nm的眼底图像进行专家手动分割标注，得到如图3所示的眼底视网膜图像进行血管分割的结果示意图。用大于20张570nm图像及分割结果作为验证，选择分割正确率最高的深度全卷积网络模型对多光谱图像中的不同波段的眼底图像进行血管分割。通过设计10层以上的全卷积网络结构可以实现较高精度的血管分割，实验证明基于监督学习的深度学习分割方法分割正确率优于传统形态学处理、模板匹配、多尺度滤波和无监督分割算法，为精确进行血氧饱和度计算提供必要条件。在一些实施方式中，波长570nm对应等吸收系数，波长为600nm对应不等吸收系数。如图4所示，当每一时刻采集的570nm和600nm的图像输入到图像处理模块时，图像处理模块会对图像进行预处理，包括图像不均匀度矫正、光照强度矫正及图像去噪等操作。利用深度全卷积网络训练好的模型对570nm图像进行血管分割，得到精准的血管分割结果，对分割后的图像进行二值化和中心线提取，对于中心线的每个点R(i,j)进行遍历，均搜寻其八联通邻域的点， 直至完成对整条血管的遍历搜索，出射光强I为血管内像素段内的灰度最小值，入射光强I 0为血管外像素段的灰度平均值，通过公式(1.3)计算每段血管的光密度值，通过公式(1.4)，(1.5)完成血氧饱和度计算。通过控制图像采集频率，勾勒图像感兴趣区域，可以进行动态的血氧饱和度值监测。
由于本申请检测手段无损无创，可进一步采用不同模式的光学刺激，不同模式的光学刺激可表现为：不同的光学明暗图案、不同的刺激时间、不同的刺激亮度及不同的光波长中的一种或多种等，充分探索眼底循环及神经系统对光刺激的动态响应过程，寻找可有助于疾病早期诊断的特征改变。
示例二
本示例应用于对血管损伤状态下的实验动物进行静态与动态结合的多光谱眼底功能成像，以评估眼底血管损伤对周围循环与神经生理状态的影响。
激光被广泛应用于眼底疾病的治疗中，通过眼底激光光凝可以封闭渗漏点，减少视网膜水肿；光凝也可以破坏毛细血管闭塞区以减少新生血管因子形成，促使已有的新生血管退缩，预防新生血管再生，保存有用的视功能。此外，少数情况下当激光使用不当时会对眼底造成不可逆的永久损伤。本示例可以通过动态功能成像的方式评估眼底血管损伤对周围循环与神经生理状态的影响。仍采用血氧饱和度作为主要检测指标，并配合光学相干层析成像、荧光造影等手段评估血管损伤状态，探究两者之间的关系，为眼底疾病的治疗及以后评估开拓新的方法。
本示例选用有不同程度眼底血管损伤的兔子(以下简称损伤兔)分别与相同体重的健康兔作为对照，评估所有眼底血管损伤兔的损伤状态，并依据不同疾病状态进行分组。对同一组中相同体重的损伤兔与健康兔，测量其静息状态下的多光谱眼底成像结果，并通过图像处理模块计算得出静息时眼底血氧饱和度；在施加相同的光学刺激后，再次选取若干时间点，获得各时间点对应的多光谱眼底成像结果图，并计算得出其在接受光学刺激后眼底血氧饱和度的动态变化趋势。
对同一只兔子，光学刺激所采用的明暗图案形成了对眼底视网膜不同光照强度的光学刺激，可在眼底的不同区域间进行血氧饱和度变化趋势分析，寻找不同强度光刺激对血氧饱和度动态变化的影响规律；对同一组中的损伤兔与健康兔，可通过对比整个眼底的方式寻找由损伤导致的眼底视网膜组织对光刺激响应的改变。
本申请还提供了一种动态视觉刺激的多光谱眼底成像系统的成像方法，该成像方法主要包括以下步骤1)～4)：
1)施加光学刺激前得到多光谱图像：
a)监视模式：
启动监视模式后，多光谱眼底成像系统的图像采集装置(可采用相机实现，以下以相机为例)首先工作在红外光监视模式，调整系统与被试者的眼底相对位置，并调节对焦，找到被试者眼底感兴趣的区域。
b)外部触发模式：
找到被试者眼底感兴趣的区域后，相机(即，图像采集装置)工作在外部或内部触发模式，多光谱眼底成像系统的控制器(可采用计算机实现，以下以计算机为例)控制多光谱光源和相机同步，多光谱光源发出的单色激发光经多合一环状光纤束后从环状出光口输出，形成环形光；环形光经第一聚焦透镜和光路调整装置聚焦并改变光路；在中通镜的中心小孔的周围反射；经第二聚焦透镜聚焦后进入眼底；从眼底反射回的成像光再经聚焦透镜聚焦到中通镜的中心小孔，并穿过中心小孔；经过成像聚焦透镜组，进入相机，计算机(即，控制器)控制相机与多光谱光源进行静态成像，完成一次多光谱眼底图像采集；
c)多光谱光源改变激发光的波长，计算机控制多光谱光源和相机同步，相机同步相应拍摄对应波长的多光谱眼底图像，重复步骤a)和b)，直至完成所有波长的拍摄；
d)相机将拍摄的多光谱眼底图像传输至计算机；
2)施加光学刺激：
a)调整二向色镜进入光路；计算机控制光学刺激装置发出图案，图案经二向色镜的反射，依次经过成像聚焦透镜组、中通镜的中心小孔以及第二聚焦透镜，透射到眼底；图案中的明暗对比对应于对眼底组织的光学刺激强弱，通过调控图案，可动态刺激眼底组织；
b)光学刺激结束后，关闭光学刺激装置，将二向色镜移出光路。
3)施加光刺激后采集时间序列下的多组多光谱图像：
相机对光学刺激后的眼底，按照步骤1)中的方法，在不同时间点上多次采集多光谱图像，并传输至计算机；
计算血氧饱和度值：
4)施加光学刺激前后不同时间点的多次静态成像构成功能成像，计算机根据光学刺激的施加前后的不同时间点上多次的多光谱图像，计算血氧饱和度值，以及动态的血氧饱和度值监测，评估眼底循环及神经系统对光学刺激的动态响应和恢复。在本实施方式中，计算血氧饱和度值，以及动态的血氧饱和度值监测，包括以下步骤：
A、计算机将同一时刻不同波长下的多光谱图像中的眼底图像进行预处理，包括图像不均匀度矫正、光照强度矫正和图像去噪操作；在一种具体的实施方式中，通过预设的计 算机程序对图像进行适当的拉伸变换，对可能出现的图像边缘处的不均匀形变进行非线性矫正补偿，保证眼底成像结果均匀、真实。如果出现了光照强度不够均匀的情况，在计算机软件中还可以基于不同区域的中心亮度进行差异自动检测，从而发现过亮或过暗的局部区域。接着通过亮度补偿的方法，调整该区域内显示像素的灰度值，在显示结果中对光照强度进行均匀矫正。如果有噪点，在软件中可以通过中值滤波或空间低通滤波等滤波算法去除图像噪声干扰。
B、将一个波长下的多张眼底图像进行专家手动分割，其专家手动分割具体过程为：在专业的眼科软件中，眼科专家根据观察到的视网膜的各级动静脉血管及毛细血管，用鼠标勾画出血管轮廓的二值图。对于得到的每一张眼底图像的手动分割图像，将眼底图像与其对应的手动分割图像为一组样本，样本的数量大于100，其中一部分作为训练样本，另一部分作为验证样本，验证样本的数量大于20；
C、建立深度全卷积网络，将建立的深度全卷积网络作为深度学习算法分割计算的模型，在一种实施方式中，该模型由10层卷积网络构成，其中下采样层5层，上采样层5层。模型的使用过程如下文D、E步骤；
D、将训练样本的眼底图像作为深度全卷积网络的输入，对应的手动分割图像作为深度全卷积网络的输出，完成超参数优化，以此训练深度全卷积网络；
E、用验证样本的眼底图像作为深度全卷积网络的输入，对应的手动分割图像作为深度全卷积网络的输出，以此验证深度全卷积网络，选择分割正确率最高的深度全卷积网络对多光谱图像中的不同波段眼底图像进行血管分割；
F、对分割后的图像进行二值化和中心线提取，对于中心线的每个点R(i,j)进行遍历，(i,j)代表图像中的横纵位置，R代表该点的灰度值，搜寻其八联通(即上、下、左、右、左上、右上、左下、右下共八个正向相邻和斜向相邻的位置)邻域的点，完成对整条血管的遍历搜索；
G、出射光强I为血管内像素段内的灰度最小值，入射光强I 0为血管外像素段的灰度平均值，通过下式计算每段血管的光密度值：
Figure PCTCN2019071807-appb-000006
其中，I为入射光穿过溶液后的强度，I 0为原入射光的强度，ε为溶液的吸收系数，C为溶液的浓度，d为光线穿过溶液的距离，ε Hbo2为氧和血红蛋白溶液吸收系数，ε Hb为血红 蛋白的溶液吸收系数，C Hbo2为氧和血红蛋白的溶液浓度；C Hb为血红蛋白的溶液浓度；
H、通过下式计算血氧饱和度SO 2：
SO 2＝a·ODR+b
其中，为吸收系数不相等的光密度和等吸收系数的光密度的比率ODR，a和b为常数；
I、通过控制图像采集频率，勾勒图像感兴趣区域，进行动态的血氧饱和度值监测。
通过上述动态视觉刺激的多光谱眼底成像系统及方法，可通过结合动态视觉刺激，将静态的多光谱眼底静态成像拓展到动态功能成像领域，并结合图像处理与机器学习有助于提高眼底疾病诊断方法的普适性和准确性。
最后需要注意的是，公布实施例的目的在于帮助进一步理解本申请，但是本领域的技术人员可以理解：在不脱离本申请及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本申请不应局限于实施例所公开的内容，本申请要求保护的范围以权利要求书界定的范围为准。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
工业实用性：
通过应用本申请的技术方案，本申请可捕捉不同光学刺激前后的眼底生理状态，检测眼底对外界光刺激的响应，从而实现动态的多光谱眼底功能成像。

Claims (16)

  1. 一种动态视觉刺激的多光谱眼底成像系统，包括多光谱光源(3)、中通镜(5)，以及成像聚焦透镜组(9)、图像采集装置(8)和控制器；所述多光谱光源(3)为能够发出多个不同波长的光源；所述中通镜(5)为反射镜及在所述反射镜上设置有贯穿所述反射镜的中心小孔；
    控制器控制多光谱光源(3)和图像采集装置(8)同步工作，多光谱光源(3)发出的单色激发光经中通镜(5)的中心小孔周围反射进入眼底；从眼底反射回的成像光依次经中通镜(5)的中心小孔和成像聚焦透镜组(9)；由图像采集装置(8)采集图像，完成一次多光谱眼底图像采集；
    多光谱光源(3)改变单色激发光的波长，图像采集装置(8)同步相应拍摄不同波长的多光谱眼底图像，直至完成所有波长的拍摄，形成多光谱静态图像；
    其特征在于，还包括光学刺激装置(6)；
    控制器控制光学刺激装置(6)和图像采集装置(8)同步工作，光学刺激装置(6)发出的图案，依次经像聚焦透镜组(9)、中通镜(5)的中心小孔透射到眼底；从眼底反射回的成像光依次经中通镜(5)的中心小孔和成像聚焦透镜组(9)；由图像采集装置(8)采集图像，完成多光谱眼底图像采集。
  2. 根据权利要求1所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，还包括在多光谱光源(3)与中通镜(5)之间的光路上设置有第一聚焦透镜(11)；
    或在多光谱光源(3)与中通镜(5)之间的光路上设置有第一聚焦透镜(11)，在第一聚焦透镜(11)与中通镜(5)之间的光路上设置有光路调整装置(4)；
    或/和在眼底与中通镜(5)之间的光路上设置有第二聚焦透镜(10)；
    或/和在光学刺激装置(6)与成像聚焦透镜组(9)之间的光路上设置有二向色镜(7)。
  3. 根据权利要求1所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，所述多光谱光源采用多个不同波长的发光二极管；
    或/和所述多光谱光源包括多合一环状光纤束，所述多合一环状光纤束包括多根光纤分支、合束端和环状出光口；多根光纤分支的末端为合束端，在合束端设置环状出光口。
  4. 根据权利要求3所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，所述多合一环状光纤束中每一个光纤分支的光纤丝都均匀分布在整个光纤丝环中。
  5. 根据权利要求3所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，所述光纤分支的数目大于或者等于所需的发光二极管的数目；每一光纤分支包括多根光纤丝，每 条光纤分支的直径覆盖单灯珠的LED的发光表面，并采用贴合式耦合方式。
  6. 根据权利要求5所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，每一光纤分支包括的光纤丝的数量为100至9999中的任一数值。
  7. 根据权利要求1所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，所述图像采集装置(8)为拍照装置或摄影装置；
    或/和所述光路调整装置(4)包括聚焦透镜组和反射镜；
    或/和所述光学刺激装置(6)为高亮度的工业显示屏或微型投影仪；
    或/和控制器为计算机。
  8. 根据权利要求7所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，所述拍照装置为CCD相机或CMOS相机。
  9. 根据权利要求1所述的动态视觉刺激的多光谱眼底成像系统，其特征在于，所述多光谱光源(3)发出的光的波长包括500nm、530nm、570nm、600nm、630nm和850nm中的一种或多种。
  10. 一种权利要求1～9任一项所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，包括以下步骤：
    1)施加光学刺激前得到多光谱图像：
    a)监视模式：
    启动后相机首先工作在红外光监视模式，调整系统与被试者的眼底相对位置，并调节对焦，找到被试者眼底感兴趣的区域；
    b)外部触发模式：
    找到被试者眼底感兴趣的区域后，相机工作在外部或内部触发模式，计算机控制多光谱光源和相机同步，多光谱光源发出的单色激发光经多合一环状光纤束，从环状出光口输出，形成环形光；环形光经第一聚焦透镜和光路调整装置聚焦并改变光路；在中通镜的中心小孔的周围反射；经第二聚焦透镜聚焦后进入眼底；从眼底反射回的成像光再经聚焦透镜聚焦到中通镜的中心小孔，并穿过中心小孔；经过成像聚焦透镜组，进入相机，计算机控制相机与多光谱光源进行静态成像，完成一次多光谱眼底图像采集；
    c)多光谱光源改变激发光的波长，计算机控制多光谱光源和相机同步，相机同步相应拍摄对应波长的多光谱眼底图像，重复步骤a)和b)，直至完成所有波长的拍摄；
    d)传输至计算机形成一组多光谱图像；
    2)施加光学刺激：
    a)调整二向色镜进入光路；计算机控制光学刺激装置发出图案，经二向色镜的反射， 依次经过成像聚焦透镜组、中通镜的中心小孔以及第二聚焦透镜，透射到眼底；图案中的明暗对比对应于对眼底组织的光学刺激强弱，调控动态刺激眼底组织；
    b)光学刺激结束后，关闭光学刺激装置，将二向色镜移出光路；
    3)施加光刺激后采集时间序列下的多组多光谱图像：
    相机对光学刺激后的眼底，按照步骤1)中的方法，在不同时间点上多次进行多光谱图像的采集，并传输至计算机；
    计算血氧饱和度值：
    4)光学刺激施加前后不同时间点的多次静态成像构成功能成像，计算机根据光学刺激的施加前后的不同时间点上多次的多光谱图像，计算血氧饱和度值，以及动态的血氧饱和度值监测，评估眼底循环及神经系统对光学刺激的动态响应和恢复。
  11. 根据权利要求10所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，在步骤4)中，计算血氧饱和度值，以及动态的血氧饱和度值监测，包括以下步骤：
    计算机将同一时刻不同波长下的多光谱图像中的眼底图像进行预处理，包括图像不均匀度矫正、光照强度矫正和图像去噪操作；
    通过预先训练及验证得到的网络模型对预处理后的眼底图像进行血管分割，得到分割后的图像；其中，所述网络模型为基于深度学习算法进行血管分割计算的模型；
    对分割后的图像进行二值化处理和中心线提取，对于中心线的每个点R(i,j)进行遍历，搜寻每个点对应的八联通邻域的点，完成对整条血管的遍历搜索；其中，(i,j)代表图像中的横纵位置，R代表该点的灰度值；
    基于血管的遍历搜索结果，计算每段血管在指定波长光下的光密度值；
    根据每段血管在指定波长光下的光密度值，计算血氧饱和度；通过控制图像采集频率，勾勒眼底图像的感兴趣区域，基于所述感兴趣区域进行动态的血氧饱和度值监测。
  12. 根据权利要求11所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，所述方法还包括：
    获取训练样本和验证样本；其中，所述训练样本和所述验证样本均包括多组样本，每组样本包括眼底图像和与其对应的手动分割图像；
    将所述训练样本的眼底图像作为深度全卷积网络的输入，对应的手动分割图像作为所述深度全卷积网络的输出，完成超参数优化，训练所述深度全卷积网络；
    将所述验证样本的眼底图像作为深度全卷积网络的输入，对应的手动分割图像作为所述深度全卷积网络的输出，验证所述深度全卷积网络；
    将分割正确率最高的深度全卷积网络确定为用于对多光谱图像中的不同波段眼底图像进行血管分割的网络模型。
  13. 根据权利要求12所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，所述获取训练样本和验证样本的步骤，包括：将一个波长下的多张眼底图像进行专家手动分割，得到每一张眼底图像的手动分割图像；
    对于得到的每一张眼底图像的手动分割图像，将眼底图像与其对应的手动分割图像为一组样本，样本的数量大于100；将所述样本中的一部分作为训练样本，将所述样本中的另一部分作为验证样本，且验证样本的数量大于20。
  14. 根据权利要求11所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，所述网络模型为包含至少10层卷积层的全卷积网络结构。
  15. 根据权利要求11所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，所述计算每段血管在指定波长光下的光密度值的步骤，包括：
    通过下式计算每段血管的光密度值：
    Figure PCTCN2019071807-appb-100001
    其中，I为入射光穿过溶液后的强度，I 0为原入射光的强度，ε为溶液的吸收系数，C为溶液的浓度，d为光线穿过溶液的距离，ε Hbo2为氧和血红蛋白溶液吸收系数，ε Hb为血红蛋白的溶液吸收系数，C Hbo2为氧和血红蛋白的溶液浓度；C Hb为血红蛋白的溶液浓度。
  16. 根据权利要求11所述的动态视觉刺激的多光谱眼底成像系统的成像方法，其特征在于，所述根据每段血管在指定波长光下的光密度值，计算血氧饱和度的步骤，包括：
    通过下式计算血氧饱和度SO 2：
    SO 2＝a·ODR+b
    其中，
    Figure PCTCN2019071807-appb-100002
    为吸收系数不相等的光密度和等吸收系数的光密度的比率，a和b为常数。
PCT/CN2019/071807 2018-04-21 2019-01-15 一种动态视觉刺激的多光谱眼底成像系统及方法 WO2019200987A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/965,224 US20200345284A1 (en) 2018-04-21 2019-01-15 Multi-spectral fundus imaging system and method using dynamic visual stimulation
EP19789119.5A EP3785602B1 (en) 2018-04-21 2019-01-15 Multi-spectral fundus imaging system and method using dynamic visual stimulation
JP2020538838A JP6970306B2 (ja) 2018-04-21 2019-01-15 動的視覚刺激を用いたマルチスペクトル眼底イメージングシステムおよび方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810363180.8 2018-04-21
CN201810363180.8A CN108670192B (zh) 2018-04-21 2018-04-21 一种动态视觉刺激的多光谱眼底成像系统及方法

Publications (1)

Publication Number Publication Date
WO2019200987A1 true WO2019200987A1 (zh) 2019-10-24

Family

ID=63801339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/071807 WO2019200987A1 (zh) 2018-04-21 2019-01-15 一种动态视觉刺激的多光谱眼底成像系统及方法

Country Status (5)

Country Link
US (1) US20200345284A1 (zh)
EP (1) EP3785602B1 (zh)
JP (1) JP6970306B2 (zh)
CN (1) CN108670192B (zh)
WO (1) WO2019200987A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108670192B (zh) * 2018-04-21 2019-08-16 重庆贝奥新视野医疗设备有限公司 一种动态视觉刺激的多光谱眼底成像系统及方法
CN112868068B (zh) * 2018-10-17 2024-05-10 谷歌有限责任公司 使用利用其它模式训练的机器学习模型处理眼底相机图像
CN109394181A (zh) * 2018-12-05 2019-03-01 吉林大学 一种脑部功能区域定位系统、方法以及可移动设备
CN109620137B (zh) * 2018-12-17 2022-02-08 深圳盛达同泽科技有限公司 视网膜曝光方法、装置、电子设备及可读存储介质
CN109431457A (zh) * 2018-12-21 2019-03-08 合肥奥比斯科技有限公司 多光谱眼底成像系统
CN110236482B (zh) * 2019-05-31 2024-03-22 中国科学院苏州生物医学工程技术研究所 一体化眼脑部视觉功能成像系统
CN110364256A (zh) * 2019-06-21 2019-10-22 平安科技（深圳）有限公司 一种基于大数据的血管图像识别的疾病预测系统及方法
CN110292359B (zh) * 2019-07-09 2021-01-08 浙江大学 一种无标记全光学神经调控与成像的方法与装置
CN110432861A (zh) * 2019-08-12 2019-11-12 北京大学 一种动态光刺激视网膜血氧饱和度测量系统及其测量方法
CN110448267B (zh) * 2019-09-06 2021-05-25 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法
CN111035361B (zh) * 2019-12-28 2022-06-21 重庆贝奥新视野医疗设备有限公司 一种眼底相机成像和照明系统
CN111035359A (zh) * 2019-12-28 2020-04-21 重庆贝奥新视野医疗设备有限公司 一种立体成像眼底照相机系统
CN113837985B (zh) * 2020-06-24 2023-11-07 上海博动医疗科技股份有限公司 用于血管造影图像处理的训练方法和装置、自动处理方法和装置
WO2023164271A1 (en) * 2022-02-28 2023-08-31 Arizona Board Of Regents On Behalf Of The University Of Arizona Hyperspectral recovery from two images
TWI803254B (zh) 2022-03-23 2023-05-21 國立中正大學 眼底影像之動靜脈辨識方法
CN115316960B (zh) * 2022-10-13 2023-03-31 浙江大学医学中心(余杭) 一种大脑神经活动调控和脑信息同步读取系统
CN116491892B (zh) * 2023-06-28 2023-09-22 依未科技(北京)有限公司 近视眼底改变评估方法、装置和电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114109A1 (en) * 2002-08-05 2004-06-17 Peter Soliz Method for detecting a functional signal in retinal images
CN102028477A (zh) * 2010-12-22 2011-04-27 中国科学院光电技术研究所 一种测量眼底视网膜血氧饱和度的装置及方法
CN102078182A (zh) * 2011-02-17 2011-06-01 王凯 一种全视网膜光学功能成像系统
CN104080394A (zh) * 2011-09-16 2014-10-01 安尼迪斯公司 评估视网膜功能的系统和方法
JP2015123207A (ja) * 2013-12-26 2015-07-06 株式会社ニデック 眼科光刺激装置
CN106901687A (zh) * 2017-04-10 2017-06-30 浙江大学 一种便携式多光谱眼底分层相机装置
CN108670192A (zh) * 2018-04-21 2018-10-19 重庆贝奥新视野医疗设备有限公司 一种动态视觉刺激的多光谱眼底成像系统及方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5308919A (en) * 1992-04-27 1994-05-03 Minnich Thomas E Method and apparatus for monitoring the arteriovenous oxygen difference from the ocular fundus
US5331796A (en) * 1992-09-16 1994-07-26 Ceeco Machinery Manufacturing Limited Method and apparatus for applying stacked optical fiber ribbons about a cylindrical core of a fiber optic cable
JPH06142044A (ja) * 1992-11-10 1994-05-24 Canon Inc 眼科測定装置
IL125614A (en) * 1998-07-31 2003-01-12 Amiram Grinvald System and method for non-invasive imaging of retinal function
JP4641102B2 (ja) * 2001-01-10 2011-03-02 株式会社トプコン 眼底カメラ
US20070091265A1 (en) * 2002-01-18 2007-04-26 Kardon Randy H System and method for optical imaging of human retinal function
US20030157464A1 (en) * 2002-02-20 2003-08-21 Cesare Tanassi Instrument for eye examination and method
WO2004021050A2 (en) * 2002-08-29 2004-03-11 Kestrel Corporation Hyperspectral imaging of the human retina
DE102004008675B4 (de) * 2004-02-20 2009-05-07 Imedos Gmbh Bildgebendes Verfahren zur Erfassung medizinisch relevanter Unterschiede von Strukturen und Eigenschaften eines Untersuchungsobjektes und dazu geeignete Vorrichtung
JP4458935B2 (ja) * 2004-06-01 2010-04-28 株式会社ニデック 視野計
GB2415778B (en) * 2004-06-29 2008-05-14 Patrick Kerr Analysis of retinal metabolism over at least a portion of a cardiac cycle
EP1850731A2 (en) * 2004-08-12 2007-11-07 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
US7774036B2 (en) * 2005-06-07 2010-08-10 Oxymap Ehf Automatic registration of images
DE102005034332A1 (de) * 2005-07-22 2007-01-25 Carl Zeiss Meditec Ag Einrichtung und Verfahren zur Beobachtung, Dokumentation und/oder Diagnose des Augenhintergrundes
JP4783190B2 (ja) * 2006-03-30 2011-09-28 株式会社スペクトラテック 光干渉断層計
US8488895B2 (en) * 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
US20110190657A1 (en) * 2009-08-10 2011-08-04 Carl Zeiss Meditec, Inc. Glaucoma combinatorial analysis
US10456209B2 (en) * 2010-10-13 2019-10-29 Gholam A. Peyman Remote laser treatment system with dynamic imaging
CN102008287B (zh) * 2010-11-03 2012-08-22 温州医学院 一种多通道眼底视网膜光谱成像装置
WO2012149420A1 (en) * 2011-04-29 2012-11-01 Optovue, Inc. Improved imaging with real-time tracking using optical coherence tomography
US9849034B2 (en) * 2011-11-07 2017-12-26 Alcon Research, Ltd. Retinal laser surgery
WO2013078412A1 (en) * 2011-11-22 2013-05-30 California Institute Of Technology Systems and methods for noninvasive analysis of retinal health and function
US9339178B2 (en) * 2013-12-23 2016-05-17 Novartis Ag Forward scanning optical probes and associated devices, systems, and methods
KR102564748B1 (ko) * 2015-03-16 2023-08-07 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
JP2016214370A (ja) * 2015-05-15 2016-12-22 キヤノン株式会社 眼底カメラ及びその制御方法、並びに、プログラム
JP6900647B2 (ja) * 2016-09-30 2021-07-07 株式会社ニデック 眼科装置、およびｉｏｌ度数決定プログラム
CN106821302B (zh) * 2017-02-28 2018-10-02 冯晔瑾 一种多光谱眼底拍摄系统
CN107260224A (zh) * 2017-07-28 2017-10-20 刘全义 一种神经内科查诊装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114109A1 (en) * 2002-08-05 2004-06-17 Peter Soliz Method for detecting a functional signal in retinal images
CN102028477A (zh) * 2010-12-22 2011-04-27 中国科学院光电技术研究所 一种测量眼底视网膜血氧饱和度的装置及方法
CN102078182A (zh) * 2011-02-17 2011-06-01 王凯 一种全视网膜光学功能成像系统
CN104080394A (zh) * 2011-09-16 2014-10-01 安尼迪斯公司 评估视网膜功能的系统和方法
JP2015123207A (ja) * 2013-12-26 2015-07-06 株式会社ニデック 眼科光刺激装置
CN106901687A (zh) * 2017-04-10 2017-06-30 浙江大学 一种便携式多光谱眼底分层相机装置
CN108670192A (zh) * 2018-04-21 2018-10-19 重庆贝奥新视野医疗设备有限公司 一种动态视觉刺激的多光谱眼底成像系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3785602A4 *

Also Published As

Publication number Publication date
EP3785602A4 (en) 2021-06-16
EP3785602B1 (en) 2023-04-19
EP3785602A1 (en) 2021-03-03
US20200345284A1 (en) 2020-11-05
CN108670192B (zh) 2019-08-16
JP2021511118A (ja) 2021-05-06
JP6970306B2 (ja) 2021-11-24
CN108670192A (zh) 2018-10-19

Similar Documents

Publication Publication Date Title
WO2019200987A1 (zh) 一种动态视觉刺激的多光谱眼底成像系统及方法
Spaide et al. Optical coherence tomography angiography
JP6586196B2 (ja) 眼科撮影装置および眼科画像表示装置
Nelson et al. Special report: noninvasive multi-parameter functional optical imaging of the eye
EP1494579B1 (en) Characterization of moving objects in a stationary background
US8807751B2 (en) Retinal fundus surveillance method and apparatus
US20080021331A1 (en) Characterization of moving objects in a stationary background
WO2005084526A1 (ja) 網膜機能の光学計測方法と装置
CN107137073A (zh) 一种基于甲壁血流分析的青光眼和糖尿病等微循环系统疾病检测技术
Harvey et al. Hyperspectral imaging for the detection of retinal diseases
JP5372540B2 (ja) 機能イメージング眼科装置及びマスク形成方法
Di Cecilia et al. Hyperspectral imaging of the human iris
CN207693547U (zh) 一种眼底多模态成像系统
CN106821302B (zh) 一种多光谱眼底拍摄系统
Deng et al. The association between decreased choriocapillary flow and electroretinogram impairments in patients with diabetes
Everdell et al. Multispectral imaging of the ocular fundus using LED illumination
CA3170959A1 (en) Illumination of an eye fundus using non-scanning coherent light
Di Cecilia et al. An improved imaging system for hyperspectral analysis of the human iris
Weber et al. Retina and choroid imaging with transcranial back-illumination
Beach et al. Multispectral fundus imaging for early detection of diabetic retinopathy
MacKenzie In vivo microvascular oximetry using multispectral imaging
JP2010172614A (ja) 機能イメージング眼科装置
Son et al. Brief Communications Highlight article
Firn Non-invasive choroidal imaging and retinal, choroidal and optic nerve head oxygen saturation calculations using a multispectral snapshot imaging system with visible and near infrared wavelengths
JP2021104313A (ja) 眼科装置、その評価方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19789119

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020538838

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019789119

Country of ref document: EP

Effective date: 20201123