WO2022252107A1 - 一种基于眼部图像的疾病检测系统及方法 - Google Patents

一种基于眼部图像的疾病检测系统及方法 Download PDF

Info

Publication number
WO2022252107A1
WO2022252107A1 PCT/CN2021/097596 CN2021097596W WO2022252107A1 WO 2022252107 A1 WO2022252107 A1 WO 2022252107A1 CN 2021097596 W CN2021097596 W CN 2021097596W WO 2022252107 A1 WO2022252107 A1 WO 2022252107A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
disease
face
image
eye image
Prior art date
Application number
PCT/CN2021/097596
Other languages
English (en)
French (fr)
Inventor
GUMengwei
Original Assignee
眼灵(上海)智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 眼灵(上海)智能科技有限公司 filed Critical 眼灵(上海)智能科技有限公司
Priority to PCT/CN2021/097596 priority Critical patent/WO2022252107A1/zh
Publication of WO2022252107A1 publication Critical patent/WO2022252107A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Definitions

  • DL-based artificial intelligence techniques have achieved remarkable progress in various computer vision tasks, such as object detection, image classification, instance segmentation, and object recognition, among others.
  • object detection object detection
  • image classification instance segmentation
  • object recognition object recognition
  • the advantages of deep learning make it widely used in medical image analysis, for example, to classify different diseases based on medical images.
  • Known areas of application are already not autism spectrum disorder or Alzheimer's disease in the brain, breast cancer, diabetic retinopathy and glaucoma, as well as common conditions such as lung cancer or pneumonia.
  • the eye As the observation window of the health status of multiple organs, the eye is the only organ in the living human body that can observe blood vessels with the naked eye without invasiveness. With the help of this anatomical and imaging advantage, the image performance of the lesions of the internal organs of the human body in the eye can be It reflects the health status of organs such as the endocrine system, cardiovascular system and liver.
  • image detection is mainly performed through fundus camera equipment, which is expensive and difficult to operate.
  • there is no technology based on eye image detection and the accuracy and stability of eye image detection algorithm technology is not yet mature.
  • the face image preprocessing module is used to cut and preprocess the above-mentioned face image to obtain the eye area picture;
  • the eye image feature extraction module is used to extract the basic features of the above-mentioned eye region pictures according to the trained eye image feature extraction model;
  • the eye image feature filtering module is used to filter the above basic features based on the above eye pathological feature knowledge map
  • an image acquisition module is further included, configured to acquire face images.
  • the image acquisition module is a terminal with a shooting function, including a mobile phone, a television, a digital camera, a personal computer, or a portable medical device.
  • the above-mentioned human face image interception module intercepts the eye region of the human face according to the coordinates of the above-mentioned facial key points to obtain an eye interception picture
  • the above-mentioned eye image screening module is used to screen the above-mentioned intercepted eye image to obtain the above-mentioned eye area image.
  • the coordinates of the key points of the face include the key points of the left and right eyes of the human face
  • the human face detection model obtains the horizontal and vertical coordinates of the eye region of the human face according to the key points of the left and right eyes of the human face The maximum and minimum values of , intercept the eye area of the face.
  • Annotation of the knowledge map training set Predefine 5 areas covering the eye, mark the eye features according to the above 5 areas and form a vector code for a specific disease;
  • step B Generate vector codes for specific diseases: Generate corresponding vector codes according to step B, and further use the attribute space clustering results to calculate the distance between different disease vector codes to form a knowledge map with disease attributes.
  • the arithmetic mean or geometric mean of all the sample data of the above-mentioned specific disease category cluster is used as the vector encoding of the specific disease.
  • the specific diseases mentioned above include but are not limited to new coronary pneumonia, diabetes, viral influenza, lung diseases, liver diseases, and eye diseases.
  • the eye features marked in the above step A include shape, blood streaks, cloudy rings, color, spots, size of the fornix, dynamic changes in the position and structure of the fornix, and the side branches of the eye. .
  • the machine learning model in the above step B includes support vector machine, neural network, random tree forest, logistic regression and linear regression.
  • the above-mentioned high-dimensional disease semantic attribute space embedding defines the representation and definition of a specific disease in western medicine to form a vector encoding of a specific disease and its knowledge map, and at the same time embeds the expert knowledge of the disease according to traditional Chinese medicine Experience descriptions form disease-specific semantic attribute definitions.
  • a system control module is further included, configured to perform state control on each module and message transmission between each module.
  • a disease detection method based on an eye image comprising the following steps:
  • Eye image feature extraction based on the trained eye image feature extraction model, perform basic feature extraction on the above eye area pictures;
  • Eye image feature filtering filtering the above basic features according to the above eye pathological feature knowledge map
  • Disease semantic attribute analysis which has a high-dimensional disease semantic attribute space constructed based on the above-mentioned ocular pathological feature knowledge map, and detects diseases based on the above-mentioned filtered basic features.
  • the face image is collected before preprocessing the face image.
  • the above-mentioned face image preprocessing step further includes:
  • the maximum and minimum values of the horizontal and vertical coordinates of the eye area of the face are obtained, and at the same time, the horizontal and vertical coordinates are expanded to a certain value to ensure the eye area of the face All are included in the feature extraction range, and the eye area of the face is intercepted to obtain the eye interception picture;
  • the facial key point coordinates include the key points of the left and right eyes of the human face
  • the human face detection model obtains the horizontal and vertical coordinates of the eye area of the human face according to the key points of the left and right eyes of the human face The maximum and minimum values are used to intercept the eye area of the face.
  • the knowledge graph of ocular pathological features includes specific disease semantics, specific disease attribute definitions, and correspondence between specific diseases and eye image features.
  • the above-mentioned high-dimensional disease semantic attribute space embedding defines the representation and definition of a specific disease in Western medicine to form a vector encoding of a specific disease and its knowledge graph.
  • Experience descriptions form disease-specific semantic attribute definitions.
  • the above eye image feature filtering step further includes:
  • the eye image feature extraction model and classification features are supervised learning
  • the SGD optimizer is used to iteratively train the eye image feature extraction model.
  • an electronic device includes a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete mutual communication through the communication bus
  • the memory is used to store the computer program; the processor is used to implement the method in the second aspect of the above-mentioned embodiment when executing the program stored in the memory.
  • a computer-readable storage medium in which a computer program is stored in the above-mentioned computer-readable storage medium, and when the above-mentioned computer program is executed by a processor, the above-mentioned embodiment in the second aspect is implemented Method steps.
  • ordinary cameras can be used to collect images without using professional medical imaging equipment, and it can be operated without relying on professionals, and the eye feature-based imaging can be realized conveniently, quickly and accurately.
  • Patients with multiple diseases such as non-new coronary pneumonia, new coronary pneumonia, liver disease, diabetes, internal metabolism and organ diseases, etc. are tested for disease.
  • FIG. 1 is a functional block diagram of a disease detection system according to an embodiment of the present invention.
  • FIG. 2 is a functional block diagram of a disease detection system according to an embodiment of the present invention.
  • Fig. 3 is a flow chart of a disease detection method according to an embodiment of the present invention.
  • Fig. 4 is a flowchart of a portrait preprocessing method according to an embodiment of the present invention.
  • Fig. 5 is a flow chart of constructing a high-dimensional disease semantic attribute space according to an embodiment of the present invention.
  • Fig. 6 is a schematic diagram of the five regions A-E in the visual diagnosis method according to an embodiment of the present invention.
  • Fig. 7 is a hardware system diagram according to an embodiment of the present invention.
  • FIG. 8 is an electronic device according to an embodiment of the present invention.
  • Fig. 9 is a schematic diagram of a disease detection process according to an embodiment of the present invention.
  • FIG. 1 is a structural diagram of functional modules of a disease detection system 100 according to an embodiment of the present invention.
  • the disease detection system of this embodiment is used to screen the patient's disease risk by taking the eye area in the face picture obtained, which includes a face image preprocessing module 101, eye feature pathology Database 102 , eye image feature extraction module 103 , eye image feature filtering module 104 , disease semantic attribute analysis module 105 , visualization aided decision-making module 106 and system control module 107 .
  • the above-mentioned eye pathology database 102 is used to store a knowledge map of eye pathology constructed based on empirical knowledge of clinical observations in traditional Chinese medicine and pathological knowledge in western medicine. According to traditional Chinese medicine, it is based on the visual diagnosis method, and it is recorded in "Taiping Shenghui Prescription Eye Theory": "For liver disease, it should be in the wind wheel; for heart disease, it should be in the blood wheel; in spleen disease, it should be in the meat wheel.
  • this embodiment uses 5 different eye regions for feature extraction, and the 5 regions are respectively defined as: A region, B region, C region, D region, and E region, wherein C region is the area containing black eyes. and white eye area, A area, D area, E area, B and the rest are respectively located in the upper, lower, left, and right areas of the above C area, and may overlap with the above C area to a certain extent, as shown in Figure 6.
  • the features extracted from the above five eye regions respectively reflect the shape of different human internal organs: the A region mainly reflects the state of the spleen, the B region mainly reflects the state of the heart, and the C region mainly reflects the liver and kidney.
  • the D area mainly reflects the overall mental state of the human body, and the E area mainly reflects the state of the lungs and liver.
  • the visual diagnosis method on which this example is based is based on the shape of each part of the patient's eye, blood streaks, turbid rings, color, spots, size of the fornix, dynamic changes in position and structure, and collaterals of the eye, etc., to diagnose diseases on the body Holographic diagnosis of lesions, injuries and dysfunctions in various parts of the body.
  • the construction of the knowledge map for the above-mentioned traditional Chinese medicine theory specifically includes the following steps:
  • Table 1 is marked according to the five regions of A-E to form a vector code for specific diseases
  • Attribute machine learning model process use the A-E five-region image and the overall eye image, and the corresponding attribute annotations as sample labels, use the machine learning model to learn based on the eye image as input, and predict the corresponding A-E five regions of the eye Attribute labeling.
  • the machine learning models used above include machine learning algorithms such as support vector machines, neural networks, random tree forests, logistic regression, and linear regression.
  • the knowledge map of ocular pathological features mentioned above includes specific disease semantics, specific disease attribute definitions, and the correspondence between specific diseases and eye image features.
  • the above-mentioned high-dimensional disease semantic attribute space embedding forms the vector encoding and knowledge map of specific diseases for the representation and definition of specific diseases in western medicine.
  • the above-mentioned eye image feature extraction module 103 is used to perform basic feature extraction on the above-mentioned eye region pictures according to the trained eye image feature extraction model, and the above-mentioned eye image feature extraction model is obtained by training through a Hopfield network and a multi-layer perceptron .
  • the above-mentioned eye image feature filtering module 104 is used to filter the above-mentioned basic features based on the above-mentioned eye pathological feature knowledge map; the above-mentioned disease semantic attribute analysis module has a high-dimensional disease semantic attribute space constructed based on the above-mentioned eye pathological feature knowledge map , which is used to detect diseases based on the above-mentioned filtered basic features.
  • the above disease detection system further includes an image acquisition module, configured to acquire face images.
  • the image acquisition module is a terminal with a shooting function, including a mobile phone, a television, a digital camera, a personal computer or a portable medical device.
  • it also includes a visual aided decision-making module, which is used to generate a corresponding heat map according to the model attention distribution of the above-mentioned eye image feature filtering module.
  • a system control module 107 is also included, which is used to control the status of each module and transmit messages between each module.
  • Another embodiment of the present invention proposes a disease detection method based on eye images, and the specific steps are shown in FIG. 3 .
  • the above-mentioned disease detection method comprises the following steps:
  • S1 Face image preprocessing, obtaining a face image and performing clipping and preprocessing on the above-mentioned face image to obtain an eye region image;
  • the input image must first be pre-processed and aligned.
  • the face image preprocessing unit 1 is used to preprocess the face image and obtain the eye region image.
  • the human face image preprocessing unit 1 is configured with a human face detection model, and the human face image preprocessing unit 1 preprocesses the human face picture based on the human face detection model, as shown in the preprocessing unit in Figure 4, the preprocessing Include the following steps:
  • S12 According to the key point coordinates of the left and right eyes of the face in the key point coordinates of the face, calculate the maximum and minimum values of the horizontal and vertical coordinates of the eye area of the face. In this embodiment, it is preferable to simultaneously expand the horizontal and vertical coordinates by a certain value to ensure that all eye regions of the human face are included in the feature extraction range, and then intercept the eye region of the human face to obtain the intercepted picture of the eyes.
  • the above-mentioned high-dimensional disease semantic attribute space embedding forms the vector encoding and knowledge map of the specific disease to the representation definition of the specific disease in Western medicine, and at the same time embedding the semantic attribute definition of the specific disease based on the expert experience description of the disease in traditional Chinese medicine.
  • S3 eye image feature extraction, according to the eye image feature extraction model after training, the above-mentioned eye area picture is carried out basic feature extraction;
  • the eye image feature extraction step is used to input the eye area picture
  • the basic features are extracted from the eye image feature extraction model.
  • a neural network is used to extract high-order features, which are used for the input of the classifier.
  • the classification unit predicts the multi-type disease categories of the corresponding patients in the eye region picture according to the basic features and outputs picture-level classification results.
  • the classification result is to determine whether the patient corresponding to the eye region picture suffers from a certain disease (for example, hepatitis, new coronary pneumonia, non-new coronary pneumonia, diabetes, etc.). It should be understood that this judgment is not a diagnosis of the disease, but is based on the eye features that patients with the disease may have, such as marking the input eye region pictures.
  • S43 The SGD (stochastic gradient descent) optimizer is used to iteratively train the eye image feature extraction model. For example, adopting an SGD optimizer with momentum to improve training speed.
  • eye image feature filtering may not include the two parts of feature supervision (S41) and iterative training (S42), but use fully trained eye image feature extraction Model.
  • the disease semantic attribute analysis step is used for patient-level classification, which adopts the highest priority voting decision. Specifically, the most urgent disease in the disease category is set as the highest priority disease category. For multiple eye region pictures of a patient, when the highest priority disease in the predicted picture-level classification results is When the number of categories is greater than or equal to 1, it is determined that the patient is more likely to suffer from the disease, and thus the patient-level prediction result is obtained.
  • the visual aided decision-making step S6 is based on the weight and influence of each region of the image participating in the score evaluation during the model classification process, preferably visually displaying the importance of each region in the form of a heat map, thereby enhancing the interpretability of the model.
  • the content of the heat map please refer to Figure 8.
  • the visualization aided decision-making can also be used to assist medical personnel in making judgments. It should also be understood that in other implementation forms of the present invention, the visual aided decision-making step may not be provided.
  • Fig. 8 shows a schematic structural diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 200 may include: a processor (processor) 201 , a memory (memory) 202 and a communication bus 203 , wherein the processor 201 and the memory 202 complete mutual communication through the communication bus 203 .
  • An embodiment of the present invention provides a computer-readable storage medium.
  • the above-mentioned computer-readable storage medium stores a computer program.
  • the program is executed by a processor, the above-mentioned embodiment provides any eye image-based disease detection method. each step.
  • the above logic instructions in the memory can be implemented in the form of software functional units and can be stored in a computer-readable storage medium when sold or used as an independent product.
  • the essence of the technical solution of the present invention or the part that contributes to the prior art or the part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium, including Several instructions are used to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute all or part of the steps of the above-mentioned methods in various embodiments of the present invention.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disc, etc., which can store program codes. .
  • Fig. 9 shows a schematic diagram of a disease detection process according to an embodiment of the present invention.
  • the probability prediction distribution of disease classification is generated.
  • the key areas on which the judgment is based are also presented in the form of a heat map. Among them, the eye features in the red area of the right eye receive the highest attention in the heat map, while the eye features in the left eye area receive less attention.
  • the deep learning system for risk screening of disease patients based on eye characteristics involved in this embodiment, it can be based on the fact that the eyes of disease patients often have conjunctivitis-like manifestations, including conjunctival hyperemia, stasis removal, increased discharge or secretions, etc.
  • the basic features extracted by the eye image feature extraction model are used to predict the disease category at the picture level and patient level, and to learn and express features for the eye area of the face , by capturing more resolving and discerning features, it is possible to realize disease patient risk screening based on eye features;
  • the screening work can improve the speed, accuracy, and convenience of disease risk screening, and at the same time, it can get rid of the limitations of professional dependence, and can be popularized on a large scale.
  • it can realize quantitative detection anytime and anywhere, and dynamically monitor virus infection. The extent of the epidemic is observed, the effect of treatment is observed, the epidemic is tracked and the map is drawn, so as to achieve efficient epidemic prevention and control.
  • spatially relative terms may be used here, such as “on !, “over !, “on the surface of !, “above”, etc., to describe the The spatial positional relationship between one device or feature shown and other devices or features. It will be understood that the spatially relative terms are intended to encompass different orientations of the device in use or operation in addition to the orientation depicted in the figures. For example, if the device in the figures is turned over, devices described as “above” or “above” other devices or configurations would then be oriented “beneath” or “above” the other devices or configurations. under other devices or configurations”. Thus, the exemplary term “above” can encompass both an orientation of “above” and “beneath”. The device may be oriented in different ways, rotated 90 degrees or at other orientations, and the spatially relative descriptions used herein interpreted accordingly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于眼部图像的疾病检测系统，包括：人脸图像预处理模块（101），用于对人脸图片进行预处理并得到眼部区域图片；眼部特征病理数据库（102），用于存储根据中国传统医学临床经验知识和西医病理知识构建的眼部病理特征知识图谱；眼部图像特征提取模块（103），用于根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；眼部图像特征过滤模块（104），用于基于上述眼部病理特征知识图谱对上述基础特征进行过滤；疾病语义属性分析模块（105），其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，用于根据过滤后的上述基础特征对疾病进行检测。该系统能够通过拍摄人脸图片中的眼部区域来方便快捷的进行患者的疾病检测。

Description

一种基于眼部图像的疾病检测系统及方法 技术领域
本发明涉及医学图像处理领域，具体涉及一种基于眼部图像的疾病检测系统及方法。
背景技术
在过去的几十年里，基于深度学习(DL)的人工智能技术在各种计算机视觉任务方面取得了显著的进展，例如目标检测、图像分类、实例分割和物体识别等等。深度学习的优势使其在医学图像分析中也得到了广泛的应用，例如，根据医学图像用来对不同疾病进行分类。已知的应用领域已经不可自闭症谱系障碍或大脑中的阿尔茨海默病，乳腺癌，糖尿病性视网膜病变和青光眼，以及肺癌或肺炎等常见病症。
目前，已有一些工作采用深度学习技术学习并提取医学影像特征进行疾病患者的识别与筛查，并取得良好效果。但是，医学影像的拍摄需要使用专业的医学影像设备进行拍摄并需要依赖专业人员进行操作，同时由于进行拍摄并成像的耗时较长，所以无法快速对医学影像特征进行提取并完成疾病患者的识别与筛查。也就是说，现有的基于医学影像特征的疾病患者筛查技术中存在时效性差、设备要求高、依赖专业人员等不足，难以满足大规模和快速筛查的需求。
眼睛作为多脏器健康状况的观察窗口，是人类活体唯一可以在无创下肉眼观察到血管的器官，借助这一解剖学和影像学优势，人体内部脏器的病变在眼部的影像表现，可以反映出内分泌系统、心血管和肝脏等脏器的健康状态。但是当前主要是通过眼底相机设备进行图像检测，成本昂贵且操作难度高，目前尚没有基于眼部图像检测的技术，基于眼部图像检测算法技术的准确率和稳定性尚不成熟。
发明内容
为了解决上述问题，本发明提供一种基于眼部图像的疾病检测系统和方法，能够通过拍摄得到的人脸图片中的眼部区域来进行患者的疾病检测。根据本发明实施例的第一方面，提出了一种基于眼部图像的疾病检测系统，包括：
人脸图像预处理模块，用于对上述人脸图像进行剪裁和预处理，得到眼部 区域图片；
眼部特征病理数据库，用于存储根据临床观察的经验知识和西医病理知识构建的眼部病理特征知识图谱；
眼部图像特征提取模块，用于根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；
眼部图像特征过滤模块，用于基于上述眼部病理特征知识图谱对上述基础特征进行过滤；
疾病语义属性分析模块，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，用于根据过滤后的上述基础特征对疾病进行检测。
在第一方面的一种可能的实施方式中，还包括图像采集模块，用于对人脸图像进行采集。
在第一方面的一种可能的实施方式中，上述图像采集模块为具有拍摄功能的终端，包括手机、电视、数码相机、个人电脑或便携式医疗设备。
在第一方面的一种可能的实施方式中，，上述人脸图像预处理模块进一步包括人脸位置识别模块、人脸图像截取模块和眼部图像筛选模块，
上述人脸位置识别模块用于通过人脸检测模型获取上述人脸图像中人脸的位置区域以及面部关键点坐标；
上述人脸图像截取模块根据上述面部关键点坐标对人脸眼部区域进行截取获得眼部截取图片；
上述眼部图像筛选模块用于对上述眼部截取图片进行筛选，获得上述眼部区域图片。
在第一方面的一种可能的实施方式中，上述面部关键点坐标包括人脸左右眼关键点，上述人脸检测模型根据上述人脸左右眼关键点得到上述人脸眼部区域的横纵坐标的最大值和最小值，对人脸眼部区域进行截取。
在第一方面的一种可能的实施方式中，上述根据中医专家临床经验构建眼部病理特征知识图谱的步骤进一步包括：
A：知识图谱训练集标注：预先定义覆盖眼部的5个区域，按照上述5个区域对眼部特征进行标注并形成特定疾病的向量编码；
B：属性机器学习模型过程：根据步骤A标注形成的知识图谱训练集，利用机器学习模型，学习以基于眼部图像为输入，预测相应上述眼部图像中上述5个区域的属性标注。
C:生成特定疾病的向量编码：根据步骤B生成对应的向量编码，进一步利用属性空间聚类结果，计算不同疾病向量编码的距离构成具有疾病属性知识图谱。
在第一方面的一种可能的实施方式中针对特定疾病，通过收集一定数量的眼部照片，按照上述步骤B进行对应的属性标注，然后利用无监督聚类算法对全部数据在属性空间进行聚类，以上述特定疾病所在类别簇的所有样本数据的算术平均值或几何平均值作为特定疾病的向量编码。
在第一方面的一种可能的实施方式中，上述特定疾病包括但不限于新冠肺炎、糖尿病、病毒性流感、肺部疾病、肝部疾病、眼部疾病。
在第一方面的一种可能的实施方式中，上述步骤A中标注的眼部特征包括形态、血丝、浊环、色泽、斑点、穹窿大小、穹窿位置结构的动态变化以及眼部的旁支细络。
在第一方面的一种可能的实施方式中，上述步骤B中的机器学习模型包括支持向量机、神经网络、随机树森林、逻辑回归以及线性回归。
在第一方面的一种可能的实施方式中，上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
在第一方面的一种可能的实施方式中，上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
在第一方面的一种可能的实施方式中，上述眼部图像特征提取模型通过Hopfield网络、多层感知机进行训练获取。
在第一方面的一种可能的实施方式中，还包括可视化辅助决策模块，用于根据上述眼部图像特征过滤模块的模型注意力分布生成相应的热力图。
在第一方面的一种可能的实施方式中，还包括系统控制模块，用于对各模块进行状态控制以及各模块间的消息传递。
根据本发明实施例的第二方面，提出了一种基于眼部图像的疾病检测方法，包括以下步骤：
人脸图像预处理，获取人脸图像并对上述人脸图像进行剪裁和预处理获得眼部区域图像；
眼部病理特征知识图谱构建，根据中国传统医学专家临床观察经验和西医病理知识构建眼部病理特征知识图谱，并存储形成眼部特征病理数据库；
眼部图像特征提取，根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；
眼部图像特征过滤，根据上述眼部病理特征知识图谱对上述基础特征进行过滤；
疾病语义属性分析，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，根据过滤后的上述基础特征对疾病进行检测。
在第二方面的一种可能的实施方式中，包括：
生成可视化热力图，根据上述眼部图像特征过滤步骤中的模型注意力分布生成相应的热力图。
在第二方面的一种可能的实施方式中，在对人脸图像进行预处理之前采集人脸图像。
在第二方面的一种可能的实施方式中，上述人脸图像预处理步骤进一步包括：
通过人脸检测模型获取人脸图像中人脸的位置区域以及面部关键点坐标；
根据面部关键点坐标中的人脸左右眼关键点，得到人脸眼部区域的横纵坐标的最大值和最小值，同时对横纵坐标进行一定数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，并对人脸眼部区域进行截取，得到眼部截取图片；
对眼部截取图片进行筛选，得到眼部区域图片。
在第二方面的一种可能的实施方式中，上述面部关键点坐标包括人脸左右眼关键点，上述人脸检测模型根据该人脸左右眼关键点得到人脸眼部区域的横纵坐标的最大值和最小值，由此对人脸眼部区域进行截取。
在第二方面的一种可能的实施方式中，上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
在第二方面的一种可能的实施方式中，上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
在第二方面的一种可能的实施方式中，上述眼部图像特征过滤步骤，进一步包括：
基于提取的上述基础特征，采用线性分类器，进行结果预测；
通过构建损失函数，根据眼部图像特征过滤结果和眼部区域图片的真实患病类别，对眼部图像特征提取模型和分类特征进行监督学习；
采用SGD优化器对眼部图像特征提取模型进行迭代训练。
根据本发明实施例的第三方面，还提出了一种电子设备，上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存储的程序时，实现上述实施例第二方面中的方法。
根据本发明实施例的第三方面，还提出了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述实施例第二方面中的方法步骤。
通过采用本发明实施例的技术方案，利用普通照相机可采集图像，而不需使用专业的医学影像设备，并且不需依赖专业人员就可操作，可以便捷、快速、准确实现对基于眼部特征的多类疾病(如非新冠肺炎、新冠肺炎、肝病、糖尿病人体内部代谢与脏器类疾病等)的患者进行疾病检测。
附图说明
通过结合附图进行阅读，将会更好地了解以上概述以及以下详细描述。为了便于说明，附图中示出本公开的某些实施例。但是，应当理解，本发明并不局限于所示的准确布置和工具。结合到本说明书中并且构成其部分的附图示出按照本发明的系统和设备的实现，并且连同本描述一起用来说明按照本发明的优点和原理。
图1是根据本发明的一个实施例的疾病检测系统的功能框图；
图2是根据本发明的一个实施例的疾病检测系统的功能框图；
图3是根据本发明的一个实施例的疾病检测方法流程图；
图4是根据本发明的一个实施例的人像预处理方法流程图；
图5是根据本发明的一个实施例的高维疾病语义属性空间构建流程图；
图6是根据本发明的一个实施例的目诊法中的A-E五区域示意图；
图7根据本发明的一个实施例的硬件系统图；
图8根据本发明的一个实施例的电子设备；
图9根据本发明的一个实施例疾病检测流程示意图。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明的一个实施例的疾病检测系统100的功能模块结构图。如图1所示，本实施例的疾病检测系统用于通过拍摄得到的人脸图片中的眼部区域来进行患者的疾病风险筛查，其包括人脸图像预处理模块101、眼部特征病理数据库102、眼部图像特征提取模块103、眼部图像特征过滤模块104、疾病语义属性分析模块105、可视化辅助决策模块106以及系统控制模块107。其中上述人脸图像预处理模块101用于对上述人脸图像进行剪裁和预处理，得到眼部区域图片；如图2所示，上述人脸图像预处理模块进一步包括人脸位置识别模块1011、人脸图像截取模块1012和眼部图像筛选模块1013，上述人脸位置识别模块1011用于通过人脸检测模型获取上述人脸图像中人脸的位置区域以及面部关键点坐标；上述人脸图像截取模块1012根据上述面部关键点坐标对人脸眼部区域进行截取获得眼部截取图片；上述面部关键点坐标包括人脸左右眼关键点，上述人脸检测模型根据人脸左右眼关键点得到人脸眼部区域的横纵坐标的最大值和最小值，对人脸眼部区域进行截取。上述眼部图像筛选模1013块用于对上述眼部截取图片进行筛选，获得上述眼部区域图片。
上述眼部特征病理数据库102，用于存储根据中医临床观察的经验知识和西医病理知识构建的眼部病理特征知识图谱。根据中国传统医学借鉴目诊法，据在《太平圣惠方·眼论》记载：“肝脏病者，应于风轮，心脏病者，应 于血轮，脾脏病者，应于肉轮，肺脏病者，应于气轮，肾脏病者，应于水轮”。杨士瀛的《仁斋直指方论》指出：“眼属五脏，首尾赤皆属心，满眼白睛属肺，其上下肉胞属脾，两中间黑瞳一点如漆者，肾实主之”。结合上述中国传统医学经验，将五轮的眼部分属明确为5个主要部分。根据上述目诊法，本实施例分别采用5个不同眼部区域进行特征提取，5个区域分别定义为：A区域、B区域、C区域、D区域、E区域，其中C区域为包含黑睛和白睛的区域，A区域、D区域、E区域、B其余分别位于上述C区域的上、下、左、右区域，并可与上述C区域有一定重叠，如图6所示。
根据我们的经验性数据分析，上述5个眼部区域提取的特征，分别反应不同人体内脏的状体：A区域主要反应脾的状态，B区域主要反应心脏的状态,C区域主要反应肝和肾的状态,D区域主要反应人体整体精神状态,E区域主要反应肺和肝的状态。
本实施例所依据的目诊法根据患者眼睛各部位的形态、血丝、浊环、色泽、斑点、穹窿的大小、位置结构的动态变化、以及眼部的旁支细络等，来诊断身体上疾病所在各部位的病变、损伤及机能紊乱的全息诊法。本实施例中的针对上述中国传统医学理论构建知识图谱的具体包括如下步骤：
(1)知识图谱训练数据集标注：首先由中医专家根据自身的临床经验按照图6中的“五轮“区域进行标注，按照形态、血丝、浊环、色泽、斑点、穹窿的大小、位置结构的动态变化、以及眼部的旁支细络等标注，形成针对特定疾病的向量编码。
表1根据A-E五个区域进行标注形成针对特定疾病的向量编码
Figure PCTCN2021097596-appb-000001
Figure PCTCN2021097596-appb-000002
(2)属性机器学习模型过程：利用A-E五区域图像及整体眼部图像，及相应的属性标注做为样本标签，利用机器学习模型学习以基于眼部图像为输入，预测相应眼部A-E五区域属性标注。对于上述采用的机器学习模型包括支持向量机、神经网络、随机树森林、逻辑回归、线性回归等机器学习算法。
(3)特定疾病聚类：针对某些特定类疾病，例如包括但不限于新冠肺炎、糖尿病、病毒性流感、肺部疾病、肝部疾病、眼部疾病等，通过采集患者小样本的眼部照片，根据步骤(2)预测每张眼部照片，并进行对应的属性标注。进一步利用无监督聚类算法(如K-means等)，对所有数据，在属性空间进行聚类。一般而言，每种疾病会聚成一个类别簇，利用该类别簇，所有样本数据的算术平均值或者几何平均值，做为该特定疾病的向量编码。
(4)生成特定疾病的向量编码：对于每种疾病，我们都可以按照步骤(3)生成对应的向量编码，进一步利用属性空间聚类结果，计算不同疾病向量编码的距离(如欧式距离、角度距离等)，最终构成具有疾病属性知识图谱。
上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，具体而言，现代西医球结膜微循环理论中的病理特征描述，特定疾病患者眼部的临床观察研究统计，医学专家对眼部特征的启发标注与修正标注，利用眼部图像做为输入，使用机器学习模型(如支持向量机、深度神经网络等)学习并输出医学专家标注。
上述眼部图像特征提取模块103用于根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取，上述眼部图像特征提取模型通过Hopfield网络、多层感知机进行训练获取。上述眼部图像特征过滤模块104用于基于上述眼部病理特征知识图谱对上述基础特征进行过滤；上述疾病语义属性分析模块，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，用于根据过滤后的上述基础特征对疾病进行检测。
在另一个实施例中，上述疾病检测系统还包括图像采集模块，用于对人脸图像进行采集。图像采集模块为具有拍摄功能的终端，包括手机、电视、数码相机、个人电脑或便携式医疗设备。
在另一个实施例中，还包括可视化辅助决策模块，用于根据上述眼部图像特征过滤模块的模型注意力分布生成相应的热力图。
在另一个实施例中，还包括系统控制模块107，用于对各模块进行状态控制以及各模块间的消息传递。
本发明的另一个实施例提出了一种基于眼部图像的疾病检测方法，具体步骤如图3所示。上述疾病检测方法包括以下步骤：
S1:人脸图像预处理，获取人脸图像并对上述人脸图像进行剪裁和预处理获得眼部区域图像；
首先，为了保证模型输入的统一性，输入图片首先必须经过预处理对齐。在本实施例中，人脸图像预处理单元1用于对人脸图片进行预处理并得到眼部区域图片。
其中，人脸图像预处理单元1中配置有人脸检测模型，人脸图像预处理单元1基于该人脸检测模型对人脸图片进行预处理，如图4中预处理单元所示，该预处理包括以下步骤:
S11：通过人脸检测模型获取人脸图片中人脸的位置区域以及面部关键点坐标。应当理解，由于数据采集的非标性，原始的人脸图片通常不仅包含眼部区域，还可能会包括背景或面部的其他区域，如鼻子、耳朵和嘴巴。如果直接使用原始的人脸图片进行分类，必然会引入噪声或者不相关的信息，比如背景噪声或鼻子的特征，这有可能使得眼部图像特征的提取结果不准确、不可靠。 因此，为了聚焦于提取眼部图像特征，在本实施例采用人脸检测模型获取图片中人脸的位置区域以及面部关键点坐标。该面部关键点坐标中包括人脸左右眼以及优选的面部其他器官的位置坐标。
S12：根据面部关键点坐标中的人脸左右眼关键点坐标，计算得到人脸眼部区域的横纵坐标的最大值和最小值。在本实施例中，优选地同时对横纵坐标进行一定数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，然后对人脸眼部区域进行截取，得到眼部截取图片。
S13：对眼部截取图片进行筛选，得到眼部区域图片。对眼部截取图片进行筛选时，优选地将眼部截取图片中纵向长度长于横向长度的图片进行剔除，然后得到眼部区域图片。应当理解，考虑到因存在人脸角度、背景噪声等影像，人脸检测模型得到的面部关键点坐标并非完全准确无误，因而人脸眼部区域的截取也随之会有相应的偏差；又考虑到人脸眼部区域应为横向较长的长方形区域，因此优选地在横纵长度上凡纵向长度长于横向的均可以认为是人脸眼部区域定位失败的结果，需将此类眼部截取图片剔除。
S2:眼部病理特征知识图谱构建，根据中国传统医学专家经验和西医病理知识构建眼部病理特征知识图谱，并存储形成眼部特征病理数据库；上述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
上述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
S3:眼部图像特征提取，根据训练后的眼部图像特征提取模型，对上述眼部区域图片进行基础特征提取；在本实施例中，眼部图像特征提取步骤用于将眼部区域图片输入眼部图像特征提取模型中提取基础特征。优选地，采用神经网络提取高阶特征，并用于分类器的输入。
S4:眼部图像特征过滤，根据上述眼部病理特征知识图谱对上述基础特征进行过滤；图片级分类单元3根据基础特征预测眼部区域图片中对应患者是否患有多类疾病并输出图片级分类结果，其数据处理流程则包括以下部分：
S41：将眼部区域图片输入眼部图像特征提取模型中提取基础特征，分类部根据基础特征预测眼部区域图片中对应患者的多类患病类别并输出图片级分类结果。本实施例中，该分类结果为判断眼部区域图片对应的患者是否患有某种疾病(例如，肝炎、新冠肺炎、非新冠肺炎、糖尿病等)。应当理解，这种判断并非对该类疾病的诊断，只是基于该类疾病的患者可能具有的眼部特征，例如眼部特征，对所输入的眼部区域图片进行标记。
S42：通过构建损失函数(例如、交叉熵)，根据图片级分类结果和眼部区域图片对应患者的真实患病类别，对眼部图像特征提取模型提取的基础特征进行监督。
S43：采用SGD(随机梯度下降，stochastic gradient descent)优化器对眼部图像特征提取模型进行迭代训练。例如，采用带动量的SGD优化器来提高训练速度。
应当理解，在本发明的其他实施形式中，眼部图像特征过滤也可以不包括特征监督(S41)和迭代训练(S42)这两个部分，而是使用已经充分训练好的眼部图像特征提取模型。
S5:疾病语义属性分析，其具有基于上述眼部病理特征知识图谱构建的高维疾病语义属性空间，根据过滤后的上述基础特征对疾病进行检测。上述高维疾病语义属性空间可以根据中国传统医学经验知识进行因果推断和关联性分析，从而获得特定疾病传统中国医学解释及相关疾病描述。同时可以根据西方医学表征定义得到的特定疾病向量编码和知识图谱获得针对特定疾病的西方医学解释，具体如图5所示。上述知识图谱的具体构建过程在前述部分已经详细描述，在此处不再赘述。
继续参见图3，疾病语义属性分析步骤用于进行病患级分类，其采用最高优先级投票决策。具体而言，将患病类别中最紧急的疾病设为最高优先级别患病类别，对于一位患者的多张眼部区域图片中，当预测得到的图片级分类结果中的最高优先级别患病类别的个数大于等于1时，则判断患者患有该疾病的可能性较大，从而得到病患级预测结果。
应当理解，在本发明的其他实施形式中，可以不集成疾病语义属性分析，而是将眼部图像特征过滤的输出结果呈现给医疗人员，交由他们去判断。
可视化辅助决策步骤S6则根据模型分类过程中图像各区域参与得分评估的权重和影响力，优选地以热力图的形式将各区域的重要度进行可视化展示，从而增强模型的可解释性。关于热力图的内容可以参考图8。
应当理解，该可视化辅助决策也可以用于辅助医疗人员进行判断。还应当理解，在本发明的其他实施形式中，也可以不配备可视化辅助决策步骤。
图7显示的是图1中实施例的硬件系统图。如图7所示，该系统分为服务端和客户端两部分。在优选的实施形式中，计算模型部署在服务端。服务端的计算机设备由处理器以及内存构成：处理器是用于计算以及运行可执行代码的硬件处理器，如中央处理器CPU或图形计算处理器GPU；内存是非易失的存储设备，用于储存可执行代码从而让处理器执行相应的计算过程。同时，内存也会存储各类中间数据及参数。内存存储内容包括模型相关参数、可执行代码。硬盘存储包含了模型所需要的训练数据。服务容器运行在服务器的计算和存储资源之上，为多类疾病患者风险筛查深度学习模型提供底层支持。
在一个实施例中，通过服务端采用跨国的A服务器和B服务器两个服务器来进行数据处理和传输。对于处于一国的A服务器中具有探测模型，主要通过对采集的人脸数据进行输入并根据机器学习模型形成高维分析数据(HDA)，并将该高维分析数据传输到具有矩阵模型的另一国的B服务器。上述B服务器通过对接收的HDA进行计算，并对疾病进行预测，并将结果输出到探测模型上。上述A服务器对计算资源需求较少，可以部署在终端设备上，而B服务器需要较强的计算能力，并应当部署在具有GPU的服务器上。
本实施例中，媒体数据通过各类数据采集设备拍摄得到，如智能手机等，媒体数据可以是视频内容，也可以是图像内容。当然，应当理解，本发明的其他实施例中，也可以将媒体数据采集设备，例如照相机，继承在本发明的系统中。优选地，从媒体数据中得到人脸图像数据。更优选地，人脸图像数据包括多个不同身份以及患病类型的患者的人脸图像数据。
图8示出了根据本发明一实施例的电子设备的结构示意图。该电子设备200可以包括：处理器(processor)201、存储器(memory)202和通讯总线203，其中，处理器201，存储器202通过通讯总线203完成相互间的通信。
处理器201可以调用存储器202中的计算机程序，以执行上述实施例提供的任意一种基于眼部图像的疾病检测方法的各步骤。
本发明的一个实施例提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，该程序被处理器执行时实现上述实施例提供任意一种基于眼部图像的疾病检测方法的各步骤。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
图9显示了根据本发明的一个实施例的疾病检测流程示意图。如图所示，预处理之后的眼睛图片被输入到图片级分类模型之后，便生成疾病分类的概率预测分布。另外，判断基于的重点区域也以热力图的形式呈现。其中热力图在右眼中红色区域的眼部特征所受关注最高，而左眼区域的眼部特征所受关注程度则较低。
根据本实施例所涉及的基于眼部特征的疾病患者风险筛查深度学习系统，因为能够根据疾病患者眼部往往有着类结膜炎的表现，包括结膜充血、化瘀、溢液或分泌物增多等特征，借助深度学习网络的特征提取和分类预测能力，通过眼部图像特征提取模型提取的基础特征来进行图片级以及病患级的患病类别预测，针对人脸眼部区域进行特征的学习表达，通过捕获更具分辨力和识别力的特征，能够实现基于眼部特征的疾病患者风险筛查；并且本发明通过拍摄 人脸图片并根据人脸图片中的眼部区域图片就能够进行疾病患者的筛查工作，能够提高疾病风险筛查的快捷性、准确性以及方便性，同时能够摆脱专业人员依赖等限制，可大规模普及，在疫情阶段能够实现随时随地的定量检测，动态监测病毒感染的程度，观察治疗效果，进行疫情跟踪和疫情地图绘制，从而实现高效的疫情防控。
进一步地，因为先通过对人脸图片进行预处理并筛选得到眼部区域图片再输入眼部图像特征提取模型，能够确保输入的图片均为定位准确的眼部区域图片，有效去除了人脸图片中的噪声和不相关的信息，保证眼部图像特征提取模型能够正确的处理眼部区域图片。
应该指出，上述详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语均具有与本申请所属技术领域的普通技术人员的通常理解所相同的含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请上述的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式能够以除了在这里图示或描述的那些以外的顺序实施。
此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包 含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位，如旋转90度或处于其他方位，并且对这里所使用的空间相对描述作出相应解释。
在上面详细的说明中，参考了附图，附图形成本文的一部分。在附图中，类似的符号典型地确定类似的部件，除非上下文以其他方式指明。在详细的说明书、附图及权利要求书中所描述的图示说明的实施方案不意味是限制性的。在不脱离本文所呈现的主题的精神或范围下，其他实施方案可以被使用，并且可以作其他改变。
以上上述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (25)

  1. 一种基于眼部图像的疾病检测系统，包括：
    人脸图像预处理模块，用于对所述人脸图像进行剪裁和预处理，得到眼部区域图片；
    眼部特征病理数据库，用于存储根据中医专家临床经验知识和西医病理知识构建的眼部病理特征知识图谱；
    眼部图像特征提取模块，用于根据训练后的眼部图像特征提取模型，对所述眼部区域图片进行基础特征提取；
    眼部图像特征过滤模块，用于基于所述眼部病理特征知识图谱对所述基础特征进行过滤；
    疾病语义属性分析模块，其具有基于所述眼部病理特征知识图谱构建的高维疾病语义属性空间，用于根据过滤后的所述基础特征对疾病进行检测。
  2. 如权利要求1中的基于眼部图像的疾病检测系统，其特征在于，还包括图像采集模块，用于对人脸图像进行采集。
  3. 如权利要求2中的基于眼部图像的疾病检测系统，其特征在于，所述图像采集模块为具有拍摄功能的终端，包括手机、电视、数码相机、个人电脑或便携式医疗设备。
  4. 如权利要求1中的基于眼部图像的疾病检测系统，其特征在于，所述人脸图像预处理模块进一步包括人脸位置识别模块、人脸图像截取模块和眼部图像筛选模块，
    所述人脸位置识别模块用于通过人脸检测模型获取所述人脸图像中人脸的位置区域以及面部关键点坐标；
    所述人脸图像截取模块根据所述面部关键点坐标对人脸眼部区域进行截取获得眼部截取图片；
    所述眼部图像筛选模块用于对所述眼部截取图片进行筛选，获得所述眼部区域图片。
  5. 如权利要求4中的基于眼部图像的疾病检测系统，其特征在于，所述面部关键点坐标包括人脸左右眼关键点，所述人脸检测模型根据所述人脸左右眼关键点得到所述人脸眼部区域的横纵坐标的最大值和最小值，对人脸眼部区域进行 截取。
  6. 如权利要求1中的基于眼部图像的疾病检测系统，其特征在于，所述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
  7. 如权利要求1中的基于眼部图像的疾病检测系统，其特征在于，所述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
  8. 如权利要求1中的基于眼部图像的疾病检测系统，其特征在于，所述眼部图像特征提取模型通过Hopfield网络、多层感知机进行训练获取。
  9. 如权利要求1所述的基于眼部图像的疾病检测系统，其特征在于，还包括可视化辅助决策模块，用于根据所述眼部图像特征过滤模块的模型注意力分布生成相应的热力图。
  10. 如权利要求1所述的基于眼部图像的疾病检测系统，其特征在于，还包括系统控制模块，用于对各模块进行状态控制以及各模块间的消息传递。
  11. 一种基于眼部图像的疾病检测方法，其特征在于，包括以下步骤：
    人脸图像预处理，获取人脸图像并对所述人脸图像进行剪裁和预处理获得眼部区域图像；
    眼部病理特征知识图谱构建，根据中医专家临床经验和西医病理知识构建眼部病理特征知识图谱，并存储形成眼部特征病理数据库；
    眼部图像特征提取，根据训练后的眼部图像特征提取模型，对所述眼部区域图片进行基础特征提取；
    眼部图像特征过滤，根据所述眼部病理特征知识图谱对所述基础特征进行过滤；
    疾病语义属性分析，其具有基于所述眼部病理特征知识图谱构建的高维疾病语义属性空间，根据过滤后的所述基础特征对疾病进行检测。
  12. 如权利要求11所述的基于眼部图像的疾病检测方法，其特征在于，包括：
    生成可视化热力图，根据所述眼部图像特征过滤步骤中的模型注意力分布 生成相应的热力图。
  13. 如权利要求11中的基于眼部图像的疾病检测方法，其特征在于，在对人脸图像进行预处理之前采集人脸图像。
  14. 如权利要求11所述的基于眼部图像的疾病检测方法，其特征在于，
    所述人脸图像预处理步骤进一步包括：
    通过人脸检测模型获取人脸图像中人脸的位置区域以及面部关键点坐标；
    根据面部关键点坐标中的人脸左右眼关键点，得到人脸眼部区域的横纵坐标的最大值和最小值，同时对横纵坐标进行一定数值的向外扩充来确保人脸眼部区域全部纳入特征提取范围内，并对人脸眼部区域进行截取，得到眼部截取图片；
    对眼部截取图片进行筛选，得到眼部区域图片。
  15. 如权利要求14所述的基于眼部图像的疾病检测方法，其特征在于，
    所述面部关键点坐标包括人脸左右眼关键点，所述人脸检测模型根据该人脸左右眼关键点得到人脸眼部区域的横纵坐标的最大值和最小值，由此对人脸眼部区域进行截取。
  16. 如权利要求11所述的基于眼部图像的疾病检测方法，其特征在于，所述根据中医专家临床经验构建眼部病理特征知识图谱的步骤进一步包括：
    A：知识图谱训练集标注：预先定义覆盖眼部的5个区域，按照所述5个区域对眼部特征进行标注并形成特定疾病的向量编码；
    B：属性机器学习模型过程：根据步骤A标注形成的知识图谱训练集，利用机器学习模型，学习以基于眼部图像为输入，预测相应所述眼部图像中所述5个区域的属性标注。
    C:生成特定疾病的向量编码：根据步骤B生成对应的向量编码，进一步利用属性空间聚类结果，计算不同疾病向量编码的距离构成具有疾病属性知识图谱。
  17. 如权利要求16所述的基于眼部图像的疾病检测方法，其特征在于，针对特定疾病，通过收集一定数量的眼部照片，按照上述步骤B进行对应的属性标注，然后利用无监督聚类算法对全部数据在属性空间进行聚类，以所述特定疾 病所在类别簇的所有样本数据的算术平均值或几何平均值作为所述特定疾病的向量编码。
  18. 如权利要求17所述的基于眼部图像的疾病检测方法，其特征在于，所述特定疾病包括但不限于新冠肺炎、糖尿病、病毒性流感、肺部疾病、肝部疾病、眼部疾病。
  19. 如权利要求16所述的基于眼部图像的疾病检测方法，其特征在于，所述步骤A中标注的眼部特征包括形态、血丝、浊环、色泽、斑点、穹窿大小、穹窿位置结构的动态变化以及眼部的旁支细络。
  20. 如权利要求17所述的基于眼部图像的疾病检测方法，其特征在于，所述步骤B中的机器学习模型包括支持向量机、神经网络、随机树森林、逻辑回归以及线性回归。
  21. 如权利要求11所述的基于眼部图像的疾病检测方法，其特征在于，所述眼部病理特征知识图谱包括特定疾病语义、特定疾病属性定义以及特定疾病与眼部图像特征的对应关系。
  22. 如权利要求11所述的基于眼部图像的疾病检测方法，其特征在于，所述高维疾病语义属性空间嵌入对西医对特定疾病的表征定义形成特定疾病的向量编码及其知识图谱，同时嵌入根据中国传统医学对疾病的专家经验描述形成特定疾病的语义属性定义。
  23. 如权利要求11所述的基于眼部图像的疾病检测方法，其特征在于，
    所述眼部图像特征过滤步骤，进一步包括：
    基于提取的所述基础特征，采用线性分类器，进行结果预测；
    通过构建损失函数，根据眼部图像特征过滤结果和眼部区域图片的真实患病类别，对眼部图像特征提取模型和分类特征进行监督学习；
    采用SGD优化器对眼部图像特征提取模型进行迭代训练。
  24. 一种电子设备，其特征在于，所述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存储的程序时，实现权利要求11-23任一所述的方法。
  25. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求11-23任一所述的方法步骤。
PCT/CN2021/097596 2021-06-01 2021-06-01 一种基于眼部图像的疾病检测系统及方法 WO2022252107A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/097596 WO2022252107A1 (zh) 2021-06-01 2021-06-01 一种基于眼部图像的疾病检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/097596 WO2022252107A1 (zh) 2021-06-01 2021-06-01 一种基于眼部图像的疾病检测系统及方法

Publications (1)

Publication Number Publication Date
WO2022252107A1 true WO2022252107A1 (zh) 2022-12-08

Family

ID=84322652

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/097596 WO2022252107A1 (zh) 2021-06-01 2021-06-01 一种基于眼部图像的疾病检测系统及方法

Country Status (1)

Country Link
WO (1) WO2022252107A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153407A (zh) * 2023-11-01 2023-12-01 福建瞳视力科技有限公司 一种用于视力矫正的青少年近视预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN111599479A (zh) * 2020-04-02 2020-08-28 云知声智能科技股份有限公司 一种基于icd9-cm-3的手术知识图谱构建方法和装置
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法
US20210035689A1 (en) * 2018-04-17 2021-02-04 Bgi Shenzhen Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583440A (zh) * 2017-09-28 2019-04-05 北京西格码列顿信息技术有限公司 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
US20210035689A1 (en) * 2018-04-17 2021-02-04 Bgi Shenzhen Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
CN111599479A (zh) * 2020-04-02 2020-08-28 云知声智能科技股份有限公司 一种基于icd9-cm-3的手术知识图谱构建方法和装置
CN112200317A (zh) * 2020-09-28 2021-01-08 西南电子技术研究所（中国电子科技集团公司第十研究所） 多模态知识图谱构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI XIANG, XIA FEI, DENG YING, LI XINYU, LIAO LINLI, PENG QINGHUA: "The Construction of Digital Platform of TCM Modern Visual Diagnosis in the Era of Big Data", JOURNAL OF CHINESE MEDICINE, vol. 35, no. 1, 16 January 2020 (2020-01-16), CN , pages 19 - 22, XP093009319, ISSN: 1674-8999, DOI: 10.16368/j.issn.1674-8999.2020.01.005 *
YANWEI FU; FENG LI; WENXUAN WANG; HAICHENG TANG; XUELIN QIAN; MENGWEI GU; XIANGYANG XUE: "A New Screening Method for COVID-19 based on Ocular Feature Recognition by Machine Learning Tools", ARXIV.ORG, 4 September 2020 (2020-09-04), pages 1 - 10, XP081756564 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117153407A (zh) * 2023-11-01 2023-12-01 福建瞳视力科技有限公司 一种用于视力矫正的青少年近视预测方法及系统
CN117153407B (zh) * 2023-11-01 2023-12-26 福建瞳视力科技有限公司 一种用于视力矫正的青少年近视预测方法及系统

Similar Documents

Publication Publication Date Title
US11612311B2 (en) System and method of otoscopy image analysis to diagnose ear pathology
CN108230296B (zh) 图像特征的识别方法和装置、存储介质、电子装置
Salama AbdELminaam et al. A deep facial recognition system using computational intelligent algorithms
US20190191988A1 (en) Screening method for automated detection of vision-degenerative diseases from color fundus images
CN108806792B (zh) 深度学习面诊系统
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN110869938A (zh) 人员识别系统和方法
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2022041396A1 (zh) 一种基于眼表特征的新冠肺炎（covid-19）疾病患者风险筛查深度学习系统
US11244456B2 (en) System and method for image segmentation and digital analysis for clinical trial scoring in skin disease
CN114820603B (zh) 基于ai舌诊图像处理的智能健康管理方法及相关装置
CN114092450A (zh) 一种基于胃镜检查视频的实时图像分割方法、系统、装置
CN115496700A (zh) 一种基于眼部图像的疾病检测系统及方法
Özbay et al. Interpretable pap-smear image retrieval for cervical cancer detection with rotation invariance mask generation deep hashing
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
WO2022252107A1 (zh) 一种基于眼部图像的疾病检测系统及方法
WO2022142368A1 (en) Rapid screen system based on eye region image
CN113902743A (zh) 一种基于云端计算的糖尿病视网膜病变的识别方法及装置
Abdel-Latif et al. Achieving Information Security by multi-Modal Iris-Retina Biometric Approach Using Improved Mask R-CNN
Paul et al. Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization
Yang et al. Not All Areas Are Equal: Detecting Thoracic Disease With ChestWNet
US11923091B2 (en) Methods for remote visual identification of congestive heart failures
KR102165487B1 (ko) 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템
CN112766333B (zh) 医学影像处理模型训练方法、医学影像处理方法及装置
US20240164640A1 (en) Methods for remote visual identification of heart conditions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21943481

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21943481

Country of ref document: EP

Kind code of ref document: A1