WO2019232960A1 - 自动骨龄预测方法、系统、计算机设备和存储介质 - Google Patents

自动骨龄预测方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
WO2019232960A1
WO2019232960A1 PCT/CN2018/104716 CN2018104716W WO2019232960A1 WO 2019232960 A1 WO2019232960 A1 WO 2019232960A1 CN 2018104716 W CN2018104716 W CN 2018104716W WO 2019232960 A1 WO2019232960 A1 WO 2019232960A1
Authority
WO
WIPO (PCT)
Prior art keywords
bone age
hand
image
age prediction
network structure
Prior art date
Application number
PCT/CN2018/104716
Other languages
English (en)
French (fr)
Inventor
高良心
刘莉红
吴天博
王健宗
肖京
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019232960A1 publication Critical patent/WO2019232960A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Definitions

  • the present application relates to the field of data processing technology, and in particular, to an automatic bone age prediction method, system, computer equipment, and storage medium.
  • the physician uses the left-hand X-ray image to compare with the standardized atlas of skeletal development, the image comparison takes a long time and the prediction efficiency is low.
  • a physician with relevant experience should perform it, although experts can The prediction error is controlled within 6 months, but the general physician's prediction error is within 12 months.
  • deep learning is a method based on representational learning of data in machine learning.
  • the advantage of deep learning is to use unsupervised or semi-supervised feature learning and layered feature extraction efficient algorithms to replace manual feature acquisition.
  • Deep learning is a new field in machine learning research. Its motivation is to build and simulate the neural network of the human brain for analysis and learning. It mimics the mechanism of the human brain to interpret data, such as images, sounds, and text.
  • Convolutional neural networks are machine learning models under deep supervised learning. They are multi-layer structure learning algorithms that use spatial relative relationships to reduce the number of parameters to improve training performance. In the convolutional neural network, because the VGG network structure has a more accurate estimation of pictures and more space-saving capabilities, with the popularization of deep learning, the VGG network structure has been generally recognized.
  • An automatic bone age prediction method includes: S1, collecting a left-hand X-ray film image; S2, performing hand segmentation on the acquired left-hand X-ray film image to remove interference from parts other than the hand, and swinging the segmented image It is being scaled to a preset size and position, and after adaptively equalizing the normalized and scaled image, the image is input into a bone age prediction network structure to obtain a bone age prediction value.
  • the bone age prediction network structure is based on a VGG network structure. Deep learning network; S3, repeat step S2 for bone age training until the bone age prediction value obtained by the bone age training meets a preset error range, stop the bone age training phase, enter the bone age prediction phase, and output the bone age prediction value obtained in step 2).
  • An automatic bone age prediction system includes: an acquisition unit configured to acquire a left-hand X-ray film image;
  • the data processing unit is configured to perform hand segmentation on the acquired left-hand X-ray film image to remove interference from parts other than the hand, orthorectify and scale the segmented image to a preset size and position, and perform post-orthogonal scaling
  • the image is input into a bone age prediction network structure to obtain a bone age prediction value.
  • the bone age prediction network structure is a deep learning network based on a VGG network structure; a predicted bone age unit is set to a data processing unit. Perform bone age training until the bone age prediction value obtained by the bone age training meets a preset error range, stop the bone age training phase, enter the bone age prediction phase, and output the bone age prediction value obtained by the data processing unit.
  • a computer device includes a memory and a processor.
  • the memory stores computer-readable instructions.
  • the processor causes the processor to perform the following steps: S1, collecting left-hand X X-ray image; S2, hand segmentation of the left-hand X-ray film image is collected to remove interference from parts other than the hand, and the segmented image is vertically scaled to a preset size and position.
  • the image is input into a bone age prediction network structure to obtain a bone age prediction value
  • the bone age prediction network structure is a deep learning network based on a VGG network structure; S3, repeat step S2 for bone age training until After the bone age prediction value obtained during the bone age training satisfies a preset error range, the bone age training phase is stopped, the bone age prediction phase is entered, and the bone age prediction value obtained in step 2) is output.
  • a storage medium storing computer-readable instructions that, when executed by one or more processors, cause the one or more processors to perform the following steps: S1, acquiring a left-hand X-ray image; S2, Segment the acquired left-hand X-ray film image to remove the interference from parts other than the hand, ortho-scale the segmented image to a preset size and position, and adaptively equalize the ortho-scaled image After processing, the image is input into the bone age prediction network structure to obtain the bone age prediction value.
  • the bone age prediction network structure is a deep learning network based on the VGG network structure; S3, repeat step S2 for bone age training until the bone age prediction value obtained by the bone age training meets After the error range is preset, the bone age training phase is stopped, the bone age prediction phase is entered, and the bone age prediction value obtained in step 2) is output.
  • the above-mentioned automatic bone age prediction method, device, computer equipment, and storage medium include acquiring left-hand X-ray film images; performing hand segmentation on the acquired left-hand X-ray film images to remove interference from parts other than the hands, and performing segmentation on the image Orthogonal scaling is performed to a preset size and position, and after adaptive equalization processing is performed on the ortho-scaled image, the image is input into a bone age prediction network structure to obtain a bone age prediction value, which is based on a VGG network Structured deep learning network; repeat the bone age training until the bone age prediction value obtained by the bone age training meets a preset error range, stop the bone age training phase, enter the bone age prediction phase, and output the bone age prediction value.
  • FIG. 1 is a flowchart of an automatic bone age prediction method according to an embodiment of the present application.
  • FIG. 2 is an image of an upright X-ray film of the left wrist of the present application
  • FIG. 3 is a flowchart of data processing in this application.
  • FIG. 4 is an image of a left-hand X-ray film after hand segmentation of the present application.
  • FIG. 6 is a schematic diagram of a key point detection network structure of the present application.
  • FIG. 7 is a schematic diagram of a bone age prediction network structure of the present application.
  • FIG. 8 is a structural diagram of an automatic bone age prediction system in an embodiment of the present application.
  • FIG. 1 is a flowchart of an automatic bone age prediction method according to an embodiment of the present application.
  • the method includes: Step S1, data acquisition: acquiring a left-hand X-ray film image.
  • Human growth and development can be represented by two "ages", namely the age of life (calendar age) and biological age (bone age).
  • the changes in human bone development are basically similar, and the development process of each bone is continuous and phased.
  • the bones at different stages have different morphological characteristics. Therefore, the bone age assessment can more accurately reflect the individual's growth and development level and maturity. It can not only determine the biological age of the child, but also understand the child's growth and development potential and the trend of sexual maturity early through the bone age.
  • the measurement of bone age needs to be determined by means of specific images of bones in X-ray imaging. Usually, an X-ray film of the wrist of a human left hand is taken. The doctor observes the development of the ossification center of the left palmar phalanx, carpal bone and radius ulna to determine the bone age.
  • Step S2 data processing: hand segmentation of the acquired left-hand X-ray image is performed to remove interference from parts other than the hand, and the segmented image is vertically scaled to a preset size and position.
  • the image is input into the bone age prediction network structure to obtain the bone age prediction value.
  • the bone age prediction network structure is a deep learning network based on the VGG network structure.
  • the image is further processed by hand segmentation to remove interference, straighten and scale the image, and adaptively balance the image data processing methods to form a more uniform image for subsequent follow-up. Deep learning networks output more accurate bone age predictions.
  • the VGG network structure in this step is a type of deep convolutional neural network, which generally consists of a convolution part and a fully connected part.
  • the convolution part includes convolution (which can be composed of multiple cascades of kernels of different sizes), activation functions, Pooling, Dropout layers, etc.
  • the fully connected part generally contains at most 2 to 3 fully connected.
  • the VGG network structure uses a small convolution kernel and a deeper network for regularization; the pre-trained data is used to initialize the parameters.
  • Step S3, predicting the bone age Repeat step S2 for bone age training until the bone age prediction value obtained by the bone age training meets a preset error range, stop the bone age training phase, enter the bone age prediction phase, and output the bone age prediction value obtained in step 2).
  • the preset error range is controlled within 6 months, so that this application can reach the level of an expert physician.
  • the number of batches of one-time input pictures is preferably 16.
  • the network learning rate is 1.0 * e-3
  • e is a mathematical constant, e ⁇ 2.71828
  • the L2 regular term penalty coefficient is 1.0 * e-3
  • dropout The dropout rate of the layer is 0.5.
  • the data processing methods such as de-interference, straightening and scaling of the image, adaptive equalization image, and bone age deep learning network are used to process the data in the hand, and the error is comparable to that of an expert physician.
  • the predicted value of is the predicted value of bone age. The entire prediction process is completed in seconds, and the prediction efficiency is high.
  • step S1 the left palm faces downwards and is close to the cassette during acquisition, the middle finger axis is aligned with the forearm axis, the five fingers are naturally separated, the thumb and palm are at an angle of about 30 °, and the center of the tube of the X-ray machine is positive To the third metacarpal bone.
  • the acquired left-hand X-ray film image is an orthotopic X-ray film of the left wrist.
  • the left-hand X-ray image includes a backbone 2cm-3cm from the radius and ulna, and multiple bones of the hand joints.
  • the tube of the left-hand X-ray image The distance is 70cm-90cm.
  • the left-hand X-ray image includes multiple bones of the hand joint, and the multiple bones of the hand joint include the wrist bone 11, the metacarpal bone 12, and the phalanx 13.
  • the image of the left-hand X-ray film also includes the bones in the radius 2 with a distance of 2 cm-3 cm from the radius 2 and the bones in the ulna 3 with a distance of 2 cm-3 cm from the ulna 3.
  • the left-hand X-ray film image acquired by the above method in this embodiment complies with the industry standard TY / T3001—2006 "Methods for Maturity and Evaluation of Wrist Bone of Chinese Adolescents and Children" (referred to as "China-05” method), which can provide follow-up prediction of bone age Reliable images.
  • step S2 may include the following specific steps: step S201, hand segmentation: use U-net network structure to perform hand segmentation on the acquired left-hand X-ray film image to remove the hand Interference from other parts.
  • the U-net network structure in this step is a published prior art.
  • the U-net network structure is used to remove interference from parts other than the hand to obtain the left-hand X-ray image after the hand segmentation.
  • the obtained image is shown in Figure 4. As shown.
  • the loss function in machine learning is extremely critical. The smaller the loss function, the better the model fits. Therefore, when using the existing network structure, the U-net network structure is more suitable for this application.
  • the loss function is redefined. In one embodiment, the loss function during training is as follows:
  • y i represents the predicted value of each pixel, Represents the true value of each pixel, with a value of 0 or 1, indicating whether the pixel is in the foreground;
  • the data used for U-net network structure training is labeled 100 pictures, and the labeled tool is an online image segmentation labeling tool ( labelme), the content of the label is the hand, and the rotation, zoom, or translation is used to increase the training data.
  • step S202 three detection points are detected: after the hand segmentation is completed, the key points are used to detect the three key points of the opponent's hand to detect the network structure. Three detection points are obtained, and the three detection points are the middle fingertip detection. Measurement point, thumb fingertip detection point, wrist center point.
  • the keypoint detection network structure is: three VGG modules (convolution modules) with 64, 128, and 256 layers of convolution kernels are connected in sequence, and then One Dropout layer (discard algorithm layer), one fully connected layer containing 512 neurons, one ELU activation function, one Dropout layer, one fully connected layer containing 512 neurons, one ELU activation function, and finally connected One layer is a fully connected layer containing 6 neurons. Finally, 6 values are output, corresponding to the horizontal and vertical coordinate values of the three detection points, respectively.
  • the three detection points obtained are shown in the circle of Fig. 4, which are the middle fingertips, thumb fingertips, and carpal center points. Among them, the ELU activation function is a non-linear activation function.
  • the horizontal and vertical coordinate values of the three detection points with small errors can be obtained, which provides more accurate parameters for subsequent image normalization and scaling.
  • the keypoint detection network structure is trained, and the loss function during training uses the mean squared loss function:
  • each picture has a total of 6 data, which are the horizontal and vertical coordinate values of the three detection points, and are rotated, zoomed or translated to increase the amount of data.
  • the above-mentioned mean square error loss function is used as a loss function, and bone age training is performed to learn more accurate three detection point parameters.
  • Step S203 aligning the zoomed image: According to the obtained three detection points, the left-hand X-ray film image is rectified and scaled into a picture of 512 * 512 size, and the detection point of the middle finger fingertip is positioned in the horizontal position of the upper edge when the image is aligned 40 pixels down, the thumb fingertip detection point is set to mirror flip, make sure the thumb fingertip detection point is on the right side of the picture, the wrist center point is at the lower edge horizontal position and the midpoint is 190 pixels up.
  • the left-hand X-ray film image is tilted, and the thumb fingertip is located on the right side of the picture, so there is no need to mirror and flip.
  • Step S204 Adaptive Histogram Equalization Image: Performs adaptive contrast histogram equalization with limited contrast on the normalized and scaled image.
  • the straightened and scaled image is made clearer by using adaptive histogram equalization (CLAHE) with limited contrast.
  • Contrast-dependent adaptive histogram equalization is an algorithm, referred to as the CLAHE algorithm.
  • the difference between the CLAHE algorithm and the ordinary adaptive histogram equalization lies in the contrast limit, that is, the histogram trimming process. Image contrast will be more natural.
  • the CLAHE algorithm includes: image block, in block units, first calculate the histogram, then trim the histogram, and finally equalize; then linear interpolation between blocks, the value obtained by each pixel is performed by the mapping function value of the 4 sub-blocks around it It is obtained by bilinear interpolation.
  • each image block needs to be traversed and manipulated.
  • a layer filtering and mixing operation is performed with the original image.
  • the CLAHE algorithm can directly use the createCLAHE function in the opencv library to complete the adaptive histogram equalization operation.
  • Step S205 bone age prediction: the bone age prediction is performed on the image after the adaptive histogram equalization through the bone age prediction network structure to obtain the bone age prediction value.
  • hand-segmentation is performed on the picture by using the U-net network structure, three key points on the hand are detected using the key point detection network structure, and the scaled image is adjusted based on the three detected points, and the adaptive histogram is used.
  • the process of obtaining the bone age prediction value by equalizing the image and using the bone age prediction network structure is scientific and rigorous, and meets industry standards. The final prediction value reaches the expert level.
  • the bone age prediction network structure in this step is: firstly, the six convolution kernel layers are 32, 64, 128, 128, 256, and 384 VGG modules (volumes) Product module), and then a Dropout layer (a discard algorithm layer), a fully-connected layer containing 2048 neurons, an ELU activation function, a Dropout layer, and a fully-connected layer containing 2048 neurons. An ELU activation function. Finally, connect the output layer of a single neuron to get the predicted value. Among them, the ELU activation function is a non-linear activation function.
  • the bone age prediction network structure of the above structure is used to obtain a more accurate bone age prediction value after an image is input.
  • the bone age prediction network structure is trained, and the loss function during training is the average absolute error loss function:
  • y i represents the bone age value predicted by the network, Is the real bone age value corresponding to the picture; when training the bone age prediction network structure, the image is flipped, rotated, scaled or translated to increase the amount of data.
  • the average absolute error loss function is used for bone age prediction training, and a more accurate bone age prediction value can be learned.
  • (1) during the bone age training phase the following steps may be adopted: (a) labeling some images, such as 100 pictures, using data enhancement methods to increase the amount of training data, training the U-net network to segment the hand, using The trained U-net network is used to segment the entire data set and generate a new data set. (B) Based on the above data set, select 100 pictures and extract the coordinates of the three detection points.
  • Data enhancement means to increase the amount of data, train the keypoint detection network, and then use the trained keypoint detection network to perform gesture correction on the segmented data set to generate a corrected data set; (c) correct the data Perform adaptive histogram equalization; (d) For the equalized data set, also use data enhancement methods to increase the amount of training data, and then use this data to train the bone age prediction network.
  • the data can be divided into two according to gender The dataset was trained on two male and female datasets using two identical bone age prediction networks.
  • Bone age prediction stage Use the trained U-net network and keypoint detection network to preprocess the newly input picture, and then perform adaptive histogram equalization before inputting it to the bone age prediction network to obtain the bone age. Predictive value. For example, if the data set is divided into a male and a female data set, it is input into the corresponding bone age prediction network according to gender, and the corresponding bone age prediction value is predicted.
  • deep learning is performed on the image through training before prediction to obtain an optimized network and bone age prediction.
  • the obtained prediction value has a small error, and the average error can be controlled at about 6 months to reach the level of an expert physician.
  • an automatic bone age prediction system is proposed, as shown in FIG. 8, including:
  • the acquisition unit is configured to acquire the left-hand X-ray film image;
  • the data processing unit is configured to perform hand segmentation of the acquired left-hand X-ray film image to remove interference from parts other than the hand, and perform normal scaling on the divided image
  • the image is input into the bone age prediction network structure to obtain the bone age prediction value.
  • the bone age prediction network structure is a deep learning network based on the VGG network structure;
  • the bone age prediction unit is set to perform bone age training in the data processing unit until the bone age prediction value obtained by the bone age training meets a preset error range, stop the bone age training phase, enter the bone age prediction phase, and output the bone age prediction value obtained by the data processing unit.
  • the left-hand X-ray film image acquired by the acquisition unit is an orthotopic X-ray film of the left wrist
  • the left-hand X-ray film image includes a backbone 2cm-3cm away from the radius and ulna, and multiple bones of the hand joint
  • the tube distance of the left-hand X-ray film image is 70cm-90cm.
  • the data processing unit includes: a segmentation module configured to perform hand segmentation on the acquired left-hand X-ray image using a U-net network structure to remove interference from parts other than the hand; and a detection module configured to be used as a hand
  • the key point detection network structure is used to detect the hand, and three detection points are obtained.
  • the three detection points are the middle fingertip detection point, the thumb fingertip detection point, and the wrist bone center point;
  • the aligning and zooming module is set to align and zoom the left-hand X-ray film image into a 512 * 512 image according to the three detection points obtained.
  • the detection point of the middle finger fingertip is located at the midpoint of the upper edge horizontal position.
  • the thumb fingertip detection point is set to mirror flip, make sure the thumb fingertip detection point is on the right side of the picture, the wrist center point is at the lower edge of the horizontal position, and the midpoint is 190 pixels upward.
  • Adaptive module set In order to limit the contrast-adjusted adaptive histogram equalization of the normalized zoomed image; the bone age prediction module is set to equalize the adaptive histogram through the bone age prediction network structure. The bone age prediction is performed to obtain the bone age prediction value.
  • the keypoint detection network structure is as follows: three VGG modules with 64, 128, and 256 layers of convolution kernels are connected in sequence, then a Dropout layer is connected, and then two layers each contain 512 A fully connected layer of neurons, and each of the two fully connected layers is connected to an ELU activation function. There is another Dropout layer between the two fully connected layers of 512 neurons, and the last layer is a fully connected layer containing 6 neurons. Layer, and finally output 6 numerical values, corresponding to the horizontal and vertical coordinate values of the three detection points respectively;
  • the structure of the bone age prediction network is: six VGG modules with 32, 64, 128, 128, 256, and 3846 convolution kernel layers are connected in sequence, then a Dropout layer, and then two layers each containing 2048 neurons A fully connected layer, two fully connected layers are connected to an ELU activation function, another Dropout layer is set between the two fully connected layers of 2048 neurons, and the last layer is a single neuron output layer to obtain the predicted value.
  • the U-net network structure is trained, and the loss function during training is:
  • y i represents the predicted value of each pixel, Represents the true value of each pixel, with a value of 0 or 1, indicating whether the pixel is in the foreground;
  • U-net network structure training data is annotated 100 pictures, and the annotation tool is an online image segmentation annotation tool.
  • the content is the hand, and rotation, zoom, or translation is used to increase the training data.
  • the keypoint detection network structure is trained, and the loss function during training uses the mean squared loss function:
  • each picture has a total of 6 data, which are the horizontal and vertical coordinate values of the three detection points, and are rotated, zoomed or translated to increase the amount of data.
  • the bone age prediction network structure is trained, and the loss function during training is the average absolute error loss function:
  • a computer device which includes a memory and a processor.
  • the memory stores computer-readable instructions, and when the computer-readable instructions are executed by the processor, the processor is caused to implement the foregoing when the computer-readable instructions are executed.
  • the steps in the automatic bone age prediction method in the embodiment are provided, which includes a memory and a processor.
  • a storage medium storing computer-readable instructions.
  • the one or more processors are caused to perform the automatic bone age prediction in the foregoing embodiments. Steps in the method.
  • the storage medium may be a non-volatile storage medium.
  • the program may be stored in a computer-readable storage medium.
  • the storage medium may include: Read-only memory (ROM, Read Only Memory), random access memory (RAM, Random Access Memory), magnetic disks or optical disks, etc.

Abstract

本申请涉及数据处理技术领域，尤其涉及一种自动骨龄预测方法、系统、计算机设备和存储介质。骨龄预测方法包括：采集左手X射线片图像，将采集到的左手X射线片图像进行手部分割，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，重复进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将预测值输出。本申请预测骨龄时，无需医师鉴定，整个预测过程在秒级内完成，预测效率高。

Description

自动骨龄预测方法、系统、计算机设备和存储介质
本申请要求于2018年06月04日提交中国专利局、申请号为201810561528.4、发明名称为“自动骨龄预测方法、系统、计算机设备和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，尤其涉及一种自动骨龄预测方法、系统、计算机设备和存储介质。
背景技术
人类身体发育过程中，不同时期的骨骼大小和形状有着明显的差异，正常发育的情况下，骨骼的年龄(骨龄)和真实的年龄差异性非常小，一旦发现该差异较大时，则表明身体发育的过程中可能存在某些潜在的疾病干扰着骨头的正常发育。因此，临床医师通过预测青少年骨骼系统的成熟度，从而尽早发现一些发育中的异常问题。目前，骨龄预测时，普通医师无法胜任，需要相关经验的医师来执行，致使骨龄预测必须去专门的鉴定机构完成。预测过程中，由于采用医师通过左手的X射线图像与骨骼发育的标准化图谱相比较，因此图像比较所花费时间长、预测效率低，一般都要有相关经验的医师来执行，虽然专家则可以将预测误差控制在6个月内，但是普通医师的预测误差要在12个月内。
另外，深度学习是机器学习中一种基于对数据进行表征学习的方法，深度学习的优势是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。卷积神经网络(Convolutional neural networks，简称CNNs)是一种深度的监督学习下的机器学习模型，是一种多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。卷积神经网络中，由于VGG网络结构对于图片有更精确的估值以及更省空间能力，随着深度学习的普及，VGG网络结构得到了普遍的认可。
发明内容
有鉴于此，有必要针对现有的骨龄预测花费时间长、预测误差大的问题，提供一种自动骨龄预测方法、系统、计算机设备和存储介质。
一种自动骨龄预测方法，包括：S1，采集左手X射线片图像；S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
一种自动骨龄预测系统，包括：采集单元，设置为采集左手X射线片图像；
数据处理单元，设置为将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；预测骨龄单元，设置为在数据处理单元进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将数据处理单元得到的骨龄预测值输出。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：S1，采集左手X射线片图像；S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：S1，采集左手X射线片图像；S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，骨龄预测网络结构是基于VGG网络结构的深度学习网络；S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
上述自动骨龄预测方法、装置、计算机设备和存储介质，包括采集左手X射线片图像；将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；重复进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将骨龄预测值输出。本申请预测骨龄时，采用对左手的X射线图像进行一系列数据处理，以得到骨龄预测值，无需医师鉴定，整个预测过程在秒级内完成，预测效率高，通过深度学习网络，得到的骨龄预测值平均误差能够控制在6个月左右，达到专家医师级别。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请一个实施例中的自动骨龄预测方法的流程图；
图2为本申请左手腕部正位X射线片图像；
图3为本申请数据处理时的流程图；
图4为本申请手部分割后的左手X射线片图像；
图5为本申请缩放摆正后的左手X射线片图像；
图6为本申请的关键点侦测网络结构示意图；
图7为本申请的骨龄预测网络结构示意图；
图8为本申请一个实施例中自动骨龄预测系统的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请一个实施例中的自动骨龄预测方法的流程图，如图1所示，包括：步骤S1，数据采集：采集左手X射线片图像。人的生长发育可用两个“年龄”来表示，即生活年龄(日历年龄)和生物年龄(骨龄)。人类骨骼发育的变化基本相似，每一根骨头的发育过程都具有连续性和阶段性。不同阶段的骨头具有不同的形态特点。因此，骨龄评估能较准确地反映个体的生长发育水平和成熟程度。它不仅可以确定儿童的生物学年龄，而且还可以通过骨龄及早了解儿童的生长发育潜力以及性成熟的趋势。骨龄的测定需要借助于骨骼在X光摄像中的特定图像来确定。通常要拍摄人左手手腕部的X射线片，医生通过X射线片观察左手掌指骨、腕骨及桡尺骨下端的骨化中心的发育程度来确定骨龄。
步骤S2，数据处理：将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，骨龄预测网络结构是基于VGG网络结构的深度学习网络。本步骤在对左手X射线片图像输入骨龄预测网络结构之前，还对图像进行手部分割去干扰、摆正与缩放图像、自适应均衡图像的数据处理方式，形成较为统一的图像，以便于后续深度学习网络输出更为精确的骨龄预测值。本步骤中的VGG网络结构是一种深度卷积神经网络，一般由卷积部分和全连接部分构成，卷积部分包含卷积(可以有多个不同尺寸的核级联组成)、激活函数、池化、Dropout层等。全连接部分一般最多包含2到3个全连接。VGG网络结构使用小卷积核和更深的网络进行的正则化；使用预训练得到的数据进行参数的初始化。
步骤S3，预测骨龄：重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。本步骤中，预设误差范围控制在6个月内，以便本申请能达到专家医师级别。在骨龄训练阶段，一次性输入的图片量(batch)优选为16，网络学习率为1.0*e-3，e是数学常数，e≈2.71828，L2正则项惩罚系数为1.0*e-3，dropout层的dropout率为0.5。在进入到骨龄预测阶段时，将batch修改为1，dropout率设置为1并关闭训练模式即可进入骨龄预测阶段。
本实施例，通过采集左手的X射线图像后，对图像的手部分割去干扰、摆正与缩放图像、自适应均衡图像、骨龄深度学习网络等数据处理方式，得到误差较小的媲美专家医师的预测值，即为骨龄预测值。整个预测过程在秒级内完成，预测效率高。
在一个实施例中，步骤S1中，采集时左手掌面向下，紧贴暗盒，中指轴与前臂轴成直线，五指自然分开，拇指与手掌呈约30°角，X射线机的球管中心 正对第三掌骨头。采集的左手X射线片图像是左手腕部正位X射线片，左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，左手X射线片图像的管片距为70cm-90cm。
如图2中所示，左手X射线片图像包括手部关节的多块骨，手部关节的多块骨包括腕骨11、掌骨12、指骨13。左手X射线片图像还包括桡骨2中截取距离桡骨2的2cm-3cm的骨干，和尺骨3中截取距离尺骨3的2cm-3cm的骨干。
本实施例通过上述方法采集到的左手X射线片图像符合行业标准TY/T3001—2006《中国青少年儿童手腕骨成熟度及评价方法》(简称《中华-05》方法)，能为后续预测骨龄提供可靠的图像。
在一个实施例中，如图3所示，步骤S2可包括如下具体步骤：步骤S201，手部分割：使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰。本步骤中的U-net网络结构为已发表的现有技术，通过U-net网络结构去除手部以外部分的干扰，得到手部分割后的左手X射线片图像，得到的图像如图4中所示。
机器学习中的损失函数极为关键，损失函数越小，代表模型拟合的越好，因此在采用现有的网络结构时，为了过U-net网络结构更适用于本申请，在骨龄训练阶段，重新定义了损失函数，在一个实施例中，训练时的损失函数如下：
L＝H-logJ，
其中，
Figure PCTCN2018104716-appb-000001
Figure PCTCN2018104716-appb-000002
y i表示每个像素的预测值，
Figure PCTCN2018104716-appb-000003
表示每个像素的真实值，取值为0或1，表示该像素是否在前景；用于U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具(labelme)，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
步骤S202，探测三个侦测点：手部分割完成后，使用关键点侦测网络结构对手部三个关键点进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点。
在一个实施例中，如图6中所示，关键点侦测网络结构为：先将三个卷积 核层数分别为64、128、256的VGG模块(卷积模块)依次连接，然后依次接一个Dropout层(丢弃算法层)、一层包含512个神经元的全连接层、一个ELU激活函数、一个Dropout层、一层包含512个神经元的全连接层、一个ELU激活函数，最后连接一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值。得到的三个侦测点如图4圆圈所示，分别为中指指尖、大拇指指尖、腕骨中心点。其中，ELU激活函数是非线性激活函数。
本实施例采用上述关键点侦测网络结构后，能得到误差较小的三个侦测点的横纵坐标值，为后续图像摆正缩放提供较为精确的参数。
在一个实施例中，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
Figure PCTCN2018104716-appb-000004
其中，y i表示预测的坐标值，
Figure PCTCN2018104716-appb-000005
为真实的坐标值；通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
本实施例通过上述均方差损失函数作为损失函数，进行骨龄训练，能学习到较为准确的三个侦测点参数。
步骤S203，摆正缩放图像：依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点设置为镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处。
如图4中所示，左手X射线片图像是倾斜的，其大拇指指尖位于图片右侧，因此无需镜像翻转，首先根据步骤S202得到的三个侦测点中的中指指尖侦测点移动到图片的上边缘水平位置中点向下40像素处，然后将腕骨中心点在下边缘水平位置中点向上190像素处，得到如图5中所示的图像。
步骤S204，自适应直方图均衡化图像：对摆正缩放后的图像进行限制对比度的自适应直方图均衡化。
本步骤通过限制对比度的自适应直方图均衡化(CLAHE)来让摆正缩放后的图像更加清晰。限制对比度的自适应直方图均衡化是一种算法，简称CLAHE算法，CLAHE算法与普通的自适应直方图均衡不同地方在于对比度限幅，即直方图修剪过程，修剪后的直方图均衡图像时，图像对比度会更自然。CLAHE算法包括：图像分块，以块为单位，先计算直方图，然后修剪直方图，最后均衡；然后块 间线性插值，每个像素点得到的值由它周围4个子块的映射函数值进行双线性插值得到，此处需要遍历、操作各个图像块；最后与原图做图层滤色混合操作。具体的，CLAHE算法可以直接使用opencv库中的createCLAHE函数完成自适应直方图均衡化操作。
步骤S205，骨龄预测：通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
本实施例通过使用U-net网络结构对图片进行手部分割、使用关键点侦测网络结构对手部三个关键点进行探测、依据得到的三个侦测点摆正缩放图像、自适应直方图均衡化图像、采用骨龄预测网络结构进行骨龄预测，最后得到骨龄预测值的过程科学严谨，符合行业标准，最终得到的预测值达到专家水平。
在一个实施例中，如图7中所示，本步骤中的骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、384的VGG模块(卷积模块)依次连接，然后依次连接一个Dropout层(丢弃算法层)、一层包含2048个神经元的全连接层、一个ELU激活函数、一个Dropout层、一层包含2048个神经元的全连接层、一个ELU激活函数，最后连接一层为单神经元的输出层，得到预测值。其中，ELU激活函数是非线性激活函数。本实施例通过上述结构的骨龄预测网络结构，输入图像后，能得到较为准确的骨龄预测值。
在一个实施例中，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
Figure PCTCN2018104716-appb-000006
和L2正则项之和，其中，y i表示网络预测的骨龄值，
Figure PCTCN2018104716-appb-000007
为图片对应的真实骨龄值；对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。本实施例采用平均绝对误差损失函数进行骨龄预测训练，能学习到较为准确的骨龄预测值。
在一个实施例中，(1)骨龄训练阶段时，可以采用如下步骤：(a)标注部分图像，如100张图片，使用数据增强手段增加训练数据量，训练U-net网络分割手部，使用训练好的U-net网络来将整个数据集的手部分割出来，产生新的数据集；(b)在上述数据集的基础上，挑选100张图片，提取三个侦测点坐标，同样使用数据增强手段来增加数据量，训练关键点侦测网络，再使用训练好的关键点侦测网络对分割好的数据集进行手势矫正，产生矫正好的数据集；(c)对矫正好的数据进行自适应直方图均衡化；(d)对均衡化后的数据集，同 样使用数据增强手段来增加训练数据量，再使用该数据训练骨龄预测网络，此时，可以将数据按照性别分成两个数据集，用两个相同的骨龄预测网络分别在男性和女性数据集上进行训练。
(2)骨龄预测阶段：分别使用训练好的U-net网络、关键点侦测网络对新输入的图片进行预处理，再进行自适应直方图均衡化后，输入到骨龄预测网络中，得到骨龄预测值。如将数据集分为男性和女性数据集的，则按照性别，输入到对应的骨龄预测网络中，预测出对应的骨龄预测值。
本实施例通过先训练再预测的方式，对图像进行深度学习，以得到优化后的网络，进行骨龄预测，得到的预测值误差小，平均误差能够控制在6个月左右，达到专家医师级别。
在一个实施例中，提出了一种自动骨龄预测系统，如图8所示，包括：
采集单元，设置为采集左手X射线片图像；数据处理单元，设置为将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，骨龄预测网络结构是基于VGG网络结构的深度学习网络；预测骨龄单元，设置为在数据处理单元进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将数据处理单元得到的骨龄预测值输出。
在一个实施例中，采集单元采集的左手X射线片图像是左手腕部正位X射线片，左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，左手X射线片图像的管片距为70cm-90cm。
在一个实施例中，数据处理单元包括：分割模块，设置为使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；探测模块，设置为手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；摆正缩放模块，设置为依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点设置为镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；自适应模块，设置为对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；骨龄预测模块，设置为通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
在一个实施例中，关键点侦测网络结构为：先将三个卷积核层数分别为64、 128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值；
骨龄预测网络结构为：将六个卷积核层数分别为32、64、128、128、256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元输出层，得到预测值。
在一个实施例中，在骨龄训练阶段，对U-net网络结构进行训练，训练时的损失函数：
L＝H-logJ，
其中，
Figure PCTCN2018104716-appb-000008
Figure PCTCN2018104716-appb-000009
y i表示每个像素的预测值，
Figure PCTCN2018104716-appb-000010
表示每个像素的真实值，取值为0或1，表示该像素是否在前景；U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
在一个实施例中，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
Figure PCTCN2018104716-appb-000011
其中，y i表示预测的坐标值，
Figure PCTCN2018104716-appb-000012
为真实的坐标值；通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
在一个实施例中，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
Figure PCTCN2018104716-appb-000013
和L2正则项之和，其中，y i表示网络预测的骨龄预测值，
Figure PCTCN2018104716-appb-000014
为图片对应的真实骨龄值；对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行计算机可读指令时实现上述各实施例里自动骨龄预测方法中的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例里自动骨龄预测方法中的步骤。其中，存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (20)

  1. 一种自动骨龄预测方法，包括：
    S1，采集左手X射线片图像；
    S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
    S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
  2. 根据权利要求1所述的自动骨龄预测方法，其中，所述S1采集的左手X射线片图像是左手腕部正位X射线片，所述左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，所述左手X射线片图像的管片距为70cm-90cm。
  3. 根据权利要求1所述的自动骨龄预测方法，其中，所述S2包括：
    S201，使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；
    S202，手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；
    S203，依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点设置为镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；
    S204，对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；
    S205，通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
  4. 根据权利要求3所述的自动骨龄预测方法，其中，所述关键点侦测网络结构为：先将三个卷积核层数分别为64、128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值；
    所述骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、 256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元的输出层，得到预测值。
  5. 根据权利要求3所述的自动骨龄预测方法，其中，在骨龄训练阶段，对U-net网络结构进行训练，训练时的损失函数：
    L＝H-logJ，
    其中，
    Figure PCTCN2018104716-appb-100001
    Figure PCTCN2018104716-appb-100002
    y i表示每个像素的预测值，
    Figure PCTCN2018104716-appb-100003
    表示每个像素的真实值，取值为0或1，表示该像素是否在前景；
    所述U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
  6. 根据权利要求3所述的自动骨龄预测方法，其中，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
    Figure PCTCN2018104716-appb-100004
    其中，y i表示预测的坐标值，
    Figure PCTCN2018104716-appb-100005
    为真实的坐标值；
    通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
  7. 根据权利要求3所述的自动骨龄预测方法，其中，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
    Figure PCTCN2018104716-appb-100006
    和L2正则项之和，
    其中，y i表示网络预测的骨龄预测值，
    Figure PCTCN2018104716-appb-100007
    为图片对应的真实骨龄值；
    对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。
  8. 一种自动骨龄预测系统，包括：
    采集单元，设置为采集左手X射线片图像；
    数据处理单元，设置为将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
    预测骨龄单元，设置为在数据处理单元进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将数据处理单元得到的骨龄预测值输出。
  9. 根据权利要求8所述的自动骨龄预测系统，其中，所述采集单元采集的左手X射线片图像是左手腕部正位X射线片，所述左手X射线片图像包括距离桡骨和尺骨2cm-3cm的骨干，及手部关节的多块骨，所述左手X射线片图像的管片距为70cm-90cm。
  10. 根据权利要求8所述的自动骨龄预测系统，其中，所述数据处理单元包括：
    分割模块，设置为使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；
    探测模块，设置为手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；
    摆正缩放模块，设置为依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点设置为镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；
    自适应模块，设置为对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；
    骨龄预测模块，设置为通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
  11. 根据权利要求10所述的自动骨龄预测系统，其中，所述关键点侦测网络结构为：先将三个卷积核层数分别为64、128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连 接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值；
    所述骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元的输出层，得到预测值。
  12. 根据权利要求10所述的自动骨龄预测系统，其中，在骨龄训练阶段，对U-net网络结构进行训练，训练时的损失函数：
    L＝H-logJ，
    其中，
    Figure PCTCN2018104716-appb-100008
    Figure PCTCN2018104716-appb-100009
    y i表示每个像素的预测值，
    Figure PCTCN2018104716-appb-100010
    表示每个像素的真实值，取值为0或1，表示该像素是否在前景；
    所述U-net网络结构训练的数据为标注的100张图片，标注的工具为在线的图像分割标注工具，标注的内容为手部，并采用旋转、缩放或平移来增加训练数据。
  13. 根据权利要求10所述的自动骨龄预测系统，其中，在骨龄训练阶段，对关键点侦测网络结构进行训练，训练时的损失函数采用均方差损失函数：
    Figure PCTCN2018104716-appb-100011
    其中，y i表示预测的坐标值，
    Figure PCTCN2018104716-appb-100012
    为真实的坐标值；
    通过不断缩小损失函数，让预测位置与真实位置的差距越来越小，让关键点侦测网络学习到三个侦测点的具体位置，训练数据为三个侦测点对应的坐标，每张图片共有6个数据，分别为三个侦测点的横纵坐标值，并采用到了旋转、缩放或平移来增加数据量。
  14. 根据权利要求10所述的自动骨龄预测系统，其中，在骨龄训练阶段，对骨龄预测网络结构进行训练，训练时的损失函数为平均绝对误差损失函数：
    Figure PCTCN2018104716-appb-100013
    和L2正则项之和，
    其中，y i表示网络预测的骨龄预测值，
    Figure PCTCN2018104716-appb-100014
    为图片对应的真实骨龄值；
    对骨龄预测网络结构进行训练时，将图像进行镜像翻转、旋转、缩放或平移来增加数据量。
  15. 一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行以下步骤：
    S1，采集左手X射线片图像；
    S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
    S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
  16. 根据权利要求15所述的计算机设备，其中，在步骤S2，使得所述处理器执行：
    S201，使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；
    S202，手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；
    S203，依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点设置为镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；
    S204，对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；
    S205，通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预测，得到骨龄预测值。
  17. 根据权利要求16所述的计算机设备，其中，所述关键点侦测网络结构 为：先将三个卷积核层数分别为64、128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值；
    所述骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元的输出层，得到预测值。
  18. 一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
    S1，采集左手X射线片图像；
    S2，将采集到的左手X射线片图像进行手部分割，以去除手部以外部分的干扰，对分割后的图像进行摆正缩放到预设大小和位置，对摆正缩放后的图像进行自适应均衡处理后，将图像输入到骨龄预测网络结构中，得到骨龄预测值，所述骨龄预测网络结构是基于VGG网络结构的深度学习网络；
    S3，重复步骤S2进行骨龄训练，直到骨龄训练得到的骨龄预测值满足预设误差范围后，停止骨龄训练阶段，进入骨龄预测阶段，将步骤2)得到的骨龄预测值输出。
  19. 根据权利要求18所述的存储介质，其中，在步骤S2，使得一个或多个处理器执行：
    S201，使用U-net网络结构对采集到的左手X射线片图像进行手部分割，去除手部以外部分的干扰；
    S202，手部分割完成后，使用关键点侦测网络结构对手部进行探测，得到三个侦测点，三个侦测点分别为中指指尖侦测点、大拇指指尖侦测点、腕骨中心点；
    S203，依据得到的三个侦测点，将左手X射线片图像摆正缩放到512*512大小的图片中，摆正时中指指尖侦测点位于上边缘水平位置中点向下40像素处，大拇指指尖侦测点设置为镜像翻转，确保大拇指指尖侦测点位于图片右侧，腕骨中心点在下边缘水平位置中点向上190像素处；
    S204，对摆正缩放后的图像进行限制对比度的自适应直方图均衡化；
    S205，通过骨龄预测网络结构对自适应直方图均衡化后的图像进行骨龄预 测，得到骨龄预测值。
  20. 根据权利要求19所述的存储介质，其中，所述关键点侦测网络结构为：先将三个卷积核层数分别为64、128、256的VGG模块依次连接，然后接一个Dropout层，再接两层各包含512个神经元的全连接层，且两层全连接层均连接一个ELU激活函数，两层512个神经元的全连接层之间设另一Dropout层，最后一层为包含6个神经元的全连接层，最后将6个数值输出，分别对应三个侦测点的横纵坐标值；
    所述骨龄预测网络结构为：先将六个卷积核层数分别为32、64、128、128、256、3846的VGG模块依次连接，然后接一个Dropout层，再接两层各包含2048个神经元的全连接层，两层全连接层均连接一个ELU激活函数，两层2048个神经元的全连接层之间设另一Dropout层，最后一层为单神经元的输出层，得到预测值。
PCT/CN2018/104716 2018-06-04 2018-09-08 自动骨龄预测方法、系统、计算机设备和存储介质 WO2019232960A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810561528.4A CN109215013B (zh) 2018-06-04 2018-06-04 自动骨龄预测方法、系统、计算机设备和存储介质
CN201810561528.4 2018-06-04

Publications (1)

Publication Number Publication Date
WO2019232960A1 true WO2019232960A1 (zh) 2019-12-12

Family

ID=64991364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/104716 WO2019232960A1 (zh) 2018-06-04 2018-09-08 自动骨龄预测方法、系统、计算机设备和存储介质

Country Status (2)

Country Link
CN (1) CN109215013B (zh)
WO (1) WO2019232960A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102285A (zh) * 2020-09-14 2020-12-18 辽宁工程技术大学 一种基于多模态对抗训练的骨龄检测方法
CN112116606A (zh) * 2020-09-29 2020-12-22 五邑大学 脑肿瘤图像分割方法、系统及计算机可读存储介质
CN112766313A (zh) * 2020-12-29 2021-05-07 厦门贝启科技有限公司 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN113570577A (zh) * 2021-07-28 2021-10-29 成都玻尔兹曼智贝科技有限公司 一种颈椎骨龄的判断方法
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949280B (zh) * 2019-03-06 2021-06-11 上海联影智能医疗科技有限公司 图像处理方法、装置、设备存储介质及生长发育评估系统
WO2020135812A1 (en) 2018-12-29 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for ossification center detection and bone age assessment
CN109948522B (zh) * 2019-03-18 2020-12-01 浙江工业大学 一种基于深度神经网络的x光片手骨成熟度判读方法
CN110322528B (zh) * 2019-06-26 2021-05-14 浙江大学 基于3t、7t的核磁共振脑部图像血管重建方法
CN111080579B (zh) * 2019-11-28 2023-05-26 杭州电子科技大学 基于深度学习实现图像分割和分类的骨龄评估方法
CN111563874B (zh) * 2020-03-05 2023-04-28 北京深睿博联科技有限责任公司 骨龄评测方法和装置
CN112561982A (zh) * 2020-12-22 2021-03-26 电子科技大学中山学院 一种基于vgg-16的高精度光斑中心检测方法
CN112785559B (zh) * 2021-01-05 2022-07-12 四川大学 基于深度学习的多个异构模型相互组合的骨龄预测方法
CN113298842B (zh) * 2021-05-28 2023-07-14 平安科技（深圳）有限公司 骨龄预测方法、装置、设备及计算机可读存储介质
CN113331849A (zh) * 2021-06-08 2021-09-03 北京中医药大学 一种尺骨骨龄等级评定系统及方法
CN114601483B (zh) * 2022-05-11 2022-08-16 山东第一医科大学第一附属医院(山东省千佛山医院) 一种基于图像处理的骨龄分析方法及系统
CN116665894A (zh) * 2023-04-24 2023-08-29 南方医科大学南方医院 骨龄监测系统、方法、电子设备及存储介质
CN117252881B (zh) * 2023-11-20 2024-01-26 四川大学 基于手部x光图像的骨龄预测方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107767376A (zh) * 2017-11-02 2018-03-06 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107895367A (zh) * 2017-11-14 2018-04-10 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107591200B (zh) * 2017-08-25 2020-08-14 卫宁健康科技集团股份有限公司 基于深度学习及影像组学的骨龄标记识别评估方法及系统
CN107944496A (zh) * 2017-12-06 2018-04-20 电子科技大学 基于改进后的残差网络的骨龄自动化识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018057714A1 (en) * 2016-09-21 2018-03-29 The General Hospital Corporation Systems, methods and media for automatically generating a bone age assessment from a radiograph
CN107767376A (zh) * 2017-11-02 2018-03-06 西安邮电大学 基于深度学习的x线片骨龄预测方法及系统
CN107895367A (zh) * 2017-11-14 2018-04-10 中国科学院深圳先进技术研究院 一种骨龄识别方法、系统及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOU, JIANLONG: "Using Convolutional Neural Networks and Transfer Learning for Bone Age Classification", 2017 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA, 29 November 2017 (2017-11-29), XP033287393 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102285A (zh) * 2020-09-14 2020-12-18 辽宁工程技术大学 一种基于多模态对抗训练的骨龄检测方法
CN112102285B (zh) * 2020-09-14 2024-03-12 辽宁工程技术大学 一种基于多模态对抗训练的骨龄检测方法
CN112116606A (zh) * 2020-09-29 2020-12-22 五邑大学 脑肿瘤图像分割方法、系统及计算机可读存储介质
CN112116606B (zh) * 2020-09-29 2024-02-20 五邑大学 脑肿瘤图像分割方法、系统及计算机可读存储介质
CN112766313A (zh) * 2020-12-29 2021-05-07 厦门贝启科技有限公司 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN112766313B (zh) * 2020-12-29 2023-11-14 厦门贝启科技有限公司 基于U-net结构的水晶体分割及定位方法、装置、设备和介质
CN113570577A (zh) * 2021-07-28 2021-10-29 成都玻尔兹曼智贝科技有限公司 一种颈椎骨龄的判断方法
CN113570577B (zh) * 2021-07-28 2023-11-14 成都玻尔兹曼智贝科技有限公司 一种颈椎骨龄的判断方法
CN116342516A (zh) * 2023-03-17 2023-06-27 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统
CN116342516B (zh) * 2023-03-17 2024-04-16 四川文理学院 基于模型集成的儿童手骨x光图像骨龄评估方法及系统

Also Published As

Publication number Publication date
CN109215013A (zh) 2019-01-15
CN109215013B (zh) 2023-07-21

Similar Documents

Publication Publication Date Title
WO2019232960A1 (zh) 自动骨龄预测方法、系统、计算机设备和存储介质
US11842487B2 (en) Detection model training method and apparatus, computer device and storage medium
CN110826519B (zh) 人脸遮挡检测方法、装置、计算机设备及存储介质
CN109325398B (zh) 一种基于迁移学习的人脸属性分析方法
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
WO2019228317A1 (zh) 人脸识别方法、装置及计算机可读介质
CN107610087B (zh) 一种基于深度学习的舌苔自动分割方法
TWI786330B (zh) 一種圖像處理方法、電子設備及存儲介質
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
JP2022502751A (ja) 顔キーポイント検出方法、装置、コンピュータ機器及びコンピュータプログラム
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN107437252B (zh) 用于黄斑病变区域分割的分类模型构建方法和设备
CN115393361B (zh) 低标注成本的皮肤病图像分割方法、装置、设备及介质
CN111080591A (zh) 基于编码解码结构结合残差模块的医学图像分割方法
WO2023004546A1 (zh) 中医体质识别方法、装置、电子设备、存储介质及程序
CN115661872A (zh) 一种自然场景下鲁棒的手掌感兴趣区域定位方法
CN111401219A (zh) 一种手掌关键点检测方法和装置
CN110390307B (zh) 表情识别方法、表情识别模型训练方法及装置
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
US11495049B2 (en) Biometric feature reconstruction method, storage medium and neural network
CN111723762A (zh) 人脸属性识别方法、装置、电子设备及存储介质
CN111553250A (zh) 一种基于人脸特征点的精准面瘫程度评测方法及装置
Khaniki et al. Enhancing Pneumonia Detection using Vision Transformer with Dynamic Mapping Re-Attention Mechanism
CN112668668A (zh) 一种术后医学影像评估方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922047

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18922047

Country of ref document: EP

Kind code of ref document: A1