WO2023284056A1 - 图像处理的方法、装置、电子设备及存储介质 - Google Patents

图像处理的方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
WO2023284056A1
WO2023284056A1 PCT/CN2021/112622 CN2021112622W WO2023284056A1 WO 2023284056 A1 WO2023284056 A1 WO 2023284056A1 CN 2021112622 W CN2021112622 W CN 2021112622W WO 2023284056 A1 WO2023284056 A1 WO 2023284056A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
oct
angiography
image group
attenuation coefficient
Prior art date
Application number
PCT/CN2021/112622
Other languages
English (en)
French (fr)
Inventor
朱锐
鲁全茂
刘超
毕鹏
Original Assignee
深圳市中科微光医疗器械技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市中科微光医疗器械技术有限公司 filed Critical 深圳市中科微光医疗器械技术有限公司
Publication of WO2023284056A1 publication Critical patent/WO2023284056A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/404—Angiography

Definitions

  • the present application belongs to the technical field of medical image processing, and in particular relates to an image processing method, device, electronic equipment and storage medium.
  • OCT optical coherence tomography
  • OCT uses the basic principle of weak coherent light interferometer to divide the light emitted by the light source into two beams, one beam is sent to the measured tissue, also called the sample arm, and the other beam is sent to the reference mirror, also called the reference arm, and then the The measured tissue and the two beams of light signals reflected from the reference mirror are superimposed and interfered, and finally according to the light signal with the measured tissue, different intensity image gray levels are displayed, so as to image the tissue.
  • the existing traditional optical coherent image technology is weak in identifying vulnerable plaques, and it is difficult to improve the identification ability from the system and equipment side, which will also incur high costs; in addition, the display effect of existing OCT images is poor, and it is not It is convenient to assist medical staff in judging the load of vulnerable plaques.
  • the purpose of the embodiments of the present application is to provide an image processing method, device, electronic device, and storage medium, which can solve at least part of the above problems.
  • the embodiment of the present application provides a method for image processing, including:
  • each angiography image in the angiography image group is marked with the IPA value to obtain a target angiography image group.
  • the registration parameters between the OCT image group and each angiographic image make the light attenuation obtained by using each OCT image
  • the coefficient image has a consistent correspondence with each angiographic image.
  • the IPA value obtained based on the light attenuation coefficient image is marked on each angiographic image, so that the position and compliance of the vulnerable plaque can be clearly and intuitively observed, and the ability to identify the vulnerable plaque of the detection object is improved.
  • an image processing device including:
  • An image acquisition module configured to acquire an angiography image group for the investigation object during the process of obtaining the optical coherence tomography OCT image group for the investigation object;
  • An image registration module configured to register each angiography image in the OCT image group and the angiography image group to obtain registration parameters
  • An optical attenuation coefficient image generating module configured to generate an optical attenuation coefficient image group corresponding to each OCT image based on each OCT image in the OCT image group;
  • IPA value generating module for calculating the IPA value of each of the light attenuation coefficient images in the light attenuation coefficient image group
  • An image marking module uses the IPA value to mark each angiographic image in the angiographic image group to obtain a target angiographic image group.
  • an embodiment of the present application provides an electronic device, including: a memory, a processor, and a computer program stored in the memory and operable on the processor, the computer program being executed by the processor When executed, the method steps described in the first aspect above are realized.
  • an embodiment of the present application provides a computer-readable storage medium, including: the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the method described in the above-mentioned first aspect is implemented step.
  • an embodiment of the present application provides a computer program product, which, when the computer program product is run on an electronic device, causes the electronic device to execute the method steps described in the first aspect above.
  • FIG. 1 is a schematic flowchart of an image processing method provided by an embodiment of the present application
  • Fig. 2 is a schematic diagram of the corresponding relationship between OCT images and angiography images provided by an embodiment of the present application;
  • Fig. 3 is a schematic diagram of image processing provided by an embodiment of the present application.
  • Fig. 4 is a schematic flowchart of an image processing method provided by another embodiment of the present application.
  • FIG. 5 is a schematic flowchart of an image processing method provided by another embodiment of the present application.
  • Fig. 6 is a schematic diagram of image registration provided by an embodiment of the present application.
  • Fig. 7 is a schematic diagram of a U-shaped network of attention provided by an embodiment of the present application to detect and pull back blood vessels;
  • Fig. 8 is a schematic diagram of a loop generation confrontation network provided by an embodiment of the present application.
  • Fig. 9a is an OCT image sample provided by an embodiment of the present application.
  • Fig. 9b is an image sample of light attenuation coefficient provided by an embodiment of the present application.
  • Fig. 10 is a schematic diagram of an image processing device provided by an embodiment of the present application.
  • FIG. 11 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • OCT optical coherence tomography
  • OCT uses the basic principle of weak coherent light interferometer to divide the light emitted by the light source into two beams, one beam is sent to the measured tissue, also called the sample arm, and the other beam is sent to the reference mirror, also called the reference arm, and then the The measured tissue and the two beams of light signals reflected from the reference mirror are superimposed and interfered, and finally according to the light signal with the measured tissue, different intensity image gray levels are displayed, so as to image the tissue.
  • the existing traditional optical coherence imaging technology is weak in identifying vulnerable plaques. Judging vulnerable plaque requires judging the thickness of the fibrous cap, which requires manual measurements by doctors. The subjective factors of the measurer may lead to the variability of the measurement results. It is difficult to improve the recognition ability from the system and equipment side, and it will also incur high costs.
  • the embodiment of the present application provides an image processing method, based on the result of Angio Coalesce Registration (ACR), calculates the Index of Plaque Attenuation (IPA) value based on the image based on the light attenuation coefficient, and Map IPA values into contrast images. Since the light attenuation of the vulnerable plaque area is obvious, the angiographic image obtained by the image processing method provided in the embodiment of the present application can display the IPA value corresponding to the light attenuation image to intuitively prompt the doctor that there may be vulnerable plaques in the current image frame. The damaged plaque makes the display of IPA value more intuitive and effective.
  • ACR Angio Coalesce Registration
  • the image processing method provided in the embodiment of the present application may be implemented by software and/hardware including but not limited to equipment for acquiring angiographic images, OCT equipment, local third-party computing equipment, and remote third-party computing equipment.
  • the application does not limit the subjects implementing the image processing method.
  • the third party is a device other than an OCT device and an angiographic image device.
  • FIG. 1 shows an image processing method provided by an embodiment of the present application. As shown in Fig. 1, the method includes steps S110 to S150. The specific implementation principle of each step is as follows:
  • a series of OCT images will be obtained, which are recorded as an OCT image group.
  • angiographic imaging is performed on the probe object by an angiographic imaging device, and a series of angiographic images are acquired, which are recorded as an angiographic image group.
  • the angiographic imaging is for coronary vessels, and the obtained image is called a coronary angiography image (coronary arteriography, CAG).
  • the imaging device for acquiring the OCT image group and the angiography image group may be the same device, or may be two different devices, or may be a combination of devices with a control relationship.
  • the OCT device may perform image processing on the OCT image group and the angiography image group
  • the angiography imaging device may also perform image processing on the OCT image group and the angiography image group.
  • the third-party computing device obtains the OCT image group and the angiography image group through a storage medium, a communication cable, and a communication network to perform deal with.
  • the OCT image group 21 is a series of tomographic images of blood vessels of the exploration object, that is, equivalent to cross-sectional images of blood vessels.
  • the angiographic image 22 is a projected image of a blood vessel to be investigated.
  • the OCT image group is registered with the angiographic image, that is, the vessel section corresponding to each OCT image 211 in the OCT image group is determined, and the position 221 of the vessel projection in the angiographic image is determined. In other words, a corresponding relationship between each OCT image in the OCT image group and the position in the angiography image is established.
  • Register the OCT image group and each angiographic image in the angiographic image group, that is, for each angiographic image in the angiographic image group establish the OCT image group and the angiographic image location correspondence.
  • the Optical Attenuation Coefficient (OAC) of blood vessel wall (including plaque) tissue is an optical characteristic parameter of OCT images.
  • the light attenuation coefficient of biological tissue varies with the spatial position. Therefore, tissue components such as thin fibrous caps, calcifications, and lipid-rich plaques can be quantitatively calibrated according to the light attenuation coefficient.
  • the optical parameters of the OCT device such as the Rayleigh length (the Rayleigh length, zR), the half width of the roll-off function (the half width of the roll-off function, zW), etc.
  • the light attenuation coefficient corresponding to the tissue in each OCT image is calculated to obtain the light attenuation coefficient image.
  • Calculation methods include but are not limited to curve fitting (curve fitting, CF), or depth-resolved (depth-resolved, DR) model methods. Thereby, a series of light attenuation coefficient images corresponding to the OCT image group are obtained, which are recorded as the light attenuation coefficient image group.
  • the index of plaque attenuation is the fraction of pixels in the attenuation map with an attenuation coefficient greater than a certain threshold x.
  • the score can also be multiplied by a factor of 1000.
  • the following formula can be used to calculate the IPA value.
  • x is the plaque attenuation coefficient threshold
  • ⁇ t is the attenuation coefficient
  • N( ⁇ t >x) is the total number of A-lines whose maximum attenuation value is greater than x on each A-line (A-line)
  • N total represents all A-lines. number of lines.
  • the IPA value is a gray value
  • the IPA value is used to mark each angiographic image in the angiographic image group to obtain the target angiographic image group, including: marking the gray value in The position corresponding to the light attenuation image on each angiographic image.
  • the corresponding relationship between the IPA value and the marking parameter is preset, such as a comparison table, or a conversion curve formula. This correspondence is used to map the IPA values to tagged parameters.
  • the marking parameter can be an RGB color value, or a computer code corresponding to symbols such as "+”, “*", "#”, or a computer code corresponding to other marking symbols.
  • the marker parameter corresponding to the IPA value is displayed at the position corresponding to the light attenuation image on each angiography image.
  • the OCT image group is a cross-sectional image of the retracted vessel on the angiogram, that is, the OCT image in the OCT image group corresponds to the position of the retracted vessel on the angiogram. It should be understood that, due to the one-to-one correspondence between the light attenuation coefficient image and the OCT image, the IPA value obtained from each light attenuation coefficient image also corresponds to a position of the retracted blood vessel on the angiogram.
  • IPA value to mark each angiographic image in the angiographic image group to obtain a target angiographic image group, including: according to the preset correspondence between the IPA value and the marking parameter, converting each of the IPA values into marker parameters; according to the registration parameters, at the target positions of the respective angiography images, displaying the marker parameters of the corresponding light attenuation coefficient images, and the target positions are corresponding to the light attenuation coefficient images The pixel position on the pullback path of .
  • the marker parameter can be a color value.
  • the IPA value is 100
  • query the correspondence between the preset IPA value and the marking parameter it may be a comparison table
  • determine that the RGB value corresponding to the IPA value is [179, 62, 110].
  • the registration parameters pixels corresponding to the position of the blood vessel are drawn back on the angiography image to display the RGB value. That is to say, the color rendering and display of the pull-back path on the current contrast image is realized.
  • the registration parameters of the OCT image group and each angiographic image are obtained by registering each angiographic image in the OCT image group and the angiographic image group, that is, The corresponding relationship makes the optical attenuation coefficient image obtained by using each OCT image have a consistent corresponding relationship with each angiography image.
  • the IPA value obtained based on the light attenuation coefficient image is marked on each angiographic image, so that the position and compliance of the vulnerable plaque can be clearly and intuitively observed, and the ability to identify the vulnerable plaque of the detection object is improved.
  • step S120 is to register each angiographic image in the OCT image group and the angiographic image group to obtain registration parameters , including step S121 to step S123.
  • This process is also called Angio Coalesce Registration (ACR).
  • the pull-back vessel is the vessel with the guide wire, that is, the vessel to be scanned.
  • pullbacks are also called retracements.
  • the pull-back path also known as the retraction path, is the path scanned by the optical catheter during the implementation of the OCT scan.
  • detecting the retraction path in each angiography image includes steps S1211 to S1214:
  • the pull-back blood vessel is a blood vessel with a guide wire, that is, the blood vessel to be scanned.
  • the target detection model may be a deep learning network model for target detection.
  • the object detection model performs an image segmentation operation on the detected pullback vessel in the angiographic image.
  • the developing object may be a developing ring or an optical probe.
  • the developing ring is a metal ring set at the tip of the guide wire to increase the developing effect.
  • the angiography image group for the investigation object is obtained, and the starting position is the position where the developing ring of the first angiography image moves , the end position is the position where the developing ring moves in the last blood vessel image.
  • the pulling path of the developing ring movement can be obtained, and then other angiographic images can be projected through the ICP algorithm. In this way, each angiography image is marked with the start position and the end position.
  • the weights matrix is established with the gray value of the pixel points of the current angiography image. Since the gray value of the blood vessel part is low, the weight is low, and the shortest path algorithm is to ensure that the weight of the path between the target points is the lowest . After the start and end positions of the developing ring are determined, the pullback path can be determined on the pullback blood vessel.
  • FIG. 6 is a schematic diagram of image registration provided by an embodiment of the present application.
  • FIG. 6 shows an example of projecting the position of the development ring to other angiographic images by using the ICP algorithm by taking the position of the development ring in the last frame of angiography image 61 , that is, the end position 611 of the development ring, as an example.
  • any frame of angiography image 62 having the starting position 612 and the end position of the developing ring 611 is an example of obtaining the pull-back path by using the shortest path method.
  • the registration parameters include a corresponding relationship between each OCT image in the OCT image group and a target position, and the target position is a pixel point position in each angiography image. It should be understood that the target position is a pixel point position on the pullback path in each angiography image.
  • each angiographic image in the OCT image group and angiographic image group By registering each angiographic image in the OCT image group and angiographic image group, the corresponding relationship between each OCT image in the OCT image group and the target position is obtained, so that the light attenuation coefficient image obtained by using each OCT image has the same relationship with the target position. consistent correspondence.
  • the IPA value obtained based on the light attenuation coefficient image is marked on the target position of each angiographic image, so that the position and compliance of the vulnerable plaque can be clearly and intuitively observed, and the detection of the vulnerable plaque of the detection object is improved. recognition ability.
  • the pull-back path in the angiography image can be sampled at equal intervals to establish a corresponding relationship between the position on the pull-back path and each OCT image.
  • the pull-back path on the angiography image is 600 pixels away, and a set of OCT pull-back is 300 frames of images.
  • the OCT device obtains one frame of OCT image per scan, and correspondingly, the position of the developing ring on the angiography image moves by 2 pixels. Therefore, one OCT image corresponds to the positions of two pixel points on each angiography image.
  • FIG. 6 takes a frame of OCT image 64 as an example.
  • the registration relationship between the OCT image and the angiographic image 63 with the retraction path determined is that the frame number of the OCT image 64 corresponds to a position of the return vessel on the angiographic image 63 631.
  • position 631 may contain one or more pixels, which depends on the OCT frame rate and the number of pixels contained in the pullback path.
  • step S1211 using the pre-trained target detection model to detect the retracted blood vessels in each angiography image, including:
  • the trained target detection model is an Attention-U-net model as the target detection model.
  • the Attention-U-net model is trained using an angiographic image sample set of pre-marked pull-back vessels.
  • a group of CAG angiography images can be prepared, and the pull-back vessels with guide wires in them can be marked by experts for training the Attention-U-net model to identify the Pull back the blood vessel.
  • the Attention-U-net network is used to fine-segment the pull-back vessels in the CAG images, mainly including the left anterior descending artery (LAD), the left circumflex artery (LCX), and the right coronary artery (RCA).
  • LAD left anterior descending artery
  • LCX left circumflex artery
  • RCA right coronary artery
  • the amount of data in the sample set of CAG images marked by experts to pull back blood vessels is small, the amount of data samples can be expanded by rotating, flipping, adjusting contrast, and the like.
  • Attention-U-net adds the mechanism of attention attention on the basis of U-net, which implements the attention mechanism by supervising the features of the upper level through the feature features of the next level.
  • the Attention-U-net includes the process of downsampling and upsampling, and adds an attention mechanism, which is used in Figure 7 express.
  • the Attention-U-net model is trained using a loss function LAUN that includes weight parameters for expanding and pulling blood vessels.
  • r ln represents the real pixel category of the category l at the nth position
  • the category in the embodiment of the present application is divided into two categories: pull-back blood vessel path pixels and background pixels.
  • P ln represents the corresponding prediction probability value
  • ⁇ l represents the weight of each category, when the proportion of the category in the image is larger, the weight is smaller.
  • the embodiment of the present application provides an example of the above formula for the loss function including the weight parameter of the enlarged and retracted blood vessel.
  • Those skilled in the art can refer to this example, and adjust the form of the weight parameter of the enlarged and retracted blood vessel and the specific parameters of the loss function according to the actual situation.
  • the activation value is adjusted by automatically learning parameters, the activated part is limited to the area with segmentation, the activation value of the background is reduced to optimize the segmentation, and the end-to-end segmentation is realized. Attention-U-net is in complex images. The segmentation accuracy is higher, so that the trained model can automatically segment the blood vessel through which the guide wire passes, and quickly locate and pull the blood vessel.
  • the embodiment of the present application also provides a cycle-generated confrontation network (CycleConsistent Generative Adversarial Networks, CycleGAN), based on the OCT image group A method for generating an optical attenuation coefficient image group corresponding to each OCT image in each OCT image.
  • the cycle generation confrontation network is also called cycle consistency generation confrontation network.
  • the optical hardware parameters of the OCT device are required to obtain the optical attenuation coefficient image of the OCT image through calculation.
  • the relevant parameters may be slightly different, which will cause systematic errors in the optical attenuation coefficient image generated by the OCT image.
  • the embodiment of the present application provides a method of using the CycleGAN network to synthesize the light attenuation coefficient image from the OCT image, and calculate the IPA value based on the synthesized light attenuation coefficient image.
  • OCT images generated by multiple OCT devices are prepared for the CycleGAN network to form an OCT image sample set.
  • the optical attenuation coefficient image sample set is obtained by calculating according to the optical parameters of each OCT device.
  • Fig. 9a shows an OCT image sample provided by an embodiment of the present application
  • Fig. 9b shows an optical attenuation coefficient image sample provided by an embodiment of the present application.
  • Using the OCT image sample set and light attenuation coefficient image sample set generated by multiple devices to train the CycleGAN network can improve the generalization ability of the CycleGAN network, so that the trained CycleGAN network can generate corresponding light based on the OCT image generated by any OCT device. Attenuation coefficient image.
  • the OCT image sample set and the light attenuation coefficient image sample set obtained through expert annotation can be rotated, flipped, and contrast adjusted. A transformation is performed to augment the data sample size.
  • the OCT image is synthesized into a light attenuation coefficient image using the CycleGAN network.
  • the CycleGAN network mainly contains two cycles, the forward cycle and the reverse cycle.
  • the forward cycle mainly includes three independent CNN models.
  • the synthesizer network is also called the generator network:
  • Syn IPA is a synthesizer network that converts OCT image Img OCT into IPA image
  • Syn OCT is a synthesizer network that converts the light attenuation coefficient image Syn IPA (Img OCT ) back to the OCT image;
  • Dis IPA is to distinguish the synthesized optical attenuation coefficient image Syn IPA (Img OCT ) from the real optical attenuation coefficient image RealIPAImg discriminator network.
  • the label is 0 for the synthetic light attenuation coefficient image and 1 for the real light attenuation image.
  • the continuous learning of the discriminator network can distinguish the synthetic from the real, that is, for the synthetic, the output of the discriminator is 0, and for the real, the output is 1.
  • the quality of the generated light attenuation map is getting better and better, and it is closer to the real one.
  • the network Dis IPA When the network Dis IPA tries to distinguish the synthesized optical attenuation coefficient image Syn IPA (Img OCT ) from the real optical attenuation coefficient image RealIPAImg, the network Syn IPA will synthesize the OCT image as close as possible to the real optical attenuation coefficient image Syn IPA (Img OCT ), making the network Dis IPA indistinguishable.
  • the synthesized optical attenuation coefficient image Syn IPA (Img OCT ) also needs to be converted back to the OCT image through the network Syn OCT , so that the original image Syn OCT (Img IPA ) can be reconstructed as accurately as possible.
  • a reverse loop is also added, using the optical attenuation coefficient image to synthesize the OCT image, and converting the synthesized OCT image back to the optical attenuation coefficient image.
  • the reverse cycle also contains three parts, in which the two synthetic networks of the reverse cycle are common to the forward cycle, namely, the network Syn OCT and the network Syn IPA .
  • the reverse loop also contains the discriminator network Dis OCT , which is used to distinguish the synthetic OCT image Syn OCT (Img IPA ) from the real OCT image RealOCTImg.
  • the adversarial objectives of the synthesizer network and the discriminator network are reflected in the loss functions Loss IPA and Loss OCT as follows.
  • the discriminator Dis IPA is used to judge whether the image is a real light attenuation coefficient image, when the image is a real light attenuation coefficient image, the value is 1, and when the image is a synthetic light attenuation coefficient image, the value is 0.
  • the discriminator Dis light attenuation coefficient will minimize the loss item as much as possible, and its loss Loss IPA is:
  • Loss IPA (1-Dis IPA (Img IPA )) 2 +Dis IPA (Syn IPA (Img OCT )) 2 .
  • the discriminator Dis OCT is used to judge whether the image is a real OCT image, the real one is 1, otherwise it is 0, and its loss Loss OCT is:
  • Loss OCT (1-Dis OCT (Img OCT )) 2 +Dis OCT (Syn OCT (Img IPA )) 2 .
  • Syn OCT (Syn IPA (Img OCT )) means converting the synthesized optical attenuation coefficient image back to an OCT image.
  • Syn IPA (Syn OCT (Img IPA )) represents the optical attenuation coefficient image converted from the synthesized OCT image.
  • the cycle consistency loss of the cycleGAN network includes the first generation loss item and a second generation loss term
  • the first generation loss term contains a first weight coefficient negatively correlated with the pixel value of the first generation sample
  • the first generated sample is an OCT image sample
  • the second generated loss item includes a second weight coefficient negatively correlated with the pixel value of the second generated sample
  • the second generated samples are light attenuation coefficient image samples. Because the effective pixel area in OCT and IPA accounts for a small proportion of the picture, because if the weight item is not added, the weight of the loss to the effective area of OCT and IPA is also smaller, but through the weight coefficients in these two items, the effective pixel accounts for the image The smaller the proportion of total pixels, the larger these two terms are, increasing their weight.
  • ⁇ is the scaling factor, which is a hyperparameter.
  • Syn IPA synthesizes the OCT image into an optical attenuation coefficient image
  • Syn OCT converts the synthesized optical attenuation coefficient image back to an OCT image close to the original image
  • Dis IPA is used to distinguish the real optical attenuation coefficient image RealIPAImg and the composite light attenuation coefficient image.
  • Syn OCT is the optical attenuation coefficient image synthesis OCT image
  • Syn IPA converts the synthesized OCT image back to the optical attenuation coefficient image close to the original image
  • Dis OCT is used to distinguish the real OCT image RealOCTImg from the synthetic OCT image.
  • the training OCT image is synthesized into the light attenuation coefficient image, and the light attenuation coefficient image is synthesized into the OCT image, that is to say, both the forward cycle and the reverse cycle are trained.
  • the OCT image is used to synthesize the network of the image part of the light attenuation coefficient.
  • the method of using the CycleGAN network provided in the embodiment of the present application to synthesize the light attenuation coefficient image according to the OCT image, and calculate the IPA value according to the synthesized light attenuation coefficient image can get rid of the influence of specific OCT equipment parameters, and directly pass the OCT
  • the image synthesis of the light attenuation coefficient image reduces the system error and greatly improves the processing efficiency of the synthesis of the light attenuation coefficient image.
  • FIG. 10 shows an image processing device M100 provided in an embodiment of the present application, including:
  • the image acquisition module M110 is configured to acquire an angiography image group for the investigation object during the process of obtaining the optical coherence tomography OCT image group for the investigation object.
  • the image registration module M120 is configured to perform registration on the OCT image group and each angiography image in the angiography image group to obtain registration parameters.
  • the optical attenuation coefficient image generation module M130 is configured to generate an optical attenuation coefficient image group corresponding to each OCT image based on each OCT image in the OCT image group.
  • the IPA value generating module M140 is configured to calculate the IPA value of each of the light attenuation coefficient images in the light attenuation coefficient image group.
  • An image marking module uses the IPA value to mark each angiographic image in the angiographic image group to obtain a target angiographic image group.
  • FIG. 11 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • the electronic device D10 of this embodiment includes: at least one processor D100 (only one is shown in FIG. 11 ), a processor, a memory D101, and a processor that is stored in the memory D101 and can be processed in the at least one processor.
  • the electronic device D10 may be computing devices such as OCT equipment, angiographic imaging equipment, desktop computers, notebooks, palmtop computers, and cloud servers.
  • the electronic device may include, but not limited to, a processor D100 and a memory D101.
  • FIG. 11 is only an example of the electronic device D10, and does not constitute a limitation to the electronic device D10. It may include more or less components than those shown in the figure, or combine certain components, or different components. , for example, may also include input and output devices, network access devices, and so on.
  • the so-called processor D100 may be a central processing unit (Central Processing Unit, CPU), and the processor D100 may also be other general-purpose processors, digital signal processors (Digital Signal Processor, DSP), application specific integrated circuits (Application Specific Integrated Circuit) , ASIC), off-the-shelf programmable gate array (Field-Programmable Gate Array, FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • a general-purpose processor may be a microprocessor, or the processor may be any conventional processor, or the like.
  • the storage D101 may be an internal storage unit of the electronic device D10, such as a hard disk or a memory of the electronic device D10.
  • the memory D101 may also be an external storage device of the electronic device D10 in other embodiments, such as a plug-in hard disk equipped on the electronic device D10, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, flash memory card (Flash Card), etc.
  • the memory D101 may also include both an internal storage unit of the electronic device D10 and an external storage device.
  • the memory D101 is used to store operating systems, application programs, boot loaders (BootLoader), data and other programs, such as program codes of the computer programs.
  • the memory D101 can also be used to temporarily store data that has been output or will be output.
  • the embodiment of the present application also provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the steps in the foregoing method embodiments can be implemented.
  • An embodiment of the present application provides a computer program product, which, when the computer program product runs on an electronic device, enables the electronic device to implement the steps in the foregoing method embodiments when executed.
  • the integrated unit is realized in the form of a software function unit and sold or used as an independent product, it can be stored in a computer-readable storage medium. Based on this understanding, all or part of the procedures in the methods of the above embodiments in the present application can be completed by instructing related hardware through computer programs, and the computer programs can be stored in a computer-readable storage medium.
  • the computer program When executed by a processor, the steps in the above-mentioned various method embodiments can be realized.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file or some intermediate form.
  • the computer-readable medium may at least include: any entity or device capable of carrying computer program codes to the photographing device/terminal device, recording medium, computer memory, read-only memory (Read-Only Memory, ROM), random access memory (Random Access Memory, RAM), electrical carrier signals, telecommunication signals, and software distribution media.
  • computer readable media may not be electrical carrier signals and telecommunication signals under legislation and patent practice.
  • the disclosed device/network device and method may be implemented in other ways.
  • the device/network device embodiments described above are only illustrative.
  • the division of the modules or units is only a logical function division.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of devices or units may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Endoscopes (AREA)

Abstract

一种图像处理的方法、装置、电子设备及存储介质，所述方法包括：对OCT图像组和血管造影图像组中各个血管造影图像进行配准，获得配准参数（S120）；计算光衰减系数图像组中每个光衰减系数图像的斑块衰减指数IPA值（S140）；基于配准参数，利用IPA值对血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组（S150）。通过所述方法可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。

Description

图像处理的方法、装置、电子设备及存储介质
本申请要求于2021年07月13日在中国专利局提交的、申请号为202110790290.4、发明名称为“图像处理的方法、装置、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请属于医学图像处理技术领域，尤其涉及一种图像处理的方法、装置、电子设备及存储介质。
背景技术
光学相干断层扫描OCT技术是一种成像技术。它利用弱相干光干涉仪的基本原理，将光源发出的光线分成两束，一束发射到被测组织，也叫样品臂，另一束发射到参照反光镜，也叫参考臂，然后把从被测组织和从参照反光镜反射回来的两束光信号叠加、干涉，最后根据光信号随被测组织的不同而显示出不同强弱的图像灰度，从而对组织内进行成像。
现有传统光学相干图像技术对易损斑块识别能力较弱，从系统及设备端进行识别能力的提升难度较大，也会产生高昂的成本；另外现有OCT图像的显示效果较差，不便于辅助医护人员判断易损斑块的负荷情况。
申请内容
本申请实施例的目的在于：提供一种图像处理的方法、装置、电子设备及存储介质，可以解决以上问题的至少一部分。
本申请实施例采用的技术方案是：
第一方面，本申请实施例提供了一种图像处理的方法，包括：
在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组；
对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组；
计算所述光衰减系数图像组中每个所述光衰减系数图像的IPA值；
基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
应理解，通过对OCT图像组和血管造影图像组中各个血管造影图像进行配准，获得OCT图像组和各个血管造影图像的配准参数，也就是对应关系，使得采用各个OCT图像获得的光衰减系数图像与各个血管造影图像有一致的对应关系。在此基础上将基于光衰减系数图像获得的IPA值标记在各个血管造影图像上，可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。
第二方面，本申请实施例提供了一种图像处理的装置，包括：
图像获取模块，用于在获取针对探查对象的光学相干断层扫描OCT图像组的过程中， 获取针对所述探查对象的血管造影图像组；
图像配准模块，用于对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
光衰减系数图像生成模块，用于基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组；
IPA值生成模块，用于计算所述光衰减系数图像组中每个所述光衰减系数图像的IPA值；
图像标记模块，基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面所述的方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法步骤。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或示范性技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请一实施例提供的图像处理的方法的流程示意图；
图2是本申请一实施例提供的OCT图像和血管造影图像的对应关系示意图；
图3是本申请一实施例提供的图像处理的示意图；
图4是本申请另一实施例提供的图像处理的方法的流程示意图；
图5是本申请另一实施例提供的图像处理的方法的流程示意图；
图6是本申请一实施例提供的图像配准示意图；
图7是本申请一实施例提供的注意力U型网络检测回拉血管示意图；
图8是本申请一实施例提供的循环生成对抗网络示意图；
图9a是本申请一实施例提供的OCT图像样本；
图9b是本申请一实施例提供的光衰减系数图像样本；
图10是本申请一实施例提供的图像处理的装置示意图；
图11是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本 申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本申请。
需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了说明本申请所提供的技术方案，以下结合具体附图及实施例进行详细说明。
光学相干断层扫描(Optical Coherence Tomography，OCT)技术是一种成像技术。它利用弱相干光干涉仪的基本原理，将光源发出的光线分成两束，一束发射到被测组织，也叫样品臂，另一束发射到参照反光镜，也叫参考臂，然后把从被测组织和从参照反光镜反射回来的两束光信号叠加、干涉，最后根据光信号随被测组织的不同而显示出不同强弱的图像灰度，从而对组织内进行成像。
现有传统光学相干图像技术其对易损斑块识别能力较弱。判断易损斑块需要判断纤维帽的厚度，而这需要医生进行手动的进行测量。测量者的主观因素可能导致测量结果的可变性。从系统及设备端进行识别能力的提升难度较大，也会产生高昂的成本。
由于易损斑块中存在脂质等暗区域，易损斑块在OCT图像中的纤维帽边界不是很清晰，现有OCT图像的显示效果较差，不便于辅助医护人员判断易损斑块的负荷情况。
本申请实施例提供了一种图像处理的方法，基于造影融合配准(Angio Coalesce Registration，ACR)的结果，根据基于光衰减系数图像计算斑块衰减指数(Index of Plaque Attenuation，IPA)值，并将IPA值映射到造影图像中。由于易损斑块的区域的光衰较明显，本申请实施例提供的图像处理的方法获得的血管造影图像可以通过显示光衰图像对应的IPA值，直观的提示医生在当前图像帧可能存在易损斑块，使得IPA值的显示更加直观有效。
需要指出的是，本申请实施例提供的图像处理方法可以由包括但不限于获取血管造影图像的设备、OCT设备、本地第三方计算设备、远程第三方计算设备的软件和/硬件来实现，本申请并不限定实施该图像处理方法的主体。所述第三方为除OCT设备和血管造影图像的设备之外的设备。
图1示出了本申请实施例提供的图像处理的方法。如图1所示，该方法包括步骤S110至S150。各个步骤的具体实现原理如下：
S110，在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组。
在通过OCT设备对探查对象的血管，例如冠状动脉血管，实施光学相干断层扫描的过程中，会获得一系列的OCT图像，记为OCT图像组。在此过程中，通过血管造影成像设备对该探查对象实施血管造影成像，获取一系列的血管造影图像，记为血管造影图像组。在一些实施例中，血管造影成像是针对冠状动脉血管，获得的图像称为冠脉造影图像(coronary arteriography，CAG)。
可以理解的是获取OCT图像组和血管造影图像组的成像设备可以是同一设备，也可以是有两个不同的设备，还可以是有控制关系的设备组合。在一些实施例中，可以由OCT设备对OCT图像组和血管造影图像组进行图像处理，还可以由血管造影成像设备对OCT图像组和血管造影图像组进行图像处理。在一些实施例中，可以通过OCT设备和血管造影成像设备获取OCT图像组和血管造影图像组后，第三方计算设备通过存储介质、通信线缆、通信网络获取OCT图像组和血管造影图像组进行处理。
S120，对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数。
应理解，如图2所示，OCT图像组21是针对探查对象的血管的一系列断层扫描的图像，也就是相当于血管的截面图像。血管造影图像22是针对探查对象血管的投影图像。OCT图像组与血管造影图像进行配准，也就是确定OCT图像组中每个OCT图像211对应的血管截面，在血管造影图像中的血管投影的位置221。或者说，建立OCT图像组中每个OCT图像和血管造影图像中的位置的对应关系。对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，也就是说，针对血管造影图像组中每个血管造影图像，都建立OCT图像组与该血管造影图像中的位置的对应关系。
S130，基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组。
血管壁(含斑块)组织的光衰减系数(the Optical Attenuation Coefficient，OAC)是OCT图像的光学特征参数。生物组织的光衰减系数是随空间位置变化的，因此，可以根据光衰减系数可对薄纤维帽、钙化和富含脂质的斑块等组织成分进行定量标定。
在一些实施例中，可以基于OCT图像，利用OCT设备的光学参数，例如瑞丽长度(the Rayleigh length，zR)，滚降函数的半宽(the half width of the roll-off function，zW)等，计 算得到每个OCT图像中组织对应的光衰减系数，获得光衰减系数图像。计算的方法包括但不限于曲线拟合法(curve fitting，CF)，或深度解析(depth-resolved，DR)模型方法。从而获得与OCT图像组对应的一系列光衰减系数图像，记为光衰减系数图像组。需要指出的是，OCT图像组与光衰减系数图像组存在一一对应的关系。也就是说，OCT图像组同血管造影图像组的配准参数，与光衰减系数图像组同血管造影图像组的配准参数是一致的。
S140，计算所述光衰减系数图像组中每个所述光衰减系数图像的斑块衰减指数IPA值。
在一些实施例中，斑块衰减指数(the index of plaque attenuation，IPA)是衰减图中衰减系数大于某个阈值x的像素的分数。在一个具体的示例中，该分数还可以乘以一个值为1000的系数。具体的，可以采用以下公式，计算IPA值。
Figure PCTCN2021112622-appb-000001
其中，x为斑块衰减系数阈值，μ t为衰减系数，N(μ t>x)为每条A线(A-line)上最大衰减值大于x的A线总数，N total表示所有的A线数量。
S150，基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
在一些实施例中，IPA值为灰度值，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组，包括：将该灰度值标记在各个血管造影图像上光衰减图像对应的位置。
在一些实施例中，预设IPA值与标记参数的对应关系，例如对照表，或转换曲线公式。利用该对应关系将IPA值映射为标记参数。标记参数可以为RGB颜色值，也可以为“+”、“*”、“#”等符号对应的计算机编码，还可以为其他标记符号对应的计算机编码。将IPA值对应的标记参数显示在各个血管造影图像上光衰减图像对应的位置。
在一些实施例中，OCT图像组为血管造影图上的回拉血管的截面图像，也就是OCT图像组中的OCT图像对应血管造影图上的回拉血管的位置。应理解，因光衰减系数图像与OCT图像的一一对应关系，由每个光衰减系数图像获得的IPA值也对应血管造影图上的回拉血管的一个位置。基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组，包括：根据预设的IPA值与标记参数的对应关系，将各个所述IPA值转换为标记参数；根据所述配准参数，在所述各个血管造影图像的目标位置，显示对应的光衰减系数图像的标记参数，所述目标位置为光衰减系数 图像对应的回拉路径上像素位置。
在一个具体的示例中，标记参数可以为颜色值。例如IPA值为100，查询预设的IPA值与标记参数的对应关系(可以为对照表)，确定该IPA值对应的RGB值是[179,62,110]。根据配准参数，在血管造影图像上回拉血管对应的位置的像素显示该RGB值。即实现将当前造影图像上的回拉路径进行颜色渲染显示。
可以理解的是，如图3所示，本申请实施例通过对OCT图像组和血管造影图像组中各个血管造影图像进行配准，获得OCT图像组和各个血管造影图像的配准参数，也就是对应关系，使得采用各个OCT图像获得的光衰减系数图像与各个血管造影图像有一致的对应关系。在此基础上将基于光衰减系数图像获得的IPA值标记在各个血管造影图像上，可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。
在上述图1示出的图像处理的方法的基础上，如图4所示，步骤S120，对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数，包括步骤S121至步骤S123。此过程也称造影融合配准(Angio Coalesce Registration，ACR)。
S121，检测所述各个血管造影图像中的回拉路径。
在血管造影图像中，回拉血管是有导丝的血管，也就是待扫描血管。在一些场合中，回拉也称为回撤。回拉路径又称回撤路径，是在实施OCT扫描过程中光学导管扫描的路径。
在一些实施例中，如图5所示，检测所述各个血管造影图像中的回拉路径，包括步骤S1211至S1214：
S1211，利用预先训练得到的目标检测模型，检测所述各个血管造影图像中的回拉血管。
其中，回拉血管是有导丝的血管，也就是待扫描血管。
在一些实施例中，所述目标检测模型可以为用于目标检测的深度学习网络模型。在一些实施例中，目标检测模型对检测到的血管造影图像中的回拉血管进行图像分割操作。
S1212，在所述各个血管造影图像中的所述回拉血管中，检测显影目标物的起始位置和终止位置。
其中，所述显影目标物可以是显影环或光学探头。显影环是为增加显影效果，导丝头端设置的金属环。
S1213，利用最近点迭代(Iterative Closest Point，ICP)算法，将所述起始位置和所述终止位置投影到所述各个血管造影图像。
在一些实施例中，在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组，起始位置即第一张血管造影图像显影环运动的 位置，终止位置即最后一张血管图像显影环运动的位置。当两个首尾图像的显影环位置都确定好之后，可以得出显影环运动的回拉路径，之后可通过ICP算法对其他血管造影图像进行投影。这样每一张血管造影图像上都标记有所述起始位置和所述终止位置。
S1214，利用最短路径算法，基于所述各个血管造影图像中的起始位置和终止位置，获得所述各个血管造影图像中的回拉路径。
在一些实施例中，以当前血管造影图像的像素点的灰度值建立weights矩阵，由于血管部分的灰度值较低，权重较低，最短路径算法是要保证目标点之间的路径权重最低。当确定显影环的起始和终止位置后，即可在回拉血管上确定回拉路径。
图6是本申请一实施例提供的图像配准示意图。图6以末帧造影图像61显影环位置，也就是显影环的终止位置611为例，示出了通过ICP算法将显影环位置投影到其他血管造影图像的示例。以及经过投影操作，具有显影环起始位置612和显影环终止位置的611任意一帧血管造影图像62，利用最短路径法获得回拉路径的示例。
所述配准参数包括OCT图像组中每个OCT图像与目标位置的对应关系，所述目标位置为所述各个血管造影图像中的像素点位置。应理解，所述目标位置为所述各个血管造影图像中回拉路径上的像素点位置。
通过对OCT图像组和血管造影图像组中各个血管造影图像进行配准，获得OCT图像组中每个OCT图像与目标位置的对应关系，使得采用各个OCT图像获得的光衰减系数图像与目标位置有一致的对应关系。在此基础上将基于光衰减系数图像获得的IPA值标记在各个血管造影图像的目标位置，可以清晰、直观的观察易损斑块的位置以及符合情况，提高了对探查对象的易损斑块识别能力。
S122，针对所述血管造影图像组中的每个血管造影图像，根据OCT图像组的帧频，对所述血管造影图像中的回拉路径进行等间隔采样，得到每个OCT图像与所述回拉路径上像素点位置的对应关系。
S123，将每个OCT图像与所述回拉路径上像素点位置的对应关系作为所述配准参数。
需要指出的是，默认的OCT回拉的速度是保持不变的，因此，单位时间内移动的距离也是一定的。因此可以对血管造影图像中的回拉路径进行等间隔采样，以建立回拉路径上的位置和每个OCT图像的对应关系。
在一些实施例中，假设血管造影图像上回拉路径是600个像素点距离，一组OCT回拉是300帧图像。OCT设备每次扫描获得一帧OCT图像，对应的，血管造影图像上显影环的位置移动为2个像素点。因此，一张OCT图像对应各个血管造影图像上两个像素点的位置。
图6以一帧OCT图像64为例，该OCT图像与确定了回拉路径的血管造影图像63的配准关系为，该OCT图像64的帧编号对应于血管造影图像63上回来血管的一个位置631，需要指出的是位置631可能包含1个或多个像素，这取决于OCT帧频和回拉路径包含的像素个数。
在图5所示的图像处理方法的基础上，步骤S1211，利用预先训练得到的目标检测模型，检测所述各个血管造影图像中的回拉血管，包括：
如图7所示，采用经过训练的目标检测模型为注意力U型网络Attention-U-net模型作为所述目标检测模型。
所述Attention-U-net模型采用预先标注回拉血管的血管造影图像样本集训练。在一些实施例中，针对冠脉血管造影的应用，可以准备一组CAG造影图像，由专家标注其中的有导丝的回拉血管，用于训练Attention-U-net模型，以识别CAG图像中回拉血管。
需要指出的是，若使用Attention-U-net网络对CAG图像各种体位，主要包括左前降支(LAD)，左回旋支(LCX)，右冠脉(RCA)中的回拉血管完成精细分割，则在收集训练样本时，尽可能保证各个体位的CAG图像的比例一致，确保网络在各个模型中分割性能接近。
在一些实施例中，由于专家标注回拉血管的CAG图像样本集的数据量较少，可通过旋转、翻转、调整对比度等方式对数据样本量进行扩充。
Attention-U-net在U-net的基础上增加了注意力attention的机制，其通过下一级的特征feature来监督上一级的feature来实现attention机制。如图7所示，该Attention-U-net包括下采样和上采样的过程，并加入了注意力机制，注意力机制在图7中用
Figure PCTCN2021112622-appb-000002
表示。
所述Attention-U-net模型采用包含扩大回拉血管权重参数的损失函数L AUN训练。
Figure PCTCN2021112622-appb-000003
Figure PCTCN2021112622-appb-000004
其中，r ln表示类别l在第n个位置的真实像素类别，本申请实施例中的类别分为回拉血管路径像素和背景像素两类。而P ln表示相应的预测概率值，ω l表示每个类别的权重，当 该类别在图像上所占的比例越大，权重越小。
应理解，为方便理解本申请，本申请实施例提供上述公式对包含扩大回拉血管权重参数的损失函数的示例。本领域技术人员可以参考该示例，结合实际情况对扩大回拉血管权重参数的形式，以及损失函数的具体参数进行调整。
可以理解的是，通过自动学习参数来调整激活值，将激活的部分限制于带分割的区域，减小背景的激活值来优化分割，实现端到端的分割，Attention-U-net在复杂图像的分割精准度更加，使训练出的模型可自动分割出有导丝通过的血管，快速定位回拉血管。
在上述图1示出的图像处理的方法的基础上，如图8所示，本申请实施例还提供了一种利用循环生成对抗网络(CycleConsistent Generative Adversarial Networks,CycleGAN)，基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组的方法。其中，循环生成对抗网络也称为循环一致性生成对抗网络。
参考上述实施例中提供的基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组的方法。基于OCT设备的光学参数，经过计算获得OCT图像光衰减系数图像，需要用到OCT设备的光学硬件参数。但OCT设备在出厂时，相关的参数可能会有些轻微差别，这样会导致OCT图像生成的光衰减系数图像会存在系统误差。本申请实施例为排除OCT系统对IPA计算的影响，提供了一种利用CycleGAN网络，根据OCT图像合成光衰减系数图像，并根据合成的光衰减系数图像计算IPA值的方法。
本申请的一些实施例中，为CycleGAN网络准备由多台OCT设备生成的OCT图像，构成OCT图像样本集。基于成OCT图像样本集，根据各个OCT设备的光学参数计算获得光衰减系数图像样本集。图9a示出的是本申请一实施例提供的OCT图像样本，图9b示出的是本申请一实施例提供的光衰减系数图像样本。
采用多台设备生成的OCT图像样本集和光衰减系数图像样本集训练CycleGAN网络，可以提升CycleGAN网络的泛化能力，使训练后的CycleGAN网络能基于任意一台OCT设备生成的OCT图像生成对应的光衰减系数图像。
在一些实施例中，由于OCT图像样本集和经专家标注获取的光衰减系数图像样本集的数据量较少，可通过旋转，翻转，调整对比度等方式对OCT图像样本集和光衰减系数图像样本集进行变换，以对数据样本量进行扩充。
参见图8，使用CycleGAN网络将OCT图像合成光衰减系数图像。CycleGAN网络主要包含两个循环，正向循环和反向循环。
其中，正向循环主要包括三个独立的CNN模型其中合成器网络也称为称为生成器网络：
(1)Syn IPA是将OCT图像Img OCT转为IPA图像的合成器网络；
(2)Syn OCT是将光衰减系数图像Syn IPA(Img OCT)转换回OCT图像的合成器网络；
(3)Dis IPA是区分合成的光衰减系数图像Syn IPA(Img OCT)和真实的光衰减系数图像RealIPAImg判别器网络。
对于合成的光衰减系数图像，标签为0，对于真实的光衰图像，标签为1。判别器网络不断的学习可以区分出合成和真实，即对于合成的，判别器输出为0，对于真实的，输出为1。但是，由于模型不断训练，生成的光衰图质量越来越好，更接近于真实的，最后判别器难以区分合成和正常，就得到了模型训练的目的。
当网络Dis IPA试图区分合成的光衰减系数图像Syn IPA(Img OCT)和真实的光衰减系数图像RealIPAImg时，网络Syn IPA会尽可能的将OCT图像合成接近真实的光衰减系数图像Syn IPA(Img OCT)，使得网络Dis IPA无法区分。另外，合成的光衰减系数图像Syn IPA(Img OCT)也需要通过网络Syn OCT转回OCT图像，以便原始的图像Syn OCT(Img IPA)重建尽可能的准确。
为了提高训练的稳定性，还增加了反向循环，利用光衰减系数图像合成OCT图像，并将合成的OCT图像再转换回光衰减系数图像。反向循环同样包含三个部分，其中反向循环的两个合成网络是与正向循环通用的，即，网络Syn OCT和网络Syn IPA。另外，反向循环还包含判别器网络Dis OCT，用于区分合成的OCT图像Syn OCT(Img IPA)和真实的OCT图像RealOCTImg。
合成器网络和判别器网络的对抗性目标反应在如下的损失函数Loss IPA和Loss OCT中。
判别器Dis IPA用于判断图像是否是真实的光衰减系数图像，当图像是真实的光衰减系数图像时，值为1，当图像是合成的光衰减系数图像时，值为0。判别器Dis光衰减系数会尽可能将损失项最小，其损失Loss IPA为：
Loss IPA＝(1-Dis IPA(Img IPA)) 2+Dis IPA(Syn IPA(Img OCT)) 2。
类似的，判别器Dis OCT用于判断图像是否是真实的OCT图像，真实的为1，否则为0，其损失Loss OCT为：
Loss OCT＝(1-Dis OCT(Img OCT)) 2+Dis OCT(Syn OCT(Img IPA)) 2。
另外，在计算循环一致性损失Loss cycle时，考虑到OCT图像和光衰减系数图像中都是重点关注灰度值较大的区域，也就是不稳定斑块，但是不稳定斑块在图像中占比很小，在损失项中增加灰度值较大的区域的权重系数。
Figure PCTCN2021112622-appb-000005
其中，i表示真实的图像和合成的图像对应位置的像素点值，N表示图像中的像素点个数，在一些实施例中，这里取704x704。Syn OCT(Syn IPA(Img OCT))表示由合成的光衰减系数图像转换回OCT图像。同理，Syn IPA(Syn OCT(Img IPA))表示由合成的OCT图像转换回的光衰减系数图像。当真实的图像中对应位置的像素点值越大，其代表的不稳定性越大，该位置的误差越小。
本申请实施例提供的cycleGAN网络循环一致性损失包含第一生成损失项
Figure PCTCN2021112622-appb-000006
和第二生成损失项
Figure PCTCN2021112622-appb-000007
所述第一生成损失项包含与第一生成样本的像素值负相关的第一权重系数
Figure PCTCN2021112622-appb-000008
所述第一生成样本为OCT图像样本；所述第二生成损失项包含与第二生成样本的像素值负相关的第二权重系数
Figure PCTCN2021112622-appb-000009
所述第二生成样本为光衰减系数图像样本。因为OCT和IPA中有效的像素区域占图片的比重较小，因为如果不加入权重项，损失对OCT和IPA有效区域的权重也越小，但是通过这两项中的权重系数，有效像素占图像总像素的比例越小，这两项就越大，从而增加权重。
cycleGAN网络的总的损失函数Loss total为Loss total＝Loss IPA+Loss OCT+λLoss cycle。其中，λ为缩放系数，是一个超参数。
具体的网络结构图参考图8，其中，包含一个正向循环和一个反向循环。在正向循环中，Syn IPA将OCT图像合成光衰减系数图像，Syn OCT是将合成的光衰减系数图像转换回接近于原图的OCT图像，Dis IPA是用来区分真实的光衰减系数图像RealIPAImg和合成的光衰减系数图像。在反向循环中，Syn OCT是光衰减系数图像合成OCT图像，Syn IPA将合成的OCT图像转换回接近原图的光衰减系数图像，Dis OCT是用来区分真实的OCT图像RealOCTImg和合成的OCT图像。
需要指出的是，训练CycleGAN网络的时候是训练OCT图像合成到光衰减系数图像，光衰减系数图像合成到OCT图像，也就是说正向循环和反向循环都进行训练。但是CycleGAN训练好后，仅利用OCT图像合成光衰减系数图像部分的网络。
可以理解的是，本申请实施例提供的利用CycleGAN网络，根据OCT图像合成光衰减系数图像，并根据合成的光衰减系数图像计算IPA值的方法，可以摆脱具体OCT设备参数的影响，直接通过OCT图像合成光衰减系数图像，消减了系统误差，并且极大的提高了合成光衰减系数图像的处理效率。
对应于上述图1所示的图像处理的方法，图10示出的是本申请实施例提供的一种图像处理的装置M100，包括：
图像获取模块M110，用于在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组。
图像配准模块M120，用于对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数。
光衰减系数图像生成模块M130，用于基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组。
IPA值生成模块M140，用于计算所述光衰减系数图像组中每个所述光衰减系数图像的IPA值。
图像标记模块，基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
可以理解的是，以上实施例中的各种实施方式和实施方式组合及其有益效果同样适用于本实施例，这里不再赘述。
图11为本申请一实施例提供的电子设备的结构示意图。如图11所示，该实施例的电子设备D10包括：至少一个处理器D100(图11中仅示出一个)处理器、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。
所述电子设备D10可以是OCT设备、血管造影成像设备、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器D100、存储器D101。本领域技术人员可以理解，图11仅仅是电子设备D10的举例，并不构成对电子设备D10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器D100可以是中央处理单元(Central Processing Unit，CPU)，该处理器D100还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组 件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器D101在一些实施例中可以是所述电子设备D10的内部存储单元，例如电子设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述电子设备D10的外部存储设备，例如所述电子设备D10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器D101还可以既包括所述电子设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法 实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
以上仅为本申请的可选实施例而已，并不用于限制本申请。对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (15)

  1. 一种图像处理的方法，其特征在于，包括：
    在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组；
    对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
    基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组；
    计算所述光衰减系数图像组中每个所述光衰减系数图像的斑块衰减指数IPA值；
    基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
  2. 如权利要求1所述的方法，其特征在于，对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数，包括：
    检测所述各个血管造影图像中的回拉路径；
    针对所述血管造影图像组中的每个血管造影图像，根据OCT图像组的帧频，对所述血管造影图像中的回拉路径进行等间隔采样，得到每个OCT图像与所述回拉路径上像素点位置的对应关系；
    将每个OCT图像与所述回拉路径上像素点位置的对应关系作为所述配准参数。
  3. 如权利要求2所述的方法，其特征在于，检测所述各个血管造影图像中的回拉路径，包括：
    利用预先训练得到的目标检测模型，检测所述各个血管造影图像中的回拉血管；
    在所述各个血管造影图像中的所述回拉血管中，检测显影目标物的起始位置和终止位置；
    利用最近点迭代算法，将所述起始位置和所述终止位置投影到所述各个血管造影图像；
    利用最短路径算法，基于所述各个血管造影图像中的起始位置和终止位置，获得所述各个血管造影图像中的回拉路径。
  4. 如权利要求3所述的方法，其特征在于，所述目标检测模型为注意力U型网络Attention-U-net模型；
    所述Attention-U-net模型采用预先标注回拉血管的血管造影图像样本集训练；
    所述Attention-U-net模型采用包含扩大回拉血管权重参数的损失函数训练。
  5. 如权利要求1所述的方法，其特征在于，基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组，包括：
    采用预先训练得到的循环生成对抗网络，基于OCT图像组中各个OCT图像，获得所述各个OCT图像对应光衰减系数图像。
  6. 如权利要求5所述的方法，其特征在于，所述循环生成对抗网络是采用多台OCT设备生成的OCT图像样本集，以及根据所述OCT图像样本集确定的光衰减系数图像样本集训练得到的；
    训练所述循环生成对抗网络的损失函数包含循环一致性损失；
    所述循环一致性损失包含第一生成损失项和第二生成损失项；
    所述第一生成损失项包含与第一生成样本的像素值负相关的第一权重系数；所述第一生成样本为所述OCT图像样本；
    所述第二生成损失项包含与第二生成样本的像素值负相关的第二权重系数；所述第二生成样本为所述光衰减系数图像样本。
  7. 如权利要求2所述的方法，其特征在于，基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组，包括：
    根据预设的IPA值与标记参数的对应关系，将各个所述IPA值转换为标记参数；
    根据所述配准参数，在所述各个血管造影图像的目标位置，显示对应的光衰减系数图像的标记参数，所述目标位置为光衰减系数图像对应的回拉路径上像素位置。
  8. 一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如下步骤：
    在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组；
    对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
    基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组；
    计算所述光衰减系数图像组中每个所述光衰减系数图像的斑块衰减指数IPA值；
    基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
  9. 如权利要求8所述的电子设备，其特征在于，所述处理器执行所述计算机程序实现对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数的步骤时，还实现如下步骤：
    检测所述各个血管造影图像中的回拉路径；
    针对所述血管造影图像组中的每个血管造影图像，根据OCT图像组的帧频，对所述血管造影图像中的回拉路径进行等间隔采样，得到每个OCT图像与所述回拉路径上像素点位置的对应关系；
    将每个OCT图像与所述回拉路径上像素点位置的对应关系作为所述配准参数。
  10. 如权利要求9所述的电子设备，其特征在于，所述处理器执行所述计算机程序实现所述检测所述各个血管造影图像中的回拉路径的步骤时，还实现如下步骤：
    利用预先训练得到的目标检测模型，检测所述各个血管造影图像中的回拉血管；
    在所述各个血管造影图像中的所述回拉血管中，检测显影目标物的起始位置和终止位置；
    利用最近点迭代算法，将所述起始位置和所述终止位置投影到所述各个血管造影图像；
    利用最短路径算法，基于所述各个血管造影图像中的起始位置和终止位置，获得所述各个血管造影图像中的回拉路径。
  11. 如权利要求10所述的电子设备，其特征在于，所述目标检测模型为注意力U型 网络Attention-U-net模型；
    所述Attention-U-net模型采用预先标注回拉血管的血管造影图像样本集训练；
    所述Attention-U-net模型采用包含扩大回拉血管权重参数的损失函数训练。
  12. 如权利要求8所述的电子设备，其特征在于，所述处理器执行所述计算机程序实现所述基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组的步骤时，还实现如下步骤：
    采用预先训练得到的循环生成对抗网络，基于OCT图像组中各个OCT图像，获得所述各个OCT图像对应光衰减系数图像。
  13. 如权利要求12所述的电子设备，其特征在于，所述循环生成对抗网络是采用多台OCT设备生成的OCT图像样本集，以及根据所述OCT图像样本集确定的光衰减系数图像样本集训练得到的；
    训练所述循环生成对抗网络的损失函数包含循环一致性损失；
    所述循环一致性损失包含第一生成损失项和第二生成损失项；
    所述第一生成损失项包含与第一生成样本的像素值负相关的第一权重系数；所述第一生成样本为所述OCT图像样本；
    所述第二生成损失项包含与第二生成样本的像素值负相关的第二权重系数；所述第二生成样本为所述光衰减系数图像样本。
  14. 如权利要求9所述的电子设备，其特征在于，所述处理器执行所述计算机程序实现所述基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组的步骤时，还实现如下步骤：
    根据预设的IPA值与标记参数的对应关系，将各个所述IPA值转换为标记参数；
    根据所述配准参数，在所述各个血管造影图像的目标位置，显示对应的光衰减系数图像的标记参数，所述目标位置为光衰减系数图像对应的回拉路径上像素位置。
  15. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
    在获取针对探查对象的光学相干断层扫描OCT图像组的过程中，获取针对所述探查对象的血管造影图像组；
    对所述OCT图像组和所述血管造影图像组中各个血管造影图像进行配准，获得配准参数；
    基于所述OCT图像组中的各个OCT图像，生成所述各个OCT图像对应的光衰减系数图像组；
    计算所述光衰减系数图像组中每个所述光衰减系数图像的斑块衰减指数IPA值；
    基于所述配准参数，利用所述IPA值对所述血管造影图像组中的各个血管造影图像进行标记，获得目标血管造影图像组。
PCT/CN2021/112622 2021-07-13 2021-08-13 图像处理的方法、装置、电子设备及存储介质 WO2023284056A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110790290.4 2021-07-13
CN202110790290.4A CN113469986A (zh) 2021-07-13 2021-07-13 图像处理的方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
WO2023284056A1 true WO2023284056A1 (zh) 2023-01-19

Family

ID=77880096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/112622 WO2023284056A1 (zh) 2021-07-13 2021-08-13 图像处理的方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (2) CN115423751A (zh)
WO (1) WO2023284056A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563414B (zh) * 2023-07-11 2023-09-12 天津博霆光电技术有限公司 基于oct的心血管成像颤影消除方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825488A (zh) * 2016-05-30 2016-08-03 天津大学 一种心血管内光学相干层析图像增强方法
US20170086675A1 (en) * 2014-03-25 2017-03-30 The Johns Hopkins University Quantitative tissue property mapping for real time tumor detection and interventional guidance
CN108053429A (zh) * 2017-12-28 2018-05-18 西安中科微光影像技术有限公司 一种心血管oct与冠脉造影自动配准方法与装置
CN111710012A (zh) * 2020-06-12 2020-09-25 浙江大学 一种基于两维复合配准的octa成像方法与装置
CN112804510A (zh) * 2021-01-08 2021-05-14 海南省海洋与渔业科学院 深水图像的色彩还真处理方法、装置、存储介质及相机

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7609289B2 (en) * 2003-09-25 2009-10-27 Omnitek Partners, Llc Methods and apparatus for capturing images with a multi-image lens
CN111652917B (zh) * 2013-03-12 2024-07-09 光学实验室成像公司 血管数据处理和图像配准系统、方法及装置
CN111768403A (zh) * 2020-07-09 2020-10-13 成都全景恒升科技有限公司 一种基于人工智能算法的钙化斑块检测决策系统及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170086675A1 (en) * 2014-03-25 2017-03-30 The Johns Hopkins University Quantitative tissue property mapping for real time tumor detection and interventional guidance
CN105825488A (zh) * 2016-05-30 2016-08-03 天津大学 一种心血管内光学相干层析图像增强方法
CN108053429A (zh) * 2017-12-28 2018-05-18 西安中科微光影像技术有限公司 一种心血管oct与冠脉造影自动配准方法与装置
CN111710012A (zh) * 2020-06-12 2020-09-25 浙江大学 一种基于两维复合配准的octa成像方法与装置
CN112804510A (zh) * 2021-01-08 2021-05-14 海南省海洋与渔业科学院 深水图像的色彩还真处理方法、装置、存储介质及相机

Also Published As

Publication number Publication date
CN113469986A (zh) 2021-10-01
CN115423751A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
AU2019431299B2 (en) AI systems for detecting and sizing lesions
US8605976B2 (en) System and method of detection of optimal angiography frames for quantitative coronary analysis using wavelet-based motion analysis
JP2011212156A (ja) 投影画像生成装置、投影画像生成プログラムおよび投影画像生成方法
CN108364290A (zh) 对周期性生理活动的图像序列进行分析的方法、介质和系统
JP2016516466A (ja) 血管データ処理及び画像位置合わせのシステム、方法並びにデバイス
CN111938622B (zh) 心率检测方法、装置及系统、可读存储介质
JP6436442B2 (ja) 光音響装置および画像処理方法
CN112419484B (zh) 三维血管合成方法、系统及冠状动脉分析系统和存储介质
US20240005545A1 (en) Measuring method and measuring apparatus of blood vessel diameter of fundus image
WO2021087961A1 (zh) 测量舒张期血流速度的方法、装置、系统及存储介质
WO2023284056A1 (zh) 图像处理的方法、装置、电子设备及存储介质
JP7049402B2 (ja) プロセッサ装置の作動方法
TWI788629B (zh) 圖像處理方法、裝置及系統、電子設備及電腦可讀儲存媒體
CN114419016A (zh) 一种用于甲状腺结节良恶性鉴别诊断的超声超分辨方法及系统
CN110197472A (zh) 一种用于超声造影图像稳定定量分析的方法和系统
CN104434078A (zh) 用时间序列信号确定基于视频的脉搏传导时间的系统和方法
KR20100025431A (ko) 다중 페이즈 간 ｃｔ영상들의 정합을 이용한 간세포암 검출방법
CN110929604B (zh) 基于造影图像的流速的筛选方法、装置、系统和存储介质
CN112494021A (zh) 主动脉压力波形图像的生成方法及存储介质
US10977792B2 (en) Quantitative evaluation of time-varying data
CN112785580A (zh) 确定血管流速的方法及装置
CN112365492A (zh) 图像扫描方法、装置、电子设备和存储介质
JP2016073537A (ja) 眼底画像解析装置及び眼底画像解析方法
CN113781593B (zh) 四维ct图像的生成方法、装置、终端设备及存储介质
JP2018192287A (ja) プロセッサ装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21949834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21949834

Country of ref document: EP

Kind code of ref document: A1