WO2020085336A1 - 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 - Google Patents

重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 Download PDF

Info

Publication number
WO2020085336A1
WO2020085336A1 PCT/JP2019/041401 JP2019041401W WO2020085336A1 WO 2020085336 A1 WO2020085336 A1 WO 2020085336A1 JP 2019041401 W JP2019041401 W JP 2019041401W WO 2020085336 A1 WO2020085336 A1 WO 2020085336A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
interest
image
correction
medical image
Prior art date
Application number
PCT/JP2019/041401
Other languages
English (en)
French (fr)
Inventor
剛幸 橋本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to DE112019005308.6T priority Critical patent/DE112019005308T5/de
Priority to JP2020553410A priority patent/JP7084494B2/ja
Priority to CN201980070256.0A priority patent/CN112912008B/zh
Publication of WO2020085336A1 publication Critical patent/WO2020085336A1/ja
Priority to US17/237,076 priority patent/US11715279B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01T—MEASUREMENT OF NUCLEAR OR X-RADIATION
    • G01T1/00—Measuring X-radiation, gamma radiation, corpuscular radiation, or cosmic radiation
    • G01T1/16—Measuring radiation intensity
    • G01T1/161—Applications in the field of nuclear medicine, e.g. in vivo counting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present disclosure relates to a weighted image generation device, method and program, classifier learning device, method and program, region extraction device, method and program, and classifier that generate weighted images representing weights for regions of interest included in medical images. Is.
  • a medical image in which the region of interest is extracted is displayed, and the boundary of the region of interest is often corrected by a user's manual operation.
  • the boundaries are being edited by adding new regions.
  • the boundary of the region of interest to be extracted may differ depending on the user who makes the correction. Even for the same user, the boundary of the region of interest may change depending on the editing timing. Further, the threshold value of the image for defining the boundary may be changed during the work of correcting the boundary. Therefore, when the boundary of the region of interest is unclear, addition and deletion of the region are repeated at the boundary to set the boundary of the region of interest.
  • the discriminator is trained by using the region of interest having the boundary set as described above as the learning data, the region boundary of the region of interest extracted by the discriminator is likely to be unstable. Therefore, when the discriminator learned in this way is used, the region of interest may be erroneously detected.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to make it possible to set a region in a medical image by reflecting a boundary correction.
  • a weighted image generation device includes a display control unit configured to display a medical image in which at least one region of interest is extracted on a display unit, A correction unit for correcting the boundary of the region of interest by a correction instruction for the boundary of the region of interest extracted from the displayed medical image, An initial weighting coefficient is set for the extracted region of interest, and a correction weighting factor is set for the correction region in the medical image for which a correction instruction has been given.
  • An image generation unit that generates a weighted image having a pixel value of each pixel with a weighting factor representing the certainty.
  • the image generation unit may set a different correction weighting coefficient depending on the content of the correction instruction.
  • the image generation unit sets a positive correction weighting coefficient to the correction area when the correction instruction is an instruction to add the area, and the correction instruction sets the deletion of the area. If it is an instruction, a negative correction weighting coefficient may be set for the correction area.
  • the correction unit corrects each boundary of the plurality of regions of interest by a correction instruction for each of the plurality of regions of interest
  • the image generation unit may set a weighting factor for each of the plurality of regions of interest.
  • the image generation unit may generate a plurality of ROIs according to a threshold value set for a weighting coefficient of at least one of the plurality of ROIs.
  • the boundary may be set.
  • the image generation unit may generate a plurality of interests in the weighted image according to the weighting factor set for each of the plurality of regions of interest.
  • the boundary of the area may be set.
  • the image generation unit gives the correction weighting coefficient to other ROIs other than the one ROI by a correction instruction for one ROI among the plurality of ROIs. It may be set.
  • the image generation unit may set different correction weighting factors depending on the type of the region of interest.
  • the image generation unit determines, in the medical image displayed on the display unit, a modified weighting coefficient for a visible pixel from a pixel that is not visible. May be increased.
  • the weighted image generation device further includes a threshold value setting unit that sets a threshold value for the weighting factor
  • the corresponding image may further include a corresponding region extracting unit that extracts, from the medical image, a corresponding region corresponding to a region having a weighting coefficient equal to or larger than a threshold value in the weighted image.
  • a discriminator learning device includes a learning data acquisition unit that acquires, as learning data, images of corresponding regions extracted from the weighted images and the medical images generated by the weighted image generation device according to the present disclosure, A learning unit that learns a discriminator that outputs a discrimination result of a region of interest included in a medical image when a medical image is input using a plurality of learning data.
  • the discriminator according to the present disclosure has been learned by the discriminator learning device according to the present disclosure.
  • An area extraction device includes an image acquisition unit that acquires a medical image that is a target of determination of a region of interest, The discriminator according to the present disclosure for discriminating a region of interest in a medical image.
  • the region extraction device may further include a display control unit that displays the result of discrimination of the region of interest by the discriminator.
  • a weighted image generation method displays a medical image in which at least one region of interest is extracted on a display unit, The boundary of the ROI is corrected by the correction instruction for the boundary of the ROI extracted from the displayed medical image, An initial weighting coefficient is set for the extracted region of interest, and a correction weighting factor is set for the correction region in the medical image for which a correction instruction has been made.
  • a weighted image having a pixel value of each pixel as a weighting coefficient representing the certainty is generated.
  • a discriminator learning method is an image of a corresponding region corresponding to a region in which a weighting coefficient is equal to or greater than a threshold value extracted from a weighted image generated by the weighted image generation method according to the present disclosure and a medical image.
  • a discriminator that outputs a discrimination result of a region of interest included in a medical image when a medical image is input is learned from a plurality of learning data.
  • a region extraction method acquires a medical image that is a target of discrimination of a region of interest, The region of interest in the medical image is discriminated by the discriminator according to the present disclosure.
  • weighted image generation method discriminator learning method, and area extraction method according to the present disclosure may be provided as a program for causing a computer to execute the method.
  • Another weighted image generation device is a memory that stores instructions to be executed by a computer, A processor configured to execute the stored instructions, the processor Displaying a medical image in which at least one region of interest is extracted on the display unit, The boundary of the ROI is corrected by the correction instruction for the boundary of the ROI extracted from the displayed medical image, An initial weighting coefficient is set for the extracted region of interest, and a correction weighting factor is set for the correction region in the medical image for which a correction instruction has been made.
  • a process of generating a weighted image having a pixel value of each pixel with a weighting factor representing certainty is executed.
  • Another discriminator learning device is a memory that stores instructions to be executed by a computer, A processor configured to execute the stored instructions, the processor An image of the corresponding region extracted from the weighted image and the medical image generated by the weighted image generation method according to the present disclosure is acquired as learning data, When a medical image is input, a process of learning a discriminator that outputs a discrimination result of a region of interest included in the medical image is executed using a plurality of learning data.
  • Another area extraction device is a memory that stores instructions to be executed by a computer, A processor configured to execute the stored instructions, the processor Acquire a medical image that is the target of discrimination of the region of interest, The discriminator of the present disclosure executes a process of discriminating a region of interest in a medical image.
  • a region of interest can be set in a medical image by appropriately reflecting a boundary correction.
  • a hardware configuration diagram showing an overview of a diagnosis support system to which a weighted image generation device according to an embodiment of the present disclosure is applied The figure which shows the schematic structure of the weight image generation apparatus by embodiment of this indication.
  • Figure showing a weighted image with only initial weighting factors set
  • the figure which shows the weight image after correction of the weight coefficient The figure which shows the weight image after correction of the weight coefficient.
  • FIG. 6 is a diagram for explaining correction of weighting factors using a cursor when the first ROI and the second ROI are adjacent to each other.
  • FIG. 3 is a diagram for explaining correction of weighting factors when the first ROI and the second ROI are adjacent to each other.
  • FIG. 3 is a diagram for explaining a difference in weighting coefficient when correcting the weighting coefficient in a three-dimensional image.
  • a diagram showing a schematic configuration of a region extraction device including a discriminator learning device according to an embodiment of the present disclosure Figure showing the result of region of interest discrimination Flowchart showing learning processing performed in the present embodiment Flowchart showing the region determination process performed in the present embodiment
  • FIG. 1 is a hardware configuration diagram showing an outline of a diagnosis support system to which a weighted image generation device according to an embodiment of the present disclosure is applied.
  • the weighted image generation device 1, the three-dimensional image capturing device 2, and the image storage server 3 according to the present embodiment are connected in a communicable state via a network 4. There is.
  • the three-dimensional image capturing device 2 is a device that captures a region of a subject to be diagnosed to generate a three-dimensional image representing the region, and specifically, a CT device, an MRI device, and a PET ( Positron Emission Tomography) device.
  • the three-dimensional image generated by the three-dimensional image capturing device 2 is transmitted to and stored in the image storage server 3.
  • the three-dimensional image capturing apparatus 2 is a CT apparatus and generates a CT image including a part of the subject to be diagnosed as a three-dimensional image G0.
  • the three-dimensional image G0 is composed of a plurality of tomographic images.
  • the three-dimensional image G0 and a plurality of tomographic images forming the three-dimensional image G0 correspond to the medical image of the present disclosure.
  • the image storage server 3 is a computer that stores and manages various data, and includes a large-capacity external storage device and database management software.
  • the image storage server 3 communicates with other devices via a wired or wireless network 4 to send and receive image data and the like.
  • various data including the image data of the three-dimensional image G0 generated by the three-dimensional image capturing device 2 is acquired via the network and stored in a recording medium such as a large capacity external storage device for management.
  • the storage format of the image data and the communication between the devices via the network 4 are based on a protocol such as DICOM (Digital Imaging and Communication in Medicine).
  • the weighted image generation device 1 is a computer in which the weighted image generation program of the present embodiment is installed.
  • the computer may be a workstation or a personal computer directly operated by a doctor who makes a diagnosis, or may be a server computer connected to them through a network.
  • the weighted image generation program is recorded and distributed in a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory), and is installed in the computer from the recording medium.
  • a recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory)
  • it is stored in a storage device of a server computer connected to a network or a network storage so as to be accessible from the outside, and is downloaded and installed on a computer used by a doctor upon request.
  • FIG. 2 is a diagram showing a schematic configuration of the weighted image generation apparatus according to the present embodiment, which is realized by installing the weighted image generation program in a computer.
  • the weighted image generation apparatus 1 includes a CPU (Central Processing Unit) 11, a memory 12, and a storage 13 as a standard workstation configuration.
  • a display unit 14 such as a liquid crystal display and an input unit 15 such as a keyboard and a mouse are connected to the weighted image generation device 1.
  • the storage 13 is composed of a hard disk drive and the like, and stores various information including a three-dimensional image G0 acquired from the image storage server 3 via the network 4 and information necessary for processing.
  • the weighted image generation program is stored in the memory 12.
  • the weighted image generation program causes the display unit 14 to display an image acquisition process for acquiring the three-dimensional image G0, a region-of-interest extraction process for extracting a region of interest from the three-dimensional image G0, and a three-dimensional image G0 as a process to be executed by the CPU 11.
  • the weighting coefficient representing the probability of being the region of interest for each pixel in the three-dimensional image G0 is set to the pixel value of each pixel.
  • Image generation processing for generating a weighted image, threshold setting processing for setting a threshold value for the weighting coefficient, and weighting coefficient The corresponding region corresponding to the region consisting of pixels to be above to define the corresponding area extracting process for extracting from the three-dimensional image G0.
  • the CPU 11 executes these processes according to the program, so that the computer obtains the image acquisition unit 21, the region of interest extraction unit 22, the display control unit 23, the correction unit 24, the image generation unit 25, the threshold value setting unit 26, and It functions as the corresponding area extraction unit 27.
  • the image acquisition unit 21 acquires the three-dimensional image G0 including the region of interest from the image storage server 3.
  • the region of interest is, for example, a region of a structure such as an organ, a lesion, a bone, a cartilage or the like, which is a user's attention and is a target of diagnosis.
  • the image acquisition unit 21 may acquire the three-dimensional image G0 from the storage 13.
  • the ROI extraction unit 22 extracts a ROI from the three-dimensional image G0.
  • the region-of-interest extraction unit 22 includes a learned model that has been machine-learned so as to extract the region of interest from the three-dimensional image G0.
  • the learned model is a neural network that has undergone deep learning so as to extract structures such as organs, lesions, bones and cartilage to be diagnosed as regions of interest.
  • the learned model outputs a determination result indicating whether or not each pixel of the three-dimensional image G0 is a region of interest.
  • the region-of-interest extraction unit 22 extracts, as a region-of-interest, a region including pixels determined to be the region-of-interest.
  • the trained model may be a deep learning neural network, for example, a support vector machine (SVM), a convolutional neural network (CNN (Convolutional Neural Network)), or a recurrent neural network (RNN). Neural Network)) and the like.
  • SVM support vector machine
  • CNN convolutional Neural Network
  • RNN recurrent neural network
  • the region-of-interest extraction unit 22 is not limited to one including a learned model that has been machine-learned.
  • the region of interest may be extracted by template matching or the like.
  • the display control unit 23 displays the three-dimensional image G0 on the display unit 14.
  • the user corrects the boundary of the region of interest in the sequentially displayed tomographic images Dj.
  • FIG. 3 is a diagram showing a tomographic image displayed on the display unit 14.
  • the tomographic image to be displayed may be a tomographic image of any of an axial section, a sagittal section, and a coronal section. In the present embodiment, as shown in FIG. 3, for example, one tomographic image Dk of the axial cross section of the abdomen is displayed.
  • the correction unit 24 corrects the boundary of the region of interest according to a correction instruction by the user with respect to the boundary of the region of interest in the tomographic image Dk displayed on the display unit 14.
  • FIG. 4 is a diagram for explaining the correction of the boundary of the region of interest. Note that, in FIG. 4, the region of interest is enlarged and shown for the sake of explanation. As shown in FIG. 4, the tomographic image Dk includes the boundary 30L of the extracted region of interest 30. The region of interest 30 is included in the tomographic image Dk as a mask. The mask may represent only the outline of the region of interest 30, may be hatched in the region, or may be filled with a predetermined color in the region. Good.
  • the region of interest 30 means a masked region in the tomographic image Dk.
  • the extraction result of the region of interest 30 by the region of interest extraction unit 22 is not always accurate, and may not match the actual region of interest included in the tomographic image Dk.
  • the over-extraction may extract a region of interest 30 that is larger than the actual region of interest.
  • a region of interest 30 that is smaller than the actual region of interest may be extracted.
  • the user uses the input unit 15 to correct the boundary 30L of the extracted region of interest 30.
  • the correction unit 24 causes the display unit 14 to display a circular cursor 40.
  • the user moves the cursor 40 using the mouse of the input unit 15 and gives a correction instruction so that the boundary 30L of the region of interest 30 matches the boundary of the actual region of interest.
  • the correction unit 24 corrects the boundary 30L of the region of interest 30 according to a correction instruction from the user.
  • the shape of the cursor 40 is not limited to the circular shape, but may be any shape such as a rectangular shape, a triangular shape, and an arrow shape.
  • FIG. 5 is a diagram for explaining the correction of the boundary of the region of interest when extraction becomes insufficient.
  • the outer edge of the cursor 40 is moved to the actual area of interest 31 while instructing to add the area.
  • an instruction to add the insufficient area A10 to the area of interest 30 is given.
  • the instruction to add a region can be, for example, a left click of the mouse forming the input unit 15 or a combination of a predetermined cursor press and a mouse click, but is not limited to these. Absent.
  • FIG. 6 is a diagram for explaining the correction of the boundary of the ROI in the case of over-extraction.
  • the outer edge of the cursor 40 is moved to the actual ROI while instructing to delete the area.
  • an instruction is given to delete the over-extracted area A11 from the region of interest 30.
  • the instruction to delete the region can be, for example, a right click of the mouse forming the input unit 15 or a combination of a predetermined cursor depression and a mouse click, but is not limited to these. Absent.
  • the image generation unit 25 sets an initial weighting factor for the extracted region of interest, and sets a correction weighting factor for the correction region in the three-dimensional image G0, that is, the tomographic image Dk for which a correction instruction is given. As a result, the image generation unit 25 generates the weighted image W0 having the pixel value of each pixel as the weighting coefficient indicating the probability of being the region of interest. Each pixel of the weighted image W0 corresponds to each pixel of the three-dimensional image G0.
  • the initial weighting coefficient is 100
  • the correction weighting coefficient set for the area added by the correction is +4
  • the correction weighting coefficient set for the area deleted by the correction is -4.
  • the values of the initial weighting coefficient and the modified weighting coefficient are not limited to these values.
  • a negative value may be set as the initial weighting coefficient.
  • a negative correction weighting coefficient may be set for the added area and a positive correction weighting coefficient may be set for the deleted area.
  • the modification weighting coefficient may be a positive value, and the modification weighting coefficient for the added area may be larger than the modification weighting coefficient for the deleted area.
  • FIG. 7 is a diagram showing the weight image W0 in which only the initial weight coefficient is set. As shown in FIG. 7, in the weighted image W0, the weighting factor of the region corresponding to the region of interest 30 surrounded by the boundary 30L is 100, and the weighting factors of the other regions are 0.
  • a correction weighting coefficient of +4 is set for the area where the cursor 40 passes. That is, the correction weighting factor of +4 is set for the portion where the cursor 40 has passed inside the boundary 30L of the region of interest 30, so that the weighting factor of that portion is 104. Further, a correction weighting factor of +4 is set for a portion where the cursor 40 has passed outside the boundary 30L of the region of interest 30, so that the weighting factor of that portion is 4. As a result, the weighting factor in the weighted image W0 is as shown in FIG.
  • a correction weighting coefficient of -4 is set for the area where the cursor 40 passes. That is, since the modified weighting factor of -4 is set for the portion where the cursor 40 passes inside the boundary 30L of the region of interest 30, the weighting factor of that portion is 96. Further, since a modified weighting factor of -4 is set for a portion outside the boundary 30L of the region of interest 30 where the cursor 40 passes, the weighting factor of that portion is -4. As a result, the weighting factor in the weighted image W0 is as shown in FIG.
  • the intended boundary of the ROI 30 may be different depending on the user who performs the correction. Even if the same user, the boundary of the region of interest 30 may change depending on the editing timing. Further, the threshold value of the image for defining the boundary may be changed during the work of correcting the boundary. In such a case, in order to improve the learning accuracy of the discriminator included in the region of interest extraction unit 22, it is necessary to correct the boundary of the region of interest 30 and acquire more accurate learning data.
  • the user repeats editing such as adding a region or deleting a region at the boundary of the region of interest 30 to remove the region of interest 30.
  • the boundaries will be fixed.
  • the weighting coefficient values are distributed in a contour line shape near the boundary of the region of interest.
  • the threshold setting unit 26 sets a threshold for extracting a region of interest in the weighted image W0.
  • the threshold value may be set by an input from the input unit 15 by the user.
  • the corresponding area extraction unit 27 sets, in the weighted image W0, the boundary of the area that is equal to or larger than the threshold value set by the threshold value setting unit 26 as the boundary of the region of interest 30, and generates the weighted image W0 tomographic image Dk. From (or the three-dimensional image G0), a region corresponding to a region of pixels in which the weighting coefficient in the weighted image W0 is equal to or greater than the threshold is extracted as a corresponding region. For example, when the weighting factor in the weighted image W0 is as shown in FIG. 10 and the threshold value is set to 100, the boundary between the region having the weighting factor of 100 and the region having 96 is set as the boundary of the region of interest. The corresponding area is extracted from the tomographic image Dk (or the three-dimensional image G0).
  • the corresponding area extracted by the corresponding area extracting unit 27 may be displayed on the display unit 14, and the threshold value may be changed by the user who views the displayed corresponding area.
  • the slider 26A may be displayed on the display unit 14 and the change of the threshold value may be accepted by an instruction from the input unit 15 to slide the slider 26A.
  • the threshold value can be set between 50 and 100.
  • the size of the extracted corresponding area 29 is changed according to the set threshold value. That is, the smaller the threshold value, the larger the size of the corresponding area 29 to be extracted, and the larger the threshold value, the smaller the size of the corresponding area 29 to be extracted.
  • the corresponding area extraction unit 27 associates the weighted image W0 generated by the image generation unit 25 with the corresponding area, and saves them in the storage 13. Alternatively, it is stored in an external storage device such as the image storage server 3 via the network 4. Since the weighted image W0 is generated for each tomographic image Dj included in the three-dimensional image G0, the weighted image W0 stored is a three-dimensional image. The corresponding area is also a three-dimensional image like the weighted image W0.
  • a plurality of regions of interest may be extracted in the tomographic image Dk.
  • the ROIs may be adjacent to each other.
  • a correction instruction may be given to each of a plurality of adjacent regions of interest.
  • the correction unit 24 separates the first ROI 31 and the second ROI 32 from each other.
  • the image generation unit 25 sets the first weighting factor for the first ROI 31 and the second weighting factor for the second ROI 32 in the weighted image W0.
  • FIG. 13 is a diagram showing weighted images in which weighting factors are set for the first ROI 31 and the second ROI.
  • the boundary of one of the first ROI 31 and the second ROI 32 is corrected and the boundary of the other is corrected. May be reflected in.
  • the weighting coefficient of the region A12 is 104 for the first region of interest 31.
  • the weighting coefficient of the region (shown by the broken line in FIG. 14) of the second ROI 32 where the cursor 40 has passed is, for example, -2.
  • the weighting factor near the center of the region corresponding to the first region of interest 31 is 100, and the weighting factor outside thereof is 104.
  • the weighting factor in the vicinity of the center of the region corresponding to the second region of interest 32 is 100, and the weighting factor of the region where the shaded cursor 40 has passed is 98. Note that, in FIG. 15, only the weighting coefficient “98” in the second region of interest 32 is shown in the portion where the first region of interest 31 and the second region of interest 32 are in contact with each other.
  • the boundary between the first ROI 31 and the second ROI 32 is different depending on the threshold value for extracting the ROI. That is, when the threshold value of the boundary for the second ROI 32 is 100, the boundary at the portion where the first ROI 31 and the second ROI 32 are adjacent to each other is indicated by the line L1. If the threshold value of the boundary for the second ROI 32 is 98, the boundary at the portion where the first ROI 31 and the second ROI 32 are in contact is indicated by the line L2.
  • FIG. 16 is a flowchart showing the weighted image generation processing performed in this embodiment.
  • the image acquisition unit 21 acquires the three-dimensional image G0 (step ST1).
  • the ROI extraction unit 22 extracts the ROI from the three-dimensional image G0 (step ST2).
  • the display control unit 23 displays one tomographic image Dk of the plurality of tomographic images Dj forming the three-dimensional image G0 on the display unit 14 (step ST3).
  • the correction unit 24 corrects the boundary 30L of the region of interest 30 extracted in the tomographic image Dk according to a correction instruction of the boundary 30L of the extracted region of interest 30 by the user using the input unit 15 (step ST4). ).
  • the image generation unit 25 generates a weighted image according to a correction instruction from the correction unit 24 (step ST5). Then, it is determined whether or not an instruction to end the modification is given (step ST6), and if step ST6 is negative, the process returns to step ST4.
  • the threshold value setting unit 26 sets a threshold value for the weighting factor according to an instruction from the user (step ST7).
  • the corresponding area extracting unit 27 extracts, from the tomographic image Dk, the corresponding area corresponding to the area of the pixels having the weighting coefficient equal to or larger than the threshold value in the weighted image W0 (step ST8), and the process is ended.
  • the three-dimensional image G0 that is, the tomographic image Dk is displayed on the display unit 14, and the instruction to correct the boundary of the region of interest in the displayed tomographic image Dk is accepted.
  • an initial weighting coefficient is set for the extracted region of interest, and a correction weighting factor is set for the correction region in the tomographic image Dk for which a correction instruction has been made, whereby the interest in each pixel in the tomographic image Dk is set.
  • the weighted image W0 having the pixel value of each pixel as a weighting coefficient representing the weight of being a region is generated. In the weighted image W0 generated in this way, the region of interest has a pixel value according to the correction instruction.
  • the tomographic images Dk forming the three-dimensional image G0 are sequentially displayed to correct the region of interest and generate the weighted image.
  • the three-dimensional image G0 may be projected by a well-known projection method and displayed on the display unit 14, and the region of interest may be corrected and the weighted image W0 may be generated for the displayed three-dimensional image G0. .
  • FIG. 17 is a diagram for explaining the correction of the boundary in the three-dimensional image G0.
  • the region of interest 30 having a three-dimensional shape is two-dimensionally projected on the projection image G1 of the three-dimensional image G0.
  • the user corrects the boundary in the displayed projection image G1 using the spherical cursor 41, but since the two-dimensional projection image G1 is actually displayed on the display unit 14, the cursor is displayed on the projection image G1. 41 will look like a circle. Therefore, the user uses the cursor 41 that looks like a circle to correct the boundary of the region of interest 30 in the projection image G1.
  • the weighting factor for visible pixels in the displayed projection image G1 may be set larger than that for invisible pixels.
  • the correction weighting coefficient of the added area is +10, and in the tomographic images D2 to D4 that cannot be visually recognized, the correction is performed as the distance from the tomographic image D1 increases.
  • the weighting factors may be decreased in order of +8, +6, +4.
  • different modification weighting factors may be set according to the type of region of interest. For example, although there are dozens of diseases related to lungs, dozens of diseases can be classified into a small classification, a middle classification, and a large classification. In this case, the correction for the large classification has a greater effect on the classification of the region of interest than the correction for the small classification. For this reason, it is preferable to make the correction weighting coefficient for the large classification larger than the correction weighting coefficient for the small classification.
  • FIG. 20 is a diagram showing a schematic configuration of a region extracting device including a discriminator learning device realized by installing a discriminator learning program and a region extracting program in a computer.
  • the area extraction device 50 includes a CPU 51, a memory 52, and a storage 53 as a standard workstation configuration.
  • a display unit 54 such as a liquid crystal display and an input unit 55 such as a keyboard and a mouse are connected to the area extraction device 50.
  • the discriminator learning program and the area extracting program are stored in the memory 52.
  • the discriminator learning program is, as processing to be executed by the CPU 51, learning data acquisition for acquiring, as learning data, the weighted image W0 generated by the weighted image generation apparatus 1 according to the present embodiment and the image of the corresponding region extracted from the weighted image W0.
  • a learning process for learning a discriminator that outputs a discrimination result of a region of interest included in the three-dimensional image G0 when the three-dimensional image G0 is input is defined by the process and a plurality of learning data.
  • the region extraction program defines, as processes to be executed by the CPU 51, an image acquisition process for acquiring a three-dimensional image G0 that is a target of region determination, and a display control process for displaying a region of interest determination result by the discriminator. .
  • the computer functions as the learning data acquisition unit 61, the learning unit 62, the discriminator 63, the image acquisition unit 64, and the display control unit 65 by the CPU 51 executing these processes according to the program.
  • the learning data acquisition unit 61 acquires, from the image storage server 3, the images of the corresponding areas extracted from the weighted image W0 and the three-dimensional image G0 generated by the weighted image generation device 1 as learning data. If the learning data is already stored in the storage 13, the learning data acquisition unit 61 may acquire the learning data from the storage 13.
  • the learning unit 62 learns the discriminator 63 for discriminating the region of interest in the three-dimensional image G0 from a plurality of learning data.
  • the discriminator 63 outputs the discrimination result of the ROI included in the three-dimensional image G0 when the three-dimensional image G0 that is the target of the ROI extraction is input. Specifically, the discriminator 63 determines whether each voxel of the three-dimensional image G0 to be discriminated is in the region of interest or in a region other than the region of interest, and outputs the discrimination result.
  • the learning unit 62 acquires a feature amount in a region having a predetermined size (for example, 3 ⁇ 3) from a plurality of learning data (that is, the weighted image W0 and the image of the corresponding region), and acquires the acquired feature.
  • the amount is input to the discriminator 63, and learning of the discriminator 63, that is, machine learning is performed so that the discrimination result of the region of interest is output.
  • the determination result is a numerical value that represents the likelihood that each pixel included in the three-dimensional image G0 is the region of interest, for example, as a percentage.
  • the learning is performed a predetermined number of times or until the determination result of the region of interest reaches a predetermined certainty (for example, 99%).
  • the voxels of the three-dimensional image G0 are classified into a region of interest and a region other than the region of interest, and the region of interest in the three-dimensional image G0 is identified.
  • a discriminator 63 for discriminating is generated.
  • a support vector machine As the discriminator 63, a support vector machine, a deep neural network, a convolutional neural network, a recurrent neural network, or the like can be used.
  • the image acquisition unit 64 acquires from the image storage server 3 the three-dimensional image G0 that is the target of region of interest extraction. In addition, when the three-dimensional image G0 is already stored in the storage 13, the image acquisition unit 64 may acquire the three-dimensional image G0 from the storage 13.
  • the display control unit 65 displays the determination result of the region of interest by the discriminator 63 on the display unit 54. Specifically, the determined region of interest is highlighted in the three-dimensional image G0.
  • FIG. 21 is a diagram showing a result of determining a region of interest. As shown in FIG. 21, in one tomographic image Dk of the three-dimensional image G0, the determined region of interest 70 is hatched, whereby the region of interest 70 is highlighted. Instead of adding hatching, the region of interest 70 may be highlighted by surrounding the region of interest 70 with a contour line, or the region of interest other than the region of interest 70 may be masked to highlight the region of interest 70. Good.
  • FIG. 22 is a flowchart showing the learning process performed in this embodiment.
  • the learning data acquisition unit 61 acquires learning data (step ST11).
  • the learning unit 62 learns the discriminator 63 that discriminates the region of interest in the three-dimensional image G0 when the three-dimensional image G0 is input by the plurality of learning data (step ST12), and ends the process.
  • FIG. 23 is a flowchart of the area discrimination processing according to this embodiment.
  • the image acquisition unit 64 acquires the three-dimensional image G0 that is the target of discrimination of the region of interest (step ST21).
  • the discriminator 63 discriminates the region of interest in the three-dimensional image G0 (step ST22).
  • the display control unit 65 displays the result of discrimination of the region of interest by the discriminator 63 (step ST23), and ends the process.
  • the weighted image generation device includes the ROI extraction unit 22, but the weighted image generation device is not limited to this.
  • the region of interest may be extracted in a separate device connected to the weight image generation device via the network 4. Further, the acquired three-dimensional image G0 may be one in which the region of interest has already been extracted.
  • the various types of processors described below can be used.
  • the CPU which is a general-purpose processor that executes software (programs) and functions as various processing units
  • the above-mentioned various processors include circuits after manufacturing FPGA (Field Programmable Gate Array) etc.
  • Programmable Logic Device which is a processor whose configuration can be changed, and dedicated electrical equipment, which is a processor that has a circuit configuration specifically designed to execute specific processing such as ASIC (Application Specific Integrated Circuit) Circuits etc. are included.
  • One processing unit may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ). Further, the plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by computers such as clients and servers. There is a form in which this processor functions as a plurality of processing units.
  • SoC system-on-chip
  • there is a form of using a processor that realizes the functions of the entire system including a plurality of processing parts by one integrated circuit (IC) chip. is there.
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • circuitry in which circuit elements such as semiconductor elements are combined can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

表示制御部が、少なくとも１つの関心領域が抽出された医用画像を表示部に表示する。修正部が、表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する。画像生成部が、抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの重みを表す重み係数を各画素の画素値とする重み画像を生成する。

Description

重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器
　本開示は、医用画像に含まれる関心領域に対する重みを表す重み画像を生成する重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器に関するものである。
　近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元の医用画像を用いての画像診断が可能となってきている。このような３次元の医用画像に含まれる臓器および病変等の関心領域をＡＩ(Artificial Intelligence）技術を用いて学習がなされた判別器を用いて自動で抽出することも行われている。しかしながら、自動で関心領域を抽出する場合、過抽出および抽出不足が発生する可能性がある。このような場合、自動で抽出された関心領域の境界を修正する必要がある。
　このように抽出された関心領域の境界を自動で修正する手法が提案されている（特開２００９－９５６４４号公報参照）。一方、既存の判別器により自動で抽出した関心領域を学習データとして用いて、より高度な抽出を行うことが可能な判別器を学習させる場合がある。このような場合には、学習の精度を高めるために、既存の判別器により抽出された関心領域の境界を修正して，より精度が高い学習データとして使用する必要がある。しかしながら、特開２００９－９５６４４号公報に記載された手法を用いて関心領域の境界を修正したとしても、関心領域の境界を正確に設定することは困難である。このため、実際には関心領域が抽出された医用画像を表示し、ユーザによるマニュアル操作により関心領域の境界の修正を行うことが多い。マニュアル操作により関心領域の境界を修正するに際しては、医用画像を表示し、表示された医用画像において、円形等のカーソルをドラッグすることにより、過抽出された領域を削除したり、抽出不足があった領域を追加したりして境界を編集することが行われている。
　しかしながら、抽出の対象となる関心領域の境界が不明瞭な場合、修正を行うユーザによって、意図する関心領域の境界が異なるものとなる場合がある。また、同一ユーザであっても、編集のタイミングによって、関心領域の境界が変化する場合もある。また、境界を修正する作業中において、境界を規定するための画像のしきい値を変更するような場合もある。このため、関心領域の境界が不明瞭な場合、境界において領域の追加および削除が繰り返されて、関心領域の境界が設定されることとなる。一方、このようにして境界が設定された関心領域を学習データとして用いて判別器を学習させた場合、その判別器により抽出される関心領域についても領域の境界が不安定になりやすい。このため、そのように学習された判別器を用いた場合、関心領域が誤検出される可能性がある。
　本発明は上記事情に鑑みなされたものであり、境界の修正を反映させて医用画像に領域を設定できるようにすることを目的とする。
　本開示による重み画像生成装置は、少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
　表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する修正部と、
　抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備える。
　なお、本開示による重み画像生成装置においては、画像生成部は、修正指示の内容に応じて異なる修正重み係数を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、画像生成部は、修正指示が領域の追加の指示である場合、修正領域に対して正の修正重み係数を設定し、修正指示が領域の削除の指示である場合、修正領域に対して負の修正重み係数を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、複数の関心領域が医用画像から抽出されてなる場合、
　修正部は、複数の関心領域のそれぞれに対する修正指示により、複数の関心領域のそれぞれの境界を修正し、
　画像生成部は、複数の関心領域のそれぞれに対して重み係数を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域のうちの少なくとも１つの関心領域の重み係数に対して設定されたしきい値に応じて、複数の関心領域の境界を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域が隣接する場合、複数の関心領域のそれぞれに対して設定された重み係数に応じて、重み画像における複数の関心領域の境界を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、画像生成部は、複数の関心領域のうちの１つの関心領域に対する修正指示により、１つの関心領域以外の他の関心領域に対して修正重み係数を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、画像生成部は、関心領域の種類に応じて、異なる修正重み係数を設定するものであってもよい。
　また、本開示による重み画像生成装置においては、画像生成部は、医用画像が３次元画像である場合、表示部に表示された医用画像において、視認できる画素に対する修正重み係数を、視認できない画素よりも大きくするものであってもよい。
　また、本開示による重み画像生成装置においては、重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
　重み画像において重み係数がしきい値以上となる領域に対応する対応領域を、医用画像から抽出する対応領域抽出部をさらに備えるものであってもよい。
　本開示による判別器学習装置は、本開示による重み画像生成装置により生成された重み画像および医用画像から抽出された対応領域の画像を学習データとして取得する学習データ取得部と、
　複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備える。
　本開示による判別器は、本開示の判別器学習装置により学習がなされたものである。
　本開示による領域抽出装置は、関心領域の判別対象となる医用画像を取得する画像取得部と、
　医用画像における関心領域を判別する本開示の判別器とを備える。
　なお、本開示による領域抽出装置においては、判別器による関心領域の判別結果を表示する表示制御部をさらに備えるものであってもよい。
　本開示による重み画像生成方法は、少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
　表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正し、
　抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する。
　本開示による判別器学習方法は、本開示による重み画像生成方法により生成された重み画像および医用画像から抽出された、重み画像において重み係数がしきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
　複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する。
　本開示による領域抽出方法は、関心領域の判別対象となる医用画像を取得し、
　本開示の判別器により、医用画像における関心領域を判別する。
　なお、本開示による重み画像生成方法、判別器学習方法および領域抽出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示による他の重み画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
　表示された医用画像から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正し、
　抽出された関心領域に初期重み係数を設定し、医用画像における修正指示がなされた修正領域に対して修正重み係数を設定することにより、医用画像内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する処理を実行する。
　本開示による他の判別器学習装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　本開示による重み画像生成方法により生成された重み画像および医用画像から抽出された対応領域の画像を学習データとして取得し、
　複数の学習データにより、医用画像が入力されると医用画像に含まれる関心領域の判別結果を出力する判別器を学習する処理を実行する。
　本開示による他の領域抽出装置は、コンピュータに実行させるための命令を記憶するメモリと、
　記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
　関心領域の判別対象となる医用画像を取得し、
　本開示の判別器により、医用画像における関心領域を判別する処理を実行する。
　本開示によれば、境界の修正を適切に反映させて医用画像に関心領域を設定することができる。
本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による重み画像生成装置の概略構成を示す図 表示部に表示された断層画像を示す図 関心領域の境界の修正を説明するための図 抽出不足となった場合における関心領域の境界の修正を説明するための図 過抽出となった場合における関心領域の境界の修正を説明するための図 初期重み係数のみが設定された重み画像を示す図 重み係数の修正後の重み画像を示す図 重み係数の修正後の重み画像を示す図 関心領域の境界付近における重み係数の値の分布を説明するための図 対応領域が抽出された断層画像においてスライダが表示された状態を示す図 抽出された第１の関心領域および第２の関心領域が隣接している状態を示す図 第１の関心領域および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図 第１の関心領域および第２の関心領域が隣接する場合における、カーソルを用いての重み係数の修正を説明するための図 第１の関心領域および第２の関心領域が隣接する場合における重み係数の修正を説明するための図 本実施形態において行われる重み画像生成処理を示すフローチャート ３次元画像おける境界の修正を説明するための図 球状のカーソル内における断層画像を示す図 ３次元画像において重み係数を修正する場合における重み係数の相違を説明するための図 本開示の実施形態による判別器学習装置を内包する領域抽出装置の概略構成を示す図 関心領域の判別結果を示す図 本実施形態において行われる学習処理を示すフローチャート 本実施形態において行われる領域判別処理を示すフローチャート
　以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による重み画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による重み画像生成装置１、３次元画像撮影装置２、および画像保管サーバ３が、ネットワーク４を経由して通信可能な状態で接続されている。
　３次元画像撮影装置２は、被検体の診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、３次元画像撮影装置２はＣＴ装置であり、被検体の診断対象となる部位を含むＣＴ画像を３次元画像Ｇ０として生成する。また、３次元画像Ｇ０は複数の断層画像からなる。３次元画像Ｇ０および３次元画像Ｇ０を構成する複数の断層画像が、本開示の医用画像に対応する。
　画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線のネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で生成された３次元画像Ｇ０の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。
　重み画像生成装置１は、１台のコンピュータに、本実施形態の重み画像生成プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。重み画像生成プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
　図２は、コンピュータに重み画像生成プログラムをインストールすることにより実現される、本実施形態による重み画像生成装置の概略構成を示す図である。図２に示すように、重み画像生成装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、重み画像生成装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
　ストレージ１３はハードディスクドライブ等からなり、ネットワーク４を経由して画像保管サーバ３から取得した３次元画像Ｇ０および処理に必要な情報を含む各種情報が記憶されている。
　また、メモリ１２には、重み画像生成プログラムが記憶されている。重み画像生成プログラムは、ＣＰＵ１１に実行させる処理として、３次元画像Ｇ０を取得する画像取得処理、３次元画像Ｇ０から関心領域を抽出する関心領域抽出処理、３次元画像Ｇ０を表示部１４に表示する表示制御処理、表示された３次元画像Ｇ０から抽出された関心領域の境界に対する修正指示により、関心領域の境界を修正する修正処理、抽出された関心領域に初期重み係数を設定し、３次元画像Ｇ０における修正指示がなされた修正領域に対して修正重み係数を設定することにより、３次元画像Ｇ０内の各画素に対して関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成処理、重み係数に対するしきい値を設定するしきい値設定処理、並びに重み画像において重み係数がしきい値以上となる画素からなる領域に対応する対応領域を、３次元画像Ｇ０から抽出する対応領域抽出処理を規定する。
　そして、ＣＰＵ１１がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部２１、関心領域抽出部２２、表示制御部２３、修正部２４、画像生成部２５、しきい値設定部２６および対応領域抽出部２７として機能する。
　画像取得部２１は、関心領域を含む３次元画像Ｇ０を画像保管サーバ３から取得する。関心領域は、例えば診断の対象となるような、ユーザが注目する臓器、病変、骨および軟骨等の構造物の領域である。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部２１は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。
　関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出する。このために、関心領域抽出部２２は、３次元画像Ｇ０から関心領域を抽出するように機械学習がなされた学習済みモデルを備える。学習済みモデルは、診断の対象となる臓器、病変、骨および軟骨等の構造物を関心領域として抽出するように、ディープラーニング（深層学習）がなされたニューラルネットワークからなる。学習済みモデルは、３次元画像Ｇ０が入力されると３次元画像Ｇ０の各画素が関心領域であるか否かを表す判別結果を出力する。そして関心領域抽出部２２は、関心領域であると判別された画素からなる領域を関心領域として抽出する。
　なお、学習済みモデルは、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、およびリカレントニューラルネットワーク（ＲＮＮ(Recurrent Neural Network)）等からなるものであってもよい。また、関心領域抽出部２２は、機械学習がなされた学習済みモデルを備えたものに限定されるものではない。例えば、テンプレートマッチング等により関心領域を抽出するものであってもよい。
　表示制御部２３は、３次元画像Ｇ０を表示部１４に表示する。本実施形態においては、３次元画像Ｇ０を構成する複数の断層画像Ｄｊ（ｊ＝１～ｎ；ｎは断層画像の数）を，入力部１５からの指示に応じて、順次表示するものとする。そして本実施形態においては、ユーザは、順次表示される断層画像Ｄｊに対して、関心領域の境界の修正を行う。図３は表示部１４に表示された断層画像を示す図である。なお、表示する断層画像は、アキシャル断面、サジタル断面およびコロナル断面のいずれの断面の断層画像であってもよい。本実施形態においては、図３に示すように、例えば腹部のアキシャル断面の１つの断層画像Ｄｋが表示されるものとする。
　修正部２４は、表示部１４に表示された断層画像Ｄｋにおける関心領域の境界に対する、ユーザによる修正指示により、関心領域の境界を修正する。図４は関心領域の境界の修正を説明するための図である。なお、図４においては、説明のために関心領域を拡大して示している。図４に示すように、断層画像Ｄｋには、抽出された関心領域３０の境界３０Ｌが含まれている。なお、関心領域３０はマスクとして断層画像Ｄｋに含まれる。マスクは、関心領域３０の輪郭のみを表すものであってもよく、領域内にハッチングが施されたものであってもよく、領域内が予め定められた色により塗りつぶされたものであってもよい。以降の説明において、関心領域３０は、断層画像Ｄｋにおいて、マスクされた領域を意味するものとする。ここで、関心領域抽出部２２による関心領域３０の抽出結果は必ずしも正確ではなく、断層画像Ｄｋに含まれる実際の関心領域と一致しない場合がある。例えば、過抽出により実際の関心領域よりも大きい関心領域３０が抽出される場合がある。逆に、抽出不足により、実際の関心領域よりも小さい関心領域３０が抽出される場合がある。
　このような場合、ユーザは、入力部１５を用いて、抽出された関心領域３０の境界３０Ｌを修正する。具体的には、入力部１５から修正指示が入力されると、修正部２４により表示部１４に円形のカーソル４０が表示される。ユーザは入力部１５のマウスを用いてカーソル４０を移動して、関心領域３０の境界３０Ｌを実際の関心領域の境界と一致させるように修正指示を行う。修正部２４は、ユーザによる修正指示に従って、関心領域３０の境界３０Ｌを修正する。なお、カーソル４０の形状は円形に限定されるものではなく、矩形、三角形および矢印形状等、任意の形状とすることができる。
　図５は抽出不足となった場合における関心領域の境界の修正を説明するための図である。図５に示すように、実際の関心領域３１に対して、関心領域３０の抽出が不足している領域Ａ１０については、領域を加える指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って例えば矢印Ｂの方向に移動させることにより、不足している領域Ａ１０を関心領域３０に追加する指示を行う。なお、領域を追加する指示は、例えば入力部１５を構成するマウスの左クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
　図６は過抽出となった場合における関心領域の境界の修正を説明するための図である。図６に示すように、実際の関心領域３１に対して第１の関心領域３０が過抽出されている領域Ａ１１については、領域を削除する指示を行いつつ、カーソル４０の外縁を実際の関心領域３１の境界３１Ｌに沿って移動させることにより、過抽出された領域Ａ１１を関心領域３０から削除する指示を行う。なお、領域を削除する指示は、例えば入力部１５を構成するマウスの右クリックまたは予め定められたカーソルの押下とマウスのクリックとの組み合わせ等とすることができるが、これらに限定されるものではない。
　画像生成部２５は、抽出された関心領域に初期重み係数を設定し、３次元画像Ｇ０、すなわち断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数を設定する。そしてこれにより、画像生成部２５は、関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像Ｗ０を生成する。なお、重み画像Ｗ０の各画素は３次元画像Ｇ０の各画素に対応する。本実施形態においては、例えば初期重み係数を１００、修正により追加された領域に対して設定する修正重み係数を＋４、修正により削除された領域に対して設定する修正重み係数を－４とする。なお、初期重み係数および修正重み係数の値はこれらの値に限定されるものではない。例えば、初期重み係数として負の値を設定してもよい。また、例えば追加された領域に対して負の修正重み係数を、削除された領域に対して正の修正重み係数を設定してもよい。また、修正重み係数を正の値とし、追加された領域に対する修正重み係数を削除された領域に対する修正重み係数よりも大きい値を有するものとしてもよい。
　図７は初期重み係数のみが設定された重み画像Ｗ０を示す図である。図７に示すように、重み画像Ｗ０においては、境界３０Ｌにより囲まれている関心領域３０に対応する領域の重み係数が１００、それ以外の領域の重み係数が０となっている。
　一方、図７に示す重み画像Ｗ０において、図５に示すように領域Ａ１０を追加する修正を行った場合、カーソル４０が通過した領域に対して＋４の修正重み係数が設定される。すなわち、関心領域３０の境界３０Ｌから内側においてカーソル４０が通過した部分に対しては、＋４の修正重み係数が設定されるため、その部分の重み係数は１０４となる。また、関心領域３０の境界３０Ｌから外側においてカーソル４０が通過した部分に対しては、＋４の修正重み係数が設定されるため、その部分の重み係数は４となる。その結果、重み画像Ｗ０における重み係数は図８に示すものとなる。
　また、図７に示す重み画像Ｗ０において、図６に示すように領域Ａ１１を削除する修正を行った場合、カーソル４０が通過した領域に対して－４の修正重み係数が設定される。すなわち、関心領域３０の境界３０Ｌから内側においてカーソル４０が通過した部分に対しては、－４の修正重み係数が設定されるため、その部分の重み係数は９６となる。また、関心領域３０の境界３０Ｌから外側においてカーソル４０が通過した部分に対しては、－４の修正重み係数が設定されるため、その部分の重み係数は－４となる。その結果、重み画像Ｗ０における重み係数は図９に示すものとなる。
　ここで、断層画像Ｄｋにおいて、抽出の対象となる関心領域３０の境界が不明瞭な場合、修正を行うユーザによって、意図する関心領域３０の境界が異なるものとなる場合がある。また、同一ユーザであっても、編集のタイミングによって、関心領域３０の境界が変わる場合もある。また、境界を修正する作業中において、境界を規定するための画像のしきい値を変更するような場合もある。このような場合には、関心領域抽出部２２が備えるような判別器の学習の精度を高めるために、関心領域３０の境界を修正してより精度が高い学習データを取得する必要がある。このため、断層画像から抽出された関心領域３０の境界が不明瞭な場合、ユーザは、関心領域３０の境界において領域を追加したり、領域を削除したりする編集を繰り返して、関心領域３０の境界を確定することとなる。その結果、重み画像Ｗ０は、図１０に示すように、関心領域の境界付近において、重み係数の値が等高線状に分布するものとなる。
　しきい値設定部２６は、重み画像Ｗ０における関心領域の抽出のためのしきい値を設定する。具体的には、ユーザによる入力部１５からの入力によりしきい値を設定すればよい。
　対応領域抽出部２７は、重み画像Ｗ０において、しきい値設定部２６が設定したしきい値以上となる領域の境界を、関心領域３０の境界に設定し、重み画像Ｗ０を生成した断層画像Ｄｋ（または３次元画像Ｇ０）から、重み画像Ｗ０における重み係数がしきい値以上となる画素からなる領域に対応する領域を対応領域として抽出する。例えば、重み画像Ｗ０における重み係数が図１０に示すものであり、しきい値を１００に設定した場合、重み係数が１００となる領域と９６となる領域との境界を、関心領域の境界として、断層画像Ｄｋ（または３次元画像Ｇ０）から対応領域を抽出する。
　なお、対応領域抽出部２７が抽出した対応領域を表示部１４に表示し、表示された対応領域を見たユーザによる、しきい値の変更を受け付けるようにしてもよい。この場合、図１１に示すように、表示部１４にスライダ２６Ａを表示し、入力部１５によるスライダ２６Ａをスライドさせる指示により、しきい値の変更を受け付けるようにしてもよい。ここで、図１１に示すスライダ２６Ａにおいては、５０から１００の間でしきい値を設定可能とされている。この場合、スライダ２６Ａによりしきい値を変更すると、抽出された対応領域２９のサイズが、設定したしきい値に応じて変更されることとなる。すなわち、しきい値を小さくすれば、抽出される対応領域２９のサイズは大きくなり、しきい値を大きくすれば，抽出される対応領域２９のサイズは小さくなる。
　対応領域抽出部２７は、画像生成部２５が生成した重み画像Ｗ０と対応領域とを対応づけて、ストレージ１３に保存する。あるいは、ネットワーク４を介して、画像保管サーバ３等の外部の保管装置に保管する。なお、重み画像Ｗ０は３次元画像Ｇ０に含まれる断層画像Ｄｊのそれぞれに対して生成されるため、保管される重み画像Ｗ０は３次元画像となる。また、対応領域も重み画像Ｗ０と同様に３次元画像である。
　なお、断層画像Ｄｋにおいて複数の関心領域が抽出される場合がある。このように、複数の関心領域が抽出された場合において、関心領域同士が隣接する場合がある。このような場合、隣接する複数の関心領域のそれぞれに対して修正指示を行うようにすればよい。例えば図１２に示すように、第１の関心領域３１および第２の関心領域３２が隣接する場合、修正部２４により、第１の関心領域３１および第２の関心領域３２のそれぞれに対して別個に修正を行う。これにより、画像生成部２５は、重み画像Ｗ０において、第１の関心領域３１についての第１の重み係数を設定し、第２の関心領域３２についての第２の重み係数を設定する。図１３は第１の関心領域３１および第２の関心領域のそれぞれに重み係数が設定された重み画像を示す図である。
　一方、第１の関心領域３１と第２の関心領域３２とが隣接する部分において、第１の関心領域３１および第２の関心領域３２のいずれか一方の境界の修正を、他方の境界の修正に反映させてもよい。例えば、図１４に示すように、第１の関心領域３１に対して、カーソル４０を用いて領域Ａ１２を追加した場合、第１の関心領域３１に関しては、領域Ａ１２の重み係数は１０４となる。一方、第１の関心領域３１と第２の関心領域３２とが隣接する部分においては、第２の関心領域３２におけるカーソル４０が通過した領域（図１４において破線で示す）の重み係数を、例えば－２とする。これにより、図１５に示す重み画像Ｗ０においては、第１の関心領域３１に関して、第１の関心領域３１に対応する領域の中央付近の重み係数は１００、その外側の重み係数は１０４となる。一方、第２の関心領域３２に関して、第２の関心領域３２に対応する領域の中央付近の重み係数は１００、斜線で示すカーソル４０が通過した領域の重み係数は９８となる。なお、図１５においては、第１の関心領域３１と第２の関心領域３２とが接する部分においては、第２の関心領域３２における重み係数である「９８」のみを示している。
　このように重み画像Ｗ０を生成した場合、関心領域を抽出するためのしきい値に応じて、第１の関心領域３１と第２の関心領域３２との境界が異なるものとなる。すなわち、第２の関心領域３２に対する境界のしきい値を１００とすれば、第１の関心領域３１と第２の関心領域３２とが隣接する部分における境界は、線Ｌ１で示すものとなる。また、第２の関心領域３２に対する境界のしきい値を９８とすれば、第１の関心領域３１と第２の関心領域３２とが接する部分における境界は、線Ｌ２で示すものとなる。
　次いで、本実施形態において行われる重み画像生成処理について説明する。図１６は本実施形態において行われる重み画像生成処理を示すフローチャートである。まず、画像取得部２１が、３次元画像Ｇ０を取得する（ステップＳＴ１）。次いで、関心領域抽出部２２が、３次元画像Ｇ０から関心領域を抽出する（ステップＳＴ２）。そして、表示制御部２３が３次元画像Ｇ０を構成する複数の断層画像Ｄｊのうちの１つの断層画像Ｄｋを表示部１４に表示する（ステップＳＴ３）。
　そして、修正部２４が、ユーザによる入力部１５を用いての、抽出された関心領域３０の境界３０Ｌの修正指示により、断層画像Ｄｋにおいて抽出された関心領域３０の境界３０Ｌを修正する（ステップＳＴ４）。修正部２４による修正指示により、画像生成部２５が、重み画像を生成する（ステップＳＴ５）。そして、修正の終了の指示がなされたか否かが判定され（ステップＳＴ６）、ステップＳＴ６が否定されるとステップＳＴ４に戻る。ステップＳＴ６が肯定されると、しきい値設定部２６が、ユーザによる指示により、重み係数に対するしきい値を設定する（ステップＳＴ７）。そして、対応領域抽出部２７が、重み画像Ｗ０におけるしきい値以上となる重み係数となる画素からなる領域に対応する対応領域を、断層画像Ｄｋから抽出し（ステップＳＴ８）、処理を終了する。
　このように、本実施形態においては、３次元画像Ｇ０，すなわち断層画像Ｄｋが表示部１４に表示され、表示された断層画像Ｄｋにおける関心領域の境界の修正指示が受け付けられる。また、抽出された関心領域に初期重み係数が設定され、断層画像Ｄｋにおける修正指示がなされた修正領域に対して修正重み係数が設定され、これにより、断層画像Ｄｋ内の各画素に対して関心領域であることの重みを表す重み係数を各画素の画素値とする重み画像Ｗ０が生成される。このように生成された重み画像Ｗ０においては、関心領域が修正指示に応じた画素値を有するものとなる。このため、重み画像Ｗ０の画素値に応じて、重み画像Ｗ０における関心領域であることの確からしさを認識することができる。したがって、本開示によれば、重み画像Ｗ０を参照することにより、境界の修正を反映させて断層画像Ｄｋ、さらには３次元画像Ｇ０に関心領域を設定することができる。
　なお、上記実施形態においては、３次元画像Ｇ０を構成する断層画像Ｄｋを順次表示して、関心領域の修正および重み画像の生成を行っている。しかしながら、３次元画像Ｇ０を例えば周知の投影法により投影して表示部１４に表示し、表示された３次元画像Ｇ０に対して関心領域の修正および重み画像Ｗ０の生成を行うようにしてもよい。
　図１７は３次元画像Ｇ０おける境界の修正を説明するための図である。図１７に示すように、３次元画像Ｇ０の投影画像Ｇ１には、３次元形状をなす関心領域３０が２次元状に投影されている。ユーザは表示された投影画像Ｇ１において球状のカーソル４１を用いて境界を修正するが、実際に表示部１４に表示されるのは２次元の投影画像Ｇ１であるため、投影画像Ｇ１上においてはカーソル４１は円形に見えることとなる。このため、ユーザは円形に見えるカーソル４１を用いて、投影画像Ｇ１において関心領域３０の境界を修正することとなる。
　このように境界の修正を行う場合、３次元画像Ｇ０上においては、図１８に示すように、球状のカーソル４１内において、奥行き方向に複数の断層画像（ここでは４つ）Ｄ１～Ｄ４が含まれることとなる。この場合、表示された投影画像Ｇ１において視認できる画素に対する重み係数を、視認できない画素よりも大きくすればよい。例えば、図１９に示すように、投影画像Ｇ１において視認できる断層画像Ｄ１においては、追加された領域の修正重み係数を＋１０、視認できない断層画像Ｄ２～Ｄ４については、断層画像Ｄ１から離れるほど、修正重み係数を＋８、＋６、＋４と順に小さくしてもよい。
　また、上記実施形態においては、関心領域の種類に応じて異なる修正重み係数を設定するようにしてもよい。例えば、肺に関する疾患は数十種類あるが、数十種類の疾患を，小分類、中分類および大分類と分類することができる。この場合、大分類に対する修正は、小分類に対する修正よりも関心領域の分類に対する影響が大きい。このため、大分類に対する修正重み係数を小分類に対する修正重み係数よりも大きくすることが好ましい。
　次いで、本開示の判別器学習装置、判別器および領域抽出装置の実施形態について説明する。図２０は、コンピュータに判別器学習プログラムおよび領域抽出プログラムをインストールすることにより実現される判別器学習装置を内包する領域抽出装置の概略構成を示す図である。図２０に示すように、領域抽出装置５０は、標準的なワークステーションの構成として、ＣＰＵ５１、メモリ５２およびストレージ５３を備えている。また、領域抽出装置５０には、液晶ディスプレイ等の表示部５４、並びにキーボードおよびマウス等の入力部５５が接続されている。
　メモリ５２には、判別器学習プログラムおよび領域抽出プログラムが記憶されている。判別器学習プログラムは、ＣＰＵ５１に実行させる処理として、本実施形態による重み画像生成装置１により生成された重み画像Ｗ０および重み画像Ｗ０から抽出された対応領域の画像を学習データとして取得する学習データ取得処理、並びに複数の学習データにより、３次元画像Ｇ０が入力されると３次元画像Ｇ０に含まれる関心領域の判別結果を出力する判別器を学習する学習処理を規定する。また、領域抽出プログラムは、ＣＰＵ５１に実行させる処理として、関心領域の判別対象となる３次元画像Ｇ０を取得する画像取得処理、および判別器による関心領域の判別結果を表示する表示制御処理を規定する。
　そして、ＣＰＵ５１がプログラムに従いこれらの処理を実行することで、コンピュータは、学習データ取得部６１、学習部６２、判別器６３、画像取得部６４および表示制御部６５として機能する。
　学習データ取得部６１は、重み画像生成装置１により生成された重み画像Ｗ０および３次元画像Ｇ０から抽出された対応領域の画像を学習データとして画像保管サーバ３から取得する。なお、学習データが既にストレージ１３に記憶されている場合には、学習データ取得部６１は、ストレージ１３から学習データを取得するようにしてもよい。
　学習部６２は、３次元画像Ｇ０が入力されると、３次元画像Ｇ０における関心領域を判別するための判別器６３を、複数の学習データにより学習する。本実施形態においては、判別器６３は、関心領域の抽出の対象となる３次元画像Ｇ０が入力されると、３次元画像Ｇ０に含まれる関心領域の判別結果を出力する。具体的には、判別器６３は、判別対象となる３次元画像Ｇ０の各ボクセルが、関心領域にあるか関心領域以外の領域にあるかを判別し、その判別結果を出力する。このため、学習部６２は、複数の学習データ（すなわち重み画像Ｗ０および対応領域の画像）から、予め定められたサイズ（例えば３×３等）の領域内の特徴量を取得し、取得した特徴量を判別器６３に入力し、関心領域の判別結果を出力するように、判別器６３の学習、すなわち機械学習を行う。なお、判別結果は、３次元画像Ｇ０に含まれる各画素が関心領域であることの確からしさを、例えば百分率で表した数値となる。また、学習は予め定められた回数または関心領域の判別結果が予め定められた確からしさ（例えば９９％）となるまで行われる。
　このように学習が行われることにより、３次元画像Ｇ０が入力されると、３次元画像Ｇ０のボクセルを、関心領域と関心領域以外の領域とに分類して、３次元画像Ｇ０における関心領域を判別する判別器６３が生成される。
　なお、判別器６３としては、サポートベクタマシン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、およびリカレントニューラルネットワーク等を用いることができる。
　画像取得部６４は、関心領域抽出の対象となる３次元画像Ｇ０を画像保管サーバ３から取得する。なお、３次元画像Ｇ０が既にストレージ１３に記憶されている場合には、画像取得部６４は、ストレージ１３から３次元画像Ｇ０を取得するようにしてもよい。
　表示制御部６５は、判別器６３による関心領域の判別結果を表示部５４に表示する。具体的には、判別された関心領域を、３次元画像Ｇ０において強調表示する。図２１は関心領域の判別結果を示す図である。図２１に示すように、３次元画像Ｇ０のうちの１つの断層画像Ｄｋにおいて、判別された関心領域７０にハッチングが付与されることにより、関心領域７０が強調表示されている。なお、ハッチングの付与に代えて、輪郭線により関心領域７０を囲むことにより関心領域を強調表示してもよく、関心領域７０以外の領域をマスクすることにより、関心領域７０を強調表示してもよい。
　次いで、本実施形態における学習処理について説明する。図２２は、本実施形態において行われる学習処理を示すフローチャートである。まず、学習データ取得部６１が、学習データを取得する（ステップＳＴ１１）。次いで、学習部６２が、複数の学習データにより、３次元画像Ｇ０が入力されると、３次元画像Ｇ０における関心領域を判別する判別器６３を学習し（ステップＳＴ１２）、処理を終了する。
　次いで、本実施形態における領域判別処理について説明する。図２３は、本実施形態による領域判別処理のフローチャートである。まず、画像取得部６４が、関心領域の判別対象となる３次元画像Ｇ０を取得する（ステップＳＴ２１）。そして、判別器６３が、３次元画像Ｇ０における関心領域を判別する（ステップＳＴ２２）。次いで、表示制御部６５が、判別器６３による関心領域の判別結果を表示し（ステップＳＴ２３）、処理を終了する。
　なお、上記実施形態においては、重み画像生成装置が、関心領域抽出部２２を備えるものとしているが、これに限定されるものではない。重み画像生成装置とネットワーク４を介して接続された別個の装置において関心領域を抽出してもよい。また、取得する３次元画像Ｇ０が既に関心領域が抽出されたものであってもよい。
　また、上記実施形態において、例えば、画像取得部２１、関心領域抽出部２２、表示制御部２３、修正部２４、画像生成部２５、しきい値設定部２６、対応領域抽出部２７、学習データ取得部６１、学習部６２、判別器６３、画像取得部６４、および表示制御部６５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field　Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
　　　１　　重み画像生成装置
　　　２　　３次元画像撮影装置
　　　３　　画像保管サーバ
　　　４　　ネットワーク
　　　１１，５１　　ＣＰＵ
　　　１２，５２　　メモリ
　　　１３，５３　　ストレージ
　　　１４，５４　　ディスプレイ
　　　１５，５５　　入力部
　　　２１　　画像取得部
　　　２２　　関心領域抽出部
　　　２３　　表示制御部
　　　２４　　修正部
　　　２５　　画像生成部
　　　２６　　しきい値設定部
　　　２６Ａ　　スライダ
　　　２７　　領域抽出部
　　　２９　　対応領域
　　　３０　　関心領域
　　　３０Ｌ　　関心領域の境界
　　　３１　　第１の関心領域
　　　３２　　第２の関心領域
　　　５０　　領域抽出装置
　　　６１　　学習データ取得部
　　　６２　　学習部
　　　６３　　判別器
　　　６４　　画像取得部
　　　６５　　表示制御部
　　　７０　　判別された関心領域
　　　Ａ１０　　不足している領域
　　　Ａ１１　　過抽出の領域
　　　Ａ１２　　追加された領域
　　　Ｄｋ，Ｄ１～Ｄ４　　断層画像
　　　Ｌ１，Ｌ２　　境界を表す線
　　　Ｗ０　　重み画像

Claims (20)

  1. 　少なくとも１つの関心領域が抽出された医用画像を表示部に表示する表示制御部と、
    　表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する修正部と、
    　前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する画像生成部とを備えた重み画像生成装置。
  2. 　前記画像生成部は、前記修正指示の内容に応じて異なる前記修正重み係数を設定する請求項１に記載の重み画像生成装置。
  3. 　前記画像生成部は、前記修正指示が領域の追加の指示である場合、前記修正領域に対して正の修正重み係数を設定し、前記修正指示が領域の削除の指示である場合、前記修正領域に対して負の修正重み係数を設定する請求項２に記載の重み画像生成装置。
  4. 　複数の前記関心領域が前記医用画像から抽出されてなる場合、
    　前記修正部は、前記複数の関心領域のそれぞれに対する前記修正指示により、前記複数の関心領域のそれぞれの境界を修正し、
    　前記画像生成部は、前記複数の関心領域のそれぞれに対して前記重み係数を設定する請求項１から３のいずれか１項に記載の重み画像生成装置。
  5. 　前記画像生成部は、前記複数の関心領域が隣接する場合、前記複数の関心領域のそれぞれに対して設定された前記重み係数に応じて、前記重み画像における前記複数の関心領域の境界を設定する請求項４に記載の重み画像生成装置。
  6. 　前記画像生成部は、前記複数の関心領域のうちの１つの関心領域に対する修正指示により、該１つの関心領域以外の他の関心領域に対して前記修正重み係数を設定する請求項４または５に記載の重み画像生成装置。
  7. 　前記画像生成部は、前記複数の関心領域のうちの少なくとも１つの関心領域の前記重み係数に対して設定されたしきい値に応じて、前記複数の関心領域の境界を設定する請求項４から６のいずれか１項に記載の重み画像生成装置。
  8. 　前記画像生成部は、前記関心領域の種類に応じて、異なる前記修正重み係数を設定する請求項１から７のいずれか１項に記載の重み画像生成装置。
  9. 　前記画像生成部は、前記医用画像が３次元画像である場合、前記表示部に表示された前記医用画像において、視認できる画素に対する前記修正重み係数を、視認できない画素よりも大きくする請求項１から８のいずれか１項に記載の重み画像生成装置。
  10. 　前記重み係数に対するしきい値を設定するしきい値設定部をさらに備え、
    　前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域を、前記医用画像から抽出する対応領域抽出部をさらに備えた請求項１から９のいずれか１項に記載の重み画像生成装置。
  11. 　請求項１０に記載の重み画像生成装置により生成された前記重み画像および前記医用画像から抽出された前記対応領域の画像を学習データとして取得する学習データ取得部と、
    　複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する学習部とを備えた判別器学習装置。
  12. 　請求項１１に記載の判別器学習装置により学習がなされた判別器。
  13. 　関心領域の判別対象となる医用画像を取得する画像取得部と、
    　前記医用画像における前記関心領域を判別する請求項１２に記載の判別器とを備えた領域抽出装置。
  14. 　前記判別器による前記関心領域の判別結果を表示する表示制御部をさらに備えた請求項１３に記載の領域抽出装置。
  15. 　少なくとも１つの関心領域が抽出された医用画像を表示部に表示し、
    　表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正し、
    　前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する重み画像生成方法。
  16. 　請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域の画像を学習データとして取得し、
    　複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する判別器学習方法。
  17. 　関心領域の判別対象となる医用画像を取得し、
    　請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する領域抽出方法。
  18. 　少なくとも１つの関心領域が抽出された医用画像を表示部に表示する手順と、
    　表示された前記医用画像から抽出された関心領域の境界に対する修正指示により、前記関心領域の境界を修正する手順と、
    　前記抽出された関心領域に初期重み係数を設定し、前記医用画像における前記修正指示がなされた修正領域に対して修正重み係数を設定することにより、前記医用画像内の各画素に対して前記関心領域であることの確からしさを表す重み係数を各画素の画素値とする重み画像を生成する手順とをコンピュータに実行させる重み画像生成プログラム。
  19. 　請求項１５に記載の重み画像生成方法により生成された前記重み画像および前記医用画像から抽出された、前記重み画像において前記重み係数が前記しきい値以上となる領域に対応する対応領域の画像を学習データとして取得する手順と、
    　複数の前記学習データにより、前記医用画像が入力されると該医用画像に含まれる関心領域の判別結果を出力する判別器を学習する手順とをコンピュータに実行させる判別器学習プログラム。
  20. 　関心領域の判別対象となる医用画像を取得する手順と、
    　請求項１２に記載の判別器により、前記医用画像における前記関心領域を判別する手順とをコンピュータに実行させる領域抽出プログラム。
PCT/JP2019/041401 2018-10-25 2019-10-21 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器 WO2020085336A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112019005308.6T DE112019005308T5 (de) 2018-10-25 2019-10-21 Erzeugungsvorrichtung, -verfahren und -programm für gewichtetes bild, bestimmerlernvorrichtung, -verfahren und -programm, bereichsextraktionsvorrichtung, -verfahren und -programm und bestimmer
JP2020553410A JP7084494B2 (ja) 2018-10-25 2019-10-21 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器
CN201980070256.0A CN112912008B (zh) 2018-10-25 2019-10-21 权重图像生成装置、方法及程序、判别器学习装置、方法及程序、区域提取装置、方法及程序以及判别器
US17/237,076 US11715279B2 (en) 2018-10-25 2021-04-22 Weighted image generation apparatus, method, and program, determiner learning apparatus, method, and program, region extraction apparatus, method, and program, and determiner

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018201071 2018-10-25
JP2018-201071 2018-10-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/237,076 Continuation US11715279B2 (en) 2018-10-25 2021-04-22 Weighted image generation apparatus, method, and program, determiner learning apparatus, method, and program, region extraction apparatus, method, and program, and determiner

Publications (1)

Publication Number Publication Date
WO2020085336A1 true WO2020085336A1 (ja) 2020-04-30

Family

ID=70330452

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/041401 WO2020085336A1 (ja) 2018-10-25 2019-10-21 重み画像生成装置、方法およびプログラム、判別器学習装置、方法およびプログラム、領域抽出装置、方法およびプログラム並びに判別器

Country Status (5)

Country Link
US (1) US11715279B2 (ja)
JP (1) JP7084494B2 (ja)
CN (1) CN112912008B (ja)
DE (1) DE112019005308T5 (ja)
WO (1) WO2020085336A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059799A1 (ja) * 2020-09-18 2022-03-24 国立大学法人群馬大学 情報処理装置及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020090445A1 (ja) * 2018-10-31 2020-05-07 富士フイルム株式会社 領域修正装置、方法およびプログラム
WO2020246192A1 (ja) * 2019-06-04 2020-12-10 富士フイルム株式会社 修正指示領域表示装置、方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11128226A (ja) * 1997-10-31 1999-05-18 Toshiba Corp 画像診断装置及び超音波診断装置
JP2002210027A (ja) * 2001-01-16 2002-07-30 Mitsubishi Electric Corp 放射線治療装置
WO2008107970A1 (ja) * 2007-03-06 2008-09-12 Shimadzu Corporation エッジ評価方法とエッジ検出方法と画像補正方法と画像処理システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104250A (ja) * 2005-10-04 2007-04-19 Seiko Epson Corp 画像表示方法、画像表示システム、画像表示プログラム。
US8081811B2 (en) 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
KR100952817B1 (ko) * 2008-11-28 2010-04-14 서울대학교산학협력단 반자동 의료 영상 분할 방법 및 그 장치
JP5532730B2 (ja) * 2009-08-05 2014-06-25 大日本印刷株式会社 Ｃｎｒ測定装置，方法及びコンピュータプログラム
EP3236418B1 (en) * 2016-04-13 2020-10-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11128226A (ja) * 1997-10-31 1999-05-18 Toshiba Corp 画像診断装置及び超音波診断装置
JP2002210027A (ja) * 2001-01-16 2002-07-30 Mitsubishi Electric Corp 放射線治療装置
WO2008107970A1 (ja) * 2007-03-06 2008-09-12 Shimadzu Corporation エッジ評価方法とエッジ検出方法と画像補正方法と画像処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022059799A1 (ja) * 2020-09-18 2022-03-24 国立大学法人群馬大学 情報処理装置及びプログラム

Also Published As

Publication number Publication date
JPWO2020085336A1 (ja) 2021-09-09
JP7084494B2 (ja) 2022-06-14
DE112019005308T5 (de) 2021-07-22
US20210241016A1 (en) 2021-08-05
CN112912008A (zh) 2021-06-04
CN112912008B (zh) 2024-04-09
US11715279B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
US20210174543A1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
JP5931755B2 (ja) モデルベースのセグメント化の確率向上
JP7005191B2 (ja) 画像処理装置、医用画像診断装置、及びプログラム
US11715279B2 (en) Weighted image generation apparatus, method, and program, determiner learning apparatus, method, and program, region extraction apparatus, method, and program, and determiner
US20150043799A1 (en) Localization of Anatomical Structures Using Learning-Based Regression and Efficient Searching or Deformation Strategy
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
WO2011001332A1 (en) Quantitative perfusion analysis
US20180064409A1 (en) Simultaneously displaying medical images
WO2020110519A1 (ja) 類似度決定装置、方法およびプログラム
CN116797612B (zh) 基于弱监督深度活动轮廓模型的超声图像分割方法及装置
JP7479546B2 (ja) 表示装置、方法およびプログラム
EP3651117B1 (en) Methods, systems and use for detecting irregularities in medical images by means of a machine learning model
KR102556646B1 (ko) 의료 영상 생성 방법 및 장치
US20210256741A1 (en) Region correction apparatus, region correction method, and region correction program
JP7083427B2 (ja) 修正指示領域表示装置、方法およびプログラム
US20200342606A1 (en) Image processing apparatus, image processing method, and program
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
JP7204781B2 (ja) 画像処理装置、方法及びプログラム
WO2022054541A1 (ja) 画像処理装置、方法およびプログラム
WO2022137855A1 (ja) 情報処理装置、方法およびプログラム
US20230306605A1 (en) Image generation apparatus, method, and program, learning apparatus, method, and program, segmentation model, and image processing apparatus, method, and program
JP7462188B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
JP7170868B2 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
Neumann Localization and Classification of Teeth in Cone Beam Computed Tomography using 2D CNNs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19875508

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553410

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19875508

Country of ref document: EP

Kind code of ref document: A1