WO2019220825A1 - 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法 - Google Patents

胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法 Download PDF

Info

Publication number
WO2019220825A1
WO2019220825A1 PCT/JP2019/015880 JP2019015880W WO2019220825A1 WO 2019220825 A1 WO2019220825 A1 WO 2019220825A1 JP 2019015880 W JP2019015880 W JP 2019015880W WO 2019220825 A1 WO2019220825 A1 WO 2019220825A1
Authority
WO
WIPO (PCT)
Prior art keywords
ray image
chest
conversion
image
gradation
Prior art date
Application number
PCT/JP2019/015880
Other languages
English (en)
French (fr)
Inventor
近藤 堅司
小澤 順
浩彦 木村
春海 伊藤
藤本 真一
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2020519515A priority Critical patent/JPWO2019220825A1/ja
Priority to CN201980023262.0A priority patent/CN111918610A/zh
Publication of WO2019220825A1 publication Critical patent/WO2019220825A1/ja
Priority to US17/088,657 priority patent/US11406340B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/467Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/484Diagnostic techniques involving phase contrast X-ray imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image

Definitions

  • the present disclosure relates to a medical image processing technique, and more particularly to a gradation conversion technique for a chest X-ray image.
  • the chest X-ray image is the first selection method when diagnosing a chest disease because the imaging equipment and imaging cost are low, the penetration rate is high.
  • the chest X-ray image a plurality of anatomical structures are drawn overlapping in the depth direction. For this reason, since it is difficult to interpret, problems such as missing a lesion and easily performing computed tomography have been pointed out.
  • the chest X-ray image is generally acquired as a digital image of high gradation (for example, 10 to 14 bits) in the X-ray imaging apparatus.
  • the chest X-ray image is displayed with the gradation compressed to a lower gradation (for example, 8 to 12 bits).
  • the gradation compression is also performed with contrast conversion processing such as ⁇ correction so that important gradations in the image are preserved as much as possible.
  • tone compression it is important to perform tone compression so as not to reduce information in a region important for diagnosis of a chest X-ray image.
  • Patent Document 1 has been proposed as a gradation conversion technique capable of displaying a desired region with a desired contrast and density while maintaining the information amount of a chest X-ray image.
  • a pixel value range of a rough region such as a lung field and mediastinum is estimated from a pixel value histogram of a chest X-ray image, and a control point of a ⁇ curve is based on the estimation result. Has been determined.
  • a computer of an image gradation conversion device that converts the gradation of a target chest X-ray image that is an interpretation target chest X-ray image, Acquiring the target chest X-ray image;
  • a first linear region having a brightness different from that of the surroundings, or a tracheal or bronchial wall or hair line drawn by projecting a plurality of anatomical structures having different X-ray transmittances is shown.
  • the computer-readable recording medium includes a non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory).
  • FIG. 1 is a block diagram of an image gradation conversion apparatus according to a first embodiment.
  • Block diagram of a network configuration in a medical institution in the first embodiment Flow chart in the first embodiment Diagram showing chest X-ray image including shadow of descending aorta Diagram showing shadow image of descending aorta
  • the figure which shows the mask image of the shadow of the right dorsal diaphragm The figure which shows the image which superimposed the mask image on the chest X-ray image
  • the figure which shows the image which superimposed the mask image on the chest X-ray image A diagram schematically showing the architecture of U-Net A diagram schematically showing an example of a line structure The figure
  • FIG. 9A is a diagram schematically showing an example of a neighboring region in the region structure of FIG. 9A
  • the figure which shows an example of a gradation conversion LUT schematically The figure which shows roughly the example from which the vicinity area
  • FIG. 9A is a diagram schematically illustrating different examples of neighboring regions in the region structure of FIG. 9A
  • the block diagram which shows the structure of the image gradation conversion apparatus in 2nd Embodiment.
  • the flowchart which shows the structure detection process in 2nd Embodiment. Diagram showing resolution information schematically
  • Flowchart in the third embodiment Block diagram of network configuration in medical institution in fourth embodiment The figure explaining the reason which expands outline MLpr by the predetermined number of pixels
  • the present inventor can improve the contrast of an area (for example, a line structure described later) having a small area occupied by the chest X-ray image, which is important for diagnosis of the chest X-ray image, and having a small shading difference.
  • an area for example, a line structure described later
  • the inventors have come up with the following aspects.
  • the first aspect of the present disclosure is: A computer of an image gradation conversion device that converts the gradation of a target chest X-ray image that is an interpretation target chest X-ray image, Acquiring the target chest X-ray image; In the target chest X-ray image, a first linear region having a brightness different from that of the surroundings, or a tracheal or bronchial wall or hair line drawn by projecting a plurality of anatomical structures having different X-ray transmittances is shown.
  • the second aspect of the present disclosure is: A computer of an image gradation conversion device that converts the gradation of a target chest X-ray image that is a chest X-ray image to be interpreted, An acquisition unit for acquiring the target chest X-ray image; In the target chest X-ray image, a first linear region having a brightness different from that of the surroundings, or a tracheal or bronchial wall or hair line drawn by projecting a plurality of anatomical structures having different X-ray transmittances is shown.
  • a detection unit that detects a structure including a line structure including a second linear region projected and depicted by including a anatomical structure using a machine-learned model;
  • An extraction unit for extracting a pixel set corresponding to a neighboring region of the structure;
  • a smoothing unit that generates a contrast conversion formula for performing histogram smoothing using a histogram of the pixel set;
  • a luminance conversion unit that performs luminance conversion of each pixel value of the entire target chest X-ray image using the contrast conversion equation; It is an image gradation conversion program to function as.
  • the third aspect of the present disclosure is: An acquisition unit for acquiring a target chest X-ray image that is a chest X-ray image to be interpreted; In the target chest X-ray image, a first linear region having a brightness different from that of the surroundings, or a tracheal or bronchial wall or hair line drawn by projecting a plurality of anatomical structures having different X-ray transmittances is shown.
  • a detection unit that detects a structure including a line structure including a second linear region projected and depicted by including a anatomical structure using a machine-learned model;
  • An extraction unit for extracting a pixel set corresponding to a neighboring region of the structure;
  • a smoothing unit that generates a contrast conversion equation for performing histogram smoothing using a histogram of the pixel set;
  • a luminance conversion unit that performs luminance conversion of each pixel value of the entire target chest X-ray image using the contrast conversion equation; Is an image gradation conversion device.
  • a plurality of anatomical structures having different X-ray transmittances are projected and depicted in the target chest X-ray image that is a chest X-ray image to be interpreted.
  • a pixel set corresponding to the vicinity region of the detected structure is extracted.
  • a contrast conversion formula for performing histogram smoothing using the histogram of the extracted pixel set is generated.
  • the generated contrast conversion formula luminance conversion of each pixel value of the entire target chest X-ray image is performed. Therefore, according to the first aspect, the second aspect, or the third aspect, it is possible to improve the contrast in the vicinity region of the structure without being affected by the pixels having the frequent pixel values.
  • the pre-machine-learned model was trained so that the structure is detected in a learning chest X-ray image, which is a normal chest X-ray image, using a neural network that performs prediction in pixel units. It may be a model.
  • a model that is learned so that a structure is detected in a learning chest X-ray image that is a chest X-ray image in a normal state is used. An object is detected. Therefore, since prediction is performed in units of pixels, a structure including a line structure including the first linear region or the second linear region can be detected with high accuracy.
  • the detection Converting the target chest X-ray image to a first resolution lower than the resolution of the target chest X-ray image to create a first X-ray image; Converting the target chest X-ray image to a second resolution higher than the first resolution and lower than the resolution of the target chest X-ray image, and creating a second X-ray image; Detecting the structure of the first size from the first X-ray image; Based on the detection result of the structure of the first size, a search area smaller than the second X-ray image is set in the second X-ray image, The structure having a second size smaller than the first size may be detected from the search area.
  • the first size structure is detected from the first X-ray image having the first resolution.
  • a search area is set in the second X-ray image having a second resolution higher than the first resolution, and a structure having a second size smaller than the first size is detected from the search area. Therefore, according to this aspect, when a high-resolution image is used, a search area having a size smaller than the size of the target chest X-ray image is set. For this reason, the amount of memory used is reduced. As a result, even when the amount of memory is small, it is possible to suppress a decrease in structure detection performance.
  • the line structure may be detected as the second size structure from the search region of the second X-ray image.
  • the anatomical structure since the anatomical structure has a relatively large first size, it can be suitably detected from the first X-ray image having a relatively low first resolution. Further, since the line structure has a relatively small second size, it can be suitably detected from the set search region in the second X-ray image having a relatively high second resolution.
  • the search area is read using the relative positional relationship read out from a position memory in which the relative positional relationship between the structure of the first size and the structure of the second size is stored in advance. May be set.
  • the position of a two-size structure can be grasped. Therefore, by setting the search area so that the grasped position of the second-size structure is included, the second-size structure can be reliably detected.
  • a region in which the outline of the structure is expanded outward and inward by a predetermined number of pixels may be set as a vicinity region of the structure.
  • a pixel set of an area outside the predetermined number of pixels from the outline of the structure and a pixel set of an area inside the predetermined number of pixels from the outline of the structure are extracted. Therefore, according to this aspect, the contrast in the outline of the structure can be improved. As a result, the structure can be easily visually recognized.
  • a region in which the structure is expanded outward by a predetermined number of pixels may be set as a vicinity region of the structure.
  • a pixel set of a region corresponding to a region in which the structure is expanded outward by a predetermined number of pixels is extracted. Therefore, according to this aspect, it is possible to improve the contrast in a region larger than the structure by a predetermined number of pixels. As a result, the structure can be easily visually recognized.
  • all of the detected structures may be used.
  • the user selects a part of the detected structures, In the extraction, the partial structure selected by the user may be used.
  • the target chest X-ray image after the luminance conversion is performed is displayed on a display
  • luminance conversion luminance conversion of each pixel value of the entire target chest X-ray image is performed using the contrast conversion formula and a gradation reduction formula that converts the gradation to a gradation lower than the gradation of the target chest X-ray image. May be performed.
  • the object in which the contrast in the region near the structure is improved with the gradation suitable for the display can be displayed on the display.
  • the fourth aspect of the present disclosure is: An acquisition unit for acquiring a target chest X-ray image that is a chest X-ray image to be interpreted; In the target chest X-ray image, a first linear region having a brightness different from that of the surroundings, or a tracheal or bronchial wall or hair line drawn by projecting a plurality of anatomical structures having different X-ray transmittances is shown.
  • a detection unit that detects a structure including a line structure including a second linear region projected and depicted by including a anatomical structure using a machine-learned model;
  • An extraction unit for extracting a pixel set corresponding to a neighboring region of the structure;
  • a smoothing unit that generates a contrast conversion equation for performing histogram smoothing using a histogram of the pixel set;
  • a luminance conversion unit that performs luminance conversion of each pixel value of the entire target chest X-ray image using the contrast conversion equation;
  • a communication control unit for transmitting the target chest X-ray image after the luminance conversion is performed to an external terminal device; It is a server apparatus provided with.
  • a plurality of anatomical structures having different X-ray transmittances are projected and depicted, and the first line has a luminance different from that of the periphery.
  • a structure including a line structure composed of a linear region or a second linear region projected and drawn from an anatomical structure including a trachea or bronchial wall or hair line is used in a machine-learned model. Detected. A pixel set corresponding to the vicinity region of the detected structure is extracted. A contrast conversion formula for performing histogram smoothing using the histogram of the extracted pixel set is generated.
  • the user of the terminal device can obtain a target chest X-ray image in which the contrast in the vicinity region of the structure is improved without being affected by the pixels having the frequent pixel values. Become.
  • FIG. 1 is a block diagram schematically showing a configuration of an image gradation conversion apparatus 100 that executes a gradation conversion method for a chest X-ray image in the first embodiment.
  • FIG. 2 is a block diagram schematically showing the network configuration 410 in the medical institution.
  • the network configuration 410 in the medical institution includes an intra network 400.
  • the intra-network 400 is connected to the image gradation conversion device 100, the medical image management system 200, and the chest X-ray image photographing device 300.
  • the medical image management system 200 stores and manages chest X-ray images, computed tomography (CT) images, images obtained by nuclear magnetic resonance imaging (MRI), and the like.
  • CT computed tomography
  • MRI nuclear magnetic resonance imaging
  • the chest X-ray image capturing apparatus 300 captures a chest X-ray image of a patient or a health checkup examinee.
  • the chest X-ray image captured by the chest X-ray image capturing apparatus 300 is transmitted to the medical image management system 200 and stored.
  • the image gradation conversion apparatus 100, the medical image management system 200, and the chest X-ray image capturing apparatus 300 are not necessarily connected to the intra network 400 in the same medical institution.
  • the image gradation conversion apparatus 100 and the medical image management system 200 may be software that operates on a data center, a private cloud server, a public cloud server, or the like provided outside the medical institution.
  • the chest X-ray imaging apparatus 300 may be installed in a hospital, or may be installed in a patrol car used for health checkups.
  • an image storage communication system (PACS) is employed as the medical image management system 200.
  • the image gradation conversion apparatus 100 includes a lookup table (LUT) storage unit 105, an image memory 106, a communication unit 107, a display 108, a central processing unit (CPU) 120, and a memory 121. ing.
  • the image gradation conversion apparatus 100 is constituted by a personal computer, for example.
  • the communication unit 107 communicates with the medical image management system 200 and the like via the intra network 400.
  • the LUT storage unit 105 is configured by, for example, a hard disk or a semiconductor memory.
  • the LUT storage unit 105 stores the gradation conversion LUT.
  • the image memory 106 is configured by, for example, a hard disk or a semiconductor memory.
  • the image memory 106 stores the acquired target chest X-ray image and the luminance-converted chest X-ray image.
  • the display 108 has a function of displaying an 8-bit (256 gradations) image, for example.
  • the display 108 is configured by, for example, a liquid crystal monitor, and displays a target chest X-ray image on which a doctor or radiographer who is a user performs image diagnosis or image confirmation after image capturing.
  • the display 108 displays a chart input screen for entering the medical record information of the patient whose target chest X-ray image is taken, the result of the image diagnosis, and the like.
  • the memory 121 is composed of, for example, a semiconductor memory.
  • the memory 121 includes, for example, a read only memory (ROM), a random access memory (RAM), an electrically erasable / rewritable ROM (EEPROM), and the like.
  • the ROM of the memory 121 stores the control program of the first embodiment that causes the CPU 120 to operate.
  • the CPU 120 executes the control program according to the first embodiment stored in the memory 121, whereby the structure detection unit 111, the pixel extraction unit 112, the histogram calculation unit 113, the histogram smoothing unit 114, the luminance conversion unit 115, It functions as a display control unit 116 and a communication control unit 117.
  • the structure detection unit 111 detects a plurality of predefined structures from the target chest X-ray image stored in the image memory 106.
  • the pixel extraction unit 112 extracts a pixel set corresponding to the vicinity region of the structure detected by the structure detection unit 111.
  • the histogram calculation unit 113 calculates a luminance histogram from the pixel set extracted by the pixel extraction unit 112.
  • the histogram smoothing unit 114 performs histogram smoothing using the luminance histogram calculated by the histogram calculation unit 113.
  • the histogram smoothing unit 114 further performs gradation reduction to obtain a gradation conversion LUT.
  • the histogram smoothing unit 114 stores the gradation conversion LUT in the LUT storage unit 105.
  • the luminance conversion unit 115 converts the luminance of all the pixels of the target chest X-ray image using the gradation conversion LUT stored in the LUT storage unit 105.
  • the display control unit 116 displays the target chest X-ray image whose luminance has been converted by the luminance conversion unit 115 on the display 108.
  • a communication control unit 117 (corresponding to an example of an acquisition unit) controls the communication unit 107.
  • the functions of the structure detection unit 111, the pixel extraction unit 112, the histogram calculation unit 113, the histogram smoothing unit 114, the luminance conversion unit 115, and the display control unit 116 will be described in detail later.
  • FIG. 3 is a flowchart schematically showing a processing procedure executed by the image gradation conversion apparatus 100 according to the first embodiment.
  • the communication control unit 117 (corresponding to an example of an acquisition unit) acquires a target chest X-ray image from the medical image management system 200 via the communication unit 107, and acquires the acquired target chest X-ray image. Saved in the image memory 106.
  • the structure detection unit 111 reads the target chest X-ray image from the image memory 106, and detects one or more predefined structures from the target chest X-ray image.
  • Each of the “one or more structures” is (i) a line or region in which a human anatomy is depicted on a chest X-ray image, or (ii) a part of the anatomy is a chest X-ray image. Or (iii) boundaries of a plurality of anatomical structures having different X-ray transmittances are boundaries drawn on a chest X-ray image.
  • Line structure means a boundary line drawn on a chest X-ray image, a line drawn an anatomical structure on a chest X-ray image, and a line drawn a part of the anatomical structure on a chest X-ray image including.
  • a structure that is not a line structure, that is, a structure that cannot be regarded as a line is defined as a “region structure”. Even in the case of a line structure, there is a possibility that the difference between the “line structure” and the “region structure” may be unclear because there is a width larger than one pixel on the image.
  • a structure in which (length in the major axis) / (length in the minor axis direction) of the structure is equal to or greater than a threshold value can be defined as a “line structure”.
  • This threshold value may be set to an appropriate value so that the structure can be regarded as being linear, and may be 10 or 100 or 1000, for example. Examples of line structures are shown in FIGS. 4A-4C and FIGS. 5A-5C, and examples of region structures are shown in FIGS. 6A-6C.
  • FIG. 4A shows a chest X-ray image Ix including a shadow of the descending aorta (that is, a boundary line drawn by a difference in X-ray transmittance between the descending aorta and lung parenchyma, corresponding to an example of a first linear region).
  • FIG. 4B is a diagram showing a mask image Px of the shadow of the descending aorta.
  • 4C is a diagram illustrating an image displayed by superimposing the mask image Px of FIG. 4B on the chest X-ray image Ix of FIG. 4A.
  • FIG. 5A shows the shadow of the right dorsal diaphragm (right dorsal lung bottom) (that is, the boundary line depicted by the difference in X-ray transmittance between the dorsal bottom of the lung parenchyma and the ventral organ, the first linear shape) It is a figure which shows the chest X-ray image Ix containing an area
  • FIG. 5B is a diagram showing a mask image Py of the shadow of the right dorsal diaphragm.
  • FIG. 5C is a diagram illustrating an image displayed by superimposing the mask image Py of FIG. 5B on the chest X-ray image Ix of FIG. 5A.
  • FIG. 6A is a diagram showing a chest X-ray image Ix including an area where the first thoracic vertebra is projected.
  • FIG. 6B is a diagram showing a mask image Pz of the first thoracic vertebra.
  • 6C is a diagram showing an image displayed by superimposing the mask image Pz of FIG. 6B on the chest X-ray image Ix of FIG. 6A.
  • the mask image is an image expressing the area occupied by the structure in the corresponding chest X-ray image in binary or gray scale. In the present embodiment, description is given as a binary mask image.
  • This mask image is prepared and prepared by a person with medical knowledge as learning data for machine learning of the structure detection unit 111.
  • the learned structure detection unit 111 outputs a mask image as a result of processing the target chest X-ray image.
  • an artificial neural network is used as means for machine learning of the structure detection unit 111.
  • U-Net disclosed in Non-Patent Document 1 is used as an artificial neural network that performs semantic segmentation for extracting a target region in pixel units from a target image.
  • Semantic segmentation means grasping an image in pixel units.
  • FIG. 7 is a diagram schematically showing the architecture of U-Net.
  • U-Net is a convolutional neural network including an encoder ECD and a decoder DCD as shown in FIG. 7.
  • ECD encoder
  • DCD decoder
  • FIG. 7 When an input image is input to the input layer IL to the U-net, the output image is output from the U-net to the output layer. Output to OL.
  • Machine learning is performed by giving a large number of sets of input images as shown in FIGS. 4A, 5A, and 6A and mask images as shown in FIGS. 4B, 5B, and 6B.
  • the chest X-ray image Ix as shown in FIG. 4A is input to the U-Net in large quantities, and machine learning is performed so that the mask image Px as shown in FIG. 4B is output from the U-Net.
  • the shadow structure detector 111 is generated.
  • a large amount of chest X-ray image Ix as shown in FIG. 5A is input to U-Net, and machine learning is performed so that a mask image Py as shown in FIG. 5B is output from U-Net.
  • a shadow structure detector 111 is generated.
  • a large amount of chest X-ray image Ix as shown in FIG. 6A is input to U-Net, and machine learning is performed so that a mask image Pz as shown in FIG. 6B is output from U-Net.
  • a structure detection unit 111 is generated. After the machine learning, for example, when the target chest X-ray image is input to the structure detection unit 111 for the shadow of the descending aorta, the shadow of the descending aorta is detected as a region of the structure learned by machine learning. It becomes.
  • N is an integer equal to or greater than 1.
  • U-Nets that perform structure detection are machine-learned in advance to obtain N learned U-Nets.
  • the N learned U-Nets are used as the structure detection unit 111.
  • another neural network as disclosed in Non-Patent Document 2 may be used as an artificial neural network that performs semantic segmentation instead of U-Net.
  • the pixel extraction unit 112 detects the structures 0,..., The structures k,..., And the structures N-1 in the chest X-ray image. Then, the pixel extraction unit 112 includes a set P 0 of pixel values of pixels included in the vicinity region R 0 of the structure 0 to a set P k of pixel values of pixels included in the vicinity region R k of the structure k . ⁇ , to extract the set P N-1 of the pixel values of pixels included in the neighbor region R N-1 of the structure N-1.
  • a set Pk of pixel values is expressed by Expression (1). Expression (1) represents that the pixel value set Pk is a set of pixel values px, y of coordinates (x, y) included in the neighboring region Rk.
  • FIG. 8A is a diagram schematically showing an example of a line structure.
  • FIG. 8B is a diagram schematically showing an example of the vicinity region of the line structure of FIG. 8A.
  • FIG. 9A is a diagram schematically showing an example of a region structure.
  • FIG. 9B is a diagram schematically showing an example of the vicinity region of the region structure of FIG. 9A.
  • the pixel extraction unit 112 extracts the outline MLpr of the line structure ML that is a structure detected by the structure detection unit 111.
  • the pixel extraction unit 112 calculates the neighborhood region Mnh1 by expanding the outline MLpr by a predetermined number of pixels outward and inward by morphological processing.
  • the pixel extraction unit 112 extracts a set of pixel values of each pixel included in the neighboring area Mnh1.
  • FIG. 19A is an enlarged view of the line structure ML
  • FIG. 19B is a luminance profile on a line (PF in FIG. 19A) crossing the line structure ML.
  • the horizontal axis in FIG. 19B is the image space (x coordinate value) in FIG. 19A
  • the vertical axis is the luminance value on the line PF in the image in FIG.
  • adjacent pixel values change smoothly as shown in FIG. 19B when observed even when they are edges. Therefore, the boundary lines of the line structure ML in FIG. 19A are recognized as MLpr1 and MLpr2 in FIG. 19B.
  • the object of the present disclosure is to improve the contrast of the line structure ML, it is necessary to use the pixel values of the luminances V1 and V3 in FIG. 19B in the subsequent histogram smoothing process.
  • the contrast of the line structure ML is improved.
  • the pixels with the pixel values V1 and V3 are used by expanding the contour lines MLpr1 and MLpr2 by a predetermined number of pixels.
  • the “predetermined pixel” is determined by sequentially calculating a difference between adjacent pixel values in the vicinity of the contour MLpr (that is, a luminance change) away from the contour MLpr. It can be determined as a range up to a position where a change (in FIG. 19B,
  • the pixel extraction unit 112 extracts the outline RGpr of the region structure RG that is a structure detected by the structure detection unit 111.
  • the pixel extraction unit 112 calculates the neighboring region Rnh1 by expanding the outline RGpr by a predetermined number of pixels outward and inward by morphological processing.
  • the pixel extraction unit 112 extracts a set of pixel values of each pixel included in the neighborhood region Rnh1.
  • the neighboring region Rk is a region in which the outline of the structure is expanded inward and outward by a predetermined number of pixels.
  • step S300 the pixel extraction unit 112 calculates the sum of the pixel value set P 0 ,..., The pixel value set P k , and the pixel value set P N ⁇ 1 shown in Expression (2).
  • a set S is created.
  • step S400 the histogram calculation unit 113 creates a histogram related to a plurality of pixel values included in the union set S created in step S300. This created histogram is called a luminance histogram. Note that the pixel value indicates a luminance value.
  • step S500 the histogram smoothing unit 114 generates a contrast conversion formula for performing histogram smoothing using the created luminance histogram.
  • the luminance value z included in the target chest X-ray image before contrast conversion, the frequency H (z) of the luminance value z included in the union set S, and the number of elements of the union set S (that is, expression (2)) are defined.
  • the luminance value q (z) after histogram smoothing, that is, after contrast conversion is expressed by the contrast conversion equation of Equation (3). Is done.
  • the frequency H (z) is a pixel value included in the union set S, that is, the frequency of the luminance value z means that the frequency H (z) is a value other than the neighboring regions R 0 to R N ⁇ 1 in the target chest X-ray image. This means that the frequency of the luminance value z of the area is not included.
  • the gradation of the target chest X-ray image before gradation reduction is, for example, 12 bits (4096 gradation), and the gradation of the image after gradation reduction is, for example, 8 bits (256th floor). Key).
  • the luminance value q (z) after histogram smoothing in Equation (3) is calculated for the luminance value z where 0 ⁇ z ⁇ Zmax.
  • q (0) H (0) Zmax / A Is required.
  • q (1) ⁇ H (0) + H (1) ⁇ Zmax / A Is required.
  • q (2) ⁇ H (0) + H (1) + H (2) ⁇ Zmax / A Is required.
  • q (4095) ⁇ H (0) +... + H (4095) ⁇ Zmax / A Is required.
  • step S600 the histogram smoothing unit 114 calculates the 8-bit luminance value t (z) from the 12-bit luminance value q (z) according to the equation (4) that is a gradation reduction equation, and the 12-bit luminance value t (z). Is reduced to an 8-bit image.
  • t (z) q (z) / 16 (4)
  • the numbers after the decimal point are rounded off or rounded down to calculate integer luminance values q (z) and t (z). Therefore, in Equation (4), the luminance value q (z) is an integer from 0 to 4095, and the luminance value t (z) is an integer from 0 to 255.
  • the histogram smoothing unit 114 further creates a gradation conversion LUT 1000 (FIG. 10).
  • the histogram smoothing unit 114 stores the created gradation conversion LUT 1000 in the LUT storage unit 105.
  • FIG. 10 is a diagram schematically showing an example of the gradation conversion LUT 1000.
  • the gradation conversion LUT 1000 is configured by associating the original luminance value z with the luminance value t (z) after histogram smoothing and gradation reduction.
  • the luminance value z is an integer from 0 to 4095
  • the luminance value t (z) is an integer from 0 to 255.
  • the vicinity regions Mnh1 and Rnh1 of the structure include both pixels constituting the structure and pixels not constituting the structure. That is, the union set S includes pixels that form the structure and pixels that do not form the structure for each of the N structures. For this reason, the tone conversion LUT 1000 that improves the contrast between each of the N structures and their boundaries in the target chest X-ray image by performing histogram smoothing on the luminance histogram of the union S. Will be obtained.
  • step S700 the luminance conversion unit 115 performs luminance conversion on all pixels of the chest X-ray image using the gradation conversion LUT 1000 created in step S600.
  • step S800 the display control unit 116 displays on the display 108 the target chest X-ray image that has been tone-converted to 8 bits. Thereby, the luminance conversion for improving the contrast for all the N structures and the gradation conversion for reducing the gradation are executed.
  • the target chest X-ray image that has been tone-converted to 8 bits is displayed on the display 108.
  • Tone conversion means luminance conversion including both (A) contrast conversion for improving the contrast of the image and (B) gradation reduction for converting (reducing) the number of gradations of the image.
  • Histogram smoothing and ⁇ correction are examples of specific methods of (A) contrast conversion.
  • brightness conversion refers to the conversion of luminance (pixel value) without referring to a specific conversion process.
  • Gram originally means “tone tone of an image” in a broad sense, and “number of shade levels in a digital image” (for example, 256 gradations) in a narrow sense. say.
  • the pixel value may indicate a luminance value.
  • the neighboring region Rk is a region in which the outline of the structure is expanded inward and outward by a predetermined number of pixels, but is not limited thereto.
  • FIG. 11A is a diagram schematically showing different examples of the vicinity region of the line structure of FIG. 8A.
  • FIG. 11B is a diagram schematically showing different examples of the vicinity region of the region structure of FIG. 9A.
  • the pixel extraction unit 112 sets the regions obtained by expanding the regions of the line structure ML and the region structure RG outward by a predetermined number of pixels as neighboring regions Mnh2 and Rnh2, respectively.
  • the vicinity region of the structure as shown in FIGS. 11A and 11B includes both pixels constituting the structure and pixels in the outer region of the structure.
  • the difference from the neighboring region shown in FIG. 8B and FIG. 9B is that more pixels are included in the structure itself.
  • histogram smoothing on the luminance histogram of the union set S of pixels included in the neighboring regions of FIG. 11A and FIG. 11B, the contrast inside the structure and the contrast between the structure and its boundary are reduced.
  • a tone conversion LUT that improves all N structures is obtained. For example, if the structure is a bone, such as a rib or a clavicle, the trabecular contrast will be improved.
  • region which the anatomical structure containing the wall of a bronchus or a hair line was projected and drawn was detected.
  • a histogram of a set of pixel values of pixels corresponding to the detected neighboring area of the structure a contrast conversion equation for performing histogram smoothing is generated, and a gradation reduction equation for further reducing gradation is generated, A tone conversion LUT is obtained.
  • luminance conversion of the entire target chest X-ray image is performed.
  • FIG. 12 is a block diagram schematically showing the configuration of an image gradation conversion apparatus 100A that executes the gradation conversion method for a chest X-ray image in the second embodiment.
  • the image gradation conversion device 100A of FIG. 12 further includes a normal model storage unit 103, a CPU 120A instead of the CPU 120, and a memory 121A instead of the memory 121. Is provided.
  • the normal model storage unit 103 (corresponding to an example of a position memory) stores information on the relative positional relationship between structures in advance.
  • the memory 121A is configured similarly to the memory 121, and includes, for example, a ROM, a RAM, an EEPROM, and the like.
  • the ROM of the memory 121A stores the control program of the second embodiment that operates the CPU 120A.
  • the CPU 120A executes the control program according to the second embodiment stored in the memory 121A, whereby the structure detection unit 111, the pixel extraction unit 112, the histogram calculation unit 113, the histogram smoothing unit 114, the luminance conversion unit 115, It functions as a display control unit 116, a resolution conversion unit 109, and a search area setting unit 110.
  • the resolution conversion unit 109 performs multiple levels of reduction conversion on the target chest X-ray image, and creates image groups having different resolutions.
  • the resolution conversion unit 109 stores the created image group in the image memory 106.
  • the search area setting unit 110 uses the structure detection result for the low-resolution image by the structure detection unit 111 and information on the relative positional relationship between the structures stored in the normal model storage unit 103 to obtain more information.
  • a structure search area is set for a high-resolution image.
  • FIG. 13 is a flowchart schematically showing a processing procedure executed by the image gradation conversion device 100A according to the second embodiment in step S100 (FIG. 3).
  • FIG. 14 is a diagram schematically showing resolution information 2600.
  • the resolution of a chest X-ray image is generally composed of 2000 to 3000 pixels on one side.
  • the resolution of the target chest X-ray image is, for example, 2048 ⁇ 2048.
  • the resolution of the three-stage reduced image created by the resolution conversion unit 109 is, for example, 1024 ⁇ 1024, 512 ⁇ 512, 256 ⁇ 256.
  • the resolution i is determined as “0, 1, 2, 3” in order from the lowest resolution image. That is, the resolution i of the 256 ⁇ 256 image is “0”, the resolution i of the 512 ⁇ 512 image is “1”, the resolution i of the 1024 ⁇ 1024 image is “2”, and 2048 ⁇ 2048.
  • the resolution i of the image (that is, the original image) is “3”.
  • the resolution conversion unit 109 stores the created low-resolution reduced image in the image memory 106.
  • the resolution information 2600 includes a structure ID column 2601 and a resolution i column 2602.
  • N structures having structure IDs “0” to “N ⁇ 1” defined in the first embodiment are set.
  • the resolution i column 2602 defines the resolution of an image used when detecting a structure corresponding to the structure in the structure ID column 2601. For example, a structure having a structure ID “0” is detected from an image having a resolution i “0”, that is, a resolution 256 ⁇ 256.
  • one resolution is set for the structure, but the present invention is not limited to this. For example, depending on the structure, two or more kinds of resolutions may be set, and the corresponding structure may be detected from an image of each resolution.
  • the structure detection unit 111 detects a structure using U-Net disclosed in Non-Patent Document 1, as in the first embodiment.
  • U-Net is a kind of convolutional neural network as described above.
  • a convolutional neural network is a kind of deep neural network.
  • a neural network having two or more intermediate layers is called a deep neural network.
  • an image processing unit GPU
  • an image processing unit GPU
  • the structure detection unit 111 detects a structure having a relatively large size (corresponding to an example of the first size) from the low resolution image, and detects the high resolution image. By trimming, the search range is limited and a structure having a relatively small size (corresponding to an example of the second size) is detected.
  • step S104 the structure detection unit 111 increments the resolution i.
  • i 1.
  • advance preparation the positional relationship between structures is obtained in advance from a large number of binary image of structures as shown in FIGS. 4B, 5B, and 6B and stored in the normal model storage unit 103.
  • the search area setting unit 110 reads the positional relationship stored in the normal model storage unit 103 and uses it for setting the search area.
  • step S106 ends the process returns to step S103.
  • FIG. 15 is a diagram schematically showing the processing of steps S103 to S106 in FIG.
  • the structure Pa is the right lung field
  • the structure Pb is the left lung field.
  • the chest X-ray image Ia corresponds to an example of the first X-ray image
  • the sizes of the structures Pa and Pb are This corresponds to an example of the first size.
  • the search area SA1 is shown.
  • step S106 a search area is set for each structure ID corresponding to the resolution i. Further, using the positional relationship between the structure ID to be detected and the structure already detected (structure Pa or structure Pb in the example of FIG. 15) stored in the normal model storage unit 103, respectively. A search area is set.
  • the structure is detected by the structure detection unit 111 from the search area (step S103).
  • the structure Pc detected from the search area SA1 is shown.
  • a detection target structure is detected for each search area.
  • the chest X-ray image Ib corresponds to an example of a second X-ray image
  • the size of the structure Pc is It corresponds to an example of 2 sizes.
  • the search area SA2 is shown.
  • step S106 a search area is set for each structure ID corresponding to the resolution i. Further, using the positional relationship between the structure ID to be detected and the structure already detected (structure Pa or structure Pb in the example of FIG. 15) stored in the normal model storage unit 103, respectively. A search area is set.
  • the structure is detected by the structure detection unit 111 from the search area (step S103).
  • the structure Pd detected from the search area SA2 is shown.
  • step S103 a structure to be detected is detected for each search area.
  • the structure detection unit 111 when a deep neural network such as U-Net is used as the structure detection unit 111, a high-resolution image can be obtained even when the memory amount of the GPU is small.
  • the search area having a size smaller than the size of the target chest X-ray image is set, it is possible to suppress the deterioration of the structure detection performance.
  • FIG. 16 is a block diagram schematically showing a configuration of an image gradation conversion apparatus 100B that executes the gradation conversion method for a chest X-ray image in the third embodiment.
  • the image gradation conversion device 100B of FIG. 16 further includes an input unit 118, a CPU 120B instead of the CPU 120, and a memory 121B instead of the memory 121, as compared with the image gradation conversion device 100 of FIG. .
  • the input unit 118 is operated by a user such as a doctor or a radiologist.
  • the memory 121B is configured similarly to the memory 121, and includes, for example, a ROM, a RAM, an EEPROM, and the like.
  • the ROM of the memory 121B stores the control program of the third embodiment for operating the CPU 120B.
  • the CPU 120B executes the control program of the third embodiment stored in the memory 121B, whereby the structure detection unit 111, the pixel extraction unit 112B, the histogram calculation unit 113, the histogram smoothing unit 114, the luminance conversion unit 115, It functions as a display control unit 116 and a communication control unit 117.
  • the pixel extraction unit 112 extracts pixel values of pixels corresponding to neighboring regions of all N structures detected by the structure detection unit 111.
  • the pixel extraction unit 112B of the second embodiment includes a region adjacent to the structure selected by the user using the input unit 118 among the N structures detected by the structure detection unit 111. The pixel value of the corresponding pixel is extracted.
  • FIG. 17 is a flowchart schematically showing a processing procedure executed by the image gradation conversion device 100B according to the third embodiment.
  • Steps S50 and S100 in FIG. 17 are the same as steps S50 and S100 in FIG. 3, respectively.
  • the pixel extraction unit 112B selects a structure designated by using the input unit 118 among the N structures detected by the structure detection unit 111.
  • the pixel extraction unit 112 extracts a set of pixel values corresponding to the vicinity region of the structure for each selected structure.
  • Steps S300 to S800 in FIG. 17 are the same as steps S300 to S800 in FIG. 3, respectively.
  • the user it is possible for the user to perform gradation conversion processing that improves the contrast of a desired structure.
  • FIG. 18 is a block diagram schematically showing a network configuration 410A in a medical institution in the fourth embodiment.
  • the intra-network 400 of the medical institution includes a server device 500, a display control device 600, a medical image management system 200, a chest X-ray image capturing device 300, Is connected.
  • the server device 500, the display control device 600, the medical image management system 200, and the chest X-ray image capturing device 300 are not necessarily connected to the intra network 400 in the same medical institution.
  • the display control device 600 and the medical image management system 200 may be software that operates on a data center, a private cloud server, a public cloud server, or the like provided outside the medical institution.
  • the server device 500 includes an LUT storage unit 105, an image memory 106, a communication unit 107, a CPU 130, and a memory 131.
  • the memory 131 is composed of, for example, a semiconductor memory.
  • the memory 131 includes, for example, a ROM, a RAM, an EEPROM, and the like.
  • the ROM of the memory 131 stores a control program that causes the CPU 130 to operate.
  • the CPU 130 executes the control program stored in the memory 131, thereby causing the structure detection unit 111, the pixel extraction unit 112, the histogram calculation unit 113, the histogram smoothing unit 114, the luminance conversion unit 115, and the communication control unit 117A.
  • Function as. 117 A of communication control parts transmit the object chest X-ray image after the brightness
  • the display control device 600 (corresponding to an example of a terminal device) is configured by a tablet computer, for example, and is held by a medical worker such as a doctor or a radiographer. As illustrated in FIG. 18, the display control device 600 includes a CPU 140, a memory 141, an image memory 142, a communication unit 143, and a display 108.
  • the memory 141 is composed of, for example, a semiconductor memory.
  • the memory 141 includes, for example, ROM, RAM, EEPROM, and the like.
  • the ROM of the memory 141 stores a control program for operating the CPU 140.
  • the CPU 140 functions as the display control unit 116 and the communication control unit 117B by executing a control program stored in the memory 141.
  • the communication control unit 117B receives the data of the target chest X-ray image after the luminance conversion transmitted from the server device 500 via the communication unit 143, and stores the received data in the image memory 142.
  • the display control unit 116 displays the target chest X-ray image after the luminance conversion stored in the image memory 142 on the display 108.
  • the same effect as in the first embodiment can be obtained.
  • the CPU 130 of the server device 500 includes the structure detection unit 111, the pixel extraction unit 112, the histogram calculation unit 113, the histogram smoothing unit 114, the luminance conversion unit 115, the communication control unit 117, and the resolution conversion unit 109 (FIG. 12). ), And may function as the search area setting unit 110 (FIG. 12). In this case, the same effect as in the second embodiment can be obtained.
  • the present invention can be used for a diagnostic support system for a chest X-ray image that is an interpretation target and an interpretation education system for medical students or residents.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、対象胸部X線画像を取得し(S50)、対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し(S100)、構造物の近傍領域に対応する画素集合を抽出し、画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し(S500)、コントラスト変換式を用いて、対象胸部X線画像全体の各画素値の輝度変換(S700)を行う胸部X線画像の階調変換方法。

Description

胸部X線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法
 本開示は、医用画像の処理技術に関し、さらに詳しくは胸部X線画像の階調変換技術に関する。
 医用画像のなかでも、胸部X線画像は、撮影機器及び撮影コストが安価で、普及率も高く、胸部疾患を診断する際の第一選択方法となっている。しかしながら、胸部X線画像では、奥行き方向に複数の解剖学的構造が重なって描出される。このため、読影が難しいことから、病変を見逃してしまう、安易にコンピュータ断層撮影を実施してしまう、等の問題点が指摘されている。
 また、胸部X線画像は、一般に、X線撮像装置において高階調(例えば、10~14ビット)のデジタル画像として取得される。一方、撮影された胸部X線画像をモニタに表示する際には、胸部X線画像は、より低階調(例えば、8~12ビット)に階調圧縮されて表示される。階調圧縮は、γ補正などのコントラスト変換処理も併せて行われ、画像における重要な階調ができるだけ保存されるように行われている。読影を少しでも容易にするために、胸部X線画像の診断に重要な領域の情報を低下させないように階調圧縮を行うことが重要となっている。
 従来、胸部X線画像の情報量を保ちながら所望の領域を所望のコントラストおよび濃度で表示することが可能な階調変換技術として、特許文献1が提案されている。特許文献1に記載の技術では、胸部X線画像の画素値ヒストグラムから、例えば肺野及び縦隔のような大まかな領域の画素値範囲が推定され、推定結果に基づいて、γカーブの制御点が決定されている。
国際公開第2015/174206号
O.Ronneberger, P.Fischer, and T.Brox, U-Net:Convolutional Networks for Biomedical Image Segmentation, Medical Image Computing and Computer-Assisted Intervention(MICCAI), Springer, LNCS, Vol.9351: 234--241, 2015 L.Long, E.Shelhamer, T.Darrell, Fully Convolutional Networks for Semantic Segmentation, In CVPR. 2015.
 上記特許文献1に記載の技術では、例えば、肺野と縦隔それぞれに適したγカーブを適用することができる。しかしながら、上記従来技術では、胸部X線画像の診断に重要な領域のコントラストを向上させる保証はないため、更なる改善が求められている。
 本開示の一態様は、
 読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、
 前記対象胸部X線画像を取得し、
 前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
 前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
 前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
 前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
 胸部X線画像の階調変換方法である。
 なお、この包括的又は具体的な態様は、装置、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばCD-ROM(Compact Disc-Read Only Memory)等の不揮発性の記録媒体を含む。
 本開示によれば、更なる改善が実現できる。本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
第1実施形態における画像階調変換装置のブロック図 第1実施形態における医療機関内のネットワーク構成のブロック図 第1実施形態におけるフローチャート 下行大動脈の陰影を含む胸部X線画像を示す図 下行大動脈の陰影のマスク画像を示す図 胸部X線画像にマスク画像を重畳した画像を示す図 右背側横隔膜の陰影を含む胸部X線画像を示す図 右背側横隔膜の陰影のマスク画像を示す図 胸部X線画像にマスク画像を重畳した画像を示す図 第1胸椎を含む胸部X線画像を示す図 第1胸椎のマスク画像を示す図 胸部X線画像にマスク画像を重畳した画像を示す図 U-Netのアーキテクチャを概略的に示す図 線構造の一例を概略的に示す図 図8Aの線構造の近傍領域の一例を概略的に示す図 領域構造の一例を概略的に示す図 図9Aの領域構造の近傍領域の一例を概略的に示す図 階調変換LUTの一例を概略的に示す図 図8Aの線構造の近傍領域の異なる例を概略的に示す図 図9Aの領域構造の近傍領域の異なる例を概略的に示す図 第2実施形態における画像階調変換装置の構成を示すブロック図 第2実施形態における構造物検出処理を示すフローチャート 解像度情報を概略的に示す図 図13のステップS103~ステップS106の処理を概略的に示す図 第3実施形態における画像階調変換装置の構成を示すブロック図 第3実施形態におけるフローチャート 第4実施形態における医療機関内のネットワーク構成のブロック図 輪郭線MLprを所定画素数だけ膨張させる理由を説明する図
 (本開示の基礎となった知見)
 上記特許文献1に記載の技術によれば、例えば、肺野及び縦隔それぞれに適したγカーブを適用することができる。これに対して、本発明者は、胸部X線画像において、肺野又は縦隔に比べて画像中に占める面積が小さく、かつ、濃淡差の小さい領域が、診断に重要となる場合があることを見出した。しかしながら、上記特許文献1に記載の技術では、このような領域のコントラストが向上する保証はない。
 そこで、本発明者は、胸部X線画像の診断に重要な、胸部X線画像に占める面積が小さく、かつ、濃淡差の小さい領域(例えば後述の線構造)のコントラストを向上させることが可能な、以下の各態様を想到するに至った。
 本開示の第1態様は、
 読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、
 前記対象胸部X線画像を取得し、
 前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
 前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
 前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
 前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
 胸部X線画像の階調変換方法である。
 本開示の第2態様は、
 読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータを、
 前記対象胸部X線画像を取得する取得部、
 前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
 前記構造物の近傍領域に対応する画素集合を抽出する抽出部、
 前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部、
 前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部、
 として機能させる画像階調変換プログラムである。
 本開示の第3態様は、
 読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
 前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
 前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
 前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
 前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
 を備える画像階調変換装置である。
 この第1態様又は第2態様又は第3態様では、読影対象の胸部X線画像である対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。検出された構造物の近傍領域に対応する画素集合が抽出される。抽出された画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式が生成される。生成されたコントラスト変換式を用いて、対象胸部X線画像全体の各画素値の輝度変換が行われる。したがって、第1態様又は第2態様又は第3態様によれば、頻度が多い画素値の画素による影響を受けずに、構造物の近傍領域におけるコントラストを向上させることができる。
 上記第1態様において、例えば、
 前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部X線画像である学習用胸部X線画像において前記構造物が検出されるように学習されたモデルであってもよい。
 この態様では、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部X線画像である学習用胸部X線画像において構造物が検出されるように学習されたモデルを用いて、構造物が検出される。したがって、画素単位で予測が行われるため、第1線状領域または第2線状領域からなる線構造を含む構造物を高精度で検出することができる。
 上記第1態様において、例えば、
 前記検出では、
 前記対象胸部X線画像を前記対象胸部X線画像の解像度より低い第1解像度に変換して第1X線画像を作成し、
 前記対象胸部X線画像を前記第1解像度より高く、かつ前記対象胸部X線画像の解像度以下の第2解像度に変換して第2X線画像を作成し、
 前記第1X線画像から第1サイズの前記構造物を検出し、
 前記第1サイズの前記構造物の検出結果に基づき、前記第2X線画像において前記第2X線画像より小さい探索領域を設定し、
 前記探索領域から、前記第1サイズより小さい第2サイズの前記構造物を検出してもよい。
 この態様では、第1解像度の第1X線画像から第1サイズの構造物が検出される。第1解像度より高い第2解像度の第2X線画像には探索領域が設定され、この探索領域から第1サイズより小さい第2サイズの構造物が検出される。したがって、この態様によれば、高解像の画像を用いるときは、対象胸部X線画像のサイズより小さいサイズの探索領域を設定している。このため、メモリの使用量が低減される。その結果、メモリ量が少ない場合でも、構造物検出性能の低下を抑制することができる。
 上記第1態様において、例えば、
 前記第1サイズの前記構造物の検出では、前記第1X線画像から前記第1サイズの前記構造物として解剖学的構造を検出し、
 前記第2サイズの前記構造物の検出では、前記第2X線画像の前記探索領域から前記第2サイズの前記構造物として前記線構造を検出してもよい。
 この態様によれば、解剖学的構造は、比較的大きい第1サイズであるので、比較的低い第1解像度の第1X線画像から、好適に検出することができる。また、線構造は、比較的小さい第2サイズであるので、比較的高い第2解像度の第2X線画像のうち設定された探索領域から、好適に検出することができる。
 上記第1態様において、例えば、
 前記探索領域の設定では、前記第1サイズの前記構造物と前記第2サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定してもよい。
 この態様によれば、第1検出サブステップの検出結果として得られた第1サイズの構造物の位置と、第1サイズの構造物と第2サイズの構造物との相対位置関係とから、第2サイズの構造物の位置を把握することができる。したがって、把握した第2サイズの構造物の位置が含まれるように探索領域を設定することにより、第2サイズの構造物を確実に検出することができる。
 上記第1態様において、例えば、
 前記抽出では、前記構造物の輪郭線を所定画素数だけ外側及び内側に膨張させた領域を、前記構造物の近傍領域としてもよい。
 この態様では、構造物の輪郭線から所定画素数だけ外側の領域の画素集合と、構造物の輪郭線から所定画素数だけ内側の領域の画素集合と、が抽出される。したがって、この態様によれば、構造物の輪郭線におけるコントラストを向上させることができる。その結果、構造物を視認し易くすることが可能になる。
 上記第1態様において、例えば、
 前記抽出では、前記構造物を所定画素数だけ外側に膨張させた領域を、前記構造物の近傍領域としてもよい。
 この態様では、構造物を所定画素数だけ外側に膨張させた領域に対応する領域の画素集合が抽出される。したがって、この態様によれば、構造物より所定画素数だけ大きい領域におけるコントラストを向上させることができる。その結果、構造物を視認し易くすることが可能になる。
 上記第1態様において、例えば、
 前記抽出では、前記検出された前記構造物の全てを使用してもよい。
 この態様によれば、検出された構造物の全ての近傍領域におけるコントラストを向上させることができる。
 上記第1態様において、例えば、
 更に、前記検出された前記構造物のうち一部の構造物をユーザが選択し、
 前記抽出では、前記ユーザにより選択された前記一部の構造物を使用してもよい。
 この態様によれば、所望の構造物を選択することにより、所望の構造物の近傍領域におけるコントラストを向上させることができる。
 上記第1態様において、例えば、
 更に、前記輝度変換が行われた後の前記対象胸部X線画像をディスプレイに表示し、
 前記輝度変換では、前記コントラスト変換式と、前記対象胸部X線画像の階調より低い階調に変換する階調削減式とを用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行ってもよい。
 この態様によれば、ディスプレイに表示可能な階調が対象胸部X線画像の階調より低い場合であっても、ディスプレイに適合する階調で、構造物の近傍領域におけるコントラストを向上させた対象胸部X線画像をディスプレイに表示することができる。
 本開示の第4態様は、
 読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
 前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
 前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
 前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
 前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
 前記輝度変換が行われた後の前記対象胸部X線画像を、外部の端末装置に送信する通信制御部と、
 を備えるサーバ装置である。
 この第4態様では、読影対象の胸部X線画像である対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物が、予め機械学習されたモデルを用いて検出される。検出された構造物の近傍領域に対応する画素集合が抽出される。抽出された画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式が生成される。生成されたコントラスト変換式を用いて、対象胸部X線画像全体の各画素値の輝度変換が行われる。輝度変換が行われた後の対象胸部X線画像は、外部の端末装置に送信される。したがって、第4態様によれば、端末装置のユーザは、頻度が多い画素値の画素による影響を受けずに、構造物の近傍領域におけるコントラストが向上した対象胸部X線画像を得ることが可能になる。
 (実施の形態)
 以下、本開示の実施の形態が、図面を参照しながら説明される。なお、各図面において、同じ構成要素には同じ符号が用いられ、適宜、説明は省略される。
 (第1実施形態)
 図1は、第1実施形態における、胸部X線画像の階調変換方法を実行する画像階調変換装置100の構成を概略的に示すブロック図である。図2は、医療機関内のネットワーク構成410を概略的に示すブロック図である。
 図2に示されるように、医療機関内のネットワーク構成410は、イントラネットワーク400を含む。このイントラネットワーク400には、画像階調変換装置100と、医用画像管理システム200と、胸部X線画像撮影装置300と、が接続されている。医用画像管理システム200は、胸部X線画像、コンピュータ断層撮影(CT)画像、核磁気共鳴画像法(MRI)による画像等を保存し、管理する。胸部X線画像撮影装置300は、患者又は健康診断受診者の胸部X線画像を撮影する。胸部X線画像撮影装置300により撮影された胸部X線画像は、医用画像管理システム200に送信されて保存される。
 なお、画像階調変換装置100と、医用画像管理システム200と、胸部X線画像撮影装置300とは、必ずしも、同一の医療機関内のイントラネットワーク400上に接続されている必要はない。画像階調変換装置100、及び、医用画像管理システム200は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。胸部X線画像撮影装置300は、病院内に設置されていても良いし、健康診断等で使用される巡回車の中に設置されていても良い。医用画像管理システム200として、例えば画像保存通信システム(PACS)が採用される。
 図1に示されるように、画像階調変換装置100は、ルックアップテーブル(LUT)格納部105、画像メモリ106、通信部107、ディスプレイ108、中央演算処理装置(CPU)120、メモリ121を備えている。画像階調変換装置100は、例えばパーソナルコンピュータで構成される。
 通信部107は、イントラネットワーク400を介して、医用画像管理システム200等と通信を行う。LUT格納部105は、例えばハードディスク又は半導体メモリ等により構成される。LUT格納部105は、階調変換LUTを格納する。画像メモリ106は、例えばハードディスク又は半導体メモリ等により構成される。画像メモリ106は、取得された対象胸部X線画像及び輝度変換された胸部X線画像を格納する。ディスプレイ108は、本実施形態では例えば、8ビット(256階調)の画像を表示する機能を有する。ディスプレイ108は、例えば、液晶モニタにより構成され、ユーザである医師又は放射線技師が、画像診断又は画像撮影後の画像確認を行う対象胸部X線画像を表示する。また、ディスプレイ108は、対象胸部X線画像が撮影された患者のカルテ情報、画像診断の結果を記入するレポート入力画面などを表示する。
 メモリ121は、例えば半導体メモリ等により構成される。メモリ121は、例えばリードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、電気的に消去書き換え可能なROM(EEPROM)などを含む。メモリ121のROMは、CPU120を動作させる第1実施形態の制御プログラムを記憶する。
 CPU120は、メモリ121に記憶されている第1実施形態の制御プログラムを実行することによって、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116及び通信制御部117として機能する。
 構造物検出部111(検出部の一例に相当)は、画像メモリ106に保存された対象胸部X線画像から、予め定義された複数の構造物を検出する。画素抽出部112(抽出部の一例に相当)は、構造物検出部111により検出された構造物の近傍領域に対応する画素集合を抽出する。ヒストグラム計算部113は、画素抽出部112により抽出された画素集合から輝度ヒストグラムを算出する。ヒストグラム平滑化部114は、ヒストグラム計算部113により算出された輝度ヒストグラムを用いてヒストグラム平滑化を行う。ヒストグラム平滑化部114は、更に、低階調化を行って、階調変換LUTを得る。ヒストグラム平滑化部114は、階調変換LUTをLUT格納部105に格納する。輝度変換部115は、LUT格納部105に格納された階調変換LUTを用いて、対象胸部X線画像の全画素の輝度を変換する。表示制御部116は、輝度変換部115によって輝度変換された対象胸部X線画像をディスプレイ108に表示する。通信制御部117(取得部の一例に相当)は、通信部107を制御する。構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116の機能は、それぞれ、後に詳述される。
 図3は、第1実施形態に係る画像階調変換装置100により実行される処理手順を概略的に示すフローチャートである。まず、ステップS50において、通信制御部117(取得部の一例に相当)は、通信部107を介して、対象胸部X線画像を医用画像管理システム200から取得し、取得した対象胸部X線画像を画像メモリ106に保存する。ステップS100において、構造物検出部111は、対象胸部X線画像を画像メモリ106から読み出して、その対象胸部X線画像から、予め定義された1個以上の構造物を検出する。
 「1個以上の構造物」のそれぞれは(i)人体の解剖学的構造が胸部X線画像に描出された線または領域、または、(ii)解剖学的構造の一部が胸部X線画像に描出された線または領域、または、(iii)X線透過率が異なる複数の解剖学的構造の境界が胸部X線画像に描出された境界線である。
 「1個以上の構造物」のそれぞれは「線構造」または「領域構造」に分類される。「線構造」は、胸部X線画像に描出された境界線、解剖学的構造が胸部X線画像に描出された線、および解剖学的構造の一部が胸部X線画像に描出された線を含む。線構造ではない構造物、すなわち、線状とは見做せない構造物が「領域構造」と定義される。線構造であっても、画像上では幅として1画素よりも大きいものがあるため「線構造」と「領域構造」の差は不明確になる恐れがある。そこで、例えば、構造物の(長軸方向長さ)/(短軸方向長さ)が閾値以上である構造物が「線構造」と定義されることも可能である。この閾値は、構造物が線状であると見做せるような適切な値に設定されればよく、例えば10又は100又は1000でもよい。線構造の例が図4A~4Cと図5A~5Cとに示され、領域構造の例が図6A~6Cに示される。
 図4Aは、下行大動脈の陰影(即ち、下行大動脈と肺実質との間のX線透過率の違いにより描出される境界線、第1線状領域の一例に相当)を含む胸部X線画像Ixを示す図である。図4Bは、下行大動脈の陰影のマスク画像Pxを示す図である。図4Cは、図4Aの胸部X線画像Ixに図4Bのマスク画像Pxを重畳して表示した画像を示す図である。図5Aは、右背側横隔膜(右背側肺底部)の陰影(即ち、肺実質の背側底部と腹側臓器との間のX線透過率の違いにより描出される境界線、第1線状領域の一例に相当)を含む胸部X線画像Ixを示す図である。図5Bは、右背側横隔膜の陰影のマスク画像Pyを示す図である。図5Cは、図5Aの胸部X線画像Ixに図5Bのマスク画像Pyを重畳して表示した画像を示す図である。図6Aは、第一胸椎が投影された領域を含む胸部X線画像Ixを示す図である。図6Bは、第1胸椎のマスク画像Pzを示す図である。図6Cは、図6Aの胸部X線画像Ixに図6Bのマスク画像Pzを重畳して表示した画像を示す図である。
 マスク画像は、対応する胸部X線画像における構造物の占める領域を二値あるいはグレイスケールで表現した画像である。本実施形態では二値マスク画像として説明が行われる。このマスク画像は、構造物検出部111を機械学習する際の学習データとして、医学知識を持った人により作成され、用意される。また、学習後の構造物検出部111は、対象胸部X線画像を処理した結果として、マスク画像を出力する。
 本実施の形態では、構造物検出部111を機械学習する手段として、人工ニューラルネットワークが用いられる。具体的には、対象画像から画素単位で対象領域を抽出するセマンティックセグメンテーションを行う人工ニューラルネットワークとして、非特許文献1に開示されているU-Netが用いられる。セマンティックセグメンテーションは、画像を画素単位で把握することを意味する。
 図7は、U-Netのアーキテクチャを概略的に示す図である。U-Netは、図7に示されるようなエンコーダECD及びデコーダDCDを備える畳み込みニューラルネットワークであり、U-netに入力画像が入力層ILに入力されると、U-netから出力画像が出力層OLに出力される。図4A、図5A、図6Aのような入力画像と図4B、図5B、図6Bのようなマスク画像との組を大量に与えて機械学習が行われる。
 具体的には、図4Aのような胸部X線画像Ixを大量にU-Netに入力し、U-Netから図4Bのようなマスク画像Pxが出力されるように機械学習させて、下行大動脈の陰影用の構造物検出部111が生成される。また、図5Aのような胸部X線画像Ixを大量にU-Netに入力し、U-Netから図5Bのようなマスク画像Pyが出力されるように機械学習させて、右背側横隔膜の陰影用の構造物検出部111が生成される。また、図6Aのような胸部X線画像Ixを大量にU-Netに入力し、U-Netから図6Bのようなマスク画像Pzが出力されるように機械学習させて、第1胸椎用の構造物検出部111が生成される。そして、機械学習後の、例えば、下行大動脈の陰影用の構造物検出部111に対象胸部X線画像が入力されると、機械学習させた構造物の領域として下行大動脈の陰影が検出されることとなる。
 本実施の形態では、予め定義された総計N(Nは1以上の整数)個の構造物について、それぞれ構造物検出を行うU-Netを予め機械学習させてN個の学習済みのU-Netを準備しておき、それらN個の学習済みのU-Netが、構造物検出部111として用いられる。なお、セマンティックセグメンテーションを行う人工ニューラルネットワークとして、U-Netに代えて、非特許文献2に開示されるような他のニューラルネットワークが用いられてもよい。
 図3に戻って、ステップS200において、画素抽出部112は、当該胸部X線画像において構造物0、~、構造物k、~、構造物N-1を検出する。そして、画素抽出部112は、構造物0の近傍領域Rに含まれる画素の画素値の集合P、~、構造物kの近傍領域Rに含まれる画素の画素値の集合P、~、構造物N-1の近傍領域RN-1に含まれる画素の画素値の集合PN-1を抽出する。画素値の集合Pkは、式(1)で表される。式(1)は、画素値の集合Pkが、近傍領域Rkに含まれる座標(x,y)の画素値px,yの集合であることを表す。
Figure JPOXMLDOC01-appb-M000002
 図8Aは、線構造の一例を概略的に示す図である。図8Bは、図8Aの線構造の近傍領域の一例を概略的に示す図である。図9Aは、領域構造の一例を概略的に示す図である。図9Bは、図9Aの領域構造の近傍領域の一例を概略的に示す図である。
 図8A,8Bにおいて、画素抽出部112は、構造物検出部111により検出された構造物である線構造MLの輪郭線MLprを抽出する。画素抽出部112は、その輪郭線MLprをモルフォロジー処理により外側及び内側に所定画素数だけ膨張させることによって、近傍領域Mnh1を算出する。画素抽出部112は、近傍領域Mnh1に含まれる各画素の画素値の集合を抽出する。
 ここで、輪郭線MLprを所定画素数だけ膨張させる理由を図19を用いて説明する。図19の(a)は線構造MLの拡大図であり、図19の(b)は線構造MLを横切る線(図19の(a)におけるPF)上の輝度プロファイルとする。図19の(b)の横軸は、図19の(a)の画像空間(x座標値)であり、縦軸は図19の(a)の画像における線PF上の輝度値である。多くの画像においては隣り合う画素値は、エッジであっても拡大して観測すると図19の(b)のように滑らかに変化している。そのため、図19の(a)における線構造MLの境界線は、図19の(b)においてMLpr1およびMLpr2として認識される。本開示の目的は、線構造MLのコントラストを向上させることであるため、この後のヒストグラム平滑化処理にて、図19の(b)における輝度V1とV3の画素値を用いる必要がある。しかしながら、図19の(b)における境界線MLpr1およびMLpr2から僅かしか離れていない領域(図19の(b)におけるCa、Cbの範囲)の画素を用いてしまうと、線構造MLのコントラストを向上させるという目的が十分達成されない。そのため、輪郭線MLpr1およびMLpr2を所定画素数だけ膨張させることにより、画素値V1、V3の画素を用いるようにする。「所定画素」の決め方であるが、例えば、輪郭線MLprの近傍において隣り合う画素値の差(すなわち輝度変化)を輪郭線MLprから離れるように順次計算し、その輝度変化が、線構造の輝度変化(図19の(b)では|V1-V3|の一定の割合(例えば、5%~10%)となる位置までの範囲として決めることができる。
 図9A,9Bにおいて、画素抽出部112は、構造物検出部111により検出された構造物である領域構造RGの輪郭線RGprを抽出する。画素抽出部112は、その輪郭線RGprをモルフォロジー処理により外側及び内側に所定画素数だけ膨張させることによって、近傍領域Rnh1を算出する。画素抽出部112は、近傍領域Rnh1に含まれる各画素の画素値の集合を抽出する。図8A,8B,9A,9Bを用いて説明されたように、本実施形態では、近傍領域Rkは、構造物の輪郭線を所定画素数だけ内側及び外側に膨張させた領域とされている。
 図3に戻って、ステップS300において、画素抽出部112は、式(2)に示す画素値の集合P、~、画素値の集合P、~、画素値の集合PN-1の和集合Sを作成する。
Figure JPOXMLDOC01-appb-M000003
 次に、ステップS400において、ヒストグラム計算部113は、ステップS300で作成された和集合Sに含まれる複数の画素値に関するヒストグラムを作成する。この作成されたヒストグラムを輝度ヒストグラムと呼ぶ。なお、画素値は輝度値を示す。
 ステップS500において、ヒストグラム平滑化部114は、作成された輝度ヒストグラムを用いて、ヒストグラム平滑化を行うコントラスト変換式を生成する。コントラスト変換前の対象胸部X線画像に含まれる輝度値zと、和集合Sに含まれる輝度値zの度数H(z)と、和集合Sの要素数(つまり式(2)で定義される和集合Sに含まれる画素数)Aと、輝度最大値Zmaxとを用いると、ヒストグラム平滑化後、つまり、コントラスト変換後の輝度値q(z)は、式(3)のコントラスト変換式で表される。度数H(z)が和集合Sに含まれる画素値、つまり、輝度値zの度数であることは、度数H(z)は対象胸部X線画像における近傍領域R~RN-1以外の領域の輝度値zの度数を含んでいないことを意味する。
 この実施形態では、低階調化前の対象胸部X線画像の階調は、例えば12ビット(4096階調)であり、低階調化後の画像の階調は、例えば8ビット(256階調)である。ここでは、低階調化の前に上述したコントラスト変換を行っており、輝度最大値Zmaxは、Zmax=4095である。
Figure JPOXMLDOC01-appb-M000004
 式(3)におけるヒストグラム平滑化後の輝度値q(z)は、0≦z≦Zmaxの輝度値zに対して算出される。例えばz=0に対し、
q(0)=H(0)Zmax/A
が求められる。例えばz=1に対し、
q(1)={H(0)+H(1)}Zmax/A
が求められる。例えばz=2に対し、
q(2)={H(0)+H(1)+H(2)}Zmax/A
が求められる。例えばz=Zmax=4095に対し、
q(4095)={H(0)+・・・+H(4095)}Zmax/A
が求められる。
 ステップS600において、ヒストグラム平滑化部114は、12ビットの輝度値q(z)から、階調削減式である式(4)によって、8ビットの輝度値t(z)を算出して、12ビットの画像を8ビットの画像に低階調化する。
t(z)=q(z)/16 (4)
 なお、式(3)、式(4)では、小数点以下は、四捨五入されて、又は切り捨てられて、整数の輝度値q(z)、t(z)が算出される。したがって、式(4)において、輝度値q(z)は0~4095の整数であり、輝度値t(z)は0~255の整数である。
 ヒストグラム平滑化部114は、更に階調変換LUT1000(図10)を作成する。ヒストグラム平滑化部114は、作成した階調変換LUT1000をLUT格納部105に格納する。
 図10は、階調変換LUT1000の一例を概略的に示す図である。階調変換LUT1000は、図10に示されるように、元の輝度値zと、ヒストグラム平滑化及び低階調化後の輝度値t(z)とが対応付けられて、構成されている。ここで、上述のように、輝度値zは0~4095の整数であり、輝度値t(z)は0~255の整数である。
 図8B、図9Bに示されるような構造物の近傍領域Mnh1,Rnh1は、構造物を構成する画素と、構造物を構成しない画素とを両方含む。すなわち、和集合Sは、N個の構造物のそれぞれに関して、構造物を構成する画素と、構造物を構成しない画素とを含む。このため、和集合Sの輝度ヒストグラムに対してヒストグラム平滑化を行うことで、対象胸部X線画像において、N個の構造物それぞれの構造物とその境界とのコントラストを向上させる階調変換LUT1000が得られることになる。
 図3に戻って、ステップS700において、輝度変換部115は、ステップS600で作成された階調変換LUT1000を用いて、胸部X線画像の全画素を輝度変換する。ステップS800において、表示制御部116は、8ビットに階調変換された対象胸部X線画像をディスプレイ108に表示する。これにより、N個の構造物全てに対するコントラストを向上させる輝度変換、及び低階調化する階調変換が実行される。8ビットに階調変換された対象胸部X線画像が、ディスプレイ108に表示されることとなる。
 ここで、用語の定義が説明される。「階調変換」とは、(A)画像の濃淡コントラストを改善するコントラスト変換と、(B)画像の濃淡の階調数を変換(削減)する階調削減と、の両方を含む輝度変換のことを言う。ヒストグラム平滑化及びγ補正は、(A)コントラスト変換の具体的な手法の一例である。一方、「輝度変換」とは、特定の変換処理を指さず、単に輝度(画素値)の変換のことを言う。また、「階調」は、本来の意味としては、広義には「画像の濃淡の調子」のことを言い、狭義には「デジタル画像における濃淡の段階数」(例えば256階調)のことを言う。画素値は輝度値を示してもよい。
 なお、本実施形態では、ステップS200において、近傍領域Rkは、構造物の輪郭線を所定画素数だけ内側及び外側に膨張させた領域とされたが、これに限られない。
 図11Aは、図8Aの線構造の近傍領域の異なる例を概略的に示す図である。図11Bは、図9Aの領域構造の近傍領域の異なる例を概略的に示す図である。
 図11A、図11Bの例では、画素抽出部112は、線構造ML、領域構造RGの領域自体を所定画素数だけ外側に膨張させた領域を、それぞれ、近傍領域Mnh2,Rnh2としている。図11A、図11Bに示されるような構造物の近傍領域は、構造物を構成する画素と、構造物の外側領域の画素とを両方含む。但し、図8B、図9Bに示される近傍領域と異なるのは、構造物自体を構成する画素をより多く含むことである。このため、図11A、図11Bの近傍領域に含まれる画素の和集合Sの輝度ヒストグラムに対してヒストグラム平滑化を行うことで、構造物内部のコントラスト、及び、構造物とその境界とのコントラストを、N個の構造物全てに対して向上させる階調変換LUTが得られることになる。例えば、構造物が、骨、例えば肋骨または鎖骨、であった場合は、骨梁のコントラストが向上することになる。
 以上のように、本開示の第1実施形態によれば、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を検出する。検出した構造物の近傍領域に対応する画素の画素値の集合のヒストグラムを用いて、ヒストグラム平滑化を行うコントラスト変換式を生成し、更に低階調化を行う階調削減式を生成して、階調変換LUTを得る。階調変換LUTを用いて、対象胸部X線画像全体の輝度変換を行う。これによって、頻度が多い輝度値の画素による影響を受けず、診断に重要な構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
 (第2実施形態)
 図12は、第2実施形態における、胸部X線画像の階調変換方法を実行する画像階調変換装置100Aの構成を概略的に示すブロック図である。図12の画像階調変換装置100Aは、図1の画像階調変換装置100と比較して、正常モデル格納部103を更に備えるとともに、CPU120に代えてCPU120Aを備え、メモリ121に代えてメモリ121Aを備える。
 正常モデル格納部103(位置メモリの一例に相当)は、構造物間の相対位置関係に関する情報を予め格納する。メモリ121Aは、メモリ121と同様に構成され、例えばROM、RAM、EEPROMなどを含む。メモリ121AのROMは、CPU120Aを動作させる第2実施形態の制御プログラムを記憶する。
 CPU120Aは、メモリ121Aに記憶されている第2実施形態の制御プログラムを実行することによって、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116、解像度変換部109、及び探索領域設定部110として機能する。
 解像度変換部109は、対象胸部X線画像に対し、複数段階の縮小変換を行い、互いに異なる解像度を有する画像群を作成する。解像度変換部109は、作成した画像群を、画像メモリ106に格納する。探索領域設定部110は、構造物検出部111による低解像度の画像に対する構造物の検出結果、及び、正常モデル格納部103に格納された構造物間の相対位置関係に関する情報を利用して、より高解像度の画像に対して、構造物の探索領域を設定する。
 次に、第2実施形態に係る画像階調変換装置100Aにより実行される処理手順が説明される。なお、全体の処理手順は、図3のフローチャートを用いて説明された第1実施形態と同様である。
 図13は、ステップS100(図3)において、第2実施形態に係る画像階調変換装置100Aにより実行される処理手順を概略的に示すフローチャートである。図14は、解像度情報2600を概略的に示す図である。
 図13のステップS101において、解像度変換部109は、ステップS50(図3)で取得された対象胸部X線画像に対し、R(本実施形態では、例えばR=3)段階の縮小画像を作成する。胸部X線画像の解像度は、一般に、一辺が2000~3000画素で構成される。第2実施形態では、対象胸部X線画像の解像度は、例えば、2048×2048である。また、解像度変換部109により作成される3段階の縮小画像の解像度は、例えば、1024×1024、512×512、256×256である。
 この第2実施形態では、最も低解像の画像から順に、解像度iが「0,1,2,3」と定められる。すなわち、256×256の画像の解像度iは「0」であり、512×512の画像の解像度iは「1」であり、1024×1024の画像の解像度iは「2」であり、2048×2048の画像(つまり元画像)の解像度iは「3」である。解像度変換部109は、作成した低解像度の縮小画像を、画像メモリ106に格納する。
 次に、ステップS102において、構造物検出部111は、解像度i=0(即ち最も低解像の256×256)の画像を、構造物検出対象画像として画像メモリ106から読み出す。次に、ステップS103において、構造物検出部111は、解像度情報2600(図14)に基づき、解像度iの画像(最初のステップS103ではi=0の画像)に対応づけられた構造物を検出する。
 図14に示されるように、解像度情報2600は、構造物ID欄2601と、解像度i欄2602とを備える。構造物ID欄2601には、第1実施形態で定義されている構造物IDが「0」~「N-1」のN個の構造物が設定されている。解像度i欄2602には、構造物ID欄2601の構造物に対応して、構造物を検出する際に用いる画像の解像度が定義されている。例えば、構造物IDが「0」の構造物は、解像度iが「0」、つまり解像度が256×256の画像から検出される。なお、図14では、構造物に対して解像度は1つ設定されているが、これに限られない。例えば、構造物によっては、2種類以上の解像度を設定しておき、対応する構造物が、それぞれの解像度の画像で検出されるようにしてもよい。
 構造物検出部111は、第1実施形態と同様に、非特許文献1に開示されているU-Netを用いて、構造物を検出する。U-Netは、上述のように畳み込みニューラルネットワークの一種である。畳み込みニューラルネットワークは、ディープニューラルネットワークの一種である。2層以上の中間層を備えるニューラルネットワークが、ディープニューラルネットワークと称される。ディープニューラルネットワークの機械学習時及び構造物検出時には、画像処理ユニット(GPU)を用いて処理を高速化することが多い。この時、GPUの搭載メモリ量の制限により、高解像の画像は扱えない場合がある。そのような場合、原画像を縮小して解像度を低下させた画像がU-Netに入力されることになる。しかし、その場合には、特に線構造のようなサイズが小さい構造物に対する検出性能が低下する恐れがある。このため、本第2実施形態では、構造物検出部111は、低解像の画像から比較的大きいサイズ(第1サイズの一例に相当)の構造物を検出し、高解像の画像に対しトリミングすることで探索範囲を限定して比較的小さいサイズ(第2サイズの一例に相当)の構造物を検出する。
 図13に戻って、ステップS104において、構造物検出部111は、解像度iをインクリメントする。最初のステップS104ではi=1になる。ステップS105において、構造物検出部111は、解像度iが解像度の上限を超えた(つまりi=R+1)か否かを判定する。解像度iが解像度の上限を超えていれば(ステップS105でYES)、図25の処理が終了し、ステップS100(図3)の処理が終了する。一方、解像度iが解像度の上限を超えていなければ(ステップS105でNO)、処理はステップS106に進む。
 ステップS106において、探索領域設定部110は、図14の解像度情報2600に基づいて、解像度i(最初のステップS106ではi=1)に対応付けられた構造物を全て選定し、解像度iの画像に対し、対応する構造物毎に探索領域を設定する。事前の準備として、図4B、図5B、図6Bに示されるような大量の構造物の二値マスク画像から予め構造物同士の位置関係を求めて正常モデル格納部103に保存しておく。探索領域設定部110は、正常モデル格納部103に保存されている位置関係を読み出して、探索領域の設定に利用する。ステップS106が終了すると、処理はステップS103に戻る。2回目のステップS103において、構造物検出部111は、解像度情報2600(図14)に基づき、解像度iの画像(2回目のステップS103ではi=1の画像)に対応づけられた構造物を検出する。以降は、解像度iが解像度の上限を超えない間(ステップS105でNO)、ステップS103~S106が繰り返される。
 図15は、図13のステップS103~S106の処理を概略的に示す図である。図15において、まず、低解像(i=0)の胸部X線画像Iaから、構造物検出部111によって、構造物Pa,Pbが検出される(ステップS103)。図15の例では、構造物Paは、右肺野であり、構造物Pbは、左肺野である。本実施形態において、胸部X線画像Iaは、第1X線画像の一例に相当し、解像度i=0(256×256)は、第1解像度の一例に相当し、構造物Pa,Pbのサイズは、第1サイズの一例に相当する。
 次に、解像度iがインクリメントされて(ステップS104)、中解像(i=1)の胸部X線画像Ibにおいて、探索領域設定部110によって、探索領域が設定される(ステップS106)。図15の例では、探索領域SA1が示されているが、ステップS106では、解像度iに対応する構造物ID毎に、それぞれ、探索領域が設定される。また、正常モデル格納部103に保存されている、検出対象の構造物IDと、既に検出された構造物(図15の例では構造物Pa又は構造物Pb)との位置関係を用いて、それぞれ、探索領域が設定される。
 次に、中解像(i=1)の胸部X線画像Ibにおいて、探索領域から、構造物検出部111によって、構造物が検出される(ステップS103)。図15の例では、探索領域SA1から検出された構造物Pcが示されているが、ステップS103では、探索領域ごとに、検出対象の構造物が検出される。本実施形態において、胸部X線画像Ibは、第2X線画像の一例に相当し、解像度i=1(512×512)は、第2解像度の一例に相当し、構造物Pcのサイズは、第2サイズの一例に相当する。
 次に、解像度iがインクリメントされて(ステップS104)、高解像(i=2)の胸部X線画像Icにおいて、探索領域設定部110によって、探索領域が設定される(ステップS106)。図15の例では、探索領域SA2が示されているが、ステップS106では、解像度iに対応する構造物ID毎に、それぞれ、探索領域が設定される。また、正常モデル格納部103に保存されている、検出対象の構造物IDと、既に検出された構造物(図15の例では構造物Pa又は構造物Pb)との位置関係を用いて、それぞれ、探索領域が設定される。
 次に、高解像(i=2)の胸部X線画像Icにおいて、探索領域から、構造物検出部111によって、構造物が検出される(ステップS103)。図15の例では、探索領域SA2から検出された構造物Pdが示されているが、ステップS103では、探索領域ごとに、検出対象の構造物が検出される。
 以上のように、本開示の第2実施形態によれば、構造物検出部111として、U-Net等のディープニューラルネットワークを用いる場合、GPUのメモリ量が少ない場合でも、高解像の画像を用いるときは、対象胸部X線画像のサイズより小さいサイズの探索領域を設定しているため、構造物検出性能の低下を抑制することができる。
 さらに、第1実施形態の効果である、頻度が多い輝度値の画素による影響を受けず、診断に重要な構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
 (第3実施形態)
 図16は、第3実施形態における、胸部X線画像の階調変換方法を実行する画像階調変換装置100Bの構成を概略的に示すブロック図である。図16の画像階調変換装置100Bは、図1の画像階調変換装置100と比較して、入力部118を更に備えるとともに、CPU120に代えてCPU120Bを備え、メモリ121に代えてメモリ121Bを備える。
 入力部118は、例えば医師又は放射線技師等のユーザによって操作される。メモリ121Bは、メモリ121と同様に構成され、例えばROM、RAM、EEPROMなどを含む。メモリ121BのROMは、CPU120Bを動作させる第3実施形態の制御プログラムを記憶する。
 CPU120Bは、メモリ121Bに記憶されている第3実施形態の制御プログラムを実行することによって、構造物検出部111、画素抽出部112B、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、表示制御部116、及び通信制御部117として機能する。
 第1実施形態の画素抽出部112は、構造物検出部111により検出されたN個の構造物全ての近傍領域に対応する画素の画素値を抽出する。これに対して、第2実施形態の画素抽出部112Bは、構造物検出部111により検出されたN個の構造物のうち、入力部118を用いてユーザにより選択された構造物の近傍領域に対応する画素の画素値を抽出する。
 図17は、第3実施形態に係る画像階調変換装置100Bにより実行される処理手順を概略的に示すフローチャートである。図17のステップS50,S100は、それぞれ、図3のステップS50,S100と同じである。ステップS100に続くステップS150において、画素抽出部112Bは、構造物検出部111により検出されたN個の構造物のうち、入力部118を用いて指定された構造物を選択する。ステップS250において、画素抽出部112は、選択された構造物毎に、構造物の近傍領域に対応する画素値の集合を抽出する。図17のステップS300~S800は、それぞれ、図3のステップS300~S800と同じである。
 この第3実施形態によれば、ユーザが所望の構造物のコントラストを向上させるような階調変換処理を行うことが可能となる。
 (第4実施形態)
 図18は、第4実施形態における、医療機関内のネットワーク構成410Aを概略的に示すブロック図である。第4実施形態では、図18に示されるように、医療機関のイントラネットワーク400には、サーバ装置500と、表示制御装置600と、医用画像管理システム200と、胸部X線画像撮影装置300と、が接続されている。
 なお、サーバ装置500と、表示制御装置600と、医用画像管理システム200と、胸部X線画像撮影装置300とは、必ずしも、同一の医療機関内のイントラネットワーク400上に接続されている必要はない。表示制御装置600、及び、医用画像管理システム200は、医療機関の外部に設けられたデータセンター、プライベートクラウドサーバ、パブリッククラウドサーバなどの上で動作するソフトウェアであってもよい。
 図18に示されるように、サーバ装置500は、LUT格納部105、画像メモリ106、通信部107、CPU130、メモリ131を備えている。メモリ131は、例えば半導体メモリ等により構成される。メモリ131は、例えばROM、RAM、EEPROMなどを含む。メモリ131のROMは、CPU130を動作させる制御プログラムを記憶する。
 CPU130は、メモリ131に記憶されている制御プログラムを実行することによって、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、及び通信制御部117Aとして機能する。通信制御部117Aは、通信部107を介して、輝度変換部115による輝度変換後の対象胸部X線画像を表示制御装置600へ送信する。
 表示制御装置600(端末装置の一例に相当)は、例えば、タブレット型コンピュータで構成され、医師又は放射線技師などの医療従事者が保持する。図18に示されるように、表示制御装置600は、CPU140と、メモリ141と、画像メモリ142と、通信部143と、ディスプレイ108と、を備える。
 メモリ141は、例えば半導体メモリ等により構成される。メモリ141は、例えばROM、RAM、EEPROMなどを含む。メモリ141のROMは、CPU140を動作させる制御プログラムを記憶する。CPU140は、メモリ141に記憶されている制御プログラムを実行することによって、表示制御部116、通信制御部117Bとして機能する。
 通信制御部117Bは、通信部143を介して、サーバ装置500から送信された輝度変換後の対象胸部X線画像のデータを受信し、受信したデータを画像メモリ142に格納する。表示制御部116は、画像メモリ142に格納された、輝度変換後の対象胸部X線画像をディスプレイ108に表示する。
 この第4実施形態によれば、上記第1実施形態と同様の効果を得ることができる。代替的に、サーバ装置500のCPU130は、構造物検出部111、画素抽出部112、ヒストグラム計算部113、ヒストグラム平滑化部114、輝度変換部115、通信制御部117、解像度変換部109(図12)、探索領域設定部110(図12)として機能するようにしてもよい。この場合には、上記第2実施形態と同様の効果を得ることができる。
 本開示によれば、読影対象である胸部X線画像の診断支援システム、および医学生又は研修医のための読影教育システムに利用可能である。
 100 画像階調変換装置
 105 LUT格納部
 106 画像メモリ
 108 ディスプレイ
 111 構造物検出部
 112 画素抽出部
 113 ヒストグラム計算部
 114 ヒストグラム平滑化部
 115 輝度変換部
 116 表示制御部
 117,117A 通信制御部
 200 医用情報管理システム
 300 胸部X線画像撮影装置
 400 イントラネットワーク
 500 サーバ装置
 600 表示制御装置

Claims (14)

  1.  読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータが、
     前記対象胸部X線画像を取得し、
     前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出し、
     前記構造物の近傍領域に対応する画素集合を抽出する抽出し、
     前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成し、
     前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
     胸部X線画像の階調変換方法。
  2.  前記予め機械学習されたモデルは、画素単位で予測を行うニューラルネットワークを使用して、正常状態の胸部X線画像である学習用胸部X線画像において前記構造物が検出されるように学習されたモデルである、
     請求項1記載の胸部X線画像の階調変換方法。
  3.  前記検出では、
     前記対象胸部X線画像を前記対象胸部X線画像の解像度より低い第1解像度に変換して第1X線画像を作成し、
     前記対象胸部X線画像を前記第1解像度より高く、かつ前記対象胸部X線画像の解像度以下の第2解像度に変換して第2X線画像を作成し、
     前記第1X線画像から第1サイズの前記構造物を検出し、
     前記第1サイズの前記構造物の検出結果に基づき、前記第2X線画像において前記第2X線画像より小さい探索領域を設定し、
     前記探索領域から、前記第1サイズより小さい第2サイズの前記構造物を検出する、
     請求項2記載の胸部X線画像の階調変換方法。
  4.  前記第1サイズの前記構造物の検出では、前記第1X線画像から前記第1サイズの前記構造物として解剖学的構造を検出し、
     前記第2サイズの前記構造物の検出では、前記第2X線画像の前記探索領域から前記第2サイズの前記構造物として前記線構造を検出する、
     請求項3記載の胸部X線画像の階調変換方法。
  5.  前記探索領域の設定では、前記第1サイズの前記構造物と前記第2サイズの前記構造物との相対位置関係が予め保存された位置メモリから読み出した前記相対位置関係を用いて、前記探索領域を設定する、
     請求項3又は4に記載の胸部X線画像の階調変換方法。
  6.  前記抽出では、前記構造物の輪郭線を所定画素数だけ外側及び内側に膨張させた領域を、前記構造物の近傍領域とする、
     請求項1~5のいずれか1項に記載の胸部X線画像の階調変換方法。
  7.  前記抽出では、前記構造物を所定画素数だけ外側に膨張させた領域を、前記構造物の近傍領域とする、
     請求項1~5のいずれか1項に記載の胸部X線画像の階調変換方法。
  8.  前記抽出では、前記検出された前記構造物の全てを使用する、
     請求項1~7のいずれか1項に記載の胸部X線画像の階調変換方法。
  9.  更に、前記検出された前記構造物のうち一部の構造物をユーザが選択し、
     前記抽出では、前記ユーザにより選択された前記一部の構造物のみを使用する、
     請求項1~7のいずれか1項に記載の胸部X線画像の階調変換方法。
  10.  更に、前記輝度変換が行われた後の前記対象胸部X線画像をディスプレイに表示し、
     前記輝度変換では、前記コントラスト変換式と、前記対象胸部X線画像の階調より低い階調に変換する階調削減式とを用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う、
     請求項1~9のいずれか1項に記載の胸部X線画像の階調変換方法。
  11.  読影対象の胸部X線画像である対象胸部X線画像の階調を変換する画像階調変換装置のコンピュータを、
     前記対象胸部X線画像を取得する取得部、
     前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部、
     前記構造物の近傍領域に対応する画素集合を抽出する抽出部、
     前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部、
     前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部、
     として機能させる画像階調変換プログラム。
  12.  読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
     前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
     前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
     前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
     前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
     を備える画像階調変換装置。
  13.  読影対象の胸部X線画像である対象胸部X線画像を取得する取得部と、
     前記対象胸部X線画像において、X線透過率が互いに異なる複数の解剖学的構造が投影されて描出された周囲と輝度が異なる第1線状領域、または、気管もしくは気管支の壁または毛髪線を含む解剖学的構造が投影されて描出された第2線状領域、からなる線構造を含む構造物を、予め機械学習されたモデルを用いて検出する検出部と、
     前記構造物の近傍領域に対応する画素集合を抽出する抽出部と、
     前記画素集合のヒストグラムを用いてヒストグラム平滑化を行うコントラスト変換式を生成する平滑化部と、
     前記コントラスト変換式を用いて、前記対象胸部X線画像全体の各画素値の輝度変換を行う輝度変換部と、
     前記輝度変換が行われた後の前記対象胸部X線画像を、外部の端末装置に送信する通信制御部と、
     を備えるサーバ装置。
  14.  X線画像を取得し、
     前記X線画像において線状領域を検出し、
     前記線状領域の近傍領域を決定し、
     第1の複数の画素の第1の複数の画素値を用いて変換式を生成し、第1の複数の画素は
     前記線状領域に含まれる画素及び前記線状領域の近傍領域に含まれる画素であr、
     前記変換式を用いて、第1の複数の画素値と第2の複数の画素の第2の複数の画素値を複数の変換値に変換し、第2の複数の画素は、(i)前記X線画像に含まれかつ前記線状領域に含まれない画素と(ii)前記X線画像に含まれかつ前記近傍領域に含まれない画素を含み、
     前記変換式は、
    Figure JPOXMLDOC01-appb-M000001
    であり、
     前記zは前記X線画像に含まれる画素値、
     前記q(z)は前記複数の変換値に含まれる前記画素値zの変換値、
     前記H(i)は、前記第1の複数の画素のち、画素値がiである画素の数、
     前記Zmaxは前記X線画像の複数の画素の各々が示し得る最大の画素値、
     前記Aは前記第1の複数の画素の数である
    変換方法。
PCT/JP2019/015880 2018-05-16 2019-04-12 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法 WO2019220825A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020519515A JPWO2019220825A1 (ja) 2018-05-16 2019-04-12 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法
CN201980023262.0A CN111918610A (zh) 2018-05-16 2019-04-12 胸部x线图像的灰度变换方法、灰度变换程序、灰度变换装置、服务器装置以及变换方法
US17/088,657 US11406340B2 (en) 2018-05-16 2020-11-04 Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018094737 2018-05-16
JP2018-094737 2018-05-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/088,657 Continuation US11406340B2 (en) 2018-05-16 2020-11-04 Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method

Publications (1)

Publication Number Publication Date
WO2019220825A1 true WO2019220825A1 (ja) 2019-11-21

Family

ID=68539846

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015880 WO2019220825A1 (ja) 2018-05-16 2019-04-12 胸部x線画像の階調変換方法、画像階調変換プログラム、画像階調変換装置、サーバ装置、及び変換方法

Country Status (4)

Country Link
US (1) US11406340B2 (ja)
JP (1) JPWO2019220825A1 (ja)
CN (1) CN111918610A (ja)
WO (1) WO2019220825A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11406340B2 (en) * 2018-05-16 2022-08-09 Panasonic Corporation Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
JP7314048B2 (ja) 2019-12-26 2023-07-25 綜合警備保障株式会社 学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918611B (zh) * 2018-05-16 2023-12-29 松下控股株式会社 胸部x线图像的异常显示控制方法、记录介质及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259540A (ja) * 2009-04-30 2010-11-18 Canon Inc 画像処理装置及び画像処理方法
JP2012228407A (ja) * 2011-04-27 2012-11-22 Hitachi Medical Corp X線撮影装置
JP2017018339A (ja) * 2015-07-10 2017-01-26 国立大学法人 大分大学 胸部x線画像における肺結節明瞭化法
JP2018000312A (ja) * 2016-06-28 2018-01-11 国立大学法人 大分大学 肺結節明瞭化画像における背景ノイズの抑制方法
JP2018064627A (ja) * 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4579507B2 (ja) * 2003-06-10 2010-11-10 キヤノン株式会社 画像処理装置
CN1879553B (zh) * 2005-06-15 2010-10-06 佳能株式会社 在胸部图像中检测边界的方法及装置
JP2010504129A (ja) * 2006-09-22 2010-02-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 肺結節の高度コンピュータ支援診断
US8233692B2 (en) * 2008-02-27 2012-07-31 Siemens Computer Aided Diagnosis Ltd. Method of suppressing obscuring features in an image
JP5635389B2 (ja) * 2010-12-21 2014-12-03 株式会社日立メディコ 画像処理装置、画像処理プログラム、及びx線画像診断装置
WO2015174206A1 (ja) 2014-05-16 2015-11-19 株式会社 日立メディコ 画像診断装置及び階調情報設定方法
CN106611416B (zh) * 2015-10-19 2020-06-26 上海联影医疗科技有限公司 一种医学图像中肺分割的方法及装置
CN106558045B (zh) * 2016-10-20 2019-07-19 上海联影医疗科技有限公司 一种肺组织分割方法、装置,医学图像处理系统
CN111918610A (zh) * 2018-05-16 2020-11-10 松下电器产业株式会社 胸部x线图像的灰度变换方法、灰度变换程序、灰度变换装置、服务器装置以及变换方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259540A (ja) * 2009-04-30 2010-11-18 Canon Inc 画像処理装置及び画像処理方法
JP2012228407A (ja) * 2011-04-27 2012-11-22 Hitachi Medical Corp X線撮影装置
JP2017018339A (ja) * 2015-07-10 2017-01-26 国立大学法人 大分大学 胸部x線画像における肺結節明瞭化法
JP2018000312A (ja) * 2016-06-28 2018-01-11 国立大学法人 大分大学 肺結節明瞭化画像における背景ノイズの抑制方法
JP2018064627A (ja) * 2016-10-17 2018-04-26 キヤノン株式会社 放射線撮影装置、放射線撮影システム、放射線撮影方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CODEZINE WEB, 7 December 2005 (2005-12-07), Retrieved from the Internet <URL:https://codezine.jp/article/detail/214> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11406340B2 (en) * 2018-05-16 2022-08-09 Panasonic Corporation Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
JP7314048B2 (ja) 2019-12-26 2023-07-25 綜合警備保障株式会社 学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラム

Also Published As

Publication number Publication date
US20210045704A1 (en) 2021-02-18
US11406340B2 (en) 2022-08-09
JPWO2019220825A1 (ja) 2021-06-17
CN111918610A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
US11406340B2 (en) Method for converting tone of chest X-ray image, storage medium, image tone conversion apparatus, server apparatus, and conversion method
JP7081680B2 (ja) 学習済みモデルの製造方法、輝度調整方法および画像処理装置
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP7194143B2 (ja) 肝臓腫瘍例のレビューを容易にするシステムおよび方法
US20150287188A1 (en) Organ-specific image display
CN102024251B (zh) 用于双源ct的基于多图像虚拟非对比图像增强的系统和方法
US11676277B2 (en) Medical image processing apparatus and method
EP2591459B1 (en) Automatic point-wise validation of respiratory motion estimation
CN103918004B (zh) 金属伪影校正算法的自适应应用
JP5709216B2 (ja) 画像処理プログラム、方法及び装置
JP4938427B2 (ja) 脳出血部位体積計算装置
CN104240271A (zh) 医用图像处理装置
JP6747785B2 (ja) 医用画像処理装置及び医用画像処理方法
JP4668289B2 (ja) 画像処理装置および方法並びにプログラム
CN112884792B (zh) 肺部图像分割的方法、装置、电子设备及存储介质
KR20140134903A (ko) 의료 영상 화질 개선 방법 및 그 장치
JP2018524071A (ja) 医用画像を表示するための伝達関数の選択
US20210027430A1 (en) Image processing apparatus, image processing method, and x-ray ct apparatus
JP7456928B2 (ja) 胸部x線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置
CN113299369B (zh) 一种医学图像调窗优化方法
JP2005136594A (ja) 画像処理装置及びその制御方法
JP7275961B2 (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
CN108242049A (zh) 一种针对gpu优化的全尺度dr影像增强处理方法
JP2007190208A (ja) 比較読影支援装置
EP4266255A1 (en) Method and system for generating label of medical image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19803550

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020519515

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19803550

Country of ref document: EP

Kind code of ref document: A1