WO2023032954A1 - 情報処理方法、プログラム及び画像診断装置 - Google Patents

情報処理方法、プログラム及び画像診断装置 Download PDF

Info

Publication number
WO2023032954A1
WO2023032954A1 PCT/JP2022/032521 JP2022032521W WO2023032954A1 WO 2023032954 A1 WO2023032954 A1 WO 2023032954A1 JP 2022032521 W JP2022032521 W JP 2022032521W WO 2023032954 A1 WO2023032954 A1 WO 2023032954A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
image
degree
line
region
Prior art date
Application number
PCT/JP2022/032521
Other languages
English (en)
French (fr)
Inventor
樹 小池
佑 陣内
カンカナマゲ カウシャリヤ マーデワ ピツワラ
隆 東
Original Assignee
株式会社Lily MedTech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Lily MedTech filed Critical 株式会社Lily MedTech
Publication of WO2023032954A1 publication Critical patent/WO2023032954A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an information processing method, a program, and an image diagnosis apparatus in ultrasound image diagnosis.
  • a diagnostic system using non-invasive ultrasound is widely used in the medical field as a technology for diagnosing information inside a subject because it does not require a surgical operation that involves direct incision and observation of the living body.
  • Ultrasound CT Computed Tomography
  • a method of ultrasonic diagnosis irradiates the subject with ultrasonic waves and creates a tomographic image of the subject using scattered waves and transmitted waves.
  • Patent Literature 1 a large number of ultrasonic transducers for transmission and reception are arranged in a ring shape so as to surround a subject, and three-dimensional imaging is automatically performed while moving the transducer vertically.
  • the acquired tomographic image is interpreted by a diagnostician.
  • a doctor makes a diagnosis by detecting predetermined diagnostic imaging findings.
  • As a device to support image interpretation it acquires inspection images from a medical imaging device, detects abnormal areas such as tumors in the images through image processing and machine learning processing, and supports image diagnosis by presenting them to doctors.
  • a diagnostic support device has been developed to
  • a normal construction model representing the normal structure (direction) of the mammary gland from the nipple inside the breast to the pectoralis major muscle is calculated from the mammary X-ray image, and a Gabor Filter is applied to the mammary X-ray image. is applied to extract the direction of the mammary gland, and by comparing the direction of the original normal mammary gland with the extracted mammary gland direction, it is possible to determine whether there is disorder in mammary gland architecture.
  • Breast image lesion detection Systems and the like are disclosed.
  • Disordered mammary gland architecture is one of the imaging findings of breast cancer, and the spicule structure observed when tissue around the tumor concentrates on the tumor serves as one indicator for detection.
  • Tomographic imaging by ultrasonic CT has the characteristics of a scattered image using reflected waves obtained by a conventional handheld ultrasonic device, and can acquire a 3D volumetric image of the entire target site like X-ray CT. .
  • diagnostic imaging findings for breast cancer look different depending on the type of imaging device. For example, the mammary glands and lesions appear white in X-ray mammography, but the mammary glands are white and the lesions are dark in ultrasound images.
  • the reflected wave image obtained by the existing handheld ultrasonic device part of the surrounding tissue cannot be observed due to the posterior shadow of the lesion, but in the ultrasonic CT, the whole structure of the surrounding tissue of the lesion can be imaged.
  • ultrasonic waves are transmitted to the lesion from one side, so the opposite side of the lesion is shadowed when viewed from the transmitting array. because it cancels out. Therefore, in ultrasonic CT images, it is desired to have a diagnostic support function for easily identifying diagnostic findings corresponding to diagnostic findings in existing diagnostic images.
  • An object of one aspect is to provide an information processing method and the like that can suitably identify structural disturbances such as spicules in three-dimensional ultrasonic imaging.
  • An information processing method acquires a plurality of frame images obtained by imaging a cross section of a breast at a plurality of positions, calculates a line concentration degree indicating the degree of concentration of line structures for each point in each frame image, extracting from each of the frame images an area where the degree of line concentration is greater than or equal to a certain level, and determining whether or not the construction disturbance in each of the frame images is a false positive according to the amount of movement of the extracted area between the frame images;
  • the computer executes the process of determining
  • FIG. 1 is a block diagram showing a configuration example of an image processing apparatus;
  • FIG. FIG. 4 is an explanatory diagram showing an outline of a detection model;
  • FIG. 10 is an explanatory diagram regarding false positive determination processing;
  • FIG. 4 is an explanatory diagram showing a process of calculating a line concentration degree;
  • FIG. 10 is an explanatory diagram showing a process of calculating a line concentration degree according to the distance between a point of interest and each point;
  • FIG. 10 is an explanatory diagram relating to correction processing of the line concentration degree according to the directional distribution;
  • FIG. 10 is an explanatory diagram relating to center bias correction processing;
  • FIG. 11 is an explanatory diagram showing a display screen of a spicule detection result; 7 is a flow chart showing the procedure of detection model generation processing. 4 is a flowchart showing the procedure of spicule detection processing; FIG. 10 is an explanatory diagram showing another example of the process of calculating the degree of line concentration; FIG. 11 is a flowchart showing another example of the procedure of spicule detection processing; FIG.
  • FIG. 1 is an explanatory diagram showing a configuration example of a diagnostic imaging system.
  • an image diagnostic system for detecting spicules (arrangement disorder) from an image obtained by imaging a cross-section of a subject's breast will be described.
  • the diagnostic imaging system includes a server 1 and a diagnostic imaging device 2 .
  • the server 1 and the diagnostic imaging apparatus 2 are connected via a network N for communication.
  • a breast is given as an example of a body part targeted for image diagnosis, but other body parts may be used.
  • the event to be detected may be a disturbance in the architecture of the mammary gland, and the disturbance in the architecture is not limited to what is called a spicula.
  • the server 1 is a server computer capable of various information processing and transmission/reception of information.
  • a device corresponding to the server 1 is not limited to a server computer, and may be, for example, a personal computer.
  • the server 1 performs machine learning to learn predetermined training data, so that when a plurality of frame images obtained by imaging a cross-section of the breast at a plurality of positions is input, an area with spicules (hereinafter referred to as " It functions as a generation device that generates a detection model 50 (see FIG. 4) for detecting the "spicule region".
  • the data of the detection model 50 generated by the server 1 is installed in the diagnostic imaging apparatus 2, and the diagnostic imaging apparatus 2 uses the detection model 50 to detect the spicule region from the captured image.
  • the diagnostic imaging apparatus 2 is an imaging diagnostic apparatus for ultrasonic echo examination, and includes an image processing device 20 and an imaging device 30 .
  • the image processing apparatus 20 is a computer that functions as a console for the diagnostic imaging apparatus 2, and generates (reconstructs) and displays an ultrasound image of a breast section. Note that the image processing apparatus 20 is not limited to a computer (console) for ultrasonic image diagnosis, and may be a general-purpose computer such as a personal computer.
  • the imaging device 30 is an imaging device that transmits and receives ultrasonic signals. As shown in FIG. 1, the imaging device 30 is configured to be able to image the breast of the subject lying face down. Specifically, the imaging device 30 has a bed-like shape, and a top plate 31 is provided with a hole 32 for inserting a breast. A water tank 33 is provided below the hole 32 , and the subject inserts the breast into the water tank 33 through the hole 32 .
  • a ring array 34 is provided in the water tank 33 .
  • the ring array 34 is a ring-shaped transducer array including a plurality of ultrasonic elements (transducers).
  • a plurality of ultrasonic elements are arranged at equal intervals in the ring array 34, and each ultrasonic element transmits an ultrasonic signal and receives a reflected wave.
  • the image processing apparatus 20 reconstructs reflected wave data in a plurality of directions obtained from each ultrasonic element to generate an ultrasonic image (frame image) of one section. Since the intensity of the reflected wave signal varies depending on the difference in acoustic impedance that occurs at the tissue boundary, the reconstructed reflected wave image expresses tissue and lesion boundary information and tissue density in terms of brightness.
  • the ring array 34 is configured to be vertically movable, and the diagnostic imaging apparatus 2 vertically moves the ring array 34 to capture ultrasound images at each position (height) of the breast.
  • the ultrasonic diagnostic system described in Cited Document 1 can be adopted as the diagnostic imaging apparatus 2 according to the present embodiment.
  • the diagnostic imaging apparatus 2 is not limited to the above configuration.
  • an image diagnostic device using a handy scanner may be used instead of the bed-type imaging device 30, an image diagnostic device using a handy scanner.
  • ultrasound images are used as images of the breast, but images of other modalities such as X-ray images (mammography, etc.) may be used.
  • This is an apparatus for acquiring a plurality of frame images obtained by imaging a cross section of a subject at a plurality of positions, and for imaging a continuous biological structure, wherein the slice images of the XY plane are continuously reconstructed on the third axis. Any three-dimensional medical image that
  • the imaging device 2 uses the imaging device 30 to image a cross-section of the breast that is substantially perpendicular to the direction from the nipple to the pectoralis major muscle.
  • the image diagnostic apparatus 2 uses the above-described detection model 50 to detect a spicule region in which mammary gland architecture is disturbed from a captured image.
  • the image diagnostic apparatus 2 detects the spicule region by inputting to the detection model 50 three-dimensional volume data composed of frame images obtained by imaging a cross section of the breast at a plurality of positions. By inputting a plurality of frame images as one piece of data to the detection model 50, it is possible to detect the spicule region while referring to the information of the preceding and succeeding frames.
  • the image diagnostic apparatus 2 determines whether the detection result of the spicule region by the detection model 50 is valid, that is, whether it is false positive, as will be described later. Specifically, the image diagnostic apparatus 2 calculates a line concentration degree indicating the degree of concentration of line structures for each point in each frame image. Then, the image diagnostic apparatus 2 determines whether or not the spicule region detected by the detection model 50 is a false positive, according to the amount of movement between frames of the region with a certain degree of line concentration or more.
  • the server 1 generates (learns) the detection model 50, but the local diagnostic imaging apparatus 2 may generate the detection model 50.
  • the diagnostic imaging apparatus 2 detects the spicule region and determines the false positive, but the server 1 on the cloud may perform the processing. In other words, the distinction between the two is for convenience, and a single computer may perform a series of processes.
  • a cross section of the breast that is substantially perpendicular to the direction from the nipple to the pectoralis major muscle is imaged, but cross sections in other directions (eg, sagittal cross section, axial cross section) are imaged.
  • FIG. 2 is a block diagram showing a configuration example of the server 1.
  • the server 1 includes a control section 11 , a main storage section 12 , a communication section 13 and an auxiliary storage section 14 .
  • the control unit 11 has a processor such as one or more CPU (Central Processing Unit), MPU (Micro-Processing Unit), GPU (Graphics Processing Unit), etc., and reads out the program P1 stored in the auxiliary storage unit 14. By executing it, various information processing is performed.
  • the main storage unit 12 is a temporary storage area such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), etc., and temporarily stores data necessary for the control unit 11 to execute arithmetic processing.
  • the communication unit 13 is a communication module for performing processing related to communication, and transmits and receives information to and from the outside.
  • the auxiliary storage unit 14 is a non-volatile storage area such as a large-capacity memory or hard disk, and stores a program P1 and other data necessary for the control unit 11 to execute processing.
  • the auxiliary storage unit 14 may be an external storage device connected to the server 1.
  • the server 1 may be a multicomputer consisting of a plurality of computers, or may be a virtual machine virtually constructed by software.
  • the server 1 is not limited to the configuration described above, and may include, for example, an input unit for receiving operation inputs, a display unit for displaying images, and the like.
  • the server 1 may also include a reader for reading a non-temporary computer-readable recording medium 1a, and read the program P1 from the recording medium 1a.
  • the program P1 may be executed on a single computer, or may be executed on a plurality of computers interconnected via a network N.
  • FIG. 3 is a block diagram showing a configuration example of the image processing device 20.
  • the image processing apparatus 20 includes a control section 21 , a main storage section 22 , a communication section 23 , a display section 24 , an input section 25 , a transmission/reception section 26 , an image processing section 27 and an auxiliary storage section 28 .
  • the control unit 21 has one or more processors such as CPUs, and performs various information processing by reading and executing the program P2 stored in the auxiliary storage unit 28 .
  • the main storage unit 22 is a temporary storage area such as a RAM, and temporarily stores data necessary for the control unit 21 to execute arithmetic processing.
  • the communication unit 23 is a communication module for performing processing related to communication, and transmits and receives information to and from the outside.
  • the display unit 24 is a display screen such as a liquid crystal display, and displays images.
  • the input unit 25 is an operation interface such as a keyboard and a mouse, and receives operation input from the user.
  • the transmitter/receiver 26 controls the ultrasonic elements of the ring array 34 and transmits/receives ultrasonic signals.
  • the image processing unit 27 is a module that performs image processing, reconstructs reflected wave data received by the ultrasonic element, and generates an ultrasonic image.
  • the auxiliary storage unit 28 is a non-volatile storage area such as a hard disk or large-capacity memory, and stores the program P2 and other data necessary for the control unit 21 to execute processing.
  • the auxiliary storage unit 28 also stores a detection model 50 .
  • the detection model 50 is a machine learning model that has already learned predetermined training data, and has been trained to detect a spicule region in which structural disturbance occurs when three-dimensional volume data consisting of a plurality of frame images is input. is a model of The detection model 50 is assumed to be used as a program module forming part of artificial intelligence software.
  • the image processing apparatus 20 may include a reading unit that reads the non-temporary computer-readable recording medium 2a, and may read the program P2 from the recording medium 2a. Also, the program P2 may be executed on a single computer, or may be executed on a plurality of computers interconnected via a network N.
  • FIG. 4 is an explanatory diagram showing an overview of the detection model 50. FIG. The outline of this embodiment will be described below.
  • FIG. 4 illustrates how a spicule region is detected when a plurality of frame images obtained by imaging cross sections of a breast at a plurality of positions are input to the detection model 50 .
  • the detection model 50 is a trained model that detects a spicule area when three-dimensional volume data consisting of a plurality of frame images is input.
  • the detection model 50 is a neural network generated by deep learning, and is a Faster R-CNN, which is a type of CNN (Convolution Neural Network).
  • the detection model 50 may be a neural network other than Faster R-CNN. Also, the detection model 50 may be a model based on other learning algorithms such as a decision tree, random forest, SVM (Support Vector Machine), or the like.
  • the server 1 generates the detection model 50 by using the training data labeled with the correct spicule region for the training 3D volume data group.
  • the three-dimensional volume data is image data obtained by imaging the breast of the subject with the imaging device 30, and is a group of frame images obtained by imaging cross sections of the breast at a plurality of positions.
  • the server 1 uses, as a three-dimensional volume data group for training, a group of frame images obtained by imaging the breasts of each of a plurality of subjects along one direction (the direction from the nipple to the pectoralis major muscle).
  • the label given to the three-dimensional volume data is data indicating the correct coordinate range of the spicule area, and is a label set by a medical professional (doctor, etc.) so as to surround the spicule area for each frame image, for example. .
  • the server 1 generates a detection model 50 using training data labeled with a spicule area for each frame image that constitutes the three-dimensional volume data.
  • the server 1 generates a detection model 50 that detects a spicule region from three-dimensional volume data by providing the detection model 50 with a plurality of frame images as one input data set. That is, the server 1 uses three-dimensional data obtained by arranging each two-dimensional frame image along the imaging position (the height of the ring array 34) as an input for the detection model 50, as shown on the left side of FIG. This makes it possible to detect the spicule area in each frame image by referring to the features (construction disturbance) of the preceding and succeeding frame images.
  • the detection model 50 When three-dimensional volume data is input, the detection model 50 outputs the detection result of the spicule region. Specifically, the detection model 50 outputs a rectangular bounding box surrounding the spicule region and a mask representing the inside of the boundary of the spicule region for each frame image. Since the detection model 50 according to the present embodiment is Faster R-CNN, the detection model 50 outputs both the bounding box and the mask, but the detection model 50 outputs only one of them. good too.
  • the server 1 detects the spicule region by inputting the training 3D volume data into the detection model 50 .
  • the server 1 compares the detected spicule region with the correct label, and updates parameters such as weights between neurons so that the two approximate each other.
  • the server 1 sequentially inputs each piece of three-dimensional volume data for training to the detection model 50 to update the parameters, and finally generates the detection model 50 with optimized parameters.
  • the data of the detection model 50 generated by the server 1 is installed in the diagnostic imaging apparatus 2 .
  • the diagnostic imaging device 2 uses the detection model 50 to detect the spicule region. That is, the image diagnostic apparatus 2 detects the spicule region by inputting three-dimensional volume data composed of a plurality of frame images into the detection model 50 .
  • FIG. 5 is an explanatory diagram regarding false positive determination processing.
  • the diagnostic imaging apparatus 2 determines whether or not the detection result of the spicule region by the detection model 50 is valid, that is, whether or not it is false positive, based on the amount of movement between frames of the region where line structures are concentrated. Judge accordingly.
  • the image diagnostic apparatus 2 calculates the degree of line concentration at each point in each frame image, and determines how much the region having the calculated degree of line concentration above a certain level moves between frames. Calculate When the image diagnostic apparatus 2 determines that the amount of movement is equal to or greater than a predetermined threshold value, the image diagnostic apparatus 2 determines that the spicule region corresponding to that region is false positive.
  • FIG. 5 a map representing the degree of line concentration of each point in a frame image (hereinafter referred to as a “line concentration degree map”) is shown on the left side, and the movement path between frames of areas where the degree of line concentration is equal to or greater than a certain level is shown. Frame images are shown on the right. Based on FIG. 5, the outline of the false positive determination process will be described.
  • the diagnostic imaging apparatus 2 calculates the degree of line concentration of each point in the frame image for each frame image.
  • the line convergence degree is a numerical value indicating the degree of concentration of line structures.
  • a line structure is a linear structure (edge) that appears in a frame image, and corresponds to a linear tissue such as a mammary gland. Since spicules are concentrated in tumors in peripheral tissues such as mammary glands, it is possible to extract a region that is strongly suspected to be spicules depending on the degree of line concentration.
  • the diagnostic imaging apparatus 2 calculates the degree of line concentration by applying a predetermined image filter to the frame image.
  • the diagnostic imaging apparatus 2 uses a Gabor filter for extracting a specific direction component from an image as an image filter.
  • the filter function g(x, y) of the Gabor filter is defined by the following equation (1).
  • ⁇ x and ⁇ y represent the standard deviation of the Gaussian function
  • f 0 represents the frequency of the trigonometric function. Since the Gabor filter (filter function g) itself is not much different from a known one, detailed description is omitted in this embodiment.
  • the diagnostic imaging apparatus 2 applies the Gabor filter to the frame image to extract the direction and intensity of the line structure at each point in the frame image.
  • the image diagnostic apparatus 2 applies a plurality of Gabor filters with different extraction directions ⁇ (Orientation) to the frame image, and extracts the filter function g(x, y) corresponding to each direction ⁇ and the A direct product h(x, y) with the pixel value f(x, y) is calculated.
  • the image diagnostic apparatus 2 extracts the maximum value of h(x, y) as the strength of the line structure, and extracts the direction ⁇ in which h(x, y) is maximum as the direction of the line structure.
  • the diagnostic imaging apparatus 2 has 8 angles of 0°, 22.5°, 45°, .
  • a directional Gabor filter is provided.
  • the diagnostic imaging apparatus 2 extracts the direction and intensity of the line structure by applying eight types of Gabor filters to one frame image.
  • the diagnostic imaging apparatus 2 calculates the degree of line concentration of each point (each point of interest) in the frame image based on the direction and intensity of the line structure extracted above. A specific method for calculating the degree of line concentration will be described later.
  • the diagnostic imaging apparatus 2 generates a line-concentration degree map representing the line-concentration degree of each point, as shown on the left side of FIG.
  • the actual line concentration map is represented by a heat map in which the value of each point (pixel) changes continuously, in FIG. , and other portions are shown in white.
  • the diagnostic imaging apparatus 2 extracts a region with a certain or higher line concentration degree from the generated line concentration degree map. That is, the diagnostic imaging apparatus 2 extracts a region where there is a high possibility that spicules (disordered construction) have occurred.
  • the diagnostic imaging apparatus 2 determines whether or not the spicule region detected by the detection model 50 is false positive according to the amount of movement of the extracted region between frames. Specifically, the image diagnostic apparatus 2 identifies the center (center of gravity) coordinates of an area where the degree of line concentration is equal to or greater than a certain value from each frame image, and determines the moving distance and/or moving speed between frames of the identified center Accordingly, it is determined whether the spicule region is a false positive.
  • the moving path of the center of the area where the degree of line concentration is equal to or higher than a certain value is illustrated by a polygonal line.
  • the image diagnostic apparatus 2 extracts a predetermined number of continuous frame images, and averages the total moving distance (total length of polygonal line) of the center from the first frame to the last frame and/or the moving speed between two adjacent frames. Calculate the value.
  • the image diagnostic apparatus 2 determines whether or not the calculated moving distance and/or moving speed are equal to or greater than a predetermined threshold. If the moving distance and/or moving speed are equal to or greater than the threshold, the diagnostic imaging apparatus 2 determines that the result is false positive. If the moving distance and/or moving speed are less than the threshold, the diagnostic imaging apparatus 2 determines positive.
  • the diagnostic imaging apparatus 2 compares the spicule region detected by the detection model 50 with regions where the degree of line concentration is equal to or greater than a certain value, and identifies the latter region that overlaps with the spicule region.
  • the image diagnostic apparatus 2 determines whether or not the spicule region is false positive according to the amount of movement of the specified region. For example, the diagnostic imaging apparatus 2 outputs (displays) the spicule region determined as not false-positive as the final detection result of the spicule region (see FIG. 10). Note that the image diagnostic apparatus 2 may output the spicule region determined to be false positive so as to be identifiable from the spicule region determined not to be false positive.
  • erroneous detection can be reduced by judging an area with a movement amount equal to or greater than a threshold value as a false positive. For example, when applying a learner trained with a data set in which the average and median values of the amount of movement are 10 mm or less when the slice interval is 1 mm, a spicule with a movement amount of 10 mm or more at a slice interval of 1 mm is false. Determine positive.
  • FIG. 6 is an explanatory diagram showing the process of calculating the degree of line concentration.
  • FIG. 6 conceptually illustrates the process of calculating the line concentration degree according to the present embodiment.
  • the image diagnostic apparatus 2 performs several processes on the line structure extraction result by the Gabor filter and then calculates the line concentration degree for the purpose of detecting spicules. A method for calculating the degree of line concentration will be described with reference to FIG.
  • the diagnostic imaging apparatus 2 extracts the direction (Orientation) and strength (Magnitude) of the line structure at each point in the frame image from each frame image.
  • an intensity map (intensity distribution) and a direction map (direction distribution) of the line structure in the frame image are generated as shown in the second row from the top of FIG.
  • the actual intensity map and direction map are represented by heat maps, in FIG. 6, the intensity of the line structure is shown by a line and the direction of the line structure is shown by an arrow for convenience.
  • the diagnostic imaging apparatus 2 performs predetermined preprocessing on the intensity map. Specifically, for each point (pixel) in the frame image, the image diagnostic apparatus 2 calculates the average value of the intensity of each point and the intensity of the surrounding points of each point. and the intensity of For example, the diagnostic imaging apparatus 2 uses the average intensity of 6 ⁇ 6 points (pixels) including the target point as the intensity of each target point.
  • the diagnostic imaging apparatus 2 binarizes the intensity of each point according to whether the averaged intensity of each point is equal to or greater than a predetermined threshold. Specifically, the diagnostic imaging apparatus 2 sets a threshold from the intensity distribution of the entire frame image using the Otsu Method, sets the intensity of points above the threshold to "1", and assigns the intensity of points below the threshold to "1". Set to '0'. Note that the values to be binarized are not limited to “1” and “0”, and may be different values depending on whether they are equal to or greater than the threshold.
  • the diagnostic imaging apparatus 2 calculates the product of the binarized intensity of each point and the direction of each point. That is, the diagnostic imaging apparatus 2 generates a new map by multiplying the binarized intensity map shown in FIG. 6 by the direction map. Since the intensity is binarized, the map means a directional distribution in which line structures of points with intensities below the threshold are reduced (abstracted) and line structures with intensities above the threshold are emphasized.
  • the product of the binarized intensity and direction is referred to as the "Masked Orientation" in the sense of the direction in which the line structure whose intensity is less than the threshold is reduced (abstracted).
  • the diagnostic imaging apparatus 2 generates a mask direction map (distribution of mask direction) that emphasizes line structures whose intensity is equal to or greater than the threshold.
  • the diagnostic imaging apparatus 2 generates the final line concentration degree map shown in the bottom of FIG. 6 based on the generated mask direction map.
  • the mask direction is extracted by taking the product of the direction of the line structure and the intensity, and the line concentration degree is calculated from the distribution of the mask direction.
  • the line concentration degree may be calculated from the directional distribution of line structures obtained primarily. That is, the diagnostic imaging apparatus 2 only needs to be able to extract at least the direction of the line structure from the frame image and calculate the line concentration degree based on the direction of the extracted line structure. is not essential.
  • FIG. 7 is an explanatory diagram showing the process of calculating the line concentration degree according to the distance between the point of interest and each point. Based on FIG. 7, the details of processing when calculating the degree of line concentration from the mask direction will be described.
  • the image diagnostic apparatus 2 takes each point in the frame image as a point of interest, and obtains a relative vector connecting the point of interest and each point other than the point of interest.
  • the diagnostic imaging apparatus 2 calculates the line concentration degree by taking the inner product value of the relative vector and the mask direction (line structure direction) at another point that is the starting point of the relative vector.
  • the diagnostic imaging apparatus 2 selects a point Q within a certain distance from the target point P, specifically, from a predetermined inner diameter A to an outer diameter B
  • the line concentration is calculated based on the mask direction at the point Q within the range of .
  • the image diagnostic apparatus 2 obtains a relative vector between the target point P and the point Q, and calculates an inner product value of the relative vector and the mask direction at the point Q.
  • FIG. The diagnostic imaging apparatus 2 calculates the inner product values for all the points Q within the range from the inner diameter A to the outer diameter B, and calculates the average value of the inner product values for each point Q.
  • FIG. The image diagnostic apparatus 2 uses the calculated average value as the line concentration degree of the target point P.
  • the image diagnostic apparatus 2 when calculating the degree of line concentration as described above, the image diagnostic apparatus 2 weights the inner product value of each point Q so that line structures closer to the point of interest P are more important. I do. Specifically, when calculating the inner product value of the relative vector and the mask direction for each point Q, the image diagnostic apparatus 2 multiplies the value by a distance function d(r) that increases as the distance r from the point Q decreases. Thus, weighting is performed.
  • the distance function d(r) is defined, for example, by Equation (2) below.
  • ⁇ in formula (2) is a constant.
  • the image diagnostic apparatus 2 multiplies the distance function d(r), which is designed to increase as the distance r is shorter, to calculate the line concentration degree with more emphasis placed on the line structure closer to the target point P. make it
  • FIG. 8 is an explanatory diagram relating to correction processing of the line concentration degree according to the directional distribution.
  • the image diagnostic apparatus 2 performs weighting according to the variation (distribution) of line structures toward the point of interest in order to extract an area where line structures are concentrated from all directions. Specifically, the image diagnostic apparatus 2 calculates an index value for evaluating the degree to which the line structures directed toward the point of interest are evenly distributed in all directions (a plurality of directions), and determines whether the calculated index value is large or small. corrects the line convergence according to
  • the diagnostic imaging apparatus 2 corrects the degree of line concentration of the target point P according to the calculated entropy. Specifically, the diagnostic imaging apparatus 2 corrects the line concentration to be higher as the entropy is larger.
  • index value is not limited to this, and may be another value (for example, the average value of probability values Pi ).
  • FIG. 9 is an explanatory diagram relating to center bias correction processing.
  • the image diagnostic apparatus 2 further performs correction in order to reduce the influence of a tendency (bias) in which line structures such as mammary glands concentrate toward the center of the breast in a region closer to the center of the breast.
  • bias a tendency in which line structures such as mammary glands concentrate toward the center of the breast in a region closer to the center of the breast.
  • the diagnostic imaging apparatus 2 images a cross section that is substantially perpendicular to the direction from the papilla to the pectoralis major muscle.
  • the mammary glands radiate from the nipple toward the circumference, in the image captured by the imaging device 30, line structures naturally concentrate toward the center of the breast regardless of the presence or absence of spicules. It will be.
  • spicule detection based on line convergence without correction produces many false positives in the central region of the breast. Therefore, the image diagnostic apparatus 2 performs the following processing in order to reduce the influence of line structures concentrating on the center of the breast.
  • the diagnostic imaging apparatus 2 normalizes the line concentration degree so that the line concentration degree is constant (for example, 1) when the line structure faces the point of interest at all points.
  • the image diagnostic apparatus 2 first detects the boundary between the breast and the area other than the breast from the frame image, and generates a map (upper left) in which the breast and the area other than the breast are binarized.
  • the image diagnostic apparatus 2 multiplies (weights) this map by a predetermined distance function so that the map becomes higher as it approaches the center of the breast. Generate a map for customization (upper right).
  • the diagnostic imaging apparatus 2 normalizes the line concentration degree by dividing the line concentration degree map (bottom left) by the generated normalization map. That is, the image diagnostic apparatus 2 corrects the line concentration degree by dividing the line concentration degree of each point in the line concentration degree map by the value of each point in the normalization map. As a result, the value is normalized to 1 when the line structure faces the point of interest at all points, and the influence of the center bias is reduced.
  • the diagnostic imaging apparatus 2 performs certain processing on the extraction result of the Gabor filter in accordance with the spicule detection, and then calculates the degree of line concentration. As described with reference to FIG. 5, the diagnostic imaging apparatus 2 extracts from the line-concentration degree map a region having a line-concentration degree greater than or equal to a certain level, and the spicules detected by the detection model 50 are calculated according to the amount of movement of the region between frames. Determine if the region is a false positive.
  • FIG. 10 is an explanatory diagram showing the display screen of the spicule detection result.
  • the image diagnostic apparatus 2 displays the screen illustrated in FIG. 10 .
  • the image diagnostic apparatus 2 displays a breast image on which a label representing the spicule area is superimposed on the screen. Specifically, the image diagnostic apparatus 2 displays a frame image in which a bounding box surrounding the spicule region and a translucent mask for coloring the inside of the spicule region are superimposed. In FIG. 10, for the sake of convenience, the state in which the spicule area is colored is illustrated by hatching. The diagnostic imaging apparatus 2 superimposes a bounding box and a mask on the spicule regions detected by the detection model 50, excluding the spicule regions determined as false positives.
  • the image diagnostic apparatus 2 displays a probability value (indicated by "Pred” in FIG. 10) representing the probability of the detection result of the spicule region, output from the detection model 50, in association with each spicule region. Furthermore, the diagnostic imaging apparatus 2 highlights spicule regions with probability values equal to or greater than a predetermined value (eg, 90% or greater). For example, as shown in FIG. 10, the diagnostic imaging apparatus 2 thickens the bounding box corresponding to the spicule region whose probability value is greater than or equal to a predetermined value, and changes the mask color of the spicule region. For example, the image diagnostic apparatus 2 displays a change button 101 at the bottom of the screen, and switches to another frame image according to an operation input to the change button 101 .
  • a predetermined value eg, 90% or greater
  • the image diagnostic apparatus 2 displays a display button 102 for displaying the positive/false positive judgment result of the spicule area on the screen.
  • the diagnostic imaging apparatus 2 displays the positive/false positive determination result of the spicule region based on the line concentration degree on the breast image.
  • the image diagnostic apparatus 2 superimposes and displays the movement path object (folded line) illustrated on the right side of FIG. 5 on the breast image illustrated on the right side of FIG.
  • the image diagnostic apparatus 2 displays the inter-frame movement path of the area where the degree of line concentration is equal to or greater than a certain value.
  • a medical professional who browses breast images can objectively determine why the labeled region was determined as positive and why the other regions were determined as false positive.
  • the image diagnostic apparatus 2 determines the display mode of the object (for example, line color) may be changed.
  • two-dimensional frame images are displayed as final detection results. may be generated and a label representing the spicule area may be superimposed on the three-dimensional image.
  • the image diagnostic apparatus 2 superimposes a grid-shaped bounding box surrounding the three-dimensional spicule region and superimposes a three-dimensional mask for coloring the spicule region.
  • the image diagnostic apparatus 2 only needs to be able to display breast images on which labels representing spicule regions are superimposed based on captured images (a plurality of frame images), and the breast images are not limited to two-dimensional frame images. .
  • a spicule region is detected from a plurality of frame images, and whether or not the spicule region is a false positive is determined according to the amount of movement between frames of a region with a high degree of line concentration. judge.
  • the spicule region is a false positive is determined according to the amount of movement between frames of a region with a high degree of line concentration. judge.
  • the diagnostic imaging apparatus 2 uses a machine learning model (detection model 50) as means for detecting the spicule region, but the spicule region may be detected based on rules.
  • the diagnostic imaging apparatus 2 may detect a region having a certain degree of line concentration or more as a spicule region.
  • the diagnostic imaging apparatus 2 determines whether or not the spicule region detected by its own device is a false positive. It may be determined whether or not the spicule region designated by (medical worker) is a false positive. That is, the image diagnostic apparatus 2 only needs to be able to determine whether or not the spicule region (construction disorder) in each frame image is a false positive, and the configuration for detecting the spicule region to be determined is not essential. .
  • FIG. 11 is a flow chart showing the procedure of generation processing of the detection model 50 . Based on FIG. 11, processing for generating the detection model 50 by machine learning will be described.
  • the control unit 11 of the server 1 acquires training data to which a label representing a correct spicule region is added to a group of three-dimensional volume data for training (step S11).
  • the three-dimensional volume data for training is a group of frame images obtained by imaging cross-sections of the subject's breast at a plurality of positions.
  • the control unit 11 acquires training data in which a label representing the correct coordinate range of the spicule area is assigned to each frame image that constitutes the three-dimensional volume data.
  • the control unit 11 Based on the training data, the control unit 11 generates a detection model 50 that detects a spicule area in which construction is disturbed when three-dimensional volume data consisting of a plurality of frame images is input (step S12). For example, the control unit 11 generates Faster R-CNN as the detection model 50 . The control unit 11 detects the spicule region by inputting the three-dimensional volume data for training to the detection model 50 . The control unit 11 generates a detection model 50 by comparing the detected spicule region with the correct label and optimizing the weights between neurons so that the two approximate each other. The control unit 11 ends the series of processes.
  • FIG. 12 is a flow chart showing the procedure of spicule detection processing. Based on FIG. 12, processing for detecting the spicule region will be described.
  • the control unit 21 of the image diagnostic apparatus 2 acquires a plurality of frame images obtained by capturing cross sections of the breast at a plurality of positions (step S31). Specifically, as described above, the control unit 21 generates a group of frame images obtained by transmitting/receiving an ultrasonic signal and capturing a plurality of cross-sections perpendicular to the direction from the papilla to the pectoralis major muscle. get.
  • the control unit 21 detects the spicule region in which the construction is disturbed by inputting the three-dimensional volume data composed of the acquired multiple frame images into the detection model 50 (step S32).
  • the control unit 21 extracts the direction and intensity of the line structure at each point in the frame image from each frame image (step S33). Specifically, the control unit 21 applies a plurality of Gabor filters with different extraction directions ⁇ to the frame image to obtain the direction (orientation) of the line structure at each point in the frame image and the strength of the line structure ( Magnitude) and extract.
  • the control unit 21 calculates the degree of line concentration at each point in each frame image based on the direction and intensity of the extracted line structure (step S34). Specifically, the control unit 21 calculates the average value of the intensity of each point and the intensity of the points surrounding each point, and determines whether or not the calculated average value is equal to or greater than a predetermined threshold value. Binarize the intensity of each point in the image. The control unit 21 extracts the mask direction by taking the product of the binarized intensity and the direction extracted in step S33. The control unit 21 takes each point in the frame image as a point of interest, obtains a relative vector between each point within a predetermined distance from the point of interest and the point of interest, and calculates the relative vector and the inner product value of the mask direction.
  • control unit 21 weights the inner product value corresponding to each point using a distance function that becomes higher as the distance between the point of interest and other points is shorter.
  • the control unit 21 calculates the line concentration degree of the point of interest by calculating the average value of the weighted inner product values.
  • the control unit 21 corrects the line concentration degree so that the line structure toward the point of interest is more evenly distributed in all directions (a plurality of directions) (step S35). Specifically, the control unit 21 divides the circular region centered on the point of interest into a plurality of fan-shaped regions corresponding to a plurality of extraction directions ⁇ , and determines the direction of the line structure at each point in each fan-shaped region. , the probability value of the line structure directed from each direction to the point of interest is calculated. Based on the calculated probability value, the control unit 21 calculates an index value (entropy) representing the degree to which the line structure toward the point of interest is evenly distributed in each direction, Correct concentration.
  • an index value entropy
  • the control unit 21 normalizes (corrects) the line concentration degree so that the line concentration degree is constant when the line structure faces the point of interest at all points (step S36). Specifically, the control unit 21 generates a normalization map in which the value of each point in the frame image is set such that the value increases from the periphery to the center of the breast, and each point in the normalization map The line concentration is corrected by dividing the line concentration at each point by the value of the point.
  • the control unit 21 extracts from each frame image an area with a certain degree of line concentration or higher (step S37). Then, the control unit 21 determines whether or not the spicule region detected in step S32 is a false positive according to the inter-frame movement amount of the extracted region (step S38). Specifically, as described above, the control unit 21 determines that the spicule region is a false positive when the movement distance and/or movement speed between frames of the spicule region is equal to or greater than a predetermined threshold value.
  • the control unit 21 displays, on the display unit 24, a breast image in which a label is superimposed on the spicule region determined not to be false positive (step S39). Specifically, the control unit 21 displays a frame image in which a bounding box surrounding the spicule region and a translucent mask for coloring the inside of the spicule region are superimposed. Further, the control unit 21 superimposes an object (folded line) representing the inter-frame movement path of the region with the degree of line concentration equal to or higher than a certain level on the frame image. The control unit 21 ends the series of processes.
  • FIG. 13 is an explanatory diagram showing another example of the process of calculating the degree of line concentration.
  • the image diagnostic apparatus 2 extracts the direction and intensity of the line structure at each point in the image from each generated integrated image, and as shown in the third row from the top in FIG. Generate intensity and orientation maps of the structure.
  • the integrated image is generated, for example, by calculating the average value of the brightness (pixel value) of each pixel of the frame images for each five frame images, and using the calculated average value as the pixel value of each pixel.
  • the number of frame images for which the integrated image is generated is not limited to 5, and may be any number from 3 to 7, or the integrated image may be generated by another method.
  • FIG. 14 is a flowchart showing another example of the procedure of spicule detection processing.
  • the process shown in FIG. 14 is obtained by adding steps S41 to S49 between steps S31 and S32 in the process shown in FIG. Description of the same steps as in FIG. 12 will be omitted.
  • step S31 when a plurality of frame images obtained by imaging cross sections of a plurality of positions of the breast are acquired (step S31), the control unit 21 of the image diagnostic apparatus 2 integrates the acquired frame images every predetermined number. An integrated image is generated (step S41). For example, when 3D volume data of 60 frame images is obtained in step S31, the control unit 21 performs the above-described integration process every 5 images to generate 12 integrated images. Then, the control unit 21 executes the processes of steps S42 to S47 based on the generated integrated images (for example, 12 integrated images). The processing of steps S42-S47 is the same as that of steps S32-S37.
  • the detection model used for detecting the spicule region in the integrated image has the same configuration as the detection model 50 shown in FIG. is a model learned using training data to which a label representing a spicule region in the integrated image is assigned to each integrated image that constitutes the three-dimensional volume data for training.
  • the three-dimensional volume data for training here is an integrated image group obtained by integrating a plurality of frame images captured by the imaging device 30 for each predetermined number of images. is the label integrated into .
  • the labels accumulated for each predetermined number of frames are data including, for example, all of the correct coordinate ranges of the spicule regions indicated by the labels assigned to each frame image.
  • a detection model for detecting a spicule region is generated when three-dimensional volume data composed of a plurality of integrated images is input.
  • Such a detection model is also generated by the server 1 and installed in the diagnostic imaging apparatus 2 . Therefore, the control unit 21 of the image diagnostic apparatus 2 detects the spicule region by inputting the three-dimensional volume data of the multiple accumulated images generated in step S41 to such a detection model (step S42).
  • control unit 21 extracts the direction and intensity of the line structure at each point in the integrated image generated in step S41 from each integrated image (step S43), and based on the extracted direction and intensity of the line structure, each A line concentration degree at each point in the integrated image is calculated (step S44). In addition, the control unit 21 corrects the line concentration degree so that the more evenly the line structures toward the point of interest are distributed in all directions (a plurality of directions), the higher the line concentration (step S45). The degree of line concentration is normalized so that the degree of line concentration is constant when facing the point of interest (step S46). Then, the control unit 21 extracts a region having a certain degree of line concentration or more from each integrated image (step S47).
  • step S47 the control unit 21 determines whether or not a region with a certain or more line concentration degree is extracted from the integrated image (whether or not there is an extraction region) (step S48), and determines that there is no extraction region. If so (step S48: NO), the series of processes is terminated.
  • step S48 the control unit 21 selects the frame image used for generating the integrated image for which it is determined that there is an extraction region as the processing target in the false positive determination processing in step S38.
  • the image is identified (step S49). Note that the control unit 21 selects, in addition to the integrated image determined to have an extraction region, the frame images used to generate three integrated images including the integrated image and the two integrated images whose imaging positions are before and after the frame image to be processed. You can specify the image. After that, the control unit 21 executes the processing of steps S32 to S39 on the frame image specified as the processing target.
  • the imaging device 30 continuously images the subject's breast cross section at a plurality of positions.
  • the image diagnostic apparatus 2 generates images of coronal, sagittal, and axial slices of the breast based on three-dimensional volume data composed of a plurality of frame images captured in succession.
  • the diagnostic imaging apparatus 2 calculates the degree of line concentration for each point in the generated cross-sectional image. Then, the image diagnostic apparatus 2 calculates the total line concentration degree of each point in the frame image based on the line concentration degree of each image. For example, the image diagnostic apparatus 2 calculates the comprehensive line concentration degree according to the following formula (4).
  • Line concentration (line concentration of coronal section) x 2 + (line concentration of sagittal section) x 1 + (line concentration of axial section) x 1 ... (4)
  • Modification 3 Before applying a Gabor filter (image filter) to a frame image, an image is smoothed by applying an edge extraction filter as preprocessing.
  • a predetermined DoG (Difference of Gaussians) filter for example, is applied to the edge extraction filtering process.
  • Structural disturbances such as spicula tend to have a certain degree of contrast, such as higher or lower brightness compared to the surroundings.
  • this local contrast is detected by applying a DoG filter.
  • preprocessing means described in the following non-patent document can be applied.
  • T. Handa, X. Zhang, N.Homma, T. Ishibashi, Y. Kawasumi, M. Abe, N. Sugita and M. Yoshizawa “DoG-Based Datection of Architectural Distortion in Mammographic Images for Computer-Aided Detection”, Proc of SICE Annual Conference, 2012, p.762-767, https://ieeexplore.ieee.org/abstract/document/6318541
  • the image diagnostic apparatus 2 first generates a smoothed image L( x , y, ⁇ ).
  • L(x, y, ⁇ ) G( xG , yG , ⁇ )*I(x, y) (5)
  • x G and y G represent the kernel distances to the target position (x, y), respectively.
  • the Gaussian kernel is defined by the following equation (6).
  • ⁇ is the standard deviation of the two-dimensional Gaussian kernel. Regions with locally high contrast in the breast frame image have high values on the image Dk after DoG filtering. Therefore, it becomes easier to detect structural disturbances such as spicules.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

情報処理方法は、乳房の断面を複数位置で撮像した複数のフレーム画像を取得し、各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出し、前記線集中度が一定以上の領域を前記各フレーム画像から抽出し、抽出した領域の前記各フレーム画像間の移動量に応じて、前記各フレーム画像における構築の乱れが偽陽性であるか否かを判定する処理をコンピュータが実行する。

Description

情報処理方法、プログラム及び画像診断装置
　本発明は、超音波画像診断における、情報処理方法、プログラム及び画像診断装置に関する。
　非侵襲性である超音波による診断システムは、生体を直接切開して観察する外科手術の必要がないため、被検体内部の情報を診断する技術として医療分野で広く用いられている。
　超音波診断の一手法である超音波ＣＴ（Computed Tomography）は、超音波を被検体に照射し、散乱波や透過波を用いて被検体の断層画像を作成するものであり、近年の研究により、乳癌の検出に有用性があることが示されている。例えば、特許文献１では、送受信を行う多数の超音波振動子をリング状に被検体を取り囲むように配置し、これを上下方向に移動させながら、自動的に三次元撮像を行う。
　取得された断層像は、診断医によって読影される。医師は所定の画像診断所見を検出する事で診断を行う。読影を支援する装置として、医療画像撮像装置から検査画像を取得し、画像処理や機械学習処理を通じて画像中に含まれる腫瘍等の異常領域を検出し、医師等に提示することにより画像診断を支援する診断支援装置が開発されている。
　例えば特許文献２では、乳房内部の乳頭から大胸筋へ向かう乳腺の正常な構造（方向）を表す正常構築モデルを乳房Ｘ線画像から計算すると共に、乳房Ｘ線画像にガボールフィルタ（Gabor Filter）を適用することで乳腺の方向を抽出し、本来の正常な乳腺の方向と、抽出した乳腺の方向とを比較することで、乳腺の構築の乱れがあるか否かを判定する乳房画像病変検出システム等が開示されている。乳腺の構築の乱れは、乳癌の画像診断所見の一つであり、腫瘍周辺の組織が腫瘍に集中することで観察されるスピキュラ構造が、検出のための１つの指標となる。
国際公開第２０１７／０５１９０３号 特許第６２５６９５４号公報
　超音波ＣＴによる断層撮像では、従来のハンドヘルド型超音波装置によって得られる反射波を用いた散乱像の特徴を有しつつ、Ｘ線ＣＴのように対象部位全体を３Ｄ撮像したボリューム画像を取得できる。しかしながら、乳癌用画像診断所見は撮像装置種類により見え方がことなる。例えば、Ｘ線マンモグラフィでは乳腺と病変が白く映るが、超音波画像では乳腺は白く病変は暗い。また、既存のハンドヘルド超音波装置による反射波像では、病変の後方陰影により周辺組織の一部が観測できないが、超音波ＣＴでは、病変の周辺組織の全容が撮像される。これは、前者は、病変に対し一方から超音波が送信されるため、送信アレイから見て病変の反対側が陰となるが、後者は、病変を取り囲む全方位から超音波を照射するため影が打ち消されるからである。従って、超音波ＣＴ画像においては、既存の診断画像の診断所見に相当する診断所見を容易に特定するための診断支援機能が望まれる。
　一つの側面では、３次元超音波撮像においてスピキュラ等の構築の乱れを好適に特定することができる情報処理方法等を提供することを目的とする。
　一つの側面に係る情報処理方法は、乳房の断面を複数位置で撮像した複数のフレーム画像を取得し、各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出し、前記線集中度が一定以上の領域を前記各フレーム画像から抽出し、抽出した領域の前記各フレーム画像間の移動量に応じて、前記各フレーム画像における構築の乱れが偽陽性であるか否かを判定する処理をコンピュータが実行する。
　一つの側面では、スピキュラ等の構築の乱れを好適に特定することができる。
画像診断システムの構成例を示す説明図である。 サーバの構成例を示すブロック図である。 画像処理装置の構成例を示すブロック図である。 検出モデルの概要を示す説明図である。 偽陽性判定処理に関する説明図である。 線集中度の算出過程を示す説明図である。 注目点と各点との距離に応じた線集中度の算出過程を示す説明図である。 方向分布に応じた線集中度の補正処理に関する説明図である。 中心バイアスの補正処理に関する説明図である。 スピキュラの検出結果の表示画面を示す説明図である。 検出モデルの生成処理の手順を示すフローチャートである。 スピキュラ検出処理の手順を示すフローチャートである。 線集中度の算出過程の他の例を示す説明図である。 スピキュラ検出処理の手順の他の例を示すフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態）
　図１は、画像診断システムの構成例を示す説明図である。本実施の形態では、被検者の乳房の断面を撮像した画像からスピキュラ（構築の乱れ）を検出する画像診断システムについて説明する。画像診断システムは、サーバ１及び画像診断装置２を含む。サーバ１及び画像診断装置２は、ネットワークＮを介して通信接続されている。
　なお、本実施の形態では画像診断の対象とする生体部位の一例として乳房を挙げるが、他の生体部位であってもよい。
　また、本実施の形態では検出対象として「スピキュラ」を挙げるが、検出対象となる事象は乳腺の構築の乱れであればよく、構築の乱れはスピキュラと呼ばれるものに限定されない。
　サーバ１は、種々の情報処理、情報の送受信が可能なサーバコンピュータである。なお、サーバ１に相当する装置はサーバコンピュータに限定されず、例えばパーソナルコンピュータ等であってもよい。本実施の形態においてサーバ１は、所定の訓練データを学習する機械学習を行うことで、乳房の断面を複数位置で撮像した複数のフレーム画像を入力した場合に、スピキュラがある領域（以下、「スピキュラ領域」と呼ぶ）を検出する検出モデル５０（図４参照）を生成する生成装置として機能する。サーバ１が生成した検出モデル５０のデータは画像診断装置２にインストールされており、画像診断装置２は、検出モデル５０を用いて撮像画像からスピキュラ領域を検出する。
　画像診断装置２は、超音波エコー検査のための画像診断装置であり、画像処理装置２０及び撮像装置３０を備える。画像処理装置２０は、画像診断装置２のコンソールとして機能するコンピュータであり、乳房断面の超音波画像を生成（再構成）して表示する。なお、画像処理装置２０は超音波画像診断用のコンピュータ（コンソール）に限定されず、パーソナルコンピュータ等の汎用コンピュータであってもよい。
　撮像装置３０は、超音波信号の送受信を行う撮像装置である。図１に示すように、撮像装置３０は、被検者がうつ伏せになった状態で乳房を撮像可能に構成されている。具体的には、撮像装置３０はベッド状の形状を有し、天板３１に乳房を挿入するための孔３２が設けられている。孔３２の下方には水槽３３が設けられ、被検者は孔３２から水槽３３に乳房を挿入する。
　水槽３３には、リングアレイ３４が設けられている。リングアレイ３４は、複数の超音波素子（トランスデューサ）を備えるリング状の振動子アレイである。リングアレイ３４には複数の超音波素子が等間隔で配置され、各超音波素子は超音波信号を送信すると共に、反射波を受信する。画像処理装置２０は、各超音波素子から得た複数方向の反射波データを再構成することで、一断面の超音波画像（フレーム画像）を生成する。反射波信号は組織の境界線に生じる音響インピーダンスの差によって強度が異なる為、再構成された反射波像では、組織や病変の境界情報、組織内の密度が輝度で表現される。リングアレイ３４は上下方向に移動可能に構成されており、画像診断装置２はリングアレイ３４を上下に移動させて乳房の各位置（高さ）における超音波画像を撮像する。
　本実施の形態に係る画像診断装置２として、引用文献１に記載の超音波診断システムを採用することができる。
　なお、画像診断装置２は上記の構成に限定されない。例えばベッド型の撮像装置３０に代えて、ハンディスキャナを用いた画像診断装置としてもよい。
　また、本実施の形態では乳房の撮像画像として超音波画像を用いるが、Ｘ線画像（マンモグラフィ等）のように、他のモダリティの画像を用いてもよい。ようは、被検体の断面を複数位置で撮像した複数のフレーム画像を取得し、連続した生体構造を撮像する装置であって、ＸＹ面のスライス画像を第三の軸上に連続して再構成する三次元医療画であればよい。
　画像診断装置２は撮像装置３０により、乳頭から大胸筋に向かう方向とほぼ直交する乳房の断面を撮像する。本実施の形態において画像診断装置２は、上述の検出モデル５０を用いて、乳腺の構築の乱れが生じているスピキュラ領域を撮像画像から検出する。具体的には、画像診断装置２は、乳房の断面を複数位置で撮像した各フレーム画像から成る３次元ボリュームデータを検出モデル５０に入力することで、スピキュラ領域を検出する。複数のフレーム画像を一のデータとして検出モデル５０に入力することで、前後のフレームの情報を参照しながらスピキュラ領域を検出することができる。
　更に画像診断装置２は、後述の如く、検出モデル５０によるスピキュラ領域の検出結果が妥当であるか否か、すなわち偽陽性でないかを判定する。具体的には、画像診断装置２は、各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出する。そして画像診断装置２は、線集中度が一定以上の領域のフレーム間の移動量に応じて、検出モデル５０で検出したスピキュラ領域が偽陽性であるか否かを判定する。
　なお、本実施の形態ではサーバ１が検出モデル５０の生成（学習）を行うものとするが、ローカルの画像診断装置２が検出モデル５０を生成するようにしてもよい。また、本実施の形態では画像診断装置２がスピキュラ領域の検出及び偽陽性の判定を行うものとするが、クラウド上のサーバ１が当該処理を実行するようにしてもよい。すなわち、両者の区別は便宜的なものであり、単一のコンピュータが一連の処理を行うようにしてもよい。
　また、本実施の形態では乳頭から大胸筋に向かう方向とほぼ直交する乳房の断面（いわゆるコロナル断面）を撮像するものとするが、他の方向の断面（例えばサジタル断面、アキシャル断面）を撮像してもよい。
　図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
　制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。
　なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。
　また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、非一時的なコンピュータ読取可能な記録媒体１ａを読み取る読取部を備え、記録媒体１ａからプログラムＰ１を読み込んでもよい。また、プログラムＰ１は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。
　図３は、画像処理装置２０の構成例を示すブロック図である。画像処理装置２０は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、送受信部２６、画像処理部２７、及び補助記憶部２８を備える。
　制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２８に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。送受信部２６は、リングアレイ３４の超音波素子を制御し、超音波信号を送受信する。画像処理部２７は、画像処理を行うモジュールであり、超音波素子で受信した反射波データを再構成し、超音波画像を生成する。
　補助記憶部２８は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。また、補助記憶部２８は、検出モデル５０を記憶している。検出モデル５０は、所定の訓練データを学習済みの機械学習モデルであり、複数のフレーム画像から成る３次元ボリュームデータを入力した場合に、構築の乱れが生じているスピキュラ領域を検出するよう学習済みのモデルである。検出モデル５０は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。
　なお、画像処理装置２０は、非一時的なコンピュータ読取可能な記録媒体２ａを読み取る読取部を備え、記録媒体２ａからプログラムＰ２を読み込んでもよい。また、プログラムＰ２は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。
　図４は、検出モデル５０の概要を示す説明図である。以下では本実施の形態の概要を説明する。
　図４では、乳房の断面を複数位置で撮像した複数のフレーム画像を検出モデル５０に入力した場合に、スピキュラ領域を検出する様子を図示している。検出モデル５０は、複数のフレーム画像から成る３次元ボリュームデータを入力した場合に、スピキュラ領域を検出するよう学習済みのモデルである。例えば検出モデル５０は、深層学習により生成されるニューラルネットワークであり、ＣＮＮ（Convolution Neural Network；畳み込みニューラルネットワーク）の一種であるＦａｓｔｅｒ　Ｒ－ＣＮＮである。
　なお、検出モデル５０はＦａｓｔｅｒ　Ｒ－ＣＮＮ以外のニューラルネットワークであってもよい。また、検出モデル５０は、決定木、ランダムフォレスト、ＳＶＭ（Support Vector Machine）等の他の学習アルゴリズムに基づくモデルであってもよい。
　サーバ１は、訓練用の３次元ボリュームデータ群に対し、正解のスピキュラ領域を示すラベルが付与された訓練データを用いて、検出モデル５０を生成する。３次元ボリュームデータは、被検者の乳房を撮像装置３０で撮像した画像データであり、乳房の複数位置の断面を撮像したフレーム画像群である。サーバ１は、複数の被検者それぞれの乳房を一方向（乳頭から大胸筋に向かう方向）に沿って撮像したフレーム画像群を、訓練用の３次元ボリュームデータ群として用いる。３次元ボリュームデータに付与されるラベルは、スピキュラ領域の正解の座標範囲を示すデータであり、例えば医療従事者（医師等）が各フレーム画像に対してスピキュラ領域を囲むように設定したラベルである。サーバ１は、３次元ボリュームデータを構成する各フレーム画像に対し、スピキュラ領域を表すラベルが付与された訓練データを用いて検出モデル５０を生成する。
　サーバ１は、複数のフレーム画像を一の入力データセットとして検出モデル５０に与えることで、３次元ボリュームデータからスピキュラ領域を検出する検出モデル５０を生成する。すなわち、サーバ１は、図４左側に示すように、２次元の各フレーム画像を撮像位置（リングアレイ３４の高さ）に沿って並べた３次元データを、検出モデル５０の入力に用いる。これにより、前後のフレーム画像の特徴（構築の乱れ）を参照して、各フレーム画像におけるスピキュラ領域を検出することができる。
　３次元ボリュームデータが入力された場合、検出モデル５０は、スピキュラ領域の検出結果を出力する。具体的には、検出モデル５０は、スピキュラ領域を囲む矩形状のバウンディングボックスと、スピキュラ領域の境界内部を表すマスクとをフレーム画像毎に出力する。なお、本実施の形態に係る検出モデル５０がＦａｓｔｅｒ　Ｒ－ＣＮＮであるため、検出モデル５０はバウンディングボックス及びマスクの双方を出力するが、検出モデル５０は何れか一方のみを出力するものであってもよい。
　サーバ１は、訓練用の３次元ボリュームデータを検出モデル５０に入力することで、スピキュラ領域を検出する。サーバ１は、検出したスピキュラ領域を正解のラベルと比較し、両者が近似するように、ニューロン間の重み等のパラメータを更新する。サーバ１は、訓練用の各３次元ボリュームデータを検出モデル５０に順次入力してパラメータを更新し、最終的にパラメータを最適化した検出モデル５０を生成する。
　画像診断装置２には、サーバ１が生成した検出モデル５０のデータがインストールされている。撮像装置３０により被検者の乳房を撮像した場合、画像診断装置２は、検出モデル５０を用いてスピキュラ領域を検出する。すなわち、画像診断装置２は、複数のフレーム画像から成る３次元ボリュームデータを検出モデル５０に入力することで、スピキュラ領域を検出する。
　図５は、偽陽性判定処理に関する説明図である。本実施の形態において画像診断装置２は、検出モデル５０によるスピキュラ領域の検出結果が妥当であるか否か、すなわち偽陽性でないかを、線構造が集中している領域のフレーム間の移動量に応じて判定する。
　具体的には、画像診断装置２は、各フレーム画像内の各点における線集中度を算出し、算出した線集中度が一定以上の領域がフレーム間でどの程度移動しているか、その移動量を算出する。そして画像診断装置２は、移動量が所定の閾値以上であると判定した場合、その領域に対応するスピキュラ領域が偽陽性であると判定する。
　図５では、フレーム画像内の各点の線集中度を表すマップ（以下、「線集中度マップ」と呼ぶ）を左側に、線集中度が一定以上の領域のフレーム間における移動経路を表したフレーム画像を右側に図示する。図５に基づき、偽陽性判定処理の概要を説明する。
　画像診断装置２は、フレーム画像内の各点の線集中度を、フレーム画像毎に算出する。線集中度は、線構造の集中度合いを示す数値である。線構造は、フレーム画像に現れる線状の構造（エッジ）であり、乳腺等の線状組織に相当する。スピキュラは、乳腺等の周辺組織が腫瘍に集中するものであるため、線集中度の高低により、スピキュラの疑いが強い領域を抽出することができる。
　画像診断装置２は、フレーム画像に所定の画像フィルタを適用することで線集中度を算出する。本実施の形態において画像診断装置２は、画像フィルタとして、特定方向成分を画像から抽出するガボールフィルタを用いる。画像の横軸をｘ軸、縦軸をｙ軸とした場合、ガボールフィルタのフィルタ関数ｇ（ｘ，ｙ）は、以下の式（１）で規定される。
Figure JPOXMLDOC01-appb-M000001
　なお、σｘ及びσｙはガウス関数の標準偏差、ｆ０は三角関数の周波数を表す。ガボールフィルタ（フィルタ関数ｇ）自体は公知のものと大きな差異はないため、本実施の形態では詳細な説明省略する。
　画像診断装置２は、ガボールフィルタをフレーム画像に適用することで、フレーム画像内の各点における線構造の方向及び強度を抽出する。具体的には、画像診断装置２は、抽出方向θ（Orientation）が互いに異なる複数のガボールフィルタをフレーム画像に適用し、各方向θに対応するフィルタ関数ｇ（ｘ，ｙ）と、フレーム画像の画素値ｆ（ｘ，ｙ）との直積ｈ（ｘ，ｙ）を算出する。例えば画像診断装置２は、ｈ（ｘ，ｙ）の最大値を線構造の強度、ｈ（ｘ，ｙ）が最大となる方向θを線構造の方向として抽出する。
　本実施の形態において画像診断装置２は、画像の水平方向（ｘ軸方向）を０°として、０°、２２．５°、４５°、…１５７．５°の、２２．５°刻みの８方向のガボールフィルタを用意してある。画像診断装置２は、一のフレーム画像に対し８通りのガボールフィルタを適用することで、線構造の方向及び強度を抽出する。
　画像診断装置２は、上記で抽出した線構造の方向及び強度に基づき、フレーム画像内の各点（各注目点）の線集中度を算出する。具体的な線集中度の算出方法については後述する。
　上述の処理により、画像診断装置２は、図５左側に示すように、各点の線集中度を表す線集中度マップを生成する。なお、実際の線集中度マップは各点（画素）の値が連続的に変化するヒートマップで表現されるが、図５では図示の便宜上、線集中度が高い部分（領域）にハッチングを付し、その他の部分を白抜きで図示している。
　画像診断装置２は、生成した線集中度マップから、線集中度が一定以上の領域を抽出する。すなわち、画像診断装置２は、スピキュラ（構築の乱れ）が生じている可能性が高い領域を抽出する。
　画像診断装置２は、抽出した領域のフレーム間の移動量に応じて、検出モデル５０が検出したスピキュラ領域が偽陽性であるか否かを判定する。具体的には、画像診断装置２は、線集中度が一定以上の領域の中心（重心）座標を各フレーム画像から特定し、特定した中心座標のフレーム間の移動距離、及び／又は移動速度に応じて、スピキュラ領域が偽陽性であるか否かを判定する。
　図５右側には、線集中度が一定以上である領域の中心の移動経路を、折れ線で図示している。例えば画像診断装置２は、連続する所定数のフレーム画像を取り出し、最初のフレームから最後のフレームに至る中心の総移動距離（折れ線の総長）、及び／又は隣り合う２フレーム間の移動速度の平均値を算出する。画像診断装置２は、算出した移動距離及び／又は移動速度が所定の閾値以上であるか否かを判定する。移動距離及び／又は移動速度が閾値以上である場合、画像診断装置２は偽陽性であると判定する。移動距離及び／又は移動速度が閾値未満である場合、画像診断装置２は陽性であると判定する。
　例えば画像診断装置２は、検出モデル５０が検出したスピキュラ領域と、線集中度が一定以上である領域とを比較して、スピキュラ領域と重複する後者の領域を特定する。画像診断装置２は、特定した領域の移動量に応じて、スピキュラ領域が偽陽性であるか否かを判定する。例えば画像診断装置２は、偽陽性でないと判定したスピキュラ領域を、最終的なスピキュラ領域の検出結果として出力（表示）する（図１０参照）。なお、画像診断装置２は、偽陽性であると判定したスピキュラ領域も、偽陽性でないと判定したスピキュラ領域と識別可能に出力するようにしてもよい。スピキュラの中心がフレーム間で大きく移動することは考えにくいため、移動量が閾値以上の領域を偽陽性と判定することで、誤検出を減らすことができる。例えば、スライス間隔１ｍｍのとき、移動量の平均値・中央値は１０ｍｍ以下となるデータセットで学習した学習器を適用する場合、スライス間隔１ｍｍで移動量が１０ｍｍ以上移動しているスピキュラは、偽陽性と判定する。
　図６は、線集中度の算出過程を示す説明図である。図６では、本実施の形態に係る線集中度の算出過程を概念的に図示している。本実施の形態において画像診断装置２は、スピキュラの検出という目的に合わせて、ガボールフィルタによる線構造の抽出結果にいくつかの処理を施した上で、線集中度を算出する。図６に基づき、当該線集中度の算出方法について説明する。
　上述の如く、画像診断装置２は、フレーム画像内の各点における線構造の方向（Orientation）及び強度（Magnitude）を各フレーム画像から抽出する。これにより、図６の上から２段目に図示するように、フレーム画像内の線構造の強度マップ（強度の分布）と、方向マップ（方向の分布）とが生成される。なお、実際の強度マップ及び方向マップはヒートマップで表現されるが、図６では便宜上、線構造の強度を線で、線構造の方向を矢印で図示している。
　ここで画像診断装置２は、強度マップに対して所定の前処理を行う。具体的には、画像診断装置２は、フレーム画像内の各点（画素）について、各点の強度と、各点の周辺点の強度との平均値を算出し、算出した点を対象の点の強度とする。例えば画像診断装置２は、対象の点を含む６×６の点（画素）の強度の平均値を、各対象点の強度とする。
　更に画像診断装置２は、平均化した各点の強度が所定の閾値以上であるか否かに応じて、各点の強度を二値化する。具体的には、画像診断装置２は大津法（Otsu Method）を用いてフレーム画像全体の強度分布から閾値を設定し、当該閾値以上の点の強度を「１」、閾値未満の点の強度を「０」に設定する。なお、二値化する値は「１」及び「０」に限定されず、閾値以上であるか否かに応じて異なる値であればよい。
　スピキュラの発見に、線自体の明るさ、太さ等は関係性が低いと考えられる。そのため、強度を二値化（及び平均化）することで偽陽性を減らすことが期待できる。
　画像診断装置２は、二値化した各点の強度と、各点の方向との積を算出する。すなわち、画像診断装置２は、図６に示す二値化後の強度マップと、方向マップとを乗算した、新たなマップを生成する。強度が二値化されているため、当該マップは、強度が閾値未満の点の線構造を低減（捨象）し、強度が閾値以上の線構造を強調した方向分布を意味する。
　以下の説明では便宜上、二値化した強度と方向との積を、強度が閾値未満の線構造を低減（捨象）した方向という意味で、「マスク方向」（Masked Orientation）と呼ぶ。
　このように、画像診断装置２は、強度が閾値以上の線構造を強調したマスク方向マップ（マスク方向の分布）を生成する。画像診断装置２は、生成したマスク方向マップに基づき、図６最下段に示す最終的な線集中度マップを生成する。
　なお、本実施の形態では線構造の方向及び強度の積を取ることでマスク方向を抽出し、そのマスク方向の分布から線集中度を算出するものとするが、強度に応じた方向（マスク方向）の抽出を行わず、一次的に取得した線構造の方向分布から線集中度を算出するものとしてもよい。すなわち、画像診断装置２は、フレーム画像から少なくとも線構造の方向を抽出し、抽出した線構造の方向に基づいて線集中度を算出可能であればよく、線構造の強度も用いて線集中度を算出する構成は必須ではない。
　図７は、注目点と各点との距離に応じた線集中度の算出過程を示す説明図である。図７に基づき、マスク方向から線集中度を算出する際の処理内容について説明する。
　画像診断装置２は、フレーム画像内の各点を注目点として、当該注目点と、注目点以外の他の各点とを結ぶ相対ベクトルを取る。画像診断装置２は、当該相対ベクトルと、相対ベクトルの始点である他の点でのマスク方向（線構造の方向）との内積値を取ることで、線集中度を算出する。
　具体的な算出過程を、図７左側に概念的に図示する。フレーム画像内の任意の注目点Ｐについて線集中度を算出する場合、画像診断装置２は、注目点Ｐから一定の距離内にある点Ｑ、具体的には、所定の内径Ａから外径Ｂの範囲内にある点Ｑでのマスク方向を元に線集中度を算出する。画像診断装置２は、注目点Ｐと点Ｑとの相対ベクトルを取り、当該相対ベクトルと、点Ｑでのマスク方向との内積値を算出する。画像診断装置２は、内径Ａから外径Ｂの範囲内にある全ての点Ｑについて内積値を算出し、各点Ｑに係る内積値の平均値を算出する。画像診断装置２は、算出した平均値を注目点Ｐの線集中度とする。
　本実施の形態において画像診断装置２は、上記のようにして線集中度を算出する場合に、注目点Ｐに近い位置にある線構造ほど重視するように、各点Ｑに係る内積値の重み付けを行う。具体的には、画像診断装置２は、各点Ｑについて相対ベクトルとマスク方向との内積値を算出する際に、点Ｑからの距離ｒが近いほど高くなる距離関数ｄ（ｒ）を乗算することで、重み付けを行う。距離関数ｄ（ｒ）は、例えば以下の式（２）で規定される。
Figure JPOXMLDOC01-appb-M000002
　なお、式（２）のβは定数である。図７右側に、点Ｑからの距離ｒに応じて距離関数ｄ（ｒ）が変化する様子を、ハッチングで概念的に図示している。画像診断装置２は、距離ｒが近いほど高くなるように設計された距離関数ｄ（ｒ）を乗算することで、注目点Ｐに近い位置にある線構造ほど重視して線集中度を算出するようにする。
　図８は、方向分布に応じた線集中度の補正処理に関する説明図である。画像診断装置２は更に、全方位から線構造が集中する領域を抽出するべく、注目点に向かう線構造のばらつき（分布）に応じた重み付けを行う。具体的には、画像診断装置２は、注目点に向かう線構造が全方位（複数の方向）に均等に分布している度合いを評価するための指標値を算出し、算出した指標値の大小に応じて、線集中度を補正する。
　例えば画像診断装置２は、図８に示すように、注目点Ｐを中心とする所定距離内の円領域を、ガボールフィルタの抽出方向θに合わせて、所定角度（２２．５°）ずつ複数の扇状領域に分割する。そして画像診断装置２は、扇状領域内の各点における線構造から、注目点Ｐに向かう方向成分を抽出することで、扇状領域内の各点から注目点Ｐに向かう線構造の確率値Ｐｉ（ｉは各扇状領域の番号。ｉ＝１，２，３，…８）を算出する。画像診断装置２は、注目点Ｐに向かう線構造が全ての扇状領域に均等に分布しているか、その度合いを表す指標値として、以下の式（３）で示すエントロピーを算出する。
Figure JPOXMLDOC01-appb-M000003
　画像診断装置２は、算出したエントロピーの大小に応じて、注目点Ｐの線集中度を補正する。具体的には、画像診断装置２は、エントロピーが大きいほど線集中度を高く補正する。
　なお、本実施の形態では指標値としてエントロピーを用いるが、指標値はこれに限定されるものではなく、他の値（例えば確率値Ｐｉの平均値等）であってもよい。
　図９は、中心バイアスの補正処理に関する説明図である。画像診断装置２は更に、乳房の中心にある領域ほど乳腺等の線構造が乳房の中心に向かって集中する傾向（バイアス）の影響を低減すべく、補正を行う。
　上述の如く、画像診断装置２は、乳頭から大胸筋に向かう方向とほぼ直交する断面を撮像する。一方で、当該断面視において乳腺は乳頭から周囲に向かって放射状に広がっているため、撮像装置３０によって撮像した画像では、スピキュラの有無にかかわらず、乳房の中心に向かって自ずと線構造が集中することになる。その結果、補正を行わずに線集中度に基づきスピキュラの検出を行うと、乳房の中心領域に多くの偽陽性が発生する。そこで画像診断装置２は、乳房中心に線構造が集中することによる影響を低減するため、以下の処理を行う。
　具体的には、画像診断装置２は、全ての点で線構造が注目点を向く場合に線集中度が一定（例えば１）となるよう、線集中度の正規化を行う。画像診断装置２はまず、フレーム画像から乳房と乳房以外の領域との境界を検出し、乳房及び乳房以外の領域を二値化したマップ（左上）を生成する。画像診断装置２は当該マップに、乳房の中心に近いほど高くなるように所定の距離関数を乗算する（重み付けする）ことで、乳房の周縁から中心に向かって値が高くなるように設定した正規化用マップを生成する（右上）。
　画像診断装置２は、生成した正規化用マップで線集中度マップ（左下）を除算することで、線集中度を正規化する。すなわち、画像診断装置２は、正規化用マップにおける各点の値で、線集中度マップにおける各点の線集中度を除算することで、線集中度を補正する。これにより、全ての点で線構造が注目点を向いた場合の値が１になるように正規化され、中心バイアスの影響が低減される。
　以上より、画像診断装置２は、スピキュラ検出に合わせてガボールフィルタの抽出結果に一定の処理を施した上で、線集中度を算出する。図５で説明したように、画像診断装置２は、線集中度が一定以上の領域を線集中度マップから抽出し、当該領域のフレーム間の移動量に応じて、検出モデル５０が検出したスピキュラ領域が偽陽性であるか否かを判定する。
　図１０は、スピキュラの検出結果の表示画面を示す説明図である。乳房の撮像画像からスピキュラ領域を検出した場合、画像診断装置２は、図１０で例示する画面を表示する。
　例えば画像診断装置２は、スピキュラ領域を表すラベルを重畳した乳房画像を当該画面に表示する。具体的には、画像診断装置２は、スピキュラ領域を囲むバウンディングボックスと、スピキュラ領域内部を色付けする半透明マスクとを重畳したフレーム画像を表示する。なお、図１０では便宜上、スピキュラ領域が色付けされている様子をハッチングで図示する。画像診断装置２は、検出モデル５０が検出したスピキュラ領域のうち、偽陽性と判定されたスピキュラ領域を除外したスピキュラ領域に対し、バウンディングボックス及びマスクを重畳する。
　また、画像診断装置２は、検出モデル５０から出力される、スピキュラ領域の検出結果の確からしさを表す確率値（図１０では「Ｐｒｅｄ」で図示）を各スピキュラ領域に対応付けて表示する。更に画像診断装置２は、確率値が所定値以上（例えば９０％以上）のスピキュラ領域を強調表示する。例えば図１０に示すように、画像診断装置２は、確率値が所定値以上のスピキュラ領域に対応するバウンディングボックスを太線にすると共に、当該スピキュラ領域のマスク色を変更する。例えば画像診断装置２は画面下部に変更ボタン１０１を表示し、当該変更ボタン１０１への操作入力に応じて別のフレーム画像へと切り替える。
　また、画像診断装置２は、スピキュラ領域の陽性／偽陽性の判定結果を表示するための表示ボタン１０２を当該画面に表示する。表示ボタン１０２への操作入力を受け付けた場合、画像診断装置２は、線集中度に基づくスピキュラ領域の陽性／偽陽性の判定結果を、乳房画像上に表示する。
　具体的には、画像診断装置２は、図５右側に例示した移動経路のオブジェクト（折れ線）を、図１０で例示する乳房画像に重畳表示する。すなわち、画像診断装置２は、線集中度が一定以上である領域のフレーム間の移動経路を表示する。これにより、乳房画像を閲覧する医療従事者は、ラベルが重畳された領域が何故陽性と判定され、それ以外の領域が何故偽陽性と判定されたか、客観的に判断することができる。なお、当該オブジェクトを表示する場合、例えば画像診断装置２は、各移動経路に係る移動量が閾値以上であるか否か、すなわち偽陽性であるか否かに応じて、オブジェクトの表示態様（例えば折れ線の色）を変更してもよい。
　なお、本実施の形態では２次元のフレーム画像（乳房断面の画像）を最終的な検出結果として表示するものとするが、例えば画像診断装置２は、複数のフレーム画像を再構成した３次元画像を生成し、当該３次元画像にスピキュラ領域を表すラベルを重畳表示してもよい。この場合、例えば画像診断装置２は、３次元形状のスピキュラ領域を囲む格子状のバウンディングボックスを重畳表示すると共に、当該スピキュラ領域を色付けする３次元形状のマスクを重畳表示する。このように、画像診断装置２は撮像画像（複数のフレーム画像）を元にスピキュラ領域を表すラベルを重畳した乳房画像を表示可能であればよく、その乳房画像は２次元のフレーム画像に限定されない。
　以上より、本実施の形態によれば、複数のフレーム画像からスピキュラ領域を検出すると共に、線集中度が高い領域のフレーム間の移動量に応じて、スピキュラ領域が偽陽性であるか否かを判定する。このように、３次元の情報を用いることで、スピキュラに代表される構築の乱れを好適に特定することができる。
　なお、本実施の形態において画像診断装置２は、スピキュラ領域の検出手段として機械学習モデル（検出モデル５０）を用いたが、スピキュラ領域をルールベースで検出するようにしてもよい。例えば画像診断装置２は、線集中度が一定以上の領域をスピキュラ領域として検出するようにしてもよい。
　また、本実施の形態において画像診断装置２は、自装置で検出したスピキュラ領域が偽陽性であるか否かを判定するものとしたが、他の装置（コンピュータ）で検出したスピキュラ領域、あるいはユーザ（医療従事者）が指定したスピキュラ領域が偽陽性であるか否かを判定するようにしてもよい。すなわち、画像診断装置２は、少なくとも各フレーム画像におけるスピキュラ領域（構築の乱れ）が偽陽性であるか否かを判定可能であればよく、判定対象とするスピキュラ領域を検出する構成は必須ではない。
　図１１は、検出モデル５０の生成処理の手順を示すフローチャートである。図１１に基づき、機械学習により検出モデル５０を生成する際の処理について説明する。
　サーバ１の制御部１１は、訓練用の３次元ボリュームデータ群に対し、正解のスピキュラ領域を表すラベルが付与された訓練データを取得する（ステップＳ１１）。訓練用の３次元ボリュームデータは、被検者の乳房の断面を複数位置で撮像したフレーム画像群である。制御部１１は、３次元ボリュームデータを構成する各フレーム画像に対し、スピキュラ領域の正解の座標範囲を表すラベルが付与された訓練データを取得する。
　制御部１１は訓練データに基づき、複数のフレーム画像から成る３次元ボリュームデータを入力した場合に、構築の乱れが生じているスピキュラ領域を検出する検出モデル５０を生成する（ステップＳ１２）。例えば制御部１１は、Ｆａｓｔｅｒ　Ｒ－ＣＮＮを検出モデル５０として生成する。制御部１１は、訓練用の３次元ボリュームデータを検出モデル５０に入力することで、スピキュラ領域を検出する。制御部１１は、検出したスピキュラ領域を正解のラベルと比較し、両者が近似するようにニューロン間の重み等を最適化することで検出モデル５０を生成する。制御部１１は一連の処理を終了する。
　図１２は、スピキュラ検出処理の手順を示すフローチャートである。図１２に基づき、スピキュラ領域を検出する際の処理について説明する。
　画像診断装置２の制御部２１は、乳房の複数位置の断面を撮像した複数のフレーム画像を取得する（ステップＳ３１）。具体的には上述の如く、制御部２１は、超音波信号を送受信することで得た超音波画像であって、乳頭から大胸筋に向かう方向と直交する複数断面を撮像したフレーム画像群を取得する。制御部２１は、取得した複数のフレーム画像から成る３次元ボリュームデータを検出モデル５０に入力することで、構築の乱れが生じているスピキュラ領域を検出する（ステップＳ３２）。
　制御部２１は、フレーム画像内の各点における線構造の方向及び強度を、各フレーム画像から抽出する（ステップＳ３３）。具体的には、制御部２１は、互いに抽出方向θが異なる複数のガボールフィルタをフレーム画像に適用することで、フレーム画像内の各点における線構造の方向（Orientation）と、線構造の強度（Magnitude）とを抽出する。
　制御部２１は、抽出した線構造の方向及び強度に基づき、各フレーム画像内の各点における線集中度を算出する（ステップＳ３４）。具体的には、制御部２１は、各点の強度と、各点の周辺点の強度との平均値を算出し、算出した平均値が所定の閾値以上であるか否かに応じて、フレーム画像内の各点の強度を二値化する。制御部２１は、二値化した強度と、ステップＳ３３で抽出した方向との積を取ることで、マスク方向を抽出する。制御部２１は、フレーム画像内の各点を注目点として、注目点から所定距離内にある各点と注目点との相対ベクトルを取り、相対ベクトル及びマスク方向の内積値を算出する。この場合に制御部２１は、注目点と他の点との距離が近いほど高くなる距離関数を用いて、各点に対応する内積値を重み付けする。制御部２１は、重み付け後の内積値の平均値を算出することで、注目点の線集中度を算出する。
　制御部２１は、注目点に向かう線構造が全方位（複数の方向）に均等に分布するほど高くなるように、線集中度を補正する（ステップＳ３５）。具体的には、制御部２１は、注目点を中心とする円領領域を、複数の抽出方向θにそれぞれ対応する複数の扇状領域に分割し、各扇状領域内の各点における線構造の方向に基づき、各方向から注目点に向かう線構造の確率値を算出する。制御部２１は、算出した確率値に基づき、注目点に向かう線構造が各方向に均等に分布している度合いを表す指標値（エントロピー）を算出し、算出した指標値の大小に応じて線集中度を補正する。
　制御部２１は、全ての点で線構造が注目点を向く場合に線集中度が一定になるように、線集中度を正規化（補正）する（ステップＳ３６）。具体的には、制御部２１は、乳房周縁から中心に向かって値が高くなるように、フレーム画像内の各点の値を設定した正規化用のマップを生成し、正規化用マップにおける各点の値で、各点における線集中度を除算することで線集中度を補正する。
　制御部２１は、線集中度が一定以上の領域を各フレーム画像から抽出する（ステップＳ３７）。そして制御部２１は、抽出した領域のフレーム間の移動量に応じて、ステップＳ３２で検出したスピキュラ領域が偽陽性であるか否かを判定する（ステップＳ３８）。具体的には上述の如く、制御部２１は、スピキュラ領域のフレーム間の移動距離及び／又は移動速度が所定の閾値以上である場合、当該スピキュラ領域は偽陽性であると判定する。
　制御部２１は、偽陽性でないと判定したスピキュラ領域にラベルを重畳した乳房画像を表示部２４に表示する（ステップＳ３９）。具体的には、制御部２１は、スピキュラ領域を囲むバウンディングボックスと、スピキュラ領域内部を色付けする半透明マスクとを重畳したフレーム画像を表示する。また、制御部２１は、線集中度が一定以上の領域のフレーム間の移動経路を表すオブジェクト（折れ線）をフレーム画像に重畳表示する。制御部２１は一連の処理を終了する。
　以上より、本実施の形態によれば、スピキュラ等の構築の乱れを好適に特定することができる。
（変形例１）
　上述した実施の形態において、線集中度はフレーム画像毎に検出しているが、複数の連続するフレーム画像を積算して得られる積算画像を用いて線集中度を検出してもよい。図１３は、線集中度の算出過程の他の例を示す説明図である。本変形例では、図１３の上から１段目及び２段目に図示するように、画像診断装置２は、撮像装置３０で撮像したフレーム画像から、撮像位置が連続する複数のフレーム画像を積算した積算画像を生成する。そして、画像診断装置２は、生成した各積算画像から、画像内の各点における線構造の方向及び強度を抽出し、図１３の上から３段目に図示するように、積算画像内の線構造の強度マップ及び方向マップを生成する。
　積算画像は、例えば５枚のフレーム画像毎に、フレーム画像の各画素の輝度（画素値）の平均値を算出し、算出した平均値を各画素の画素値として生成される。なお、積算画像を生成するフレーム画像の数は、５枚に限定されず、３～７枚程度の任意の数としてもよく、他の方法によって積算画像を生成してもよい。
　図１４は、スピキュラ検出処理の手順の他の例を示すフローチャートである。図１４に示す処理は、図１２に示す処理において、ステップＳ３１，Ｓ３２の間にステップＳ４１～Ｓ４９を追加したものである。図１２と同じステップについては説明を省略する。
　本変形例において、画像診断装置２の制御部２１は、乳房の複数位置の断面を撮像した複数のフレーム画像を取得した場合（ステップＳ３１）、取得したフレーム画像を、所定数毎に積算して積算画像を生成する（ステップＳ４１）。例えばステップＳ３１で６０枚のフレーム画像による３次元ボリュームデータが得られた場合、制御部２１は、上述の積算処理を５枚毎に行い、１２枚の積算画像を生成する。そして、制御部２１は、生成した積算画像（例えば１２枚の積算画像）に基づいて、ステップＳ４２～Ｓ４７の処理を実行する。ステップＳ４２～Ｓ４７の処理は、ステップＳ３２～Ｓ３７と同様の処理である。
　なお、ステップＳ４２において、積算画像中のスピキュラ領域の検出に用いる検出モデルは、図４に示す検出モデル５０と同様の構成であるが、複数の積算画像から成る３次元ボリュームデータを訓練用のデータとし、訓練用の３次元ボリュームデータを構成する各積算画像に対し、積算画像中のスピキュラ領域を表すラベルが付与された訓練データを用いて学習したモデルである。ここでの訓練用の３次元ボリュームデータは、撮像装置３０で撮像した複数のフレーム画像を所定枚数毎に積算した積算画像群であり、ラベルは、各フレーム画像に付与されたラベルを所定枚数毎に積算したラベルである。所定枚数毎に積算したラベルは、例えば各フレーム画像に付与されたラベルが示すスピキュラ領域の正解の座標範囲を全て含むデータである。このような訓練データを用いて学習することにより、複数の積算画像から成る３次元ボリュームデータを入力した場合に、スピキュラ領域を検出する検出モデルが生成される。このような検出モデルも、サーバ１で生成されて画像診断装置２にインストールされる。よって、画像診断装置２の制御部２１は、このような検出モデルに、ステップＳ４１で生成した複数の積算画像による３次元ボリュームデータを入力することで、スピキュラ領域を検出する（ステップＳ４２）。
　また、制御部２１は、ステップＳ４１で生成した積算画像内の各点における線構造の方向及び強度を、各積算画像から抽出し（ステップＳ４３）、抽出した線構造の方向及び強度に基づき、各積算画像内の各点における線集中度を算出する（ステップＳ４４）。また、制御部２１は、注目点に向かう線構造が全方位（複数の方向）に均等に分布するほど高くなるように、線集中度を補正し（ステップＳ４５）、全ての点で線構造が注目点を向く場合に線集中度が一定になるように、線集中度を正規化する（ステップＳ４６）。そして、制御部２１は、線集中度が一定以上の領域を各積算画像から抽出する（ステップＳ４７）。
　制御部２１は、ステップＳ４７で、線集中度が一定以上の領域を積算画像から抽出したか否か（抽出領域があるか否か）を判断し（ステップＳ４８）、抽出領域がないと判断した場合（ステップＳ４８：ＮＯ）、一連の処理を終了する。
　抽出領域があると判断した場合（ステップＳ４８：ＹＥＳ）、制御部２１は、抽出領域があると判断した積算画像の生成に用いたフレーム画像を、ステップＳ３８の偽陽性の判定処理における処理対象の画像に特定する（ステップＳ４９）。なお、制御部２１は、抽出領域があると判断した積算画像に加えて、当該積算画像と撮像位置が前後する２つの積算画像を含む３つの積算画像の生成に用いたフレーム画像を処理対象の画像に特定してもよい。その後、制御部２１は、処理対象に特定したフレーム画像に対して、ステップＳ３２～Ｓ３９の処理を実行する。上述した処理により、積算画像に対するスピキュラ領域の検出及び線集中度の算出の結果に基づいて、検出したスピキュラ領域に対する偽陽性の判定処理を行うフレーム画像を絞り込むことができる。また、偽陽性の判定処理対象についてはフレーム画像単位で処理を行うことにより、上述の実施の形態と同様に、スピキュラ等の構築の乱れを好適に特定することができる。
　以上より、本変形例によれば、積算画像に対する処理結果に基づいて、検出されたスピキュラ領域が偽陽性であるか否かを判定する処理対象のフレーム画像を絞り込むことができるので、偽陽性の判定を効率的に行うことができ、演算処理に要する時間を短縮することができる。
（変形例２）
　上述の実施の形態では、フレーム画像毎に線集中度を計算していた。本変形例では、フレーム画像をボリューム化して、三次元的に線集中度を計算する形態について説明する。
　上述の如く、撮像装置３０は被験者の乳房断面を複数位置で連続して撮像する。本変形例では、画像診断装置２は、連続して撮像された複数のフレーム画像から成る三次元ボリュームデータに基づき、乳房のコロナル断面、サジタル断面、及びアキシャル断面それぞれの画像を生成する。
　画像診断装置２は、生成した各断面の画像内の各点について線集中度を算出する。そして画像診断装置２は、各画像の線集中度に基づき、フレーム画像内の各点の総合的な線集中度を算出する。例えば画像診断装置２は、以下の式（４）に従い総合的な線集中度を算出する。
　線集中度＝（コロナル断面の線集中度）×２＋（サジタル断面の線集中度）×１＋（アキシャル断面の線集中度）×１　…（４）
　このようにして、コロナル断面のみではなく他断面（サジタル断面、アキシャル断面）での線集中度も考慮することで、三次元的な線集中度を計算することができる。
　上記の点以外は上述の実施の形態と同じであるため、本変形例ではフローチャートその他の詳細な説明を省略する。
（変形例３）
　本変形例では、ガボールフィルタ（画像フィルタ）をフレーム画像に適用する前に、前処理としてエッジ抽出フィルタを適用することで、画像を平滑化する形態について説明する。エッジ抽出フィルタ処理には、例えば所定のＤｏＧ（Difference of Gaussians）フィルタを適用する。
　スピキュラ等の構築の乱れは、周辺と比較して輝度が高い又は低いといった、ある程度のコントラストが存在する傾向にある。本変形例ではＤｏＧフィルタを適用することで、この局所的なコントラストを検出する。
　具体的には、本変形例では以下の非特許文献に記載の前処理手段を適用することができる。
　T. Handa, X. Zhang, N.Homma, T. Ishibashi, Y. Kawasumi, M. Abe, N. Sugita and M. Yoshizawa, “DoG-BasedDatection of Architectural Distortion in Mammographic Images for Computer-AidedDetection”, Proc of SICE Annual Conference, 2012, p.762-767, https://ieeexplore.ieee.org/abstract/document/6318541
　なお、当該従来技術では、マンモグラフィの解像度が超音波やＭＲＩの解像度よりも高いことから、マンモグラフィにおいて乳頭から大胸筋に向かって扇状に拡散する乳腺の正常な構築モデルを求めるモデル計算手段が適用可能として提案された手法となっている。一方本変形例においては、乳腺を明示的にモデル化せず、機械学習モデルで実例を学習している点に違いがある。
　画像診断装置２はまず、２次元ガウシアンカーネルＧ（ｘＧ，ｙＧ，σ）と入力画像（フレーム画像）Ｉ（ｘ，ｙ）とに基づき、次式（５）により平滑化画像Ｌ（ｘ，ｙ，σ）を得る。
　Ｌ（ｘ，ｙ，σ）＝Ｇ（ｘＧ，ｙＧ，σ）＊Ｉ（ｘ，ｙ）　…（５）
　ここで、ｘＧ、ｙＧはそれぞれ目標位置（ｘ，ｙ）までのカーネルの距離を表す。また、ガウシアンカーネルは次式（６）で定義される。
Figure JPOXMLDOC01-appb-M000004
　次に、式（７）により、平滑化度合いが異なる２枚の画像の差分を計算し、ＤｏＧ画像Ｄｋ（ｘ，ｙ，σ）を得る。
　Ｄｋ（ｘ，ｙ，σ）＝Ｌ（ｘ，ｙ，ｋσ）－Ｌ（ｘ，ｙ，σ）　…（７）
　σは２次元ガウシアンカーネルの標準偏差である。乳房のフレーム画像中で局所的に高いコントラストを有する領域は、ＤｏＧフィルタリング後の画像Ｄｋ上で高い値を有する。従って、スピキュラ等の構築の乱れを検出しやすくなる。
　本実施例におけるＤｏＧフィルタに使われる条件については、例えば、離散空間での近似Gaussian smoothingを行い、window sizeすなわち、フィルタの大きさを５×５、sigma＝１．０（１つ目のガウス関数のσ）、－ｋ＝２．０（２つ目のガウス関数のσはsigma×ｋの値）とすることが好ましい。上記の点以外は上述の実施の形態と同じであるため、本変形例ではフローチャートその他の詳細な説明は省略する。
　今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　１　　サーバ
　１１　制御部
　１２　主記憶部
　１３　通信部
　１４　補助記憶部
　Ｐ１　プログラム
　２　　画像診断装置
　２０　画像処理装置
　２１　制御部
　２２　主記憶部
　２３　通信部
　２４　表示部
　２５　入力部
　２６　送受信部
　２７　画像処理部
　２８　補助記憶部
　Ｐ２　プログラム
　５０　検出モデル
　３０　撮像装置
　３１　天板
　３２　孔
　３３　水槽
　３４　リングアレイ

Claims (16)

  1. 　乳房の断面を複数位置で撮像した複数のフレーム画像を取得し、
    　各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出し、
    　前記線集中度が一定以上の領域を前記各フレーム画像から抽出し、
    　抽出した領域の前記各フレーム画像間の移動量に応じて、前記各フレーム画像における構築の乱れが偽陽性であるか否かを判定する
    　処理をコンピュータが実行する情報処理方法。
  2. 　前記複数のフレーム画像から成る３次元ボリュームデータを入力した場合に構築の乱れが生じている領域を検出するよう学習済みのモデルに、取得した前記複数のフレーム画像を入力することで前記構築の乱れが生じている領域を検出し、
    　前記線集中度が一定以上の領域の前記フレーム画像間の移動量に応じて、前記構築の乱れが生じている領域が偽陽性であるか否かを判定する
    　請求項１に記載の情報処理方法。
  3. 　前記構築の乱れが生じている領域が陽性であると判定した場合、構築の乱れであることを表すラベルを該領域に重畳した乳房画像を出力する
    　請求項２に記載の情報処理方法。
  4. 　前記線集中度が一定以上の領域の前記フレーム画像間の移動経路を表すオブジェクトを重畳した前記乳房画像を出力する
    　請求項３に記載の情報処理方法。
  5. 　前記各フレーム画像に所定の画像フィルタを適用することで、前記各フレーム画像内の各点における前記線構造の方向を抽出し、
    　抽出した前記線構造の方向に基づき、前記各フレーム画像内の各点における前記線集中度を算出する
    　請求項１～４のいずれか１項に記載の情報処理方法。
  6. 　前記各フレーム画像にガボールフィルタを適用することで、前記線構造の方向及び強度を抽出し、
    　抽出した前記線構造の方向及び強度に基づき、前記線集中度を算出する
    　請求項５に記載の情報処理方法。
  7. 　前記線構造の強度が所定の閾値以上であるか否かに応じて、該線構造の強度を二値化し、
    　二値化した前記強度と、前記方向との積に基づいて前記線集中度を算出する
    　請求項５又は６に記載の情報処理方法。
  8. 　前記フレーム画像内の各点について、該各点の強度と、前記各点の周辺点の強度との平均値を算出し、
    　前記各点について算出した前記平均値が前記閾値以上であるか否かに応じて、前記各点の強度を二値化する
    　請求項７に記載の情報処理方法。
  9. 　前記フレーム画像内の各点を注目点として、該注目点、及び前記注目点から一定の距離内にある他の点を結ぶベクトルと、該他の点における前記線構造の方向との内積値を、前記一定の距離内にある各点について算出し、
    　前記注目点と前記他の点との距離が近いほど高くなる距離関数を用いて、前記一定の距離内にある各点に対応する前記内積値を重み付けし、
    　重み付け後の前記内積値の平均値を算出することで、前記注目点の前記線集中度を算出する
    　請求項５～８のいずれか１項に記載の情報処理方法。
  10. 　前記フレーム画像内の各点を注目点として、該注目点を中心とする円領域内の各点における前記線構造の方向に基づき、複数の方向それぞれから前記注目点に向かう前記線構造の確率値を算出し、
    　算出した確率値に基づき、前記注目点に向かう前記線構造が前記複数の方向それぞれに均等に分布している度合いを表す指標値を算出し、
    　算出した指標値に基づき、前記線集中度を補正する
    　請求項５～９のいずれか１項に記載の情報処理方法。
  11. 　前記画像フィルタを適用する前に、前記各フレーム画像に対し所定のエッジ抽出フィルタを適用することで前記各フレーム画像を平滑化する
    　請求項５～１０のいずれか１項に記載の情報処理方法。
  12. 　前記フレーム画像は、乳頭から大胸筋に向かう方向と直交する断面を撮像した画像であり、
    　前記乳房の周縁から中心に向かって値が高くなるように、前記フレーム画像内の各点の値を設定した正規化用マップを生成し、
    　前記正規化用マップにおける各点の値で、各点における前記線集中度を除算することで前記線集中度を補正する
    　請求項１～１１のいずれか１項に記載の情報処理方法。
  13. 　取得した前記複数のフレーム画像を所定数毎に積算して積算画像を生成し、
    　生成した各積算画像内の各点について、線構造の集中度合いを示す線集中度を算出し、
    　前記線集中度が一定以上の領域を前記積算画像から抽出した場合に、前記積算画像の生成に用いた前記フレーム画像に対して、各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出する
    　請求項１～１２のいずれか１項に記載の情報処理方法。
  14. 　前記複数のフレーム画像から成る３次元ボリュームデータに基づき、乳房のコロナル断面、サジタル断面及びアキシャル断面の画像をそれぞれ生成し、
    　各画像内の各点について線集中度を算出し、
    　算出した各画像の線集中度に基づき、前記フレーム画像内の各点の総合的な線集中度を算出する
    　請求項１～１３のいずれか１項に記載の情報処理方法。
  15. 　乳房の断面を複数位置で撮像した複数のフレーム画像を取得し、
    　各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出し、
    　前記線集中度が一定以上の領域を前記各フレーム画像から抽出し、
    　抽出した領域の前記各フレーム画像間の移動量に応じて、前記各フレーム画像における構築の乱れが偽陽性であるか否かを判定する
    　処理をコンピュータに実行させるプログラム。
  16. 　乳房の断面を複数位置で撮像した複数のフレーム画像を取得する取得部と、
    　各フレーム画像内の各点について、線構造の集中度合いを示す線集中度を算出する算出部と、
    　前記線集中度が一定以上の領域を前記各フレーム画像から抽出する抽出部と、
    　抽出した領域の前記各フレーム画像間の移動量に応じて、前記各フレーム画像における構築の乱れが偽陽性であるか否かを判定する判定部と
    　を備える画像診断装置。
PCT/JP2022/032521 2021-09-01 2022-08-30 情報処理方法、プログラム及び画像診断装置 WO2023032954A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021142604 2021-09-01
JP2021-142604 2021-09-01

Publications (1)

Publication Number Publication Date
WO2023032954A1 true WO2023032954A1 (ja) 2023-03-09

Family

ID=85411225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032521 WO2023032954A1 (ja) 2021-09-01 2022-08-30 情報処理方法、プログラム及び画像診断装置

Country Status (1)

Country Link
WO (1) WO2023032954A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120099771A1 (en) * 2010-10-20 2012-04-26 Lao Zhiqiang Computer aided detection of architectural distortion in mammography
WO2014192187A1 (ja) * 2013-05-31 2014-12-04 国立大学法人東北大学 乳房画像病変検出システム、乳房画像病変検出方法、乳房画像病変検出プログラムおよび乳房画像病変検出プログラムを記録したコンピュータ読み取り可能な記録媒体
CN107657602A (zh) * 2017-08-09 2018-02-02 武汉科技大学 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法
US20180218495A1 (en) * 2017-02-02 2018-08-02 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
JP2020533039A (ja) * 2017-08-07 2020-11-19 イマーゴ・システムズ，インコーポレーテッド 画像中の物体の視覚化および特徴づけのためのシステムおよび方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120099771A1 (en) * 2010-10-20 2012-04-26 Lao Zhiqiang Computer aided detection of architectural distortion in mammography
WO2014192187A1 (ja) * 2013-05-31 2014-12-04 国立大学法人東北大学 乳房画像病変検出システム、乳房画像病変検出方法、乳房画像病変検出プログラムおよび乳房画像病変検出プログラムを記録したコンピュータ読み取り可能な記録媒体
US20180218495A1 (en) * 2017-02-02 2018-08-02 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
JP2020533039A (ja) * 2017-08-07 2020-11-19 イマーゴ・システムズ，インコーポレーテッド 画像中の物体の視覚化および特徴づけのためのシステムおよび方法
CN107657602A (zh) * 2017-08-09 2018-02-02 武汉科技大学 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法

Similar Documents

Publication Publication Date Title
CN107622492B (zh) 肺裂分割方法及系统
Kaur et al. Artificial intelligence techniques for cancer detection in medical image processing: A review
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
Sudharani et al. Advanced morphological technique for automatic brain tumor detection and evaluation of statistical parameters
EP3207521B1 (en) Image analysis method supporting illness development prediction for a neoplasm in a human or animal body
US11373301B2 (en) Image diagnostic device, image processing method, and program for obtaining diagnostic prediction models using deep learning
JP2000126182A (ja) 腫瘍診断方法
JP7138971B2 (ja) 診断支援システム及び診断支援方法
KR102206621B1 (ko) 딥러닝 알고리즘을 이용한 근감소증 분석 프로그램 및 애플리케이션
JP7461221B2 (ja) 医用画像処理装置、および、医用撮像装置
US10628963B2 (en) Automatic detection of an artifact in patient image
US20140348408A1 (en) Flow diverter detection in medical imaging
Hareendranathan et al. Semiautomatic classification of acetabular shape from three-dimensional ultrasound for diagnosis of infant hip dysplasia using geometric features
Tan et al. Chest wall segmentation in automated 3D breast ultrasound scans
Santos et al. Detection of pathologic liver using ultrasound images
WO2023032954A1 (ja) 情報処理方法、プログラム及び画像診断装置
CN110974286A (zh) 乳腺x线影像肿块检出方法和装置
KR20230050253A (ko) 흉막 삼출의 검출 방법 및 이를 위한 장치
Dovganich et al. Automatic quality control in lung X-ray imaging with deep learning
Vashishtha et al. Nerve segmentation in ultrasound images
CN111513765B (zh) 呼吸肌组织的超声测量方法、超声测量装置及存储介质
Li et al. A hybrid approach to detection of brain hemorrhage candidates from clinical head ct scans
Panicker et al. Employing acoustic features to aid neural networks towards platform agnostic learning in lung ultrasound imaging
JP2015131057A (ja) 画像処理装置、およびプログラム
Wu et al. B-ultrasound guided venipuncture vascular recognition system based on deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864536

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22864536

Country of ref document: EP

Kind code of ref document: A1