WO2023228229A1 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2023228229A1
WO2023228229A1 PCT/JP2022/021048 JP2022021048W WO2023228229A1 WO 2023228229 A1 WO2023228229 A1 WO 2023228229A1 JP 2022021048 W JP2022021048 W JP 2022021048W WO 2023228229 A1 WO2023228229 A1 WO 2023228229A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
cell
characteristic information
target image
image processing
Prior art date
Application number
PCT/JP2022/021048
Other languages
English (en)
French (fr)
Inventor
康夫 尾見
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/021048 priority Critical patent/WO2023228229A1/ja
Publication of WO2023228229A1 publication Critical patent/WO2023228229A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers

Definitions

  • the present invention relates to an image processing device, an image processing method, and a program.
  • Patent Document 1 describes a technology that normalizes WSI data by preprocessing each of multiple WSIs (Whole Slide Images) with different dyes to suppress sample variations, and applies the normalized WSI data to a machine learning model. Disclosed.
  • Patent Document 1 does not take into account the relationship between images for learning and images input to a machine learning model for image recognition in pathological diagnosis. Therefore, the technique disclosed in Patent Document 1 has a problem in that the accuracy of image recognition of an image input to a machine learning model may be lowered.
  • One aspect of the present invention has been made in view of the above problems, and one example of its purpose is to provide a technique that improves the accuracy of classifying sample cells as benign or malignant in pathological diagnosis.
  • An image processing device includes a first acquisition unit that acquires a target image including a sample cell as an object, and an image processing device that inputs an image including a cell as an object, and determines whether the cell is a benign cell or a malignant cell.
  • a second acquisition means for acquiring characteristic information indicating the characteristics of the training image used for learning the trained estimation model to estimate whether the target image is a characteristic of the target image; generating means for generating an image in which the image is changed.
  • an image processing device acquires a target image including a sample cell as a subject, receives an image including a cell as a subject, and determines whether the cell is a benign cell or a malignant cell. acquiring characteristic information indicating characteristics of a training image used for learning a trained estimation model to estimate whether the image is a cell; and changing characteristics of the target image by referring to the characteristic information. and generating an image.
  • a program according to one aspect of the present invention is a program that causes a computer to function as an image processing device, and the program causes the computer to function as a first acquisition means for acquiring a target image including sample cells as a subject;
  • the first step is to obtain characteristic information indicating the characteristics of the training image used to train the trained estimation model to estimate whether the cell in question is a benign cell or a malignant cell. 2
  • a generating means that generates an image with changed characteristics of the target image by referring to the characteristic information.
  • FIG. 1 is a block diagram showing the configuration of an image processing device according to an exemplary embodiment 1 of the present invention.
  • FIG. 1 is a flow diagram of an image processing method according to exemplary embodiment 1 of the present invention;
  • FIG. 2 is a block diagram showing the configuration of a classification device according to a second exemplary embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an example of a process flow in which a generation unit according to exemplary embodiment 2 of the present invention generates an image with a changed noise level of a target image.
  • FIG. 7 is a flowchart illustrating an example of a process flow in which the generation unit according to the second exemplary embodiment of the present invention generates an image in which the hue of the target image is changed.
  • FIG. 1 is a block diagram showing the configuration of an image processing device according to an exemplary embodiment 1 of the present invention.
  • FIG. 1 is a flow diagram of an image processing method according to exemplary embodiment 1 of the present invention;
  • FIG. 2 is a block diagram
  • FIG. 7 is a diagram showing an example of a hue histogram in exemplary embodiment 2 of the present invention.
  • FIG. 7 is a flowchart illustrating an example of a process flow in which the generation unit changes the resolution of a target image according to the second exemplary embodiment of the present invention.
  • FIG. 7 is a diagram showing an example of a micrometer image in exemplary embodiment 2 of the present invention.
  • FIG. 7 is a flow diagram showing another example of the flow of processing in which the generation unit changes the resolution of the target image according to the second exemplary embodiment of the present invention.
  • 1 is a block diagram illustrating an example of the hardware configuration of an image processing device and a classification device in each exemplary embodiment of the present invention.
  • the image processing apparatus 1 is an image processing apparatus that generates an image in which the characteristics of a target image containing sample cells as a subject are changed.
  • the image processing device 1 inputs an image including a cell as a subject, and uses a learning image used to train an estimation model that has been trained to estimate whether the cell is a benign cell or a malignant cell.
  • An image is generated with the characteristics of the target image changed according to the characteristics of the target image.
  • Image characteristics refer to the properties and characteristics that an image has. Examples include the noise level, which indicates the amount of noise contained in an image; the hue, which consists of the hue, brightness, and saturation of the image; the resolution, which indicates the number of pixels included in a given length in the image; Examples include information indicating the size of a predetermined object included.
  • the specific configuration of the estimation model does not limit the present exemplary embodiment, but as an example, CNN (Convolution Neural Network), RNN (Recurrent Neural Network), or a combination thereof can be used.
  • CNN Convolution Neural Network
  • RNN Recurrent Neural Network
  • a non-neural network model such as a random forest or a support vector machine may be used.
  • FIG. 1 is a block diagram showing the configuration of an image processing device 1 according to this exemplary embodiment.
  • the image processing device 1 includes a first acquisition section 11, a second acquisition section 12, and a generation section 13.
  • the first acquisition section 11, the second acquisition section 12, and the generation section 13 are configured to realize a first acquisition means, a second acquisition means, and a generation means, respectively, in this exemplary embodiment.
  • the first acquisition unit 11 acquires a target image that includes sample cells as a subject.
  • the first acquisition unit 11 supplies the acquired target image to the generation unit 13.
  • the second acquisition unit 12 receives an image including a cell as an object, and generates a training image used for training a trained estimation model to estimate whether the cell is a benign cell or a malignant cell. Obtain characteristic information indicating characteristics. The second acquisition unit 12 supplies the acquired characteristic information to the generation unit 13.
  • the generation unit 13 refers to the characteristic information supplied from the second acquisition unit 12 and generates an image with changed characteristics of the target image supplied from the first acquisition unit 11.
  • the first acquisition unit 11 acquires a target image including a sample cell as a subject, and the first acquisition unit 11 receives an image including a cell as a subject, and a second acquisition unit 12 that acquires characteristic information indicating the characteristics of the learning image used for learning the pre-trained estimation model to estimate whether the cell is a benign cell or a malignant cell;
  • a configuration is adopted that includes a generation unit 13 that generates an image with changed characteristics of the target image.
  • the image processing device 1 generates an image in which the characteristics of the target image are changed in accordance with the characteristics of the learning image used for learning the estimation model. According to the image processing device 1, it is possible to improve the accuracy of classifying sample cells as benign or malignant in pathological diagnosis.
  • FIG. 2 is a flow diagram showing the flow of the image processing method S1 according to the exemplary embodiment.
  • Step S11 the first acquisition unit 11 acquires a target image including sample cells as a subject.
  • the first acquisition unit 11 supplies the acquired target image to the generation unit 13.
  • Step S12 the second acquisition unit 12 inputs an image containing a cell as an object, and uses it to train a pre-trained estimation model to estimate whether the cell is a benign cell or a malignant cell. Obtain characteristic information indicating the characteristics of the learning image. The second acquisition unit 12 supplies the acquired characteristic information to the generation unit 13.
  • step S13 the generation unit 13 refers to the characteristic information supplied from the second acquisition unit 12 and generates an image with changed characteristics of the target image supplied from the first acquisition unit 11.
  • a target image including a sample cell as a subject is acquired, an image including a cell as a subject is input, and the cell is a benign cell.
  • a configuration including: generating an image is adopted. Therefore, according to the image processing method S1 according to the present exemplary embodiment, the same effects as the image processing apparatus 1 described above can be obtained.
  • Example Embodiment 2 A second exemplary embodiment of the invention will be described in detail with reference to the drawings. Note that components having the same functions as those described in the first exemplary embodiment are denoted by the same reference numerals, and the description thereof will be omitted as appropriate.
  • the classification device 2 is a device that classifies sample cells as benign cells or malignant cells.
  • the classification device 2 inputs an image containing a cell as an object, and inputs an image containing a sample cell as an object into an estimation model that has been trained to estimate whether the cell is a benign cell or a malignant cell. By inputting , the sample cells are classified as benign cells or malignant cells.
  • the classification device 2 acquires a target image that includes sample cells as a subject, and generates an image that matches the characteristics of the target image to the characteristics of the learning image used for learning the estimation model. Then, the classification device 2 inputs the generated image into the estimation model, and refers to the results of the estimation model to classify whether the sample cell is a benign cell or a malignant cell. That is, the classification device 2 includes the configuration of the image processing device 1 described above, and determines whether a sample cell is a benign cell or a malignant cell by inputting an image generated by the image processing device 1 into an estimation model. Classify.
  • the learning image is an image obtained by digitizing an image that includes a sample cell as a subject
  • the target image is an image obtained by photographing an image of the sample cell displayed using a microscope.
  • the training images are digitized images, many training images can be acquired, so the classification device 2 can increase the accuracy of the estimation model.
  • the target image is an image obtained by photographing an image projected by a microscope
  • the classification device 2 can be used for cytodiagnosis in rapid on-site evaluation (ROSE).
  • the image characteristics and estimation model are as described above.
  • FIG. 3 is a block diagram showing the configuration of the classification device 2 according to this exemplary embodiment.
  • the classification device 2 includes a control section 10, a storage section 21, and an input/output section 22.
  • the storage unit 21 stores data referenced by the control unit 10, which will be described later. Examples of data stored in the storage unit 21 include characteristic information PI indicating the characteristics of the learning image TP used for learning the estimation model, a target image SP containing sample cells as a subject, and a learning image TP. .
  • the input/output unit 22 is an interface that acquires data from other connected devices or outputs data to other connected devices.
  • the input/output unit 22 supplies data acquired from other devices to the control unit 10, and outputs data supplied from the control unit 10 to other devices.
  • the input/output unit 22 may be a communication module that communicates with other devices via a network.
  • a network includes a wireless LAN (Local Area Network), wired LAN, WAN (Wide Area Network), public line network, mobile data communication network, or , a combination of these networks can be used.
  • the control unit 10 controls each component included in the classification device 2.
  • the control unit 10 also functions as a first acquisition unit 11, a second acquisition unit 12, a generation unit 13, and a classification unit 14, as shown in FIG.
  • the first acquisition section 11, the second acquisition section 12, the generation section 13, and the classification section 14 each include a first acquisition means, a second acquisition means, a generation means, and a classification means in this exemplary embodiment. This is the configuration that achieves this.
  • the first acquisition unit 11 acquires a target image SP that includes sample cells as a subject.
  • the first acquisition unit 11 stores the acquired target image SP in the storage unit 21.
  • the second acquisition unit 12 receives as input an image including a cell as a subject, and uses a training image TP used for learning an estimation model that has been trained to estimate whether the cell is a benign cell or a malignant cell. Obtain characteristic information PI indicating the characteristics of.
  • the second acquisition unit 12 may be configured to acquire the characteristic information PI itself, or acquire one or more learning images TP, and derive the characteristic information PI from the one or more learning images TP. It may be obtained by The second acquisition unit 12 stores the acquired characteristic information PI (and the learning image TP) in the storage unit 21.
  • characteristic information PI indicating a characteristic obtained by averaging the characteristics of each of a plurality of learning images TP, and a characteristic that is the median value of the variation of characteristics in each of a plurality of learning images TP.
  • the second acquisition unit 12 includes a derivation unit 121.
  • the deriving unit 121 derives characteristic information PI from the learning image TP.
  • the derivation unit 121 extracts the characteristics of the learning image TP, and derives characteristic information PI indicating the extracted characteristics.
  • the derivation unit 121 extracts the characteristics of each of the plurality of learning images TP, and calculates a characteristic obtained by averaging the extracted characteristics, or a characteristic that is the median value of the variation of the extracted characteristics.
  • the characteristic information PI shown is derived.
  • the generation unit 13 generates an image with changed characteristics of the target image SP by referring to the characteristic information PI.
  • the generation unit 13 supplies the generated image to the classification unit 14.
  • the generation unit 13 generates an image in which the noise level of the target image SP is changed. As another example, the generation unit 13 generates an image in which the hue of the target image SP is changed. As yet another example, the generation unit 13 generates an image in which the resolution of the target image SP is changed. As yet another example, the generation unit 13 generates an image in which the size of the object included in the target image SP is changed.
  • the generation unit 13 may generate an image in which a plurality of characteristics of the target image SP are changed.
  • the generation unit 13 generates an image in which the noise level, color tone, and resolution of the target image SP are changed.
  • the generation unit 13 may generate images in which the characteristics are changed in a predetermined order, or may generate images in which a plurality of characteristics of the target image SP are changed regardless of the order. An image with changed characteristics may be generated.
  • the generation unit 13 first generates an image with the noise level of the target image SP changed. Next, the generation unit 13 performs a process of changing the hue on the image after the noise level has been changed, and generates an image with the changed hue. Then, the generation unit 13 performs a process of changing the resolution on the image after changing the hue, and generates an image with the changed resolution.
  • the classification unit 14 inputs the image supplied from the generation unit 13 into the estimation model, and classifies whether the sample cells included as subjects in the image supplied from the generation unit 13 are benign cells or malignant cells.
  • the classification unit 14 outputs the classified results via the input/output unit 22.
  • the classification unit 14 determines that the sample cell included as a subject in the image supplied from the generation unit 13 is a benign cell. Classify. On the other hand, if the estimation result output from the estimation model indicates that the sample cell is a malignant cell, the classification unit 14 classifies the sample cell included as a subject in the image supplied from the generation unit 13 as a malignant cell. do.
  • FIG. 4 is a flow diagram illustrating an example of the flow of processing S2 in which the generation unit 13 according to the present exemplary embodiment generates an image with a changed noise level of the target image SP.
  • the characteristic information PI is information indicating the noise level in the learning image TP, and is information indicating the noise level in a background area that does not include an object as a subject, and the generation unit 13 applies a Gaussian filter. The process of calculating the noise level will be explained.
  • Step S21 the generation unit 13 extracts a background region, which is a region that does not include an object as a subject, from the target image SP.
  • a background region which is a region that does not include an object as a subject.
  • the method by which the generation unit 13 extracts the background region is not particularly limited, one example is a method in which a region having a predetermined pixel value or less is extracted as the background region.
  • Step S22 the generation unit 13 applies a Gaussian filter to the extracted background region.
  • the sigma value of the Gaussian filter applied by the generation unit 13 is not particularly limited, but examples thereof include values such as 1.0 and 1.5.
  • step S23 the generation unit 13 calculates the noise level of the background area after applying the Gaussian filter.
  • the generation unit 13 calculates, as the noise level, the standard deviation of the pixel values in the background region after applying the Gaussian filter. Then, the generation unit 13 calculates the difference between the calculated standard deviation of pixel values in the background region and the standard deviation indicated by the characteristic information PI.
  • step S24 the generation unit 13 determines whether the calculated difference is within a predetermined range.
  • step S25 If it is determined in step S24 that the calculated difference is not within the predetermined range (step S24: NO), in step S25, the generation unit 13 changes the sigma value of the Gaussian filter to be applied.
  • the generation unit 13 increases the sigma value by 10%.
  • the generation unit 13 lowers the sigma value by 10%. That is, the generation unit 13 derives a sigma value such that the difference between the noise level indicated by the characteristic information PI and the noise level in the background region of the target image SP is within a predetermined range.
  • the generation unit 13 returns to the process of step S22 in order to apply the Gaussian filter with the changed sigma value.
  • step S26 In step S24, if it is determined that the calculated difference is within the predetermined range (step S24: YES), in step S26, the generation unit 13 calculates the noise level indicated by the characteristic information PI and the background of the target image SP.
  • a Gaussian filter with a sigma value whose difference from the noise level in the region is within a predetermined range is applied to the target image SP to generate an image with a changed noise level. That is, the generation unit 13 generates an image in which the noise level of the target image SP is changed so that the noise level in the background region of the extracted target image SP approaches the noise level indicated by the characteristic information PI.
  • the generation unit 13 generates an image in which the noise level of the target image SP is changed so that the noise level in the background region of the extracted target image SP approaches the noise level indicated by the characteristic information PI. Therefore, the generation unit 13 can input an image having a noise level equivalent to the noise level of the learning image TP to the estimation model, thereby improving the accuracy of classifying sample cells as benign or malignant in pathological diagnosis. be able to.
  • FIG. 5 is a flow diagram illustrating an example of the flow of processing S3 in which the generation unit 13 according to the present exemplary embodiment generates an image in which the hue of the target image SP is changed.
  • the characteristic information PI is information indicating the hue in the learning image TP, and is information indicating the hue of an object area that includes an object as a subject. A case will be described in which the information indicates histograms of hue, saturation, and lightness in the object area of the TP.
  • Step S31 the generation unit 13 extracts an object region, which is a region including an object as a subject, in the target image SP.
  • the method by which the generation unit 13 extracts an object region is not particularly limited, but one example is a method in which a region having a predetermined pixel value or more is extracted as an object region.
  • step S32 the generation unit 13 generates a histogram of the hue of the extracted object area as information indicating the hue of the extracted object area. As an example, the generation unit 13 generates histograms for each of the hue, saturation, and lightness of the extracted object area.
  • step S33 the generation unit 13 generates an image in which the hue in the object area of the extracted target image SP is changed so as to approach the hue indicated by the characteristic information PI.
  • An example of the process of the generation unit 13 in step S33 will be described with reference to FIG. 6.
  • FIG. 6 is a diagram illustrating an example of a hue histogram in this exemplary embodiment. Although the hue histogram will be described below, the same applies to the saturation and lightness histograms.
  • the hue histogram in the object region of the target image SP generated in step S32 is the middle histogram in FIG. Mean sp1 , the left end a sp1 and the right end b sp1 of the 95% confidence interval are calculated.
  • the generation unit 13 calculates the changed value Out using the following equation (1).
  • Each variable in equation (1) is as follows.
  • Var tar Value obtained by subtracting the lower limit from the upper limit of the 95% confidence interval of the hue value In in the target histogram. That is, right end b pi - left end a pi .
  • Var poi1 A value obtained by subtracting the lower limit value from the upper limit value of the 95% confidence interval of the hue value In in the histogram of the target image SP. That is, the right end b sp1 - the left end a sp1 .
  • the generation unit 13 uses equation (1) to calculate the lower limit value from the upper limit value of the 95% confidence interval for a certain hue value In in the target image SP in the 95% confidence interval of each histogram.
  • the subtracted value Var poi1 is changed to match the target histogram Var tar , thereby converting it into a target hue value.
  • a hue histogram in the object area of the image after conversion is shown at the bottom of FIG.
  • the mean value mean sp2 of the hue histogram in the object region after conversion, the left end a sp2 and the right end b sp2 of the 95% confidence interval are the mean value mean sp2 of the hue histogram in the object region of the target image SP.
  • the mean value mean pi of the histogram indicated by the characteristic information PI is closer to the left end a pi and the right end b pi of the 95% confidence interval.
  • the generation unit 13 generates an image in which the hue in the object area of the target image SP is changed so as to approach the hue indicated by the characteristic information PI. Therefore, the generation unit 13 can input an image having a hue similar to that of the learning image TP to the estimation model, thereby improving the accuracy of classifying sample cells as benign or malignant in pathological diagnosis.
  • the generation unit 13 may change the hue of the background area of the target image SP in addition to the object area of the target image SP.
  • the generation unit 13 may be configured to refer to the background area of the learning image TP.
  • the generation unit 13 may acquire the average value of the pixel values of the background area of the learning image TP, and change the pixel value of the background area of the target image SP to the average value.
  • the generation unit 13 extracts the background regions of each of the plurality of learning images TP, and calculates the average value of the pixel values of each of the extracted background regions. The generation unit 13 may then change the pixel value of the background area of the target image SP to the calculated average value. In this case, the generation unit 13 may use the median value of variations in pixel values instead of the average value of pixel values.
  • FIG. 7 is a flow diagram illustrating an example of the process S4 in which the generation unit 13 changes the resolution of the target image SP according to the present exemplary embodiment.
  • the characteristic information PI is information indicating the resolution of the learning image TP, and a process in which the generation unit 13 refers to an image including a micrometer as an object will be described below.
  • Step S41 the generation unit 13 acquires a micrometer image taken at the same resolution as the target image SP.
  • An example of a micrometer image will be described with reference to FIG. 8.
  • FIG. 8 is a diagram illustrating an example of a micrometer image in this exemplary embodiment.
  • the generation unit 13 acquires an image including a micrometer as an object, as shown in image P1 of FIG.
  • step S42 the generation unit 13 calculates the resolution of the micrometer image.
  • the generation unit 13 first generates an image obtained by binarizing the image P1, as shown in the image P2 of FIG. Next, as shown in image P3 in FIG. 8, the generation unit 13 performs closing processing by performing dilation processing and erosion processing on image P2. Then, as shown in the image P4 of FIG. 8, the generation unit 13 generates the coordinates of the leftmost pixel of the micrometer ( X L , Y L ) and the coordinates (X R , Y R ) of the rightmost pixel of the micrometer are detected, and the resolution is calculated using the following equation (2).
  • L in equation (2) is the length in micrometers.
  • the generation unit 13 calculates the resolution by calculating the number of pixels of the target image SP included in the predetermined length using equation (2).
  • step S43 the generation unit 13 generates an image with the calculated resolution changed to the resolution indicated by the characteristic information PI.
  • the generation unit 13 generates an image with the resolution of the target image SP changed so that the resolution indicated by the characteristic information PI and the resolution of the target image SP are the same. Therefore, it is possible to input into the estimation model an image in which the size of the object included as a subject in the training image TP is equal to the size of the object included as a subject in the target image SP. The accuracy of benign or malignant classification can be improved.
  • FIG. 9 is a flowchart showing another example of the process S5 in which the generation unit 13 changes the resolution of the target image SP according to the present exemplary embodiment.
  • the characteristic information PI is information indicating the size of a predetermined object included as a subject in the learning image TP
  • the generation unit 13 describes a configuration for extracting a predetermined object included as a subject in the target image SP. explain.
  • the predetermined object is not particularly limited, but objects with small individual differences in size are preferable, and examples include red blood cells and lymphocytes.
  • the generation unit 13 uses red blood cells or lymphocytes, which have small individual differences, as a reference for the size of the object included in the target image SP, so that the size of the object can be suitably calculated.
  • the predetermined object is a red blood cell
  • Step S51 the generation unit 13 extracts red blood cells included as a subject in the target image SP as a predetermined object included as a subject in the target image SP.
  • An example of a method for the generation unit 13 to extract red blood cells included as subjects in the target image SP is a method using known deep learning segmentation (DL segmentation).
  • Step S52 the generation unit 13 calculates the size of the extracted red blood cells.
  • the generation unit 13 may approximate the extracted red blood cells to an ellipse and calculate the major axis and the minor axis.
  • the generation unit 13 may calculate the major axis and minor axis of the red blood cell with the largest area. As another example, the generation unit 13 may calculate the major axis and minor axis of the red blood cells, which are the median values of the variations in area of the plurality of red blood cells. As yet another example, the generation unit 13 may calculate the average value of each of the major axis and minor axis of a plurality of red blood cells.
  • step S53 the generation unit 13 generates an image in which the resolution of the target image SP is changed so that the calculated red blood cell size (longer axis and shorter axis) becomes the size (longer axis and shorter axis) indicated by the characteristic information PI. generate.
  • the generation unit 13 changes the resolution of the target image SP so that the size of the predetermined object indicated by the characteristic information PI is equal to the size of the predetermined object included as a subject in the target image SP. Generate an image. Therefore, it is possible to input into the estimation model an image in which the size of the object included as a subject in the training image TP is equal to the size of the object included as a subject in the target image SP. The accuracy of benign or malignant classification can be improved.
  • an image containing a cell as an object is input, and a trained estimation is performed to estimate whether the cell is a benign cell or a malignant cell.
  • characteristic information PI indicating the characteristics of the learning image TP used for model learning
  • an image is generated in which the characteristics of the target image SP containing the sample cells as a subject are changed.
  • the classification device 2 employs a configuration in which the generated image is input to the estimation model.
  • the classification device 2 according to the present exemplary embodiment generates an image in which the characteristics of the target image SP are changed in accordance with the characteristics of the training image TP used for learning the estimation model, and then uses the image as the estimation model. Therefore, according to the classification device 2 according to the present exemplary embodiment, it is possible to improve the accuracy of classifying sample cells as benign or malignant in pathological diagnosis.
  • Some or all of the functions of the image processing device 1 and the classification device 2 may be realized by hardware such as an integrated circuit (IC chip), or may be realized by software.
  • the image processing device 1 and the classification device 2 are realized, for example, by a computer that executes instructions of a program that is software that realizes each function.
  • a computer that executes instructions of a program that is software that realizes each function.
  • An example of such a computer (hereinafter referred to as computer C) is shown in FIG.
  • Computer C includes at least one processor C1 and at least one memory C2.
  • a program P for operating the computer C as the image processing device 1 and the classification device 2 is recorded in the memory C2.
  • the processor C1 reads the program P from the memory C2 and executes it, thereby realizing the functions of the image processing device 1 and the classification device 2.
  • Examples of the processor C1 include a CPU (Central Processing Unit), GPU (Graphic Processing Unit), DSP (Digital Signal Processor), MPU (Micro Processing Unit), FPU (Floating Point Number Processing Unit), and PPU (Physics Processing Unit). , a microcontroller, or a combination thereof.
  • a flash memory for example, a flash memory, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or a combination thereof can be used.
  • the computer C may further include a RAM (Random Access Memory) for expanding the program P during execution and temporarily storing various data. Further, the computer C may further include a communication interface for transmitting and receiving data with other devices. Further, the computer C may further include an input/output interface for connecting input/output devices such as a keyboard, a mouse, a display, and a printer.
  • RAM Random Access Memory
  • the program P can be recorded on a non-temporary tangible recording medium M that is readable by the computer C.
  • a recording medium M for example, a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit can be used.
  • Computer C can acquire program P via such recording medium M.
  • the program P can be transmitted via a transmission medium.
  • a transmission medium for example, a communication network or broadcast waves can be used.
  • Computer C can also obtain program P via such a transmission medium.
  • a first acquisition means that acquires a target image containing sample cells as a subject; and a trained estimation device that receives an image containing cells as a subject and estimates whether the cell is a benign cell or a malignant cell.
  • a second acquisition means for acquiring characteristic information indicating characteristics of a training image used for model learning; and a generation means for generating an image with changed characteristics of the target image by referring to the characteristic information.
  • the characteristic information is information indicating a noise level in the learning image, and is information indicating a noise level in a background area that does not include an object as a subject, and the generating means is configured to extract the background from the target image.
  • the generating means calculates a noise level by applying a Gaussian filter to a background region of the target image, and calculates a noise level when the difference between the noise level indicated by the characteristic information and the noise level in the background region of the target image is a predetermined value.
  • the image processing device which derives a sigma value that falls within the range.
  • the characteristic information is information indicating the color tone in the learning image, and is information indicating the color tone in an object area that includes an object as a subject, and the generating means extracts the object area from the target image.
  • the image processing apparatus according to any one of Supplementary Notes 1 to 3, which generates an image in which a hue in an object area of the extracted target image is changed to be closer to a hue indicated by the characteristic information.
  • appendix 5 The image processing device according to appendix 4, wherein the characteristic information is information indicating histograms of hue, saturation, and brightness in the object area of the learning image.
  • the characteristic information is information indicating the resolution of the learning image
  • the generating means refers to a micrometer image taken at the same resolution as the target image, and converts the resolution of the target image into the characteristic information.
  • the image processing device according to any one of Supplementary Notes 1 to 5, which generates an image whose resolution is changed to that indicated by .
  • the characteristic information is information indicating the size of a predetermined object included as a subject in the learning image, and the generating means extracts the predetermined object included as a subject in the target image, and
  • the image processing device according to any one of Supplementary Notes 1 to 6, which generates an image in which the resolution of the target image is changed so that the size of the object in the image becomes the size indicated by the characteristic information.
  • Appendix 8 The image processing device according to appendix 7, wherein the predetermined object is a red blood cell or a lymphocyte.
  • the second acquisition means acquires characteristic information indicating a characteristic obtained by averaging the characteristics of each of the plurality of learning images, or characteristic information indicating a characteristic that is the median value of the variation in characteristics in each of the plurality of learning images.
  • the image processing device according to any one of Supplementary Notes 1 to 9 to be acquired.
  • the learning image is an image obtained by digitizing an image containing a sample cell as a subject, and the target image is an image obtained by photographing an image of a sample cell reflected under a microscope.
  • a classification device comprising a classification means for classifying.
  • An image processing device acquires a target image that includes a sample cell as an object, and receives an image that includes a cell as an object and uses a trained device to estimate whether the cell is a benign cell or a malignant cell.
  • An image processing method comprising: acquiring characteristic information indicating characteristics of a training image used for learning an estimation model; and generating an image with changed characteristics of the target image by referring to the characteristic information. .
  • a program that causes a computer to function as an image processing device includes a first acquisition means that acquires a target image containing sample cells as a subject, and an image that includes cells as a subject as an input, a second acquisition means for acquiring characteristic information indicating characteristics of a training image used for learning a trained estimation model to estimate whether a cell is a benign cell or a malignant cell; A program that functions as a generating means for generating an image with changed characteristics of the target image by referring to the target image.
  • the processor includes at least one processor, and the processor performs a first acquisition process of acquiring a target image containing a sample cell as an object, and inputs an image including a cell as an object, and determines whether the cell is a benign cell or a malignant cell. a second acquisition process that acquires characteristic information indicating the characteristics of the training image used for learning the trained estimation model to estimate whether or not the target image exists; An image processing device that executes generation processing that generates a modified image.
  • this image processing device may further include a memory, and this memory includes a memory for causing the processor to execute the first acquisition process, the second acquisition process, and the generation process.
  • the program may be stored. Further, this program may be recorded on a computer-readable non-transitory tangible recording medium.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Food Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Biomedical Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

病理診断において、検体細胞の良悪性分類の精度を向上させるために、画像処理装置（１）は、検体細胞を被写体として含む対象画像を取得する第１の取得部（１１）と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得部（１２）と、特性情報を参照して、対象画像の特性を変更した画像を生成する生成部（１３）と、を備えている。

Description

画像処理装置、画像処理方法、およびプログラム
　本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
　病理診断において、検体を被写体として含む画像の画像認識を行う学習済モデルに関する技術が開示されている。
　特許文献１には、染料の異なる複数のＷＳＩ（Whole Slide Image）のそれぞれに対する前処理によってＷＳＩデータを正規化してサンプルのばらつきを抑え、正規化されたＷＳＩデータを機械学習モデルに適用する技術が開示されている。
日本国特表２０２１－５２４６３０号公報
　特許文献１の技術では、学習するための画像と、病理診断における画像認識のために機械学習モデルに入力される画像との関連については考慮されていない。そのため、特許文献１の技術では、機械学習モデルに入力された画像の画像認識の精度が低くなる可能性があるという問題がある。
　このような問題は、検体細胞が良性細胞であるか悪性細胞であるかを分類する良悪性分類において、良性であるにも関わらず悪性であると分類してしまう偽陽性を発生させる原因となる。偽陽性が発生すると、本来は再検査の必要がないにも関わらず再検査が必要になってしまう。また悪性であるにも関わらず良性であると分類してしまう偽陰性が発生した場合、がんの見落としに繋がるリスクもある。したがって、良悪性分類においては、入力された画像の画像認識の精度は高い方が好ましい。
　本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、病理診断において、検体細胞の良悪性分類の精度を向上させる技術を提供することである。
　本発明の一側面に係る画像処理装置は、検体細胞を被写体として含む対象画像を取得する第１の取得手段と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得手段と、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成手段と、を備える。
　本発明の一側面に係る画像処理方法は、画像処理装置が、検体細胞を被写体として含む対象画像を取得することと、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得することと、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成することと、を含む。
　本発明の一側面に係るプログラムは、コンピュータを画像処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、検体細胞を被写体として含む対象画像を取得する第１の取得手段と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得手段と、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成手段と、として機能させる。
　本発明の一態様によれば、病理診断において、検体細胞の良悪性分類の精度を向上させることができる。
本発明の例示的実施形態１に係る画像処理装置の構成を示すブロック図である。 本発明の例示的実施形態１に係る画像処理方法のフロー図である。 本発明の例示的実施形態２に係る分類装置の構成を示すブロック図である。 本発明の例示的実施形態２に係る生成部が対象画像のノイズレベルを変更した画像を生成する処理の流れの一例を示すフロー図である。 本発明の例示的実施形態２に係る生成部が対象画像の色合いを変更した画像を生成する処理の流れの一例を示すフロー図である。 本発明の例示的実施形態２における色相のヒストグラムの一例を示す図である。 本発明の例示的実施形態２に係る生成部が対象画像の解像度を変更する処理の流れの一例を示すフロー図である。 本発明の例示的実施形態２におけるミクロメータの画像の一例を示す図である。 本発明の例示的実施形態２に係る生成部が対象画像の解像度を変更する処理の流れの他の例を示すフロー図である。 本発明の各例示的実施形態における画像処理装置および分類装置のハードウェア構成の一例を示すブロック図である。
　〔例示的実施形態１〕
　本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
　（画像処理装置１の概要）
　本例示的実施形態に係る画像処理装置１は、検体細胞を被写体として含む対象画像の特性を変更した画像を生成する画像処理装置である。一例として、画像処理装置１は、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済みの推定モデルの学習に用いた学習用画像の特性に合わせて、対象画像の特性を変更した画像を生成する。
　画像の特性とは、画像が備えている性質や特徴を指す。一例として、画像に含まれるノイズの大きさを示すノイズレベル、画像の色相、明度、および彩度からなる色合い、画像内における所定の長さに含まれる画素数を示す解像度、および画像に被写体として含まれる所定のオブジェクトの大きさを示す情報が挙げられる。
　また、推定モデルの具体的構成は本例示的実施形態を限定するものではないが、一例として、ＣＮＮ（Convolution Neural Network）、ＲＮＮ（Recurrent Neural Network）、又はそれらの組み合わせを用いることができる。また、ランダムフォレストやサポートベクターマシンのような非ニューラルネットワーク型のモデルを用いてもよい。
　（画像処理装置１の構成）
　本例示的実施形態に係る画像処理装置１の構成について、図１を参照して説明する。図１は、本例示的実施形態に係る画像処理装置１の構成を示すブロック図である。
　画像処理装置１は、図１に示すように、第１の取得部１１、第２の取得部１２、および生成部１３を備えている。第１の取得部１１、第２の取得部１２、および生成部１３は、本例示的実施形態においてそれぞれ第１の取得手段、第２の取得手段、および生成手段を実現する構成である。
　第１の取得部１１は、検体細胞を被写体として含む対象画像を取得する。第１の取得部１１は、取得した対象画像を生成部１３に供給する。
　第２の取得部１２は、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する。第２の取得部１２は、取得した特性情報を生成部１３に供給する。
　生成部１３は、第２の取得部１２から供給された特性情報を参照して、第１の取得部１１から供給された対象画像の特性を変更した画像を生成する。
　以上のように、本例示的実施形態に係る画像処理装置１においては、検体細胞を被写体として含む対象画像を取得する第１の取得部１１と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得部１２と、特性情報を参照して、対象画像の特性を変更した画像を生成する生成部１３とを備える構成が採用されている。
　すなわち、本例示的実施形態に係る画像処理装置１は、推定モデルの学習に用いた学習用画像の特性に合わせて対象画像の特性を変更した画像を生成するので、本例示的実施形態に係る画像処理装置１によれば、病理診断において、検体細胞の良悪性分類の精度を向上させることができるという効果が得られる。
　（画像処理方法Ｓ１の流れ）
　本例示的実施形態に係る画像処理方法Ｓ１の流れについて、図２を参照して説明する。図２は、本例示的実施形態に係る画像処理方法Ｓ１の流れを示すフロー図である。
　（ステップＳ１１）
　ステップＳ１１において、第１の取得部１１は、検体細胞を被写体として含む対象画像を取得する。第１の取得部１１は、取得した対象画像を生成部１３に供給する。
　（ステップＳ１２）
　ステップＳ１２において、第２の取得部１２は、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する。第２の取得部１２は、取得した特性情報を生成部１３に供給する。
　（ステップＳ１３）
　ステップＳ１３において、生成部１３は、第２の取得部１２から供給された特性情報を参照して、第１の取得部１１から供給された対象画像の特性を変更した画像を生成する。
　以上のように、本例示的実施形態に係る画像処理方法Ｓ１においては、検体細胞を被写体として含む対象画像を取得することと、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得することと、特性情報を参照して、対象画像の特性を変更した画像を生成することと、を含む構成が採用されている。このため、本例示的実施形態に係る画像処理方法Ｓ１によれば、上述した画像処理装置１と同様の効果が得られる。
　〔例示的実施形態２〕
　本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
　（分類装置２の概要）
　本例示的実施形態に係る分類装置２は、検体細胞が良性細胞であるか悪性細胞であるかを分類する装置である。
　一例として、分類装置２は、細胞を被写体として含む画像を入力として、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルに、検体細胞を被写体として含む画像を入力することにより、検体細胞が良性細胞であるか悪性細胞であるかを分類する。
　より具体的には、分類装置２は、検体細胞を被写体として含む対象画像を取得し、当該対象画像の特性を推定モデルの学習に用いた学習用画像の特性に合わせた画像を生成する。そして、分類装置２は、生成した画像を推定モデルに入力し、推定モデルによる結果を参照して、検体細胞が良性細胞であるか悪性細胞であるかを分類する。すなわち、分類装置２は、上述した画像処理装置１の構成を含み、画像処理装置１によって生成された画像を推定モデルに入力することによって、検体細胞が良性細胞であるか悪性細胞であるかを分類する。
　一例として、学習用画像は、検体細胞を被写体として含む画像をデジタル化した画像であり、対象画像は、検体細胞を顕微鏡で映し出した画像を撮影した画像である。学習用画像がデジタル化した画像の場合、多くの学習用画像を取得することができるので、分類装置２は推定モデルの精度を高くすることができる。また、対象画像が顕微鏡で映し出した画像を撮影した画像の場合、分類装置２は術中迅速診（ＲＯＳＥ:Rapid On-Site Evaluation）における細胞診に用いられ得る。
　画像の特性および推定モデルについては、上述した通りである。
　（分類装置２の構成）
　本例示的実施形態に係る分類装置２の構成について、図３を参照して説明する。図３は、本例示的実施形態に係る分類装置２の構成を示すブロック図である。
　分類装置２は、図３に示すように、制御部１０、記憶部２１、および入出力部２２を備えている。
　記憶部２１は、後述する制御部１０が参照するデータが格納されている。記憶部２１に格納されているデータの一例として、推定モデルの学習に用いた学習用画像ＴＰの特性を示す特性情報ＰＩ、検体細胞を被写体として含む対象画像ＳＰ、および学習用画像ＴＰが挙げられる。
　入出力部２２は、接続されている他の装置からデータを取得、または、接続されている他の装置にデータを出力するインタフェースである。入出力部２２は、他の装置から取得したデータを制御部１０に供給したり、制御部１０から供給されたデータを他の装置に出力したりする。
　また、入出力部２２は、ネットワークを介して他の装置と通信する通信モジュールであってもよい。ネットワークの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、または、これらのネットワークの組み合わせを用いることができる。
　（制御部１０）
　制御部１０は、分類装置２が備える各構成要素を制御する。また、制御部１０は、図３に示すように、第１の取得部１１、第２の取得部１２、生成部１３、および分類部１４としても機能する。第１の取得部１１、第２の取得部１２、生成部１３、および分類部１４は、本例示的実施形態においてそれぞれ第１の取得手段、第２の取得手段、生成手段、および分類手段を実現する構成である。
　第１の取得部１１は、検体細胞を被写体として含む対象画像ＳＰを取得する。第１の取得部１１は、取得した対象画像ＳＰを記憶部２１に格納する。
　第２の取得部１２は、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像ＴＰの特性を示す特性情報ＰＩを取得する。第２の取得部１２は、特性情報ＰＩそのものを取得する構成であってもよいし、１または複数の学習用画像ＴＰを取得し、１または複数の学習用画像ＴＰから特性情報ＰＩを導出することによって取得してもよい。第２の取得部１２は、取得した特性情報ＰＩ（および学習用画像ＴＰ）を記憶部２１に格納する。
　ここで、特性情報ＰＩの一例として、複数の学習用画像ＴＰのそれぞれにおける特性を平均化した特性を示す特性情報ＰＩ、複数の学習用画像ＴＰのそれぞれにおける特性のばらつきの中央値となる特性を示す特性情報ＰＩが挙げられる。
　また、図３に示すように、第２の取得部１２は、導出部１２１を備えている。
　導出部１２１は、学習用画像ＴＰから特性情報ＰＩを導出する。一例として、導出部１２１は、学習用画像ＴＰの特性を抽出し、抽出した特性を示す特性情報ＰＩを導出する。他の例として、導出部１２１は、複数の学習用画像ＴＰのそれぞれの特性を抽出し、抽出したそれぞれの特性を平均化した特性、または抽出したそれぞれの特性のばらつきの中央値となる特性を示す特性情報ＰＩを導出する。
　生成部１３は、特性情報ＰＩを参照して、対象画像ＳＰの特性を変更した画像を生成する。生成部１３は、生成した画像を分類部１４に供給する。
　一例として、生成部１３は、対象画像ＳＰのノイズレベルを変更した画像を生成する。他の例として、生成部１３は、対象画像ＳＰの色合いを変更した画像を生成する。さらに他の例として、生成部１３は、対象画像ＳＰの解像度を変更した画像を生成する。さらに他の例として、生成部１３は、対象画像ＳＰに含まれるオブジェクトの大きさを変更した画像を生成する。
　また、生成部１３は、対象画像ＳＰの複数の特性を変更した画像を生成してもよい。一例として、生成部１３は、対象画像ＳＰのノイズレベル、色合い、および解像度を変更した画像を生成する。
　また、生成部１３は、対象画像ＳＰの複数の特性を変更した画像を生成する場合、所定の順序で特性を変更した画像を生成してもよいし、順序に関係なく対象画像ＳＰの複数の特性を変更した画像を生成してもよい。
　所定の順序で特性を変更した画像を生成する構成の一例として、生成部１３はまず、対象画像ＳＰのノイズレベルを変更した画像を生成する。次に、生成部１３は、ノイズレベル変更後の画像に対して、色合いを変更する処理を行い、色合いを変更した画像を生成する。そして、生成部１３は、色合いを変更後の画像に対して、解像度を変更する処理を行い、解像度を変更した画像を生成する。
　生成部１３が実行する処理の流れについては、後述する。
　分類部１４は、生成部１３から供給された画像を推定モデルに入力し、生成部１３から供給された画像に被写体として含まれる検体細胞が良性細胞であるか悪性細胞であるかを分類する。分類部１４は、入出力部２２を介して、分類した結果を出力する。
　一例として、分類部１４は、推定モデルから出力された推定結果が検体細胞は良性細胞であることを示す場合、生成部１３から供給された画像に被写体として含まれる検体細胞は良性細胞であると分類する。一方、分類部１４は、推定モデルから出力された推定結果が検体細胞は悪性細胞であることを示す場合、生成部１３から供給された画像に被写体として含まれる検体細胞は悪性細胞であると分類する。
　（ノイズレベルを変更した画像を生成する処理）
　生成部１３が、対象画像ＳＰのノイズレベルを変更した画像を生成する処理の一例について、図４を参照して説明する。図４は、本例示的実施形態に係る生成部１３が対象画像ＳＰのノイズレベルを変更した画像を生成する処理Ｓ２の流れの一例を示すフロー図である。以下では、特性情報ＰＩは、学習用画像ＴＰにおけるノイズレベルを示す情報であって、被写体としてオブジェクトが含まれていないバックグラウンド領域におけるノイズレベルを示す情報であり、生成部１３がガウシアンフィルタを適用してノイズレベルを算出する処理について説明する。
　（ステップＳ２１）
　ステップＳ２１において、生成部１３は、対象画像ＳＰから、被写体としてオブジェクトが含まれていない領域であるバックグラウンド領域を抽出する。生成部１３がバックグラウンド領域を抽出する方法については特に限定されないが、一例として、所定の画素値以下の領域をバックグラウンド領域として抽出する方法が挙げられる。
　（ステップＳ２２）
　ステップＳ２２において、生成部１３は、抽出したバックグラウンド領域に、ガウシアンフィルタを適用する。生成部１３が適用するガウシアンフィルタのシグマ値は特に限定されないが、一例として、１．０、１．５などの値が挙げられる。
　（ステップＳ２３）
　ステップＳ２３において、生成部１３は、ガウシアンフィルタ適用後のバックグラウンド領域のノイズレベルを算出する。一例として、特性情報ＰＩがノイズレベルとして画素値の標準偏差を示す場合、生成部１３は、ノイズレベルとして、ガウシアンフィルタ適用後のバックグラウンド領域における画素値の標準偏差を算出する。そして、生成部１３は、算出したバックグラウンド領域における画素値の標準偏差と、特性情報ＰＩが示す標準偏差との差異を算出する。
　（ステップＳ２４）
　ステップＳ２４において、生成部１３は、算出した差異が所定の範囲内であるか否かを判定する。
　（ステップＳ２５）
　ステップＳ２４において、算出した差異が所定の範囲内ではないと判定された場合（ステップＳ２４：ＮＯ）、ステップＳ２５において、生成部１３は、適用するガウシアンフィルタのシグマ値を変更する。
　一例として、ガウシアンフィルタ適用後のバックグラウンド領域の画素値の標準偏差が、特性情報ＰＩが示す標準偏差より高い場合、生成部１３は、シグマ値を１０％上げる。一方、ガウシアンフィルタ適用後のバックグラウンド領域の画素値の標準偏差が、特性情報ＰＩが示す標準偏差より低い場合、生成部１３は、シグマ値を１０％下げる。すなわち、生成部１３は、特性情報ＰＩが示すノイズレベルと、対象画像ＳＰのバックグラウンド領域におけるノイズレベルとの差異が所定の範囲内となるシグマ値を導出する。
　そして、生成部１３は、変更後のシグマ値のガウシアンフィルタを適用するため、ステップＳ２２の処理に戻る。
　（ステップＳ２６）
　ステップＳ２４において、算出した差異が所定の範囲内であると判定された場合（ステップＳ２４：ＹＥＳ）、ステップＳ２６において、生成部１３は、特性情報ＰＩが示すノイズレベルと、対象画像ＳＰのバックグラウンド領域におけるノイズレベルとの差異が所定の範囲内となったシグマ値のガウシアンフィルタを対象画像ＳＰに適用し、ノイズレベルを変更した画像を生成する。すなわち、生成部１３は、抽出した対象画像ＳＰのバックグラウンド領域におけるノイズレベルを特性情報ＰＩが示すノイズレベルに近付けるように、対象画像ＳＰのノイズレベルを変更した画像を生成する。
　このように、生成部１３は、抽出した対象画像ＳＰのバックグラウンド領域におけるノイズレベルを特性情報ＰＩが示すノイズレベルに近付けるように、対象画像ＳＰのノイズレベルを変更した画像を生成する。したがって、生成部１３は、学習用画像ＴＰのノイズレベルと同等のレベルのノイズレベルを有する画像を推定モデルに入力することができるので、病理診断において、検体細胞の良悪性分類の精度を向上させることができる。
　（色合いを変更した画像を生成する処理１）
　生成部１３が、対象画像ＳＰの色合いを変更した画像を生成する処理の一例について、図５を参照して説明する。図５は、本例示的実施形態に係る生成部１３が対象画像ＳＰの色合いを変更した画像を生成する処理Ｓ３の流れの一例を示すフロー図である。以下では、特性情報ＰＩは、学習用画像ＴＰにおける色合いを示す情報であって、被写体としてオブジェクトが含まれているオブジェクト領域の色合いを示す情報であり、一例として、特性情報ＰＩは、学習用画像ＴＰのオブジェクト領域における色相、彩度、および明度それぞれのヒストグラムを示す情報である場合について説明する。
　（ステップＳ３１）
　ステップＳ３１において、生成部１３は、対象画像ＳＰにおいて、被写体としてオブジェクトが含まれる領域であるオブジェクト領域を抽出する。生成部１３がオブジェクト領域を抽出する方法については特に限定されないが、一例として、所定の画素値以上の領域をオブジェクト領域として抽出する方法が挙げられる。
　（ステップＳ３２）
　ステップＳ３２において、生成部１３は、抽出したオブジェクト領域における色合いを示す情報として、抽出したオブジェクト領域の色合いのヒストグラムを生成する。一例として、生成部１３は、抽出したオブジェクト領域の色相、彩度、および明度それぞれのヒストグラムを生成する。
　（ステップＳ３３）
　ステップＳ３３において、生成部１３は、抽出した対象画像ＳＰのオブジェクト領域における色合いを、特性情報ＰＩが示す色合いに近付けるように変更した画像を生成する。ステップＳ３３における生成部１３の処理の一例について、図６を参照して説明する。図６は、本例示的実施形態における色相のヒストグラムの一例を示す図である。以下では、色相のヒストグラムについて説明するが、彩度および明度のヒストグラムについても同様である。
　特性情報ＰＩが示す色相のヒストグラムが図６の上側に示すヒストグラムあった場合、生成部１３は、特性情報ＰＩが示す色相のヒストグラムにおける平均値ｍｅａｎｐｉ、９５％信頼区間の左端ａｐｉおよび右端ｂｐｉを算出する。
　次に、ステップＳ３２において生成した対象画像ＳＰのオブジェクト領域における色相のヒストグラムが図６の真ん中のヒストグラムであった場合、生成部１３は同様に、対象画像ＳＰのオブジェクト領域における色相のヒストグラムにおける平均値ｍｅａｎｓｐ１、９５％信頼区間の左端ａｓｐ１および右端ｂｓｐ１を算出する。
　そして、生成部１３は、以下の式（１）を用いて変更後の値Ｏｕｔを算出する。
Figure JPOXMLDOC01-appb-M000001
 　式（１）における各変数は以下の通りである。
Ｏｕｔ：変更後の色相値
Ｉｎ：対象画像ＳＰの色相値
Ｖａｒｔａｒ：目標ヒストグラムにおいて、色相値Ｉｎの９５％信頼区間の上限値から下限値を引いた値。すなわち右端ｂｐｉ－左端ａｐｉ。
Ｖａｒｐｏｉ１：対象画像ＳＰのヒストグラムにおいて、色相値Ｉｎの９５％信頼区間の上限値から下限値を引いた値。すなわち右端ｂｓｐ１－左端ａｓｐ１。
　すなわち、生成部１３は、式（１）を用いて、各ヒストグラムの９５％信頼区間において、対象画像ＳＰにおけるある色相値Ｉｎについて、当該ある色相値における９５％信頼区間の上限値から下限値を引いた値Ｖａｒｐｏｉ１を、目標ヒストグラムのそれであるＶａｒｔａｒに合わせるように変更することによって、目標となる色相値に変換する。
　変換後の画像のオブジェクト領域における色相のヒストグラムを、図６の下側に示す。図６の下側に示すように、変換後のオブジェクト領域における色相のヒストグラムの平均値ｍｅａｎｓｐ２、９５％信頼区間の左端ａｓｐ２および右端ｂｓｐ２は、対象画像ＳＰのオブジェクト領域における色合いのヒストグラムの平均値ｍｅａｎｓｐ１、９５％信頼区間の左端ａｓｐ１および右端ｂｓｐ１に比べて、特性情報ＰＩが示すヒストグラムの平均値ｍｅａｎｐｉ、９５％信頼区間の左端ａｐｉおよび右端ｂｐｉ近くなっている。
　このように、生成部１３は、対象画像ＳＰのオブジェクト領域における色合いを、特性情報ＰＩが示す色合いに近付けるように変更した画像を生成する。したがって、生成部１３は、学習用画像ＴＰの色合いと同等の色合いを有する画像を推定モデルに入力することができるので、病理診断において、検体細胞の良悪性分類の精度を向上させることができる。
　（色合いを変更した画像を生成する処理２）
　生成部１３は、対象画像ＳＰの色合いを変更する処理において、対象画像ＳＰのオブジェクト領域に加えて、対象画像ＳＰのバックグラウンド領域の色合いを変更してもよい。
　一例として、生成部１３は、対象画像ＳＰのバックグラウンド領域の画素値ＲＧＢを、所定の値（例えば２５６諧調の画像であれば、（Ｒ，Ｇ，Ｂ）＝（２３０，２３０，２３０））に変更してもよい。
　他の例として、生成部１３は、学習用画像ＴＰのバックグラウンド領域を参照する構成であってもよい。一例として、生成部１３は、学習用画像ＴＰのバックグラウンド領域の画素値の平均値を取得し、対象画像ＳＰのバックグラウンド領域の画素値を、当該平均値に変更してもよい。他の例として、生成部１３は、複数の学習用画像ＴＰのそれぞれのバックグラウンド領域を抽出し、抽出した各バックグランド領域の画素値の平均値を算出する。そして、生成部１３は、対象画像ＳＰのバックグラウンド領域の画素値を、算出した平均値に変更してもよい。この場合、生成部１３は、画素値の平均値に替えて、画素値のばらつきの中央値を用いてもよい。
　（解像度を変更した画像を生成する処理１）
　生成部１３が、対象画像ＳＰの解像度を変更する処理の一例について、図７を参照して説明する。図７は、本例示的実施形態に係る生成部１３が対象画像ＳＰの解像度を変更する処理Ｓ４の流れの一例を示すフロー図である。以下では、特性情報ＰＩは学習用画像ＴＰの解像度を示す情報であり、生成部１３がミクロメータを被写体として含む画像を参照する処理について説明する。
　（ステップＳ４１）
　ステップＳ４１において、生成部１３は、対象画像ＳＰと同じ解像度で撮影されたミクロメータの画像を取得する。ミクロメータの画像の一例について、図８を参照して説明する。図８は、本例示的実施形態におけるミクロメータの画像の一例を示す図である。生成部１３は、図８の画像Ｐ１に示すように、ミクロメータを被写体として含む画像を取得する。
　（ステップＳ４２）
　ステップＳ４２において、生成部１３は、ミクロメータの画像の解像度を算出する。
　一例として、生成部１３はまず、図８の画像Ｐ２に示すように、画像Ｐ１を２値化した画像を生成する。次に、生成部１３は、図８の画像Ｐ３に示すように、画像Ｐ２に対して膨張（Ｄｉｌａｔｉｏｎ）処理および収縮（Ｅｒｏｓｉｏｎ）処理を行うことにより、クロージング（Ｃｌｏｓｉｎｇ）処理を行う。そして、生成部１３は、図８の画像Ｐ４に示すように、画像Ｐ４の水平方向に沿った方向をＸ軸、Ｘ軸に直交する方向をＹ軸として、ミクロメータの左端の画素の座標（ＸＬ，ＹＬ）およびミクロメータの右端の画素の座標（ＸＲ，ＹＲ）を検出し、以下の式（２）を用いて解像度Ｒｅｓｏｌｕｔｉｏｎを算出する。
Figure JPOXMLDOC01-appb-M000002
 　式（２）におけるＬは、ミクロメータの長さである。
　すなわち、生成部１３は、式（２）を用いて、所定の長さに含まれる対象画像ＳＰの画素数を算出することにより、解像度を算出する。
　（ステップＳ４３）
　ステップＳ４３において、生成部１３は、算出した解像度を特性情報ＰＩが示す解像度に変更した画像を生成する。
　このように、生成部１３は、特性情報ＰＩが示す解像度と、対象画像ＳＰの解像度とが同じになるように、対象画像ＳＰの解像度を変更した画像を生成する。したがって、学習用画像ＴＰに被写体として含まれるオブジェクトの大きさと、対象画像ＳＰに被写体として含まれるオブジェクトの大きさとを同等にした画像を推定モデルに入力することができるので、病理診断において、検体細胞の良悪性分類の精度を向上させることができる。
　（解像度を変更した画像を生成する処理２）
　生成部１３が、対象画像ＳＰの解像度を変更する処理の他の一例について、図９を参照して説明する。図９は、本例示的実施形態に係る生成部１３が対象画像ＳＰの解像度を変更する処理Ｓ５の流れの他の一例を示すフロー図である。以下では、特性情報ＰＩは、学習用画像ＴＰに被写体として含まれる所定のオブジェクトの大きさを示す情報であり、生成部１３は、対象画像ＳＰに被写体として含まれる所定のオブジェクトを抽出する構成について説明する。
　ここで、所定のオブジェクトは特に限定されないが、大きさの個体差が小さいオブジェクトが好ましく、一例として、赤血球およびリンパ球が挙げられる。当該構成により、生成部１３は、対象画像ＳＰに含まれるオブジェクトの大きさの基準として、個体差の小さい赤血球またはリンパ球を用いるので、オブジェクトの大きさを好適に算出することができる。以下では、所定のオブジェクトが赤血球の場合について説明する。
　（ステップＳ５１）
　ステップＳ５１において、生成部１３は、対象画像ＳＰに被写体として含まれる所定のオブジェクトとして、対象画像ＳＰに被写体として含まれる赤血球を抽出する。生成部１３が対象画像ＳＰに被写体として含まれる赤血球を抽出する方法の一例として、既知のディープラーニングセグメンテーション（ＤＬ　ｓｅｇｍｅｎｔａｔｉｏｎ）を使った方法が挙げられる。
　（ステップＳ５２）
　ステップＳ５２において、生成部１３は、抽出した赤血球の大きさを算出する。生成部１３は、抽出した赤血球を楕円近似し、長径および短径を算出してもよい。
　また、複数の赤血球が抽出された場合、一例として、生成部１３は、面積が最大の赤血球の長径および短径を算出してもよい。他の例として、生成部１３は、当該複数の赤血球の面積のばらつきの中央値となる赤血球の長径および短径を算出してもよい。さらに他の例として、生成部１３は、複数の赤血球の長径および短径それぞれの平均値を算出してもよい。
　（ステップＳ５３）
　ステップＳ５３において、生成部１３は、算出した赤血球の大きさ（長径および短径）が、特性情報ＰＩが示す大きさ（長径および短径）になるように対象画像ＳＰの解像度を変更した画像を生成する。
　このように、生成部１３は、特性情報ＰＩが示す所定のオブジェクトの大きさと、対象画像ＳＰに被写体として含まれる所定のオブジェクトの大きさとが同等になるように、対象画像ＳＰの解像度を変更した画像を生成する。したがって、学習用画像ＴＰに被写体として含まれるオブジェクトの大きさと、対象画像ＳＰに被写体として含まれるオブジェクトの大きさとを同等にした画像を推定モデルに入力することができるので、病理診断において、検体細胞の良悪性分類の精度を向上させることができる。
　（分類装置２の効果）
　以上のように、本例示的実施形態に係る分類装置２においては、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像ＴＰの特性を示す特性情報ＰＩを参照して、検体細胞を被写体として含む対象画像ＳＰの特性を変更した画像を生成する。そして、本例示的実施形態に係る分類装置２においては、生成した画像を推定モデルに入力する構成が採用されている。
　すなわち、本例示的実施形態に係る分類装置２は、推定モデルの学習に用いた学習用画像ＴＰの特性に合わせて対象画像ＳＰの特性を変更した画像を生成した上で、当該画像を推定モデルに入力するので、本例示的実施形態に係る分類装置２によれば、病理診断において、検体細胞の良悪性分類の精度を向上させることができるという効果が得られる。
　〔ソフトウェアによる実現例〕
　画像処理装置１、分類装置２の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、画像処理装置１、分類装置２は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１０に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを画像処理装置１、分類装置２として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、画像処理装置１、分類装置２の各機能が実現される。
　プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
　なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
　また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
　〔付記事項１〕
　本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
　〔付記事項２〕
　上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
　（付記１）
　検体細胞を被写体として含む対象画像を取得する第１の取得手段と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得手段と、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成手段と、を備える画像処理装置。
　（付記２）
　前記特性情報は、前記学習用画像におけるノイズレベルを示す情報であって、被写体としてオブジェクトが含まれていないバックグラウンド領域におけるノイズレベルを示す情報であり、前記生成手段は、前記対象画像からバックグラウンド領域を抽出し、抽出した前記対象画像のバックグラウンド領域におけるノイズレベルを前記特性情報が示すノイズレベルに近付けるように、前記対象画像のノイズレベルを変更した画像を生成する付記１に記載の画像処理装置。
　（付記３）
　前記生成手段は、前記対象画像のバックグランド領域にガウシアンフィルタを適用してノイズレベルを算出し、前記特性情報が示すノイズレベルと、前記対象画像のバックグラウンド領域におけるノイズレベルとの差異が所定の範囲内となるシグマ値を導出する付記２に記載の画像処理装置。
　（付記４）
　前記特性情報は、前記学習用画像における色合いを示す情報であって、被写体としてオブジェクトが含まれているオブジェクト領域における色あいを示す情報であり、前記生成手段は、前記対象画像からオブジェクト領域を抽出し、抽出した前記対象画像のオブジェクト領域における色合いを、前記特性情報が示す色合いに近付けるように変更した画像を生成する付記１から３の何れか１項に記載の画像処理装置。
　（付記５）
　前記特性情報は、前記学習用画像のオブジェクト領域における色相、彩度、および明度それぞれのヒストグラムを示す情報である付記４に記載の画像処理装置。
　（付記６）
　前記特性情報は、前記学習用画像の解像度を示す情報であり、前記生成手段は、前記対象画像と同じ解像度で撮影されたミクロメータの画像を参照して、前記対象画像の解像度を前記特性情報が示す解像度に変更した画像を生成する付記１から５の何れか１項に記載の画像処理装置。
　（付記７）
　前記特性情報は、前記学習用画像に被写体として含まれる所定のオブジェクトの大きさを示す情報であり、前記生成手段は、前記対象画像に被写体として含まれる所定のオブジェクトを抽出し、抽出した前記対象画像のオブジェクトの大きさが、前記特性情報が示す大きさになるように前記対象画像の解像度を変更した画像を生成する付記１から６の何れか１項に記載の画像処理装置。
　（付記８）
　前記所定のオブジェクトは、赤血球またはリンパ球である付記７に記載の画像処理装置。
　（付記９）
　前記第２の取得手段は、前記学習用画像を取得し、前記学習用画像から特性情報を導出する導出手段を備える付記１から８の何れか１項に記載の画像処理装置。
　（付記１０）
　前記第２の取得手段は、複数の学習用画像のそれぞれにおける特性を平均化した特性を示す特性情報、または複数の学習用画像のそれぞれにおける特性のばらつきの中央値となる特性を示す特性情報を取得する付記１から９の何れか１項に記載の画像処理装置。
　（付記１１）
　前記学習用画像は、検体細胞を被写体として含む画像をデジタル化した画像であり、前記対象画像は、検体細胞を顕微鏡で映し出した画像を撮影した画像である付記１から１０の何れか１項に記載の画像処理装置。
　（付記１２）
　付記１に記載の画像処理装置が生成した画像を前記推定モデルに入力し、付記１に記載の画像処理装置が生成した画像に被写体として含まれる検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段を備える分類装置。
　（付記１３）
　画像処理装置が、検体細胞を被写体として含む対象画像を取得することと、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得することと、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成することと、を含む画像処理方法。
　（付記１４）
　コンピュータを画像処理装置として機能させるプログラムであって、前記プログラムは、前記コンピュータを、検体細胞を被写体として含む対象画像を取得する第１の取得手段と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得手段と、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成手段と、として機能させるプログラム。
　〔付記事項３〕
　上述した実施形態の一部又は全部は、更に、以下のように表現することもできる。
　少なくとも１つのプロセッサを備え、前記プロセッサは、検体細胞を被写体として含む対象画像を取得する第１の取得処理と、細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得処理と、前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成処理とを実行する画像処理装置。
　なお、この画像処理装置は、更にメモリを備えていてもよく、このメモリには、前記第１の取得処理と、前記第２の取得処理と、前記生成処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
　１　画像処理装置
　２　分類装置
　１０　制御部
　１１　第１の取得部
　１２　第２の取得部
　１３　生成部
　１４　分類部
　１２１　導出部

 

Claims (14)

  1. 　検体細胞を被写体として含む対象画像を取得する第１の取得手段と、
    　細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得手段と、
    　前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成手段と、
    を備える画像処理装置。
  2. 　前記特性情報は、前記学習用画像におけるノイズレベルを示す情報であって、被写体としてオブジェクトが含まれていないバックグラウンド領域におけるノイズレベルを示す情報であり、
    　前記生成手段は、
    　　前記対象画像からバックグラウンド領域を抽出し、
    　　抽出した前記対象画像のバックグラウンド領域におけるノイズレベルを前記特性情報が示すノイズレベルに近付けるように、前記対象画像のノイズレベルを変更した画像を生成する
    請求項１に記載の画像処理装置。
  3. 　前記生成手段は、
    　　前記対象画像のバックグランド領域にガウシアンフィルタを適用してノイズレベルを算出し、
    　　前記特性情報が示すノイズレベルと、前記対象画像のバックグラウンド領域におけるノイズレベルとの差異が所定の範囲内となるシグマ値を導出する
    請求項２に記載の画像処理装置。
  4. 　前記特性情報は、前記学習用画像における色合いを示す情報であって、被写体としてオブジェクトが含まれているオブジェクト領域における色あいを示す情報であり、
    　前記生成手段は、
    　　前記対象画像からオブジェクト領域を抽出し、
    　　抽出した前記対象画像のオブジェクト領域における色合いを、前記特性情報が示す色合いに近付けるように変更した画像を生成する
    請求項１から３の何れか１項に記載の画像処理装置。
  5. 　前記特性情報は、前記学習用画像のオブジェクト領域における色相、彩度、および明度それぞれのヒストグラムを示す情報である
    請求項４に記載の画像処理装置。
  6. 　前記特性情報は、前記学習用画像の解像度を示す情報であり、
    　前記生成手段は、前記対象画像と同じ解像度で撮影されたミクロメータの画像を参照して、前記対象画像の解像度を前記特性情報が示す解像度に変更した画像を生成する
    請求項１から５の何れか１項に記載の画像処理装置。
  7. 　前記特性情報は、前記学習用画像に被写体として含まれる所定のオブジェクトの大きさを示す情報であり、
    　前記生成手段は、
    　　前記対象画像に被写体として含まれる所定のオブジェクトを抽出し、
    　　抽出した前記対象画像のオブジェクトの大きさが、前記特性情報が示す大きさになるように前記対象画像の解像度を変更した画像を生成する
    請求項１から６の何れか１項に記載の画像処理装置。
  8. 　前記所定のオブジェクトは、赤血球またはリンパ球である
    請求項７に記載の画像処理装置。
  9. 　前記第２の取得手段は、
    　　前記学習用画像を取得し、
    　　前記学習用画像から特性情報を導出する導出手段を備える
    請求項１から８の何れか１項に記載の画像処理装置。
  10. 　前記第２の取得手段は、複数の学習用画像のそれぞれにおける特性を平均化した特性を示す特性情報、または複数の学習用画像のそれぞれにおける特性のばらつきの中央値となる特性を示す特性情報を取得する
    請求項１から９の何れか１項に記載の画像処理装置。
  11. 　前記学習用画像は、検体細胞を被写体として含む画像をデジタル化した画像であり、
    　前記対象画像は、検体細胞を顕微鏡で映し出した画像を撮影した画像である
    請求項１から１０の何れか１項に記載の画像処理装置。
  12. 　請求項１に記載の画像処理装置が生成した画像を前記推定モデルに入力し、請求項１に記載の画像処理装置が生成した画像に被写体として含まれる検体細胞が良性細胞であるか悪性細胞であるかを分類する分類手段
    を備える分類装置。
  13. 　画像処理装置が、
    　検体細胞を被写体として含む対象画像を取得することと、
    　細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得することと、
    　前記特性情報を参照して、前記対象画像の特性を変更した画像を生成することと、
    を含む画像処理方法。
  14. 　コンピュータを画像処理装置として機能させるプログラムであって、
    　前記プログラムは、前記コンピュータを、
    　検体細胞を被写体として含む対象画像を取得する第１の取得手段と、
    　細胞を被写体として含む画像を入力とし、当該細胞が良性細胞であるか悪性細胞であるかを推定するように学習済の推定モデルの学習に用いた学習用画像の特性を示す特性情報を取得する第２の取得手段と、
    　前記特性情報を参照して、前記対象画像の特性を変更した画像を生成する生成手段と、
    として機能させるプログラム。
     

     
PCT/JP2022/021048 2022-05-23 2022-05-23 画像処理装置、画像処理方法、およびプログラム WO2023228229A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021048 WO2023228229A1 (ja) 2022-05-23 2022-05-23 画像処理装置、画像処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/021048 WO2023228229A1 (ja) 2022-05-23 2022-05-23 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2023228229A1 true WO2023228229A1 (ja) 2023-11-30

Family

ID=88918809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/021048 WO2023228229A1 (ja) 2022-05-23 2022-05-23 画像処理装置、画像処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023228229A1 (ja)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172278A (zh) * 2018-01-24 2018-06-15 北京航空航天大学 一种he染色病理图像颜色归一化方法
JP2018535471A (ja) * 2015-09-23 2018-11-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 正規化及びアーチファクト補正のための画像処理方法及び画像処理装置
JP2019036255A (ja) * 2017-08-21 2019-03-07 有限会社ワッツ 癌等の遠隔診断用複合サーバ装置、癌等の遠隔診断方法および遠隔診断プログラム
WO2019102829A1 (ja) * 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
JP2019139370A (ja) * 2018-02-07 2019-08-22 パナソニックＩｐマネジメント株式会社 人物検知装置
WO2019159821A1 (ja) * 2018-02-15 2019-08-22 国立大学法人新潟大学 高頻度変異型癌の判別システム、プログラム及び方法
US20200167910A1 (en) * 2018-11-28 2020-05-28 International Business Machines Corporation Recognizing pathological images captured by alternate image capturing devices
JP2020518915A (ja) * 2017-04-27 2020-06-25 パスハラキス スタブロスＰＡＳＣＨＡＬＡＫＩＳ， Ｓｔａｖｒｏｓ 自動眼底画像分析用のシステムおよび方法
JP2020107239A (ja) * 2018-12-28 2020-07-09 株式会社Ｃｙｇａｍｅｓ 画像処理方法、画像処理システム及びプログラム
CN111564205A (zh) * 2020-05-14 2020-08-21 湖南品信生物工程有限公司 一种病理图像染色归一化方法及装置
CN112215801A (zh) * 2020-09-14 2021-01-12 北京航空航天大学 一种基于深度学习和机器学习的病理图像分类方法及系统
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及系统
JP2021506022A (ja) * 2017-12-07 2021-02-18 ベンタナ メディカル システムズ， インコーポレイテッド 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
CN112435743A (zh) * 2020-12-09 2021-03-02 上海市第一人民医院 一种基于机器学习的膀胱癌病理组学智能诊断方法及其预后模型
JP2021515240A (ja) * 2018-04-12 2021-06-17 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
JP2021532350A (ja) * 2018-07-31 2021-11-25 ザ・リージエンツ・オブ・ザ・ユニバーシテイ・オブ・コロラド、ア・ボデイー・コーポレイト 機械学習を適用して高スループットシステムにおけるマイクロコピー画像を分析するためのシステムおよび方法
WO2022064763A1 (ja) * 2020-09-28 2022-03-31 富士フイルム株式会社 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体
WO2022070491A1 (ja) * 2020-09-29 2022-04-07 株式会社島津製作所 画像解析装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018535471A (ja) * 2015-09-23 2018-11-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 正規化及びアーチファクト補正のための画像処理方法及び画像処理装置
JP2020518915A (ja) * 2017-04-27 2020-06-25 パスハラキス スタブロスＰＡＳＣＨＡＬＡＫＩＳ， Ｓｔａｖｒｏｓ 自動眼底画像分析用のシステムおよび方法
JP2019036255A (ja) * 2017-08-21 2019-03-07 有限会社ワッツ 癌等の遠隔診断用複合サーバ装置、癌等の遠隔診断方法および遠隔診断プログラム
WO2019102829A1 (ja) * 2017-11-24 2019-05-31 国立大学法人大阪大学 画像解析方法、画像解析装置、画像解析システム、画像解析プログラム、記録媒体
JP2021506022A (ja) * 2017-12-07 2021-02-18 ベンタナ メディカル システムズ， インコーポレイテッド 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
CN108172278A (zh) * 2018-01-24 2018-06-15 北京航空航天大学 一种he染色病理图像颜色归一化方法
JP2019139370A (ja) * 2018-02-07 2019-08-22 パナソニックＩｐマネジメント株式会社 人物検知装置
WO2019159821A1 (ja) * 2018-02-15 2019-08-22 国立大学法人新潟大学 高頻度変異型癌の判別システム、プログラム及び方法
JP2021515240A (ja) * 2018-04-12 2021-06-17 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
JP2021532350A (ja) * 2018-07-31 2021-11-25 ザ・リージエンツ・オブ・ザ・ユニバーシテイ・オブ・コロラド、ア・ボデイー・コーポレイト 機械学習を適用して高スループットシステムにおけるマイクロコピー画像を分析するためのシステムおよび方法
US20200167910A1 (en) * 2018-11-28 2020-05-28 International Business Machines Corporation Recognizing pathological images captured by alternate image capturing devices
JP2020107239A (ja) * 2018-12-28 2020-07-09 株式会社Ｃｙｇａｍｅｓ 画像処理方法、画像処理システム及びプログラム
CN111564205A (zh) * 2020-05-14 2020-08-21 湖南品信生物工程有限公司 一种病理图像染色归一化方法及装置
CN112215801A (zh) * 2020-09-14 2021-01-12 北京航空航天大学 一种基于深度学习和机器学习的病理图像分类方法及系统
WO2022064763A1 (ja) * 2020-09-28 2022-03-31 富士フイルム株式会社 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体
WO2022070491A1 (ja) * 2020-09-29 2022-04-07 株式会社島津製作所 画像解析装置
CN112348059A (zh) * 2020-10-23 2021-02-09 北京航空航天大学 基于深度学习的多种染色病理图像分类方法及系统
CN112435743A (zh) * 2020-12-09 2021-03-02 上海市第一人民医院 一种基于机器学习的膀胱癌病理组学智能诊断方法及其预后模型

Similar Documents

Publication Publication Date Title
Zhao et al. Dermoscopy image classification based on StyleGAN and DenseNet201
CN109154978B (zh) 用于检测植物疾病的系统和方法
Dewi et al. Classification of polycystic ovary based on ultrasound images using competitive neural network
US10839510B2 (en) Methods and systems for human tissue analysis using shearlet transforms
US11055571B2 (en) Information processing device, recording medium recording information processing program, and information processing method
US20130208967A1 (en) Probability Density Function Estimation
CN106023151B (zh) 一种开放环境下中医舌象目标检测方法
CN107194937A (zh) 一种开放环境下中医舌象图像分割方法
Siddiqi et al. Weed Image Classification using Wavelet Transform, Stepwise Linear Discriminant Analysis, and Support Vector Machines for an Automatic Spray Control System.
JP6945253B2 (ja) 分類装置、分類方法、プログラム、ならびに、情報記録媒体
KR20160119932A (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
JP2007257087A (ja) 肌色領域検出装置及び肌色領域検出方法
CN107862680A (zh) 一种基于相关滤波器的目标跟踪优化方法
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN112613470A (zh) 一种人脸静默活体检测方法、装置、终端及存储介质
Li et al. Sublingual vein extraction algorithm based on hyperspectral tongue imaging technology
Poorani et al. Identification of polycystic ovary syndrome in ultrasound images of ovaries using distinct threshold based image segmentation
WO2023228229A1 (ja) 画像処理装置、画像処理方法、およびプログラム
Li et al. A modified histogram equalization approach for image contrast enhancement
Ahmad et al. Brain tumor detection using image segmentation and classification
Szijártó et al. Design of a Machine Learning System to Predict the Thickness of a Melanoma Lesion in a Non-Invasive Way from Dermoscopic Images
Kheirkhah et al. Histogram non-linear transform for sperm cells image detection enhancement
CN113128511A (zh) 一种焦炭组织识别方法及装置
US9918686B2 (en) Automated fibro-glandular (FG) tissue segmentation in digital mammography using fuzzy logic
CN110458024A (zh) 活体检测方法及装置和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22943638

Country of ref document: EP

Kind code of ref document: A1