WO2021210334A1 - 情報処理装置、情報処理方法、及びコンピュータプログラム - Google Patents

情報処理装置、情報処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2021210334A1
WO2021210334A1 PCT/JP2021/010960 JP2021010960W WO2021210334A1 WO 2021210334 A1 WO2021210334 A1 WO 2021210334A1 JP 2021010960 W JP2021010960 W JP 2021010960W WO 2021210334 A1 WO2021210334 A1 WO 2021210334A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
monitor
information processing
medical image
suppression
Prior art date
Application number
PCT/JP2021/010960
Other languages
English (en)
French (fr)
Inventor
正史 東
加藤　裕
Original Assignee
Eizo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo株式会社 filed Critical Eizo株式会社
Priority to CN202180022339.XA priority Critical patent/CN115297764A/zh
Priority to KR1020227036206A priority patent/KR20220156050A/ko
Priority to EP21788221.6A priority patent/EP4105882A4/en
Priority to US17/911,818 priority patent/US20230143350A1/en
Publication of WO2021210334A1 publication Critical patent/WO2021210334A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0091—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for mammography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an information processing device, an information processing method, and a computer program.
  • Patent Document 1 discloses a technique for calculating a risk such as whether or not a lesion is physically present by computer image analysis on a mammography image in which a potential lesion cannot be visually observed.
  • the appearance of the medical image may vary depending on factors such as the monitor used by the image interpreter and the environment in which the image interpreter interprets the image.
  • the calculated risk should fluctuate according to such factors.
  • the technique described in Patent Document 1 does not take the factor into consideration when calculating the above-mentioned risk, the calculated risk may deviate from the actual situation and the lesion in the medical image may be overlooked. The sex becomes high.
  • the present invention has been made in view of such circumstances, and provides an information processing apparatus, an information processing method, and a computer program capable of suppressing the oversight of lesions in medical images. I am aiming.
  • the data acquisition unit and the data calculation unit are provided, the data acquisition unit acquires medical image data and additional data, and the additional data is at least of monitor-related data and environmental data.
  • the monitor-related data including one is data for determining the appearance of an image displayed on the display unit of the monitor, and the environment data is data indicating the surrounding environment of the monitor, and the data calculation.
  • the unit calculates overlooked suppression data based on the medical image data and the additional data, and the overlooked suppression data is data that suppresses oversight of lesions in the medical image data, and is provided with an information processing apparatus.
  • the data calculation unit can calculate data (missing suppression data) that suppresses the oversight of lesions in medical image data. Since the missed suppression data is based on additional data including at least one of the monitor-related data and the environmental data, the missed suppression data is added with the above-mentioned factors, and as a result, in the medical image. It is possible to prevent the lesion from being overlooked.
  • the information processing apparatus is provided in which the overlook suppression data includes image data indicating a region in the medical image data in which a lesion is easily overlooked.
  • the information processing apparatus is provided in which the missed suppression data includes score data indicating the possibility of missing a lesion in the medical image data.
  • the information processing apparatus is provided in which the overlook suppression data includes position data, and the position data is data for identifying the position of a region in the medical image data in which a lesion is likely to be overlooked. ..
  • the monitor-related data includes at least one of a monitor set value, a monitor spec, a viewer set value and a monitor measured value, and the monitor set value determines the appearance of an image displayed on the display unit.
  • the monitor specs are set values for determining the characteristics of the monitor in advance, and the viewer set values are set values for determining the appearance of the image displayed on the display unit.
  • An information processing device is provided, which is a set value of an application for displaying an image on the display unit, and the monitor measurement value is a measurement value of brightness or chromaticity of the display unit.
  • the environmental data includes at least one of an illuminance value and a distance measurement value
  • the illuminance value is a value indicating illuminance in the vicinity of the display unit
  • the distance measurement value is a value indicating the illuminance around the display unit.
  • An information processing device is provided, which is a value indicating the distance to the human body.
  • the data calculation unit calculates the probability based on a learning model that inputs the medical image data and the additional data and outputs the probability, and the probability indicates whether or not the lesion is easily overlooked. It is a value, and the data calculation unit provides an information processing device that generates the overlooked suppression data based on the probability.
  • an information processing method including an acquisition step and a calculation step.
  • medical image data and additional data are acquired, and the additional data is acquired.
  • the monitor-related data is data for determining the appearance of an image displayed on the display unit of the monitor
  • the environment data is the monitor.
  • the calculation step calculates overlook suppression data based on the medical image data and the additional data, and the overlook suppression data is data for suppressing oversight of lesions in the medical image data. The method is provided.
  • the present invention is a computer program that causes a computer to execute an information processing method including an acquisition step and an calculation step, and in the acquisition step, medical image data and additional data.
  • the additional data includes at least one of the monitor-related data and the environment data, and the monitor-related data is data for determining the appearance of the image displayed on the display unit of the monitor.
  • the environmental data is data indicating the surrounding environment of the monitor, the calculation step calculates missed suppression data based on the medical image data and the additional data, and the missed suppression data is the medical image data.
  • a program is provided, which is data that suppresses the oversight of lesions in.
  • FIG. 1 is a functional block diagram according to the first embodiment.
  • FIG. 1 schematically shows the flow of various data in the operation stage of the information processing system 100.
  • FIG. 2 is a detailed functional block diagram of the data calculation unit 4 in the operation stage shown in FIG.
  • FIG. 3 schematically shows the flow of various data in the learning stage of the information processing apparatus 1.
  • FIG. 4 is a detailed functional block diagram of the data calculation unit 4 at the learning stage shown in FIG.
  • FIG. 5 is a schematic diagram showing an example of medical image data d2.
  • FIG. 6 is a schematic diagram showing an example of the probability map d21.
  • FIG. 7 is a schematic diagram showing an example of the candidate pixel map d22.
  • FIG. 8 is a schematic view showing an example of the overlooked area map d23.
  • FIG. 1 schematically shows the flow of various data in the operation stage of the information processing system 100.
  • FIG. 2 is a detailed functional block diagram of the data calculation unit 4 in the operation stage shown in FIG.
  • FIG. 10 is a modification 1 of the information processing apparatus 1 according to the first embodiment.
  • FIG. 10 schematically shows the flow of various data in the operation stage of the information processing system 100 according to the first modification.
  • FIG. 11A is a missed area map d23 schematically showing the line L for scoring.
  • FIG. 11B shows a graph in which the position of each pixel on the line L is on the horizontal axis and the probability P of each pixel on the line L is on the vertical axis.
  • FIG. 12 is a functional block diagram of the data calculation unit 4 according to the modified example 4 and the monitor 21 according to the modified example 4.
  • FIG. 13 is a functional block diagram according to the second embodiment.
  • FIG. 13 schematically shows the flow of various data in the operation stage of the monitor 21 (information processing device).
  • the information processing system 100 of the first embodiment includes an information processing device 1 and a monitor 21 as shown in FIG.
  • the information processing device 1 includes a processing unit Ct, an output unit 5, and a storage unit 6.
  • the processing unit Ct includes a data acquisition unit 2, a preprocessing unit 3, and a data calculation unit 4.
  • the data calculation unit 4 includes a probability calculation unit 4A, a post-processing unit 4B, and a generation unit 4C.
  • the post-processing unit 4B includes a candidate pixel extraction unit 4B1 and a region forming unit 4B2.
  • Each of the above components may be realized by software or hardware.
  • various functions can be realized by the CPU executing a computer program.
  • the program may be stored in a built-in storage unit or may be stored in a computer-readable non-temporary recording medium. Further, the program stored in the external storage unit may be read out and realized by so-called cloud computing.
  • it can be realized by various circuits such as ASIC, FPGA, or DRP.
  • various information and concepts including the information are dealt with, and these are represented by high and low signal values as a bit set of binary numbers composed of 0 or 1, and are represented by the above software or hardware. Communication and calculation can be executed depending on the mode of the hardware.
  • the monitor 21 includes a display unit 22, a data acquisition unit 23, an output unit 24, a storage unit 25, and an optical sensor 26.
  • the data acquisition unit 23 acquires the image data or the like processed by the information processing device 1, and the display unit 22 displays the acquired image data.
  • the display unit 22 can be composed of, for example, an LCD monitor, a CRT monitor, an organic EL monitor, or the like.
  • the processing unit Ct of the information processing apparatus 1 is configured to be able to acquire medical image data d1 and additional data and generate overlooked suppression data d10 in both the learning stage and the operation stage.
  • the missed suppression data d10 includes image data indicating a region (corresponding to the missed region Rg1 to the missed region Rg3 in FIG. 9) in which the image interpreter easily misses the lesion among the regions in the medical image data.
  • the overlook suppression data d10 includes image data showing a portion where the radiologist easily overlooks the lesion when the radiologist interprets the image.
  • the information processing device 1 can suppress a decrease in the attention of the image interpreting doctor at the time of image interpretation, and as a result, can suppress that a lesion in the medical image is overlooked.
  • the overlook suppression data d10 is image data that emphasizes the region itself in which the lesion is likely to be overlooked, but is not limited thereto.
  • the overlook suppression data d10 may be, for example, image data in which the periphery of the region where the lesion is easily overlooked is surrounded by an highlighted line. That is, the area to be emphasized does not have to be the area itself where the lesion is easily overlooked, and may be wider than the area where the lesion is easily overlooked.
  • various data used in the information processing device 1 and the monitor 21 will be described.
  • the medical image data d1 is mammography image data (see FIG. 5).
  • a mammography image is a digital image composed of a large number of pixels. Each pixel has a pixel value.
  • the mammography image usually includes a pectoralis major muscle region G and a breast region B, as shown in FIG.
  • the pectoralis major muscle region G is a region corresponding to the pectoralis major muscle
  • the breast region B is a region corresponding to the entire breast.
  • the breast region B includes the mammary gland region R.
  • the mammary gland region R is a region narrower than the breast region B.
  • the mammary gland region R includes mammary gland pixels and fat pixels.
  • the mammary gland pixel is a pixel corresponding to the mammary gland
  • the fat pixel is a pixel corresponding to fat and is a pixel other than the mammary gland pixel in the mammary gland region R.
  • the mammary gland region R is a region that roughly surrounds the mammary gland pixels.
  • the medical image data d1 is converted into the medical image data d2 in the preprocessing unit 3 of the processing unit Ct.
  • the medical image data d2 is, for example, converted in image size and window level.
  • the additional data includes at least one of monitor-related data d3 and environmental data d4.
  • the additional data includes both monitor-related data d3 and environmental data d4.
  • the information processing device 1 performs processing using not only the medical image data d1 but also additional data, so that the information processing device 1 performs machine learning that is more suitable for the interpretation environment of the image interpreter. ..
  • the information processing apparatus 1 can more appropriately perform machine learning of a portion where a lesion is likely to be overlooked by an image interpreter while taking into account the image interpretation environment.
  • a means by which the information processing apparatus calculates a portion where a lesion is easily overlooked based on the brightness of each pixel of the image data can be considered without using machine learning.
  • such means may determine that lesions are likely to be overlooked, for example, only in areas of high brightness. Not all lesions are easily overlooked in bright areas.
  • the information processing device 1 can perform learning in consideration of not only the overlooked factors such as the brightness of the image data but also the empirical overlooked factors of the image interpreting doctor.
  • the monitor-related data d3 is data for determining the appearance of the image displayed on the display unit 22 of the monitor 21. Then, the monitor-related data d3 includes at least one of the monitor set value, the monitor spec, and the viewer set value. In the first embodiment, the monitor-related data d3 includes three of the monitor set value, the monitor spec, and the viewer set value.
  • the monitor set value is a set value for determining how the image displayed on the display unit 22 looks.
  • the monitor setting values include, for example, brightness setting value, gain setting value, contrast setting value, contrast ratio setting value, color temperature setting value, hue setting value, and color depth. (Saturation) setting value, sharpness setting value, etc. can be adopted.
  • the monitor set value includes at least one of these set values.
  • the brightness setting value is a setting value related to the brightness of the entire image.
  • the brightness setting value may include not only the setting value related to the brightness of the entire image but also the setting value related to the brightness of a part of the area (area of interest) determined by the image interpreting doctor.
  • the gain setting value is a setting value of each brightness of red, green, and blue.
  • the contrast ratio setting value is a setting value expressing the difference between the brightness of the white portion and the brightness of the black portion of the screen as a ratio.
  • the contrast ratio setting value may be a setting value representing the difference between the brightness displaying white and the brightness displaying black as a ratio.
  • the hue (Hue) setting value is a setting value related to the hue of the image.
  • the sharpness setting value is a setting value related to the adjustment of the contour of the image.
  • the monitor specifications show the characteristics of the monitor 21 in advance.
  • the glare characteristics and resolution of the monitor 21 can be adopted as the monitor specifications.
  • the monitor specs include at least one of glare characteristics and resolution.
  • the glare characteristic is a characteristic indicating whether the display unit 22 is composed of a glare liquid crystal display or a non-glare liquid crystal display when the display unit 22 of the monitor 21 is an LCD monitor.
  • the viewer set value is a set value for determining how the image displayed on the display unit 22 looks.
  • the viewer setting value is an application setting value for displaying an image on the display unit 22. This application is stored in advance in, for example, the information processing device 1.
  • the viewer setting values are, for example, black-and-white inversion processing setting value, masking processing setting value, gamma switching processing setting value, 1x processing setting value, pseudo color processing setting value, sharpening processing setting value, and contrast. It is possible to adopt the setting value of the extended processing.
  • the viewer setting value includes at least one of these setting values.
  • the black-and-white inversion process is an image process that inverts white and black in an image.
  • the masking process is an image process that extracts only a specific part of medical image data.
  • Gamma switching is image processing for switching the gamma value for correcting the gamma characteristic.
  • the setting value of the same size processing is image processing in which the pixels in a predetermined range are made the same size.
  • Pseudo-color processing is image processing that artificially colors an image.
  • the sharpening process is an image process for sharpening a blurred image.
  • the contrast expansion process is an image process that corrects brightness, gain, gamma value, and the like according to an image.
  • the viewer set value has been described as being a set value used in the application of the information processing apparatus 1, but the present invention is not limited to this.
  • the monitor 21 may have such an application, and the monitor 21 may use the application to determine a set value.
  • the environmental data d4 is data indicating the surrounding environment of the monitor 21.
  • the environmental data d4 includes an illuminance value.
  • the illuminance value is a value indicating the illuminance around the display unit 22. That is, the illuminance value corresponds to the illuminance in the space where the monitor 21 is arranged.
  • the illuminance value can be obtained by using the optical sensor 26 of the monitor 21.
  • the information processing device 1 includes a processing unit Ct, an output unit 5, and a storage unit 6.
  • a processing unit Ct an output unit 5
  • a storage unit 6 a storage unit 6.
  • various data are processed by the information processing apparatus 1 in both the operation stage and the learning stage.
  • an information processing device having a higher computing power than the information processing device used in the operation stage may be used.
  • Processing unit Ct includes a data acquisition unit 2, a preprocessing unit 3, and a data calculation unit 4.
  • the data acquisition unit 2 is configured to be able to acquire medical image data d1 and monitor-related data d3 (monitor specifications and viewer set values) from the storage unit 6 at the operation stage.
  • the data acquisition unit 2 is configured to be able to acquire monitor-related data d3 (monitor set value) and environment data d4 (illuminance value) from the monitor 21 at the operation stage.
  • the data acquisition unit 2 acquires medical image data d1, monitor-related data d3 (monitor specifications, viewer set values and monitor set values), and environmental data d4 (illuminance value) at the learning stage. It is configured to be possible.
  • the preprocessing unit 3 performs various preprocessing on the medical image data d1.
  • the preprocessing is a process performed to bring the medical image data d1 into a state suitable for processing by the data calculation unit 4.
  • the preprocessing unit 3 converts the medical image data d1 into the medical image data d2.
  • the preprocessing unit 3 performs, for example, size adjustment processing, window level adjustment processing, noise removal processing, and the like. A part or all of these processes of the preprocessing unit 3 can be omitted when unnecessary.
  • the size of the medical image data d1 is adjusted.
  • the resolution of the medical image data d1 differs depending on the imaging equipment and settings. This means that the actual size per pixel differs depending on the input image.
  • the size matching unit resizes one pixel to a predetermined size in order to eliminate fluctuations in detection accuracy due to a difference in size per pixel.
  • the window level adjustment process the window level adjustment of the medical image data d1 is performed. Window level adjustment is a process for improving the contrast in a specific gradation range of an image having a wide range of gradation values. By adjusting the window level, the visibility of the medical image data d1 can be improved.
  • the noise removal process removes noise from the medical image data d1.
  • noise for example, an artificially attached label
  • noise removal process such noise is removed.
  • the data calculation unit 4 includes a probability calculation unit 4A, a post-processing unit 4B, a generation unit 4C, and an error calculation unit 4D.
  • the probability calculation unit 4A calculates the probability P for each pixel px in the medical image data d2.
  • the probability P is a value indicating whether or not the portion (pixel) corresponding to the probability P is likely to be overlooked by the image interpreter.
  • the probability calculation unit 4A generates a probability map d21 in which the probability P is specified for each pixel px.
  • the range of the probability map covers the entire area of the medical image data d2.
  • the probability P is represented by a value in the range of 0 to 1, for example. The larger the value of the probability P, the higher the probability that the lesion is a portion (pixel) that is easily overlooked by the image interpreter.
  • the probability P can be calculated based on a learning model that inputs medical image data d2 and additional data and outputs the probability P.
  • a complete convolutional network FCN Fely Convolutional Network
  • the learning model machine learning model
  • the data calculation unit 4 is learning.
  • the weight coefficient of the neural network filter of the probability calculation unit 4A has already been determined, and in the learning stage, the weight coefficient of the neural network filter of the probability calculation unit 4A has not been determined and is updated as appropriate. Will be done.
  • the post-processing unit 4B extracts the overlooked region Rg based on the probability P.
  • the missed region Rg indicates a region where the radiologist easily misses the lesion, as shown in FIG.
  • the missed region Rg includes three missed regions Rg1 to Rg3.
  • the post-processing unit 4B includes a candidate pixel extraction unit 4B1 and a region forming unit 4B2.
  • the candidate pixel extraction unit 4B1 performs threshold processing on the probability map d21. Specifically, the candidate pixel extraction unit 4B1 extracts a pixel probability P in the probability map d21 having a probability P of the threshold value Th or more as a candidate pixel, generates a candidate pixel map d22 shown in FIG. 7, and sends the candidate pixel map d22 to the region forming unit 4B2. Output.
  • the threshold value Th is a predetermined value.
  • the threshold value Th may be a fixed value or a value that can be appropriately changed by the user.
  • the position of each pixel of the candidate pixel map d22 corresponds to the position of each pixel of the probability map d21.
  • the value assigned to the pixel is, for example, 1, and when the pixel probability P is less than the threshold Th, the value assigned to the pixel is. For example, it becomes 0.
  • the value assigned to the pixel is 1, the pixel is indicated by a black dot, and when the value assigned to the pixel is 0, the pixel is indicated by a white dot. Black dots are candidate pixels.
  • Region forming part 4B2 The region forming unit 4B2 performs a missing region filling process on the candidate pixel map d22 to form an overlooked region Rg.
  • the non-candidate pixel px1 may exist in the region where the candidate pixels are concentrated.
  • the region forming portion 4B2 forms a closed region (missed region Rg1 to missed region Rg3) so as to fill the hole corresponding to the non-candidate pixel px1 (missing region).
  • the missing area fill-in-the-blank process can be performed, for example, by filling in the space between the start point and the end point of each of the columns and rows.
  • the region forming unit 4B2 can generate the overlooked region map d23 as shown in FIG.
  • the generation unit 4C generates the missed suppression data d10 shown in FIG. 9 based on the medical image data d2 and the missed area map d23. Specifically, the generation unit 4C can generate the missed suppression data d10 by superimposing the missed region Rg of the missed region map d23 on the medical image data d2.
  • the error calculation unit 4D compares the correct answer missed suppression data d11 with the missed suppression data d10 generated by the generation unit 4C. That is, the error calculation unit 4D calculates the error between the overlooked region that is the correct answer and the calculated overlooked region.
  • the correct answer oversight suppression data d11 is medical image data in which a region that is easily overlooked is shown by an image interpreting doctor.
  • the correct answer oversight suppression data d11 is medical image data in which an image interpreter visually observes the corresponding medical image and emphasizes an area that is easily overlooked.
  • the error calculation unit 4D outputs the calculated error to the probability calculation unit 4A.
  • the probability calculation unit 4A updates the weighting coefficient of the filter based on this error.
  • the output unit 5 is configured to be able to output the overlook suppression data d10 generated by the generation unit 4C to the monitor 21.
  • the storage unit 6 has a function of storing various data. As shown in FIG. 1, the storage unit 6 stores medical image data d1 and monitor-related data d3 (monitor specifications and viewer set values) used in the operation stage in advance. Further, as shown in FIG. 3, the storage unit 6 contains medical image data d1, monitor-related data d3 (monitor set value, monitor spec and viewer set value), and environmental data d4 (illuminance value) used in the learning stage. Is stored in advance. Various data stored in the storage unit 6 are read out by the processing unit Ct.
  • the monitor 21 includes a display unit 22, a data acquisition unit 23, an output unit 24, a storage unit 25, and an optical sensor 26.
  • the display unit 22 has a function of displaying the data acquired by the data acquisition unit 23.
  • the overlook suppression data d10 can be displayed on the display unit 22.
  • the image interpreting doctor displays the overlook suppression data d10 shown in FIG. 9 on the display unit 22 and interprets the image.
  • the overlook suppression data d10 is based on the monitor-related data d3 and the environment data d4. Therefore, the overlook suppression data d10 takes into account factors such as a monitor used by the image interpreter and an environment in which the image interpreter interprets the image.
  • the information processing device 1 according to the first embodiment is a medical image. It is possible to prevent the lesion inside from being overlooked. Further, the image interpreting doctor can determine the area of the medical image data d2 that should be examined particularly carefully by interpreting the overlook suppression data d10 shown in FIG. 9 on the display unit 22, and interprets the image while saving concentration. can do.
  • the data acquisition unit 23 is configured to be able to acquire the overlook suppression data d10 output from the output unit 5.
  • the output unit 24 is configured to be able to output various data stored in the storage unit 25 to the information processing device 1.
  • the storage unit 25 has a function of storing various data, like the storage unit 6.
  • the storage unit 25 stores monitor-related data d3 (monitor set value), environmental data d4 (illuminance value) acquired by the optical sensor 26, and the like.
  • optical sensor 26 is configured to acquire the illuminance value (environmental data d4) of the light around the monitor 21 (display unit 22).
  • the information processing method (learning stage) of the first embodiment includes an acquisition step and a calculation step.
  • the calculation step includes a preprocessing step, a probability map generation step (learning step), a candidate pixel generation step, a missed area map generation step, and a missed suppression data generation step.
  • the data acquisition unit 2 acquires medical image data d1, monitor-related data d3 (monitor setting value, monitor spec, and viewer setting value), environmental data d4, and correct answer oversight suppression data d11.
  • the preprocessing unit 3 changes the size of the medical image data d1 and generates the medical image data d2.
  • the probability calculation unit 4A generates the probability map d21 based on the medical image data d2, the monitor-related data d3, and the environment data d4. Since this probability map generation step is a step in which machine learning is performed, it can also be called a learning step.
  • the probability map generation step (learning step), the error calculated by the error calculation unit 4D is input to the probability calculation unit 4A. This error corresponds to the difference between the overlooked suppression data d10 acquired in the overlooked suppression data generation step described later and the correct answer overlooked suppression data d11.
  • the weighting coefficient of the filter of the probability calculation unit 4A is updated as appropriate, and the accuracy of the output of the probability calculation unit 4A is improved.
  • the probability calculation unit 4A appropriately updates the weight coefficient of the filter in the process of learning the relationship between the input (medical image data and additional data) and the output (probability). .. That is, the weighting factor of the filter is updated to a value that more reflects the experience of the interpreter. Then, the probability map d21 and the overlooked suppression data d10 are closer to the correct answer overlooked suppression data d11.
  • the candidate pixel extraction unit 4B1 performs threshold processing on the probability map d21 to generate the candidate pixel map d22.
  • the area forming unit 4B2 performs a missing area filling process on the candidate pixel map d22 to form a missed area Rg, and generates a missed area map d23.
  • the generation unit 4C generates the missed suppression data d10 based on the medical image data d2 and the missed area map d23.
  • the information processing method (operation stage) of the first embodiment includes an acquisition step, a calculation step, and an output step.
  • the calculation step includes a preprocessing step, a probability map generation step, a candidate pixel generation step, a missed area map generation step, and a missed suppression data generation step.
  • the data acquisition unit 2 does not acquire the correct answer missed suppression data.
  • the weight coefficient of the filter of the probability calculation unit 4A is fixed. That is, since the probability calculation unit 4A does not calculate the error, the probability calculation unit 4A does not acquire the error from the error calculation unit 4D.
  • the overlook suppression data d10 is output to the display unit 22 of the monitor 21.
  • the image interpreter can grasp the position of the overlooked region Rg.
  • the overlook suppression data d10 is described as being image data, but the data is not limited to this, and may be audio data.
  • the image interpreter can roughly grasp the position of the overlooked region Rg.
  • the information processing device 1 may further include a frequency data generation unit 7.
  • the frequency data generation unit 7 performs a process of acquiring data related to the frequency component of the medical image data d2.
  • the frequency data generation unit 7 can generate image data obtained by Fourier transforming the medical image data d2.
  • the frequency data generation unit 7 can also perform a filtering process for extracting a specific frequency in the medical image data d2 to generate image data from which edges have been extracted.
  • the data calculation unit 4 can be expected to have the effect of generating more appropriate overlook suppression data d10 by the information processing device 1. This is because the information on the frequency component of the image is considered to be related to the appearance of the image.
  • the environmental data d4 may have a distance measurement value in addition to the illuminance value.
  • the monitor 21 may include a distance measuring sensor 27.
  • the distance measuring sensor 27 is configured to be able to acquire a distance measuring value.
  • the distance measurement value is a value indicating the distance between the monitor 21 and the human body.
  • the overlooked suppression data d10 was image data in which the region Rg in which the lesion was easily overlooked was emphasized. That is, in the first embodiment, the overlook suppression data d10 is the data that specifies the position of the region Rg where the lesion is likely to be overlooked. The aspect of the overlook suppression data d10 is not limited to the one that specifies the position of the region Rg.
  • the missed suppression data d10 may be a score (score data) indicating the possibility of missing a lesion in the medical image data.
  • the generation unit 4C calculates this score. Further, this score may be displayed on the display unit 22 or may be output by voice. The higher this score, the more areas in the image the lesion is likely to be missed.
  • the magnitude of this score is irrelevant to whether or not the lesion actually exists, so that the interpreter needs to carefully look at the medical image data even if this score is low. That is, in the second modification, even if this score is low, the decrease in the attention of the image interpreter is avoided.
  • Score calculation method 1 For the score, a value obtained by dividing the area of the mammary gland region R by the area of the overlooked region Rg can be adopted.
  • the mammary gland region R is considered to be a region in which the brightness is high and the lesion is easily overlooked. Therefore, it is highly possible that most of the overlooked region Rg is contained in the mammary gland region R. Therefore, if the score is calculated based on the ratio of the area of the mammary gland region R to the area of the overlooked region Rg, the score reflects the possibility of overlooking the lesion in the medical image data.
  • the method for calculating the area of the mammary gland region R is not particularly limited.
  • the information processing device 1 can determine whether or not each pixel is a mammary gland pixel based on the brightness of each pixel, calculate the total number of mammary gland pixels, and use this total number as the area of the mammary gland region R. .. Further, the area of the overlooked region Rg can be the total number of pixels included in the overlooked region Rg.
  • the missed region Rg included three missed regions Rg1 to the missed region Rg3.
  • the score may be calculated based on the area of the area Rg1 to the area Rg3 having the largest area. It is considered that the larger the area of the missed area, the easier it is for the lesion to be missed. If the score is calculated based on the area of the largest region of the missed region Rg, the score will reflect the possibility of missing a lesion in the medical image data.
  • the score may be calculated based on the maximum value of the width in the specific direction among the overlooked regions Rg1 to the region Rg3.
  • the specific direction is the left-right direction.
  • the maximum width in the left-right direction is the position of the line L of the overlooked region Rg3. That is, the score may be calculated based on the width (length) of the line L. Further, the score may be calculated based on the slope S2 of the line connecting the end point of the line L in the graph shown in FIG. 11A and the coordinates of the pixel L2 in the graph shown in FIG. 11B.
  • the pixel L2 is a pixel on the line L whose probability P is larger than the threshold value P2.
  • the score is calculated based on the width and slope S2 described above, the score reflects the possibility of overlooking the lesion in the medical image data.
  • the monitor-related data d3 may include monitor measurements. More specifically, the monitor-related data d3 may include at least one of a monitor set value, a monitor spec, a viewer set value, and a monitor measured value.
  • the monitor measurement value is, for example, a brightness value or a chromaticity value. Since the monitor 21 is provided with an optical sensor (not shown) for measuring the brightness of the display unit 22, the information processing device 1 adopts the brightness value acquired by this optical sensor instead of the brightness setting value in the monitor set value. can do.
  • Visual processing is performed on the monitor 21.
  • the information processing apparatus 1 performs visual processing for specifying the overlooked region Rg1 to the region Rg3, but the first embodiment is not limited to this.
  • the monitor 21 may perform a visual process for identifying the missed area.
  • the data calculation unit 4 does not have the generation unit 4C, and the data calculation unit 4 has the position identification unit 4B3 instead of the region formation unit 4B2.
  • the monitor 21 has a brightness adjusting unit 28.
  • the position specifying unit 4B3 generates position data (missing suppression data d10) that specifies the position of the missed area.
  • the position specifying unit 4B3 can perform the missing area filling process in the same manner as the area forming unit 4B2, and the position specifying unit 4B3 has the position data of the candidate pixel specified in the candidate pixel map d22 and the missing area.
  • Position data (missing suppression data d10) having the position data of the pixels filled in by the fill-in-the-blank process is generated. That is, the generated position data (missing suppression data d10) is position data for specifying the position of the area in which the lesion is easily overlooked in the area of the medical image data d2.
  • the position specifying unit 4B3 outputs the generated position data to the output unit 5.
  • the brightness adjusting unit 28 emphasizes the pixels (regions) in the medical image data d2 where lesions are easily overlooked, based on the position data and the medical image data d2. Specifically, the brightness adjusting unit 28 has a function of increasing the brightness value of the pixel corresponding to the position data when the monitor 21 displays the medical image data d2. That is, the brightness value of the pixel corresponding to the position data is adjusted from the brightness value in the medical image data d2 to a brightness value larger than the brightness value.
  • the brightness adjusting unit 28 may emphasize the pixels in which the lesion is easily overlooked by making the brightness values of the pixels around the pixels corresponding to the position data relatively small.
  • the first embodiment is a form in which the information processing device 1 has a data calculation unit 4, but the first embodiment is not limited to this.
  • the monitor 21 includes a processing unit Ct (data calculation unit 4). That is, in the second embodiment, the monitor 21 functions as an information processing device that calculates the overlooked suppression data d10.
  • the second embodiment also has the same effect as that in the first embodiment.
  • Information processing device 2 Data acquisition unit 3: Pre-processing unit 4: Data calculation unit 4A: Probability calculation unit 4B: Post-processing unit 4B1: Candidate pixel extraction unit 4B2: Area formation unit 4B3: Position identification unit 4C: Generation unit 4D: Error calculation unit 5: Output unit 6: Storage unit 7: Frequency data generation unit 21: Monitor 22: Display unit 23: Data acquisition unit 24: Output unit 25: Storage unit 26: Optical sensor 27: Distance measurement sensor 100: Information processing system Ct: Processing unit B: Breast area G: Large chest muscle area R: Breast area Rg: Missed area Rg1: Missed area Rg2: Missed area Rg3: Missed area d1: Medical image data (before preprocessing) d2: Medical image data (after preprocessing) d3: Monitor-related data d4: Environmental data d10: Overlook suppression data d11: Correct answer overlook suppression data d21: Probability map d22: Candidate pixel map d

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)

Abstract

【課題】医療画像中の病変が見逃されてしまうことを抑制することができる、情報処理装置、情報処理方法、及びコンピュータプログラムを提供することを目的としている。 【解決手段】データ取得部と、データ演算部とを備え、前記データ取得部は、医療画像データと追加データとを取得し、前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、前記環境データは、前記モニターの周囲環境を示すデータであり、前記データ演算部は、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、及びコンピュータプログラム
　本発明は、情報処理装置、情報処理方法、及びコンピュータプログラムに関する。
　読影医は、マンモグラフィ画像等の医療画像を用いて病変の有無等の判定を行う。ここで、病変の有無等の判定は読影医によって注意深く実施されるが、その一方で、読影医は多数の医療画像を読影しなければならないことがあり、病変が見逃されてしまう可能性が少なからず存在している。例えば、特許文献１には、潜在的な病変が視覚的に観察できないマンモグラフィ画像に対して、コンピュータ画像分析により、病変が物理的に存在するか等のリスクを算出する技術が開示されている。
米国特許出願公開第２０１７／０２４９７３９号明細書
　例えば、読影医が使用するモニターや読影医が読影する環境といったような要因に応じて、医療画像の見え方はばらつき得る。そして、このような要因に応じて、算出されるリスクは変動するべきである。しかし、特許文献１に記載の技術は、上述したリスクを算出するにあたり当該要因を加味していないので、算出されたリスクが実態と乖離してしまい、医療画像中の病変が見逃されてしまう可能性が高くなる。
　本発明はこのような事情に鑑みてなされたものであり、医療画像中の病変が見逃されてしまうことを抑制することができる、情報処理装置、情報処理方法、及びコンピュータプログラムを提供することを目的としている。
　本発明によれば、データ取得部と、データ演算部とを備え、前記データ取得部は、医療画像データと追加データとを取得し、前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、前記環境データは、前記モニターの周囲環境を示すデータであり、前記データ演算部は、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、情報処理装置が提供される。
　本発明によれば、データ演算部が医療画像データにおける病変の見逃しを抑制させるデータ（見逃し抑制データ）を算出することができる。見逃し抑制データは、モニター関連データ及び環境データのうちの少なくとも１つを含む追加データに基づいているので、見逃し抑制データは、上述したような要因が加味されており、その結果、医療画像中の病変が見逃されてしまうことを抑制することができる。
　以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
　好ましくは、前記見逃し抑制データは、前記医療画像データ内の領域のうち、病変を見逃しやすい領域を示す画像データを含む、情報処理装置が提供される。
　好ましくは、前記見逃し抑制データは、前記医療画像データにおける病変を見逃してしまう可能性を示すスコアデータを含む、情報処理装置が提供される。
　好ましくは、前記見逃し抑制データは、位置データを含み、前記位置データは、前記医療画像データ内の領域のうち、病変を見逃しやすい領域の位置を特定するデータである、情報処理装置が提供される。
　好ましくは、前記モニター関連データは、モニター設定値、モニタースペック、ビュアー設定値及びモニター測定値のうちの少なくとも１つを含み、前記モニター設定値は、前記表示部に表示される画像の見え方を定めるための設定値であり、前記モニタースペックは、前記モニターが予め有する特性を示し、前記ビュアー設定値は、前記表示部に表示される画像の見え方を定めるための設定値であり、且つ、前記表示部に画像を表示させるためのアプリケーションの設定値であり、前記モニター測定値は、前記表示部の輝度又は色度の測定値である、情報処理装置が提供される。
　好ましくは、前記環境データは、照度値及び測距値のうちの少なくとも１つを含み、前記照度値は、前記表示部の周囲における照度を示す値であり、前記測距値は、前記モニターと人体との間の距離を示す値である、情報処理装置が提供される。
　好ましくは、前記データ演算部は、前記医療画像データ及び前記追加データを入力して確率を出力する学習モデルに基づいて、前記確率を算出し、前記確率は、病変が見逃されやすいかどうかを示す値であり、前記データ演算部は、前記確率に基づいて、前記見逃し抑制データを生成する、情報処理装置が提供される。
　また、本発明の実施形態の別の観点によれば、取得ステップと、演算ステップとを備える情報処理方法であって、前記取得ステップでは、医療画像データと追加データとを取得し、前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、前記環境データは、前記モニターの周囲環境を示すデータであり、前記演算ステップは、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、方法が提供される。
　更に、本発明の実施形態の別の観点によれば、コンピュータに、取得ステップと、演算ステップとを備える情報処理方法を実行させるコンピュータプログラムであって、前記取得ステップでは、医療画像データと追加データとを取得し、前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、前記環境データは、前記モニターの周囲環境を示すデータであり、前記演算ステップは、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、プログラムが提供される。
図１は、第１実施形態における機能ブロック図である。図１は、情報処理システム１００の運用段階における各種データの流れを模式的に示している。 図２は、図１に示す運用段階におけるデータ演算部４の詳細な機能ブロック図である。 図３は、情報処理装置１の学習段階における各種データの流れを模式的に示している。 図４は、図３に示す学習段階におけるデータ演算部４の詳細な機能ブロック図である。 図５は、医療画像データｄ２の例を示す模式図である。 図６は、確率マップｄ２１の例を示す模式図である。 図７は、候補画素マップｄ２２の例を示す模式図である。 図８は、見逃し領域マップｄ２３の例を示す模式図である。 図９は、見逃し抑制データｄ１０の例を示す模式図である。 図１０は、第１実施形態に係る情報処理装置１の変形例１である。図１０は、変形例１に係る情報処理システム１００の運用段階における各種データの流れを模式的に示している。 図１１Ａは、スコアリングするためのラインＬを模式的に示した見逃し領域マップｄ２３である。図１１Ｂは、ラインＬ上の各画素の位置を横軸とし、ラインＬ上の各画素の確率Ｐを縦軸としたグラフを示している。 図１２は、変形例４に係るデータ演算部４及び変形例４に係るモニター２１の機能ブロック図である。 図１３は、第２実施形態における機能ブロック図である。図１３は、モニター２１（情報処理装置）の運用段階における各種データの流れを模式的に示している。
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
１　第１実施形態
　第１実施形態の情報処理システム１００は、図１に示すように、情報処理装置１と、モニター２１とを備えている。情報処理装置１は、処理部Ｃｔと、出力部５と、記憶部６とを備えている。処理部Ｃｔは、データ取得部２と、前処理部３と、データ演算部４とを備えている。図２に示すように、データ演算部４は、確率算出部４Ａと、後処理部４Ｂと、生成部４Ｃとを備えている。また、後処理部４Ｂは、候補画素抽出部４Ｂ１と、領域形成部４Ｂ２とを備えている。
　上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。第１実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
　モニター２１は、表示部２２と、データ取得部２３と、出力部２４と、記憶部２５と、光センサー２６とを備えている。データ取得部２３は、情報処理装置１によって処理された画像データ等を取得し、表示部２２は取得された画像データを表示する。表示部２２は、例えばＬＣＤモニター、ＣＲＴモニター、有機ＥＬモニター等で構成することができる。
１－１　データ概要
　情報処理装置１の処理部Ｃｔは、学習段階及び運用段階の両方において、医療画像データｄ１と追加データとを取得し、見逃し抑制データｄ１０を生成可能に構成されている。見逃し抑制データｄ１０は、医療画像データ内の領域のうち、読影医が病変を見逃しやすい領域（図９の見逃し領域Ｒｇ１～見逃し領域Ｒｇ３に相当）を示す画像データを含む。換言すると、見逃し抑制データｄ１０は、読影医が読影するにあたって読影医が病変を見逃しやすい箇所が示されている画像データを含む。読影医は、この見逃し抑制データｄ１０を活用して読影を実施することで、特に注意深く精査するべき箇所を判断することができ、集中力を節約しながら読影することができる。そして、情報処理装置１は、読影時の読影医の注意力の低下を抑制し、その結果、医療画像中の病変が見逃されてしまうことを抑制することができる。
　なお、第１実施形態において、見逃し抑制データｄ１０は、病変を見逃しやすい領域自体を強調する画像データであるが、これに限定されるものではない。見逃し抑制データｄ１０は、例えば、病変を見逃しやすい領域の周辺を強調線で囲ったような画像データであってもよい。つまり、強調される領域は、病変を見逃しやすい領域自体である必要はなく、病変を見逃しやすい領域よりも広くてもよい。
　ここで、情報処理装置１及びモニター２１において、用いられる各種データについて説明する。
１－１－１　医療画像データｄ１、ｄ２
　医療画像データｄ１は、例えば、マンモグラフィ画像データ、超音波画像データ、ＭＲＩ画像データ、ＣＴ画像データ、胸部Ｘ線画像データ、及びアンギオ画像データ等を採用することができる。第１実施形態において、医療画像データｄ１はマンモグラフィ画像データである（図５参照）。マンモグラフィ画像は、多数の画素で構成されたデジタル画像である。各画素は、画素値を有する。マンモグラフィ画像には、図４に示すように、通常、大胸筋領域Ｇと、乳房領域Ｂが含まれている。大胸筋領域Ｇは、大胸筋に相当する領域であり、乳房領域Ｂは、乳房全体に相当する領域である。乳房領域Ｂには、乳腺領域Ｒが含まれている。乳腺領域Ｒは、乳房領域Ｂよりも狭い領域である。乳腺領域Ｒには、乳腺画素と脂肪画素が含まれている。乳腺画素は、乳腺に相当する画素であり、脂肪画素は、脂肪に相当する画素であり、乳腺領域Ｒ内の、乳腺画素以外の画素である。乳腺領域Ｒは、乳腺画素を大まかに囲った領域である。
　処理部Ｃｔの前処理部３において、医療画像データｄ１は医療画像データｄ２に変換される。医療画像データｄ２は、例えば、画像サイズやウィンドウレベルが変換されたものである。
１－１－２　追加データ
　追加データは、モニター関連データｄ３及び環境データｄ４のうちの少なくとも１つを含む。第１実施形態において、追加データは、モニター関連データｄ３及び環境データｄ４の両方を含む。情報処理装置１は、学習段階において、医療画像データｄ１だけではなく追加データを用いた処理を実施することで、情報処理装置１は、読影医の読影環境により即した機械学習をすることになる。換言すると、情報処理装置１は、読影環境を加味しながら、読影医が病変を見落としやすい箇所をより適切に機械学習することが可能である。
　なお、情報処理装置が、機械学習によらず、病変を見逃しやすい箇所を、画像データの各画素の輝度に基づいて算出する手段も考えられる。しかし、このような手段は、例えば、輝度が高い領域ばかりに対し、病変が見逃されやすいと判定されてしまう可能性がある。病変を見逃しやすい箇所の全てが、輝度が高い領域に存在するとは限らない。情報処理装置１は、画像データの輝度といった見逃し要因だけでなく、読影医の経験的な見逃し要因をも、加味した学習が可能である。
１－１－２－１　モニター関連データｄ３
　モニター関連データｄ３は、モニター２１の表示部２２に表示される画像の見え方を定めるためのデータである。そして、モニター関連データｄ３は、モニター設定値、モニタースペック、及びビュアー設定値のうちの少なくとも１つを含む。第１実施形態において、モニター関連データｄ３は、モニター設定値、モニタースペック及びビュアー設定値の３つを含む。
＜モニター設定値＞
　モニター設定値は、表示部２２に表示される画像の見え方を定めるための設定値である。
　モニター設定値には、例えば、ブライトネスの設定値、ゲイン（Gain）の設定値、コントラストの設定値、コントラスト比の設定値、色温度の設定値、色合い（Hue）の設定値、色の濃さ（Saturation）の設定値、シャープネスの設定値等を採用することができる。モニター設定値は、これらの設定値のうちの少なくとも１つを含む。
　ブライトネスの設定値は、画像全体の明るさに関する設定値である。なお、ブライトネスの設定値は、画像全体の明るさに関する設定値だけでなく、読影医によって定められる一部の領域（関心領域）の明るさに関する設定値を含んでいてもよい。
　ゲイン（Gain）の設定値は、赤、緑及び青のそれぞれの輝度の設定値である。
　コントラスト比の設定値は、画面の白い部分の輝度と黒い部分の輝度の差を比率で表した設定値である。なお、コントラスト比の設定値は、白を表示した輝度と黒を表示した輝度の差を比率で表した設定値であってもよい。
　色合い（Hue）の設定値は、画像の色合いに関する設定値である。
　シャープネスの設定値は、画像の輪郭の調整に関する設定値である。
＜モニタースペック＞
　モニタースペックは、モニター２１が予め有する特性を示している。
　モニタースペックには、例えば、モニター２１のグレア特性及び解像度等を採用することができる。モニタースペックは、グレア特性及び解像度のうちの少なくとも１つを含む。
　グレア特性は、モニター２１の表示部２２がＬＣＤモニターである場合において、表示部２２がグレア液晶から構成されているか、それともノングレア液晶から構成されているか、を示す特性である。
＜ビュアー設定値＞
　ビュアー設定値は、表示部２２に表示される画像の見え方を定めるための設定値である。また、ビュアー設定値は、表示部２２に画像を表示させるためのアプリケーションの設定値である。このアプリケーションは、例えば、情報処理装置１に予め格納されている。
　ビュアー設定値は、例えば、白黒反転処理の設定値、マスキング処理の設定値、ガンマ切り替え処理の設定値、等倍処理の設定値、疑似カラー処理の設定値、シャープ化処理の設定値、及びコントラスト拡張処理の設定値等を採用することができる。ビュアー設定値は、これらの設定値のうちの少なくとも１つを含む。
　白黒反転処理は、画像中の白と黒とを反転させる画像処理である。
　マスキング処理は、医療画像データのうち特定の部分のみを抽出する画像処理である。
　ガンマ切り替えは、ガンマ特性を補正するためのガンマ値を切り替える画像処理である。
　等倍処理の設定値は、予め定められた範囲の画素を等倍する画像処理である。
　疑似カラー処理は、擬似的に画像に色をつける画像処理である。
　シャープ化処理は、ぼけた画像を鮮明にする画像処理である。
　コントラスト拡張処理は、画像に応じてブライトネス、ゲイン及びガンマ値等を補正する画像処理である。
　なお、第１実施形態において、ビュアー設定値は、情報処理装置１のアプリケーションで用いられる設定値であるものとして説明したが、これに限定されるものではない。モニター２１がこのようなアプリケーションを有し、モニター２１が当該アプリケーションを用いて設定値を決定する形態であってもよい。
１－１－２－２　環境データｄ４
　環境データｄ４は、モニター２１の周囲環境を示すデータである。
　第１実施形態において、環境データｄ４は、照度値を含む。
　照度値は、表示部２２の周囲における照度を示す値である。つまり、照度値は、モニター２１が配置されている空間における照度に対応している。第１実施形態において、照度値は、モニター２１の光センサー２６を用いて取得することができる。
１－２　情報処理装置１の構成説明
　情報処理装置１は、処理部Ｃｔと、出力部５と、記憶部６とを備えている。
　第１実施形態では、運用段階及び学習段階の両方の段階において、情報処理装置１で各種データが処理されるものとして説明する。なお、学習段階では、運用段階で用いられる情報処理装置よりも、演算能力が高い情報処理装置が用いられてもよい。
１－２－１　処理部Ｃｔ
　処理部Ｃｔは、データ取得部２と、前処理部３と、データ演算部４とを備えている。
１－２－１－１　データ取得部２
　図１に示すように、データ取得部２は、運用段階において、記憶部６から、医療画像データｄ１及びモニター関連データｄ３（モニタースペック及びビュアー設定値）を取得可能に構成されている。データ取得部２は、運用段階において、モニター２１から、モニター関連データｄ３（モニター設定値）及び環境データｄ４（照度値）を取得可能に構成されている。
　また、図３に示すように、データ取得部２は、学習段階において、医療画像データｄ１、モニター関連データｄ３（モニタースペック、ビュアー設定値及びモニター設定値）及び環境データｄ４（照度値）を取得可能に構成されている。
１－２－１－２　前処理部３
　前処理部３は、医療画像データｄ１に対して、種々の前処理を行う。前処理は、医療画像データｄ１をデータ演算部４での処理に適した状態にするために行う処理である。前処理部３は、医療画像データｄ１から医療画像データｄ２へ変換する。前処理部３は、例えば、サイズ合わせ処理と、ウィンドウレベル調整処理と、ノイズ除去処理等を行う。前処理部３のこれらの処理の一部又は全部は、不要な場合には省略可能である。
　サイズ合わせ処理では、医療画像データｄ１のサイズ合わせを行う。医療画像データｄ１は撮像機材や設定によって解像度が異なる。これは１画素あたりの実サイズが入力画像によって異なるということを表わす。サイズ合わせ部は、１画素あたりのサイズ違いによる検出精度の揺らぎを無くすため、１画素を予め定められたサイズになるようにリサイズを行う。
　ウィンドウレベル調整処理では、医療画像データｄ１のウィンドウレベル調整を行う。ウィンドウレベル調整とは、幅広いレンジの階調値を持った画像のある特定の階調域のコントラストを向上させる処理である。ウィンドウレベル調整を行うことによって医療画像データｄ１の視認性を向上させることができる。
　ノイズ除去処理は、医療画像データｄ１のノイズ除去を行う。医療画像データｄ１中には、読影医が病変を見逃しやすい領域を解析・抽出する精度を低下させるノイズ（例えば、人工的に付されたラベル）が存在している場合がある。そこで、ノイズ除去処理では、このようなノイズを除去する。
１－２－１－３　データ演算部４
　データ演算部４は、確率算出部４Ａと、後処理部４Ｂと、生成部４Ｃと、誤差算出部４Ｄとを備えている。
＜確率算出部４Ａ＞
　確率算出部４Ａは、医療画像データｄ２中の各画素ｐｘに対し、確率Ｐをそれぞれ算出する。ここで、確率Ｐは、当該確率Ｐに対応する部分（画素）が、読影医によって病変が見逃されやすいかどうかを示す値である。具体的には、確率算出部４Ａは、図６に示すように、確率Ｐが画素ｐｘごとに特定された確率マップｄ２１を生成する。第１実施形態において、確率マップの範囲は、医療画像データｄ２の全域にわたっている。確率Ｐは例えば０～１の範囲の値で表現される。確率Ｐの値が大きいほど、読影医によって病変が見逃されやすい部分（画素）である確率が高いことになる。
　確率Ｐは、医療画像データｄ２及び追加データを入力して確率Ｐを出力する学習モデルに基づいて、算出することができる。第１実施形態において、データ演算部４（確率算出部４Ａ）の学習モデル（機械学習モデル）には、畳み込みニューラルネットワークの一種である完全畳み込みネットワーク FCN (Fully Convolutional Network)を採用することができる。なお、図２における運用段階では、データ演算部４の学習は完了しているが、一方、図４における学習段階では、データ演算部４は学習中である。換言すると、運用段階では、確率算出部４Ａのニューラルネットワークのフィルタの重み係数は既に確定しており、学習段階では、確率算出部４Ａのニューラルネットワークのフィルタの重み係数は確定しておらず適宜更新される。
＜後処理部４Ｂ＞
　後処理部４Ｂは、確率Ｐに基づいて見逃し領域Ｒｇを抽出する。見逃し領域Ｒｇは、図８に示すように、読影医が病変を見逃しやすい領域を示している。第１実施形態において、見逃し領域Ｒｇは、３つの見逃し領域Ｒｇ１～領域Ｒｇ３を含んでいる。後処理部４Ｂは、候補画素抽出部４Ｂ１と、領域形成部４Ｂ２とを備える。
・候補画素抽出部４Ｂ１
　候補画素抽出部４Ｂ１は、確率マップｄ２１に対して閾値処理を行う。具体的には、候補画素抽出部４Ｂ１は、確率マップｄ２１における画素の確率Ｐが閾値Ｔｈ以上のものを候補画素として抽出し、図７に示す候補画素マップｄ２２を生成し、領域形成部４Ｂ２へ出力する。第１実施形態において、閾値Ｔｈは、予め定められた値である。閾値Ｔｈは、固定された値であってもよく、ユーザーが適宜変更可能な値であってもよい。候補画素マップｄ２２の各画素の位置は、確率マップｄ２１の各画素の位置と対応している。候補画素マップｄ２２において、画素の確率Ｐが閾値Ｔｈ以上の場合には、当該画素に割り当てられる値が例えば１となり、画素の確率Ｐが閾値Ｔｈ未満の場合には、当該画素に割り当てられる値が例えば０となる。図７では、画素に割り当てられる値が１の場合には画素は黒点で示され、画素に割り当てられる値が０の場合には画素は白点で示されている。黒点が、候補画素である。
・領域形成部４Ｂ２
　領域形成部４Ｂ２は、候補画素マップｄ２２に対して欠損領域穴埋め処理を行い、見逃し領域Ｒｇを形成する。具体的には、図７に示すように、候補画素が集中している領域の中には、非候補画素ｐｘ１が存在する場合がある。非候補画素ｐｘ１が存在すると、見逃し領域Ｒｇの形状が煩雑化して見逃し領域が特定され難くなる。このため、領域形成部４Ｂ２は、非候補画素ｐｘ１（欠損領域）に対応する穴を埋めるように、閉じた領域（見逃し領域Ｒｇ１～見逃し領域Ｒｇ３）を形成する。欠損領域穴埋め処理は、例えば、列及び行それぞれの始点・終点の間を穴埋めすることによって行うことができる。これによって、領域形成部４Ｂ２は、図８に示すような見逃し領域マップｄ２３を生成することができる。
＜生成部４Ｃ＞
　生成部４Ｃは、医療画像データｄ２と、見逃し領域マップｄ２３とに基づいて、図９に示す見逃し抑制データｄ１０を生成する。具体的には、生成部４Ｃは、医療画像データｄ２上に、見逃し領域マップｄ２３の見逃し領域Ｒｇを重ねることで、見逃し抑制データｄ１０を生成することができる。
＜誤差算出部４Ｄ＞
　誤差算出部４Ｄは、図４に示すように、正解見逃し抑制データｄ１１と、生成部４Ｃが生成する見逃し抑制データｄ１０とを比較する。つまり、誤差算出部４Ｄは、正解となる見逃し領域と、算出された見逃し領域との誤差を算出する。ここで、正解見逃し抑制データｄ１１は、読影医によって、見逃しやすい領域が示された医療画像データである。換言すると、正解見逃し抑制データｄ１１は、読影医が対応する医療画像を目視し、見逃しやすい領域が強調された医療画像データである。誤差算出部４Ｄは、算出した誤差を、確率算出部４Ａに出力する。確率算出部４Ａは、この誤差に基づいて、フィルタの重み係数を更新する。
１－２－２　出力部５
　出力部５は、生成部４Ｃで生成された見逃し抑制データｄ１０を、モニター２１へ出力可能に構成されている。
１－２－３　記憶部６
　記憶部６は、各種データを記憶する機能を有する。図１に示すように、記憶部６には、運用段階において用いられる、医療画像データｄ１やモニター関連データｄ３（モニタースペック及びビュアー設定値）が予め格納される。また、図３に示すように、記憶部６には、学習段階において用いられる、医療画像データｄ１、モニター関連データｄ３（モニター設定値、モニタースペック及びビュアー設定値）及び環境データｄ４（照度値）が予め格納される。記憶部６に格納されている各種データは、処理部Ｃｔで読み出される。
１－３　モニター２１の構成説明
　モニター２１は、表示部２２と、データ取得部２３と、出力部２４と、記憶部２５と、光センサー２６とを備えている。
１－３－１　表示部２２
　表示部２２は、データ取得部２３が取得したデータを表示する機能を有する。具体的には、表示部２２には、見逃し抑制データｄ１０を表示可能である。読影医は、図９に示す見逃し抑制データｄ１０を表示部２２に表示し、読影する。ここで、見逃し抑制データｄ１０は、モニター関連データｄ３及び環境データｄ４に基づいている。このため、見逃し抑制データｄ１０は、読影医が使用するモニターや読影医が読影する環境といったような要因を加味することになり、その結果、第１実施形態に係る情報処理装置１は、医療画像中の病変が見逃されてしまうことを抑制することができる。また、読影医は、図９に示す見逃し抑制データｄ１０を表示部２２で読影することで、医療画像データｄ２のうち特に注意深く精査するべき領域を判断することができ、集中力を節約しながら読影することができる。
１－３－２　データ取得部２３
　データ取得部２３は、出力部５から出力される見逃し抑制データｄ１０を取得可能に構成されている。
１－３－３　出力部２４
　出力部２４は、記憶部２５に格納されている各種データを情報処理装置１へ出力可能に構成されている。
１－３－４　記憶部２５
　記憶部２５は、記憶部６と同様に、各種データを記憶する機能を有する。記憶部２５には、モニター関連データｄ３（モニター設定値）及び光センサー２６で取得された環境データｄ４（照度値）等が格納される。
１－３－５　光センサー２６
　光センサー２６は、モニター２１（表示部２２）の周囲の光の照度値（環境データｄ４）を取得するように構成されている。
１－３　動作説明
　１－３－１　学習段階
　情報処理装置１の学習段階における動作について図３及び図４を参照して説明する。
　第１実施形態の情報処理方法（学習段階）は、取得ステップと、演算ステップとを備えている。
　演算ステップは、前処理ステップと、確率マップ生成ステップ（学習ステップ）と、候補画素生成ステップと、見逃し領域マップ生成ステップと、見逃し抑制データ生成ステップとを備えている。
　取得ステップにおいて、データ取得部２は、医療画像データｄ１と、モニター関連データｄ３（モニター設定値、モニタースペック及びビュアー設定値）と、環境データｄ４と、正解見逃し抑制データｄ１１とを取得する。
　前処理ステップにおいて、前処理部３は、医療画像データｄ１のサイズ等を変更し、医療画像データｄ２を生成する。確率マップ生成ステップにおいて、確率算出部４Ａは、医療画像データｄ２と、モニター関連データｄ３と環境データｄ４とに基づいて、確率マップｄ２１を生成する。この確率マップ生成ステップは、機械学習が行われるステップであるため、学習ステップと言うこともできる。確率マップ生成ステップ（学習ステップ）において、確率算出部４Ａには、誤差算出部４Ｄで算出される誤差が入力される。この誤差は、後述する見逃し抑制データ生成ステップで取得される見逃し抑制データｄ１０と、正解見逃し抑制データｄ１１との差に対応している。これにより、確率算出部４Ａのフィルタの重み係数が適宜更新され、確率算出部４Ａの出力の精度が上昇する。換言すると、確率マップ生成ステップ（学習ステップ）では、確率算出部４Ａは、入力（医療画像データ及び追加データ）と出力（確率）との関係を学習する過程で、フィルタの重み係数を適宜更新する。つまり、フィルタの重み係数は、より読影医の経験を反映した値に更新されていく。そして、確率マップｄ２１及び見逃し抑制データｄ１０は、より正解見逃し抑制データｄ１１に近づいていく。
　候補画素生成ステップにおいて、候補画素抽出部４Ｂ１は、確率マップｄ２１に対して閾値処理を行い、候補画素マップｄ２２を生成する。見逃し領域マップ生成ステップにおいて、領域形成部４Ｂ２は、候補画素マップｄ２２に対して欠損領域穴埋め処理を行って見逃し領域Ｒｇを形成し、見逃し領域マップｄ２３を生成する。見逃し抑制データ生成ステップにおいて、生成部４Ｃは、医療画像データｄ２と、見逃し領域マップｄ２３とに基づいて、見逃し抑制データｄ１０を生成する。
１－３－２　運用段階
　運用段階における動作について図１及び図２に基づいて説明する。運用段階における動作は、学習段階における動作と異なる部分を中心に説明する。
　第１実施形態の情報処理方法（運用段階）は、取得ステップと、演算ステップと、出力ステップとを備えている。
　演算ステップは、前処理ステップと、確率マップ生成ステップと、候補画素生成ステップと、見逃し領域マップ生成ステップと、見逃し抑制データ生成ステップとを備えている。
　取得ステップにおいて、データ取得部２は、正解見逃し抑制データを取得しない。
　運用段階では、確率算出部４Ａのフィルタの重み係数が確定している。つまり、確率算出部４Ａでは誤差を算出しないため、確率算出部４Ａは誤差算出部４Ｄから誤差を取得しない。
　出力ステップでは、見逃し抑制データｄ１０が、モニター２１の表示部２２に出力される。これにより、読影医が見逃し領域Ｒｇの位置を把握することができる。なお、第１実施形態において、見逃し抑制データｄ１０は、画像データであるものとして説明しているが、これに限定されるものではなく、音声データであってもよい。例えば、出力ステップにおいて見逃し領域Ｒｇの位置がモニター２１のスピーカーから出力される形態でも、読影医が見逃し領域Ｒｇの位置を大まかに把握することができる。
１－４　変形例
　１－４－１　変形例１：周波数データ生成部７
　情報処理装置１は、図１０に示すように、周波数データ生成部７を更に備えていてもよい。周波数データ生成部７は、医療画像データｄ２の周波数成分に関するデータを取得する処理を行う。例えば、周波数データ生成部７は、医療画像データｄ２をフーリエ変換した画像データを生成することができる。また、周波数データ生成部７は、医療画像データｄ２における特定の周波数を抽出するフィルタリング処理を行い、エッジが抽出された画像データを生成することもできる。データ演算部４が、医療画像データｄ２等の他に、周波数成分に関するデータも学習することで、情報処理装置１がより適切な見逃し抑制データｄ１０を生成する効果が期待できる。画像の周波数成分の情報は、画像の見え方に対して関連があると考えられるからである。
　また、第１実施形態において、環境データｄ４は、照度値に加えて測距値を有してもよい。具体的には、図１０に示すように、モニター２１は、測距センサー２７を備えていてもよい。測距センサー２７は、測距値を取得可能に構成されている。ここで、測距値は、モニター２１と人体との間の距離を示す値である。データ演算部４が、周波数成分に関するデータに加えて測距値も学習することで、情報処理装置１がより適切な見逃し抑制データｄ１０を生成する効果が期待できる。モニター２１と人体との間の距離は、画像の見え方に対して関連があると考えられるためである。
１－４－２　変形例２：スコア
　第１実施形態では、見逃し抑制データｄ１０が、病変を見逃しやすい領域Ｒｇが強調された画像データであった。つまり、第１実施形態では、見逃し抑制データｄ１０が、病変を見逃しやすい領域Ｒｇの位置を特定したデータであった。なお、見逃し抑制データｄ１０の態様は、領域Ｒｇの位置を特定するものに限定されない。見逃し抑制データｄ１０は、医療画像データ中の病変を見逃してしまう可能性を示すスコア（スコアデータ）であってもよい。生成部４Ｃが、このスコアを算出する。また、このスコアは、表示部２２に表示される態様であってもよいし、音声で出力される態様であってもよい。このスコアが高いほど、画像中に病変を見逃しやすい領域が存在することになる。このスコアは、モニター関連データｄ３及び環境データｄ４に基づいているので、読影医が使用するモニターや読影医が読影する環境といったような要因を加味することになる。その結果、変形例２においても、第１実施形態と同様に、医療画像中の病変が見逃されてしまうことを抑制することができる。また、読影医は、このスコアを参考にしながら読影することで、集中力を節約することができる。
　なお、特許文献１に記載の技術は、病変が物理的に存在するか等のリスクを算出する技術である。このため、算出されたリスクが比較的小さい（病変が存在する可能性が小さい）ことを理由に、読影医の気が緩んで読影時の読影医の注意力が低下し、その結果、医療画像中の病変が見逃されてしまう可能性がある。それに対し、変形例２は、このスコアの大小は病変が実際に存在するか否かに関係がないため、読影医は、仮にこのスコアが低くても医療画像データを注意深く見る必要がある。つまり、変形例２では、仮にこのスコアが低くても、読影医の注意力の低下は回避される。
１－４－２－１　スコア算出方法１
　スコアは、乳腺領域Ｒの面積を、見逃し領域Ｒｇの面積で割った値を採用することができる。一般的に、乳腺領域Ｒは輝度が高く、病変が見逃されやすい領域であると考えられる。このため、見逃し領域Ｒｇの多くが乳腺領域Ｒに含まれる可能性が高い。そこで、スコアが乳腺領域Ｒの面積と見逃し領域Ｒｇの面積との比率に基づいて算出されていれば、当該スコアは医療画像データ中の病変を見逃してしまう可能性を反映することになる。
　乳腺領域Ｒの面積の算出方法は、特に限定されるものではない。例えば、情報処理装置１が、各画素の輝度に基づいて各画素が乳腺画素であるか否かを判定し、乳腺画素の総数を算出し、この総数を乳腺領域Ｒの面積とすることができる。
　また、見逃し領域Ｒｇの面積は、見逃し領域Ｒｇに含まれる画素の総数とすることができる。
１－４－２－２　スコア算出方法２
　第１実施形態において、見逃し領域Ｒｇは、３つの見逃し領域Ｒｇ１～見逃し領域Ｒｇ３を含んでいた。スコアは、これらの領域Ｒｇ１～領域Ｒｇ３のうち、面積が最大のものの面積に基づいて、算出されてもよい。見逃し領域の面積が広いほど、病変が見逃されやすいと考えられる。スコアが見逃し領域Ｒｇのうちの最大の領域の面積に基づいて算出されていれば、当該スコアは、医療画像データ中の病変を見逃してしまう可能性を反映することになる。
１－４－２－３　スコア算出方法３
　スコアは、見逃し領域Ｒｇ１～領域Ｒｇ３のうち、特定方向の幅の最大値に基づいて、算出されてもよい。ここでは、特定方向が、左右方向であるものとする。図１１Ａに示すように、左右方向における幅が最大となるのは、見逃し領域Ｒｇ３のラインＬの位置である。つまり、スコアは、ラインＬの幅（長さ）に基づいて、算出されてもよい。
　また、スコアは、図１１Ａに示すグラフにおけるラインＬの端点と、図１１Ｂに示すグラフにおける画素Ｌ２の座標と、を結ぶ線の傾きＳ２に基づいて、算出されてもよい。ここで、画素Ｌ２は、ラインＬ上の画素のうち、確率Ｐが閾値Ｐ２よりも大きい画素である。この傾きＳ２が大きいほど、グラフの全体形状が上に凸となる傾向がある。このため、この傾きＳ２が大きいほど、見逃し領域Ｒｇの全画素の確率Ｐが、より高い値に分布することになる。
　スコアが上述した幅や傾きＳ２に基づいて算出されていれば、当該スコアは、医療画像データ中の病変を見逃してしまう可能性を反映することになる。
１－４－３　変形例３：モニター測定値を取得
　第１実施形態において、モニター設定値が、ブライトネスの設定値を採用することができるものとして説明したが、これに限定されるものではない。モニター関連データｄ３は、モニター測定値を含んでいてもよい。より具体的には、モニター関連データｄ３は、モニター設定値、モニタースペック、ビュアー設定値及びモニター測定値のうちの少なくとも１つを含んでいてもよい。
　モニター測定値は、例えば、輝度値又は色度値である。モニター２１が表示部２２の輝度を測定する光センサー（不図示）を備えることで、情報処理装置１は、モニター設定値におけるブライトネスの設定値の代わりに、この光センサーで取得した輝度値を採用することができる。
１－４－４　変形例４：モニター２１で視覚的処理を実施 
　第１実施形態は、情報処理装置１が、見逃し領域Ｒｇ１～領域Ｒｇ３を特定するための視覚的な処理を実施する形態であったが、これに限定されるものではない。図１２に示すように、モニター２１が、見逃し領域を特定するための視覚的な処理を実施してもよい。図１２に示す変形例４において、データ演算部４は生成部４Ｃを有さず、また、データ演算部４は領域形成部４Ｂ２の代わりに位置特定部４Ｂ３を有する。更に、モニター２１は、輝度調整部２８を有する。
　位置特定部４Ｂ３は、見逃し領域の位置を特定する位置データ（見逃し抑制データｄ１０）を生成する。例えば、位置特定部４Ｂ３は、領域形成部４Ｂ２と同様に欠損領域穴埋め処理を実施することができ、位置特定部４Ｂ３は、候補画素マップｄ２２で特定されている候補画素の位置データと、欠損領域穴埋め処理で穴埋めした画素の位置データとを有する位置データ（見逃し抑制データｄ１０）を生成する。つまり、この生成された位置データ（見逃し抑制データｄ１０）は、医療画像データｄ２の領域のうち、病変を見逃しやすい領域の位置を特定する位置データである。位置特定部４Ｂ３は、この生成した位置データを出力部５へ出力する。
　輝度調整部２８は、この位置データと医療画像データｄ２とに基づいて、医療画像データｄ２における、病変を見逃しやすい画素（領域）を強調する。具体的には、輝度調整部２８は、モニター２１が医療画像データｄ２を表示するときにおいて、この位置データに対応する画素の輝度値を大きくする機能を有する。つまり、位置データに対応する画素の輝度値は、医療画像データｄ２における輝度値から、当該輝度値よりも大きい輝度値へ調整される。なお、輝度調整部２８は、この位置データに対応する画素の周辺の画素の輝度値を相対的に小さくすることで、病変を見逃しやすい画素を強調してもよい。
２　第２実施形態
　第２実施形態は、第１実施形態と共通する構成については説明を適宜省略し、相違する構成を中心に説明する。
　第１実施形態は、情報処理装置１がデータ演算部４を有する形態であったが、これに限定されるものではない。第２実施形態では、図１３に示すように、モニター２１が処理部Ｃｔ（データ演算部４）を備えている。つまり、第２実施形態では、モニター２１が見逃し抑制データｄ１０を算出する情報処理装置として機能する。第２実施形態も、第１実施形態における効果と同様の効果を有する。
　１　　　：情報処理装置
　２　　　：データ取得部
　３　　　：前処理部
　４　　　：データ演算部
　４Ａ　　：確率算出部
　４Ｂ　　：後処理部
　４Ｂ１　：候補画素抽出部
　４Ｂ２　：領域形成部
　４Ｂ３　：位置特定部
　４Ｃ　　：生成部
　４Ｄ　　：誤差算出部
　５　　　：出力部
　６　　　：記憶部
　７　　　：周波数データ生成部
　２１　　：モニター
　２２　　：表示部
　２３　　：データ取得部
　２４　　：出力部
　２５　　：記憶部
　２６　　：光センサー
　２７　　：測距センサー
　１００　：情報処理システム
　Ｃｔ　　：処理部
　Ｂ　　　：乳房領域
　Ｇ　　　：大胸筋領域
　Ｒ　　　：乳腺領域
　Ｒｇ　　：見逃し領域
　Ｒｇ１　：見逃し領域
　Ｒｇ２　：見逃し領域
　Ｒｇ３　：見逃し領域
　ｄ１　　：医療画像データ（前処理前）
　ｄ２　　：医療画像データ（前処理後）
　ｄ３　　：モニター関連データ
　ｄ４　　：環境データ
　ｄ１０　：見逃し抑制データ
　ｄ１１　：正解見逃し抑制データ
　ｄ２１　：確率マップ
　ｄ２２　：候補画素マップ
　ｄ２３　：領域マップ

Claims (9)

  1. 　データ取得部と、データ演算部とを備え、
    　前記データ取得部は、医療画像データと追加データとを取得し、
    　　前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、
    　　　前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、
    　　　前記環境データは、前記モニターの周囲環境を示すデータであり、
    　前記データ演算部は、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、
    　　前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記見逃し抑制データは、前記医療画像データ内の領域のうち、病変を見逃しやすい領域を示す画像データを含む、情報処理装置。
  3. 　請求項１又は請求項２に記載の情報処理装置であって、
    　前記見逃し抑制データは、前記医療画像データにおける病変を見逃してしまう可能性を示すスコアデータを含む、情報処理装置。
  4. 　請求項１～請求項３の何れか１つに記載の情報処理装置であって、
    　前記見逃し抑制データは、位置データを含み、
    　　前記位置データは、前記医療画像データ内の領域のうち、病変を見逃しやすい領域の位置を特定するデータである、情報処理装置。
  5. 　請求項１～請求項４の何れか１つに記載の情報処理装置であって、
    　前記モニター関連データは、モニター設定値、モニタースペック、ビュアー設定値及びモニター測定値のうちの少なくとも１つを含み、
    　　前記モニター設定値は、前記表示部に表示される画像の見え方を定めるための設定値であり、
    　　前記モニタースペックは、前記モニターが予め有する特性を示し、
    　　前記ビュアー設定値は、前記表示部に表示される画像の見え方を定めるための設定値であり、且つ、前記表示部に画像を表示させるためのアプリケーションの設定値であり、
    　　前記モニター測定値は、前記表示部の輝度又は色度の測定値である、情報処理装置。
  6. 　請求項１～請求項５の何れか１つに記載の情報処理装置であって、
    　前記環境データは、照度値及び測距値のうちの少なくとも１つを含み、
    　　前記照度値は、前記表示部の周囲における照度を示す値であり、
    　　前記測距値は、前記モニターと人体との間の距離を示す値である、情報処理装置。
  7. 　請求項１～請求項６の何れか１つに記載の情報処理装置であって、
    　前記データ演算部は、前記医療画像データ及び前記追加データを入力して確率を出力する学習モデルに基づいて、前記確率を算出し、
    　　前記確率は、病変が見逃されやすいかどうかを示す値であり、
    　前記データ演算部は、前記確率に基づいて、前記見逃し抑制データを生成する、情報処理装置。
  8. 　取得ステップと、演算ステップとを備える情報処理方法であって、
    　前記取得ステップでは、医療画像データと追加データとを取得し、
    　　前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、
    　　　前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、
    　　　前記環境データは、前記モニターの周囲環境を示すデータであり、
    　前記演算ステップは、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、
    　　前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、方法。
  9. 　コンピュータに、取得ステップと、演算ステップとを備える情報処理方法を実行させるコンピュータプログラムであって、
    　前記取得ステップでは、医療画像データと追加データとを取得し、
    　　前記追加データは、モニター関連データ及び環境データのうちの少なくとも１つを含み、
    　　　前記モニター関連データは、モニターの表示部に表示される画像の見え方を定めるためのデータであり、
    　　　前記環境データは、前記モニターの周囲環境を示すデータであり、
    　前記演算ステップは、前記医療画像データ及び前記追加データに基づいて見逃し抑制データを算出し、
    　　前記見逃し抑制データは、前記医療画像データにおける病変の見逃しを抑制させるデータである、プログラム。
PCT/JP2021/010960 2020-04-14 2021-03-18 情報処理装置、情報処理方法、及びコンピュータプログラム WO2021210334A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180022339.XA CN115297764A (zh) 2020-04-14 2021-03-18 信息处理装置、信息处理方法、以及计算机程序
KR1020227036206A KR20220156050A (ko) 2020-04-14 2021-03-18 정보 처리 장치, 정보 처리 방법 및 컴퓨터 프로그램
EP21788221.6A EP4105882A4 (en) 2020-04-14 2021-03-18 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND COMPUTER PROGRAM
US17/911,818 US20230143350A1 (en) 2020-04-14 2021-03-18 Information processing device, information processing method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020072381A JP7237883B2 (ja) 2020-04-14 2020-04-14 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2020-072381 2020-04-14

Publications (1)

Publication Number Publication Date
WO2021210334A1 true WO2021210334A1 (ja) 2021-10-21

Family

ID=78083565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010960 WO2021210334A1 (ja) 2020-04-14 2021-03-18 情報処理装置、情報処理方法、及びコンピュータプログラム

Country Status (6)

Country Link
US (1) US20230143350A1 (ja)
EP (1) EP4105882A4 (ja)
JP (1) JP7237883B2 (ja)
KR (1) KR20220156050A (ja)
CN (1) CN115297764A (ja)
WO (1) WO2021210334A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058519A (ja) * 2006-08-30 2008-03-13 Matsushita Electric Ind Co Ltd 調整機能つき投写型表示装置
JP2010057726A (ja) * 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 画像診断支援システム
JP2012100899A (ja) * 2010-11-11 2012-05-31 Toshiba Corp 医用画像生成装置
JP2017080389A (ja) * 2015-10-27 2017-05-18 コニカミノルタ株式会社 医用画像システム及びプログラム
US20170249739A1 (en) 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020054542A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008058519A (ja) * 2006-08-30 2008-03-13 Matsushita Electric Ind Co Ltd 調整機能つき投写型表示装置
JP2010057726A (ja) * 2008-09-04 2010-03-18 Konica Minolta Medical & Graphic Inc 画像診断支援システム
JP2012100899A (ja) * 2010-11-11 2012-05-31 Toshiba Corp 医用画像生成装置
JP2017080389A (ja) * 2015-10-27 2017-05-18 コニカミノルタ株式会社 医用画像システム及びプログラム
US20170249739A1 (en) 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
WO2020054542A1 (ja) * 2018-09-11 2020-03-19 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム、内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4105882A4

Also Published As

Publication number Publication date
EP4105882A1 (en) 2022-12-21
JP7237883B2 (ja) 2023-03-13
CN115297764A (zh) 2022-11-04
US20230143350A1 (en) 2023-05-11
KR20220156050A (ko) 2022-11-24
JP2021170174A (ja) 2021-10-28
EP4105882A4 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
CN110246108B (zh) 一种图像处理方法、装置及计算机可读存储介质
EP3206185B1 (en) Image processing method, image processing device and display device
US9002127B2 (en) Image dynamic range compression system, method and program
JP6290392B2 (ja) デュアルバンドセンサからの画像の可視カラー画像への変換
EP2884457B1 (en) Image evaluation device and image evaluation program
JP5127897B2 (ja) 眼科用画像処理装置及びその方法
CN111127430A (zh) 确定医学影像显示参数的方法及装置
JP2017213097A (ja) 画像処理装置、画像処理方法およびプログラム
JP7076168B1 (ja) リアルタイム映像における画像の物体輪郭を強調する方法
WO2018090450A1 (zh) 显示屏均匀性测试方法及显示屏均匀性测试系统
WO2021210334A1 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
KR20200046775A (ko) Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법
EP1481632B1 (en) Ophtalmologic image processing apparatus
US9454811B2 (en) Image processing apparatus, image processing method and computer-readable storage medium storing program
CN111588345A (zh) 眼部疾病检测方法、ar眼镜及可读存储介质
KR20140104170A (ko) 카메라를 이용한 척추 측만증 판단 방법 및 장치
CN115797276A (zh) 用于内窥镜的病灶图像处理方法、装置、电子设备及介质
CN115880208A (zh) 图像处理方法、图像处理装置及医疗设备
JP7119974B2 (ja) 医用画像表示装置及び医用画像表示システム
JP2013097463A (ja) 画像評価装置、画像評価方法、およびプログラム
JP6481432B2 (ja) 眼底画像処理装置
CN117455780B (zh) 内镜暗场图像的增强方法、装置、电子设备及存储介质
JP5701272B2 (ja) 眼科用画像処理装置及びその方法
JP2004228742A (ja) 画質評価装置
JP6439515B2 (ja) 眼底画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21788221

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021788221

Country of ref document: EP

Effective date: 20220912

ENP Entry into the national phase

Ref document number: 20227036206

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE