WO2025158641A1 - 画像処理装置、画像処理方法及び記憶媒体 - Google Patents

画像処理装置、画像処理方法及び記憶媒体

Info

Publication number
WO2025158641A1
WO2025158641A1 PCT/JP2024/002356 JP2024002356W WO2025158641A1 WO 2025158641 A1 WO2025158641 A1 WO 2025158641A1 JP 2024002356 W JP2024002356 W JP 2024002356W WO 2025158641 A1 WO2025158641 A1 WO 2025158641A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
image
group
interest
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/002356
Other languages
English (en)
French (fr)
Inventor
和浩 渡邉
雄治 岩舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2024/002356 priority Critical patent/WO2025158641A1/ja
Publication of WO2025158641A1 publication Critical patent/WO2025158641A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]

Definitions

  • This disclosure relates to the technical fields of image processing devices, image processing methods, and storage media that perform processing related to the evaluation of lesions using medical images.
  • Patent Document 1 discloses a diagnostic aid that calculates feature values from past and present image data obtained by CT and detects suspected lung cancer from the feature values.
  • one of the objectives of this disclosure is to provide an image processing device, an image processing method, and a storage medium that are capable of accurately evaluating lesions.
  • One aspect of the image processing device is an image-of-interest extraction means for extracting an image of interest to be analyzed for a lesion from a second group of medical images of the patient based on a comparison between a first group of medical images of the patient to which annotation information related to a first lesion has been added and a second group of medical images of the patient generated after the first group of medical images; a lesion evaluation means for evaluating the first lesion in the second medical image group based on the image of interest;
  • the image processing device has:
  • One aspect of the image processing method includes: The computer extracting an image of interest to be analyzed for the lesion from the second group of medical images based on a comparison between a first group of medical images of the patient, to which annotation information related to the first lesion has been added, and a second group of medical images of the patient, which have been generated after the first group of medical images; performing an evaluation of the first lesion in the second medical image group based on the image of interest; It is an image processing method.
  • One aspect of the storage medium is extracting an image of interest to be analyzed for the lesion from the second group of medical images based on a comparison between a first group of medical images of the patient, to which annotation information related to the first lesion has been added, and a second group of medical images of the patient, which have been generated after the first group of medical images;
  • the storage medium stores a program that causes a computer to execute a process for evaluating the first lesion in the second medical image group based on the image of interest.
  • FIG. 1 shows the schematic configuration of a lesion evaluation system.
  • 2 is an example of a functional block of a processor of the image processing device.
  • FIG. 1 is a diagram in which a group of pre-examination images and a group of target examination images of a certain patient are arranged in association with the patient's regions to be imaged.
  • FIG. 10 is a diagram showing an outline of a process executed by a first lesion evaluation unit when a pair of an image of interest and a corresponding image to be annotated is given. 10 shows an example of displaying information based on evaluations of a first lesion and a second lesion.
  • 10 is a flowchart illustrating an example of an outline of processing executed by the image processing apparatus.
  • 1 shows the schematic configuration of a lesion evaluation system.
  • FIG. 1 is a block diagram of an image processing device.
  • 10 is a flowchart illustrating an example of a procedure of processing executed by the image processing apparatus.
  • System Configuration Fig. 1 shows the schematic configuration of a lesion evaluation system 100.
  • the lesion evaluation system 100 shown in Fig. 1 evaluates the lesion (condition) of a patient undergoing treatment for a disease such as cancer by comparing it with past conditions, and presents the evaluation results to a medical professional such as a doctor as information indicating the effectiveness of the treatment, etc.
  • the lesion evaluation system 100 mainly comprises an image processing device 1, a display device 3, and an input device 4.
  • the image processing device 1 evaluates the patient's condition based on information about the patient's most recent examination, which is the subject of lesion evaluation, and information about the patient's examination conducted prior to that examination (also referred to as a "preliminary examination”). Specifically, the image processing device 1 performs evaluations of lesions detected in preliminary examinations (also referred to as "first lesions"), and evaluations of lesions not detected in previous examinations (i.e., lesions other than the first lesions, also referred to as "second lesions”). Examples of evaluations of first lesions include RECIST (Response Evaluation Criteria in Solid Tumors) evaluations, drug efficacy evaluations, and evaluations of the effectiveness of treatment for patients currently undergoing treatment. The image processing device 1 then performs display control to display the evaluation results of the first lesion and the evaluation results of the second lesion on the display device 3, and performs various processes based on user input signals received from the input device 4.
  • first lesions also referred to as “first lesions”
  • the display device 3 performs a predetermined display based on a display signal supplied from the image processing device 1.
  • Examples of the display device 3 include displays such as CRTs (Cathode Ray Tubes) and LCDs (Liquid Crystal Displays), as well as projectors.
  • the input device 4 generates a user input signal based on operations by a user of the image processing device 1, such as a doctor.
  • Examples of the input device 4 include buttons, keyboards, pointing devices such as mice, touch panels, remote controllers, voice input devices, and any other user interface.
  • FIG. 1 also shows an example of the hardware configuration of the image processing device 1.
  • the image processing device 1 mainly includes a processor 11, a memory 12, and an interface 13. These elements are connected via a data bus 19.
  • Processor 11 performs predetermined processing by executing programs stored in memory 12.
  • Processor 11 is a processor such as a CPU (Central Processing Unit), GPU (Graphics Processing Unit), or TPU (Tensor Processing Unit).
  • Processor 11 may be composed of multiple processors.
  • Processor 11 is an example of a computer.
  • Memory 12 is composed of various volatile memories used as working memory, such as RAM (Random Access Memory) and ROM (Read Only Memory), and non-volatile memory that stores information necessary for the processing of image processing device 1.
  • memory 12 may include an external storage device such as a hard disk connected to or built into image processing device 1, or may include a storage medium such as a removable flash memory.
  • Memory 12 stores programs and other information necessary for image processing device 1 to execute each process in this embodiment.
  • Memory 12 stores first lesion detection model information D1, second lesion detection model information D2, and examination information D3.
  • First lesion detection model information D1 is model information including parameters necessary to construct a first lesion detection model, which is a model used to detect a first lesion.
  • Second lesion detection model information D2 is model information including various parameters necessary to construct a second lesion detection model, which is a model used to detect a second lesion.
  • the first lesion detection model and second lesion detection model are, for example, machine learning models (including statistical models; the same applies below), and the parameters necessary for these models are stored in first lesion detection model information D1 and second lesion detection model information D2, respectively.
  • first lesion detection model information D1 includes parameters such as the layer structure, the neuron structure of each layer, the number and filter size of filters in each layer, and the weights of each element of each filter.
  • second lesion detection model information D2 includes parameters such as the layer structure, the neuron structure of each layer, the number and size of filters in each layer, and the weight of each element of each filter. Details of the first lesion detection model information D1 and the second lesion detection model information D2 will be described later.
  • Test information D3 is test information obtained by testing a patient, and includes pre-test information D31 and target test information D32. Test information D3 is associated with, for example, a patient ID for identifying the patient.
  • the pre-examination information D31 is information relating to a pre-examination of a patient.
  • the pre-examination information D31 includes a group of images of the patient generated by an image generation device during the pre-examination (also referred to as the "pre-examination image group") and metadata associated with an image in the pre-examination image group in which a lesion (i.e., a first lesion) is detected.
  • the image generation device described above is a device that generates images (slices) of the inside of a living body while changing its position, and examples of such devices include CT and MRI.
  • the pre-examination image group is an example of a "first medical image group.”
  • Metadata is data about the diagnosis results for the first lesion that is attached to an image showing the first lesion, and is generated, for example, by annotation by the doctor in charge of the pre-examination.
  • the metadata includes at least area information that indicates the area (range) of the first lesion within the image.
  • the metadata may also include the name of the disease corresponding to the lesion, the condition, and any other diagnostic results.
  • images in the pre-examination image group that have metadata attached will also be referred to as "annotated images.”
  • the above-mentioned annotation is, for example, a task performed by a doctor in charge of a pre-examination, who refers to a group of pre-examination images displayed on a display or the like, identifies images in which a lesion appears, and then inputs on a computer the designation of the lesion area within the image and other information related to the diagnosis results.
  • the metadata may also be data based on the diagnosis results obtained by applying CAD (Computer Aided Diagnosis).
  • the metadata is an example of "annotation information related to the first lesion.”
  • the target examination information D32 is data obtained from an examination to be evaluated that was conducted after the pre-examination (e.g., the most recent examination), and includes at least a group of patient images generated by an image generation device.
  • an examination to be evaluated that was conducted after the pre-examination will also be referred to as the "target examination”
  • the group of patient images included in the target examination information D32 will also be referred to as the "target examination image group.”
  • the target examination image group is an example of a "second medical image group.”
  • the interface 13 acts as an interface between the image processing device 1 and external devices.
  • the interface 13 is electrically connected to the display device 3 and the input device 4.
  • the interface 13 may be a communications interface such as a network adapter for wired or wireless communication with external devices, or may be a hardware interface compliant with USB (Universal Serial Bus) or SATA (Serial AT Attachment).
  • the interface 13 may also act as an interface with external devices such as the display device 3 and input device 4 via a communications network such as the Internet.
  • the configuration of the lesion assessment system 100 shown in Figure 1 is an example, and various modifications may be made.
  • the image processing device 1 may be configured as an integrated unit with at least one of the display device 3 and the input device 4.
  • the image processing device 1 may include an audio output device that outputs information by voice.
  • the image processing device 1 may be configured from multiple devices.
  • the image processing device 1 may receive the target examination images from the above-mentioned image generation device that generates the patient images.
  • the first lesion detection model is a machine-learned model that, when an image generated by an image generation device is input, outputs an inference result regarding the lesion area in the input image.
  • the first lesion detection model is a machine-learned model that determines the relationship between the image input to the first lesion detection model and the lesion area in the input image.
  • the lesion detection model may be a model (including a statistical model; the same applies below) that includes an architecture adopted in any machine learning method, such as a neural network or a support vector machine.
  • Representative models of such neural networks include, for example, Fully Convolutional Network, SegNet, U-Net, V-Net, Feature Pyramid Network, Mask R-CNN, and DeepLab.
  • the first lesion detection model is trained in advance based on a pair of an input image that conforms to the input format of the lesion detection model and correct answer data (in the example above, a correct answer confidence map or bounding box) that indicates the correct inference result that should be output by the lesion detection model when that input image is input.
  • correct answer data in the example above, a correct answer confidence map or bounding box
  • a first example of an inference result output by the first lesion detection model is a confidence map (including a mask image that represents the lesion area using two values) that indicates the confidence that each unit area of the input image is a lesion area.
  • the unit area may be an area of one pixel, an area of multiple pixels, or an area smaller than one pixel (a sub-pixel area).
  • the image processing device 1 determines that a connected area of unit areas (which may be limited to those of a predetermined size or larger) whose confidence level is equal to or greater than a predetermined threshold is a detected lesion area.
  • the above-mentioned predetermined threshold is a threshold for detecting lesion areas (also called a "detection threshold") and corresponds to a hyperparameter set by the user.
  • a second example of an inference result output by the first lesion detection model is a set of a bounding box indicating the extent of the lesion area in the input image and the reliability (certainty) that the area identified by the bounding box is a lesion area.
  • the image processing device 1 determines that a bounding box with a reliability equal to or greater than a predetermined threshold is a detected lesion area.
  • the above-mentioned predetermined threshold is a detection threshold for detecting lesion areas, and corresponds to a hyperparameter set by the user.
  • the first lesion detection model may be multiple models each created to be specialized for a specific body part (e.g., organ) of the patient being imaged.
  • model information for multiple first lesion detection models specialized for each body part is stored in first lesion detection model information D1.
  • the second lesion detection model When an image generated by the image generation device is input, the second lesion detection model outputs an inference result regarding the lesion area in the input image.
  • the second lesion detection model is a model that has learned the relationship between the image input to the second lesion detection model and the lesion area in the input image.
  • the lesion detection model may be a model that includes an architecture used in any machine learning method, such as a neural network or a support vector machine.
  • the first lesion detection model and the second lesion detection model may be the same model.
  • lesion detection model information regarding a single model that functions as both the first lesion detection model information D1 and the second lesion detection model information D2 is pre-stored in memory 12.
  • the first lesion detection model and the second lesion detection model may include a feature extraction model that extracts features from an image, or may be models separate from the feature extraction model. In the latter case, the first lesion detection model and the second lesion detection model are each machine-learned models that output the above-mentioned inference results when the feature values (tensors with a predetermined number of dimensions) output by the feature extraction model to which an image is input are input.
  • Functional Block Diagram 2 is an example of functional blocks of the processor 11 of the image processing device 1.
  • the processor 11 of the image processing device 1 includes an acquisition unit 30, an image-of-interest extraction unit 31, a first lesion evaluation unit 32, a second lesion evaluation unit 33, and a display control unit 34. Note that in FIG. 2, blocks between which data is exchanged are connected by solid lines, but the combination of blocks between which data is exchanged is not limited to this. The same applies to other functional block diagrams described below.
  • the acquisition unit 30 acquires the pre-examination information D31 and target examination information D32 contained in the patient's examination information D3 via the interface 13.
  • the acquisition unit 30 then supplies the acquired pre-examination information D31 and target examination information D32 to the image of interest extraction unit 31 and the second lesion evaluation unit 33, respectively.
  • the acquisition unit 30 identifies a patient to be evaluated in response to a user input signal received from the input device 4, and acquires the pre-examination information D31 and target examination information D32 corresponding to the identified patient.
  • the image of interest extraction unit 31 extracts an image (also referred to as an "image of interest") that is to be analyzed for the first lesion from the group of target examination images included in the target examination information D32, and supplies the image of interest, as well as the annotated image and metadata from the group of pre-examination images that correspond to the image of interest, to the first lesion evaluation unit 32. Details of the processing performed by the image of interest extraction unit 31 will be described later. In other words, the image of interest is an image that should be noted in the evaluation of the first lesion.
  • the first lesion evaluation unit 32 evaluates the first lesion in the group of target examination images based on the image of interest, the annotated image corresponding to the image of interest, and the metadata. In this case, the first lesion evaluation unit 32 first identifies the lesion area in the image of interest using a first lesion detection model constructed with reference to the first lesion detection model information D1. The first lesion evaluation unit 32 then identifies the presence or absence of a lesion area in the image of interest that is the same as the first lesion indicated by the metadata of the annotated image, and the size of the lesion area if present, and evaluates the change in the first lesion (e.g., disappearance, reduction, stability, progression).
  • the change in the first lesion e.g., disappearance, reduction, stability, progression
  • the first lesion evaluation unit 32 evaluates the change in the first lesion that occurred between the pre-examination and the target examination.
  • the first lesion evaluation unit 32 supplies the evaluation result for the first lesion to the display control unit 34. Details of the process of generating the evaluation result for the first lesion by the first lesion evaluation unit 32 will be described later.
  • the second lesion evaluation unit 33 evaluates a second lesion not indicated in the metadata based on the pre-examination information D31 and target examination information D32 supplied from the acquisition unit 30. In this case, the second lesion evaluation unit 33 identifies a lesion area in each image of the target examination image group using a second lesion detection model constructed with reference to the second lesion detection model information D2, and identifies, among the identified lesion areas, a lesion area corresponding to a second lesion not indicated in the metadata of the pre-examination information D31. At this time, the second lesion evaluation unit 33 determines whether the detected lesion area is a second lesion using the image-by-image matching results between the pre-examination image group and the target examination image group, as described below.
  • the second lesion detected by the second lesion evaluation unit 33 is either a lesion that was already present at the time of the pre-examination but was overlooked without being detected and is therefore not recorded in the metadata (also referred to as an "overlooked lesion"), or a lesion that did not exist at the time of the pre-examination but has newly developed by the time of the target examination (also referred to as a "new lesion").
  • new lesions include lesions that have metastasized from a first lesion.
  • the second lesion evaluation unit 33 supplies the evaluation results regarding the second lesion to the display control unit 34.
  • the display control unit 34 generates display information based on the evaluation results for the first lesion supplied from the first lesion evaluation unit 32, the evaluation results for the second lesion supplied from the second lesion evaluation unit 33, and the examination information D3. The display control unit 34 then supplies the generated display information to the display device 3, causing the display device 3 to display information based on the evaluation results for the first lesion and/or second lesion.
  • the image processing device 1 in this embodiment performs evaluation of a first lesion detected in a preliminary examination and evaluation of a second lesion, such as a new lesion, without requiring a doctor to perform an image diagnosis. This allows the image processing device 1 to optimally support diagnosis and clinical trials.
  • each of the components of the acquisition unit 30, image-of-interest extraction unit 31, first lesion evaluation unit 32, second lesion evaluation unit 33, and display control unit 34 can be realized, for example, by the processor 11 executing a program.
  • each component may be realized by recording the necessary programs on any non-volatile storage medium and installing them as needed.
  • at least some of these components are not limited to being realized by software programs, but may also be realized by any combination of hardware, firmware, and software.
  • at least some of these components may be realized using a user-programmable integrated circuit, such as an FPGA (Field-Programmable Gate Array) or a microcontroller. In this case, a program consisting of the above components may be realized using this integrated circuit.
  • FPGA Field-Programmable Gate Array
  • each component may be configured using an ASSP (Application Specific Standard Product), an ASIC (Application Specific Integrated Circuit), or a quantum processor (quantum computer control chip).
  • ASSP Application Specific Standard Product
  • ASIC Application Specific Integrated Circuit
  • quantum processor quantum computer control chip
  • the image of interest extraction unit 31 performs matching (i.e., correspondence) on an image-by-image basis between the pre-inspection image group and the target inspection image group, and extracts at least an image from the target inspection image group that is associated with the annotated image as an image of interest.
  • Figure 3 shows a group of pre-examination images and a group of target examination images for a patient, arranged in correspondence with the patient's body parts to be imaged.
  • the group of pre-examination images includes at least one annotated image Ip1.
  • the image of interest extraction unit 31 determines the similarity of each image between the pre-examination image group and the target examination image group, and generates a matching result in which the most similar images are matched.
  • the annotated image Ip1 is most similar (matches) with image It2 in the target examination image group, and the image of interest extraction unit 31 extracts image It2 and images It1 and It3, which represent the patient's body parts before and after it, as images of interest.
  • the image of interest extraction unit 31 calculates a similarity index for each image in the pre-examination image group that represents the degree of similarity between the image and each image in the target examination image group, and identifies matching images based on the similarity index.
  • the image of interest extraction unit 31 may calculate the similarity index by directly comparing the images, or may extract image features and calculate the similarity index based on the extracted features.
  • the image-of-interest extraction unit 31 may acquire feature amounts output from the feature extraction model (or feature extraction layer) when each image is input to the above-mentioned feature extraction model (or feature extraction layer of the first lesion detection model or the second lesion detection model) used for lesion detection.
  • the image-of-interest extraction unit 31 may perform matching on an image-by-image basis between the pre-examination image group and the target examination image group using any time-series data matching method, not limited to the above-mentioned example.
  • the image of interest extraction unit 31 may determine only image It2 that matches the annotated image Ip1 as the image of interest, or may determine two or more images before and after image It2 that matches the annotated image Ip1 as the images of interest.
  • the image-of-interest extraction unit 31 determines the image of interest based on matching between the group of pre-examination images and the group of target examination images.
  • the image processing device 1 performs the detection process for the first lesion only on the image of interest, which reduces false detection of the first lesion and improves detection accuracy compared to when the detection process for the first lesion is performed on all images in the group of target examination images.
  • the first lesion evaluation unit 32 evaluates the first lesion based on the lesion area indicated by the metadata of the annotated image and the lesion area detected using the first lesion detection model from the image of interest that matches the annotated image. In the evaluation of the first lesion, the first lesion evaluation unit 32 determines the presence or absence of a lesion area in the image of interest that represents the first lesion indicated by the metadata, and the size of the lesion area if present. Note that in the RECIST evaluation performed when the disease to be evaluated is cancer, it is necessary to identify the lesion detected in the preliminary examination (i.e., the first lesion) in the image generated in the target examination and measure the size of the identified lesion.
  • RECIST evaluation is an evaluation standard used to determine whether treatment for solid cancer is effective. Before treatment begins, the size of the tumor (target lesion) is measured using diagnostic imaging such as CT, and the condition during treatment is classified into the following four states.
  • CR Complete Response
  • PR Partial Response
  • SD Stable Disease
  • PD Progressive Disease
  • a complete response is when all target lesions disappear during the course of treatment, or in the case of lymph nodes, when their short axis shrinks to less than 10 mm.
  • a partial response is when the target lesion shrinks by 30% or more since before the start of treatment.
  • Stable disease is a state between partial response and progression. Progression is when the target lesion grows by 20% or more from its smallest size during the course of treatment, or the diameter of the target lesion increases by 5 mm or more.
  • RECIST evaluation requires identifying the target lesion in images taken before and after treatment, and then measuring and comparing its size.
  • RECIST evaluation is used to define the response rate as the ratio of complete response and partial response, and to evaluate the time from complete response, partial response, or stable disease to progression as progression-free survival.
  • Figure 4 shows an overview of the processing performed by the first lesion assessment unit 32 when a pair of an image of interest and a corresponding image to be annotated is given.
  • the image to be annotated has metadata attached to it indicating that the area within the bounding box 80 is the lesion area.
  • the first lesion evaluation unit 32 aligns the patient region 78 displayed in the annotated image with the patient region 79 displayed in the image of interest (i.e., matches the positions of the patient regions). In this case, the first lesion evaluation unit 32 translates at least one of the patient region 78 or the patient region 79 within the image so that the positions of the patient region 78 and the patient region 79 within the image coincide. In this case, for example, the first lesion evaluation unit 32 moves at least one of the patient region 78 or the patient region 79 within the image so that the degree of overlap between the regions is maximized. In this case, an index indicating the degree of overlap between any regions, such as IOU (Intersection over Union), may be used.
  • IOU Intersection over Union
  • the first lesion evaluation unit 32 moves the patient region 79 within the image of interest. If the image sizes of the image of interest and the image to be annotated are different, the first lesion evaluation unit 32 may change the image size of at least one of the image of interest and the image to be annotated, and normalize the image size.
  • the first lesion evaluation unit 32 inputs the image of interest into the first lesion detection model constructed by referencing the first lesion detection model information D1, and detects a lesion area within the image of interest based on the inference results output by the first lesion detection model.
  • the first lesion evaluation unit 32 detects the areas within bounding boxes 81 to 83 as lesion areas.
  • the first lesion evaluation unit 32 determines whether the lesion area detected in the image of interest (also referred to as the "detected lesion area”) is identical to the lesion area in the image to be annotated (also referred to as the "annotated lesion area") indicated by the metadata. In this case, the first lesion evaluation unit 32 recognizes, for example, a detected lesion area whose degree of overlap with the annotated lesion area (e.g., IOU) is equal to or greater than a predetermined degree as the lesion area of the first lesion.
  • the above-mentioned predetermined degree is set to a default value stored in the memory 12, for example.
  • the first lesion evaluation unit 32 determines that the bounding box 80 and the bounding box 82 indicate the same lesion area of the first lesion because the bounding box 82 of the image of interest overlaps the bounding box 80 of the annotated image by a predetermined degree or more.
  • the first lesion evaluation unit 32 determines that the first lesion has disappeared as a result of treatment after the preliminary examination. In this case, for example, if there is an annotated lesion area whose degree of overlap with each detected lesion area is less than a predetermined degree, the first lesion evaluation unit 32 determines that the first lesion corresponding to the annotated lesion area has disappeared.
  • the first lesion evaluation unit 32 compares the sizes of bounding box 80 and bounding box 82, and performs RECIST evaluation, etc. On the other hand, the first lesion evaluation unit 32 ignores the lesion detection results for bounding boxes 81 and 83 of the image of interest that are located away from bounding box 80 of the image to be annotated (i.e., the degree of overlap is less than a predetermined degree) and does not use them in the evaluation of the first lesion.
  • the first lesion evaluation unit 32 aligns the image of interest with the image to be annotated, and performs an evaluation of the first lesion based on the detected lesion area that overlaps with the annotated lesion area. This allows the first lesion evaluation unit 32 to appropriately identify the first lesion detected in the preliminary examination in the image of interest as well, and accurately perform an evaluation of the first lesion. Furthermore, this method can appropriately identify the lesion area of the first lesion even when the first lesion detection model detects multiple lesion areas, as in the example shown in Figure 4, so it is possible to lower the detection threshold set in the first lesion detection model (i.e., increase the sensitivity of the first lesion detection model). As a result, it is possible to prevent the first lesion from being overlooked in the image of interest and improve the detection accuracy of the first lesion.
  • the second lesion evaluation unit 33 performs lesion detection on each image of the target examination image group obtained in the target examination, and determines whether the detected lesion area is a second lesion different from the first lesion based on the metadata of the pre-examination information D31 and the matching results on an image-by-image basis between the pre-examination image group and the target examination image group.
  • the second lesion evaluation unit 33 performs evaluation of the second lesion based on the results of applying the second lesion detection model to each image in the target test image group.
  • the second lesion evaluation unit 33 first sequentially selects images from the group of target examination images as processing targets, inputs the selected images (also simply referred to as "target examination images") into a second lesion detection model constructed based on the second lesion detection model information D2, and detects a lesion area in the target examination image based on the inference results output by the second lesion detection model. If a lesion area is detected in the target examination image, the second lesion evaluation unit 33 identifies an image from the group of pre-examination images (also simply referred to as a "corresponding pre-examination image”) that is associated with the target examination image through matching by the image-of-interest extraction unit 31.
  • the second lesion evaluation unit 33 then references the metadata attached to the corresponding pre-examination image to determine whether the detected lesion area is a second lesion. If there is no metadata attached to the corresponding pre-examination image, or if the annotated lesion area indicated by the metadata differs from the lesion area detected in the target examination image, the second lesion evaluation unit 33 determines that the lesion area detected in the target examination image is likely to be a second lesion. Note that the identity of the lesion area detected in the target examination image and the annotated lesion area can be determined using, for example, the same method as the method used by the first lesion evaluation unit 32 to determine whether they are the same lesion (see Figure 4).
  • the second lesion evaluation unit 33 performs evaluation of the second lesion based on a comparison of the results of applying each image in the target test image group and each image in the pre-test image group to the second lesion detection model.
  • the second lesion evaluation unit 33 inputs target examination images selected in order from the group of target examination images into the second lesion detection model, and detects lesion areas in the target examination images based on the inference results output by the second lesion detection model.
  • the second lesion evaluation unit 33 also inputs corresponding pre-examination images associated with the target examination images into the second lesion detection model, and detects lesion areas in the corresponding pre-examination images based on the inference results output by the second lesion detection model.
  • the second lesion evaluation unit 33 determines whether the lesion area detected in the target examination image is likely to be a second lesion based on whether the lesion area detected in the target examination image corresponds to the lesion area indicated by the metadata and the lesion area detected in the corresponding pre-examination image (i.e., whether they are the same lesion). For example, if there is a lesion area in the corresponding pre-examination image that is the same lesion as the lesion area detected in the target examination image, but the metadata does not indicate this lesion area, the second lesion evaluation unit 33 determines that the lesion area detected in the target examination image is likely to be an overlooked lesion (i.e., a second lesion).
  • the second lesion evaluation unit 33 may determine that it is a region that is prone to erroneous detection. In another example, if there is no lesion area in the corresponding pre-examination image that is the same lesion as the lesion area detected in the target examination image, the second lesion evaluation unit 33 determines that the lesion area detected in the target examination image is likely to be a new lesion (i.e., a second lesion), regardless of the metadata.
  • the second lesion evaluation unit 33 determines that the lesion area detected in the target examination image is the same lesion as the lesion area in the corresponding pre-examination image and the lesion area indicated by the metadata, it determines that the lesion area detected in the target examination image is the first lesion.
  • the second lesion evaluation unit 33 supplies the evaluation results for the second lesion to the display control unit 34, along with information generated in conjunction with the evaluation of the second lesion.
  • the second lesion evaluation unit 33 supplies to the display control unit 34 information on the lesion area detected by the second lesion inspection model, information on the reliability (certainty) of the lesion area detected by the second lesion inspection model, information on the lesion area determined to be possibly the second lesion, etc.
  • Display Example Fig. 5 shows a display example of information based on the evaluations of the first lesion and the second lesion.
  • the display control unit 34 generates display information based on the information supplied from the first lesion evaluation unit 32 and the second lesion evaluation unit 33, the examination information D3, etc., and transmits the generated display information to the display device 3, thereby causing the display device 3 to display the display screen shown in Fig. 5.
  • the display control unit 34 of the image processing device 1 provides an image display area 70, an image selection area 71, a display switch selection area 72, a lesion-of-interest determination result display area 73, and a warning display area 74 on the display screen.
  • the display control unit 34 displays, in the image display area 70, an arbitrary image selected by the user from the group of target examination images based on operation on the input device 4. In the example of FIG. 5, the display control unit 34 displays the 23rd image out of the group of 135 target examination images. Furthermore, in accordance with the selection made in the display switch selection area 72 (described below), the display control unit 34 displays, on the image, a bounding box 91 indicating the area of the lesion of interest corresponding to the first lesion, a bounding box 92 indicating an area that may be an overlooked lesion, and a bounding box 93 indicating an area that may be a new lesion.
  • the display control unit 34 also displays a score (here, a value range of 0 to 100) indicating the reliability (certainty) that the area is a lesion area, in association with each of the bounding boxes 91 to 93.
  • a score here, a value range of 0 to 100
  • the display control unit 34 displays the bounding box 91 indicating the area of the lesion of interest and the score based on the inference results output by the first lesion detection model supplied from the first lesion evaluation unit 32.
  • the display control unit 34 displays a bounding box 92 indicating an area that may be an overlooked lesion and a score, and a bounding box 93 indicating an area that may be a new lesion and a score, based on the inference results output by the second lesion detection model supplied from the second lesion evaluation unit 33.
  • the display control unit 34 may highlight, for example, by blinking, the bounding boxes (bounding boxes 92 and 93 in the example of Figure 5) relating to second lesions whose scores are equal to or greater than a predetermined threshold.
  • the predetermined threshold is pre-stored in the memory 12 or the like. This allows the display control unit 34 to effectively make the viewer aware of the presence of a second lesion that is highly likely to exist.
  • the display control unit 34 also displays, on an image-by-image basis, a portion of the target examination image group corresponding to a region close to the image displayed in the image display area 70 as thumbnail images in the image selection area 71.
  • the display control unit 34 may also display all thumbnail images of the target examination image group in the image selection area 71.
  • the display control unit 34 may also sequentially switch the images displayed in the image display area 70 when it detects a selection operation in the image selection area 71 or a predetermined operation such as a scrolling operation from the input device 4.
  • the display control unit 34 may also highlight thumbnail images of images with warnings in the image selection area 71. In the example of Figure 5, since warnings exist for the 23rd and 26th images, the display control unit 34 highlights these images with a border effect.
  • An image with a warning is, for example, an image for which warning information is displayed in the warning display area 74 when selected as an image to be displayed in the image display area 70.
  • the display control unit 34 displays check boxes in the display switching selection area 72 for selecting whether or not to display various types of information.
  • the display control unit 34 provides a first check box CH1 for selecting whether or not to display notable lesions, a second check box CH2 for selecting whether or not to display overlooked lesions, a third check box CH3 for selecting whether or not to display new lesions, and a fourth check box CH4 for selecting whether or not to display pre-examination results.
  • the display control unit 34 displays bounding boxes 91 to 93 and their corresponding scores on the image in the image display area 70.
  • the display control unit 34 references the pre-examination information D31 and superimposes area information of the lesion area indicated by the metadata attached to the image in the pre-examination image group corresponding to the image currently displayed in the image display area 70 on the image display area 70.
  • the above-mentioned area information may be an image of the lesion area indicated by the metadata cut out from the image in the pre-examination image group, or may be a bounding box indicating the lesion area, etc.
  • the display control unit 34 also displays the RECIST assessment (here, "PD") made by the first lesion assessment unit 32 in the lesion assessment result display area 73. Furthermore, since the first lesion assessment unit 32 calculated that the size of the first lesion indicated by the bounding box 91 associated with the RECIST assessment had increased by x%, the display control unit 34 displays the calculation result, "x% increase,” in the lesion assessment result display area 73.
  • PD RECIST assessment
  • the display control unit 34 displays the stage of the first lesion (here, "3") indicated by the bounding box 91 in the lesion determination result display area 73.
  • the display control unit 34 recognizes the stage of the lesion based on the inference result of the first lesion detection model regarding the first lesion indicated by the bounding box 91.
  • the display control unit 34 may input an image including the image area within the bounding box 91 to a machine learning model other than the first lesion detection model and the second lesion detection model, and recognize the stage of the lesion based on the inference result output by the machine learning model.
  • the above-mentioned machine learning model is a model trained by machine learning to output an inference result regarding the stage of the lesion when an image including a lesion area is input, and the trained model information is pre-stored in memory 12, etc.
  • the display control unit 34 displays warning information corresponding to the met predetermined criteria in the warning display area 74.
  • the display control unit 34 displays a warning message indicating the possibility of a new lesion in the warning display area 74.
  • the predetermined criteria for outputting a warning are not limited to the presence of a lesion area that may be a new lesion, but may be any criteria that indicate a dangerous condition.
  • the display control unit 34 may display warning information in the warning display area 74 that warns that the first lesion is growing.
  • the display example shown in Figure 5 allows the viewer (the patient's doctor) to easily understand the evaluation results for the first lesion and the evaluation results for the second lesion (overlooked lesion, new lesion). Therefore, the image processing device 1 can effectively support the viewer, the doctor, in making decisions such as determining a treatment plan for the patient.
  • the information based on the evaluation results for the first and second lesions described above is an example of information that supports decision-making.
  • the display example in FIG. 5 is merely an example, and various modifications may be applied.
  • the display control unit 34 may determine the display mode of the corresponding bounding box (e.g., color, line type, and/or line thickness, etc.) based on the reliability score.
  • the display control unit 34 may display them in any visually distinguishable manner (e.g., color-coded display).
  • FIG. 6 is an example of a flowchart showing an outline of the processing executed by the image processing device 1.
  • the image processing device 1 acquires the pre-examination information D31 and the target examination information D32 for the target patient (step S11).
  • the image processing device 1 may receive, via the input device 4, user input specifying the target patient, user input specifying the pre-examination information D31, user input specifying the first lesion evaluation unit 32, and the like.
  • the image processing device 1 then sequentially or in parallel executes processes corresponding to steps S12 to S15 and a process corresponding to step S16.
  • the image processing device 1 first extracts an image of interest corresponding to the annotated image from the target inspection image group included in the target inspection information D32 (step S12).
  • the image processing device 1 for example, performs image-by-image matching between the pre-inspection image group and the target inspection image group, and extracts an image (and adjacent images) from the target inspection image group that corresponds to the annotated image included in the pre-inspection image group as the image of interest.
  • the image processing device 1 aligns the position of the subject in the image of interest based on the image to be annotated (step S13). As a result, the image processing device 1 translates the subject in the image of interest so that the subject overlaps most closely between the image to be annotated and the image of interest.
  • the image processing device 1 detects the lesion area in the image of interest (step S14). In this case, the image processing device 1 inputs the image of interest into a first lesion detection model constructed with reference to the first lesion detection model information D1, and detects the lesion area in the image of interest based on the inference result output by the first lesion detection model.
  • the image processing device 1 evaluates the first lesion in the group of target examination images (step S15). In this case, the image processing device 1 compares the lesion area indicated by the metadata in the annotated image with the lesion area detected in step S14, and considers lesion areas that overlap to a predetermined degree or more to be the same lesion and measures changes in size, etc.
  • the image processing device 1 performs an evaluation of second lesions (new lesions, overlooked lesions) using each image in the group of target examination images (step S16).
  • the image processing device 1 detects lesion areas corresponding to second lesions different from the first lesion registered in the pre-examination information D31 from the group of target examination images, based on the second lesion detection model constructed with reference to the second lesion detection model information D2, the group of target examination images, and the pre-examination information D31.
  • the image processing device 1 displays information based on the evaluation results from step S15 and step S16 on the display device 3 (step S17).
  • the image processing device 1 does not need to perform evaluation regarding the second lesion using the second lesion detection model.
  • the image processing device 1 may perform display in step S17 based on the evaluation results obtained in step S15 without performing processing equivalent to step S16. Furthermore, the image processing device 1 may perform evaluation of the second lesion based on the inference results of the first lesion detection model. For example, the image processing device 1 generates an evaluation result that identifies a lesion area (area within bounding boxes 81 and 83 in FIG. 4) that is determined to be a lesion area different from the first lesion, among the lesion areas detected by the first lesion detection model, as a lesion area that may be the second lesion.
  • a lesion area area within bounding boxes 81 and 83 in FIG. 4
  • the image processing device 1 may perform an evaluation of a progressing second lesion only when the evaluation of the first lesion is equal to or lower than a predetermined criterion.
  • the predetermined criterion is a predetermined criterion indicating the possibility of the occurrence of a new lesion (metastasis), such as "progression" in the RECIST evaluation.
  • step S15 of FIG. 6 the image processing device 1 performs an evaluation of the first lesion based on each image of interest, and if there is an image of interest that is evaluated below a predetermined standard, it executes step S16 and then step S17. On the other hand, if there is no image of interest that is evaluated below the predetermined standard, the image processing device 1 executes step S17 without executing step S16.
  • the image processing device 1 performs evaluation of the second lesion only when there is a possibility of a new lesion occurring, thereby effectively reducing the processing load.
  • At least one of the first lesion detection model information D1, the second lesion detection model information D2, the preliminary examination information D31, and the target examination information D32 may be stored in a storage device separate from the image processing device 1.
  • FIG 8 is a schematic diagram of a lesion evaluation system 100A in a modified example.
  • Lesion evaluation system 100A includes a server device 2 that stores at least one of first lesion detection model information D1, second lesion detection model information D2, pre-examination information D31, and target examination information D32.
  • Lesion evaluation system 100A also includes multiple image processing devices 1 (1A, 1B, ...) that are capable of data communication with server device 2 via a network.
  • each image processing device 1 references at least one of the first lesion detection model information D1, second lesion detection model information D2, pre-examination information D31, and target examination information D32 via the network.
  • the interface 13 of each image processing device 1 includes a communications interface such as a network adapter for communications.
  • each image processing device 1 can reference the first lesion detection model information D1, second lesion detection model information D2, pre-examination information D31, and target examination information D32 to suitably execute processing related to lesion evaluation.
  • the server device 2 may instead execute at least some of the processing executed by each functional block of the processor 11 of the image processing device 1 shown in FIG. 2.
  • Second Embodiment 8 is a block diagram of an image processing device 1X.
  • the image processing device 1X includes an image-of-interest extraction unit 31X and a lesion evaluation unit 32X.
  • the image processing device 1X may be composed of a plurality of devices.
  • the image-of-interest extraction means 31X extracts an image of interest from the second group of medical images that is to be subjected to lesion-related analysis, based on a comparison between a first group of medical images of the patient that have annotation information related to the first lesion and a second group of medical images of the patient that were generated after the first group of medical images.
  • the image-of-interest extraction means 31X can be, for example, the image-of-interest extraction unit 31 in the first embodiment (including modified examples, the same applies below).
  • the lesion evaluation means 32X performs an evaluation of the first lesion in the second medical image group based on the image of interest.
  • the lesion evaluation means 32X can be, for example, the first lesion evaluation unit 32 in the first embodiment.
  • FIG. 9 is an example of a flowchart showing the processing steps executed by the image processing device 1X.
  • the image-of-interest extraction means 31X compares a first group of medical images of a patient, which have annotation information related to the first lesion, with a second group of medical images of the patient that were generated after the first group of medical images, and extracts an image of interest from the second group of medical images that will be used for lesion analysis (step S21).
  • the lesion evaluation means 32X evaluates the first lesion in the second group of medical images based on the image of interest (step S22).
  • the image processing device 1X can suitably extract, based on the image, an image of interest from the second medical image group for evaluation of the first lesion to which annotation information has been added in the first medical image group, and can efficiently and accurately perform evaluation of the first lesion in the second medical image group.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, semiconductor memories (e.g., mask ROMs, programmable ROMs (PROMs), erasable PROMs (EPROMs), flash ROMs, and random access memories (RAMs).
  • magnetic storage media e.g., flexible disks, magnetic tapes, hard disk drives
  • magneto-optical storage media e.g., magneto-optical disks
  • CD-ROMs Read Only Memory
  • CD-Rs Compact Only Memory
  • CD-R/Ws Compact Discs
  • semiconductor memories e.g., mask ROMs, programmable ROMs (PROMs), erasable PROMs (EPROMs
  • Programs may also be supplied to computers via various types of transient computer-readable media.
  • transient computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • Transitory computer-readable media can supply programs to computers via wired communication paths such as electrical wires and optical fibers, or wireless communication paths.
  • An image processing device having: [Appendix 2] The image processing device described in Appendix 1, wherein the target image extraction means matches the first medical image group with the second medical image group on an image-by-image basis, and extracts at least an image from the second medical image group that corresponds to an image to which the annotation information is attached as the target image.
  • the lesion evaluation means acquires the detection result based on the image of interest and a machine learning model;
  • the image processing device according to claim 5, wherein the machine learning model is a model that has been machine-learned to determine the relationship between an image input to the machine learning model and a lesion area present in the image.
  • the lesion evaluation means aligns the area of the patient in the image to which the annotation information is added with the area of the patient in the image of interest, and determines whether the first lesion is present in the image of interest based on the degree of overlap after the alignment between the lesion area detected from the image of interest and the area of the first lesion indicated by the annotation information.
  • the image processing device further comprising a display control means for controlling display of information based on the evaluation results together with the target image on a display device as information to support decision-making.
  • the results of the evaluation include at least one of a result of RECIST evaluation and a growth rate of the first lesion; 9.
  • the display control means performs display control to display information regarding at least one of the RECIST evaluation result and the growth rate on the display device.
  • the display control means displays warning information regarding the first lesion based on the result of the evaluation.
  • Appendix 11 An image processing device as described in Appendix 1, further comprising a second lesion evaluation means for performing an evaluation of a second lesion not indicated by the annotation information based on the annotation information and the second group of medical images.
  • Appendix 12 The image processing device described in Appendix 11, wherein the second lesion evaluation means performs an evaluation of the second lesion based on the detection results of the lesion area in each image of the second medical image group and the detection results of the lesion area in the images of the first medical image group corresponding to each image of the second medical image group.
  • the lesion evaluation means acquires, based on a machine learning model, a detection result of a lesion area in each image of the second medical image group and a detection result of a lesion area in an image of the first medical image group corresponding to each image of the second medical image group; 13.
  • Appendix 14 12.
  • Appendix 15 15.
  • the image processing device wherein the display control means highlights the area in which the second lesion is detected on the images of the second medical image group.
  • the display control means displays warning information regarding the second lesion based on the result of the evaluation regarding the second lesion.
  • the computer extracting an image of interest to be analyzed for the lesion from the second group of medical images based on a comparison between a first group of medical images of the patient, to which annotation information related to the first lesion has been added, and a second group of medical images of the patient, which have been generated after the first group of medical images; performing an evaluation of the first lesion in the second medical image group based on the image of interest; Image processing methods.
  • Appendix 18 extracting an image of interest to be analyzed for the lesion from the second group of medical images based on a comparison between a first group of medical images of the patient, to which annotation information related to the first lesion has been added, and a second group of medical images of the patient, which have been generated after the first group of medical images;
  • a storage medium storing a program that causes a computer to execute a process for evaluating the first lesion in the second medical image group based on the image of interest.
  • Appendix 19 An image processing method as described in Appendix 17, in which the first medical image group and the second medical image group are matched on an image-by-image basis, and at least an image from the second medical image group that corresponds to an image to which the annotation information is added is extracted as the image of interest.
  • Appendix 20 18. The image processing method of claim 17, wherein, when the first lesion is present in the target image, changes in the first lesion are evaluated based on the size of the lesion area of the first lesion in the image with the annotation information and the size of the lesion area of the first lesion in the target image.
  • Appendix 21 18.
  • Appendix 22 21. The image processing method according to claim 20, wherein it is determined whether the first lesion is present in the image of interest based on the annotation information and a detection result of a lesion area in the image of interest.
  • Appendix 23 Obtaining the detection result based on the image of interest and a machine learning model; 23.
  • the image processing method according to claim 22, wherein the machine learning model is a model that has been machine-learned to determine the relationship between an image input to the machine learning model and a lesion area present in the image.
  • Appendix 24 23.
  • Appendix 25 18. The image processing method according to claim 17, wherein display control is performed to display information based on the results of the evaluation on a display device together with the image of interest as information to support decision-making.
  • the results of the evaluation include at least one of a result of RECIST evaluation and a growth rate of the first lesion; 26.
  • the image processing method according to claim 25, further comprising: performing display control to display information on the display device regarding at least one of the RECIST evaluation results and the growth rate.
  • Appendix 27 26.
  • the image processing method of claim 25, further comprising displaying warning information regarding the first lesion based on the results of the evaluation.
  • Appendix 28 18.
  • the image processing method of claim 17, further comprising: evaluating a second lesion not indicated by the annotation information based on the annotation information and the second group of medical images.
  • Appendix 29 An image processing method as described in Appendix 28, in which an evaluation of the second lesion is performed based on the detection results of the lesion area in each image of the second medical image group and the detection results of the lesion area in the images of the first medical image group corresponding to each image of the second medical image group.
  • Appendix 30 obtaining, based on a machine learning model, a detection result of a lesion area in each image of the second medical image group and a detection result of a lesion area in an image of the first medical image group corresponding to each image of the second medical image group; 30.
  • Appendix 31 An image processing method as described in Appendix 28, which performs display control to display information based on the results of the evaluation regarding the second lesion on a display device together with images of the second medical image group in which the second lesion is detected.
  • Appendix 32 32.
  • Appendix 33 33.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

画像処理装置１Ｘは、注目画像抽出手段３１Ｘと、病変評価手段３２Ｘと、を備える。注目画像抽出手段３１Ｘは、第１病変に関する注釈情報が付された患者の第１医用画像群と、第１医用画像群より後に生成された患者の第２医用画像群との比較に基づき、第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出する。病変評価手段３２Ｘは、注目画像に基づき、第２医用画像群における第１病変に関する評価を行う。

Description

画像処理装置、画像処理方法及び記憶媒体
　本開示は、医用画像を用いた病変の評価に関する処理を行う画像処理装置、画像処理方法及び記憶媒体の技術分野に関する。
　従来から、患者の内部を撮影した画像に基づいて、病変の評価を行う画像処理システムが知られている。例えば、特許文献１には、ＣＴにより得られた過去と現在の画像データから特徴量を計算し、特徴量から肺癌候補を検出する支援診断装置が開示されている。
特開２００１－１３７２３０号公報
　前の検査において得られた画像群と、対象の検査において得られた画像群とを用いて病変に関する評価を行う場合、前の検査において検出された病変を対象の検査においても検出する処理を行うことが必要となる。この場合、対象の検査において得られた画像群の全画像について病変検出モデルを適用すると、病変の誤検出が発生する可能性が高まり、前の検査において検出された病変を対象の検査において得られた画像群から適切に検出できない可能性がある。
　本開示は、上述した課題を鑑み、病変に関する評価を的確に行うことが可能な画像処理装置、画像処理方法及び記憶媒体を提供することを目的の一つとする。
　画像処理装置の一の態様は、
　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出する注目画像抽出手段と、
　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う病変評価手段と、
を有する画像処理装置である。
　画像処理方法の一の態様は、
　コンピュータが、
　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出し、
　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う、
画像処理方法である。
　記憶媒体の一の態様は、
　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出し、
　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う処理をコンピュータに実行させるプログラムを格納した記憶媒体である。
　本開示の１つの効果の例として、病変に関する評価を的確に行うことが可能となる。
病変評価システムの概略構成を示す。 画像処理装置のプロセッサの機能ブロックの一例である。 ある患者の事前検査画像群及び対象検査画像群を患者の被撮影部位に対応付けて夫々並べた図である。 注目画像と対応する被アノテーション画像との組が与えられた場合に第１病変評価部が実行する処理の概要を示す図である。 第１病変及び第２病変に関する評価に基づく情報の表示例を示す。 画像処理装置が実行する処理の概要を示すフローチャートの一例である。 病変評価システムの概略構成を示す。 画像処理装置のブロック図である。 画像処理装置が実行する処理の手順を示すフローチャートの一例である。
　以下、図面を参照しながら、画像処理装置、画像処理方法及び記憶媒体の実施形態について説明する。
　＜第１実施形態＞
　（１）システム構成
　図１は、病変評価システム１００の概略構成を示す。図１に示す病変評価システム１００は、癌などの疾患を治療中の患者の病変（病状）を過去の状態との比較において評価し、評価結果を治療の効果等を示す情報として医師などの医療従事者に提示するシステムである。病変評価システム１００は、主に、画像処理装置１と、表示装置３と、入力装置４と、を備える。
　画像処理装置１は、病変評価の対象となる患者である患者の最新の検査に関する情報と、当該検査よりも前に行われた患者の検査（「事前検査」とも呼ぶ。）に関する情報と、に基づき、患者の病状の評価を行う。具体的には、画像処理装置１は、事前検査において検出済みの病変（「第１病変」とも呼ぶ。）に関する評価と、過去の検査において未検出であった病変（即ち、第１病変以外の病変であり「第２病変」とも呼ぶ。）に関する評価と、を夫々行う。第１病変の評価の例には、ＲＥＣＩＳＴ（Response Evaluation Criteria in Solid Tumors）評価、薬効評価、治療中の患者の治療効果判定が含まれる。そして、画像処理装置１は、第１病変に関する評価結果と、第２病変に関する評価結果とを表示装置３に表示させる表示制御を行ったり、入力装置４から受信したユーザ入力信号に基づく各種処理を行ったりする。
　表示装置３は、画像処理装置１から供給される表示信号に基づき所定の表示を行う。表示装置３の例には、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）やＬＤＣ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）などのディスプレイ、及び、プロジェクタなどが含まれる。
　入力装置４は、医師などの画像処理装置１のユーザによる操作に基づくユーザ入力信号を生成する。入力装置４の例には、ボタン、キーボード、マウスなどのポインティングディバイス、タッチパネル、リモートコントローラ、音声入力装置、その他の任意のユーザインタフェースが含まれる。
　また、図１には、画像処理装置１のハードウェア構成の一例が示されている。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、を含む。これらの各要素は、データバス１９を介して接続されている。
　プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの、作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するために必要なプログラム及びその他の情報が記憶される。
　メモリ１２は、第１病変検出モデル情報Ｄ１と、第２病変検出モデル情報Ｄ２と、検査情報Ｄ３と、を記憶している。第１病変検出モデル情報Ｄ１は、第１病変の検出に用いるモデルである第１病変検出モデルを構成するために必要なパラメータを含むモデル情報である。第２病変検出モデル情報Ｄ２は、第２病変の検出に用いるモデルである第２病変検出モデルを構成するために必要な各種パラメータを含むモデル情報である。第１病変検出モデル及び第２病変検出モデルは、例えば、機械学習モデル（統計モデルを含む、以下同じ）であり、当該モデルに必要なパラメータが第１病変検出モデル情報Ｄ１及び第２病変検出モデル情報Ｄ２に夫々記憶されている。第１病変検出モデルがニューラルネットワークにより構成される場合、第１病変検出モデル情報Ｄ１は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどのパラメータを含む。同様に、第２病変検出モデルがニューラルネットワークにより構成される場合、第２病変検出モデル情報Ｄ２は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどのパラメータを含む。第１病変検出モデル情報Ｄ１及び第２病変検出モデル情報Ｄ２の詳細については後述する。
　検査情報Ｄ３は、患者の検査により得られた検査情報であり、事前検査情報Ｄ３１と、対象検査情報Ｄ３２とを含む。検査情報Ｄ３は、例えば、患者を識別するための患者ＩＤ等と関連付けられている。
　事前検査情報Ｄ３１は、患者への事前検査に関する情報であり、本実施形態では、事前検査情報Ｄ３１は、事前検査において画像生成装置が生成した患者の画像群（「事前検査画像群」とも呼ぶ。）と、事前検査画像群のうち病変（即ち第１病変）が検出された画像に関連付けられたメタデータと、を含んでいる。上述の画像生成装置は、位置を変えながら生体の内部の画像（スライス）を生成する装置であり、例えば、ＣＴ、ＭＲＩなどが該当する。事前検査画像群は「第１医用画像群」の一例である。
　メタデータは、第１病変が表れている画像に付された、第１病変に関する診断結果に関するデータであり、例えば、事前検査の担当医師のアノテーション（注釈を付す作業）により生成される。メタデータは、第１病変の画像内での領域（範囲）を示す領域情報を少なくとも含んでいる。なお、メタデータには、領域情報に加えて、病変に対応する病名、病状、その他の任意の診断結果が含まれていてもよい。以後では、メタデータが付された事前検査画像群の画像を「被アノテーション画像」とも呼ぶ。
　なお、上述のアノテーションは、例えば、事前検査の担当医師がディスプレイ等に表示された事前検査画像群を参照し、病変が表れている画像を特定した上で、当該画像内の病変の領域の指定する入力及びその他の診断結果に関する入力をコンピュータ上で実行する作業である。なお、メタデータは、ＣＡＤ（Ｃｏｍｐｕｔｅｒ　Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ：コンピュータ支援診断）を適用することで得られた診断結果に基づくデータであってもよい。メタデータは、「第１病変に関する注釈情報」の一例である。
　対象検査情報Ｄ３２は、事前検査後に行われた評価対象となる検査（例えば最新の検査）により得られたデータであり、画像生成装置により生成された患者の画像群を少なくとも含んでいる。以後では、事前検査後に行われた評価対象となる検査を「対象検査」とも呼び、対象検査情報Ｄ３２に含まれる患者の画像群を「対象検査画像群」とも呼ぶ。対象検査画像群は「第２医用画像群」の一例である。
　インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、表示装置３と、入力装置４と電気的に接続している。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。また、インターフェース１３は、インターネットなどの通信網を介し、表示装置３及び入力装置４などの外部装置とインターフェース動作を行うものであってもよい。
　図１に示される病変評価システム１００の構成は一例であり、種々の変更が行われてもよい。
　例えば、画像処理装置１は、表示装置３又は入力装置４の少なくともいずれかと一体に構成されてもよい。他の例では、画像処理装置１は、情報を音声により出力する音声出力装置を備えてもよい。さらに別の例では、画像処理装置１は、複数の装置から構成されてもよい。また、他の例では、画像処理装置１は、対象検査情報Ｄ３２をメモリ１２に予め記憶している代わりに、患者の画像群を生成する上述の画像生成装置から対象検査画像群を受信してもよい。
　次に、第１病変検出モデル及び第２病変検出モデルの詳細について説明する。
　第１病変検出モデルは、画像生成装置が生成した画像が入力された場合に、入力された画像における病変領域に関する推論結果を出力するように機械学習されたモデルである。言い換えると、第１病変検出モデルは、第１病変検出モデルに入力される画像と、入力画像における病変領域との関係を機械学習したモデルである。病変検出モデルは、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習において採用されるアーキテクチャを含むモデル（統計モデルを含む、以下同じ。）であってもよい。このようなニューラルネットワークの代表モデルとして、例えば、Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、Ｖ－Ｎｅｔ、Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ、Ｍａｓｋ Ｒ－ＣＮＮ、ＤｅｅｐＬａｂなどが存在する。第１病変検出モデルは、病変検出モデルの入力形式に即した入力画像と当該入力画像が入力された場合に病変検出モデルが出力すべき推論結果の正解を示す正解データ（上述の例では、正解の信頼度マップ又はバウンディングボックス）との組に基づき予め学習される。
　ここで、第１病変検出モデルが出力する推論結果の第１の例は、入力された画像の単位領域ごとに、病変領域であることの信頼度を示した信頼度マップ（２値により病変領域を表したマスク画像を含む）である。単位領域は、１画素分の領域であってもよく、複数画素分の領域であってもよく、１画素より小さい領域（サブピクセル単位の領域）であってもよい。この場合、例えば、画像処理装置１は、信頼度が所定の閾値以上となる単位領域の連結領域（所定サイズ以上のものに限定してもよい）を、検出された病変領域と判定する。上述の所定の閾値は、病変領域を検知するための閾値（「検知閾値」とも呼ぶ）であり、ユーザが設定するハイパーパラメータに相当する。
　第１病変検出モデルが出力する推論結果の第２の例は、入力された画像における病変領域の存在範囲を示すバウンディングボックス及びバウンディングボックスにより特定される領域が病変領域であることの信頼度（確信度）の組である。この場合、例えば、画像処理装置１は、信頼度が所定の閾値以上となるバウンディングボックスを、検出された病変領域と判定する。上述の所定の閾値は、病変領域を検知するための検知閾値であり、ユーザが設定するハイパーパラメータに相当する。
　なお、第１病変検出モデルは、撮影された患者の部位（例えば臓器）ごとに特化するように夫々生成された複数のモデルであってもよい。この場合、部位ごとに特化した複数の第１病変検出モデルのモデル情報が第１病変検出モデル情報Ｄ１に記憶されている。
　第２病変検出モデルは、画像生成装置が生成した画像が入力された場合に、入力された画像における病変領域に関する推論結果を出力する。言い換えると、第２病変検出モデルは、第２病変検出モデルに入力される画像と、入力画像における病変領域との関係を学習したモデルである。病変検出モデルは、ニューラルネットワークやサポートベクターマシーンなどの任意の機械学習において採用されるアーキテクチャを含むモデルであってもよい。なお、第１病変検出モデルと第２病変検出モデルは、同一のモデルであってもよい。この場合、第１病変検出モデル情報Ｄ１及び第２病変検出モデル情報Ｄ２の両方として機能する単一のモデルに関する病変検出モデル情報がメモリ１２に予め記憶されている。
　なお、第１病変検出モデル及び第２病変検出モデルは、画像から特徴量を抽出する特徴抽出モデルを含んでもよく、当該特徴抽出モデルと別体のモデルであってもよい。後者の場合、第１病変検出モデル及び第２病変検出モデルは、画像が入力された特徴抽出モデルが出力する特徴量（所定次元数のテンソル）が入力された場合に上述した推論結果を出力するように夫々機械学習されたモデルとなる。
　（２）機能ブロック
　図２は、画像処理装置１のプロセッサ１１の機能ブロックの一例である。画像処理装置１のプロセッサ１１は、機能的には、取得部３０と、注目画像抽出部３１と、第１病変評価部３２と、第２病変評価部３３と、表示制御部３４と、を有する。なお、図２では、データの授受が行われるブロック同士を実線により結んでいるが、データの授受が行われるブロックの組合せはこれに限定されない。後述する他の機能ブロックの図においても同様である。
　取得部３０は、患者の検査情報Ｄ３に含まれる事前検査情報Ｄ３１と対象検査情報Ｄ３２を、インターフェース１３を介して取得する。そして、取得部３０は、取得した事前検査情報Ｄ３１と対象検査情報Ｄ３２を、注目画像抽出部３１及び第２病変評価部３３に夫々供給する。例えば、取得部３０は、入力装置４から受信するユーザ入力信号に応じて評価対象となる患者を特定し、特定した患者に対応する事前検査情報Ｄ３１と対象検査情報Ｄ３２を取得する。
　注目画像抽出部３１は、対象検査情報Ｄ３２に含まれる対象検査画像群から、第１病変に関する解析を行う対象となる画像（「注目画像」とも呼ぶ。）を抽出し、注目画像と注目画像に対応する事前検査画像群の被アノテーション画像及びメタデータとを、第１病変評価部３２に供給する。注目画像抽出部３１が実行する処理の詳細は後述する。注目画像は、言い換えると、第１病変に関する評価において注目すべき画像である。
　第１病変評価部３２は、注目画像と、注目画像に対応する被アノテーション画像及びメタデータとに基づき、対象検査画像群における第１病変に関する評価を行う。この場合、まず、第１病変評価部３２は、第１病変検出モデル情報Ｄ１を参照して構成した第１病変検出モデルにより注目画像内の病変領域を特定する。そして、第１病変評価部３２は、被アノテーション画像のメタデータにより示される第１病変と同一病変となる注目画像中の病変領域の存否及び存在する場合の大きさを特定し、第１病変の変化（例えば、消失、縮小、安定、進行）を評価する。このように、第１病変評価部３２は、事前検査から対象検査までに生じた第１病変の変化を評価する。第１病変評価部３２は、第１病変に関する評価結果を表示制御部３４に供給する。第１病変評価部３２による第１病変に関する評価結果の生成処理の詳細については後述する。
　第２病変評価部３３は、取得部３０から供給される事前検査情報Ｄ３１及び対象検査情報Ｄ３２に基づき、メタデータにより示されていない第２病変に関する評価を行う。この場合、第２病変評価部３３は、第２病変検出モデル情報Ｄ２を参照して構成した第２病変検出モデルにより対象検査画像群の各画像における病変領域を特定し、特定した病変領域のうち事前検査情報Ｄ３１のメタデータに示されていない第２病変の領域に該当する病変領域を特定する。このとき、第２病変評価部３３は、後述するように、事前検査画像群と対象検査画像群との画像単位でのマッチング結果を用いて、検出した病変領域が第２病変であるか否かの判定を行う。ここで、第２病変評価部３３が検出する第２病変は、事前検査時に既に存在したが検出されずに見過ごされたことでメタデータに記録されていない病変（「見落とし病変」とも呼ぶ。）、又は、事前検査の時点では存在せず対象検査の時点までに新たに発生した病変（「新病変」とも呼ぶ。）のいずれかである。新病変の例には、第１病変から転移した病変が含まれる。第２病変評価部３３は、第２病変に関する評価結果を表示制御部３４に供給する。
　表示制御部３４は、第１病変評価部３２から供給される第１病変に関する評価結果と、第２病変評価部３３から供給される第２病変に関する評価結果と、検査情報Ｄ３と、に基づき、表示情報を生成する。そして、表示制御部３４は、生成した表示情報を表示装置３に供給することで、第１病変又は／及び第２病変に関する評価結果に基づく情報を表示装置３に表示させる。
　ここで、図２に示されるブロック構成による効果について補足説明する。ＲＥＣＩＳＴ評価などの治療の効果の計測を医師の診断に基づき行う場合には、医師の負担が大きくなる。具体的には、医師は、異なるタイミングで撮像された画像から、同一病変を見つける必要があり、新病変が発生していないか全身検査する必要がある。なお、新薬治験では新病変が発見された時点で進行と判断されて治験中止となるため新病変の発見も特に重要となる。以上を勘案し、本実施形態における画像処理装置１は、事前検査において検出された第１病変に関する評価、及び、新病変などの第２病変に関する評価を医師の画像診断を要すことなく実行する。これにより、画像処理装置１は、診断支援及び治験支援を好適に行うことができる。
　なお、取得部３０、注目画像抽出部３１、第１病変評価部３２、第２病変評価部３３、及び表示制御部３４の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｓｔａｎｄａｒｄ　Ｐｒｏｄｕｃｅ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）又は量子プロセッサ（量子コンピュータ制御チップ）により構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は、例えば、クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
　（３）注目画像の抽出
　ここで、注目画像の抽出について具体的に説明する。注目画像抽出部３１は、事前検査画像群と対象検査画像群との間で画像単位でのマッチング（即ち対応付け）を行い、被アノテーション画像に対応付けられた対象検査画像群の画像を、注目画像として少なくとも抽出する。
　図３は、ある患者の事前検査画像群及び対象検査画像群を患者の被撮影部位に対応付けて夫々並べた図である。図３の例では、事前検査画像群は、少なくとも１つの被アノテーション画像Ｉｐ１を含んでいる。
　この場合、注目画像抽出部３１は、事前検査画像群と対象検査画像群の間において画像単位での類否を判定し、最も類似する画像同士をマッチングさせたマッチング結果を生成する。図３の例では、被アノテーション画像Ｉｐ１は、対象検査画像群の画像Ｉｔ２と最も類似（マッチ）しており、注目画像抽出部３１は、当該画像Ｉｔ２とその前後の患者の部位を表す画像Ｉｔ１及び画像Ｉｔ３を、注目画像として抽出する。例えば、注目画像抽出部３１は、事前検査画像群の各画像について、対象検査画像群の各画像との画像同士の類似度合いを表す類似指標を算出し、類似指標に基づきマッチする画像を特定する。注目画像抽出部３１は、上記マッチングにおいて、画像同士の類似度度合いを表す類似指標を算出する場合、画像同士を直接比較することにより類似指標を算出してもよく、画像の特徴量を抽出し、抽出した特徴量に基づき類似指標を算出してもよい。この場合、注目画像抽出部３１は、病変検出に用いる上述した特徴抽出モデル（又は第１病変検出モデル若しくは第２病変検出モデルの特徴抽出層）に各画像を入力した場合に特徴抽出モデル（又は特徴抽出層）から出力される特徴量を取得してもよい。なお、注目画像抽出部３１は、上述した例に限らない任意の時系列データ間マッチングの手法を用いて、事前検査画像群と対象検査画像群の間の画像単位でのマッチングを行ってもよい。
　また、注目画像抽出部３１は、被アノテーション画像Ｉｐ１とマッチした画像Ｉｔ２のみを注目画像と定めてもよく、被アノテーション画像Ｉｐ１とマッチした画像Ｉｔ２の前後夫々２枚以上の画像を注目画像として定めてもよい。
　このように、注目画像抽出部３１は、事前検査画像群と対象検査画像群の間のマッチングに基づき、注目画像を定める。これにより、画像処理装置１は、注目画像のみを対象に第１病変の検出処理を行うこととなり、対象検査画像群の全画像を対象に第１病変の検出処理を行う場合に比べて、第１病変の誤検出を減らし、検出精度を向上させることが可能となる。
　（３）第１病変に関する評価
　次に、第１病変に関する評価の方法について説明する。第１病変評価部３２は、被アノテーション画像のメタデータが示す病変領域と当該被アノテーション画像とマッチングする注目画像から第１病変検出モデルを用いて検出した病変領域とに基づき、第１病変に関する評価を行う。第１病変に関する評価では、第１病変評価部３２は、メタデータにより示される第１病変を表す注目画像内での病変領域の有無及び当該病変領域が存在する場合の大きさ等を判定する。なお、評価対象とする疾患が癌である場合に行われるＲＥＣＩＳＴ評価では、事前検査において検出された病変（即ち第１病変）を対象検査において生成された画像において特定し、特定した病変の大きさを計測する必要がある。
　ここで、ＲＥＣＩＳＴ評価について補足説明する。ＲＥＣＩＳＴ評価は、固形癌に対する治療が効いているか判定に用いる評価基準であり、治療開始前に腫瘍（標的病変）の大きさをＣＴなどの画像診断で計測し、治療経過中の状態を以下の４つの状態に分類する。
　　　　　　　完全奏効（Complete Response, CR）
　　　　　　　部分奏効（Partial Response, PR）
　　　　　　　安定（Stable Disease, SD）
　　　　　　　進行（Progressive Disease, PD）
　ここで、完全奏効は、治療経過中に全ての標的病変の消失もしくはリンパ節の場合は短径10mm未満に縮小した状態である。部分奏効は、治療開始前より標的病変が３０％以上縮小した状態である。安定は、部分奏効と進行の間の状態である。進行は、治療経過中に標的病変が最も小さい時より２０％以上増大もしくは標的病変の径が５ｍｍ以上増大した状態である。このように、ＲＥＣＩＳＴ評価では、治療前後に撮影された画像内での標的病変を同定した上で標的病変の大きさを計測及び比較する必要がある。
　なお、臨床試験では、完全奏効と部分奏効の割合を奏効率と定義したり、完全奏効、部分奏効、又は安定の状態から進行に至るまでの期間を無憎悪生存期間として評価したりする際にＲＥＣＩＳＴ評価が用いられる。
　図４は、注目画像と対応する被アノテーション画像との組が与えられた場合に第１病変評価部３２が実行する処理の概要を示す図である。ここでは、被アノテーション画像にはバウンディングボックス８０内の領域が病変領域であるとするメタデータが付されているものとする。
　まず、第１病変評価部３２は、被アノテーション画像に表示された患者領域７８と注目画像に表示された患者領域７９との位置合わせ（即ち患者領域の位置のマッチング）を行う。この場合、第１病変評価部３２は、画像内における患者領域７８及び患者領域７９の位置が一致するように患者領域７８又は患者領域７９の少なくともいずれか一方を画像内において平行移動させる。この場合、例えば、第１病変評価部３２は、領域の重なり度合いが最大となるように、患者領域７８又は患者領域７９の少なくともいずれか一方を画像内において移動させる。この場合、ＩＯＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）などの任意の領域の重なり度合いを示す指標が用いられてもよい。図４の例では、第１病変評価部３２は、注目画像内において患者領域７９を移動させている。なお、第１病変評価部３２は、注目画像と被アノテーション画像とで画像サイズが異なる場合には、注目画像と被アノテーション画像との少なくとも一方の画像サイズを変更し、画像サイズを正規化してもよい。
　次に、第１病変評価部３２は、第１病変検出モデル情報Ｄ１を参照することで構成した第１病変検出モデルに注目画像を入力し、第１病変検出モデルが出力する推論結果に基づき、注目画像内における病変領域を検出する。図４の例では、第１病変評価部３２は、バウンディングボックス８１～８３内の領域を、病変領域として検出している。
　次に、第１病変評価部３２は、注目画像内で検出された病変領域（「検出病変領域」とも呼ぶ。）と、メタデータにより示される被アノテーション画像内の病変領域（「被アノテーション病変領域」とも呼ぶ。）との同一性を判定する。この場合、第１病変評価部３２は、例えば、被アノテーション病変領域との重なり度合い（例えばＩＯＵ）が所定度合い以上となる検出病変領域を、第１病変の病変領域として認識する。上述の所定度合いは、例えばメモリ１２等に記憶された既定値に定められる。図４の例では、第１病変評価部３２は、注目画像のバウンディングボックス８２が被アノテーション画像のバウンディングボックス８０と所定度合い以上の重なり度合いとなることから、バウンディングボックス８０とバウンディングボックス８２とは同一の第１病変の病変領域を示していると判定する。
　なお、第１病変評価部３２は、メタデータにより示される第１病変が注目画像において検出されなかった場合には、当該第１病変が事前検査後の治療により消失したと判定する。この場合、第１病変評価部３２は、例えば、各検出病変領域との重なり度合いがいずれも所定度合い未満となる被アノテーション病変領域が存在する場合に、当該被アノテーション病変領域に相当する第１病変が消失したと判定する。
　その後、第１病変評価部３２は、バウンディングボックス８０とバウンディングボックス８２とのサイズの比較などを行い、ＲＥＣＩＳＴ評価などを行う。一方、第１病変評価部３２は、被アノテーション画像のバウンディングボックス８０と離れて存在する（即ち重なり度合いが所定度合い未満となる）注目画像のバウンディングボックス８１、８３に関する病変の検出結果については第１病変に関する評価に使用せずに無視する。
　以上のように、第１病変評価部３２は、注目画像と被アノテーション画像との位置合わせを行い、被アノテーション病変領域と重なる検出病変領域に基づき第１病変に関する評価を行う。これにより、第１病変評価部３２は、事前検査において検出された第１病変を注目画像においても好適に特定し、第１病変に関する評価を的確に実行することができる。また、この手法では、図４に示される例のように第１病変検出モデルが複数の病変領域を検出した場合でも第１病変の病変領域を好適に特定できることから、第１病変検出モデルに設定する検知閾値の設定値を下げる（即ち第１病変検出モデルの感度を上げる）ことができる。その結果、注目画像での第１病変の検出漏れを防ぎ第１病変の検出精度を上げることができる。
　（４）第２病変に関する評価
　第２病変評価部３３は、対象検査で得られた対象検査画像群の各画像を対象として病変検出を行い、検出した病変領域が第１病変とは異なる第２病変であるか否かを、事前検査情報Ｄ３１のメタデータと、事前検査画像群と対象検査画像群との画像単位でのマッチング結果と、に基づき判定する。
　第２病変に関する評価の第１の例では、第２病変評価部３３は、対象検査画像群の各画像を第２病変検出モデルに適用した結果に基づき、第２病変に関する評価を行う。
　この場合、第２病変評価部３３は、まず、対象検査画像群の画像を順に処理対象として選択し、選択した画像（単に「対象検査画像」とも呼ぶ。）を第２病変検出モデル情報Ｄ２に基づき構成した第２病変検出モデルに入力し、第２病変検出モデルが出力する推論結果に基づき、対象検査画像における病変領域を検出する。そして、対象検査画像において病変領域を検出した場合、第２病変評価部３３は、注目画像抽出部３１によるマッチングにより対象検査画像と対応付けられた事前検査画像群の画像（単に「対応事前検査画像」とも呼ぶ。）を特定する。そして、第２病変評価部３３は、対応事前検査画像に付されたメタデータを参照し、検出した病変領域が第２病変であるか否か判定する。第２病変評価部３３は、対応事前検査画像に付されたメタデータが存在しない場合、又は、メタデータにより示される被アノテーション病変領域と対象検査画像において検出された病変領域が異なる場合、対象検査画像において検出された病変領域は第２病変の可能性があると判定する。なお、対象検査画像において検出された病変領域と被アノテーション病変領域との同一性の判定は、例えば、第１病変評価部３２による同一病変の判定方法（図４参照）と同一の手法を用いることができる。
　第２病変に関する評価の第２の例では、第２病変評価部３３は、対象検査画像群の各画像と事前検査画像群の各画像とを第２病変検出モデルに夫々適用した結果の比較に基づき、第２病変に関する評価を行う。
　この場合、第２病変評価部３３は、対象検査画像群から順に選択された対象検査画像を第２病変検出モデルに入力し、第２病変検出モデルが出力する推論結果に基づき、対象検査画像における病変領域を検出する。また、第２病変評価部３３は、対象検査画像に対応付けられた対応事前検査画像を第２病変検出モデルに入力し、第２病変検出モデルが出力する推論結果に基づき、対応事前検査画像における病変領域を検出する。
　そして、第２病変評価部３３は、対象検査画像において検出された病変領域が、メタデータにより示される病変領域及び対応事前検査画像において検出された病変領域と夫々対応関係を有するか否か（即ち同一病変であるか否か）に基づき、対象検査画像において検出された病変領域の第２病変の可能性を判定する。例えば、対象検査画像において検出された病変領域と同一病変となる対応事前検査画像内の病変領域が存在するが、メタデータには同一病変となる病変領域が示されていない場合、第２病変評価部３３は、対象検査画像において検出された病変領域は見落とし病変（即ち第２病変）の可能性があると判定する。なお、第２病変評価部３３は、上述の病変領域を見落とし病変であると判定する代わりに誤検出しやすい部位であると判定してもよい。他の例では、対象検査画像において検出された病変領域と同一病変となる対応事前検査画像内の病変領域が存在しない場合、第２病変評価部３３は、メタデータによらず、対象検査画像において検出された病変領域は新病変（即ち第２病変）の可能性があると判定する。
　一方、第２病変評価部３３は、対象検査画像において検出された病変領域が対応事前検査画像内の病変領域及びメタデータが示す病変領域と同一病変であると判定した場合、対象検査画像において検出された病変領域は第１病変であると判定する。
　そして、第２病変評価部３３は、第２病変に関する評価結果を、第２病変に関する評価に伴って生成した情報と共に、表示制御部３４に供給する。この場合、例えば、第２病変評価部３３は、第２病変検査モデルが検出した病変領域に関する情報、第２病変検査モデルが検出した病変領域の信頼度（確信度）に関する情報、第２病変の可能性があると判定された病変領域に関する情報などを、表示制御部３４に供給する。
　（５）表示例
　図５は、第１病変及び第２病変に関する評価に基づく情報の表示例を示す。表示制御部３４は、第１病変評価部３２及び第２病変評価部３３から供給される情報及び検査情報Ｄ３等に基づいて表示情報を生成し、生成した表示情報を表示装置３に送信することで、図５に示す表示画面を表示装置３に表示させる。図５に示す表示例では、画像処理装置１の表示制御部３４は、画像表示領域７０と、画像選択領域７１と、表示切替選択領域７２と、注目病変判定結果表示領域７３と、警告表示領域７４と、を表示画面上に設けている。
　表示制御部３４は、対象検査画像群からユーザが入力装置４への操作に基づき選択した任意の画像を画像表示領域７０上に表示している。図５の例では、表示制御部３４は、１３５枚存在する対象検査画像群のうち２３枚目の画像を表示している。また、表示制御部３４は、後述する表示切替選択領域７２での選択に応じ、第１病変に相当する注目病変の領域を示すバウンディングボックス９１と、見落とし病変の可能性がある領域を示すバウンディングボックス９２と、新病変の可能性がある領域を示すバウンディングボックス９３とを、画像上に表示している。また、表示制御部３４は、病変領域であることの信頼度（確信度）を示すスコア（ここでは０～１００の値域）を各バウンディングボックス９１～９３に対応付けて表示している。この場合、例えば、表示制御部３４は、注目病変の領域を示すバウンディングボックス９１及びスコアについては第１病変評価部３２から供給される第１病変検出モデルが出力した推論結果に基づき表示する。一方、表示制御部３４は、見落とし病変の可能性がある領域を示すバウンディングボックス９２及びスコアと新病変の可能性がある領域を示すバウンディングボックス９３及びスコアについては、第２病変評価部３３から供給される第２病変検出モデルが出力した推論結果に基づき表示する。
　なお、表示制御部３４は、スコアが所定の閾値以上となる第２病変に関するバウンディングボックス（図５の例ではバウンディングボックス９２、９３）を、点滅させるなどにより強調表示してもよい。この場合、所定の閾値は、メモリ１２等に予め記憶されている。これにより、表示制御部３４は、存在する可能性が高い第２病変の存在を好適に閲覧者に認識させる。
　また、表示制御部３４は、画像表示領域７０に表示された画像と近い部位に対応する対象検査画像群の一部をサムネイル画像として画像単位により画像選択領域７１上に表示している。なお、表示制御部３４は、対象検査画像群の全部のサムネイル画像を画像選択領域７１上に表示してもよい。なお、表示制御部３４は、画像選択領域７１での選択操作の他、入力装置４からスクロール操作などの所定の操作を検知した場合にも、画像表示領域７０に表示する画像を順次切り替えてもよい。また、表示制御部３４は、画像選択領域７１において、警告がある画像のサムネイル画像を強調表示してもよい。図５の例では、２３枚目の画像と２６枚目の画像について警告が存在することから、表示制御部３４は、これらの画像を縁取り効果により強調している。警告が存在する画像は、例えば、画像表示領域７０に表示する画像として選択された場合に警告表示領域７４に警告情報が表示される画像である。
　表示制御部３４は、各種情報の表示の要否を選択するためのチェックボックスを表示切替選択領域７２上に表示している。図５の例では、表示制御部３４は、注目病変の表示の要否を選択する第１チェックボックスＣＨ１、見落とし病変の表示の要否を選択する第２チェックボックスＣＨ２、新病変の表示の要否を選択する第３チェックボックスＣＨ３、事前検査結果表示の要否を選択する第４チェックボックスＣＨ４を設けている。
　図５の例では、表示制御部３４は、第１チェックボックスＣＨ１～第３チェックボックスＣＨ３がオンとなっていることから、画像表示領域７０の画像上において、バウンディングボックス９１～バウンディングボックス９３及びこれらに対応するスコアを表示している。なお、表示制御部３４は、事前検査結果表示の要否を選択する第４チェックボックスＣＨ４がオンである場合には、事前検査情報Ｄ３１を参照し、画像表示領域７０に表示中の画像に対応する事前検査画像群の画像に付されたメタデータにより示される病変領域の領域情報を、画像表示領域７０の画像上に重畳表示する。上述の領域情報は、事前検査画像群の画像からメタデータが示す病変領域を切り取った画像であってもよく、病変領域を示すバウンディングボックス等であってもよい。
　また、表示制御部３４は、注目病変判定結果表示領域７３において、第１病変評価部３２が判定したＲＥＣＩＳＴ評価（ここでは「ＰＤ」）を示している。また、ＲＥＣＩＳＴ評価に付随してバウンディングボックス９１により示される第１病変のサイズがｘ％増大したことが第１病変評価部３２により算出されたことから、表示制御部３４は、その算出結果である「ｘ％増大」を注目病変判定結果表示領域７３に示している。
　さらに、表示制御部３４は、バウンディングボックス９１により示される第１病変のステージ（ここでは「３」）を注目病変判定結果表示領域７３に示している。なお、例えば、第１病変検出モデルが出力する推論結果に病変のステージに関する推論結果が含まれている場合には、表示制御部３４は、バウンディングボックス９１により示される第１病変に関する第１病変検出モデルの推論結果に基づき、病変のステージを認識する。他の例では、表示制御部３４は、第１病変検出モデル及び第２病変検出モデル以外の機械学習モデルに、バウンディングボックス９１内の画像領域を含む画像を入力し、当該機械学習モデルが出力する推論結果に基づき、病変のステージを認識してもよい。この場合、上述の機械学習モデルは、病変領域を含む画像が入力された場合に病変のステージに関する推論結果を出力するように機械学習されたモデルであり、学習済みのモデル情報がメモリ１２等に予め記憶されている。
　また、表示制御部３４は、警告を出力すべき所定の基準が満たされた場合に、満たされた所定の基準に対応する警告情報を警告表示領域７４に表示する。ここでは、新病変の可能性がある病変領域（バウンディングボックス９３が示す領域）が検出されたことから、表示制御部３４は、新病変の可能性があることを示す警告文を警告表示領域７４に表示している。警告を出力すべき所定の基準は、新病変の可能性がある病変領域があることに限らず、危険な状態を表す任意の基準であってもよい。例えば、表示制御部３４は、注目病変判定結果表示領域７３に表示する第１病変のサイズの増大率が所定率以上である場合に、第１病変が増大していることを警告する警告情報を警告表示領域７４に表示してもよい。
　図５に示される表示例によれば、閲覧者（患者の担当医師）は第１病変に関する評価結果と第２病変（見落とし病変、新病変）に関する評価結果とを好適に把握することができる。従って、画像処理装置１は、閲覧者である医師の患者への治療方針の決定などの意思決定を好適に支援することができる。上述した第１病変及び第２病変に関する評価結果に基づく情報は、意思決定を支援する情報の一例である。
　なお、図５の表示例の態様は一例であり、種々の変更が適用されてもよい。例えば、信頼度のスコアを数字により示す代わりに、表示制御部３４は、対応するバウンディングボックスの表示態様（例えば、色、線種、又は／及び線の太さ等）を信頼度のスコアに基づき決定してもよい。他の例では、表示制御部３４は、ＲＥＣＩＳＴ評価の結果、第１病変の増大率、及び病変のステージを文字により表示する代わりに、視覚的に識別可能な任意の態様により表示（例えば色分け表示）してもよい。
　（６）処理フロー
　図６は、画像処理装置１が実行する処理の概要を示すフローチャートの一例である。
　まず、画像処理装置１は、対象となる患者の事前検査情報Ｄ３１と対象検査情報Ｄ３２とを夫々取得する（ステップＳ１１）。この場合、画像処理装置１は、対象となる患者を指定するユーザ入力、事前検査情報Ｄ３１を指定するユーザ入力、第１病変評価部３２を指定するユーザ入力などを入力装置４により受け付けてもよい。その後、画像処理装置１は、ステップＳ１２～ステップＳ１５に相当する処理と、ステップＳ１６に相当する処理とを順次又は並列的に実行する。
　ステップＳ１２～ステップＳ１５に相当する処理では、画像処理装置１は、まず、対象検査情報Ｄ３２に含まれる対象検査画像群から被アノテーション画像に対応する注目画像を抽出する（ステップＳ１２）。この場合、画像処理装置１は、例えば、事前検査画像群と対象検査画像群との画像単位でのマッチングを行い、事前検査画像群に含まれる被アノテーション画像と対応付けられた対象検査画像群の画像（及び隣接する画像）を注目画像として抽出する。
　次に、画像処理装置１は、被アノテーション画像を基に注目画像内の被検体の位置合わせを行う（ステップＳ１３）。これにより、画像処理装置１は、被アノテーション画像と注目画像とで被検体が最も重なるように注目画像内の被検体を平行移動させる。そして、画像処理装置１は、注目画像における病変領域を検出する（ステップＳ１４）。この場合、画像処理装置１は、第１病変検出モデル情報Ｄ１を参照して構成した第１病変検出モデルに注目画像を入力することで第１病変検出モデルが出力する推論結果に基づき、注目画像内の病変領域を検出する。
　そして、画像処理装置１は、対象検査画像群における第１病変に関する評価を行う（ステップＳ１５）。この場合、画像処理装置１は、被アノテーション画像内のメタデータにより示される病変領域とステップＳ１４において検出した病変領域とを比較し、所定度合い以上の重なりを有する病変領域については同一病変とみなして大きさの変化などを計測する。
　一方、ステップＳ１６に相当する処理では、画像処理装置１は、対象検査画像群の各画像を用いて、第２病変（新病変、見落とし病変）に関する評価を行う（ステップＳ１６）。この場合、画像処理装置１は、第２病変検出モデル情報Ｄ２を参照して構成した第２病変検出モデルと、対象検査画像群と、事前検査情報Ｄ３１と、に基づき、事前検査情報Ｄ３１に登録された第１病変とは異なる第２病変に該当する病変領域を対象検査画像群から検出する。
　そして、画像処理装置１は、ステップＳ１５での評価結果と、ステップＳ１６での評価結果とに基づく情報を表示装置３に表示させる（ステップＳ１７）。
　（７）変形例
　次に、上述した第１実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の第１実施形態に適用してもよい。
　（変形例１）
　画像処理装置１は、第２病変検出モデルを用いた第２病変に関する評価を実行しなくともよい。
　例えば、画像処理装置１は、図６に示すフローチャートにおいて、ステップＳ１６に相当する処理を行うことなく、ステップＳ１７において、ステップＳ１５において得られた評価結果に基づく表示を行ってもよい。また、画像処理装置１は、第１病変検出モデルの推論結果に基づき、第２病変に関する評価を行ってもよい。例えば、画像処理装置１は、第１病変検出モデルにより検出した病変領域のうち、第１病変とは異なる病変領域であると判定された病変領域（図４ではバウンディングボックス８１，８３内の領域）を、第２病変である可能性がある病変領域とする評価結果を生成する。
　（変形例２）
　画像処理装置１は、第１病変に関する評価が所定の基準以下となった場合に限り、進行第２病変に関する評価を実行してもよい。上述の所定の基準は、新病変（転移）が発生する可能性がある評価として予め定められた基準であり、例えば、ＲＥＣＩＳＴ評価における「進行」である。
　この場合、図６のステップＳ１５において、画像処理装置１は、各注目画像に基づく第１病変に関する評価を行い、所定の基準以下の評価となる注目画像が存在する場合に、ステップＳ１６を実行した後ステップＳ１７を実行する。一方、画像処理装置１は、所定の基準以下の評価となる注目画像が存在しない場合には、ステップＳ１６を実行することなくステップＳ１７を実行する。
　この態様により、画像処理装置１は、新病変が発生する可能性がある場合に限定して第２病変に関する評価を行い、処理の負荷を好適に抑制することができる。
　（変形例３）
　第１病変検出モデル情報Ｄ１、第２病変検出モデル情報Ｄ２、事前検査情報Ｄ３１、対象検査情報Ｄ３２の少なくともいずれかは、画像処理装置１とは別の記憶装置に記憶されてもよい。
　図８は、変形例における病変評価システム１００Ａの概略構成図である。病変評価システム１００Ａは、第１病変検出モデル情報Ｄ１、第２病変検出モデル情報Ｄ２、事前検査情報Ｄ３１、対象検査情報Ｄ３２の少なくともいずれかを記憶するサーバ装置２を備える。また、病変評価システム１００Ａは、サーバ装置２とネットワークを介してデータ通信が可能な複数の画像処理装置１（１Ａ、１Ｂ、…）を備える。
　この場合、各画像処理装置１は、ネットワークを介して第１病変検出モデル情報Ｄ１、第２病変検出モデル情報Ｄ２、事前検査情報Ｄ３１、対象検査情報Ｄ３２の少なくともいずれかの参照を行う。この場合、各画像処理装置１のインターフェース１３は、通信を行うためのネットワークアダプタなどの通信インターフェースを含む。この構成では、各画像処理装置１は、上述の実施形態と同様、第１病変検出モデル情報Ｄ１、第２病変検出モデル情報Ｄ２、事前検査情報Ｄ３１、及び対象検査情報Ｄ３２を参照し、病変評価に関する処理を好適に実行することができる。なお、サーバ装置２が図２に示される画像処理装置１のプロセッサ１１の各機能ブロックが実行する処理の少なくとも一部を代わりに実行してもよい。
　＜第２実施形態＞
　図８は、画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、注目画像抽出手段３１Ｘと、病変評価手段３２Ｘと、を備える。画像処理装置１Ｘは、複数の装置から構成されてもよい。
　注目画像抽出手段３１Ｘは、第１病変に関する注釈情報が付された患者の第１医用画像群と、第１医用画像群より後に生成された患者の第２医用画像群との比較に基づき、第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出する。注目画像抽出手段３１Ｘは、例えば、第１実施形態（変形例を含む、以下同じ。）における注目画像抽出部３１とすることができる。
　病変評価手段３２Ｘは、注目画像に基づき、第２医用画像群における第１病変に関する評価を行う。病変評価手段３２Ｘは、例えば、第１実施形態における第１病変評価部３２とすることができる。
　図９は、画像処理装置１Ｘが実行する処理の手順を示すフローチャートの一例である。注目画像抽出手段３１Ｘは、第１病変に関する注釈情報が付された患者の第１医用画像群と、第１医用画像群より後に生成された患者の第２医用画像群との比較に基づき、第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出する（ステップＳ２１）。病変評価手段３２Ｘは、注目画像に基づき、第２医用画像群における第１病変に関する評価を行う（ステップＳ２２）。
　第２実施形態によれば、画像処理装置１Ｘは、画像に基づき、第１医用画像群において注釈情報が付された第１病変に関する評価を行う注目画像を第２医用画像群から好適に抽出し、第２医用画像群における第１病変に関する評価を効率的にかつ的確に実行することができる。
　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Ｔａｎｇｉｂｌｅ　ｓｔｏｒａｇｅ　ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Ｔｒａｎｓｉｔｏｒｙ　ｃｏｍｐｕｔｅｒ　ｒｅａｄａｂｌｅ　ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。さらには、下記の付記に記載の装置、方法、及び記憶媒体に限らず、上述した各実施の形態から逸脱しない範囲において、様々なハードウェア、ソフトウェア、ソフトウェアを記録するための種々の記録手段（記憶媒体を含む）、またはシステムに対しても同様に、付記として記載した構成の一部または全てを従属させ得る。
　［付記１］
　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出する注目画像抽出手段と、
　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う病変評価手段と、
を有する画像処理装置。
　［付記２］
　前記注目画像抽出手段は、前記第１医用画像群と、前記第２医用画像群との画像単位でのマッチングを行い、前記注釈情報が付された画像と対応付けられた前記第２医用画像群の画像を、前記注目画像として少なくとも抽出する、付記１に記載の画像処理装置。
　［付記３］
　前記病変評価手段は、前記第１病変が前記注目画像に存在する場合に、前記注釈情報が付された画像での前記第１病変の大きさと、前記注目画像での前記第１病変の大きさとに基づき、前記第１病変の変化を評価する、付記１に記載の画像処理装置。
　［付記４］
　前記病変評価手段は、前記第１病変が前記注目画像に存在しない場合、前記第１病変が消失したと評価する、付記１に記載の画像処理装置。
［付記５］
　前記病変評価手段は、前記注釈情報と、前記注目画像における病変領域の検出結果とに基づき、前記第１病変が前記注目画像に存在するか否か判定する、付記３に記載の画像処理装置。
［付記６］
　前記病変評価手段は、前記注目画像と、機械学習モデルと、に基づき、前記検出結果を取得し、
　前記機械学習モデルは、当該機械学習モデルに入力される画像と、当該画像に存在する病変領域との関係を機械学習したモデルである、付記５に記載の画像処理装置。
［付記７］
　前記病変評価手段は、前記注釈情報が付された画像における前記患者の領域と、前記注目画像における前記患者の領域との位置合わせを行い、前記注目画像から検出された病変領域と、前記注釈情報により示される前記第１病変の領域との前記位置合わせ後の重なり度合いに基づき、前記第１病変が前記注目画像に存在するか否か判定する、付記５に記載の画像処理装置。
［付記８］
　前記評価の結果に基づく情報を、意思決定を支援する情報として、前記注目画像と共に表示装置に表示する表示制御を行う表示制御手段をさらに有する、付記１に記載の画像処理装置。
［付記９］
　前記評価の結果には、ＲＥＣＩＳＴ評価の結果と、前記第１病変の増大率との少なくとも一方が含まれ、
　前記表示制御手段は、前記ＲＥＣＩＳＴ評価の結果と前記増大率との少なくとも一方に関する情報を前記表示装置に表示する表示制御を行う、付記８に記載の画像処理装置。
［付記１０］
　前記表示制御手段は、前記評価の結果に基づき、前記第１病変に関する警告情報を表示する、付記８に記載の画像処理装置。
［付記１１］
　前記注釈情報と、前記第２医用画像群と、に基づき、前記注釈情報により示されていない第２病変に関する評価を行う第２病変評価手段をさらに有する、付記１に記載の画像処理装置。
［付記１２］
　前記第２病変評価手段は、前記第２医用画像群の各画像における病変領域の検出結果と、前記第２医用画像群の各画像に対応する前記第１医用画像群の画像における病変領域の検出結果と、に基づき、前記第２病変に関する評価を行う、付記１１に記載の画像処理装置。
［付記１３］
　前記病変評価手段は、機械学習モデルに基づき、前記第２医用画像群の各画像における病変領域の検出結果と、前記第２医用画像群の各画像に対応する前記第１医用画像群の画像における病変領域の検出結果と、を取得し、
　前記機械学習モデルは、当該機械学習モデルに入力される画像と、当該画像に存在する病変領域との関係を学習したモデルである、付記１２に記載の画像処理装置。
［付記１４］
　前記第２病変に関する評価の結果に基づく情報を、前記第２病変が検出された前記第２医用画像群の画像と共に表示装置に表示する表示制御を行う表示制御手段をさらに有する、付記１１に記載の画像処理装置。
［付記１５］
　前記表示制御手段は、前記第２病変が検出された領域を、前記第２医用画像群の画像上において強調表示する、付記１４に記載の画像処理装置。
［付記１６］
　前記表示制御手段は、前記第２病変に関する評価の結果に基づき、前記第２病変に関する警告情報を表示する、付記１４に記載の画像処理装置。
［付記１７］
　コンピュータが、
　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出し、
　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う、
画像処理方法。
［付記１８］
　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出し、
　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う処理をコンピュータに実行させるプログラムを格納した記憶媒体。
［付記１９］
　前記第１医用画像群と、前記第２医用画像群との画像単位でのマッチングを行い、前記注釈情報が付された画像と対応付けられた前記第２医用画像群の画像を、前記注目画像として少なくとも抽出する、付記１７に記載の画像処理方法。
［付記２０］
　前記第１病変が前記注目画像に存在する場合に、前記注釈情報が付された画像での前記第１病変の病変領域の大きさと、前記注目画像での前記第１病変の病変領域の大きさとに基づき、前記第１病変の変化を評価する、付記１７に記載の画像処理方法。
［付記２１］
　前記第１病変が前記注目画像に存在しない場合、前記第１病変が消失したと評価する、付記１７に記載の画像処理方法。
［付記２２］
　前記注釈情報と、前記注目画像における病変領域の検出結果とに基づき、前記第１病変が前記注目画像に存在するか否か判定する、付記２０に記載の画像処理方法。
［付記２３］
　前記注目画像と、機械学習モデルと、に基づき、前記検出結果を取得し、
　前記機械学習モデルは、当該機械学習モデルに入力される画像と、当該画像に存在する病変領域との関係を機械学習したモデルである、付記２２に記載の画像処理方法。
［付記２４］
　前記注釈情報が付された画像における前記患者の領域と、前記注目画像における前記患者の領域との位置合わせを行い、前記注目画像から検出された病変領域と、前記注釈情報により示される前記第１病変の領域との前記位置合わせ後の重なり度合いに基づき、前記第１病変が前記注目画像に存在するか否か判定する、付記２２に記載の画像処理方法。
［付記２５］
　前記評価の結果に基づく情報を、意思決定を支援する情報として、前記注目画像と共に表示装置に表示する表示制御を行う、付記１７に記載の画像処理方法。
［付記２６］
　前記評価の結果には、ＲＥＣＩＳＴ評価の結果と、前記第１病変の増大率との少なくとも一方が含まれ、
　前記ＲＥＣＩＳＴ評価の結果と前記増大率との少なくとも一方に関する情報を前記表示装置に表示する表示制御を行う、付記２５に記載の画像処理方法。
［付記２７］
　前記評価の結果に基づき、前記第１病変に関する警告情報を表示する、付記２５に記載の画像処理方法。
［付記２８］
　前記注釈情報と、前記第２医用画像群と、に基づき、前記注釈情報により示されていない第２病変に関する評価を行う、付記１７に記載の画像処方法。
［付記２９］
　前記第２医用画像群の各画像における病変領域の検出結果と、前記第２医用画像群の各画像に対応する前記第１医用画像群の画像における病変領域の検出結果と、に基づき、前記第２病変に関する評価を行う、付記２８に記載の画像処理方法。
［付記３０］
　機械学習モデルに基づき、前記第２医用画像群の各画像における病変領域の検出結果と、前記第２医用画像群の各画像に対応する前記第１医用画像群の画像における病変領域の検出結果と、を取得し、
　前記機械学習モデルは、当該機械学習モデルに入力される画像と、当該画像に存在する病変領域との関係を学習したモデルである、付記２９に記載の画像処理方法。
［付記３１］
　前記第２病変に関する評価の結果に基づく情報を、前記第２病変が検出された前記第２医用画像群の画像と共に表示装置に表示する表示制御を行う、付記２８に記載の画像処理方法。
［付記３２］
　前記第２病変が検出された領域を、前記第２医用画像群の画像上において強調表示する、付記３１に記載の画像処理方法。
［付記３３］
　前記第２病変に関する評価の結果に基づき、前記第２病変に関する警告情報を表示する、付記３２に記載の画像処理方法。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献及び非特許文献の各開示は、本書に引用をもって繰り込むものとする。
　１、１Ａ、１Ｂ、１Ｘ　画像処理装置
　２　サーバ装置
　３　表示装置
　４　入力装置
　１１　プロセッサ
　１２　メモリ
　１３　インターフェース
　１００、１００Ａ　病変評価システム

Claims (20)

  1. 　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出する注目画像抽出手段と、
    　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う病変評価手段と、
    を有する画像処理装置。
  2. 　前記注目画像抽出手段は、前記第１医用画像群と、前記第２医用画像群との画像単位でのマッチングを行い、前記注釈情報が付された画像と対応付けられた前記第２医用画像群の画像を、前記注目画像として少なくとも抽出する、請求項１に記載の画像処理装置。
  3. 　前記病変評価手段は、前記第１病変が前記注目画像に存在する場合に、前記注釈情報が付された画像での前記第１病変の大きさと、前記注目画像での前記第１病変の大きさとに基づき、前記第１病変の変化を評価する、請求項１に記載の画像処理装置。
  4. 　前記病変評価手段は、前記第１病変が前記注目画像に存在しない場合、前記第１病変が消失したと評価する、請求項１に記載の画像処理装置。
  5. 　前記病変評価手段は、前記注釈情報と、前記注目画像における病変領域の検出結果とに基づき、前記第１病変が前記注目画像に存在するか否か判定する、請求項３に記載の画像処理装置。
  6. 　前記病変評価手段は、前記注目画像と、機械学習モデルと、に基づき、前記検出結果を取得し、
    　前記機械学習モデルは、当該機械学習モデルに入力される画像と、当該画像に存在する病変領域との関係を機械学習したモデルである、請求項５に記載の画像処理装置。
  7. 　前記病変評価手段は、前記注釈情報が付された画像における前記患者の領域と、前記注目画像における前記患者の領域との位置合わせを行い、前記注目画像から検出された病変領域と、前記注釈情報により示される前記第１病変の領域との前記位置合わせ後の重なり度合いに基づき、前記第１病変が前記注目画像に存在するか否か判定する、請求項５に記載の画像処理装置。
  8. 　前記評価の結果に基づく情報を、意思決定を支援する情報として、前記注目画像と共に表示装置に表示する表示制御を行う表示制御手段をさらに有する、請求項１に記載の画像処理装置。
  9. 　前記評価の結果には、ＲＥＣＩＳＴ評価の結果と、前記第１病変の増大率との少なくとも一方が含まれ、
    　前記表示制御手段は、前記ＲＥＣＩＳＴ評価の結果と前記増大率との少なくとも一方に関する情報を前記表示装置に表示する表示制御を行う、請求項８に記載の画像処理装置。
  10. 　前記表示制御手段は、前記評価の結果に基づき、前記第１病変に関する警告情報を表示する、請求項８に記載の画像処理装置。
  11. 　前記注釈情報と、前記第２医用画像群と、に基づき、前記注釈情報により示されていない第２病変に関する評価を行う第２病変評価手段をさらに有する、請求項１に記載の画像処理装置。
  12. 　前記第２病変評価手段は、前記第２医用画像群の各画像における病変領域の検出結果と、前記第２医用画像群の各画像に対応する前記第１医用画像群の画像における病変領域の検出結果と、に基づき、前記第２病変に関する評価を行う、請求項１１に記載の画像処理装置。
  13. 　前記病変評価手段は、機械学習モデルに基づき、前記第２医用画像群の各画像における病変領域の検出結果と、前記第２医用画像群の各画像に対応する前記第１医用画像群の画像における病変領域の検出結果と、を取得し、
    　前記機械学習モデルは、当該機械学習モデルに入力される画像と、当該画像に存在する病変領域との関係を学習したモデルである、請求項１２に記載の画像処理装置。
  14. 　前記第２病変に関する評価の結果に基づく情報を、前記第２病変が検出された前記第２医用画像群の画像と共に表示装置に表示する表示制御を行う表示制御手段をさらに有する、請求項１１に記載の画像処理装置。
  15. 　前記表示制御手段は、前記第２病変が検出された領域を、前記第２医用画像群の画像上において強調表示する、請求項１４に記載の画像処理装置。
  16. 　前記表示制御手段は、前記第２病変に関する評価の結果に基づき、前記第２病変に関する警告情報を表示する、請求項１４に記載の画像処理装置。
  17. 　コンピュータが、
    　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出し、
    　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う、
    画像処理方法。
  18. 　第１病変に関する注釈情報が付された患者の第１医用画像群と、前記第１医用画像群より後に生成された前記患者の第２医用画像群との比較に基づき、前記第２医用画像群から病変に関する解析を行う対象となる注目画像を抽出し、
    　前記注目画像に基づき、前記第２医用画像群における前記第１病変に関する評価を行う処理をコンピュータに実行させるプログラムを格納した記憶媒体。
  19. 　前記第１医用画像群と、前記第２医用画像群との画像単位でのマッチングを行い、前記注釈情報が付された画像と対応付けられた前記第２医用画像群の画像を、前記注目画像として少なくとも抽出する、請求項１７に記載の画像処理方法。
  20. 　前記第１病変が前記注目画像に存在する場合に、前記注釈情報が付された画像での前記第１病変の病変領域の大きさと、前記注目画像での前記第１病変の病変領域の大きさとに基づき、前記第１病変の変化を評価する、請求項１７に記載の画像処理方法。
PCT/JP2024/002356 2024-01-26 2024-01-26 画像処理装置、画像処理方法及び記憶媒体 Pending WO2025158641A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/002356 WO2025158641A1 (ja) 2024-01-26 2024-01-26 画像処理装置、画像処理方法及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2024/002356 WO2025158641A1 (ja) 2024-01-26 2024-01-26 画像処理装置、画像処理方法及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2025158641A1 true WO2025158641A1 (ja) 2025-07-31

Family

ID=96545034

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/002356 Pending WO2025158641A1 (ja) 2024-01-26 2024-01-26 画像処理装置、画像処理方法及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2025158641A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2015029885A (ja) * 2013-08-07 2015-02-16 パナソニック株式会社 スライス画像表示装置
JP2016202722A (ja) * 2015-04-27 2016-12-08 コニカミノルタ株式会社 医用画像表示装置及びプログラム
WO2018230409A1 (ja) * 2017-06-15 2018-12-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021133164A (ja) * 2020-02-28 2021-09-13 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理プログラム
JP2023113518A (ja) * 2022-02-03 2023-08-16 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2015029885A (ja) * 2013-08-07 2015-02-16 パナソニック株式会社 スライス画像表示装置
JP2016202722A (ja) * 2015-04-27 2016-12-08 コニカミノルタ株式会社 医用画像表示装置及びプログラム
WO2018230409A1 (ja) * 2017-06-15 2018-12-20 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2021133164A (ja) * 2020-02-28 2021-09-13 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理プログラム
JP2023113518A (ja) * 2022-02-03 2023-08-16 富士フイルム株式会社 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
KR102382872B1 (ko) 의료용 인공 신경망 기반 대표 영상을 제공하는 의료 영상 판독 지원 장치 및 방법
JP5100285B2 (ja) 医用診断支援装置およびその制御方法、プログラム、記憶媒体
CN109069014B (zh) 用于估计在冠状动脉中的健康管腔直径和狭窄定量的系统和方法
US12008748B2 (en) Method for classifying fundus image of subject and device using same
US20210407077A1 (en) Information processing device and model generation method
KR102676569B1 (ko) 의료 영상 분석 장치 및 방법, 의료 영상 시각화 장치 및 방법
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US12458232B2 (en) Medical image visualization apparatus and method for diagnosis of aorta
CN103984842B (zh) 用于提供诊断信息的诊断帮助设备和方法及其诊断系统
JP5995415B2 (ja) 医療診断支援装置、情報処理方法及びプログラム
KR20120072961A (ko) 의료 영상을 이용한 영상진단을 보조하는 방법 및 장치, 이를 수행하는 영상진단 시스템
KR20230097646A (ko) 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR20240147617A (ko) 딥러닝 기반 기도 측정과 이미지 정합을 이용하는 영역별 기도 벽 두께 변화의 평가 방법 및 장치
US20230128769A1 (en) Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods
KR20200114228A (ko) 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템
Danala et al. Applying quantitative radiographic image markers to predict clinical complications after aneurysmal subarachnoid hemorrhage: A pilot study
JP2008073338A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
KR102536369B1 (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
EP4170671A1 (en) Method and system for the analysis of medical images
JP7828721B2 (ja) 医用情報処理システム、医用情報処理方法、および医用情報処理プログラム
KR102446929B1 (ko) 대동맥 박리 가시화 장치 및 방법
CN114271837A (zh) 图像诊断辅助装置和图像处理方法
JP7433901B2 (ja) 学習装置及び学習方法
JP2011229707A (ja) 医用画像表示装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24920363

Country of ref document: EP

Kind code of ref document: A1