WO2022209501A1 - 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム - Google Patents

情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム Download PDF

Info

Publication number
WO2022209501A1
WO2022209501A1 PCT/JP2022/008071 JP2022008071W WO2022209501A1 WO 2022209501 A1 WO2022209501 A1 WO 2022209501A1 JP 2022008071 W JP2022008071 W JP 2022008071W WO 2022209501 A1 WO2022209501 A1 WO 2022209501A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
annotator
annotation
medical image
evaluation
Prior art date
Application number
PCT/JP2022/008071
Other languages
English (en)
French (fr)
Inventor
篤志 橘
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023510681A priority Critical patent/JPWO2022209501A1/ja
Publication of WO2022209501A1 publication Critical patent/WO2022209501A1/ja
Priority to US18/473,292 priority patent/US20240013524A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the technology of the present disclosure relates to an information processing device, an information processing device operating method, and an information processing device operating program.
  • machine learning models have been developed for analyzing medical images, such as pixel-by-pixel recognition of tumors in abdominal tomographic images taken by CT (Computed Tomography) equipment.
  • Such machine learning models require annotation information as correct data in the learning phase or accuracy evaluation phase.
  • the annotation information is, for example, information generated by assigning a label according to the class of the object to be recognized to the original medical image paired in the correct data.
  • the annotation information is information generated by assigning the label "tumor" to the pixels of the tumor in the abdominal tomographic image, which is the original medical image.
  • Japanese Patent Application Laid-Open No. 2020-086519 describes an acquisition unit that acquires teacher data (correct data) related to medical images, and the teacher data acquired by the acquisition unit, the creation status of the teacher data (required time for creation, attached label and a reliability giving unit that gives reliability information based on one or both of information about the creator who created the training data (years of experience, qualification, busyness, etc.) or information about the creator who created the training data (years of experience, qualifications, busyness, etc.).
  • a processing device is described.
  • Japanese Patent Application Laid-Open No. 2015-162109 discloses a task allocation server that allocates a new task to an expert among a group of workers capable of processing a new task via a network, and assigns a task processed by each worker in the worker group in the past.
  • a worker DB Data Base
  • a worker DB stores worker group information including at least information; a cluster creation function unit that classifies each worker in the worker group into one of a plurality of clusters based on the worker group information; a processing result analysis function that treats a worker belonging to one of a plurality of clusters as an expert based on the processing result of a test task that is part of the task assignment server.
  • An embodiment according to the technology of the present disclosure provides an information processing device, an information processing device operating method, and an information processing device operating program capable of more accurately evaluating the quality of annotation information.
  • the information processing apparatus of the present disclosure includes a processor, and the processor generates annotation information from which annotation information is generated when an annotator generates annotation information as correct data for a machine learning model for analyzing a medical image.
  • Reference history information by the annotator of related medical information related to the original medical image is acquired, and evaluation information representing the quality of the annotation information is derived based on the reference history information.
  • the operation method of the information processing apparatus of the present disclosure is based on a generation source medical image from which annotation information is generated when an annotator generates annotation information as correct data of a machine learning model for analyzing a medical image. Acquiring reference history information by annotators of related relevant medical information, and deriving evaluation information representing the quality of annotation information based on the reference history information.
  • the operation program of the information processing apparatus of the present disclosure is applied to the original medical image from which the annotation information is generated when the annotator generates the annotation information as correct data of the machine learning model for analyzing the medical image.
  • a computer is caused to execute processing including obtaining reference history information of related medical information by an annotator, and deriving evaluation information representing the quality of annotation information based on the reference history information.
  • FIG. 10 is a diagram showing an annotation information generation screen on which related medical information is displayed;
  • FIG. 10 is a diagram showing reference history information according to whether or not a related medical information reference button is operated;
  • 3 is a block diagram showing a computer that constitutes an information processing server;
  • FIG. 10 is a block diagram which shows the processing part of the processor of an information processing server.
  • FIG. 10 is a diagram showing evaluation information according to contents of reference history information; 4 is a flow chart showing a processing procedure of an information processing server;
  • FIG. 5 is a diagram showing five types of related medical information
  • FIG. 10 is a diagram showing a second embodiment for deriving evaluation information according to the number of related medical information referred to by an annotator out of five types of related medical information
  • FIG. 10 is a diagram showing how an information receiving unit receives operation history information of an annotator with respect to a generation source medical image when annotation information is generated.
  • FIG. 13 is a diagram illustrating the 3_1 embodiment in which evaluation information is derived based on operation history information in addition to reference history information
  • FIG. 10 is a diagram showing how an information receiving unit receives operation history information of an annotator for a medical image of another apparatus when annotation information is generated.
  • FIG. 10 is a flowchart showing a mode of registering execution of display gradation change operation of operation history information only when display gradation is changed to a recommended range;
  • FIG. FIG. 13 is a flow chart showing the 3_2 embodiment in which it is determined that the annotator has referred to the related medical information when the annotator performs some operation on the related medical information;
  • FIG. FIG. 4 is a diagram showing how an information receiving unit receives annotator attribute information from an annotator terminal;
  • FIG. 10 is a diagram showing a fourth embodiment in which evaluation information is derived based on attribute information in addition to reference history information; It is a block diagram which shows the process part of the processor of the information processing server of 5th Embodiment. It is a figure which shows a correct data selection screen.
  • FIG. 14 is a diagram showing a sixth embodiment for transmitting overall overview information and individual overview information to an annotator terminal; It is a figure which shows an evaluation summary display screen.
  • FIG. 10 is a diagram showing another example of individual summary information;
  • FIG. 12 is a diagram showing another example of the evaluation summary display screen;
  • FIG. 14 is a diagram showing a seventh embodiment of transmitting a generation source medical image, related medical information, and recommended information to an annotator terminal;
  • FIG. 10 is a diagram showing related medical information including multiple types of medical images of different devices;
  • FIG. 10 is a diagram showing related medical information including multiple types of medical images of different dates.
  • the information processing system 2 includes an information processing server 10 and a plurality of annotator terminals 11 .
  • the information processing server 10 and the annotator terminal 11 are connected via a network 12 so as to be able to communicate with each other.
  • the network 12 is, for example, the Internet or a WAN (Wide Area Network).
  • the information processing server 10 is, for example, a server computer, a workstation, or the like, and is an example of an "information processing device" according to the technology of the present disclosure.
  • the annotator terminal 11 has a display 13 and an input device 14 .
  • the annotator terminal 11 is operated by an annotator 15 .
  • the annotator terminal 11 is, for example, a personal computer, a tablet terminal, or the like.
  • the annotator 15 is, for example, a doctor, and is requested by the information processing server 10 to generate annotation information 23 (see FIG. 2).
  • the input device 14 is, for example, at least one of a keyboard, mouse, touch panel, microphone, gesture recognition device, and the like.
  • the information processing server 10 transmits the generation source medical image 20 to the annotator terminal 11 .
  • an abdominal tomographic image of an axial section taken by a CT apparatus is exemplified as the original medical image 20 to be generated.
  • the generation source medical image 20 is an image for assigning a label according to a class that is a subject to be recognized based on a preset task.
  • the information processing server 10 also transmits related medical information 21 to the annotator terminal 11 together with the original medical image 20 .
  • the related medical information 21 is medical information related to the original medical image 20 and includes the medical image 22 of another device.
  • the separate device medical image 22 is an image captured on the same day as the generation source medical image 20 by a medical imaging device (also called a modality) different from that of the generation source medical image 20 .
  • a medical imaging device also called a modality
  • an abdominal tomographic image of an axial section taken by an MRI (Magnetic Resonance Imaging) apparatus is exemplified as the medical image 22 of another apparatus.
  • the annotator terminal 11 displays the generated medical image 20 on the display 13 .
  • the annotator terminal 11 receives an input for labeling the generation source medical image 20 in units of pixels from the annotator 15 via the input device 14 .
  • the annotation information 23 is generated by the annotator 15 in the annotator terminal 11 .
  • the annotation information 23 is generated for each tomographic plane of the abdominal tomographic image.
  • the human body structure is drawn in the annotation information 23 to aid understanding, but the actual annotation information 23 does not include data of the human body structure, but only data of the attached labels (hereinafter referred to as 3, etc.).
  • the annotation information 23 is information in which a set of a label type and positional coordinates of pixels of the labeled original medical image 20 is registered.
  • the annotator terminal 11 displays the medical image 22 of the related medical information 21 on the display 13 according to the instruction from the annotator 15 .
  • the annotator terminal 11 generates reference history information 24 indicating whether or not the annotator 15 has referred to the related medical information 21 .
  • the annotator terminal 11 transmits annotation information 23 and reference history information 24 to the information processing server 10 .
  • the information processing server 10 receives annotation information 23 and reference history information 24 from the annotator terminal 11 .
  • the annotation information 23 includes a first region 25 labeled as liver, a second region 26 labeled as tumor, and a second region 26 labeled as bleeding. and a third region 27 .
  • the second region 26 is naturally not specified when the annotator 15 determines that no tumor exists.
  • the third region 27 is not designated when the annotator 15 determines that there is no bleeding site.
  • the display 13 of the annotator terminal 11 displays an annotation information generation screen 30A shown in FIG. 4 as an example.
  • the annotation information generation screen 30A has a task display area 31, a tool button group 32, a generation source medical image display area 33, and the like.
  • the content of the set task is displayed in the task display area 31 .
  • the tool button group 32 consists of tool buttons of various tools for the annotator 15 to designate a label corresponding to the class designated by the task.
  • Various tools are, for example, a designated class switching tool, a line drawing tool, an area filling tool, an area erasing tool, and the like.
  • the source medical image 20 is displayed in the source medical image display area 33 .
  • Annotation information 23 is generated by assigning labels using various tools on the source medical image 20 displayed in the source medical image display area 33 .
  • a send-back button 34 and a display gradation change button 35 are provided at the bottom of the generation source medical image display area 33 . It is possible to change the slice position of the original medical image 20 by operating the send-back button 34 .
  • the slice position indicates the position of the tomographic plane when the generation source medical image 20 is a tomographic image as in this example.
  • the display gradation change button 35 it is possible to change the window level (WL: Window Level) and the window width (WW: Window Width).
  • the window level and window width are parameters related to the display gradation of the original medical image 20 .
  • the window level is the center value of the display area of the source medical image 20 that is set with respect to the pixel values of the original image of the source medical image 20 .
  • the window width is a numerical value indicating the width of the display area of the original medical image 20 .
  • the annotator 15 can freely change the slice position of the generation source medical image 20 . Therefore, the annotator 15 can revisit the source medical image 20 at a specific slice position many times. Further, the annotator 15 can freely change the display gradation of the generation source medical image 20 . It should be noted that the source medical image 20 in the source medical image display area 33 can be translated and enlarged and reduced (see FIG. 13).
  • a related medical information reference button 36 At the bottom of the annotation information generation screen 30A, a related medical information reference button 36, a temporary save button 37, and a generation end button 38 are further provided.
  • the temporary save button 37 When the temporary save button 37 is operated, the annotation information 23 generated so far is temporarily saved in the storage of the annotator terminal 11 .
  • the generation end button 38 When the generation end button 38 is operated, the generated annotation information 23 is transmitted to the information processing server 10 .
  • the annotation information generation screen 30B has a related medical information display area 40 on the right side of the generation source medical image display area 33 .
  • the medical image 22 of another device is displayed in this example.
  • the annotator 15 can also freely change the slice position and the display gradation of the medical image 22 of another device. Further, the medical image 22 of another device in the related medical information display area 40 can be moved in parallel and enlarged and reduced.
  • a related medical information close button 43 is provided.
  • the related medical information close button 43 is operated, the related medical information display area 40 and the like are erased, and the display is returned to the annotation information generation screen 30A.
  • the annotator terminal 11 creates an annotation including the medical image 22 of another device, which is the related medical information 21, in response to the operation of the related medical information reference button 36 by the time the generation end button 38 is operated.
  • the information generation screen 30B is displayed on the display 13, that is, when the related medical information reference button 36 is operated or not, the reference history information 24 indicating that the related medical information 21 is referred to is transmitted to the information processing server 10. do.
  • the annotator terminal 11 did not operate the related medical information reference button 36 until the generation end button 38 was operated, and did not display the annotation information generation screen 30B including the separate device medical image 22 on the display 13.
  • the reference history information 24 indicating that the related medical information 21 has not been referred to is transmitted to the information processing server 10 .
  • the computer that configures the information processing server 10 includes a storage 50, a memory 51, a processor 52, a communication section 53, a display 54, and an input device 55. These are interconnected via bus lines 56 .
  • the storage 50 is a hard disk drive built into the computer that constitutes the information processing server 10 or connected via a cable or network. Alternatively, the storage 50 is a disk array in which a plurality of hard disk drives are connected.
  • the storage 50 stores a control program such as an operating system, various application programs (hereinafter abbreviated as AP (Application Program)), various data associated with these programs, and the like.
  • AP Application Program
  • a solid state drive may be used instead of the hard disk drive.
  • the memory 51 is a work memory for the processor 52 to execute processing.
  • the memory 51 is, for example, a RAM (Random Access Memory) such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory).
  • the processor 52 loads the program stored in the storage 50 into the memory 51 and executes processing according to the program. Thereby, the processor 52 comprehensively controls each part of the computer.
  • the processor 52 is, for example, a CPU (Central Processing Unit).
  • the memory 51 is an example of the “memory” according to the technology of the present disclosure. Note that the storage 50, or the storage 50 and the memory 51 may be defined as an example of the "memory” according to the technology of the present disclosure.
  • the communication unit 53 is a network interface that controls transmission of various information via the network 12 and the like.
  • the display 54 displays various screens. Various screens are provided with operation functions by GUI (Graphical User Interface).
  • the computer that configures the information processing server 10 receives input of operation instructions from the input device 55 through various screens.
  • the input device 55 is at least one of a keyboard, mouse, touch panel, microphone, gesture recognition device, and the like.
  • the storage 50 stores an operating program 60 .
  • the operating program 60 is an AP for causing a computer that configures the information processing server 10 to function as an "information processing device" according to the technology of the present disclosure. That is, the operation program 60 is an example of the "information processing device operation program" according to the technology of the present disclosure.
  • the storage 50 also stores a generation source medical image 20 , related medical information 21 , annotation information 23 , and reference history information 24 . Note that only one source medical image 20, related medical information 21, annotation information 23, and reference history information 24 are depicted, but actually, a plurality of source medical images 20, related medical information 21, annotation information 23, and reference history information 24 are depicted. and reference history information 24 are stored in the storage 50 .
  • the processor 52 When the operating program 60 is activated, the processor 52 cooperates with the memory 51 and the like to operate a read/write (hereinafter abbreviated as RW (Read Write)) control section 65, an image transmission section 66, an information reception section 67, and It functions as a derivation unit 68 .
  • RW Read Write
  • the RW control unit 65 controls storage of various information in the storage 50 and reading of various information in the storage 50 .
  • the RW control unit 65 reads the generation source medical image 20 and the related medical information 21 from the storage 50 and outputs the read generation source medical image 20 and related medical information 21 to the image transmission unit 66 .
  • the information of the annotator terminal 11 that transmits the generation source medical image 20 and the related medical information 21 is registered in the storage 50 in advance.
  • the image transmission unit 66 transmits the generation source medical image 20 and the related medical information 21 from the RW control unit 65 to the pre-registered annotator terminal 11 .
  • the information receiving unit 67 receives annotation information 23 and reference history information 24 from the annotator terminal 11 . Thereby, the information processing server 10 acquires the annotation information 23 and the reference history information 24 .
  • the information receiving section 67 outputs the received annotation information 23 and reference history information 24 to the RW control section 65 .
  • the RW control unit 65 stores the annotation information 23 and the reference history information 24 in the storage 50 .
  • the RW control unit 65 also reads the reference history information 24 from the storage 50 and outputs the read reference history information 24 to the derivation unit 68 .
  • the derivation unit 68 derives evaluation information 70 representing the quality of the annotation information 23 based on the reference history information 24.
  • the derivation unit 68 outputs the derived evaluation information 70 to the RW control unit 65 .
  • the RW control unit 65 stores the evaluation information 70 from the derivation unit 68 in the storage 50 . At this time, the RW control unit 65 stores the evaluation information 70 in association with the annotation information 23 and the reference history information 24, as indicated by the two-dot chain line.
  • the annotation information 23 is used as correct data together with the original medical image 20, which is the original image, in the learning phase or accuracy evaluation phase of the machine learning model.
  • the annotation information 23 used as this correct answer data is selected based on the evaluation information 70 . That is, the derivation of the evaluation information 70 is part of machine learning model creation.
  • the source medical image 20 is input to the machine learning model.
  • the output annotation information output from the machine learning model and the annotation information 23 are compared to calculate the loss of the machine learning model.
  • the machine learning model is updated according to the loss.
  • the input of the source medical image 20 and the output of the output annotation information, the calculation of the loss, and the update are repeated while the set of the source medical image 20 and the annotation information 23, that is, the correct data, is exchanged. This trains the machine learning model.
  • the source medical image 20 is input to the machine learning model that has undergone a certain amount of learning. Then, the output annotation information output from the machine learning model and the annotation information 23 are compared to calculate the loss, and the accuracy of the machine learning model is evaluated based on the loss. In the accuracy evaluation phase, only accuracy is evaluated and no update is performed. A machine learning model determined to have a preset accuracy or higher in the accuracy evaluation phase is used in the practical use phase.
  • the correct data used in the learning phase is also called learning data, and the correct data used in the accuracy evaluation phase is also called evaluation data.
  • the derivation unit 68 Evaluation information 70 indicating that the quality of the annotation information 23 is good is derived.
  • the derivation unit 68 determines the quality of the annotation information 23. It derives the evaluation information 70 indicating that it is bad.
  • the evaluation information 70 has a higher quality evaluation when the annotator 15 refers to the related medical information 21 than when the annotator 15 does not refer to the related medical information 21 .
  • the original medical image 20 and the annotation information 23 associated with the evaluation information 70 indicating good quality for example, are used as the correct data.
  • the processor 52 of the information processing server 10 functions as an RW control section 65, an image transmission section 66, an information reception section 67, and a derivation section 68, as shown in FIG.
  • the RW control unit 65 reads the generation source medical image 20 and the related medical information 21 from the storage 50 .
  • the read generation source medical image 20 and related medical information 21 are output from the RW control unit 65 to the image transmission unit 66 .
  • the generation source medical image 20 and the related medical information 21 are transmitted to the annotator terminal 11 by the image transmission unit 66 .
  • the annotation information generation screen 30A shown in FIG. 4 is displayed on the display 13. Then, the annotation information 23 is generated by the annotator 15 based on the generation source medical image 20 . At this time, when the related medical information reference button 36 is operated by the annotator 15, the screen is changed to the annotation information generation screen 30B shown in FIG.
  • the annotator terminal 11 generates reference history information 24 that indicates whether or not the annotator 15 has referred to the related medical information 21 .
  • the annotation information 23 and the reference history information 24 are transmitted from the annotator terminal 11 to the information processing server 10 .
  • the annotation information 23 and the reference history information 24 from the annotator terminal 11 are received by the information receiving unit 67 .
  • reference history information 24 is obtained (step ST100).
  • the annotation information 23 and the reference history information 24 are output from the information receiving section 67 to the RW control section 65 and stored in the storage 50 by the RW control section 65 .
  • the reference history information 24 is read from the storage 50 by the RW control unit 65 .
  • the read reference history information 24 is output from the RW control unit 65 to the derivation unit 68 .
  • the derivation unit 68 derives the evaluation information 70 representing the quality of the annotation information 23 based on the reference history information 24 (step ST110).
  • the evaluation information 70 is output from the derivation unit 68 to the RW control unit 65 and stored in the storage 50 by the RW control unit 65 .
  • the processor 52 of the information processing server 10 includes the information receiving section 67 and the deriving section 68 .
  • the information receiving unit 67 acquires the reference history information 24 by receiving it from the annotator terminal 11 .
  • the reference history information 24 relates to the original medical image 20 from which the annotation information 23 was generated when the annotator 15 generated the annotation information 23 as correct data of the machine learning model for analyzing the medical image. This is information representing the reference history by the annotator 15 of the relevant medical information 21 .
  • the derivation unit 68 derives evaluation information 70 representing the quality of the annotation information 23 based on the reference history information 24 .
  • the quality of the annotation information 23 is greatly affected by whether or not the related medical information 21 is referred to when generating the annotation information 23. Therefore, according to the technique of the present disclosure, which acquires the reference history information 24 of the related medical information 21 and derives the evaluation information 70 based on the reference history information 24, the evaluation information 70 is derived without using the reference history information 24. It is possible to evaluate the quality of the annotation information 23 more accurately than when
  • the evaluation information 70 evaluates the quality of the annotation information 23 more when the annotator 15 refers to the related medical information 21 than when the annotator 15 does not refer to the related medical information 21. is high. Therefore, the quality of the annotation information 23 can be properly evaluated.
  • the related medical information 21 includes a different device medical image 22 captured by a medical imaging device different from the generation source medical image 20 .
  • a medical imaging device different from the generation source medical image 20 .
  • the quality of annotation information 23 can be improved.
  • the related medical information 80A includes the separate device medical image 22, like the related medical information 21 of the first embodiment.
  • Related medical information 80B includes medical images 81 of different dates. The different date/time medical image 81 is captured by the same medical imaging apparatus as the generation source medical image 20 at a capture date and time different from that of the generation source medical image 20, typically before the generation source medical image 20. This is an image.
  • Related medical information 80C includes specimen test data 82 .
  • the sample test data 82 is data representing the result of a sample test performed on the patient of the generation source medical image 20 . Specimen tests include blood tests, urine tests, stool tests, and the like.
  • the related medical information 80D includes pathological diagnosis results 83.
  • the pathological diagnosis result 83 is the result of a pathologist's microscope observation and diagnosis of a lesion such as a tumor collected from the patient of the generation source medical image 20 .
  • Related medical information 80E includes CAD (Computer-Aided Diagnosis) processing results 84 .
  • a CAD processing result 84 is a result obtained by applying a ready-made CAD processing program to the original medical image 20 .
  • the CAD processing result 84 is, for example, a frame surrounding a portion where a liver tumor is thought to exist.
  • the derivation unit 68 (not shown) of this embodiment derives the evaluation information 92 using the evaluation level table 91 .
  • the evaluation level table 91 registers the evaluation level of the annotation information 23 corresponding to the number of related medical information referred to by the annotator 15 . Specifically, when the number of related medical information referred to by the annotator 15 is 0, an evaluation level of 1 is registered, and when the number of related medical information referred to by the annotator 15 is 1, an evaluation level of 2 is registered. .
  • an evaluation level of 3 is registered, and when the number of related medical information referred to by the annotator 15 is 4 or 5, an evaluation level of 4 is registered. There is The evaluation level is 4 being the highest and 1 being the lowest. Note that the evaluation levels may be represented by A to D or the like.
  • FIG. 12 shows the case where the annotator 15 refers to two of the five types of related medical information 80A to 80E, the medical image 22 of another device (related medical information 80A) and the pathological diagnosis result 83 (related medical information 80D). exemplified.
  • the derivation unit 68 derives the evaluation level 3 as the evaluation information 92 .
  • the derivation unit 68 derives the evaluation information 92 according to the number of related medical information referred to by the annotator 15 among the plurality of types of related medical information 80A to 80E.
  • complicated determination is added, so that evaluation information 92 with higher reliability can be derived.
  • the evaluation level is derived according to the number of referenced related medical information regardless of the types of the five types of related medical information 80A to 80E, but the present invention is not limited to this.
  • the evaluation may be weighted according to the type of related medical information 80A-80E. For example, when referring to related medical information based on the diagnosis result of a method different from the diagnosis related to the medical image, such as the sample test data 82 and the pathological diagnosis result 83, the medical image 22 of another device and the medical image 81 of another date and time are referred to. A higher evaluation may be given than when at least one of the image information and the CAD processing result 84 indicating the image processing result is referred to.
  • the number of related medical information referred to by the annotator 15 is counted as +2 for each case, and the medical image 22
  • image information such as the medical image 81 of another date and time is referred to, the number of related medical information referred to by the annotator 15 is counted as +1 per case.
  • the annotator terminal 11 generates operation history information 100 in this embodiment.
  • the operation history information 100 is a history of various operations on the source medical image 20 displayed in the source medical image display area 33 of the annotation information generation screens 30A and 30B.
  • the operation history information 100 indicates whether or not an enlargement operation has been performed on the generation source medical image 20 in the generation source medical image display area 33, and the display gradation of the generation source medical image 20 in the generation source medical image display region 33. Indicates whether a change operation has been performed.
  • FIG. 13 illustrates a case where an enlarging operation for enlarging the liver portion is performed.
  • FIG. 13 illustrates a case where a display gradation change operation for changing the window level from 130 to 60 and the window width from 250 to 100 is also performed.
  • the annotator terminal 11 transmits the operation history information 100 to the information processing server 10 together with the annotation information 23 and the reference history information 24 .
  • the information receiving unit 67 of this embodiment acquires the annotation information 23 and the reference history information 24 by receiving the operation history information 100 .
  • the reference history information 90 of the second embodiment is used.
  • the derivation unit 68 (not shown) of this embodiment derives the evaluation information 102 using the evaluation level table 101 based on the reference history information 90 and the operation history information 100 .
  • the evaluation level table 101 registers the evaluation level of the annotation information 23 corresponding to the number of related medical information referred to by the annotator 15 and the added value of the number of operations performed on the original medical image 20 . Specifically, when the added values are 0 and 1, the evaluation level 1 is registered, and when the added values are 2 and 3, the evaluation level 2 is registered. Further, when the added values are 4 and 5, the evaluation level 3 is registered, and when the added values are 6 and 7, the evaluation level 4 is registered. As in the second embodiment, 4 is the highest evaluation level and 1 is the lowest.
  • FIG. 14 illustrates a case where both the enlargement operation of the generation source medical image 20 and the display gradation change operation are performed.
  • the information receiving unit 67 acquires the operation history information 100 of the annotator 15 with respect to the original medical image 20 when the annotation information 23 was generated by receiving it from the annotator terminal 11 .
  • the derivation unit 68 derives the evaluation information 102 based on the operation history information 100 in addition to the reference history information 90 . Therefore, the quality of the annotation information 23 can be evaluated more accurately than in the first embodiment in which the evaluation information 70 is derived only from the reference history information 24 .
  • the operation history information 100 is information related to enlargement operations and display gradation change operations.
  • the enlargement operation is necessary for observing the region to be labeled in more detail.
  • the display gradation change operation is necessary to make the area to be labeled easier to see. In this way, if the operation history information 100 is information related to the enlargement operation and the display gradation change operation that are essential for accurate labeling, it can contribute to accurate evaluation of the quality of the annotation information 23 .
  • FIG. 13 illustrates the operation history information 100 for the generation source medical image 20, it is not limited to this.
  • operation history information 105 is generated for the medical image 22 displayed on the related medical information display area 40 of the annotation information generation screen 30B.
  • the operation history information 105 indicates whether or not an enlarging operation has been performed on the medical image 22 of the related medical information display area 40, and whether or not the medical image 22 of the related medical information display area 40 has been enlarged. Indicates whether or not the display gradation change operation of the image 22 has been performed.
  • FIG. 15 illustrates a case where an enlarging operation for enlarging the liver portion is performed.
  • FIG. 15 illustrates a case where a display gradation change operation for changing the window level from 150 to 100 and the window width from 200 to 150 is also performed.
  • the operation history information 100 and 105 may be information related to at least one of the enlargement operation and the display gradation change operation. Further, whether or not a parallel movement operation has been performed may be added to the operation history information 100 and 105 .
  • the aspect shown in FIG. 16 may be implemented in the annotator terminal 11 as an example. That is, when the annotator 15 performs, for example, an operation to change the display gradation of the original medical image 20 (step ST200) and assigns a label corresponding to a certain class (step ST210), the changed display gradation is applied. It is determined whether or not it is within the recommended range of the labeled label (step ST220). Then, when it is determined that the changed display gradation is within the recommended range of the given label (YES in step ST220), "implementation" is registered in the display gradation change operation of the operation history information 100 (step ST230).
  • step ST240 unimplemented display gradation change operation is registered in the operation history information 100 (step ST240). ).
  • the recommended range of display gradation is set in advance for each class.
  • the recommended range of display gradation is set based on, for example, an average value of display gradation set by an unspecified number of annotators 15 when assigning a label corresponding to the class.
  • the display gradation change operation it is determined whether or not the display gradation change operation has been performed based on whether or not the display gradation has been changed to the recommended range, which is the condition based on the generation source medical image 20 to be displayed or the related medical information 21. It is not limited to this. Even if the condition based on the generation source medical image 20 or the related medical information 21 is not satisfied, if there is some display gradation change operation, the display gradation change operation may be performed unconditionally. Also, in the case of an enlargement operation, if the area displayed by the enlargement operation is labeled, it is determined that the enlargement operation has been performed, and if the area displayed by the enlargement operation is not labeled, the enlargement operation is performed. It may be determined that the operation was not performed.
  • the same source medical image 20 is transmitted to a plurality of annotator terminals 11 to cause a plurality of annotators 15 to generate annotation information 23, and based on the average value of display gradation set at that time, display A recommended range of gradations may be set. Also, the recommended range of display gradation may be set for each organ and/or for each disease.
  • step ST300 when related medical information 21 is displayed in related medical information display area 40 (step ST300), and there is some operation on related medical information 21 by annotator 15 (YES in step ST310), annotator 15 It is determined that the medical information 21 has been referred to, and the fact that the related medical information 21 has been referred to is registered in the reference history information 90 (step ST320). On the other hand, if the annotator 15 did not perform any operation on the related medical information 21 (NO in step ST310), it is determined that the annotator 15 did not refer to the related medical information 21, and the related medical information 21 is stored in the reference history information 90. is registered (step ST330).
  • the annotator 15 determines that the medical image 22 of another device has been referred to, and to the reference history information.
  • the annotator 15 may refer to the medical image 81 of another date and time, and register that effect in the reference history information.
  • the medical images 22 and the like are displayed only when the related medical information reference button 36 is operated.
  • the medical image 22 of another device or the like may be automatically displayed without waiting for the operation of the annotator 15 . Therefore, when it is determined that the annotator 15 refers to the medical image 22 or the like of the another device simply by displaying the medical image 22 or the like of the another device, the accuracy of the quality evaluation of the annotation information 23 may be impaired. Therefore, in the 3_2 embodiment, it is determined that the annotator 15 refers to the related medical information 21 when the annotator 15 performs some operation on the related medical information 21 . Therefore, the accuracy of the quality evaluation of the annotation information 23 can be ensured.
  • the operation history information is not limited to the enlargement operation and display gradation change operation for the related medical information 21 .
  • the annotator terminal 11 may measure the display time of the related medical information 21, and if the display time is equal to or longer than a preset threshold, it may be determined that the related medical information 21 has been referred to.
  • the display time of the related medical information 21 may be transmitted from the annotator terminal 11 to the information processing server 10, and the information processing server 10 may determine whether or not the related medical information 21 has been referred to.
  • the annotator terminal 11 has a line-of-sight detection function of the annotator 15, detects the line-of-sight of the annotator 15 browsing the annotation information generation screen 30B, and places the line-of-sight in the related medical information display area 40 where the related medical information 21 is displayed.
  • the calculated time is transmitted to the information processing server 10 as operation history information accompanying the related medical information 21 .
  • the information processing server 10 may determine that the related medical information 21 has been referred to when the gaze recorded in the operation history information is for a predetermined period (for example, three minutes in total).
  • the annotator terminal 11 transmits attribute information 110 of the annotator 15 to the information processing server 10 together with annotation information 23 and reference history information 90 .
  • the information receiving unit 67 of this embodiment acquires the annotation information 23 and the reference history information 90 by receiving the attribute information 110 .
  • the attribute information 110 includes length of service, qualification, and busyness of the annotator 15 .
  • Qualifications include radiation diagnostic specialists and the like, in addition to radiology training instructors.
  • the degree of busyness is obtained when the annotator 15 inputs his or her busyness to the annotator terminal 11 .
  • the degree of busyness includes "busy" as an example, "normal" and "not busy".
  • the derivation unit 68 (not shown) of the present embodiment generates the evaluation level table 91 and the evaluation level increase/decrease value of the second embodiment based on the reference history information 90 and the attribute information 110.
  • Evaluation information 112 is derived using the table 111 .
  • the evaluation level increase/decrease value table 111 registers the evaluation level increase/decrease value for each content of the attribute information 110 . Specifically, if the length of service is 20 years or more, an increase/decrease value of +1 is registered, and if the length of service is less than 5 years, an increase/decrease value of -1 is registered. If the person is qualified (qualified person), an increase/decrease value of +1 is registered, and if the busyness degree is "busy", an increase/decrease value of -1 is registered.
  • FIG. 19 illustrates the case of the annotator 15 who has worked for 22 years, is qualified as a radiology training instructor, and has a busyness degree of "busy".
  • the number of related medical information referred to by the annotator 15 is 2
  • qualified +1
  • the information receiving unit 67 acquires the attribute information 110 of the annotator 15 by receiving it from the annotator terminal 11 .
  • the derivation unit 68 derives the evaluation information 112 based on the attribute information 110 in addition to the reference history information 90 . Therefore, the quality of the annotation information 23 can be evaluated more accurately than in the first embodiment in which the evaluation information 70 is derived only from the reference history information 24 .
  • the annotation information 23 generated by the annotators 15 with relatively long years of service or the annotators 15 of qualified persons has a relatively high quality evaluation.
  • the annotation information 23 generated by an annotator 15 with relatively short years of service or a busy annotator 15 has a relatively low quality evaluation.
  • Annotators 15 with relatively long service years or qualified annotators 15 are considered to have relatively high labeling accuracy.
  • annotators 15 with relatively short years of service or busy annotators 15 are considered to have relatively low labeling accuracy. Therefore, it is possible to evaluate the quality adapted to the attributes of the annotator 15 .
  • the evaluation information may be derived based on the reference history information 90, the operation history information 100 or 105, and the attribute information 110 by applying the 3_1 embodiment and/or the 3_2 embodiment.
  • the attribute information 110 is transmitted from the annotator terminal 11, it is not limited to this.
  • the attribute information 110 is stored in the storage 50 of the information processing server 10 for each annotator ID (Identification Data) for identifying the annotator 15 . Then, the annotator terminal 11 transmits the annotator ID.
  • the information processing server 10 acquires the attribute information 110 corresponding to the annotator ID transmitted from the annotator terminal 11 by reading it from the storage 50 .
  • the degree of busyness may be derived from the annotator 15's attendance sheet, schedule, or the like. For example, if the worker leaves work after 21:00 for two consecutive days, it is determined that the worker is busy. Alternatively, it is determined that a week with regular meetings, lectures, conferences, etc. is busy.
  • the attribute information 110 may include the specialized field of the annotator 15 .
  • the evaluation level is incremented by +1 if the task is related to the specialized field.
  • the number of published papers by the annotator 15 may be included in the attribute information. In this case, if the number of published papers is equal to or greater than the first threshold, the evaluation level is incremented by 1, and if the number of published papers is less than the second threshold, the evaluation level is decremented by -1.
  • the information processing server 120 of this embodiment includes a storage 121, a processor 122, a display 123, and an input device 124.
  • the storage 121 stores a machine learning model 131 in addition to the original medical image 20, the annotation information 23, the evaluation information 92, and the operating program 130 (the related medical information 21, the reference history information 90, etc. are not shown).
  • the evaluation information 92 may be the evaluation information 102 or the evaluation information 112 .
  • the processor 122 When the operating program 130 is activated, the processor 122 cooperates with a memory (not shown) or the like to operate the display control unit 135, the instruction It functions as a reception unit 136 and a learning unit 137 .
  • the annotation information 23 and the evaluation information 92 are input to the display control unit 135 .
  • the display control unit 135 controls display of the correct data selection screen 140 (see FIG. 21) based on the annotation information 23 and the evaluation information 92 on the display 123 .
  • the instruction receiving unit 136 receives a correct data selection instruction through the correct data selection screen 140 by the input device 124 .
  • the learning unit 137 provides the machine learning model 131 with the generation source medical image 20 and the annotation information 23 selected on the correct data selection screen 140 as correct data, and causes the machine learning model 131 to learn.
  • the correct data selection screen 140 displayed on the display 123 under the control of the display control section 135 has a selection section 141 by annotation information and a selection section 142 by evaluation level.
  • the annotation information-based selection section 141 and the evaluation level-based selection section 142 are provided with check boxes 143 and 144 for alternatively selecting one of the selection sections 141 and 142 .
  • the annotation information selection section 141 lists the evaluation level, annotation information ID, creation date, and name of the annotator 15 for each piece of annotation information 23 . Further, the annotation information-based selection unit 141 is provided with check boxes 145 and 146 for selecting whether to use each piece of annotation information 23 in the learning phase of the machine learning model 131 or in the accuracy evaluation phase. The annotation information selection section 141 can be scrolled up and down.
  • the number of pieces of annotation information 23 for each evaluation level is listed in the evaluation level selection section 142 .
  • the evaluation level selection unit 142 is provided with check boxes 147 and 148 for selecting whether to use for the learning phase of the machine learning model 131 or for the accuracy evaluation phase for each evaluation level.
  • the number of referenced related medical information corresponding to each evaluation level may be displayed in the evaluation level selection section 142 .
  • the development user of the machine learning model 131 selects annotation information 23 to be used as correct data in the learning phase and accuracy evaluation phase of the machine learning model 131 by appropriately selecting check boxes 143 to 148 on the correct data selection screen 140. After selecting the annotation information 23 , the development user of the machine learning model 131 selects the learning start button 149 arranged at the lower right of the correct data selection screen 140 . As a result, the correct data selection instruction is accepted by the instruction accepting unit 136 .
  • FIG. 21 illustrates a case where the check box 144 of the evaluation level selection section 142 is selected. Also, in FIG. 21, the annotation information 23 with an evaluation level of 4 in the evaluation information 92 is selected for the accuracy evaluation phase, and the annotation information 23 with an evaluation level of 1 to 3 in the evaluation information 92 is selected for the learning phase. indicates the case.
  • the instruction receiving unit 136 outputs a correct data selection instruction to the learning unit 137 .
  • the learning unit 137 provides the machine learning model 131 with the annotation information 23 according to the correct data selection instruction for learning.
  • the instruction receiving unit 136 receives selection of annotation information 23 to be used as correct data. Therefore, the annotation information 23 desired by the development user of the machine learning model 131 can be given to the machine learning model 131 for learning.
  • annotation information-based selection unit 141 it is possible to finely select for each annotation information 23 whether or not to use it as correct data.
  • evaluation level-based selection unit 142 it is possible to select whether or not to use the data as the correct answer data in a large group such as each evaluation level.
  • evaluation level-based selection unit 142 it is possible to save labor for selecting correct data compared to the case where the annotation information-based selection unit 141 selects each annotation information 23 .
  • the user terminal operated by the development user of the machine learning model 131 may be separate from the information processing server.
  • the machine learning model 131 is stored in the storage of the user terminal.
  • the information processing server transmits the annotation information 23 and the evaluation information 92 that form the basis of the correct data selection screen 140 to the user terminal.
  • the user terminal Based on the annotation information 23 and the evaluation information 92 from the information processing server, the user terminal generates a correct data selection screen 140 and displays it on the display.
  • the user terminal transmits a correct data selection instruction indicating the selection state of the correct data selection screen 140 to the information processing server.
  • the information processing server accepts a correct data selection instruction.
  • the generation source medical image 20 and the annotation information 23 corresponding to the correct data selection instruction are transmitted to the user terminal.
  • the user terminal supplies the source medical image 20 and the annotation information 23 from the information processing server to the machine learning model 131 for learning.
  • the machine learning model 131 may be learned using the annotation information 23 of evaluation level 1, the annotation information 23 of evaluation level 2, the annotation information 23 of evaluation level 3, and the annotation information 23 of evaluation level 4 as correct data. In this case, the machine learning model 131 with the highest accuracy among the machine learning models 131 using the annotation information 23 of each evaluation level as correct data is used in the practical phase.
  • the reference history information corresponding to the evaluation level of the annotation information 23 used for the machine learning model 131 with the highest accuracy may be recommended to the annotator 15 .
  • the processor of the information processing server of this embodiment functions as an information transmission section 160 in addition to the processing sections 65 to 68 (not shown) of the first embodiment.
  • the information transmission unit 160 transmits the overall outline information 161 and the individual outline information 162 to the annotator terminal 11 .
  • the overall overview information 161 indicates an overview of the evaluation information 92 of all annotation information 23 generated for use as correct data for a certain machine learning model.
  • the individual summary information 162 is the evaluation information 92 of the annotation information 23 generated by the annotator 15 of the annotator terminal 11 to which the individual summary information 162 is sent, among the annotation information 23 generated for use as correct data for a certain machine learning model.
  • the overall outline information 161 and the individual outline information 162 are information in which the number of pieces of annotation information 23 is registered for each evaluation level of the evaluation information 92 .
  • the overall outline information 161 and the individual outline information 162 are statistical information on the number of pieces of annotation information 23 .
  • the evaluation information 92 may be the evaluation information 102 or the evaluation information 112 .
  • an evaluation overview display screen 170 shown in FIG. 23 is displayed on the display 13 as an example.
  • the evaluation overview display screen 170 has an overall overview information display area 171 and an individual overview information display area 172 .
  • the overall overview information display area 171 the overall overview information 161 and the ratio of the number of pieces of annotation information 23 for each evaluation level are displayed.
  • the individual summary information display area 172 displays the individual summary information 162 and the ratio of the number of pieces of annotation information 23 for each evaluation level.
  • the display of the evaluation summary display screen 170 disappears when the confirmation button 173 arranged on the lower right is selected.
  • the information transmitting unit 160 sends the annotator terminal 11 operated by the annotator 15 the overall outline information 161 showing the outline of the evaluation information 92 of all the annotation information 23 and the individual annotators 15 Individual overview information 162 indicating an overview of the evaluation information 92 of the generated annotation information 23 is transmitted. Therefore, the annotator 15 can compare the difference in the evaluation information 92 between the whole and the self. For example, if the rate of evaluation levels 4 and 3 for the individual summary information 162 is higher than the rate of evaluation levels 4 and 3 for the overall summary information 161, the annotation information 23 generated by the self is rated relatively highly. You can see that your own labeling method is not so out of place. Note that at least one of the overall overview information 161 and the individual overview information 162 may be sent to the annotator terminal 11 without being limited to both the overall overview information 161 and the individual overview information 162 .
  • the acceptance or rejection of the annotation information 23 for the correct data may be registered for each evaluation level of the evaluation information 92 .
  • an adoption rate display area 182 is provided below the individual summary information display area 181 to display the adoption rate.
  • the adoption rate is obtained by dividing the number of pieces of annotation information 23 adopted as correct data by the total number of pieces of annotation information 23 generated by the annotator 15 of the annotator terminal 11 to which the individual summary information 175 is sent.
  • At least one of the ratio of annotation information 23 for each evaluation level and the calculation of the adoption rate may be performed by at least one of the information processing server 120 and the annotator terminal 11 .
  • the ratio to the whole of the annotation information 23 associated with the whole or each annotator 15 is exemplified, but it is not limited to this.
  • the ratio may indicate the ratio of individual annotation information 23 to all annotation information 23 .
  • the number of items of all annotation information 23 is 51
  • the image transmission unit 66 of the present embodiment sends annotation information Retransmit original medical image 20 and related medical information 21 for the purpose of prompting correction of 23 .
  • the image transmission unit 66 attaches the recommended information 190 .
  • the recommendation information 190 stores what the annotator 15 should do to raise the evaluation level. Specifically, the recommendation information 190 stores the recommended range of the window level and window width when each class is labeled.
  • a message prompting correction of the annotation information 23 and an annotation information generation screen including the recommended information 190 are displayed on the display 13. .
  • the annotator 15 is prompted to correct the annotation information 23 with relatively low quality evaluation. Also, at that time, the recommended information 190 is attached so that the quality of the annotation information 23 after correction is highly evaluated. Therefore, the annotation information 23 with relatively low quality evaluation can be effectively corrected to the annotation information 23 with high quality.
  • the recommended information 190 may include a note that at least two types of related medical information 21 are referred to.
  • the recommended information 190 may be transmitted together with the original medical image 20 and the related medical information 21 to be transmitted to the annotator terminal 11 in order to request generation of the annotation information 23 first.
  • the annotator terminal 11 may display the related medical information 21 in parallel along with the recommended information 190 .
  • the annotator terminal 11 receives the recommended information 190 including a caution to refer to two or more types of related medical information 21, when the generation end button 38 is operated, It is determined whether or not there are two or more types of medical information 21, and if the referenced related medical information 21 is not of two or more types, the display of the related medical information display area 40 is automatically switched to display the annotator 15. may be forced to refer to two or more types of related medical information 21 .
  • the original medical image 20 and the related medical information 21 are transmitted from the information processing server 10 to the annotator terminal 11, but the present invention is not limited to this.
  • an image management server that accumulates and manages the original medical image 20 and a related medical information management server that accumulates and manages the related medical information 21 are provided.
  • the source medical image 20 and related medical information 21 may be transmitted to the annotator terminal 11 .
  • the generation source medical image 20 is not limited to an abdominal tomographic image captured by the illustrated CT apparatus.
  • a tomographic image of the head taken by an MRI (Magnetic Resonance Imaging) device may be used.
  • medical images are not limited to three-dimensional images such as tomographic images.
  • it may be a two-dimensional image such as a simple radiographic image.
  • a PET (Positron Emission Tomography) image, a SPECT (Single Photon Emission Computed Tomography) image, an endoscopic image, an ultrasound image, a fundus examination image, or the like may be used.
  • the separate device medical image 22 is not limited to an abdominal tomographic image captured by the illustrated MRI device.
  • the type information of the medical imaging apparatus is attached to each separate apparatus medical image 22 .
  • FIG. 27 illustrates a separate device medical image 22A captured by an MRI device, a separate device medical image 22B captured by a simple radiography device, and a separate device medical image 22C captured by an ultrasonic imaging device. .
  • the count number of the related medical information referred to by the annotator 15 may be changed.
  • the count number when referring to the separate device medical image 22A captured by the MRI device is 1, the separate device medical image 22B captured by the simple radiation imaging device, and the separate device medical image captured by the ultrasonic imaging device 22C is referred to is 0.5. In this way, it is possible to differentiate between the separate-device medical image 22 that contributes relatively to the generation of the annotation information 23 and the separate-device medical image 22 that contributes relatively less.
  • each date and time medical image 81 is attached with information on the shooting date and time.
  • FIG. 28 illustrates a different date/time medical image 81A taken on March 24, 2021, and another date/time medical image 81B taken on March 17, 2021, one week earlier.
  • the count number of the related medical information referred to by the annotator 15 may be changed according to the imaging date and time of the separate date and time medical image 81 .
  • the count number is 1 when referring to the most recent medical image 81A of another date and time, and 0 when referring to the medical image 81B of another date and time taken one week before the medical image 81A of another date and time. .5.
  • the classes to be labeled are not limited to the examples of liver, tumor, and bleeding.
  • Other organs such as the brain, eyes, spleen, and kidneys or anatomical parts of organs such as vertebrae and bones such as ribs, S1-S10 of the lung, pancreatic head, pancreatic body, and pancreatic tail, and more.
  • different classes of labels may be assigned to the same region, such as two labels, tumor and hemorrhage, to a bleeding site of a tumor.
  • a label is given in units of pixels of the generation source medical image 20, this is not the only option.
  • a label may be given to a rectangular frame (when the source medical image 20 is a two-dimensional image) or a box-shaped frame (when the source medical image 20 is a three-dimensional image) surrounding the entire class such as tumor. good.
  • the label may be assigned to the source medical image 20 itself instead of being attached to the region of the source medical image 20 .
  • the presence or absence of onset of dementia is given as a label to a tomographic image of the head taken by an MRI apparatus.
  • Various screens such as the annotation information generation screen 30A are sent from the information processing server 10 or 120 to the annotator terminal 11 in the form of screen data for web distribution created in a markup language such as XML (Extensible Markup Language).
  • XML Extensible Markup Language
  • the annotator terminal 11 reproduces various screens to be displayed on the web browser based on the screen data and displays them on the display 13 .
  • JSON Javascript (registered trademark) Object Notation
  • the operation history information 100 and 105 of the 3_1 embodiment is transmitted to the information processing server 10 or 120 side. may be generated.
  • the hardware configuration of the computer that configures the information processing server 10 can be modified in various ways.
  • the information processing server 10 can be composed of a plurality of server computers separated as hardware for the purpose of improving processing capability and reliability.
  • the functions of the RW control unit 65, the image transmission unit 66, the information reception unit 67, and the function of the derivation unit 68 are distributed to two server computers.
  • the information processing server 10 is composed of two server computers. A part or all of the functions of the processing units 65 to 68 of the information processing server 10 may be performed by the annotator terminal 11 .
  • the hardware configuration of the computer of the information processing server 10 can be appropriately changed according to required performance such as processing power, safety, and reliability.
  • APs such as the operation program 60 can of course be duplicated or distributed and stored in multiple storages for the purpose of ensuring safety and reliability.
  • various processes such as the RW control unit 65, the image transmission unit 66, the information reception unit 67, the derivation unit 68, the display control unit 135, the instruction reception unit 136, the learning unit 137, and the information transmission unit 160
  • the various processors include FPGAs (Field Programmable Gate Arrays), etc., which have circuit configurations after manufacture.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of a plurality of FPGAs and/or a CPU and combination with FPGA). Also, a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including multiple processing units with a single IC (Integrated Circuit) chip. be.
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit combining circuit elements such as semiconductor elements can be used.
  • the evaluation information is preferably of higher quality when the annotator refers to the relevant medical information than when the annotator does not refer to the relevant medical information.
  • the related medical information preferably includes at least a different device medical image captured by a medical imaging device different from the source medical image.
  • Appendix 3 There are multiple types of related medical information, and the processor preferably derives the evaluation information according to the number of related medical information referred to by the annotator among the multiple types of related medical information.
  • the processor acquires operation history information of the annotator for at least one of the generation source medical image and the related medical information when the annotation information is generated, and based on the operation history information in addition to the reference history information It is preferable to derive the evaluation information by
  • the operation history information is preferably information related to at least one of the enlargement operation and the display gradation change operation.
  • the processor obtains the annotator's attribute information and derives the evaluation information based on the attribute information in addition to the reference history information.
  • the processor preferably accepts selection of annotation information to be used as correct data.
  • the processor provides an annotator terminal operated by an annotator with at least one of overall overview information indicating an overview of evaluation information of all annotation information and individual overview information indicating an overview of evaluation information of annotation information generated by individual annotators. It is preferred to send one or the other.
  • the technology of the present disclosure can also appropriately combine various embodiments and/or various modifications described above. Moreover, it is needless to say that various configurations can be employed without departing from the scope of the present invention without being limited to the above embodiments. Furthermore, the technology of the present disclosure extends to storage media that non-temporarily store programs in addition to programs.
  • a and/or B is synonymous with “at least one of A and B.” That is, “A and/or B” means that only A, only B, or a combination of A and B may be used.
  • a and/or B means that only A, only B, or a combination of A and B may be used.

Abstract

プロセッサを備え、プロセッサは、医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報のアノテータによる参照履歴情報を取得し、参照履歴情報に基づいて、アノテーション情報の品質を表す評価情報を導出する、情報処理装置。

Description

情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
　本開示の技術は、情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムに関する。
　例えばＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）装置により撮影された腹部断層画像内の腫瘍を画素単位で認識する等、医用画像を解析するための機械学習モデルが開発されている。こうした機械学習モデルでは、学習フェーズ、あるいは精度評価フェーズにおいて、正解データとしてのアノテーション情報が必要となる。アノテーション情報は、例えば、正解データにおいて対となる元の医用画像に、認識対象の被写体であるクラスに応じたラベルを付与することで生成された情報である。上記の腹部断層画像の例では、アノテーション情報は、元の医用画像である腹部断層画像内の腫瘍の画素に、「腫瘍」というラベルを付与することで生成された情報となる。
　特開２０２０－０８６５１９号公報には、医用画像に関する教師データ（正解データ）を取得する取得部と、取得部により取得された教師データに、教師データの作成状況（作成所要時間、付与したラベルへの自信度等）または教師データを作成した作成者に関する情報（経験年数、資格、繁忙度等）のうち、一方または双方に基づく信頼度情報を付与する信頼度付与部と、を備える、医用画像処理装置が記載されている。
　特開２０１５－１６２１０９号公報には、ネットワークを介して、新規タスクを処理可能なワーカ群のうちエキスパートに新規タスクを割り当てるタスク割り当てサーバであって、ワーカ群の各ワーカが過去に処理したタスクの情報を少なくとも含むワーカ群情報を記憶するワーカＤＢ（Ｄａｔａ　Ｂａｓｅ）と、ワーカ群情報に基づいて、ワーカ群の各ワーカを複数のクラスタのいずれかに分類するクラスタ作成機能部と、新規タスクの一部であるテストタスクの処理結果に基づいて、複数のクラスタのうちの１つに属するワーカを、エキスパートとする処理結果解析機能部と、を備える、タスク割り当てサーバが記載されている。
　本開示の技術に係る１つの実施形態は、アノテーション情報の品質をより正確に評価することが可能な情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラムを提供する。
　本開示の情報処理装置は、プロセッサを備え、プロセッサは、医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報のアノテータによる参照履歴情報を取得し、参照履歴情報に基づいて、アノテーション情報の品質を表す評価情報を導出する。
　本開示の情報処理装置の作動方法は、医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報のアノテータによる参照履歴情報を取得すること、並びに、参照履歴情報に基づいて、アノテーション情報の品質を表す評価情報を導出すること、を含む。
　本開示の情報処理装置の作動プログラムは、医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報のアノテータによる参照履歴情報を取得すること、並びに、参照履歴情報に基づいて、アノテーション情報の品質を表す評価情報を導出すること、を含む処理をコンピュータに実行させる。
情報処理システムを示す図である。 情報処理サーバとアノテータ端末との間で送受信される情報を示す図である。 アノテーション情報を示す図である。 アノテーション情報生成画面を示す図である。 関連医療情報が表示されたアノテーション情報生成画面を示す図である。 関連医療情報参照ボタンの操作の有無に応じた参照履歴情報を示す図である。 情報処理サーバを構成するコンピュータを示すブロック図である。 情報処理サーバのプロセッサの処理部を示すブロック図である。 参照履歴情報の内容に応じた評価情報を示す図である。 情報処理サーバの処理手順を示すフローチャートである。 五種の関連医療情報を示す図である。 五種の関連医療情報のうちでアノテータが参照した関連医療情報の数に応じて、評価情報を導出する第２実施形態を示す図である。 アノテーション情報を生成した際の生成元医用画像に対するアノテータの操作履歴情報を情報受信部で受信する様子を示す図である。 参照履歴情報に加えて、操作履歴情報にも基づいて評価情報を導出する第３＿１実施形態を示す図である。 アノテーション情報を生成した際の別装置医用画像に対するアノテータの操作履歴情報を情報受信部で受信する様子を示す図である。 推奨範囲の表示階調に変更した場合に限り、操作履歴情報の表示階調変更操作に実施を登録する態様を示すフローチャートである。 アノテータによる関連医療情報に対する何らかの操作があった場合に、アノテータが関連医療情報を参照したと判断する第３＿２実施形態を示すフローチャートである。 アノテータ端末からのアノテータの属性情報を情報受信部で受信する様子を示す図である。 参照履歴情報に加えて、属性情報にも基づいて評価情報を導出する第４実施形態を示す図である。 第５実施形態の情報処理サーバのプロセッサの処理部を示すブロック図である。 正解データ選択画面を示す図である。 全体概要情報および個別概要情報をアノテータ端末に送信する第６実施形態を示す図である。 評価概要表示画面を示す図である。 個別概要情報の別の例を示す図である。 評価概要表示画面の別の例を示す図である。 アノテータ端末に生成元医用画像、関連医療情報、および推奨情報を送信する第７実施形態を示す図である。 複数種の別装置医用画像を含む関連医療情報を示す図である。 複数種の別日時医用画像を含む関連医療情報を示す図である。
　［第１実施形態］
　一例として図１に示すように、情報処理システム２は、情報処理サーバ１０と複数台のアノテータ端末１１とを備える。情報処理サーバ１０とアノテータ端末１１とは、ネットワーク１２を介して相互通信可能に接続されている。ネットワーク１２は、例えばインターネット、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。
　情報処理サーバ１０は、例えばサーバコンピュータ、ワークステーション等であり、本開示の技術に係る「情報処理装置」の一例である。アノテータ端末１１はディスプレイ１３および入力デバイス１４を有する。アノテータ端末１１はアノテータ１５により操作される。アノテータ端末１１は、例えばパーソナルコンピュータ、タブレット端末等である。アノテータ１５は例えば医師であり、情報処理サーバ１０からアノテーション情報２３（図２参照）の生成を依頼される。なお、入力デバイス１４は、例えば、キーボード、マウス、タッチパネル、マイク、およびジェスチャー認識装置等の少なくともいずれか一つである。
　一例として図２に示すように、情報処理サーバ１０は、アノテータ端末１１に生成元医用画像２０を送信する。ここでは生成元医用画像２０としてＣＴ装置により撮影されたアキシャル断面の腹部断層画像を例示している。生成元医用画像２０は、予め設定されたタスクに基づいた認識対象の被写体であるクラスに応じたラベルを付与するための画像である。
　また、情報処理サーバ１０は、生成元医用画像２０と併せて、アノテータ端末１１に関連医療情報２１を送信する。関連医療情報２１は、生成元医用画像２０に関連する医療情報であり、別装置医用画像２２を含む。別装置医用画像２２は、生成元医用画像２０とは別の医用画像撮影装置（モダリティとも呼ばれる）により、例えば生成元医用画像２０と同日に撮影された画像である。ここでは別装置医用画像２２としてＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）装置により撮影されたアキシャル断面の腹部断層画像を例示している。
　アノテータ端末１１は生成元医用画像２０をディスプレイ１３に表示する。アノテータ端末１１は、入力デバイス１４を介して、アノテータ１５からの生成元医用画像２０の画素単位でのラベルの付与の入力を受け付ける。こうしてアノテータ端末１１においてアノテータ１５によりアノテーション情報２３が生成される。
　本例の生成元医用画像２０は腹部断層画像であるため、アノテーション情報２３は、腹部断層画像の断層面毎に生成される。なお、図２においては、理解を助けるため、アノテーション情報２３に人体構造を描画しているが、実際のアノテーション情報２３は人体構造のデータを含まず、付与されたラベルのデータのみを含む（以降の図３等も同様）。より詳しくは、アノテーション情報２３は、ラベルの種別と、ラベルが付与された生成元医用画像２０の画素の位置座標との組が登録された情報である。
　また、アノテータ端末１１は、アノテータ１５からの指示に応じて、関連医療情報２１の別装置医用画像２２をディスプレイ１３に表示する。アノテータ端末１１は、関連医療情報２１をアノテータ１５が参照したか否かを表す参照履歴情報２４を生成する。
　アノテータ端末１１は、アノテーション情報２３および参照履歴情報２４を情報処理サーバ１０に送信する。情報処理サーバ１０は、アノテータ端末１１からのアノテーション情報２３および参照履歴情報２４を受信する。
　本例のタスクで設定されたクラスは、肝臓、肝臓内の腫瘍、および腫瘍内の出血箇所の三つである。このため、一例として図３に示すように、アノテーション情報２３は、肝臓のラベルが付与された第一領域２５と、腫瘍のラベルが付与された第二領域２６と、出血のラベルが付与された第三領域２７とを含む。なお、第二領域２６は、腫瘍が存在しないとアノテータ１５が判断した場合には当然ながら指定されない。第三領域２７も同様に、出血箇所が存在しないとアノテータ１５が判断した場合には指定されない。
　アノテータ端末１１のディスプレイ１３には、一例として図４に示すアノテーション情報生成画面３０Ａが表示される。アノテーション情報生成画面３０Ａは、タスク表示領域３１、ツールボタン群３２、および生成元医用画像表示領域３３等を有する。タスク表示領域３１には、設定されたタスクの内容が表示される。ツールボタン群３２は、タスクで指定されたクラスに応じたラベルをアノテータ１５が指定するための各種ツールのツールボタンにより構成される。各種ツールは、例えば、指定クラス切替ツール、線描画ツール、領域塗り潰しツール、領域消去ツール等である。
　生成元医用画像表示領域３３には生成元医用画像２０が表示される。この生成元医用画像表示領域３３に表示された生成元医用画像２０上で、各種ツールを使用してラベルを付与することにより、アノテーション情報２３が生成される。
　生成元医用画像表示領域３３の下部には、送り戻しボタン３４および表示階調変更ボタン３５が設けられている。送り戻しボタン３４の操作により、生成元医用画像２０のスライス位置を変更することが可能である。スライス位置は、生成元医用画像２０が本例のように断層画像である場合の、断層面の位置を示す。また、表示階調変更ボタン３５の操作により、ウィンドウレベル（ＷＬ：Ｗｉｎｄｏｗ　Ｌｅｖｅｌ）およびウィンドウ幅（ＷＷ：Ｗｉｎｄｏｗ　Ｗｉｄｔｈ）を変更することが可能である。ウィンドウレベルおよびウィンドウ幅は、生成元医用画像２０の表示階調に係るパラメータである。ウィンドウレベルは、生成元医用画像２０の原画像の画素値に対して設定される生成元医用画像２０の表示領域の中心値である。ウィンドウ幅は、生成元医用画像２０の表示領域の幅を示す数値である。
　このように、アノテータ１５は、生成元医用画像２０のスライス位置を自由に変更することが可能である。このため、アノテータ１５は、ある特定のスライス位置の生成元医用画像２０を何度も見返すことも可能である。また、アノテータ１５は、生成元医用画像２０の表示階調を自由に変更することが可能である。なお、生成元医用画像表示領域３３の生成元医用画像２０は、平行移動、並びに拡大および縮小することが可能である（図１３参照）。
　アノテーション情報生成画面３０Ａの下部には、さらに関連医療情報参照ボタン３６、一時保存ボタン３７、および生成終了ボタン３８が設けられている。一時保存ボタン３７が操作された場合、それまで生成されたアノテーション情報２３が、アノテータ端末１１のストレージに一時的に保存される。生成終了ボタン３８が操作された場合、生成されたアノテーション情報２３が情報処理サーバ１０に送信される。
　関連医療情報参照ボタン３６が操作された場合、一例として図５に示すアノテーション情報生成画面３０Ｂに遷移する。アノテーション情報生成画面３０Ｂは、生成元医用画像表示領域３３の右横に関連医療情報表示領域４０を有する。関連医療情報表示領域４０には、本例においては別装置医用画像２２が表示される。関連医療情報表示領域４０の下部には、生成元医用画像表示領域３３の下部の送り戻しボタン３４および表示階調変更ボタン３５と同様の機能を有する送り戻しボタン４１および表示階調変更ボタン４２が設けられている。このため、アノテータ１５は、別装置医用画像２２のスライス位置、および表示階調も自由に変更することが可能である。また、関連医療情報表示領域４０の別装置医用画像２２は、平行移動、並びに拡大および縮小することが可能である。
　アノテーション情報生成画面３０Ｂの下部には、関連医療情報参照ボタン３６の代わりに関連医療情報閉じるボタン４３が設けられている。関連医療情報閉じるボタン４３が操作された場合、関連医療情報表示領域４０等が消され、アノテーション情報生成画面３０Ａに表示が戻される。
　一例として図６に示すように、アノテータ端末１１は、生成終了ボタン３８が操作されるまでに、関連医療情報参照ボタン３６の操作に応じて関連医療情報２１である別装置医用画像２２を含むアノテーション情報生成画面３０Ｂをディスプレイ１３に表示した場合、すなわち関連医療情報参照ボタン３６の操作の有無が有りだった場合、関連医療情報２１を参照した旨を表す参照履歴情報２４を情報処理サーバ１０に送信する。一方、アノテータ端末１１は、生成終了ボタン３８が操作されるまでに関連医療情報参照ボタン３６が一度も操作されず、別装置医用画像２２を含むアノテーション情報生成画面３０Ｂをディスプレイ１３に表示しなかった場合、すなわち関連医療情報参照ボタン３６の操作の有無が無しだった場合、関連医療情報２１を参照しなかった旨を表す参照履歴情報２４を情報処理サーバ１０に送信する。
　一例として図７に示すように、情報処理サーバ１０を構成するコンピュータは、ストレージ５０、メモリ５１、プロセッサ５２、通信部５３、ディスプレイ５４、および入力デバイス５５を備えている。これらはバスライン５６を介して相互接続されている。
　ストレージ５０は、情報処理サーバ１０を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ５０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ５０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム（以下、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍ）と略す）、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ５１は、プロセッサ５２が処理を実行するためのワークメモリである。メモリ５１は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）といったＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。プロセッサ５２は、ストレージ５０に記憶されたプログラムをメモリ５１へロードして、プログラムにしたがった処理を実行する。これによりプロセッサ５２は、コンピュータの各部を統括的に制御する。プロセッサ５２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。また、メモリ５１は、本開示の技術に係る「メモリ」の一例である。なお、ストレージ５０、またはストレージ５０およびメモリ５１を、本開示の技術に係る「メモリ」の一例として定義してもよい。
　通信部５３は、ネットワーク１２等を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ５４は各種画面を表示する。各種画面にはＧＵＩ(Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ)による操作機能が備えられる。情報処理サーバ１０を構成するコンピュータは、各種画面を通じて、入力デバイス５５からの操作指示の入力を受け付ける。入力デバイス５５は、キーボード、マウス、タッチパネル、マイク、およびジェスチャー認識装置等の少なくともいずれか一つである。
　一例として図８に示すように、ストレージ５０には、作動プログラム６０が記憶されている。作動プログラム６０は、情報処理サーバ１０を構成するコンピュータを、本開示の技術に係る「情報処理装置」として機能させるためのＡＰである。すなわち、作動プログラム６０は、本開示の技術に係る「情報処理装置の作動プログラム」の一例である。ストレージ５０には、作動プログラム６０の他に、生成元医用画像２０、関連医療情報２１、アノテーション情報２３、および参照履歴情報２４も記憶される。なお、生成元医用画像２０、関連医療情報２１、アノテーション情報２３、および参照履歴情報２４は一つしか描かれていないが、実際は複数の生成元医用画像２０、関連医療情報２１、アノテーション情報２３、および参照履歴情報２４がストレージ５０に記憶される。
　作動プログラム６０が起動されると、プロセッサ５２は、メモリ５１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と略す）制御部６５、画像送信部６６、情報受信部６７、および導出部６８として機能する。
　ＲＷ制御部６５は、ストレージ５０への各種情報の記憶、およびストレージ５０内の各種情報の読み出しを制御する。例えば、ＲＷ制御部６５は、生成元医用画像２０および関連医療情報２１をストレージ５０から読み出し、読み出した生成元医用画像２０および関連医療情報２１を画像送信部６６に出力する。
　生成元医用画像２０および関連医療情報２１を送信するアノテータ端末１１の情報は、予めストレージ５０に登録されている。画像送信部６６は、ＲＷ制御部６５からの生成元医用画像２０および関連医療情報２１を、予め登録されたアノテータ端末１１に送信する。
　情報受信部６７は、アノテータ端末１１からのアノテーション情報２３および参照履歴情報２４を受信する。これにより情報処理サーバ１０はアノテーション情報２３および参照履歴情報２４を取得する。情報受信部６７は、受信したアノテーション情報２３および参照履歴情報２４をＲＷ制御部６５に出力する。ＲＷ制御部６５は、アノテーション情報２３および参照履歴情報２４をストレージ５０に記憶する。また、ＲＷ制御部６５は、参照履歴情報２４をストレージ５０から読み出し、読み出した参照履歴情報２４を導出部６８に出力する。
　導出部６８は、参照履歴情報２４に基づいて、アノテーション情報２３の品質を表す評価情報７０を導出する。導出部６８は、導出した評価情報７０をＲＷ制御部６５に出力する。ＲＷ制御部６５は、導出部６８からの評価情報７０をストレージ５０に記憶する。この際、ＲＷ制御部６５は、二点鎖線で示すように、評価情報７０をアノテーション情報２３および参照履歴情報２４と関連付けて記憶する。
　アノテーション情報２３は、機械学習モデルの学習フェーズ、あるいは精度評価フェーズにおいて、元画像である生成元医用画像２０と併せて正解データとして用いられる。本例においては、この正解データとして用いられるアノテーション情報２３が、評価情報７０に基づいて選出される。つまり、評価情報７０の導出は、機械学習モデル作成の一環である。
　学習フェーズにおいては、機械学習モデルに生成元医用画像２０が入力される。次いで、機械学習モデルから出力された出力アノテーション情報とアノテーション情報２３とが比較されて、機械学習モデルの損失が演算される。そして、損失に応じて機械学習モデルが更新される。損失は、出力アノテーション情報とアノテーション情報２３との差が小さい程少なくなる。このため、更新の度合いも、出力アノテーション情報とアノテーション情報２３との差が小さい程小さくなる。これら生成元医用画像２０の入力と出力アノテーション情報の出力、損失の演算、および更新が、生成元医用画像２０とアノテーション情報２３の組、すなわち正解データが交換されつつ繰り返される。これにより機械学習モデルが学習される。
　精度評価フェーズにおいては、ある程度の学習を経た機械学習モデルに生成元医用画像２０が入力される。そして、機械学習モデルから出力された出力アノテーション情報とアノテーション情報２３とが比較されて損失が演算され、損失に基づいて機械学習モデルの精度が評価される。精度評価フェーズにおいては、精度が評価されるだけで更新は行われない。この精度評価フェーズにおいて予め設定された精度以上であると判定された機械学習モデルが、実用フェーズにて用いられる。なお、学習フェーズにおいて用いられる正解データは学習データともいい、精度評価フェーズにおいて用いられる正解データは評価データともいう。
　一例として図９に示すように、参照履歴情報２４が関連医療情報２１を参照した旨を表す内容であった場合、すなわち関連医療情報２１の参照の有無が有りだった場合、導出部６８は、アノテーション情報２３の品質が良い旨の評価情報７０を導出する。一方、参照履歴情報２４が関連医療情報２１を参照しなかった旨を表す内容であった場合、すなわち関連医療情報２１の参照の有無が無しだった場合、導出部６８は、アノテーション情報２３の品質が悪い旨の評価情報７０を導出する。このように、評価情報７０は、アノテータ１５が関連医療情報２１を参照しなかった場合よりも、アノテータ１５が関連医療情報２１を参照した場合のほうが、品質の評価が高い。なお、正解データには、例えば品質が良い旨の評価情報７０が関連付けられた生成元医用画像２０とアノテーション情報２３のみが用いられる。
　次に、上記構成による作用について、図１０のフローチャートを参照して説明する。作動プログラム６０が起動されると、情報処理サーバ１０のプロセッサ５２は、図８で示したように、ＲＷ制御部６５、画像送信部６６、情報受信部６７、および導出部６８として機能される。
　まず、ＲＷ制御部６５によりストレージ５０から生成元医用画像２０および関連医療情報２１が読み出される。読み出された生成元医用画像２０および関連医療情報２１は、ＲＷ制御部６５から画像送信部６６に出力される。生成元医用画像２０および関連医療情報２１は、画像送信部６６によりアノテータ端末１１に送信される。
　アノテータ端末１１においては、図４で示したアノテーション情報生成画面３０Ａがディスプレイ１３に表示される。そして、アノテータ１５により、生成元医用画像２０に基づいてアノテーション情報２３が生成される。この際、アノテータ１５により関連医療情報参照ボタン３６が操作された場合は、図５で示したアノテーション情報生成画面３０Ｂに遷移され、関連医療情報２１としての別装置医用画像２２が表示される。
　図６で示したように、アノテータ端末１１においては、関連医療情報２１をアノテータ１５が参照したか否かを表す参照履歴情報２４が生成される。アノテーション情報２３および参照履歴情報２４は、アノテータ端末１１から情報処理サーバ１０に送信される。
　情報処理サーバ１０においては、情報受信部６７によりアノテータ端末１１からのアノテーション情報２３および参照履歴情報２４が受信される。これにより参照履歴情報２４が取得される（ステップＳＴ１００）。アノテーション情報２３および参照履歴情報２４は、情報受信部６７からＲＷ制御部６５に出力され、ＲＷ制御部６５によりストレージ５０に記憶される。
　ＲＷ制御部６５によりストレージ５０から参照履歴情報２４が読み出される。読み出された参照履歴情報２４は、ＲＷ制御部６５から導出部６８に出力される。
　図９で示したように、導出部６８においては、参照履歴情報２４に基づいて、アノテーション情報２３の品質を表す評価情報７０が導出される（ステップＳＴ１１０）。評価情報７０は、導出部６８からＲＷ制御部６５に出力され、ＲＷ制御部６５によりストレージ５０に記憶される。
　以上説明したように、情報処理サーバ１０のプロセッサ５２は、情報受信部６７および導出部６８を備える。情報受信部６７は、アノテータ端末１１からの参照履歴情報２４を受信することで取得する。参照履歴情報２４は、医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報２３をアノテータ１５が生成した際の、アノテーション情報２３の生成の元となった生成元医用画像２０に関連する関連医療情報２１のアノテータ１５による参照履歴を表す情報である。導出部６８は、参照履歴情報２４に基づいて、アノテーション情報２３の品質を表す評価情報７０を導出する。
　アノテーション情報２３の品質は、アノテーション情報２３を生成する際に関連医療情報２１を参照したか否かで大きく左右される。このため、関連医療情報２１の参照履歴情報２４を取得し、参照履歴情報２４に基づいて評価情報７０を導出する本開示の技術によれば、参照履歴情報２４を用いずに評価情報７０を導出する場合と比べて、アノテーション情報２３の品質をより正確に評価することが可能となる。
　図９で示したように、評価情報７０は、アノテータ１５が関連医療情報２１を参照しなかった場合よりも、アノテータ１５が関連医療情報２１を参照した場合のほうが、アノテーション情報２３の品質の評価が高い。このため、アノテーション情報２３の品質を正当に評価することができる。
　図２で示したように、関連医療情報２１は、生成元医用画像２０とは別の医用画像撮影装置により撮影された別装置医用画像２２を含む。このため、生成元医用画像２０に描出されていない腫瘍等の病変を、別装置医用画像２２で発見できたりする等、生成元医用画像２０だけでは不分明なクラスに対するラベルの付与をアシストすることができる。結果として、アノテーション情報２３の品質を高めることができる。
　［第２実施形態］
　一例として図１１に示すように、本実施形態では、五種の関連医療情報８０Ａ、８０Ｂ、８０Ｃ、８０Ｄ、および８０Ｅを扱う。関連医療情報８０Ａは、上記第１実施形態の関連医療情報２１と同じく、別装置医用画像２２を含む。関連医療情報８０Ｂは別日時医用画像８１を含む。別日時医用画像８１は、生成元医用画像２０とは別の撮影日時、典型的には生成元医用画像２０よりも前の撮影日時に、生成元医用画像２０と同じ医用画像撮影装置により撮影された画像である。関連医療情報８０Ｃは、検体検査データ８２を含む。検体検査データ８２は、生成元医用画像２０の患者に実施された検体検査の結果を表すデータである。検体検査には、血液検査、尿検査、便検査等がある。
　関連医療情報８０Ｄは病理診断結果８３を含む。病理診断結果８３は、生成元医用画像２０の患者から採取した腫瘍等の病変部を、病理医が顕微鏡で観察して診断した結果である。関連医療情報８０ＥはＣＡＤ（Ｃｏｍｐｕｔｅｒ－Ａｉｄｅｄ　Ｄｉａｇｎｏｓｉｓ）処理結果８４を含む。ＣＡＤ処理結果８４は、生成元医用画像２０に既製のＣＡＤ処理プログラムを適用して得られた結果である。ＣＡＤ処理結果８４は、例えば、肝臓の腫瘍が存在すると思われる部分を囲う枠である。これら別日時医用画像８１、検体検査データ８２、病理診断結果８３、およびＣＡＤ処理結果８４は、図５で示したアノテーション情報生成画面３０Ｂの関連医療情報表示領域４０に切り替え可能に表示される。関連医療情報表示領域４０においてこれら別日時医用画像８１、検体検査データ８２、病理診断結果８３、およびＣＡＤ処理結果８４を参照することで、アノテータ１５はより確度の高い適切な領域にラベルを付与することができる。結果として、アノテーション情報２３の品質を高めることができる。
　一例として図１２に示すように、本実施形態の参照履歴情報９０には、関連医療情報８０Ａ～８０Ｅ毎に、アノテータ１５が参照したか否かが登録される。そして、本実施形態の導出部６８（図示省略）は、評価レベルテーブル９１を用いて評価情報９２を導出する。評価レベルテーブル９１には、アノテータ１５が参照した関連医療情報の数に対応するアノテーション情報２３の評価レベルが登録されている。具体的には、アノテータ１５が参照した関連医療情報の数が０の場合は評価レベル１が登録され、アノテータ１５が参照した関連医療情報の数が１の場合は評価レベル２が登録されている。また、アノテータ１５が参照した関連医療情報の数が２および３の場合は評価レベル３が登録され、アノテータ１５が参照した関連医療情報の数が４および５の場合は評価レベル４が登録されている。評価レベルは４が最高で１が最低である。なお、評価レベルはＡ～Ｄ等で表してもよい。
　図１２においては、五種の関連医療情報８０Ａ～８０Ｅのうち、別装置医用画像２２（関連医療情報８０Ａ）および病理診断結果８３（関連医療情報８０Ｄ）の二つをアノテータ１５が参照した場合を例示している。この場合、アノテータ１５が参照した関連医療情報の数は２であるため、導出部６８は、評価レベル３を評価情報９２として導出する。
　このように、第２実施形態では、導出部６８は、複数種の関連医療情報８０Ａ～８０Ｅのうちでアノテータ１５が参照した関連医療情報の数に応じて、評価情報９２を導出する。上記第１実施形態の関連医療情報２１を参照したか否かの単純な判断ではなく、複雑な判断が加わるため、より信頼性の高い評価情報９２を導出することができる。
　なお、本実施形態において、５種の関連医療情報８０Ａ～８０Ｅの種別に関わらず、参照した関連医療情報の数に応じて評価レベルを導出していたがこれに限られない。関連医療情報８０Ａ～８０Ｅの種別に応じて評価に重み付けをしてもよい。例えば、検体検査データ８２および病理診断結果８３等の医用画像に係る診断とは異なる手法の診断結果に基づく関連医療情報を参照した場合は、別装置医用画像２２および別日時医用画像８１のような画像情報、および画像処理結果を示すＣＡＤ処理結果８４のうちの少なくとも一方を参照した場合よりも高く評価してもよい。具体的には、検体検査データ８２および病理診断結果８３等の関連医療情報を参照した場合は、アノテータ１５が参照した関連医療情報の数を、一件につき＋２とカウントし、別装置医用画像２２および別日時医用画像８１のような画像情報を参照した場合は、アノテータ１５が参照した関連医療情報の数を、一件につき＋１とカウントする、等である。
　［第３＿１実施形態］
　一例として図１３に示すように、本実施形態においては、アノテータ端末１１は操作履歴情報１００を生成する。操作履歴情報１００は、アノテーション情報生成画面３０Ａおよび３０Ｂの生成元医用画像表示領域３３に表示された生成元医用画像２０に対する各種操作の履歴である。操作履歴情報１００は、生成元医用画像表示領域３３の生成元医用画像２０に対して拡大操作が実施されたか否か、および、生成元医用画像表示領域３３の生成元医用画像２０の表示階調変更操作が実施されたか否かを示す。図１３においては、肝臓の部分を拡大する拡大操作が実施された場合を例示している。また、図１３においては、ウィンドウレベルを１３０から６０に、ウィンドウ幅を２５０から１００にそれぞれ変更する表示階調変更操作も実施された場合を例示している。
　アノテータ端末１１は、アノテーション情報２３および参照履歴情報２４と併せて、操作履歴情報１００を情報処理サーバ１０に送信する。本実施形態の情報受信部６７は、アノテーション情報２３および参照履歴情報２４とともに、操作履歴情報１００を受信することで取得する。
　一例として図１４に示すように、本実施形態では、上記第２実施形態の参照履歴情報９０が用いられる。そして、本実施形態の導出部６８（図示省略）は、参照履歴情報９０および操作履歴情報１００に基づいて、評価レベルテーブル１０１を用いて評価情報１０２を導出する。評価レベルテーブル１０１には、アノテータ１５が参照した関連医療情報の数、および生成元医用画像２０に対する操作の実施数の加算値に対応するアノテーション情報２３の評価レベルが登録されている。具体的には、加算値が０および１の場合は評価レベル１が登録され、加算値が２および３の場合は評価レベル２が登録されている。また、加算値が４および５の場合は評価レベル３が登録され、加算値が６および７の場合は評価レベル４が登録されている。評価レベルは、上記第２実施形態と同じく、４が最高で１が最低である。
　図１４においては、上記第２実施形態の図１２の場合と同じく、五種の関連医療情報８０Ａ～８０Ｅのうち、別装置医用画像２２（関連医療情報８０Ａ）および病理診断結果８３（関連医療情報８０Ｄ）の二つをアノテータ１５が参照した場合を例示している。また、図１４においては、生成元医用画像２０の拡大操作、および表示階調変更操作の両方が実施された場合を例示している。この場合、アノテータ１５が参照した関連医療情報の数、および生成元医用画像２０に対する操作の実施数の加算値は２＋２＝４であるため、導出部６８は、評価レベル３を評価情報１０２として導出する。
　このように、第３＿１実施形態では、情報受信部６７は、アノテーション情報２３を生成した際の生成元医用画像２０に対するアノテータ１５の操作履歴情報１００を、アノテータ端末１１から受信することで取得する。導出部６８は、参照履歴情報９０に加えて、操作履歴情報１００にも基づいて評価情報１０２を導出する。このため、参照履歴情報２４のみで評価情報７０を導出する上記第１実施形態と比べて、アノテーション情報２３の品質をさらに正確に評価することが可能となる。
　操作履歴情報１００は、拡大操作および表示階調変更操作に係る情報である。拡大操作は、ラベルを付与する領域をより詳細に観察するためには必要な操作である。表示階調変更操作は、ラベルを付与する領域をより見易くするためには必要な操作である。このように、操作履歴情報１００を、正確なラベルの付与に不可欠な拡大操作および表示階調変更操作に係る情報とすれば、アノテーション情報２３の品質の正確な評価に貢献することができる。
　図１３においては、生成元医用画像２０に対する操作履歴情報１００を例示したが、これに限らない。一例として図１５に示すように、操作履歴情報１００に代えて、あるいは加えて、アノテーション情報生成画面３０Ｂの関連医療情報表示領域４０に表示された別装置医用画像２２に対する操作履歴情報１０５を生成してもよい。操作履歴情報１０５は、操作履歴情報１００と同様に、関連医療情報表示領域４０の別装置医用画像２２に対して拡大操作が実施されたか否か、および、関連医療情報表示領域４０の別装置医用画像２２の表示階調変更操作が実施されたか否かを示す。図１５においては、肝臓の部分を拡大する拡大操作が実施された場合を例示している。また、図１５においては、ウィンドウレベルを１５０から１００に、ウィンドウ幅を２００から１５０にそれぞれ変更する表示階調変更操作も実施された場合を例示している。
　操作履歴情報１００および１０５は、拡大操作および表示階調変更操作のうちの少なくともいずれか一つに係る情報であればよい。また、操作履歴情報１００および１０５に、平行移動操作を実施したか否かを加えてもよい。
　なお、一例として図１６に示す態様を、アノテータ端末１１において実施してもよい。すなわち、アノテータ１５により例えば生成元医用画像２０の表示階調変更操作が実施され（ステップＳＴ２００）、あるクラスに対応するラベルが付与された場合（ステップＳＴ２１０）、変更された表示階調が、付与したラベルの推奨範囲であったか否かが判断される（ステップＳＴ２２０）。そして、変更された表示階調が、付与したラベルの推奨範囲であったと判断された場合（ステップＳＴ２２０でＹＥＳ）、操作履歴情報１００の表示階調変更操作に「実施」が登録される（ステップＳＴ２３０）。一方、変更された表示階調が、付与したラベルの推奨範囲でなかったと判断された場合（ステップＳＴ２２０でＮＯ）、操作履歴情報１００の表示階調変更操作に未実施が登録される（ステップＳＴ２４０）。表示階調の推奨範囲は、予めクラス毎に設定されている。表示階調の推奨範囲は、例えば、不特定多数のアノテータ１５が、当該クラスに対応するラベルを付与する際に設定した表示階調の平均値等を元に設定される。
　図１６で示した態様によれば、推奨範囲の表示階調に変更しなければ、操作履歴情報１００の表示階調変更操作に「実施」は登録されない。このため、不適切な表示階調でラベルを付与した場合においても表示階調変更操作を実施したとされ、アノテーション情報２３の品質の評価が高くなってしまうことを防ぐことができる。
　なお、表示する生成元医用画像２０または関連医療情報２１に基づく条件である推奨範囲の表示階調に変更したか否かで、表示階調変更操作が実施されたか否かを判断するとしたが、これに限られない。生成元医用画像２０または関連医療情報２１に基づく条件を満たさなくても、何らかの表示階調変更操作があった場合には、無条件で表示階調変更操作が実施されたとしてもよい。また、拡大操作の場合においても、拡大操作により表示された領域にラベルが付与された場合は拡大操作が実施されたと判定し、拡大操作により表示された領域にラベルが付与されなかった場合は拡大操作が実施されなかったと判定してもよい。
　なお、同一の生成元医用画像２０を複数のアノテータ端末１１に送信して、複数のアノテータ１５にアノテーション情報２３を生成させ、その際に設定された表示階調の平均値等を元に、表示階調の推奨範囲を設定してもよい。また、臓器毎、および／または、疾患毎に表示階調の推奨範囲を設定してもよい。
　［第３＿２実施形態］
　一例として図１７に示すように、本実施形態においては、アノテータ１５による関連医療情報２１に対する何らかの操作があった場合に、アノテータ１５が関連医療情報２１を参照したと判断する。
　図１７において、関連医療情報表示領域４０に関連医療情報２１が表示され（ステップＳＴ３００）、アノテータ１５によって関連医療情報２１に対して何らかの操作があった場合（ステップＳＴ３１０でＹＥＳ）、アノテータ１５が関連医療情報２１を参照したと判断され、参照履歴情報９０に関連医療情報２１を参照した旨が登録される（ステップＳＴ３２０）。一方、アノテータ１５によって関連医療情報２１に対して何の操作もなかった場合（ステップＳＴ３１０でＮＯ）、アノテータ１５が関連医療情報２１を参照しなかったと判断され、参照履歴情報９０に関連医療情報２１を参照しなかった旨が登録される（ステップＳＴ３３０）。
　例えば、別装置医用画像２２に対する操作履歴情報が、別装置医用画像２２の拡大操作を実施した、という内容であった場合に、アノテータ１５が別装置医用画像２２を参照したと判断し、その旨を参照履歴情報に登録する。あるいは、別日時医用画像８１に対する操作履歴情報が、別日時医用画像８１の表示階調変更操作を実施し、かつ、変更した表示階調が、付与したラベルの推奨範囲であった場合に、アノテータ１５が別日時医用画像８１を参照したと判断し、その旨を参照履歴情報に登録してもよい。
　アノテータ１５によっては、別装置医用画像２２等を単に表示させただけで拡大操作等は実施せず、別装置医用画像２２等を大して参照しない場合もある。また、上記第１実施形態においては、関連医療情報参照ボタン３６が操作された場合に限って別装置医用画像２２等を表示しているが、仕様によっては、関連医療情報参照ボタン３６の操作等のアノテータ１５の操作を待つことなく、別装置医用画像２２等を自動的に表示する場合もある。このため、別装置医用画像２２等が単に表示されただけで、アノテータ１５が別装置医用画像２２等を参照したと判断した場合、アノテーション情報２３の品質評価の正確性が損なわれるおそれがある。そこで第３＿２実施形態では、アノテータ１５による関連医療情報２１に対する何らかの操作があった場合に、アノテータ１５が関連医療情報２１を参照したと判断している。このため、アノテーション情報２３の品質評価の正確性を確保することができる。
　なお、操作履歴情報としては、関連医療情報２１に対する拡大操作および表示階調変更操作に限られない。アノテータ端末１１において関連医療情報２１の表示時間を測定し、表示時間が予め設定された閾値以上であれば当該関連医療情報２１を参照したと判断してもよい。アノテータ端末１１から情報処理サーバ１０に関連医療情報２１の表示時間を送信し、情報処理サーバ１０において関連医療情報２１を参照したか否かを判断してもよい。また、アノテータ端末１１がアノテータ１５の視線検出機能を有し、アノテーション情報生成画面３０Ｂを閲覧するアノテータ１５の視線を検出し、関連医療情報２１が表示された関連医療情報表示領域４０に視線が置かれた時間を、当該関連医療情報２１に付随する操作履歴情報として情報処理サーバ１０に送信する。情報処理サーバ１０は、当該操作履歴情報に記録された視線が置かれた時間が所定期間（例えば累計で三分間）である場合に、当該関連医療情報２１が参照されたと判断してもよい。
　［第４実施形態］
　一例として図１８に示すように、アノテータ端末１１は、アノテーション情報２３および参照履歴情報９０と併せて、アノテータ１５の属性情報１１０を情報処理サーバ１０に送信する。本実施形態の情報受信部６７は、アノテーション情報２３および参照履歴情報９０とともに、属性情報１１０を受信することで取得する。属性情報１１０は、アノテータ１５の勤続年数、資格、および繁忙度を含む。資格には、例示の放射線科研修指導者の他に、放射線診断専門医等がある。繁忙度は、アノテータ１５が自らの忙しさをアノテータ端末１１に入力することで得られる。繁忙度には、例示の「繁忙」の他、「通常」、「閑散」がある。
　一例として図１９に示すように、本実施形態の導出部６８（図示省略）は、参照履歴情報９０および属性情報１１０に基づいて、上記第２実施形態の評価レベルテーブル９１、および評価レベル増減値テーブル１１１を用いて評価情報１１２を導出する。評価レベル増減値テーブル１１１には、属性情報１１０の内容毎に評価レベルの増減値が登録されている。具体的には、勤続年数が２０年以上の場合は増減値＋１が登録され、勤続年数が５年未満の場合は増減値－１が登録されている。また、資格あり（有資格者）の場合は増減値＋１が登録され、繁忙度が「繁忙」の場合は増減値－１が登録されている。
　図１９においては、上記第２実施形態の図１２の場合と同じく、五種の関連医療情報８０Ａ～８０Ｅのうち、別装置医用画像２２（関連医療情報８０Ａ）および病理診断結果８３（関連医療情報８０Ｄ）の二つをアノテータ１５が参照した場合を例示している。また、図１９においては、勤続年数が２２年で、放射線科研修指導者の資格を有し、繁忙度が「繁忙」のアノテータ１５の場合を例示している。この場合、アノテータ１５が参照した関連医療情報の数は２、属性情報１１０に応じた評価レベルの増減値は、勤続年数が２２年＝＋１、資格あり＝＋１、繁忙度が「繁忙」＝－１で結局＋１であるため、導出部６８は、評価レベル３を評価情報１１２として導出する。
　このように、第４実施形態では、情報受信部６７は、アノテータ１５の属性情報１１０をアノテータ端末１１から受信することで取得する。導出部６８は、参照履歴情報９０に加えて、属性情報１１０にも基づいて評価情報１１２を導出する。このため、参照履歴情報２４のみで評価情報７０を導出する上記第１実施形態と比べて、アノテーション情報２３の品質をさらに正確に評価することが可能となる。
　図１９で示した態様によれば、勤続年数が比較的長いアノテータ１５、あるいは有資格者のアノテータ１５により生成されたアノテーション情報２３は、品質の評価が比較的高くなる。一方、勤続年数が比較的短いアノテータ１５、あるいは忙しいアノテータ１５により生成されたアノテーション情報２３は、品質の評価が比較的低くなる。勤続年数が比較的長いアノテータ１５、あるいは有資格者のアノテータ１５は、ラベル付与の正確性が比較的高いと考えられる。一方、勤続年数が比較的短いアノテータ１５、あるいは忙しいアノテータ１５は、ラベル付与の正確性が比較的低いと考えられる。このため、アノテータ１５の属性に適応した品質の評価を下すことができる。
　上記第３＿１実施形態および／または上記第３＿２実施形態を適用し、参照履歴情報９０、操作履歴情報１００または１０５、および属性情報１１０に基づいて評価情報を導出してもよい。
　属性情報１１０をアノテータ端末１１から送信するとしたが、これに限らない。例えば、情報処理サーバ１０のストレージ５０に、アノテータ１５を識別するためのアノテータＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｄａｔａ）毎に属性情報１１０を記憶しておく。そして、アノテータ端末１１からはアノテータＩＤを送信させる。情報処理サーバ１０においては、アノテータ端末１１から送信されたアノテータＩＤに対応した属性情報１１０をストレージ５０から読み出すことで取得する。
　繁忙度は、アノテータ１５の勤怠表、スケジュール表等から導出してもよい。例えば二日連続して２１：００以降に退勤している場合は忙しいと判断し、定時で退勤している場合は暇と判断する。あるいは、定例会議、講義、学会等がある週は忙しいと判断する。
　アノテータ１５の専門分野を属性情報１１０に含めてもよい。この場合、例えば、タスクが専門分野に関係する内容であった場合は評価レベルを＋１する。また、アノテータ１５の発表論文の数を属性情報に含めてもよい。この場合、発表論文の数が第１閾値以上の場合は評価レベルを＋１し、発表論文の数が第２閾値未満の場合は評価レベルを－１する。
　［第５実施形態］
　一例として図２０に示すように、本実施形態の情報処理サーバ１２０は、ストレージ１２１、プロセッサ１２２、ディスプレイ１２３、および入力デバイス１２４を備える。ストレージ１２１には、生成元医用画像２０、アノテーション情報２３、評価情報９２、および作動プログラム１３０（関連医療情報２１、参照履歴情報９０等は図示省略）に加えて、機械学習モデル１３１が記憶されている。なお、評価情報９２は、評価情報１０２でもよいし、評価情報１１２でもよい。
　作動プログラム１３０が起動されると、プロセッサ１２２は、図示省略したメモリ等と協働して、上記第１実施形態の各処理部６５～６８（図示省略）に加えて、表示制御部１３５、指示受付部１３６、および学習部１３７として機能する。
　表示制御部１３５には、アノテーション情報２３および評価情報９２が入力される。表示制御部１３５は、アノテーション情報２３および評価情報９２に基づく正解データ選択画面１４０（図２１参照）のディスプレイ１２３への表示を制御する。指示受付部１３６は、入力デバイス１２４による正解データ選択画面１４０を通じた正解データ選択指示を受け付ける。学習部１３７は、正解データ選択画面１４０において選択された生成元医用画像２０およびアノテーション情報２３を正解データとして機械学習モデル１３１に与え、機械学習モデル１３１を学習させる。
　一例として図２１に示すように、表示制御部１３５の制御の下でディスプレイ１２３に表示される正解データ選択画面１４０は、アノテーション情報別選択部１４１および評価レベル別選択部１４２を有する。アノテーション情報別選択部１４１および評価レベル別選択部１４２には、これらいずれかの選択部１４１および１４２を択一的に選択するためのチェックボックス１４３および１４４が設けられている。
　アノテーション情報別選択部１４１には、各アノテーション情報２３の評価レベル、アノテーション情報ＩＤ、生成日、およびアノテータ１５の氏名が羅列されている。また、アノテーション情報別選択部１４１には、アノテーション情報２３毎に、機械学習モデル１３１の学習フェーズに用いるか、精度評価フェーズに用いるかを選択するためのチェックボックス１４５および１４６が設けられている。アノテーション情報別選択部１４１は上下にスクロール表示することが可能である。
　評価レベル別選択部１４２には、各評価レベルのアノテーション情報２３の件数が羅列されている。また、評価レベル別選択部１４２には、評価レベル毎に、機械学習モデル１３１の学習フェーズに用いるか、精度評価フェーズに用いるかを選択するためのチェックボックス１４７および１４８が設けられている。なお、評価レベル別選択部１４２に、各評価レベルに対応する参照した関連医療情報の数を表示してもよい。
　機械学習モデル１３１の開発ユーザは、正解データ選択画面１４０のチェックボックス１４３～１４８を適宜選択することで、機械学習モデル１３１の学習フェーズおよび精度評価フェーズにおいて正解データとして用いるアノテーション情報２３を選択する。アノテーション情報２３の選択後、機械学習モデル１３１の開発ユーザは、正解データ選択画面１４０の右下に配された学習開始ボタン１４９を選択する。これにより、正解データ選択指示が指示受付部１３６にて受け付けられる。
　図２１においては、評価レベル別選択部１４２のチェックボックス１４４が選択された場合を例示している。また、図２１においては、評価情報９２の評価レベルが４のアノテーション情報２３が精度評価フェーズ用に選択され、評価情報９２の評価レベルが１～３のアノテーション情報２３が学習フェーズ用に選択された場合を示している。
　指示受付部１３６は、正解データ選択指示を学習部１３７に出力する。学習部１３７は、学習フェーズおよび精度評価フェーズにおいて、正解データ選択指示にしたがったアノテーション情報２３を機械学習モデル１３１に与えて学習させる。
　このように、第５実施形態では、指示受付部１３６は、正解データとして用いるアノテーション情報２３の選択を受け付ける。このため、機械学習モデル１３１の開発ユーザが所望するアノテーション情報２３を機械学習モデル１３１に与えて学習させることができる。
　アノテーション情報別選択部１４１によれば、正解データとして用いるか否かを、アノテーション情報２３毎に細かく選択することができる。評価レベル別選択部１４２によれば、正解データとして用いるか否かを、評価レベル毎という大きな括りで選択することができる。評価レベル別選択部１４２によれば、アノテーション情報別選択部１４１においてアノテーション情報２３毎に選択する場合と比べて、正解データ選択の手間を省くことができる。
　なお、機械学習モデル１３１の開発ユーザが操作するユーザ端末が、情報処理サーバとは別にあってもよい。機械学習モデル１３１は、ユーザ端末のストレージに記憶される。この場合、情報処理サーバは、正解データ選択画面１４０の元となるアノテーション情報２３および評価情報９２をユーザ端末に送信する。ユーザ端末は、情報処理サーバからのアノテーション情報２３および評価情報９２に基づいて、正解データ選択画面１４０を生成してディスプレイに表示する。ユーザ端末は、正解データ選択画面１４０の選択状態を示す正解データ選択指示を情報処理サーバに送信する。情報処理サーバは、正解データ選択指示を受け付ける。そして、正解データ選択指示に応じた生成元医用画像２０およびアノテーション情報２３をユーザ端末に送信する。ユーザ端末は、情報処理サーバからの生成元医用画像２０およびアノテーション情報２３を機械学習モデル１３１に与えて学習させる。
　評価レベル１のアノテーション情報２３、評価レベル２のアノテーション情報２３、評価レベル３のアノテーション情報２３、および評価レベル４のアノテーション情報２３をそれぞれ正解データとして用いて機械学習モデル１３１を学習してもよい。この場合、各評価レベルのアノテーション情報２３を正解データとして用いた各機械学習モデル１３１のうちで、精度が最も高い機械学習モデル１３１を実用フェーズに用いる。精度が最も高い機械学習モデル１３１に用いたアノテーション情報２３の評価レベルに対応する参照履歴情報を、アノテータ１５に推奨してもよい。
　［第６実施形態］
　一例として図２２に示すように、本実施形態の情報処理サーバのプロセッサは、上記第１実施形態の各処理部６５～６８（図示省略）に加えて、情報送信部１６０として機能する。情報送信部１６０は、全体概要情報１６１および個別概要情報１６２をアノテータ端末１１に送信する。
　全体概要情報１６１は、ある機械学習モデルの正解データとして用いるために生成された全てのアノテーション情報２３の評価情報９２の概要を示す。個別概要情報１６２は、ある機械学習モデルの正解データとして用いるために生成されたアノテーション情報２３のうち、個別概要情報１６２の送信先のアノテータ端末１１のアノテータ１５が生成したアノテーション情報２３の評価情報９２の概要を示す。具体的には、全体概要情報１６１および個別概要情報１６２は、評価情報９２の評価レベル毎にアノテーション情報２３の件数が登録された情報である。言い換えれば、全体概要情報１６１および個別概要情報１６２は、アノテーション情報２３の件数の統計情報である。なお、評価情報９２は、評価情報１０２でもよいし、評価情報１１２でもよい。
　全体概要情報１６１および個別概要情報１６２を受信したアノテータ端末１１においては、一例として図２３に示す評価概要表示画面１７０がディスプレイ１３に表示される。評価概要表示画面１７０は、全体概要情報表示領域１７１および個別概要情報表示領域１７２を有する。全体概要情報表示領域１７１には、全体概要情報１６１と、さらに評価レベル毎のアノテーション情報２３の件数の割合とが表示される。個別概要情報表示領域１７２には、個別概要情報１６２と、さらに評価レベル毎のアノテーション情報２３の件数の割合とが表示される。評価概要表示画面１７０は、右下に配された確認ボタン１７３が選択された場合に表示が消される。
　このように、第６実施形態では、情報送信部１６０は、アノテータ１５が操作するアノテータ端末１１に、全てのアノテーション情報２３の評価情報９２の概要を示す全体概要情報１６１、および個々のアノテータ１５が生成したアノテーション情報２３の評価情報９２の概要を示す個別概要情報１６２を送信する。このため、アノテータ１５は、全体と自分との評価情報９２の相違を比較することができる。例えば個別概要情報１６２の評価レベルが４および３の割合が、全体概要情報１６１の評価レベルが４および３の割合よりも高かった場合、自分が生成したアノテーション情報２３が比較的高く評価されていることが分かり、自分のラベルの付与の仕方がさほど的外れでないことを確認することができる。なお、全体概要情報１６１および個別概要情報１６２の両方に限らず、全体概要情報１６１および個別概要情報１６２のうちの少なくともいずれか一つをアノテータ端末１１に送信すればよい。
　なお、一例として図２４に示す個別概要情報１７５のように、評価情報９２の評価レベル毎に、アノテーション情報２３の正解データへの採否を登録してもよい。この場合、一例として図２５に示す評価概要表示画面１８０のように、個別概要情報表示領域１８１に正解データへの採否を表示する。また、個別概要情報表示領域１８１の下部に採用率表示領域１８２を設け、採用率を表示する。採用率は、正解データに採用されたアノテーション情報２３の件数を、個別概要情報１７５の送信先のアノテータ端末１１のアノテータ１５が生成したアノテーション情報２３の全件数で除算することで得られる。こうしてアノテーション情報２３の正解データへの採否が登録された個別概要情報１７５をアノテータ端末１１に送信することで、アノテータ１５は、自分が生成したアノテーション情報２３がどの程度正解データとして採用されているかを知ることができる。
　なお、評価レベル毎のアノテーション情報２３の割合、および採用率の演算のうちの少なくとも一方は、情報処理サーバ１２０またはアノテータ端末１１のうちの少なくとも一方が実施すればよい。割合として、全体または個々のアノテータ１５に対応付けられたアノテーション情報２３の全体に対する割合を例示したがこれに限らない。例えば、割合としては、全てのアノテーション情報２３に対する個々のアノテーション情報２３の割合を示してもよい。例えば、評価レベル４の場合は、全てのアノテーション情報２３の件数は５１件であり、対象のアノテータ１５の生成した件数は１６件であるため、１６／５１＝３１％が全てのアノテーション情報２３に対する個々のアノテーション情報２３の割合となる。
　［第７実施形態］
　一例として図２６に示すように、本実施形態の画像送信部６６は、例えば評価レベルが１といった、品質の評価が比較的悪かったアノテーション情報２３を生成したアノテータ１５のアノテータ端末１１に、アノテーション情報２３の修正を促す目的で生成元医用画像２０および関連医療情報２１を再送信する。この際、画像送信部６６は、推奨情報１９０を添付する。推奨情報１９０には、評価レベルを高くするためにアノテータ１５が実施すべき事柄が記憶されている。具体的には、推奨情報１９０には、各クラスのラベル付与時のウィンドウレベルおよびウィンドウ幅の推奨範囲等が記憶されている。
　生成元医用画像２０、関連医療情報２１、および推奨情報１９０を受信したアノテータ端末１１においては、アノテーション情報２３の修正を促すメッセージ、および推奨情報１９０を含むアノテーション情報生成画面がディスプレイ１３に表示される。
　このように、第７実施形態においては、品質の評価が比較的低いアノテーション情報２３の修正をアノテータ１５に促す。また、その際に推奨情報１９０を添付し、修正後のアノテーション情報２３の品質の評価が高くなるよう努める。このため、品質の評価が比較的低いアノテーション情報２３を、効果的に高い品質のアノテーション情報２３に修正することができる。
　なお、推奨情報１９０に、関連医療情報２１を少なくとも二種以上は参照する、といった注意事項を含めてもよい。また、最初にアノテーション情報２３の生成を依頼するために生成元医用画像２０および関連医療情報２１をアノテータ端末１１に送信する際に、推奨情報１９０を併せて送信してもよい。
　また、アノテータ端末１１は、推奨情報１９０に沿って関連医療情報２１を並列表示するとしてもよい。アノテータ端末１１が、例えば、二種以上の関連医療情報２１を参照する、との注意事項を含む推奨情報１９０を受信した場合、生成終了ボタン３８が操作された際に、それまでに参照した関連医療情報２１が二種以上であるか否かを判定し、参照した関連医療情報２１が二種以上でなかった場合は、関連医療情報表示領域４０の表示を自動的に切り替えることで、アノテータ１５が関連医療情報２１を二種以上参照するように強制的に仕向けてもよい。
　上記第１実施形態では、情報処理サーバ１０からアノテータ端末１１に生成元医用画像２０および関連医療情報２１を送信しているが、これに限らない。例えば、情報処理サーバ１０とは別に、生成元医用画像２０を蓄積管理する画像管理サーバ、および関連医療情報２１を蓄積管理する関連医療情報管理サーバを設け、画像管理サーバおよび関連医療情報管理サーバから生成元医用画像２０および関連医療情報２１をアノテータ端末１１に送信してもよい。
　生成元医用画像２０は、例示のＣＴ装置により撮影された腹部断層画像に限らない。例えばＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）装置で撮影された頭部断層画像でもよい。また、医用画像は断層画像のような三次元画像に限らない。例えば単純放射線画像のような二次元画像でもよい。ＰＥＴ（Ｐｏｓｉｔｒｏｎ　Ｅｍｉｓｓｉｏｎ　Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ｅｍｉｓｓｉｏｎ　Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）画像、内視鏡画像、超音波画像、および眼底検査画像等でもよい。
　別装置医用画像２２も同様に、例示のＭＲＩ装置により撮影された腹部断層画像に限らない。また、一例として図２７に示す関連医療情報１９５のように、別装置医用画像２２は複数種あってもよい。この場合、各別装置医用画像２２に、医用画像撮影装置の種別情報を付帯させておく。図２７においては、ＭＲＩ装置により撮影された別装置医用画像２２Ａ、単純放射線撮影装置により撮影された別装置医用画像２２Ｂ、および超音波撮影装置により撮影された別装置医用画像２２Ｃを例示している。
　別装置医用画像２２の医用画像撮影装置の種別に応じて、アノテータ１５が参照した関連医療情報の数のカウント数を変更してもよい。例えば、ＭＲＩ装置により撮影された別装置医用画像２２Ａを参照した場合のカウント数を１、単純放射線撮影装置により撮影された別装置医用画像２２Ｂ、および超音波撮影装置により撮影された別装置医用画像２２Ｃを参照した場合のカウント数を０．５とする。こうすれば、アノテーション情報２３の生成に寄与する度合いが相対的に高い別装置医用画像２２と低い別装置医用画像２２とを差別化することができる。
　一例として図２８に示す関連医療情報１９７のように、別日時医用画像８１も複数種あってもよい。この場合、各別日時医用画像８１に、撮影日時の情報を付帯させておく。図２８においては、２０２１年３月２４日に撮影された別日時医用画像８１Ａ、およびその一週間前の２０２１年３月１７日に撮影された別日時医用画像８１Ｂを例示している。
　別装置医用画像２２の場合と同様に、別日時医用画像８１の撮影日時に応じて、アノテータ１５が参照した関連医療情報の数のカウント数を変更してもよい。例えば、最も直近に撮影された別日時医用画像８１Ａを参照した場合のカウント数を１、別日時医用画像８１Ａの一週間前に撮影された別日時医用画像８１Ｂを参照した場合のカウント数を０．５とする。こうすれば、アノテーション情報２３の生成に寄与する度合いが相対的に高い別日時医用画像８１と低い別日時医用画像８１とを差別化することができる。
　ラベルを付与するクラスも、例示の肝臓、腫瘍、および出血に限らない。脳、眼球、脾臓、および腎臓等の他の臓器あるいは椎骨、および肋骨等の骨、肺のＳ１～Ｓ１０、膵臓の膵頭部、膵体部、および膵尾部等の臓器の解剖学的部位、さらには嚢胞、萎縮、管狭窄、あるいは管拡張といった他の異常所見部位等でもよい。また、ペースメーカー、人工関節、および骨折治療用のボルト等でもよい。さらに、腫瘍の出血箇所に、腫瘍および出血の二つのラベルを付与する等、同じ領域に異なるクラスのラベルを付与してもよい。
　生成元医用画像２０の画素単位でラベルを付与しているが、これに限らない。例えば腫瘍等のクラス全体を囲う矩形状（生成元医用画像２０が二次元画像の場合）またはボックス状（生成元医用画像２０が三次元画像の場合）の枠に対してラベルを付与してもよい。
　ラベルは、生成元医用画像２０の領域に付与するものでなく、生成元医用画像２０自体に付与するものであってもよい。例えば、ＭＲＩ装置により撮影された頭部断層画像に対して、ラベルとして認知症発症の有無を付与する、等である。
　アノテーション情報生成画面３０Ａ等の各種画面を、例えばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）等のマークアップ言語によって作成されるウェブ配信用の画面データの形式で、情報処理サーバ１０または１２０からアノテータ端末１１に送信してもよい。この場合、アノテータ端末１１は、画面データに基づきウェブブラウザ上に表示する各種画面を再現し、これをディスプレイ１３に表示する。なお、ＸＭＬに代えて、ＪＳＯＮ（Ｊａｖａｓｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）等の他のデータ記述言語を利用してもよい。
　上記のように情報処理サーバ１０または１２０からアノテータ端末１１にアノテーション情報生成画面３０Ａ等の画面データを送信する場合、上記第３＿１実施形態の操作履歴情報１００および１０５を情報処理サーバ１０または１２０側で生成してもよい。
　情報処理サーバ１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、情報処理サーバ１０を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。例えば、ＲＷ制御部６５、画像送信部６６、および情報受信部６７の機能と、導出部６８の機能とを、二台のサーバコンピュータに分散して担わせる。この場合は二台のサーバコンピュータで情報処理サーバ１０を構成する。情報処理サーバ１０の各処理部６５～６８の機能の一部または全部を、アノテータ端末１１が担ってもよい。
　このように、情報処理サーバ１０のコンピュータのハードウェア構成は、処理能力、安全性、および信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム６０等のＡＰについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージに分散して格納することももちろん可能である。
　上記各実施形態において、例えば、ＲＷ制御部６５、画像送信部６６、情報受信部６７、導出部６８、表示制御部１３５、指示受付部１３６、学習部１３７、および情報送信部１６０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、ソフトウェア（作動プログラム６０または１３０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、および／またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　［付記１］
　評価情報は、アノテータが関連医療情報を参照しなかった場合よりも、アノテータが関連医療情報を参照した場合のほうが品質の評価が高いことが好ましい。
　［付記２］
　関連医療情報は、生成元医用画像とは別の医用画像撮影装置により撮影された別装置医用画像を少なくとも含むことが好ましい。
　［付記３］
　関連医療情報は複数種あり、プロセッサは、複数種の関連医療情報のうちでアノテータが参照した関連医療情報の数に応じて、評価情報を導出することが好ましい。
　［付記４］
　プロセッサは、アノテーション情報を生成した際の、生成元医用画像および関連医療情報のうちの少なくともいずれか一つに対するアノテータの操作履歴情報を取得し、参照履歴情報に加えて、操作履歴情報にも基づいて評価情報を導出することが好ましい。
　［付記５］
　操作履歴情報は、拡大操作および表示階調変更操作のうちの少なくともいずれか一つに係る情報であることが好ましい。
　［付記６］
　プロセッサは、アノテータの属性情報を取得し、参照履歴情報に加えて、属性情報にも基づいて評価情報を導出することが好ましい。
　［付記７］
　プロセッサは、正解データとして用いるアノテーション情報の選択を受け付けることが好ましい。
　［付記８］
　プロセッサは、アノテータが操作するアノテータ端末に、全てのアノテーション情報の評価情報の概要を示す全体概要情報、および個々のアノテータが生成したアノテーション情報の評価情報の概要を示す個別概要情報のうちの少なくともいずれか一つを送信することが好ましい。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、前記アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報の前記アノテータによる参照履歴情報を取得し、
    　前記参照履歴情報に基づいて、前記アノテーション情報の品質を表す評価情報を導出する、
    情報処理装置。
  2. 　前記評価情報は、前記アノテータが前記関連医療情報を参照しなかった場合よりも、前記アノテータが前記関連医療情報を参照した場合のほうが前記品質の評価が高い請求項１に記載の情報処理装置。
  3. 　前記関連医療情報は、前記生成元医用画像とは別の医用画像撮影装置により撮影された別装置医用画像を少なくとも含む請求項１または請求項２に記載の情報処理装置。
  4. 　前記関連医療情報は複数種あり、
    　前記プロセッサは、
    　複数種の前記関連医療情報のうちで前記アノテータが参照した前記関連医療情報の数に応じて、前記評価情報を導出する請求項１から請求項３のいずれか１項に記載の情報処理装置。
  5. 　前記プロセッサは、
    　前記アノテーション情報を生成した際の、前記生成元医用画像および前記関連医療情報のうちの少なくともいずれか一つに対する前記アノテータの操作履歴情報を取得し、
    　前記参照履歴情報に加えて、前記操作履歴情報にも基づいて前記評価情報を導出する請求項１から請求項４のいずれか１項に記載の情報処理装置。
  6. 　前記操作履歴情報は、拡大操作および表示階調変更操作のうちの少なくともいずれか一つに係る情報である請求項５に記載の情報処理装置。
  7. 　前記プロセッサは、
    　前記アノテータの属性情報を取得し、
    　前記参照履歴情報に加えて、前記属性情報にも基づいて前記評価情報を導出する請求項１から請求項６のいずれか１項に記載の情報処理装置。
  8. 　前記プロセッサは、
    　前記正解データとして用いる前記アノテーション情報の選択を受け付ける請求項１から請求項７のいずれか１項に記載の情報処理装置。
  9. 　前記プロセッサは、
    　前記アノテータが操作するアノテータ端末に、全ての前記アノテーション情報の前記評価情報の概要を示す全体概要情報、および個々の前記アノテータが生成した前記アノテーション情報の前記評価情報の概要を示す個別概要情報のうちの少なくともいずれか一つを送信する請求項１から請求項８のいずれか１項に記載の情報処理装置。
  10. 　医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、前記アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報の前記アノテータによる参照履歴情報を取得すること、並びに、
    　前記参照履歴情報に基づいて、前記アノテーション情報の品質を表す評価情報を導出すること、
    を含む情報処理装置の作動方法。
  11. 　医用画像を解析するための機械学習モデルの正解データとしてのアノテーション情報をアノテータが生成した際の、前記アノテーション情報の生成の元となった生成元医用画像に関連する関連医療情報の前記アノテータによる参照履歴情報を取得すること、並びに、
    　前記参照履歴情報に基づいて、前記アノテーション情報の品質を表す評価情報を導出すること、
    を含む処理をコンピュータに実行させる情報処理装置の作動プログラム。
PCT/JP2022/008071 2021-03-31 2022-02-25 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム WO2022209501A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023510681A JPWO2022209501A1 (ja) 2021-03-31 2022-02-25
US18/473,292 US20240013524A1 (en) 2021-03-31 2023-09-25 Information processing apparatus, method of operating information processing apparatus, and program for operating information processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021061524 2021-03-31
JP2021-061524 2021-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/473,292 Continuation US20240013524A1 (en) 2021-03-31 2023-09-25 Information processing apparatus, method of operating information processing apparatus, and program for operating information processing apparatus

Publications (1)

Publication Number Publication Date
WO2022209501A1 true WO2022209501A1 (ja) 2022-10-06

Family

ID=83458472

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008071 WO2022209501A1 (ja) 2021-03-31 2022-02-25 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム

Country Status (3)

Country Link
US (1) US20240013524A1 (ja)
JP (1) JPWO2022209501A1 (ja)
WO (1) WO2022209501A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146936A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 診断支援システム、診断支援方法、及びプログラム
JP2020086519A (ja) * 2018-11-15 2020-06-04 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム
JP2021018459A (ja) * 2019-07-17 2021-02-15 オリンパス株式会社 評価支援方法、評価支援システム、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019146936A (ja) * 2018-02-28 2019-09-05 富士フイルム株式会社 診断支援システム、診断支援方法、及びプログラム
JP2020086519A (ja) * 2018-11-15 2020-06-04 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、およびプログラム
JP2021018459A (ja) * 2019-07-17 2021-02-15 オリンパス株式会社 評価支援方法、評価支援システム、プログラム

Also Published As

Publication number Publication date
US20240013524A1 (en) 2024-01-11
JPWO2022209501A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
US20190051215A1 (en) Training and testing system for advanced image processing
JP6422486B2 (ja) 高度医用画像処理ウィザード
JP7201404B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
US20180168730A1 (en) System and method for medical procedure planning
EP2169577A1 (en) Method and system for medical imaging reporting
US20030139944A1 (en) System and method for the processing of patient data
CN112582057A (zh) 分布式设置中的高级医学成像
Stecco et al. Virtual dissection table in diagnosis and classification of Le Fort fractures: A retrospective study of feasibility
Genske et al. Human Observer Net: a platform tool for human observer studies of image data
US20220399107A1 (en) Automated protocoling in medical imaging systems
JP7008017B2 (ja) 正確な放射線科推奨を生成するシステムおよび方法
WO2022209501A1 (ja) 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
CN105578958B (zh) 用于背景感知成像的系统和方法
US11704793B2 (en) Diagnostic support server device, terminal device, diagnostic support system, diagnostic support process,diagnostic support device, and diagnostic support program
Popescu et al. DICOM 3D viewers, virtual reality or 3D printing–a pilot usability study for assessing the preference of orthopedic surgeons
CN109427416B (zh) 用于比较医学成像过程中的参考值的方法、系统
van der Gijp et al. Increasing authenticity of simulation-based assessment in diagnostic radiology
WO2022209500A1 (ja) 機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム
US20230394661A1 (en) Image processing apparatus, method for operating image processing apparatus, and program for operating image processing apparatus
US11694806B2 (en) Systems and methods for grouping brain parcellation data
US20090128304A1 (en) Method and apparatus for tactile interface for reviewing radiological images
US20230394673A1 (en) Image processing apparatus, operation method of image processing apparatus, operation program of image processing apparatus, and learning method
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021177358A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021206157A1 (ja) 医用情報処理装置及び医用情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779726

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510681

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779726

Country of ref document: EP

Kind code of ref document: A1