WO2022209500A1 - 機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム - Google Patents

機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム Download PDF

Info

Publication number
WO2022209500A1
WO2022209500A1 PCT/JP2022/008070 JP2022008070W WO2022209500A1 WO 2022209500 A1 WO2022209500 A1 WO 2022209500A1 JP 2022008070 W JP2022008070 W JP 2022008070W WO 2022209500 A1 WO2022209500 A1 WO 2022209500A1
Authority
WO
WIPO (PCT)
Prior art keywords
annotation information
learning model
annotators
machine learning
medical image
Prior art date
Application number
PCT/JP2022/008070
Other languages
English (en)
French (fr)
Inventor
篤志 橘
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2023510680A priority Critical patent/JPWO2022209500A1/ja
Publication of WO2022209500A1 publication Critical patent/WO2022209500A1/ja
Priority to US18/472,268 priority patent/US20240013894A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Definitions

  • the technology of the present disclosure relates to a machine learning model creation support device, a method of operating the machine learning model creation support device, and an operation program for the machine learning model creation support device.
  • machine learning models have been developed for recognizing subjects in medical images, such as recognizing tumors in abdominal tomographic images taken by a CT (Computed Tomography) device on a pixel-by-pixel basis.
  • Such machine learning models require annotation information as correct data in the learning phase or accuracy evaluation phase.
  • Annotation information is information generated by assigning a label according to the class of the object to be recognized to the original image paired in the correct data.
  • the annotation information is information generated by assigning a label “tumor” to the pixels of the tumor in the abdominal tomographic image, which is the original image.
  • One embodiment of the technology of the present disclosure is a machine learning model creation support device that can easily obtain appropriate annotation information to be used as correct data for a machine learning model, an operation method of the machine learning model creation support device, a machine An operating program for a learning model creation support device is provided.
  • a machine learning model creation support device of the present disclosure includes a processor, and the processor includes a plurality of annotation information generated by a plurality of annotators assigning a plurality of labels corresponding to a plurality of classes to a region of the same medical image. , derives for each class commonality data indicating commonality in how labels are assigned by multiple annotators for a plurality of pieces of annotation information, and based on the commonality data and preset definite conditions, Generate fixed annotation information to be used as correct data for the learning model.
  • the operation method of the machine learning model creation support device of the present disclosure acquires a plurality of annotation information generated by a plurality of annotators assigning a plurality of labels corresponding to a plurality of classes to a region of the same medical image. , for a plurality of pieces of annotation information, deriving for each class commonality data indicating commonality in how labels are assigned by a plurality of annotators; generating definitive annotation information to be used as correct data for the learning model.
  • An operating program of a machine learning model creation support device of the present disclosure obtains a plurality of annotation information generated by a plurality of annotators assigning a plurality of labels corresponding to a plurality of classes to a region of the same medical image. , for a plurality of pieces of annotation information, deriving for each class commonality data indicating commonality in how labels are assigned by a plurality of annotators; Generating fixed annotation information to be used as correct data for the learning model is executed by a computer.
  • FIG. 3 is a diagram showing medical images and annotation information transmitted and received between a machine learning model creation support server and an annotator terminal; It is a figure which shows annotation information.
  • FIG. 3 is a diagram which shows the computer which comprises a machine-learning model preparation assistance server.
  • FIG. 10 is a diagram showing annotation information in which labels of different classes are assigned to the same region;
  • FIG. 10 is a diagram showing annotation information in which labels of different classes are assigned to the same region;
  • FIG. 10 is a diagram illustrating another example of determination conditions and processing of the derivation unit and the generation unit;
  • FIG. 10 is a diagram showing another example of commonality data, determination conditions, and processing of the derivation unit and the generation unit;
  • FIG. 11 is a diagram showing a fourth embodiment of attaching display condition data to a medical image;
  • FIG. 10 is a diagram showing an annotation information generation screen displayed on the display of the annotator terminal;
  • FIG. 11 is a diagram showing an annotation information generation screen when a generation end button is operated;
  • FIG. 12 is a diagram showing a fifth embodiment in which a human body area in which a human body is captured in a medical image is detected and commonality data is derived only for the detected human body area.
  • FIG. 10 is a diagram illustrating another example of determination conditions and processing of the derivation unit and the generation unit
  • FIG. 10 is a diagram showing another example of commonality data, determination conditions, and processing of the derivation unit and the generation unit
  • FIG. 11 is
  • FIG. 10 is a diagram showing an annotation information generation screen in which a hatched human body region is displayed; It is a figure which shows annotator information.
  • FIG. 22 is a diagram showing a seventh embodiment in which different decision conditions are set for the central portion and peripheral portion of the class area;
  • FIG. 20 is a diagram showing an eighth embodiment in which, in the finalized annotation information, the reliability indication value of the label of the peripheral portion of the class area is set lower than that of the central portion of the class area;
  • FIG. 10 is a diagram showing how to assign a label when the class is blood vessels;
  • FIG. 22 illustrates a ninth embodiment of transmitting annotation information and final annotation information to an annotator terminal;
  • FIG. 10 is a diagram showing an information comparison screen displayed on the display of the annotator terminal;
  • the machine learning model creation support system 2 includes a machine learning model creation support server (hereinafter abbreviated as support server) 10 and annotator terminals 11A, 11B, and 11C.
  • the support server 10 and the annotator terminals 11A to 11C are connected via a network 12 so as to be mutually communicable.
  • the network 12 is, for example, the Internet or a WAN (Wide Area Network).
  • the support server 10 is, for example, a server computer, a workstation, or the like, and is an example of a "machine learning model creation support device" according to the technology of the present disclosure.
  • Annotator terminal 11A has display 13A and input device 14A
  • annotator terminal 11B has display 13B and input device 14B
  • annotator terminal 11C has display 13C and input device 14C.
  • the annotator terminal 11A is operated by the annotator 15A
  • the annotator terminal 11B is operated by the annotator 15B
  • the annotator terminal 11C is operated by the annotator 15C.
  • the annotator terminals 11A to 11C are, for example, personal computers, tablet terminals, and the like.
  • the annotators 15A to 15C are doctors, for example, and are requested by the support server 10 to generate annotation information 21 (see FIG. 2).
  • the annotator terminals 11A to 11C are collectively referred to as the annotator terminal 11 when there is no particular need to distinguish them.
  • displays 13A-13C, input devices 14A-14C, and annotators 15A-15C may also be collectively referred to as display 13, input device 14, and annotator 15.
  • FIG. Note that the input device 14 is, for example, at least one of a keyboard, mouse, touch panel, microphone, gesture recognition device, and the like.
  • the support server 10 transmits the same medical image 20 to the annotator terminals 11A-11C.
  • the medical image 20 an abdominal tomographic image of an axial section taken by a CT apparatus is exemplified.
  • the medical image 20 is an original image for assigning a label according to a class that is a subject to be recognized based on a preset task.
  • the same medical image 20 refers to the medical image 20 of the same medical imaging device (also called modality) such as a CT device, the same patient, and the same imaging date and time.
  • the annotator terminal 11 displays the medical image 20 on the display 13.
  • the annotator terminal 11 receives an input for labeling the medical image 20 in units of pixels from the annotator 15 via the input device 14 .
  • annotation information 21A is generated by the annotator 15A at the annotator terminal 11A
  • annotation information 21B is generated by the annotator 15B at the annotator terminal 11B
  • annotation information 21C is generated by the annotator 15C at the annotator terminal 11C.
  • the annotation information 21A to 21C may be collectively referred to as the annotation information 21 in some cases.
  • the annotation information 21 is generated for each tomographic plane of the abdominal tomographic image.
  • the human body structure is drawn in the annotation information 21 to aid understanding, but the actual annotation information 21 does not include data of the human body structure, but only data of the attached labels (hereinafter referred to as 3, etc.).
  • the annotation information 21 is information in which pairs of label types and position coordinates of pixels of the labeled medical image 20 are registered.
  • the annotator terminal 11 transmits the annotation information 21 to the support server 10.
  • the support server 10 receives annotation information 21 from the annotator terminal 11 .
  • the annotation information 21 includes a first region 25 labeled as liver, a second region 26 labeled as tumor, and a second region 26 labeled as bleeding. and a third region 27 .
  • the second region 26 is naturally not specified when the annotator 15 determines that no tumor exists.
  • the third region 27 is not designated when the annotator 15 determines that there is no bleeding site.
  • the computer that configures the support server 10 includes a storage 30, a memory 31, a processor 32, a communication section 33, a display 34, and an input device 35. These are interconnected via bus lines 36 .
  • the storage 30 is a hard disk drive built into the computer constituting the support server 10 or connected via a cable or network. Alternatively, the storage 30 is a disk array in which a plurality of hard disk drives are connected.
  • the storage 30 stores a control program such as an operating system, various application programs (hereinafter abbreviated as AP (Application Program)), various data associated with these programs, and the like.
  • AP Application Program
  • a solid state drive may be used instead of the hard disk drive.
  • the memory 31 is a work memory for the processor 32 to execute processing.
  • the memory 31 is, for example, a RAM (Random Access Memory) such as a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory).
  • the processor 32 loads the program stored in the storage 30 into the memory 31 and executes processing according to the program. Thereby, the processor 32 comprehensively controls each part of the computer.
  • the processor 32 is, for example, a CPU (Central Processing Unit).
  • the memory 31 is an example of a “memory” according to the technology of the present disclosure. Note that the storage 30, or the storage 30 and the memory 31 may be defined as an example of the "memory” according to the technology of the present disclosure.
  • the communication unit 33 is a network interface that controls transmission of various information via the network 12 and the like.
  • the display 34 displays various screens. Various screens are provided with operation functions by GUI (Graphical User Interface).
  • a computer that configures the support server 10 receives input of operation instructions from the input device 35 through various screens.
  • the input device 35 is at least one of a keyboard, mouse, touch panel, microphone, gesture recognition device, and the like.
  • the storage 30 stores an operating program 40 .
  • the operation program 40 is an AP for causing a computer that configures the support server 10 to function as a "machine learning model creation support device" according to the technology of the present disclosure. That is, the operating program 40 is an example of the "operating program of the machine learning model creation support device" according to the technology of the present disclosure.
  • the storage 30 also stores the medical image 20 , annotation information 21 , finalized conditions 41 , and finalized annotation information 42 . Although only one medical image 20 is drawn, a plurality of medical images 20 are actually stored in the storage 30 .
  • the annotation information 21 and the fixed annotation information 42 are also the same.
  • the processor 32 When the operating program 40 is started, the processor 32 cooperates with the memory 31 and the like to cooperate with the read/write (hereinafter abbreviated as RW (Read Write)) control section 50, image transmission section 51, information reception section 52, derivation It functions as a unit 53 and a generation unit 54 .
  • RW Read Write
  • the RW control unit 50 controls storage of various information in the storage 30 and reading of various information in the storage 30 .
  • the RW control unit 50 reads the medical image 20 from the storage 30 and outputs the read medical image 20 to the image transmission unit 51 .
  • the RW control unit 50 also reads out the definite condition 41 from the storage 30 and outputs the read definite condition 41 to the generation unit 54 .
  • the image transmission unit 51 transmits the medical image 20 from the RW control unit 50 to the pre-registered annotator terminal 11 .
  • the information receiving unit 52 receives the annotation information 21 from the annotator terminal 11. Thereby, the support server 10 acquires the annotation information 21 .
  • the information receiving section 52 outputs the received annotation information 21 to the RW control section 50 .
  • the RW control unit 50 stores the annotation information 21 in the storage 30.
  • FIG. 5 shows that the annotation information 21A to 21C are received simultaneously by the information receiving unit 52, the reception timings of the annotation information 21A to 21C are actually different.
  • the information receiving unit 52 outputs the annotation information 21 to the RW control unit 50 each time it receives the annotation information 21, and the RW control unit 50 outputs the annotation information 21 each time the annotation information 21 is input from the information receiving unit 52. Store in the storage 30 .
  • the RW control unit 50 reads the annotation information 21A-21C from the storage 30 and outputs the read annotation information 21A-21C to the derivation unit 53 and the generation unit 54.
  • the derivation unit 53 derives commonality data 60 .
  • the commonality data 60 is data indicating the commonality in how the three annotators 15A to 15C assign labels to the three pieces of annotation information 21A to 21C.
  • the derivation unit 53 outputs the derived commonality data 60 to the generation unit 54 .
  • the generating unit 54 generates fixed annotation information 42 based on the commonality data 60 from the deriving unit 53, the annotation information 21A to 21C from the RW control unit 50, and the fixed condition 41.
  • the finalized annotation information 42 is annotation information that is finally used as correct data for the machine learning model.
  • the generator 54 outputs the finalized annotation information 42 to the RW controller 50 .
  • the RW control unit 50 stores the confirmed annotation information 42 from the generation unit 54 in the storage 30 .
  • the definitive annotation information 42 is used as correct data together with the medical image 20, which is the original image, in the learning phase of the machine learning model or the accuracy evaluation phase.
  • a medical image 20 is input to the machine learning model.
  • the output annotation information output from the machine learning model is then compared with the definitive annotation information 42 to calculate the loss of the machine learning model.
  • the machine learning model is updated according to the loss.
  • the input of the medical image 20, the output of the output annotation information, the calculation of the loss, and the update are repeated while the set of the medical image 20 and the confirmed annotation information 42, that is, the correct data, is exchanged. This trains the machine learning model.
  • the medical image 20 is input to the machine learning model that has undergone a certain amount of learning. Then, the output annotation information output from the machine learning model and the definitive annotation information 42 are compared to calculate the loss, and the accuracy of the machine learning model is evaluated based on the loss. In the accuracy evaluation phase, only accuracy is evaluated and no update is performed. A machine learning model determined to have a preset accuracy or higher in the accuracy evaluation phase is used in the practical use phase.
  • the correct data used in the learning phase is also called learning data, and the correct data used in the accuracy evaluation phase is also called evaluation data.
  • the first region 25A is the region labeled liver in the annotation information 21A
  • the first region 25B is the region labeled liver in the annotation information 21B
  • the first region 25B is labeled liver.
  • a region 25C is a region labeled as liver in the annotation information 21C.
  • the second region 26A is a region labeled as tumor in the annotation information 21A
  • the second region 26B is a region labeled as tumor in the annotation information 21B
  • the second region 26C is the annotation information 21C. is the labeled region of the tumor in .
  • the third region 27A is a region labeled bleeding in the annotation information 21A
  • the third region 27B is a region labeled bleeding in the annotation information 21B
  • the third region 27C is the annotation information 21C. is the area labeled as hemorrhagic in .
  • the derivation unit 53 counts the number of annotators 15 to whom the liver, tumor, and bleeding labels have been assigned, and uses the counted number as the numerical value of the commonality data 60 .
  • the value of the commonality data 60 of pixels labeled by one annotator 15 is one, and the value of the commonality data 60 of pixels labeled by two annotators 15 is two.
  • the numerical value of the commonality data 60 of the pixels labeled by the three annotators 15 is three.
  • the derivation unit 53 derives commonality data 60 for each class of liver, tumor, and bleeding. Note that the number of annotators 15 to which labels have been assigned is an example of the “numerical value relating to the number of annotators to which labels have been assigned” according to the technology of the present disclosure.
  • the determination condition 41 of the present embodiment is to adopt the label of the region with the numerical value of 3 in the commonality data 60, that is, the region labeled by all the annotators 15.
  • the generation unit 54 generates a first region 25X labeled as liver by three annotators 15, a second region 26X labeled as tumor by three annotators 15, and a bleeding region 26X labeled as tumor by three annotators 15. generated the finalized annotation information 42 including the third region 27X labeled with .
  • the processor 32 of the support server 10 functions as the RW control unit 50, the image transmission unit 51, the information reception unit 52, the derivation unit 53, and the generation unit 54 as shown in FIG. be done.
  • the medical image 20 is read from the storage 30 by the RW control unit 50 .
  • the read medical image 20 is output from the RW control unit 50 to the image transmission unit 51 .
  • the medical image 20 is transmitted to the annotator terminal 11 by the image transmission unit 51 .
  • the annotation information 21 is generated based on the medical image 20 by the annotator 15 . As shown in FIG. 3, the annotation information 21 is generated by assigning three labels corresponding to three classes of liver, tumor, and bleeding to the same medical image 20 region. The annotation information 21 is transmitted from the annotator terminal 11 to the support server 10 .
  • the annotation information 21 from the annotator terminal 11 is received by the information receiving unit 52 .
  • the annotation information 21 is obtained (step ST100).
  • the annotation information 21 is output from the information receiving section 52 to the RW control section 50 and stored in the storage 30 by the RW control section 50 .
  • the annotation information 21 is read from the storage 30 by the RW control unit 50 .
  • the read annotation information 21 is output from the RW control unit 50 to the derivation unit 53 and the generation unit 54 .
  • the derivation unit 53 derives, for each class, commonality data 60 indicating the commonality of labeling methods by the plurality of annotators 15A to 15C for the plurality of annotation information 21A to 21C. (step ST110).
  • the commonality data 60 is a count value of the number of annotators 15 who have assigned the labels of liver, tumor, and bleeding.
  • the commonality data 60 is output from the derivation unit 53 to the generation unit 54 .
  • the generation unit 54 generates the defined annotation information 42 based on the commonality data 60 and the defined conditions 41 (step ST120).
  • final annotation information 42 is generated that includes a first region 25X, a second region 26X, and a third region 27X labeled liver, tumor, and bleeding by three annotators 15, respectively.
  • the finalized annotation information 42 is output from the generation unit 54 to the RW control unit 50 and stored in the storage 30 by the RW control unit 50 .
  • the processor 32 of the support server 10 includes the information receiving section 52, the deriving section 53, and the generating section .
  • the information receiving unit 52 acquires the annotation information 21A to 21C from the annotator terminals 11A to 11C by receiving them.
  • the annotation information 21A-21C is generated by the annotators 15A-15C assigning three labels corresponding to three classes to the same region of the medical image 20.
  • the derivation unit 53 derives, for each class, commonality data 60 indicating the commonality of labeling methods by the annotators 15A to 15C for the annotation information 21A to 21C.
  • the generation unit 54 generates definite annotation information 42 to be used as correct data for the machine learning model based on the commonality data 60 and the preset definite conditions 41 .
  • the method of labeling differs depending on the annotator 15, resulting in a difference between the plurality of annotation information 21.
  • the annotation information 21 is generated by assigning multiple labels corresponding to multiple classes, the more labels are assigned, the greater the difference between the multiple annotation information 21. Become.
  • the commonality data 60 is derived for each class, and the definitive annotation information 42 is generated based on the derived commonality data 60. Therefore, it is possible to easily obtain appropriate definitive annotation information 42 to be used as correct data for the machine learning model.
  • the annotation information 63 of this embodiment includes a first region 65 labeled liver, a second region 66 labeled liver and tumor, liver, tumor, and a third region 67 labeled bleeding.
  • a second region 66 and a third region 67 are regions labeled with different classes.
  • the annotation information 63 is information in which different class labels are assigned to the same region. Therefore, as the number of types of labels applied to the same area increases, the difference between the plurality of pieces of annotation information 21 becomes even greater than in the first embodiment. Therefore, the effect of easily obtaining the appropriate definitive annotation information 42 to be used as the correct data of the machine learning model can be further exhibited.
  • the determination condition 70 of the present embodiment adopts labels for areas where the numerical value of the commonality data 60 is 2 or more, that is, areas where the number of labeled annotators is 2 or more. This is the content. Therefore, the generating unit 54 generates the first region 25Y labeled as liver by two or more annotators 15, the second region labeled as tumor by two or more annotators 15 (not shown), and The above annotator 15 generates final annotation information 42 including a third region (not shown) labeled as bleeding. It should be noted that "2" to "two people” in the determination condition 70 are examples of the "threshold" according to the technology of the present disclosure.
  • the derivation unit 53 (not shown) of the present embodiment uses commonality data 75 in which the ratio of labeled annotators 15 is registered for each position coordinate of a labeled pixel. to derive
  • the derivation unit 53 derives commonality data 75 in which the ratio of annotators labeled with the liver shown in the drawing is registered.
  • the deriving unit 53 also includes commonality data 75 in which the ratio of the annotators 15 labeled with the tumor is registered and commonality data 75 in which the ratio of the annotators 15 labeled with the bleeding is registered (not shown).
  • the ratio of the annotators 15 to which the label is assigned is an example of the “numerical value related to the number of annotators to which the label is assigned” according to the technology of the present disclosure.
  • the confirmation condition 76 of the present embodiment is to adopt the label of the area where the percentage of the annotators 15 who have given the label is 90% or more.
  • the generation unit 54 (not shown) of the present embodiment determines the adoption or non-adoption of labels for each position coordinate as shown in Table 77 based on the commonality data 75 and the determination conditions 76 . Specifically, the generation unit 54 determines to adopt the label of the position coordinates for which the ratio of the annotators 15 assigned the label of the commonality data 75 is 90% or more of the determination condition 76 . On the other hand, the generation unit 54 determines not to adopt (not adopt) the label of the position coordinates for which the ratio of the annotators 15 assigned the label of the commonality data 75 is less than 90% of the determination condition 76 .
  • the generation unit 54 generates the finalized annotation information 42 based on the acceptance/rejection result. Note that "90%" of the determination condition 76 is an example of a "threshold" according to the technology of the present disclosure.
  • the final annotation information 42 is inevitably influenced by the annotation information 21 with the relatively small labeled area.
  • the 3_1 embodiment and the 3_2 embodiment using the determination conditions 70 and 76 that the given label is adopted only when the numerical value of the commonality data 60 or 75 is equal to or greater than the threshold, It is possible to generate definitive annotation information 42 labeled over a wider area, which is less affected by annotation information 21 with a relatively small labeled area.
  • the number of annotators 15 should be two or more, and is not limited to three. Therefore, the number of pieces of annotation information 21 may be two or more, and is not limited to three. Also, the case where the number of annotators 15 and the confirmation conditions 41, 70, and 76 are fixed has been exemplified, but the present invention is not limited to this.
  • the number of annotators 15 and the defined conditions 41, 70, and 76 may be variable. For example, the configuration may be such that the user who operates the support server 10 can change the settings of the number of annotators 15 and the confirmation conditions 41 , 70 , and 76 .
  • the image transmission unit 80 of this embodiment attaches the display condition data 81 to the medical image 20 and transmits it to the annotator terminals 11A to 11C.
  • the display condition data 81 includes a window level (WL), a window width (WW), and a slice position.
  • the window level and window width are parameters related to the display gradation of the medical image 20 .
  • the window level is the central value of the display area of the medical image 20 that is set with respect to the pixel values of the original image of the medical image 20 .
  • the window width is a numerical value indicating the width of the display area of the medical image 20 .
  • the slice position indicates the position of the tomographic plane when the medical image 20 is a tomographic image as in this example.
  • An annotation information generation screen 85 shown in FIG. 12 is displayed as an example on the display 13 of the annotator terminal 11 .
  • the annotation information generation screen 85 has a task display area 86, a tool button group 87, an image display area 88, and the like.
  • the content of the set task is displayed in the task display area 86 .
  • the tool button group 87 consists of tool buttons of various tools for the annotator 15 to designate a label corresponding to the class designated by the task.
  • Various tools are, for example, a designated class switching tool, a line drawing tool, an area filling tool, an area erasing tool, and the like.
  • a medical image 20 is displayed in the image display area 88 .
  • Annotation information 21 is generated by labeling the medical image 20 displayed in the image display area 88 using various tools.
  • the medical image 20 is initially displayed under display conditions according to the attached display condition data 81 .
  • FIG. 12 shows an example in which the medical image 20 is displayed under display conditions according to the display condition data 81 illustrated in FIG. 11 .
  • a send-back button 89 and a display gradation change button 90 are provided at the bottom of the image display area 88 .
  • the send-back button 89 it is possible to change the slice position.
  • the display gradation change button 90 it is possible to change the window level and the window width.
  • the annotator 15 can freely change the slice position of the medical image 20 . Therefore, the annotator 15 can review the medical image 20 at a specific slice position many times. Also, the annotator 15 can freely change the display conditions of the medical image 20 .
  • illustration is omitted, the medical image 20 in the image display area 88 can be translated and enlarged and reduced.
  • a temporary save button 91 and a generation end button 92 are further provided.
  • the temporary save button 91 When the temporary save button 91 is operated, the annotation information 21 generated so far is temporarily saved in the storage of the annotator terminal 11 .
  • the generation end button 92 When the generation end button 92 is operated, a dialog box 95 pops up as shown in FIG. 13 as an example.
  • the display condition of the medical image 20 in the image display area 88 is set to the display condition according to the attached display condition data 81 .
  • the dialog box 95 is a GUI for asking the annotator 15 whether or not to really finish generating the annotation information 21.
  • a dialog box 95 is provided with a Yes button 96 and a No button 97 .
  • the yes button 96 is operated, the generated annotation information 21 is transmitted to the support server 10 .
  • the No button 97 is selected, the dialog box 95 disappears and the annotation information 21 can be generated.
  • the display condition data 81 is attached to the medical image 20.
  • the display condition data 81 is data for displaying the medical image 20 under the same display condition when multiple annotators 15 view the medical image 20 . Therefore, as shown in FIGS. 12 and 13, the same display conditions can be set for a plurality of annotator terminals 11. FIG. Therefore, it is possible to suppress the occurrence of differences in labeling by the annotators 15 due to differences in display conditions.
  • each annotator 15 by first displaying the medical image 20 under the display conditions according to the display condition data 81 , the recognition of each annotator 15 may be deviated from the start of generation of the annotation information 21 . can be suppressed. Further, as shown in FIG. 13, by displaying the medical image 20 under the display conditions according to the display condition data 81 when completing the generation of the annotation information 21, each annotator 15 can It is possible to suppress the occurrence of deviation in the recognition of
  • the medical image 20 is displayed under display conditions according to the display condition data 81 both when the generation of the annotation information 21 is started and when the generation of the annotation information 21 is finished.
  • the display conditions of the medical image 20 are the same, but the present invention is not limited to this.
  • the medical image 20 may be displayed under display conditions according to the display condition data 81 only when the generation of the annotation information 21 is started or when the generation of the annotation information 21 is finished.
  • the processor of the support server of this embodiment functions as a detection unit 105 in addition to the processing units 50 to 54 (not shown except the derivation unit 53) of the first embodiment.
  • the detection unit 105 detects a human body region 106 in which a human body is captured in the medical image 20 using body surface recognition technology.
  • Detecting unit 105 outputs human body region information 107 that is the detection result of human body region 106 to derivation unit 53 .
  • the human body region information 107 is specifically the position coordinates of the pixels of the medical image 20 corresponding to the human body region 106 .
  • the derivation unit 53 of this embodiment derives the commonality data 60 only for the human body region 106 .
  • the class of the medical image 20 is set only for the human body region 106, so it is not necessary to derive the commonality data 60 for regions other than the human body region 106. Therefore, in the fifth embodiment, the detection unit 105 detects the human body region 106 in which the human body appears in the medical image 20, and the deriving unit 53 derives the commonality data 60 only for the detected human body region 106. . Therefore, the processing load on the derivation unit 53 can be reduced, and as a result, the generation of the finalized annotation information 42 can be accelerated.
  • the commonality data 75 of the 3_2 embodiment can be used instead of the commonality data 60 .
  • the human body region 106 detected by the detection unit 105 is displayed with a colored hatching 115 indicated by hatching. may be displayed so as to be identifiable from the area of In this way, the annotator 15 can be alerted not to erroneously label regions other than the human body region 106 .
  • annotation information generation screen 85 may be configured so that labels cannot be added to areas other than the human body area 106 . Such a configuration can also prevent erroneous labeling of regions other than the human body region 106 .
  • the deriving unit 53 of this embodiment counts the number of annotators 15 when deriving the commonality data 60 according to the annotator information 120 .
  • the annotator information 120 registers the attribute of the annotator 15 and the number of people counted when deriving the commonality data 60 for each annotator ID (Identification Data) for identifying each annotator 15 .
  • Attributes include years of service and qualifications. Qualifications include Radiology Training Instructor and Radiological Diagnostic Specialist.
  • the sixth embodiment when deriving the commonality data 60, weighting according to the attributes of the annotator 15 is performed. Therefore, annotators 15 with relatively long years of service and/or qualified annotators 15, or other annotators 15 whose labeling accuracy is considered to be relatively high, increase the count of the number of people in the area labeled. be able to. In this way, if the determination condition is to adopt the label of the region where the numerical value of the commonality data 60 is equal to or greater than the threshold, as in the determination condition 70 of the 3_1 embodiment, the accuracy of labeling can be improved. The probability that the label assigned by the annotator 15 that is considered to have a relatively high probability of being adopted as the label of the final annotation information 42 increases. As a result, the reliability of the finalized annotation information 42 can be enhanced.
  • the commonality data 75 of the above 3_2 embodiment can be used instead of the commonality data 60.
  • the percentage of regions labeled by the annotator 15 whose labeling accuracy is considered to be relatively high is relatively high.
  • the probability that the label will be adopted as the label of the finalized annotation information 42 is increased, and as a result, the reliability of the finalized annotation information 42 can be enhanced.
  • the side to which the annotators 15 whose labeling accuracy is considered to be relatively high belongs. may be adopted. Specifically, there are four annotators 15, and two annotators 15 have given labels and two have not given labels. If it is on the side that has not been attached, it is not adopted as the label of the fixed annotation information 42 .
  • the attribute may include the specialty field of the annotator 15. In this case, for example, if the task is related to the specialized field, the count number is added. Also, the number of published papers of the annotator 15 may be included in the attribute. In this case, the count number is increased when the number of published papers is greater than or equal to the first threshold, and the count number is decreased when the number of published papers is less than the second threshold.
  • the generation unit 54 (not shown) of the present embodiment generates finalized annotation information 42 based on two finalized conditions 125A and 125B.
  • a determination condition 125A is applied to the center 126A of the region 126 of the class.
  • determination condition 125B applies to edge 126B of region 126 .
  • the determination condition 125A is to adopt the label of the area where the percentage of the annotators 15 who have given the label is 70% or more.
  • the confirmation condition 125B is to adopt the label of the area where the percentage of the annotators 15 who have given the label is 90% or more.
  • the threshold of the confirmation condition 125B applied to the peripheral portion 126B is set higher than the threshold of the confirmation condition 125A applied to the central portion 126A.
  • the central portion 126A and the peripheral portion 126B are sorted, for example, as follows. First, the regions labeled by all the annotators 15 are determined, and the center of the determined region is set as the center of the central portion 126A. Note that the center is, for example, at least one of the center of gravity, the inner center, the outer center, and the orthocenter. The regions labeled by all annotators 15 are then enlarged, for example, by 20% without moving the center. The region labeled by all the annotators 15 is defined as a central portion 126A, and the region bordered by the region enlarged by 20% and the region labeled by all the annotators 15 is defined as a peripheral portion 126B.
  • each annotator 15 may obtain the center of each labeled region, further obtain the center of each of the obtained centers, and use this as the center of the central portion 126A.
  • region with which the label was given was made into the marginal part, it is not restricted to this. For example, when the distance from the center of the labeled region to the outer edge is 100, the distance from the center to 80 may be the center portion, and the remaining distance from 80 to 100 may be the edge portion.
  • the seventh embodiment there are defined conditions 125A applied to the central portion 126A of the class region 126, and defined conditions 125B applied to the marginal portion 126B. It is different from the edge portion 126B. Further, it is more difficult to satisfy the definite condition 125B than the definite condition 125A. The edge 126B is particularly prone to labeling errors because it is a boundary with other areas. Therefore, by increasing the degree of difficulty in satisfying the conditions for the peripheral portion 126B rather than for the central portion 126A, the reliability of the finalized annotation information 42 for the peripheral portion 126B can be ensured.
  • the generation unit 54 expresses the reliability of the label of the peripheral part 131B of the class area 131 in the final annotation information 130 rather than the central part 131A of the class area 131.
  • Set the numerical value (hereinafter referred to as the reliability display value) to a low value.
  • the generation unit 54 sets the reliability display value of the central portion 131A to 1, which is the maximum value, and sets the reliability display value of the peripheral portion 131B to 0.8.
  • the central portion 131A and the peripheral portion 131B are also selected in the same manner as the central portion 126A and the peripheral portion 126B in the seventh embodiment.
  • the generation unit 54 sets the reliability display value of the label of the peripheral portion 131B lower than that of the central portion 131A of the class region 131 in the final annotation information 130 . Therefore, when a machine learning model is learned using the definite annotation information 130, it is possible to reduce the occurrence frequency of so-called false positives, in which a region that is not a class is recognized as a class, especially in the early stage of the learning phase.
  • the label reliability display value in the finalized annotation information may be set according to the ratio of the annotators 15 to which labels have been assigned, as described in the 3_2 embodiment above.
  • the ratio of annotators 15 to which labels are assigned is used as the reliability indication value. Specifically, when the percentage is 80%, the reliability indication value is 0.8, and when the percentage is 20%, the reliability indication value is 0.2.
  • the generation unit 54 preferably assigns a label to an expanded region 136 larger than the region 135 that satisfies the definite condition in the definite annotation information.
  • the expanded area 136 is, for example, an area that is larger than the area 135 that satisfies the confirmation condition by the set number of pixels.
  • the set number of pixels is 1, for example.
  • the boundary is often unclear, so there is a demand for recognizing the periphery of the blood vessel as a blood vessel with a margin, and this demand can be met.
  • the extended area 136 may be an area that includes a distance of, for example, 120 from the outer edge when the distance from the center of the area 135 that satisfies the determination condition to the outer edge is 100.
  • the center of the region 135 that satisfies the confirmation condition can be obtained in the same manner as the center of the regions labeled by all the annotators 15 in the seventh embodiment.
  • the processor of the support server of this embodiment functions as an information transmission section 140 in addition to the processing sections 50 to 54 of the first embodiment.
  • the information transmission unit 140 transmits the annotation information 21 and the fixed annotation information 42 stored in the storage 30 to the annotator terminal 11 .
  • the annotation information 21 may include not only information generated by the annotator 15 of the annotator terminal 11 that transmits, but also information generated by other than the annotator 15 of the annotator terminal 11 that transmits.
  • an information comparison screen 145 shown in FIG. 21 is displayed on the display 13 as an example.
  • the information comparison screen 145 includes an annotation information display area 146 in which the annotation information 21 is superimposed on the medical image 20 and displayed, and a confirmed annotation information display area 147 in which the confirmed annotation information 42 is superimposed on the medical image 20 and displayed. have.
  • the annotation information display area 146 and the finalized annotation information display area 147 are arranged side by side.
  • annotation information display area 146 the annotation information 21 generated by the annotator 15 is initially displayed.
  • the medical image 20 superimposed on the annotation information 21 and the medical image 20 superimposed on the finalized annotation information 42 are initially displayed under the same display conditions according to the display condition data 81 .
  • FIG. 21 shows an example in which regions labeled with liver, tumor, and hemorrhage are all displayed. It is also possible to display by class such as only.
  • send-back buttons 148 and 149 having the same functions as the send-back button 89 and display gradation change button 90 of the annotation information generation screen 85, and display gradation.
  • Change buttons 150 and 151 are provided. Therefore, as in the case of the annotation information generation screen 85, it is possible to change the slice position, window level and window width.
  • a display mode switching button 152 When the display mode switching button 152 is operated, the annotation information 21 in the annotation information display area 146 is moved to the confirmed annotation information display area 147, and the annotation information 21 and the confirmed annotation information 42 are superimposed and displayed. In this case, the portions where the labels of the annotation information 21 and the final annotation information 42 overlap are displayed in a darker color than the portions where the labels do not overlap.
  • the correction button 153 When the correction button 153 is operated, the screen transitions to the annotation information generation screen 85, and the annotation information 21 can be corrected.
  • the display of the annotation information display area 146 switches from the annotation information 21 generated by the relevant annotator 15 to annotation information 21 generated by another annotator 15 .
  • the end button 155 is operated, the display of the information comparison screen 145 is erased.
  • the information transmitting unit 140 transmits the annotation information 21 and the finalized annotation information 42 to the annotator terminal 11 operated by the annotator 15 . Therefore, as shown in FIG. 21, the annotation information 21 and the finalized annotation information 42 can be displayed on the annotator 15 so as to be comparable.
  • the annotator 15 can compare the annotation information 21 generated by him/herself and the finalized annotation information 42, and can make use of it in generating the annotation information 21 in the future. In some cases, the annotation information 21 can be corrected while referring to the finalized annotation information 42 .
  • the display conditions for the medical image 20 superimposed on the annotation information 21 and the medical image 20 superimposed on the finalized annotation information 42 are set most among the display conditions set by each annotator 15 on the annotation information generation screen 85.
  • the display condition may be set such that the number of times the display is performed is large. Alternatively, the following may be done. That is, the support server 10 receives the window level and the window width at the end of generating the annotation information 21 together with the annotation information 21 from each annotator terminal 11 . Among the received window level and window width, the support server 10 applies the window level and window width attached to the annotation information 21 similar to the confirmed annotation information 42 to the medical image 20 superimposed on the annotation information 21 and the confirmed annotation information 42 . A display condition for the medical image 20 superimposed on the annotation information 42 is assumed.
  • an image management server that accumulates and manages the medical images 20 may be provided separately from the support server 10 , and the medical images 20 may be transmitted from the image management server to the annotator terminal 11 .
  • the medical image 20 is not limited to an abdominal tomographic image captured by the illustrated CT device.
  • a tomographic image of the head taken by an MRI (Magnetic Resonance Imaging) device may be used.
  • medical images are not limited to three-dimensional images such as tomographic images.
  • it may be a two-dimensional image such as a simple radiographic image.
  • a PET (Positron Emission Tomography) image, a SPECT (Single Photon Emission Computed Tomography) image, an endoscopic image, an ultrasound image, a fundus examination image, or the like may be used.
  • Classes to be labeled are not limited to liver, tumor, hemorrhage, and blood vessels as examples.
  • Other organs such as the brain, eyes, spleen, and kidneys or anatomical parts of organs such as vertebrae and bones such as ribs, S1-S10 of the lung, pancreatic head, pancreatic body, and pancreatic tail, and more.
  • may be other abnormal findings such as cysts, atrophy, ductal stenosis, or ductal dilatation. It may also be a pacemaker, an artificial joint, a bolt for fracture treatment, or the like.
  • the display condition data 81 of the fourth embodiment is set to values adapted to the type of the medical image 20, the organ to be classified, or the body type of the patient.
  • the display condition data 81 is further set to a value adapted to the irradiation dose.
  • a label may be assigned to a rectangular frame (when the medical image 20 is a two-dimensional image) or a box-shaped frame (when the medical image 20 is a three-dimensional image) surrounding an entire class such as a tumor. In this case, for example, the label given to the area where all the frames overlap is adopted as the label of the finalized annotation information 42 .
  • annotator 15 is described as a person such as a doctor, but is not limited to this.
  • Annotators 15 may be machine learning models.
  • Various screens such as the annotation information generation screen 85 may be sent from the support server 10 to the annotator terminal 11 in the form of screen data for web distribution created in a markup language such as XML (Extensible Markup Language).
  • XML Extensible Markup Language
  • the annotator terminal 11 reproduces various screens to be displayed on the web browser based on the screen data and displays them on the display 13 .
  • JSON Javascript (registered trademark) Object Notation
  • the hardware configuration of the computer that constitutes the support server 10 can be modified in various ways.
  • the support server 10 can be composed of a plurality of server computers separated as hardware for the purpose of improving processing capability and reliability.
  • the functions of the RW control unit 50, the image transmission unit 51, and the information reception unit 52, and the functions of the derivation unit 53 and the generation unit 54 are distributed to two server computers.
  • the support server 10 is composed of two server computers. A part or all of the function of each processing unit of the support server 10 may be performed by the annotator terminal 11 .
  • the hardware configuration of the computer of the support server 10 can be changed as appropriate according to required performance such as processing power, safety, and reliability.
  • APs such as the operating program 40 can of course be duplicated or distributed and stored in multiple storages for the purpose of ensuring safety and reliability.
  • the RW control unit 50, the image transmission units 51 and 80, the information reception unit 52, the derivation unit 53, the generation unit 54, the detection unit 105, and the information transmission unit 140 perform various processes.
  • the various processors include FPGA (Field Programmable Gate Array), etc., whose circuit configuration can be changed after manufacturing.
  • Programmable Logic Device (PLD) which is a processor, and/or ASIC (Application Specific Integrated Circuit), etc. etc. are included.
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of a plurality of FPGAs and/or a CPU and combination with FPGA). Also, a plurality of processing units may be configured by one processor.
  • a single processor is configured by combining one or more CPUs and software.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including multiple processing units with a single IC (Integrated Circuit) chip. be.
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit combining circuit elements such as semiconductor elements can be used.
  • the annotation information is preferably information in which labels of different classes are assigned to the same region.
  • the commonality data is a numerical value related to the number of annotators assigned labels for multiple classes, and the confirmation condition is that the assigned label is adopted only when the numerical value is greater than or equal to the threshold. preferable.
  • the medical image is preferably attached with display condition data for displaying the medical image under the same display condition when a plurality of annotators view the medical image.
  • the processor detects human body regions in which human bodies appear in the medical image and derives commonality data only for the detected human body regions.
  • the processor weights according to the attributes of the annotators when deriving the commonality data.
  • the processor sets a lower numerical value representing the reliability of the label at the edge of the class area than at the center of the class area in the final annotation information.
  • the processor preferably transmits the annotation information and the confirmed annotation information to an annotator terminal used by the annotator.
  • the technology of the present disclosure can also appropriately combine various embodiments and/or various modifications described above. Moreover, it is needless to say that various configurations can be employed without departing from the scope of the present invention without being limited to the above embodiments. Furthermore, the technology of the present disclosure extends to storage media that non-temporarily store programs in addition to programs.
  • a and/or B is synonymous with “at least one of A and B.” That is, “A and/or B” means that only A, only B, or a combination of A and B may be used.
  • a and/or B means that only A, only B, or a combination of A and B may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

プロセッサを備え、プロセッサは、複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得し、複数のアノテーション情報について、複数のアノテータによるラベルの付与の仕方の共通性を示す共通性データをクラス毎に導出し、共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成する、機械学習モデル作成支援装置。

Description

機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム
　本開示の技術は、機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラムに関する。
　例えばＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）装置により撮影された腹部断層画像内の腫瘍を画素単位で認識する等、医用画像に写る被写体を認識する機械学習モデルが開発されている。こうした機械学習モデルでは、学習フェーズ、あるいは精度評価フェーズにおいて、正解データとしてのアノテーション情報が必要となる。アノテーション情報は、正解データにおいて対となる元画像に、認識対象の被写体であるクラスに応じたラベルを付与することで生成された情報である。上記の腹部断層画像の例では、アノテーション情報は、元画像である腹部断層画像内の腫瘍の画素に、「腫瘍」というラベルを付与することで生成された情報となる。
　国際公開第２０１９／００３４８５号には、アノテーション情報の生成を複数のアノテータに分担させることが記載されている。具体的には、同一の元画像を複数のアノテータの各々のアノテータ端末に送信し、複数のアノテータが元画像にラベルを付与することで生成した複数のアノテーション情報を、複数のアノテータ端末から受信している。
　本開示の技術に係る１つの実施形態は、機械学習モデルの正解データとして用いる適切なアノテーション情報を容易に得ることが可能な機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラムを提供する。
　本開示の機械学習モデル作成支援装置は、プロセッサを備え、プロセッサは、複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得し、複数のアノテーション情報について、複数のアノテータによるラベルの付与の仕方の共通性を示す共通性データをクラス毎に導出し、共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成する。
　本開示の機械学習モデル作成支援装置の作動方法は、複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得すること、複数のアノテーション情報について、複数のアノテータによるラベルの付与の仕方の共通性を示す共通性データをクラス毎に導出すること、並びに、共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成すること、を含む。
　本開示の機械学習モデル作成支援装置の作動プログラムは、複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得すること、複数のアノテーション情報について、複数のアノテータによるラベルの付与の仕方の共通性を示す共通性データをクラス毎に導出すること、並びに、共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成すること、を含む処理をコンピュータに実行させる。
機械学習モデル作成支援システムを示す図である。 機械学習モデル作成支援サーバとアノテータ端末との間で送受信される医用画像およびアノテーション情報を示す図である。 アノテーション情報を示す図である。 機械学習モデル作成支援サーバを構成するコンピュータを示すブロック図である。 機械学習モデル作成支援サーバのプロセッサの処理部を示すブロック図である。 確定条件、および導出部と生成部の処理を示す図である。 機械学習モデル作成支援サーバの処理手順を示すフローチャートである。 同じ領域に異なるクラスのラベルが付与されたアノテーション情報を示す図である。 確定条件、および導出部と生成部の処理の別の例を示す図である。 共通性データ、確定条件、および導出部と生成部の処理の別の例を示す図である。 医用画像に表示条件データを添付する第４実施形態を示す図である。 アノテータ端末のディスプレイに表示されるアノテーション情報生成画面を示す図である。 生成終了ボタンが操作された場合のアノテーション情報生成画面を示す図である。 医用画像において人体が写った人体領域を検出し、検出した人体領域に対してのみ共通性データを導出する第５実施形態を示す図である。 人体領域に網掛けが表示されたアノテーション情報生成画面を示す図である。 アノテータ情報を示す図である。 クラスの領域の中心部と辺縁部とで異なる確定条件を設定する第７実施形態を示す図である。 確定アノテーション情報において、クラスの領域の中心部よりも辺縁部のラベルの信頼性表示値を低く設定する第８実施形態を示す図である。 クラスが血管であった場合のラベルの付与の仕方を示す図である。 アノテータ端末にアノテーション情報および確定アノテーション情報を送信する第９実施形態を示す図である。 アノテータ端末のディスプレイに表示される情報比較画面を示す図である。
　［第１実施形態］
　一例として図１に示すように、機械学習モデル作成支援システム２は、機械学習モデル作成支援サーバ（以下、支援サーバと略す）１０とアノテータ端末１１Ａ、１１Ｂ、および１１Ｃとを備える。支援サーバ１０とアノテータ端末１１Ａ～１１Ｃとは、ネットワーク１２を介して相互通信可能に接続されている。ネットワーク１２は、例えばインターネット、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。
　支援サーバ１０は、例えばサーバコンピュータ、ワークステーション等であり、本開示の技術に係る「機械学習モデル作成支援装置」の一例である。アノテータ端末１１Ａはディスプレイ１３Ａおよび入力デバイス１４Ａを有し、アノテータ端末１１Ｂはディスプレイ１３Ｂおよび入力デバイス１４Ｂを有し、アノテータ端末１１Ｃはディスプレイ１３Ｃおよび入力デバイス１４Ｃを有する。アノテータ端末１１Ａはアノテータ１５Ａにより操作され、アノテータ端末１１Ｂはアノテータ１５Ｂにより操作され、アノテータ端末１１Ｃはアノテータ１５Ｃにより操作される。アノテータ端末１１Ａ～１１Ｃは、例えばパーソナルコンピュータ、タブレット端末等である。アノテータ１５Ａ～１５Ｃは例えば医師であり、支援サーバ１０からアノテーション情報２１（図２参照）の生成を依頼される。なお、特に区別する必要がない場合には、アノテータ端末１１Ａ～１１Ｃをまとめてアノテータ端末１１と表記する。ディスプレイ１３Ａ～１３Ｃ、入力デバイス１４Ａ～１４Ｃ、およびアノテータ１５Ａ～１５Ｃも同様に、まとめてディスプレイ１３、入力デバイス１４、およびアノテータ１５と表記する場合がある。なお、入力デバイス１４は、例えば、キーボード、マウス、タッチパネル、マイク、およびジェスチャー認識装置等の少なくともいずれか一つである。
　一例として図２に示すように、支援サーバ１０は、アノテータ端末１１Ａ～１１Ｃに同一の医用画像２０を送信する。ここでは医用画像２０としてＣＴ装置により撮影されたアキシャル断面の腹部断層画像を例示している。医用画像２０は、予め設定されたタスクに基づいた認識対象の被写体であるクラスに応じたラベルを付与するための元画像である。なお、同一の医用画像２０とは、ＣＴ装置等の医用画像撮影装置（モダリティとも呼ばれる）、患者、および撮影日時が同一の医用画像２０を指す。
　アノテータ端末１１は医用画像２０をディスプレイ１３に表示する。アノテータ端末１１は、入力デバイス１４を介して、アノテータ１５からの医用画像２０の画素単位でのラベルの付与の入力を受け付ける。こうしてアノテータ端末１１Ａにおいてアノテータ１５Ａによりアノテーション情報２１Ａが生成され、アノテータ端末１１Ｂにおいてアノテータ１５Ｂによりアノテーション情報２１Ｂが生成され、アノテータ端末１１Ｃにおいてアノテータ１５Ｃによりアノテーション情報２１Ｃが生成される。なお、アノテータ端末１１Ａ～１１Ｃ等と同様に、アノテーション情報２１Ａ～２１Ｃをまとめてアノテーション情報２１と表記する場合がある。
　本例の医用画像２０は腹部断層画像であるため、アノテーション情報２１は、腹部断層画像の断層面毎に生成される。なお、図２においては、理解を助けるため、アノテーション情報２１に人体構造を描画しているが、実際のアノテーション情報２１は人体構造のデータを含まず、付与されたラベルのデータのみを含む（以降の図３等も同様）。より詳しくは、アノテーション情報２１は、ラベルの種別と、ラベルが付与された医用画像２０の画素の位置座標との組が登録された情報である。
　アノテータ端末１１は、アノテーション情報２１を支援サーバ１０に送信する。支援サーバ１０は、アノテータ端末１１からのアノテーション情報２１を受信する。
　本例のタスクで設定されたクラスは、肝臓、肝臓内の腫瘍、および腫瘍内の出血箇所の三つである。このため、一例として図３に示すように、アノテーション情報２１は、肝臓のラベルが付与された第一領域２５と、腫瘍のラベルが付与された第二領域２６と、出血のラベルが付与された第三領域２７とを含む。なお、第二領域２６は、腫瘍が存在しないとアノテータ１５が判断した場合には当然ながら指定されない。第三領域２７も同様に、出血箇所が存在しないとアノテータ１５が判断した場合には指定されない。
　一例として図４に示すように、支援サーバ１０を構成するコンピュータは、ストレージ３０、メモリ３１、プロセッサ３２、通信部３３、ディスプレイ３４、および入力デバイス３５を備えている。これらはバスライン３６を介して相互接続されている。
　ストレージ３０は、支援サーバ１０を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージ３０は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージ３０には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム（以下、ＡＰ（Ａｐｐｌｉｃａｔｉｏｎ　Ｐｒｏｇｒａｍ）と略す）、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
　メモリ３１は、プロセッサ３２が処理を実行するためのワークメモリである。メモリ３１は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）といったＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）である。プロセッサ３２は、ストレージ３０に記憶されたプログラムをメモリ３１へロードして、プログラムにしたがった処理を実行する。これによりプロセッサ３２は、コンピュータの各部を統括的に制御する。プロセッサ３２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。また、メモリ３１は、本開示の技術に係る「メモリ」の一例である。なお、ストレージ３０、またはストレージ３０およびメモリ３１を、本開示の技術に係る「メモリ」の一例として定義してもよい。
　通信部３３は、ネットワーク１２等を介した各種情報の伝送制御を行うネットワークインターフェースである。ディスプレイ３４は各種画面を表示する。各種画面にはＧＵＩ(Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ)による操作機能が備えられる。支援サーバ１０を構成するコンピュータは、各種画面を通じて、入力デバイス３５からの操作指示の入力を受け付ける。入力デバイス３５は、キーボード、マウス、タッチパネル、マイク、およびジェスチャー認識装置等の少なくともいずれか一つである。
　一例として図５に示すように、ストレージ３０には、作動プログラム４０が記憶されている。作動プログラム４０は、支援サーバ１０を構成するコンピュータを、本開示の技術に係る「機械学習モデル作成支援装置」として機能させるためのＡＰである。すなわち、作動プログラム４０は、本開示の技術に係る「機械学習モデル作成支援装置の作動プログラム」の一例である。ストレージ３０には、作動プログラム４０の他に、医用画像２０、アノテーション情報２１、確定条件４１、および確定アノテーション情報４２も記憶される。なお、医用画像２０は一つしか描かれていないが、実際は複数の医用画像２０がストレージ３０に記憶されている。アノテーション情報２１および確定アノテーション情報４２も同様である。
　作動プログラム４０が起動されると、プロセッサ３２は、メモリ３１等と協働して、リードライト（以下、ＲＷ（Ｒｅａｄ　Ｗｒｉｔｅ）と略す）制御部５０、画像送信部５１、情報受信部５２、導出部５３、および生成部５４として機能する。
　ＲＷ制御部５０は、ストレージ３０への各種情報の記憶、およびストレージ３０内の各種情報の読み出しを制御する。例えば、ＲＷ制御部５０は、医用画像２０をストレージ３０から読み出し、読み出した医用画像２０を画像送信部５１に出力する。また、ＲＷ制御部５０は、確定条件４１をストレージ３０から読み出し、読み出した確定条件４１を生成部５４に出力する。
　医用画像２０を送信するアノテータ端末１１の情報は、予めストレージ３０に登録されている。画像送信部５１は、ＲＷ制御部５０からの医用画像２０を、予め登録されたアノテータ端末１１に送信する。
　情報受信部５２は、アノテータ端末１１からのアノテーション情報２１を受信する。これにより支援サーバ１０はアノテーション情報２１を取得する。情報受信部５２は、受信したアノテーション情報２１をＲＷ制御部５０に出力する。ＲＷ制御部５０は、アノテーション情報２１をストレージ３０に記憶する。なお、図５においては、情報受信部５２でアノテーション情報２１Ａ～２１Ｃを同時に受信しているように描いているが、実際にはアノテーション情報２１Ａ～２１Ｃの受信タイミングは異なる。情報受信部５２は、アノテーション情報２１を受信する度にアノテーション情報２１をＲＷ制御部５０に出力し、ＲＷ制御部５０は、情報受信部５２からアノテーション情報２１が入力される度にアノテーション情報２１をストレージ３０に記憶する。
　アノテーション情報２１Ａ～２１Ｃがストレージ３０に記憶された場合、ＲＷ制御部５０は、アノテーション情報２１Ａ～２１Ｃをストレージ３０から読み出し、読み出したアノテーション情報２１Ａ～２１Ｃを導出部５３および生成部５４に出力する。
　導出部５３は共通性データ６０を導出する。共通性データ６０は、三つのアノテーション情報２１Ａ～２１Ｃについて、三人のアノテータ１５Ａ～１５Ｃによるラベルの付与の仕方の共通性を示すデータである。導出部５３は、導出した共通性データ６０を生成部５４に出力する。
　生成部５４は、導出部５３からの共通性データ６０、およびＲＷ制御部５０からのアノテーション情報２１Ａ～２１Ｃと確定条件４１に基づいて、確定アノテーション情報４２を生成する。確定アノテーション情報４２は、最終的に機械学習モデルの正解データとして用いるアノテーション情報である。生成部５４は、確定アノテーション情報４２をＲＷ制御部５０に出力する。ＲＷ制御部５０は、生成部５４からの確定アノテーション情報４２をストレージ３０に記憶する。
　確定アノテーション情報４２は、機械学習モデルの学習フェーズ、あるいは精度評価フェーズにおいて、元画像である医用画像２０と併せて正解データとして用いられる。学習フェーズにおいては、機械学習モデルに医用画像２０が入力される。次いで、機械学習モデルから出力された出力アノテーション情報と確定アノテーション情報４２とが比較されて、機械学習モデルの損失が演算される。そして、損失に応じて機械学習モデルが更新される。損失は、出力アノテーション情報と確定アノテーション情報４２との差が小さい程少なくなる。このため、更新の度合いも、出力アノテーション情報と確定アノテーション情報４２との差が小さい程小さくなる。これら医用画像２０の入力と出力アノテーション情報の出力、損失の演算、および更新が、医用画像２０と確定アノテーション情報４２の組、すなわち正解データが交換されつつ繰り返される。これにより機械学習モデルが学習される。
　精度評価フェーズにおいては、ある程度の学習を経た機械学習モデルに医用画像２０が入力される。そして、機械学習モデルから出力された出力アノテーション情報と確定アノテーション情報４２とが比較されて損失が演算され、損失に基づいて機械学習モデルの精度が評価される。精度評価フェーズにおいては、精度が評価されるだけで更新は行われない。この精度評価フェーズにおいて予め設定された精度以上であると判定された機械学習モデルが、実用フェーズにて用いられる。なお、学習フェーズにおいて用いられる正解データは学習データともいい、精度評価フェーズにおいて用いられる正解データは評価データともいう。
　一例として図６に示すように、第一領域２５Ａはアノテーション情報２１Ａにおいて肝臓のラベルが付与された領域であり、第一領域２５Ｂはアノテーション情報２１Ｂにおいて肝臓のラベルが付与された領域であり、第一領域２５Ｃはアノテーション情報２１Ｃにおいて肝臓のラベルが付与された領域である。また、第二領域２６Ａはアノテーション情報２１Ａにおいて腫瘍のラベルが付与された領域であり、第二領域２６Ｂはアノテーション情報２１Ｂにおいて腫瘍のラベルが付与された領域であり、第二領域２６Ｃはアノテーション情報２１Ｃにおいて腫瘍のラベルが付与された領域である。さらに、第三領域２７Ａはアノテーション情報２１Ａにおいて出血のラベルが付与された領域であり、第三領域２７Ｂはアノテーション情報２１Ｂにおいて出血のラベルが付与された領域であり、第三領域２７Ｃはアノテーション情報２１Ｃにおいて出血のラベルが付与された領域である。
　導出部５３は、肝臓、腫瘍、および出血のそれぞれのラベルを付与したアノテータ１５の人数をカウントし、カウントした人数を共通性データ６０の数値とする。一人のアノテータ１５がラベルを付与した画素の共通性データ６０の数値は１であり、二人のアノテータ１５がラベルを付与した画素の共通性データ６０の数値は２である。また、三人のアノテータ１５がラベルを付与した画素の共通性データ６０の数値は３である。導出部５３は、肝臓、腫瘍、および出血のクラス毎に共通性データ６０を導出する。なお、ラベルを付与したアノテータ１５の人数は、本開示の技術に係る「ラベルを付与したアノテータの人数に係る数値」の一例である。
　本実施形態の確定条件４１は、共通性データ６０の数値が３の領域、すなわち全アノテータ１５がラベルを付与した領域のラベルを採用する、という内容である。このため、生成部５４は、三人のアノテータ１５が肝臓のラベルを付与した第一領域２５Ｘ、三人のアノテータ１５が腫瘍のラベルを付与した第二領域２６Ｘ、および三人のアノテータ１５が出血のラベルを付与した第三領域２７Ｘを含む確定アノテーション情報４２を生成する。
　次に、上記構成による作用について、図７のフローチャートを参照して説明する。作動プログラム４０が起動されると、支援サーバ１０のプロセッサ３２は、図５で示したように、ＲＷ制御部５０、画像送信部５１、情報受信部５２、導出部５３、および生成部５４として機能される。
　まず、ＲＷ制御部５０によりストレージ３０から医用画像２０が読み出される。読み出された医用画像２０は、ＲＷ制御部５０から画像送信部５１に出力される。医用画像２０は、画像送信部５１によりアノテータ端末１１に送信される。
　アノテータ端末１１において、アノテータ１５により、医用画像２０に基づいてアノテーション情報２１が生成される。図３で示したように、アノテーション情報２１は、肝臓、腫瘍、および出血の三つのクラスに応じた三つのラベルを同一の医用画像２０の領域に付与することで生成される。アノテーション情報２１は、アノテータ端末１１から支援サーバ１０に送信される。
　支援サーバ１０においては、情報受信部５２によりアノテータ端末１１からのアノテーション情報２１が受信される。これによりアノテーション情報２１が取得される（ステップＳＴ１００）。アノテーション情報２１は、情報受信部５２からＲＷ制御部５０に出力され、ＲＷ制御部５０によりストレージ３０に記憶される。
　ＲＷ制御部５０によりストレージ３０からアノテーション情報２１が読み出される。読み出されたアノテーション情報２１は、ＲＷ制御部５０から導出部５３および生成部５４に出力される。
　図６で示したように、導出部５３においては、複数のアノテーション情報２１Ａ～２１Ｃについて、複数のアノテータ１５Ａ～１５Ｃによるラベルの付与の仕方の共通性を示す共通性データ６０がクラス毎に導出される（ステップＳＴ１１０）。共通性データ６０は、肝臓、腫瘍、および出血のそれぞれのラベルを付与したアノテータ１５の人数のカウント値である。共通性データ６０は、導出部５３から生成部５４に出力される。
　図６で示したように、生成部５４においては、共通性データ６０および確定条件４１に基づいて、確定アノテーション情報４２が生成される（ステップＳＴ１２０）。本例においては、三人のアノテータ１５が肝臓、腫瘍、および出血のラベルをそれぞれ付与した第一領域２５Ｘ、第二領域２６Ｘ、および第三領域２７Ｘを含む確定アノテーション情報４２が生成される。確定アノテーション情報４２は、生成部５４からＲＷ制御部５０に出力され、ＲＷ制御部５０によりストレージ３０に記憶される。
　以上説明したように、支援サーバ１０のプロセッサ３２は、情報受信部５２、導出部５３、および生成部５４を備える。情報受信部５２は、アノテータ端末１１Ａ～１１Ｃからのアノテーション情報２１Ａ～２１Ｃを受信することで取得する。アノテーション情報２１Ａ～２１Ｃは、アノテータ１５Ａ～１５Ｃが三つのクラスに応じた三つのラベルを同一の医用画像２０の領域に付与することで生成される。導出部５３は、アノテーション情報２１Ａ～２１Ｃについて、アノテータ１５Ａ～１５Ｃによるラベルの付与の仕方の共通性を示す共通性データ６０をクラス毎に導出する。生成部５４は、共通性データ６０、および予め設定された確定条件４１に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報４２を生成する。
　同一の医用画像２０に対するアノテーション情報２１の生成を複数のアノテータ１５に分担させた場合、アノテータ１５によってラベルの付与の仕方が異なるため、複数のアノテーション情報２１の間に差異が生じる。本開示の技術では、複数のクラスに応じた複数のラベルを付与することでアノテーション情報２１を生成しているので、付与するラベルが多くなる分、複数のアノテーション情報２１の間の差異はより大きくなる。
　そこで、本開示の技術では、クラス毎に共通性データ６０を導出し、導出した共通性データ６０に基づいて確定アノテーション情報４２を生成している。したがって、機械学習モデルの正解データとして用いる適切な確定アノテーション情報４２を容易に得ることが可能となる。
　［第２実施形態］
　一例として図８に示すように、本実施形態のアノテーション情報６３は、肝臓のラベルが付与された第一領域６５と、肝臓および腫瘍のラベルが付与された第二領域６６と、肝臓、腫瘍、および出血のラベルが付与された第三領域６７とを含む。第二領域６６および第三領域６７は、異なるクラスのラベルが付与された領域である。
　このように、第２実施形態では、アノテーション情報６３は、同じ領域に異なるクラスのラベルが付与された情報である。このため、同じ領域に付与するラベルの種類が増える分、複数のアノテーション情報２１の間の差異は、上記第１実施形態と比べて益々大きくなる。したがって、機械学習モデルの正解データとして用いる適切な確定アノテーション情報４２を容易に得る、という効果をより発揮することができる。
　［第３＿１実施形態］
　一例として図９に示すように、本実施形態の確定条件７０は、共通性データ６０の数値が２以上の領域、すなわちラベルを付与したアノテータの人数が二人以上の領域のラベルを採用する、という内容である。このため、生成部５４は、二人以上のアノテータ１５が肝臓のラベルを付与した第一領域２５Ｙ、二人以上のアノテータ１５が腫瘍のラベルを付与した第二領域（図示省略）、および二人以上のアノテータ１５が出血のラベルを付与した第三領域（図示省略）を含む確定アノテーション情報４２を生成する。なお、確定条件７０の「２」ないし「二人」は、本開示の技術に係る「閾値」の一例である。
　［第３＿２実施形態］
　一例として図１０に示すように、本実施形態の導出部５３（図示省略）は、ラベルを付与したアノテータ１５の割合が、ラベルが付与された画素の位置座標毎に登録された共通性データ７５を導出する。導出部５３は、図示の肝臓のラベルを付与したアノテータの割合が登録された共通性データ７５を導出する。また、導出部５３は、図示省略した、腫瘍のラベルを付与したアノテータ１５の割合が登録された共通性データ７５、および出血のラベルを付与したアノテータ１５の割合が登録された共通性データ７５も導出する。ラベルを付与したアノテータ１５の割合は、まず、上記第１実施形態のように、ラベルを付与したアノテータ１５の人数をカウントする。そして、カウントした人数を全アノテータ１５の人数で除算する。例えば、ラベルを付与したアノテータ１５の人数が八人、全アノテータの人数が十人であった場合、ラベルを付与したアノテータ１５の割合は、（８／１０）×１００＝８０％となる。なお、ラベルを付与したアノテータ１５の割合は、本開示の技術に係る「ラベルを付与したアノテータの人数に係る数値」の一例である。
　本実施形態の確定条件７６は、ラベルを付与したアノテータ１５の割合が９０％以上の領域のラベルを採用する、という内容である。本実施形態の生成部５４（図示省略）は、共通性データ７５および確定条件７６に基づいて、表７７に示すようにラベルの採否を位置座標毎に決定する。具体的には、生成部５４は、共通性データ７５のラベルを付与したアノテータ１５の割合が、確定条件７６の９０％以上である位置座標のラベルを採用すると決定する。一方、生成部５４は、共通性データ７５のラベルを付与したアノテータ１５の割合が、確定条件７６の９０％未満である位置座標のラベルは採用しない（非採用）と決定する。生成部５４は、この採否結果に基づいて、確定アノテーション情報４２を生成する。なお、確定条件７６の「９０％」は、本開示の技術に係る「閾値」の一例である。
　全アノテータ１５がラベルを付与した領域のラベルを採用する上記第１実施形態の場合は、どうしてもラベルを付与した領域が比較的小さいアノテーション情報２１に確定アノテーション情報４２が影響されてしまう。対して、共通性データ６０または７５の数値が閾値以上の場合に限り、付与されたラベルを採用する、という内容の確定条件７０および７６を用いる第３＿１実施形態および第３＿２実施形態によれば、ラベルを付与した領域が比較的小さいアノテーション情報２１にさほど影響を受けない、より広い領域にラベルが付与された確定アノテーション情報４２を生成することができる。
　なお、第３＿２実施形態で記載した内容で分かる通り、アノテータ１５の人数は二人以上であればよく、三人に限らない。このためアノテーション情報２１の数も二つ以上であればよく、三つに限らない。また、アノテータ１５の人数、並びに確定条件４１、７０、および７６が固定である場合を例示したが、これに限らない。アノテータ１５の人数、並びに確定条件４１、７０、および７６は可変であってもよい。例えば支援サーバ１０を操作するユーザが、アノテータ１５の人数、並びに確定条件４１、７０、および７６を設定変更することが可能な構成であってもよい。
　［第４実施形態］
　一例として図１１に示すように、本実施形態の画像送信部８０は、医用画像２０に表示条件データ８１を添付してアノテータ端末１１Ａ～１１Ｃに送信する。表示条件データ８１は、ウィンドウレベル（ＷＬ：Ｗｉｎｄｏｗ　Ｌｅｖｅｌ）、ウィンドウ幅（ＷＷ：Ｗｉｎｄｏｗ　Ｗｉｄｔｈ）、およびスライス位置を含む。ウィンドウレベルとウィンドウ幅は、医用画像２０の表示階調に係るパラメータである。ウィンドウレベルは、医用画像２０の原画像の画素値に対して設定される医用画像２０の表示領域の中心値である。ウィンドウ幅は、医用画像２０の表示領域の幅を示す数値である。スライス位置は、医用画像２０が本例のように断層画像である場合の、断層面の位置を示す。
　アノテータ端末１１のディスプレイ１３には、一例として図１２に示すアノテーション情報生成画面８５が表示される。アノテーション情報生成画面８５は、タスク表示領域８６、ツールボタン群８７、および画像表示領域８８等を有する。タスク表示領域８６には、設定されたタスクの内容が表示される。ツールボタン群８７は、タスクで指定されたクラスに応じたラベルをアノテータ１５が指定するための各種ツールのツールボタンにより構成される。各種ツールは、例えば、指定クラス切替ツール、線描画ツール、領域塗り潰しツール、領域消去ツール等である。
　画像表示領域８８には医用画像２０が表示される。この画像表示領域８８に表示された医用画像２０上で、各種ツールを使用してラベルを付与することにより、アノテーション情報２１が生成される。二点鎖線の囲いで示すように、医用画像２０は、最初は添付された表示条件データ８１にしたがった表示条件にて表示される。図１２においては、図１１で例示した表示条件データ８１にしたがった表示条件にて、医用画像２０が表示された例を示している。
　画像表示領域８８の下部には、送り戻しボタン８９および表示階調変更ボタン９０が設けられている。送り戻しボタン８９の操作により、スライス位置を変更することが可能である。また、表示階調変更ボタン９０の操作により、ウィンドウレベルおよびウィンドウ幅を変更することが可能である。このように、アノテータ１５は、医用画像２０のスライス位置を自由に変更することが可能である。このため、アノテータ１５は、ある特定のスライス位置の医用画像２０を何度も見返すことも可能である。また、アノテータ１５は、医用画像２０の表示条件を自由に変更することが可能である。なお、図示は省略するが、画像表示領域８８の医用画像２０は、平行移動、並びに拡大および縮小することが可能である。
　アノテーション情報生成画面８５の下部には、さらに一時保存ボタン９１および生成終了ボタン９２が設けられている。一時保存ボタン９１が操作された場合、それまで生成されたアノテーション情報２１が、アノテータ端末１１のストレージに一時的に保存される。生成終了ボタン９２が操作された場合、一例として図１３に示すように、ダイアログボックス９５がポップアップ表示される。また、二点鎖線の囲いで示すように、画像表示領域８８の医用画像２０の表示条件が、添付された表示条件データ８１にしたがった表示条件とされる。
　ダイアログボックス９５は、本当にアノテーション情報２１の生成を終了するか否かをアノテータ１５に尋ねるためのＧＵＩである。ダイアログボックス９５には、はいボタン９６といいえボタン９７が設けられている。はいボタン９６が操作された場合、生成されたアノテーション情報２１が支援サーバ１０に送信される。いいえボタン９７が選択された場合、ダイアログボックス９５が消され、アノテーション情報２１の生成が可能な状態に戻される。
　このように、第４実施形態では、医用画像２０に表示条件データ８１が添付される。表示条件データ８１は、複数のアノテータ１５が医用画像２０を閲覧する場合に医用画像２０を同じ表示条件にて表示させるためのデータである。このため、図１２および図１３で示したように、複数のアノテータ端末１１において表示条件を同じに揃えることができる。このため、表示条件の違いが原因で各アノテータ１５によるラベルの付与に差異が生じることを抑制することができる。
　図１２で示したように、最初に表示条件データ８１にしたがった表示条件にて医用画像２０を表示することで、アノテーション情報２１の生成を開始する際から各アノテータ１５の認識にずれが生じることを抑制することができる。また、図１３で示したように、アノテーション情報２１の生成を終了する際に表示条件データ８１にしたがった表示条件にて医用画像２０を表示することで、アノテーション情報２１の最終確認で各アノテータ１５の認識にずれが生じることを抑制することができる。
　なお、本実施形態においては、アノテーション情報２１の生成を開始する際、およびアノテーション情報２１の生成を終了する際のいずれも、表示条件データ８１にしたがった表示条件にて医用画像２０を表示することで、医用画像２０の表示条件を同じに揃えているが、これに限らない。アノテーション情報２１の生成を開始する際、およびアノテーション情報２１の生成を終了する際のいずれか一方でのみ、表示条件データ８１にしたがった表示条件にて医用画像２０を表示することとしてもよい。
　［第５実施形態］
　一例として図１４に示すように、本実施形態の支援サーバのプロセッサは、上記第１実施形態の各処理部５０～５４（導出部５３以外は図示省略）に加えて、検出部１０５として機能する。検出部１０５は、体表認識技術を用いて、医用画像２０において人体が写った人体領域１０６を検出する。検出部１０５は、人体領域１０６の検出結果である人体領域情報１０７を導出部５３に出力する。人体領域情報１０７は、具体的には、人体領域１０６に該当する医用画像２０の画素の位置座標である。本実施形態の導出部５３は、人体領域１０６に対してのみ共通性データ６０を導出する。
　例示の肝臓、腫瘍、および出血から分かるように、医用画像２０のクラスは人体領域１０６に対してのみ設定されるので、人体領域１０６以外の領域は本来共通性データ６０を導出する必要がない。そこで第５実施形態では、検出部１０５は、医用画像２０において人体が写った人体領域１０６を検出し、導出部５３は、検出した人体領域１０６に対してのみ共通性データ６０を導出している。このため、導出部５３の処理負荷を軽減することができ、結果として確定アノテーション情報４２の生成を速めることができる。なお、共通性データ６０に代えて、上記第３＿２実施形態の共通性データ７５でも可である。
　一例として図１５に示すように、アノテータ端末１１のディスプレイ１３に表示されるアノテーション情報生成画面８５において、検出部１０５が検出した人体領域１０６に、ハッチングで示す色付きの網掛け１１５を表示し、他の領域と識別可能に表示してもよい。こうすれば、人体領域１０６以外の領域に誤ってラベルを付与しないよう、アノテータ１５に注意を喚起することができる。
　また、アノテーション情報生成画面８５において、人体領域１０６以外の領域にラベルを付与することができないように構成してもよい。こうした構成によっても、人体領域１０６以外の領域に誤ってラベルを付与してしまうことを防ぐことができる。
　［第６実施形態］
　一例として図１６に示すように、本実施形態の導出部５３は、アノテータ情報１２０にしたがって、共通性データ６０を導出する際のアノテータ１５の人数をカウントする。アノテータ情報１２０には、個々のアノテータ１５を識別するためのアノテータＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ　Ｄａｔａ）毎に、アノテータ１５の属性、および共通性データ６０を導出する際の人数のカウント数が登録されている。
　属性は勤続年数および資格を含む。資格には、放射線科研修指導者、放射線診断専門医等がある。カウント数は、勤続年数が２０年以上の場合は＋０．５し、勤続年数が５年未満の場合は－０．５し、有資格者の場合は＋０．５する、という予め設定されたルールに則って決められる。例えばアノテータＩＤ「ＡＮ０００１」のアノテータ１５は、勤続年数が２２年で放射線科研修指導者の資格を有しているので、カウント数は１＋０．５＋０．５＝２である。一方、アノテータＩＤ「ＡＮ０１０１」のアノテータ１５は、勤続年数が３年で資格を有していないので、カウント数は１－０．５＝０．５である。
　このように、第６実施形態では、共通性データ６０を導出する場合に、アノテータ１５の属性に応じた重み付けを行う。このため、勤続年数が比較的長いアノテータ１５および／または有資格者のアノテータ１５等、ラベル付与の正確性が比較的高いと思われるアノテータ１５がラベルを付与した領域の人数のカウント数を多くすることができる。こうすれば、上記第３＿１実施形態の確定条件７０のように、確定条件が、共通性データ６０の数値が閾値以上の領域のラベルを採用する、という内容であった場合に、ラベル付与の正確性が比較的高いと思われるアノテータ１５が付与したラベルが、確定アノテーション情報４２のラベルとして採用される確率が高まる。結果として確定アノテーション情報４２の信頼性を高めることができる。
　なお、共通性データ６０に代えて、上記第３＿２実施形態の共通性データ７５でも可である。この場合も、ラベル付与の正確性が比較的高いと思われるアノテータ１５がラベルを付与した領域の割合が比較的高くなるので、ラベル付与の正確性が比較的高いと思われるアノテータ１５が付与したラベルが、確定アノテーション情報４２のラベルとして採用される確率が高まり、結果として確定アノテーション情報４２の信頼性を高めることができる。
　例えばアノテータ１５が偶数人おり、ラベルを付与したアノテータ１５の人数と付与しなかったアノテータ１５の人数が半々であった場合に、ラベル付与の正確性が比較的高いと思われるアノテータ１５が属する側のラベルの付与の仕方を採用してもよい。具体的には、アノテータ１５が四人おり、ラベルを付与したアノテータ１５と付与しなかったアノテータ１５が二人ずつであり、ラベル付与の正確性が比較的高いと思われるアノテータ１５が、ラベルを付与しなかった側にいた場合は、確定アノテーション情報４２のラベルとして採用しない。
　アノテータ１５の専門分野を属性に含めてもよい。この場合、例えば、タスクが専門分野に関係する内容であった場合はカウント数をプラスする。また、アノテータ１５の発表論文の数を属性に含めてもよい。この場合、発表論文の数が第１閾値以上の場合にカウント数をプラスし、発表論文の数が第２閾値未満の場合にカウント数をマイナスする。
　［第７実施形態］
　一例として図１７に示すように、本実施形態の生成部５４（図示省略）は、二つの確定条件１２５Ａおよび１２５Ｂに基づいて、確定アノテーション情報４２を生成する。確定条件１２５Ａは、クラスの領域１２６の中心部１２６Ａに適用される。一方、確定条件１２５Ｂは、領域１２６の辺縁部１２６Ｂに適用される。確定条件１２５Ａは、ラベルを付与したアノテータ１５の割合が７０％以上の領域のラベルを採用する、という内容である。一方、確定条件１２５Ｂは、ラベルを付与したアノテータ１５の割合が９０％以上の領域のラベルを採用する、という内容である。なお、確定条件１２５Ａの「７０％」、および確定条件１２５Ｂの「９０％」は、本開示の技術に係る「閾値」の一例である。すなわち、辺縁部１２６Ｂに適用される確定条件１２５Ｂの閾値は、中心部１２６Ａに適用される確定条件１２５Ａの閾値よりも高く設定されている。
　中心部１２６Ａと辺縁部１２６Ｂは、例えば以下のようにして選別する。まず、全アノテータ１５がラベルを付与した領域を求め、求めた領域の中心を中心部１２６Ａの中心とする。なお、中心は、例えば、重心、内心、外心、および垂心のうちの少なくともいずれか１つである。次いで、全アノテータ１５がラベルを付与した領域を、中心を動かさずに例えば２０％拡大する。そして、全アノテータ１５がラベルを付与した領域を中心部１２６Ａとし、２０％拡大した領域と全アノテータ１５がラベルを付与した領域で縁取られる領域を辺縁部１２６Ｂとする。もしくは、各アノテータ１５がラベルを付与した領域のそれぞれの中心を求め、求めたそれぞれの中心のさらに中心を求めて、これを中心部１２６Ａの中心としてもよい。なお、ラベルを付与した領域を中心を動かさずに２０％拡大した領域を辺縁部としたが、これに限られない。例えば、ラベルを付与した領域の中心から外縁までの距離を１００とした場合の、中心から８０までの距離を中心部、残りの８０から１００までの距離を辺縁部としてもよい。
　このように、第７実施形態では、クラスの領域１２６の中心部１２６Ａに適用される確定条件１２５Ａと、辺縁部１２６Ｂに適用される確定条件１２５Ｂとを有し、確定条件が中心部１２６Ａと辺縁部１２６Ｂとで異なる。そして、確定条件１２５Ａよりも確定条件１２５Ｂのほうが条件を満たす難易度が高い。辺縁部１２６Ｂは他の領域との境界であるために特にラベルの付与を誤りやすい。このため、中心部１２６Ａよりも辺縁部１２６Ｂのほうの条件を満たす難易度を高くすることで、辺縁部１２６Ｂにおける確定アノテーション情報４２の信頼性を確保することができる。
　［第８実施形態］
　一例として図１８に示すように、本実施形態の生成部５４（図示省略）は、確定アノテーション情報１３０において、クラスの領域１３１の中心部１３１Ａよりも、辺縁部１３１Ｂのラベルの信頼性を表す数値（以下、信頼性表示値という）を低く設定する。具体的には、生成部５４は、中心部１３１Ａの信頼性表示値を最高値の１に設定し、辺縁部１３１Ｂの信頼性表示値を０．８に設定する。なお、中心部１３１Ａと辺縁部１３１Ｂも、上記第７実施形態の中心部１２６Ａと辺縁部１２６Ｂのようにして選別する。
　このように、第８実施形態では、生成部５４は、確定アノテーション情報１３０において、クラスの領域１３１の中心部１３１Ａよりも辺縁部１３１Ｂのラベルの信頼性表示値を低く設定する。このため、確定アノテーション情報１３０を用いて機械学習モデルを学習する場合に、特に学習フェーズの初期段階において、クラスではない領域をクラスと認識する、いわゆるフォールスポジティブの発生頻度を低減することができる。
　上記第３＿２実施形態で説明した、ラベルを付与したアノテータ１５の割合に応じて、確定アノテーション情報におけるラベルの信頼性表示値を設定してもよい。例えば、ラベルを付与したアノテータ１５の割合をそのまま信頼性表示値とする。具体的には、割合が８０％の場合は信頼性表示値を０．８とし、割合が２０％の場合は信頼性表示値を０．２とする。
　なお、一例として図１９に示すように、クラスが血管であった場合、生成部５４は、確定アノテーション情報において、確定条件を満足した領域１３５よりも大きい拡張領域１３６にラベルを付与することが好ましい。拡張領域１３６は、例えば、確定条件を満足した領域１３５よりも設定画素数分大きい領域である。設定画素数は例えば１である。血管の場合は、境界が不明瞭である場合が多いため、マージンをとって血管の周囲も併せて血管として認識したいという要望があるので、その要望に応えることができる。なお、拡張領域１３６は、確定条件を満足した領域１３５の中心から外縁までの距離を１００とした場合の、外縁から例えば１２０までの距離を包含する領域としてもよい。確定条件を満足した領域１３５の中心は、上記第７実施形態の全アノテータ１５がラベルを付与した領域の中心と同様にして求めればよい。
　［第９実施形態］
　一例として図２０に示すように、本実施形態の支援サーバのプロセッサは、上記第１実施形態の各処理部５０～５４に加えて、情報送信部１４０として機能する。情報送信部１４０は、ストレージ３０に記憶されたアノテーション情報２１および確定アノテーション情報４２を、アノテータ端末１１に送信する。アノテーション情報２１は、送信するアノテータ端末１１のアノテータ１５が生成したものはもちろん、送信するアノテータ端末１１のアノテータ１５以外が生成したものも含む場合がある。
　アノテーション情報２１および確定アノテーション情報４２を受信したアノテータ端末１１においては、一例として図２１に示す情報比較画面１４５がディスプレイ１３に表示される。情報比較画面１４５は、アノテーション情報２１が医用画像２０に重畳して表示されるアノテーション情報表示領域１４６と、確定アノテーション情報４２が医用画像２０に重畳して表示される確定アノテーション情報表示領域１４７とを有する。アノテーション情報表示領域１４６および確定アノテーション情報表示領域１４７は、左右に並べて配置されている。
　アノテーション情報表示領域１４６には、最初は当該アノテータ１５が生成したアノテーション情報２１が表示される。また、アノテーション情報２１に重畳された医用画像２０、および確定アノテーション情報４２に重畳された医用画像２０は、最初は表示条件データ８１にしたがった同じ表示条件にて表示される。
　図２１においては、肝臓、腫瘍、および出血の全てのラベルが付与された領域が表示された例を示しているが、アノテーション情報２１および確定アノテーション情報４２は、例えば肝臓のラベルが付与された領域のみ等、クラス別に表示することも可能である。
　アノテーション情報表示領域１４６および確定アノテーション情報表示領域１４７の下部には、アノテーション情報生成画面８５の送り戻しボタン８９および表示階調変更ボタン９０と同じ機能を有する送り戻しボタン１４８および１４９、並びに表示階調変更ボタン１５０および１５１が設けられている。このため、アノテーション情報生成画面８５の場合と同様に、スライス位置を変更したり、ウィンドウレベルおよびウィンドウ幅を変更したりすることが可能である。
　情報比較画面１４５の下部には、さらに表示態様切替ボタン１５２、修正ボタン１５３、情報切替ボタン１５４、および終了ボタン１５５が設けられている。表示態様切替ボタン１５２が操作された場合、アノテーション情報表示領域１４６のアノテーション情報２１が確定アノテーション情報表示領域１４７に移動され、アノテーション情報２１と確定アノテーション情報４２とが重畳表示される。この場合、アノテーション情報２１と確定アノテーション情報４２のラベルが重複する部分は、重複しない部分よりも濃い色で表示される。修正ボタン１５３が操作された場合、アノテーション情報生成画面８５に画面遷移され、アノテーション情報２１の修正が可能となる。情報切替ボタン１５４が操作された場合、アノテーション情報表示領域１４６の表示が、当該アノテータ１５が生成したアノテーション情報２１から、他のアノテータ１５が生成したアノテーション情報２１に切り替わる。終了ボタン１５５が操作された場合、情報比較画面１４５の表示が消される。
　このように、第９実施形態では、情報送信部１４０は、アノテータ１５が操作するアノテータ端末１１に、アノテーション情報２１および確定アノテーション情報４２を送信する。このため、図２１で示したように、アノテーション情報２１および確定アノテーション情報４２を比較可能にアノテータ１５に表示したりすることができる。アノテータ１５は、自分が生成したアノテーション情報２１と確定アノテーション情報４２とを見比べて、今後のアノテーション情報２１の生成に活かすことができる。また、場合によっては、確定アノテーション情報４２を参照しつつ、アノテーション情報２１を修正することもできる。
　なお、アノテーション情報２１に重畳された医用画像２０、および確定アノテーション情報４２に重畳された医用画像２０の表示条件を、各アノテータ１５がアノテーション情報生成画面８５において設定した表示条件のうちで、最も設定した回数が多い表示条件としてもよい。また、以下のようにしてもよい。すなわち、支援サーバ１０は、各アノテータ端末１１から、アノテーション情報２１の生成を終了した際のウィンドウレベルおよびウィンドウ幅をアノテーション情報２１と併せて受信する。支援サーバ１０は、受信したウィンドウレベルおよびウィンドウ幅の中で、確定アノテーション情報４２と近似するアノテーション情報２１に付帯されたウィンドウレベルおよびウィンドウ幅を、アノテーション情報２１に重畳された医用画像２０、および確定アノテーション情報４２に重畳された医用画像２０の表示条件とする。
　上記第１実施形態では、支援サーバ１０からアノテータ端末１１に医用画像２０を送信しているが、これに限らない。例えば、支援サーバ１０とは別に、医用画像２０を蓄積管理する画像管理サーバを設け、画像管理サーバからアノテータ端末１１に医用画像２０を送信してもよい。
　医用画像２０は、例示のＣＴ装置により撮影された腹部断層画像に限らない。例えばＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）装置で撮影された頭部断層画像でもよい。また、医用画像は断層画像のような三次元画像に限らない。例えば単純放射線画像のような二次元画像でもよい。ＰＥＴ（Ｐｏｓｉｔｒｏｎ　Ｅｍｉｓｓｉｏｎ　Ｔｏｍｏｇｒａｐｈｙ）画像、ＳＰＥＣＴ（Ｓｉｎｇｌｅ　Ｐｈｏｔｏｎ　Ｅｍｉｓｓｉｏｎ　Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）画像、内視鏡画像、超音波画像、および眼底検査画像等でもよい。
　ラベルを付与するクラスも、例示の肝臓、腫瘍、出血、および血管に限らない。脳、眼球、脾臓、および腎臓等の他の臓器あるいは椎骨、および肋骨等の骨、肺のＳ１～Ｓ１０、膵臓の膵頭部、膵体部、および膵尾部等の臓器の解剖学的部位、さらには嚢胞、萎縮、管狭窄、あるいは管拡張といった他の異常所見部位等でもよい。また、ペースメーカー、人工関節、および骨折治療用のボルト等でもよい。
　上記第４実施形態の表示条件データ８１は、医用画像２０の種類、クラスとする臓器、あるいは患者の体型等に適応した値が設定される。医用画像２０が放射線画像であった場合、表示条件データ８１は、さらに照射放射線量に適応した値が設定される。
　医用画像２０の画素単位でラベルを付与しているが、これに限らない。例えば腫瘍等のクラス全体を囲う矩形状（医用画像２０が二次元画像の場合）またはボックス状（医用画像２０が三次元画像の場合）の枠に対してラベルを付与してもよい。この場合は、例えば全ての枠が重なる領域に付与されたラベルを、確定アノテーション情報４２のラベルとして採用する。
　上記各実施形態では、アノテータ１５を医師等の人として説明しているが、これに限らない。アノテータ１５は機械学習モデルでもよい。
　アノテーション情報生成画面８５等の各種画面を、例えばＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）等のマークアップ言語によって作成されるウェブ配信用の画面データの形式で、支援サーバ１０からアノテータ端末１１に送信してもよい。この場合、アノテータ端末１１は、画面データに基づきウェブブラウザ上に表示する各種画面を再現し、これをディスプレイ１３に表示する。なお、ＸＭＬに代えて、ＪＳＯＮ（Ｊａｖａｓｃｒｉｐｔ（登録商標）　Ｏｂｊｅｃｔ　Ｎｏｔａｔｉｏｎ）等の他のデータ記述言語を利用してもよい。
　支援サーバ１０を構成するコンピュータのハードウェア構成は種々の変形が可能である。例えば、支援サーバ１０を、処理能力および信頼性の向上を目的として、ハードウェアとして分離された複数台のサーバコンピュータで構成することも可能である。例えば、ＲＷ制御部５０、画像送信部５１、および情報受信部５２の機能と、導出部５３および生成部５４の機能とを、二台のサーバコンピュータに分散して担わせる。この場合は二台のサーバコンピュータで支援サーバ１０を構成する。支援サーバ１０の各処理部の機能の一部または全部を、アノテータ端末１１が担ってもよい。
　このように、支援サーバ１０のコンピュータのハードウェア構成は、処理能力、安全性、および信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、作動プログラム４０等のＡＰについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージに分散して格納することももちろん可能である。
　上記各実施形態において、例えば、ＲＷ制御部５０、画像送信部５１および８０、情報受信部５２、導出部５３、生成部５４、検出部１０５、および情報送信部１４０といった各種の処理を実行する処理部（Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のハードウェア的な構造としては、次に示す各種のプロセッサ（Ｐｒｏｃｅｓｓｏｒ）を用いることができる。各種のプロセッサには、ソフトウェア（作動プログラム４０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ:ＰＬＤ）、および／またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Ｃｉｒｃｕｉｔｒｙ）を用いることができる。
　［付記１］
　アノテーション情報は、同じ領域に異なるクラスのラベルが付与された情報であることが好ましい。
　［付記２］
　共通性データは、複数のクラス毎のラベルを付与したアノテータの人数に係る数値であり、確定条件は、数値が閾値以上の場合に限り、付与されたラベルを採用する、という内容であることが好ましい。
　［付記３］
　医用画像には、複数のアノテータが医用画像を閲覧する場合に医用画像を同じ表示条件にて表示させるための表示条件データが添付されることが好ましい。
　［付記４］
　プロセッサは、医用画像において人体が写った人体領域を検出し、検出した人体領域に対してのみ共通性データを導出することが好ましい。
　［付記５］
　プロセッサは、共通性データを導出する場合に、アノテータの属性に応じた重み付けを行うことが好ましい。
　［付記６］
　確定条件は、クラスの領域の中心部と辺縁部とで異なり、中心部よりも辺縁部のほうが条件を満たす難易度が高いことが好ましい。
　［付記７］
　プロセッサは、確定アノテーション情報において、クラスの領域の中心部よりも辺縁部のラベルの信頼性を表す数値を低く設定することが好ましい。
　［付記８］
　プロセッサは、アノテータが用いるアノテータ端末に、アノテーション情報および確定アノテーション情報を送信することが好ましい。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (11)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得し、
    　複数の前記アノテーション情報について、複数の前記アノテータによる前記ラベルの付与の仕方の共通性を示す共通性データを前記クラス毎に導出し、
    　前記共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成する、
    機械学習モデル作成支援装置。
  2. 　前記アノテーション情報は、同じ領域に異なる前記クラスのラベルが付与された情報である請求項１に記載の機械学習モデル作成支援装置。
  3. 　前記共通性データは、複数の前記クラス毎の前記ラベルを付与した前記アノテータの人数に係る数値であり、
    　前記確定条件は、前記数値が閾値以上の場合に限り、付与された前記ラベルを採用する、という内容である請求項１または請求項２に記載の機械学習モデル作成支援装置。
  4. 　前記医用画像には、複数の前記アノテータが前記医用画像を閲覧する場合に前記医用画像を同じ表示条件にて表示させるための表示条件データが添付される請求項１から請求項３のいずれか１項に記載の機械学習モデル作成支援装置。
  5. 　前記プロセッサは、
    　前記医用画像において人体が写った人体領域を検出し、
    　検出した前記人体領域に対してのみ前記共通性データを導出する請求項１から請求項４のいずれか１項に記載の機械学習モデル作成支援装置。
  6. 　前記プロセッサは、
    　前記共通性データを導出する場合に、前記アノテータの属性に応じた重み付けを行う請求項１から請求項５のいずれか１項に記載の機械学習モデル作成支援装置。
  7. 　前記確定条件は、前記クラスの領域の中心部と辺縁部とで異なり、前記中心部よりも前記辺縁部のほうが条件を満たす難易度が高い請求項１から請求項６のいずれか１項に記載の機械学習モデル作成支援装置。
  8. 　前記プロセッサは、
    　前記確定アノテーション情報において、前記クラスの領域の中心部よりも辺縁部の前記ラベルの信頼性を表す数値を低く設定する請求項１から請求項７のいずれか１項に記載の機械学習モデル作成支援装置。
  9. 　前記プロセッサは、
    　前記アノテータが用いるアノテータ端末に、前記アノテーション情報および前記確定アノテーション情報を送信する請求項１から請求項８のいずれか１項に記載の機械学習モデル作成支援装置。
  10. 　複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得すること、
    　複数の前記アノテーション情報について、複数の前記アノテータによる前記ラベルの付与の仕方の共通性を示す共通性データを前記クラス毎に導出すること、並びに、
    　前記共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成すること、
    を含む機械学習モデル作成支援装置の作動方法。
  11. 　複数のアノテータが複数のクラスに応じた複数のラベルを同一の医用画像の領域に付与することで生成された複数のアノテーション情報を取得すること、
    　複数の前記アノテーション情報について、複数の前記アノテータによる前記ラベルの付与の仕方の共通性を示す共通性データを前記クラス毎に導出すること、並びに、
    　前記共通性データ、および予め設定された確定条件に基づいて、機械学習モデルの正解データとして用いる確定アノテーション情報を生成すること、
    を含む処理をコンピュータに実行させる機械学習モデル作成支援装置の作動プログラム。
PCT/JP2022/008070 2021-03-30 2022-02-25 機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム WO2022209500A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023510680A JPWO2022209500A1 (ja) 2021-03-30 2022-02-25
US18/472,268 US20240013894A1 (en) 2021-03-30 2023-09-22 Machine learning model creation support apparatus, method of operating machine learning model creation support apparatus, and program for operating machine learning model creation support apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-057322 2021-03-30
JP2021057322 2021-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/472,268 Continuation US20240013894A1 (en) 2021-03-30 2023-09-22 Machine learning model creation support apparatus, method of operating machine learning model creation support apparatus, and program for operating machine learning model creation support apparatus

Publications (1)

Publication Number Publication Date
WO2022209500A1 true WO2022209500A1 (ja) 2022-10-06

Family

ID=83458482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008070 WO2022209500A1 (ja) 2021-03-30 2022-02-25 機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム

Country Status (3)

Country Link
US (1) US20240013894A1 (ja)
JP (1) JPWO2022209500A1 (ja)
WO (1) WO2022209500A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003485A1 (ja) * 2017-06-30 2019-01-03 株式会社Ａｂｅｊａ 機械学習又は推論のための計算機システム及び方法
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
JP2020091543A (ja) * 2018-12-03 2020-06-11 キヤノン株式会社 学習装置、処理装置、ニューラルネットワーク、学習方法、及びプログラム
WO2020194662A1 (ja) * 2019-03-28 2020-10-01 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体、情報処理方法及び学習済みモデルの製造方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019003485A1 (ja) * 2017-06-30 2019-01-03 株式会社Ａｂｅｊａ 機械学習又は推論のための計算機システム及び方法
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
JP2020091543A (ja) * 2018-12-03 2020-06-11 キヤノン株式会社 学習装置、処理装置、ニューラルネットワーク、学習方法、及びプログラム
WO2020194662A1 (ja) * 2019-03-28 2020-10-01 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体、情報処理方法及び学習済みモデルの製造方法

Also Published As

Publication number Publication date
JPWO2022209500A1 (ja) 2022-10-06
US20240013894A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
Waite et al. Interpretive error in radiology
Park et al. Deep learning–assisted diagnosis of cerebral aneurysms using the HeadXNet model
US11139067B2 (en) Medical image display device, method, and program
JP6768862B2 (ja) 医用画像処理方法、医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US10249092B2 (en) System and method for rendering complex data in a virtual reality or augmented reality environment
Potočnik et al. Current and potential applications of artificial intelligence in medical imaging practice: A narrative review
US11295510B2 (en) Method and apparatus for use of function-function surfaces and higher-order structures as a tool
US20220399107A1 (en) Automated protocoling in medical imaging systems
Meltzer et al. Detection and characterization of solid pulmonary nodules at digital chest Tomosynthesis: data from a cohort of the pilot Swedish cardiopulmonary bioimage study
US20240013524A1 (en) Information processing apparatus, method of operating information processing apparatus, and program for operating information processing apparatus
Cheng et al. Deep Learning for automated detection and localization of traumatic abdominal solid organ injuries on CT scans
WO2022209500A1 (ja) 機械学習モデル作成支援装置、機械学習モデル作成支援装置の作動方法、機械学習モデル作成支援装置の作動プログラム
US20230089212A1 (en) Image generation device, image generation method, image generation program, learning device, learning method, and learning program
JP2020171480A (ja) 医用画像処理装置及び医用画像処理システム
WO2019068536A1 (en) METHOD FOR SETTING MEDICAL IMAGING PROTOCOL, MEDICAL INSTRUMENT SETTING SYSTEM, COMPUTER PROGRAM, AND COMPUTER-READABLE MEDIUM
Douglas et al. Extracardiac findings: what is a cardiologist to do?
WO2020179234A1 (ja) 画像診断支援装置および画像処理方法
JP6838971B2 (ja) 医用画像保管装置および医用画像保管システム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
WO2022264757A1 (ja) 医用画像診断システム、医用画像診断方法及びプログラム
Hoebel et al. Not without Context—A Multiple Methods Study on Evaluation and Correction of Automated Brain Tumor Segmentations by Experts
WO2022264755A1 (ja) 医用画像診断システム、医用画像診断方法及びプログラム
US11923072B2 (en) Image diagnosis supporting device and image processing method
US20240331146A1 (en) Image processing apparatus, image processing method, image processing program, learning apparatus, learning method, and learning program
WO2022270151A1 (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22779725

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023510680

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22779725

Country of ref document: EP

Kind code of ref document: A1