WO2020153493A1 - アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム - Google Patents

アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム Download PDF

Info

Publication number
WO2020153493A1
WO2020153493A1 PCT/JP2020/002603 JP2020002603W WO2020153493A1 WO 2020153493 A1 WO2020153493 A1 WO 2020153493A1 JP 2020002603 W JP2020002603 W JP 2020002603W WO 2020153493 A1 WO2020153493 A1 WO 2020153493A1
Authority
WO
WIPO (PCT)
Prior art keywords
annotation
medical image
information
node
input
Prior art date
Application number
PCT/JP2020/002603
Other languages
English (en)
French (fr)
Inventor
和馬 小林
基隆 三宅
隆二 浜本
Original Assignee
国立研究開発法人国立がん研究センター
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人国立がん研究センター, 富士フイルム株式会社 filed Critical 国立研究開発法人国立がん研究センター
Priority to EP20744432.4A priority Critical patent/EP3915464A4/en
Priority to CN202080010815.1A priority patent/CN113329684A/zh
Priority to JP2020567727A priority patent/JPWO2020153493A1/ja
Publication of WO2020153493A1 publication Critical patent/WO2020153493A1/ja
Priority to US17/381,200 priority patent/US20210350908A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to an annotation support device, an annotation support method, and an annotation support program.
  • Patent Document 1 discloses a technique for acquiring and storing annotations in accordance with a user's instruction operation on a displayed medical image.
  • an object of the present invention to provide an annotation support device, an annotation support method, and an annotation support program that make it possible to add annotation information having a hierarchical and related relationship to a medical image.
  • An annotation support device is an annotation support device that supports generation of annotation information about a medical image, and the medical image includes one medical image based on an attribute of each medical image.
  • a node a hierarchical structure including at least one layer of a medical image layer to which a node of a medical image belongs, an upper layer that is an upper layer of the medical image layer, and a lower layer that is a lower layer of the medical image layer
  • the annotation support device is managed, and the image acquisition unit that acquires the medical image, the display unit that displays the medical image, the node of the medical image and the node associated with the node of the medical image in the hierarchical structure
  • an annotation input receiving unit that receives an input of annotation information that is information about the designated node, and an annotation storage unit that stores the annotation information in association with the designated node are stored.
  • An annotation support method is an annotation support method in an annotation support device that supports generation of annotation information about a medical image, and the medical image is a medical image based on an attribute of each medical image.
  • the annotation support method is managed by a hierarchical structure including the image acquisition step of acquiring a medical image, the display step of displaying the medical image, the node of the medical image and the node of the node associated with the medical image node in the hierarchical structure.
  • An annotation support program is an annotation support program for causing a computer to function as an annotation support device that supports generation of annotation information about a medical image, and the medical image has attributes that each medical image has. Based on one medical image as one node, the medical image layer to which the medical image node belongs, the upper layer that is the upper layer of the medical image layer, and the lower layer that is the lower layer of the medical image layer.
  • the annotation support program is managed by a hierarchical structure including at least one of the layers, and the annotation support program causes the computer to acquire an image for acquiring a medical image, a display function for displaying the medical image, a node for the medical image, and a medical image in a hierarchical structure.
  • Annotation input acceptance function that accepts the input of annotation information that is information about the specified node along with the designation for any of the nodes associated with the image node, and the annotation that stores the annotation information in association with the specified node
  • the storage function is realized.
  • the medical image is managed by the hierarchical structure including the medical image hierarchy to which the node of the medical image belongs, and at least one of the upper upper hierarchy and the lower lower hierarchy of the medical image hierarchy. It Then, the annotation information is accepted together with the designation of the node of the displayed medical image and any of the nodes associated with the node, and the accepted annotation information is stored in association with the designated node. As a result, a data group having a hierarchical structure in which annotation information is appropriately associated with the node of the medical image and the node associated with the node can be obtained. By extracting the learning data from this data group, it becomes possible to generate a model that can realize automatic diagnosis in which the referencing process of various information by a doctor is reflected.
  • the hierarchical structure may include a medical image hierarchy and at least one hierarchy of an upper hierarchy and a lower hierarchy.
  • An annotation support apparatus further includes an area designation receiving unit that receives a designation of a finding area that is a portion of a medical image displayed by the display unit and is an area to which a finding is attached, and the hierarchical structure is a medical image.
  • An annotation input receiving unit receives an input of annotation information for a finding region, and the annotation storing unit associates the finding information indicating the finding region with a medical image in a lower layer of the medical image layer.
  • the input annotation information may be stored as a node in association with the node.
  • the input of the annotation information to the finding area designated as a part of the medical image is accepted, and the finding information and the annotation information are stored as a node in the lower layer of the medical image.
  • the medical image, the finding information, and the annotation information for the finding are managed in an appropriate hierarchical relationship.
  • the region designation receiving unit may receive designation of a region of any shape in the medical image as designation of a finding region.
  • the designation of the finding area is accepted by the arbitrary shape. Since the designation of the finding area is not limited to the designation by a specific marker or the like, finding information in which the lesion area is appropriately designated can be obtained.
  • the annotation input receiving unit based on the reception of the drag-and-drop operation for the finding region in the medical image displayed by the display unit of the object indicating the annotation information, to the finding region, It may be accepted as input of annotation information.
  • the hierarchical structure includes patient information for identifying a patient as a higher-level node, and the annotation input reception unit inputs the annotation information for the patient information indicating the patient associated with the medical image.
  • the annotation storage unit may store the input annotation information in association with the node of the patient information.
  • the patient information for identifying the target patient of the medical image is managed in a hierarchical structure as a node in the upper hierarchy of the medical image, and the annotation information about the patient is stored in association with the patient information.
  • the medical image, the patient information, and the annotation information about the patient are managed in an appropriate hierarchical relationship.
  • the annotation information may include relationship information indicating a relationship with another node other than the node with which the annotation information is associated.
  • each node can include, for example, association between medical images and observation information as annotation information.
  • the information associated with a node has a relationship with the information associated with another node, the information group including the relationship information is used for learning the model for automatic diagnosis.
  • automatic diagnosis that reflects the relationship becomes possible.
  • An annotation support device is a learning data set that includes a data set including at least one medical image among information managed by a hierarchical structure and annotation information associated with a node of the one medical image.
  • an annotation guide model that outputs the annotation information regarding the medical image as an input by machine learning
  • the model generation unit to be generated and the output obtained by inputting the medical image, which is the medical image acquired by the image acquisition unit and to which the annotation is to be added, into the annotation guide model, is associated with the medical image to which the annotation is to be added.
  • An annotation guide unit for displaying may be further provided.
  • the annotation guide model is generated by machine learning using the learning data set extracted from the information group managed by the hierarchical structure, and the medical image is input to the generated annotation guide model.
  • the annotation information candidates to be associated with the medical image are output. Then, by displaying the candidates of annotation information in association with the medical image and presenting them to the user, it is possible to promote the annotation work by the user.
  • the learning data acquisition unit includes at least one medical image, one medical image node, and one medical image node among the information managed by the hierarchical structure.
  • a data set including annotation information associated with at least one of the other associated nodes may be acquired as a learning data set.
  • the learning data set appropriately including the necessary information is acquired according to the setting of the learning task in the model generation. it can.
  • An annotation support apparatus is an annotation support apparatus that supports generation of annotation information regarding a medical image, is capable of acquiring a medical image associated with annotation information in advance, and the medical image and the medical image Using a learning data acquisition unit that acquires a data set including annotation information associated with the learning data set as a learning data set, and the learning data set acquired by the learning data acquisition unit, with the medical image as an input, A model generation unit that generates an annotation guide model that outputs annotation information related to medical images by machine learning, an image acquisition unit that acquires a medical image to which annotation information is added, and a medical image acquired by the image acquisition unit are displayed.
  • An annotation input receiving unit that receives input of annotation information regarding a medical image to which an annotation is to be attached, and an annotation storage unit that stores the annotation information received by the input receiving unit in association with the medical image to which the annotation is to be attached.
  • annotation information having a hierarchical and related relationship to a medical image.
  • FIG. 3 is a diagram showing a hierarchical structure in which medical images are managed, in which patient information is included in an upper layer of a medical image and finding information is included in a lower layer of a medical image. It is a figure which shows the example of the medical image displayed on the display device. It is a figure which shows the example in which the some medical image was displayed on the display apparatus. It is a figure which shows the example of input of the annotation information with respect to patient information. It is a figure which shows the example of the input of the annotation information with respect to a medical image.
  • FIG. 1 is a diagram showing a functional configuration of the annotation support device according to the present embodiment.
  • the annotation support device 1 is a device that supports generation of annotation information about a medical image.
  • the annotation support device 1 includes an image acquisition unit 11, a display unit 12, an area designation reception unit 13, an annotation input reception unit 14, an annotation storage unit 15, a learning data acquisition unit 16, and a model generation unit 17. And an annotation guide unit 18.
  • Each functional unit included in the annotation support device 1 of the present embodiment may be distributed and configured in a plurality of devices. Further, each functional unit included in the annotation support device 1 is realized by either hardware or software, or an arbitrary combination.
  • the annotation support device 1 can access storage means such as the medical image storage unit 20 and the model storage unit 30. These storage units 20 and 30 are configured to be accessible from the annotation support device 1 via a network or a predetermined communication unit. Further, the storage units 20 and 30 may be provided in the annotation support device 1.
  • the storage means 20 and 30 will be described prior to the description of each functional unit of the annotation support device 1.
  • the medical image storage unit 20 is a storage unit that stores medical images acquired in various examinations performed on a patient.
  • the medical image is, for example, a DICOM image which is one of standard formats in the medical image, and the medical image includes various types such as an X-ray examination, a CT examination, an MRI examination, a PET examination, an ultrasonic examination and an endoscopic examination. May include an image representing the results of the inspection. Further, the medical image may include information such as a JPEG image, a BMP image, a PNG image, and an MP4 moving image as a photograph and a moving image recorded in the course of medical treatment in addition to those images. Further, as will be described later in detail, the medical image storage unit 20 manages the medical images in a hierarchical structure based on the attributes of each medical image.
  • the model storage unit 30 is a storage unit that stores an annotation guide model described in detail later.
  • the annotation guide model is a model generated by machine learning in which a medical image is input and annotation information regarding the medical image is output.
  • FIG. 2 is a hardware configuration diagram of the annotation support device 1.
  • the annotation support device 1 physically includes a main storage device 102 including a CPU 101, a memory such as a RAM and a ROM, an auxiliary storage device 103 including a hard disk and a memory, a communication control device. It is configured as a computer system including 104 and the like.
  • the annotation support device 1 may further include an input device 105 such as a keyboard, a touch panel, and a mouse, which are input devices, and an output device 106 such as a display.
  • the annotation support device 1 may be configured to include a GPU.
  • Each function shown in FIG. 1 causes the communication control device 104 and the like to operate under the control of the CPU 101 by loading predetermined computer software on the hardware such as the CPU 101 and the main storage device 102 and the like shown in FIG. At the same time, it is realized by reading and writing data in the main storage device 102 and the auxiliary storage device 103. Data and databases required for processing are stored in the main storage device 102 and the auxiliary storage device 103.
  • the image acquisition unit 11 acquires a medical image. Specifically, the image acquisition unit 11 acquires the medical image stored in the medical image storage unit 20.
  • medical images are images acquired in various examinations performed on a patient.
  • the medical image can have patient information for identifying a patient, a type of examination, and other information as attribute information.
  • patient information for identifying a patient For example, when a plurality of images are acquired in one examination, information for grouping the plurality of images may be included as attribute information.
  • Medical images are managed in a hierarchical structure in the medical image storage unit 20 based on the attributes of each medical image.
  • the hierarchical structure regarding the medical image has a medical image as one node, a medical image layer to which the node of the medical image belongs, an upper layer that is an upper layer of the medical image layer, and a lower layer of the medical image layer. At least one of the lower layers that are layers is included.
  • the upper hierarchy can include patient information as a node, for example.
  • the lower layer can include, for example, finding information attached to a medical image as a node.
  • the hierarchical structure for managing medical images may include a medical image layer and at least one layer of upper layers and lower layers.
  • a medical image layer By being managed by such a hierarchical structure, it becomes possible to appropriately associate information of the medical image with information of an upper layer such as patient information and information of a lower layer such as finding information.
  • FIG. 3 is a diagram schematically showing an example of a hierarchical structure HS in which medical images are managed.
  • the hierarchical structure HS includes a medical image hierarchy, an upper hierarchy that is an upper hierarchy of the medical image hierarchy, and a lower hierarchy that is a lower hierarchy of the medical image hierarchy.
  • the hierarchical structure HS includes a root hierarchy hr, a first hierarchy h1, a second hierarchy h2, and a third hierarchy h3.
  • the hierarchical structure HS shown in FIG. 3 manages various kinds of information in a lower hierarchy with the project nr described as Project as a root.
  • the case where the project nr is included as the root node is described, but the hierarchical structure may be configured without the project as the root node.
  • the medical image n2 described as ImageSeries constitutes a node belonging to the second hierarchy h2.
  • the medical image has a side as inspection information of an inspection unit acquired for each one of various inspections that can be performed on a certain patient.
  • the first layer h1 which is the upper layer of the node of the medical image n2 has the patient information n1 described as Patient as a node.
  • the patient information n1 groups a plurality of medical images related to the same patient based on the patient information that each medical image n2 has as attribute information.
  • the finding information n3 is information defined as a region for a part of the medical image. As shown in FIG. 3, a plurality of pieces of finding information can be defined for one medical image.
  • the display unit 12 displays a medical image. Specifically, the display unit 12 causes the display to display the medical image acquired by the image acquisition unit 11.
  • FIG. 4 is a diagram showing an example of a medical image displayed on the display by the display unit 12. As shown in FIG. 4, a medical image mi1 as one of the examination results is displayed on the display screen D1.
  • the display screen D1 also includes a browse list IB and an image interpretation report display section IR.
  • the browse list IB is a part for displaying a list of medical images for selecting medical images to be displayed on the display screen D1.
  • the display unit 12 displays the selected medical images on the display screen D1.
  • the list displayed in the browse list IB reflects the configuration of the hierarchical structure HS described with reference to FIG.
  • the image interpretation report display unit IR is a part that presents the data of the image interpretation report stored in association with the medical image displayed on the display screen D1 to the user as reference information when the user inputs an annotation. It should be noted that it is possible to display, on the image interpretation report display unit IR, any clinical information stored in a text format such as a medical record in association with the displayed medical image.
  • FIG. 5 is a diagram showing an example in which a plurality of medical images are displayed on the display by the display unit.
  • a plurality of medical images mi21, mi22, mi23 are displayed on the display screen D2.
  • the medical image mi21 is a medical image obtained by a CT examination.
  • the medical image mi22 is a medical image obtained by a PET examination.
  • the medical image mi23 is a medical image obtained by an X-ray examination.
  • the annotation support apparatus 1 of the present embodiment can display medical images as a result of a plurality of related examinations side by side.
  • the area designation receiving unit 13 receives designation of a finding area for the medical image displayed by the display unit 12.
  • the finding region is a part of the medical image and is a region to which the finding is added.
  • the designation of the finding area can be accepted in various modes.
  • the area designation receiving unit 13 can receive designation of a finding area, for example, by inputting a designation operation by a user with respect to a portion of the displayed medical image. Specifically, for example, when the pointer is placed on an arbitrary position in the medical image and an operation such as clicking is performed, the area designation receiving unit 13 receives the position as a finding area.
  • the area designation receiving unit 13 may receive designation of an arbitrary area in the medical image as designation of a finding area. Specifically, for example, when a figure having a shape surrounding an arbitrary area in a medical image is input by operating various pointing devices or the like, the area designation receiving unit 13 determines the area having the arbitrary shape as a finding area. It can be accepted as a designation. As a result, the designation of the finding region is not limited to the designation by the specific marker or the like, so that the finding information in which the lesion region is appropriately designated can be obtained.
  • the annotation input receiving unit 14 receives an input of annotation information, which is information about the designated node, as well as designation of any one of the node of the medical image and the node associated with the node of the medical image in the hierarchical structure.
  • annotation input receiving unit 14 receives the designation for any node in the hierarchical structure HS described with reference to FIG. Then, the annotation input receiving unit 14 receives the input of the information to be associated with the designated node as the input of the annotation information.
  • the annotation storage unit 15 stores the annotation information received by the annotation input reception unit 14 in association with the designated node. Specifically, the annotation storage unit 15 stores the input annotation information in association with the designated node among the nodes managed in the hierarchical structure HS described with reference to FIG.
  • FIG. 6 is a diagram showing an example of inputting annotation information for patient information.
  • the display unit 12 displays a plurality of medical images mi21, mi22, mi23 on the display screen D3.
  • Medical images mi21, mi22, mi23 are medical images showing the examination result of the patient identified by the notation “Patient 1”.
  • Each of the medical images mi21, mi22, mi23 constitutes each node belonging to the second hierarchy h2 of the hierarchical structure HS, and these nodes are associated with the node of the patient information “Patient1” in the first hierarchy h1. There is.
  • the annotation input reception unit 14 receives the specification for the node of the patient information “Patient1”.
  • annotation input receiving unit 14 receives the input as the annotation information that should be associated with the node of the patient information “Patient1”.
  • annotation information to be managed on a patient-by-patient basis include, for example, the type and sex of the main disease of the patient. In the example shown in FIG. The information "Lung cancer" has been entered.
  • the annotation storage unit 15 stores the input annotation information “Diseases: Lung cancer” in association with the node of the patient information “Patient 1”.
  • the patient information for identifying the target patient of the medical image is managed in a hierarchical structure as a node in the upper layer of the medical image, and the annotation information about the patient is associated with the patient information.
  • the medical image, the patient information, and the annotation information about the patient are managed in an appropriate hierarchical relationship.
  • FIG. 7 is a diagram showing an example of inputting annotation information for a medical image. As shown in FIG. 7, the display unit 12 displays a plurality of medical images mi21, mi22, mi23 on the display screen D4.
  • Medical images mi21, mi22, mi23 are medical images showing the examination result of the patient identified by the notation “Patient 1”.
  • Each of the medical images mi21, mi22, mi23 constitutes each node belonging to the second hierarchy h2 of the hierarchical structure HS, and these nodes are associated with the node of the patient information “Patient1” in the first hierarchy h1. There is.
  • the annotation input reception unit 14 receives the specified input as the specification for the node of the medical image “Image Series 1-2”.
  • the annotation input reception unit 14 receives the input as the annotation information that should be associated with the node of the medical image “Image Series 1-2”.
  • Annotation information to be managed in medical image units is information to be managed in examination units related to image acquisition, and includes, for example, clinical conditions such as "preoperative” and "postoperative", and information on the entire image. Finding information to be defined based on the information (for example, staging of tumor) is included. Further, the relationship between medical images may be defined as annotation information of medical images. Regarding the relationship between one medical image and another medical image, another medical image may be explicitly specified as annotation information of the one medical image, and the content of the relationship may be defined. Further, the relation may be implicitly defined by being associated with the same patient information node.
  • the annotation storage unit 15 stores the annotation information input in the annotation information input field ai2 in association with the node of the medical image “Image Series 1-2”.
  • FIG. 8 is a diagram showing an example of specifying a region related to a finding in a medical image and inputting annotation information for the finding information. As shown in FIG. 8, the display unit 12 displays the medical image mi21 on the display screen D5.
  • the medical image mi21 is a medical image showing the examination result of the patient identified by the notation “Patient 1”.
  • the medical image mi21 constitutes a node belonging to the second hierarchy h2 of the hierarchical structure HS, and this node is associated with the node of the patient information “Patient1” in the first hierarchy h1.
  • the area designation receiving unit 13 specifies the finding area or3 based on the area designation input by the user. Accept.
  • the finding area is a part of the medical image, and is for defining an area such as a lesion.
  • the region designation receiving unit 13 can receive designation of a region of any shape in the medical image as designation of a finding region. As described above, since the designation of the finding area is not limited to the designation by the specific marker or the like, the finding information in which the lesion area is appropriately designated can be obtained.
  • the annotation input receiving unit 14 determines that the annotation information should be associated with the finding area or3. , Accept the input.
  • the annotation information in units of findings is information that can be defined regionally with respect to a certain region in an image, and is, for example, information indicating an image-like feature that a clinician expresses in words.
  • the annotation information is input by labeling the finding area with qualitative information indicated by the finding area.
  • the annotation storage unit 15 stores the finding information indicating the finding area as a node associated with the medical image in the lower layer of the medical image, and also stores the input annotation information in association with the node. Specifically, the annotation storage unit 15 associates the finding information indicating the finding area or3 with the medical image “Image Series 1-2” in the third layer h3 that is a lower layer of the second layer h2. It is stored in the hierarchical structure HS as a node. Further, the annotation storage unit 15 stores the annotation information input to the annotation information input field ai3 in association with the node of the finding information indicating the finding area or3.
  • the region designation receiving unit 13 can receive designation of a plurality of finding regions in one medical image. For example, designation of a plurality of finding areas may be accepted by accepting labeling with a plurality of different colors and line types on the display screen.
  • the annotation input receiving unit 14 receives the input of annotation information for each finding region.
  • the annotation storage unit 15 generates a node corresponding to each finding area as a node in a lower layer of the node of one medical image, and stores the input annotation information in association with each node.
  • annotation information can be input in various ways. For example, based on the fact that an object indicating the annotation information input to the annotation information input field ai3 is displayed in the annotation information input field ai3 and a drag-and-drop operation for the finding area of the object is accepted, the annotation storage is performed.
  • the unit 15 may associate the input annotation information with the node in the finding area. This makes it possible to easily associate the annotation information with the finding area.
  • the relationship between the findings in the image may be defined as annotation information of the finding information.
  • the content of the relationship may be defined by explicitly designating the other finding information as the annotation information of the one finding information.
  • the relationship may be implicitly defined by being associated with a lower level of the node of the same medical image.
  • FIG. 9 is a diagram showing an example of annotation information associated with each piece of information managed in a hierarchical structure.
  • the annotation storage unit 15 stores the input annotation information in association with the node designated when the annotation information is input.
  • annotation information A1 is annotation information on a patient basis, which is associated with the node of the patient information represented as “Patient” that belongs to the first hierarchy h1.
  • the annotation information A1 can include information such as the presence or absence of disease, age, sex, date of first visit, staging at first visit, details of initial treatment, date of recurrence, and final turning point.
  • the annotation information A2 is annotation information for each medical image unit (examination unit), which is a node belonging to the second layer h2 and is associated with a node for a medical image represented as “ImageSeries”.
  • the annotation information A2 can include information on the clinical context of the examination (preoperative, postoperative, recurrence, etc.) and information obtained from the entire image (tumor staging, etc.).
  • the medical image is set to the learning data set. Included in. Further, as described above, it is not limited to explicitly setting the predetermined setting information, and whether to include the medical image in the learning data set is determined based on whether or not the particular setting information is included. It may be done.
  • the node of the medical image can have information to be associated in units of medical image as the annotation information.
  • the finding information associated with the node in the lower hierarchy of the node of the medical image is added to the medical image. Can be grasped as annotation information. That is, the finding information can have both a side as a node of a lower layer of the medical image and a side as annotation information of the medical image.
  • the annotation information A3 is annotation information in units of findings, which is associated with the node of the observation information that is a node belonging to the third layer h3 and is expressed as “DiseaseClass”.
  • the annotation information A3 can include information indicating a finding area and qualitative information about the finding.
  • the information indicating the finding area can define the area of the lesion by including the coordinate information according to the format of the medical image (for example, DICOM format).
  • the qualitative information of the finding can include qualitative label information (image feature, place, classification, etc.) for each finding area.
  • the node of the finding information corresponds to the notation “Structure” in FIG. 8 and FIG. 10 to be referred to later.
  • the learning data acquisition unit 16 includes data including at least one medical image among the information managed by the hierarchical structure and annotation information associated with the node of the one medical image. Get the set as a training dataset. Further, when the hierarchical structure managing the medical image is composed of a plurality of layers, the learning data acquisition unit 16 determines at least one medical image and the one of the information managed by the hierarchical structure. The dataset including the node of the medical image and the annotation information associated with at least one node of the other nodes associated with the node of the one medical image may be acquired as the learning dataset. The content of the data set is determined according to a learning task in model generation, which will be described later.
  • the model generation unit 17 uses the learning data set acquired by the learning data acquisition unit 16 to generate an annotation guide model in which the medical image is input and the annotation information regarding the medical image is output by machine learning.
  • the model generation unit 17 stores the generated annotation guide model in the model storage unit 30.
  • a so-called supervised learning is performed by using a learning data set including a medical image as a learning target and annotation information as correct answer data associated with a learning result. Is generated.
  • the medical image included in the learning data set can be specified in the annotation information of the medical image, for example, as described above.
  • the content of the learning task enables classification of medical images, detection of specific findings such as lesions included in medical images, and segmentation of specific findings (extraction of regions). It can be used as a learning task.
  • the data included in the learning data set is not limited to the annotation information of one medical image, information of other nodes related to one medical image, annotation information associated with the other node, the same layer or different.
  • Information (relationship information) indicating the relationship between the nodes of the hierarchy can be included depending on the purpose of the model and the setting of the problem.
  • the annotation guide model is configured to include a neural network.
  • the neural network may be composed of, for example, a CNN (Convolution Neural Network).
  • An annotation guide model which is a model including a learned neural network, can be read or referred to by a computer, and can be regarded as a program that causes the computer to execute a predetermined process and cause the computer to realize a predetermined function.
  • the annotation guide model of this embodiment is used in a computer including a CPU (or/and GPU) and a memory.
  • the CPU (or/and GPU) of the computer in accordance with the instruction from the annotation guide model stored in the memory, with respect to the input data input to the input layer of the neural network, has already been learned corresponding to each layer. The calculation is performed based on the weighting coefficient and the response function, and the result is output from the output layer.
  • the annotation guide unit 18 associates the output obtained by inputting the medical image, which is the medical image acquired by the image acquisition unit 11, that is the target of annotation addition, into the annotation guide model, with the medical image that is the target of annotation addition. indicate.
  • the model generation unit 17 performs machine learning using the medical image and the finding information input as annotation information for the lesion portion represented in the medical image as a learning data set, thereby performing the medical image.
  • the finding information used for learning and the finding information output from the model include information indicating a finding region, and information such as features and lesion types related to the finding region.
  • FIG. 10 is a diagram showing an example of displaying annotation information candidates that should be associated with a medical image. As shown in FIG. 10, the display unit 12 displays the medical image mi3 to be annotated on the display screen D6.
  • the annotation guide unit 18 inputs the medical image mi3 into the annotation guide model and acquires the candidate of the finding information as the annotation information to be associated with the medical image mi3, which is output from the model. Specifically, as illustrated in FIG. 10, the annotation guide unit 18 acquires a finding area candidate ar1 and a finding area candidate ar2 as candidates for finding information that is annotation information to be associated with the medical image mi3, and then the medical image is acquired. Superimpose it on mi3 and display it. Further, the annotation guide unit 18 acquires the finding information candidate ac1 to be associated with the finding area candidate ar1 and the finding information candidate ac2 to be associated with the finding area candidate ar2, and displays the finding information candidate ac2 on the annotation candidate display unit gw.
  • the model generating unit 17 causes the accumulated medical image and annotation information.
  • An annotation guide model can be generated based on.
  • the annotation guide unit 18 can acquire and output the candidates of the annotation information to be attached to the medical image to be annotated, based on the generated annotation guide model.
  • FIG. 11 is a flowchart showing the processing contents of the annotation support method implemented in the annotation support device 1.
  • step S1 the image acquisition unit 11 acquires the medical image stored in the medical image storage unit 20.
  • step S2 the display unit 12 causes the display device to display the medical image acquired by the image acquisition unit 11.
  • the annotation guide unit 18 may display candidates of annotation information to be associated with the displayed medical image in association with the displayed medical image.
  • step S3 the annotation input accepting unit 14 accepts the designation of either the node of the medical image or the node associated with the node of the medical image in the hierarchical structure. Further, in step S4, the annotation input receiving unit 14 receives the input of annotation information to be associated with the designated node.
  • step S5 the annotation storage unit 15 stores the annotation information received by the annotation input receiving unit 14 in association with the designated node. Specifically, the annotation storage unit 15 stores the input annotation information in association with the designated node among the nodes managed in the hierarchical structure HS.
  • the annotation support program P1 shown in FIG. 12 includes a main module m10, an image acquisition module m11, a display module m12, a region designation reception module m13, an annotation input reception module m14, an annotation storage module m15, a learning data extraction module m16, and a model generation.
  • the module m17 and the annotation guide module m18 are included.
  • the main module m10 is a part that integrally controls the annotation support processing.
  • the image acquisition module m11, the display module m12, the area designation reception module m13, the annotation input reception module m14, the annotation storage module m15, the learning data extraction module m16, the model generation module m17, and the annotation guide module m18 Image acquisition unit 11, display unit 12, area designation reception unit 13, annotation input reception unit 14, annotation storage unit 15, learning data acquisition unit 16, model generation unit 17, and annotation guide unit of the annotation support apparatus 1 shown in FIG.
  • Each function for 18 is realized. The same is true.
  • the annotation support program P1 may be provided by a storage medium M1 such as a magnetic disk, an optical disk, or a semiconductor memory, for example. Further, the annotation support program P1 may be provided via a communication network as a computer data signal superimposed on a carrier wave.
  • the medical image is a medical image layer to which the node of the medical image belongs, and the upper and lower layers of the medical image layer. It is managed by a hierarchical structure including at least one of the hierarchies. Then, the annotation information is accepted together with the designation of the node of the displayed medical image and any of the nodes associated with the node, and the accepted annotation information is stored in association with the designated node. As a result, a data group having a hierarchical structure in which annotation information is appropriately associated with the node of the medical image and the node associated with the node can be obtained. By extracting the learning data from this data group, it becomes possible to generate a model that can realize automatic diagnosis in which the referencing process of various information by a doctor is reflected.
  • SYMBOLS 1 DESCRIPTION OF SYMBOLS 1... Annotation support device, 11... Image acquisition part, 12... Display part, 13... Area designation reception part, 14... Annotation input reception part, 15... Annotation storage part, 16... Learning data acquisition part, 17... Model generation part , 18... Annotation guide section, 20... Medical image storage section, 30... Model storage section, M1... Storage medium, m10... Main module, m11... Image acquisition module, m12... Display module, m13... Area designation receiving module, m14... An annotation input acceptance module, m15... Annotation storage module, m16... Learning data extraction module, m17... Model generation module, m18... Annotation guide module, P1... Annotation support program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

アノテーション支援装置は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層並びに医用画像階層の上位及び下位の階層である上位階層及び下位階層のうちの少なくとも１つの階層を含む階層構造により、医用画像を管理する。アノテーション支援装置は、医用画像を取得する画像取得部と、医用画像を表示させる表示部と、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付部と、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納部と、を備える。

Description

アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム
　本発明は、アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラムに関する。
　近年、機械学習を用いた医用画像に対する自動的な診断支援に関する研究が行われている。高性能なモデルの実現のためには、一般的に教師あり学習に用いる為の大量の学習データが必要になるが、そのためには医用画像に対して対になるように定義されたアノテーションを用意する必要がある。ここで、アノテーションとは医用画像における病変の場所や領域の情報、その性状や診断に関する分類の情報を指し示すものである。例えば、下記特許文献１には、表示された医用画像に対するユーザからの指示操作に従って、アノテーションを取得及び記憶する技術が開示されている。
特開２０１３－１３２５１４号公報
　医師による医用画像の読影において、特定の病変が医用画像中に存在する場合に、病変が存在する場所及び領域並びに病変の性状に加えて、当該病変に関する他の検査の結果及び当該患者の背景といった情報が併せて参照される。診断支援を目的とした質の高いモデルの生成のためには、このような医師による情報の参照過程を再現するように、アノテーションの情報の階層性及び関係性が可能な限り反映されるように適切に構築された学習データの供給が望まれる。また、アノテーションは、多くの場合において、ユーザによる指示操作によって取得されてきた。しかしながら、この人手による過程に費やされる労力が大きいため、適切なモデルを組み込むことによる省力化が必要であった。
　そこで本発明は、医用画像に対して階層性及び関係性を持ったアノテーション情報の付与を可能にするアノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラムを提供することを目的とする。
　本発明の一形態に係るアノテーション支援装置は、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、アノテーション支援装置は、医用画像を取得する画像取得部と、医用画像を表示させる表示部と、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付部と、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納部と、を備える。
　本発明の一形態に係るアノテーション支援方法は、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置におけるアノテーション支援方法であって、医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、アノテーション支援方法は、医用画像を取得する画像取得ステップと、医用画像を表示させる表示ステップと、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付ステップと、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納ステップと、を有する。
　本発明の一形態に係るアノテーション支援プログラムは、コンピュータを、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置として機能させるためのアノテーション支援プログラムであって、医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、アノテーション支援プログラムは、コンピュータに、医用画像を取得する画像取得機能と、医用画像を表示させる表示機能と、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付機能と、アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納機能と、を実現させる。
　上記の形態によれば、医用画像が、医用画像のノードが属する医用画像階層、並びに、医用画像階層の上位の上位階層及び下位の下位階層のうちの少なくとも１つの階層を含む階層構造により管理される。そして、表示された医用画像のノード及びそのノードに関連付けられているいずれかのノードのいずれかに対する指定とともにアノテーション情報が受け付けられ、受け付けられたアノテーション情報が指定されたノードに関連付けて記憶される。これにより、医用画像のノード及びそのノードに関連付けられたノードに適切にアノテーション情報が関連付けられた階層構造のデータ群が得られる。このデータ群から学習用データを抽出することにより、医師による種々の情報の参照過程が反映された自動診断を実現しうるモデルの生成が可能となる。
　別の形態に係るアノテーション支援装置は、階層構造は、医用画像階層と、上位階層及び下位階層のうちの少なくとも１つの階層とを含むこととしてもよい。
　上記の形態によれば、医用画像の情報に対して、患者情報等の上位階層の情報及び所見情報等の下位階層の情報を適切に関連付けることが可能となる。
　別の形態に係るアノテーション支援装置は、表示部により表示された医用画像の一部分であって所見を付す領域である所見領域の指定を受け付ける領域指定受付部、をさらに備え、階層構造は、医用画像階層及び前記下位階層を含み、アノテーション入力受付部は、所見領域に対するアノテーション情報の入力を受け付け、アノテーション格納部は、所見領域を示す所見情報を医用画像階層の下位の階層における医用画像に関連付けられたノードとして記憶させると共に、入力されたアノテーション情報を当該ノードに関連付けて記憶させることとしてもよい。
　上記の形態によれば、医用画像の一部分として指定された所見領域に対するアノテーション情報の入力が受け付けられ、医用画像の下位階層のノードとして所見情報及びアノテーション情報が記憶される。これにより、医用画像、所見情報及び所見に対するアノテーション情報が、適切な階層関係をもって管理される。
　別の形態に係るアノテーション支援装置では、領域指定受付部は、医用画像中の任意形状の領域の指定を所見領域の指定として受け付けることとしてもよい。
　上記の形態によれば、所見領域の指定が任意形状により受け付けられる。所見領域の指定が、特定のマーカ等による指定に限定されないので、病変領域が適切に指定された所見情報を得ることができる。
　別の形態に係るアノテーション支援装置では、アノテーション入力受付部は、アノテーション情報を表す示すオブジェクトの、表示部により表示された医用画像中の所見領域に対するドラッグアンドドロップ操作の受け付けに基づいて、所見領域に対するアノテーション情報の入力として受け付けることとしてもよい。
　上記の形態によれば、所見領域に対するアノテーション情報の関連付けを容易に実施できる。
　別の形態に係るアノテーション支援装置では、階層構造は、患者を識別する患者情報を上位階層のノードとして含み、アノテーション入力受付部は、医用画像に関連付けられた患者を示す患者情報に対するアノテーション情報の入力を受け付け、アノテーション格納部は、入力されたアノテーション情報を患者情報のノードに関連付けて記憶させることとしてもよい。
　上記の形態によれば、医用画像の対象の患者を識別する患者情報が医用画像の上位階層のノードとして階層構造により管理され、当該患者に関するアノテーション情報が患者情報に関連付けて記憶される。これにより、医用画像、患者情報及び患者に関するアノテーション情報が適切な階層関係をもって管理される。
　別の形態に係るアノテーション支援装置では、アノテーション情報は、当該アノテーション情報が関連付けられているノード以外の他のノードとの関係を示す関係性情報を含むこととしてもよい。
　上記の形態によれば、各ノードは、例えば、医用画像間、所見情報間の関連付けをアノテーション情報として含むことができる。これにより、あるノードに関連付けられた情報が、他のノードに関連付けられた情報と関係性を有する場合に、関係性情報を含んだ情報群が自動診断のためのモデルの学習に供されることにより、関係性が反映された自動診断が可能となる。
　別の形態に係るアノテーション支援装置は、階層構造により管理されている情報のうち、少なくとも一の医用画像と前記一の医用画像のノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、学習用データ取得部により取得された学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、画像取得部により取得された医用画像であってアノテーションの付与対象の医用画像をアノテーションガイドモデルに入力して得られた出力を、アノテーションの付与対象の医用画像に関連付けて表示するアノテーションガイド部と、を更に備えることとしてもよい。
　上記の形態によれば、階層構造により管理されている情報群から抽出された学習用データセットを用いた機械学習によりアノテーションガイドモデルが生成され、生成されたアノテーションガイドモデルに医用画像を入力することにより、医用画像に関連付けられるべきアノテーション情報の候補が出力される。そして、アノテーション情報の候補を医用画像に関連付けて表示させてユーザに提示することにより、ユーザによるアノテーション作業の促進を図ることが可能となる。
　別の形態に係るアノテーション支援装置では、学習用データ取得部は、階層構造により管理されている情報のうち、少なくとも、一の医用画像と、一の医用画像のノード及び一の医用画像のノードに関連付けられた他のノードのうちの少なくとも１つのノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得することとしてもよい。
　上記の形態によれば、医用画像を管理している階層構造が複数の階層からなる場合において、モデル生成における学習課題の設定に応じて、必要な情報が適切に含まれる学習用データセットを取得できる。
　本発明の一形態に係るアノテーション支援装置は、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、予めアノテーション情報が関連付けられた医用画像を取得可能であり、医用画像と当該医用画像に関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、学習用データ取得部により取得された学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、アノテーション情報の付与対象の医用画像を取得する画像取得部と、画像取得部により取得された医用画像を表示させる表示部と、画像取得部により取得された医用画像をアノテーションガイドモデルに入力して得られた出力を、表示部により表示されたアノテーションの付与対象の医用画像に関連付けて表示するアノテーションガイド部と、アノテーションの付与対象の医用画像に関するアノテーション情報の入力を受け付けるアノテーション入力受付部と、入力受付部により受け付けられたアノテーション情報を、アノテーションの付与対象の医用画像に関連付けて記憶させるアノテーション格納部と、を備える。
　本発明の一側面によれば、医用画像に対して階層性及び関係性を持ったアノテーション情報の付与が可能となる。
本実施形態に係るアノテーション支援装置の機能的構成を示すブロック図である。 アノテーション支援装置のハードウェア構成を示す図である。 医用画像が管理される階層構造であって、医用画像の上位階層に患者情報を含み、医用画像の下位階層に所見情報を含む階層構造を示す図である。 表示装置に表示された医用画像の例を示す図である。 表示装置に複数の医用画像が表示された例を示す図である。 患者情報に対するアノテーション情報の入力の例を示す図である。 医用画像に対するアノテーション情報の入力の例を示す図である。 医用画像中の所見に係る領域の指定及び所見情報に対するアノテーション情報の入力の例を示す図である。 階層構造で管理される各階層の情報ごとに関連付けられるアノテーション情報の例を示す図である。 医用画像に関連付けられるべきアノテーション情報の候補の表示の例を示す図である。 アノテーション支援装置において実施されるアノテーション支援方法の処理内容を示すフローチャートである。 アノテーション支援プログラムの構成を示す図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
　図１は、本実施形態に係るアノテーション支援装置の機能的構成を示す図である。アノテーション支援装置１は、医用画像に関するアノテーション情報の生成を支援する装置である。
　図１に示すように、アノテーション支援装置１は、画像取得部１１、表示部１２、領域指定受付部１３、アノテーション入力受付部１４、アノテーション格納部１５、学習用データ取得部１６、モデル生成部１７及びアノテーションガイド部１８を備える。本実施形態のアノテーション支援装置１に含まれる各機能部は、複数の装置に分散されて構成されてもよい。また、アノテーション支援装置１に含まれる各機能部は、ハードウェア及びソフトウェアのいずれか、または任意の組み合わせによって実現される。
　図１に示すように、アノテーション支援装置１は、医用画像記憶部２０及びモデル記憶部３０といった記憶手段にアクセスすることができる。これらの記憶手段２０，３０は、アノテーション支援装置１からネットワークまたは所定の通信手段を介してアクセス可能に構成されている。また、記憶手段２０，３０は、アノテーション支援装置１に設けられてもよい。
　アノテーション支援装置１の各機能部の説明に先立って、記憶手段２０，３０を説明する。医用画像記憶部２０は、患者に対して実施された各種の検査において取得された医用画像を記憶している記憶手段である。
　医用画像は、例えば、医用画像における標準フォーマットの１つであるＤＩＣＯＭ画像であって、医用画像は、Ｘ線検査、ＣＴ検査、ＭＲＩ検査、ＰＥＴ検査、超音波検査及び内視鏡検査等の種々の検査の結果を表す画像を含み得る。また、医用画像は、それらの画像の他に診療の過程で記録された写真及び動画等として、ＪＰＥＧ画像、ＢＭＰ画像、ＰＮＧ画像、ＭＰ４動画などの情報を含み得る。また、後に詳述するように、医用画像記憶部２０は、各医用画像が有する属性に基づいて、医用画像を階層構造により管理する。
　モデル記憶部３０は、後に詳述されるアノテーションガイドモデルを記憶する記憶手段である。アノテーションガイドモデルは、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とする、機械学習により生成されるモデルである。
　図２は、アノテーション支援装置１のハードウェア構成図である。アノテーション支援装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク及びメモリ等で構成される補助記憶装置１０３、通信制御装置１０４などを含むコンピュータシステムとして構成されている。アノテーション支援装置１は、入力デバイスであるキーボード、タッチパネル、マウス等の入力装置１０５及びディスプレイ等の出力装置１０６をさらに含むこととしてもよい。なお、アノテーション支援装置１は、ＧＰＵを含んで構成されてもよい。
　図１に示した各機能は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４等を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。
　再び図１を参照して、アノテーション支援装置１の機能部を説明する。画像取得部１１は、医用画像を取得する。具体的には、画像取得部１１は、医用画像記憶部２０に記憶されている医用画像を取得する。
　医用画像は、前述のとおり、患者に対して実施された各種の検査において取得された画像である。医用画像は、患者を識別する患者情報、検査の種別及びその他の情報を属性情報として有することができる。例えば、一の検査において複数の画像が取得された場合には、それらの複数の画像をグルーピングするための情報を属性情報として含みうる。
　医用画像は、各医用画像が有する属性に基づいて、医用画像記憶部２０において階層構造により管理される。具体的には、医用画像に関する階層構造は、医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、医用画像階層の上位の階層である上位階層、及び、医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む。上位階層は、例えば、患者情報をノードとして含むことができる。下位階層は、例えば、医用画像に対して付される所見情報をノードとして含むことができる。
　また、医用画像が管理される階層構造は、医用画像階層と、上位階層及び下位階層のうちの少なくとも１つの階層とを含むこととしてもよい。このような階層構造により管理されることにより、医用画像の情報に対して、患者情報等の上位階層の情報及び所見情報等の下位階層の情報を適切に関連付けることが可能となる。
　図３は、医用画像が管理される階層構造ＨＳの例を模式的に示す図である。図３に示される例では、階層構造ＨＳは、医用画像階層、医用画像階層の上位の階層である上位階層及び医用画像階層の下位の階層である下位階層を含む。図３に示されるように、階層構造ＨＳは、ルート階層ｈｒ、第１の階層ｈ１、第２の階層ｈ２及び第３の階層ｈ３を含む。
　図３に示される階層構造ＨＳは、Ｐｒｏｊｅｃｔと表記されるプロジェクトｎｒをルートとして、下位の階層に各種情報を管理する。なお、図３に示す例では、プロジェクトｎｒをルートノードとして有する場合を説明しているが、ルートノードとしてのプロジェクトを有さずに階層構造が構成されることとしてもよい。
　ＩｍａｇｅＳｅｒｉｅｓと表記される医用画像ｎ２は、第２の階層ｈ２に属するノードを構成する。医用画像は、ある患者に対して実施されうる種々の検査のうちの一の検査毎に取得される検査単位の検査情報としての側面を有する。
　医用画像ｎ２のノードの上位階層である第１の階層ｈ１は、Ｐａｔｉｅｎｔと表記される患者情報ｎ１をノードとして有する。患者情報ｎ１は、各医用画像ｎ２が属性情報として有する患者情報に基づいて、同一の患者に関する複数の医用画像をグルーピングする。
　医用画像ｎ２のノードの下位階層である第３の階層ｈ３は、Ｄｉｓｅａｓｅ　Ｃｌａｓｓと表記される所見情報ｎ３をノードとして有する。所見情報ｎ３は、医用画像の一部分に対して領域性をもって定義される情報である。図３に示されるように、一の医用画像に対して、複数の所見情報を定義することができる。
　再び図１を参照して、表示部１２は、医用画像を表示させる。具体的には、表示部１２は、画像取得部１１により取得された医用画像を、ディスプレイに表示させる。図４は、表示部１２によりディスプレイに表示された医用画像の例を示す図である。図４に示すように、表示画面Ｄ１に、検査結果の１つとしての医用画像ｍｉ１が表示されている。
　また、表示画面Ｄ１は、ブラウズリストＩＢ及び読影レポート表示部ＩＲを含む。ブラウズリストＩＢは、表示画面Ｄ１に表示させる医用画像を選択するための、医用画像のリストを表示する部分である。ブラウズリストＩＢに表示された複数の医用画像に対するユーザによる選択入力が取得されると、表示部１２は、選択された医用画像を表示画面Ｄ１に表示させる。なお、ブラウズリストＩＢに表示されるリストは、図３を参照して説明した階層構造ＨＳの構成を反映している。読影レポート表示部ＩＲは、表示画面Ｄ１に表示された医用画像に関連付けて格納されている読影レポートのデータを、ユーザがアノテーションを入力する際の参照情報としてユーザに提示する部分である。なお、読影レポート表示部ＩＲには、診療記録などのテキスト形式で保存される任意の臨床情報を、表示された医用画像に関連付けて表示させることが可能である。
　図５は、表示部により複数の医用画像がディスプレイに表示された例を示す図である。図５に示すように、表示画面Ｄ２に、複数の医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３が表示されている。医用画像ｍｉ２１は、ＣＴ検査により得られた医用画像である。医用画像ｍｉ２２は、ＰＥＴ検査により得られた医用画像である。医用画像ｍｉ２３は、Ｘ線検査により得られた医用画像である。図５に示されるように、本実施形態のアノテーション支援装置１では、関連する複数の検査の結果としての医用画像を並べて表示できる。
　再び図１を参照して、領域指定受付部１３は、表示部１２により表示された医用画像に対する所見領域の指定を受け付ける。所見領域は、医用画像の一部分であって所見を付す領域である。所見領域の指定は、種々の態様により受け付けることができる。
　領域指定受付部１３は、例えば、表示された医用画像の部分に対するユーザによる指定操作の入力により所見領域の指定を受け付けることができる。具体的には、例えば、医用画像中の任意の位置にポインタを重ねてクリック等の操作が実行されることにより、領域指定受付部１３は、当該位置を所見領域として受け付ける。
　また、領域指定受付部１３は、医用画像中の任意の領域の指定を、所見領域の指定として受け付けてもよい。具体的には、例えば、種々のポインティングデバイスの操作等により医用画像中の任意の領域を囲うような形状の図形を入力すると、領域指定受付部１３は、その任意の形状の領域を所見領域の指定として受け付けることができる。これにより、所見領域の指定が、特定のマーカ等による指定に限定されないので、病変領域が適切に指定された所見情報を得ることができる。
　アノテーション入力受付部１４は、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付ける。本実施形態では、アノテーション入力受付部１４は、図３を参照して説明した階層構造ＨＳにおけるいずれかのノード対する指定を受け付ける。そして、アノテーション入力受付部１４は、指定されたノードに関連付けられるべき情報の入力を、アノテーション情報の入力として受け付ける。
　アノテーション格納部１５は、アノテーション入力受付部１４により受け付けられたアノテーション情報を、指定されたノードに関連付けて記憶させる。具体的には、アノテーション格納部１５は、図３を参照して説明した階層構造ＨＳにおいて管理されているノードのうちの指定されたノードに関連付けて、入力されたアノテーション情報を記憶させる。
　以下、図６～図８を参照して、アノテーション情報の受け付けの具体的な例について説明する。図６は、患者情報に対するアノテーション情報の入力の例を示す図である。図６に示すように、表示部１２により、複数の医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３が表示画面Ｄ３に表示されている。
　医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３は、は、「Ｐａｔｉｅｎｔ１」の表記で識別される患者の検査結果を示す医用画像である。医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３のそれぞれは、階層構造ＨＳの第２の階層ｈ２に属する各ノードを構成し、これらのノードは、第１の階層ｈ１における患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられている。
　例えば、表示画面Ｄ３におけるタブａｔ１を指定する入力が実施されると、アノテーション入力受付部１４は、患者情報「Ｐａｔｉｅｎｔ１」のノードに対する指定として受け付ける。
　さらに、アノテーション情報入力欄ａｉ１に対してアノテーション情報が入力されると、アノテーション入力受付部１４は、患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられるべきアノテーション情報として、その入力を受け付ける。患者単位で管理すべきアノテーション情報の例としては、例えば、その患者の主たる疾患の種別及び性別等が挙げられる、図６に示す例では、患者「Ｐａｔｉｅｎｔ１」に関連付けるべきアノテーション情報として、「Ｄｉｓｅａｓｅｓ：Ｌｕｎｇ　ｃａｎｃｅｒ」という情報が入力されている。
　アノテーション格納部１５は、入力されたアノテーション情報「Ｄｉｓｅａｓｅｓ：Ｌｕｎｇ　ｃａｎｃｅｒ」を、患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けて記憶させる。
　図６を参照して説明した例によれば、医用画像の対象の患者を識別する患者情報が医用画像の上位階層のノードとして階層構造により管理され、当該患者に関するアノテーション情報が患者情報に関連付けて記憶される。これにより、医用画像、患者情報及び患者に関するアノテーション情報が適切な階層関係をもって管理される。
　図７は、医用画像に対するアノテーション情報の入力の例を示す図である。図７に示すように、表示部１２により、複数の医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３が表示画面Ｄ４に表示されている。
　医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３は、は、「Ｐａｔｉｅｎｔ１」の表記で識別される患者の検査結果を示す医用画像である。医用画像ｍｉ２１，ｍｉ２２，ｍｉ２３のそれぞれは、階層構造ＨＳの第２の階層ｈ２に属する各ノードを構成し、これらのノードは、第１の階層ｈ１における患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられている。
　例えば、表示画面Ｄ４におけるタブａｔ２を指定する入力が実施されると、アノテーション入力受付部１４は、医用画像「Ｉｍａｇｅ　Ｓｅｒｉｅｓ　１－２」のノードに対する指定として、その指定入力を受け付ける。
　さらに、アノテーション情報入力欄ａｉ２に対してアノテーション情報が入力されると、アノテーション入力受付部１４は、医用画像「Ｉｍａｇｅ　Ｓｅｒｉｅｓ　１－２」のノードに関連付けられるべきアノテーション情報として、その入力を受け付ける。
　医用画像単位で管理すべきアノテーション情報は、その画像取得に係る検査単位で管理すべき情報であって、例えば、「術前」、「術後」といった臨床的状況、及び、画像全体の情報に基づいて定義されるべき所見情報（例えば、腫瘍のステージング等）等が挙げられる。また、医用画像同士の関係性を、医用画像のアノテーション情報として定義できることとしてもよい。一の医用画像における他の医用画像に対する関係性は、一の医用画像のアノテーション情報として、他の医用画像を明示的に指定して、その関係性の内容が定義されることとしてもよい。また、同一の患者情報のノードに関連付けられていることをもって、黙示的に関係性が定義されていることとしてもよい。
　アノテーション格納部１５は、アノテーション情報入力欄ａｉ２において入力されたアノテーション情報を、医用画像「Ｉｍａｇｅ　Ｓｅｒｉｅｓ　１－２」のノードに関連付けて記憶させる。
　図８は、医用画像中の所見に係る領域の指定及び所見情報に対するアノテーション情報の入力の例を示す図である。図８に示すように、表示部１２により、医用画像ｍｉ２１が表示画面Ｄ５に表示されている。
　医用画像ｍｉ２１は、「Ｐａｔｉｅｎｔ１」の表記で識別される患者の検査結果を示す医用画像である。医用画像ｍｉ２１は、階層構造ＨＳの第２の階層ｈ２に属するノードを構成し、このノードは、第１の階層ｈ１における患者情報「Ｐａｔｉｅｎｔ１」のノードに関連付けられている。
　例えば、表示画面Ｄ５におけるタブの指定により、医用画像「Ｉｍａｇｅ　Ｓｅｒｉｅｓ　１－２」が選択された状態において、ユーザによる領域の指定入力に基づいて、領域指定受付部１３は、所見領域ｏｒ３の指定を受け付ける。所見領域は、医用画像の一部分であって、例えば病変等の領域を定義するためのものである。
　領域指定受付部１３は、図８に示されるように、医用画像中の任意形状の領域の指定を所見領域の指定として受け付けることができる。このように、所見領域の指定が特定のマーカ等による指定に限定されないので、病変領域が適切に指定された所見情報を得ることができる。
　さらに、所見領域ｏｒ３に関連付けられたタブａｔ３が指定された状態においてアノテーション情報入力欄ａｉ３に対してアノテーション情報が入力されると、アノテーション入力受付部１４は、所見領域ｏｒ３に関連付けられるべきアノテーション情報として、その入力を受け付ける。所見単位のアノテーション情報は、画像中の一定の領域に対して領域性をもって定義できる情報であって、例えば、臨床医が言葉によって表現するような画像的な特徴を示す情報である。本実施形態では、所見領域が示す定性的な情報を所見領域に対してラベル付けすることにより、アノテーション情報の入力が実現される。
　アノテーション格納部１５は、所見領域を示す所見情報を医用画像の階層の下位の階層における医用画像に関連付けられたノードとして記憶させると共に、入力されたアノテーション情報を当該ノードに関連付けて記憶させる。具体的には、アノテーション格納部１５は、所見領域ｏｒ３を示す所見情報を、第２の階層ｈ２の下位の階層である第３の階層ｈ３における医用画像「Ｉｍａｇｅ　Ｓｅｒｉｅｓ　１－２」に関連付けられたノードとして階層構造ＨＳに記憶させる。さらに、アノテーション格納部１５は、アノテーション情報入力欄ａｉ３に対して入力されたアノテーション情報を、所見領域ｏｒ３を示す所見情報のノードに関連付けて記憶させる。
　例えば、一の医用画像中に複数箇所の病変が存在する場合等において、領域指定受付部１３は、一の医用画像における複数の所見領域の指定を受け付けることができる。例えば、表示画面上において複数の異なる色や線種によるラベル付けを受け付けることにより、複数の所見領域の指定が受け付けられることとしてもよい。この場合には、アノテーション入力受付部１４は、各所見領域に対するアノテーション情報の入力を受け付ける。そして、アノテーション格納部１５は、各所見領域に相当するノードを一の医用画像のノードの下位階層のノードとして生成し、入力されたアノテーション情報を各ノードに関連付けて記憶させる。
　なお、アノテーション情報の入力は種々の態様で実現できる。例えば、アノテーション情報入力欄ａｉ３に対して入力されたアノテーション情報を示すオブジェクトを、例えばアノテーション情報入力欄ａｉ３に表示させ、そのオブジェクトの所見領域に対するドラッグアンドドロップ操作を受け付けたことに基づいて、アノテーション格納部１５が、入力されたアノテーション情報の所見領域のノードに対する関連付けを実施することとしてもよい。これにより、所見領域に対するアノテーション情報の関連付けを容易に実施できる。
　また、画像中の所見同士の関係性を、所見情報のアノテーション情報として定義できることとしてもよい。一の所見情報における他の所見情報に対する関係性は、一の所見情報のアノテーション情報として、他の所見情報を明示的に指定して、その関係性の内容が定義されることとしてもよい。また、同一の医用画像のノードの下位に関連付けられていることをもって、黙示的に関係性が定義されていることとしてもよい。
　図９は、階層構造で管理される各階層の情報ごとに関連付けられるアノテーション情報の例を示す図である。前述のとおり、アノテーション格納部１５は、入力されたアノテーション情報を、アノテーション情報の入力に際して指定されたノードに関連付けて記憶させる。
　図９において、アノテーション情報Ａ１は、第１の階層ｈ１に属するノードであって「Ｐａｔｉｅｎｔ」と表記される患者情報のノードに関連付けられる、患者単位のアノテーション情報である。アノテーション情報Ａ１は、例えば、疾患の有無、年齢、性別、初診日、初診時ステージング、初回治療の内容、再発日及び最終転機等の情報を含むことができる。
　アノテーション情報Ａ２は、第２の階層ｈ２に属するノードであって「ＩｍａｇｅＳｅｒｉｅｓ」と表記される医用画像のノードに関連付けられる、医用画像単位（検査単位）のアノテーション情報である。アノテーション情報Ａ２は、検査の臨床的コンテクスト（術前、術後、再発時等）及び画像全体から得られる情報（腫瘍ステージング等）の情報を含むことができる。また、医用画像に関連付けられるアノテーション情報は、当該医用画像（検査）を、後述される機械学習の学習用データセットに含めるか否かを示す、任意に設定された設定情報（Ａｄｄ　ｔｏ　Ｄａｔａｓｅｔ　＝　Ｔｒｕｅ／Ｆａｌｓｅ）を含むことができる。この設定情報は、機械学習及び生成するモデルの目的に応じて、ユーザの入力に応じて任意に設定することができ、「Ｔｒｕｅ」と入力された場合には、当該医用画像が学習用データセットに含められる。また、このように、所定の設定情報を明示的に定めることには限られず、特定のアノテーション情報を有しているかどうかに基づいて、当該医用画像を学習用データセットに含めるか否かが定められることとしても良い。
　また、医用画像のノードは、医用画像単位で関連付けられるべき情報を当該アノテーション情報として有することができるが、それに加えて、医用画像のノードの下位階層において当該ノードに関連付けられる所見情報を、医用画像のアノテーション情報として捉えることができる。即ち、所見情報は、医用画像の下位階層のノードとしての側面と、医用画像のアノテーション情報としての側面とを併せ持つことができる。
　アノテーション情報Ａ３は、第３の階層ｈ３に属するノードであって「ＤｉｓｅａｓｅＣｌａｓｓ」と表記される所見情報のノードに関連付けられる、所見単位のアノテーション情報である。アノテーション情報Ａ３は、所見領域を示す情報及び所見の質的情報を含むことができる。所見領域を示す情報は、医用画像のフォーマット（例えば、ＤＩＣＯＭ形式）に応じた座標情報を含むことにより、病変の領域を定義できる。所見の質的情報は、各所見領域に対して質的なラベル情報（画像的な特徴や場所、分類など）を含むことができる。なお、所見情報のノードは、図８及び後に参照される図１０における「Ｓｔｒｕｃｔｕｒｅ」という表記に対応する。
　再び図１を参照して、学習用データ取得部１６は、階層構造により管理されている情報のうち、少なくとも一の医用画像と当該一の医用画像のノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する。また、医用画像を管理している階層構造が複数の階層からなる場合には、学習用データ取得部１６は、階層構造により管理されている情報のうち、少なくとも、一の医用画像と、当該一の医用画像のノード及び当該一の医用画像のノードに関連付けられた他のノードのうちの少なくとも１つのノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得してもよい。データセットの内容は、後述されるような、モデル生成における学習課題に応じて決定される。
　モデル生成部１７は、学習用データ取得部１６により取得された学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成する。モデル生成部１７は、生成したアノテーションガイドモデルをモデル記憶部３０に記憶させる。
　本実施形態では、学習対象としての医用画像と、学習結果に関連付けられる正解データとしてのアノテーション情報とを含む学習用データセットを用いた、いわゆる教師あり学習が実施されることにより、アノテーションガイドモデルが生成される。学習用データセットに含められる医用画像は、例えば、前述のとおり、医用画像のアノテーション情報において指定されることができる。また、学習課題の内容としては、医用画像の分類や、医用画像に含まれる病変などの特定の所見の検出や、特定の所見のセグメンテーション（領域の抽出）を可能にするが、設計によっては他の学習課題にすることもできる。
　学習用データセットに含められるデータは、一の医用画像のアノテーション情報には限られず、一の医用画像に関連する他のノードの情報、当該他のノードに関連付けられたアノテーション情報、同階層または異階層のノード間の関係性を示す情報（関係性情報）等を、モデルに対する目的及び課題の設定に応じて、含めることができる。
　アノテーションガイドモデルは、ニューラルネットワークを含んで構成される。ニューラルネットワークは、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）により構成されてもよい。学習済みのニューラルネットワークを含むモデルであるアノテーションガイドモデルは、コンピュータにより読み込まれ又は参照され、コンピュータに所定の処理を実行させ及びコンピュータに所定の機能を実現させるプログラムとして捉えることができる。
　即ち、本実施形態のアノテーションガイドモデルは、ＣＰＵ（又は／及びＧＰＵ）及びメモリを備えるコンピュータにおいて用いられる。具体的には、コンピュータのＣＰＵ（又は／及びＧＰＵ）が、メモリに記憶されたアノテーションガイドモデルからの指令に従って、ニューラルネットワークの入力層に入力された入力データに対し、各層に対応する学習済みの重み付け係数と応答関数等に基づく演算を行い、出力層から結果を出力するよう動作する。
　アノテーションガイド部１８は、画像取得部１１により取得された医用画像であってアノテーションの付与対象の医用画像をアノテーションガイドモデルに入力して得られた出力を、アノテーションの付与対象の医用画像に関連付けて表示する。
　本実施形態では、例えば、モデル生成部１７が、医用画像及び当該医用画像に表された病変部分に対するアノテーション情報として入力された所見情報を学習用データセットとして機械学習を実施することにより、医用画像を入力として、当該医用画像に関連付けるべき病変部分の所見情報を出力とするアノテーションガイドモデルを生成することができる。ここで、学習に供される所見情報及びモデルから出力される所見情報は、所見領域を示す情報並びに当該所見領域に関する特徴及び病変の種別等の情報を含む。
　図１０は、医用画像に関連付けられるべきアノテーション情報の候補の表示の例を示す図である。図１０に示すように、表示部１２により、アノテーション付与の対象の医用画像ｍｉ３が表示画面Ｄ６に表示されている。
　アノテーションガイド部１８は、医用画像ｍｉ３をアノテーションガイドモデルに入力して、モデルから出力された、医用画像ｍｉ３に対して関連付けるべきアノテーション情報としての所見情報の候補を取得する。具体的には、図１０に示すように、アノテーションガイド部１８は、医用画像ｍｉ３に関連付けるべきアノテーション情報である所見情報の候補として、所見領域候補ａｒ１及び所見領域候補ａｒ２を取得して、医用画像ｍｉ３に重畳して表示させる。さらに、アノテーションガイド部１８は、所見領域候補ａｒ１に関連付けるべき所見情報候補ａｃ１及び所見領域候補ａｒ２に関連付けるべき所見情報候補ａｃ２を取得して、アノテーション候補表示部ｇｗに表示させる。
　医用画像に対して関連付けられたアノテーション情報が、それらを学習用データセットとする機械学習を実施可能な程度の量以上に蓄積されると、モデル生成部１７は、蓄積された医用画像及びアノテーション情報に基づいて、アノテーションガイドモデルを生成できる。そして、アノテーションガイド部１８が、生成されたアノテーションガイドモデルに基づいて、アノテーション付与の対象の医用画像に付すべきアノテーション情報の候補を取得及び出力することができる。このように出力されたアノテーション情報の候補を医用画像に関連付けて表示させてユーザに提示することにより、ユーザによるアノテーションの作業を補助することができ、アノテーション作業の促進を図ることが可能となる。なお、アノテーションガイドモデルの生成は、医用画像及びアノテーション情報の蓄積に応じて逐次実施できるので、ユーザに提示されるアノテーション情報の候補の妥当性を向上させることができる。
　次に、図１１を参照して、本実施形態のアノテーション支援装置１の動作について説明する。図１１は、アノテーション支援装置１において実施されるアノテーション支援方法の処理内容を示すフローチャートである。
　ステップＳ１において、画像取得部１１は、医用画像記憶部２０に記憶されている医用画像を取得する。ステップＳ２において、表示部１２は、画像取得部１１により取得された医用画像を表示装置に表示させる。なお、ステップＳ２において医用画像が表示されたときに、アノテーションガイド部１８は、表示された医用画像に関連付けるべきアノテーション情報の候補を、表示された医用画像に関連付けて表示させることとしてもよい。
　ステップＳ３において、アノテーション入力受付部１４は、医用画像のノード及び階層構造において医用画像のノードに関連付けられているノードのいずれかに対する指定を受け付ける。さらに、ステップＳ４において、アノテーション入力受付部１４は、指定されたノードに関連付けられるべきアノテーション情報の入力を受け付ける。
　ステップＳ５において、アノテーション格納部１５は、アノテーション入力受付部１４により受け付けられたアノテーション情報を、指定されたノードに関連付けて記憶させる。具体的には、アノテーション格納部１５は、階層構造ＨＳにおいて管理されているノードのうちの指定されたノードに関連付けて、入力されたアノテーション情報を記憶させる。
　次に、図１２を参照して、コンピュータをアノテーション支援装置として機能させるためのアノテーション支援プログラムを説明する。図１２に示されるアノテーション支援プログラムＰ１は、メインモジュールｍ１０、画像取得モジュールｍ１１、表示モジュールｍ１２、領域指定受付モジュールｍ１３、アノテーション入力受付モジュールｍ１４、アノテーション格納モジュールｍ１５、学習用データ抽出モジュールｍ１６、モデル生成モジュールｍ１７及びアノテーションガイドモジュールｍ１８を含む。
　メインモジュールｍ１０は、アノテーション支援処理を統括的に制御する部分である。画像取得モジュールｍ１１、表示モジュールｍ１２、領域指定受付モジュールｍ１３、アノテーション入力受付モジュールｍ１４、アノテーション格納モジュールｍ１５、学習用データ抽出モジュールｍ１６、モデル生成モジュールｍ１７及びアノテーションガイドモジュールｍ１８が実行されることにより、図１に示されるアノテーション支援装置１の画像取得部１１、表示部１２、領域指定受付部１３、アノテーション入力受付部１４、アノテーション格納部１５、学習用データ取得部１６、モデル生成部１７及びアノテーションガイド部１８のための各機能が実現される。
同様である。
　アノテーション支援プログラムＰ１は、例えば、磁気ディスクや光ディスクまたは半導体メモリ等の記憶媒体Ｍ１によって提供されてもよい。また、アノテーション支援プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
　以上説明した本実施形態のアノテーション支援装置１、アノテーション支援方法及びアノテーション支援プログラムＰ１では、医用画像が、医用画像のノードが属する医用画像階層、並びに、医用画像階層の上位の上位階層及び下位の下位階層のうちの少なくとも１つの階層を含む階層構造により管理される。そして、表示された医用画像のノード及びそのノードに関連付けられているいずれかのノードのいずれかに対する指定とともにアノテーション情報が受け付けられ、受け付けられたアノテーション情報が指定されたノードに関連付けて記憶される。これにより、医用画像のノード及びそのノードに関連付けられたノードに適切にアノテーション情報が関連付けられた階層構造のデータ群が得られる。このデータ群から学習用データを抽出することにより、医師による種々の情報の参照過程が反映された自動診断を実現しうるモデルの生成が可能となる。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
１…アノテーション支援装置、１１…画像取得部、１２…表示部、１３…領域指定受付部、１４…アノテーション入力受付部、１５…アノテーション格納部、１６…学習用データ取得部、１７…モデル生成部、１８…アノテーションガイド部、２０…医用画像記憶部、３０…モデル記憶部、Ｍ１…記憶媒体、ｍ１０…メインモジュール、ｍ１１…画像取得モジュール、ｍ１２…表示モジュール、ｍ１３…領域指定受付モジュール、ｍ１４…アノテーション入力受付モジュール、ｍ１５…アノテーション格納モジュール、ｍ１６…学習用データ抽出モジュール、ｍ１７…モデル生成モジュール、ｍ１８…アノテーションガイドモジュール、Ｐ１…アノテーション支援プログラム。

Claims (12)

  1. 　医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、
    　医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、前記医用画像階層の上位の階層である上位階層、及び、前記医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、
    　前記アノテーション支援装置は、
    　医用画像を取得する画像取得部と、
    　前記医用画像を表示させる表示部と、
    　前記医用画像のノード及び前記階層構造において前記医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付部と、
    　前記アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納部と、
    　を備えるアノテーション支援装置。
  2. 　前記階層構造は、前記医用画像階層と、前記上位階層及び前記下位階層のうちの少なくとも１つの階層とを含む、
    　請求項１に記載のアノテーション支援装置。
  3. 　前記表示部により表示された前記医用画像の一部分であって所見を付す領域である所見領域の指定を受け付ける領域指定受付部、をさらに備え、
    　前記階層構造は、前記医用画像階層及び前記下位階層を含み、
    　前記アノテーション入力受付部は、前記所見領域に対するアノテーション情報の入力を受け付け、
    　前記アノテーション格納部は、前記所見領域を示す所見情報を前記下位階層における前記医用画像に関連付けられたノードとして記憶させると共に、前記入力されたアノテーション情報を当該ノードに関連付けて記憶させる、
    　請求項１または２に記載のアノテーション支援装置。
  4. 　前記領域指定受付部は、前記医用画像中の任意形状の領域の指定を前記所見領域の指定として受け付ける、
    　請求項３に記載のアノテーション支援装置。
  5. 　前記アノテーション入力受付部は、アノテーション情報を表す示すオブジェクトの、前記表示部により表示された医用画像中の前記所見領域に対するドラッグアンドドロップ操作の受け付けに基づいて、前記所見領域に対する前記アノテーション情報の入力として受け付ける、
    　請求項３または４に記載のアノテーション支援装置。
  6. 　前記階層構造は、患者を識別する患者情報を前記上位階層のノードとして含み、
    　前記アノテーション入力受付部は、前記医用画像に関連付けられた患者を示す患者情報に対するアノテーション情報の入力を受け付け、
    　前記アノテーション格納部は、前記入力されたアノテーション情報を前記患者情報のノードに関連付けて記憶させる、
    　請求項１～５のいずれか一項に記載のアノテーション支援装置。
  7. 　前記アノテーション情報は、当該アノテーション情報が関連付けられているノード以外の他のノードとの関係を示す関係性情報を含む、
    　請求項１～６のいずれか一項に記載のアノテーション支援装置。
  8. 　前記階層構造により管理されている情報のうち、少なくとも一の医用画像と前記一の医用画像のノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、
    　前記学習用データ取得部により取得された前記学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、
    　前記画像取得部により取得された医用画像であってアノテーションの付与対象の医用画像を前記アノテーションガイドモデルに入力して得られた出力を、アノテーションの付与対象の前記医用画像に関連付けて表示するアノテーションガイド部と、を更に備える
    　請求項１～７のいずれか一項に記載のアノテーション支援装置。
  9. 　前記学習用データ取得部は、前記階層構造により管理されている情報のうち、少なくとも、一の医用画像と、前記一の医用画像のノード及び前記一の医用画像のノードに関連付けられた他のノードのうちの少なくとも１つのノードに関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する、
    　請求項８に記載のアノテーション支援装置。
  10. 　医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置であって、
    　予めアノテーション情報が関連付けられた医用画像を取得可能であり、
    　前記医用画像と該医用画像に関連付けられたアノテーション情報とを含むデータセットを学習用データセットとして取得する学習用データ取得部と、
    　前記学習用データ取得部により取得された前記学習用データセットを用いて、医用画像を入力として、当該医用画像に関するアノテーション情報を出力とするアノテーションガイドモデルを機械学習により生成するモデル生成部と、
    　アノテーション情報の付与対象の医用画像を取得する画像取得部と、
    　前記画像取得部により取得された前記医用画像を表示させる表示部と、
    　前記画像取得部により取得された医用画像を前記アノテーションガイドモデルに入力して得られた出力を、前記表示部により表示されたアノテーションの付与対象の前記医用画像に関連付けて表示するアノテーションガイド部と、
    　前記アノテーションの付与対象の医用画像に関するアノテーション情報の入力を受け付けるアノテーション入力受付部と、
    　前記入力受付部により受け付けられた前記アノテーション情報を、前記アノテーションの付与対象の医用画像に関連付けて記憶させるアノテーション格納部と、
    　を備えるアノテーション支援装置。
  11. 　医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置におけるアノテーション支援方法であって、
    　医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、前記医用画像階層の上位の階層である上位階層、及び、前記医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、
    　前記アノテーション支援方法は、
    　医用画像を取得する画像取得ステップと、
    　前記医用画像を表示させる表示ステップと、
    　前記医用画像のノード及び前記階層構造において前記医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付ステップと、
    　前記アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納ステップと、
    　を有するアノテーション支援方法。
  12. 　コンピュータを、医用画像に関するアノテーション情報の生成を支援するアノテーション支援装置として機能させるためのアノテーション支援プログラムであって、
    　医用画像は、各医用画像が有する属性に基づいて、一の医用画像を１つのノードとして、医用画像のノードが属する医用画像階層、前記医用画像階層の上位の階層である上位階層、及び、前記医用画像階層の下位の階層である下位階層のうちの少なくとも１つの階層を含む階層構造により管理され、
    　前記アノテーション支援プログラムは、前記コンピュータに、
    　医用画像を取得する画像取得機能と、
    　前記医用画像を表示させる表示機能と、
    　前記医用画像のノード及び前記階層構造において前記医用画像のノードに関連付けられているノードのいずれかに対する指定と共に、指定されたノードに関する情報であるアノテーション情報の入力を受け付けるアノテーション入力受付機能と、
    　前記アノテーション情報を、指定されたノードに関連付けて記憶させるアノテーション格納機能と、
    　を実現させるアノテーション支援プログラム。
PCT/JP2020/002603 2019-01-24 2020-01-24 アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム WO2020153493A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20744432.4A EP3915464A4 (en) 2019-01-24 2020-01-24 DEVICE, METHOD AND PROGRAM FOR ANNOUNCEMENT SUPPORT
CN202080010815.1A CN113329684A (zh) 2019-01-24 2020-01-24 注释支持装置、注释支持方法及注释支持程序
JP2020567727A JPWO2020153493A1 (ja) 2019-01-24 2020-01-24 アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム
US17/381,200 US20210350908A1 (en) 2019-01-24 2021-07-21 Annotation support apparatus, annotation support method, and annotation support program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-010287 2019-01-24
JP2019010287 2019-01-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/381,200 Continuation US20210350908A1 (en) 2019-01-24 2021-07-21 Annotation support apparatus, annotation support method, and annotation support program

Publications (1)

Publication Number Publication Date
WO2020153493A1 true WO2020153493A1 (ja) 2020-07-30

Family

ID=71736974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/002603 WO2020153493A1 (ja) 2019-01-24 2020-01-24 アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム

Country Status (5)

Country Link
US (1) US20210350908A1 (ja)
EP (1) EP3915464A4 (ja)
JP (1) JPWO2020153493A1 (ja)
CN (1) CN113329684A (ja)
WO (1) WO2020153493A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190170A1 (ja) * 2021-03-08 2022-09-15 オリンパス株式会社 推論用学習装置および推論用学習方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7382240B2 (ja) * 2020-01-30 2023-11-16 富士フイルムヘルスケア株式会社 医用画像処理装置及び医用画像処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279542A (ja) * 2009-06-04 2010-12-16 Toshiba Corp 画像表示装置
JP2013132514A (ja) 2011-12-27 2013-07-08 Toshiba Corp 医用画像表示装置及び医用画像保管システム
JP2017118913A (ja) * 2015-12-28 2017-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、サーバ、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2018014058A (ja) * 2016-07-22 2018-01-25 株式会社トプコン 医療情報処理システム、医療情報処理装置及び医療情報処理方法
WO2018042272A1 (en) * 2016-08-31 2018-03-08 International Business Machines Corporation Updating probabilities of conditions based on annotations on medical images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080235055A1 (en) * 2003-07-17 2008-09-25 Scott Mattingly Laboratory instrumentation information management and control network
WO2017057180A1 (ja) * 2015-09-29 2017-04-06 日本電気株式会社 推定装置、推定方法、及び、プログラム
US10592820B2 (en) * 2016-06-09 2020-03-17 International Business Machines Corporation Sequential learning technique for medical image segmentation
JP6629678B2 (ja) * 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279542A (ja) * 2009-06-04 2010-12-16 Toshiba Corp 画像表示装置
JP2013132514A (ja) 2011-12-27 2013-07-08 Toshiba Corp 医用画像表示装置及び医用画像保管システム
JP2017118913A (ja) * 2015-12-28 2017-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム、並びに、サーバ、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
JP2018014058A (ja) * 2016-07-22 2018-01-25 株式会社トプコン 医療情報処理システム、医療情報処理装置及び医療情報処理方法
WO2018042272A1 (en) * 2016-08-31 2018-03-08 International Business Machines Corporation Updating probabilities of conditions based on annotations on medical images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3915464A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190170A1 (ja) * 2021-03-08 2022-09-15 オリンパス株式会社 推論用学習装置および推論用学習方法

Also Published As

Publication number Publication date
US20210350908A1 (en) 2021-11-11
EP3915464A4 (en) 2022-03-23
JPWO2020153493A1 (ja) 2021-12-02
EP3915464A1 (en) 2021-12-01
CN113329684A (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN108475538B (zh) 用于将第三方应用集成在图像解读工作流中的结构化发现对象
US8837794B2 (en) Medical image display apparatus, medical image display method, and medical image display program
US9037988B2 (en) User interface for providing clinical applications and associated data sets based on image data
JP5431924B2 (ja) 臨床医駆動の例示ベースのコンピュータ支援診断
US20070083396A1 (en) Image interpretation support system
JP6657210B2 (ja) テキスト認識に基づくテキストイメージリンキングを伴うピクチャアーカイビングシステム
JP5288866B2 (ja) 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
CN102497805A (zh) 医用图像显示设备、方法和程序
US20100082365A1 (en) Navigation and Visualization of Multi-Dimensional Image Data
US20200126648A1 (en) Holistic patient radiology viewer
JP6797088B2 (ja) 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP6667240B2 (ja) 装置、方法、システム及びプログラム。
JP2014123181A (ja) プログラム及び診療記録表示装置
JP7071441B2 (ja) 装置、方法、システム及びプログラム
US20080262874A1 (en) Medical report generating system and a medical report generating method
US10734102B2 (en) Apparatus, method, system, and program for creating and displaying medical reports
WO2020153493A1 (ja) アノテーション支援装置、アノテーション支援方法及びアノテーション支援プログラム
US20240212809A1 (en) Orchestration of medical report modules and image analysis algorithms
US20150066535A1 (en) System and method for reporting multiple medical procedures
JP5646400B2 (ja) 画像処理フロー評価方法及び当該方法を実行する画像処理装置
WO2013133274A1 (ja) 読影レポート作成支援装置
JP6719259B2 (ja) 医用レポート作成支援装置およびその制御方法、プログラム
US20230326598A1 (en) Automated Generation of Medical Training Data for Training AI-Algorithms for Supporting Clinical Reporting and Documentation
US20120191720A1 (en) Retrieving radiological studies using an image-based query
CN115881261A (zh) 医学报告生成方法、医学报告生成系统以及记录介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20744432

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020567727

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020744432

Country of ref document: EP

Effective date: 20210824