WO2013065090A1 - 類似症例検索装置および類似症例検索方法 - Google Patents

類似症例検索装置および類似症例検索方法 Download PDF

Info

Publication number
WO2013065090A1
WO2013065090A1 PCT/JP2011/006161 JP2011006161W WO2013065090A1 WO 2013065090 A1 WO2013065090 A1 WO 2013065090A1 JP 2011006161 W JP2011006161 W JP 2011006161W WO 2013065090 A1 WO2013065090 A1 WO 2013065090A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpretation
image feature
image
item
interpretation item
Prior art date
Application number
PCT/JP2011/006161
Other languages
English (en)
French (fr)
Inventor
近藤 堅司
和豊 高田
和紀 小塚
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to PCT/JP2011/006161 priority Critical patent/WO2013065090A1/ja
Priority to CN201180015465.9A priority patent/CN103200861B/zh
Priority to JP2012513395A priority patent/JP5054252B1/ja
Priority to US13/482,129 priority patent/US8958613B2/en
Publication of WO2013065090A1 publication Critical patent/WO2013065090A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/196Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1985Syntactic analysis, e.g. using a grammatical approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation

Definitions

  • the present invention relates to a similar case search apparatus and a similar case search method for searching for similar cases that are useful for interpretation of medical images.
  • an image feature amount is often designed for each target organ for which a similar image search is performed, and the concept level other than the organ (for example, disease type, disease progression degree, disease severity, etc.) is used.
  • the same image feature amount is mostly used for similar image retrieval.
  • the following technique is disclosed as a similar image search method that dynamically changes the image feature amount used for search with respect to a concept level other than an organ.
  • an image feature amount (that is, a similarity criterion) is determined based on the identified disease type, disease progression degree, or disease severity, and the like.
  • the image is only searched, and it is not a similar image search that reflects the “interesting point” of the interpreter for the medical image to be interpreted.
  • the indices (points of interest) that determine the similarity of images are various, such as shape, brightness, whole area, and partial area, even for a specific image. Only the user who searches for similar images knows which index he wants to search for “similar” images.
  • the present invention solves the above-described conventional problems, and an object of the present invention is to provide a similar case retrieval apparatus that reflects a reader's attention point in a similar image retrieval.
  • a similar case retrieval apparatus provides a medical image to be interpreted from a case database in which a plurality of case data including a medical image and an interpretation report that is document data describing a result of interpretation of the medical image is accumulated.
  • a similar case retrieval apparatus for retrieving case data including a medical image similar to an image, an image feature extraction unit for extracting a plurality of image feature amounts from an interpretation target image that is a medical image to be interpreted, and a feature of the medical image
  • the image feature amount is calculated for each type of image feature amount calculated based on a plurality of image feature amounts extracted from a medical image corresponding to the interpretation report including the interpretation item.
  • the interpretation item suitability for calculating the degree of conformity of each of the plurality of image feature amounts extracted by the image feature extraction unit with respect to each interpretation item is calculated.
  • a degree calculation unit an interpretation item having a degree of matching calculated by the interpretation item matching level calculation unit larger than a predetermined threshold, or an interpretation item candidate display unit that displays a predetermined number of interpretation items having a high degree of matching;
  • the interpretation item selection unit for selecting an interpretation item from the interpretation items displayed by the interpretation item candidate display unit, each image feature amount extracted from the medical image, and each extracted from the interpretation report for the medical image
  • a weight determination unit that determines a weight of a larger value as the relationship between items is higher, the plurality of image feature amounts extracted by the image feature extraction unit, and case data registered in a case database
  • the level of the feature of the image to be interpreted is more detailed than the unit of the disease.
  • the search image feature quantity can be optimized at a level more detailed than the disease unit.
  • Interprettation item is defined in this specification as “a character string that the interpretation doctor verbalizes the characteristics of the medical image to be interpreted”.
  • the terms used as interpretation items are almost limited depending on the medical imaging apparatus or target organ used. Examples of interpretation items include lobed, spiny, irregular, clear border, blurred outline, low density, high density, low absorption, high absorption, ground glass, calcification, mosaic, early dark stain, low echo, There is high echo, fluffing, etc. If the selected interpretation item is lobed / spine / irregular, the interpreter pays attention to the shape. If the selected interpretation item is low density / high density / low absorption / high absorption / ground glass, the interpreter It can be seen that the focus is on luminance.
  • the interpretation items are a common language when a doctor's interpretation report is created, the user of the similar case retrieval apparatus, that is, the interpreter, can easily understand the validity of the interpretation items estimated by the apparatus.
  • the present invention can be realized not only as a similar case search apparatus including such a characteristic processing unit, but also by using a process executed by a characteristic processing unit included in the similar case search apparatus as a step.
  • This can be realized as a case search method.
  • It can also be realized as a program for causing a computer to function as a characteristic processing unit included in a similar case search apparatus or a program for causing a computer to execute characteristic steps included in a similar case search method.
  • Such a program can be distributed via a computer-readable non-transitory recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet. .
  • the similar case search device of the present invention it is possible to provide a similar case search device in which the point of interest of the image interpreter is reflected in the similar image search.
  • FIG. 1 is a block diagram showing a configuration of a similar case search apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing a procedure for creating interpretation knowledge in the first embodiment of the present invention.
  • FIG. 3 is a flowchart showing a procedure of image feature amount extraction according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram showing an example of an interpretation report of an abdominal CT examination in the first embodiment of the present invention.
  • FIG. 5 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 1 of the present invention, and position and time phase information extracted simultaneously with the interpretation items.
  • FIG. 1 is a block diagram showing a configuration of a similar case search apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a flowchart showing a procedure for creating interpretation knowledge in the first embodiment
  • FIG. 7 is a diagram showing interpretation items and disease names extracted from the interpretation report according to Embodiment 1 of the present invention, and position and time phase information extracted simultaneously with the interpretation items by performing context interpretation.
  • FIG. 8 is a diagram showing a set of data acquired for extracting interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 9 is a flowchart showing a first interpretation knowledge creation procedure in the first embodiment of the present invention.
  • FIG. 10 is a diagram showing a distribution of image feature quantity vectors corresponding to a certain interpretation item, which is the first interpretation knowledge in the first embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a storage format of image feature quantity distribution information corresponding to a certain interpretation item, which is the first interpretation knowledge according to the first embodiment of the present invention.
  • FIG. 12 is a conceptual diagram of a correlation (binary) between an interpretation item and an image feature amount in Embodiment 1 of the present invention.
  • FIG. 13 is a conceptual diagram of a correlation (multivalue) between an interpretation item and an image feature amount in Embodiment 1 of the present invention.
  • FIG. 14 is a conceptual diagram of a correlation (binary) between a disease name and an image feature amount in Embodiment 1 of the present invention.
  • FIG. 15 is a conceptual diagram of a correlation (binary) between an interpretation item and a disease name in Embodiment 1 of the present invention.
  • FIG. 16 is a diagram showing a storage format of the correlation between (image feature amount ⁇ interpretation item) extracted as interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 17 is a diagram showing a storage format of the correlation between (image feature amount ⁇ disease name) extracted as interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 18 is a diagram showing a storage format of the correlation between (interpretation item ⁇ disease name) extracted as interpretation knowledge in Embodiment 1 of the present invention.
  • FIG. 19 is a flowchart showing a procedure for searching for similar cases in the first embodiment of the present invention.
  • FIG. 20 is a diagram showing an example of a similar case search screen in the first embodiment of the present invention.
  • FIG. 21 is a diagram for describing designation of a lesion position or a region in the first embodiment of the present invention.
  • FIG. 22 is a diagram showing the storage format of the distribution information of the image feature amount corresponding to a certain interpretation item, which is the first interpretation knowledge in the first embodiment of the present invention.
  • FIG. 23 is a diagram showing a storage format of the distribution information of the image feature amount corresponding to a certain interpretation item, which is the first interpretation knowledge in the first embodiment of the present invention.
  • FIG. 24 is a diagram showing the storage format of the distribution information of the image feature amount corresponding to a certain interpretation item, which is the first interpretation knowledge in the first embodiment of the present invention.
  • FIG. 25 is a diagram showing a display format of an interpretation item that is determined to have a high fitness in the first embodiment of the present invention.
  • FIG. 23 is a diagram showing a storage format of the distribution information of the image feature amount corresponding to a certain interpretation item, which is the first interpretation knowledge in the first embodiment of the present invention.
  • FIG. 24 is a diagram showing the storage format of the distribution information of the image feature amount corresponding to a certain interpretation item, which is the
  • FIG. 26 is a diagram showing a display format when the interpretation items determined to have a high fitness are displayed for each image in the first embodiment of the present invention.
  • FIG. 27 is a diagram showing a display format when the interpretation items determined to have a high fitness and the fitness are displayed simultaneously in the first embodiment of the present invention.
  • FIG. 28 is a diagram showing a display format when the interpretation items determined to have a high fitness and the fitness are displayed simultaneously in the first embodiment of the present invention.
  • FIG. 29 is a diagram showing a display format of an interpretation item selected by the interpreter in Embodiment 1 of the present invention.
  • FIG. 30 is a diagram showing a weighting method when searching for similar cases in the first embodiment of the present invention.
  • FIG. 31 is a diagram showing an example of a screen that allows the user to set the weight between the interpretation items using the slide bar when searching for similar cases in the first embodiment of the present invention.
  • FIG. 32 is a diagram showing a storage format of correlation between interpretation items extracted as interpretation knowledge in Embodiment 2 of the present invention.
  • FIG. 33 is a diagram showing a display format of a selected interpretation item in the second embodiment of the present invention.
  • FIG. 34 is a diagram showing a display format when the possibility of selection error is displayed for the selected interpretation item in the second embodiment of the present invention.
  • FIG. 35 is a diagram showing a display format of selected interpretation items and non-selectable interpretation items in Embodiment 3 of the present invention.
  • FIG. 36 is a diagram showing a display format of a disease name estimated from a selected interpretation item in the fourth embodiment of the present invention.
  • FIG. 37 is a block diagram showing a configuration of a similar case search apparatus according to Embodiment 5 of the present invention.
  • FIG. 38 is a flowchart showing a similar case search procedure according to the fifth embodiment of the present invention.
  • FIG. 39 is a block diagram showing the configuration of the first similar case retrieval apparatus in the sixth embodiment of the present invention.
  • FIG. 40 is a block diagram showing a configuration of the second similar case retrieval apparatus in the sixth embodiment of the present invention.
  • FIG. 41 is a diagram showing an example of interpretation item selection history information stored in the interpretation item selection history database according to the sixth embodiment of the present invention.
  • FIG. 42 is a block diagram showing another configuration of the similar case retrieval apparatus.
  • a similar case retrieval apparatus is based on a case database in which a plurality of case data including a medical image and an interpretation report, which is document data describing a result of interpretation of the medical image, is accumulated.
  • a similar case retrieval apparatus for retrieving case data including a medical image similar to a medical image, an image feature extraction unit for extracting a plurality of image feature amounts from an interpretation target image that is a medical image to be interpreted, and a medical image
  • An interpretation item that calculates the degree of fitness of each of the plurality of image feature amounts extracted by the image feature extraction unit based on first interpretation knowledge that is information indicating the existence range of values of A degree calculation unit, an interpretation item calculated by the interpretation item matching level calculation unit that is larger than a predetermined threshold, or an interpretation item candidate display unit that displays
  • Interprettation item is defined in this specification as “a character string that the interpretation doctor verbalizes the characteristics of the medical image to be interpreted”.
  • the terms used as interpretation items are almost limited depending on the medical imaging apparatus or target organ used. Examples of interpretation items include lobed, spiny, irregular, clear border, blurred outline, low density, high density, low absorption, high absorption, ground glass, calcification, mosaic, early dark stain, low echo, There is high echo, fluffing, etc. If the selected interpretation item is lobed / spine / irregular, the interpreter pays attention to the shape. If the selected interpretation item is low density / high density / low absorption / high absorption / ground glass, the interpreter It can be seen that the focus is on luminance.
  • the interpretation items are a common language when a doctor's interpretation report is created, the user of the similar case retrieval apparatus, that is, the interpreter, can easily understand the validity of the interpretation items estimated by the apparatus.
  • the interpretation item suitability calculation unit obtains, from the first interpretation knowledge, existence range information of values of all image feature amounts related to the interpretation item subject to adaptation calculation, and the image feature extraction unit The degree of coincidence between each image feature amount extracted by the acquired existence range information and the image feature amount having higher relevance between the target interpretation items based on the second interpretation knowledge
  • the image feature is integrated by increasing the weight for the degree of coincidence calculated for the image feature amount and integrating the plurality of coincidence degrees calculated for the plurality of image feature amounts extracted by the image feature extraction unit.
  • the degree of fitness of the plurality of image feature amounts extracted by the extraction unit with respect to the target interpretation item is calculated.
  • the interpretation item candidate display unit further selects an interpretation selected by the interpretation item selection unit based on co-occurrence probability information in which the degree of co-occurrence between interpretation items in an interpretation report attached to a medical image is predetermined.
  • co-occurrence probability information in which the degree of co-occurrence between interpretation items in an interpretation report attached to a medical image is predetermined.
  • interpretation items that are difficult to coexist can be transmitted to the user, and selection errors of the interpretation items by the user can be prevented.
  • the interpretation item candidate display unit further selects an interpretation selected by the interpretation item selection unit based on co-occurrence probability information in which the degree of co-occurrence between interpretation items in an interpretation report attached to a medical image is predetermined. Displays that an interpretation item whose co-occurrence probability with the item is a predetermined value or less cannot be selected.
  • the interpretation item candidate display unit further determines in advance a relationship between an interpretation item, which is a character string obtained by verbalizing the characteristics of a medical image, extracted from an interpretation report attached to the medical image, and a disease name. Based on the relevance information, the disease name having the highest relevance with the selected interpretation item is estimated, and the estimated disease name is displayed.
  • an interpretation item which is a character string obtained by verbalizing the characteristics of a medical image, extracted from an interpretation report attached to the medical image
  • a disease name Based on the relevance information, the disease name having the highest relevance with the selected interpretation item is estimated, and the estimated disease name is displayed.
  • a similar case retrieval apparatus provides an interpretation target from a case database in which a plurality of case data including a medical image and an interpretation report, which is document data describing a result of interpretation of the medical image, is accumulated.
  • a similar case retrieval apparatus for retrieving case data including a medical image similar to a medical image, an image feature extraction unit for extracting a plurality of image feature amounts from an image to be interpreted, which is a medical image to be interpreted, and a medical image Types of image feature amounts calculated based on a plurality of image feature amounts extracted from a medical image corresponding to an interpretation report including the interpretation items, for any interpretation item that is a character string in which the features of the interpretation are verbalized Interpretation for calculating the degree of fitness for each interpretation item of a plurality of image feature amounts extracted by the image feature extraction unit based on first interpretation knowledge that is information indicating the existence range of each value Extracted from the medical image, an eye suitability calculation unit, an interpretation item setting unit for setting an interpretation item having a fitness
  • the image interpretation item setting unit interprets an image having a fitness calculated by the image interpretation item fitness calculation unit based on history information of image interpretation items selected by the user in the past from a set of image interpretation items.
  • An interpretation item obtained by performing the same selection as the history information from among the items is set as an interpretation item used for similar case retrieval.
  • a similar case search can be performed using the same interpretation item as the interpretation item selected in the past by the user. Therefore, for example, a similar case search for a new image to be interpreted can be performed using the same interpretation item as the interpretation item previously selected by the skilled doctor.
  • FIG. 1 is a block diagram of a similar case retrieval apparatus according to Embodiment 1 of the present invention.
  • the similar case retrieval apparatus obtains a medical image similar to a medical image to be interpreted from a case database in which a plurality of case data including a medical image and an interpretation report that is document data describing a result of interpretation of the medical image is stored. Search for case data.
  • the similar case retrieval apparatus includes a case database 100, a first interpretation knowledge database 110, a second interpretation knowledge database 120, an interpretation target image reading unit 130, an interpretation target image display unit 140, and an image feature extraction unit 150.
  • An interpretation report input unit (not shown) is also included.
  • the case database 100 is a medical image such as CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) (in the present specification, “image data” is simply referred to as “image”) and the result of reading the medical image.
  • This is a database storing a plurality of case data (hereinafter simply referred to as “cases”) composed of pairs with interpretation reports.
  • the first interpretation knowledge database 110 and the second interpretation knowledge database 120 are databases storing interpretation knowledge obtained by analyzing a plurality of cases. Details will be described later.
  • the case database 100, the first interpretation knowledge database 110, and the second interpretation knowledge database 120 are stored in a storage device such as an HDD (Hard Disk Drive).
  • HDD Hard Disk Drive
  • the interpretation target image reading unit 130 reads an image captured by a medical image capturing apparatus such as CT or MRI from a medical image capturing apparatus or an externally connected storage device.
  • the image feature extraction unit 150 extracts a plurality of types of image feature amounts from the interpretation target image read by the interpretation target image reading unit 130.
  • the interpretation item matching degree calculation unit 160 calculates the current interpretation target image from the plurality of image feature amounts extracted by the image feature extraction unit 150 and the first interpretation knowledge stored in the first interpretation knowledge database 110. The degree of matching of each of the plurality of image feature amounts with respect to each interpretation item is calculated.
  • the interpretation item candidate display unit 170 is based on the respective degrees of conformity with respect to a plurality of interpretation items calculated by the interpretation item conformity calculation unit 160, or the interpretation items having a conformity greater than a predetermined threshold or those having a large conformance. A predetermined number of interpretation items are displayed as candidates for the user to select.
  • the user (interpreter) of the similar case retrieval apparatus is a doctor who performs interpretation such as a radiologist and a clinician. However, the user is not limited to these, and may be a person who does not have a doctor's license, such as a clinical laboratory technician or a medical student.
  • the interpretation item selection unit 180 accepts the user's selection result as an input from the interpretation items displayed on the interpretation item candidate display unit 170.
  • the weight determination unit 190 uses the image feature amount extracted by the image feature extraction unit 150 and the second interpretation knowledge stored in the second interpretation knowledge database 120 for a plurality of image feature amounts used in the image search. Each weight is determined.
  • the similar case search unit 200 weights a plurality of image feature amounts extracted by the image feature extraction unit 150 and a plurality of image feature amounts extracted from medical images included in cases registered in the case database 100.
  • a case including a medical image similar to the image to be interpreted is searched from the case database by weighting and comparing with the weight for each image feature amount determined by the determination unit 190.
  • the similar case display unit 210 displays the similar cases searched by the similar case search unit 200.
  • the similar case display unit 210 may be separately configured with the same model as the high-definition monitor that constitutes the interpretation target image display unit 140, and the similar target display unit 210 and the similar case are displayed on the high-definition monitor that constitutes the interpretation target image display unit 140. May be displayed simultaneously.
  • the similar case display unit 210 and the interpretation target image display unit 140 may be of different models.
  • An interpretation report input unit accepts an interpretation report input from the user. That is, the user inputs an interpretation report into an interpretation report input unit (not shown) while referring to the interpretation target image displayed on the interpretation target image display unit 140 and the similar case displayed on the similar case display unit 210. To do.
  • the interpretation report input unit is composed of a keyboard, a mouse, and the like.
  • the interpretation target image display unit 140, the interpretation item candidate display unit 170, the interpretation item selection unit 180, the similar case display unit 210, and the interpretation report input unit (not shown) constitute the interpretation terminal 220.
  • interpretation knowledge is created in advance and stored in the first interpretation knowledge database 110 and the second interpretation knowledge database 120.
  • the interpretation knowledge is created from a collection of a plurality of “cases” composed of a pair of a medical image and an interpretation report that is a result of interpretation of the medical image.
  • cases those stored in the case database 100 may be used, or cases stored in other databases may be used.
  • the required number of cases is sufficient to obtain some kind of law and knowledge using various data mining algorithms. Usually, hundreds to tens of thousands of data are used.
  • the first interpretation knowledge stored in the first interpretation knowledge database 110 for any interpretation item, a plurality of images extracted from the medical image corresponding to the interpretation report including the interpretation item.
  • Information indicating the existence range of values for each type of image feature amount calculated based on the feature amount is used. Further, as the second interpretation knowledge stored in the second interpretation knowledge database 120, the relationship between each image feature amount extracted from the medical image and each interpretation item extracted from the interpretation report for the medical image. That is, the correlation between the two terms (image feature amount ⁇ interpretation item) is used.
  • the “image feature amount” includes those related to the shape of an organ or a lesion in a medical image, or those related to a luminance distribution.
  • non-patent literature “Nemoto, Shimizu, Sugawara, Obata, Nawano,” Improvement of mass shadow discrimination accuracy on mammograms by feature selection from a large number of features and a fast feature selection method "Proposal of the Institute of Electronics, Information and Communication Engineers, D-II, Vol. J88-D-II, No. 2, pp. 416-426, February 2005” describes the use of 490 types of features. Yes. Also in the present embodiment, several tens to several hundreds of image feature amounts predetermined for each medical image capturing apparatus (modality) used for capturing a medical image or each target organ for interpretation are used.
  • one case is acquired from a database in which cases for obtaining interpretation knowledge are stored.
  • the total number of cases for obtaining interpretation knowledge is C.
  • One case is composed of a pair of a medical image and an interpretation report that is a result of interpretation of the medical image.
  • a medical image is acquired by a multi-slice CT apparatus
  • one case includes a large number of slice images.
  • a doctor interprets a multi-slice CT image one to several important slice images are attached to the interpretation report as key images.
  • a large number of slice image sets or several key images may be simply referred to as “medical images” or “images”.
  • step S11 an image feature amount is extracted from the medical image.
  • the process of step S11 will be described in detail using the flowchart of FIG.
  • step S111 the region of the target organ is extracted.
  • a liver region is extracted.
  • liver region extraction methods include, for example, non-patent literature: “Tanaka, Shimizu, Obata,“ Improvement of liver region extraction method considering concentration pattern of abnormal part ⁇ second report> ”, IEICE Technical Report, Medical Image, 104 (580), pp. 7-12, January 2005 ”can be used.
  • a lesion area is extracted from the organ area extracted in step S111.
  • a tumor region is extracted from the liver region.
  • Non-patent literature “Nakagawa, Shimizu, Hitosugi, Obata,“ Development of automatic extraction method of liver tumor shadow from 3D abdominal CT image ⁇ second report> ”, medical image, 102 (575), pp. 89-94, January 2003 ”can be used.
  • the number of tumors extracted from the image in the i-th case is Mi
  • the tumor can be specified by a set (i, j) of (case number, tumor number).
  • 1 ⁇ i ⁇ C and 1 ⁇ j ⁇ Mi In this embodiment, since a liver tumor is targeted as a lesion, it is called “tumor number”. However, it can also be called “lesion number” using a common expression in the present invention.
  • step S113 one region is selected from the lesion regions extracted in step S112.
  • step S114 an image feature amount is extracted from the lesion area selected in step S113.
  • non-patent literature “Nemoto, Shimizu, Sugawara, Obata, Nawano,“ Improved mass shadow discrimination accuracy on a mammogram by selecting features from a large number of features and high speed. 490 types of feature quantities described in “Proposal of a Feature Selection Method”, Journal of the Institute of Electronics, Information and Communication Engineers D-II, Vol. J88-D-II, No. 2, pp. 416-426, February 2005 Among them, some feature quantities applicable to the liver mass are selected and used. The number of feature quantities is NIF.
  • the feature amount extracted in this step can be specified by a set (i, j, k) of (case number, tumor number extracted from this case (medical image), feature amount number).
  • step S115 it is checked whether or not there is an unselected lesion among the lesion areas extracted in step S112. If there is an unselected lesion, the process returns to step S113 to select an unselected lesion area. Re-execute S114. If there is no unselected lesion, that is, if the feature amount selection in step S114 is performed for all the lesion areas extracted in step S112, the process of the flowchart of FIG. 3 is terminated and the process returns to the flowchart of FIG. .
  • an interpretation report analysis process is performed. Specifically, an interpretation item and a disease name are extracted from the interpretation report.
  • morphological analysis and syntax analysis are performed using an interpretation item word dictionary storing interpretation items and a disease name word dictionary storing disease names. Through these processes, a word that matches the word stored in each word dictionary is extracted.
  • FIG. 4 is an example of an interpretation report of an abdominal CT examination
  • FIG. 5 shows interpretation items and disease names extracted from the interpretation report of FIG.
  • a plurality of interpretation items and one disease name are extracted.
  • the interpretation items can be specified by a set (i, j) of (case number, interpretation item number).
  • i, j case number, interpretation item number
  • a character string representing the position of the lesion in the interpretation report and a character string representing the time phase may be extracted simultaneously.
  • the time phase will be supplemented.
  • a contrast examination in which a contrast medium is rapidly injected and images are taken over time is useful.
  • the contrast medium flows into the hepatic artery and the bloody tumor is densely stained.
  • the liver is imaged in the pulse phase, the equilibrium phase in which the contrast medium inside and outside the liver blood vessels reaches equilibrium, the late phase in which the contrast medium accumulates in the stroma of the liver, and the like.
  • FIG. 6 shows an example in which position and time phase information is extracted simultaneously with the interpretation items.
  • the interpretation report in FIG. 4 is analyzed, and “liver S3 area” is extracted as a position attribute of “early dark staining” from the phrase “early dark staining is recognized in liver S3 area”.
  • “late phase” is extracted as the time phase attribute of “washout” from the phrase “washed out in late phase”.
  • the time phase relating to “early dark dyeing” and the position relating to washout are blank as shown in FIG.
  • the prior knowledge that the interpretation item “early dark staining” is a word corresponding to the early phase is used, or the mass indicating the state of “early dark staining” is the same as the mass “washed out in the late phase” If the context interpretation of pointing to a mass of the subject can be performed, the extracted position and time phase information is as shown in FIG.
  • step S13 it is checked whether or not there is an unacquired case in the database storing cases for obtaining interpretation knowledge. If there is an unacquired case, the process returns to step S10 and an unacquired case is acquired. Steps S11 and S12 are executed. If there are no unacquired cases, that is, if image feature extraction in step S11 and report analysis in step S12 have been performed for all cases, the process proceeds to step S14.
  • the data set shown in FIG. 8 is acquired. That is, an image feature amount, an interpretation item, and a disease name are acquired for each case.
  • case number 1 M1 lesions are included in the medical image, and the number of image feature amounts extracted from each lesion is NIF.
  • the number of interpretation items in the interpretation report is N1.
  • the value of the first image feature value of the first lesion indicated by the lesion number (1, 1) is 0.851.
  • the value of the first interpretation item indicated by the interpretation item number (1, 1) is “early dark dyeing”.
  • each image feature amount is a numerical value of 0 or more and 1 or less, and the interpretation item and the disease name are character strings. An image feature value having a negative value or a value larger than 1 may be used.
  • data may be stored in the form of a predetermined word ID as an interpretation item and a disease name.
  • step S14 first interpretation knowledge is extracted from the image feature amount obtained in step S11 and the interpretation item obtained in step S12. The process of step S14 will be described in detail using the flowchart of FIG.
  • step S141 one interpretation item is selected from the data set of FIG. 8 obtained so far (immediately before S14).
  • the order of selection for example, the order of entries (interpretation item numbers) in the interpretation item word dictionary used in step S12 can be used.
  • the total number of interpretation item entries in the interpretation item word dictionary is NII.
  • the order of selection may be other methods such as the order of appearance in the data set of FIG. 8 or an arbitrary order.
  • step S142 a case including the interpretation item selected in step S141 in the interpretation report is selected from the data set of FIG. All types (NIF) of image feature amounts are acquired from all lesions included in the medical image of the selected case, and the acquired image feature amounts are stored in a storage area corresponding to the currently selected interpretation item.
  • NEF image feature amount
  • one case often includes a plurality of images and a plurality of lesions (tumors), and in that case, the interpretation report includes descriptions about the plurality of lesions.
  • CT imaging is performed at timings at a plurality of times (that is, a plurality of time phases) before and after the use of a contrast medium. Therefore, a plurality of sets of slice images are obtained, and one set of slice images includes a plurality of lesions (tumors), and a plurality of image feature amounts are extracted from one lesion.
  • FIG. 10 is a schematic diagram showing a state in which the image feature quantity vector corresponding to the currently selected interpretation item stored in step S142 is plotted in the NIF dimension feature quantity space.
  • One point on this space corresponds to one NIF-dimensional feature vector obtained from one lesion image (a partial image obtained by cutting out a lesion region from the original slice image).
  • step S143 the presence / absence of an interpretation item not yet selected is confirmed. If there is an interpretation item, the process returns to step S141. If not, the flowchart of FIG. 9 is terminated.
  • image feature quantity vector distributions corresponding to one interpretation item as shown in FIG. 10 are obtained for the number of interpretation items.
  • a distribution as shown in FIG. 10 is obtained for each of all entries (NII) in the interpretation item word dictionary. Let each of these distributions be the first interpretation knowledge.
  • Information about the obtained distribution, that is, the existence range of the feature value is stored in the first interpretation knowledge database 110 in the format shown in FIG.
  • FIG. 11 shows a state in which feature quantity vectors extracted from NFi lesion images (partial images obtained by cutting out lesion areas from the original slice images) are stored for NII interpretation items. Is shown.
  • the feature vector extracted from each lesion image is composed of NIF values (NIF dimensions), and the existence range of each value is [0, 1].
  • step S15 second interpretation knowledge is extracted from the image feature amount obtained in step S11, the interpretation item and disease name obtained in step S12.
  • the correlation between the two terms of the image feature quantity and the interpretation item is taken as interpretation knowledge.
  • the correlation ratio is an index representing a correlation between qualitative data and quantitative data, and is expressed by (Equation 1).
  • the j-th observed value that is “the average luminance value in the tumor in the early phase” of the tumor image extracted from the case that includes “early dark staining” in the interpretation report is assumed to be x1j. Further, the j-th observed value that is “the average luminance value in the tumor in the early phase” of the tumor image extracted from the case that does not include “early dark staining” in the interpretation report is assumed to be x2j. “Early dark staining” means that the CT value increases in the early phase of contrast, and in this case, the correlation ratio is expected to be large (close to 1).
  • the correlation between the interpretation item “early dark staining” and the image feature “mass area” is small (close to 0). It is expected that. In this way, the correlation ratio between all interpretation items and all image feature amounts is calculated.
  • FIG. 13 shows another conceptual diagram of the correlation (for example, correlation ratio) between the interpretation item and the image feature amount.
  • the correlation ratio is expressed in multiple values, and the thickness of the solid line between the interpretation item and the image feature amount corresponds to the magnitude of the correlation ratio.
  • “early dark staining” in which the CT value increases in the early phase of contrast and the luminance average inside the tumor in the early arterial phase (abbreviated as early phase or arterial phase) (in FIG. 13, “arterial phase luminance average”) (Abbreviation) is increased.
  • the correlation ratio By paying attention to the value of the correlation ratio, it is possible to specify an image feature amount having a high correlation with a certain interpretation item.
  • one case often includes a plurality of images and a plurality of lesions (mass), and in that case, the interpretation report includes descriptions about the plurality of lesions.
  • CT imaging is performed at a timing at a plurality of times before or after using a contrast medium. Therefore, a plurality of sets of slice images are obtained, and one set of slice images includes a plurality of lesions (tumors), and a plurality of image feature amounts are extracted from one lesion.
  • image feature amounts are obtained as many as (number of slice image sets) ⁇ (number of lesions detected from one patient) ⁇ (number of types of image feature amounts). It is necessary to obtain a correlation with a plurality of interpretation items and disease names extracted from the interpretation report. Of course, there is a possibility that correspondence can be obtained correctly by using a large number of cases, but the description of the interpretation report and the corresponding image feature amount are used to some extent by using the lesion position and time phase as shown in FIG. If the correspondence can be made in advance, the correlation can be obtained more accurately.
  • synonyms such as “low density”, “low luminance”, “low absorption”, a synonym dictionary is created in advance, and these are treated as the same interpretation item.
  • FIG. 14 shows a conceptual diagram of a correlation (for example, a correlation ratio) between a disease name and an image feature amount.
  • the correlation is expressed in binary as in FIG. 12, but it is of course possible to perform multi-value expression as shown in FIG.
  • the log-likelihood ratio can be regarded as a co-occurrence index taking into account events X and Y and rejection events ⁇ X and ⁇ Y.
  • connection and ⁇ coefficient may be used instead of the log likelihood ratio.
  • the connection and ⁇ coefficient are described in documents related to the association rule analysis (for example, non-patent document: “Data Mining and its application”, Kato / Hamuro / Yada co-author, Asakura Shoten).
  • This degree of support means the probability (co-occurrence probability) that the interpretation item X and the disease name Y appear simultaneously in all cases. If the interpretation item X and the disease name Y appear simultaneously in many interpretation reports, it is considered that the relationship (correlation) between the interpretation item X and the disease name Y is strong.
  • the certainty factor is the probability that an item in the conclusion part Y will appear when the condition item X appears as a condition. If many disease names Y appear in an interpretation report in which the interpretation item X appears, it is considered that the relationship between the interpretation item X and the disease name Y is strong.
  • the lift value refers to the appearance probability (that is, the certainty factor) of the disease name Y when the interpretation item X appears as a condition, compared to the appearance probability of the disease name Y when the interpretation item X does not appear as a condition. It is an indicator that shows how much it has risen.
  • a lift value of 1.0 means that the appearance probability of the disease name Y does not change even if the interpretation item X does not appear, and the rule (interpretation item X ⁇ disease name Y) is not interesting. I think. This means that the appearance of the interpretation item X and the appearance of the disease name Y are statistically independent. As the lift value is larger than 1.0 and the value is larger, it is regarded as an interesting rule. That is, it is considered that the correlation between the interpretation item X and the disease name Y is large.
  • FIG. 15 shows a conceptual diagram of a correlation (for example, log likelihood ratio) between an interpretation item and a disease name.
  • the correlation is expressed in binary as in FIG. 12, but it is of course possible to perform multi-value expression as shown in FIG.
  • the similar case search screen example shown in FIG. 20 includes an interpretation target image display unit 140, an interpretation item candidate display unit 170, an interpretation item selection unit 180, a similar case display unit 210, and an interpretation report input unit (not shown in FIG. 1). ) Is an example of a screen of the image interpretation terminal 220 configured.
  • step S31 designation of a target lesion for which a similar case search is to be performed is accepted from the radiogram interpreter.
  • the designation is performed by clicking on the lesion using the mouse on the screen (interpretation target image 300) of the interpretation target image display unit 140.
  • Explain the designation of this lesion.
  • a designation method one point near the center of the lesion may be designated, or a lesion area (contour line) may be designated.
  • a detailed lesion area is set using the same method as in step S112 from the neighboring area with the designated point as a reference.
  • a detailed lesion area is set from this area by using the same method as in step S112.
  • An image to be interpreted 400 shown in FIG. 21 includes a periphery 410 of the abdomen, a target organ (here, liver) 420, and a lesion area 430.
  • a target organ here, liver
  • a lesion area 430 When specifying the coordinates, for example, the vicinity of the center of the tumor (point 440 in FIG. 21) is clicked with the mouse.
  • an area a method of surrounding the lesion area 430 in FIG. 21 with a rectangle, circle, or ellipse, or between a lesion area (lesion area 430 in FIG. 21) and a normal tissue (outside the lesion area 430 in FIG. 21). There is a way to specify the boundary with a free curve.
  • step S112 When only the center coordinates are specified, or when an area is specified by surrounding it with a rectangle, circle, ellipse, etc., there is an advantage that the burden on the interpreter is small. It is necessary to automatically extract a lesion area by an image processing algorithm. For the extraction of the tumor region, the same technique as in step S112 can be used.
  • step S32 the image feature extraction unit 150 extracts an image feature amount from the lesion area specified or extracted in step S31 for the image to be interpreted. If there are a plurality of designated or extracted lesion areas, NIF feature quantities determined in advance are extracted for all of them.
  • the image feature extraction method is the same as that in step S114.
  • step S33 the interpretation item fitness calculation unit 160 calculates the fitness for all (NII) interpretation items using the feature amount extracted in step S32.
  • FIG. 10 is a distribution of image feature quantity vectors extracted from cases including a certain interpretation item in the interpretation report.
  • the interpretation item may be applied to the current interpretation target image. I think it is expensive.
  • the interpretation item suitability calculation unit 160 image feature amount-interpretation item in the second interpretation knowledge database 120.
  • the fitness is calculated using the reciprocal of (Equation 6).
  • the smaller the correlation the smaller the influence of the image feature amount on that dimension on the fitness, and the smaller dimension image having the correlation with the interpretation item i. It is possible to calculate the degree of fitness with reduced influence of the feature amount.
  • binarized correlation is used as the weight wj, an unnecessary dimension of the image feature amount is determined by the interpretation item. If the second interpretation knowledge has been calculated before the calculation of the first interpretation knowledge, an image feature amount of an unnecessary dimension (shaded portion in the figure) in the form as shown in FIG. 22 is used as the first interpretation knowledge. By excluding and storing in advance, the storage capacity of the first interpretation knowledge can be reduced. In FIG. 22, unnecessary dimension image feature values are hatched.
  • the obtained parameters are stored in the first interpretation knowledge database 110 as the first interpretation knowledge in the format shown in FIG.
  • the total number of dimensions of the image feature amount is different for each interpretation item (for example, the interpretation item 1 has NIF 1 ′ dimension, while the interpretation item 2 has NIF 2 ′ dimension) as shown in FIG. This is because unnecessary dimensions are excluded for each interpretation item.
  • dim-dimensional variables of the same (p 1 , p 2 ,..., P dim ) are used for convenience as all the distribution parameters.
  • the number of normal distributions is different. That is, the value of the total number of parameters dim is also different for each.
  • step S34 an interpretation item having a high fitness level among the fitness levels for the NII interpretation items calculated in step S33 is displayed on the interpretation item candidate display unit 170.
  • an interpretation item with a high degree of matching is displayed in the format as shown in FIG.
  • FIG. 25 among the NII interpretation items in total, the interpretation items having a high degree of fitness with the current image to be interpreted are displayed in descending order of the fitness.
  • the number to be displayed may be a predetermined number, or may be a number whose fitness is equal to or greater than a threshold value. Further, a format in which the radiogram reader sets the number to be displayed may be used.
  • the value of the fitness level may be displayed simultaneously with the interpretation item having a high fitness level.
  • the fitness value By displaying the fitness value at the same time, it is possible to provide additional information for assisting the reader in determining the selection of the interpretation item (for example, in FIG. 27, the fitness of the interpretation item “ring” is different). It can be seen that it is smaller than these three.
  • the character or background color or brightness may be changed for display. Further, as shown in FIG. 28, it may be illustrated by a bar graph or the like.
  • Step S35 the selection input of the interpreter is accepted through the interpretation item selection unit 180 for the interpretation item candidate displayed in Step S34.
  • the interpretation item selected by the interpreter is used as a similarity scale (viewpoint) when searching for similar cases.
  • the interpreter is caused to select and input the interpretation item by clicking the character string of the interpretation item with the mouse.
  • An example of the selected interpretation item is shown in FIG. In FIG. 29, the selected interpretation item “early dark dyeing” is shown in black and white reversed display.
  • the interpreter may select an interpretation item using a keyboard such as a direction key or an Enter key.
  • step S36 the weight determination unit 190 determines a weight for performing a weighted search on the image feature amount using the interpretation item selected in step S35.
  • the weight determination unit 190 refers to the correlation table between (image feature amount ⁇ interpretation item) stored in the interpretation knowledge database 110 in the format of FIG. 16, and correlates between “early dark staining” and all image feature amounts.
  • the relationship and the correlation between “washout” and all image feature quantities are acquired.
  • numerical values (correlation ratios) representing the acquired correlation are used as weights as they are, and are represented as wa, i, wb, and i, respectively.
  • i is a subscript indicating the type of the image feature amount.
  • a weight Wi corresponding to the i-th image feature amount is calculated as in (Equation 8).
  • the weight for the fourth image feature amount “edge strength” is a value wa, 4 indicating a correlation between (early darkening ⁇ edge strength) and a value wb indicating a correlation between (washout ⁇ edge strength).
  • wa a value indicating a correlation between (early darkening ⁇ edge strength)
  • wb a correlation between (washout ⁇ edge strength).
  • the weight considering the interpretation item focused on by the interpreter and the relevance between the interpretation item and the image feature amount can be calculated, and as a result, similar case search can be performed with emphasis on them. However, when there are a plurality of selected interpretation items, they are treated equally, and no differentiation is made among the interpretation items.
  • weighting can be applied to the interpretation items by using the fitness for the interpretation item “early darkening” as wx and the fitness for the interpretation item “washout” as wy.
  • the interpreter may be allowed to set a weight for each selected interpretation item.
  • FIG. 31 is an example of a screen for causing the radiogram reader to set a weight using a slide bar. Slide bars are displayed to the right of the selected “early dark dyeing” and “washout”, respectively. The image interpreter changes the weight by sliding the knob of the slide bar left and right with the mouse.
  • step S37 the similar case search unit 200 searches for a similar case from the case database 100 using the image feature amount extracted in step S32 and the weight determined in step S36.
  • the retrieved similar cases are displayed in the similar case display unit 210 (similar case display area 330 on the screen).
  • the similar case search unit 200 calculates a weighted distance between the image feature amount extracted from the medical image included in the case stored in the case database 100 and the image feature amount extracted from the interpretation target image.
  • the similar case search unit 200 searches the case database 100 for cases whose weighted distance is smaller than a predetermined threshold as similar cases.
  • the similar case search unit 200 searches the case database 100 as a similar case for a predetermined number of cases having a small weighting distance.
  • the weighted distance can be calculated by (Equation 6), for example.
  • x is a vector in which a plurality of (NIF) image feature amounts extracted from the image to be interpreted are all connected.
  • ui is an image feature amount extracted from the i-th case among cases stored in the case database 100.
  • the weighted distance calculation is performed by similar case search based on the interpretation items selected by the interpreter. That is, the weight is relatively large for the image feature amount having a large correlation with the selected interpretation item, and the weight is relatively small for the image feature amount having a small correlation. As a result, a similar case search that reflects the point of interest of the image interpreter can be performed.
  • the radiogram interpreter inputs an interpretation report through the interpretation report input area 320.
  • a plurality of slice images of a plane (axial view) perpendicular to the body axis are usually obtained by reconstruction.
  • the radiogram interpreter checks the presence or absence of a lesion (hepatic mass in this embodiment) while changing the slice position, and inputs an interpretation report for these slice images.
  • the interpreter may specify the position of the lesion detected in the interpretation target image (slice number and coordinates or area information on the slice image) with an input device such as a mouse.
  • the processing unit for accepting the similar case search request and the interpretation end input is not shown in FIG. 1, but may be a physical switch built in the keyboard of the interpretation terminal 220 or the like, or a high-definition medical grade A GUI menu or the like displayed on the image interpretation target image display unit 140 configured by a monitor or the like may be used.
  • the interpretation items are estimated from the feature amount extracted from the interpretation target image, and the interpretation items estimated for the interpreter are displayed in descending order of the fitness. This facilitates the determination of the interpretation item selection by the interpreter.
  • the dimension of the image feature amount having a small correlation has less influence on the fitness level, and the feature has no relation to the interpretation item. The effect of quantity can be reduced and the goodness of fit can be calculated. Further, by displaying the value of the fitness level at the same time as the interpretation items having a high fitness level, it is possible to provide additional information for assisting the interpreter in determining the interpretation items.
  • FIG. 1 The block diagram of the similar case retrieval apparatus in the second embodiment of the present invention is FIG. However, it differs from FIG. 1 in that the interpretation item candidate display unit 170 is connected to the second interpretation knowledge database 120.
  • step S15 second interpretation knowledge is extracted from the image feature amount obtained in step S11, the interpretation item and disease name obtained in step S12.
  • the interpretation feature knowledge is a combination of the correlation between the two terms of the image feature quantity and the interpretation item and the correlation between the interpretation items. About the former, since it is the same as that of Embodiment 1, description is not repeated.
  • Step S35 the selection input of the interpreter is accepted through the interpretation item selection unit 180 for the interpretation item candidate displayed in Step S34.
  • the interpretation item selected by the interpreter is used as a similarity scale (viewpoint) when searching for similar cases.
  • the interpretation item candidate display / selection area 310 on the screen an interpretation item with a high degree of fitness is displayed in the format shown in FIG.
  • the interpreter is caused to select and input the interpretation item by clicking the character string of the interpretation item with the mouse.
  • An example of the selected interpretation item is shown in FIG. In FIG. 33, the selected interpretation items “early dark dyeing” and “washout” are shown in black and white reversed display.
  • the interpretation item candidate display unit 170 lists combinations among all the interpretation items. If (If the selected radiology item 1 This process is not required.) The selected interpretation field is the S, the combination is 2 ways S C. Then, the image interpretation item candidate display unit 170 refers to the correlation table of interpretation items each other Figure 32, to obtain the correlation, respectively (log-likelihood ratio of co-occurrence information) for the combination of two different S C. If the acquired correlation value is equal to or less than a predetermined threshold, the interpretation item candidate display unit 170 indicates that the combination of interpretation items is “possibility of selection error” as a combination with a low frequency in the past. Display it to the reader. For example, as shown in FIG. 34, “confirmation required” is displayed next to the selected interpretation item (black and white inversion).
  • the image interpreter can grasp that the combination of the interpretation items selected by himself / herself with the current medical image to be interpreted is a combination with a low frequency of occurrence in the past. Thereby, the image interpreter can determine that these combinations are possible combinations of selection errors, and can provide the reader with a chance to review the selection result.
  • Embodiment 3 Next, a third embodiment will be described.
  • the difference from Embodiment 1 is that when the second interpretation knowledge database 120 is created in advance, the correlation between the interpretation items (co-occurrence relationship) is also calculated at the same time. This is that the interpretation items with low occurrence frequency are set in advance so that they cannot be selected.
  • the difference from the first embodiment will be mainly described.
  • FIG. 1 The block diagram of the similar case retrieval apparatus in the third embodiment of the present invention is FIG.
  • Step S35 the selection input of the interpreter is accepted through the interpretation item selection unit 180 for the interpretation item candidate displayed in Step S34.
  • the interpretation item selected by the interpreter is used as a similarity scale (viewpoint) when searching for similar cases.
  • the interpretation item candidate display / selection area 310 on the screen an interpretation item with a high degree of fitness is displayed in the format shown in FIG.
  • the interpreter is caused to select and input the interpretation item by clicking the character string of the interpretation item with the mouse.
  • the interpretation item candidate display unit 170 refers to the correlation table between the interpretation items in FIG. 32, and the correlation (co-occurrence) is selected for the selected interpretation item.
  • An interpretation item is determined such that the value of the log likelihood ratio of the information is a predetermined threshold value or less.
  • the interpretation item candidate display unit 170 displays that the determined interpretation item cannot be selected. For example, in FIG. 35, the selected interpretation item “early dark dyeing” is displayed in black and white inversion, whereas the interpretation item “stained glass” can be shaded. This indicates that when the interpretation item “early dark dyeing” is selected, the interpretation item “ground glass” cannot be selected.
  • the display method of the non-selectable interpretation items may be another display method such as lowering the character density.
  • the image reader clicks to select the image interpretation item “stained glass” a message such as “the combination with the image interpretation item“ early dark dye ”is inappropriate” can be displayed.
  • the interpretation item “ground glass” can be selected by canceling the selection of the interpretation item “early dark staining”.
  • FIG. 1 The block diagram of the similar case retrieval apparatus in the third embodiment of the present invention is FIG. However, it differs from FIG. 1 in that the interpretation item candidate display unit 170 is connected to the second interpretation knowledge database 120.
  • step S15 second interpretation knowledge (relevance information in the claims) is extracted from the image feature amount obtained in step S11, the interpretation item and disease name obtained in step S12.
  • the two interpretations are the combination of the correlation between the two terms of the image feature quantity and the interpretation item and the correlation between the interpretation item and the two terms of the disease name.
  • the former since it is the same as that of Embodiment 1, description is not repeated.
  • Step S35 the selection input of the interpreter is accepted through the interpretation item selection unit 180 for the interpretation item candidate displayed in Step S34.
  • the interpretation item selected by the interpreter is used as a similarity scale (viewpoint) when searching for similar cases.
  • the interpretation item candidate display / selection area 310 on the screen an interpretation item with a high degree of fitness is displayed in the format shown in FIG.
  • the interpreter is caused to select and input the interpretation item by clicking the character string of the interpretation item with the mouse.
  • An example of the selected interpretation item is shown in FIG. In FIG. 33, the selected interpretation items “early dark dyeing” and “washout” are shown in black and white reversed display.
  • FIG. 37 shows a block diagram of the similar case retrieval apparatus in the fifth embodiment of the present invention.
  • the similar case search apparatus according to Embodiment 5 further includes an interpretation item setting unit 230.
  • the interpretation item setting unit 230 sets the interpretation items used for the similar case search using the adaptations for all the interpretation items calculated by the interpretation item fitness calculation unit 160 as input.
  • the weight determination unit 190 calculates the weight for the image feature amount at the time of similar case search based on the interpretation items set by the interpretation item setting unit 230.
  • interpretation terminal 220A is used instead of the interpretation terminal 220.
  • Interpretation terminal 220 ⁇ / b> A includes an interpretation target image display unit 140 and a similar case display unit 210.
  • FIG. 38 shows a similar case search flow of the similar case search apparatus in the fifth embodiment of the present invention. Since the operations from S30 to S33 are the same as those in the first embodiment, description thereof will not be repeated.
  • step S34B the interpretation item setting unit 230 sets an interpretation item as a basis for calculating a weight to the image feature amount at the time of similar case search out of the fitness for the NII interpretation items calculated in step S33.
  • the interpretation item setting unit 230 performs the selection by selecting an interpretation item having a fitness level equal to or greater than a predetermined threshold. Note that a predetermined number of interpretation items may be set by selection in descending order of suitability.
  • the interpretation items set in step S34B may be displayed in a format as shown in FIG. 25 to indicate to the interpreter which interpretation item is currently focused on and similar case search is being performed. Further, the degree of conformity may also be presented as shown in FIG. Furthermore, the second similar case search may be executed with reference to the current similar case search result by causing the image interpreter to select the presented interpretation item.
  • Embodiment 6 Next, a sixth embodiment will be described.
  • the difference from the fifth embodiment is not to automatically set the interpretation item based on the fitness, but to set the interpretation item using the selection history information of the interpretation item.
  • Embodiments 1 and 5 will be mainly described.
  • FIG. 39 and FIG. 40 show block diagrams of the similar case retrieval apparatus in the sixth embodiment of the present invention.
  • the description of the same components as those of the similar case retrieval apparatus shown in FIGS. 1 and 37 will not be repeated.
  • the similar case search apparatus shown in FIG. 39 is used when creating selection history information of interpretation items.
  • the similar case search apparatus shown in FIG. 40 is used when automatically setting an interpretation item using selection history information of the interpretation item and performing a similar case search.
  • the similar case search device shown in FIG. 39 is called a first similar case search device
  • the similar case search device shown in FIG. 40 is called a second similar case search device.
  • the interpretation item suitability calculation unit 160 writes the interpretation items displayed by the interpretation item candidate display unit 170 having a high fitness and the ranking of the suitability in the interpretation item selection history database 510. Further, the interpretation item selection unit 180 writes information on the selected interpretation item into the interpretation item selection history database 510.
  • FIG. 41 is a diagram showing an example of the interpretation item selection history information stored in the interpretation item selection history database 510.
  • the selection history information is a selection indicating the interpretation items displayed by the interpretation item candidate display unit 170, the ranking of the fitness calculated by the interpretation item fitness calculation unit 160, and whether or not the interpretation item selection unit 180 has received a selection input. Including flags. When the selection flag is 1, it indicates that the interpretation item selection unit 180 has accepted the selection input of the interpretation item. When the selection flag is 0, the interpretation item selection unit 180 inputs the selection input of the selection item. Indicates that it is not accepted.
  • FIG. 41 shows selection history information when the interpretation items shown in FIG. 33 are displayed and the interpretation items “early darkening” and “washout” are selected.
  • the interpretation item setting unit 230 refers to the interpretation item selection history database 510, and the interpretation item calculated by the interpretation item suitability calculation unit 160 is an interpretation item having a conformity greater than or equal to a predetermined threshold or a predetermined number of items in descending order of conformity. An interpretation item used for similar case retrieval is set from the interpretation items. Details of processing of the interpretation item setting unit 230 will be described later.
  • step S33 the interpretation item matching level calculation unit 160 displays the interpretation item selection history database that has a certain number of interpretation items in which the matching level is greater than or equal to a predetermined threshold or the order of the matching level in descending order. Write to 510.
  • the similar case search flow of the second similar case search apparatus in the sixth embodiment of the present invention is FIG. 38 as in the fifth embodiment.
  • the interpretation item setting process in S34B is different from that of the fifth embodiment.
  • the interpretation item setting unit 230 refers to the interpretation item selection history database 510, and the interpretation item calculated by the interpretation item relevance calculation unit 160 has a relevance level equal to or higher than a predetermined threshold or a relevance level.
  • An interpretation item used for similar case retrieval is set from a predetermined number of interpretation items in descending order. That is, the interpretation item setting unit 230 stores selection history information having the same combination of interpretation items as a predetermined number of interpretation items in the descending order of the conformance level or the interpretation items having a conformity level equal to or greater than a predetermined threshold in the interpretation item selection history database 510. Search from inside. The interpretation item setting unit 230 sets by selecting the same interpretation item as indicated by the retrieved selection history information.
  • the calculation unit 160 sets by selecting the interpretation items “early darkening” and “washout” by referring to the selection history information shown in FIG.
  • the selection history information with the highest selection history frequency is used. Then, the interpretation items can be selected and set.
  • the sixth embodiment it is possible to execute a similar case search in which the weight for the image feature amount is optimized according to the contents of the current image to be interpreted without the image interpreter selecting an image interpretation item.
  • the interpretation items set in step S34B may be displayed in a format as shown in FIG. 25 to indicate to the interpreter which interpretation item is currently focused on and similar case search is being performed. Further, the degree of conformity may also be presented as shown in FIG. Furthermore, the second similar case search may be executed with reference to the current similar case search result by causing the image interpreter to select the presented interpretation item.
  • the search target of the present invention is not limited to a case. It is also possible to search for a data set consisting of For example, a data set including a plant image and a description of the plant image can be set as a search target.
  • the image feature amount of the plant image (for example, the number of petals, the thickness of the stem, etc.) is used instead of the image feature amount of the medical image, and the description of the plant image is used instead of the interpretation report. It is possible to search for a plant image after reflecting the image feature amount focused on by the image interpreter when creating the description as a weight.
  • the case database 100, the first interpretation knowledge database 110, and the second interpretation knowledge database 120 are not necessarily provided in the similar case retrieval device, and there is a similar case retrieval device.
  • the location B may be different from the location A.
  • the interpretation item matching degree calculation unit 160, the weight determination unit 190, and the similar case retrieval unit 200 of the similar case retrieval apparatus respectively transmit the case database 100, the first interpretation knowledge database 110, and the second interpretation via a network.
  • the interpretation item selection history database 510 shown in FIGS. 39 and 40 may not necessarily be provided in the similar case search device, and is different from the place where the similar case search device exists. It may be provided at the place.
  • each of the above devices may be specifically configured as a computer system including a microprocessor, ROM, RAM, hard disk drive, display unit, keyboard, mouse, and the like.
  • a computer program is stored in the RAM or hard disk drive.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • Case Database 110 First Interpretation Knowledge Database 120 Second Interpretation Knowledge Database 130 Interpretation Target Image Reading Unit 140 Interpretation Target Image Display Unit 150 Image Feature Extraction Unit 160 Interpretation Item Suitability Calculation Unit 170 Interpretation Item Candidate Display Unit 180 Interpretation Item Selection unit 190 Weight determination unit 200 Similar case search unit 210 Similar case display unit 220, 220A Interpretation terminal 230 Interpretation item setting unit 300 Interpretation target image 310 Interpretation item candidate display / selection region 320 Interpretation report input region 330 Similar case display region 410 Abdomen Around 420 Target organ 430 Lesions 440 points (center of lesion) 510 Interpretation Item Selection History Database

Abstract

 類似症例検索装置は、読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部(150)と、各読影項目に対する画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部(160)と、適合度が大きい読影項目を表示する読影項目候補表示部(170)と、読影項目を選択させる読影項目選択部(180)と、各画像特徴量と各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、抽出した画像特徴量ごとに、当該画像特徴量と選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部(190)と、抽出された複数の画像特徴量と、症例データに含まれる医用画像から抽出される複数の画像特徴量とを、画像特徴量毎の重みで重み付けして比較することにより、症例データを検索する類似症例検索部(200)とを備える。

Description

類似症例検索装置および類似症例検索方法
 本発明は、医用画像の読影に参考となる類似症例を検索するための類似症例検索装置および類似症例検索方法に関する。
 近年、CT(Computed Tomography)、MRI(Magnetic Resonance Imaging)等の医用画像装置の発達および普及によりデジタル化された高精細な医用画像が大容量で取得可能になっている。また、医師により読影済の医用画像は読影レポートと共にPACS(Picture Archiving and Communication Systems)に順次蓄積されつつある。ここで、新たな読影の参考とするため、読影対象の医用画像と類似した過去の医用画像を、蓄積済の過去症例から検索する技術が開発され始めている。
 類似画像検索では、画像間の類似度を決定する画像特徴量を、検索対象画像に応じて最適化することが重要である。従来は、類似画像検索を行う対象の臓器毎に画像特徴量が設計されることが多く、臓器以外の概念レベル(例えば、疾病の種類、疾病の進行度、または疾病の重症度、等)に対しては、同一の画像特徴量を類似画像検索に使用することが殆どであった。
 検索に使用する画像特徴量を、臓器以外の概念レベルに対して動的に変更する類似画像検索法として次の技術が開示されている。
 非特許文献1は、解決手段として、“customized-queries” approach(CQA)という2ステップの検索法を提案している。これは、第一ステップにて、疾病の種類、疾病の進行度または疾病の重症度、等のクラスを最も良好に分類できる画像特徴量を用いて、クエリ画像を分類する。第二ステップにて、分類結果となったクラスに含まれる症例をさらに細分類するために最適化された画像特徴量を用いて、類似画像を検索する。このとき、クラス毎に最適な画像特徴量は教師なし学習(unsupervised learning)により事前に求めておく。また、同文献では、CQAを肺CT画像に対して適用し、従来の1組の画像特徴量を用いた類似画像検索よりも、検索再現率を向上させている。
Jennifer G.Dy et al. "Unsupervised Feature Selection Applied to Content-based Retrieval of Lung Images", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.25, no.3, March 2003
 しかしながら、前記従来の構成では、識別された疾病の種類、疾病の進行度または疾病の重症度、等により画像特徴量(即ち、類似基準)が決定され、決定された画像特徴量を用いて類似画像が検索されるだけであり、読影対象の医用画像に対する読影者の「着目点」を反映した類似画像検索にはなっていない。画像の類似性を決定する指標(着目点)は、特定の画像に対してであっても、形状、輝度、全体領域、部分領域、など様々である。どの指標で“類似”した画像を検索したいのかは、類似画像検索を行うユーザ本人にしか分からない。
 即ち、医用画像検索であれば、識別された疾病の種類、疾病の進行度または疾病の重症度、等により予め最適化しておいた画像特徴量で検索しても、その検索結果が、読影者が下した診断の裏づけや読影者が迷っている診断への補助になりにくいという課題を有している。
 本発明は、前記従来の課題を解決するもので、読影者の着目点を類似画像検索に反映させた類似症例検索装置を提供することを目的とする。
 本発明のある局面に係る類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、前記読影項目適合度算出部が算出した適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示部と、ユーザに、前記読影項目候補表示部が表示した読影項目の中から、読影項目を選択させる読影項目選択部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目選択部で選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
 この構成によると、医用画像または読影対象画像から抽出される各画像特徴量を基に各「読影項目」への適合度を計算することにより、読影対象画像の特徴が疾病の単位より詳細なレベルの「読影項目」に変換され、以後の類似症例検索処理にて、疾病単位よりも詳細なレベルでの検索用画像特徴量の最適化が可能になる。
 「読影項目」とは、本明細書では、「読影医が、読影対象の医用画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。読影項目の例として、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。選択された読影項目が、分葉状/棘状/不整形であれば、読影者が形状に関して着目しており、低濃度/高濃度/低吸収/高吸収/スリガラス状であれば、読影者が輝度に関して着目していることが分かる。
 同時に、読影項目は医師の読影レポート作成時の共通言語であるため、類似症例検索装置のユーザ、即ち、読影者が本装置により推定された読影項目の妥当性を容易に理解できる。
 また、適合度の大きい読影項目を表示することにより、多数ある読影項目のうち、読影対象画像から抽出した画像特徴量に関係するものを厳選して表示するので、類似症例検索装置のユーザにとって、読影項目の把握および選択が容易になる。
 以上より、類似症例検索装置のユーザ、即ち、読影者の着目点を反映した類似症例検索を行うことができる。
 なお、本発明は、このような特徴的な処理部を備える類似症例検索装置として実現することができるだけでなく、類似症例検索装置に含まれる特徴的な処理部が実行する処理をステップとする類似症例検索方法として実現することができる。また、類似症例検索装置に含まれる特徴的な処理部としてコンピュータを機能させるためのプログラムまたは類似症例検索方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、CD-ROM(Compact Disc-Read Only Memory)等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
 本発明の類似症例検索装置によれば、読影者の着目点を類似画像検索に反映させた類似症例検索装置を提供することができる。
図1は、本発明の実施の形態1における類似症例検索装置の構成を示すブロック図である。 図2は、本発明の実施の形態1における読影知識作成の手順を示すフローチャートである。 図3は、本発明の実施の形態1における画像特徴量抽出の手順を示すフローチャートである。 図4は、本発明の実施の形態1における腹部CT検査の読影レポートの例を示す図である。 図5は、本発明の実施の形態1における読影レポートから抽出された読影項目および疾病名を示す図である。 図6は、本発明の実施の形態1における読影レポートから抽出された読影項目および疾病名、ならびに、読影項目と同時に抽出された位置と時相の情報を示す図である。 図7は、本発明の実施の形態1における読影レポートから抽出された読影項目および疾病名、ならびに、文脈解釈を行って読影項目と同時に抽出された位置と時相の情報を示す図である。 図8は、本発明の実施の形態1における、読影知識抽出のために取得したデータ一式を示す図である。 図9は、本発明の実施の形態1における第一の読影知識の作成手順を示すフローチャートである。 図10は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量ベクトルの分布を示す図である。 図11は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図12は、本発明の実施の形態1における、読影項目と画像特徴量との間の相関関係(二値)の概念図である。 図13は、本発明の実施の形態1における、読影項目と画像特徴量との間の相関関係(多値)の概念図である。 図14は、本発明の実施の形態1における、疾病名と画像特徴量との間の相関関係(二値)の概念図である。 図15は、本発明の実施の形態1における、読影項目と疾病名との間の相関関係(二値)の概念図である。 図16は、本発明の実施の形態1における、読影知識として抽出した(画像特徴量-読影項目)間の相関関係の格納形式を示す図である。 図17は、本発明の実施の形態1における、読影知識として抽出した(画像特徴量-疾病名)間の相関関係の格納形式を示す図である。 図18は、本発明の実施の形態1における、読影知識として抽出した(読影項目-疾病名)間の相関関係の格納形式を示す図である。 図19は、本発明の実施の形態1における類似症例検索の手順を示すフローチャートである。 図20は、本発明の実施の形態1における、類似症例検索画面の一例を示す図である。 図21は、本発明の実施の形態1における、病変位置または領域の指定について説明するための図である。 図22は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図23は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図24は、本発明の実施の形態1における第一の読影知識である、ある読影項目に対応する画像特徴量の分布情報の格納形式を示す図である。 図25は、本発明の実施の形態1において、適合度が高いと判断された読影項目の表示形式を示す図である。 図26は、本発明の実施の形態1において、適合度が高いと判断された読影項目を画像毎に表示した場合の表示形式を示す図である。 図27は、本発明の実施の形態1における、適合度が高いと判断された読影項目と、その適合度とを同時に表示した場合の表示形式を示す図である。 図28は、本発明の実施の形態1における、適合度が高いと判断された読影項目と、その適合度とを同時に表示した場合の表示形式を示す図である。 図29は、本発明の実施の形態1における、読影者に選択された読影項目の表示形式を示す図である。 図30は、本発明の実施の形態1における類似症例検索時の重み付け方法を示す図である。 図31は、本発明の実施の形態1における類似症例検索時に、スライドバーにより、読影項目間の重みをユーザに設定させる画面の例を示す図である。 図32は、本発明の実施の形態2における、読影知識として抽出した読影項目同士の相関関係の格納形式を示す図である。 図33は、本発明の実施の形態2における、選択された読影項目の表示形式を示す図である。 図34は、本発明の実施の形態2における、選択された読影項目に対し、選択誤りの可能性を表示する場合の表示形式を示す図である。 図35は、本発明の実施の形態3において、選択された読影項目と選択不可能な読影項目との表示形式を示す図である。 図36は、本発明の実施の形態4において、選択された読影項目から推定された疾病名の表示形式を示す図である。 図37は、本発明の実施の形態5における類似症例検索装置の構成を示すブロック図である。 図38は、本発明の実施の形態5における類似症例検索の手順を示すフローチャートである。 図39は、本発明の実施の形態6における第一類似症例検索装置の構成を示すブロック図である。 図40は、本発明の実施の形態6における第二類似症例検索装置の構成を示すブロック図である。 図41は、本発明の実施の形態6における読影項目選択履歴データベースに記憶されている読影項目の選択履歴情報の一例を示す図である。 図42は、類似症例検索装置の他の構成を示すブロック図である。
 以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
 本発明の一実施態様に係る類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、前記読影項目適合度算出部が算出した適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示部と、ユーザに、前記読影項目候補表示部が表示した読影項目の中から、読影項目を選択させる読影項目選択部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目選択部で選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
 この構成によると、医用画像または読影対象画像から抽出される各画像特徴量を基に各「読影項目」への適合度を計算することにより、読影対象画像の特徴が疾病の単位より詳細なレベルの「読影項目」に変換され、以後の類似症例検索処理にて、疾病単位よりも詳細なレベルでの検索用画像特徴量の最適化が可能になる。
 「読影項目」とは、本明細書では、「読影医が、読影対象の医用画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。読影項目の例として、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。選択された読影項目が、分葉状/棘状/不整形であれば、読影者が形状に関して着目しており、低濃度/高濃度/低吸収/高吸収/スリガラス状であれば、読影者が輝度に関して着目していることが分かる。
 同時に、読影項目は医師の読影レポート作成時の共通言語であるため、類似症例検索装置のユーザ、即ち、読影者が本装置により推定された読影項目の妥当性を容易に理解できる。
 また、適合度の大きい読影項目を表示することにより、多数ある読影項目のうち、読影対象画像から抽出した画像特徴量に関係するものを厳選して表示するので、類似症例検索装置のユーザにとって、読影項目の把握および選択が容易になる。
 以上より、類似症例検索装置のユーザ、即ち、読影者の着目点を反映した類似症例検索を行うことができる。
 好ましくは、前記読影項目適合度算出部は、前記第一の読影知識から、適合度算出の対象読影項目に関連する全ての画像特徴量の値の存在範囲情報を取得し、前記画像特徴抽出部が抽出した各画像特徴量と、取得した前記存在範囲情報との一致度を算出し、前記第二の読影知識に基づいた前記対象読影項目との間の関連性が高い画像特徴量ほど、当該画像特徴量について算出した前記一致度に対する重みを大きくした上で、前記画像特徴抽出部が抽出した前記複数の画像特徴量に対して算出した複数の前記一致度を統合することにより、前記画像特徴抽出部が抽出した前記複数の画像特徴量の前記対象読影項目に対する適合度を算出する。
 この構成によると、多数種類の画像特徴量が存在する状況であっても、着目する読影項目に関係の小さい画像特徴量の影響を小さくして適合度を算出できる。
 好ましくは、前記読影項目候補表示部は、さらに、読影項目と共に、当該読影項目に対応する適合度を表示する。
 この構成によると、本装置が算出した読影項目の適合度の大きさをユーザに提示するので、ユーザは読影項目の選択のために参考にすることができる。
 好ましくは、前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目同士の共起確率を決定し、決定した前記共起確率が所定値以下である場合に、読影項目の選択誤りの可能性を示す情報を表示する。
 この構成によると、共存しにくい読影項目をユーザに伝達でき、ユーザの読影項目の選択誤りを防止できる。
 好ましくは、前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目との共起確率が所定値以下の読影項目が選択不可能であることを表示する。
 この構成によると、読影項目を選択した段階で、選択不可能な読影項目をユーザに伝達でき、ユーザの読影項目の選択誤りを防止できる。
 好ましくは、前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートから抽出される、医用画像の特徴を言語化した文字列である読影項目と疾病名の間の関連性を予め定めた関連性情報に基づいて、選択された読影項目との関連性が最も高い疾病名を推定し、前記推定された疾病名を表示する。
 この構成によると、現在選択した読影項目がどのような疾病に相当するのかをユーザに伝達することで、ユーザにとって、選択済みの読影項目の妥当性判断の補助情報となる。
 本発明の他の実施態様にかかる類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目設定部が設定した読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
 この構成によると、医用画像または読影対象画像から抽出される各画像特徴量について、読影対象画像から推定された読影項目との間の関連性が高いものほど大きな重みで重み付けを行った上で、画像特徴量同士を比較することにより類似症例を検索している。これにより、ユーザによる読影項目の選択無しに、一般的な読影者の着目点である読影項目を利用した重み付けが可能となる。
 本装置では、適合度が所定値以上の読影項目を類似症例検索に用いているため、一般的な医師が着目するであろう読影項目に基づいた類似症例検索が可能となる。
 好ましくは、前記読影項目設定部は、読影項目の組の中から過去にユーザが選択した読影項目の履歴情報に基づいて、前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目の中から、前記履歴情報と同じ選択を行うことで得られる読影項目を、類似症例検索に使用する読影項目として設定する。
 この構成によると、ユーザが過去に選択した読影項目と同じ読影項目を用いて類似症例検索を行うことができる。このため、例えば、熟練医師が過去に選択した読影項目と同じ読影項目を用いて新たな読影対象画像についての類似症例検索を行うことができる。
 (実施の形態1)
 図1は、本発明の実施の形態1における類似症例検索装置のブロック図である。
 類似症例検索装置は、医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する。類似症例検索装置は、症例データベース100と、第一の読影知識データベース110と、第二の読影知識データベース120と、読影対象画像読込部130と、読影対象画像表示部140と、画像特徴抽出部150と、読影項目適合度算出部160と、読影項目候補表示部170と、読影項目選択部180と、重み決定部190と、類似症例検索部200と、類似症例表示部210とを含む。また図示せぬ読影レポート入力部を含む。
 症例データベース100は、CT(Computed Tomography)またはMRI(Magnetic Resonance Imaging)等の医用画像(本明細書中では「画像データ」のことを単に「画像」と言う)と、その医用画像を読影した結果である読影レポートとの対から構成される症例データ(以下、単に「症例」と言う。)を複数格納したデータベースである。第一の読影知識データベース110および第二の読影知識データベース120は、複数の症例を解析することにより得た読影知識を格納したデータベースである。詳細については後述する。症例データベース100、第一の読影知識データベース110および第二の読影知識データベース120は、HDD(Hard Disk Drive)などの記憶装置に記憶される。
 読影対象画像読込部130は、CTやMRI等の医用画像撮影装置で撮影された画像を、医用画像撮影装置または外部接続された記憶装置などから読み込む。
 読影対象画像表示部140は、医療用の高精細モニタ等で構成され、読影対象画像読込部130で読み込んだ読影対象画像を表示する。
 画像特徴抽出部150は、読影対象画像読込部130で読み込まれた読影対象画像から複数種類の画像特徴量を抽出する。
 読影項目適合度算出部160は、画像特徴抽出部150で抽出された複数の画像特徴量と、第一の読影知識データベース110に格納されている第一の読影知識とから、現在の読影対象画像における、複数の画像特徴量の各読影項目に対する適合度を算出する。
 読影項目候補表示部170は、読影項目適合度算出部160で算出された、複数の読影項目に対する各適合度を基に、適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を、ユーザに選択させるための候補として表示する。本類似症例検索装置のユーザ(読影者)は、放射線科医、臨床医などの読影を行う医師である。ただし、ユーザは、これらに限定されるものではなく、臨床検査技師や医学生などのように医師免許を持たない者の場合もある。
 読影項目選択部180は、読影項目候補表示部170で表示された読影項目から、ユーザの選択結果を入力として受け付ける。
 重み決定部190は、画像特徴抽出部150で抽出された画像特徴量、および、第二の読影知識データベース120に格納された第二の読影知識から、画像検索で使用する複数の画像特徴量に対する重みをそれぞれ決定する。
 類似症例検索部200は、画像特徴抽出部150で抽出された複数の画像特徴量と、症例データベース100に登録されている症例に含まれる医用画像から抽出される複数の画像特徴量とを、重み決定部190で決定された画像特徴量毎の重みで重み付けして比較することにより、読影対象画像に類似する医用画像を含む症例を前記症例データベースより検索する。
 類似症例表示部210は、類似症例検索部200で検索された類似症例を表示する。類似症例表示部210は、読影対象画像表示部140を構成する高精細モニタと同じ機種で別途構成されていてもよく、読影対象画像表示部140を構成する高精細モニタに読影対象画像と類似症例を同時に表示してもよい。なお、類似症例表示部210と読影対象画像表示部140との機種は異なっていても良い。
 図示せぬ読影レポート入力部は、ユーザからの読影レポート入力を受け付ける。つまり、ユーザは、読影対象画像表示部140に表示された読影対象画像、および、類似症例表示部210に表示された類似症例を参考にしつつ、読影レポートを、図示せぬ読影レポート入力部に入力する。読影レポート入力部は、キーボードやマウスなどにより構成される。
 読影対象画像表示部140、読影項目候補表示部170、読影項目選択部180、類似症例表示部210、および、図示せぬ読影レポート入力部は、読影端末220を構成する。
 以後、本発明の各部の動作について詳細に説明する。
 <読影知識データベースの事前作成> 
 類似症例検索を行うに当たり、事前に読影知識を作成し、第一の読影知識データベース110、及び、第二の読影知識データベース120に格納しておく。読影知識は、医用画像とその医用画像を読影した結果である読影レポートとの対から構成される“症例”を複数集めたものから作成される。症例として、症例データベース100に格納されたものを用いてもよいし、他のデータベースに格納されたものを用いてもよい。必要な症例数は、種種のデータマイニングアルゴリズムを用いて何らかの法則性および知識を得るために十分となる数である。通常は数百~数万個のデータが用いられる。本実施の形態では、第一の読影知識データベース110に格納される第一の読影知識として、任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報を用いる。また、第二の読影知識データベース120に格納される第二の読影知識として、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性、つまり、(画像特徴量-読影項目)の二項間の相関関係を用いる。
 「画像特徴量」としては、医用画像における臓器もしくは病変部分の形状に関するもの、または輝度分布に関するものなどがある。画像特徴量として、例えば、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月」に490種類の特徴量を用いることが記載されている。本実施の形態においても、医用画像の撮像に使用した医用画像撮影装置(モダリティ)または読影の対象臓器ごとに予め定めた数十~数百種の画像特徴量を用いる。
 「読影項目」とは、本明細書では、「読影医が、読影対象の医用画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。例えば、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。
 以下、図2のフローチャートを用いて第一および第二の読影知識作成の手順を説明する。本実施の形態で対象とする、つまり使用する医用画像撮影装置はマルチスライスCTとし、対象臓器および疾病は、それぞれ肝臓および肝腫瘤とする。
 ステップS10では、読影知識を得るための症例が格納されたデータベースから症例を1つ取得する。ここで読影知識を得るための症例の総数をC個とする。1つの症例は、医用画像とその医用画像を読影した結果である読影レポートとの対で構成されている。医用画像がマルチスライスCT装置により取得された場合、1つの症例は多数枚のスライス画像を含むことになる。また、通常、マルチスライスCT画像を医師が読影する場合、重要なスライス画像1~数枚を、キー画像として読影レポートに添付する。以後、多数枚のスライス画像集合、あるいは、数枚のキー画像を単に「医用画像」、「画像」と呼ぶこともある。
 ステップS11では、医用画像から画像特徴量を抽出する。ステップS11の処理を、図3のフローチャートを用いて詳細に説明する。
 ステップS111では、対象臓器の領域を抽出する。本実施の形態では肝臓領域を抽出する。肝臓領域抽出法として、例えば、非特許文献:「田中,清水,小畑,“異常部位の濃度パターンを考慮した肝臓領域抽出手法の改良<第二報>”,電子情報通信学会技術研究報告,医用画像,104(580),pp.7-12,2005年1月」等の手法を用いることができる。
 ステップS112では、ステップS111で抽出された臓器領域から病変領域を抽出する。本実施の形態では肝臓領域から腫瘤領域を抽出する。肝腫瘤領域抽出法として、例えば、非特許文献:「中川、清水,一杉,小畑,“3次元腹部CT像からの肝腫瘤影の自動抽出手法の開発<第二報>”,医用画像,102(575),pp.89-94,2003年1月」等の手法を用いることができる。ここで、i番目の症例における画像から抽出した腫瘤の数をMiとすると、腫瘤は(症例番号,腫瘤番号)の組(i,j)で特定できる。ここで、1≦i≦C,1≦j≦Miである。また本実施の形態では病変として肝腫瘤を対象としているため、“腫瘤番号”と呼んだが、本発明で共通の表現を用いて“病変番号”と呼ぶこともできる。
 ステップS113では、ステップS112で抽出された病変領域のうち、1つの領域を選択する。
 ステップS114では、ステップS113で選択された病変領域から画像特徴量を抽出する。本実施の形態では、画像特徴量として、非特許文献:「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”,電子情報通信学会論文誌D-II,Vol.J88-D-II,No.2,pp.416-426,2005年2月」に記載された490種類の特徴量のうち、肝腫瘤にも適用可能な特徴量をいくつか選択して用いる。この特徴量数をNIF個とする。本ステップで抽出された特徴量は、(症例番号,この症例(医用画像)から抽出された腫瘤番号,特徴量番号)の組(i,j,k)で特定できる。ここで、1≦i≦C,1≦j≦Mi,1≦k≦NIFである。
 ステップS115では、ステップS112で抽出された病変領域のうち未選択の病変があるかどうかをチェックし、未選択の病変がある場合は、ステップS113に戻り未選択の病変領域を選択した後、ステップS114を再実行する。未選択の病変がない場合、すなわち、ステップS112で抽出された全ての病変領域に対し、ステップS114の特徴量選択を行った場合は図3のフローチャートの処理を終了し、図2のフローチャートに戻る。
 図2のステップS12では、読影レポートの解析処理を行う。具体的には読影レポートから読影項目および疾病名を抽出する。本実施の形態では読影項目が格納された読影項目単語辞書、および疾病名が格納された疾病名単語辞書を用いた、形態素解析および構文解析を行う。これらの処理により、各単語辞書に格納された単語と一致する単語を抽出する。形態素解析技術としては、例えば、非特許文献:MeCab(http://mecab.sourceforge.net)やChaSen(http://chasen-legacy .sourceforge.jp)等が、構文解析技術としては、KNP(http:/ /nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html)、CaboCha(http://chasen.org/~taku/software/cabocha/)等が存在する。読影レポートは医師により読影レポート独特の表現で記述されることが多いので、読影レポートに特化した形態素解析技術、構文解析技術、各単語辞書を開発することが望ましい。
 図4は腹部CT検査の読影レポートの例であり、図5は図4の読影レポートから抽出された読影項目および疾病名を示す。通常、読影項目は複数個、疾病名は1個抽出される。i番目の症例における読影レポートから抽出した読影項目の数をNiとすると、読影項目は(症例番号,読影項目番号)の組(i,j)で特定できる。ここで、1≦i≦C,1≦j≦Niである。
 また、図5では、読影項目および疾病名の単語のみを抽出しているが、読影レポートにおける病変の位置を表す文字列、時相を表す文字列を同時に抽出してもよい。ここで、時相について補足する。肝臓の病変の鑑別には、造影剤を急速静注して経時的に撮像する造影検査が有用とされている。肝臓の造影検査では一般に、肝動脈に造影剤が流入し多血性の腫瘍が濃染する動脈相、腸管や脾臓に分布した造影剤が門脈から肝臓に流入し肝実質が最も造影される門脈相、肝の血管内外の造影剤が平衡に達する平衡相、肝の間質に造影剤が貯留する晩期相などにおいて、肝臓が撮像される。読影レポートには病変の臓器における位置や、造影検査であれば着目した時相の情報が記述されていることが多い。このため、読影項目だけでなく位置や時相の情報も合わせて抽出することで、後で説明する読影知識の抽出に有効となる。図6に、読影項目と同時に位置と時相の情報を抽出した例を示す。例えば、図4の読影レポートを解析し、「肝S3区域に早期濃染を認め」という文節から「早期濃染」の位置属性として「肝S3区域」が抽出される。同様に、「後期相でwashoutされており」という文節から「washout」の時相属性として「後期相」が抽出される。
 図4の読影レポートを、単純に解釈すると、図6のように「早期濃染」に関する時相、washoutに関する位置の部分が空白になる。これに対し、読影項目「早期濃染」は早期相に対応した単語であるという事前知識を利用したり、「早期濃染」の状態を示す腫瘤と「後期相でwashout」される腫瘤が同一の腫瘤を指すという文脈解釈を行ったりすることができれば、抽出される位置と時相の情報は図7のようになる。
 ステップS13では、読影知識を得るための症例が格納されたデータベースにおいて未取得の症例があるかどうかをチェックし、未取得の症例がある場合は、ステップS10に戻り未取得の症例を取得した後、ステップS11およびS12を実行する。未取得の症例がない場合、すなわち、全ての症例に対し、ステップS11の画像特徴抽出およびステップS12のレポート解析を実施済の場合は、ステップS14に進む。
 ステップS11とステップS12の結果は相互に依存しないため、実行順は逆でも構わない。
 ステップS14に到達した時点で、例えば、図8で表されるデータ一式が取得される。つまり、症例ごとに画像特徴量と読影項目と疾病名とが取得される。症例番号1の症例については、医用画像中にM1個の病変が含まれており、各病変から抽出される画像特徴量の個数はNIF個である。また、読影レポート中の読影項目の数はN1個である。例えば、病変番号(1,1)で示される1つ目の病変のうち、1つ目の画像特徴量の値は0.851である。また、読影項目番号(1,1)で示される1つ目の読影項目の値は「早期濃染」である。図8の例では、各画像特徴量は0以上1以下の数値であり、読影項目および疾病名は文字列である。画像特徴量として負の値または1より大きな値をとるものを用いても良い。また、読影項目および疾病名として、予め定めた単語IDの形式にてデータを格納してもよい。
 ステップS14では、ステップS11で得られた画像特徴量、および、ステップS12で得られた読影項目から、第一の読影知識を抽出する。ステップS14の処理を、図9のフローチャートを用いて詳細に説明する。
 ステップS141では、ここ(S14の直前)までで得られた図8のデータ一式の中から、読影項目を1つ選択する。選択する順序として、例えば、ステップS12で使用した読影項目単語辞書におけるエントリ(読影項目番号)順を使用することができる。本実施の形態では、読影項目単語辞書における読影項目の全エントリ数を、NII個とする。なお、選択する順序として、図8のデータ一式における出現順や、任意の順番など他の方法でもよい。
 ステップS142では、図8のデータ一式の中から、ステップS141で選択された読影項目を読影レポートに含む症例を選択する。選択した症例の医用画像に含まれる全ての病変から全種類(NIF個)の画像特徴量を取得し、現在選択されている読影項目に対応する記憶領域に、取得した画像特徴量を格納する。
 ここで、1つの症例には、複数の画像や複数の病変(腫瘤)が含まれる場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影CT検査では、造影剤使用前および使用後の複数時刻(すなわち、複数時相)におけるタイミングでCT撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の1つの集合には複数の病変(腫瘤)が含まれ、1つの病変からは複数の画像特徴量が抽出される。そのため、(スライス画像集合数;すなわち、撮影した時相の数)×(1人の患者から検出された病変数)の個数だけ、(画像特徴量の種類数)次元の画像特徴量ベクトルが得られる。得られたこれら複数の画像特徴量ベクトルと、1つの読影レポートから抽出された疾病名および複数の読影項目との相関関係を求める必要がある。もちろん大量の症例を用いることにより、対応が正しく得られる可能性があるが、後述のように病変位置と時相を用いる等して、読影レポートの記載と、対応する画像特徴量とをある程度事前に対応づけることができれば、より正確に相関関係を求めることができる。1つの症例に複数の病変を含む場合、現在選択されている読影項目と病変の対応が得られていれば、現在選択されている読影項目に対応する病変のみから抽出された特徴量を格納すればよい。
 ステップS142で格納された、現在選択されている読影項目に対応する画像特徴量ベクトルを、NIF次元の特徴量空間にプロットした様子を、図10の模式図に示す。この空間上の1点は1つの病変画像(元のスライス画像から病変領域を切り出した部分画像)から得られたNIF次元の特徴量ベクトル1個に相当する。
 ステップS143では、未だ選択されていない読影項目の有無を確認し、有ればステップS141に戻る。無ければ、図9のフローチャートを終了する。
 この時点で、図10のような1つの読影項目に対応する画像特徴量ベクトルの分布が、読影項目の個数分得られる。本実施の形態では、読影項目単語辞書の全エントリ(NII個)のそれぞれに対して図10のような分布が得られる。これらの分布のそれぞれを第一の読影知識とする。得られた分布、即ち、特徴量の値の存在範囲に関する情報は、第一の読影知識データベース110に図11の形式で格納される。
 図11はNII個の読影項目に対し、i番目の読影項目に対してはNFi個の病変画像(元のスライス画像から病変領域を切り出した部分画像)から抽出された特徴量ベクトルを格納した様子を示している。各病変画像から抽出される特徴量ベクトルはNIF個の値(NIF次元)で構成され、各値の存在範囲は[0,1]である。
 以上が、第一の読影知識の最も基本的な算出方法および格納形式である。他の例については、類似症例検索の説明時に併せて説明する。
 次に、ステップS15にて、ステップS11で得られた画像特徴量、ステップS12で得られた読影項目および疾病名から、第二の読影知識を抽出する。本実施の形態では、画像特徴量と読影項目の二項の相関関係を、読影知識とする。
 以下では、(1)(画像特徴量-読影項目)間の相関関係以外にも、(2)(画像特徴量-疾病名)間の相関関係、(3)(読影項目-疾病名)間の相関関係についても説明する。
 (1)(画像特徴量-読影項目)間の相関関係
 1対の(画像特徴量,読影項目)間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは相関比を用いる。相関比は、質的データと量的データとの間の相関関係を表す指標であり、(式1)で表される。
Figure JPOXMLDOC01-appb-M000001
 読影レポート中に、ある読影項目を含む場合および含まない場合の2カテゴリを考え、これを質的データとする。医用画像から抽出した、ある画像特徴量の値そのものを量的データとする。例えば、読影知識を抽出するための症例データベースに含まれる全症例に対し、読影レポートを、ある読影項目を含むものまたは含まないものに区分する。ここでは、読影項目「早期濃染」と画像特徴量「早期相における腫瘤内部の輝度平均値」との相関比を求める方法について説明する。(式1)においては、カテゴリi=1を「早期濃染」を含むもの、カテゴリi=2を「早期濃染」を含まないものとする。読影レポートに「早期濃染」を含む症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるj番目の観測値をx1jとする。また、読影レポートに「早期濃染」を含まない症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるj番目の観測値をx2jとする。「早期濃染」とは造影早期相にてCT値が上昇することを表すため、この場合、相関比が大きく(1に近く)なることが予想される。また、早期濃染は腫瘤の種類に依存し、腫瘤の大きさには依存しないため、読影項目「早期濃染」と画像特徴量「腫瘤面積」との相関比は小さく(0に近く)なることが予想される。このようにして、全ての読影項目と全ての画像特徴量との間の相関比を計算する。
 図12に、読影項目と画像特徴量との間の相関関係(ここでは、相関比)の概念図を示す。左側には複数の読影項目、右側には複数の画像特徴量の名称が列挙されている。そして、相関比が閾値以上の読影項目と画像特徴量の間が実線で結ばれている。相関比は0以上1以下の値をとるため、閾値として0.3~0.7程度の値を用いることができる。計算した相関比を最終的に閾値で二値化すると、図12のような情報が求められることになる。その一例について補足する。肝腫瘤の造影CT検査においては、殆どの腫瘤は造影剤使用前のCT画像(単純、単純CT、単純相などと呼ぶ)で低濃度に描出され、多くの場合、読影レポートに「低濃度」、「LDA(Low Density Area)あり」などと記述される。そのため、「低輝度」や「LDA」といった読影項目と、造影剤使用前のCT画像における腫瘤内部の輝度平均(図12では「単純相 輝度平均」と略記載)との相関が大きくなる。
 また、図13に、読影項目と画像特徴量との間の相関関係(例えば、相関比)の別の概念図を示す。この図では、相関比を多値表現しており、読影項目と画像特徴量の間の実線の太さが相関比の大きさに相当している。例えば、造影早期相にてCT値が上昇する「早期濃染」と、早期動脈相(早期相、動脈相とも略される)における腫瘤内部の輝度平均(図13では「動脈相 輝度平均」と略記載)との相関が大きくなっている。
 相関比の値に着目することで、ある読影項目と相関の高い画像特徴量を特定することができる。実際には1つの症例には、複数の画像や複数の病変(腫瘤)を含む場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影CT検査では、造影剤使用前や使用後の複数時刻におけるタイミングでCT撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の1つの集合には複数の病変(腫瘤)が含まれ、1つの病変からは複数の画像特徴量が抽出される。そのため、(スライス画像集合数)×(1人の患者から検出された病変数)×(画像特徴量の種類数)の個数だけ画像特徴量が得られ、これら複数の画像特徴量と、1つの読影レポートから抽出された複数の読影項目や疾病名との相関関係を求める必要がある。もちろん大量の症例を用いることにより、対応が正しく得られる可能性があるが、図7のように病変位置と時相を用いる等して、読影レポートの記載と、対応する画像特徴量とをある程度事前に対応づけることができれば、より正確に相関関係を求めることができる。
 先の説明では、質的データが、ある読影項目を含むものおよび含まないものの2カテゴリである場合について説明したが、ある読影項目(例えば、「境界明瞭」)と、その対義語となる読影項目(例えば、「境界不明瞭」)との2カテゴリであってもよい。また、読影項目が「低濃度」、「中濃度」、「高濃度」などの序数尺度の場合は、それらの各々をカテゴリとして(この例では3カテゴリ)、相関比を計算してもよい。
 また、「低濃度」、「低輝度」、「低吸収」などの同義語については、予め同義語辞書を作成しておき、それらを同一の読影項目として扱う。
 (2)(画像特徴量-疾病名)間の相関関係
 1対の(画像特徴量,疾病名)間の相関関係については、(画像特徴量,読影項目)間の場合と同じく相関比を用いることができる。図14に、疾病名と画像特徴量との間の相関関係(例えば、相関比)の概念図を示す。この図では図12と同じく相関関係を二値表現しているが、もちろん図13のような多値表現を行うことも可能である。
 (3)(読影項目-疾病名)間の相関関係
 1対の(読影項目,疾病名)間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは対数尤度比を用いる。対数尤度比は、質的データ間の共起の強さを表す指標であり、(式2)で表される。
Figure JPOXMLDOC01-appb-M000002
 (式2)から分かる通り、対数尤度比は、事象X,Yおよび排反事象¬X,¬Yも考慮に入れた共起指標と見なすことができる。
 なお、対数尤度比の代わりに、(式3)で示される支持度、(式4)で示される確信度、(式5)で示されるリフト値等を用いても良い。その他、conviction,φ係数を用いても良い。conviction,φ係数については相関ルール分析に関する文献(例えば、非特許文献:「データマイニングとその応用」、加藤/羽室/矢田 共著、朝倉書店)に記載されている。
Figure JPOXMLDOC01-appb-M000003
 この支持度は、全症例において読影項目Xと疾病名Yとが同時に出現する確率(共起確率)を意味する。読影項目Xと疾病名Yが多くの読影レポートに同時出現すれば、読影項目Xと疾病名Yの関連性(相関性)が強いと見なす。
Figure JPOXMLDOC01-appb-M000004
 確信度とは、条件部Xのアイテムの出現を条件としたときの結論部Yのアイテムが出現する確率である。読影項目Xが出現している読影レポートにて、疾病名Yが多く出現していれば、読影項目Xと疾病名Yの関連性が強いと見なす。
Figure JPOXMLDOC01-appb-M000005
 リフト値とは、読影項目Xの出現を条件としないときの疾病名Yの出現確率に対して、読影項目Xの出現を条件としたときの疾病名Yの出現確率(すなわち確信度)がどの程度上昇したかを示す指標である。リフト値が1.0であるということは、読影項目Xが出現してもしなくても疾病名Yの出現確率は変わらないことを意味し、ルール(読影項目X⇒疾病名Y)は興味深くないと考える。これは、読影項目Xの出現と、疾病名Yの出現が統計的に独立であることを意味する。リフト値が1.0より大きく、かつ、その値が大きければ大きいほど興味深いルールと見なす。つまり、読影項目Xと疾病名Yとの相関が大きいとみなす。
 図15に、読影項目と疾病名との間の相関関係(例えば、対数尤度比)の概念図を示す。この図では図12と同じく相関関係を二値表現しているが、もちろん図13のような多値表現を行うことも可能である。
 以上の方法にて、ステップS15の処理を行うと、図16、図17、図18のような、(画像特徴量-読影項目)間の相関関係、(画像特徴量-疾病名)間の相関関係、(読影項目-疾病名)間の相関関係が、それぞれ得られる。なお表中の数値は、図16、図17では相関比、図18では対数尤度比である。相関比は0以上1以下の値をとる。対数尤度比は0以上の値をとる。また、得られた相関関係は、図16、図17、図18の形式にて第二の読影知識データベース120に格納される。
 <類似症例検索> 
 以下、図19のフローチャートおよび図20の類似症例検索画面例を用いて類似症例検索の手順について説明する。
 図20に示す類似症例検索画面例は、図1の読影対象画像表示部140、読影項目候補表示部170、読影項目選択部180、類似症例表示部210、読影レポート入力部(図1に不図示)で構成される読影端末220の画面例である。
 ステップS30では、読影対象画像読込部130により、医用画像撮影装置から読影対象画像を取得する。図2の読影知識作成時と同じく、本実施の形態で対象とする医用画像撮影装置はマルチスライスCTとし、対象臓器および疾病は肝腫瘤とする。読み込まれた画像(図20における読影対象画像300)は、読影対象画像表示部140に表示される。
 ステップS31では、類似症例検索を行いたい対象の病変の指定を読影者から受け付ける。指定は、読影対象画像表示部140の画面上(読影対象画像300)で、マウスを用いて病変部をクリックすることにより行われる。
 この病変の指定について説明する。指定の方法として、病変の中心付近の1点を指定してもよいし、病変領域(輪郭線)を指定してもよい。中心付近の1点が指定された場合は、指定された点を基準としてその近傍領域からステップS112と同じ方法を用いて詳細な病変領域を設定する。病変領域を大まかに指定した場合は、この領域の中からステップS112と同じ方法を用いて詳細な病変領域を設定する。
 病変位置または領域の指定について、図21を用いて説明する。図21に示す読影対象画像400(ここでは腹部CT)には、腹部の周囲410と、対象臓器(ここでは肝臓)420と、病変領域430とが含まれる。座標を指定する場合は、例えば、腫瘤の中心位置付近(図21の点440)をマウスでクリックする。領域を指定する場合は、図21の病変領域430を矩形、円または楕円で囲む方法や、病変部(図21の病変領域430)と正常組織(図21の病変領域430の外側)間との境界を自由曲線で指定する方法がある。中心座標のみを指定する場合や、矩形、円または楕円等で囲むことにより領域を指定する場合は、読影者の負担が小さいという利点があるが、画像特徴量抽出のために、別途、正確な病変領域を画像処理アルゴリズムにより自動抽出する必要がある。腫瘤領域抽出については、ステップS112と同じ手法を用いることができる。
 ステップS32では、画像特徴抽出部150は、読影対象画像に対して、ステップS31にて指定または抽出された病変領域から画像特徴量を抽出する。指定または抽出された病変領域が複数あればその全てに対して、予め定めているNIF個の特徴量を抽出する。画像特徴量の抽出方法は、ステップS114と同じである。
 ステップS33では、読影項目適合度算出部160は、ステップS32で抽出された特徴量を用いて、全て(NII個)の読影項目に対する適合度を算出する。ここで、適合度算出の考え方について説明する。図10は、ある読影項目を読影レポートに含む症例から抽出された画像特徴量ベクトルの分布である。ステップS32で抽出された特徴量を図10の空間に置いた時、その近傍に過去の症例から抽出された画像特徴量が多数存在すれば、現在の読影対象画像にこの読影項目が当てはまる可能性が高いと考える。但し、この読影項目との相関の小さい画像特徴量(ベクトルの要素)は考慮すべきではないため、読影項目適合度算出部160は、第二の読影知識データベース120における(画像特徴量-読影項目)間の相関関係を用いて、この読影項目と相関が高い画像特徴量(ベクトルの要素)を選択して用いる。
 例えば(式6)の逆数を用いて適合度を計算する。
Figure JPOXMLDOC01-appb-M000006
 ここで、xは、読影対象画像から抽出された複数(NIF個)の画像特徴量を全て連結したベクトルである。異なる種類の画像特徴量を連結する際は、画像特徴量毎のスケールの違いに影響を受けないよう正準化(平均0、分散1に正規化)を行っておく。uは、現在着目する読影項目iの特徴量分布の平均ベクトルである。なお、平均値の代わりに中央値を用いても良い。重みwjとして、読影項目iと画像特徴量jとの相関を用いる。相関関係は、第二の読影知識データベース120に図16の形式で格納された表から対応するセルの値を参照することで得ることができる。重みwjとして、読影項目iと画像特徴量jとの相関を用いることで、相関が小さい程その次元の画像特徴量は適合度への影響が小さくなり、読影項目iと相関の小さい次元の画像特徴量の影響を低減した適合度を計算することができる。
 また、重みwjとして、読影項目iと画像特徴量jとの相関を二値化して用いてもよい。具体的には相関比が所定の閾値以上であればwj=1、そうでなければwj=0とする。重みwjとして二値化した相関を用いる場合、読影項目により画像特徴量の不要な次元が定まる。第一の読影知識の算出前に第二の読影知識を算出済であれば、第一の読影知識として、図22のような形式で不要な次元(図中の斜線部)の画像特徴量を予め除外して保存することで、第一の読影知識の記憶容量を削減できる。なお、図22では、不要な次元の画像特徴量にハッチングを施している。
 また、(式6)では、画像特徴量の各次元の分布の代表値uとして平均(または中央値)を用いたが、画像特徴量が単峰性分布ではなく多峰性の場合、(式6)では元の画像特徴量の分布を十分に表現できない。このような場合、例えば、(式7)のガウス混合モデル(Gaussian Mixture Model;GMM)を用いて分布を表現してもよい。ここでxはN次元(N≧1)の変数、Mは混合数、μmはm番目の正規分布の平均、Σmはm番目の正規分布の分散共分散行列、λmは混合比である(1≦m≦M)。
Figure JPOXMLDOC01-appb-M000007
 また、GMMの分布パラメータの算出(モデリング)には、期待値最大化(EM; Expectation Maximization)アルゴリズムを用いることができる。また、分布をモデリングする場合は、図22のように不要な次元(図中のハッチング部)を除外した後のデータを入力に用いる。この理由としては、読影項目と相関の小さい画像特徴量では値が広範囲に分布するため、GMMの分布パラメータ算出の収束が遅くなる、または、モデリング誤差が大きくなるためである。
 画像特徴量の次元毎にGMMのパラメータを求めた場合は、求めたパラメータが第一の読影知識として図23のような形式で第一の読影知識データベース110に格納される。ここで、読影項目毎に画像特徴量の全次元数が異なる(例えば、読影項目1ではNIF1´次元であるのに対し、読影項目2ではNIF2´次元である)のは、図22のように読影項目毎に不要な次元を除外してあるためである。
 多次元のGMMのパラメータを求めた場合は、図24のような形式で第一の読影知識データベース110に格納される。図24のパラメータは、具体的には、(式7)における、M、μm、Σm、λm(1≦m≦M)である。図23のパラメータは、(式7)においてxがスカラーの場合に相当し、混合数M、m番目の正規分布の平均値μm、m番目の正規分布の分散σ 、混合比λmで表される(1≦m≦M)。
 図23、図24では全ての分布パラメータとして同じ(p,p,...,pdim)というdim次元の変数を便宜上用いたが、モデル化対象の分布はそれぞれ異なるため、モデル化後の正規分布の個数もそれぞれ異なる。即ち、パラメータの総数dimの値もそれぞれで異なることになる。
 また、EMアルゴリズムのようなパラメトリック手法でなくParzen推定などのノンパラメトリックな手法を用いて分布を表現してもよい。
 GMMの場合、xとして読影対象画像から抽出された複数(NIF個)の画像特徴量ベクトルを(式7)に代入し、出力された尤度p(x)を適合度として利用できる。
 なお、読影項目適合度算出部160は、第二の読影知識データベース120における(画像特徴量-読影項目)間の相関関係を用いずに、全ての画像特徴量を用いて適合度を算出しても良い。つまり、(式6)において重みwjをjによらず1とした上で、適合度を算出しても良い。
 ステップS34では、ステップS33で計算されたNII個の読影項目に対する適合度のうち、適合度が大きい読影項目が、読影項目候補表示部170に表示される。具体的には、読影項目候補表示部170の画面上(図20の読影項目候補表示・選択領域310)に、図25のような形式で、適合度が大きい読影項目が表示される。図25では、全NII個の読影項目の中から、現在の読影対象画像との間の適合度の高い読影項目を、適合度の降順に表示している。表示する個数は、所定の個数でもよいし、適合度が閾値以上の個数でもよい。また、表示する個数を読影者が設定する形式でもよい。また、造影検査など同一臓器や同一病変に対して複数の画像がある場合、図26のように、画像毎に適合度の大きい読影項目を表示してもよい。また、表示する順番は、適合度の降順ではなく、ランダムな順番であってもよい。
 類似症例検索装置にて扱える対象臓器または疾病が多いほど読影項目の数は増加するため、全読影項目の候補から読影者に読影項目を選択させることは現実的ではない。このように読影対象画像から抽出された特徴量から読影項目を推定し、適合度の降順に表示することで、読影者の読影項目の判断が容易になる。
 また、図27のように、適合度の大きい読影項目と同時に、適合度の値を表示してもよい。適合度の値を同時に表示することで、読影者の読影項目の選択の判断を補助するための付加情報を与えることができる(例えば、図27では、読影項目「リング状」の適合度は他の3つに比べて小さいことが分かる。)。
 なお、適合度の値を数値で表す他に、文字や背景の、色または輝度を変化させて表示してもよい。また、図28のように、棒グラフ等により図示してもよい。
 ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上では、読影項目候補表示・選択領域310に、図25のような形式で読影項目が表示されている。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。選択された読影項目の例を図29に示す。図29では選択された読影項目「早期濃染」を白黒反転表示して示している。なお、読影者は、画面上のGUI(仮想ボタン)をクリックする方法の他、方向キーまたはEnterキーなどキーボードを使用して、読影項目を選択してもよい。
 ステップS36では、重み決定部190が、ステップS35で選択された読影項目を用いて、画像特徴量に対して重み付け検索を行う際の重みを決定する。
 以下に重み付け方法の例を示す。
 現時点で、読影項目選択部180にて、読影項目として「早期濃染」、「washout」が選択されているとする。重み決定部190は、読影知識データベース110に図16の形式で格納された(画像特徴量-読影項目)間の相関関係テーブルを参照し、「早期濃染」と全ての画像特徴量間の相関関係と、「washout」と全ての画像特徴量間の相関関係とを取得する。ここでは取得した相関関係を表す数値(相関比)をそのまま重みとして用い、それぞれwa,i,wb,iと表す。ここで、iは画像特徴量の種類を現す添字である。これらの重みを用い、i番目の画像特徴量に対応する重みWiを、(式8)のように計算する。
Figure JPOXMLDOC01-appb-M000008
 以上の重み付け方法について、図30に概要を示す。
 例えば、4番目の画像特徴量「エッジ強度」に対する重みは、(早期濃染-エッジ強度)間の相関関係を表す値wa,4と、(washout-エッジ強度)間の相関関係を表す値wb,4とを足した値である。読影項目の個数が2以外の場合も、(読影項目-画像特徴量)間の相関関係を加算することで対応可能である。この式により、読影者が着目した読影項目、および、読影項目と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。但し、選択された読影項目が複数ある場合はそれらを均等に扱うことになり、読影項目の中での差別化は行っていない。読影者によって選択された読影項目の適合度をさらに重みとして用いることで、読影項目間の差別化が可能である。例えば、(式9)において、wxとして読影項目「早期濃染」に対する適合度、wyとして読影項目「washout」に対する適合度を用いることで、読影項目間に重み付けをすることができる。
Figure JPOXMLDOC01-appb-M000009
 また、読影者に、選択した読影項目毎に重みを設定させてもよい。例えば、図31は、スライドバーにより読影者に重みを設定させるための画面の例である。選択した「早期濃染」、「washout」の右隣にそれぞれスライドバーが表示される。読影者は、マウスによりスライドバーのノブを左右にスライドさせることにより重みを変化させる。
 ステップS37では、類似症例検索部200は、ステップS32で抽出された画像特徴量、及び、ステップS36で決定された重みを用いて、症例データベース100から類似症例を検索する。検索された類似症例は、類似症例表示部210(画面上では類似症例表示領域330)に表示される。
 類似症例検索部200は、症例データベース100に記憶されている症例に含まれる医用画像から抽出された画像特徴量と読影対象画像から抽出された画像特徴量との間で重み付け距離を算出する。類似症例検索部200は、重み付け距離が所定の閾値よりも小さい症例を類似症例として、症例データベース100から検索する。または、類似症例検索部200は、重み付け距離が小さいものから所定個数分の症例を類似症例として、症例データベース100から検索する。
 重み付け距離は、例えば(式6)にて計算できる。ここで、xは、読影対象画像から抽出された複数(NIF個)の画像特徴量を全て連結したベクトルである。uiは、症例データベース100に格納された症例のうち、i番目の症例から抽出された画像特徴量である。異なる種類の画像特徴量を連結する際は、特徴量毎のスケールの違いに影響を受けないよう正準化(平均0、分散1に正規化)を行っておく。
 本実施の形態では、読影者に選択された読影項目を基に、類似症例検索にて重み付け距離計算を行う。即ち、選択された読影項目と相関の大きい画像特徴量に関しては重みを相対的に大きく、相関の小さい画像特徴量に関しては重みを相対的に小さくする。これにより、読影者の着目点を反映した類似症例検索が可能となる。
 ステップS38では、読影者は、読影レポート入力領域320を通して読影レポートを入力する。マルチスライスCT装置の場合、再構成により通常、体軸に対して垂直な面(axial view)のスライス画像が複数枚得られる。読影者は、これら複数のスライス画像に対し、スライス位置を変えながら病変(本実施の形態では肝腫瘤)の有無を確認し、読影レポートを入力する。読影レポートを入力する際、読影対象画像にて検出した病変の位置(スライス番号、および、スライス画像上における座標や領域情報)を、読影者がマウスなどの入力機器により指定してもよい。読影対象画像に複数の病変が存在し、読影レポートにその複数の病変に関する記述を行う場合は、読影対象画像の病変と読影レポートにおける記述との対応を明確に記録しておけば、この読影レポートを用いて、第一の読影知識データベース110および第二の読影知識データベース120を作成する際に有用である。
 読影レポート記入時間が一定以上経過した場合、もしくは、読影者から読影終了に関する入力があった場合は、図19の処理を終了する。類似症例検索要求、読影終了入力を受理するための処理部は図1には図示していないが、読影端末220のキーボード内等に内蔵された物理的なスイッチでもよいし、医療用の高精細モニタ等で構成される読影対象画像表示部140に表示されたGUIメニュー等でもよい。
 以上説明した実施の形態1においては、読影対象画像から抽出された特徴量から読影項目を推定し、読影者に対して推定した読影項目を適合度の降順に表示する。これにより、読影者の読影項目の選択の判断が容易になる。また、読影項目に対する適合度計算の際、読影項目と画像特徴量との相関を用いることで、相関が小さい画像特徴量の次元は適合度への影響が小さくなり、読影項目に関係のない特徴量の影響を低減し、適合度を計算することができる。また、適合度の大きい読影項目と同時に、適合度の値を表示することで、読影者の読影項目の判断を補助するための付加情報を与えることができる。
 (実施の形態2) 
 次に実施の形態2について説明する。実施の形態1との差異は、第二の読影知識データベース120の事前作成の際、読影項目同士の相関関係(共起関係)も同時に算出しておくことである。また、読影者による読影項目選択の際、共起頻度の低い読影項目同士が選択された場合、選択誤りの可能性があることを読影者に通知することである。以下、実施の形態1との差異を中心に説明する。
 本発明の実施の形態2における類似症例検索装置のブロック図は、実施の形態1と同じく図1である。ただし、読影項目候補表示部170が、第二の読影知識データベース120に接続されている点が図1とは異なる。
 <読影知識データベースの事前作成> 
 本発明の実施の形態2における類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、S10からS14までの動作は実施の形態1と同一であるので説明を繰り返さない。
 ステップS15にて、ステップS11で得られた画像特徴量、ステップS12で得られた読影項目および疾病名から、第二の読影知識を抽出する。本実施の形態では、画像特徴量と読影項目の二項の相関関係、および、読影項目同士の相関関係、の2つを併せて読影知識とする。前者についは、実施の形態1と同一であるので説明を繰り返さない。
 ここでは、後者の作成方法について説明する。ステップS15の実行時点で図8のデータが取得済であるので、図8のデータから症例毎の読影項目集合をさらに取得する。取得された症例毎の読影項目集合に対し、実施の形態1の(3)(読影項目-疾病名)間の相関関係、を算出する際に用いた対数尤度比(式2)を利用して、読影項目間の相関関係(共起情報の対数尤度比)を計算する。得られた相関関係は、図32の表のようになる。図32の表において、対角成分(同一の読影同士の相関)は算出できず、また、上対角成分と下対角成分は同値であるため、上対角成分のみを示している。例えば、読影項目1と読影項目3との対数尤度比は0.973であり、読影項目1と読影項目3とは高い確率で共起することがわかる。
 <類似症例検索> 
 本発明の実施の形態2における類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19であり、S30からS34、S36からS38までの動作は実施の形態1と同一であるので説明を繰り返さない。
 ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上の読影項目候補表示・選択領域310に、図25のような形式で、適合度の大きい読影項目が表示される。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。選択された読影項目の例を図33に示す。図33では選択された読影項目「早期濃染」、「washout」を白黒反転表示して示している。
 次に、選択された読影項目が複数の場合、読影項目候補表示部170は、全ての読影項目間の組み合わせを列挙する。(選択された読影項目が1個の場合はこの処理は不要である。)選択された読影項目がS個の場合、その組み合わせは通りとなる。そして、読影項目候補表示部170は、図32の読影項目同士の相関関係テーブルを参照し、通りの組み合わせに対してそれぞれ相関関係(共起情報の対数尤度比)を取得する。取得した相関関係の値が所定の閾値以下であれば、読影項目候補表示部170は、過去に生じた頻度が小さい組み合わせとして、その読影項目の組み合わせが「選択誤りの可能性」であることを表示することで、読影者に提示する。例えば、図34のように、選択された読影項目(白黒反転)の横に「要確認」と表示する。
 これにより、読影者は現在の読影対象の医用画像に対して、自らが選択した読影項目の組み合わせが過去に生じた頻度が小さい組み合わせであることを把握することができる。これにより、読影者は、これらの組み合わせが選択誤りの可能性がある組み合わせであると判断することができ、読影者に対して、選択結果を見直すきっかけを提供できる。
 (実施の形態3) 
 次に実施の形態3について説明する。実施の形態1との差異は、第二の読影知識データベース120の事前作成の際、読影項目同士の相関関係(共起関係)も同時に算出しておき、読影者による読影項目選択の際、共起頻度の低い読影項目同士を選択不可能なように予め設定していることである。以下、実施の形態1との差異を中心に説明する。
 本発明の実施の形態3における類似症例検索装置のブロック図は、実施の形態1と同じく図1である。
 <読影知識データベースの事前作成> 
 本発明の実施の形態3における類似症例検索装置の読影知識データベース作成フローは、実施の形態2と同一であるので説明を繰り返さない。ただし、読影項目候補表示部170が、第二の読影知識データベース120に接続されている点が図1とは異なる。
 <類似症例検索> 
 本発明の実施の形態3における類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19であり、S30からS34、S36からS38までの動作は実施の形態1と同一であるので説明を繰り返さない。
 ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上の読影項目候補表示・選択領域310に、図25のような形式で、適合度の大きい読影項目が表示される。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。ここで、読影者が読影項目を選択する度に、読影項目候補表示部170は、図32の読影項目同士の相関関係テーブルを参照し、選択された読影項目に対して、相関関係(共起情報の対数尤度比)の値が所定の閾値以下となるような読影項目を決定する。読影項目候補表示部170は、決定した読影項目を選択不可能であることを示す表示を行う。例えば、図35において、選択された読影項目「早期濃染」が白黒反転表示なのに対し、読影項目「スリガラス」を網掛け表示することができる。これにより、読影項目「早期濃染」が選択された場合には、読影項目「スリガラス」を選択できないことを示している。もちろん、選択不可能な読影項目の表示方法は、文字の濃度を低くするなどの別の表示方法でもよい。また、読影者が読影項目「スリガラス」を選択しようとしてクリックした場合、『読影項目「早期濃染」との組み合わせが不適切です』のようなメッセージを表示することも可能である。読影者が読影項目「スリガラス」を優先して選択したいと考えた場合は、読影項目「早期濃染」の選択を解除することにより、読影項目「スリガラス」を選択することが可能になる。
 これにより、読影者は、現在の読影対象の医用画像に対して読影項目を選択する場合に、過去の組み合わせを基に、選択誤りを知ることができる。よって、選択誤りを未然に防止することができる。
 (実施の形態4)
 次に実施の形態4について説明する。実施の形態1との差異は、第二の読影知識データベース120の事前作成の際に(読影項目-病名)間の相関関係も同時に算出しておくこと、及び、読影者による読影項目選択の際に、選択中の読影項目群から相関の高い疾病名を推定し読影者に対して表示すること、である。以下、実施の形態1との差異を中心に説明する。
 本発明の実施の形態3における類似症例検索装置のブロック図は、実施の形態1と同じく図1である。ただし、読影項目候補表示部170が、第二の読影知識データベース120に接続されている点が図1とは異なる。
 <読影知識データベースの事前作成> 
 本発明の実施の形態4における類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、S10からS14までの動作は実施の形態1と同一であるので説明を繰り返さない。
 ステップS15にて、ステップS11で得られた画像特徴量、ステップS12で得られた読影項目および疾病名から、第二の読影知識(請求項における関連性情報)を抽出する。本実施の形態では、画像特徴量と読影項目の二項の相関関係、および、読影項目と疾病名の二項の相関関係、の2つを併せて第二の読影知識とする。前者についは、実施の形態1と同一であるので説明を繰り返さない。
 後者については、実施の形態1の「(3)(読影項目-疾病名)間の相関関係」に記載した方法を用いて算出する。その結果、図18の相関関係が得られる。
 <類似症例検索>
 本発明の実施の形態4における類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19であり、S30からS34、S36からS38までの動作は実施の形態1と同一であるので説明を繰り返さない。
 ステップS35では、ステップS34で表示された読影項目候補に対し、読影項目選択部180を通して、読影者の選択入力を受け付ける。読影者によって選択された読影項目を、類似症例検索時の類似尺度(観点)として利用するためである。画面上の読影項目候補表示・選択領域310に、図25のような形式で、適合度の大きい読影項目が表示される。この状態に対して、読影者に読影項目の文字列をマウスでクリックさせることにより、読影項目を選択入力させる。選択された読影項目の例を図33に示す。図33では選択された読影項目「早期濃染」、「washout」を白黒反転表示して示している。次に、読影項目候補表示部170は、図18の(読影項目―疾病名)の相関関係テーブルを参照し、読影項目「早期濃染」、「washout」の2項目に関して、全疾病との相関値(対数尤度比)を取得する。読影項目候補表示部170は、疾病名毎に、選択された読影項目(ここでは「早期濃染」と「washout」)に対応する相関値の和を計算する。読影項目候補表示部170は、相関値の和が大きいほど、選択された読影項目と関連の深い疾病名として扱い、相関値の和が最も大きい疾病名を図36のような形式で、読影者に対して表示する。例えば、肝細胞がんが、選択された読影項目と最も関連の深い疾病名として表示される。
 これにより、読影者は現在の読影対象の医用画像が、自らが選択した読影項目により、どのような疾病に相当するのかを把握することができ、読影項目の選択や疾病名の診断の参考とすることができる。
 (実施の形態5)
 次に実施の形態5について説明する。実施の形態1との差異は、読影項目に対する適合度を算出した後に読影者に選択してもらうことをせず、算出した適合度を用いて類似症例検索装置が読影項目を自動設定し、自動設定した読影項目から重みを計算し、類似症例を検索することである。以下、実施の形態1との差異を中心に説明する。
 本発明の実施の形態5における類似症例検索装置のブロック図を図37に示す。図1と同一の構成要素については説明を繰り返さない。実施の形態5に係る類似症例検索装置は、読影項目設定部230をさらに備えている。読影項目設定部230は、読影項目適合度算出部160で算出された、全読影項目に対する適合度を入力として、類似症例検索に用いる読影項目を設定する。そして重み決定部190は、読影項目設定部230で設定された読影項目を基に、類似症例検索時の画像特徴量に対する重みを計算する。
 また、読影端末220の代わりに読影端末220Aを用いる。読影端末220Aは、読影対象画像表示部140と、類似症例表示部210とを含む。
 <読影知識データベースの事前作成> 
 本発明の実施の形態5における類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、動作は実施の形態1と同一であるので説明を繰り返さない。
 <類似症例検索> 
 本発明の実施の形態5における類似症例検索装置の類似症例検索フローを図38に示す。S30からS33までの動作は実施の形態1と同一であるので説明を繰り返さない。
 ステップS34Bでは、読影項目設定部230は、ステップS33で計算されたNII個の読影項目に対する適合度のうち、類似症例検索時の画像特徴量への重みを計算する基となる読影項目を設定する。ここでは、読影項目設定部230は、適合度が所定の閾値以上の読影項目を選択することにより設定する。なお、適合度の大きい順に、所定の個数の読影項目を選択により設定してもよい。
 ステップS36では、選択により設定された読影項目を全て対等に扱い、(式8)を用いて重み付けを行う。(式9)を用い、読影項目設定部230により設定された読影項目について、適合度を用いて読影項目間に対して重み付けを行ってもよい。ステップS36からS38までの処理は、実施の形態1と同一なので詳細な説明を繰り返さない。
 これにより、読影者が読影項目を選択すること無しに、現在の読影対象画像の内容に応じて画像特徴量に対する重みを最適化した類似症例検索を実行できる。
 また、ステップS34Bで設定された読影項目を図25のような形式で表示し、読影者に現在どの読影項目を重視して類似症例検索を行っているのかを提示してもよい。また、図27のように適合度も併せて提示してもよい。さらに、提示された読影項目を読影者に選択させることで、現在の類似症例検索結果を参考にした、2回目の類似症例検索を実行してもよい。
 (実施の形態6)
 次に実施の形態6について説明する。実施の形態5との差異は、適合度に基づいて読影項目を自動設定するのではなく、読影項目の選択履歴情報を用いて読影項目を設定することである。以下、実施の形態1および5との差異を中心に説明する。
 本発明の実施の形態6における類似症例検索装置のブロック図を図39および図40に示す。図1および図37に示した類似症例検索装置と同一の構成要素については説明を繰り返さない。図39に示す類似症例検索装置は、読影項目の選択履歴情報を作成する際に用いられる。図40に示す類似症例検索装置は、読影項目の選択履歴情報を用いて読影項目を自動設定し、類似症例検索を行う際に用いられる。以下、図39に示す類似症例検索装置を第一類似症例検索装置と呼び、図40に示す類似症例検索装置を第二類似症例検索装置と呼ぶ。
 図39に示す第一類似症例検索装置は、図1に示した類似症例検索装置の構成に加え、読影項目選択履歴データベース510を備えている。読影項目適合度算出部160は、読影項目候補表示部170が表示した適合度が高い読影項目と適合度の順位とを読影項目選択履歴データベース510に書き込む。また、読影項目選択部180は、選択した読影項目の情報を読影項目選択履歴データベース510に書き込む。
 図41は、読影項目選択履歴データベース510に記憶されている読影項目の選択履歴情報の一例を示す図である。選択履歴情報は、読影項目候補表示部170が表示する読影項目と、読影項目適合度算出部160が算出した適合度の順位と、読影項目選択部180が選択入力を受け付けたか否かを示す選択フラグとを含む。選択フラグが1の場合には、読影項目選択部180がその読影項目の選択入力を受け付けたことを示し、選択フラグが0の場合には、読影項目選択部180がその選択項目の選択入力を受け付けていないことを示す。図41は、図33に示した読影項目の表示が行われ、読影項目「早期濃染」、「washout」が選択された際の選択履歴情報を示している。
 図40に示す第二類似症例検索装置は、図37に示した類似症例検索装置の構成に加え、読影項目選択履歴データベース510を備えている。読影項目設定部230は、読影項目選択履歴データベース510を参照して、読影項目適合度算出部160で算出された、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目の中から、類似症例検索に用いる読影項目を設定する。読影項目設定部230の処理の詳細は後述する。
 <読影知識データベースの事前作成>
 本発明の実施の形態5における第一類似症例検索装置および第二類似症例検索装置の読影知識データベース作成フローは、実施の形態1と同じく図2であり、動作は実施の形態1と同一であるので説明を繰り返さない。
 <類似症例検索>
 本発明の実施の形態6における第一類似症例検索装置の類似症例検索フローは、実施の形態1と同じく図19である。ただし、以下の処理が追加的に実行される。
 つまり、ステップS33では、読影項目適合度算出部160は、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目と、適合度の順位とを読影項目選択履歴データベース510に書き込む。
 また、ステップS35では、読影項目選択部180は、読影者が選択した読影項目の情報を読影項目選択履歴データベース510に書き込む。
 本発明の実施の形態6における第二類似症例検索装置の類似症例検索フローは、実施の形態5と同じく図38である。ただし、S34Bにおける読影項目の設定処理が、実施の形態5とは異なる。
 つまり、ステップS34Bでは、読影項目設定部230は、読影項目選択履歴データベース510を参照して、読影項目適合度算出部160で算出された、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目の中から、類似症例検索に用いる読影項目を設定する。つまり、読影項目設定部230は、適合度が所定の閾値以上の読影項目または適合度の大きい順に所定の個数の読影項目と同じ読影項目の組み合わせを有する選択履歴情報を読影項目選択履歴データベース510の中から検索する。読影項目設定部230は、検索した選択履歴情報で示されるのと同じ読影項目を選択することにより設定する。例えば、適合度が所定の閾値以上の読影項目が「早期濃染」、「まだら状」、「washout」、「内部不均一」、「リング状」の5つであった場合、読影項目適合度算出部160は、図41に示す選択履歴情報を参照することにより、読影項目「早期濃染」、「washout」を選択することにより設定する。なお、適合度が所定の閾値以上の読影項目の組み合わせに対して、複数通りの選択履歴情報(図41の選択パターンが複数)がある場合は、選択履歴の頻度が最も多い選択履歴情報を用いて、読影項目を選択設定すればよい。また、選択履歴の頻度の上位の所定個数分に対して、それぞれ、選択履歴情報を読影者に対して提示して、その中から読影者が選択するようにしてもよい。なお、選択履歴情報は臓器別または疾病名別に分類されているのが望ましく、類似症例検索の対象としている臓器または疾病名が同一の選択履歴情報を用いて読影項目を設定するのが望ましい。なお、類似症例検索の対象としている臓器または疾病名は、読影者が入力するようにしても良い。
 実施の形態6によると、読影者が読影項目を選択すること無しに、現在の読影対象画像の内容に応じて画像特徴量に対する重みを最適化した類似症例検索を実行できる。
 また、ステップS34Bで設定された読影項目を図25のような形式で表示し、読影者に現在どの読影項目を重視して類似症例検索を行っているのかを提示してもよい。また、図27のように適合度も併せて提示してもよい。さらに、提示された読影項目を読影者に選択させることで、現在の類似症例検索結果を参考にした、2回目の類似症例検索を実行してもよい。
 なお、実施の形態1から6では、医用画像と読影レポートからなる症例について検索を行う例を説明したが、本発明の検索対象は症例に限定されるものではなく、画像と画像に対するテキストデータとからなるデータセットを検索対象とすることもできる。例えば、植物画像とその植物画像に対する説明とからなるデータセットを検索対象とすることも可能である。この場合には、医用画像の画像特徴量の代わりに植物画像の画像特徴量(例えば、花びら数、茎の太さなど)を用い、読影レポートの代わりに植物画像に対する説明を用いることにより、上記説明を作成する際に読影者が着目した画像特徴量を重みとして反映した上で、植物画像の検索を行うことができる。
 なお、図42に示すように、症例データベース100、第一の読影知識データベース110および第二の読影知識データベース120は、必ずしも類似症例検索装置に備えられていなくてもよく、類似症例検索装置が存在する場所Aとは異なる場所Bに備えられていても良い。この場合、類似症例検索装置の読影項目適合度算出部160と重み決定部190と類似症例検索部200が、それぞれ、ネットワークを介して症例データベース100、第一の読影知識データベース110および第二の読影知識データベース120に接続される。また、これらのデータベースと同様に、図39および図40に示した読影項目選択履歴データベース510も、必ずしも類似症例検索装置に備えられていなくてもよく、類似症例検索装置が存在する場所とは異なる場所に備えられていても良い。
 また、上記の各装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI (Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
 また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
 さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(登録商標))、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
 また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
 また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
 また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
 さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
 本発明は、読影者に参考となる類似症例を検索および提示する類似症例検索装置、および、研修読影医のための読影教育装置等に利用可能である。
100 症例データベース
110 第一の読影知識データベース
120 第二の読影知識データベース
130 読影対象画像読込部
140 読影対象画像表示部
150 画像特徴抽出部
160 読影項目適合度算出部
170 読影項目候補表示部
180 読影項目選択部
190 重み決定部
200 類似症例検索部
210 類似症例表示部
220、220A 読影端末
230 読影項目設定部
300 読影対象画像
310 読影項目候補表示・選択領域
320 読影レポート入力領域
330 類似症例表示領域
410 腹部の周囲
420 対象臓器
430 病変領域
440 点(病変の中心)
510 読影項目選択履歴データベース

Claims (11)

  1.  医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、
     読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、
     医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、
     前記読影項目適合度算出部が算出した適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示部と、
     ユーザに、前記読影項目候補表示部が表示した読影項目の中から、読影項目を選択させる読影項目選択部と、
     医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目選択部で選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、
     前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部と
     を備える類似症例検索装置。
  2.  前記読影項目適合度算出部は、
     前記第一の読影知識から、適合度算出の対象読影項目に関連する全ての画像特徴量の値の存在範囲情報を取得し、
     前記画像特徴抽出部が抽出した各画像特徴量と、取得した前記存在範囲情報との一致度を算出し、
     前記第二の読影知識に基づいた前記対象読影項目との間の関連性が高い画像特徴量ほど、当該画像特徴量について算出した前記一致度に対する重みを大きくした上で、前記画像特徴抽出部が抽出した前記複数の画像特徴量に対して算出した複数の前記一致度を統合することにより、前記画像特徴抽出部が抽出した前記複数の画像特徴量の前記対象読影項目に対する適合度を算出する
     請求項1記載の類似症例検索装置。
  3.  前記読影項目候補表示部は、さらに、読影項目と共に、当該読影項目に対応する適合度を表示する
     請求項1または2に記載の類似症例検索装置。
  4.  前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目同士の共起確率を決定し、決定した前記共起確率が所定値以下である場合に、読影項目の選択誤りの可能性を示す情報を表示する
     請求項1から3のいずれか1項に記載の類似症例検索装置。
  5.  前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートにおける読影項目同士の共起度合いを予め定めた共起確率情報に基づいて、前記読影項目選択部で選択された読影項目との共起確率が所定値以下の読影項目が選択不可能であることを表示する
     請求項1から3のいずれか1項に記載の類似症例検索装置。
  6.  前記読影項目候補表示部は、さらに、医用画像に付属する読影レポートから抽出される、医用画像の特徴を言語化した文字列である読影項目と疾病名の間の関連性を予め定めた関連性情報に基づいて、選択された読影項目との関連性が最も高い疾病名を推定し、前記推定された疾病名を表示する
     請求項1から5のいずれか1項に記載の類似症例検索装置。
  7.  医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索装置であって、
     読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、
     医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出部が抽出した複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出部と、
     前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定部と、
     医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影項目設定部が設定した読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定部と、
     前記画像特徴抽出部が抽出した前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部が決定した画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部と
     を備える類似症例検索装置。
  8.  前記読影項目設定部は、
     読影項目の組の中から過去にユーザが選択した読影項目の履歴情報に基づいて、前記読影項目適合度算出部が算出した適合度が所定値以上の読影項目の中から、前記履歴情報と同じ選択を行うことで得られる読影項目を、類似症例検索に使用する読影項目として設定する
     請求項7記載の類似症例検索装置。
  9.  医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索方法であって、
     読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出ステップと、
     医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出ステップと、
     前記読影項目適合度算出ステップにおいて算出された適合度が所定閾値よりも大きい読影項目、または適合度が大きいものから所定個数の読影項目を表示する読影項目候補表示ステップと、
     ユーザに、前記読影項目候補表示ステップにおいて表示された読影項目の中から、読影項目を選択させる読影項目選択ステップと、
     医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記読影項目選択ステップにおいて選択された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定ステップと、
     前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索ステップと
     を含む類似症例検索方法。
  10.  医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データを複数蓄積した症例データベースから、読影対象の医用画像に類似する医用画像を含む症例データを検索する類似症例検索方法であって、
     読影対象の医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出ステップと、
     医用画像の特徴を言語化した文字列である任意の読影項目に対し、前記読影項目を含む読影レポートに対応する医用画像から抽出された複数の画像特徴量を基に算出された、画像特徴量の種類毎の値の存在範囲を示す情報である第一の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された複数の画像特徴量の各読影項目に対する適合度を算出する読影項目適合度算出ステップと、
     前記読影項目適合度算出ステップにおいて算出された適合度が所定値以上の読影項目を、類似症例検索に使用する読影項目として設定する読影項目設定ステップと、
     医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を予め定めた第二の読影知識に基づいて、前記画像特徴抽出ステップにおいて抽出された画像特徴量ごとに、当該画像特徴量と前記読影項目設定ステップにおいて設定された読影項目との間の関連性が高いほど大きな値の重みを決定する重み決定ステップと、
     前記画像特徴抽出ステップにおいて抽出された前記複数の画像特徴量と、症例データベースに登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定ステップにおいて決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索ステップと
     を含む類似症例検索方法。
  11.  請求項9または請求項10に記載の類似症例検索方法に含まれる各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2011/006161 2011-11-04 2011-11-04 類似症例検索装置および類似症例検索方法 WO2013065090A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2011/006161 WO2013065090A1 (ja) 2011-11-04 2011-11-04 類似症例検索装置および類似症例検索方法
CN201180015465.9A CN103200861B (zh) 2011-11-04 2011-11-04 类似病例检索装置以及类似病例检索方法
JP2012513395A JP5054252B1 (ja) 2011-11-04 2011-11-04 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
US13/482,129 US8958613B2 (en) 2011-11-04 2012-05-29 Similar case searching apparatus and similar case searching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/006161 WO2013065090A1 (ja) 2011-11-04 2011-11-04 類似症例検索装置および類似症例検索方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/482,129 Continuation US8958613B2 (en) 2011-11-04 2012-05-29 Similar case searching apparatus and similar case searching method

Publications (1)

Publication Number Publication Date
WO2013065090A1 true WO2013065090A1 (ja) 2013-05-10

Family

ID=47189523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/006161 WO2013065090A1 (ja) 2011-11-04 2011-11-04 類似症例検索装置および類似症例検索方法

Country Status (4)

Country Link
US (1) US8958613B2 (ja)
JP (1) JP5054252B1 (ja)
CN (1) CN103200861B (ja)
WO (1) WO2013065090A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015146519A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
WO2015146520A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
WO2015146521A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2015191561A (ja) * 2014-03-28 2015-11-02 株式会社東芝 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
JP2020181250A (ja) * 2019-04-23 2020-11-05 富士通株式会社 びまん性症例画像判定プログラム、システム、及び方法
US11062443B2 (en) 2018-08-31 2021-07-13 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and program
JPWO2020110520A1 (ja) * 2018-11-27 2021-10-14 富士フイルム株式会社 類似度決定装置、方法およびプログラム
US11854190B2 (en) 2018-08-31 2023-12-26 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and similarity determination program
US11893735B2 (en) 2018-08-31 2024-02-06 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and similarity determination program

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011092681A (ja) * 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
CN104303184B (zh) * 2012-03-21 2018-05-15 皇家飞利浦有限公司 整合医疗成像和活检数据的临床工作站以及使用其的方法
US10586570B2 (en) 2014-02-05 2020-03-10 Snap Inc. Real time video processing for changing proportions of an object in the video
US10331851B2 (en) * 2014-05-29 2019-06-25 Panasonic Corporation Control method and non-transitory computer-readable recording medium
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム
KR20160054992A (ko) * 2014-11-07 2016-05-17 삼성전자주식회사 관심영역의 재검출 회피 장치 및 방법
US10116901B2 (en) 2015-03-18 2018-10-30 Avatar Merger Sub II, LLC Background modification in video conferencing
JP2016184221A (ja) * 2015-03-25 2016-10-20 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
CN106156457B (zh) * 2015-03-27 2019-04-09 时云医疗科技(上海)有限公司 一种基于体征数据的信息推送方法及系统
WO2016163170A1 (ja) * 2015-04-07 2016-10-13 富士フイルム株式会社 診療支援装置とその作動方法および作動プログラム、並びに診療支援システム
JPWO2017017721A1 (ja) * 2015-07-24 2018-01-25 三菱電機株式会社 治療計画装置
CN106529110A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 一种用户数据分类的方法和设备
JP6697743B2 (ja) * 2015-09-29 2020-05-27 パナソニックIpマネジメント株式会社 情報端末の制御方法及びプログラム
CN105653858A (zh) * 2015-12-31 2016-06-08 中国科学院自动化研究所 一种基于影像组学的病变组织辅助预后系统和方法
EP3557449B1 (en) * 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
JP6785948B2 (ja) * 2017-03-30 2020-11-18 富士フイルム株式会社 医療用画像処理装置及び内視鏡システム並びに医療用画像処理装置の作動方法
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6862286B2 (ja) * 2017-05-31 2021-04-21 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
US10783634B2 (en) * 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US11049250B2 (en) * 2017-11-22 2021-06-29 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10799189B2 (en) 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
CN108171692B (zh) * 2017-12-26 2021-03-26 安徽科大讯飞医疗信息技术有限公司 一种肺部影像检索方法及装置
JP7133385B2 (ja) * 2018-08-01 2022-09-08 合同会社H.U.グループ中央研究所 プログラム、情報処理方法および情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009045121A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 医用画像処理システム、医用画像処理方法、及びプログラム
JP2010211749A (ja) * 2009-03-12 2010-09-24 Fujifilm Corp 症例画像検索装置、方法およびプログラム
JP2011048672A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 症例画像登録装置、方法およびプログラム
JP2011118540A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例検索装置、方法およびプログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
CN101903888B (zh) * 2007-12-21 2013-12-04 皇家飞利浦电子股份有限公司 用于基于跨模态病例的计算机辅助诊断的方法和系统
CN101911077B (zh) * 2007-12-27 2016-05-11 皇家飞利浦电子股份有限公司 用于分层搜索的方法和装置
CN100573530C (zh) * 2008-01-25 2009-12-23 华中科技大学 基于网格平台的分布式医学图像检索系统
CN101488167A (zh) * 2009-01-22 2009-07-22 清华大学 图像导入、处理、存储与显示装置及其方法
CN102053963B (zh) * 2009-10-28 2012-08-08 沈阳工业大学 一种胸部x线图像检索方法
CN101706843B (zh) * 2009-11-16 2011-09-07 杭州电子科技大学 一种乳腺cr图像交互式读片方法
CN102117329B (zh) * 2011-03-04 2012-08-15 南方医科大学 基于小波变换的胶囊内窥镜图像检索方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009045121A (ja) * 2007-08-14 2009-03-05 Fujifilm Corp 医用画像処理システム、医用画像処理方法、及びプログラム
JP2010211749A (ja) * 2009-03-12 2010-09-24 Fujifilm Corp 症例画像検索装置、方法およびプログラム
JP2011048672A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 症例画像登録装置、方法およびプログラム
JP2011118540A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例検索装置、方法およびプログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015191287A (ja) * 2014-03-27 2015-11-02 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
WO2015146520A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
WO2015146521A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2015191286A (ja) * 2014-03-27 2015-11-02 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
WO2015146519A1 (ja) * 2014-03-27 2015-10-01 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2015191285A (ja) * 2014-03-27 2015-11-02 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP2015191561A (ja) * 2014-03-28 2015-11-02 株式会社東芝 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
US11062443B2 (en) 2018-08-31 2021-07-13 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and program
US11854190B2 (en) 2018-08-31 2023-12-26 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and similarity determination program
US11893735B2 (en) 2018-08-31 2024-02-06 Fujifilm Corporation Similarity determination apparatus, similarity determination method, and similarity determination program
JP7091475B2 (ja) 2018-11-27 2022-06-27 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JPWO2020110520A1 (ja) * 2018-11-27 2021-10-14 富士フイルム株式会社 類似度決定装置、方法およびプログラム
JP2020181250A (ja) * 2019-04-23 2020-11-05 富士通株式会社 びまん性症例画像判定プログラム、システム、及び方法
JP7326845B2 (ja) 2019-04-23 2023-08-16 富士通株式会社 びまん性症例画像判定プログラム、システム、及び方法

Also Published As

Publication number Publication date
JPWO2013065090A1 (ja) 2015-04-02
CN103200861B (zh) 2015-10-14
JP5054252B1 (ja) 2012-10-24
US8958613B2 (en) 2015-02-17
US20130114867A1 (en) 2013-05-09
CN103200861A (zh) 2013-07-10

Similar Documents

Publication Publication Date Title
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
JP4979842B1 (ja) 類似症例検索装置および類似症例検索方法
JP5475923B2 (ja) 類似症例検索装置および類似症例検索方法
WO2013001584A1 (ja) 類似症例検索装置および類似症例検索方法
JP5462414B2 (ja) 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US9111027B2 (en) Similar case search apparatus and similar case search method
US20170193660A1 (en) Identifying a Successful Therapy for a Cancer Patient Using Image Analysis of Tissue from Similar Patients
JP5383431B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5852970B2 (ja) 症例検索装置および症例検索方法
US8306960B2 (en) Medical image retrieval system
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
US10733727B2 (en) Application of deep learning for medical imaging evaluation
JP2009095649A (ja) 医用情報処理システム、医用情報処理方法、及びプログラム
US11062448B2 (en) Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program
WO2019193982A1 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
US20220285011A1 (en) Document creation support apparatus, document creation support method, and program
JP2010172559A (ja) 医療診断支援システム及び医療診断支援装置
Zhou et al. Computer‐aided detection of pulmonary embolism in computed tomographic pulmonary angiography (CTPA): Performance evaluation with independent data sets
WO2020099941A1 (en) Application of deep learning for medical imaging evaluation
CN114201613A (zh) 试题生成方法、试题生成装置、电子设备以及存储介质
CN115943426A (zh) 用于标识医学图像集中的异常图像的方法和系统
JP2013105465A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法
CN117711576A (zh) 用于提供医学报告的模板数据结构的方法和系统

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2012513395

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11874997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11874997

Country of ref document: EP

Kind code of ref document: A1