WO2013018363A1 - 類似症例検索装置および類似症例検索方法 - Google Patents

類似症例検索装置および類似症例検索方法 Download PDF

Info

Publication number
WO2013018363A1
WO2013018363A1 PCT/JP2012/004886 JP2012004886W WO2013018363A1 WO 2013018363 A1 WO2013018363 A1 WO 2013018363A1 JP 2012004886 W JP2012004886 W JP 2012004886W WO 2013018363 A1 WO2013018363 A1 WO 2013018363A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
interpretation
image feature
extracted
examination
Prior art date
Application number
PCT/JP2012/004886
Other languages
English (en)
French (fr)
Inventor
佳州 佐藤
近藤　堅司
和豊 高田
和紀 小塚
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013504606A priority Critical patent/JP5475923B2/ja
Publication of WO2013018363A1 publication Critical patent/WO2013018363A1/ja
Priority to US13/903,243 priority patent/US8934695B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Definitions

  • the present invention relates to a similar case search apparatus and a similar case search method for searching for similar cases that are useful for interpretation of medical images.
  • Patent Document 1 An apparatus that searches for similar cases using a plurality of test results is disclosed in Patent Document 1.
  • a similar case search is performed that satisfies the three conditions of the imaging method identity with the search target case, the identity of examination between similar case information, and the similarity of image features with the search target.
  • the inspection in the document refers to modalities such as CT and MRI
  • the imaging method refers to an imaging method, imaging conditions, imaging protocol, and imaging sequence.
  • the information used for the search is the identity of the examination and the identity of the imaging method. For this reason, there is a problem that the intention of the inspection, that is, the point of view of the image interpreter, such as what point in the image of which inspection method should be focused on, should not be reflected in the search. ing.
  • the present invention solves the above-mentioned conventional problem, and reflects the viewpoint of the image reader in the similar case search, and performs similar case search including information on examinations of a plurality of different modalities or information on time series changes.
  • a similar case search apparatus capable of
  • the similar case retrieval apparatus describes a medical image obtained by performing a first examination on a subject and a result obtained by interpreting the medical image.
  • a similar case retrieval apparatus that retrieves case data similar to case data including an interpretation report that is document data from a case database, and is an interpretation target image that is a medical image obtained by performing a first examination on a subject.
  • the image feature extraction unit that extracts a plurality of image feature amounts from the image, and the target interpretation report that is an interpretation report obtained by the interpreter interpreting the interpretation target image, the description about the first examination and the first examination
  • the report analysis unit that divides the description about the second examination different from the first examination performed on the subject, and the report analysis unit From a medical image, a reference expression extraction unit that extracts a reference expression that is a character string indicating a characteristic of a reference image obtained by performing the second examination on the subject of the first examination from the description relating to the second examination Based on the binary relation information that predetermines the relevance between each extracted image feature amount and each reference expression extracted from the interpretation report for the medical image, the image feature extraction unit performs the interpretation target.
  • a weight determination unit that determines a greater weight as the relevance between the image feature amount and the reference expression extracted by the reference expression extraction unit is higher, and the image feature The plurality of image feature amounts extracted from the image to be interpreted by the extraction unit, and the plurality of image feature amounts extracted from medical images included in the case data registered in the case database.
  • a similar case retrieval unit that retrieves case data including a medical image similar to the image to be interpreted from the case database by weighting and comparing with the weight for each image feature amount determined by the weight determination unit. .
  • the similar case search device of the present invention it is possible to perform a similar case search including information on examinations of a plurality of modalities different from each other or information on time-series changes by reflecting the viewpoint of the interpreter on the similar case search.
  • a similar case search apparatus can be provided.
  • FIG. 1 is a block diagram illustrating a configuration of a similar case retrieval apparatus according to an embodiment.
  • FIG. 2 is a flowchart showing a procedure for creating interpretation knowledge in the embodiment.
  • FIG. 3 is a flowchart showing a procedure of image feature amount extraction in the embodiment.
  • FIG. 4 is a diagram illustrating an example of an interpretation report of an abdominal CT examination in the embodiment.
  • FIG. 5A is a diagram illustrating interpretation items extracted from the interpretation report in the embodiment.
  • FIG. 5B is a diagram illustrating a reference expression extracted from the image interpretation report in the embodiment.
  • FIG. 5C is a diagram illustrating disease names extracted from the interpretation report in the embodiment.
  • FIG. 6 is a diagram illustrating interpretation items extracted from the interpretation report in the embodiment, and position and time phase information extracted simultaneously with the interpretation items.
  • FIG. 7 is a diagram showing interpretation items extracted from the interpretation report in the embodiment, and position and time phase information extracted at the same time as the interpretation items after context interpretation.
  • FIG. 8 is a conceptual diagram of a correlation (binary) between an interpretation item and an image feature amount in the embodiment.
  • FIG. 9 is a conceptual diagram of the correlation (multivalue) between the interpretation item and the image feature amount in the embodiment.
  • FIG. 10 is a conceptual diagram of the correlation (binary) between the reference expression and the image feature amount in the embodiment.
  • FIG. 11 is a conceptual diagram of a correlation (binary) between a disease name and an image feature amount in the embodiment.
  • FIG. 12 is a conceptual diagram of a correlation (binary) between an interpretation item / reference expression and a disease name in the embodiment.
  • FIG. 13 is a diagram illustrating a storage format of correlation between (image feature amount ⁇ interpretation item) and (image feature amount ⁇ reference expression) extracted as interpretation knowledge in the embodiment.
  • FIG. 14 is a diagram illustrating a storage format of a correlation between (image feature amount ⁇ disease name) extracted as interpretation knowledge in the embodiment.
  • FIG. 15 is a diagram illustrating a storage format of correlation between (interpretation item ⁇ disease name) and (reference expression—disease name) extracted as interpretation knowledge in the embodiment.
  • FIG. 16 is a flowchart illustrating a procedure for searching for similar cases in the embodiment.
  • FIG. 17 is a diagram showing an outline of similar case search in the embodiment.
  • FIG. 18 is a diagram illustrating the weighting method 1 when searching for similar cases in the embodiment.
  • FIG. 19 is a diagram illustrating the weighting method 2 when searching for similar cases in the embodiment.
  • FIG. 20 is a diagram illustrating a weighting method 3 when searching for similar cases in the embodiment.
  • FIG. 21 is a diagram showing another outline of similar case search in the embodiment.
  • FIG. 22 is a block diagram showing another configuration of the similar case retrieval apparatus in the embodiment.
  • a similar case retrieval apparatus includes a medical image obtained by performing a first examination on a subject, and an interpretation report that is document data in which a result of interpretation of the medical image is described.
  • a report analysis unit that divides a description related to a second test different from the test, and a description related to the second test divided by the report analysis unit
  • a reference expression extraction unit that extracts a reference expression that is a character string indicating a feature of a reference image obtained by performing two examinations on a subject of the first examination; and each image feature amount extracted from a medical image; For each image feature amount extracted from the image to be interpreted by the image feature extraction unit, based on binary relation information that predetermines the relationship between each reference expression extracted from the interpretation report for the medical image.
  • a weight determining unit that determines a larger weight as the relevance between the image feature quantity and the reference expression extracted by the reference expression extracting unit is higher, and the image feature extracting unit extracts from the image to be interpreted
  • the plurality of image feature amounts and the plurality of image feature amounts extracted from the medical images included in the case data registered in the case database are image features determined by the weight determination unit. By comparing weighted with the weight per volume, and a similar case retrieval unit for retrieving case data containing the medical image similar to the image to be interpreted from the case database.
  • the image feature amount is weighted based on the reference expression extracted from the target interpretation report, and the similar case search is performed based on the weighted image feature amount. That is, the weight is relatively large for the image feature amount related to the extracted reference expression, and the weight is relatively small for the image feature amount not related.
  • weighting can be performed based on descriptions for other examinations of the same subject. Thereby, the viewpoint of the image interpreter can be reflected in the similar case search, and the similar case search including information on examinations of a plurality of modalities different from each other or information on time series change can be performed.
  • the report analysis unit includes, in the target interpretation report, a description including a description related to a medical image imaging apparatus different from the medical image imaging apparatus used for the first examination, and a description relating to the second examination.
  • the report analysis unit may divide a description including a description related to the past from the target interpretation report as a description related to the second examination.
  • the similar case search apparatus further includes an interpretation content extraction unit that extracts an interpretation item that is a character string indicating a characteristic of the interpretation target image from the description relating to the first examination divided by the report analysis unit.
  • the binomial relationship information further indicates a relationship between each image feature amount extracted from a medical image and each interpretation item extracted from an interpretation report for the medical image
  • the weight determination unit includes: For each image feature amount extracted from the interpretation target image by the image feature extraction unit based on the binary relation information, the image interpretation item or the reference expression extracted by the image feature amount and the interpretation content extraction unit You may determine the weight of a bigger value, so that the relationship with the said reference expression which the extraction part extracted is high.
  • the image feature amount is weighted based on the interpretation item or reference expression extracted from the target interpretation report, and the similar case search is performed based on the weighted image feature amount. That is, the weight is relatively large for the image feature amount related to the extracted interpretation item or reference expression, and the weight is relatively small for the image feature amount not related.
  • weighting can be performed based on descriptions for other examinations of the same subject. Thereby, the viewpoint of the image interpreter can be reflected in the similar case search, and the similar case search including information on examinations of a plurality of modalities different from each other or information on time series change can be performed.
  • the image interpretation content extraction unit further extracts a disease name that is a diagnosis result of the image interpreter from the description about the first examination, and the binomial relationship information is further extracted from the medical image.
  • the relationship between the quantity and each disease name extracted from the interpretation report for the medical image, and the weight determination unit is configured to determine whether the image feature extraction unit is the interpretation target based on the binomial relationship information. For each image feature amount extracted from the image, the relationship between the image feature amount and the interpretation item or disease name extracted by the interpretation content extraction unit or the reference expression extracted by the reference expression extraction unit is high. A larger value weight may be determined.
  • the image feature amount can be weighted based on the disease name extracted from the target interpretation report. Thereby, a similar case search can be performed in consideration of a disease name.
  • the weight determination unit extracts the image feature extraction unit from the interpretation target image based on the binomial relationship information. For each image feature amount, a higher value weight may be determined as the relevance between the image feature amount and the interpretation item extracted by the interpretation content extraction unit is higher.
  • an appropriate similar case search can be performed in a situation where an interpreter has estimated a disease name by intuition or the like but is wondering about an interpretation item as a basis thereof.
  • the radiogram interpreter can obtain a hint of diagnosis basis (interpretation item) from the result of similar case search.
  • the binomial relationship information further indicates the relationship between the interpretation item extracted from the interpretation report and the disease name, and the interpretation content extraction unit extracts the disease name from the description about the first examination. And, when the interpretation content extraction unit extracts an interpretation item from the description about the first examination, or the reference expression extraction unit extracts a reference expression from the description about the second examination, the weight determination unit Based on the binomial relationship information, for each image feature amount extracted from the image to be interpreted by the image feature extraction unit, the interpretation item or the reference expression extracted by the image feature amount and the interpretation content extraction unit.
  • the weight determination unit For each image feature amount extracted by the image feature extraction unit based on the binomial relationship information, the image feature amount and the interpretation item extracted by the interpretation content extraction unit or the reference expression extracted by the reference expression extraction unit You may determine the value which shows the relationship between expression as a weight with respect to the said image feature-value.
  • the interpretation item or reference expression that should be noted by the interpreter can be determined, but the final diagnosis of the disease name is lost, and the diagnosis of the disease name diagnosis is being obtained from the similar case search results. In the situation, an appropriate similar case search can be performed.
  • Each case data registered in the case database further includes a medical image obtained by performing the second examination on the subject of the first examination
  • the image feature extraction unit further includes: A plurality of image feature amounts are extracted from the reference image, and the weight determination unit further includes, based on the binomial relationship information, for each image feature amount extracted from the reference image by the image feature extraction unit. The higher the relevance between the image feature amount and the interpretation item extracted by the interpretation content extraction unit or the reference expression extracted by the reference expression extraction unit, the higher the weight of the value, and the similar case search unit
  • the image feature extraction unit extracts the image feature amount extracted from the image to be interpreted and the reference image, and a plurality of the medical images included in the case data registered in the case database.
  • Case data including images may be retrieved from the case database.
  • a similar case search can be performed by comparing a plurality of medical images. That is, a similar case search that integrates medical images of a plurality of other examinations that reflect the viewpoint of the interpreter can be performed.
  • FIG. 1 is a block diagram of a similar case retrieval apparatus according to an embodiment.
  • the similar case retrieval apparatus includes a case database 100, an interpretation knowledge database 110, an examination image acquisition unit 120, an interpretation target image display unit 130, a report input / output unit 140, a report analysis unit 150, and an interpretation content extraction unit 160.
  • the case database 100 includes at least one medical image such as CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) (in this specification, “image data” is simply referred to as “image”) and the medical image.
  • image data is simply referred to as “image”
  • image is simply referred to as “cases”
  • the interpretation knowledge database 110 is a database that stores interpretation knowledge obtained by analyzing a plurality of cases. Details will be described later.
  • the case database 100 and the interpretation knowledge database 110 are stored in a storage device such as an HDD (Hard Disk Drive).
  • the examination image acquisition unit 120 stores all of the images to be interpreted and the other examination images (reference images) of the same subject taken by a medical imaging apparatus such as CT or MRI, or the medical imaging apparatus or an externally connected storage. Read from the device.
  • the other examination image may be obtained from the same hospital as the acquisition source of the image to be interpreted, or may be obtained from another hospital that has undergone an examination in the past via a network.
  • the interpretation target image display unit 130 is composed of a medical high-definition monitor or the like, and displays the interpretation target image read by the examination image acquisition unit 120.
  • the report input / output unit 140 includes an input device such as a keyboard and a mouse, and a display device for allowing an input person to confirm by displaying a report input using such an input device.
  • the interpreter inputs an interpretation report through the report input / output unit 140 while referring to the interpretation target image displayed on the interpretation target image display unit 130.
  • the interpretation target image display unit 130, the report input / output unit 140, and a similar case display unit 210, which will be described later, constitute an interpretation terminal 220.
  • the report analysis unit 150 analyzes the interpretation report input by the report input / output unit 140, and divides the description included in the interpretation report into a description about the image to be interpreted currently being interpreted and a description about other examinations. To do.
  • the image interpretation content extraction unit 160 extracts an interpretation item obtained by verbalizing information read from a medical image by a doctor who is an image interpreter from the description of the image being interpreted obtained from the report analysis unit 150, and uses it as a text feature amount. .
  • the reference expression extraction unit 170 analyzes a reference expression to be described later from the description about the other examinations obtained from the report analysis unit 150, and extracts a text feature amount.
  • the image feature extraction unit 180 extracts a plurality of types of image feature amounts from all the medical images read by the examination image acquisition unit 120.
  • the weight determination unit 190 is stored in the text feature amount extracted by at least one of the interpretation content extraction unit 160 and the reference expression extraction unit 170, the image feature amount extracted by the image feature extraction unit 180, and the interpretation knowledge database 110. From the interpretation knowledge, weights for a plurality of image feature amounts used in image retrieval are respectively determined.
  • the similar case search unit 200 includes a medical image similar to the image to be interpreted from the case database 100 by using the image feature amount extracted by the image feature extraction unit 180 and the weight determined by the weight determination unit 190. Search for cases.
  • the similar case display unit 210 displays the similar cases searched by the similar case search unit 200.
  • the similar case display unit 210 may be separately configured with the same model as the high-definition monitor that constitutes the interpretation target image display unit 130.
  • the similar case display unit 210 and the interpretation target image display unit 130 may be of different models.
  • the similar case display unit 210 and the interpretation target image display unit 130 may be configured by the same high-definition monitor, and the interpretation target image and the similar case may be simultaneously displayed on the high-definition monitor.
  • interpretation knowledge is obtained in advance and stored in the interpretation knowledge database 110.
  • Interpretation knowledge is obtained from a collection of a plurality of “cases” composed of pairs of medical images and interpretation reports that are the results of interpretation of the medical images.
  • cases those stored in the case database 100 for searching for similar cases from among similar cases may be used, or cases stored in other databases may be used.
  • the required number of cases is sufficient to obtain some kind of law and knowledge using various data mining algorithms. Usually, hundreds to tens of thousands of data are used.
  • interpretation knowledge the correlation between two terms among the three terms of image feature, interpretation item, and disease name, and between the two terms of the three terms of image feature, reference expression, and disease name. Use correlation.
  • the “image feature amount” includes those related to the shape of an organ or a lesion in a medical image, or those related to a luminance distribution.
  • Non-Patent Document 1 “Nemoto, Shimizu, Sugawara, Obata, Nawano,” improves image shadow discrimination accuracy on breast X-ray images and selects features at high speed.
  • "Proposal of the method” IEICE Transactions D-II, Vol. J88-D-II, No. 2, pp. 416-426, February 2005, describes the use of 490 features. ing.
  • several tens to several hundreds of image feature amounts predetermined for each medical image capturing apparatus (modality) used for capturing a medical image or each target organ for interpretation are used.
  • interpretation item is defined as “a character string in which the interpretation doctor verbalizes the characteristics of an image to be interpreted”.
  • the terms used as interpretation items are almost limited depending on the medical imaging apparatus or target organ used. For example, lobed, spiny, irregular, clear border, unclear, low concentration, high concentration, low absorption, high absorption, ground glass, calcification, mosaic, early dark staining, low echo, high echo, fluff , Etc.
  • reference expression means “medical image obtained by conducting another examination different from the examination on the subject of the examination conducted to obtain the interpretation target image included in the interpretation report. It is defined as “a character string indicating the characteristics of (reference image)”.
  • the other inspections mentioned here include both inspections with the same modality and inspection with different modalities of the interpretation target image currently being interpreted. In the former case, a keyword such as “increased compared to the previous time” corresponds to the reference expression. In the latter case, the “high signal at MR” appears in the interpretation report in which the interpretation target image is a CT image as the reference expression. ",” High echo in US “corresponds to the description.
  • the reference expression mainly describes information that cannot be obtained only from the image currently being interpreted, among other examination information.
  • Disease name means the name of a disease diagnosed by a radiogram interpreter based on medical images and other examinations. Although the diagnosis disease name at the time of interpretation may differ from the disease name that has been confirmed through other examinations, the result of the definitive diagnosis is used when the interpretation knowledge database 110 is created.
  • the medical imaging apparatus to be used in this embodiment that is, the medical imaging apparatus to be used is a multi-slice CT, and the target organ and disease are a liver and a liver mass, respectively.
  • one case is acquired from a database in which cases for obtaining interpretation knowledge are stored.
  • One case is composed of a set of a medical image, an interpretation report that is a result of interpretation of the medical image, and medical images in all examinations performed so far.
  • a medical image is acquired by a multi-slice CT apparatus
  • one case includes a large number of slice images.
  • an examination using a contrast agent may be performed.
  • imaging is performed a plurality of times with a time interval in one examination. In this case, a set of a large number of slice images is obtained for the number of times of shooting.
  • step S11 image feature amounts are extracted from all acquired medical images. The process of step S11 will be described in detail using the flowchart of FIG.
  • step S111 a medical image for one examination is selected from medical images for a plurality of examinations included in the case.
  • step S112 the region of the target organ is extracted from the image selected in step S111.
  • a liver region is extracted.
  • Non-Patent Document 2 “Tanaka, Shimizu, Obata,“ Improvement of liver region extraction method considering concentration pattern of abnormal part ⁇ second report> ”, IEICE technical report, Techniques such as “Medical image, 104 (580), pp. 7-12, January 2005” can be used.
  • a lesion area is extracted from the organ area extracted in step S112.
  • a tumor region is extracted from the liver region.
  • Non-Patent Document 3 “Nakagawa, Shimizu, Hitosugi, Obata,“ Development of Automatic Extraction Method of Liver Tumor Shadow from 3D Abdominal CT Image ⁇ Second Report> ”, Medical Image , 102 (575), pp. 89-94, January 2003 ”can be used.
  • step S114 one region is selected from the lesion regions extracted in step S113.
  • step S115 an image feature amount is extracted from the lesion area selected in step S114.
  • image feature amounts are selected and used as image feature amounts.
  • step S116 it is checked whether or not there is an unselected lesion among the lesion areas extracted in step S113. If there is an unselected lesion, the process returns to step S114 to select an unselected lesion area. S115 is re-executed. If there is no unselected lesion, that is, if the feature amount extraction of step S115 is performed for all the lesion regions extracted in step S113, the process proceeds to step S117.
  • step S117 it is checked whether or not there is a medical image of the unselected examination in the case. If there is a medical image of the unselected examination, the process returns to step S111, and one image is selected from the medical images of the unselected examination. Then, S112 to S116 are executed again. When there is no medical image of the unselected examination, that is, when image feature amounts are extracted for all medical images in the case, the process of the flowchart of FIG. 3 is terminated and the process returns to the flowchart of FIG.
  • an interpretation report analysis process is performed. Specifically, the interpretation report is divided into a description of the current interpretation image and a description of another inspection image. Other inspection descriptions are further divided into descriptions for each inspection.
  • morphological analysis and syntax analysis are performed using a word dictionary including words corresponding to modality names and time-series changes.
  • Non-Patent Document 4 MeCab (http://mecab.sourceforge.net)
  • Non-Patent Document 5 ChaSen (http://chasen-legacy.sourceforge.jp), etc.
  • Non-patent document 6 KNP (http://nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html)
  • Non-patent document 7 CaboCha (http://chasen.org) / ⁇ Take / software / cabocha /) and the like exist.
  • Interpretation reports are often described by interpreters using expressions unique to the interpretation report. Therefore, it is desirable to develop morphological analysis technology, syntax analysis technology, and word dictionaries specialized for interpretation reports. When words corresponding to modality names or time-series changes appear in the sentence, the report is divided. With these processes, the interpretation report is divided into descriptions for each corresponding examination. For example, when descriptions such as “in MR” and “in past examination” appear in a CT interpretation report, they are divided into MR descriptions and past (CT) descriptions, respectively.
  • CT past
  • step S13 an interpretation item and a disease name are extracted from the description about the image currently being interpreted obtained in step S12.
  • morphological analysis and syntax analysis are performed using an interpretation item word dictionary storing interpretation items related to the imaging modality to be interpreted, and a disease name word dictionary storing disease names. Through these processes, a word that matches the word stored in each word dictionary is extracted.
  • a reference expression is extracted from the description about the other examination obtained in step S12.
  • words are extracted using an interpretation item word dictionary for each modality in which interpretation items corresponding to modalities are stored.
  • a modality name such as “MR” or “US” or a time-series change attribute such as “past” is added, and this is used as a reference expression.
  • the reference expression is expressed in the form of “attribute-interpretation item” like “MR-T2 high signal”.
  • step S13 and step S14 do not depend on each other, the execution order may be reversed.
  • FIG. 4 is an example of an interpretation report of an abdominal CT examination
  • FIGS. 5A, 5B, and 5C show interpretation items, reference expressions, and disease names extracted from the interpretation report of FIG.
  • a plurality of interpretation items are extracted, 0 to a plurality of reference expressions, and a disease name are extracted.
  • the liver is imaged in the pulse phase, the equilibrium phase where the contrast medium inside and outside the blood vessels of the liver reaches equilibrium, the late phase where the contrast medium accumulates in the liver stroma, and the like.
  • the interpretation report describes the position of the lesion in the organ and the time phase information of interest in contrast imaging. For this reason, extracting not only the interpretation items but also the position and time phase information is effective in extracting interpretation knowledge to be described later.
  • FIG. 6 shows an example in which position and time phase information is extracted simultaneously with the interpretation items. For example, the interpretation report of FIG.
  • liver S3 area is extracted as a position attribute of “early dark staining” from the phrase “early dark staining is recognized in the liver S3 area”.
  • late phase is extracted as a time phase attribute of “isosorption” from the phrase “in the latter phase, it is not clear because it is equiabsorbed with liver parenchyma”.
  • step S11 and steps S12 to S14 do not depend on each other, the execution order may be reversed.
  • step S15 it is checked whether or not there is an unacquired case in the database storing cases for obtaining interpretation knowledge. If there is an unacquired case, the process returns to step S10 and an unacquired case is acquired. Steps S11 to S14 are executed. When there are no unacquired cases, that is, for all cases, image feature extraction processing (step S11), report analysis processing (step S12), interpretation item extraction processing (step S13), and reference expression extraction processing (step S14). ) Has been performed, the process proceeds to step S16.
  • step S16 When step S16 is reached, a set of image feature values extracted from all examination images and interpretation items, reference expressions, and disease names extracted from interpretation reports have been acquired for the cases.
  • step S16 interpretation knowledge is extracted from the image feature amount obtained in step S11, the interpretation item and disease name obtained in step S13, and the reference expression obtained in step S14.
  • the knowledge of the interpretation of the correlation between two of the three terms of image feature, interpretation item, and disease name and the correlation of two of the three terms of image feature, reference expression, and disease name.
  • the correlation ratio is an index representing the correlation between qualitative data and quantitative data, and is expressed by Equation 1.
  • the interpretation report two categories of cases where an interpretation item is included and not included are considered as qualitative data.
  • the value of a certain image feature amount itself extracted from the medical image is used as quantitative data.
  • the interpretation report is classified into those including or not including a certain interpretation item.
  • a method for obtaining the correlation ratio between the interpretation item “early dark staining” and the image feature amount “luminance average value inside the tumor in the early phase” will be described.
  • the j-th observed value that is the “average luminance value in the tumor in the early phase” of the tumor image extracted from the case that includes “early dark staining” in the interpretation report is defined as x 1j . Further, the j-th observed value that is “the average luminance value in the tumor in the early phase” of the tumor image extracted from the case that does not include “early dark staining” in the interpretation report is assumed to be x 2j . “Early dark staining” means that the CT value increases in the early phase of contrast, and in this case, the correlation ratio is expected to be large (close to 1).
  • the correlation between the interpretation item “early dark staining” and the image feature “mass area” is small (close to 0). It is expected that. In this way, the correlation ratio between all interpretation items and all image feature amounts is calculated.
  • FIG. 8 shows a conceptual diagram of the correlation (here, the correlation ratio) between the interpretation item and the image feature amount.
  • a plurality of interpretation items are listed on the left side, and names of a plurality of image feature amounts are listed on the right side.
  • An interpretation item having a large correlation ratio (correlation ratio equal to or greater than a threshold) and an image feature amount are connected by a solid line. That is, when the calculated correlation ratio is finally binarized with a threshold value, information as shown in FIG. 8 is obtained.
  • One example is supplemented. In contrast-enhanced CT examinations of liver masses, most masses are rendered at low density on CT images (called simple, simple CT, simple phase, etc.) before the use of contrast agents, and in many cases “low density” is used in the interpretation report.
  • FIG. 9 shows another conceptual diagram of the correlation (for example, correlation ratio) between the interpretation item and the image feature amount.
  • the correlation ratio is expressed in multiple values, and the thickness of the solid line between the interpretation item and the image feature amount corresponds to the magnitude of the correlation ratio.
  • “early dark staining” in which the CT value increases in the early phase of contrast, and the luminance average inside the tumor in the early arterial phase (abbreviated as early phase or arterial phase) (in FIG. 9, “arterial phase luminance average”) (Abbreviation) is increased.
  • FIG. 9 shows the correlation between the interpretation item “early dark staining” and the image feature amount, but there is a correlation between other interpretation items and the image feature amount as well.
  • the correlation ratio By paying attention to the value of the correlation ratio, it is possible to specify an image feature amount having a high correlation with a certain interpretation item.
  • one case often includes a plurality of images and a plurality of lesions (mass), and in that case, the interpretation report includes descriptions about the plurality of lesions.
  • CT imaging is performed at a timing at a plurality of times before or after using a contrast medium. Therefore, a plurality of sets of slice images are obtained, and one set of slice images includes a plurality of lesions (tumors), and a plurality of image feature amounts are extracted from one lesion.
  • image feature amounts are obtained as many as (number of slice image sets) ⁇ (number of lesions detected from one subject) ⁇ (number of types of image feature amounts). It is necessary to obtain a correlation with a plurality of interpretation items and disease names extracted from the interpretation report. Of course, there is a possibility that correspondence can be obtained correctly by using a large number of cases, but the description of the interpretation report and the corresponding image feature amount are used to some extent by using the lesion position and time phase as shown in FIG. If the correspondence can be made in advance, the correlation can be obtained more accurately.
  • synonyms such as “low density”, “low luminance”, “low absorption”, a synonym dictionary is created in advance, and these are treated as the same interpretation item.
  • FIG. 10 shows a conceptual diagram of a correlation (for example, a correlation ratio) between the reference expression and the image feature amount.
  • the reference expression is expressed in the form of (examination name, interpretation item in the examination).
  • the correlation ratio between the reference expression and the area feature of the current image is high, and the reference expression and the current image have the same modality.
  • the correlation ratio with the feature of the area of the past image becomes high.
  • FIG. 11 shows a conceptual diagram of a correlation (for example, a correlation ratio) between a disease name and an image feature amount.
  • the correlation is expressed in binary as in FIG. 8, but multi-valued expression as shown in FIG. 9 can also be performed.
  • This degree of support means the probability (co-occurrence probability) that the interpretation item X and the disease name Y appear simultaneously in all cases.
  • the certainty factor is the probability that an item in the conclusion part Y will appear when the condition item X appears as a condition. If many disease names Y appear in an interpretation report in which the interpretation item X appears, it is considered that the relationship between the interpretation item X and the disease name Y is strong.
  • the lift value refers to the appearance probability (that is, the certainty factor) of the disease name Y when the interpretation item X appears as a condition, compared to the appearance probability of the disease name Y when the interpretation item X does not appear as a condition. It is an indicator that shows how much it has risen.
  • a connection and a ⁇ coefficient may be used. The connection and the ⁇ coefficient are described in documents relating to the association rule analysis (for example, Non-Patent Document 8: “Data Mining and its Application”, Kato / Hamuro / Yada, Author Asakura Shoten).
  • FIG. 12 shows a conceptual diagram in which the correlation (for example, the support level) between the interpretation item and the disease name, and the correlation between the reference expression and the disease name are simultaneously expressed.
  • the correlation is expressed in binary as in FIG. 8, but it is of course possible to perform multi-value expression as shown in FIG.
  • step S16 When the process of step S16 is performed by the above method, the correlation between (image feature value-interpretation item) and (image feature value-reference expression) as shown in FIGS. Correlation between image feature quantity-disease name), correlation between (interpretation item-disease name) and (reference expression-disease name) are obtained.
  • M represents the total number of examinations included in the case
  • examination 1 is the examination of the image to be interpreted (here, examination 1 corresponds to CT. Other modalities are also shown in FIGS. 13, 14, and 15). Similar cases can be searched by creating a table similar to.
  • the obtained correlation is stored in the interpretation knowledge database 110 in the format of FIGS.
  • the examination image acquisition unit 120 acquires an image to be interpreted from the medical image photographing apparatus. If there are other examination images (reference images) of the same subject, they are all read. Other examination images may be directly designated and input by the radiogram interpreter, or may be automatically acquired from the case database based on the subject ID and the like. As in the case of creating the interpretation knowledge in FIG. 2, the medical imaging apparatus targeted in this embodiment is a multi-slice CT, and the target organ and the disease are the liver and liver tumor, respectively.
  • the read image is displayed on the interpretation target image display unit 130. For example, in step S20, the image to be interpreted 201 shown in FIG. 17 and another inspection image 203 are acquired.
  • step S21 the interpreter inputs an interpretation report through the report input / output unit 140 while referring to the interpretation target image displayed on the interpretation target image display unit 130.
  • a multi-slice CT apparatus usually, a plurality of slice images of a plane perpendicular to the body axis (axial view) are obtained by image reconstruction.
  • the radiogram interpreter checks the presence or absence of a lesion (hepatic mass in this embodiment) while changing the slice position, and inputs an interpretation report for these slice images.
  • the interpreter may specify the position of the lesion detected in the interpretation target image (slice number and coordinates or area information on the slice image) with an input device such as a mouse.
  • the center position of the tumor is clicked with the mouse.
  • an area there are a method of surrounding the area with a rectangle, a circle, or an ellipse, or a method of surrounding a boundary between a lesion and a normal tissue with a free curve.
  • the burden on the image reader is small. It is necessary to automatically extract a region of only a tumor from an image processing algorithm. The same technique as that in step S113 can be used for extracting the tumor region.
  • the target organ area extraction in step S112 and the lesion area extraction in step S113 may be performed. For example, in step S21, an interpretation report 202 shown in FIG. 17 is input.
  • step S22 a request for similar case search from an interpreter is accepted.
  • Entry of the interpretation report is usually completed without hesitation if the tumor has typical symptoms or if the interpreter is an expert.
  • the interpreter makes a similar case search request at the interpretation terminal 220.
  • a similar case search request is made after designating a lesion that is lost in diagnosis.
  • step S21 if a lesion that is not suitable for diagnosis is not designated, a new lesion is designated here.
  • a designation method one point near the center of the lesion may be designated, or a lesion area may be designated. When one point near the center is designated, an area of a predetermined size is set with reference to the designated point, and a detailed lesion area is set from this area using the same method as in step S113. If the lesion area is roughly specified, a detailed lesion area is set from this area using the same method as in step S113.
  • step S23 If there is a similar case search request from the radiogram interpreter, the process proceeds to step S23. At this time, the interpretation report may be in a completed state or in the middle of entry. Even in a completely blank state, the similar case search in the subsequent step S27 can be executed, but in that case, the similar case search according to the viewpoint of the interpreter, which is a feature of the present embodiment, is not executed, A similar case search is executed using a standard image feature amount set in advance.
  • the processing unit for accepting the similar case search request and the interpretation end input is not shown in FIG. 1, but may be a physical switch built in the keyboard of the interpretation terminal 220 or the like, or a high-definition medical grade A GUI menu or the like displayed on the image interpretation target image display unit 130 constituted by a monitor or the like may be used.
  • step S23 the image feature extraction unit 180 extracts an image feature amount from the lesion area designated or extracted in step S22 for the image to be interpreted. If there are a plurality of designated or extracted lesion areas, all predetermined image feature amounts are extracted.
  • the image feature extraction method is the same as that in step S115. At this time, image features are simultaneously extracted from the corresponding lesion areas of all other examination images. For example, in step S23, the image feature extraction unit 180 extracts the image feature amount 206 from the interpretation target image 201 and extracts the image feature amount 207 from the other inspection image 203.
  • step S24 the report analysis unit 150 analyzes the interpretation report entered in step S21.
  • the description included in the interpretation report is divided into a description about the image currently being interpreted and a description about other examination images. .
  • step S25 the interpretation content extraction unit 160 extracts the interpretation item and the disease name from the description of the interpretation target image currently being interpreted, which is obtained in the process of step S24, by the same process as in step S13.
  • the interpretation content extraction unit 160 extracts the interpretation item 204 shown in FIG.
  • the disease name is not shown in FIG. 17, the disease name may be extracted.
  • step S26 the reference expression extraction unit 170 extracts the reference expression from the description of the other inspection image obtained in the process of step S24 by the same process as in step S14.
  • the reference expression extraction unit 170 extracts the reference expression 205 shown in FIG.
  • step S25 and step S26 do not depend on each other, the execution order may be reversed.
  • step S27 the weight determination unit 190 and the similar case search unit 200 refer to the image feature amount of the image to be interpreted extracted by the image feature extraction unit 180, the interpretation item and disease name extracted by the interpretation content extraction unit 160, and the reference.
  • a similar case is searched from the case database 100 based on the reference expression extracted by the expression extraction unit 170.
  • the retrieved similar cases are displayed on the similar case display unit 210.
  • the interpreter has completed the interpretation report of FIG. 4 in step S21, the interpretation items, disease names, and reference expressions of FIGS. 5A to 5C have been extracted in steps S25 and S26, and from the interpretation target image in step S23. Consider a situation where image features have been extracted.
  • the interpretation knowledge database 110 includes the correlation between two items of the image feature amount, the interpretation item, and the disease name as shown in FIGS. 13, 14, and 15, the image feature amount, the reference expression, and the disease. Assume that the correlation between two of the three terms in the name is already stored.
  • weighted distance calculation is performed by similar case search based on at least one of the interpretation item, reference expression, and disease name extracted from the interpretation report. That is, the weight is relatively large for the image feature amount related to at least one of the extracted interpretation item, reference expression, and disease name, and the weight is relatively small for the unrelated image feature amount.
  • a similar case search reflecting the viewpoint of the interpreter entered in the interpretation report can be performed. That is, the similar case search unit 200 calculates a weighted distance between the medical image included in the cases stored in the case database 100 and the image to be interpreted.
  • the similar case search unit 200 searches the case database 100 as a similar case for a case including a medical image from which a weighted distance smaller than a predetermined threshold is calculated.
  • the similar case search unit 200 searches the case database 100 as a similar case for a case including a medical image from which a predetermined number of weighted distances are calculated.
  • the weight determination unit 190 determines the weight of the image feature amount 206 based on the value indicating the correlation between the image interpretation item 204 or the reference expression 205 and the image feature amount 206 shown in FIG. Similarly, the weight determination unit 190 determines the weight of the image feature quantity 207 based on the value indicating the correlation between the image interpretation item 204 or the reference expression 205 and the image feature quantity 207. Similar cases are searched by calculating weighted distances between the image feature amounts 206 and 207 and a plurality of image feature amounts extracted from medical images included in case data registered in the case database 100.
  • the weighted distance can be calculated by, for example, Equation 5.
  • x is a vector obtained by concatenating a plurality of image feature amounts extracted from the image to be interpreted.
  • u i is an image feature amount extracted from the i-th case among cases stored in the case database 100.
  • the correlation between (interpretation item-image feature) and (reference expression-image feature) and the correlation between (interpretation item-disease name) and (reference expression-disease name) are used. Will be described. Although a correlation between (disease name-image feature quantity) can be used, only the above two sets of correlations are used here. This is because the interpreter's thought process is considered to have finally determined the disease name based on the determination result of the interpretation item after determining the interpretation item focusing on the medical image.
  • the weight determination unit 190 refers to the correlation table between (interpretation item-disease name) and (reference expression-disease name) stored in the format of FIG. ), (Iso-absorption-hemangioma), and (MR-T2 high signal-hemangioma).
  • the acquired numerical values representing the correlation are used as weights as they are, and are expressed as w x , w y , and w z , respectively.
  • the weight determination unit 190 refers to the correlation table between (image feature amount ⁇ interpretation item) and between (image feature amount ⁇ reference expression) stored in the interpretation knowledge database 110 in the format of FIG. Correlation between all the image feature amounts is acquired, respectively, “dark dyeing”, “iso-absorption”, “MR-T2 high signal”.
  • the acquired numerical values representing the correlation are used as weights as they are, and are represented as w a, i , w b, i , w c, i , respectively.
  • i is a subscript indicating the type of the image feature amount.
  • Weight determining unit 190 using these weights, the weights W i corresponding to the i-th image feature quantity is calculated as Equation 6.
  • the weight for the fourth image feature amount “edge strength” is obtained as the sum of w x w a, 4 , w y w b, 4 and w z w c, 4 .
  • w x w a, 4 is a value w a, 4 representing a correlation between (early dark staining-edge intensity), and a correlation between (early dark staining-hemangioma) including the same interpretation item. It is a value weighted by the value w x to be represented.
  • w y w b 4 is a value w b, 4 representing the correlation between (iso-absorption-edge strength) and a value w y representing the correlation between (iso-absorption-hemangioma) including the same interpretation item. It is a weighted value.
  • w z w c, 4 includes the value w c, 4 representing the correlation between (MR-T2 high signal-edge strength) and the correlation between (MR-T2 high signal-angioma) including the same reference expression is a value weighted by the value w z representing the.
  • the weight can be calculated by adding the value representing the correlation between (reference expression-image feature quantity) after weighting with the value representing the correlation between (reference expression-disease name).
  • the similar case search is executed only when there is a similar case search request, but the similar case search may be executed at another timing during the interpretation report entry. Another timing is when the interpretation report is not entered for a certain period of time after at least one interpretation item / reference expression or disease name is entered. This is an operation method that is intended to advance interpretation by interpreting that the interpreter is confused about interpretation and proactively presenting similar cases as hints.
  • a similar case search can be executed based on the viewpoint of the interpreter.
  • the weight determination unit 190 refers to the correlation table between (image feature amount ⁇ interpretation item) and between (image feature amount ⁇ reference expression) stored in the interpretation knowledge database 110 in the format of FIG. "," Iso-absorption "," MR-T2 high signal ", and the correlation between all the image feature quantities, respectively.
  • the acquired numerical values representing the correlation are used as weights as they are, and are represented as w a, i , w b, i , w c, i , respectively.
  • i is a subscript indicating the type of the image feature amount.
  • the weight for the fourth image feature amount “edge strength” represents the correlation between the value w a, 4 indicating the correlation between (early darkening ⁇ edge strength) and (iso-absorption ⁇ edge strength).
  • Weights can be calculated. This formula can calculate weights that take into account the interpretation item / reference expression focused on by the interpreter and the relationship between the interpretation item / reference expression and the image feature amount at the same time. Is possible.
  • the weight determination unit 190 refers to the correlation table between (image feature amount ⁇ disease name) stored in the format of FIG. 14 in the interpretation knowledge database 110, and the correlation between “hemangioma” and all image feature amounts. To get. Directly used as a weight a number representing the acquired correlation here, expressed as w i. Here, i is a subscript indicating the type of the image feature amount. Using these weights w i , a weight W i corresponding to the i-th image feature amount is calculated as shown in Equation 8.
  • the weight for the fourth image feature amount “edge strength” is a value w 4 representing the correlation between (angioma ⁇ edge strength).
  • the above processing may be performed.
  • a value indicating the correlation between these disease names and image feature values It is sufficient to use the sum of By calculating the sum, it is possible to search for similar cases with an average image feature amount for two or more diseases.
  • this formula it is possible to calculate the weight considering the disease name focused on by the image interpreter and the relationship between the disease name and the image feature amount at the same time, and as a result, it is possible to search for similar cases with emphasis on them.
  • the similarity determination between images is performed using the weighted distance of Expression 5.
  • the total number of dimensions of the image feature amount to be used increases, a large number of correlations are obtained at the calculated distance.
  • an image feature amount having a large correlation ratio is buried due to a large number of image feature amounts having a small ratio (or medium).
  • a method may be employed in which only image feature amounts having a corresponding correlation ratio equal to or greater than a predetermined threshold are used for distance calculation, or only the top few image feature amounts of correlation ratio are used for distance calculation. May be.
  • the number of image feature amounts may be determined in advance.
  • the weighted distance calculation is performed in the similar case search based on one or more of the interpretation items, reference expressions, and disease names extracted from the interpretation report. . That is, the weight is relatively large for the image feature amount related to the extracted interpretation item, reference expression, and disease name, and the weight is relatively small for the unrelated image feature amount.
  • a similar case search reflecting the viewpoint of the interpreter entered in the interpretation report can be performed.
  • reference expressions it is possible to weight image feature amounts based on descriptions for other examinations of the same subject.
  • the viewpoint of the image interpreter can be reflected in the similar case search, and the similar case search including information on examinations of a plurality of modalities different from each other or information on time series change can be performed.
  • the inspection image acquisition unit 120 acquires images of other inspections together with the image to be interpreted.
  • the inspection image acquisition unit 120 may acquire only the image to be interpreted.
  • the similar case search is executed using only the image feature amount extracted from the image to be interpreted as the image feature amount. Even with such a method, the same effects as those of the above-described embodiment can be obtained.
  • the similar case retrieval apparatus weights the image feature amount using both the interpretation item and the reference expression.
  • the image feature is used only by the reference expression. You may weight the quantity.
  • the similar case retrieval apparatus may not include the interpretation content extraction unit 160.
  • the weight determination unit 190 uses the reference expression extracted by the reference expression extraction unit 170, the image feature amount extracted by the image feature extraction unit 180, and the interpretation knowledge stored in the interpretation knowledge database 110 for use in image retrieval. Weights for a plurality of image feature amounts are respectively determined.
  • the method for determining the weight is the same as that in the embodiment except that the interpretation item is not used when determining the weight. Therefore, detailed description thereof will not be repeated. In this configuration, when there is a description other than the examination image currently being interpreted in the interpretation report, it is possible to perform a similar case search with particular emphasis on the image feature amount related to the description.
  • the interpretation knowledge database 110 and the case database 100 do not necessarily have to be provided in the similar case search device, and are provided in a location B different from the location A where the similar case search device exists. May be.
  • the weight determination unit 190 and the similar case search unit 200 of the similar case search device are connected to the interpretation knowledge database 110 and the case database 100 via a network, respectively.
  • the essential components of the similar case search device are an image feature extraction unit 180, a report analysis unit 150, a reference expression extraction unit 170, a weight determination unit 190, and a similar case search unit 200. Components are not necessarily required to accomplish the objects of the present invention.
  • each of the above devices may be specifically configured as a computer system including a microprocessor, ROM, RAM, hard disk drive, display unit, keyboard, mouse, and the like.
  • a computer program is stored in the RAM or hard disk drive.
  • Each device achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • this program is similar to case data including a medical image obtained by conducting a first examination on a subject and an interpretation report that is document data describing a result of interpretation of the medical image on a computer.
  • Search case data from case database.
  • this program causes a computer to extract a plurality of image feature amounts from an image to be interpreted which is a medical image obtained by performing a first examination on a subject, and the image interpreter reads the image to be interpreted. From the target interpretation report, which is an interpretation report obtained by interpretation, the description relating to the first examination and the description relating to the second examination different from the first examination performed on the subject of the first examination are divided.
  • the reference expression which is a character string indicating the characteristics of the reference image obtained by performing the second examination on the subject of the first examination, is extracted from the divided description about the second examination, and extracted from the medical image. Based on the binary relation information that predetermines the relationship between each image feature amount and each reference expression extracted from the interpretation report for the medical image. For each image feature amount extracted from the target image, the weight of a larger value is determined as the relevance between the image feature amount and the reference expression extracted from the description about the second examination is higher, and the interpretation target A weight for each determined image feature amount, the plurality of image feature amounts extracted from an image and a plurality of image feature amounts extracted from a medical image included in the case data registered in the case database. The case data including the medical image similar to the image to be interpreted is retrieved from the case database by weighting and comparing with.
  • the present invention relates to a non-transitory recording medium that can read the computer program or the digital signal, such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like.
  • the digital signal may be recorded on these non-temporary recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the present invention can be used for a similar case retrieval apparatus that retrieves and presents a similar case to be used as a reference for an interpreter, an interpretation education apparatus for a training interpreter, and the like.
  • Case Database 110 Interpretation Knowledge Database 120 Examination Image Acquisition Unit 130 Interpretation Target Image Display Unit 140 Report Input / Output Unit 150 Report Analysis Unit 160 Interpretation Content Extraction Unit 170 Reference Expression Extraction Unit 180 Image Feature Extraction Unit 190 Weight Determination Unit 200 Similar Case Search Unit 210 Similar Case Display Unit 220 Interpretation Terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

　類似症例検索装置は、読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部（１８０）と、対象読影レポートの第２検査に関する記述から参照表現を抽出する参照表現抽出部（１７０）と、二項間関係情報に基づいて、画像特徴量ごとに、当該画像特徴量と参照表現との間の関連性が高いほど大きな値の重みを決定する重み決定部（１９０）と、複数の画像特徴量と、症例データベース（１００）に登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量とを、画像特徴量毎の重みで重み付けして比較することにより、読影対象画像に類似する医用画像を含む症例データを検索する類似症例検索部（２００）とを備える。

Description

類似症例検索装置および類似症例検索方法
　本発明は、医用画像の読影に参考となる類似症例を検索するための類似症例検索装置および類似症例検索方法に関する。
　近年、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）等の医用画像装置の発達および普及によりデジタル化された高精細な医用画像が大容量で取得可能になっている。また、読影者である医師により読影済の医用画像は読影レポートと共にＰＡＣＳ（Ｐｉｃｔｕｒｅ　Ａｒｃｈｉｖｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｓｙｓｔｅｍｓ）に順次蓄積されつつある。ここで、新たな読影の参考とするため、読影対象の医用画像と類似した過去の医用画像を、蓄積済の過去症例から検索する技術が開発され始めている。
　また、医師が実際に診断を行う際には、複数の検査を行い、それらの結果を総合して判断を下すのが一般的である。このような背景から、互いに異なる複数のモダリティから得られた画像または時系列変化の情報を含めた類似症例検索が要望されている。
　複数の検査結果を利用して類似症例検索を行う装置が特許文献１に開示されている。特許文献１では、検索対象症例との撮影方法の同一性、類似症例情報間での検査の同一性、および検索対象との画像的特徴の類似性の３条件を満たす類似症例検索を行なっている。同文献における検査とはＣＴ、ＭＲＩといったモダリティを指し、撮影方法とは撮像手法、撮影条件、撮影プロトコル、撮影シーケンスを指す。同文献では、複数の検索対象画像の１つのみを用いた検査では多数の症例が抽出されてしまうような場合において、より類似度の高い症例に絞り込むことができる。
特開２００８－２１７３６３号公報
　しかしながら、前記従来の構成では、検索に利用している情報は、検査の同一性および撮影方法の同一性である。このため、検査を行った意図、即ち、どの検査方法の画像中の、どのような点に着目して類似を判断すればよいかといった読影者の着眼点が検索に反映されないという課題を有している。
　本発明は、前記従来の課題を解決するもので、読影者の着眼点を類似症例検索に反映し、互いに異なる複数のモダリティの検査の情報または時系列変化の情報を含めて類似症例検索を行うことができる類似症例検索装置を提供する。
　前記従来の課題を解決するために、本発明の一態様に係る類似症例検索装置は、被験者に対して第１検査を行うことにより得られる医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索装置であって、被験者に対して第１検査を行うことにより得られる医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、前記読影対象画像を読影者が読影することにより得られる読影レポートである対象読影レポートから、前記第１検査に関する記述と前記第１検査の被験者に対して行われた前記第１検査とは異なる第２検査に関する記述とを分割するレポート解析部と、前記レポート解析部で分割された前記第２検査に関する記述から前記第２検査を前記第１検査の被験者に対して行うことにより得られる参照画像の特徴を示す文字列である参照表現を抽出する参照表現抽出部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各参照表現との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が前記読影対象画像から抽出した前記複数の画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明の類似症例検索装置によれば、読影者の着眼点を類似症例検索に反映し、互いに異なる複数のモダリティの検査の情報または時系列変化の情報を含めて類似症例検索を行うことができる類似症例検索装置を提供することができる。
図１は、実施の形態における類似症例検索装置の構成を示すブロック図である。 図２は、実施の形態における読影知識作成の手順を示すフローチャートである。 図３は、実施の形態における画像特徴量抽出の手順を示すフローチャートである。 図４は、実施の形態における腹部ＣＴ検査の読影レポートの例を示す図である。 図５Ａは、実施の形態における読影レポートから抽出された読影項目を示す図である。 図５Ｂは、実施の形態における読影レポートから抽出された参照表現を示す図である。 図５Ｃは、実施の形態における読影レポートから抽出された疾病名を示す図である。 図６は、実施の形態における読影レポートから抽出された読影項目、および読影項目と同時に抽出された位置と時相の情報を示す図である。 図７は、実施の形態における読影レポートから抽出された読影項目、および、文脈解釈を行って読影項目と同時に抽出された位置と時相の情報を示す図である。 図８は、実施の形態における、読影項目と画像特徴量との間の相関関係（二値）の概念図である。 図９は、実施の形態における、読影項目と画像特徴量との間の相関関係（多値）の概念図である。 図１０は、実施の形態における、参照表現と画像特徴量との間の相関関係（二値）の概念図である。 図１１は、実施の形態における、疾病名と画像特徴量との間の相関関係（二値）の概念図である。 図１２は、実施の形態における、読影項目／参照表現と疾病名との間の相関関係（二値）の概念図である。 図１３は、実施の形態における、読影知識として抽出した（画像特徴量－読影項目）間および（画像特徴量－参照表現）間の相関関係の格納形式を示す図である。 図１４は、実施の形態における、読影知識として抽出した（画像特徴量－疾病名）間の相関関係の格納形式を示す図である。 図１５は、実施の形態における、読影知識として抽出した（読影項目－疾病名）間および（参照表現－疾病名）間の相関関係の格納形式を示す図である。 図１６は、実施の形態における類似症例検索の手順を示すフローチャートである。 図１７は、実施の形態における類似症例検索の概要を示す図である。 図１８は、実施の形態における類似症例検索時の重み付け方法１を示す図である。 図１９は、実施の形態における類似症例検索時の重み付け方法２を示す図である。 図２０は、実施の形態における類似症例検索時の重み付け方法３を示す図である。 図２１は、実施の形態における類似症例検索の他の概要を示す図である。 図２２は、実施の形態における類似症例検索装置の他の構成を示すブロック図である。
　本発明の一態様に係る類似症例検索装置は、被験者に対して第１検査を行うことにより得られる医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索装置であって、被験者に対して第１検査を行うことにより得られる医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、前記読影対象画像を読影者が読影することにより得られる読影レポートである対象読影レポートから、前記第１検査に関する記述と前記第１検査の被験者に対して行われた前記第１検査とは異なる第２検査に関する記述とを分割するレポート解析部と、前記レポート解析部で分割された前記第２検査に関する記述から前記第２検査を前記第１検査の被験者に対して行うことにより得られる参照画像の特徴を示す文字列である参照表現を抽出する参照表現抽出部と、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各参照表現との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定する重み決定部と、前記画像特徴抽出部が前記読影対象画像から抽出した前記複数の画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部とを備える。
　この構成によると、対象読影レポートから抽出された参照表現に基づいて、画像特徴量に重み付けが行われ、重み付けされた画像特徴量に基づいて類似症例検索が行われる。即ち、抽出された参照表現と関連する画像特徴量に関しては重みを相対的に大きく、関連しない画像特徴量に関しては重みを相対的に小さくする。参照表現を利用することで、同一被験者の他の検査に対する記述に基づいて重み付けを行うことができる。これにより、読影者の着眼点を類似症例検索に反映し、互いに異なる複数のモダリティの検査の情報または時系列変化の情報を含めて類似症例検索を行うことができる。
　具体的には、前記レポート解析部は、前記対象読影レポートの中から、前記第１検査に用いた医用画像撮像装置とは異なる医用画像撮像装置に関する記述を含む記述を、前記第２検査に関する記述として分割する。
　この構成によると、読影者の着眼点を類似症例検索に反映し、互いに異なる複数のモダリティの検査の情報を含めて類似症例検索を行うことができる。
　また、前記レポート解析部は、前記対象読影レポートの中から、過去に関する記述を含む記述を、前記第２検査に関する記述として分割しても良い。
　この構成によると、読影者の着眼点を類似症例検索に反映し、時系列変化の情報を含めて類似症例検索を行うことができる。
　また、上述の類似症例検索装置は、さらに、前記レポート解析部で分割された前記第１検査に関する記述から前記読影対象画像の特徴を示す文字列である読影項目を抽出する読影内容抽出部を備え、前記二項間関係情報は、さらに、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を示し、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定しても良い。
　この構成によると、対象読影レポートから抽出された読影項目または参照表現に基づいて、画像特徴量に重み付けが行われ、重み付けされた画像特徴量に基づいて類似症例検索が行われる。即ち、抽出された読影項目または参照表現と関連する画像特徴量に関しては重みを相対的に大きく、関連しない画像特徴量に関しては重みを相対的に小さくする。加えて、参照表現を利用することで、同一被験者の他の検査に対する記述に基づいて重み付けを行うことができる。これにより、読影者の着眼点を類似症例検索に反映し、互いに異なる複数のモダリティの検査の情報または時系列変化の情報を含めて類似症例検索を行うことができる。
　また、前記読影内容抽出部は、さらに、前記第１検査に関する記述から読影者の診断結果である疾病名を抽出し、前記二項間関係情報は、さらに、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各疾病名との間の関連性を示し、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目もしくは前記疾病名または前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定しても良い。
　この構成によると、対象読影レポートから抽出される疾病名に基づいて、画像特徴量に重み付けを行うことができる。これにより、疾病名を加味して類似症例検索を行うことができる。
　また、前記読影内容抽出部が前記第１検査に関する記述から疾病名を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目との間の関連性が高いほど大きな値の重みを決定しても良い。
　この構成によると、読影者が直感等で疾病名を推定したがその根拠となる読影項目の判断に迷っている状況において、適切な類似症例検索を行うことができる。読影者は、類似症例検索の結果から、診断根拠（読影項目）のヒントを得ることができる。
　また、前記二項間関係情報は、さらに、読影レポートから抽出される読影項目と疾病名との間の関連性を示し、前記読影内容抽出部が前記第１検査に関する記述から疾病名を抽出し、かつ、前記読影内容抽出部が前記第１検査に関する記述から読影項目を抽出したか、または前記参照表現抽出部が前記第２検査に関する記述から参照表現を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性を示す値と、当該読影項目または当該参照表現と前記読影内容抽出部が抽出した前記疾病名との関連性を示す値との積を、当該画像特徴量に対する重みとして決定しても良い。
　この構成によると、対象読影レポートに疾病名が記入されており、かつ読影項目または参照表現が記入されている場合に、画像特徴量と読影項目または参照表現との間の関連性と、読影項目または参照表現と疾病名との間の関連性とを同時に評価した類似症例検索を行うことができる。
　また、前記読影内容抽出部が前記第１検査に関する記述から読影項目を抽出したか、または前記参照表現抽出部が前記第２検査に関する記述から参照表現を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性を示す値を、当該画像特徴量に対する重みとして決定しても良い。
　この構成によると、読影者が着目すべき読影項目または参照表現は判断できたものの、最終的な疾病名の診断に迷っており、類似症例検索の結果で疾病名診断のヒントを得ようとしている状況において、適切な類似症例検索を行うことができる。
　また、前記症例データベースに登録されている各症例データは、さらに、前記第２検査を前記第１検査の被験者に対して行うことにより得られる医用画像を含み、前記画像特徴抽出部は、さらに、前記参照画像から複数の画像特徴量を抽出し、前記重み決定部は、さらに、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記参照画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定し、前記類似症例検索部は、前記画像特徴抽出部が前記読影対象画像および前記参照画像から抽出した画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる複数の前記医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像および前記参照画像に類似する複数の前記医用画像を含む症例データを前記症例データベースより検索しても良い。
　この構成によると、症例データベースに複数の医用画像と読影レポートとを含む症例データが登録されている場合に、複数の医用画像同士を比較することによる類似症例検索が可能となる。つまり、読影者の着眼点を反映した、他の複数の検査の医用画像を統合した類似症例検索が可能となる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　図１は、実施の形態における類似症例検索装置のブロック図である。
　類似症例検索装置は、症例データベース１００と、読影知識データベース１１０と、検査画像取得部１２０と、読影対象画像表示部１３０と、レポート入出力部１４０と、レポート解析部１５０と、読影内容抽出部１６０と、参照表現抽出部１７０と、画像特徴抽出部１８０と、重み決定部１９０と、類似症例検索部２００と、類似症例表示部２１０とを含む。
　症例データベース１００は、ＣＴ（Ｃｏｍｐｕｔｅｄ　Ｔｏｍｏｇｒａｐｈｙ）またはＭＲＩ（Ｍａｇｎｅｔｉｃ　Ｒｅｓｏｎａｎｃｅ　Ｉｍａｇｉｎｇ）等の少なくとも１枚の医用画像（本明細書中では「画像データ」のことを単に「画像」と言う）と、その医用画像を読影した結果である読影レポートとの対から構成される症例データ（以下、単に「症例」と言う）を複数格納したデータベースである。読影知識データベース１１０は、複数の症例を解析することにより得た読影知識を格納したデータベースである。詳細については後述する。症例データベース１００および読影知識データベース１１０は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの記憶装置に記憶される。
　検査画像取得部１２０は、ＣＴやＭＲＩ等の医用画像撮影装置で撮影された読影対象の画像、および同一被験者の他の検査画像（参照画像）すべてを、医用画像撮影装置または外部接続された記憶装置などから読み込む。なお、他の検査画像は、読影対象の画像の取得元と同じ病院から取得してもよいし、ネットワークを介して、過去に検査を受けたことのある他の病院から取得してもよい。
　読影対象画像表示部１３０は、医療用の高精細モニタ等で構成され、検査画像取得部１２０で読み込んだ読影対象の画像を表示する。
　レポート入出力部１４０は、キーボードやマウスなどの入力装置と、そのような入力装置を用いて入力されたレポートを表示することにより、入力者に確認させるための表示装置とを含む。読影者は読影対象画像表示部１３０に表示された読影対象画像を参照しながら、レポート入出力部１４０を通して読影レポートを入力する。
　読影対象画像表示部１３０、レポート入出力部１４０、および、後述する類似症例表示部２１０は、読影端末２２０を構成する。
　レポート解析部１５０は、レポート入出力部１４０で入力された読影レポートを解析し、読影レポートに含まれる記述を、現在読影中の読影対象画像についての記述と、他の検査についての記述とに分割する。
　読影内容抽出部１６０は、レポート解析部１５０から得られた読影中の画像についての記述から読影者である医師が医用画像から読み取った情報を言語化した読影項目を抽出し、テキスト特徴量とする。
　参照表現抽出部１７０は、レポート解析部１５０から得られた他の検査についての記述から後述する参照表現を解析し、テキスト特徴量を抽出する。
　画像特徴抽出部１８０は、検査画像取得部１２０で読み込まれたすべての医用画像から複数種類の画像特徴量をそれぞれ抽出する。
　重み決定部１９０は、読影内容抽出部１６０および参照表現抽出部１７０の少なくとも一方で抽出されたテキスト特徴量、画像特徴抽出部１８０で抽出された画像特徴量、ならびに、読影知識データベース１１０に格納された読影知識から、画像検索で使用する複数の画像特徴量に対する重みをそれぞれ決定する。
　類似症例検索部２００は、画像特徴抽出部１８０で抽出された画像特徴量、および、重み決定部１９０で決定された重みを利用して、症例データベース１００から読影対象画像と類似する医用画像を含む症例を検索する。
　類似症例表示部２１０は、類似症例検索部２００で検索された類似症例を表示する。類似症例表示部２１０は、読影対象画像表示部１３０を構成する高精細モニタと同じ機種で別途構成されていてもよい。なお、類似症例表示部２１０と読影対象画像表示部１３０との機種は異なっていても良い。また、類似症例表示部２１０と読影対象画像表示部１３０とが同一の高精細モニタで構成されていても良く、当該高精細モニタに読影対象画像と類似症例を同時に表示してもよい。
　以後、各部の動作について詳細に説明する。
　＜読影知識データベースの事前作成＞
　類似症例検索を行うに当たり、事前に読影知識を得て、読影知識データベース１１０に格納しておく。読影知識は、医用画像とその医用画像を読影した結果である読影レポートとの対から構成される“症例”を複数集めたものから得られる。症例として、類似症例検索時にその中から類似症例を検索するための症例データベース１００に格納されたものを用いてもよいし、他のデータベースに格納されたものを用いてもよい。必要な症例数は、種種のデータマイニングアルゴリズムを用いて何らかの法則性および知識を得るために十分となる数である。通常は数百～数万個のデータが用いられる。本実施の形態では、読影知識として、画像特徴量、読影項目、疾病名の三項のうち二項間の相関関係、および画像特徴量、参照表現、疾病名の三項のうち二項間の相関関係を用いる。
　「画像特徴量」としては、医用画像における臓器もしくは病変部分の形状に関するもの、または輝度分布に関するものなどがある。画像特徴量として、例えば、非特許文献１：「根本，清水，萩原，小畑，縄野，”多数の特徴量からの特徴選択による乳房Ｘ線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”，電子情報通信学会論文誌Ｄ－ＩＩ，Ｖｏｌ．Ｊ８８－Ｄ－ＩＩ，Ｎｏ．２，ｐｐ．４１６－４２６，２００５年２月」に４９０種類の特徴量を用いることが記載されている。本実施の形態においても、医用画像の撮像に使用した医用画像撮影装置（モダリティ）または読影の対象臓器ごとに予め定めた数十～数百種の画像特徴量を用いる。
　「読影項目」とは、本明細書では、「読影医が、読影対象の画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。例えば、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、早期濃染、低エコー、高エコー、毛羽立ち、等がある。
　「参照表現」とは、本明細書では、「読影レポート中に含まれる、読影対象画像を得るために行った検査の被験者に、その検査とは異なる他の検査を行うことにより得られる医用画像（参照画像）の特徴を示す文字列」と定義する。ここで言う他の検査には、現在読影中の読影対象画像のモダリティと同一モダリティでの検査、異なるモダリティでの検査の両方を含む。前者の場合には、参照表現として「前回と比較し増大」といったキーワードが相当し、後者の場合には、参照表現として読影対象画像がＣＴ画像である読影レポート中に現れる「ＭＲにて高信号」、「ＵＳでは高エコー」といった記述が相当する。参照表現では、他の検査の情報のうち、主に、現在読影中の画像のみからは得られない情報が記述されている。
　「疾病名」とは、読影者が医用画像やその他の検査を基に診断した疾病名のことである。読影時の診断疾病名とその他の検査を経て確定診断した疾病名とは異なることがあるが、読影知識データベース１１０を作成する際は、確定診断の結果を用いる。
　以下、図２のフローチャートを用いて読影知識作成の手順を説明する。本実施の形態で対象とする、つまり使用する医用画像撮影装置はマルチスライスＣＴとし、対象臓器および疾病は、それぞれ肝臓および肝腫瘤とする。
　ステップＳ１０では、読影知識を得るための症例が格納されたデータベースから症例を１つ取得する。１つの症例は、医用画像と、その医用画像を読影した結果である読影レポートと、それまでに行ったすべての検査における医用画像との組で構成されている。医用画像がマルチスライスＣＴ装置により取得された場合、１つの症例は多数枚のスライス画像を含むことになる。また、ＣＴ、ＭＲＩなどの検査では、造影剤を用いた検査が行われることがある。造影剤を用いた検査では、一回の検査で時間間隔を置き複数回の撮影を行うことになる。この場合には、多数枚のスライス画像のセットが撮影回数分得られることになる。通常、マルチスライスＣＴ画像を読影者が読影する場合、重要なスライス画像１～数枚を、キー画像として読影レポートに添付する。以後、多数枚のスライス画像集合、あるいは、数枚のキー画像を単に「医用画像」、「画像」と呼ぶこともある。
　ステップＳ１１では、取得したすべての医用画像から画像特徴量を抽出する。ステップＳ１１の処理を、図３のフローチャートを用いて詳細に説明する。
　ステップＳ１１１では、症例中に含まれる複数の検査の医用画像から、１つの検査についての医用画像を選択する。
　ステップＳ１１２では、ステップＳ１１１で選択された画像中から対象臓器の領域を抽出する。本実施の形態では肝臓領域を抽出する。肝臓領域抽出法として、例えば、非特許文献２：「田中，清水，小畑，“異常部位の濃度パターンを考慮した肝臓領域抽出手法の改良＜第二報＞”，電子情報通信学会技術研究報告，医用画像，１０４（５８０），ｐｐ．７－１２，２００５年１月」等の手法を用いることができる。
　ステップＳ１１３では、ステップＳ１１２で抽出された臓器領域から病変領域を抽出する。本実施の形態では肝臓領域から腫瘤領域を抽出する。肝腫瘤領域抽出法として、例えば、非特許文献３：「中川，清水，一杉，小畑，“３次元腹部ＣＴ像からの肝腫瘤影の自動抽出手法の開発＜第二報＞”，医用画像，１０２（５７５），ｐｐ．８９－９４，２００３年１月」等の手法を用いることができる。
　ステップＳ１１４では、ステップＳ１１３で抽出された病変領域のうち、１つの領域を選択する。
　ステップＳ１１５では、ステップＳ１１４で選択された病変領域から画像特徴量を抽出する。本実施の形態では、画像特徴量として、非特許文献１に記載された４９０種類の特徴量のうち、肝腫瘤にも適用可能な特徴量をいくつか選択して用いる。
　ステップＳ１１６では、ステップＳ１１３で抽出された病変領域のうち未選択の病変があるかどうかをチェックし、未選択の病変がある場合は、ステップＳ１１４に戻り未選択の病変領域を選択した後、ステップＳ１１５を再実行する。未選択の病変がない場合、すなわち、ステップＳ１１３で抽出された全ての病変領域に対し、ステップＳ１１５の特徴量抽出を行った場合はステップＳ１１７に進む。
　ステップＳ１１７では、症例中に未選択の検査の医用画像があるかどうかをチェックし、未選択の検査の医用画像がある場合には、ステップＳ１１１に戻り、未選択の検査の医用画像から１枚を選択した後、Ｓ１１２～Ｓ１１６を再実行する。未選択の検査の医用画像がない場合、すなわち症例中のすべての医用画像について画像特徴量の抽出を行った場合は、図３のフローチャートの処理を終了し、図２のフローチャートに戻る。
　図２のステップＳ１２では、読影レポートの解析処理を行う。具体的には、読影レポートを現在の読影画像についての記述と他の検査画像の記述に分割する。他の検査の記述については、さらに検査毎の記述に分割する。本実施の形態では、モダリティ名および時系列変化に対応する単語を含む単語辞書を用いて、形態素解析および構文解析を行う。形態素解析技術としては、例えば、非特許文献４：ＭｅＣａｂ（ｈｔｔｐ：／／ｍｅｃａｂ．ｓｏｕｒｃｅｆｏｒｇｅ．ｎｅｔ）や非特許文献５：ＣｈａＳｅｎ（ｈｔｔｐ：／／ｃｈａｓｅｎ－ｌｅｇａｃｙ．ｓｏｕｒｃｅｆｏｒｇｅ．ｊｐ）等が、構文解析技術としては、非特許文献６：ＫＮＰ（ｈｔｔｐ：／／ｎｌｐ．ｋｕｅｅ．ｋｙｏｔｏ－ｕ．ａｃ．ｊｐ／ｎｌ－ｒｅｓｏｕｒｃｅ／ｋｎｐ．ｈｔｍｌ）、非特許文献７：ＣａｂｏＣｈａ（ｈｔｔｐ：／／ｃｈａｓｅｎ．ｏｒｇ／～ｔａｋｕ／ｓｏｆｔｗａｒｅ／ｃａｂｏｃｈａ／）等が存在する。読影レポートは読影者により読影レポート独特の表現で記述されることが多いので、読影レポートに特化した形態素解析技術、構文解析技術、各単語辞書を開発することが望ましい。文中にモダリティ名または時系列変化に対応する単語が現れた場合には、レポートの分割を行う。これらの処理により、読影レポートを、対応する検査ごとの記述に分割する。例えば、ＣＴの読影レポート中に「ＭＲでは」、「過去の検査では」といったような記述が現れた場合には、それぞれＭＲの記述、過去の（ＣＴの）記述に分割する。
　ステップＳ１３では、ステップＳ１２によって得られた現在読影中の画像に関する記述から、読影項目および疾病名を抽出する。本実施の形態では読影対象の撮影モダリティに関する読影項目が格納された読影項目単語辞書、および、疾病名が格納された疾病名単語辞書を用いた形態素解析および構文解析を行う。これらの処理により、各単語辞書に格納された単語と一致する単語を抽出する。
　ステップＳ１４では、ステップＳ１２によって得られた他の検査についての記述から、参照表現を抽出する。本実施の形態では、モダリティに応じた読影項目が格納されたモダリティ別の読影項目単語辞書を用い、単語を抽出する。抽出された単語には「ＭＲ」、「ＵＳ」といったモダリティ名、または「過去」といった時系列変化の属性を付加し、これを参照表現とする。以降、参照表現は「ＭＲ－Ｔ２高信号」のように、「属性－読影項目」の形で表現する。
　なお、ステップＳ１３とステップＳ１４の結果は相互に依存しないため、実行順は逆でも構わない。
　図４は腹部ＣＴ検査の読影レポートの例であり、図５Ａ、図５Ｂおよび図５Ｃは、図４の読影レポートからそれぞれ抽出された読影項目、参照表現および疾病名を示す。通常の場合、読影項目は複数個、参照表現は０個～複数個、疾病名は１個抽出される。
　また、図５Ａおよび図５Ｃでは、それぞれ、読影項目および疾病名の単語のみを抽出しているが、読影レポートにおける病変の位置を表す文字列、時相を表す文字列を同時に抽出してもよい。ここで、時相について補足する。肝臓の病変の鑑別には、造影剤を急速静注して経時的に撮像する造影検査が有用とされている。肝臓の造影検査では一般に、肝動脈に造影剤が流入し多血性の腫瘍が濃染する動脈相、腸管や脾臓に分布した造影剤が門脈から肝臓に流入し肝実質が最も造影される門脈相、肝臓の血管内外の造影剤が平衡に達する平衡相、肝臓の間質に造影剤が貯留する晩期相などにおいて、肝臓が撮像される。読影レポートには病変の臓器における位置や、造影検査であれば着目した時相の情報が記述されていることが多い。このため、読影項目だけでなく位置や時相の情報も合わせて抽出することで、後で説明する読影知識の抽出に有効となる。図６に、読影項目と同時に位置と時相の情報を抽出した例を示す。例えば、図４の読影レポートを解析し、「肝Ｓ３区域に早期濃染を認める。」という文節から「早期濃染」の位置属性として「肝Ｓ３区域」が抽出される。同様に、「後期相では、肝実質と等吸収になりはっきりしない。」という文節から「等吸収」の時相属性として「後期相」が抽出される。
　図４の読影レポートを、単純に解釈すると、図６のように「早期濃染」に関する時相、「等吸収」に関する位置の部分が空白になる。これに対して、読影項目「早期濃染」が早期相に対応した単語であるという事前知識を利用したり、「早期濃染」の状態を示す腫瘤と「後期相で等吸収」となる腫瘤が同一の腫瘤を指すという高度な文脈解釈を行ったりすることができれば、抽出される位置と時相の属性は図７のようになる。この操作は、読影項目だけではなく、参照表現に対しても有効である。
　なお、ステップＳ１１とステップＳ１２～Ｓ１４の結果は相互に依存しないため、実行順は逆でも構わない。
　ステップＳ１５では、読影知識を得るための症例が格納されたデータベースにおいて未取得の症例があるかどうかをチェックし、未取得の症例がある場合は、ステップＳ１０に戻り未取得の症例を取得した後、ステップＳ１１～Ｓ１４を実行する。未取得の症例がない場合、すなわち、全ての症例に対し、画像特徴抽出処理（ステップＳ１１）、レポート解析処理（ステップＳ１２）、読影項目抽出処理（ステップＳ１３）、および参照表現抽出処理（ステップＳ１４）を実施済の場合は、ステップＳ１６に進む。
　ステップＳ１６に到達した時点で、すべての検査画像から抽出した画像特徴量、および読影レポートから抽出した読影項目、参照表現、疾病名のセットが症例分取得できたことになる。
　ステップＳ１６では、ステップＳ１１で得られた画像特徴量と、ステップＳ１３で得られた読影項目および疾病名と、ステップＳ１４から得られた参照表現とから、読影知識を抽出する。本実施の形態では、画像特徴量、読影項目、疾病名という三項のうちの二項の相関関係、および画像特徴、参照表現、疾病名という三項のうちの二項の相関関係を読影知識とする。
　（１）（画像特徴量－読影項目）間の相関関係
　一対の（画像特徴量－読影項目）間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは相関比を用いる。相関比は、質的データと量的データとの間の相関関係を表す指標であり、式１で表される。
Figure JPOXMLDOC01-appb-M000001
　読影レポート中に、ある読影項目を含む場合および含まない場合の２カテゴリを考え、これを質的データとする。医用画像から抽出した、ある画像特徴量の値そのものを量的データとする。例えば、読影知識を抽出するための症例データベースに含まれる全症例に対し、読影レポートを、ある読影項目を含むものまたは含まないものに区分する。ここでは、読影項目「早期濃染」と画像特徴量「早期相における腫瘤内部の輝度平均値」との相関比を求める方法について説明する。式１においては、カテゴリｉ＝１を「早期濃染」を含むもの、カテゴリｉ＝２を「早期濃染」を含まないものとする。読影レポートに「早期濃染」を含む症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるｊ番目の観測値をｘ１ｊとする。また、読影レポートに「早期濃染」を含まない症例から抽出した腫瘤画像の「早期相における腫瘤内部の輝度平均値」であるｊ番目の観測値をｘ２ｊとする。「早期濃染」とは造影早期相にてＣＴ値が上昇することを表すため、この場合、相関比が大きく（１に近く）なることが予想される。また、早期濃染は腫瘤の種類に依存し、腫瘤の大きさには依存しないため、読影項目「早期濃染」と画像特徴量「腫瘤面積」との相関比は小さく（０に近く）なることが予想される。このようにして、全ての読影項目と全ての画像特徴量との間の相関比を計算する。
　図８に、読影項目と画像特徴量との間の相関関係（ここでは、相関比）の概念図を示す。左側には複数の読影項目、右側には複数の画像特徴量の名称が列挙されている。そして、相関比の大きい（相関比が閾値以上の）読影項目と画像特徴量の間が実線で結ばれている。つまり、計算した相関比を最終的に閾値で二値化すると、図８のような情報が求められることになる。その一例について補足する。肝腫瘤の造影ＣＴ検査においては、殆どの腫瘤は造影剤使用前のＣＴ画像（単純、単純ＣＴ、単純相などと呼ぶ）で低濃度に描出され、多くの場合、読影レポートに「低濃度」、「ＬＤＡ（Ｌｏｗ　Ｄｅｎｓｉｔｙ　Ａｒｅａ）あり」などと記述される。そのため、「低濃度」といった読影項目と、造影剤使用前のＣＴ画像における腫瘤内部の輝度平均（図８では「単純相　輝度平均」と略記載）との相関が大きくなる。
　また、図９に、読影項目と画像特徴量との間の相関関係（例えば、相関比）の別の概念図を示す。この図では、相関比を多値表現しており、読影項目と画像特徴量の間の実線の太さが相関比の大きさに相当している。例えば、造影早期相にてＣＴ値が上昇する「早期濃染」と、早期動脈相（早期相、動脈相とも略される）における腫瘤内部の輝度平均（図９では「動脈相　輝度平均」と略記載）との相関が大きくなっている。図９では、読影項目「早期濃染」と画像特徴量との間の相関関係を示しているが、他の読影項目と画像特徴量との間の相関関係も同様に存在する。
　相関比の値に着目することで、ある読影項目と相関の高い画像特徴量を特定することができる。実際には１つの症例には、複数の画像や複数の病変（腫瘤）を含む場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影ＣＴ検査では、造影剤使用前や使用後の複数時刻におけるタイミングでＣＴ撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の１つの集合には複数の病変（腫瘤）が含まれ、１つの病変からは複数の画像特徴量が抽出される。そのため、（スライス画像集合数）×（１人の被験者から検出された病変数）×（画像特徴量の種類数）の個数だけ画像特徴量が得られ、これら複数の画像特徴量と、１つの読影レポートから抽出された複数の読影項目や疾病名との相関関係を求める必要がある。もちろん大量の症例を用いることにより、対応が正しく得られる可能性があるが、図７のように病変位置と時相を用いる等して、読影レポートの記載と、対応する画像特徴量とをある程度事前に対応づけることができれば、より正確に相関関係を求めることができる。
　先の説明では、質的データが、ある読影項目を含むものおよび含まないものの２カテゴリである場合について説明したが、ある読影項目（例えば、「境界明瞭」）と、その対義語となる読影項目（例えば、「境界不明瞭」）との２カテゴリであってもよい。また、読影項目が「低濃度」、「中濃度」、「高濃度」などの序数尺度の場合は、それらの各々をカテゴリとして（この例では３カテゴリ）、相関比を計算してもよい。
　また、「低濃度」、「低輝度」、「低吸収」などの同義語については、予め同義語辞書を作成しておき、それらを同一の読影項目として扱う。
　（２）（画像特徴量－参照表現）間の相関関係
　一対の（画像特徴量－参照表現）間の相関関係については、（画像特徴量－読影項目）間の場合と同じく相関比を用いることができる。図１０に、参照表現と画像特徴量との間の相関関係（例えば、相関比）の概念図を示す。参照表現は（検査の名称，その検査における読影項目）の形で表現している。例えば、（過去，増大）といった時系列変化を表す参照表現の場合には、その参照表現と現在の画像の面積の特徴との相関比が高くなり、その参照表現と現在の画像と同一モダリティにおける過去画像の面積の特徴との相関比が高くなる。一方、（ＵＳ，高エコー）といったような他の検査法を指す参照表現の場合には、ＵＳの画像特徴量の輝度平均といったように、対象の検査に対応する画像特徴量とその参照表現との相関比が高くなる。図１０では図８と同じく相関関係を二値表現しているが、図９のような多値表現を行うことも可能である。
　（３）（画像特徴量－疾病名）間の相関関係
　一対の（画像特徴量－疾病名）間の相関関係については、（画像特徴量－読影項目）間の場合と同じく相関比を用いることができる。図１１に、疾病名と画像特徴量との間の相関関係（例えば、相関比）の概念図を示す。この図では図８と同じく相関関係を二値表現しているが、図９のような多値表現を行うことも可能である。
　（４）（読影項目－疾病名）間の相関関係と（参照表現－疾病名）間の相関関係
　一対の（読影項目－疾病名）間の相関関係の求め方について説明する。相関関係の表現形態は複数あるが、ここでは支持度を用いる。支持度は、質的データ間の相関ルールを表す指標であり、式２で表される。
Figure JPOXMLDOC01-appb-M000002
　この支持度は、全症例において読影項目Ｘと疾病名Ｙとが同時に出現する確率（共起確率）を意味する。支持度を用いることで、関連性（相関性）の強い参照表現と疾病名との組合せを特定することができる。
　なお、支持度の代わりに、式３で示される確信度や、式４で示されるリフト値を用いても良い。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　確信度とは、条件部Ｘのアイテムの出現を条件としたときの結論部Ｙのアイテムが出現する確率である。読影項目Ｘが出現している読影レポートにて、疾病名Ｙが多く出現していれば、読影項目Ｘと疾病名Ｙの関連性が強いと見なす。リフト値とは、読影項目Ｘの出現を条件としないときの疾病名Ｙの出現確率に対して、読影項目Ｘの出現を条件としたときの疾病名Ｙの出現確率（すなわち確信度）がどの程度上昇したかを示す指標である。その他、ｃｏｎｖｉｃｔｉｏｎ、φ係数を用いても良い。ｃｏｎｖｉｃｔｉｏｎ、φ係数については相関ルール分析に関する文献（例えば、非特許文献８：「データマイニングとその応用」、加藤／羽室／矢田　共著、朝倉書店）に記載されている。
　（参照表現－疾病名）間の相関関係も（読影項目－疾病名）と全く同様に算出可能である。図１２に、読影項目と疾病名との間の相関関係（例えば、支持度）、および参照表現と疾病名の相関関係を同時に表現した概念図を示す。この図では図８と同じく相関関係を二値表現しているが、もちろん図９のような多値表現を行うことも可能である。
　以上の方法にて、ステップＳ１６の処理を行うと、図１３、図１４、図１５のような、（画像特徴量－読影項目）間および（画像特徴量－参照表現）間の相関関係、（画像特徴量－疾病名）間の相関関係、（読影項目－疾病名）間および（参照表現－疾病名）間の相関関係が、それぞれ得られる。ここで、Ｍは症例に含まれる検査の総数を表し、検査１は読影対象画像の検査とする（ここでは検査１はＣＴに相当する。他のモダリティについても、図１３、図１４、図１５と同様の表を作成することで、類似症例検索が可能となる。）。得られた相関関係は、図１３、図１４、図１５の形式にて読影知識データベース１１０に格納される。
　＜類似症例検索＞
　以下、図１６のフローチャートおよび図１７の類似症例検索の概要を示す図を用いて類似症例検索の手順について説明する。
　ステップＳ２０では、検査画像取得部１２０は、医用画像撮影装置から読影対象画像を取得する。また、同一被験者の他の検査画像（参照画像）が存在する場合は、それらをすべて読み込む。他の検査画像は、読影者が直接指定および入力してもよいし、被験者ＩＤ等を基に症例データベースから自動的に取得しても良い。図２の読影知識作成時と同じく、本実施の形態で対象とする医用画像撮影装置はマルチスライスＣＴとし、対象臓器および疾病は、それぞれ肝臓および肝腫瘤とする。読み込まれた画像は、読影対象画像表示部１３０に表示される。例えば、ステップＳ２０では、図１７に示す読影対象画像２０１と、他の検査画像２０３とが取得される。
　ステップＳ２１では、読影者は読影対象画像表示部１３０に表示された読影対象画像を参照しながら、レポート入出力部１４０を通して読影レポートを入力する。マルチスライスＣＴ装置の場合、画像の再構成により通常、体軸に対して垂直な面（ａｘｉａｌ　ｖｉｅｗ）のスライス画像が複数枚得られる。読影者は、これら複数のスライス画像に対し、スライス位置を変えながら病変（本実施の形態では肝腫瘤）の有無を確認し、読影レポートを入力する。読影レポートを入力する際、読影対象画像にて検出した病変の位置（スライス番号、および、スライス画像上における座標や領域情報）を、読影者がマウスなどの入力機器により指定してもよい。座標を指定する場合は、例えば、腫瘤の中心位置をマウスでクリックする。領域を指定する場合は、領域を矩形、円または楕円で囲む方法や、病変部と正常組織間との境界を自由曲線で囲む方法がある。中心座標のみを指定する場合や、矩形、円または楕円等で囲むことにより領域を指定する場合は、読影者の負担が小さいという利点があるが、画像特徴量抽出のために、別途、前記領域から腫瘤のみの領域を画像処理アルゴリズムにより自動抽出する必要がある。腫瘤領域抽出については、ステップＳ１１３と同じ手法を用いることができる。読影者により、病変の位置、領域の指定を行わない場合は、ステップＳ１１２の対象臓器領域抽出、および、ステップＳ１１３の病変領域抽出を行えばよい。例えば、ステップＳ２１では、図１７に示す読影レポート２０２が入力される。
　ステップＳ２２では、読影者からの類似症例検索の要求を受け付ける。
　典型的な症状を有する腫瘤の場合や読影者が熟練者の場合、通常は迷うことなく読影レポートの記入が完了する。非典型な症状を有する腫瘤の場合や読影者の熟練度が低い場合などは、読影者が読影端末２２０において類似症例検索要求を行う。読影対象画像に複数の病変が存在する場合は、診断に迷っている病変を指定した後、類似症例検索要求を行う。
　この病変の指定について説明する。ステップＳ２１の読影レポート記入時に、診断に迷っている病変を含めて既に病変の位置や領域が複数指定されていれば、そのうちのどれかを選択するだけでよい。ステップＳ２１にて、診断に迷っている病変を指定していなければ、ここで新たに病変を指定する。指定の方法は、病変の中心付近の１点を指定してもよいし、病変領域を指定してもよい。中心付近の１点が指定された場合は、指定された点を基準として予め定めたサイズの領域を設定し、この領域の中からステップＳ１１３と同じ方法を用いて詳細な病変領域を設定する。病変領域を大まかに指定した場合は、この領域の中からステップＳ１１３と同じ方法を用いて詳細な病変領域を設定する。
　そして、読影者からの類似症例検索要求があった場合は、ステップＳ２３に進む。この時、読影レポートは記入完了の状態であってもよく、記入途中であってもよい。全く未記入の状態でも後のステップＳ２７での類似症例検索は実行可能であるが、その場合は、本実施の形態の特徴である読影者の着眼点に応じた類似症例検索は実行されず、予め設定された標準的な画像特徴量集合で類似症例検索を実行することになる。
　また、読影レポート記入時間が一定以上経過した場合、もしくは、読影者から読影終了に関する入力があった場合は、図１６の処理を終了する。類似症例検索要求、読影終了入力を受理するための処理部は図１には図示していないが、読影端末２２０のキーボード内等に内蔵された物理的なスイッチでもよいし、医療用の高精細モニタ等で構成される読影対象画像表示部１３０に表示されたＧＵＩメニュー等でもよい。
　ステップＳ２３では、画像特徴抽出部１８０は、読影対象画像に対して、ステップＳ２２にて指定または抽出された病変領域から画像特徴量を抽出する。指定または抽出された病変領域が複数あればその全てに対して、予め定めているすべての画像特徴量を抽出する。画像特徴量の抽出方法は、ステップＳ１１５と同じである。このとき、すべての他の検査画像の対応する病変領域についても同時に画像特徴を抽出する。例えば、ステップＳ２３では、画像特徴抽出部１８０は、読影対象画像２０１から画像特徴量２０６を抽出し、他の検査画像２０３から画像特徴量２０７を抽出する。
　ステップＳ２４では、レポート解析部１５０は、ステップＳ２１にて記入された読影レポートの解析を行う。ここでは、読影知識データベース１１０の作成時におけるステップＳ１２と同様の処理を実行することにより、読影レポートに含まれる記述を現在読影中の画像についての記述と、他の検査画像についての記述に分割する。
　ステップＳ２５では、読影内容抽出部１６０は、ステップＳ１３と同様の処理により、ステップＳ２４の処理で得られた現在読影中の読影対象画像についての記述から、読影項目および疾病名を抽出する。例えば、読影内容抽出部１６０は、図１７に示す読影項目２０４を抽出する。図１７では、疾病名を示していないが、疾病名が抽出されていても良い。
　ステップＳ２６では、参照表現抽出部１７０は、ステップＳ１４と同様の処理により、ステップＳ２４の処理で得られた他の検査画像についての記述から、参照表現を抽出する。例えば、参照表現抽出部１７０は、図１７に示す参照表現２０５を抽出する。
　ステップＳ２５とステップＳ２６の結果は相互に依存しないため、実行順は逆でも構わない。
　ステップＳ２７では、重み決定部１９０および類似症例検索部２００は、画像特徴抽出部１８０で抽出された読影対象画像の画像特徴量と、読影内容抽出部１６０が抽出した読影項目および疾病名と、参照表現抽出部１７０が抽出した参照表現とに基づいて、症例データベース１００から類似症例を検索する。検索された類似症例は類似症例表示部２１０に表示される。ここでは、ステップＳ２１にて読影者が図４の読影レポートを記入済、ステップＳ２５、Ｓ２６にて図５Ａ～図５Ｃの読影項目、疾病名および参照表現が抽出済、ステップＳ２３で読影対象画像から画像特徴量が抽出済の状況を考える。また、読影知識データベース１１０には、図１３、図１４、図１５のような画像特徴量、読影項目、疾病名の三項のうち二項間の相関関係、および画像特徴量、参照表現、疾病名の三項のうち二項間の相関関係が格納済であるとする。
　本実施の形態では、読影レポートから抽出された読影項目、参照表現および疾病名の少なくとも１つを基に、類似症例検索にて重み付け距離計算を行う。即ち、抽出された読影項目、参照表現および疾病名の少なくとも１つと関連する画像特徴量に関しては重みを相対的に大きく、関連しない画像特徴量に関しては重みを相対的に小さくする。これにより、読影レポートに記入された読影者の着眼点を反映した類似症例検索が可能となる。つまり、類似症例検索部２００は、症例データベース１００に記憶されている症例に含まれる医用画像と読影対象画像との間で重み付け距離を算出する。類似症例検索部２００は、所定の閾値よりも小さい重み付け距離の算出の元となった医用画像を含む症例を類似症例として、症例データベース１００から検索する。または、類似症例検索部２００は、小さいものから所定個数の重み付け距離の算出の元となった医用画像を含む症例を類似症例として、症例データベース１００から検索する。
　例えば、重み決定部１９０は、図１７に示す読影項目２０４または参照表現２０５と画像特徴量２０６との相関性を示す値に基づいて、画像特徴量２０６の重みを決定する。同様に、重み決定部１９０は、読影項目２０４または参照表現２０５と画像特徴量２０７との相関性を示す値に基づいて、画像特徴量２０７の重みを決定する。画像特徴量２０６および２０７と、症例データベース１００に登録されている症例データに含まれる医用画像から抽出される複数の画像特徴量との間の重み付け距離を算出することにより、類似症例を検索する。
　重み付け距離は、例えば式５にて計算できる。
Figure JPOXMLDOC01-appb-M000005
　ここで、ｘは、読影対象画像から抽出された複数の画像特徴量を全て連結したベクトルである。ｕｉは、症例データベース１００に格納された症例のうち、ｉ番目の症例から抽出された画像特徴量である。異なる種類の画像特徴量を連結する際は、特徴量毎のスケールの違いに影響を受けないよう正準化（平均０、分散１に正規化）を行っておく。
　以下に重み付け方法の具体例を示す。重み付けの際には、抽出された読影項目と参照表現は一括りにして扱い、特に区別しない。以降、読影項目と参照表現を合わせたものを「読影項目／参照表現」と表現する。「読影項目／参照表現」と表現した場合には、読影項目、参照表現のうち一方だけが存在する場合と、ともに存在する場合との両方を含む。
　（１）読影レポートから読影項目／参照表現および疾病名の両方が抽出できた場合
　このケースは、読影者が読影レポートをほぼ記入終了し、類似症例検索の結果で記入内容の確信を高めようとしている状況に相当する。
　ここでは、（読影項目－画像特徴量）間および（参照表現－画像特徴量）間の相関関係と、（読影項目－疾病名）間および（参照表現－疾病名）間の相関関係を用いる例について説明する。（疾病名－画像特徴量）間の相関関係も使用可能ではあるが、ここでは上記２組の相関関係のみを用いる。読影者の思考プロセスは、医用画像に着目する読影項目を判定した後、読影項目の判定結果により疾病名を最終判定していると考えられるためである。
　この時点で、図４の読影レポートから図５Ａのように読影項目として「早期濃染」、「等吸収」が、図５Ｂのように参照表現として「ＭＲ－Ｔ２高信号」が、図５Ｃのように疾病名として「血管腫」が抽出されている。重み決定部１９０は、読影知識データベース１１０における図１５の形式で格納された（読影項目－疾病名）間および（参照表現－疾病名）の相関関係テーブルを参照し、（早期濃染－血管腫）間、（等吸収－血管腫）間、および（ＭＲ－Ｔ２高信号－血管腫）間の相関関係を取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、それぞれｗｘ，ｗｙ，ｗｚと表す。また、重み決定部１９０は、読影知識データベース１１０における図１３の形式で格納された（画像特徴量－読影項目）間および（画像特徴量－参照表現）間の相関関係テーブルを参照し、「早期濃染」、「等吸収」、「ＭＲ－Ｔ２高信号」と全ての画像特徴量間の相関関係をそれぞれ取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、それぞれｗａ，ｉ，ｗｂ，ｉ，ｗｃ，ｉと表す。ここで、ｉは画像特徴量の種類を現す添字である。重み決定部１９０は、これらの重みを用いて、ｉ番目の画像特徴量に対応する重みＷｉを式６のように計算する。
Figure JPOXMLDOC01-appb-M000006
　以上の重み付け方法について、図１８に概要を示した。
　例えば、４番目の画像特徴量「エッジ強度」に対する重みは、ｗｘｗａ，４と、ｗｙｗｂ，４と、ｗｚｗｃ，４との和として求められる。ここで、ｗｘｗａ，４は、（早期濃染－エッジ強度）間の相関関係を表す値ｗａ，４を、同じ読影項目を含む（早期濃染－血管腫）間の相関関係を表す値ｗｘで重み付けした値である。ｗｙｗｂ，４は、（等吸収－エッジ強度）間の相関関係を表す値ｗｂ，４を、同じ読影項目を含む（等吸収－血管腫）間の相関関係を表す値ｗｙで重み付けした値である。ｗｚｗｃ，４は、（ＭＲ－Ｔ２高信号－エッジ強度）間の相関関係を表す値ｗｃ，４を、同じ参照表現を含む（ＭＲ－Ｔ２高信号－血管腫）間の相関関係を表す値ｗｚで重み付けした値である。
　読影項目／参照表現の個数が３以外の場合でも、（読影項目－疾病名）間の相関関係を表す値で重み付けした後の（読影項目－画像特徴量）間の相関関係を表す値と、（参照表現－疾病名）間の相関関係を表す値で重み付けした後の（参照表現－画像特徴量）間の相関関係を表す値とを加算することにより重みを算出することができる。この式により、読影者が着目した読影項目／参照表現および疾病名と、読影項目／参照表現と疾病名との関連性と、読影項目／参照表現と画像特徴量との関連性と、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。
　また、図１６のフローチャートでは類似症例検索要求があった場合のみ類似症例検索を実行するが、読影レポート記入中の他のタイミングで類似症例検索を実行してもよい。他のタイミングとしては、少なくとも１個以上の読影項目／参照表現または疾病名を記入後、一定時間以上、読影レポートの記入がされない場合などである。これは、読影者が読影に迷っていると解釈し、ヒントとなる類似症例を先回りして提示することにより読影を進展させることを意図した動作方法である。本実施の形態では、少なくとも１個以上の読影項目／参照表現または疾病名が記入された場合、読影者のその着眼点を基に類似症例検索を実行することができる。以降に、読影レポートから読影項目／参照表現のみが抽出できた場合、および、疾病名のみが抽出できた場合についても説明する。
　（２）読影レポートから読影項目／参照表現のみが抽出できた場合
　このケースは、読影者が着目すべき読影項目は判断できたものの、最終的な疾病名の診断に迷っており、類似症例検索の結果で疾病名診断のヒントを得ようとしている状況に相当する。ここでは、（読影項目－画像特徴量）間および（参照表現－画像特徴量）の相関関係のみを用いる。
　この時点で、読影レポートから読影項目として「早期濃染」、「等吸収」、参照表現として「ＭＲ－Ｔ２高信号」が抽出されているとする。重み決定部１９０は、読影知識データベース１１０における図１３の形式で格納された（画像特徴量－読影項目）間および（画像特徴量－参照表現）間の相関関係テーブルを参照し、「早期濃染」、「等吸収」、「ＭＲ－Ｔ２高信号」と全ての画像特徴量間の相関関係をそれぞれ取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、それぞれｗａ，ｉ，ｗｂ，ｉ，ｗｃ，ｉと表す。ここで、ｉは画像特徴量の種類を現す添字である。これらの重みを用い、ｉ番目の画像特徴量に対応する重みＷｉを、式７のように計算する。
Figure JPOXMLDOC01-appb-M000007
　以上の重み付け方法について、図１９に概要を示した。
　例えば、４番目の画像特徴量「エッジ強度」に対する重みは、（早期濃染－エッジ強度）間の相関関係を表す値ｗａ，４と、（等吸収－エッジ強度）間の相関関係を表す値ｗｂ，４と、（ＭＲ－Ｔ２高信号－エッジ強度）間の相関関係を表す値ｗｃ，４とを足した値である。
　読影項目／参照表現の個数が３以外の場合も、（読影項目－画像特徴量）間の相関関係を表す値および（参照表現－画像特徴量）間の相関関係を表す値を加算することにより重みを算出することができる。この式により、読影者が着目した読影項目／参照表現、および、読影項目／参照表現と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。
　（３）読影レポートから疾病名のみが抽出できた場合
　このケースは、読影者が直感等で疾病名を推定したがその根拠となる読影項目／参照表現の判断に迷っており、類似症例検索の結果で診断根拠（読影項目／参照表現）のヒントを得ようとしている状況に相当する。ここでは、（疾病名－画像特徴量）間の相関関係のみを用いる。
　この時点で、読影レポートから疾病名として「血管腫」が抽出されているとする。重み決定部１９０は、読影知識データベース１１０における図１４の形式で格納された（画像特徴量－疾病名）間の相関関係テーブルを参照し、「血管腫」と全ての画像特徴量間の相関関係を取得する。ここでは取得した相関関係を表す数値をそのまま重みとして用い、ｗｉと表す。ここで、ｉは画像特徴量の種類を現す添字である。これらの重みｗｉを用い、ｉ番目の画像特徴量に対応する重みＷｉを、式８のように計算する。
Figure JPOXMLDOC01-appb-M000008
　以上の重み付け方法について、図２０に概要を示した。
　例えば、４番目の画像特徴量「エッジ強度」に対する重みは、（血管腫－エッジ強度）間の相関関係を表す値ｗ４である。
　疾病名は通常１個であるため、上記の処理を行えばよいが、２個以上の疾病名が記入された場合などは、それらの疾病名と画像特徴量との間の相関関係を表す値の総和を重みとすればよい。総和を求めることにより、２個以上の疾病に対し、平均的な画像特徴量で類似症例検索が可能となる。この式により、読影者が着目した疾病名、および、疾病名と画像特徴量との関連性、を同時に考慮した重みが計算でき、その結果、それらを重視した類似症例検索が可能となる。
　なお、本実施の形態では、式５の重み付け距離を用いて画像間の類似判定を行ったが、用いる画像特徴量の総次元数が大きくなってくると、計算された距離において、多数の相関比が小さい（または中程度）の多数の画像特徴量のために相関比の大きい画像特徴量が埋没する可能性がある。その場合は、対応する相関比が所定の閾値以上の画像特徴量のみを距離計算に使用する、あるいは、相関比の上位数個の画像特徴量のみを距離計算に使用するなどの方法を採用してもよい。その場合の画像特徴量の個数は事前に定めておけばよい。
　以上説明したように、本実施の形態における類似症例の検索では、読影レポートから抽出された読影項目、参照表現、疾病名のうち１つ以上を基に、類似症例検索にて重み付け距離計算を行う。即ち、抽出された読影項目、参照表現、疾病名と関連する画像特徴量に関しては重みを相対的に大きく、関連しない画像特徴量に関しては重みを相対的に小さくする。これにより、読影レポートに記入された読影者の着眼点を反映した類似症例検索が可能となる。特に、参照表現を利用することで、同一被験者の他の検査に対する記述に基づいて画像特徴量に重み付けを行うことができる。これにより、読影者の着眼点を類似症例検索に反映し、互いに異なる複数のモダリティの検査の情報または時系列変化の情報を含めて類似症例検索を行うことができる。
　以上、実施の形態に係る類似症例検索装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　例えば、上述の実施の形態では、検査画像取得部１２０は、読影対象画像と共に他の検査の画像を取得していた。しかし、検査画像取得部１２０は、読影対象画像のみを取得するようにしても良い。この場合には、画像特徴量として、読影対象画像から抽出される画像特徴量のみを用いて類似症例検索が実行される。このような方法であっても、上述の実施の形態と同様の効果を奏することができる。
　また、上述の実施の形態に係る類似症例検索装置は、読影項目と参照表現の両方を用いて画像特徴量への重み付けを行ったが、図２１のように、参照表現のみを用いて画像特徴量への重み付けを行っても良い。この場合、類似症例検索装置には読影内容抽出部１６０が備えられていなくても良い。重み決定部１９０は、参照表現抽出部１７０で抽出された参照表現、画像特徴抽出部１８０で抽出された画像特徴量、および、読影知識データベース１１０に格納された読影知識から、画像検索で使用する複数の画像特徴量に対する重みをそれぞれ決定する。重み決定時に読影項目を利用しない以外は、重みの決定方法は実施の形態と同じである。このため、その詳細な説明は繰り返さない。この構成では、読影レポート中に現在読影中の検査画像以外の記述があった場合、その記述に関連する画像特徴量を特に重視した類似症例検索を行うことができる。
　また、図２２に示すように、読影知識データベース１１０および症例データベース１００は、必ずしも類似症例検索装置に備えられていなくても良く、類似症例検索装置が存在する場所Ａとは異なる場所Ｂに備えられていても良い。この場合、類似症例検索装置の重み決定部１９０と類似症例検索部２００が、それぞれ、ネットワークを介して読影知識データベース１１０と症例データベース１００に接続される。
　また、類似症例検索装置の必須の構成要素は、画像特徴抽出部１８０と、レポート解析部１５０と、参照表現抽出部１７０と、重み決定部１９０と、類似症例検索部２００とであり、その他の構成要素は、本発明の課題を達成するのに必ずしも必要ではない。
　また、上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクドライブ、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムとして構成されても良い。ＲＡＭまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
　さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
　また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
　すなわち、このプログラムは、コンピュータに、被験者に対して第１検査を行うことにより得られる医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索させる。具体的には、このプログラムは、コンピュータに、被験者に対して第１検査を行うことにより得られる医用画像である読影対象画像から複数の画像特徴量を抽出させ、前記読影対象画像を読影者が読影することにより得られる読影レポートである対象読影レポートから、前記第１検査に関する記述と前記第１検査の被験者に対して行われた前記第１検査とは異なる第２検査に関する記述とを分割させ、分割された前記第２検査に関する記述から前記第２検査を前記第１検査の被験者に対して行うことにより得られる参照画像の特徴を示す文字列である参照表現を抽出させ、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各参照表現との間の関連性を予め定めた二項間関係情報に基づいて、前記読影対象画像から抽出された画像特徴量ごとに、当該画像特徴量と前記第２検査に関する記述から抽出された前記参照表現との間の関連性が高いほど大きな値の重みを決定させ、前記読影対象画像から抽出された前記複数の画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる医用画像から抽出される複数の画像特徴量とを、決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索させる。
　さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読取可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
　また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
　以上、一つまたは複数の態様に係る類似症例検索装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本発明は、読影者に参考となる類似症例を検索および提示する類似症例検索装置、および、研修読影医のための読影教育装置等に利用可能である。
１００　症例データベース
１１０　読影知識データベース
１２０　検査画像取得部
１３０　読影対象画像表示部
１４０　レポート入出力部
１５０　レポート解析部
１６０　読影内容抽出部
１７０　参照表現抽出部
１８０　画像特徴抽出部
１９０　重み決定部
２００　類似症例検索部
２１０　類似症例表示部
２２０　読影端末

Claims (11)

  1. 　被験者に対して第１検査を行うことにより得られる医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索装置であって、
    　被験者に対して第１検査を行うことにより得られる医用画像である読影対象画像から複数の画像特徴量を抽出する画像特徴抽出部と、
    　前記読影対象画像を読影者が読影することにより得られる読影レポートである対象読影レポートから、前記第１検査に関する記述と前記第１検査の被験者に対して行われた前記第１検査とは異なる第２検査に関する記述とを分割するレポート解析部と、
    　前記レポート解析部で分割された前記第２検査に関する記述から前記第２検査を前記第１検査の被験者に対して行うことにより得られる参照画像の特徴を示す文字列である参照表現を抽出する参照表現抽出部と、
    　医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各参照表現との間の関連性を予め定めた二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定する重み決定部と、
    　前記画像特徴抽出部が前記読影対象画像から抽出した前記複数の画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する類似症例検索部と
    　を備える類似症例検索装置。
  2. 　前記レポート解析部は、前記対象読影レポートの中から、前記第１検査に用いた医用画像撮像装置とは異なる医用画像撮像装置に関する記述を含む記述を、前記第２検査に関する記述として分割する
    　請求項１に記載の類似症例検索装置。
  3. 　前記レポート解析部は、前記対象読影レポートの中から、過去に関する記述を含む記述を、前記第２検査に関する記述として分割する
    　請求項１に記載の類似症例検索装置。
  4. 　さらに、前記レポート解析部で分割された前記第１検査に関する記述から前記読影対象画像の特徴を示す文字列である読影項目を抽出する読影内容抽出部を備え、
    　前記二項間関係情報は、さらに、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各読影項目との間の関連性を示し、
    　前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定する
    　請求項１～３のいずれか１項に記載の類似症例検索装置。
  5. 　前記読影内容抽出部は、さらに、前記第１検査に関する記述から読影者の診断結果である疾病名を抽出し、
    　前記二項間関係情報は、さらに、医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各疾病名との間の関連性を示し、
    　前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目もしくは前記疾病名または前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定する
    　請求項４に記載の類似症例検索装置。
  6. 　前記読影内容抽出部が前記第１検査に関する記述から疾病名を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目との間の関連性が高いほど大きな値の重みを決定する
    　請求項５に記載の類似症例検索装置。
  7. 　前記二項間関係情報は、さらに、読影レポートから抽出される読影項目と疾病名との間の関連性を示し、
    　前記読影内容抽出部が前記第１検査に関する記述から疾病名を抽出し、かつ、前記読影内容抽出部が前記第１検査に関する記述から読影項目を抽出したか、または前記参照表現抽出部が前記第２検査に関する記述から参照表現を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記読影対象画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性を示す値と、当該読影項目または当該参照表現と前記読影内容抽出部が抽出した前記疾病名との関連性を示す値との積を、当該画像特徴量に対する重みとして決定する
    　請求項４に記載の類似症例検索装置。
  8. 　前記読影内容抽出部が前記第１検査に関する記述から読影項目を抽出したか、または前記参照表現抽出部が前記第２検査に関する記述から参照表現を抽出した場合、前記重み決定部は、前記二項間関係情報に基づいて、前記画像特徴抽出部が抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性を示す値を、当該画像特徴量に対する重みとして決定する
    　請求項４に記載の類似症例検索装置。
  9. 　前記症例データベースに登録されている各症例データは、さらに、前記第２検査を前記第１検査の被験者に対して行うことにより得られる医用画像を含み、
    　前記画像特徴抽出部は、さらに、前記参照画像から複数の画像特徴量を抽出し、
    　前記重み決定部は、さらに、前記二項間関係情報に基づいて、前記画像特徴抽出部が前記参照画像から抽出した画像特徴量ごとに、当該画像特徴量と前記読影内容抽出部が抽出した前記読影項目または前記参照表現抽出部が抽出した前記参照表現との間の関連性が高いほど大きな値の重みを決定し、
    　前記類似症例検索部は、前記画像特徴抽出部が前記読影対象画像および前記参照画像から抽出した画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる複数の前記医用画像から抽出される複数の画像特徴量とを、前記重み決定部で決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像および前記参照画像に類似する複数の前記医用画像を含む症例データを前記症例データベースより検索する
    　請求項４～８のいずれか１項に記載の類似症例検索装置。
  10. 　被験者に対して第１検査を行うことにより得られる医用画像と当該医用画像を読影した結果が記載された文書データである読影レポートとを含む症例データに類似する症例データを症例データベースより検索する類似症例検索方法であって、
    　被験者に対して第１検査を行うことにより得られる医用画像である読影対象画像から複数の画像特徴量を抽出し、
    　前記読影対象画像を読影者が読影することにより得られる読影レポートである対象読影レポートから、前記第１検査に関する記述と前記第１検査の被験者に対して行われた前記第１検査とは異なる第２検査に関する記述とを分割し、
    　分割された前記第２検査に関する記述から前記第２検査を前記第１検査の被験者に対して行うことにより得られる参照画像の特徴を示す文字列である参照表現を抽出し、
    　医用画像から抽出される各画像特徴量と、前記医用画像に対する読影レポートから抽出される各参照表現との間の関連性を予め定めた二項間関係情報に基づいて、前記読影対象画像から抽出された画像特徴量ごとに、当該画像特徴量と前記第２検査に関する記述から抽出された前記参照表現との間の関連性が高いほど大きな値の重みを決定し、
    　前記読影対象画像から抽出された前記複数の画像特徴量と、前記症例データベースに登録されている前記症例データに含まれる医用画像から抽出される複数の画像特徴量とを、決定された画像特徴量毎の重みで重み付けして比較することにより、前記読影対象画像に類似する医用画像を含む症例データを前記症例データベースより検索する
    　類似症例検索方法。
  11. 　請求項１０に記載の類似症例検索方法をコンピュータに実行させるためのプログラム。
PCT/JP2012/004886 2011-08-04 2012-08-01 類似症例検索装置および類似症例検索方法 WO2013018363A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013504606A JP5475923B2 (ja) 2011-08-04 2012-08-01 類似症例検索装置および類似症例検索方法
US13/903,243 US8934695B2 (en) 2011-08-04 2013-05-28 Similar case searching apparatus and similar case searching method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-171317 2011-08-04
JP2011171317 2011-08-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/903,243 Continuation US8934695B2 (en) 2011-08-04 2013-05-28 Similar case searching apparatus and similar case searching method

Publications (1)

Publication Number Publication Date
WO2013018363A1 true WO2013018363A1 (ja) 2013-02-07

Family

ID=47628911

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/004886 WO2013018363A1 (ja) 2011-08-04 2012-08-01 類似症例検索装置および類似症例検索方法

Country Status (3)

Country Link
US (1) US8934695B2 (ja)
JP (1) JP5475923B2 (ja)
WO (1) WO2013018363A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155273A1 (en) * 2013-03-29 2014-10-02 Koninklijke Philips N.V. A context driven summary view of radiology findings
JP2016523407A (ja) * 2013-06-17 2016-08-08 メディマッチ テクノロジー リミテッド 医用画像の実時間分析システム及び方法
US10248759B2 (en) 2015-03-13 2019-04-02 Konica Minolta Laboratory U.S.A., Inc. Medical imaging reference retrieval and report generation
US10282516B2 (en) 2015-03-13 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Medical imaging reference retrieval
WO2019224650A1 (en) * 2018-05-24 2019-11-28 International Business Machines Corporation Generating a textual description of an image using domain-independent anomaly analysis
CN110555730A (zh) * 2019-08-28 2019-12-10 上海明品医学数据科技有限公司 一种产品上市后研究的数据统计分析方法
JP2020032044A (ja) * 2018-08-31 2020-03-05 富士フイルム株式会社 類似度決定装置、方法およびプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9032360B1 (en) * 2011-05-08 2015-05-12 Panaya Ltd. Selecting a test scenario template based on similarity of testing profiles belonging to different organizations
EP2904589B1 (en) * 2012-10-01 2020-12-09 Koninklijke Philips N.V. Medical image navigation
JP6109778B2 (ja) * 2014-03-27 2017-04-05 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6099593B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP6099592B2 (ja) * 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置及び類似症例検索プログラム
US20160078352A1 (en) * 2014-09-11 2016-03-17 Paul Pallath Automated generation of insights for events of interest
WO2017067673A1 (en) * 2015-10-19 2017-04-27 Leaptest A/S Method, apparatus and system for task automation of computer operations based on ui control and image/text recognition
JP6706345B2 (ja) * 2016-12-19 2020-06-03 富士フイルム株式会社 類似症例検索装置とその作動方法および作動プログラム、並びに類似症例検索システム
US11139080B2 (en) 2017-12-20 2021-10-05 OrthoScience, Inc. System for decision management
CN112116028B (zh) * 2020-09-29 2024-04-26 联想(北京)有限公司 模型决策解释实现方法、装置及计算机设备
WO2024133367A1 (en) * 2022-12-22 2024-06-27 Koninklijke Philips N.V. Methods and systems for image-based querying for similar radiographic features

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007275408A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2009082442A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
JP2009093563A (ja) * 2007-10-11 2009-04-30 Fuji Xerox Co Ltd 類似画像検索装置、及び類似画像検索プログラム
JP2011048672A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 症例画像登録装置、方法およびプログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005364A (ja) * 2002-04-03 2004-01-08 Fuji Photo Film Co Ltd 類似画像検索システム
JP2007275440A (ja) 2006-04-11 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP4874701B2 (ja) 2006-04-18 2012-02-15 富士フイルム株式会社 類似画像検索装置および方法並びにプログラム
JP4976164B2 (ja) 2007-03-02 2012-07-18 富士フイルム株式会社 類似症例検索装置、方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007275408A (ja) * 2006-04-10 2007-10-25 Fujifilm Corp 類似画像検索装置および方法並びにプログラム
JP2009082442A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
JP2009093563A (ja) * 2007-10-11 2009-04-30 Fuji Xerox Co Ltd 類似画像検索装置、及び類似画像検索プログラム
JP2011048672A (ja) * 2009-08-27 2011-03-10 Fujifilm Corp 症例画像登録装置、方法およびプログラム
JP2011118543A (ja) * 2009-12-01 2011-06-16 Shizuoka Prefecture 症例画像検索装置、方法およびプログラム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155273A1 (en) * 2013-03-29 2014-10-02 Koninklijke Philips N.V. A context driven summary view of radiology findings
CN105074708A (zh) * 2013-03-29 2015-11-18 皇家飞利浦有限公司 放射学发现的背景驱动的概要视图
CN105074708B (zh) * 2013-03-29 2019-09-27 皇家飞利浦有限公司 放射学发现的背景驱动的概要视图
US11289188B2 (en) 2013-03-29 2022-03-29 Koninklijke Philips N.V. Context driven summary view of radiology findings
JP2016523407A (ja) * 2013-06-17 2016-08-08 メディマッチ テクノロジー リミテッド 医用画像の実時間分析システム及び方法
US10248759B2 (en) 2015-03-13 2019-04-02 Konica Minolta Laboratory U.S.A., Inc. Medical imaging reference retrieval and report generation
US10282516B2 (en) 2015-03-13 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Medical imaging reference retrieval
WO2019224650A1 (en) * 2018-05-24 2019-11-28 International Business Machines Corporation Generating a textual description of an image using domain-independent anomaly analysis
US10685172B2 (en) 2018-05-24 2020-06-16 International Business Machines Corporation Generating a textual description of an image using domain-independent anomaly analysis
GB2588547A (en) * 2018-05-24 2021-04-28 Ibm Generating A Textual Description Of An Image Using Domain-Independent Anomaly Analysis
JP2020032044A (ja) * 2018-08-31 2020-03-05 富士フイルム株式会社 類似度決定装置、方法およびプログラム
CN110555730A (zh) * 2019-08-28 2019-12-10 上海明品医学数据科技有限公司 一种产品上市后研究的数据统计分析方法

Also Published As

Publication number Publication date
JP5475923B2 (ja) 2014-04-16
US20130259350A1 (en) 2013-10-03
US8934695B2 (en) 2015-01-13
JPWO2013018363A1 (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
JP5475923B2 (ja) 類似症例検索装置および類似症例検索方法
JP4979842B1 (ja) 類似症例検索装置および類似症例検索方法
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
JP5462414B2 (ja) 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
WO2013001584A1 (ja) 類似症例検索装置および類似症例検索方法
US9111027B2 (en) Similar case search apparatus and similar case search method
JP5852970B2 (ja) 症例検索装置および症例検索方法
US8306960B2 (en) Medical image retrieval system
JP4945705B2 (ja) 誤診原因検出装置及び誤診原因検出方法
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
Huo et al. Fully automatic liver attenuation estimation combing CNN segmentation and morphological operations
KR20200077852A (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
US12008748B2 (en) Method for classifying fundus image of subject and device using same
JP2010172559A (ja) 医療診断支援システム及び医療診断支援装置
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
KR102360615B1 (ko) 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
KR20200114228A (ko) 순환 신경망을 이용한 이소시트르산 탈수소효소 유전형 변이 예측 방법 및 시스템
Zhou et al. Computer‐aided detection of pulmonary embolism in computed tomographic pulmonary angiography (CTPA): Performance evaluation with independent data sets
JP5642054B2 (ja) 医用画像検索システム
US10839299B2 (en) Non-leading computer aided detection of features of interest in imagery
EP4287195A1 (en) Information processing device, method, and program
JP2013105465A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法
CN114201613A (zh) 试题生成方法、试题生成装置、电子设备以及存储介质
CN118247287A (zh) 肾脏自动分段方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013504606

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819767

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12819767

Country of ref document: EP

Kind code of ref document: A1