WO2013001678A1 - 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 - Google Patents

類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 Download PDF

Info

Publication number
WO2013001678A1
WO2013001678A1 PCT/JP2012/001141 JP2012001141W WO2013001678A1 WO 2013001678 A1 WO2013001678 A1 WO 2013001678A1 JP 2012001141 W JP2012001141 W JP 2012001141W WO 2013001678 A1 WO2013001678 A1 WO 2013001678A1
Authority
WO
WIPO (PCT)
Prior art keywords
keyword
case
image feature
attribute
image
Prior art date
Application number
PCT/JP2012/001141
Other languages
English (en)
French (fr)
Inventor
和豊 高田
近藤 堅司
和紀 小塚
佳州 佐藤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013522678A priority Critical patent/JP5462414B2/ja
Publication of WO2013001678A1 publication Critical patent/WO2013001678A1/ja
Priority to US14/091,939 priority patent/US9008390B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00ICT specially adapted for the handling or processing of medical references
    • G16H70/20ICT specially adapted for the handling or processing of medical references relating to practices or guidelines

Definitions

  • the present invention relates to a similar case search device that automatically presents a case that serves as a reference for a case to be interpreted, and a relevance database creation device that creates a relevance database used in the similar case search device.
  • the image interpretation report is document data indicating a diagnosis made by the image interpreter on the medical image.
  • the interpretation reports stored in PACS Pane Archiving and Communication Systems
  • PACS Picture Archiving and Communication Systems
  • the interpretation reports stored in PACS are managed in association with each other, and the past interpretation reports that have been stored are effective. The next use is demanded.
  • One secondary use of an interpretation report is to automatically present similar cases for a medical image to be diagnosed. As a result, efforts to support decision making regarding diagnosis are expected.
  • Patent Document 1 As a conventional technique for realizing the presentation of such a similar case, in Patent Document 1, a similar case is used by using the image feature amount of a medical image corresponding to the interpretation report stored in the database and the text information included in the interpretation report.
  • a method of presenting is proposed. Specifically, when searching for similar cases, an interpretation report indicating a similar image form is searched as a primary search. After that, after the representative keyword is extracted between the text information of the interpretation report searched in the primary search as the secondary search, the image feature amount previously assigned to the extracted keyword is selected and selected. The similarity between cases is calculated from the image feature values.
  • the text information described in the interpretation report indicates the viewpoint focused by the interpreter. That is, in the method described in Patent Literature 1, if an image and a keyword are associated with each other in advance, a similar case reflecting the viewpoint focused on by the interpreter can be presented.
  • contrast CT Computed Tomography
  • a diagnosis in which one text is given to a plurality of medical images is a contrast CT (Computed Tomography) examination.
  • contrast CT examination a plurality of images are taken in the time zone before and after the contrast medium is administered to the patient.
  • the interpretation doctor creates an interpretation report by using a plurality of captured images to observe the transition of the contrast effect of each time phase.
  • a keyword assigned to all images and a keyword assigned to a specific image are mixed.
  • a keyword related to a disease name such as “hepatocellular carcinoma” is a keyword given to the entire captured image.
  • keywords relating to image findings such as “dark dye” or “low absorption” are keywords assigned to specific images. Since these keywords are mixedly described in the interpretation report, the keywords cannot be simply associated with each medical image.
  • the text information described in the interpretation report indicates the viewpoint focused on by the interpreter. That is, if the keyword and each medical image are associated with each other by mistake, a similar case reflecting the viewpoint focused on by the interpreter cannot be presented.
  • the present invention solves the above-described problem, and even if a single interpretation report is assigned to a plurality of medical images, a similar case reflecting the doctor's attention point can be easily obtained.
  • An object is to provide a similar case search device and a similar case search method that can be searched.
  • a similar case retrieval apparatus describes a first medical image group including a plurality of first medical images and a result obtained by interpreting the first medical image group.
  • a similar case retrieval apparatus for retrieving second case data similar to first case data including a first interpretation report as document data from a case database, and extracting a plurality of image feature amounts from a first medical image group From the first image interpretation report and the first image interpretation report, (a) an interpretation item that is a character string indicating the characteristics of the medical image or (b) a disease name that is a diagnostic result of the image interpreter based on the medical image is used as a keyword.
  • a keyword attribute acquisition unit that acquires an attribute value that is a word indicating an accompanying concept of the keyword from a keyword extraction unit to be extracted and a sentence including the keyword acquired by the keyword extraction unit.
  • the keyword extracted by the keyword extraction unit and the keyword attribute acquisition unit acquired by referring to a relevance database that stores the relevance of the combination of the keyword and attribute value and the image feature amount
  • the image feature amount extracted by the image feature extraction unit and the case database stored in the case database based on the degree of association between the combination of the attribute values of the keyword and the image feature amount extracted by the image feature extraction unit.
  • a search vector generation unit for generating a search vector for the image group and a search vector for the second medical image group; and a search vector for the first medical image group Comprising Le and, based on the similarity between the search vector for the second medical image group, and a similar case retrieval unit for retrieving the second case data stored in the case database.
  • each image feature is weighted when a search vector is created.
  • the weight used at this time is the degree of association between the keyword extracted from the first interpretation report and the attribute value of the keyword and each image feature amount.
  • the keyword and the attribute value are values that indicate the viewpoint focused on by the radiogram interpreter. For this reason, it is possible to search for similar cases reflecting the viewpoint focused on by the image interpreter.
  • the attribute value indicates a concept accompanying the keyword. For this reason, the attribute value is a clue to know which first medical image in the first medical image group is based on which the target interpretation report is described. Therefore, it is possible to easily search for a similar case reflecting a viewpoint focused on by an interpreter even for a case in which one text is assigned to a plurality of medical images.
  • the present invention can be realized not only as a similar case search apparatus including such a characteristic processing unit, but also by using a process executed by a characteristic processing unit included in the similar case search apparatus as a step.
  • This can be realized as a case search method. It can also be realized as a program for causing a computer to function as a characteristic processing unit provided in the similar case retrieval apparatus. It can also be realized as a program that causes a computer to execute characteristic steps included in the case search method. Needless to say, such a program can be distributed through a computer-readable non-volatile recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • CD-ROM Compact Disc-Read Only Memory
  • FIG. 1 is a block diagram showing a characteristic functional configuration of the similar case retrieval apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram illustrating an example of case data stored in the case database.
  • FIG. 3 is a diagram illustrating an example of a keyword dictionary.
  • FIG. 4 is a diagram illustrating an example of an attribute dictionary.
  • FIG. 5 is a diagram illustrating an example of the relevance database.
  • FIG. 6 is a flowchart showing an overall processing flow executed by the similar case retrieval apparatus according to Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart showing a detailed process flow of the keyword attribute acquisition process (step S103 in FIG. 6).
  • FIG. 8 is a diagram illustrating an example of a screen output to the output medium by the output unit.
  • FIG. 9 is a diagram illustrating an example of a screen output to the output medium by the output unit.
  • FIG. 10 is a block diagram showing a characteristic functional configuration of the association degree database creation device according to Embodiment 2 of the present invention.
  • FIG. 11 is a flowchart showing a flow of overall processing executed by the relevance database creating apparatus according to Embodiment 2 of the present invention.
  • FIG. 12 is a diagram illustrating an example of a data table associating time phase attribute values with image capturing times.
  • FIG. 13 is a conceptual diagram of a correlation ratio between a keyword and an image feature amount.
  • FIG. 14 is a diagram showing a structural relationship between the similar case retrieval apparatus according to Embodiment 1 of the present invention and the relevance level database creation apparatus according to Embodiment 2.
  • FIG. 14 is a diagram showing a structural relationship between the similar case retrieval apparatus according to Embodiment 1 of the present invention and the relevance level database creation apparatus according to Embodiment 2.
  • FIG. 14 is a diagram
  • FIG. 15 is a block diagram showing a characteristic functional configuration of the association degree database creation device according to Embodiment 3 of the present invention.
  • FIG. 16 is a flowchart showing a flow of overall processing executed by the relevance database creation device according to Embodiment 3 of the present invention.
  • FIG. 17 is a block diagram illustrating a hardware configuration of a computer system that implements the similar case retrieval apparatus according to the first embodiment or the association degree database creation apparatus according to the second or third embodiment.
  • a similar case retrieval apparatus is an apparatus that retrieves a similar case for an image case read by an image interpreter when a medical image such as an ultrasound image, a CT image, or a nuclear magnetic resonance image is interpreted. .
  • a similar case retrieval apparatus is a first medical image group including a first medical image group including a plurality of first medical images and a single document data describing a result of interpretation of the first medical image group.
  • a similar case retrieval apparatus for retrieving second case data similar to the first case data including an interpretation report from a case database, and an image feature extraction unit for extracting a plurality of image feature amounts from a first medical image group;
  • a keyword extraction unit that extracts, as a keyword, (a) an interpretation item that is a character string indicating the characteristics of a medical image or (b) a disease name that is a diagnosis result of an interpreter based on the medical image from the first interpretation report;
  • a keyword attribute acquisition unit that acquires an attribute value that is a word indicating an accompanying concept of the keyword from a sentence including the keyword acquired by the keyword extraction unit;
  • the keyword extracted by the keyword extraction unit and the attribute of the keyword acquired by the keyword attribute acquisition unit which are acquired by referring to a relevance level database storing the relevance level between attribute value
  • a search vector generation unit that generates a search vector for the second medical image group, a search vector for the first medical image group, and the second medical image Based on the similarity between the search vector for the group, and a similar case retrieval unit for retrieving the second case data stored in the case database.
  • each image feature is weighted when a search vector is created.
  • the weight used at this time is the degree of association between a keyword extracted from the first image interpretation report and a combination of attribute values of the keyword and each image feature amount.
  • the keyword and the attribute value are values that indicate the viewpoint focused on by the radiogram interpreter. For this reason, it is possible to search for similar cases reflecting the viewpoint focused on by the image interpreter.
  • the attribute value indicates a concept accompanying the keyword. For this reason, the attribute value is a clue to know which first medical image in the first medical image group is based on which the target interpretation report is described. Therefore, it is possible to easily search for a similar case reflecting a viewpoint focused on by an interpreter even for a case in which one text is assigned to a plurality of medical images.
  • the keyword attribute acquisition unit is configured to obtain a relative value of each first medical image included in the first medical image group as an attribute value of the keyword from surrounding text data including the keyword acquired by the keyword extraction unit.
  • a time phase attribute value indicating a photographing time or a photographing time zone is acquired.
  • the temporal attribute value As the attribute value, it is possible to know which first medical image in the first medical image group is used to describe the target interpretation report. For this reason, a similar case reflecting the viewpoint focused on by the radiogram interpreter can be searched for a case in which one text is given to the first medical image group.
  • the keyword attribute acquisition unit may use the keyword in each first medical image included in the first medical image group as an attribute value of the keyword from surrounding text data including the keyword acquired by the keyword extraction unit.
  • An existence attribute value indicating the presence or absence of information indicated by may be acquired.
  • the first medical image is obtained by using the presence attribute value as the attribute value. It is possible to know which first medical image in the group the target interpretation report is described on. For this reason, a similar case reflecting the viewpoint focused on by the radiogram interpreter can be searched for a case in which one text is given to the first medical image group.
  • the keyword attribute acquisition unit may acquire a site attribute value indicating a site of an organ to be interpreted as an attribute value of the keyword from surrounding text data including the keyword acquired by the keyword extraction unit.
  • the target interpretation report based on which first medical image in the first medical image group is used by using the part attribute value as the attribute value can be found. For this reason, a similar case reflecting the viewpoint focused on by the radiogram interpreter can be searched for a case in which one text is given to the first medical image group.
  • the above-described similar case search apparatus may further include an output unit that outputs the second case data searched by the similar case search unit to the outside.
  • the output unit classifies the second case data searched by the similar case search unit for each similar disease name and outputs the same to the outside.
  • Interpreters use the search results of similar cases to examine the possibility of other disease names for their own diagnosis results (interpretation results). It becomes necessary to find out. By displaying the search results sorted by the same disease name, the interpreter can easily check the disease name of each case presented as the search result, thus shortening the interpretation time. become.
  • the similar case search unit includes second case data in which image findings included in an interpretation report included in the second case data match a definitive diagnosis result among second case data stored in the case database.
  • the second case data stored in the case database is searched for only as a search target, and the image finding is a diagnosis result by an image interpreter for the first medical image group included in the second case data
  • the definite diagnosis result may be a definite diagnosis result for the first medical image group included in the second case data.
  • the image finding is a diagnosis result by a radiographer for the first medical image included in the case data
  • the definite diagnosis result is a definite diagnosis result for the first medical image included in the case data.
  • the case database includes medical images that cannot indicate a lesion that matches the definitive diagnosis from the image alone due to image noise or imaging device characteristics. It is highly likely that it is difficult to estimate the lesion itself from such a medical image alone, and the risk of misdiagnosis may increase when presented as similar case data.
  • the case data in which the image findings coincide with the confirmed diagnosis result is case data that can ensure that the same lesion as the confirmed diagnosis result can be pointed out from the medical image, and can be said to be appropriate as a similar case. Therefore, it is possible to reduce the risk of misdiagnosis by referring to similar cases by selecting only case data whose image findings and definitive diagnosis results match.
  • An association degree database creation device includes an image feature extraction unit that extracts an image feature amount from a plurality of medical images, and an image extracted by the image feature extraction unit from the plurality of medical images.
  • A a character string indicating the characteristics of a medical image from an image characteristic attribute acquisition unit that acquires an attribute value of a feature amount, and an interpretation report that is document data in which a result of interpretation of the plurality of medical images by an image interpreter is described
  • a keyword extraction unit that extracts a disease name that is a diagnostic result of an image interpreter based on a medical image as a keyword, and a sentence that includes the keyword extracted by the keyword extraction unit.
  • a keyword attribute acquisition unit for acquiring the keyword, the keyword extracted from the interpretation report, the attribute value of the keyword, and the plurality of medical images
  • the attribute data generation unit that generates a combination of a keyword having the same attribute value and an image feature amount based on the image feature amount extracted from the image feature amount and the attribute value of the image feature amount;
  • a relevance calculation unit that creates a relevance database indicating the relevance between the combination of the keyword and the attribute value and the image feature.
  • the degree of association is calculated between the keyword having the same attribute value and the image feature amount.
  • the relevance degree database which shows the relevance degree of the combination of a keyword and an attribute value and image feature amount which are used with the above-mentioned similar case search apparatus can be created.
  • the keyword attribute acquisition unit is configured to obtain a relative imaging time or imaging time zone of each of the plurality of medical images as an attribute value of the keyword from surrounding text data including the keyword acquired by the keyword extraction unit. Gets the temporal attribute value indicating.
  • the above-described similar case search apparatus can search for a similar case reflecting the viewpoint focused by the radiogram interpreter, even for a case where one text is given to a plurality of medical images.
  • the keyword attribute acquisition unit indicates presence / absence of information indicated by the keyword in each of the plurality of medical images as attribute values of the keyword from surrounding text data including the keyword acquired by the keyword extraction unit.
  • the presence attribute value may be acquired.
  • the above-described similar case search apparatus can search for a similar case reflecting the viewpoint focused by the radiogram interpreter, even for a case where one text is given to a plurality of medical images.
  • the keyword attribute acquisition unit may acquire a site attribute value indicating a site of an organ to be interpreted as an attribute value of the keyword from surrounding text data including the keyword acquired by the keyword extraction unit.
  • the part of the organ to be interpreted is different among a plurality of medical images, by using the part attribute value as the attribute value, it is possible to determine which medical image based on which of the plurality of medical images the target interpretation report has been described.
  • a relevance database that can be known can be created. For this reason, the above-described similar case search apparatus can search for a similar case reflecting the viewpoint focused by the radiogram interpreter, even for a case where one text is given to a plurality of medical images.
  • the image feature attribute acquisition unit refers to a data table in which imaging times of medical images are associated with temporal phase attribute values, so that the image characteristics are acquired from the imaging times of the plurality of medical images.
  • a time phase attribute value may be acquired as the attribute value of the image feature amount extracted by the feature extraction unit.
  • the relevance level database creation device described above further includes an interpretation target acquisition unit that acquires a plurality of medical images and interpretation reports included in the case data from the case database storing the case data, and the case database is updated.
  • An update control unit that causes the interpretation target acquisition unit to acquire the plurality of medical images and the interpretation report stored in the case database, and the image feature extraction unit includes the interpretation target acquisition unit
  • Image feature amounts may be extracted from a plurality of medical images acquired by the keyword extraction unit, and the keyword extraction unit may extract keywords from the interpretation report acquired by the interpretation target acquisition unit.
  • the above-described similar case retrieval apparatus can retrieve similar cases reflecting the viewpoint focused by the radiogram interpreter.
  • the update control unit may cause the interpretation target acquisition unit to acquire a plurality of medical images and interpretation reports included in all case data included in the case database when the case database is updated.
  • the update control unit includes an interpretation report including a keyword whose appearance frequency of keywords included in all the interpretation reports stored in the case database is equal to or less than a threshold, and a plurality of medical images corresponding to the interpretation report.
  • the interpretation target acquisition unit may acquire the case database.
  • the degree of relevance is high, so the degree of relevance is high.
  • the amount of calculation at the time of updating can be reduced, so that the updating time can be shortened.
  • the “image feature amount” is an image feature amount extracted from a medical image, and there are a feature related to the shape of an organ or a lesion in a medical image, a property related to luminance distribution, and the like.
  • the non-patent literature “Nemoto, Shimizu, Sugawara, Obata, N ⁇ no,” “Improvement of tumor shadow discrimination accuracy on a mammogram by selecting features from a large number of features and a fast feature selection method.
  • “Proposal”, IEICE Transactions D-II, Vol. J88-D-II, No. 2, pp. 416-426, February 2005 describes that 490 types of features are used. ing.
  • several tens to several hundreds of predetermined image feature amounts are used for each medical image photographing apparatus (modality) used for capturing a medical image or each target organ for interpretation.
  • Keyword indicates either “interpretation item” or “disease name” described below.
  • interpretation item is defined as “a character string in which the interpretation doctor verbalizes the characteristics of an image to be interpreted”.
  • the terms used as interpretation items are almost limited depending on the medical imaging apparatus or target organ used.
  • “interpretation items” include lobed, spiny, irregular, clear border, unclear, low density, high density, low absorption, high absorption, ground glass, calcification, mosaic, dark staining, low echo , High echo, fluffing, and the like.
  • Disease name refers to a disease name diagnosed by a doctor (reader) based on medical images and other examinations.
  • disease name includes hepatocellular carcinoma, cyst, hemangioma and the like.
  • Attribute is a word indicating an accompanying concept of each keyword. Specifically, it is classified into three types, a time phase attribute, a presence attribute, and a part attribute. The “attribute” is also acquired from the image feature amount.
  • the time phase attribute is a concept associated with an imaging time by an inspection device or a time from when a contrast medium is injected until imaging (imaging timing).
  • imaging timing imaging timing
  • the arterial phase or the equilibrium phase corresponds to the attribute value of the time phase attribute. That is, the attribute value of the time phase attribute indicates the relative imaging time or imaging time zone of each of the plurality of medical images.
  • the existence attribute is a concept indicating whether or not there is an interpretation item or a disease name.
  • the attribute value of the presence attribute corresponds to “existence” and “non-existence”. For example, a sentence “recognize deep dyeing” means that the keyword “deep dyeing” “exists”, and “recognize” becomes character string information indicating the attribute value “existence”. Further, the sentence “dark dye is not recognized” means that the keyword “dark dye” is “not present”, and “not allowed” is character string information indicating the attribute value “non-exist”.
  • the part attribute is a concept indicating an organ, an organ position, and a partial region in the organ.
  • “liver” or “liver S1 region” corresponds to the attribute value of the site attribute.
  • FIG. 1 is a block diagram showing a characteristic functional configuration of the similar case retrieval apparatus according to Embodiment 1 of the present invention.
  • the similar case retrieval apparatus 100 is an apparatus that retrieves case data (hereinafter, also referred to as “case”) according to the interpretation result of the interpreter.
  • the similar case search apparatus 100 includes an interpretation target acquisition unit 105, a keyword extraction unit 106, a keyword attribute acquisition unit 107, an image feature extraction unit 108, a search vector generation unit 109, a similar case search unit 110, and an output unit 111.
  • the similar case retrieval apparatus 100 is connected to an external case database 101, a keyword dictionary 102, an attribute dictionary 103, and a relevance degree database 104.
  • the case database 101 is stored in a storage device such as a hard disk or a memory.
  • the case database 101 is a database that stores a plurality of case data composed of a plurality of medical images indicating images to be interpreted to be presented to an interpreter and one interpretation report corresponding to the plurality of medical images. is there.
  • the medical image is image data used for image diagnosis, and indicates image data stored in an electronic medium.
  • image data is also simply referred to as an image.
  • the interpretation report is information indicating not only the interpretation result of the medical image but also the definitive diagnosis result such as biopsy performed after the image diagnosis.
  • the interpretation report is document data (text data).
  • a biopsy is a test in which a part of an affected area is cut out and examined with a microscope or the like.
  • FIG. 2 is a diagram showing an example of a CT image as a medical image group 20 and an image interpretation report 21 constituting case data stored in the case database 101.
  • the interpretation report 21 includes an interpretation report ID 22, an image ID 23, an image finding 24, and a definitive diagnosis result 25.
  • the interpretation report ID 22 is an identifier for identifying the interpretation report 21.
  • the image ID 23 is an identifier for identifying the medical image group 20.
  • the image finding 24 is information indicating a diagnosis result for the medical image group 20 having the image ID 23. That is, the image finding 24 is information indicating a diagnostic result (interpretation result) and a diagnosis reason (interpretation reason) including an interpretation item and a disease name.
  • the definitive diagnosis result 25 indicates the definitive diagnosis result of the patient indicated by the interpretation report ID 22.
  • the definitive diagnosis result is a diagnosis result that reveals the true state of the target patient by microscopic pathological examination of the specimen obtained by surgery or biopsy, or by various other means. is there.
  • the keyword dictionary 102 is stored in a storage device such as a hard disk or a memory.
  • the keyword dictionary 102 is a database that stores keywords extracted from the interpretation report 21.
  • FIG. 3 is a diagram illustrating an example of the keyword dictionary 102. As shown in FIG. 3, the keyword dictionary 102 stores keywords 30 in a list format.
  • the attribute dictionary 103 is stored in a storage device such as a hard disk or a memory.
  • the attribute dictionary 103 is a database in which attribute values extracted from the interpretation report 21 and target words corresponding to the attribute values are stored.
  • FIG. 4 is a diagram illustrating an example of the attribute dictionary 103.
  • the attribute dictionary 103 stores a target word 42 for a predetermined attribute 40 and attribute value 41 in an associated format. For example, there are a simple phase, an arterial phase, and an equilibrium phase as attribute values of the time phase attribute indicating the photographing time of each medical image included in the medical image group 20.
  • the interpretation report 21 includes a word such as an arterial phase or an early phase
  • the attribute value of the time phase attribute is the arterial phase.
  • the interpretation report 21 includes words such as an equilibrium phase or a late phase
  • the attribute value of the time phase attribute is the equilibrium phase.
  • the relevance database 104 is stored in a storage device such as a hard disk or a memory.
  • the relevance level database 104 is a database that stores the relevance level between keywords and attributes extracted from the interpretation report 21 and image feature amounts extracted from the medical image group 20.
  • FIG. 5 is a diagram illustrating an example of the relevance level database 104. As illustrated in FIG. 5, the relevance database 104 stores the relevance between the combination of the keyword 50 and the attribute value 51 extracted from the image interpretation report 21 and the image feature amount 52. The greater the degree of association, the stronger the relationship between the two.
  • the interpretation target acquisition unit 105 acquires from the case database 101 the medical image group 20 and the interpretation report 21 diagnosed by the interpreter. For example, information input from a keyboard or a mouse is stored in a memory or the like. Then, the interpretation target acquisition unit 105 outputs the acquired medical image group 20 and interpretation report 21 to the keyword extraction unit 106 and the image feature extraction unit 108.
  • the keyword extraction unit 106 refers to the keyword dictionary 102 to extract a keyword from the interpretation report 21 acquired by the interpretation target acquisition unit 105 and outputs the extracted keyword and the interpretation report 21 to the keyword attribute acquisition unit 107. To do. A specific keyword extraction method will be described later.
  • the keyword attribute acquisition unit 107 acquires an attribute value for the keyword using the keyword and interpretation report 21 acquired from the keyword extraction unit 106 and the attribute dictionary 103, and a combination of the acquired keyword and attribute value as a search vector generation unit Output to 109.
  • a specific keyword attribute value acquisition method will be described later.
  • the image feature extraction unit 108 calculates an image feature amount for the medical image group 20 acquired by the interpretation target acquisition unit 105, and outputs the calculated image feature amount to the search vector generation unit 109. A specific image feature amount calculation method will be described later.
  • the search vector generation unit 109 generates a search vector using the combination of the keyword and attribute value acquired from the keyword attribute acquisition unit 107, the image feature amount acquired from the image feature extraction unit 108, and the relevance database 104.
  • the search vector generation unit 109 outputs the generated search vector to the similar case search unit 110.
  • the search vector is a vector whose elements are image feature amounts weighted using the relevance level of image feature amounts shown in the relevance level database 104. A specific search vector generation method will be described later.
  • the search vector includes a first medical image group that is a medical image group of a case (first case) that is an interpretation target, and a medical image group of a case (second case) that is stored in the case database 101. It is generated for each of a certain second medical image group.
  • the similar case search unit 110 uses the search vector acquired from the search vector generation unit 109 to select a second one having a high degree of similarity with the first case to be interpreted from among the cases stored in the case database 101. Search for cases.
  • the similar case search unit 110 outputs the interpretation report ID 22 of the searched second case to the output unit 111. A specific method for calculating the similarity will be described later.
  • the output unit 111 outputs the interpretation report ID acquired from the similar case search unit 110 to an external output medium.
  • the output medium is a monitor such as a liquid crystal display or a CRT.
  • FIG. 6 is a flowchart showing an overall flow of processing executed by the similar case search apparatus 100.
  • the interpretation target acquisition unit 105 acquires a first medical image group that is a plurality of first medical images to be interpreted, and a first interpretation report that is an interpretation report for the first medical image group. That is, the interpretation target acquisition unit 105 acquires the medical image group 20 and the interpretation report 21 diagnosed by the interpreter from the case database 101 as the first medical image group and the first interpretation report, respectively.
  • the interpretation target acquisition unit 105 outputs the acquired medical image group 20 (first medical image group) and interpretation report 21 (first interpretation report) to the image feature extraction unit 108 and the keyword extraction unit 106, respectively (step S101). .
  • the acquisition of the medical image group 20 and the interpretation report 21 may be performed after the diagnosis of the interpreter is completed. Thereby, the radiogram interpreter can automatically confirm a similar case after the diagnosis is completed.
  • the interpretation target acquisition unit 105 is a medical image group for any case selected by the interpreter, even if it is a case diagnosed by a person other than the interpreter as long as the case is already stored in the case database 101. 20 and the interpretation report 21 may be acquired. Thereby, since a similar case can be searched using the case diagnosed by a person other than the radiogram interpreter, it can be used at times other than the radiogram interpretation at a conference or the like.
  • the keyword extraction unit 106 extracts keywords by referring to the keyword dictionary 102 with respect to the interpretation report 21 acquired from the interpretation target acquisition unit 105, and extracts the extracted keyword and interpretation report 21 from the keyword attribute acquisition unit 107. (Step S102). For example, the keyword extraction unit 106 refers to the keyword dictionary 102 shown in FIG. 3 and extracts “dark dye” as a keyword if the interpretation report 21 includes the word “dark dye”.
  • the keyword attribute acquisition unit 107 acquires keyword attribute values using the keyword and image interpretation report 21 acquired from the keyword extraction unit 106 and the attribute dictionary 103.
  • the keyword attribute acquisition unit 107 outputs the combination of the keyword and the attribute value to the search vector generation unit 109 (step S103).
  • FIG. 7 is a flowchart showing a detailed process flow of the keyword attribute acquisition process (step S103 in FIG. 6).
  • the keyword attribute acquisition unit 107 selects one keyword from the keywords acquired from the keyword extraction unit 106 (step S201).
  • the keyword attribute acquisition unit 107 extracts a sentence including the keyword selected in step S201 from the interpretation report 21 acquired from the keyword extraction unit 106 (step S202).
  • a specific sentence extraction processing method for example, punctuation marks such as “line feed” and “.” Existing before and after a selected keyword may be extracted, and a document between the extracted line breaks or punctuation marks may be extracted as one sentence. .
  • the keyword attribute acquisition unit 107 acquires the time phase attribute value of the keyword selected in step S201 from the sentence extracted in step S202 (step S203). Specifically, by referring to the attribute dictionary 103, the target word corresponding to the temporal attribute is extracted from the sentence extracted in step S202, and the temporal attribute value corresponding to the extracted target word is acquired. To do. For example, when extracting a time phase attribute value using the attribute dictionary 103 shown in FIG. 4, the keyword attribute acquisition unit 107 determines whether the sentence includes a word such as an arterial phase or an early phase. The arterial phase is acquired as the phase attribute value.
  • all time phases may be assigned as attributes. Since it is obvious that the disease name is a keyword determined for the information of all medical images, it is possible to prevent erroneous attribute assignment.
  • the keyword attribute acquisition unit 107 acquires the presence attribute value of the keyword selected in step S201 from the sentence extracted in step S202 (step S204). Specifically, by referring to the attribute dictionary 103, the target word corresponding to the presence attribute is extracted from the sentence extracted in step S202, and the presence attribute value corresponding to the extracted target word is acquired.
  • an attribute value “exist” may be given to the keyword selected in step S201.
  • the interpretation report there are many sentences that are written in the form of words. For example, when “heavy dyeing in the liver S1 region” is written, it is premised that the dark dyeing “exists”, and words indicating the existence such as “present” or “acknowledged” are omitted.
  • a target word corresponding to non-existence is added, such as “no deep staining in the liver S1 region”. Therefore, if there is no target word corresponding to the presence attribute in the sentence, the “exist” attribute value may be assigned to the keyword selected in step S201.
  • the keyword attribute acquisition unit 107 acquires the part attribute value of the keyword selected in step S201 from the sentence extracted in step S202 (step S205). Specifically, by referring to the attribute dictionary 103, the target word corresponding to the part attribute is extracted from the sentence extracted in step S202, and the part attribute value corresponding to the extracted target word is acquired ( Step S205).
  • the sentence before the keyword selected in step S201 is sequentially searched, and the part attribute value detected first is the part attribute value.
  • the paragraph to which the keyword selected in step S201 belongs is selected, and the part attribute value having the highest frequency in the selected paragraph is used as the part attribute. You may get it.
  • findings on each organ are described in units of paragraphs. Since the most frequent site attribute value in the paragraph corresponds to the organ, at least the correct organ name can be acquired as the site attribute value.
  • a blank line or a line feed may be detected as a break between paragraphs.
  • the keyword attribute acquisition unit 107 associates the attribute value acquired in steps S203 to S205 with the keyword selected in step S201 (step S206). For example, if the keyword “dark dyeing” is selected in step S201 and the sentence including this keyword is “recognize early dark dyeing in liver S1,” in steps S203 to S205, the time phase attribute value “ “Early Phase”, “Existence” as the presence attribute value, and “Liver S1” as the site attribute value are acquired. For this reason, a combination of a keyword and an attribute value (dark dyeing, early phase, presence, liver S1) is created.
  • the keyword attribute acquisition unit 107 determines whether all the keywords acquired from the keyword extraction unit 106 have been selected in step S201. If not, the process returns to step S201. Is finished (step S207).
  • step S206 by performing the processing from step S201 to step S206, the combination of the keyword and the attribute value can be acquired in step S103.
  • the image feature extraction unit 108 extracts image feature amounts from the medical image group 20 acquired by the interpretation target acquisition unit 105, and outputs the extracted image feature amounts and the medical image group 20 to the search vector generation unit 109 (step S104). .
  • the search vector generation unit 109 uses the combination of the keyword and attribute value acquired from the keyword attribute acquisition unit 107, the image feature amount acquired from the image feature extraction unit 108, and the relevance database 104 to use the medical image group 20.
  • a search vector is generated and output to the similar case search unit 110 (step S105).
  • the search vector generation unit 109 acquires, from the relevance level database 104, the relevance level of the image feature amount with respect to the combination of the keyword and attribute value acquired from the keyword attribute acquisition unit 107.
  • the search vector generation unit 109 weights the image feature amount by multiplying the acquired degree of association with the image feature amount acquired from the image feature extraction unit 108 as a weight for the image feature amount.
  • the average luminance value, the average luminance value of the central region, and the average luminance value of the peripheral region are acquired as image feature amounts in step S104.
  • an image feature quantity vector of (100, 50, 150) is generated by expressing the acquired image feature quantity values as vectors.
  • the average luminance value, the average luminance value of the central area, and the degree of association with respect to the marginal area acquired from the degree-of-relationship database 104 can be expressed as a vector like (0.8, 0.5, 0.2). it can.
  • the weighted image feature amount is calculated as (80, 25, 30) obtained by multiplying them for each element.
  • the vector calculated in this way is generated as a search vector.
  • the search vector includes a first medical image group that is a medical image group of a case (first case) that is an interpretation target, and a medical image group of a case (second case) that is stored in the case database 101. It is generated for each of a certain second medical image group.
  • Image feature amounts, keywords, and attribute values for cases stored in the case database 101 may be registered in the case database 101 in advance. Further, the interpretation target acquisition unit 105 acquires cases registered in the case database 101, and the image feature extraction unit 108, the keyword extraction unit 106, and the keyword attribute acquisition unit 107 perform processing to extract or acquire the cases. good.
  • the similar case search unit 110 uses the search vector acquired from the search vector generation unit 109 to select the similarity between the case stored in the case database 101 and the first case that is to be interpreted.
  • the high second case is searched, and the interpretation report ID 22 of the searched second case is output to the output unit 111 (step S106).
  • the search vector for the first medical image group included in the first case acquired from the search vector generation unit 109 and the second case stored in the case database 101 are included.
  • the cosine distance between the second medical image group and the search vector may be calculated as the similarity.
  • the output unit 111 outputs the case data corresponding to the interpretation report ID 22 acquired from the similar case search unit 110 to an external output medium (step S107).
  • FIG. 8 is a diagram illustrating an example of a screen of an output medium such as a liquid crystal display by the output unit 111. As illustrated in FIG. 8, the output unit 111 presents similar cases in descending order of similarity to the diagnostic result of the radiogram interpreter.
  • the output unit 111 may classify and display cases searched by the similar case search unit 110 for each similar disease name.
  • FIG. 9 is an example in which search results are classified and displayed for each similar disease name with respect to the output example of FIG.
  • the similar case retrieval apparatus 100 easily retrieves similar cases that reflect the viewpoint of the interpreter's attention on the diagnostic results of the interpreter. can do.
  • the interpretation target acquisition unit 105 does not necessarily need to acquire the medical image group 20 and the interpretation report 21 from the case database 101.
  • the interpretation target acquisition unit 105 may acquire the medical image group 20 and the interpretation report 21 that have just been interpreted by the interpreter from another system.
  • the similar case search apparatus 100 may search only case data in which the image findings 24 and the definitive diagnosis result 25 match among the case data stored in the case database 101.
  • the case database 101 includes medical images that cannot indicate a lesion that matches the definitive diagnosis from the image alone due to image noise or imaging device characteristics. It is highly likely that it is difficult to estimate the lesion itself from such a medical image alone, and the risk of misdiagnosis may increase when presented as similar case data.
  • the case data in which the image findings 24 and the definitive diagnosis result 25 match is case data that can ensure that the same lesion as the definitive diagnosis result can be pointed out from the medical image, and can be said to be appropriate as similar case data. . Therefore, it is possible to reduce the risk of misdiagnosis by selecting only case data in which the image findings 24 and the definitive diagnosis result 25 match.
  • case database 101 the keyword dictionary 102, the attribute dictionary 103, and the relevance level database 104 may be provided in the similar case search apparatus 100.
  • case database 101 the keyword dictionary 102, the attribute dictionary 103, and the relevance level database 104 may be provided on a server connected to the similar case search apparatus 100 via a network.
  • the interpretation report 21 may be included in the medical image group 20 as attached data.
  • the similar case retrieval apparatus 100 pays attention to the interpretation result of the interpreter even in a case where one text is assigned to a plurality of interpretation images. It is possible to easily search for similar cases in which the viewpoints are reflected.
  • each image feature is weighted when the search vector is created.
  • the weight used at this time is the degree of association between the keyword extracted from the interpretation report included in the first case and the attribute value of the keyword and each image feature amount.
  • the keyword and the attribute value are values that indicate the viewpoint focused on by the radiogram interpreter. For this reason, it is possible to search for similar cases reflecting the viewpoint focused on by the image interpreter.
  • the attribute value indicates a concept accompanying the keyword. For this reason, since the attribute value is a clue to know which first medical image in the first medical image group is used to describe the target interpretation report, one text is given to a plurality of medical images. Also for cases, similar cases reflecting the viewpoint focused on by the interpreter can be searched.
  • the relevance level database creation apparatus has a feature of automatically generating the relevance level database 104 from the case database 101.
  • the similar case search apparatus 100 according to Embodiment 1 described above has described a similar case search method using the relevance database 104 that has already been created. However, the relevance database 104 needs to be created before using the similar case search apparatus 100.
  • the relevance level database creation apparatus uses the medical image and case data acquired from the case database 101 to calculate the relevance level between the combination of the keyword and the attribute value and the image feature quantity, Write to.
  • the relevance level database creation device can automatically create the relevance level database 104 before using the similar case search device 100.
  • FIG. 10 is a block diagram showing a characteristic functional configuration of the association degree database creation device according to Embodiment 2 of the present invention.
  • FIG. 10 is different from the similar case search apparatus 100 shown in FIG. 1 in that the image feature attribute acquisition unit 201, the attribute data generation unit 202, the relevance calculation unit 203, and the writing It is a point which has the insertion part 204.
  • FIG. 10 is different from the similar case search apparatus 100 shown in FIG. 1 in that the image feature attribute acquisition unit 201, the attribute data generation unit 202, the relevance calculation unit 203, and the writing It is a point which has the insertion part 204.
  • the image feature attribute acquisition unit 201 acquires an attribute value corresponding to the image feature amount extracted by the image feature extraction unit 108 and outputs the attribute value to the attribute data generation unit 202.
  • a specific attribute acquisition method will be described later.
  • the attribute data generation unit 202 uses the keyword and attribute value acquired from the keyword attribute acquisition unit 107 and the image feature and attribute value acquired from the image feature attribute acquisition unit 201, and uses the keyword and image having the same attribute value. A combination of features is created and output to the relevance calculation unit 203.
  • the degree-of-association calculation unit 203 calculates the degree of association between the keyword having the same attribute value and the image feature using the combination of the keyword and the image feature acquired from the attribute data generation unit, and sends it to the writing unit 204. Output. A specific method of calculating the degree of association will be described later.
  • the writing unit 204 writes the relevance obtained from the relevance calculation unit 203 to the relevance database 104.
  • FIG. 11 is a flowchart showing the overall flow of processing executed by the relevance level database creation apparatus 200.
  • the processing of S101 to S104 is the same as S101 to S104 shown in FIG. Therefore, the description will not be repeated.
  • the image feature attribute acquisition unit 201 acquires an attribute value corresponding to the image feature amount acquired from the image feature extraction unit 108, and outputs the acquired attribute value to the attribute data generation unit 202 (step S301). Specifically, the image feature attribute acquisition unit 201 acquires either or both of the time phase attribute value and the part attribute value.
  • a data table is prepared in advance that associates the photographing time of the interpretation image with the time phase attribute value, and the time phase attribute value is determined according to the photographing time. What is necessary is just to acquire the attribute value.
  • the time phase attribute value at the start of imaging of the interpretation image is “simple phase”, and the time phase attribute value of another interpretation image captured from 1 second to 80 seconds after the imaging start time is used as a reference. Is the “arterial phase”.
  • time phase attribute values such as “simple phase”, “arterial phase”, and “equilibrium phase” are acquired in the order in which the interpretation images were taken. May be. It is also possible to acquire a time phase attribute value from an image feature quantity such as a blood vessel luminance value.
  • the non-patent document “Sakashita, Exit, Kitasaka, Mori” is applied to the interpretation image that is the extraction source of the image feature value acquired from the image feature extraction unit 108.
  • Suenaga “A method for extracting multiple organ regions from a four-phase abdominal 3D CT image using CT value distribution estimation”, IEICE Technical Report, Medical Image, Vol.106, No.145, pp. 49-54, June 2006 ”can be used to automatically acquire the region attribute value for the image feature amount acquired from the image feature extraction unit 108.
  • the attribute data generation unit 202 uses the combination of the keyword and attribute value acquired from the keyword attribute acquisition unit 107 and the combination of the image feature amount and attribute value acquired by the image feature attribute acquisition unit 201 to generate a common A combination of an image feature amount and a keyword having an attribute value is created.
  • the attribute data generation unit 202 outputs the created combination to the relevance calculation unit 203 (step S302).
  • the relevance calculation unit 203 calculates the relevance between the image feature quantity and the keyword using the combination acquired from the attribute data generation unit 202, and outputs the calculated relevance to the writing unit 204 ( Step S303).
  • a method for calculating the degree of association for example, a correlation ratio between an image feature amount and a keyword may be calculated.
  • a method for calculating the correlation ratio between a pair of image feature amounts and keywords will be described in detail.
  • the correlation ratio is an index representing the correlation between qualitative data and quantitative data, and is expressed by the following formula 1.
  • the interpretation report In the interpretation report, consider two categories when a keyword is included and when it is not included, and this is taken as qualitative data. A value of a certain image feature amount extracted from the interpretation image is used as quantitative data. For example, for all cases included in the case database 101, the interpretation report is classified into those including or not including a combination of a certain keyword and attribute value.
  • the interpretation report is classified into those including or not including a combination of a certain keyword and attribute value.
  • the keyword and the image feature quantity include the attribute value “arterial phase”, which indicates a common attribute value.
  • the correlation between the keyword “dark staining, arterial phase” and the image feature value “average luminance within the mass, arterial phase” is determined by combining the keyword “high staining” and the attribute value “arterial phase”. This is the same as obtaining the correlation ratio with the image feature quantity “average luminance within the tumor”.
  • the j-th observed value of “brightness average value inside the tumor, arterial phase” of the tumor image extracted from the case where the interpretation report includes “dark staining, arterial phase” is defined as x 1j .
  • the j-th observed value of “brightness average value inside the tumor, arterial phase” of the tumor image extracted from the case where the interpretation report does not include “dark staining, arterial phase” is x 2j .
  • “Dense staining, arterial phase” means that the CT value increases in the contrasting arterial phase, and in this case, the correlation ratio is expected to be large (close to 1).
  • the correlation ratio between the keyword “dark staining, arterial phase” and the image feature “tumor area” is small (close to 0). It is expected that. In this way, the correlation ratio between all keywords having common attribute values and all image feature amounts is calculated.
  • FIG. 13 shows a conceptual diagram of a correlation ratio between a combination of a keyword and an attribute value and an image feature amount.
  • the correlation ratio is expressed in multiple values, and the thickness of the solid line between the keyword and the image feature amount corresponds to the magnitude of the correlation ratio.
  • the interpretation report includes descriptions about the plurality of lesions.
  • CT imaging is performed at a timing at a plurality of times before or after using a contrast medium. Therefore, a plurality of sets of slice images are obtained, and one set of slice images includes a plurality of lesions (tumors), and a plurality of image feature amounts are extracted from one lesion.
  • the image feature amount is obtained by the number of (slice image set number) ⁇ (number of lesions detected from one patient) ⁇ (number of types of image feature amount). It is necessary to obtain a correlation with a plurality of interpretation items and disease names extracted from the interpretation report.
  • the writing unit 204 writes the association degree acquired from the association degree calculation unit 203 to the association degree database 104 (step S304).
  • the relevance level database creation apparatus 200 can calculate the relevance level between the keyword included in the case data acquired from the case database 101 and the image feature amount.
  • the relevance database 104 can be automatically created before using the device 100.
  • FIG. 14 shows a structural relationship between the similar case retrieval apparatus 100 according to the first embodiment of the present invention and the relevance database creating apparatus 200 according to the second embodiment.
  • the similar case search device 100 and the relevance level database creation device 200 are connected via a relevance level database 104, a case database 101, a keyword dictionary 102, and an attribute dictionary 103.
  • the relevance level database creation apparatus has a feature of automatically updating the relevance level database 104 from the case database 101.
  • the relevance level database creation apparatus 200 has described a method of automatically calculating the relevance level when the case database 101 is given.
  • the case database 101 has a feature that the results of daily diagnosis are accumulated and sequentially updated.
  • an interpretation report including a keyword that does not exist in the relevance database 104 is newly added to the case database 101, the relevance is not calculated for the newly added keyword. For this reason, the search using this keyword cannot be performed, and as a result, the similar case search apparatus 100 cannot search for a similar case reflecting the viewpoint focused by the interpreter.
  • the relevance level database creation apparatus newly recalculates the relevance level between the combination of the keyword and attribute value and the image feature amount in accordance with the update of the case database 101, and writes it in the relevance level database 104.
  • FIG. 15 is a block diagram showing a characteristic functional configuration of the association degree database creation device according to Embodiment 3 of the present invention.
  • the relevance level database creation device 300 shown in FIG. 15 is different from the relevance level database creation device 200 shown in FIG. 10 in that an update for determining whether or not to update the relevance database 104 from cases acquired from the case database 101 is performed. This is a point having a control unit 301.
  • the update control unit 301 determines whether to update the relevance database 104 using the medical image and case data acquired from the case database 101. When the update control unit 301 determines to update, the update control unit 301 updates the relevance database 104. On the other hand, if the update control unit 301 determines not to update, the update degree database 104 is not updated. A specific determination method will be described later. If it is determined that the relevance database 104 is to be updated, the update control unit 301 causes the interpretation target acquisition unit 105 to acquire a case from the case database 101.
  • FIG. 16 is a flowchart showing an overall flow of processing executed by the relevance level database creation apparatus 300. 16, the same processes as those in FIG. 11 are denoted by the same reference numerals, and description thereof will not be repeated.
  • the update control unit 301 uses the case data acquired from the case database 101 to determine whether or not to update the relevance database 104. Here, when it determines with updating, it progresses to step S101. On the other hand, if it is determined not to update, the process is terminated (step S401).
  • the update control unit 301 causes the interpretation target acquisition unit 105 to acquire a plurality of medical images and interpretation reports included in all case data included in the case database 101 when the case database 101 is updated. .
  • the appearance frequency of keywords existing in the case database 101 is counted, and when the case database 101 is updated only for keywords whose appearance frequency is equal to or less than a threshold,
  • the database 104 may be updated. That is, the update control unit 301 includes an interpretation report including a keyword whose frequency of occurrence of keywords included in all the interpretation reports stored in the case database 101 is equal to or less than a threshold value and a plurality of medical images corresponding to the interpretation report.
  • the interpretation target acquisition unit 105 is made to acquire it.
  • the degree of association database 104 stores the degree of association for each keyword. If the appearance frequency of the keyword included in the case database 101 is sufficiently high, the degree of association has already been calculated using a sufficient number of data.
  • the relevance level database creation apparatus 300 can update the relevance level between a keyword and an image feature amount even when the case database 101 is updated. It is possible to search for similar cases reflecting the viewpoint that the person has focused on.
  • the keyword attribute acquisition unit 107 extracts attribute values based on the keywords extracted from the interpretation report. However, if the attribute value cannot be extracted based on the keyword, the attribute value may be supplementarily acquired from the medical image. This attribute value is acquired by the same method as the attribute value acquisition by the image feature attribute acquisition unit 201 of the relevance level database creation apparatus 200.
  • the search vector generation unit 109 generates a search vector by using the attribute value acquired from the medical image instead of the attribute value acquired by the keyword attribute acquisition unit 107, and the similar case search unit 110 generates the search Search for similar cases using vectors.
  • the above similar case search device or relevance level database creation device is specifically composed of a microprocessor, ROM (Read Only Memory), RAM (Random Access Memory), hard disk drive, display unit, keyboard, mouse, and the like. It may be configured as a computer system.
  • a computer program is stored in the RAM or hard disk drive.
  • the microprocessor operates according to the computer program, the similar case retrieval apparatus or the relevance degree database creation apparatus achieves its function.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • FIG. 17 is a block diagram illustrating a hardware configuration of a computer system that implements the similar case retrieval apparatus according to the first embodiment or the association degree database creation apparatus according to the second or third embodiment.
  • the similar case search device or the relevance degree database creation device includes a computer 434, a keyboard 436 and a mouse 438 for giving instructions to the computer 434, a display 432 for presenting information such as a calculation result of the computer 434, and a computer 434.
  • the program which is a process performed by the similar case search device or the relevance database creation device, is stored in the CD-ROM 442, which is a computer-readable recording medium, and read by the CD-ROM device 440.
  • the data is read by the communication modem 452 through a computer network.
  • the computer 434 includes a CPU (Central Processing Unit) 444, a ROM 446, a RAM 448, a hard disk 450, a communication modem 452, and a bus 454.
  • CPU Central Processing Unit
  • the CPU 444 executes a program read via the CD-ROM device 440 or the communication modem 452.
  • the ROM 446 stores programs and data necessary for the operation of the computer 434.
  • the RAM 448 stores data such as parameters for program execution.
  • the hard disk 450 stores programs and data.
  • the communication modem 452 communicates with other computers via a computer network.
  • the bus 454 connects the CPU 444, ROM 446, RAM 448, hard disk 450, communication modem 452, display 432, keyboard 436, mouse 438 and CD-ROM device 440 to each other.
  • a part or all of the constituent elements constituting the similar case retrieval apparatus or the relevance degree database creation apparatus may be configured by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • the constituent elements of the similar case search device or the relevance level database creation device are configured from an IC card or a single module that can be attached to or removed from the similar case search device or the relevance level database creation device. It's okay.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention relates to a non-transitory recording medium that can read the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like.
  • the digital signal may be recorded on these non-temporary recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the present invention can be used as a similar case search device that outputs a similar case with respect to a diagnostic result of an interpreter.
  • the present invention can be used as a relevance database creation device that creates a relevance database used by the similar case search device.
  • Keywords 40 Attributes 41, 51 Attribute Values 42 Target Words 50 Keywords 52 Image Features 100 Similar Case Searching Device 101 Case Database 102 Keyword Dictionary 103 Attribute Dictionary 104 Relevance Database 105 Interpretation Target Acquisition Unit 106 Keywords Extraction unit 107 Keyword attribute acquisition unit 108 Image feature extraction unit 109 Search vector generation unit 110 Similar case search unit 111 Output unit 200, 300 Relevance database creation device 201 Image feature attribute acquisition unit 202 Same attribute data generation unit 203 Relevance calculation unit 204 Writing unit 301 Update control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

類似症例検索装置(100)は、関連度データベース(104)を参照することにより取得される、キーワード抽出部(106)が抽出したキーワードおよびキーワード属性取得部(107)が取得した当該キーワードの属性値の組合せと画像特徴抽出部(108)が抽出した各画像特徴量との関連度で、画像特徴抽出部(108)が抽出した各画像特徴量と、症例データベース(101)に記憶されている症例データに含まれる医用画像群から抽出される各画像特徴量とを重み付ける検索ベクトル生成部(109)と、重み付けられた画像特徴量同士を比較することにより、第1症例データに類似する第2症例データを症例データベース(101)から検索する類似症例検索部(110)とを備える。

Description

類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
 本発明は、読影対象の症例に対して参考となる症例を自動的に提示する類似症例検索装置および、類似症例検索装置で用いられる関連度データベースを作成する関連度データベース作成装置に関する。
 近年、画像診断の分野では医用画像および読影レポートのデジタル化が進み、医師が大量のデータを共有することが容易になっている。ここで、読影レポートとは、医用画像に対して読影者が下した診断を示す文書データのことである。また、画像を保管および通信するシステムであるPACS(Picture Archiving and Communication Systems)内に保管されている読影レポートは、互いに関連付けられて管理されており、保管されている過去の読影レポートの有効な二次利用が求められている。読影レポートの二次利用の一つとして、診断対象となる医用画像に対する類似症例を自動的に提示することが挙げられる。このことにより、診断に関する意思決定を支援する取組みが期待されている。
 このような類似症例の提示を実現する従来技術として、特許文献1では、データベースに保存されている読影レポートに対応する医用画像の画像特徴量と読影レポートに含まれるテキスト情報とを用いて類似症例を提示する方法が提案されている。具体的には、類似症例を検索する際、1次検索として類似の画像形態を示す読影レポートが検索される。その後、2次検索として、1次検索で検索された読影レポートのテキスト情報間において代表キーワードが抽出された後、抽出されたキーワードに対して予め応付けられた画像特徴量が選択され、選択された画像特徴量から症例間の類似度が算出される。読影レポートに記述されたテキスト情報は読影者が着目した観点を示している。すなわち、特許文献1に記載の方法では、予め画像とキーワードとの対応付けが行われていれば、読影者が着目した観点が反映された類似症例を提示することができる。
特開2009-093563号公報
 しかし、特許文献1に記載の方法では、複数の医用画像に対して1つのテキストが付与された読影レポートについては、画像特徴量と読影レポートに含まれるキーワードとを対応付けることができない。このため、読影レポートに記述された読影者が着目した観点を反映した類似症例を提示できないという課題がある。
 複数の医用画像に対して1つのテキストが付与される診断の一例としては造影CT(Computed Tomography)検査が挙げられる。造影CT検査では、患者に造影剤を投与する前後の時間帯で複数の画像を撮像する。読影医は、撮影された複数の画像を用いて、各時相の造影効果の遷移を見ることにより、読影レポートを作成する。
 このように作成された読影レポートには、全ての画像に対して付与されたキーワードと、特定の画像に対して付与されたキーワードとが混在する。具体的に、「肝細胞癌」などの疾病名に関するキーワードは、撮像された画像全体に対して付与されるキーワードである。一方、「濃染」または「低吸収」などの画像所見に関するキーワードは、特定の画像に対して付与されるキーワードである。これらのキーワードは混在して読影レポートに記述されるため、キーワードと各医用画像とを単純に対応づけることはできない。
 前述したように、読影レポートに記述されたテキスト情報は、読影者が着目した観点を示している。即ち、キーワードと各医用画像とが間違って対応付けられていた場合には、読影者が着目した観点を反映した類似症例を提示できない。
 そこで本発明は、上記課題を解決するものであって、複数の医用画像に対して1つの読影レポートが付与されている場合であっても、医師の着目点が反映された類似症例を簡便に検索することができる、類似症例検索装置および類似症例検索方法を提供することを目的とする。
 また、上記類似症例検索装置で用いられる関連度データベースを作成する関連度データベース作成装置および関連度データベース作成方法を提供することを目的とする。
 上記課題を解決するために、本発明のある局面に係る類似症例検索装置は、複数の第1医用画像を含む第1医用画像群と当該第1医用画像群を読影した結果が記載された1つの文書データである第1読影レポートとを含む第1症例データに類似する第2症例データを症例データベースより検索する類似症例検索装置であって、第1医用画像群から複数の画像特徴量を抽出する画像特徴抽出部と、前記第1読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出部と、前記キーワード抽出部が取得したキーワードを含むセンテンスから、前記キーワードの付随概念を示す単語である属性値を取得するキーワード属性取得部と、キーワードおよび属性値の組合せと画像特徴量との関連度を記憶している関連度データベースを参照することにより取得される、前記キーワード抽出部が抽出したキーワードおよび前記キーワード属性取得部が取得した当該キーワードの属性値の組合せと前記画像特徴抽出部が抽出した各画像特徴量との関連度で、前記画像特徴抽出部が抽出した各画像特徴量と、前記症例データベースに記憶されている第2症例データに含まれる複数の第2医用画像である第2医用画像群から抽出される各画像特徴量とを重み付けすることにより、各々が、各画像特徴量を要素とする、前記第1医用画像群に対する検索ベクトルと前記第2医用画像群に対する検索ベクトルとを生成する検索ベクトル生成部と、前記第1医用画像群に対する検索ベクトルと、前記第2医用画像群に対する検索ベクトルとの類似度に基づいて、前記症例データベースに記憶されている第2症例データを検索する類似症例検索部とを備える。
 この構成によると、検索ベクトルの作成時に各画像特徴量に重み付けが行われる。このときに利用される重みは、第1読影レポートから抽出されるキーワードおよびそのキーワードの属性値の組合せと、各画像特徴量との関連度である。キーワードおよび属性値は、読影者が着目した観点を示す値である。このため、読影者が着目した観点を反映した類似症例を検索することができる。また、属性値は、キーワードの付随概念を示す。このため、属性値は、第1医用画像群のうちどの第1医用画像に基づいて対象読影レポートが記載されたかを知る手掛かりとなる。よって、複数の医用画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を簡便に検索することができる。
 なお、本発明は、このような特徴的な処理部を備える類似症例検索装置として実現することができるだけでなく、類似症例検索装置に含まれる特徴的な処理部が実行する処理をステップとする類似症例検索方法として実現することができる。また、類似症例検索装置が備える特徴的な処理部としてコンピュータを機能させるためのプログラムとして実現することもできる。また、症例検索方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムを、CD-ROM(Compact Disc-Read Only Memory)等のコンピュータ読取可能な不揮発性の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
 本発明によると、複数の読影対象画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を簡便に検索することができる。
図1は、本発明の実施の形態1に係る類似症例検索装置の特徴的な機能構成を示すブロック図である。 図2は、症例データベースに記憶されている症例データの一例を示す図である。 図3は、キーワード辞書の一例を示す図である。 図4は、属性辞書の一例を示す図である。 図5は、関連度データベースの一例を示す図である。 図6は、本発明の実施の形態1に係る類似症例検索装置が実行する全体的な処理の流れを示すフローチャートである。 図7は、キーワード属性取得処理(図6のステップS103)の詳細な処理の流れを示すフローチャートである。 図8は、出力部により出力媒体へ出力された画面の一例を示す図である。 図9は、出力部により出力媒体へ出力された画面の一例を示す図である。 図10は、本発明の実施の形態2に係る関連度データベース作成装置の特徴的な機能構成を示すブロック図である。 図11は、本発明の実施の形態2に係る関連度データベース作成装置が実行する全体的な処理の流れを示すフローチャートである。 図12は、時相属性値と画像撮影時刻とを対応付けるデータテーブルの一例を示す図である。 図13は、キーワードと画像特徴量との間の相関比の概念図である。 図14は、本発明の実施の形態1に係る類似症例検索装置と実施の形態2に係る関連度データベース作成装置との構成上の関係を示す図である。 図15は、本発明の実施の形態3に係る関連度データベース作成装置の特徴的な機能構成を示すブロック図である。 図16は、本発明の実施の形態3に係る関連度データベース作成装置が実行する全体的な処理の流れを示すフローチャートである。 図17は、実施の形態1に係る類似症例検索装置または実施の形態2もしくは3に係る関連度データベース作成装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
 以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
 本発明の実施の形態に係る類似症例検索装置は、超音波画像、CT画像、または核磁気共鳴画像等の医用画像の読影に際し、読影者が読影した画像症例に対する類似症例を検索する装置である。
 本発明のある実施態様に係る類似症例検索装置は、複数の第1医用画像を含む第1医用画像群と当該第1医用画像群を読影した結果が記載された1つの文書データである第1読影レポートとを含む第1症例データに類似する第2症例データを症例データベースより検索する類似症例検索装置であって、第1医用画像群から複数の画像特徴量を抽出する画像特徴抽出部と、前記第1読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出部と、前記キーワード抽出部が取得したキーワードを含むセンテンスから、前記キーワードの付随概念を示す単語である属性値を取得するキーワード属性取得部と、キーワードおよび属性値の組合せと画像特徴量との関連度を記憶している関連度データベースを参照することにより取得される、前記キーワード抽出部が抽出したキーワードおよび前記キーワード属性取得部が取得した当該キーワードの属性値の組合せと前記画像特徴抽出部が抽出した各画像特徴量との関連度で、前記画像特徴抽出部が抽出した各画像特徴量と、前記症例データベースに記憶されている第2症例データに含まれる複数の第2医用画像である第2医用画像群から抽出される各画像特徴量とを重み付けすることにより、各々が、各画像特徴量を要素とする、前記第1医用画像群に対する検索ベクトルと前記第2医用画像群に対する検索ベクトルとを生成する検索ベクトル生成部と、前記第1医用画像群に対する検索ベクトルと、前記第2医用画像群に対する検索ベクトルとの類似度に基づいて、前記症例データベースに記憶されている第2症例データを検索する類似症例検索部とを備える。
 この構成によると、検索ベクトルの作成時に各画像特徴量に重み付けが行われる。このときに利用される重みは、第1読影レポートから抽出されるキーワードおよびそのキーワードの属性値の組合せと各画像特徴量との関連度である。キーワードおよび属性値は、読影者が着目した観点を示す値である。このため、読影者が着目した観点を反映した類似症例を検索することができる。また、属性値は、キーワードの付随概念を示す。このため、属性値は、第1医用画像群のうちどの第1医用画像に基づいて対象読影レポートが記載されたかを知る手掛かりとなる。よって、複数の医用画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を簡便に検索することができる。
 好ましくは、前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記第1医用画像群に含まれる各第1医用画像の相対的な撮影時刻または撮影時刻帯を示す時相属性値を取得する。
 属性値として時相属性値を用いることにより、第1医用画像群のうちどの第1医用画像に基づいて対象読影レポートが記載されたかを知ることができる。このため、第1医用画像群に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 また、前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記第1医用画像群に含まれる各第1医用画像における、前記キーワードが示す情報の有無を示す存在属性値を取得しても良い。
 ある第1医用画像において、読影項目が示す情報があるが、他の第1医用画像においては、読影項目が示す情報がない場合に、属性値として存在属性値を用いることにより、第1医用画像群のうちどの第1医用画像に基づいて対象読影レポートが記載されたかを知ることができる。このため、第1医用画像群に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 また、前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、読影対象の臓器の部位を示す部位属性値を取得しても良い。
 複数の第1医用画像間で読影対象としている臓器の部位が異なる場合には、属性値として部位属性値を用いることにより、第1医用画像群のうちどの第1医用画像に基づいて対象読影レポートが記載されたかを知ることができる。このため、第1医用画像群に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 また、上述の類似症例検索装置は、さらに、前記類似症例検索部が検索した第2症例データを外部に出力する出力部を備えても良い。
 好ましくは、前記出力部は、前記類似症例検索部が検索した第2症例データを、同類の疾病名ごとに分類して外部に出力する。
 読影者は類似症例の検索結果を用いて自身の診断結果(読影結果)に対して他の疾病名の可能性を検討する際、検索結果の各所見から自身の診断結果とは異なる疾病名表記を見つけ出す必要が生じる。検索結果に対して同類の疾病名で分類した表示を行うことにより、読影者は検索結果として提示された各症例の疾病名を簡単に確認することができるため、読影時間を短縮することが可能になる。
 また、前記類似症例検索部は、前記症例データベースに記憶されている第2症例データのうち、当該第2症例データが含む読影レポートに含まれる画像所見と確定診断結果とが一致する第2症例データのみを検索対象として、前記症例データベースに記憶されている第2症例データを検索し、前記画像所見は、前記第2症例データに含まれる前記第1医用画像群に対する読影者による診断結果であり、前記確定診断結果は、前記第2症例データに含まれる前記第1医用画像群に対する確定した診断結果であっても良い。
 前記画像所見は、前記症例データに含まれる前記第1医用画像に対する読影者による診断結果であり、前記確定診断結果は、前記症例データに含まれる前記第1医用画像に対する確定した診断結果である。症例データベースには、画像ノイズまたは撮影装置の特性により、画像だけからでは確定診断と一致する病変を指摘することができない医用画像が含まれる。このような医用画像のみからは病変を推定すること自体が困難である可能性が高く、類似症例データとして提示すると誤診のリスクが高まる可能性がある。逆に、画像所見と確定診断結果とが一致する症例データは、医用画像から確定診断結果と同じ病変を指摘できることを担保することができる症例データであり、類似症例として適切だと言える。よって、画像所見と確定診断結果とが一致する症例データのみを検索対象とすることにより、類似症例を参照することによる誤診リスクを低減することが可能になる。
 本発明の他の実施の形態に係る関連度データベース作成装置は、複数の医用画像から画像特徴量を抽出する画像特徴抽出部と、前記複数の医用画像から、前記画像特徴抽出部が抽出した画像特徴量の属性値を取得する画像特徴属性取得部と、読影者が前記複数の医用画像を読影した結果が記載された文書データである読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出部と、前記キーワード抽出部が抽出したキーワードを含むセンテンスから、前記キーワードの属性値を取得するキーワード属性取得部と、前記読影レポートから抽出された前記キーワードおよび前記キーワードの属性値と、前記複数の医用画像から抽出された前記画像特徴量および前記画像特徴量の属性値とに基づいて、同一の属性値を有するキーワードおよび画像特徴量からなる組合せを生成する同属性データ生成部と、前記組合せから、キーワードと画像特徴量との間の関連度を算出することにより、キーワードおよび属性値の組合せと画像特徴量との関連度を示した関連度データベースを作成する関連度算出部とを備える。
 この構成によると、同一の属性値を有するキーワードと画像特徴量との間で関連度を算出している。このため、上述の類似症例検索装置で使用される、キーワードおよび属性値の組合せと画像特徴量との関連度を示した関連度データベースを作成することができる。
 好ましくは、前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記複数の医用画像の各々の相対的な撮影時刻または撮影時刻帯を示す時相属性値を取得する。
 属性値として時相属性値を用いることにより、複数の医用画像のうちどの医用画像に基づいて対象読影レポートが記載されたかを知ることができる関連度データベースを作成することができる。このため、上述の類似症例検索装置は、複数の医用画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 また、前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記複数の医用画像の各々における、前記キーワードが示す情報の有無を示す存在属性値を取得しても良い。
 ある医用画像において、読影項目が示す情報があるが、他の医用画像においては、読影項目が示す情報がない場合に、属性値として存在属性値を用いることにより、複数の医用画像のうちどの医用画像に基づいて対象読影レポートが記載されたかを知ることができる関連度データベースを作成することができる。このため、上述の類似症例検索装置は、複数の医用画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 また、前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、読影対象の臓器の部位を示す部位属性値を取得しても良い。
 複数の医用画像間で読影対象としている臓器の部位が異なる場合には、属性値として部位属性値を用いることにより、複数の医用画像のうちどの医用画像に基づいて対象読影レポートが記載されたかを知ることができる関連度データベースを作成することができる。このため、上述の類似症例検索装置は、複数の医用画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 具体的には、前記画像特徴属性取得部は、医用画像の撮影時刻と時相属性値とを対応付けたデータテーブルを参照することにより、前記複数の医用画像の各々の撮影時刻から、前記画像特徴抽出部が抽出した画像特徴量の属性値として、時相属性値を取得しても良い。
 また、上述の関連度データベース作成装置は、さらに、症例データを記憶している症例データベースから、症例データに含まれる複数の医用画像および読影レポートを取得する読影対象取得部と、前記症例データベースが更新された場合に、前記読影対象取得部に前記症例データベースに記憶されている前記複数の医用画像および前記読影レポートを取得させる更新制御部とを備え、前記画像特徴抽出部は、前記読影対象取得部が取得した複数の医用画像から画像特徴量を抽出し、前記キーワード抽出部は、前記読影対象取得部が取得した読影レポートから、キーワードを抽出しても良い。
 この構成によると、症例データベースが更新された場合に、症例データベースから複数の医用画像および読影レポートが取得される。このため、キーワードおよび属性値の組合せと画像特徴量との関連度を示した関連度データベースが更新される。よって、上述の類似症例検索装置は、読影者が着目した観点を反映した類似症例を検索することができる。
 また、前記更新制御部は、前記症例データベースの更新時に、前記読影対象取得部に対して、前記症例データベースに含まれる全ての症例データに含まれる複数の医用画像および読影レポートを取得させても良い。
 また、前記更新制御部は、前記症例データベースに記憶されている全ての読影レポートに含まれるキーワードの出現頻度が閾値以下のキーワードを含む読影レポートと当該読影レポートに対応する複数の医用画像とを、前記症例データベースの更新時に、前記読影対象取得部に取得させても良い。
 出現頻度が少ないキーワードに対しては、関連度の不確実性が高いため、関連度は更新の必要が高い。このように、症例データベース内のキーワード頻度に応じて更新の可否を判定することにより、更新時の計算量を低減できるため、更新時間を短縮することができる。
 (実施の形態1)
 まず、実施の形態1~3で用いる用語を説明する。
 「画像特徴量」とは、医用画像から抽出される画像特徴量であり、医用画像における臓器や病変部分の形状に関するもの、輝度分布に関するものなどがある。画像特徴量として、例えば、非特許文献「根本,清水,萩原,小畑,縄野,“多数の特徴量からの特徴選択による乳房X線像上の腫瘤影判別精度の改善と高速な特徴選択法の提案”, 電子情報通信学会論文誌D-II, Vol.J88-D-II, No.2, pp.416-426, 2005年2月」には、490種類の特徴量を用いることが記載されている。本実施の形態においても、医用画像の撮像に使用した医用画像撮影装置(モダリティ)または読影の対象臓器ごとに、予め定めた数十~数百種の画像特徴量を用いる。
 「キーワード」とは、以下に述べる「読影項目」および「疾病名」の何れかを示す。
 「読影項目」とは、本明細書では、「読影医が、読影対象の画像の特徴を言語化した文字列」と定義する。使用する医用画像撮影装置または対象臓器等により、読影項目として使用される用語はほぼ限定される。例えば、「読影項目」として、分葉状、棘状、不整形、境界明瞭、輪郭不明瞭、低濃度、高濃度、低吸収、高吸収、スリガラス状、石灰化、モザイク状、濃染、低エコー、高エコー、毛羽立ち、等が挙げられる。
 「疾病名」とは、医師(読影者)が医用画像やその他の検査を基に診断した疾病名のことである。例えば、「疾病名」として、肝細胞癌、嚢胞、血管腫、等が挙げられる。
 「属性」とは、各キーワードの付随概念を示す単語である。具体的には、時相属性、存在属性、部位属性の3種類に分類される。なお、「属性」は、画像特徴量からも取得される。
 時相属性とは、検査機器による撮像時間または造影剤を注入してから撮像するまでの時間(撮像タイミング)に対応付けられた概念である。例えば、造影ダイナミックCT検査の場合では、動脈相または平衡相等が時相属性の属性値に該当する。つまり、時相属性の属性値は、複数の医用画像の各々の相対的な撮影時刻または撮影時刻帯を示す。
 存在属性とは、読影項目または疾病名のある/なしを示す概念である。存在属性の属性値は「存在」と「非存在」の2つが該当する。例えば、「濃染を認める」という文章は、「濃染」というキーワードが“存在する”という意味であり、「認める」は、属性値「存在」を示す文字列情報になる。また、「濃染は認められない」という文章は、「濃染」というキーワードが“存在しない”という意味であり、「認めない」は、属性値「非存在」を示す文字列情報になる。
 部位属性とは、臓器や臓器位置、臓器内の部分領域を示す概念である。例えば「肝臓」または「肝S1領域」等が部位属性の属性値に該当する。
 (実施の形態1:構成の説明)
 以下、本発明の実施の形態1に係る類似症例検索装置について、図面を用いて詳細に説明する。
 図1は、本発明の実施の形態1に係る類似症例検索装置の特徴的な機能構成を示すブロック図である。
 類似症例検索装置100は、読影者の読影結果に応じた症例データ(以下、「症例」とも言う。)を検索する装置である。
 類似症例検索装置100は、読影対象取得部105、キーワード抽出部106、キーワード属性取得部107、画像特徴抽出部108、検索ベクトル生成部109、類似症例検索部110、および出力部111を備える。類似症例検索装置100は、外部の症例データベース101、キーワード辞書102、属性辞書103、関連度データベース104に接続される。
 以下、図1に示した、症例データベース101および類似症例検索装置100の各構成要素の詳細について順に説明する。
 症例データベース101は、例えばハードディスクまたはメモリ等からなる記憶装置に記憶される。症例データベース101は、読影者に提示する読影対象の画像を示す複数の医用画像と、その複数の医用画像に対応する1つの読影レポートと、から構成される症例データを複数記憶しているデータベースである。ここで、医用画像とは、画像診断のために用いられる画像データであり、電子媒体に格納された画像データを示す。本明細書中では、画像データのことを単に画像とも言う。また、読影レポートとは、医用画像の読影結果に加え、画像診断後に行われる生検等の確定診断結果までを示す情報である。読影レポートは、文書データ(テキストデータ)である。生検とは、患部の一部を切り取って、顕微鏡などで調べる検査のことである。
 図2は、症例データベース101に記憶されている症例データを構成する、医用画像群20としてのCT画像および読影レポート21の一例をそれぞれ示す図である。医用画像群20は、複数の医用画像から構成されるものとする。読影レポート21は、読影レポートID22、画像ID23、画像所見24および確定診断結果25を含む。
 読影レポートID22は、読影レポート21を識別するための識別子である。画像ID23は、医用画像群20を識別するための識別子である。画像所見24は、画像ID23の医用画像群20に対する診断結果を示す情報である。つまり、画像所見24は、読影項目および疾病名を含む、診断結果(読影結果)および診断理由(読影理由)を示す情報である。確定診断結果25は、読影レポートID22で示される患者の確定診断結果を示す。ここで確定診断結果とは、手術もしくは生検で得られた試験体の顕微鏡による病理検査、またはその他様々な手段によって、対象の患者の真の状態が何であったのかを明らかにした診断結果である。
 キーワード辞書102は、例えばハードディスクまたはメモリ等からなる記憶装置に記憶される。キーワード辞書102は、読影レポート21から抽出されるキーワードを記憶しているデータベースである。図3は、キーワード辞書102の一例を示す図である。図3に示すように、キーワード辞書102には、キーワード30がリスト形式で記憶されている。
 属性辞書103は、例えばハードディスクまたはメモリ等からなる記憶装置に記憶される。属性辞書103は、読影レポート21から抽出される属性値および属性値に該当する対象ワードが記憶されたデータベースである。図4は、属性辞書103の一例を示す図である。図4に示すように、属性辞書103には、予め定められた属性40および属性値41に対する対象ワード42が関連付けられた形式で記憶されている。例えば、医用画像群20に含まれる各医用画像の撮影時刻を示す時相属性の属性値として、単純相、動脈相および平衡相が存在する。読影レポート21内に動脈相または早期相などのワードが含まれている場合には、時相属性の属性値は動脈相である。また、読影レポート21内に平衡相または後期相などのワードが含まれている場合には、時相属性の属性値は平衡相である。
 関連度データベース104は、例えばハードディスクまたはメモリ等からなる記憶装置に記憶されている。
 関連度データベース104は、読影レポート21から抽出したキーワードおよび属性と医用画像群20から抽出した画像特徴量との関連度を記憶しているデータベースである。図5は、関連度データベース104の一例を示す図である。図5に示すように、関連度データベース104は、読影レポート21から抽出したキーワード50および属性値51の組合せと、画像特徴量52との関連度とを記憶している。関連度が大きいほど両者の関連性が強いことを示している。
 読影対象取得部105は、症例データベース101から、読影者が診断を行った医用画像群20および読影レポート21を取得する。例えば、キーボードまたはマウス等から入力された情報をメモリ等に記憶する。そして、読影対象取得部105は、取得した医用画像群20および読影レポート21を、キーワード抽出部106および画像特徴抽出部108に出力する。
 キーワード抽出部106は、キーワード辞書102を参照することにより、読影対象取得部105が取得した読影レポート21の中からキーワードを抽出し、抽出したキーワードと読影レポート21とをキーワード属性取得部107に出力する。具体的なキーワード抽出方法については後述する。
 キーワード属性取得部107は、キーワード抽出部106から取得したキーワードおよび読影レポート21と、属性辞書103とを用いて、キーワードに対する属性値を取得し、取得したキーワードおよび属性値の組合せを検索ベクトル生成部109に出力する。具体的なキーワード属性値取得方法については後述する。
 画像特徴抽出部108は、読影対象取得部105が取得した医用画像群20に対して画像特徴量を算出し、算出した画像特徴量を検索ベクトル生成部109に出力する。具体的な画像特徴量算出方法については後述する。
 検索ベクトル生成部109は、キーワード属性取得部107から取得したキーワードおよび属性値の組合せ、画像特徴抽出部108から取得した画像特徴量、および関連度データベース104を用いて、検索ベクトルを生成する。検索ベクトル生成部109は、生成した検索ベクトルを、類似症例検索部110に出力する。検索ベクトルとは、関連度データベース104に示される画像特徴量の関連度を用いて重み付けされた画像特徴量を要素とするベクトルである。具体的な検索ベクトル生成方法については後述する。なお、検索ベクトルは、読影対象とされている症例(第1症例)の医用画像群である第1医用画像群と、症例データベース101に記憶されている症例(第2症例)の医用画像群である第2医用画像群との、それぞれについて生成される。
 類似症例検索部110は、検索ベクトル生成部109から取得した検索ベクトルを用いて、症例データベース101に記憶されている症例の中から、読影対象とされている第1症例と類似度の高い第2症例を検索する。類似症例検索部110は、検索された第2症例の読影レポートID22を出力部111へ出力する。具体的な類似度の算出方法については後述する。
 出力部111は、類似症例検索部110から取得した読影レポートIDを、外部の出力媒体へ出力する。出力媒体は、例えば液晶ディスプレイまたはCRTなどのモニタである。症例を外部に出力することにより、読影者は症例データを確認することができる。
 次に、以上のように構成された類似症例検索装置100の動作について説明する。
 (実施の形態1:動作の説明)
 図6は、類似症例検索装置100が実行する処理の全体的な流れを示すフローチャートである。
 まず、読影対象取得部105は、読影対象の複数の第1医用画像である第1医用画像群と、第1医用画像群に対する読影レポートである第1読影レポートを取得する。つまり、読影対象取得部105は、症例データベース101から読影者が診断した医用画像群20および読影レポート21を、第1医用画像群および第1読影レポートとしてそれぞれ取得する。読影対象取得部105は、取得した医用画像群20(第1医用画像群)および読影レポート21(第1読影レポート)を、画像特徴抽出部108およびキーワード抽出部106にそれぞれ出力する(ステップS101)。
 医用画像群20と読影レポート21の取得は、読影者の診断終了後に行えばよい。これにより、読影者は診断終了後、自動的に類似症例を確認することができる。
 また、読影対象取得部105は、既に症例データベース101に記憶されている症例であれば、読影者以外が診断した症例であっても、読影者が選択した任意の症例に対して、医用画像群20と読影レポート21とを取得してもよい。これにより、読影者以外の人が診断した症例を用いて類似症例を検索することができるため、カンファレンス等の読影時以外での利用が可能になる。
 次に、キーワード抽出部106は、読影対象取得部105から取得した読影レポート21に対し、キーワード辞書102を参照することによりキーワードを抽出し、抽出したキーワード、および読影レポート21をキーワード属性取得部107に出力する(ステップS102)。例えば、キーワード抽出部106は、図3に示されるキーワード辞書102を参照し、読影レポート21中に「濃染」という単語が含まれていれば、「濃染」をキーワードとして抽出する。
 次に、キーワード属性取得部107は、キーワード抽出部106から取得したキーワードおよび読影レポート21と、属性辞書103とを用いて、キーワードの属性値を取得する。キーワード属性取得部107は、キーワードおよび属性値の組合せを検索ベクトル生成部109に出力する(ステップS103)。
 図7はキーワード属性取得処理(図6のステップS103)の詳細な処理の流れを示すフローチャートである。
 まず、キーワード属性取得部107は、キーワード抽出部106から取得したキーワードの中から、1つのキーワードを選択する(ステップS201)。
 次に、キーワード属性取得部107は、キーワード抽出部106から取得した読影レポート21の中から、ステップS201で選択されたキーワードを含むセンテンスを抽出する(ステップS202)。具体的なセンテンス抽出処理方法としては、例えば、選択したキーワードの前後に存在する“改行”や“。”などの句読点を抽出し、抽出した改行または句読点間の文書を1センテンスとして抽出すればよい。
 次に、キーワード属性取得部107は、ステップS202で抽出されたセンテンスの中から、ステップS201で選択されたキーワードの時相属性値を取得する(ステップS203)。具体的には、属性辞書103を参照することにより、ステップS202で抽出されたセンテンスの中から、時相属性に該当する対象ワードを抽出し、抽出した対象ワードに該当する時相属性値を取得する。例えば、図4に示す属性辞書103を用いて時相属性値を抽出する際、キーワード属性取得部107は、センテンス中に、動脈相または早期相などのワードが含まれている場合には、時相属性値として動脈相を取得する。
 なお、キーワード抽出部106が抽出したキーワードが疾病名に関する場合は、全ての時相を属性として付与してもよい。疾病名は全医用画像の情報に対して判断されたキーワードであることが自明のため、誤った属性付与を防ぐことができる。
 次に、キーワード属性取得部107は、ステップS202で抽出されたセンテンスの中から、ステップS201で選択されたキーワードの存在属性値を取得する(ステップS204)。具体的には、属性辞書103を参照することにより、ステップS202で抽出されたセンテンスの中から、存在属性に該当する対象ワードを抽出し、抽出した対象ワードに該当する存在属性値を取得する。
 なお、存在属性に該当する対象ワードがセンテンス中に記載されていない場合は、ステップS201で選択されたキーワードに「存在」の属性値を付与すればよい。読影レポートの中には体言止めで表記されているセンテンスが多く見られる。例えば、「肝S1領域に濃染。」と表記される場合は、濃染が「存在する」ことが前提であり、「ある」や「認める」などの存在を示すワードは省略される。一方、非存在の場合は、「肝S1領域に濃染なし。」のように、非存在に該当する対象ワードが付記される。よって、センテンス中に存在属性に該当する対象ワードが無い場合は、ステップS201で選択されたキーワードに「存在」の属性値を付与すればよい。
 次に、キーワード属性取得部107は、ステップS202で抽出されたセンテンスの中から、ステップS201で選択されたキーワードの部位属性値を取得する(ステップS205)。具体的には、属性辞書103を参照することにより、ステップS202で抽出されたセンテンスの中から、部位属性に該当する対象ワードを抽出し、抽出した対象ワードに該当する部位属性値を取得する(ステップS205)。
 なお、センテンス中に部位属性に該当する対象ワードが存在しない場合は、例えば、ステップS201で選択されたキーワードよりも前のセンテンスを逐次的に探索し、最初に検出した部位属性値を部位属性値として取得してもよい。例えば、「肝S1の早期相に濃染を認める。後期相ではwashoutされている。」という文章があった場合、「washout」というキーワードには部位属性値が存在しない。しかし、一つ前のセンテンスには「肝S1」という部位属性値が存在するため、「washout」に部位属性値を付与することが可能になる。
 また、センテンス中に部位属性に該当する対象ワードが存在しない場合は、例えば、ステップS201で選択されたキーワードが属するパラグラフを選択し、選択したパラグラフ中で最も頻度の高い部位属性値を部位属性として取得してもよい。一般的に、複数の臓器について書かれた読影レポートには、各臓器に対する所見がパラグラフ単位で記述される。パラグラフ内で最も高頻度の部位属性値は臓器に該当するため、少なくとも正しい臓器名を部位属性値として取得することが可能になる。なお、パラグラフの検出は、例えば空白行または改行をパラグラフ間の区切りとして検出すればよい。
 次に、キーワード属性取得部107は、ステップS201で選択されたキーワードに対して、ステップS203~S205で取得した属性値を対応付ける(ステップS206)。例えば、ステップS201で「濃染」というキーワードが選択され、このキーワードを含むセンテンスが「肝S1に早期濃染を認める」であった場合には、ステップS203~S205では、時相属性値として「早期相」、存在属性値として「存在」、部位属性値として「肝S1」がそれぞれ取得される。このため、(濃染、早期相、存在、肝S1)というキーワードおよび属性値の組合せが作成される。
 最後に、キーワード属性取得部107は、キーワード抽出部106から取得したキーワードがステップS201で全て選択されたかを判定し、選択されていない場合にはステップS201へ戻り、選択されている場合には処理を終了する(ステップS207)。
 以上、ステップS201からステップS206の処理を行うことにより、ステップS103においてキーワードおよび属性値の組合せを取得することが可能になる。
 ここで、図6に示した類似症例検索装置100の動作の説明に戻る。
 画像特徴抽出部108は、読影対象取得部105が取得した医用画像群20から画像特徴量を抽出し、抽出した画像特徴量および医用画像群20を検索ベクトル生成部109に出力する(ステップS104)。
 次に、検索ベクトル生成部109は、キーワード属性取得部107から取得したキーワードおよび属性値の組合せ、画像特徴抽出部108から取得した画像特徴量、ならびに関連度データベース104を用いて、医用画像群20に対する検索ベクトルを生成し、類似症例検索部110に出力する(ステップS105)。具体的には、検索ベクトル生成部109は、キーワード属性取得部107から取得したキーワードおよび属性値の組合せに対する画像特徴量の関連度を、関連度データベース104から取得する。検索ベクトル生成部109は、取得した関連度を、当該画像特徴量に対する重みとして、画像特徴抽出部108から取得した画像特徴量にかけ合せることにより、画像特徴量の重み付けを行う。例えば、ステップS104において画像特徴量として平均輝度値、中心領域の平均輝度値、辺縁領域の平均輝度値をそれぞれ取得したとする。この際、取得した各画像特徴量の値をベクトル表現することで、(100,50,150)という画像特徴量ベクトルが生成される。同様に、関連度データベース104から取得した、平均輝度値、中心領域の平均輝度値、辺縁領域に対する関連度も(0.8,0.5,0.2)のようにベクトル表現することができる。このため、重み付けられた画像特徴量は、これらを要素ごとに掛け合わせた(80,25,30)と計算される。このようにして算出されたベクトルが検索ベクトルとして生成される。なお、検索ベクトルは、読影対象とされている症例(第1症例)の医用画像群である第1医用画像群と、症例データベース101に記憶されている症例(第2症例)の医用画像群である第2医用画像群との、それぞれについて生成される。症例データベース101に記憶されている症例に対する、画像特徴量とキーワードおよび属性値とは、予め症例データベース101に登録されていてもよい。また、読影対象取得部105が症例データベース101に登録されている症例を取得し、画像特徴抽出部108、キーワード抽出部106およびキーワード属性取得部107が処理を行なうことにより、抽出または取得しても良い。
 次に、類似症例検索部110は、検索ベクトル生成部109から取得した検索ベクトルを用いて、症例データベース101に記憶されている症例の中から、読影対象とされている第1症例と類似度の高い第2症例を検索し、検索された第2症例の読影レポートID22を出力部111へ出力する(ステップS106)。具体的な類似度の算出方法としては、例えば、検索ベクトル生成部109から取得した第1症例に含まれる第1医用画像群に対する検索ベクトルと、症例データベース101に記憶されている第2症例に含まれる第2医用画像群に対する検索ベクトルとの間のコサイン距離を、類似度として算出すればよい。
 最後に、出力部111は、類似症例検索部110から取得した読影レポートID22に該当する症例データを、外部の出力媒体へ出力する(ステップS107)。
 図8は、出力部111により液晶ディスプレイ等の出力媒体の画面の一例を示す図である。図8に示すように、出力部111は、読影者の診断結果に対して、類似度の高い順に類似症例を提示する。
 なお、出力部111は、類似症例検索部110で検索された症例を同類の疾病名毎に分類して表示してもよい。図9は、図8の出力例に対して、検索結果を同類の疾病名毎に分類して表示した例である。読影者が類似症例の検索結果を用いて自身の診断結果に対して他の疾病名の可能性を検討する際、検索結果の各所見から自身の診断結果とは異なる疾病名表記を見つけ出す必要性が生じる。検索結果に対して同類の疾病名で分類した表示を行うことにより、読影者は検索結果として提示された各症例の疾病名を簡単に確認することができる。このため、読影時間を短縮することが可能になる。
 以上、図6に示すステップS101~S107の処理が実行されることにより、類似症例検索装置100は、読影者の診断結果に対して読影者が着目した観点が反映された類似症例を簡便に検索することができる。
 また、読影対象取得部105は、必ずしも症例データベース101から医用画像群20および読影レポート21を取得する必要はない。例えば、読影対象取得部105は、他のシステムから、読影者が読影を行ったばかりの医用画像群20および読影レポート21を取得しても良い。
 また、類似症例検索装置100は、症例データベース101に記憶されている症例データのうち、画像所見24と確定診断結果25とが一致する症例データのみを検索対象としても良い。症例データベース101には、画像ノイズまたは撮影装置の特性により、画像だけからでは確定診断と一致する病変を指摘することができない医用画像が含まれる。このような医用画像のみからは病変を推定すること自体が困難である可能性が高く、類似症例データとして提示すると誤診のリスクが高まる可能性がある。逆に、画像所見24と確定診断結果25とが一致する症例データは、医用画像から確定診断結果と同じ病変を指摘できることを担保することができる症例データであり、類似症例データとして適切だと言える。よって、画像所見24と確定診断結果25とが一致する症例データのみを検索対象とすることにより、誤診のリスクを低減することが可能になる。
 また、症例データベース101、キーワード辞書102、属性辞書103および関連度データベース104は、類似症例検索装置100に備えられていてもよい。
 また、症例データベース101、キーワード辞書102、属性辞書103および関連度データベース104は、類似症例検索装置100とネットワークを介して接続されたサーバ上に備えられてもよい。
 また、読影レポート21は、医用画像群20内に付属データとして含まれていてもよい。
 以上のように、本実施の形態に係る類似症例検索装置100は、複数の読影画像に対して1つのテキストが付与された症例に対しても、読影者の診断結果に対して読影者が着目した観点が反映された類似症例を簡便に検索することができる。
 つまり、検索ベクトルの作成時に各画像特徴量に重み付けが行われる。このときに利用される重みは、第1症例に含まれる読影レポートから抽出されるキーワードおよびそのキーワードの属性値の組合せと、各画像特徴量との関連度である。キーワードおよび属性値は、読影者が着目した観点を示す値である。このため、読影者が着目した観点を反映した類似症例を検索することができる。また、属性値は、キーワードの付随概念を示す。このため、属性値は、第1医用画像群のうちどの第1医用画像に基づいて対象読影レポートが記載されたかを知る手掛かりとなるため、複数の医用画像に対して1つのテキストが付与された症例に対しても、読影者が着目した観点を反映した類似症例を検索することができる。
 (実施の形態2)
 次に、本発明の実施の形態2に係る関連度データベース作成装置について説明する。
 本実施の形態の関連度データベース作成装置は、症例データベース101から関連度データベース104を自動的に生成する特徴を有する。
 上述の実施の形態1に係る類似症例検索装置100は、既に作成された関連度データベース104を用いた類似症例検索方法について述べた。しかし、関連度データベース104は、類似症例検索装置100を使用する前に作成されている必要がある。
 そこで本実施の形態における関連度データベース作成装置は、症例データベース101から取得した医用画像および症例データを用いて、キーワードおよび属性値の組合せと画像特徴量との関連度を算出し、関連度データベース104に書き込む。
 これにより、関連度データベース作成装置は、類似症例検索装置100を使用する前に関連度データベース104を自動的に作成することができる。
 以下、初めに図10を参照しながら、関連度データベース作成装置の各構成について順に説明する。
 (実施の形態2:構成の説明)
 図10は、本発明の実施の形態2に係る関連度データベース作成装置の特徴的な機能構成を示すブロック図である。
 図10において、図1と同じ構成要素については同じ符号を付し、説明を繰り返さない。図10に示す関連度データベース作成装置200が図1に示す類似症例検索装置100と相違する点は、画像特徴属性取得部201と、同属性データ生成部202と、関連度算出部203と、書込部204とを有する点である。
 画像特徴属性取得部201は、画像特徴抽出部108が抽出した画像特徴量に対応する属性値を取得し、同属性データ生成部202へ出力する。具体的な属性取得方法については後述する。
 次に、同属性データ生成部202は、キーワード属性取得部107から取得したキーワードおよび属性値と、画像特徴属性取得部201から取得した画像特徴および属性値を用い、同じ属性値を持つキーワードおよび画像特徴の組合せを作成し、関連度算出部203へ出力する。
 次に、関連度算出部203は、同属性データ生成部から取得したキーワードおよび画像特徴の組合せを用いて、同じ属性値を持つキーワードと画像特徴との関連度を算出し、書込部204へ出力する。具体的な関連度の算出方法は後述する。
 最後に、書込部204は、関連度算出部203から取得した関連度を、関連度データベース104に書き込む。
 次に、以上のように構成された関連度データベース作成装置200の動作について説明する。
 (実施の形態2:動作の説明)
 図11は、関連度データベース作成装置200が実行する処理の全体的な流れを示すフローチャートである。S101~S104の処理は、図6に示したS101~S104と同じである。このため、その説明を繰り返さない。
 画像特徴属性取得部201は、画像特徴抽出部108から取得した画像特徴量に対応する属性値を取得し、取得した属性値を同属性データ生成部202に出力する(ステップS301)。具体的には、画像特徴属性取得部201は、時相属性値と部位属性値のいずれか又は両方を取得する。
 時相属性値の具体的な取得方法としては、図12に示すように、予め読影画像の撮影時刻と時相属性値とを対応付けるデータテーブルを用意しておき、撮影時間に応じて時相属性の属性値を取得すればよい。例えば、読影画像の撮影開始時の時相属性値は「単純相」であり、撮影開始時を基準として1秒後から80秒後までの間の撮影された別の読影画像の時相属性値は「動脈相」である。また、定期健診のようにルーチン化された検査であれば、読影画像が撮影された順番に合わせて「単純相」、動脈相」、「平衡相」のように時相属性値を取得してもよい。また、血管の輝度値などの画像特徴量から時相属性値を取得することもできる。
 また、部位属性値の具体的な取得方法としては、例えば、画像特徴抽出部108から取得した画像特徴量の抽出元となる読影画像に対して、非特許文献:「坂下,出口,北坂,森,末永,“CT値分布推定を用いた4時相腹部3次元CT像からの複数臓器領域の抽出手法”,電子情報通信学会技術研究報告,医用画像,Vol.106,No.145,pp.49-54,2006年6月」等に記載の画像処理方法を用いることによって、画像特徴抽出部108から取得した画像特徴量に対する部位属性値を自動的に取得することができる。
 次に、同属性データ生成部202は、キーワード属性取得部107から取得したキーワードおよび属性値の組合せと、画像特徴属性取得部201が取得した画像特徴量および属性値の組合せを用いて、共通の属性値を持つ画像特徴量およびキーワードの組合せを作成する。同属性データ生成部202は、作成した組合せを関連度算出部203に出力する(ステップS302)。
 次に、関連度算出部203は、同属性データ生成部202から取得した組合せを用いて、画像特徴量とキーワードとの関連度を算出し、算出した関連度を書込部204へ出力する(ステップS303)。関連度の算出方法としては、例えば、画像特徴量とキーワードとの相関比を算出すればよい。以下、1対の画像特徴量とキーワードとの相関比の算出方法について詳細に説明する。
 相関比は、質的データと量的データとの間の相関関係を表す指標であり、以下の式1で表される。
Figure JPOXMLDOC01-appb-M000001
 読影レポート中に、あるキーワードを含む場合および含まない場合の2カテゴリを考え、これを質的データとする。読影画像から抽出した、ある画像特徴量の値そのものを量的データとする。例えば、症例データベース101に含まれる全症例に対し、読影レポートを、あるキーワードおよび属性値の組合せを含むものまたは含まないものに区分する。ここでは、キーワード「濃染、動脈相」と画像特徴量「腫瘤内部の輝度平均値、動脈相」との相関比を求める方法について説明する。なお、キーワードおよび画像特徴量に属性値「動脈相」が含まれているが、これは、共通する属性値を示している。このため、キーワード「濃染、動脈相」と画像特徴量「腫瘤内部の輝度平均値、動脈相」との相関比を求めることは、キーワード「濃染」および属性値「動脈相」の組合せと画像特徴量「腫瘤内部の輝度平均値」との相関比を求めることと同じである。式1においては、カテゴリi=1を「濃染、動脈相」を含むもの、カテゴリi=2を「濃染、動脈相」を含まないものとする。読影レポートに「濃染、動脈相」を含む症例から抽出した腫瘤画像の「腫瘤内部の輝度平均値、動脈相」のj番目の観測値をx1jとする。また、読影レポートに「濃染、動脈相」を含まない症例から抽出した腫瘤画像の「腫瘤内部の輝度平均値、動脈相」のj番目の観測値をx2jとする。「濃染、動脈相」とは造影動脈相にてCT値が上昇することを表すため、この場合、相関比が大きく(1に近く)なることが予想される。また、濃染は腫瘤の種類に依存し、腫瘤の大きさには依存しないため、キーワード「濃染、動脈相」と画像特徴量「腫瘤面積」との相関比は小さく(0に近く)なることが予想される。このようにして、属性値が共通する全てのキーワードと全ての画像特徴量との間の相関比が計算される。
 図13に、キーワードおよび属性値の組合せと画像特徴量との間の相関比の概念図を示す。この図では、相関比を多値表現しており、キーワードと画像特徴量の間の実線の太さが相関比の大きさに相当している。例えば、造影早期相にてCT値が上昇する「濃染、動脈相」と、動脈相における腫瘤内部の輝度平均(図13では「動脈相 輝度平均」と略記)との相関が大きくなっている。
 相関比の値に着目することで、あるキーワードおよび属性値の組合せと相関の高い画像特徴量を特定することができる。実際には1つの症例には、複数の画像や複数の病変(腫瘤)が含まれる場合が多く、その場合は読影レポートには複数の病変に関する記載が含まれることになる。例えば、造影CT検査では、造影剤使用前や使用後の複数時刻におけるタイミングでCT撮影を行う。そのため、スライス画像の集合が複数得られ、スライス画像の1つの集合には複数の病変(腫瘤)が含まれ、1つの病変からは複数の画像特徴量が抽出される。よって、(スライス画像集合数)×(1人の患者から検出された病変数)×(画像特徴量の種類数)の個数だけ画像特徴量が得られ、これら複数の画像特徴量と、1つの読影レポートから抽出された複数の読影項目や疾病名との相関関係を求める必要がある。
 以上、1対の画像特徴量とキーワード間の相関比の算出方法について説明した。
 ここで、図11に示した関連度データベース作成装置200の動作の説明に戻る。
 最後に、書込部204は、関連度算出部203から取得した関連度を、関連度データベース104へ書き込む(ステップS304)。
 以上のように、本実施の形態に係る関連度データベース作成装置200は、症例データベース101から取得した症例データに含まれるキーワードと画像特徴量との関連度を算出することができるため、類似症例検索装置100を使用する前に関連度データベース104を自動的に作成することができる。
 ここで、本発明の実施の形態1に係る類似症例検索装置100と、実施の形態2に係る関連度データベース作成装置200の構成上の関係を図14に示す。図14に示すように、類似症例検索装置100と関連度データベース作成装置200は、関連度データベース104、症例データベース101、キーワード辞書102、および属性辞書103を介して連結されている。
 (実施の形態3)
 次に、本発明の実施の形態3に係る関連度データベース作成装置について説明する。
 本実施の形態の関連度データベース作成装置は、症例データベース101から関連度データベース104を自動的に更新する特徴を有する。
 上述の実施の形態2に係る関連度データベース作成装置200は、症例データベース101が与えられた際に関連度を自動的に算出する方法について述べた。ここで、症例データベース101は日々の診断の結果が蓄積され、逐次更新される特徴を持つ。関連度データベース104に存在しないキーワードを含んだ読影レポートが、症例データベース101に新しく追加された場合、新たに追加されたキーワードに対しては関連度が算出されていない。このため、このキーワードを使った検索を行うことができず、結果として類似症例検索装置100において、読影者が着目した観点が反映された類似症例が検索できないという問題が生じる。
 そこで本実施の形態における関連度データベース作成装置は、症例データベース101の更新に応じて、新たにキーワードおよび属性値の組合せと画像特徴量との関連度を再計算し、関連度データベース104に書き込む。
 これにより、症例データベース101の更新された場合であっても、読影者が着目した観点が反映された類似症例を検索することができる。
 以下、初めに図15を参照しながら、関連度データベース作成装置の各構成について順に説明する。
 (実施の形態3:構成の説明)
 図15は、本発明の実施の形態3に係る関連度データベース作成装置の特徴的な機能構成を示すブロック図である。
 図15において、図10と同じ構成要素については同じ符号を付し、説明を繰り返さない。図15に示す関連度データベース作成装置300が図10に示す関連度データベース作成装置200と相違する点は、症例データベース101から取得した症例から、関連度データベース104を更新するか否かを判定する更新制御部301を有する点である。
 更新制御部301は、症例データベース101から取得した医用画像および症例データを用いて、関連度データベース104を更新するか否かを判定する。更新制御部301は、更新すると判定した場合は、関連度データベース104の更新を行う。一方、更新制御部301は、更新しないと判定した場合には、関連度データベース104の更新を行わない。具体的な判定方法については後述する。関連度データベース104を更新すると判定した場合には、更新制御部301は、読影対象取得部105に症例データベース101から症例を取得させる。
 次に、以上のように構成された関連度データベース作成装置300の動作について説明する。
 (実施の形態3:動作の説明)
 図16は、関連度データベース作成装置300が実行する処理の全体的な流れを示すフローチャートである。図16において、図11と同じ処理については同じ符号を付し、説明を繰り返さない。
 更新制御部301は、症例データベース101から取得した症例データを用いて、関連度データベース104を更新するか否かを判定する。ここで、更新すると判定した場合は、ステップS101へ進む。一方、更新しないと判定した場合には、処理を終了する(ステップS401)。
 具体的な更新判定方法としては、例えば、症例データベース101の更新に合わせて逐次的に行えばよい。つまり、更新制御部301は、症例データベース101が更新された場合に、読影対象取得部105に対して、症例データベース101に含まれる全ての症例データに含まれる複数の医用画像および読影レポートを取得させる。
 また、他の更新判定方法としては、例えば、症例データベース101に存在するキーワードの出現頻度をカウントし、出現頻度が閾値以下のキーワードに対してのみ、症例データベース101が更新された場合に、関連度データベース104を更新してもよい。つまり、更新制御部301は、症例データベース101に記憶されている全ての読影レポートに含まれるキーワードの出現頻度が閾値以下のキーワードを含む読影レポートと当該読影レポートに対応する複数の医用画像とを、症例データベース101の更新時に、読影対象取得部105に取得させる。関連度データベース104には、キーワードごとに関連度が記憶されている。症例データベース101内に含まれるキーワードの出現頻度が十分に大きければ、既に十分な数のデータを用いて関連度が算出されたことになる。このような高頻度のキーワードが新しく追加された場合は、仮に再計算を行ったとしても値は大きく変化しないため、関連度の更新を行う必要性が低い。一方、出現頻度が少ないキーワードに対しては、関連度の不確実性が高いため、関連度は更新の必要が高い。このように、症例データベース内のキーワード頻度に応じて更新の可否を判定することにより、更新時の計算量を低減できるため、更新時間を短縮することができる。
 以上のように、本実施の形態に係る関連度データベース作成装置300は、症例データベース101が更新された場合であっても、キーワードと画像特徴量との関連度を更新することができるため、読影者が着目した観点を反映した類似症例を検索することができる。
 以上、本発明に係る類似症例検索装置および関連度データベース作成装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、異なる実施の形態における構成要素を組み合わせて構築される形態なども、本発明の範囲内に含まれる。
 なお、上述の類似症例検索装置100では、キーワード属性取得部107が、読影レポートから抽出されたキーワードに基づいて属性値を抽出している。しかし、キーワードに基づいて属性値を抽出することができない場合には、補助的に医用画像から属性値を取得するようにしても良い。この属性値の取得は、関連度データベース作成装置200の画像特徴属性取得部201による属性値の取得と同様の方法により行われる。検索ベクトル生成部109は、キーワード属性取得部107が取得した属性値の代わりに、医用画像から取得された属性値を用いることにより検索ベクトルを生成し、類似症例検索部110が、生成された検索ベクトルを用いて類似症例を検索する。
 上記の類似症例検索装置または関連度データベース作成装置は、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、ハードディスクドライブ、ディスプレイユニット、キーボードおよびマウスなどから構成されるコンピュータシステムとして構成されても良い。RAMまたはハードディスクドライブには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、類似症例検索装置または関連度データベース作成装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
 図17は、実施の形態1に係る類似症例検索装置または実施の形態2もしくは3に係る関連度データベース作成装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
 類似症例検索装置または関連度データベース作成装置は、コンピュータ434と、コンピュータ434に指示を与えるためのキーボード436およびマウス438と、コンピュータ434の演算結果等の情報を提示するためのディスプレイ432と、コンピュータ434で実行されるプログラムを読み取るためのCD-ROM装置440および通信モデム(図示せず)とを含む。
 類似症例検索装置または関連度データベース作成装置が行う処理であるプログラムは、コンピュータで読取可能な記録媒体であるCD-ROM442に記憶され、CD-ROM装置440で読み取られる。または、コンピュータネットワークを通じて通信モデム452で読み取られる。
 コンピュータ434は、CPU(Central Processing Unit)444と、ROM446と、RAM448と、ハードディスク450と、通信モデム452と、バス454とを含む。
 CPU444は、CD-ROM装置440または通信モデム452を介して読み取られたプログラムを実行する。ROM446は、コンピュータ434の動作に必要なプログラムやデータを記憶する。RAM448は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク450は、プログラムやデータなどを記憶する。通信モデム452は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス454は、CPU444、ROM446、RAM448、ハードディスク450、通信モデム452、ディスプレイ432、キーボード436、マウス438およびCD-ROM装置440を相互に接続する。
 さらに、上記の類似症例検索装置または関連度データベース作成装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 さらにまた、上記の類似症例検索装置または関連度データベース作成装置を構成する構成要素の一部または全部は、類似症例検索装置または関連度データベース作成装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
 また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
 さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(登録商標))、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
 また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
 また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
 また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
 本発明は、読影者の診断結果に対して類似症例を出力する類似症例検索装置等として利用可能である。また、本発明は当該類似症例検索装置が利用する関連度データベースを作成する関連度データベース作成装置等として利用可能である。
   20 医用画像群
   21 読影レポート
   22 読影レポートID
   23 画像ID
   24 画像所見
   25 確定診断結果
   30 キーワード
   40 属性
   41、51 属性値
   42 対象ワード
   50 キーワード
   52 画像特徴量
  100 類似症例検索装置
  101 症例データベース
  102 キーワード辞書
  103 属性辞書
  104 関連度データベース
  105 読影対象取得部
  106 キーワード抽出部
  107 キーワード属性取得部
  108 画像特徴抽出部
  109 検索ベクトル生成部
  110 類似症例検索部
  111 出力部
  200、300 関連度データベース作成装置
  201 画像特徴属性取得部
  202 同属性データ生成部
  203 関連度算出部
  204 書込部
  301 更新制御部

Claims (19)

  1.  複数の第1医用画像を含む第1医用画像群と当該第1医用画像群を読影した結果が記載された1つの文書データである第1読影レポートとを含む第1症例データに類似する第2症例データを症例データベースより検索する類似症例検索装置であって、
     第1医用画像群から複数の画像特徴量を抽出する画像特徴抽出部と、
     前記第1読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出部と、
     前記キーワード抽出部が取得したキーワードを含むセンテンスから、前記キーワードの付随概念を示す単語である属性値を取得するキーワード属性取得部と、
     キーワードおよび属性値の組合せと画像特徴量との関連度を記憶している関連度データベースを参照することにより取得される、前記キーワード抽出部が抽出したキーワードおよび前記キーワード属性取得部が取得した当該キーワードの属性値の組合せと前記画像特徴抽出部が抽出した各画像特徴量との関連度で、前記画像特徴抽出部が抽出した各画像特徴量と、前記症例データベースに記憶されている第2症例データに含まれる複数の第2医用画像である第2医用画像群から抽出される各画像特徴量とを重み付けすることにより、各々が、各画像特徴量を要素とする、前記第1医用画像群に対する検索ベクトルと前記第2医用画像群に対する検索ベクトルとを生成する検索ベクトル生成部と、
     前記第1医用画像群に対する検索ベクトルと、前記第2医用画像群に対する検索ベクトルとの類似度に基づいて、前記症例データベースに記憶されている第2症例データを検索する類似症例検索部と
     を備える類似症例検索装置。
  2.  前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記第1医用画像群に含まれる各第1医用画像の相対的な撮影時刻または撮影時刻帯を示す時相属性値を取得する
     請求項1に記載の類似症例検索装置。
  3.  前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記第1医用画像群に含まれる各第1医用画像における、前記キーワードが示す情報の有無を示す存在属性値を取得する
     請求項1に記載の類似症例検索装置。
  4.  前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、読影対象の臓器の部位を示す部位属性値を取得する
     請求項1に記載の類似症例検索装置。
  5.  さらに、
     前記類似症例検索部が検索した第2症例データを外部に出力する出力部を備える
     請求項1~4のいずれか1項に記載の類似症例検索装置。
  6.  前記出力部は、前記類似症例検索部が検索した第2症例データを、同類の疾病名ごとに分類して外部に出力する
     請求項5に記載の類似症例検索装置。
  7.  前記類似症例検索部は、前記症例データベースに記憶されている第2症例データのうち、当該第2症例データが含む読影レポートに含まれる画像所見と確定診断結果とが一致する第2症例データのみを検索対象として、前記症例データベースに記憶されている第2症例データを検索し、
     前記画像所見は、前記第2症例データに含まれる前記第1医用画像群に対する読影者による診断結果であり、
     前記確定診断結果は、前記第2症例データに含まれる前記第1医用画像群に対する確定した診断結果である
     請求項1~6のいずれか1項に記載の類似症例検索装置。
  8.  複数の医用画像から画像特徴量を抽出する画像特徴抽出部と、
     前記複数の医用画像から、前記画像特徴抽出部が抽出した画像特徴量の属性値を取得する画像特徴属性取得部と、
     読影者が前記複数の医用画像を読影した結果が記載された文書データである読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出部と、
     前記キーワード抽出部が抽出したキーワードを含むセンテンスから、前記キーワードの属性値を取得するキーワード属性取得部と、
     前記読影レポートから抽出された前記キーワードおよび前記キーワードの属性値と、前記複数の医用画像から抽出された前記画像特徴量および前記画像特徴量の属性値とに基づいて、同一の属性値を有するキーワードおよび画像特徴量からなる組合せを生成する同属性データ生成部と、
     前記組合せから、キーワードと画像特徴量との間の関連度を算出することにより、キーワードおよび属性値の組合せと画像特徴量との関連度を示した関連度データベースを作成する関連度算出部と
     を備える関連度データベース作成装置。
  9.  前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記複数の医用画像の各々の相対的な撮影時刻または撮影時刻帯を示す時相属性値を取得する
     請求項8に記載の関連度データベース作成装置。
  10.  前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、前記複数の医用画像の各々における、前記キーワードが示す情報の有無を示す存在属性値を取得する
     請求項8に記載の関連度データベース作成装置。
  11.  前記キーワード属性取得部は、前記キーワード抽出部が取得したキーワードを含む周辺のテキストデータから、前記キーワードの属性値として、読影対象の臓器の部位を示す部位属性値を取得する
     請求項8に記載の関連度データベース作成装置。
  12.  前記画像特徴属性取得部は、医用画像の撮影時刻と時相属性値とを対応付けたデータテーブルを参照することにより、前記複数の医用画像の各々の撮影時刻から、前記画像特徴抽出部が抽出した画像特徴量の属性値として、時相属性値を取得する
     請求項8~11のいずれか1項に記載の関連度データベース作成装置。
  13.  さらに、
     症例データを記憶している症例データベースから、症例データに含まれる複数の医用画像および読影レポートを取得する読影対象取得部と、
     前記症例データベースが更新された場合に、前記読影対象取得部に前記症例データベースに記憶されている前記複数の医用画像および前記読影レポートを取得させる更新制御部とを備え、
     前記画像特徴抽出部は、前記読影対象取得部が取得した複数の医用画像から画像特徴量を抽出し、
     前記キーワード抽出部は、前記読影対象取得部が取得した読影レポートから、キーワードを抽出する
     請求項8~12のいずれか1項に記載の関連度データベース作成装置。
  14.  前記更新制御部は、前記症例データベースの更新時に、前記読影対象取得部に対して、前記症例データベースに含まれる全ての症例データに含まれる複数の医用画像および読影レポートを取得させる
     請求項13に記載の関連度データベース作成装置。
  15.  前記更新制御部は、前記症例データベースに記憶されている全ての読影レポートに含まれるキーワードの出現頻度が閾値以下のキーワードを含む読影レポートと当該読影レポートに対応する複数の医用画像とを、前記症例データベースの更新時に、前記読影対象取得部に取得させる
     請求項13に記載の関連度データベース作成装置。
  16.  コンピュータが、複数の第1医用画像を含む第1医用画像群と当該第1医用画像群を読影した結果が記載された1つの文書データである第1読影レポートとを含む第1症例データに類似する第2症例データを症例データベースより検索する類似症例検索方法であって、
     第1医用画像群から複数の画像特徴量を抽出する画像特徴抽出ステップと、
     前記第1読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出ステップと、
     前記キーワード抽出ステップにおいて取得されたキーワードを含むセンテンスから、前記キーワードの付随概念を示す単語である属性値を取得するキーワード属性取得ステップと、
     キーワードおよび属性値の組合せと画像特徴量との関連度を記憶している関連度データベースを参照することにより取得される、前記キーワード抽出ステップにおいて抽出されたキーワードおよび前記キーワード属性取得ステップにおいて取得された当該キーワードの属性値の組合せと前記画像特徴抽出ステップにおいて抽出された各画像特徴量との関連度で、前記画像特徴抽出ステップにおいて抽出された各画像特徴量と、前記症例データベースに記憶されている第2症例データに含まれる複数の第2医用画像である第2医用画像群から抽出される各画像特徴量とを重み付けすることにより、各々が、各画像特徴量を要素とする、前記第1医用画像群に対する検索ベクトルと前記第2医用画像群に対する検索ベクトルとを生成する検索ベクトル生成ステップと、
     前記第1医用画像群に対する検索ベクトルと、前記第2医用画像群に対する検索ベクトルとの類似度に基づいて、前記症例データベースに記憶されている第2症例データを検索する類似症例検索ステップと
     を含む類似症例検索方法。
  17.  複数の医用画像から画像特徴量を抽出する画像特徴抽出ステップと、
     前記複数の医用画像から、前記画像特徴抽出ステップにおいて抽出された画像特徴量の属性値を取得する画像特徴属性取得ステップと、
     読影者が前記複数の医用画像を読影した結果が記載された文書データである読影レポートから、(a)医用画像の特徴を示す文字列である読影項目または(b)医用画像に基づく読影者の診断結果である疾病名を、キーワードとして抽出するキーワード抽出ステップと、
     前記キーワード抽出ステップにおいて抽出されたキーワードを含むセンテンスから、前記キーワードの属性値を取得するキーワード属性取得ステップと、
     前記読影レポートから抽出された前記キーワードおよび前記キーワードの属性値と、前記複数の医用画像から抽出された前記画像特徴量および前記画像特徴量の属性値とに基づいて、同一の属性値を有するキーワードおよび画像特徴量からなる組合せを生成する同属性データ生成ステップと、
     前記組合せから、キーワードと画像特徴量との間の関連度を算出することにより、キーワードおよび属性値の組合せと画像特徴量との関連度を示した関連度データベースを作成する関連度算出ステップと
     を含む関連度データベース作成方法。
  18.  請求項16に記載の類似症例検索方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
  19.  請求項17に記載の関連度データベース作成方法に含まれる全てのステップをコンピュータに実行させるためのプログラム。
PCT/JP2012/001141 2011-06-30 2012-02-21 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 WO2013001678A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013522678A JP5462414B2 (ja) 2011-06-30 2012-02-21 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
US14/091,939 US9008390B2 (en) 2011-06-30 2013-11-27 Similar case searching apparatus, relevance database generating apparatus, similar case searching method, and relevance database generating method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011146698 2011-06-30
JP2011-146698 2011-06-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/091,939 Continuation US9008390B2 (en) 2011-06-30 2013-11-27 Similar case searching apparatus, relevance database generating apparatus, similar case searching method, and relevance database generating method

Publications (1)

Publication Number Publication Date
WO2013001678A1 true WO2013001678A1 (ja) 2013-01-03

Family

ID=47423613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001141 WO2013001678A1 (ja) 2011-06-30 2012-02-21 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法

Country Status (3)

Country Link
US (1) US9008390B2 (ja)
JP (1) JP5462414B2 (ja)
WO (1) WO2013001678A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014155273A1 (en) * 2013-03-29 2014-10-02 Koninklijke Philips N.V. A context driven summary view of radiology findings
JP2015041225A (ja) * 2013-08-21 2015-03-02 日本電信電話株式会社 情報処理装置、情報抽出装置、及びプログラム
JP2015092241A (ja) * 2013-10-02 2015-05-14 三洋化成工業株式会社 光学部品用活性エネルギー線硬化性組成物
JP2017033519A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 装置、方法、システム及びプログラム。
JP2017051591A (ja) * 2015-09-09 2017-03-16 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
WO2018179219A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
JPWO2018179221A1 (ja) * 2017-03-30 2019-04-11 株式会社オプティム コンピュータシステム、物体診断方法及びプログラム
JPWO2018179220A1 (ja) * 2017-03-30 2019-04-11 株式会社オプティム コンピュータシステム、植物診断方法及びプログラム
JP2019527876A (ja) * 2016-06-24 2019-10-03 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
JP2020031803A (ja) * 2018-08-29 2020-03-05 富士フイルム株式会社 画像診断支援装置、方法及びプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9700276B2 (en) * 2012-02-28 2017-07-11 Siemens Healthcare Gmbh Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update
US9600882B2 (en) * 2012-10-01 2017-03-21 Koninklijke Philips N.V. Multi-study medical image navigation
US10664567B2 (en) * 2014-01-27 2020-05-26 Koninklijke Philips N.V. Extraction of information from an image and inclusion thereof in a clinical report
JP6264946B2 (ja) * 2014-03-03 2018-01-24 富士通株式会社 データ収集方法、及びデータ収集装置
KR101642108B1 (ko) * 2014-04-04 2016-07-22 주식회사 비트컴퓨터 의료 데이터의 의미론적 해석을 위한 방법 및 시스템
US20160154844A1 (en) * 2014-11-29 2016-06-02 Infinitt Healthcare Co., Ltd. Intelligent medical image and medical information search method
KR101623523B1 (ko) * 2015-01-06 2016-05-23 (주)퍼셉션 이미지 단어 해석에 기반한 사용자 니즈 파악 방법
JP6074455B2 (ja) * 2015-05-14 2017-02-01 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム
CN106560827B (zh) * 2015-09-30 2021-11-26 松下知识产权经营株式会社 控制方法
EP3557449B1 (en) * 2016-12-19 2022-06-22 FUJIFILM Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP6862286B2 (ja) * 2017-05-31 2021-04-21 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP6972711B2 (ja) * 2017-06-30 2021-11-24 富士通株式会社 語義ベクトル生成プログラム、語義ベクトル生成方法および語義ベクトル生成装置
EP3471106A1 (en) 2017-10-10 2019-04-17 Siemens Healthcare GmbH Method and system for supporting clinical decisions
US11139080B2 (en) 2017-12-20 2021-10-05 OrthoScience, Inc. System for decision management
US20200027556A1 (en) 2018-07-17 2020-01-23 Petuum Inc. Systems and Methods for Medical Topic Discovery Based on Large-Scale Machine Learning
CN110968662A (zh) * 2018-09-27 2020-04-07 北京国双科技有限公司 司法数据处理的方法、装置、存储介质及处理器
JP7237517B2 (ja) * 2018-10-25 2023-03-13 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理方法
CN111797221B (zh) * 2020-06-16 2023-12-08 北京北大软件工程股份有限公司 类似案件推荐方法及装置
CN117577258B (zh) * 2024-01-16 2024-04-02 北京大学第三医院(北京大学第三临床医学院) Petct相似病例检索和预后预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157623A (ja) * 2002-11-05 2004-06-03 Hitachi Ltd 検索システム及び検索方法
JP2008052544A (ja) * 2006-08-25 2008-03-06 Konica Minolta Medical & Graphic Inc データベースシステム、プログラム、画像検索方法、及びレポート検索方法
JP2008077163A (ja) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd 検索システム、検索方法及び検索プログラム
JP2008079770A (ja) * 2006-09-27 2008-04-10 Gifu Univ 読影支援装置、読影支援方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5098559B2 (ja) 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP5599572B2 (ja) 2009-03-12 2014-10-01 富士フイルム株式会社 症例画像検索装置、方法およびプログラム
JP2011118540A (ja) 2009-12-01 2011-06-16 Shizuoka Prefecture 症例検索装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004157623A (ja) * 2002-11-05 2004-06-03 Hitachi Ltd 検索システム及び検索方法
JP2008052544A (ja) * 2006-08-25 2008-03-06 Konica Minolta Medical & Graphic Inc データベースシステム、プログラム、画像検索方法、及びレポート検索方法
JP2008077163A (ja) * 2006-09-19 2008-04-03 Fuji Xerox Co Ltd 検索システム、検索方法及び検索プログラム
JP2008079770A (ja) * 2006-09-27 2008-04-10 Gifu Univ 読影支援装置、読影支援方法及びプログラム

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105074708A (zh) * 2013-03-29 2015-11-18 皇家飞利浦有限公司 放射学发现的背景驱动的概要视图
WO2014155273A1 (en) * 2013-03-29 2014-10-02 Koninklijke Philips N.V. A context driven summary view of radiology findings
US11289188B2 (en) 2013-03-29 2022-03-29 Koninklijke Philips N.V. Context driven summary view of radiology findings
CN105074708B (zh) * 2013-03-29 2019-09-27 皇家飞利浦有限公司 放射学发现的背景驱动的概要视图
JP2015041225A (ja) * 2013-08-21 2015-03-02 日本電信電話株式会社 情報処理装置、情報抽出装置、及びプログラム
JP2015092241A (ja) * 2013-10-02 2015-05-14 三洋化成工業株式会社 光学部品用活性エネルギー線硬化性組成物
JP2017033519A (ja) * 2015-07-31 2017-02-09 キヤノン株式会社 装置、方法、システム及びプログラム。
JP2017051591A (ja) * 2015-09-09 2017-03-16 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
JP2021177407A (ja) * 2016-06-24 2021-11-11 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
JP7275202B2 (ja) 2016-06-24 2023-05-17 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
US11448583B2 (en) 2016-06-24 2022-09-20 Beckman Coulter, Inc. Image atlas systems and methods
JP2019527876A (ja) * 2016-06-24 2019-10-03 ベックマン コールター, インコーポレイテッド 画像アトラスシステム及び方法
JPWO2018179221A1 (ja) * 2017-03-30 2019-04-11 株式会社オプティム コンピュータシステム、物体診断方法及びプログラム
JPWO2018179220A1 (ja) * 2017-03-30 2019-04-11 株式会社オプティム コンピュータシステム、植物診断方法及びプログラム
JPWO2018179219A1 (ja) * 2017-03-30 2019-04-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
WO2018179219A1 (ja) * 2017-03-30 2018-10-04 株式会社オプティム コンピュータシステム、動物診断方法及びプログラム
JP2020031803A (ja) * 2018-08-29 2020-03-05 富士フイルム株式会社 画像診断支援装置、方法及びプログラム

Also Published As

Publication number Publication date
US9008390B2 (en) 2015-04-14
US20140089000A1 (en) 2014-03-27
JP5462414B2 (ja) 2014-04-02
JPWO2013001678A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
JP5462414B2 (ja) 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法
JP5852970B2 (ja) 症例検索装置および症例検索方法
JP5054252B1 (ja) 類似症例検索装置、類似症例検索方法、類似症例検索装置の作動方法およびプログラム
JP5475923B2 (ja) 類似症例検索装置および類似症例検索方法
US9037988B2 (en) User interface for providing clinical applications and associated data sets based on image data
JP4979842B1 (ja) 類似症例検索装置および類似症例検索方法
JP4905967B2 (ja) 類似症例検索装置、方法、およびプログラム
WO2013001584A1 (ja) 類似症例検索装置および類似症例検索方法
US8306960B2 (en) Medical image retrieval system
JP4976164B2 (ja) 類似症例検索装置、方法、およびプログラム
US20130044925A1 (en) Similar case search apparatus and similar case search method
KR102251245B1 (ko) 관심 영역별 추가 정보 제공 장치 및 방법
US7548639B2 (en) Diagnosis assisting system and storage medium having diagnosis assisting program stored therein
JP2011092681A (ja) 医用画像処理装置および方法並びにプログラム
JP5661890B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011092286A (ja) 情報処理装置、情報処理方法及びプログラム
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
US11062448B2 (en) Machine learning data generation support apparatus, operation method of machine learning data generation support apparatus, and machine learning data generation support program
JP5789791B2 (ja) 類似症例検索装置および読影知識抽出装置
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
EP3933849A1 (en) Diagnosis support program, diagnosis support system, and diagnosis support method
JP2013109597A (ja) 医用同義語辞書作成装置および医用同義語辞書作成方法
Zhou et al. Computer‐aided detection of pulmonary embolism in computed tomographic pulmonary angiography (CTPA): Performance evaluation with independent data sets
CN113329684A (zh) 注释支持装置、注释支持方法及注释支持程序
JP2009039221A (ja) 医用画像処理システム、医用画像処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12803610

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2013522678

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12803610

Country of ref document: EP

Kind code of ref document: A1