WO2023032345A1 - 情報処理装置、方法およびプログラム - Google Patents

情報処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2023032345A1
WO2023032345A1 PCT/JP2022/017868 JP2022017868W WO2023032345A1 WO 2023032345 A1 WO2023032345 A1 WO 2023032345A1 JP 2022017868 W JP2022017868 W JP 2022017868W WO 2023032345 A1 WO2023032345 A1 WO 2023032345A1
Authority
WO
WIPO (PCT)
Prior art keywords
property
relationship
image
items
score
Prior art date
Application number
PCT/JP2022/017868
Other languages
English (en)
French (fr)
Inventor
晶路 一ノ瀬
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2023032345A1 publication Critical patent/WO2023032345A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an information processing device, method and program.
  • a medical image is analyzed by CAD (Computer-Aided Diagnosis) using a trained model built by learning a neural network by deep learning, etc., and the shape, density, Discrimination of properties such as position and size is performed.
  • the learned model outputs a score representing the salience of each of the plurality of property items, and the property of the structure of interest is determined by comparing the output score with a threshold value.
  • a matrix representing the relationship between properties (hereinafter referred to as the relationship matrix) is constructed at the same time as the neural network is trained. For this reason, in order to learn both the neural network and the relationship matrix so that a trained model that accurately discriminates properties can be constructed, a large amount of training data that associates structures of interest and properties contained in medical images is required. Is required. However, the number of medical images required to cover all multiple properties is limited.
  • the present disclosure has been made in view of the above circumstances, and aims to accurately determine the properties of structures of interest included in medical images without using a large amount of training data.
  • An information processing device comprises at least one processor, a processor, using the trained neural network, derives a feature score for each of a plurality of predetermined feature items for the structure of interest contained in the image; By referring to information representing the relationship between a plurality of property items derived by analyzing co-occurrence relationships of descriptions of properties contained in a plurality of sentences, at least one of the plurality of property items modify the property score for the property item, Discrimination results for multiple property terms are derived for the structure of interest based on the modified property scores.
  • the processor further learns the neural network using the structure of interest included in the medical image and teacher data in which a plurality of property items about the structure of interest are specified,
  • the information representing the relationship may be updated based on the learning result.
  • the information representing the relationship may be a relationship matrix that defines a weight as an element that increases as the co-occurrence relationship between a plurality of property items becomes stronger.
  • the weight may be scaled within a predetermined range.
  • the processor presents the relationship matrix
  • the relationship matrix may be modified by accepting modifications of the weights in the presented relationship matrix.
  • the trained neural network is constructed by machine learning a convolutional neural network
  • the processor may modify the attribute score by one fully connected layer to which the information representing the relationship is applied, to which the output of the convolutional neural network is input.
  • An information processing method uses a trained neural network to derive a property score for each of a plurality of property items predetermined for a structure of interest contained in an image, By referring to information representing the relationship between a plurality of property items derived by analyzing co-occurrence relationships of descriptions of properties contained in a plurality of sentences, at least one of the plurality of property items modify the property score for the property item, Discrimination results for multiple property terms are derived for the structure of interest based on the modified property scores.
  • the information processing method according to the present disclosure may be provided as a program for causing a computer to execute it.
  • a diagram showing a schematic configuration of a medical information system to which an information processing device according to an embodiment of the present disclosure is applied A diagram showing a schematic configuration of an information processing apparatus according to the present embodiment.
  • Functional configuration diagram of the information processing apparatus according to the present embodiment A diagram schematically showing a neural network that constitutes a discriminant model Diagram showing training data Diagram for explaining the derivation of the relationship matrix
  • a diagram showing a relationship matrix Diagram showing screen for creating an interpretation report Flowchart showing processing performed in the present embodiment Diagram showing word vectors in feature space Diagram showing the relationship matrix correction screen
  • FIG. 1 is a diagram showing a schematic configuration of a medical information system 1.
  • the medical information system 1 shown in FIG. 1 is based on an examination order from a doctor of a clinical department using a known ordering system. This is a system for interpreting medical images and creating an interpretation report, and for the doctor of the department that requested the system to view the interpretation report and to observe the details of the medical image to be interpreted.
  • Each device is a computer in which an application program for functioning as a component of the medical information system 1 is installed.
  • the application program is stored in a storage device of a server computer connected to the network 10 or in a network storage in an externally accessible state, and is downloaded and installed in the computer upon request. Alternatively, it is recorded on recording media such as DVDs (Digital Versatile Discs) and CD-ROMs (Compact Disc Read Only Memory) and distributed, and installed in computers from the recording media.
  • the imaging device 2 is a device (modality) that generates a medical image representing the diagnostic target region by imaging the diagnostic target region of the subject. Specifically, plain X-ray equipment, CT (Computed Tomography) equipment, MRI (Magnetic Resonance Imaging) equipment and PET (Positron Emission Tomography) equipment and the like. A medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6 .
  • the interpretation WS3 is a computer used by, for example, a radiology doctor to interpret medical images and create an interpretation report, and includes the information processing apparatus 20 according to the present embodiment.
  • the image interpretation WS3 requests the image server 5 to view medical images, performs various image processing on the medical images received from the image server 5, displays the medical images, and accepts input of remarks on the medical images.
  • the interpretation WS 3 also performs analysis processing on medical images and input findings, supports creation of interpretation reports based on the analysis results, requests registration and viewing of interpretation reports to the report server 7 , and receives interpretation requests from the report server 7 . A report is displayed. These processes are performed by the interpretation WS3 executing a software program for each process.
  • the clinical WS 4 is a computer used by doctors in clinical departments for detailed observation of images, viewing of interpretation reports, and creation of electronic medical charts. Consists of The medical examination WS 4 requests the image server 5 to view images, displays the images received from the image server 5 , requests the report server 7 to view interpretation reports, and displays the interpretation reports received from the report server 7 . These processes are performed by the clinical WS 4 executing a software program for each process.
  • the image server 5 is a general-purpose computer in which a software program that provides the functions of a database management system (DBMS) is installed. Further, the image server 5 has a storage in which an image DB 6 is configured. This storage may be a hard disk device connected to the image server 5 by a data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to network 10. may be When the image server 5 receives a registration request for a medical image from the imaging device 2 , the image server 5 prepares the medical image into a database format and registers it in the image DB 6 .
  • DBMS database management system
  • the incidental information includes, for example, an image ID (identification) for identifying individual medical images, a patient ID for identifying a subject, an examination ID for identifying an examination, a unique ID assigned to each medical image ( UID (unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, and gender, examination site (imaging part), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast agent, etc.), and information such as series number or collection number when multiple medical images are acquired in one examination .
  • image ID identification
  • UID unique ID assigned to each medical image
  • UID unique ID assigned to each medical image
  • UID unique ID assigned to each medical image
  • examination date when the medical image was generated examination time
  • type of imaging device used in the examination to acquire the medical image patient information such as patient name, age, and gender
  • examination site imaging part
  • imaging information imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast agent, etc.
  • the image server 5 When the image server 5 receives a viewing request from the interpretation WS 3 and the medical care WS 4 via the network 10 , the image server 5 searches for medical images registered in the image DB 6 and distributes the retrieved medical images to the requesting interpretation WS 3 and the medical care WS 4 . Send to WS4.
  • the report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer.
  • the report server 7 receives a registration request for an interpretation report from the interpretation WS 3 , the interpretation report is formatted for a database and registered in the report DB 8 .
  • the interpretation report includes, for example, a medical image to be interpreted, an image ID for identifying the medical image, an interpreting doctor ID for identifying the interpreting doctor who performed the interpretation, a lesion name, lesion position information, and a medical image including a specific region. Information for accessing and information such as property information may be included.
  • the report server 7 when the report server 7 receives a viewing request or transmission request for an interpretation report from the interpretation WS 3 and the medical care WS 4 via the network 10, it searches for the interpretation report registered in the report DB 8, and requests the retrieved interpretation report. It is transmitted to the original interpretation WS3 and medical care WS4.
  • the medical image is a three-dimensional CT image consisting of a plurality of tomographic images, with the lung being the diagnostic target.
  • An interpretation report shall be prepared containing the following findings.
  • the medical images are not limited to CT images, and arbitrary medical images such as MRI images and simple two-dimensional images acquired by a simple X-ray imaging apparatus can be used.
  • the network 10 is a wired or wireless local area network that connects various devices in the hospital. If the image interpretation WS3 is installed in another hospital or clinic, the network 10 may be configured by connecting the local area networks of each hospital via the Internet or a dedicated line.
  • FIG. 2 illustrates the hardware configuration of the information processing apparatus according to this embodiment.
  • the information processing device 20 includes a CPU (Central Processing Unit) 11, a nonvolatile storage 13, and a memory 16 as a temporary storage area.
  • the information processing apparatus 20 also includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I/F (InterFace) 17 connected to the network 10 .
  • CPU 11, storage 13, Display 14 , input device 15 , memory 16 and network I/F 17 are connected to bus 18 .
  • the CPU 11 is an example of a processor in the present disclosure.
  • the storage 13 is realized by HDD (Hard Disk Drive), SSD (Solid State Drive), flash memory, and the like.
  • An information processing program is stored in the storage 13 as a storage medium.
  • the CPU 11 reads out the information processing program 12 from the storage 13 , expands it in the memory 16 , and executes the expanded information processing program 12 .
  • FIG. 3 is a diagram showing the functional configuration of the information processing apparatus according to this embodiment.
  • the information processing device 20 includes an information acquisition section 21 , an image analysis section 22 , a learning section 23 , a relationship derivation section 24 and a display control section 25 .
  • the CPU 11 executes the information processing program 12 , the CPU 11 functions as an information acquisition section 21 , an image analysis section 22 , a learning section 23 , a relationship derivation section 24 and a display control section 25 .
  • the information acquisition unit 21 acquires medical images for creating an interpretation report from the image server 5 according to an instruction from the input device 15 by the interpretation doctor who is the operator.
  • the information acquisition unit 21 also acquires an interpretation report from the report server 7 .
  • the image analysis unit 22 derives discrimination results for a plurality of property items regarding the structure of interest included in the medical image.
  • the image analysis unit 22 includes an extraction model 22A for extracting an abnormal shadow in a medical image as a structure of interest, and a discrimination for deriving discrimination results for each of a plurality of predetermined property items regarding the extracted structure of interest. It has a model 22B.
  • the extraction model 22A consists of a neural network that has undergone machine learning such as deep learning using teacher data so as to extract structures of interest from medical images.
  • a well-known neural network such as a convolutional neural network (CNN) or a support vector machine (SVM) can be used.
  • CNN convolutional neural network
  • SVM support vector machine
  • the extraction model 22A may extract a structure of interest from a medical image by template matching or the like.
  • the discriminant model 22B also consists of a neural network that has been machine-learned by deep learning using teacher data. Since this embodiment is characterized by the discriminant model 22B, the discriminant model 22B will be described below.
  • FIG. 4 is a diagram schematically showing a neural network that constitutes a discriminant model.
  • the discriminant model 22B has a convolutional neural network (hereinafter referred to as CNN) 31, a fully connected layer 32, and an output layer 33.
  • CNN convolutional neural network
  • FIG. The CNN 31 has an input layer 34 , multiple convolutional layers 35 , multiple pooling layers 36 and a fully connected layer 37 .
  • a plurality of convolutional layers 35 and a plurality of pooling layers 36 alternate between the input layers 34 and the fully connected layers 37 .
  • the structure of CNN31 is not limited to the example of FIG.
  • CNN 31 may comprise one convolutional layer 35 and one pooling layer 36 between input layer 34 and fully connected layer 37 .
  • the image analysis unit 22 extracts a structure of interest included in the medical image using an extraction model 22A. At this time, the size and position of the structure of interest are also extracted. Then, the image analysis unit 22 uses the CNN 31 of the discriminant model 22B to derive property scores for a plurality of property items regarding the structure of interest, corrects the property scores as described later by the fully connected layer 32, and uses the output layer 33 to correct each property Output the discrimination result for the item.
  • FIG. 5 is a diagram showing an example of teacher data for learning the CNN in the discriminant model.
  • the teacher data 40 includes a structure-of-interest image 42 extracted from a medical image 41 and discrimination results 43 for a plurality of property items previously derived for the structure of interest.
  • the medical image 41 is shown in FIG. 5 for explanation, only the structure-of-interest image 42 is used as the teacher data 40 .
  • the training data 40 actually consists of an image of the structure of interest 42 and the discrimination result 43 of the property.
  • the determination result 43 becomes correct data.
  • the abnormal shadow is a pulmonary nodule
  • the determination result 43 is the determination result for a plurality of property items regarding the pulmonary nodule.
  • the property items the type of absorption value (solid, partially solid, and frosted glass), the presence or absence of spicules, the presence or absence of bronchial translucency, the presence or absence of smooth margins, the presence or absence of lobulation, and the presence or absence of pleural invagination are used. Examples of property items are not limited to these.
  • the discriminant model 22B is constructed by learning the CNN 31 using a large amount of teacher data as shown in FIG.
  • the learning unit 23 inputs the structure-of-interest image 42 to the input layer 34 of the CNN 31 .
  • the feature amount of the structure-of-interest image 42 is derived by the plurality of convolution layers 35 and the pooling layers 36, and the property score for each of the plurality of property items is derived by the fully connected layer 37.
  • the attribute score is a score that indicates the conspicuousness of each attribute item.
  • the attribute score takes a value of, for example, 0 or more and 1 or less.
  • the learning unit 23 derives the difference between the property score for each of the plurality of property items output by the CNN 31 and the score for each property item included in the property discrimination result 43 of the teacher data 40 as a loss.
  • the learning unit 23 derives the score difference between the corresponding property items as a loss. Then, the learning unit 23 adjusts parameters such as kernel coefficients in the convolutional layer 35, weights of connections between layers, and weights of connections in the fully connected layer 37 so as to reduce the loss.
  • the error backpropagation method can be used.
  • the learning unit 23 repeats parameter adjustment until the loss becomes equal to or less than a predetermined threshold.
  • the parameters are adjusted so as to output property scores for a plurality of property items, and a learned CNN 31 is constructed.
  • the fully connected layer 32 of the discriminant model 22B corrects the discriminant result output by the CNN 31 based on information representing the relationship between multiple property items.
  • the information representing the relationship is a matrix that defines a larger weight as the co-occurrence relationship between multiple property items is stronger.
  • the matrix is derived by the relationship derivation unit 24 .
  • co-occurrence means that a certain character string and another character string appear at the same time in an arbitrary document or sentence.
  • the word “spicula” is often written together with the word “partially enriched” in an observation sentence, but is rarely written together with the word “frosted glass” in an observation sentence. Therefore, “spicula” and “partially substantial” co-occur more, and “spicula” and “frosted glass” hardly co-occur.
  • the relationship deriving unit 24 derives the co-occurrence relationship of words included in the observation sentences by analyzing a large number of observation sentences described in the interpretation report, and the greater the co-occurrence relationship, the greater the weight.
  • Derives a relationship matrix that defines FIG. 6 is a diagram for explaining the derivation of the relationship matrix.
  • the interpretation report used when deriving the relationship matrix is obtained from the report server 7 by the information obtaining unit 21 .
  • the relationship deriving unit 24 derives a structured label by structuring the expressions included in the observation sentences included in the interpretation report. For this purpose, the relationship derivation unit 24 first selects observation sentences describing pulmonary nodules from a large number of interpretation reports. Then, the relationship derivation unit 24 derives a unique expression related to the lesion from the selected finding sentence.
  • a named entity represents the nature of the lesion included in the finding text. For example, from the observation sentence 44 of "A 13 mm partial solid nodule is observed in the right lung S8. A spicule is observed on the margin and a bronchial lucid image is observed inside.” A “bronchial lucency image” is derived as a named entity.
  • the relationship deriving unit 24 determines the factuality of the derived named entity. Specifically, the relationship deriving unit 24 determines whether the named entity represents negative, positive, or suspicious, and derives the determination result. do.
  • the unique expressions of the finding sentence 44 are "partial fullness", “spicula” and “bronchial lucid image”. Observation sentence 44 describes that "a partially solid nodule is observed” and "a spicule is observed on the margin and a bronchial lucid image is observed inside.” Therefore, the relationship deriving unit 24 determines that the factuality of "partial fullness", “spicule” and “bronchial lucid image” is positive. Then, the relationship deriving unit 24 derives a structured label by adding factuality to the named entity.
  • the relationship derivation unit 24 derives the structures of "partially filled +", “spicular +”, and “bronchial lucid image +” to which a sign of + is added to indicate positive from the finding sentence 44. derivation label 45. If the description of the findings is negative, such as "not accepted”, a minus sign is given, and if there is any doubt, a ⁇ sign is given.
  • the relationship deriving unit 24 derives "solid +" and “lobulated +” from the observation sentence 46 of "a solid nodule of 8 mm is observed in the left lung S3. and "pleural invagination+” structured labels 47 are derived.
  • the relationship deriving unit 24 selects “solid”, “partially solid”, “frosted glass”, “spicule”, “bronchial lucid image”, “smooth margin”, “lobed”, and “pleural invagination” regarding the nodule.
  • property items the number of positive statements about the same property included in the same finding is counted. The counted number represents the level of the co-occurrence relation for the property items. For this reason, the relationship derivation unit 24 determines weights between property items according to the counted number, and derives a relationship matrix having the weights as elements.
  • FIG. 7 is a diagram showing an example of a relationship matrix.
  • the relationship matrix 48 shown in FIG. 7 has property items assigned to rows and columns for the sake of explanation, it is actually an 8 ⁇ 8 matrix in which only weights are elements.
  • the weights are preferably scaled so that the values fall within a predetermined range. For example, it is preferable to scale the weight so that it is -0.2 or more and +0.2 or less.
  • the weight for the property item of bronchial lucid image is as large as 0.20, and the weight for the property item of solid and ground glass is -0.13. and small. This indicates that when the structure of interest contained in the image is partially solid, a bronchial lucid image often appears at the same time, and the properties are rarely solid and ground glass.
  • the weight between the same property items is 1.0.
  • the relationship matrix 48 derived by the relationship derivation unit 24 is applied to the fully connected layer 32 of the discriminant model 22B.
  • the fully connected layer 32 converts the property scores for each property item output by the trained CNN 31 into fix it.
  • the CNN 31 uses “solid”, “partially solid”, “frosted glass”, “spicula”, “bronchial lucid image”, “smooth margin”, “lobed” and “pleural invagination”. ” is derived for the property item.
  • the quality scores for the quality items of "full”, “partially full”, “frosted glass”, “spicula”, “bronchial lucency”, “marginal smoothness”, “lobed” and “pleural invagination” were a1 to a8. and Also, the corrected property scores are b1 to b8.
  • Va be a vector whose elements are the property scores a1 to a8 before correction
  • Vb be a vector whose elements are the property scores b1 to b8 after correction
  • M be the relationship matrix 48.
  • Vb M ⁇ Va is calculated.
  • the discriminant model 22B outputs the property score corrected by the fully connected layer 32 as the property score for the input medical image.
  • the display control unit 25 displays an interpretation report creation screen for medical images.
  • FIG. 8 is a diagram showing a screen for creating an interpretation report.
  • the creation screen 50 has an image display area 51 , a property display area 52 and a text display area 53 .
  • the image display area 51 displays a medical image G0 for which an interpretation report is to be created.
  • a rectangular mark 55 is added to the structure of interest 54 included in the medical image G0.
  • the property display area 52 displays the determination results of a plurality of property items determined by the image analysis unit 22 regarding the medical image G0. In addition, in the property display area 52 shown in FIG. The discriminant results for the property items of "lobed-" and “pleural invagination-” are displayed. In addition to these determination results, the location of the abnormal shadow and the size of the abnormal shadow (“location of the abnormal shadow: upper left lung S1+2” and “size of the abnormal shadow: 24 mm”) are displayed.
  • the finding text input by the radiologist based on the medical image G0 and the property determination result is displayed.
  • a confirmation button 56 is displayed below the image display area 51 .
  • the interpreting doctor selects the confirmation button 56 after writing the observation text in the text display area 53 .
  • the medical text displayed in the text display area 53 is transcribed into the interpretation report.
  • the interpretation report to which the finding text is transcribed is transmitted to the report server 7 and stored together with the medical image G0.
  • FIG. 9 is a flow chart showing the processing performed in this embodiment. It is assumed that the medical image to be interpreted is acquired from the image server 5 by the information acquiring unit 21 and stored in the storage 13 . The process is started when the interpretation doctor issues an instruction to create an interpretation report, and the image analysis unit 22 analyzes the medical image to determine the properties of the structure of interest included in the medical image G0. Specifically, the extraction model 22A of the image analysis unit 22 extracts the structure of interest from the medical image G0 (step ST1), and the CNN 31 of the discrimination model 22B derives property scores for each of a plurality of property items regarding the structure of interest. (Step ST2). Then, the property score is corrected by the relationship matrix 48 applied to the fully connected layer 32 (step ST3), and the discrimination results for the plurality of property items are output from the output layer 33 based on the corrected property score (step ST4).
  • the extraction model 22A of the image analysis unit 22 extracts the structure of interest from the medical image G0 (step ST1)
  • the display control unit 25 displays the interpretation report creation screen on the display 14 (step ST5), and the process ends.
  • the interpretation doctor can create an interpretation report as described above on the interpretation report creation screen.
  • the created interpretation report is transmitted to and stored in the report server 7 as described above.
  • the relationship matrix 48 by referring to the relationship matrix 48, the property score for each of the plurality of property items is corrected, and based on the corrected property score, the plurality of property items for the structure of interest is calculated.
  • the discrimination result for is derived.
  • the learning unit 23 may further learn the discriminant model 22B using teacher data to update the relationship matrix 48 .
  • the difference between the property score for each of the plurality of property items output by the CNN 31 and the score for each property item included in the discrimination result 43 of the teacher data 40 is derived as a loss.
  • the difference between the corrected property score output by the fully connected layer 32 and the score of each property item included in the discrimination result 43 of the training data 40 may be derived as a loss.
  • the learning unit 23 adjusts parameters such as kernel coefficients in the convolutional layer 35, weights of connections between layers, and weights of connections in the fully connected layer 37 so as to reduce the derived loss. Furthermore, the learning unit 23 updates the relationship matrix 48 by adjusting the values of the elements of the relationship matrix 48 .
  • the image analysis unit 22 can more accurately discriminate the properties of the structure of interest included in the medical image. can.
  • the word2ve technique may be used to vectorize words included in a large number of interpretation reports, and weights in the relationship matrix may be defined based on the distances in the feature space between the vectorized words.
  • the word2vec technique is described in detail in "Efficient Estimation of Word Representations in Vector Space, Tomas Mikolov et al., 1301.3781v3, 7 Sep 2013".
  • word vectors the dimensions of the vectorized words (hereinafter referred to as word vectors) are multi-dimensional, but the word vectors are shown in two dimensions in FIG. FIG. 10 also shows a state in which word vectors V1, V2, and V3 for the three words “partially full,” “bronchial lucid image,” and “frosted glass” are plotted in the feature space. As shown in FIG.
  • the word vector V1 of "partial enhancement” and the word vector V2 of "bronchial translucency” are close to each other, but the word vector V1 of "partial enhancement” and the word “frosted glass” are close to each other.
  • the distance from vector V3 is long.
  • the relationship deriving unit 24 derives word vectors for the words included in the interpretation report, and derives the distance d between the word vectors in the feature space of the word vectors. Any distance such as Euclidean distance and Mahalanobis distance can be used as the distance d. Then, a threshold for ⁇ is set, the weight is +0.20 when the distance d ⁇ , the weight is ⁇ 0.20 when the distance d> ⁇ , and 0 when ⁇ d ⁇ . .4 ⁇ (d ⁇ )/( ⁇ ) ⁇ 0.2 may be used to derive the weight.
  • the cosine similarity (inner product) between word vectors may be used as the weight instead of the weight according to the distance d.
  • the derived cosine similarity value may be defined as it is in the relationship matrix.
  • the weight may be defined by scaling the cosine similarity to a value between -0.20 and +0.20.
  • the relationship deriving unit 24 derives the relationship matrix by analyzing the interpretation report.
  • the relationship matrix 48 may be modified.
  • the display control unit 25 displays a correction screen for the relationship matrix 48 on the display 14 according to an instruction from the input device 15, and receives an instruction for correcting the relationship matrix from a user such as an interpreting doctor on the correction screen. Then, the relationship derivation unit 24 corrects the relationship matrix according to the correction instruction.
  • FIG. 11 is a diagram showing a correction screen for the relationship matrix.
  • a relationship matrix 61 is displayed on the correction screen 60 .
  • the relationship matrix 61 shown in FIG. 11 differs from the relationship matrix 48 shown in FIG. 7 in that the value of each element is discretized into five stages. Specifically, it is discretized into five levels of ++, +, +/-, -, and - in descending order of relationship.
  • ++, +, +/-, -, and - may be, for example, 0.20, 0.05, 0.0, -0.05, and -0.20 as weight values, respectively.
  • the weight for the property item of bronchial lucid image is as large as ++
  • the weight for the property item of solidity and frosted glass is as small as -.
  • the user can modify each element of the relationship matrix 61 on the modification screen 60 so as to have the relationship desired by the user. For example, by selecting a desired element in the relationship matrix 61 using the input device 15, a pull-down menu is displayed from which one of the relationships ++, +, +/-, - and - can be selected. , the relationship can be modified by selecting the desired relationship from the displayed pull-down menu.
  • the modification of the relationship matrix 61 is not limited to selecting the discretized relationship as described above from the pull-down menu.
  • the user may select a desired element in the relationship matrix 61 and input a desired weight for the selected element as a numerical value.
  • the image analysis unit 22 has the extraction model 22A for extracting the structure of interest from the medical image and the discrimination model 22B for discriminating the properties of the structure of interest.
  • the extraction model 22A for extracting the structure of interest from the medical image
  • the discrimination model 22B for discriminating the properties of the structure of interest.
  • a structure of interest may be extracted from a medical image and an extraction model may be used to determine the properties of the structure of interest.
  • processors for example, hardware of a processing unit (processing unit) that executes various processes such as the information acquisition unit 21, the image analysis unit 22, the learning unit 23, the relationship derivation unit 24, and the display control unit 25
  • the various processors described above include circuits such as FPGAs (Field Programmable Gate Arrays) after manufacturing.
  • Programmable Logic Device (PLD) which is a processor whose configuration can be changed, ASIC (Application Specific Integrated Circuit), etc. Circuits, etc. are included.
  • One processing unit may be configured with one of these various processors, or a combination of two or more processors of the same or different type (for example, a combination of multiple FPGAs or a combination of a CPU and an FPGA). ).
  • a plurality of processing units may be configured by one processor.
  • a plurality of processing units may be configured by one processor.
  • this processor functions as a plurality of processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.

Abstract

プロセッサは、学習されたニューラルネットワークを用いて、画像に含まれる関心構造に関して予め定められた複数の性状項目のそれぞれについての性状スコアを導出し、複数の文章に含まれる性状についての記載の共起関係を解析することにより導出された、複数の性状項目間の関係性を表す情報を参照することにより、複数の性状項目のうちの少なくとも１つの性状項目についての性状スコアを修正し、修正された性状スコアに基づいて、関心構造に関して複数の性状項目についての判別結果を導出する。

Description

情報処理装置、方法およびプログラム
　本開示は、情報処理装置、方法およびプログラムに関する。
　ディープラーニング等によりニューラルネットワークを学習することにより構築された学習済みモデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる病変等の関心構造の形状、濃度、位置および大きさ等の性状を判別すすることが行われている。学習済みモデルからは複数の性状項目のそれぞれについての顕著性を表すスコアが出力され、出力されたスコアをしきい値と比較することにより、関心構造の性状が判別される。
　一方、学習済みモデルを用いた場合、学習が十分でないと性状に関してあり得ない組み合わせとなる判別結果が得られる場合がある。例えば、肺の病変に関して、「辺縁平滑」の性状について陽性と判別される場合に、周縁に線状の構造が含まれる「スピキュラ」についても陽性と判別してしまう場合がある。このため性状の判別精度を向上させる手法が提案されている。例えば、「Holistic and Comprehensive Annotation of Clinically Significant Findings on Diverse CT Images: Learning from Radiology Reports and Label Ontology、Ke Yaら、1904.04661v2 [cs.CV] 27 Apr 2019」においては、判別される性状の関係性を表すマトリクスを利用する手法が提案されている。Ke Yaらの文献に記載された手法によれば、学習済みモデルにより出力された各性状についての性状スコアを関係性を表すマトリクスにより補正することにより、性状があり得ない組み合わせとなる判別結果が出力されることを防止している。
　しかしながら、Ke Yaらの文献に記載された手法においては、性状の関係性を表すマトリクス（以下関係性マトリクスとする）は、ニューラルネットワークの学習と同時に構築される。このため、精度よく性状を判別する学習済みモデルを構築可能なようにニューラルネットワークおよび関係性マトリクスの双方を学習するためには、医用画像に含まれる関心構造と性状とを関連付けた大量の教師データが必要となる。しかしながら、複数の性状のすべてを網羅するために必要な医用画像の数には限りがある。
　本開示は上記事情に鑑みなされたものであり、大量の教師データを使用しなくても、医用画像に含まれる関心構造の性状を精度よく判別することを目的とする。
　本開示による情報処理装置は、少なくとも１つのプロセッサを備え、
　プロセッサは、学習されたニューラルネットワークを用いて、画像に含まれる関心構造に関して予め定められた複数の性状項目のそれぞれについての性状スコアを導出し、
　複数の文章に含まれる性状についての記載の共起関係を解析することにより導出された、複数の性状項目間の関係性を表す情報を参照することにより、複数の性状項目のうちの少なくとも１つの性状項目についての性状スコアを修正し、
　修正された性状スコアに基づいて、関心構造に関して複数の性状項目についての判別結
果を導出する。
　なお、本開示による情報処理装置においては、プロセッサは、医用画像に含まれる関心構造と関心構造についての複数の性状項目が特定された教師データを用いてニューラルネットワークをさらに学習し、
　学習結果に基づいて関係性を表す情報を更新するものであってもよい。
　また、本開示による情報処理装置においては、関係性を表す情報は、複数の性状項目間の共起関係が強いほど大きい重みを要素として規定した関係性マトリクスであってもよい。
　また、本開示による情報処理装置においては、重みは予め定められた範囲にスケーリングされていてもよい。
　また、本開示による情報処理装置においては、プロセッサは、関係性マトリクスを提示し、
　提示された関係性マトリクスにおける重みの修正を受け付けることにより関係性マトリクスを修正するものであってもよい。
　また、本開示による情報処理装置においては、学習されたニューラルネットワークは、畳み込みニューラルネットワークを機械学習することにより構築され、
　プロセッサは、畳み込みニューラルネットワークの出力が入力される、関係性を表す情報が適用された１層の全結合層により、性状スコアの修正を行うものであってもよい。
　本開示による情報処理方法は、学習されたニューラルネットワークを用いて、画像に含まれる関心構造に関して予め定められた複数の性状項目のそれぞれについての性状スコアを導出し、
　複数の文章に含まれる性状についての記載の共起関係を解析することにより導出された、複数の性状項目間の関係性を表す情報を参照することにより、複数の性状項目のうちの少なくとも１つの性状項目についての性状スコアを修正し、
　修正された性状スコアに基づいて、関心構造に関して複数の性状項目についての判別結果を導出する。
　なお、本開示による情報処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
　本開示によれば、大量の教師データを使用しなくても、医用画像に含まれる関心構造の性状を精度よく判別することができる。
本開示の実施形態による情報処理装置を適用した医療情報システムの概略構成を示す図 本実施形態による情報処理装置の概略構成を示す図 本実施形態による情報処理装置の機能構成図 判別モデルを構成するニューラルネットワークを模式的に示す図 教師データを示す図 関係性マトリクスの導出を説明するための図 関係性マトリクスを示す図 読影レポートの作成画面を示す図 本実施形態において行われる処理を示すフローチャート 特徴空間における単語ベクトルを示す図 関係性マトリクスの修正画面を示す図
　以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による情報処理装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
　各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、そ
の記録媒体からコンピュータにインストールされる。
　撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ(Computed Tomography)装置、ＭＲＩ（Magnetic Resonance Imaging）装置およびＰＥＴ
（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像
は画像サーバ５に送信され、画像ＤＢ６に保存される。
　読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による情報処理装置２０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
　診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
　画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）お
よびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
　画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成
された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
　また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
　レポートＤＢ８には、読影ＷＳ３において作成された所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
　また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求あるいは送信要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
　なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、ＣＴ画像を読影することにより、肺に含まれる異常陰影等の関心構造についての所見文を含む読影レポートを作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。
　ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
　次いで、本実施形態による情報処理装置について説明する。図２は、本実施形態による情報処理装置のハードウェア構成を説明する。図２に示すように、情報処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶
領域としてのメモリ１６を含む。また、情報処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、
ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
　ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、情報処理プログラムが記憶される。ＣＰＵ１１は、ストレージ１３から情報処理プログラム１２を読み出してからメモリ１６に展開し、展開した情報処理プログラム１２を実行する。
　次いで、本実施形態による情報処理装置の機能的な構成を説明する。図３は、本実施形態による情報処理装置の機能的な構成を示す図である。図３に示すように情報処理装置２０は、情報取得部２１、画像解析部２２、学習部２３、関係性導出部２４および表示制御部２５を備える。そして、ＣＰＵ１１が、情報処理プログラム１２を実行することにより、ＣＰＵ１１は、情報取得部２１、画像解析部２２、学習部２３、関係性導出部２４および表示制御部２５として機能する。
　情報取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための医用画像を取得する。また、情報取得部２１は、レポートサーバ７から読影レポートも取得する。
　画像解析部２２は、医用画像を解析することにより、医用画像に含まれる関心構造に関して複数の性状項目についての判別結果を導出する。このために、画像解析部２２は、医用画像における異常陰影を関心構造として抽出する抽出モデル２２Ａ、および抽出した関心構造に関して、予め定められた複数の性状項目のそれぞれについての判別結果を導出する判別モデル２２Ｂを有する。
　抽出モデル２２Ａは、医用画像から関心構造を抽出するように教師データを用いてディープラーニング（深層学習）等により機械学習がなされたニューラルネットワークからなる。抽出モデル２２Ａとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）、サポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の周知のニューラルネットワークを用いることができる。また、抽出モデル２２Ａはテンプレートマッチング等により医用画像から関心構造を抽出するものであってもよい。
　判別モデル２２Ｂも、教師データを用いてディープラーニング（深層学習）等により機械学習がなされたニューラルネットワークからなる。本実施形態は判別モデル２２Ｂに特徴を有するため、以下、判別モデル２２Ｂについて説明する。
　図４は判別モデルを構成するニューラルネットワークを模式的に示す図である。図４に示すように、判別モデル２２Ｂは、畳み込みニューラルネットワーク（以下、ＣＮＮとする）３１、全結合層３２、および出力層３３を有する。ＣＮＮ３１は、入力層３４、複数の畳み込み層３５、複数のプーリング層３６および全結合層３７を有する。複数の畳み込み層３５および複数のプーリング層３６は、入力層３４と全結合層３７との間で交互に配置されている。なお、ＣＮＮ３１の構成は図４の例に限定されるものではない。例えば、ＣＮＮ３１は、入力層３４と全結合層３７との間に、１つの畳み込み層３５と１つのプーリング層３６とを備えるものであってもよい。
　画像解析部２２は、医用画像が入力されると抽出モデル２２Ａにより、医用画像に含まれる関心構造を抽出する。この際、関心構造のサイズおよび位置が併せて抽出される。そして、画像解析部２２は、判別モデル２２ＢのＣＮＮ３１により関心構造に関して複数の性状項目についての性状スコアを導出し、全結合層３２により後述するように性状スコア
を修正し、出力層３３により各性状項目についての判別結果を出力する。
　学習部２３は、判別モデル２２ＢにおけるＣＮＮ３１を学習する。図５は判別モデルにおけるＣＮＮを学習するための教師データの例を示す図である。図５に示すように、教師データ４０は、医用画像４１から抽出された関心構造画像４２および関心構造に関して予め導出された複数の性状項目についての判別結果４３を含む。なお、図５においては説明のために医用画像４１を示しているが、教師データ４０として使用されるのは関心構造画像４２のみである。このため、実際には教師データ４０は、関心構造画像４２と性状の判別結果４３とからなる。なお、判別結果４３が正解データとなる。
　本実施形態においては、異常陰影は肺結節であり、判別結果４３は肺結節についての複数の性状項目についての判別結果である。性状項目としては、吸収値の種類（充実、部分充実およびすりガラス）、スピキュラの有無、気管支透亮の有無、辺縁平滑の有無、分葉状の有無および胸膜陥入の有無が用いられる。なお、性状項目の例はこれらに限定されるものではない。
　図５に示す関心構造画像４２の性状の判別結果４３は、吸収値について充実は無、部分充実は有、すりガラスは無、スピキュラは無、気管支透亮像は有、辺縁平滑は無、分葉状は無および胸膜陥入は無となっている。なお、図５においては、有りの場合は＋、無しの場合は－を付与している。判別モデル２２Ｂは、図５に示すような教師データを多数用いてＣＮＮ３１を学習することにより構築される。
　学習部２３は、ＣＮＮ３１の入力層３４に関心構造画像４２を入力する。これにより、複数の畳み込み層３５およびプーリング層３６により関心構造画像４２の特徴量が導出され、全結合層３７により、複数の性状項目のそれぞれについての性状スコアが導出される。性状スコアは、各性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば０以上１以下の値をとり、性状スコアの値が大きい程、その性状項目についての性状が顕著であることを示す。
　そして学習部２３は、ＣＮＮ３１が出力した複数の性状項目のそれぞれについての性状スコアと教師データ４０の性状の判別結果４３に含まれる性状項目のそれぞれのスコアとの相違を損失として導出する。ここで、教師データ４０の判別結果４３に含まれる各性状項目のスコアは、充実＝０．０、部分充実＝１．０、すりガラス＝０．０、スピキュラ＝０．０、気管支透亮像＝１．０、辺縁平滑＝０．０、分葉状＝０．０、胸膜陥入＝０．０である。学習部２３は、対応する性状項目間のスコアの差を損失として導出する。そして、学習部２３は損失を小さくするように、畳み込み層３５におけるカーネルの係数、各層間の結合の重み、および全結合層３７における結合の重み等のパラメータを調整する。
　パラメータの調整方法としては、例えば、誤差逆伝播法を用いることができる。学習部２３は、損失が予め定められたしきい値以下となるまでパラメータの調整を繰り返す。これにより、関心構造の画像が入力されると、複数の性状項目についての性状スコアを出力するようにパラメータが調整されて、学習済みのＣＮＮ３１が構築される。
　一方、判別モデル２２Ｂの全結合層３２は、複数の性状項目間の関係性を表す情報により、ＣＮＮ３１が出力した判別結果を修正する。関係性を表す情報は、複数の性状項目間の共起関係が強いほど大きい重みを規定したマトリクスである。マトリクスは関係性導出部２４が導出する。
　ここで、共起とは、自然言語処理の分野において、任意の文書や文においてある文字列とある文字列が同時に出現することである。例えば、「スピキュラ」という単語について
、「部分充実」という単語と併せて所見文に記載されることが多いが、「すりガラス」という単語と併せて所見文に記載されることはほとんどない。このため、「スピキュラ」と「部分充実」とはより共起しており、「スピキュラ」と「すりガラス」とはほとんど共起していない。
　本実施形態においては、関係性導出部２４は、読影レポートに記載された所見文を多数解析することにより、所見文に含まれる単語の共起関係を導出し、共起関係が大きいほど大きい重みを規定した関係性マトリクスを導出する。図６は関係性マトリクスの導出を説明するための図である。なお、関係性マトリクスを導出する際に使用する読影レポートは、情報取得部２１によりレポートサーバ７から取得される。
　まず、関係性導出部２４は、読影レポートに含まれる所見文に含まれる表現を構造化することにより構造化ラベルを導出する。このために、関係性導出部２４は、まず肺の結節に関する記載がなされた所見文を多数の読影レポートから選択する。そして、関係性導出部２４は、選択した所見文から病変に関する固有表現を導出する。固有表現は、所見文に含まれる病変の性状を表す。例えば、図６に示す「右肺Ｓ８に１３ｍｍの部分充実型結節を認める。辺縁にはスピキュラ、内部に気管支透亮像を認める。」の所見文４４から、「部分充実」、「スピキュラ」および「気管支透亮像」を固有表現として導出する。
　また、関係性導出部２４は、導出した固有表現についての事実性を判定する。具体的には、関係性導出部２４は、固有表現が陰性を表すものであるか、陽性を表すものであるか、あるいは疑いがあることを表すものであるかを判定し、判定結果を導出する。例えば本実施形態においては、所見文４４の固有表現は、「部分充実」、「スピキュラ」および「気管支透亮像」である。所見文４４には、「部分充実型結節を認める」、「辺縁にはスピキュラ、内部に気管支透亮像を認める。」と記載されている。このため、関係性導出部２４は、「部分充実」、「スピキュラ」および「気管支透亮像」の事実性をそれぞれ陽性と判定する。そして、関係性導出部２４は、固有表現に事実性を付加した構造化ラベルを導出する。
　すなわち、関係性導出部２４は、図６に示すように、所見文４４から陽性であることを＋の符号を付与した「部分充実＋」、「スピキュラ＋」および「気管支透亮像＋」の構造化ラベル４５を導出する。なお、所見文の記載が「～を認めない。」のように陰性である場合には－の符号を付与し、疑いがある場合には±の符号を付与するようにすればよい。
　同様に、関係性導出部２４は、「左肺Ｓ３に８ｍｍの充実型結節を認める。分葉状で胸膜陥入像を認める。」の所見文４６から、「充実＋」、「分葉状＋」および「胸膜陥入＋」の構造化ラベル４７を導出する。
　そして関係性導出部２４は、結節に関する「充実」、「部分充実」、「すりガラス」、「スピキュラ」、「気管支透亮像」、「辺縁平滑」、「分葉状」および「胸膜陥入」の性状項目について、同じ性状についての陽性となる記載が同一の所見文に含まれる数をカウントする。カウントした数が性状項目についての共起関係の高低を表すものとなる。このため、関係性導出部２４は、カウントした数に応じて性状項目間の重みを決定し、重みを要素とする関係性マトリクスを導出する。
　例えば、解析の結果、「部分充実」と「気管支透亮像」とが同時に記載された所見文の数が８０００個あり、「部分充実」と「すりガラス」とが同時に記載された所見文の数が４個であったとする。この場合、「部分充実」と「気管支透亮像」との組み合わせに対しては大きい重みを規定し、「部分充実」と「すりガラス」との組み合わせに対しては小さい重みを規定する。
　図７は関係性マトリクスの例を示す図である。図７に示す関係性マトリクス４８は、説明のために行および列に性状項目を付与しているが、実際には重みのみが要素となる８×８のマトリクスとなる。なお、重みは予め定められた範囲の値となるようにスケーリングすることが好ましい。例えば、重みが－０．２以上＋０．２以下となるようにスケーリングすることが好ましい。
　図７に示す関係性マトリクス４８に示すように、例えば部分充実の性状項目については、気管支透亮像の性状項目に対する重みは０．２０と大きく、充実およびすりガラスの性状項目に対する重みは－０．１３と小さいものとなっている。これは、画像に含まれる関心構造の性状が部分充実である場合には、気管支透亮像が同時に出現する場合が多く、性状が充実およびすりガラスであることはほとんどないことを表している。なお、関係性マトリクス４８においては、同一の性状項目間の重みは１．０となっている。
　関係性導出部２４が導出した関係性マトリクス４８は、判別モデル２２Ｂの全結合層３２に適用される。全結合層３２は、画像解析部２２が入力された医用画像に含まれる関心構造についての性状を判別するに際し、学習済みのＣＮＮ３１が出力した各性状項目についての性状スコアを、関係性マトリクス４８により修正する。
　ここで、本実施形態においては、ＣＮＮ３１により、「充実」、「部分充実」、「すりガラス」、「スピキュラ」、「気管支透亮像」、「辺縁平滑」、「分葉状」および「胸膜陥入」の性状項目についての性状スコアが導出される。「充実」、「部分充実」、「すりガラス」、「スピキュラ」、「気管支透亮像」、「辺縁平滑」、「分葉状」および「胸膜陥入」の性状項目についての性状スコアをａ１～ａ８とする。また、修正された性状スコアをｂ１～ｂ８とする。修正前の性状スコアａ１～ａ８を要素とするベクトルをＶａ、修正後の性状スコアｂ１～ｂ８を要素とするベクトルをＶｂ、関係性マトリクス４８をＭとすると、全結合層３２においては、Ｖｂ＝Ｍ・Ｖａの演算が行われる。
　例えば、ＣＮＮ３１が出力した「充実」についての修正後の性状スコアｂ１は、ｂ１＝ａ１×１．０＋ａ２×（－０．１３）＋ａ３×（－０．２）＋ａ４×０．０＋ａ５×０．０１＋ａ６×０．０１＋ａ７×０．０５＋ａ８×０．０３の演算により導出される。判別モデル２２Ｂは全結合層３２により修正された性状スコアを、入力された医用画像についての性状スコアとして出力する。
　なお、図４には、ＣＮＮ３１が出力した充実＝０．８、部分充実＝０．５、すりガラス＝０．１…胸膜陥入＝０．１の性状スコアが、全結合層３２により、充実＝０．７、部分充実＝０．３、すりガラス＝０．１…胸膜陥入＝０．１に修正された状態を示している。
　表示制御部２５は、医用画像についての読影レポートの作成画面を表示する。図８は読影レポートの作成画面を示す図である。図８に示すように、作成画面５０は、画像表示領域５１、性状表示領域５２および文章表示領域５３を有する。画像表示領域５１には読影レポート作成の対象となる医用画像Ｇ０が表示される。なお、医用画像Ｇ０に含まれる関心構造５４には矩形のマーク５５が付与されている。
　性状表示領域５２には、医用画像Ｇ０に関して画像解析部２２が判別した複数の性状項目の判別結果が表示される。なお、図８に示す性状表示領域５２には、「充実＋」、「部分充実－」、「すりガラス－」、「スピキュラ－」、「気管支透亮像－」、「辺縁平滑＋」、「分葉状－」および「胸膜陥入－」の性状項目についての判別結果が表示される。また、これらの判別結果に加えて、異常陰影の場所および異常陰影のサイズ（「異常陰影の場所：左上肺Ｓ１＋２」および「異常陰影のサイズ：２４ｍｍ」）が表示される。
　文章表示領域５３には、読影医が医用画像Ｇ０および性状の判別結果に基づいて入力した所見文が表示される。
　また、画像表示領域５１の下方には確定ボタン５６が表示されている。読影医は文章表示領域５３に所見文を記載した後に確定ボタン５６を選択する。これにより、文章表示領域５３に表示された医療文章は読影レポートに転記される。そして、所見文が転記された読影レポートは医用画像Ｇ０と併せてレポートサーバ７に送信されて保管される。
　次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像は、情報取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、画像解析部２２が、医用画像を解析することにより、医用画像Ｇ０に含まれる関心構造の性状を判別する。具体的には、画像解析部２２の抽出モデル２２Ａが医用画像Ｇ０から関心構造を抽出し（ステップＳＴ１）、判別モデル２２ＢのＣＮＮ３１が関心構造に関して複数の性状項目のそれぞれについての性状スコアを導出する（ステップＳＴ２）。そして、全結合層３２に適用された関係性マトリクス４８により性状スコアが修正され（ステップＳＴ３）、修正された性状スコアに基づいて出力層３３から複数の性状項目についての判別結果が出力される（ステップＳＴ４）。
　そして、表示制御部２５が読影レポートの作成画面をディスプレイ１４に表示し（ステップＳＴ５）、処理を終了する。読影医は読影レポートの作成画面において上述したように読影レポートを作成することができる。作成された読影レポートは上述したようにレポートサーバ７に送信されて保存される。
　このように、本実施形態においては、関係性マトリクス４８を参照することにより、複数の性状項目のそれぞれについての性状スコアを修正し、修正された性状スコアに基づいて、関心構造に関して複数の性状項目についての判別結果を導出するようにした。このように関係性マトリクス４８を予め作成しておくことにより、大量の教師データを使用しなくても、あり得ない組み合わせとなる性状項目の判別結果が導出されることを防止することができる。したがって、本実施形態によれば、大量の教師データを使用しなくても、医用画像に含まれる関心構造の性状を精度よく判別することができる。
　なお、上記実施形態においては、学習部２３により、判別モデル２２Ｂを教師データを用いてさらに学習して、関係性マトリクス４８を更新するようにしてもよい。この場合、上記実施形態においては、ＣＮＮ３１が出力した複数の性状項目のそれぞれについての性状スコアと教師データ４０の判別結果４３に含まれる性状項目のそれぞれのスコアとの相違を損失として導出しているが、これに代えて、全結合層３２が出力した修正された性状スコアと教師データ４０の判別結果４３に含まれる性状項目のそれぞれのスコアとの相違を損失として導出すればよい。
　そして、学習部２３は、導出した損失を小さくするように、畳み込み層３５におけるカーネルの係数、各層間の結合の重み、および全結合層３７における結合の重み等のパラメータを調整する。さらに学習部２３は、関係性マトリクス４８の各要素の値を調整することにより、関係性マトリクス４８を更新する。
　このように、判別モデル２２Ｂを教師データを用いてさらに学習して関係性マトリクス４８を更新することにより、画像解析部２２により、医用画像に含まれる関心構造の性状をより精度よく判別することができる。
　なお、上記実施形態においては、多数の読影レポートを解析し、複数の性状項目間の共起関係に基づいて関係性マトリクス４８を導出しているが、これに限定されるものではない。例えば、word2veの手法を用いて、多数の読影レポートに含まれる単語をベクトル化
し、ベクトル化した単語間の特徴空間における距離に基づいて、関係性マトリクスの重みを規定するようにしてもよい。word2vecの手法は、「Efficient Estimation of Word Representations in　Vector Space、Tomas Mikolovら、1301.3781v3、7 Sep 2013」に詳細
が記載されている。
　word2vecの手法を用いて、多数の読影レポートに含まれる単語をベクトル化し、単語を特徴空間にプロットした状態を模式的に図１０に示す。なお、ベクトル化した単語（以下、単語ベクトルとする）の次元は多次元であるが、図１０においては単語ベクトルは２次元で示している。また、図１０には、「部分充実」、「気管支透亮像」および「すりガラス」の３つの単語についての単語ベクトルＶ１，Ｖ２，Ｖ３を特徴空間にプロットした状態を示している。図１０に示すように，特徴空間において、「部分充実」の単語ベクトルＶ１と「気管支透亮像」の単語ベクトルＶ２との距離は近いが、「部分充実」の単語ベクトルＶ１と「すりガラス」の単語ベクトルＶ３との距離は遠い。
　このため、関係性導出部２４において、読影レポートに含まれる単語について単語ベクトルを導出し、単語ベクトルの特徴空間において、単語ベクトル間の距離ｄを導出する。距離ｄとしては例えばユークリッド距離およびマハラノビス距離等、任意の距離を用いることができる。そして、α＜βとなるしきい値を設定し、距離ｄ＜αの場合に重みを＋０．２０、距離ｄ＞βの場合に重みを－０．２０、α＜ｄ＜βの場合に０．４×（ｄ－α）／（β－α）－０．２の演算により重みを導出すればよい。
　なお、上記の距離ｄに応じた重みに代えて、単語ベクトル同士のコサイン類似度（内積）を重みとして用いてもよい。この場合、コサイン類似度は－１．０～＋１．０の値となるため、導出したコサイン類似度の値をそのまま関係性マトリクスに規定してもよい。また、コサイン類似度を－０．２０～＋０．２０の値にスケーリングして重みを規定するようにしてもよい。
　また、上記実施形態においては、関係性導出部２４が、読影レポートを解析することにより関係性マトリクスを導出しているが、知見を有する専門家が重みを規定した関係性マトリクスを導出するようにしてもよい。
　また、上記実施形態においては、関係性マトリクス４８を修正できるようにしてもよい。この場合、入力デバイス１５からの指示により、表示制御部２５が関係性マトリクス４８の修正画面をディスプレイ１４に表示し、修正画面における読影医等のユーザによる関係性マトリクスの修正の指示を受け付ける。そして、修正指示に応じて関係性導出部２４が関係性マトリクスを修正する。
　図１１は関係性マトリクスの修正画面を示す図である。図１１に示すように修正画面６０には、関係性マトリクス６１が表示されている。なお、図１１に示す関係性マトリクス６１は、図７に示す関係性マトリクス４８とは異なり、各要素の値が５段階に離散化されている。具体的には、関係性が大きい順に＋＋、＋、＋／－、－および－－の５段階に離散化されている。なお、＋＋、＋、＋／－、－および－－は、それぞれ重みの値として、例えば０．２０、０．０５、０．０、－０．０５、－０．２０とすればよい。
　図１１に示すように、例えば部分充実の性状項目については、気管支透亮像の性状項目に対する重みは＋＋と大きく、充実およびすりガラスの性状項目に対する重みは－と小さいものとなっている。ユーザは、修正画面６０において関係性マトリクス６１の各要素をユーザが所望とする関係性となるように修正することができる。例えば、関係性マトリクス６１において所望とする要素を入力デバイス１５を用いて選択することにより、＋＋、＋、＋／－、－および－－のいずれかの関係性を選択可能なプルダウンメニューを表示し、表示されたプルダウンメニューから所望とする関係性を選択することにより、関係性を修正することができる。
　このように関係性マトリクス６１の要素を修正可能とすることにより、関心構造の性状をより精度よく判別することができる。
　なお、関係性マトリクス６１の修正は、上記のように離散化された関係性をプルダウンメニューにおいて選択するものには限定されない。関係性マトリクス６１においてユーザが所望とする要素を選択し、選択した要素に所望とする重みを数値として入力可能なものとしてもよい。
　なお、上記実施形態においては、画像解析部２２を、医用画像から関心構造を抽出する抽出モデル２２Ａと、関心構造の性状を判別する判別モデル２２Ｂとを別々に有するものとしているが、これに限定されるものではない。医用画像から関心構造を抽出し、かつ関心構造の性状を判別する抽出モデルを用いるようにしてもよい。
　また、上記実施形態において、例えば、情報取得部２１、画像解析部２２、学習部２３、関係性導出部２４および表示制御部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能な
プロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させる
ために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる
。
　　　１　　医療情報システム
　　　２　　撮影装置
　　　３　　読影ＷＳ
　　　４　　診療科ＷＳ
　　　５　　画像サーバ
　　　６　　画像ＤＢ
　　　７　　レポートサーバ
　　　８　　レポートＤＢ
　　　１０　　ネットワーク
　　　１１　　ＣＰＵ
　　　１２　　情報処理プログラム
　　　１３　　ストレージ
　　　１４　　ディスプレイ
　　　１５　　入力デバイス
　　　１６　　メモリ
　　　１７　　ネットワークＩ／Ｆ
　　　１８　　バス
　　　２０　　情報処理装置
　　　２１　　情報取得部
　　　２２　　画像解析部
　　　２２Ａ　　抽出モデル
　　　２２Ｂ　　判別モデル
　　　２３　　学習部
　　　２４　　関係性導出部
　　　２５　　表示制御部
　　　３１　　ＣＮＮ
　　　３２　　全結合層
　　　３３　　出力層
　　　３４　　入力層
　　　３５　　畳み込み層
　　　３６　　プーリング層
　　　３７　　全結合層
　　　４０　　教師データ
　　　４１　　医用画像
　　　４２　　関心構造画像
　　　４３　　性状
　　　４４，４６　　所見文
　　　４５，４７　　構造化ラベル
　　　４８　　関係性マトリクス
　　　５０　　作成画面
　　　５１　　画像表示領域
　　　５２　　性状表示領域
　　　５３　　文章表示領域
　　　５４　　関心構造
　　　５５　　マーク
　　　５６　　確定ボタン
　　　６０　　修正画面
　　　６１　　関係性マトリクス
　　　Ｇ０　　医用画像

Claims (8)

  1. 　少なくとも１つのプロセッサを備え、
    　前記プロセッサは、
    　学習されたニューラルネットワークを用いて、画像に含まれる関心構造に関して予め定められた複数の性状項目のそれぞれについての性状スコアを導出し、
    　複数の文章に含まれる性状についての記載の共起関係を解析することにより導出された、前記複数の性状項目間の関係性を表す情報を参照することにより、前記複数の性状項目のうちの少なくとも１つの性状項目についての性状スコアを修正し、
    　前記修正された性状スコアに基づいて、前記関心構造に関して前記複数の性状項目についての判別結果を導出する情報処理装置。
  2. 　前記プロセッサは、医用画像に含まれる関心構造と前記関心構造についての前記複数の性状項目が特定された教師データを用いて前記ニューラルネットワークをさらに学習し、
    　前記学習結果に基づいて前記関係性を表す情報を更新する請求項１に記載の情報処理装置。
  3. 　前記関係性を表す情報は、前記複数の性状項目間の共起関係が強いほど大きい重みを要素として規定した関係性マトリクスである請求項１または２に記載の情報処理装置。
  4. 　前記重みは予め定められた範囲にスケーリングされている請求項３に記載の情報処理装置。
  5. 　前記プロセッサは、前記関係性マトリクスを提示し、
    　提示された前記関係性マトリクスにおける前記重みの修正を受け付けることにより前記関係性マトリクスを修正する請求項３または４に記載の情報処理装置。
  6. 　前記学習されたニューラルネットワークは、畳み込みニューラルネットワークを機械学習することにより構築され、
    　前記プロセッサは、前記畳み込みニューラルネットワークの出力が入力される、前記関係性を表す情報が適用された１層の全結合層により、前記性状スコアの修正を行う請求項１から５のいずれか１項に記載の情報処理装置。
  7. 　学習されたニューラルネットワークを用いて、画像に含まれる関心構造に関して予め定められた複数の性状項目のそれぞれについての性状スコアを導出し、
    　複数の文章に含まれる性状についての記載の共起関係を解析することにより導出された、前記複数の性状項目間の関係性を表す情報を参照することにより、前記複数の性状項目のうちの少なくとも１つの性状項目についての性状スコアを修正し、
    　前記修正された性状スコアに基づいて、前記関心構造に関して前記複数の性状項目についての判別結果を導出する情報処理方法。
  8. 　学習されたニューラルネットワークを用いて、画像に含まれる関心構造に関して予め定められた複数の性状項目のそれぞれについての性状スコアを導出する手順と、
    　複数の文章に含まれる性状についての記載の共起関係を解析することにより導出された、前記複数の性状項目間の関係性を表す情報を参照することにより、前記複数の性状項目のうちの少なくとも１つの性状項目についての性状スコアを修正する手順と、
    　前記修正された性状スコアに基づいて、前記関心構造に関して前記複数の性状項目についての判別結果を導出する手順とをコンピュータに実行させる情報処理プログラム。
PCT/JP2022/017868 2021-09-02 2022-04-14 情報処理装置、方法およびプログラム WO2023032345A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-143234 2021-09-02
JP2021143234 2021-09-02

Publications (1)

Publication Number Publication Date
WO2023032345A1 true WO2023032345A1 (ja) 2023-03-09

Family

ID=85412079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/017868 WO2023032345A1 (ja) 2021-09-02 2022-04-14 情報処理装置、方法およびプログラム

Country Status (1)

Country Link
WO (1) WO2023032345A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009048294A (ja) * 2007-08-15 2009-03-05 Yahoo Japan Corp 空間アイテム認識装置及び空間アイテム認識方法
US20090228299A1 (en) * 2005-11-09 2009-09-10 The Regents Of The University Of California Methods and apparatus for context-sensitive telemedicine
JP2016038726A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 読影レポート作成支援装置、読影レポート作成支援方法及びプログラム
JP2017162025A (ja) * 2016-03-07 2017-09-14 株式会社東芝 分類ラベル付与装置、分類ラベル付与方法、およびプログラム
US20180341839A1 (en) * 2017-05-26 2018-11-29 Oracle International Corporation Techniques for sentiment analysis of data using a convolutional neural network and a co-occurrence network
CN112308115A (zh) * 2020-09-25 2021-02-02 安徽工业大学 一种多标签图像深度学习分类方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228299A1 (en) * 2005-11-09 2009-09-10 The Regents Of The University Of California Methods and apparatus for context-sensitive telemedicine
JP2009048294A (ja) * 2007-08-15 2009-03-05 Yahoo Japan Corp 空間アイテム認識装置及び空間アイテム認識方法
JP2016038726A (ja) * 2014-08-07 2016-03-22 キヤノン株式会社 読影レポート作成支援装置、読影レポート作成支援方法及びプログラム
JP2017162025A (ja) * 2016-03-07 2017-09-14 株式会社東芝 分類ラベル付与装置、分類ラベル付与方法、およびプログラム
US20180341839A1 (en) * 2017-05-26 2018-11-29 Oracle International Corporation Techniques for sentiment analysis of data using a convolutional neural network and a co-occurrence network
CN112308115A (zh) * 2020-09-25 2021-02-02 安徽工业大学 一种多标签图像深度学习分类方法及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KE YAN; YIFAN PENG; VEIT SANDFORT; MOHAMMADHADI BAGHERI; ZHIYONG LU; RONALD M. SUMMERS: "Holistic and Comprehensive Annotation of Clinically Significant Findings on Diverse CT Images: Learning from Radiology Reports and Label Ontology", ARXIV.ORG, 9 April 2019 (2019-04-09), pages 1 - 14, XP081167051 *
KUROSAWA IKUNE, KOTARO KIKUCHI ,TETSUNORI KOBAYASHI , YOSHIHIKO HAYASHI: "Effectiveness of linguistic information in object recognition using co-occurrence", PROCEEDINGS OF THE 24TH ANNUAL CONFERENCE OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING, 1 January 2018 (2018-01-01), pages 805 - 808, XP093042033 *

Similar Documents

Publication Publication Date Title
US11176188B2 (en) Visualization framework based on document representation learning
CN109426834B (zh) 信息处理装置、信息处理方法和信息处理系统
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP6957214B2 (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2014029644A (ja) 類似症例検索装置および類似症例検索方法
WO2019193982A1 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
WO2020209382A1 (ja) 医療文書作成装置、方法およびプログラム
JP7013145B2 (ja) 情報処理装置、情報処理システム、情報処理装置の作動方法及びプログラム
WO2021107099A1 (ja) 文書作成支援装置、文書作成支援方法及びプログラム
JP7473314B2 (ja) 医療情報管理装置及び医療レポートのメタデータ付加方法
JP2024009108A (ja) 文書作成支援装置、文書作成支援方法及びプログラム
Cheng et al. Report of clinical bone age assessment using deep learning for an Asian population in Taiwan
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
WO2023032345A1 (ja) 情報処理装置、方法およびプログラム
US20220392595A1 (en) Information processing apparatus, information processing method, and information processing program
WO2021177357A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
Fonseca et al. Pediatric chest radiography research agenda: Is deep learning still in childhood?
JP7436628B2 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20230070906A1 (en) Information processing apparatus, method, and program
EP4287195A1 (en) Information processing device, method, and program
JP7408324B2 (ja) 診断支援装置、診断支援システム、診断支援方法およびプログラム
US20240087697A1 (en) Methods and systems for providing a template data structure for a medical report
EP3985679A1 (en) Technique for providing an interactive display of a medical image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22863935

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545078

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE