KR102153920B1 - System and method for interpreting medical images through the generation of refined artificial intelligence reinforcement learning data - Google Patents
System and method for interpreting medical images through the generation of refined artificial intelligence reinforcement learning data Download PDFInfo
- Publication number
- KR102153920B1 KR102153920B1 KR1020180022735A KR20180022735A KR102153920B1 KR 102153920 B1 KR102153920 B1 KR 102153920B1 KR 1020180022735 A KR1020180022735 A KR 1020180022735A KR 20180022735 A KR20180022735 A KR 20180022735A KR 102153920 B1 KR102153920 B1 KR 102153920B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- data
- refined
- reading
- learning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Abstract
본 발명은 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법에 관한 것으로, 의료영상 판독 전문가의 판독문으로부터 의료영상 판독의 강화 학습 데이터를 추출하여 이를 인공지능 학습 데이터로 활용함으로써 인공지능 의료영상 판독의 계산비용 및 복잡도를 낮추고 정확도를 향상시킬 수 있는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법에 관한 것이다.The present invention relates to a medical image reading system and a method thereof through the generation of refined artificial intelligence reinforcement learning data, and extracts the reinforcement learning data of medical image reading from the reading of a medical image reading expert and uses it as artificial intelligence learning data. The present invention relates to a medical image reading system and a method thereof through the generation of refined artificial intelligence reinforcement learning data that can reduce computational cost and complexity of reading intelligent medical images and improve accuracy.
Description
본 발명은 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 의료영상 판독 전문가의 판독문으로부터 의료영상 판독의 강화 학습 데이터를 추출하여 이를 인공지능 학습 데이터로 활용함으로써 인공지능 의료영상 판독의 계산비용 및 복잡도를 낮추고 정확도를 향상시킬 수 있는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법에 관한 것이다.The present invention relates to a medical image reading system and a method thereof through the generation of refined artificial intelligence reinforcement learning data, and more particularly, extracting reinforcement learning data of medical image reading from the reading of a medical image reading expert, and using artificial intelligence learning data. The present invention relates to a medical image reading system and a method thereof through the generation of refined artificial intelligence reinforcement learning data that can reduce the computational cost and complexity of AI medical image reading and improve accuracy by utilizing it.
사람의 질병을 진단하기 위해 사용되는 의료기기들 중에서 상당수가 의료영상을 획득하여 출력한다. 사람의 신체부위를 스캔하여 획득한 영상을 처리하여 병변이 존재하는지 여부를 판독한다.Among the medical devices used to diagnose human diseases, many acquire and output medical images. The image obtained by scanning a human body part is processed to read whether a lesion exists.
의료영상으로부터 병변을 놓치지 않고 판독할 수 있는 능력에 따라 의사의 능력이 결정되기도 한다. 정확한 병변의 판단과 병증의 조기 발견은 병을 치료하고 완치할 가능성을 높이는데 매우 중요하기 때문에, 의료영상의 정확한 판단은 무엇보다 중요하다고 할 수 있다.A doctor's ability is sometimes determined by his ability to read lesions without missing a medical image. Accurate judgment of the lesion and early detection of the disease are very important in improving the possibility of treating and curing the disease, so accurate judgment of medical images can be said to be of paramount importance.
그러나 다양한 분야의 의료영상에서 병변을 모두 잘 찾아내기란 여간 어려운 일이 아니며, 특정 분야에서 상당히 오랜 시간동안 경험을 쌓지 않고서는 의료영상에서 병변을 정확하게 찾아내는 것이 매우 어렵다. 아울러 특정 분야에서 오랜 경험을 쌓은 전문의가 흔하지도 않은 것이 현실이다.However, it is not difficult to find all lesions well in medical imaging in various fields, and it is very difficult to accurately find lesions in medical imaging without having accumulated experience for a very long time in a specific field. In addition, it is a reality that specialists with long experience in a specific field are not common.
이러한 문제점을 오래 전부터 많은 사람들이 인지하여 이를 해결하고자 하였다. 대표적인 것이 컴퓨터 보조 진단(CAD, Computer-Aided Diagnosis)의 개념이다. 이는 스캔한 의료영상을 디지털화하여 컴퓨터로 영상을 처리한 다음 객체의 특징들에 기반한 수학적 모델링을 통해 규칙기반 시스템(rule-based system)이나 전문가 시스템(expert system)을 구성하는 것이다.Many people have recognized this problem for a long time and tried to solve it. A representative one is the concept of Computer-Aided Diagnosis (CAD). This is to digitize the scanned medical image, process the image with a computer, and then construct a rule-based system or an expert system through mathematical modeling based on the features of the object.
여기서 사용되는 영상분석기술은 주로 영상처리에 의한 패턴인식에서 기계학습을 통한 병변의 예측으로 진화되고 있는데, 영상으로부터 특징을 추출하고, 추출한 특징들로 영상을 벡터화한 후 다양한 기계학습 분류기법을 활용하다가, 최근에는 딥러닝에 의한 방법이 주류를 이루고 있다.The image analysis technology used here is mainly evolving from pattern recognition through image processing to prediction of lesions through machine learning. After extracting features from images, vectorizing images with the extracted features, various machine learning classification techniques are used. Meanwhile, in recent years, the method by deep learning has become mainstream.
의료영상을 분석하는 주요 과제로는 영상을 분류(classification)하고, 객체를 검출(detection)하며, 객체의 경계를 추출(segmentation)하고, 서로 다른 영상의 정합(registration) 등이 있다. 이러한 주요 과제를 해결하는 수단으로 영상을 입력으로 하여 처리하는데 최적화된 컨벌루션 뉴럴 네트워크(CNN, convolutional neural network)가 가장 널리 이용된다.Major tasks in analyzing medical images include classification of images, detection of objects, segmentation of objects, and registration of different images. As a means of solving these major problems, a convolutional neural network (CNN) optimized to process an image as an input is most widely used.
대부분의 의료영상에 대한 학습방식은, 입력 데이터와 정답인 데이터를 학습 데이터로 하여, 입력과 정답 간의 함수관계를 CNN이 학습하는 지도학습의 범주에 속한다. 그러나 딥러닝 기반의 인공지능 기술은 매우 많은 수의 학습 데이터가 필요하다, 따라서 많은 수의 학습 데이터를 커버하기 위해서 학습 데이터의 정제가 매우 중요한 이슈이다. 즉, 양질의 방대한 학습 데이터를 확보하는 것과 정확한 판독성능을 확보하는 것이 무엇보다 중요하다는 것을 알 수 있다.Most of the learning methods for medical images belong to the category of supervised learning in which CNN learns the functional relationship between the input and the correct answer by using the input data and the correct answer data as learning data. However, deep learning-based artificial intelligence technology requires a very large number of training data. Therefore, purification of training data is a very important issue in order to cover a large number of training data. In other words, it can be seen that securing a large amount of high-quality learning data and securing accurate reading performance is of paramount importance.
따라서 본 발명에서는 의료영상 판독 전문가의 판독문으로부터 의료영상 판독의 강화 학습 데이터를 추출하여 이를 인공지능 학습 데이터로 활용함으로써 인공지능 의료영상 판독의 계산비용 및 복잡도를 낮추고 정확도를 향상시킬 수 있는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법을 제시하고자 한다.Therefore, in the present invention, the reinforcement learning data of medical image reading is extracted from the reading of a medical image reading expert and used as artificial intelligence learning data, thereby reducing the computational cost and complexity of the artificial intelligence medical image reading, and improving the accuracy. The purpose of this study is to propose a medical image reading system and method through the generation of intelligence reinforcement learning data.
보다 상세하게는 판독 전문가의 판독문 텍스트 데이터로부터 정규화된 폼(form)을 생성하는 지도 학습 모델(supervised learning model)의 구조 및 방법, 다수의 유효 판독문들로부터 추출해낸 정제된 학습 데이터의 구조 및 데이터 생성, 정제된 학습 데이터를 CNN에 적용하여 종래의 CNN의 성능을 향상시킬 수 있는 의료영상 판독 시스템 및 그 방법을 제시하고자 한다.In more detail, the structure and method of a supervised learning model that generates a normalized form from the reading text data of a reading expert, and the structure and data generation of refined learning data extracted from a number of valid readings. , We propose a medical image reading system and method that can improve the performance of the conventional CNN by applying the refined training data to the CNN.
다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, the prior art existing in the technical field of the present invention will be briefly described, and then the technical matters that the present invention intends to achieve differentiated from the prior art will be described.
먼저 한국공개특허 제10-2017-0140757호(2017.12.21.)는 임상 의사결정 지원 앙상블 시스템 및 이를 이용한 임상 의사결정 지원 방법에 관한 것으로, 복수의 외부 의료기관으로부터 수신되는 기계학습을 통한 환자의 임상예측 결과를 통합하여, 앙상블 예측을 수행함으로써, 상기 환자의 현재 상태뿐만 아니라 향후 상기 환자의 질환에 대한 진행 상태를 예측하여, 의료인의 의료행위에 관한 신속하고 정확한 임상 의사결정을 지원하기 위한 시스템 및 그 방법에 관한 것이다.First, Korean Patent Application Publication No. 10-2017-0140757 (2017.12.21.) relates to a clinical decision support ensemble system and a clinical decision support method using the same, and the patient's clinical trial through machine learning received from a plurality of external medical institutions. By integrating the prediction results and performing ensemble prediction, a system for predicting not only the current state of the patient, but also the progression of the patient's disease in the future, and supporting rapid and accurate clinical decision-making regarding the medical behavior of medical personnel; and It's about how.
또한 한국공개특허 제10-2015-0108701호(2015.09.30.)는 의료 영상 내 해부학적 요소 시각화 시스템 및 방법에 관한 것으로, 의료 영상 내에 포함되어 있는 해부학적 요소들을 해부학적 맥락 정보를 이용하여 검증함으로써 자동으로 분류하고 분류된 해부학적 요소들을 사용자 친화적으로 시각화하는 의료 영상 내 해부학적 요소 시각화 시스템 및 방법을 제시하고 있다.In addition, Korean Patent Laid-Open Publication No. 10-2015-0108701 (2015.09.30.) relates to a system and method for visualizing anatomical elements in medical images, and verifies anatomical elements included in medical images using anatomical context information. Thus, a system and method for visualizing anatomical elements in medical images that automatically classify and visualize the classified anatomical elements in a user-friendly manner are presented.
한편 한국공개특허 제10-2015-0098119호(2015.08.27.)는 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법에 관한 것으로, 의료 영상 내에서 검출된 병변후보를 해부학적 맥락정보를 이용하여 검증함으로써, 거짓양성 병변후보를 제거하는 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법을 제시하고 있다.Meanwhile, Korean Patent Publication No. 10-2015-0098119 (2015.08.27) relates to a system and method for removing false positive lesion candidates in medical images, and verifies lesion candidates detected in medical images using anatomical context information. Thus, a system and method for removing false positive lesion candidates in medical images are proposed.
상기 선행기술들은 환자의 임상예측 결과를 통합하여 앙상블 예측을 수행하거나, 의료영상 내 해부학적 맥락 정보를 이용하거나 및 거짓 양성 병변후보를 제거하는 것이나, 본 발명과 같이 딥러닝을 위한 방대한 학습 데이터의 정제와 이를 통한 인공지능 의료영상 판독을 위한 학습모델의 계산비용 및 복잡도를 낮추고 정확도를 향상시키는 것은 제시된 바가 없다.The prior art is to perform ensemble prediction by integrating the patient's clinical prediction results, to use anatomical context information in medical images, and to remove false positive lesion candidates.However, as in the present invention, the vast amount of learning data for deep learning It has not been suggested to reduce the computational cost and complexity of a learning model for reading artificial intelligence medical images and improve accuracy through refinement.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 의료영상 판독 전문가(영상의학과 전문의)의 판독문으로부터 의료영상 판독의 강화 학습 데이터를 추출하여 이를 인공지능 학습 데이터로 활용함으로써 인공지능 의료영상 판독의 계산비용 및 복잡도를 낮추고 정확도를 향상시킬 수 있는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법을 제공하는 것을 목적으로 한다.The present invention was created to solve the above problems, and by extracting reinforcement learning data of medical image reading from the reading of a medical image reading expert (radiology specialist) and using it as artificial intelligence learning data, artificial intelligence medical image An object of the present invention is to provide a medical image reading system and method through the generation of refined artificial intelligence reinforcement learning data that can reduce the computational cost and complexity of reading and improve accuracy.
또한 본 발명은 의료영상 판독 시스템의 성능을 향상시키기 위해, 이미지를 통한 학습 효과를 개선하고, 병변의 존재여부 및 위치를 식별할 뿐 만 아니라 동일한 신체 부위에 나타날 수 있는 다양한 병증의 종류를 식별하기 위해 잘 훈련된 영상의학과 전문의의 판독문들에 포함된 텍스트들을 정규화하여 정제된 학습 데이터를 생성할 수 있는 판독기록 지도학습 모델(medical report supervised learning model)을 생성하는 것을 또 다른 목적으로 한다.In addition, in order to improve the performance of the medical image reading system, the present invention improves the learning effect through images, identifies the presence and location of lesions, as well as identifies the types of various conditions that may appear in the same body part. Another objective is to create a medical report supervised learning model that can generate refined learning data by normalizing texts included in readings of well-trained radiologists.
또한 본 발명은 의료영상 판독 시스템의 성능을 향상시키기 위해, 상기 생성한 판독기록 지도학습모델을 통해 검증이 완료된 판독문들을 학습시켜 정제된 학습 데이터(refined data)를 추출하여, 이를 의료 영상 이미지와 함께 강화 학습시킴으로써 학습 효과를 향상시키고 병증의 종류를 식별할 수 있는 새로운 구조를 지닌 정제된 학습 데이터의 구조 및 생성 방법을 제공하는 데 그 목적이 있다.In addition, in order to improve the performance of the medical image reading system, the present invention extracts refined learning data by learning the verified readings through the generated reading recording supervised learning model, and extracting the refined learning data together with the medical image image. Its purpose is to provide a structure and generation method of refined learning data with a new structure capable of improving learning effect and identifying the type of disease through reinforcement learning.
또한 본 발명은 상기의 새로운 데이터 구조를 갖는 정제된 학습 데이터로부터 병증의 종류를 식별할 수 있는 필터들을 추출하여 이를 컨벌루션 뉴럴 네트워크에 상호작용시킴으로써 기존 컨벌루션 뉴럴 네트워크의 판독 성능을 향상시키고 병증의 종류를 식별할 수 있는 새로운 구조를 가진 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)를 구성할 수 있는 판독기록 지도학습 모델을 구축하는 데 그 목적이 있다.In addition, the present invention extracts filters that can identify the type of disease from the refined training data having the new data structure and interacts with the convolutional neural network, thereby improving the reading performance of the existing convolutional neural network and improving the type of disease. The purpose of this is to construct a supervised learning model for reading and recording that can construct a Converged Convolutional Neural Network with a new recognizable structure.
상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템은, 의료영상 판독 전문가의 판독문으로부터 추출한 정규화된 형태의 정제된 학습 데이터를 생성하는 판독 기록 지도학습(supervised learning)부 및 상기 판독 기록 지도학습부에서 정제된 학습 데이터를 입력으로 상기 의료영상을 판독하도록 기계학습을 수행하는 학습모델생성부를 포함하며, 상기 기계학습은 상기 의료영상 판독 전문가의 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받음으로써, 상기 학습 데이터가 자동으로 강화학습 데이터가 되는 것을 특징으로 한다.In order to achieve the above object, the medical image reading system through the generation of refined artificial intelligence reinforcement learning data according to a preferred embodiment of the present invention generates refined learning data in a normalized form extracted from the reading of a medical image reading expert. And a learning model generator that performs machine learning to read the medical image by inputting the learning data refined by the read-write supervised learning unit and the read-write supervised learning unit, wherein the machine learning is the medical image By continuously updating and receiving the refined learning data from the reading of the reading expert, the learning data automatically becomes reinforcement learning data.
상기 판독 기록 지도학습(supervised learning)부는, 상기 판독문의 파일 위치 주소로부터 데이터를 읽어 들이는 의료기록 데이터 로딩부, 상기 판독문을 신체부위(Body Part) 별로 발견(Findings), 결론(Conclusion) 및 권고(Recommendation)를 포함한 섹션으로 분류하고, 상기 각 섹션의 평문텍스트로부터 질병관련 단어 또는 어구를 하나의 집합으로 라벨링하는 라벨링처리부, 상기 라벨링된 판독문에서 질병관련 단어 또는 어구를 추출하고, 상기 추출된 단어 또는 어구로부터 공통된 특징을 추출하는 특징 추출부, 상기 추출된 특징들을 규칙화하여 특징 행렬(Feature Matrix)을 생성하는 특징행렬 생성부, 임의의 판독문이 주어지면 상기 판독문을 특징 행렬에 사상(mapping)시켜 특징을 분석하는 특징 분석부, 및 상기 분석된 특징만으로 정제된 학습 데이터를 생성하는 정제 데이터 생성부를 포함하는 것을 특징으로 한다.The read-write supervised learning unit includes a medical record data loading unit that reads data from the file location address of the read text, and finds the read text for each body part (Findings), conclusions, and recommendations. A labeling processing unit that classifies into sections including (Recommendation) and labels disease-related words or phrases as a set from the plain text of each section, extracts disease-related words or phrases from the labeled readings, and extracts the extracted words Alternatively, a feature extraction unit for extracting a common feature from a phrase, a feature matrix generator for generating a feature matrix by regularizing the extracted features, and mapping the readout to a feature matrix when an arbitrary readout is given. It characterized in that it comprises a feature analysis unit that analyzes the feature by performing the analysis, and a refined data generation unit that generates the refined learning data based only on the analyzed features.
상기 의료기록 데이터 로딩부는, 입력값으로 주어진 판독문 원본 데이터의 파일 위치 주소로부터 파일의 위치, 전체 파일 개수, 파일의 길이 또는 이들의 조합을 읽어 들여 시스템 메모리에 적재시키며, 상기 라벨링 처리부는, 상기 시스템 메모리에 적재된 데이터를 신체부위(Body Part)별로 각 판독 섹션별로 라벨링하고, 이를 각각의 집합으로 분류하여 시스템 메모리상에 재배치하며, 상기 특징 추출부는, 각 섹션의 평문텍스트와 SNOMED-CT, ICD-11, LOINC, KCD-10을 포함한 표준 의료 용어 데이터 집합과 비교하여 해당 평문텍스트만 선택적으로 추출하여, 상기 의료관련 용어 추출부에서 추출된 의료 관련 용어로부터 단어 종류, 서술 형태, 서술 빈도 또는 이들의 조합을 분석하여 병변의 유무와 관련된 용어의 특징, 병변의 위치 표시와 관련된 용어의 특징, 증상 묘사와 관련된 용어의 특징, 병증의 종류를 나타내는 용어의 특징 또는 이들의 조합을 추출하며, 상기 특징행렬 생성부는, 상기 특징 추출부에서 추출된 특징들을 데이터 집합으로 하여 새롭게 입력되는 평문텍스트와 사상시킴으로써 유사 또는 동일 의미의 용어인지 비교 및 분석이 가능한 특징 행렬(Feature Matrix)을 생성하며, 상기 특징 분석부는, 정제되지 않은 원본 판독문이 입력되었을 때, 이를 특징 행렬에 사상시켜 판독문을 서술하는 평문텍스트에서 병변의 존재 유무, 병변의 위치, 증상, 병증의 종류 등을 추출, 분석 및 분류하며, 상기 정제 데이터 생성부는, 상기 특징 분석부에서 추출, 분석 및 분류된 데이터들로 정제된 학습 데이터를 생성하는 것을 특징으로 한다.The medical record data loading unit reads the location of the file, the total number of files, the length of the file, or a combination thereof from the file location address of the original read data given as an input value and loads it into the system memory, and the labeling processing unit includes the system The data loaded in the memory is labeled for each reading section for each body part, classified as a set, and rearranged on the system memory, and the feature extracting unit includes plain text of each section, SNOMED-CT, and ICD. Compared with standard medical term data sets including -11, LOINC, and KCD-10, only the corresponding plain text is selectively extracted, and the word type, narrative form, narrative frequency, or their By analyzing the combination, characteristics of terms related to the presence or absence of lesions, characteristics of terms related to indication of the location of the lesion, characteristics of terms related to symptom description, characteristics of terms indicating the type of condition, or combinations thereof are extracted, and the feature matrix The generation unit generates a feature matrix capable of comparing and analyzing terms of similar or identical meanings by mapping the features extracted by the feature extraction unit as a data set with a newly input plain text text, and the feature analysis unit , When an unrefined original readout is input, it maps it to a feature matrix to extract, analyze and classify the presence or absence of a lesion, the location of the lesion, symptoms, and the type of condition from the plaintext text describing the readout, and the refined data The generation unit is characterized in that it generates training data refined from data extracted, analyzed and classified by the feature analysis unit.
상기 학습모델생성부는, 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)에 의해 학습이 수행되며, 상기 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)는 상기 의료영상 판독 전문가의 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받고 이를 학습모델의 생성에 반영함으로써, 융합 컨볼루션 뉴럴 네트워크를 통해서 딥러닝 기계학습을 수행하여 계산량을 줄이고 정확도를 향상시켜 전체적인 성능을 향상하는 것을 특징으로 한다.The learning model generation unit performs learning by a Converged Convolutional Neural Network, and the Converged Convolutional Neural Network continuously retrieves training data refined from the readings of the medical image reading expert. It is characterized by improving the overall performance by reducing the amount of computation and improving the accuracy by performing deep learning machine learning through the fusion convolutional neural network by receiving the updated input and reflecting it in the creation of the learning model.
또한 상기 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)는 역방향 전파에 의해서 가중치가 업데이트되도록 구성되는 것을 특징으로 한다.In addition, the converged convolutional neural network is characterized in that the weights are updated by backward propagation.
한편 본 발명의 또 다른 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 방법은, 의료영상 판독 전문가의 판독문으로부터 추출한 정규화된 형태의 정제된 학습 데이터를 생성하는 판독 기록 지도학습(supervised learning) 단계 및 상기 판독 기록 지도학습 단계에서 정제된 학습 데이터를 입력으로 상기 의료영상을 판독하도록 기계학습을 수행하는 학습모델생성 단계를 포함하며, 상기 기계학습은 상기 의료영상 판독 전문가의 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받음으로써, 상기 학습 데이터가 자동으로 강화학습 데이터가 되는 것을 특징으로 한다.Meanwhile, a medical image reading method through the generation of refined artificial intelligence reinforcement learning data according to another embodiment of the present invention is a read recording supervised learning method that generates refined learning data in a normalized form extracted from a reading of a medical image reading expert. (supervised learning) step and a learning model generation step of performing machine learning to read the medical image by inputting the refined learning data in the reading and recording supervised learning step, wherein the machine learning is the reading of the medical image reading expert. By continuously updating and receiving the refined training data from, the training data automatically becomes reinforcement learning data.
상기 판독 기록 지도학습(supervised learning) 단계는, 상기 판독문의 파일 위치 주소로부터 데이터를 읽어 들이는 의료기록 데이터 로딩 단계, 상기 판독문을 신체부위(Body Part) 별로 발견(Findings), 결론(Conclusion) 및 권고(Recommendation)를 포함한 섹션으로 분류하고, 상기 각 섹션의 평문텍스트로부터 질병관련 단어 또는 어구를 하나의 집합으로 라벨링하는 라벨링처리 단계, 상기 라벨링된 판독문에서 질병관련 단어 또는 어구를 추출하는 의료관련 용어 추출 단계, 상기 추출된 단어 또는 어구로부터 공통된 특징을 추출하는 특징 추출 단계, 상기 추출된 특징들을 규칙화하여 특징 행렬(Feature Matrix)을 생성하는 특징행렬생성 단계, 임의의 판독문이 주어지면 상기 판독문을 특징 행렬에 사상(mapping)시켜 특징을 분석하는 특징 분석 단계, 및 상기 분석된 특징만으로 정제된 학습 데이터를 생성하는 정제 데이터 생성 단계를 포함하는 것을 특징으로 한다.The read-write supervised learning step includes a step of loading medical record data in which data is read from the file location address of the read statement, finding the read text for each body part (Findings), conclusions, and Labeling processing step of classifying into sections including recommendations and labeling disease-related words or phrases as a set from the plain text of each section, medical-related terms extracting disease-related words or phrases from the labeled readings Extraction step, feature extraction step of extracting common features from the extracted words or phrases, feature matrix generation step of generating a feature matrix by regularizing the extracted features, And a feature analysis step of analyzing a feature by mapping a feature matrix, and a refinement data generation step of generating refined training data based only on the analyzed feature.
상기 의료기록 데이터 로딩 단계는, 입력값으로 주어진 판독문 원본 데이터의 파일 위치 주소로부터 파일의 위치, 전체 파일 개수, 파일의 길이 또는 이들의 조합을 읽어 들여 시스템 메모리에 적재시키며, 상기 라벨링 처리 단계는, 상기 시스템 메모리에 적재된 데이터를 신체부위(Body Part)별로 각 판독 섹션별로 라벨링하고, 이를 각각의 집합으로 분류하여 시스템 메모리상에 재배치하며, 상기 의료관련 용어 추출 단계는, 각 섹션의 평문텍스트와 SNOMED-CT, ICD-11, LOINC, KCD-10을 포함한 표준 의료 용어 데이터 집합과 비교하여 해당 평문텍스트만 선택적으로 추출하며, 상기 특징 추출 단계는, 상기 의료관련 용어 추출부에서 추출된 의료 관련 용어로부터 단어 종류, 서술 형태, 서술 빈도 또는 이들의 조합을 분석하여 병변의 유무와 관련된 용어의 특징, 병변의 위치 표시와 관련된 용어의 특징, 증상 묘사와 관련된 용어의 특징, 병증의 종류를 나타내는 용어의 특징 또는 이들의 조합을 추출하며, 상기 특징행렬 생성 단계는, 상기 특징 추출부에서 추출된 특징들을 데이터 집합으로 하여 새롭게 입력되는 평문텍스트와 사상시킴으로써 유사 또는 동일 의미의 용어인지 비교 및 분석이 가능한 특징 행렬(Feature Matrix)을 생성하며, 상기 특징 분석 단계는, 정제되지 않은 원본 판독문이 입력되었을 때, 이를 특징 행렬에 사상시켜 판독문을 서술하는 평문텍스트에서 병변의 존재 유무, 병변의 위치, 증상, 병증의 종류 등을 추출, 분석 및 분류하며, 상기 정제 데이터 생성 단계는, 상기 특징 분석부에서 추출, 분석 및 분류된 데이터들로 정제된 학습 데이터를 생성하는 것을 특징으로 한다.The medical record data loading step reads the location of the file, the total number of files, the length of the file, or a combination thereof from the file location address of the original read data given as an input value, and loads it into the system memory, and the labeling processing step, The data loaded in the system memory is labeled for each reading section by body part, classified into a set, and rearranged on the system memory. The extracting of medical terms includes the plaintext text of each section and Compared with a standard medical term data set including SNOMED-CT, ICD-11, LOINC, and KCD-10, only the corresponding plaintext text is selectively extracted, and the feature extraction step is from the medical related term extracted from the medical term extracting unit. The characteristics of terms related to the presence or absence of lesions, the characteristics of terms related to the indication of the location of the lesion, the characteristics of terms related to the description of symptoms, the characteristics of the terms indicating the type of disease by analyzing the word type, narrative form, narrative frequency, or combinations Alternatively, a combination of these is extracted, and in the step of generating the feature matrix, the features extracted from the feature extraction unit are mapped with a newly input plain text text, so that a feature matrix capable of comparing and analyzing whether terms have similar or identical meanings (Feature Matrix) is generated, and in the feature analysis step, when an unrefined original read is input, map it to a feature matrix to describe the presence or absence of a lesion, the location of the lesion, symptoms, and symptoms in the plaintext text describing the read. Types, etc. are extracted, analyzed, and classified, and the refined data generation step is characterized in that the refined training data is generated from data extracted, analyzed, and classified by the feature analysis unit.
상기 학습모델생성 단계는, 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)에 의해 학습이 수행되며, 상기 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)는 상기 의료영상 판독 전문가의 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받고 이를 학습모델의 생성에 반영함으로써, 융합 컨볼루션 뉴럴 네트워크를 통해서 딥러닝 기계학습을 수행하여 계산량을 줄이고 정확도를 향상시켜 전체적인 성능을 향상하는 것을 특징으로 한다.In the learning model generation step, learning is performed by a Converged Convolutional Neural Network, and the Converged Convolutional Neural Network continuously receives the refined learning data from the readings of the medical image reading expert. It is characterized by improving the overall performance by reducing the amount of computation and improving the accuracy by performing deep learning machine learning through the fusion convolutional neural network by updating and receiving the input and reflecting it in the generation of the learning model.
또한 상기 학습모델생성 단계는, 역방향 전파에 의해서 가중치가 업데이트되도록 구성되는 것을 특징으로 한다.In addition, the learning model generation step is characterized in that the weight is updated by backward propagation.
이상에서와 같이 본 발명의 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법에 따르면, 사용자는 컨벌루션 뉴럴 네트워크를 이용하여 의료영상 이미지의 병변의 존재 여부, 병변의 위치, 병증의 종류 등을 판독할 때, 의료영상 이미지의 픽셀 정보 분석을 통한 컨벌루션 뉴럴 네트워크의 출력값과 판독기록 지도학습 모델에서 학습 결과로 산출된 동일 신체부위에 대한 판독기록 분석을 통한 출력값을 융합하여 종래의 컨벌루션 뉴럴 네트워크를 이용한 의료영상 이미지 판독 결과보다 정확한 판독 결과를 얻거나 컨벌루션 뉴럴 네트워크의 계산 복잡도(complexity)를 낮출 수 있으며, 종래의 컨벌루션 뉴럴 네트워크를 통해 알 수 없었던 병증의 종류까지 예측할 수 있는 효과가 있다.As described above, according to the medical image reading system and method thereof through the generation of refined artificial intelligence reinforcement learning data of the present invention, the user uses a convolutional neural network to determine whether a lesion exists, the location of the lesion, and the disease. Conventional convolution by fusing the output value of the convolutional neural network through the analysis of pixel information of the medical image image and the output value through the analysis of the reading record for the same body part calculated as a learning result in the reading and recording supervised learning model when reading the type, etc. It is possible to obtain more accurate reading results than medical image reading results using a neural network, or to reduce the computational complexity of a convolutional neural network, and to predict the types of conditions that were not known through the conventional convolutional neural network. .
도 1은 종래의 의료영상 판독 시스템의 개념을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법의 개념을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템의 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 위한 판독기록 지도학습 모델(medical report supervised learning model)의 구성을 보인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 위한 판독기록 지도학습(medical report supervised learning)부의 구성을 보인 블록도이다.
도 5는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터를 생성하는 과정을 보인 도면이다.
도 6은 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 융합된 컨벌루션 뉴럴 네트워크(CCNN)의 구성을 보인 개념도이다.
도 7은 본 발명의 일 실시예에 따른 판독기록 지도학습 모델의 특징행렬 생성을 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 판독기록 지도학습 모델에서 임의의 판독문에서 질병과 관련된 특징값을 추출하는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 과정의 흐름도이다.1 is a diagram showing the concept of a conventional medical image reading system.
FIG. 2 is a diagram showing the concept of a medical image reading system and method through the generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
3 is a view for explaining the configuration of a medical image reading system through the generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
4 is a block diagram showing a configuration of a medical report supervised learning model for generating refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
4 is a block diagram showing a configuration of a medical report supervised learning unit for generating refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
5 is a diagram showing a process of generating refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
6 is a conceptual diagram showing the configuration of a fused convolutional neural network (CCNN) through generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
7 is a flowchart for generating a feature matrix of a read/write supervised learning model according to an embodiment of the present invention.
8 is a flowchart of extracting a disease-related feature value from an arbitrary read in a read-write supervised learning model according to an embodiment of the present invention.
9 is a flowchart of a medical image reading process through generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a medical image reading system and method through the generation of refined artificial intelligence reinforcement learning data according to the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals in each drawing indicate the same member. In addition, specific structural or functional descriptions of the embodiments of the present invention are exemplified only for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein including technical or scientific terms They have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this specification. It is desirable not to.
도 1은 종래의 의료영상 판독 시스템의 개념을 나타낸 도면이다.1 is a diagram showing the concept of a conventional medical image reading system.
도 2는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템 및 그 방법의 개념을 나타낸 도면이다.FIG. 2 is a diagram showing the concept of a medical image reading system and method through the generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 종래의 의료영상 판독시스템은 의사가 의료영상을 통해서 병변의 존재유무에 대한 판단을 하는데 도움을 주는 시스템으로, 로컬, 병원, 의료기관 등의 데이터베이스에 저장된 의료영상을 이용하여 학습모델을 생성하고, 새로운 의료영상을 입력하면 상기 학습모델에 입력 의료영상을 적용하여 그 판독결과로부터 병변을 예측하는 구조를 가지고 있었다.As shown in FIG. 1, a conventional medical image reading system is a system that helps a doctor to determine the presence or absence of a lesion through medical images, and uses medical images stored in databases such as local, hospital, and medical institutions. Thus, when a learning model is generated and a new medical image is input, the input medical image is applied to the learning model, and the lesion is predicted from the reading result.
이 경우 수많은 의료영상으로부터 학습모델을 생성하기 때문에 학습에 많은 시간이 소요되며, 정확도도 떨어지는 문제가 있었다. 이에 본 발명에서는 이러한 문제를 극복하기 위해서 전문의의 의료영상에 대한 판독결과인 판독문으로 학습모델을 고도화하는 강화학습을 수행하는 구조를 제시하고자 한다.In this case, since a learning model is generated from numerous medical images, it takes a lot of time to learn, and there is a problem that the accuracy is also poor. Accordingly, in order to overcome this problem, the present invention proposes a structure for performing reinforcement learning that advances a learning model with a reading result of a medical image by a specialist.
도 2에 도시된 바와 같이, 전문의는 의료영상을 판독하여 판독문을 구성하는데, 여기서 생성된 판독문을 이용하여 의료영상 판독 시스템의 학습모델의 학습결과를 향상시키는데 활용하고자 한다. 특히, 본 발명에서는 판독문의 판독결과를 이용하여 의료영상을 학습하는 학습모델의 생성 과정에 학습 성능을 개선하고 복잡도를 줄이는 역할을 수행하도록 한다.As shown in FIG. 2, a specialist reads a medical image and constructs a reading statement, which is intended to be used to improve the learning result of the learning model of the medical image reading system by using the generated reading statement. In particular, in the present invention, the learning performance is improved and the complexity is reduced in the process of generating a learning model for learning medical images by using the reading result of the read text.
이하에서는 본 발명의 일 실시예에 따른 의료영상 판독 시스템에 대한 세부 구성에 대해서 논의하고자 한다.Hereinafter, a detailed configuration of a medical image reading system according to an embodiment of the present invention will be discussed.
도 3은 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템의 구성을 설명하기 위한 도면이다.3 is a view for explaining the configuration of a medical image reading system through the generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 의료영상 판독 시스템(10)은 판독문 지도 학습부(100), 의료영상 학습부(200), 의료영상 데이터베이스(300), 판독문 데이터베이스(400) 등을 포함한다. 상기 의료영상 데이터베이스(300)와 판독문 데이터베이스(400)는 하나의 데이터베이스에 구성되어도 무방하다.As shown in FIG. 3, the medical image reading system 10 according to an embodiment of the present invention includes a reading text
여기서 영상의학과 전문의는 의료영상(300)을 판독한 다음 해당 영상의 판독문(400)을 작성한다. 해당 의료영상은 의료영상 학습부(200)에 입력되어 기계학습을 수행한다. 아울러 판독문(400)은 판독문 지도 학습부(100)에 입력되어 해당 판독문의 특징을 추출하여 의료영상 학습부(200)에 제공함으로써 해당 의료영상에 대한 학습 성능(계산량, 복잡도)을 향상시키다.Here, the radiology specialist reads the
따라서 본 발명의 의료영상 판독 시스템(10)은 의료영상(30))을 입력으로 하여 의료영상을 학습하는 의료영상 학습부(200)가 상기 의료영상(300)을 전문의가 판독한 판독문으로부터 추출한 데이터를 이용하여 판독문 지도 학습부(100)에서 의료영상 학습부(200)에서 필요로 하는 정제된 학습 데이터를 제공하여, 의료영상의 학습 성능을 향상시킨다,Therefore, in the medical image reading system 10 of the present invention, the medical
이 과정에서 영상의학과 전문의의 의료영상에 대한 판독문을 점점 고도화하여 반영함으로써, 의료영상의 학습 성능을 향상시킨다.In this process, the medical image learning performance is improved by gradually reflecting the readings of the radiologists' medical images.
이하에서는 의료영상의 판독문 지도 학습부(100)와 의료영상 학습부(200)의 구성에 대해서 자세하게 설명하고자 한다.Hereinafter, the configuration of the medical image reading
도 4는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 위한 판독기록 지도학습(medical report supervised learning)부의 구성을 보인 블록도이다.4 is a block diagram showing a configuration of a medical report supervised learning unit for generating refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 상기 판독기록 지도학습부(100)는 판독문의 파일 위치 주소로부터 데이터를 읽어 들이는 의료기록 데이터 로딩부(111), 상기 판독문을 신체부위(Body Part) 별로 발견(Findings), 결론(Conclusion) 및 권고(Recommendation)를 포함한 섹션으로 분류하고, 상기 각 섹션의 평문텍스트로부터 질병관련 단어 또는 어구를 하나의 집합으로 라벨링하는 라벨링처리부(112), 상기 라벨링된 판독문에서 질병관련 단어 또는 어구를 추출하고, 상기 추출된 단어 또는 어구로부터 공통된 특징을 추출하는 특징 추출부(113), 상기 추출된 특징들을 규칙화하여 특징 행렬(Feature Matrix)을 생성하는 특징행렬 생성부(114)를 포함한다. 이러한 결과로 생성된 특징행렬은 데이터베이스에 저장되어, 향 후 입력되는 판독문을 특징행렬과 사상시켜 특징을 분석하는데 사용할 수 있다.As shown in Fig. 4, the read/write
아울러 상기 판독기록 지도학습부(100)는 임의의 판독문이 주어지면 지도학습을 통해 상기 판독문을 특징 행렬에 사상(mapping)시켜 특징을 분석하는 지도학습 특징 분석부(120) 및 상기 분석된 특징만으로 정제된 학습 데이터를 생성하는 정제 데이터 생성부(130)를 더 포함한다.In addition, the read/write
여기서 상기 의료기록 데이터 로딩부(111)는, 입력값으로 주어진 판독문 원본 데이터의 파일 위치 주소로부터 파일의 위치, 전체 파일 개수, 파일의 길이 또는 이들의 조합을 읽어 들여 시스템 메모리나 보조메모리에 적재시키고, 그 결과를 이용하여 판독기록 지도학습에 활용한다.Here, the medical record
상기 라벨링 처리부(112)는, 상기 시스템 메모리 또는 보조메모리에 적재된 데이터를 신체부위(Body Part)별로 각 판독 섹션별로 라벨링하고, 이를 각각의 집합으로 분류하여 시스템 메모리나 보조메모리 상에 재배치한다.The
상기 특징 추출부(113)는, 각 섹션의 평문텍스트와 SNOMED-CT, ICD-11, LOINC, KCD-10을 포함한 표준 의료 용어 데이터 집합과 비교하여 해당 평문텍스트만 선택적으로 추출하여, 상기 의료관련 용어 추출부에서 추출된 의료 관련 용어로부터 단어 종류, 서술 형태, 서술 빈도 또는 이들의 조합을 분석하여 병변의 유무와 관련된 용어의 특징, 병변의 위치 표시와 관련된 용어의 특징, 증상 묘사와 관련된 용어의 특징, 병증의 종류를 나타내는 용어의 특징 또는 이들의 조합을 추출한다.The
상기 특징행렬 생성부(114)는, 상기 특징 추출부(130)에서 추출된 특징들을 데이터 집합으로 하여 새롭게 입력되는 평문텍스트와 사상시킴으로써 유사 또는 동일 의미의 용어인지 비교 및 분석이 가능한 특징 행렬(Feature Matrix)을 생성한다.The
다음으로 상기 지도학습 특징 분석부(120)는, 정제되지 않은 원본 판독문이 입력되었을 때, 이를 지도학습모델에 적용하여 특징행렬에 사상시켜 판독문을 서술하는 평문텍스트에서 병변의 존재 유무, 병변의 위치, 증상, 병증의 종류 등을 추출, 분석 및 분류한다.Next, when the unrefined original readout is input, the supervised learning
상기 정제 데이터 생성부(130)는, 상기 지도학습 특징 분석부(120)에서 추출, 분석 및 분류된 데이터들로 정제된 학습 데이터를 생성한다. 상기 정제된 학습 데이터는 의료영상의 판독에 대한 성능을 향상시키기 위한 부가 정보에 해당한다.The refined data generation unit 130 generates refined training data from data extracted, analyzed, and classified by the supervised learning
특히 상기 지도학습 특징 분석부(120)는 지도학습을 수행하는 것으로, 먼저 의료영상에 대한 잘 정의된 특징행렬을 기준으로 임의의 새로이 입력된 의료영상의 판독문을 학습시켜 해당 입력된 판독문이 어떠한 특징행렬을 갖는지 분류하여 판단한다.In particular, the supervised learning
이를 위해서 새로이 입력되는 임의의 의료영상에 대한 판독문은 NLP(Natural Language Processor)를 통해 질병관련 단어 또는 어구를 추출하고, 지도학습 모델에 입력하면, 입력된 판독문의 특징행렬과 매핑하여 정제된 학습 데이터가 추출된다.To this end, the newly inputted reading text for an arbitrary medical image is extracted from disease-related words or phrases through the NLP (Natural Language Processor), and when inputted to the supervised learning model, it is mapped with the feature matrix of the input reading text and refined training data. Is extracted.
임의의 새로운 판독문이 입력되면 이를 기존의 특징행렬과 비교하여 분류하는데, 이때 임의의 새로운 판독문으로부터 특징행렬을 추출해야 하므로, 결국 의료기록 데이터 로딩부(111), 라벨링 처리부(112), 특징 추출부(113) 및 특징행렬 생성부(114)의 과정을 포함하는 기준 특징행렬 추출부(110)의 기능을 그대로 수행하는 방법도 가능하고, 지도학습모델에 입력하여 분류하는 방법도 가능하다.When a new read statement is input, it is classified by comparing it with the existing feature matrix.At this time, since the feature matrix must be extracted from the new read statement, in the end, the medical record
바람직하게 본 발명에서는 두 가지 방법을 모두 사용가능하다.Preferably, both methods can be used in the present invention.
이하에서는 학습용 텍스트 데이터를 입력받아 정제된 학습 데이터를 생성하는 과정에 대해서 설명하고자 한다.Hereinafter, a process of generating refined training data by receiving text data for training will be described.
도 5는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터를 생성하는 과정을 보인 도면이다.5 is a diagram showing a process of generating refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 먼저 영상의학과 전문의의 판독문(Rk)을 입력받아 판독문 중 발견(Finding)(F)에 해당하는 내용만 추출해 낸 집합을 생성하고, 여기서 판독문 중 결론(Conclusion)(C)에 해당하는 내용만 추출해 낸 집합을 생성하고, 판독문 중 권고(Recommendation(R)에 해당하는 내용만 추출해 낸 집합을 생성하고 레이블링한다. 이러한 집합들은 신체부위(BP)별로 구분될 필요가 있다.As shown in Fig. 5, first, a set obtained by extracting only the contents corresponding to the finding (F) of the readings is generated by receiving the reading of a radiology specialist (R k ), where the conclusion of the reading (Conclusion) ( A set extracted from only the contents corresponding to C) is created, and a set extracted from only the contents corresponding to the recommendation (R) is generated and labeled. These sets need to be classified by body part (BP). .
이렇게 레이블링된 사항으로부터 특징을 추출한다. 여기서 FM1, … , FMx 등은 라벨링된 판독문의 F, C, R 집합에서 추출해 낸 특징맵(feature metric)의 집합이다. 즉 특징을 추출한 다음 특징별로 메트릭스를 구축한다. 예를 들어, X번째 특징의 측정(feature metric)은 a1 부터 ak 까지 동일한 질병이나 증상을 나타내는 k개의 동의어나 표현, 어휘를 모두 수렴 또는 지배(dominate)하는 A에 사상되며, 전체 특징행렬(Feature Metrix)은 질병명, 위치 표현, 중증 정도를 나타내는 각 측정(metric)으로 구성된다. 여기서 생성된 결과는 RRx로써, X번째 로우 데이터(Raw data)(Rx)가 특징 행렬(Feature Matrix)을 통해 정제된(refined) 데이터를 출력한다.Features are extracted from these labeled items. Where FM 1 ,… , FM x, etc. are a set of feature metric extracted from the set of F, C, and R of the labeled reading. That is, after features are extracted, metrics are constructed for each feature. For example, the X-th feature metric is mapped to A, which converges or dominates all k synonyms, expressions, and vocabularies representing the same disease or symptom from a 1 to a k , and the entire feature matrix (Feature Metrix) is composed of each metric indicating disease name, location expression, and severity. The result generated here is RR x , and the X-th raw data (R x ) is refined through a feature matrix.
도 6은 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 융합 컨벌루션 뉴럴 네트워크(CCNN)의 구성을 보인 개념도이다.6 is a conceptual diagram showing the configuration of a fusion convolutional neural network (CCNN) through generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 종래의 컨벌루션 뉴럴 네트워크에 정제된 인공지능 강화학습 데이터를 적용함으로써, 융합된 컨벌루션 뉴럴 네트워크를 구축할 수 있다. 예를 들어 정제된 인공지능 강화학습 데이터에서 판독문을 서술하는 평문텍스트로부터 병변의 존재 유무, 병변의 위치, 증상, 병증의 종류 등을 추출, 분석 및 분류하여 컨벌루션 단계에서 세밀하게 예측해야할 부분을 집중적으로 학습하고, 그렇지 않은 부분은 상대적으로 많은 계산 복잡도를 부가하지 않도록 한다. 즉, 병변이 존재하는 부위에 대해서 정밀하게 학습하고, 증상이나 병변의 종류에 따라 다르게 학습함으로써, 모든 입력영상에 대해서 동일한 강도의 학습을 수행하는 것에 비해서 복잡도는 줄이고 학습성능은 향상시키는 역할을 한다.As shown in FIG. 6, a fused convolutional neural network can be constructed by applying refined artificial intelligence reinforcement learning data to a conventional convolutional neural network. For example, in the refined AI reinforcement learning data, the presence or absence of the lesion, the location of the lesion, the symptom, and the type of the condition are extracted, analyzed, and classified from the plain text describing the readout to focus on the part to be predicted in detail at the convolution stage. It learns with, and does not add a lot of computational complexity. In other words, it plays a role in reducing the complexity and improving the learning performance compared to learning of the same intensity for all input images by learning precisely about the area where the lesion is present and learning differently according to the type of symptom or lesion. .
여기서 임의의 판독문이 입력되면 해당 의료영상에 대해서 판독문을 해독한 다음 지도학습모델에 따라 의료기록을 분석한 다음 병변의 존재유무, 병변의 위치, 증상, 변증의 종류에 대한 정보를 추출하고, 분선 및 분류하여 지도학습 모델과 융합된 컨벌루션 뉴럴 네트워크를 구성하고 수행하도록 한다.Here, when a random reading is input, the reading is decoded for the medical image, then the medical records are analyzed according to the supervised learning model, and then information on the presence or absence of the lesion, the location of the lesion, symptoms, and the type of dialectic is extracted, and And classification, and construct and perform a convolutional neural network fused with a supervised learning model.
상기 융합된 컨벌루션 뉴럴 네트워크는 복수의 컨벌루션 레이어가 존재하며, 이때마다 지도학습의 결과를 이용하여 커스터마이징된 컨벌루션을 수행하도록 한다. 이러한 방식으로 본 발명은 더욱 향상된 성능의 학습모델을 생성할 수 있다. 의료영상과 해당 의료영상의 판독문을 이용하여 영상의학과 전문의가 판독문을 판독한 결과에서 각 신체부위 별로 발견, 결론, 권고 별로 라벨링하고, 특징을 추출하여 특징행렬을 생성하여 저장하고, 그 결과를 새로운 의료영상의 판독문에 대해서도 특징행렬을 추출한 다음 기 저장된 특징행렬과 매핑하여 정제된 학습 데이터를 도출한다. 이러한 특징행렬을 분선하면 병변의 존재유무, 병변의 위치, 증상, 변증의 종류에 대한 정보를 추출할 수 있다. 이를 통해서 융합 CNN을 구성하고 학습을 수행할 수 있다.The fused convolutional neural network has a plurality of convolutional layers, and in each case, a customized convolution is performed using the result of supervised learning. In this way, the present invention can generate a learning model with improved performance. Using medical images and readings of the medical images, radiology specialists label each body part by discovery, conclusion, and recommendation from the results of reading the readings, extract features, create and store a feature matrix, and store the results. For the reads of medical images, a feature matrix is extracted and then mapped with a previously stored feature matrix to derive refined learning data. By segmenting such a characteristic matrix, information on the presence or absence of the lesion, the location of the lesion, symptoms, and the type of dialectic can be extracted. Through this, a fusion CNN can be constructed and learning can be performed.
아울러 본 발명에 따른 융합 컨벌루션 네트워크는 전문의의 평가결과를 역으로 반영하는 역방향 전파에 의해서 가중치가 업데이트되도록 구성된다. 이는 CNN을 구성하는 각 단계에서 파라미터의 가중치를 업데이트함에 있어서, 출력부의 판독결과를 은닉층, 컨벌루션 계층으로 가중치를 역으로 전파하여 수정하여 보다 정확한 판독이 가능하도록 한다.In addition, the fusion convolutional network according to the present invention is configured such that the weights are updated by reverse propagation reflecting the evaluation result of the specialist in reverse. In updating the weights of the parameters in each step of configuring the CNN, the reading result of the output unit is reversely propagated to the hidden layer and the convolutional layer and corrected to enable more accurate reading.
도 7은 본 발명의 일 실시예에 따른 판독기록 지도학습 모델의 특징행렬 생성을 위한 흐름도이다.7 is a flowchart for generating a feature matrix of a read/write supervised learning model according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 지도학습 모델의 특징행렬 생성 과정은, 먼저 네트워크 또는 로컬 저장소에서 의료영상 이미지의 다이콤 메타데이터 및 판독문을 로딩한다(S110). 다음으로 로딩한 의료영상 이미지의 다이콤 메타데이터에 포함된 신체부위(Body Part) 필드를 추출한다(S120). 이어서, 의료영상 이미지의 판독문을 발견(Findings), 결론(Conclusion), 권고(Recommendation) 별로 라벨링하여 각 집합에 평문텍스트들을 삽입한다(S130).As shown in FIG. 7, in the process of generating the feature matrix of the supervised learning model, first, the Daicom metadata and the reading statement of the medical image image are loaded from a network or a local storage (S110). Next, a body part field included in the Daicom metadata of the loaded medical image image is extracted (S120). Subsequently, the read text of the medical image image is labeled according to discovery (Findings), conclusion (Conclusion), and recommendation (Recommendation), and plain text texts are inserted into each set (S130).
이어서 추가 의료영상 이미지가 있으면(S140), S110 내지 S130의 과정을 반복하고, 아니면 표준 의료 용어 데이터 집합을 로딩한다(S150). 또한 라벨링된 발견(Findings), 결론(Conclusion), 권고(Recommendation) 별로 해당 집합의 각 요소들과 표준 의료용어 데이터집합을 순차적으로 맵핑하여 질병에 관련된 단어 또는 어휘를 추출한다(S160).Subsequently, if there is an additional medical image (S140), the processes of S110 to S130 are repeated, otherwise, a standard medical term data set is loaded (S150). In addition, a word or vocabulary related to a disease is extracted by sequentially mapping each element of the set and a standard medical term data set for each labeled Findings, Conclusion, and Recommendation (S160).
상기 추출된 단어 및 어휘들로부터 단어 종류, 서술 형태, 서술 빈도 분석을 통해 특징을 추출한다(S170). 마지막으로, 추출된 특징들을 엘리먼트로 하는 특징행렬을 생성한다(S180).Features are extracted from the extracted words and vocabularies through analysis of word type, description form, and frequency of description (S170). Finally, a feature matrix is generated using the extracted features as elements (S180).
도 8은 본 발명의 일 실시예에 따른 판독기록 지도학습 모델에서 임의의 판독문에서 질병과 관련된 특징값을 추출하는 흐름도이다.8 is a flowchart of extracting a disease-related feature value from an arbitrary read in a read-write supervised learning model according to an embodiment of the present invention.
도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 임의의 판독문에서 질병과 관련된 특징값을 추출하는 과정은 먼저 네트워크 또는 로컬 저장소에서 의료영상 이미지의 다이콤 메타데이터 및 판독문을 로딩한다(S210). 이어서 의료영상 이미지의 다이콤 메타데이터에 포함된 신체부위(Body Part) 필드를 추출한다(S220).As shown in FIG. 8, in the process of extracting a disease-related feature value from an arbitrary read statement according to an embodiment of the present invention, first, the Daicom metadata and the read statement of the medical image image are loaded from a network or a local storage ( S210). Subsequently, a body part field included in the Daicom metadata of the medical image image is extracted (S220).
상기 의료영상 이미지의 판독문을 발견(Findings), 결론(Conclusion), 권고(Recommendation) 별로 라벨링하여 각 섹션별로 평문텍스트를 추출한다(S230). 그리고 추출된 평문텍스트를 동일 신체부위(Body Part)의 특징행렬의 각 엘리먼트들과 맵핑한다(S240). 상기 특징행렬의 맵핑 결과 유사 또는 동일 용어 또는 어휘 표현이 존재하는 텍스트의 데이터를 추출한다(S250).The read text of the medical image image is labeled according to discovery (Findings), conclusion (Conclusion), and recommendation (Recommendation), and plain text is extracted for each section (S230). Then, the extracted plaintext text is mapped with each element of the feature matrix of the same body part (S240). As a result of the mapping of the feature matrix, text data in which similar or identical terms or vocabulary expressions exist is extracted (S250).
이렇게 추출된 데이터를 분석하여 병변의 존재유무, 병변의 위치, 증상, 변증의 종류에 대한 정보를 추출할 수 있다. 이를 통해서 융합 CNN을 구성하고 학습을 수행할 수 있다.By analyzing the extracted data, information on the presence or absence of the lesion, the location of the lesion, symptoms, and the type of dialectic can be extracted. Through this, a fusion CNN can be constructed and learning can be performed.
도 9는 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 과정의 흐름도이다.9 is a flowchart of a medical image reading process through generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 일 실시예에 따른 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 과정은 먼저 의료영상 판독 전문가의 판독문으로부터 추출한 정규화된 형태의 정제된 학습 데이터를 생성하는 판독기록 지도학습(supervised learning)을 수행한다(S310).Referring to FIG. 9, the process of reading medical images through generation of refined artificial intelligence reinforcement learning data according to an embodiment of the present invention first generates refined learning data in a normalized form extracted from a reading of a medical image reading expert. Recorded supervised learning is performed (S310).
이어서 상기 판독 기록 지도학습 단계에서 정제된 학습 데이터를 입력으로 상기 의료영상을 판독하도록 기계학습을 수행한다(S320).Subsequently, machine learning is performed to read the medical image by inputting the training data refined in the read-write supervised learning step (S320).
상기 의료영상 판독 전문가의 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받고 이를 학습모델의 생성에 반영함으로써, 융합 컨볼루션 뉴럴 네트워크를 통해서 딥러닝 기계학습을 수행하여 계산량을 줄이고 정확도를 향상시켜 전체적인 성능을 향상한다(S330).By continuously updating and inputting refined learning data from the readings of the medical image reading expert and reflecting it in the creation of a learning model, deep learning machine learning is performed through a fusion convolutional neural network to reduce computational volume and improve accuracy. The performance is improved (S330).
이처럼, 본 발명에 따르면, 사용자는 컨벌루션 뉴럴 네트워크를 이용하여 의료영상 이미지의 병변의 존재 여부, 병변의 위치, 병증의 종류 등을 판독할 때, 의료영상 이미지의 픽셀 정보 분석을 통한 컨벌루션 뉴럴 네트워크의 출력값과 판독기록 지도학습 모델에서 학습 결과로 산출된 동일 신체부위에 대한 판독기록 분석을 통한 출력값을 융합하여 종래의 컨벌루션 뉴럴 네트워크를 이용한 의료영상 이미지 판독 결과보다 정확한 판독 결과를 얻거나 컨벌루션 뉴럴 네트워크의 계산 복잡도(complexity)를 낮출 수 있으며, 종래의 컨벌루션 뉴럴 네트워크를 통해 알 수 없었던 병증의 종류까지 예측할 수 있는 효과가 있다.As described above, according to the present invention, when a user reads whether or not a lesion exists in a medical image image, a location of a lesion, a type of a condition, etc. using a convolutional neural network, the user can use the convolutional neural network to analyze the pixel information of the medical image image. By fusing the output value and the output value through the reading and recording analysis of the same body part calculated as the learning result in the reading and recording supervised learning model, the reading result is more accurate than the medical image image reading result using the conventional convolutional neural network. Computation complexity can be lowered, and there is an effect of predicting a type of condition that was not known through a conventional convolutional neural network.
이상으로 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.As described above, the present invention has been described with reference to the embodiments shown in the drawings, but these are only exemplary, and those of ordinary skill in the field to which the technology pertains, various modifications and other equivalent embodiments are possible. I will understand the point. Therefore, the technical protection scope of the present invention should be determined by the following claims.
100 : 판독문 지도 학습부 200 : 의료영상 학습부
300 : 의료영상 데이터베이스 400 : 판독문 데이터베이스
111 : 의료기록 데이터 로딩부 112 : 라벨링 처리부
113 : 특징 추출부 114 : 특징행렬 생성부
120 : 지도학습 특징 추출부 130 : 정제 데이터 생성부
110 : 기준 특징행렬 추출부100: Reading text supervised learning unit 200: Medical image learning unit
300: Medical imaging database 400: Reading text database
111: medical record data loading unit 112: labeling processing unit
113: feature extraction unit 114: feature matrix generation unit
120: supervised learning feature extraction unit 130: refined data generation unit
110: reference feature matrix extraction unit
Claims (10)
상기 판독 기록 지도학습부에서 생성한 상기 정제된 학습 데이터와 상기 의료영상을 입력받아 기계학습을 수행하여 학습모델을 생성하는 학습모델생성부;를 포함하며,
상기 기계학습은, 상기 의료영상 판독 전문가의 상기 의료영상에 대한 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받아, 상기 의료영상에 대한 상기 학습모델의 생성에 반영함으로써, 상기 의료영상을 입력으로 하는 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)를 통해 상기 정제된 학습 데이터가 자동으로 상기 융합 컨벌루션 뉴럴 네트워크의 강화학습 데이터가 되는 것을 특징으로 하며,
상기 융합 컨벌루션 뉴럴 네트워크를 통해서 딥러닝 기계학습을 수행하여 상기 생성한 학습모델에 특정 사용자의 의료영상을 입력하여 상기 의료영상을 판독하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템.A supervised learning unit for generating refined learning data in a normalized form extracted from a medical image reading text of a medical image reading expert; And
Including; a learning model generation unit for generating a learning model by receiving the refined training data and the medical image generated by the reading and recording supervised learning unit to perform machine learning,
In the machine learning, by continuously updating and receiving refined learning data from the medical image reading text of the medical image reading expert and reflecting it in the generation of the learning model for the medical image, the medical image is input as an input. The refined learning data through a Converged Convolutional Neural Network automatically becomes reinforcement learning data of the fused convolutional neural network,
Medical image through refined artificial intelligence reinforcement learning data generation, characterized in that the medical image of a specific user is input to the generated learning model by performing deep learning machine learning through the fusion convolutional neural network and reading the medical image. Reading system.
상기 판독 기록 지도학습부는,
상기 의료영상 판독 전문가의 의료영상에 대한 판독문의 파일 위치 주소로부터 데이터를 로딩하는 의료기록 데이터 로딩부;
상기 로딩한 의료영상 판독 전문가의 의료영상에 대한 판독문을 신체부위(Body Part) 별로 발견(Findings), 결론(Conclusion) 및 권고(Recommendation)를 포함한 섹션으로 분류하고, 상기 분류한 각 섹션의 평문텍스트로부터 질병관련 단어 또는 어구를 하나의 집합으로 라벨링하는 라벨링 처리부;
상기 라벨링한 의료영상 판독 전문가의 의료영상에 대한 판독문에서 질병관련 단어 또는 어구를 추출하고, 상기 추출한 단어 또는 어구로부터 공통된 특징을 추출하는 특징 추출부;
상기 추출한 특징들을 규칙화하여 특징 행렬(Feature Matrix)을 생성하는 특징행렬 생성부;
임의의 판독문이 주어지면 상기 임의의 판독문을 특징 행렬에 사상(mapping)시켜 특징을 분석하는 특징 분석부; 및
상기 분석한 특징만으로 정제된 학습 데이터를 생성하는 정제 데이터 생성부;를 포함하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템.The method according to claim 1,
The reading and recording supervised learning unit,
A medical record data loading unit for loading data from a file location address of a read statement for a medical image of the medical image reading expert;
The loaded medical image reading expert's medical image readout is classified into sections including findings, conclusions, and recommendations for each body part, and plain text of each section classified above. A labeling processing unit for labeling the disease-related words or phrases from a single set;
A feature extracting unit for extracting a disease-related word or phrase from the read text of the medical image by the labeled medical image reading expert and extracting a common feature from the extracted word or phrase;
A feature matrix generator that regularizes the extracted features to generate a feature matrix;
A feature analysis unit that analyzes a feature by mapping the random read statement to a feature matrix when an arbitrary read statement is given; And
A medical image reading system through the generation of refined artificial intelligence reinforcement learning data, comprising: a refined data generation unit that generates refined learning data only with the analyzed features.
상기 의료기록 데이터 로딩부는, 상기 의료영상 판독 전문가의 의료영상에 대한 판독문의 파일 위치 주소로부터 파일의 위치, 전체 파일 개수, 파일의 길이 또는 이들의 조합을 로딩하여 시스템 메모리에 적재시키며,
상기 라벨링 처리부는, 상기 시스템 메모리에 적재된 데이터를 신체부위별로 각 섹션으로 라벨링하고, 이를 각각의 집합으로 분류하여 시스템 메모리상에 재배치하며,
상기 특징 추출부는, 상기 각 섹션의 평문텍스트와 SNOMED-CT, ICD-11, LOINC, KCD-10을 포함한 표준 의료 용어 데이터 집합과 비교하여 해당 평문텍스트만 선택적으로 추출하고, 상기 추출한 평문텍스트로부터 단어 종류, 서술 형태, 서술 빈도 또는 이들의 조합을 분석하여, 병변의 유무와 관련된 용어의 특징, 병변의 위치 표시와 관련된 용어의 특징, 증상 묘사와 관련된 용어의 특징, 병증의 종류를 나타내는 용어의 특징 또는 이들의 조합을 추출하며,
상기 특징행렬 생성부는, 상기 추출한 특징들을 데이터 집합으로 하여 새롭게 입력되는 평문텍스트와 사상시킴으로써, 유사 또는 동일 의미의 용어인지 비교 및 분석이 가능한 특징 행렬을 생성하며,
상기 특징 분석부는, 정제되지 않은 원본 판독문이 입력되었을 때, 상기 정제되지 않은 원본 판독문을 상기 생성한 특징 행렬에 사상시켜 판독문을 서술하는 평문텍스트에서 병변의 존재 유무, 병변의 위치, 증상 및 병증의 종류를 추출, 분석 및 분류하며,
상기 정제 데이터 생성부는, 상기 추출, 분석 및 분류한 데이터들로 정제된 학습 데이터를 생성하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템.The method according to claim 2,
The medical record data loading unit loads the location of the file, the total number of files, the length of the file, or a combination thereof from the file location address of the medical image reading statement of the medical image reading expert and loads it into the system memory,
The labeling processor labels the data loaded in the system memory into each section for each body part, classifies the data into each set, and rearranges it on the system memory,
The feature extracting unit selectively extracts only the corresponding plain text by comparing the plain text of each section with a standard medical term data set including SNOMED-CT, ICD-11, LOINC, and KCD-10, and a word type from the extracted plain text. , By analyzing the narrative form, narrative frequency, or a combination thereof, the characteristics of the terms related to the presence or absence of the lesion, the characteristics of the terms related to the indication of the location of the lesion, the characteristics of the terms related to the symptom description, the characteristics of the terms indicating the type of the disease Extracting a combination of these,
The feature matrix generator generates a feature matrix capable of comparing and analyzing terms with similar or identical meanings by mapping the extracted features as a data set with a newly input plain text text,
When the original unrefined reading is input, the feature analysis unit maps the original unrefined reading to the generated feature matrix to determine the presence or absence of a lesion, the location of the lesion, symptoms, and symptoms in the plaintext text describing the reading. Extract, analyze and classify types,
The refined data generation unit generates refined learning data from the extracted, analyzed, and classified data. A medical image reading system through the generation of refined artificial intelligence reinforcement learning data.
상기 학습모델생성부는,
역방향 전파에 의해서 가중치가 업데이트되도록 하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 시스템.The method according to claim 1,
The learning model generation unit,
A medical image reading system through generation of refined artificial intelligence reinforcement learning data, characterized in that the weights are updated by reverse propagation.
상기 의료영상 판독 시스템에서, 상기 판독 기록 지도학습 단계에서 생성한 상기 정제된 학습 데이터와 상기 의료영상을 입력받아 기계학습을 수행하여 학습모델을 생성하는 학습모델생성 단계;를 포함하며,
상기 기계학습은, 상기 의료영상 판독 전문가의 상기 의료영상에 대한 판독문으로부터 정제된 학습 데이터를 지속적으로 업데이트하여 입력받아, 상기 의료영상에 대한 상기 학습모델의 생성에 반영함으로써, 상기 의료영상을 입력으로 하는 융합 컨벌루션 뉴럴 네트워크(Converged Convolutional Neural Network)를 통해 상기 정제된 학습 데이터가 자동으로 상기 융합 컨벌루션 뉴럴 네트워크의 강화학습 데이터가 되는 것을 특징으로 하며,
상기 융합 컨벌루션 뉴럴 네트워크를 통해서 딥러닝 기계학습을 수행하여 상기 생성한 학습모델에 특정 사용자의 의료영상을 입력하여 상기 의료영상을 판독하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 방법.In the medical image reading system, a read-write supervised learning step of generating refined learning data in a normalized form extracted from a read text of a medical image by a medical image reading expert; And
In the medical image reading system, a learning model generation step of generating a learning model by receiving the refined learning data and the medical image generated in the reading and recording supervised learning step and performing machine learning; and
In the machine learning, by continuously updating and receiving refined learning data from the medical image reading text of the medical image reading expert and reflecting it in the generation of the learning model for the medical image, the medical image is input as an input. The refined learning data through a Converged Convolutional Neural Network automatically becomes reinforcement learning data of the fused convolutional neural network,
Medical image through refined artificial intelligence reinforcement learning data generation, characterized in that the medical image of a specific user is input to the generated learning model by performing deep learning machine learning through the fusion convolutional neural network and reading the medical image. How to read.
상기 판독 기록 지도학습 단계는,
상기 의료영상 판독 시스템에서, 상기 의료영상 판독 전문가의 의료영상에 대한 판독문의 파일 위치 주소로부터 데이터를 로딩하는 의료기록 데이터 로딩 단계;
상기 로딩한 의료영상 판독 전문가의 의료영상에 대한 판독문을 신체부위(Body Part) 별로 발견(Findings), 결론(Conclusion) 및 권고(Recommendation)를 포함한 섹션으로 분류하고, 상기 분류한 각 섹션의 평문텍스트로부터 질병관련 단어 또는 어구를 하나의 집합으로 라벨링하는 라벨링 처리 단계;
상기 라벨링한 의료영상 판독 전문가의 의료영상에 대한 판독문에서 질병관련 단어 또는 어구를 추출하고, 상기 추출한 단어 또는 어구로부터 공통된 특징을 추출하는 특징 추출 단계;
상기 추출한 특징들을 규칙화하여 특징 행렬(Feature Matrix)을 생성하는 특징행렬 생성 단계;
임의의 판독문이 주어지면 상기 임의의 판독문을 특징 행렬에 사상(mapping)시켜 특징을 분석하는 특징 분석 단계; 및
상기 분석한 특징만으로 정제된 학습 데이터를 생성하는 정제 데이터 생성 단계;를 포함하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 방법.The method of claim 6,
The reading and recording supervised learning step,
In the medical image reading system, a medical record data loading step of loading data from a file location address of a reading statement for a medical image by the medical image reading expert;
The loaded medical image reading expert's medical image readout is classified into sections including findings, conclusions, and recommendations for each body part, and plain text of each section classified above. A labeling processing step of labeling the disease-related words or phrases from a single set;
A feature extraction step of extracting a disease-related word or phrase from the read text of the medical image by the labeled medical image reading expert, and extracting a common feature from the extracted word or phrase;
A feature matrix generation step of generating a feature matrix by regularizing the extracted features;
A feature analysis step of analyzing features by mapping the random read statements to a feature matrix when an arbitrary read statement is given; And
A method for reading a medical image by generating refined artificial intelligence reinforcement learning data, comprising: generating refined data for generating refined training data based on the analyzed features.
상기 의료기록 데이터 로딩 단계는, 상기 의료영상 판독 전문가의 의료영상에 대한 판독문의 파일 위치 주소로부터 파일의 위치, 전체 파일 개수, 파일의 길이 또는 이들의 조합을 로딩하여 시스템 메모리에 적재시키며,
상기 라벨링 처리 단계는, 상기 시스템 메모리에 적재된 데이터를 신체부위별로 각 섹션으로 라벨링하고, 이를 각각의 집합으로 분류하여 시스템 메모리상에 재배치하며,
상기 특징 추출 단계는, 상기 각 섹션의 평문텍스트와 SNOMED-CT, ICD-11, LOINC, KCD-10을 포함한 표준 의료 용어 데이터 집합과 비교하여 해당 평문텍스트만 선택적으로 추출하고, 상기 추출한 평문텍스트로부터 단어 종류, 서술 형태, 서술 빈도 또는 이들의 조합을 분석하여, 병변의 유무와 관련된 용어의 특징, 병변의 위치 표시와 관련된 용어의 특징, 증상 묘사와 관련된 용어의 특징, 병증의 종류를 나타내는 용어의 특징 또는 이들의 조합을 추출하며,
상기 특징행렬 생성 단계는, 상기 특징 추출 단계에서 추출한 특징들을 데이터 집합으로 하여 새롭게 입력되는 평문텍스트와 사상시킴으로써, 유사 또는 동일 의미의 용어인지 비교 및 분석이 가능한 특징 행렬을 생성하며,
상기 특징 분석 단계는, 정제되지 않은 원본 판독문이 입력되었을 때, 상기 정제되지 않은 원본 판독문을 상기 생성한 특징 행렬에 사상시켜 판독문을 서술하는 평문텍스트에서 병변의 존재 유무, 병변의 위치, 증상 및 병증의 종류를 추출, 분석 및 분류하며,
상기 정제 데이터 생성 단계는, 상기 특징 분석 단계에서 추출, 분석 및 분류한 데이터들로 정제된 학습 데이터를 생성하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 방법.The method of claim 7,
In the loading of medical record data, the location of the file, the total number of files, the length of the file, or a combination thereof are loaded from the file location address of the medical image read by the medical image reading expert and loaded into the system memory,
In the labeling processing step, the data loaded in the system memory is labeled into each section for each body part, classified into respective sets, and rearranged on the system memory,
In the feature extraction step, the plain text of each section is compared with a standard medical term data set including SNOMED-CT, ICD-11, LOINC, and KCD-10 to selectively extract only the corresponding plain text, and words from the extracted plain text Characteristics of terms related to the presence or absence of lesions, characteristics of terms related to indication of the location of lesions, characteristics of terms related to symptom description, and characteristics of terms indicating the type of disease by analyzing the type, narrative form, narrative frequency, or combinations thereof Or extracting a combination thereof,
In the feature matrix generation step, a feature matrix capable of comparing and analyzing whether terms having similar or identical meanings is generated by mapping the features extracted in the feature extraction step as a data set with a newly input plain text text,
In the feature analysis step, when the original unrefined reading is input, the original unrefined reading is mapped to the generated feature matrix to describe the presence or absence of a lesion, the location of the lesion, symptoms and symptoms in the plaintext text describing the reading. Extract, analyze and classify the types of,
In the step of generating the refined data, the method for reading medical images through the generation of refined artificial intelligence reinforcement learning data, characterized in that generating refined learning data from data extracted, analyzed, and classified in the feature analysis step.
상기 학습모델생성 단계는,
상기 의료영상 판독 시스템에서, 역방향 전파에 의해서 가중치가 업데이트되도록 하는 것을 특징으로 하는 정제된 인공지능 강화학습 데이터 생성을 통한 의료영상 판독 방법.The method of claim 6,
The learning model generation step,
In the medical image reading system, a method of reading a medical image through generation of refined artificial intelligence reinforcement learning data, characterized in that the weights are updated by reverse propagation.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180022735A KR102153920B1 (en) | 2018-02-26 | 2018-02-26 | System and method for interpreting medical images through the generation of refined artificial intelligence reinforcement learning data |
| PCT/KR2018/005641 WO2019164064A1 (en) | 2018-02-26 | 2018-05-17 | System for interpreting medical image through generation of refined artificial intelligence reinforcement learning data, and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180022735A KR102153920B1 (en) | 2018-02-26 | 2018-02-26 | System and method for interpreting medical images through the generation of refined artificial intelligence reinforcement learning data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190102399A KR20190102399A (en) | 2019-09-04 |
| KR102153920B1 true KR102153920B1 (en) | 2020-09-09 |
Family
ID=67687142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180022735A KR102153920B1 (en) | 2018-02-26 | 2018-02-26 | System and method for interpreting medical images through the generation of refined artificial intelligence reinforcement learning data |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102153920B1 (en) |
| WO (1) | WO2019164064A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102326740B1 (en) * | 2021-04-30 | 2021-11-17 | (주)제이엘케이 | Method and apparatus for implementing automatic evolution platform through automatic machine learning |
| KR20220069196A (en) | 2020-11-19 | 2022-05-27 | 주식회사 테렌즈 | 3d convolutional neural network for detection of parkinson's disease |
| KR20220069195A (en) | 2020-11-19 | 2022-05-27 | 주식회사 테렌즈 | 3d convolutional neural network for detection of alzheimer's disease |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102140402B1 (en) | 2019-09-05 | 2020-08-03 | 주식회사 루닛 | Apparatus for quality managment of medical image interpretation usnig machine learning, and method thereof |
| KR102325555B1 (en) * | 2019-11-27 | 2021-11-12 | 주식회사 에프앤디파트너스 | Medical image automatic doctor's recommendation device |
| CN111104595B (en) * | 2019-12-16 | 2023-04-07 | 华中科技大学 | Deep reinforcement learning interactive recommendation method and system based on text information |
| KR102183310B1 (en) * | 2020-03-02 | 2020-11-26 | 국민대학교산학협력단 | Deep learning-based professional image interpretation device and method through expertise transplant |
| KR102240932B1 (en) * | 2020-03-23 | 2021-04-15 | 한승호 | Method, apparatus, and system of managing oral health data |
| KR102365287B1 (en) * | 2020-03-31 | 2022-02-18 | 인제대학교 산학협력단 | Method and system for automatically writing obtained brain MRI image techniques |
| KR102426091B1 (en) * | 2020-06-26 | 2022-07-29 | 고려대학교 산학협력단 | System for Refining Pathology Report through Ontology Database Based Deep Learning |
| KR102480134B1 (en) * | 2020-07-15 | 2022-12-22 | 주식회사 루닛 | Apparatus for quality managment of medical image interpretation usnig machine learning, and method thereof |
| KR102213924B1 (en) * | 2020-07-15 | 2021-02-08 | 주식회사 루닛 | Apparatus for quality managment of medical image interpretation usnig machine learning, and method thereof |
| CN112190269B (en) * | 2020-12-04 | 2024-03-12 | 兰州大学 | Depression auxiliary identification model construction method based on multisource brain electric data fusion |
| KR102476957B1 (en) * | 2020-12-11 | 2022-12-12 | 가천대학교 산학협력단 | Apparatus and method for providing hologram based on medical image |
| KR102507315B1 (en) * | 2021-01-19 | 2023-03-08 | 주식회사 루닛 | Apparatus for quality management of medical image interpretation using machine learning, and method thereof |
| WO2022260292A1 (en) * | 2021-06-11 | 2022-12-15 | 주식회사 라인웍스 | Cancer pathology report data extraction method, and system and program for implementing same |
| US20230335261A1 (en) * | 2022-04-19 | 2023-10-19 | Synthesis Health Inc. | Combining natural language understanding and image segmentation to intelligently populate text reports |
| CN116543918B (en) * | 2023-07-04 | 2023-09-22 | 武汉大学人民医院（湖北省人民医院） | Method and device for extracting multi-mode disease features |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8724866B2 (en) * | 2009-09-14 | 2014-05-13 | Siemens Medical Solutions Usa, Inc. | Multi-level contextual learning of data |
| KR101993716B1 (en) * | 2012-09-28 | 2019-06-27 | 삼성전자주식회사 | Apparatus and method for diagnosing lesion using categorized diagnosis model |
| KR20150098119A (en) * | 2014-02-19 | 2015-08-27 | 삼성전자주식회사 | System and method for removing false positive lesion candidate in medical image |
| KR20160065714A (en) * | 2014-11-29 | 2016-06-09 | 주식회사 인피니트헬스케어 | Method of accessing and processing web resource |
| KR20160096460A (en) * | 2015-02-05 | 2016-08-16 | 삼성전자주식회사 | Recognition system based on deep learning including a plurality of classfier and control method thereof |
-
2018
- 2018-02-26 KR KR1020180022735A patent/KR102153920B1/en active IP Right Grant
- 2018-05-17 WO PCT/KR2018/005641 patent/WO2019164064A1/en active Application Filing
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220069196A (en) | 2020-11-19 | 2022-05-27 | 주식회사 테렌즈 | 3d convolutional neural network for detection of parkinson's disease |
| KR20220069195A (en) | 2020-11-19 | 2022-05-27 | 주식회사 테렌즈 | 3d convolutional neural network for detection of alzheimer's disease |
| KR102326740B1 (en) * | 2021-04-30 | 2021-11-17 | (주)제이엘케이 | Method and apparatus for implementing automatic evolution platform through automatic machine learning |
| WO2022231392A1 (en) * | 2021-04-30 | 2022-11-03 | (주)제이엘케이 | Method and device for implementing automatically evolving platform through automatic machine learning |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019164064A1 (en) | 2019-08-29 |
| KR20190102399A (en) | 2019-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102153920B1 (en) | System and method for interpreting medical images through the generation of refined artificial intelligence reinforcement learning data | |
| US10929420B2 (en) | Structured report data from a medical text report | |
| CN111613339B (en) | Similar medical record searching method and system based on deep learning | |
| WO2022227294A1 (en) | Disease risk prediction method and system based on multi-modal fusion | |
| Bashir et al. | BagMOOV: A novel ensemble for heart disease prediction bootstrap aggregation with multi-objective optimized voting | |
| US11610678B2 (en) | Medical diagnostic aid and method | |
| US20200027211A1 (en) | Knockout Autoencoder for Detecting Anomalies in Biomedical Images | |
| CN112151183A (en) | Entity identification method of Chinese electronic medical record based on Lattice LSTM model | |
| US11527312B2 (en) | Clinical report retrieval and/or comparison | |
| CN115859914A (en) | Diagnosis ICD automatic coding method and system based on medical history semantic understanding | |
| CN111145903A (en) | Method and device for acquiring vertigo inquiry text, electronic equipment and inquiry system | |
| CN115223715A (en) | Cancer prediction method and system based on multi-modal information fusion | |
| CN116452851A (en) | Training method and device for disease classification model, terminal and readable storage medium | |
| CN112562809A (en) | Method and system for auxiliary diagnosis based on electronic medical record text | |
| CN116719840A (en) | Medical information pushing method based on post-medical-record structured processing | |
| CN116611071A (en) | Function-level vulnerability detection method based on multiple modes | |
| CN115841861A (en) | Similar medical record recommendation method and system | |
| US11809826B2 (en) | Assertion detection in multi-labelled clinical text using scope localization | |
| CN113658688B (en) | Clinical decision support method based on word segmentation-free deep learning | |
| CN114429822A (en) | Medical record quality inspection method and device and storage medium | |
| CN114191665A (en) | Method and device for classifying man-machine asynchronous phenomena in mechanical ventilation process | |
| CN113688854A (en) | Data processing method and device and computing equipment | |
| CN113012774A (en) | Automatic medical record encoding method and device, electronic equipment and storage medium | |
| Dua et al. | Classifying Pulmonary Embolism Cases in Chest CT Scans Using VGG16 and XGBoost | |
| US20240046109A1 (en) | Apparatus and methods for expanding clinical cohorts for improved efficacy of supervised learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |