KR102261408B1 - The method of providing disease information using medical image - Google Patents

The method of providing disease information using medical image Download PDF

Info

Publication number
KR102261408B1
KR102261408B1 KR1020190093847A KR20190093847A KR102261408B1 KR 102261408 B1 KR102261408 B1 KR 102261408B1 KR 1020190093847 A KR1020190093847 A KR 1020190093847A KR 20190093847 A KR20190093847 A KR 20190093847A KR 102261408 B1 KR102261408 B1 KR 102261408B1
Authority
KR
South Korea
Prior art keywords
disease
medical
model
medical image
unit
Prior art date
Application number
KR1020190093847A
Other languages
Korean (ko)
Other versions
KR20210016171A (en
Inventor
임윤정
황영배
이주리
박준석
Original Assignee
동국대학교 산학협력단
한국전자기술연구원
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 한국전자기술연구원, 순천향대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020190093847A priority Critical patent/KR102261408B1/en
Publication of KR20210016171A publication Critical patent/KR20210016171A/en
Application granted granted Critical
Publication of KR102261408B1 publication Critical patent/KR102261408B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법은 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 단계 및 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계가 포함될 수 있다.A method for providing disease information using a medical image according to an embodiment of the present invention includes the steps of determining a disease prediction model based on medical data received from a plurality of medical institution servers, and a disease on a medical image input using the disease prediction model. A step in which information is derived may be included.

Description

의료영상을 이용한 질환정보 제공 방법{THE METHOD OF PROVIDING DISEASE INFORMATION USING MEDICAL IMAGE}Method of providing disease information using medical images {THE METHOD OF PROVIDING DISEASE INFORMATION USING MEDICAL IMAGE}

본 발명은 의료영상을 이용한 질환정보 제공 방법에 관한 것으로, 더욱 상세하게는 캡슐내시경 등으로부터 획득된 의료영상을 판독하여 진단을 수행하는 전문의료기관(Ex. 병원 등) 각각의 의료데이터를 Domain Adaptation 기법을 이용하여 각각의 데이터베이스의 일치성을 높인 후에 딥러닝 알고리즘을 이용하여 병변을 추출/인식하고 질환의 의심의 여지가 있는 이미지를 사용자(Ex. 의사 등)에게 제공하기 위한 의료영상을 이용한 질환정보 제공 방법에 관한 것이다.The present invention relates to a method of providing disease information using a medical image, and more particularly, a domain adaptation technique for each medical data of a specialized medical institution (Ex. hospital, etc.) that reads a medical image obtained from a capsule endoscope and performs a diagnosis. disease information using medical images to extract/recognize lesions using a deep learning algorithm and provide images with suspicion of disease to users (Ex. doctors, etc.) after increasing the consistency of each database using how to provide it.

컴퓨터 보조 진단 시스템(CAD: computer aided diagnosis)이란 의료영상을 분석한 결과에 따라 의료영상의 소정의 부위에 진단에 관련된 내용의 표시를 통해 의사의 진단에 도움을 줄 수 있는 시스템을 지칭한다.Computer-aided diagnosis (CAD) refers to a system that can help a doctor in diagnosis by displaying diagnosis-related contents on a predetermined part of a medical image according to a result of analyzing a medical image.

최근에는 컴퓨터 보조 진단 시스템 상에서 여러 가지 의학적인 진단 문제를 해결하기 위해서 딥러닝(deep-learning) 알고리즘이 활용되어 복잡한 이미징 및 해부학적 영상을 분석하여 진단에 활용되고 있다.Recently, a deep-learning algorithm is used to solve various medical diagnostic problems on a computer-aided diagnosis system, and is used for diagnosis by analyzing complex imaging and anatomical images.

다만, 딥러닝 알고리즘을 이용한 학습을 통해 진단모델을 생성함에 있어서 여러 전문의료기관들의 의료영상 데이터들을 모두 종합하여 단일한 학습을 수행하는 방향으로 기술이 개발되고 있고, 각 전문의료기관 별 의료영상 데이터에 기초하여 개별적인 진단모델을 학습시키고 각 모델에 대하여 교차검증(cross-validation)을 통해 최적의 진단모델을 결정할 수 있도록 하기 위한 기술은 개발된 바 없다.However, in creating a diagnostic model through learning using a deep learning algorithm, technology is being developed in the direction of performing a single learning by synthesizing all medical image data from various specialized medical institutions, and based on the medical image data for each specialized medical institution. Therefore, no technology has been developed to train individual diagnostic models and to determine the optimal diagnostic model through cross-validation for each model.

또한, 의료영상 중에서도 내시경 영상은 신체 내부 장기를 관찰함으로써 환자의 상태를 진단하기 위해 다양하게 활용되고 있는데, 일반내시경 검진의 경우 수면 진정(sedation)을 하거나 비 수면으로 진행할 경우 내시경이 식도를 통해 신체 내부로 투입됨에 따라 발생되는 고통 및 불쾌감으로 인해 침습적인 일반내시경 검진보다는 알약 형태의 내시경을 신체 내부에 투입하여 무선으로 영상을 수신할 수 있는 캡슐내시경 영상을 이용한 진단이 도입되어 임상에 활용되고 있다.In addition, among medical images, endoscopic images are used in various ways to diagnose a patient's condition by observing internal organs. In the case of general endoscopic examination, when performing sleep sedation or non-sleep, the endoscope passes through the body through the esophagus. Due to the pain and discomfort caused by being put inside, diagnosis using capsule endoscopy images, which can receive images wirelessly by putting a pill-type endoscope inside the body, rather than invasive general endoscopic examination, has been introduced and is being used in clinical practice. .

캡슐내시경은 구강을 통해 삼켜짐에 따라 입에 항문까지 전 소화기관 (식도, 위, 소장 및 대장)까지 영상촬영이 가능한데, 전술한 일반내시경(Ex. 위 내시경, 대장 내시경 등)의 경우 전체 소장의 관찰이 불가능하므로 소장에서의 출혈이 의심되는 경우에는 캡슐내시경이 일차적으로 권고되는 검사방법이다. 소장 캡슐내시경은 적게는 3시간에서 많게는 8시간에 이르는 상당한 시간 동안 신체 내부를 이동하면서 소장 영상을 촬영하게 되는데, 이 시간 동안 획득된 5만 이상의 영상을 확인하여 오류 없이 병변을 검출하고 소장 질환을 진단하는 일은 현실적으로 바쁜 내시경 전문의에게는 의료의 효율성이 떨어지는 어려운 작업이다.As the capsule endoscope is swallowed through the oral cavity, imaging is possible from the mouth to the anus to the entire digestive system (esophagus, stomach, small intestine and large intestine). Capsule endoscopy is the first recommended test method when bleeding from the small intestine is suspected because it is impossible to observe. Small intestine capsule endoscopy takes images of the small intestine while moving inside the body for a considerable period of time ranging from 3 hours to 8 hours. During this time, more than 50,000 images obtained are checked to detect lesions without errors and detect diseases of the small intestine. Diagnosis is a difficult task in which medical efficiency is low for a busy endoscopist.

이에 따라, 전술한 딥러닝 알고리즘을 이용하여 캡슐내시경으로부터 획득된 영상에 대하여 출혈부위나 혈관, 궤양, 용종, 종양 등이 있다고 판단되는 의미 있는 이미지를 추출해서 판독 시간을 줄여주는 기술에 대한 개발은 필수적으로 요구되고 있다.Accordingly, the development of a technology that reduces the reading time by extracting a meaningful image that is judged to have bleeding sites, blood vessels, ulcers, polyps, tumors, etc. from the image obtained from the capsule endoscope using the deep learning algorithm described above is imperatively required.

대한민국 등록특허공보 제10-0900533호 (공개일자: 2009.05.26)Republic of Korea Patent Publication No. 10-0900533 (published date: 2009.05.26)

본 발명은 전술한 문제점에 대한 일 대응방안으로써, 의료기관 별로 획득된 의료데이터에 기초하여 각각 개별적으로 예측모델을 학습시키고, 학습 결과에 대하여 교차검증을 통해 신뢰성 있는 예측모델을 질환예측모델로 결정함으로써 입력된 의료영상에 대하여 병변을 인식하고 질환 분류할 수 있는 질환정보 제공 방법을 제공하고자 함에 그 목적이 있다.The present invention is a countermeasure to the above-described problem, by individually learning a predictive model based on medical data obtained for each medical institution, and determining a reliable predictive model as a disease predicting model through cross-validation of the learning results. An object of the present invention is to provide a method for providing disease information that can recognize lesions and classify diseases with respect to input medical images.

또한, 쌍(pair)이 이루어지지 않는 의료영상에 대하여 학습이 가능한 Domain adaptation 기법을 이용함으로써 특성이 다른 의료영상 간에도 학습이 수행될 수 있도록 함에 그 목적이 있다.Another object of the present invention is to enable learning to be performed even between medical images having different characteristics by using a domain adaptation technique capable of learning with respect to medical images that are not paired.

본 발명의 일 실시 예로써, 의료영상을 이용한 질환정보 제공 방법이 제공될 수 있다.As an embodiment of the present invention, a method for providing disease information using a medical image may be provided.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법은 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 단계 및 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계가 포함될 수 있다.A method for providing disease information using a medical image according to an embodiment of the present invention includes the steps of determining a disease prediction model based on medical data received from a plurality of medical institution servers, and a disease on a medical image input using the disease prediction model. A step in which information is derived may be included.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 단계에는, 복수의 의료기관 서버로부터 의료기관 별 의료데이터를 수신하는 단계, 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 단계 및 학습결과에 기초하여 질환예측모델이 결정되는 단계가 포함될 수 있다.In the method for providing disease information using a medical image according to an embodiment of the present invention, in the step of determining a disease prediction model based on medical data received from a plurality of medical institution servers, medical data for each medical institution is provided from the plurality of medical institution servers. The receiving step may include a step of learning a predictive model for each medical institution using a deep learning algorithm with respect to the received medical data, and a step of determining a disease prediction model based on the learning result.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 의료기관 별 예측모델이 학습되는 단계에는, 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터를 생성하는 단계 및 학습데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 단계가 더 포함되고, 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 어느 하나일 수 있다.In the step of learning the predictive model for each medical institution of the method for providing disease information using a medical image according to an embodiment of the present invention, the step of generating learning data using domain adaptation for medical data and a deep learning algorithm for the learning data The step of learning a predictive model for each medical institution is further included using , and the deep learning algorithm may be at least one of CNN, RNN, and LSTM.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 학습결과에 기초하여 질환예측모델이 결정되는 단계에서는, 학습된 의료기관 별 예측모델 중에서 병변 인식도에 기초하여 질환예측모델이 결정될 수 있다.In the step of determining the disease prediction model based on the learning result of the method for providing disease information using a medical image according to an embodiment of the present invention, the disease prediction model may be determined based on lesion recognition among the learned prediction models for each medical institution. .

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 학습결과에 기초하여 질환예측모델이 결정되는 단계에서는, 교차 검증(cross-validation)을 이용하여 예측모델 별 병변 인식도가 평가됨으로써 질환예측모델이 결정될 수 있다.In the step of determining the disease prediction model based on the learning result of the method for providing disease information using a medical image according to an embodiment of the present invention, the lesion recognition level for each predictive model is evaluated using cross-validation, so that the disease A predictive model may be determined.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 단계에는, 사용자 단말로부터 인가된 사용자신호 및 복수의 의료기관 서버로부터 수신한 의심질환데이터 중 적어도 어느 하나에 기초하여 의심질환이 결정되는 단계가 더 포함되고, 학습결과에 기초하여 질환예측모델이 결정되는 단계에서는 학습된 의료기관 별 예측모델 중에서 결정된 의심질환에 대한 병변 인식도에 기초하여 질환예측모델이 결정될 수 있다.In the step of determining a disease prediction model based on medical data received from a plurality of medical institution servers of the method for providing disease information using a medical image according to an embodiment of the present invention, a user signal applied from a user terminal and a plurality of medical institution servers The step of determining the suspected disease based on at least any one of the suspicious disease data received from the hospital is further included, and in the step of determining the disease predictive model based on the learning result, the lesion for the suspected disease determined from the learned predictive models for each medical institution. A disease prediction model may be determined based on the recognition level.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계에는, 사용자 단말로부터 의료영상이 입력되는 단계, 질환예측모델을 이용하여 의료영상 내 병변이 인식되는 단계 및 인식된 병변에 기초하여 질환 클래스를 분류하는 단계가 포함될 수 있다.In the step of deriving the disease information on the input medical image using the disease prediction model of the method for providing disease information using a medical image according to an embodiment of the present invention, the step of inputting the medical image from the user terminal, the disease prediction model A step of recognizing a lesion in a medical image by using , and a step of classifying a disease class based on the recognized lesion may be included.

본 발명의 일 실시 예로써, 의료영상을 이용한 질환정보 제공 시스템이 제공될 수 있다.As an embodiment of the present invention, a system for providing disease information using a medical image may be provided.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템은 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 모델결정부 및 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 질환분석부가 포함될 수 있다.A system for providing disease information using a medical image according to an embodiment of the present invention includes a model determiner that determines a disease prediction model based on medical data received from a plurality of medical institution servers, and a medical image input using the disease prediction model. A disease analysis unit from which disease information is derived may be included.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 모델결정부에는 복수의 의료기관 서버로부터 의료기관 별 의료데이터를 수신하는 데이터수신부 및 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 모델학습부가 포함되고, 질환예측모델은 학습결과에 기초하여 결정될 수 있다.In the model determining unit of the system for providing disease information using a medical image according to an embodiment of the present invention, a data receiving unit for receiving medical data for each medical institution from a plurality of medical institution servers and a deep learning algorithm for the received medical data are used for each medical institution A model learning unit for learning the predictive model is included, and the disease predictive model may be determined based on the learning result.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템에 있어서, 모델학습부에서는 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터를 생성하고, 생성된 학습데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되며, 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 어느 하나일 수 있다.In the system for providing disease information using a medical image according to an embodiment of the present invention, the model learning unit generates training data using domain adaptation for medical data, and uses a deep learning algorithm for the generated training data. A predictive model for each medical institution is trained, and the deep learning algorithm may be at least one of CNN, RNN, and LSTM.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 모델결정부에서는 학습된 의료기관 별 예측모델 중에서 병변 인식도에 기초하여 질환예측모델이 결정될 수 있다.In the model determining unit of the system for providing disease information using a medical image according to an embodiment of the present invention, a disease prediction model may be determined based on the lesion recognition degree among the learned prediction models for each medical institution.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 모델결정부에서는 교차 검증(cross-validation)을 이용하여 예측모델 별 병변 인식도가 평가됨으로써 질환예측모델이 결정될 수 있다.In the model determining unit of the system for providing disease information using a medical image according to an embodiment of the present invention, the disease prediction model may be determined by evaluating the lesion recognition level for each prediction model using cross-validation.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 모델결정부에는 사용자 단말로부터 인가된 사용자신호 및 복수의 의료기관 서버로부터 수신한 의심질환데이터 중 적어도 어느 하나에 기초하여 의심질환이 결정되는 의심질환결정부가 더 포함되고, 질환예측모델은 학습된 의료기관 별 예측모델 중에서 결정된 의심질환에 대한 병변 인식도에 기초하여 결정될 수 있다.In the model determining unit of the system for providing disease information using a medical image according to an embodiment of the present invention, a suspected disease is determined based on at least one of a user signal applied from a user terminal and data about a suspected disease received from a plurality of medical institution servers. A suspected disease determination unit is further included, and the disease prediction model may be determined based on the lesion recognition level for the suspected disease determined from among the learned prediction models for each medical institution.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 질환분석부에는 사용자 단말로부터 의료영상이 입력되는 영상입력부, 질환예측모델을 이용하여 의료영상 내 병변이 인식되는 병변인식부 및 인식된 병변에 기초하여 질환 클래스를 분류하는 질환분류부가 포함될 수 있다.In the disease analysis unit of the system for providing disease information using a medical image according to an embodiment of the present invention, an image input unit for receiving a medical image from a user terminal, a lesion recognition unit for recognizing a lesion in a medical image using a disease prediction model, and recognition A disease classification unit for classifying disease classes based on the acquired lesions may be included.

본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.As an embodiment of the present invention, a computer-readable recording medium in which a program for implementing the above-described method is recorded may be provided.

본 발명의 일 실시 예에 따르면, 의료기관 별로 획득된 의료데이터에 기초하여 각각 개별적으로 예측모델을 학습시키고, 학습 결과에 대하여 교차검증을 통해 신뢰성 있는 예측모델을 질환예측모델로 결정함으로써 입력된 의료영상에 대하여 정확하게 병변을 인식하고 질환 분류할 수 있는 효과가 있다.According to an embodiment of the present invention, a medical image input by individually learning a predictive model based on medical data obtained for each medical institution, and determining a reliable predictive model as a disease predicting model through cross-validation of the learning result It has the effect of accurately recognizing lesions and classifying diseases.

또한, 쌍이 이루어지지 않는 의료영상들에 대해서도 학습이 가능한 Domain adaptation을 이용하여 특성이 다른 의료영상들 간에 학습이 수행될 수 있는 장점이 있다.In addition, there is an advantage that learning can be performed between medical images having different characteristics by using domain adaptation in which learning is possible even for unpaired medical images.

또한, 캡슐내시경을 통해 얻어진 수만 장의 영상들 중에서 병변의 의심이 있다고 판단되는 이미지를 판별하여 사용자에게 제공함으로써 판독 시간을 단축시킬 수 있는 효과가 있다.In addition, there is an effect of reducing the reading time by discriminating an image determined to be suspicious of a lesion among tens of thousands of images obtained through the capsule endoscopy and providing it to the user.

도 1은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 질환예측모델이 결정되는 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템을 나타낸 블록도이다.
도 4는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 질환예측모델이 결정되는 과정을 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 의심질환을 고려하여 질환예측모델이 결정되는 과정을 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공시스템의 질환분석부를 나타낸 블록도이다.
도 7은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템을 나타낸 예시도이다.
도 8은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, Domain adaptation에 관한 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 사용자에게 제공되는 질환정보에 관한 예시도이다.1 is a flowchart illustrating a method for providing disease information using a medical image according to an embodiment of the present invention.
2 is a flowchart illustrating a method for determining a disease prediction model in a method for providing disease information using a medical image according to an embodiment of the present invention.
3 is a block diagram illustrating a system for providing disease information using a medical image according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a process in which a disease prediction model is determined in a method for providing disease information using a medical image according to an embodiment of the present invention.
5 is an exemplary diagram illustrating a process in which a disease prediction model is determined in consideration of a suspected disease in the method for providing disease information using a medical image according to an embodiment of the present invention.
6 is a block diagram illustrating a disease analysis unit of a system for providing disease information using a medical image according to an embodiment of the present invention.
7 is an exemplary diagram illustrating a system for providing disease information using a medical image according to an embodiment of the present invention.
8 is a diagram illustrating domain adaptation in a method for providing disease information using a medical image according to an embodiment of the present invention.
9 is an exemplary diagram of disease information provided to a user in a method for providing disease information using a medical image according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily carry out the present invention. However, the present invention may be embodied in various different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.Terms used in this specification will be briefly described, and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as currently widely used general terms as possible while considering the functions in the present invention, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the term used in the present invention should be defined based on the meaning of the term and the overall content of the present invention, rather than the name of a simple term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다. In the entire specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. . In addition, throughout the specification, when a part is "connected" with another part, this includes not only the case of "directly connected" but also the case of "connecting with another element in the middle".

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일 실시 예로써, 의료영상을 이용한 질환정보 제공 방법이 제공될 수 있다. 또한, 상기 의료영상을 이용한 질환정보 제공 방법은 후술하는 의료영상을 이용한 질환정보 제공 시스템(10)에 의해서 수행될 수 있으며, 이하에서는 후술하는 의료영상을 이용한 질환정보 제공 시스템(10)에 의해 수행되는 의료영상을 이용한 질환정보 제공 방법에 관하여 설명한다.As an embodiment of the present invention, a method for providing disease information using a medical image may be provided. In addition, the method of providing disease information using a medical image may be performed by the disease information providing system 10 using a medical image to be described later, and is performed by the disease information providing system 10 using a medical image to be described below. A method of providing disease information using medical images is described.

본 명세서에서 의료영상은 대상체(Ex. 인체 등)의 일부 혹은 기관 등을 촬영하거나 센싱함으로써 획득된 영상 혹은 이미지를 지칭한다. 상기 의료영상에는 CT영상, MRI영상, 초음파 영상 등 다양한 촬영방식을 이용하여 획득된 영상이 모두 포함될 수 있다. 바람직하게는 상기 의료영상은 캡슐내시경 영상에 해당될 수 있다. 캡슐내시경 영상은 알약 형태의 내시경을 신체 내부에 투입하여 촬영됨으로써 획득된 영상을 지칭하는 것으로, 상기 캡슐내시경 영상을 통해 인체의 소화기관, 소장 및 대장에 관련된 영상이 촬영되어 획득될 수 있다.In the present specification, a medical image refers to an image or image obtained by photographing or sensing a part or organ of an object (eg, a human body, etc.). The medical image may include all images obtained using various imaging methods such as a CT image, an MRI image, and an ultrasound image. Preferably, the medical image may correspond to a capsule endoscopy image. The capsule endoscopy image refers to an image obtained by injecting an endoscope in the form of a pill into the body and photographing, and through the capsule endoscope image, images related to the digestive system, small intestine, and large intestine of the human body may be captured and obtained.

도 1은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법을 나타낸 순서도이다.1 is a flowchart illustrating a method for providing disease information using a medical image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법은 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델(130)이 결정되는 단계(S100) 및 질환예측모델(130)을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계(S200)가 포함될 수 있다.Referring to FIG. 1 , in the method for providing disease information using a medical image according to an embodiment of the present invention, the disease prediction model 130 is determined based on medical data received from a plurality of medical institution servers ( S100 ) and the disease A step (S200) of deriving disease information on the inputted medical image using the predictive model 130 may be included.

상기 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델(130)이 결정되는 단계(S100)에서 의료기관은 각종 병원, 의료원, 검진소 등 질병/질환의 진단 및 치료가 수행되는 곳에 해당될 수 있다. 또한, 상기 의료데이터는 각 의료기관에서 진단 및 치료가 수행됨에 따라 획득된 데이터를 지칭하는 것으로, 상기 의료데이터에는 의료영상 및 진단결과를 비롯한 각종 진단 관련 데이터들이 포함될 수 있다.In the step S100 in which the disease prediction model 130 is determined based on the medical data received from the plurality of medical institution servers, the medical institution corresponds to a place where diagnosis and treatment of diseases/diseases are performed, such as various hospitals, medical centers, and examination centers. can In addition, the medical data refers to data obtained as diagnosis and treatment are performed at each medical institution, and the medical data may include various types of diagnosis-related data including medical images and diagnosis results.

도 2는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 질환예측모델(130)이 결정되는 방법(S100)을 나타낸 순서도이고, 도 4는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 질환예측모델(130)이 결정되는 과정을 나타낸 예시도이다.2 is a flowchart illustrating a method (S100) for determining a disease prediction model 130 in a method for providing disease information using a medical image according to an embodiment of the present invention, and FIG. 4 is an embodiment of the present invention. In the method of providing disease information using a medical image according to the present invention, it is an exemplary diagram illustrating a process in which the disease prediction model 130 is determined.

도 2 및 도 4를 참조하면, 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 복수의 의료기관 서버(21, 22, 23, ....)로부터 수신한 의료데이터에 기초하여 질환예측모델(130)이 결정되는 단계(S100)에는, 복수의 의료기관 서버로부터 의료기관 별 의료데이터(31, 32, 33, ....)를 수신하는 단계(S110), 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델(121, 122, 123, ....)이 학습되는 단계(S120) 및 학습결과에 기초하여 질환예측모델(130)이 결정되는 단계(S130)가 포함될 수 있다.2 and 4, in the method for providing disease information using a medical image according to an embodiment of the present invention, the medical data received from a plurality of medical institution servers 21, 22, 23, .... In the step (S100) in which the disease prediction model 130 is determined based on the step (S100), receiving medical data (31, 32, 33, ...) for each medical institution from a plurality of medical institution servers (S110), the received medical data A step (S120) of learning the prediction models (121, 122, 123, ...) for each medical institution using a deep learning algorithm with respect to (S120) and a step (S130) of determining the disease prediction model 130 based on the learning result (S130) may be included.

즉, 상기 S110 단계는 후술하는 의료영상을 이용한 질환정보 제공 시스템의 데이터수신부에서 수행되며, 상기 데이터수신부에서는 복수의 의료기관 서버로부터 의료데이터를 각각 수신하여 데이터수신부의 저장부에 저장할 수 있다. 도 4에 도시된 바와 같이 제 1 의료기관 서버(21)로부터 수신된 제 1 의료데이터(31)는 데이터수신부의 제 1 저장부에 저장될 수 있다. 마찬가지로 제 2 의료기관 서버(22), 제 3 의료기관 서버(23) 등으로부터 수신된 제 2 의료데이터(32), 제 3 의료데이터(33)는 각각 제 2 저장부(112) 및 제 3 저장부(113)에 저장될 수 있다.That is, the step S110 is performed by the data receiving unit of the system for providing disease information using a medical image to be described later, and the data receiving unit may receive medical data from a plurality of medical institution servers, respectively, and store it in the storage unit of the data receiving unit. As shown in FIG. 4 , the first medical data 31 received from the first medical institution server 21 may be stored in the first storage unit of the data receiving unit. Similarly, the second medical data 32 and the third medical data 33 received from the second medical institution server 22, the third medical institution server 23, and the like are, respectively, the second storage unit 112 and the third storage unit ( 113) can be stored.

다음으로, 상기 S120 과정은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 모델학습부에서 수행될 수 있다. 도 4를 참조하면, 각각의 의료기관 서버로부터 수신된 의료데이터에 기초하여 예측모델들이 개별적으로 학습됨으로써 생성될 수 있다. 즉, 제 1 저장부(111)에 저장된 제 1 의료기관 서버(21)로부터 수신한 제 1 의료데이터(31)에 기초하여 제 1 예측모델이 학습되어 생성될 수 있고, 제 2 예측모델 및 제 3 예측모델 등 다른 예측모델들도 마찬가지로 의료기관 별로 학습될 수 있다. 다시 말하면, 제 1 의료기관 서버(21)로부터 수신한 의료영상과 진단결과 간의 상관관계에 대하여 딥러닝 알고리즘에 따라 학습이 수행될 수 있고, 학습된 결과에 따라 제 1 예측모델(121)이 생성될 수 있다.Next, the process S120 may be performed by the model learning unit of the system for providing disease information using a medical image according to an embodiment of the present invention. Referring to FIG. 4 , prediction models may be generated by individually learning based on medical data received from each medical institution server. That is, the first predictive model may be learned and generated based on the first medical data 31 received from the first medical institution server 21 stored in the first storage unit 111 , and the second predictive model and the third predictive model Other predictive models, such as predictive models, can also be trained for each medical institution. In other words, learning may be performed according to a deep learning algorithm on the correlation between the medical image received from the first medical institution server 21 and the diagnosis result, and the first predictive model 121 may be generated according to the learned result. can

도 8은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, Domain adaptation에 관한 예시도이다.8 is a diagram illustrating domain adaptation in a method for providing disease information using a medical image according to an embodiment of the present invention.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 의료기관 별 예측모델이 학습되는 단계에는, 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터를 생성하는 단계 및 학습데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 단계가 더 포함되고, 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 어느 하나일 수 있다.In the step of learning the predictive model for each medical institution of the method for providing disease information using a medical image according to an embodiment of the present invention, the step of generating learning data using domain adaptation for medical data and a deep learning algorithm for the learning data The step of learning a predictive model for each medical institution is further included using , and the deep learning algorithm may be at least one of CNN, RNN, and LSTM.

Domain adaptation이란 하나의 데이터 분포(source domain)에서 학습이 수행되고, 다른 데이터 분포(target domain)상에 적용하여 일반화시키는 방법(기법)을 의미하는 것으로, 전이학습(Transfer learning)의 일종이다.Domain adaptation refers to a method (technique) in which learning is performed in one data distribution (source domain) and generalized by applying it to another data distribution (target domain), and is a type of transfer learning.

즉, 도 8의 (a)에 도시된 바와 같이 일반적으로 딥러닝 모델에서는 입력과 결과의 매칭 쌍(xi,yi)이 존재하는 데이터로 학습이 수행될 수 있고, 입력과 결과에 관한 매칭 쌍이 존재하지 않는 경우에는 학습이 어렵다. 다만, 상기 Domain adaptation 기법에서는 도 8의 (b)에 도시된 바와 같이 입력(X)과 결과(Y)의 매칭 쌍이 존재하지 않더라도 데이터 들 간의 연결고리를 찾아 학습이 수행될 수 있다. 상기와 같이 Domain adaptation 기법을 이용함으로써 특성이 다른 영상들 간에도 학습이 원활하게 수행될 수 있다. 다시 말하면, Domain adaptation은 서로 다른 도메인을 가진 데이터들 간의 연결고리를 찾아줌으로써 서로 특성이 다른 데이터로도 학습을 할 수 있도록 하는 DB구축 방법에 해당될 수 있다.That is, as shown in (a) of FIG. 8, in general, in a deep learning model, learning can be performed with data in which a matching pair (x i , y i ) of an input and a result exists, and matching between the input and the result Learning is difficult when pairs do not exist. However, in the domain adaptation scheme, as shown in FIG. 8(b) , even if a matching pair of the input X and the result Y does not exist, learning may be performed by finding a link between data. As described above, by using the domain adaptation technique, learning can be smoothly performed even between images having different characteristics. In other words, domain adaptation may correspond to a DB construction method that enables learning even with data having different characteristics by finding a link between data having different domains.

이와 같이, 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터가 생성될 수 있고, 상기 생성된 학습데이터에 대하여 후술하는 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델의 학습이 수행될 수 있다.In this way, learning data may be generated using domain adaptation for medical data, and learning of a predictive model for each medical institution may be performed on the generated training data using a deep learning algorithm to be described later.

상기 Domain adaptation 기법을 위해서는 생성적 적대 신경망(GAN: Generative adversarial network), CycleGAN, Domain adversarial neural network 등이 이용(활용)될 수 있다.For the domain adaptation technique, a generative adversarial network (GAN), CycleGAN, a domain adversarial neural network, etc. may be used (utilized).

전술한 바와 같이, Domain adapation을 이용함으로써 서로 다른 캡슐내시경 간의 학습이 수행될 수 있으며, 비슷한 증상을 보이는 영상에 대하여 의사들 간의 서로 다른 병변 진단결과에 관계없이 학습이 수행될 수 있는 효과가 있다.As described above, by using domain adapation, learning between different capsule endoscopes can be performed, and there is an effect that learning can be performed on images showing similar symptoms regardless of different lesion diagnosis results between doctors.

상기 딥러닝 알고리즘에는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 및 LSTM(Long Short-Term Memomory) 중 어느 하나에 해당될 수 있다. 뿐만 아니라 상기 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 하나 이상이 결합되어 생성될 수 있다. 즉, 상기 딥러닝 알고리즘은 전술한 예시들에 제한되는 것은 아니고 다양한 알고리즘이 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 적용될 수 있다.The deep learning algorithm may correspond to any one of a Convolutional Neural Network (CNN), a Recurrent Neural Network (RNN), and a Long Short-Term Memory (LSTM). In addition, the deep learning algorithm may be generated by combining at least one of CNN, RNN, and LSTM. That is, the deep learning algorithm is not limited to the above-described examples, and various algorithms may be applied to the method for providing disease information using a medical image according to an embodiment of the present invention.

다음으로, 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 학습결과에 기초하여 질환예측모델(130)이 결정되는 단계(S130)에서는, 학습된 의료기관 별 예측모델 중에서 병변 인식도에 기초하여 질환예측모델(130)이 결정될 수 있다.Next, in the step (S130) of determining the disease prediction model 130 based on the learning result of the method for providing disease information using a medical image according to an embodiment of the present invention, the lesion recognition degree is determined from among the learned prediction models for each medical institution. Based on the disease prediction model 130 may be determined.

상기 병변 인식도는 의료영상 내에서 병변(lesion)을 인식하는 정도를 나타내기 위한 것으로, 상기 병변 인식도에는 병변 인식률이 포함될 수 있고, 상기 병변 인식률을 수치화한 지수에 해당될 수 있다. 또한, 이외에도 민감도(sensitivity), 정확도(accurarcy) 및 특이도(specificity) 등의 지수가 질환예측모델(130)을 결정하기 위한 요소로 병변 인식도와 함께 사용될 수 있다.The lesion recognition degree is for indicating a degree of recognizing a lesion in a medical image, and the lesion recognition degree may include a lesion recognition rate and may correspond to an index obtained by quantifying the lesion recognition rate. In addition, indices such as sensitivity, accuracy, and specificity may be used together with lesion recognition as a factor for determining the disease prediction model 130 .

도 4를 참조하면, 제 1 의료기관 서버(21)로부터 수신한 의료데이터(31)에 기초하여 학습된 제 1 예측모델(121), 제 2 의료기관 서버(22)로부터 수신한 의료데이터(32)에 기초하여 학습된 제 2 예측모델(122), 제 3 의료기관 서버(23)로부터 수신한 의료데이터(33)에 기초하여 학습된 제 3 예측모델(123) 등의 예측모델들의 학습결과에 따라 획득된 병변 인식도에 기초하여 병변 인식도가 가장 높은 예측모델 또는 소정의 기준 병변 인식도를 만족하는 예측모델이 상기 질환예측모델(130)로 결정될 수 있다. 예를 들면, 제 1 예측모델(121)의 병변 인식도가 70이고, 나머지 예측모델(Ex. 제 2 예측모델, 제 3 예측모델, .. , 제 n 예측모델)의 병변 인식도가 70보다 낮은 수치인 경우에는 제 1 예측모델(121)이 질환예측모델(130)로 결정될 수 있다.Referring to FIG. 4 , the first predictive model 121 learned based on the medical data 31 received from the first medical institution server 21 , and the medical data 32 received from the second medical institution server 22 . Acquired according to the learning results of predictive models such as the second predictive model 122 learned based on the third predictive model 123 learned based on the medical data 33 received from the third medical institution server 23 Based on the lesion recognition level, a predictive model having the highest lesion recognition level or a predictive model satisfying a predetermined reference lesion recognition level may be determined as the disease prediction model 130 . For example, the lesion recognition degree of the first predictive model 121 is 70, and the lesion recognition degree of the remaining predictive models (Ex. the second predictive model, the third predictive model, .. , the nth predictive model) is lower than 70. In the case of , the first prediction model 121 may be determined as the disease prediction model 130 .

또한, 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 학습결과에 기초하여 질환예측모델(130)이 결정되는 단계(S130)에서는, 교차 검증(cross-validation)을 이용하여 예측모델 별 병변 인식도가 평가됨으로써 질환예측모델(130)이 결정될 수 있다.In addition, in the step S130 of determining the disease prediction model 130 based on the learning result of the method for providing disease information using a medical image according to an embodiment of the present invention, the prediction is made using cross-validation. By evaluating the lesion recognition level for each model, the disease prediction model 130 may be determined.

상기 교차검증은 데이터 분석의 타당성을 검증하기 위한 방법 중 하나로, 해석에 사용되는 데이터인 트레이닝 세트와 테스트에 사용되는 데이터인 테스트 세트로 복수 회 구분하여 각각 테스트함으로써 성능의 평가가 수행될 수 있다.The cross-validation is one of the methods for verifying the validity of data analysis, and performance evaluation may be performed by dividing the data into a training set, which is data used for analysis, and a test set, which is data used for testing, a plurality of times and each test.

즉, 의료기관 별 의료데이터에 대하여 개별적으로 학습된 예측모델들 중에서 어떠한 예측모델이 가장 신뢰성이 있는지를 전술한 병변 인식도를 기초로 하여 판단될 수 있다.That is, which predictive model is most reliable among the individually learned predictive models for medical data for each medical institution may be determined based on the above-described lesion recognition level.

또한, 상기 교차검증에 따른 예측모델 별 평가 결과는 사용자 단말(40)로 제공될 수 있고, 사용자 단말(40)로부터 수신된 예측모델 선택신호에 기초하여 질환예측모델(130)이 결정될 수 있다.In addition, the evaluation results for each predictive model according to the cross-validation may be provided to the user terminal 40 , and the disease prediction model 130 may be determined based on the predictive model selection signal received from the user terminal 40 .

도 5는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 의심질환을 고려하여 질환예측모델(130)이 결정되는 과정을 나타낸 예시도이다.5 is an exemplary diagram illustrating a process in which the disease prediction model 130 is determined in consideration of a suspected disease in the method for providing disease information using a medical image according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델(130)이 결정되는 단계(S100)에는, 사용자 단말(40)로부터 인가된 사용자신호 및 복수의 의료기관 서버로부터 수신한 의심질환데이터 중 적어도 어느 하나에 기초하여 의심질환이 결정되는 단계가 더 포함되고, 학습결과에 기초하여 질환예측모델(130)이 결정되는 단계에서는 학습된 의료기관 별 예측모델 중에서 결정된 의심질환에 대한 병변 인식도에 기초하여 질환예측모델(130)이 결정될 수 있다.Referring to FIG. 5 , in the step S100 of determining the disease prediction model 130 based on medical data received from a plurality of medical institution servers of the method for providing disease information using a medical image according to an embodiment of the present invention, The step of determining the suspected disease based on at least one of the user signal applied from the user terminal 40 and the suspicious disease data received from a plurality of medical institution servers is further included, and the disease prediction model 130 based on the learning result. In this determining step, the disease prediction model 130 may be determined based on the lesion recognition level for the suspected disease determined from among the learned prediction models for each medical institution.

즉, 사용자 단말(40)로부터 의심질환에 관한 사용자신호를 수신하거나 복수의 의료기관 서버로부터 수신한 의심질환데이터에 기초하여 우선적으로 의심질환이 결정될 수 있다. 예를 들면, 사용자가 개인용 컴퓨터 혹은 랩탑 등의 사용자 단말(40)을 이용하여 의료영상에 관하여 의심되는 질환(Ex. 대장 흑색종, 대장 용종 등)을 가리키기 위한 사용자신호를 제공할 수 있고, 의심질환결정부(140)에서는 상기 수신한 사용자신호에 기초하여 의심질환이 결정될 수 있다. 뿐만 아니라, 의료기관 서버로부터 수신한 의심질환데이터에는 의료영상에 해당되는 환자의 과거병력에 관한 데이터나 환자의 설문 데이터가 포함될 수 있고, 상기 의심질환데이터로부터 의심질환이 결정될 수 있다. 예를 들면, 환자가 지속적으로 대장 용종 질환을 앓고 있었던 것이 과거병력 데이터로부터 확인된 경우에는 의심질환이 대장 용종으로 결정될 수 있다.That is, the suspected disease may be preferentially determined based on the user signal regarding the suspected disease from the user terminal 40 or the suspicious disease data received from the servers of a plurality of medical institutions. For example, the user may provide a user signal for indicating a suspected disease (eg, colon melanoma, colon polyp, etc.) with respect to the medical image using the user terminal 40 such as a personal computer or laptop, The suspected disease determining unit 140 may determine a suspected disease based on the received user signal. In addition, the suspicious disease data received from the medical institution server may include data on the patient's past medical history corresponding to the medical image or the patient's questionnaire data, and a suspected disease may be determined from the suspect disease data. For example, if it is confirmed from past medical history data that the patient has continuously suffered from colon polyps, the suspected disease may be determined as colon polyps.

상기와 같이 의심질환이 결정된 이후에 모델학습부에서는 제 1 예측모델 내지 제 n 예측모델 중에서 상기 결정된 의심질환과 관련된 병변 인식도가 가장 높은 예측모델 또는 소정의 기준 병변 인식도를 만족하는 예측모델이 상기 질환예측모델(130)로 결정될 수 있다. 이를 위해, 상기 예측모델의 학습결과에는 전체 질환에 대한 병변 인식도 뿐 아니라 질환 별 병변 인식도가 함께 포함될 수 있다.After the suspected disease is determined as described above, the model learning unit selects a predictive model having the highest degree of lesion recognition related to the determined suspected disease or a predictive model satisfying a predetermined reference lesion recognition among the first to n-th predictive models for the disease. It may be determined by the predictive model 130 . To this end, the learning result of the predictive model may include not only the lesion recognition for the entire disease but also the lesion recognition for each disease.

즉, 전술한 바와 같이 의심질환에 대하여 사용자가 미리 선택하거나 과거병력 등의 데이터에 기초하여 결정된 의심질환에 대하여 인식률이 더 높은 예측모델이 질환예측모델(130)로써 선택되어 정확한 질환정보의 제공이 수행될 수 있다.That is, as described above, a predictive model having a higher recognition rate for a suspected disease determined by the user in advance or determined based on data such as a past medical history is selected as the disease prediction model 130 to provide accurate disease information. can be performed.

도 6은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템의 질환분석부(200)를 나타낸 블록도이고, 도 7은 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템을 나타낸 예시도이다.6 is a block diagram illustrating a disease analysis unit 200 of a system for providing disease information using a medical image according to an embodiment of the present invention, and FIG. 7 is a diagram showing disease information using a medical image according to an embodiment of the present invention. It is an example diagram showing the system.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법의 질환예측모델(130)을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계에는, 사용자 단말(40)로부터 의료영상이 입력되는 단계, 질환예측모델(130)을 이용하여 의료영상 내 병변이 인식되는 단계 및 인식된 병변에 기초하여 질환 클래스를 분류하는 단계가 포함될 수 있다.In the step of deriving disease information on the input medical image using the disease prediction model 130 of the method for providing disease information using a medical image according to an embodiment of the present invention, a medical image is input from the user terminal 40 It may include a step of becoming, a step of recognizing a lesion in a medical image using the disease prediction model 130 , and a step of classifying a disease class based on the recognized lesion.

즉, 도 6 및 도 7을 참조하면 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)에 있어서, 질환분석부(200)의 영상입력부에서는 진단 또는 질환정보 제공의 대상이 되는 의료영상(80)이 입력될 수 있다. 이러한, 의료영상(80)은 캡슐내시경 등으로부터 획득된 환자에 대한 촬영 영상을 포함할 수 있다.That is, referring to FIGS. 6 and 7 , in the system 10 for providing disease information using a medical image according to an embodiment of the present invention, in the image input unit of the disease analysis unit 200, the target of diagnosis or disease information is provided. A medical image 80 may be input. Such a medical image 80 may include a photographed image of a patient obtained from a capsule endoscope or the like.

다음으로, 병변인식부(220)에서는 입력된 의료영상(80)에 대하여 전술한 S100 단계에서 결정된 질환예측모델(130)을 이용하여 병변이 인식되고, 질환분류부(230)에서는 인식 결과에 기초하여 질환 클래스가 분류될 수 있다.Next, the lesion recognition unit 220 recognizes the lesion using the disease prediction model 130 determined in step S100 with respect to the input medical image 80 , and the disease classification unit 230 recognizes the lesion based on the recognition result. Thus, disease classes can be classified.

상기 질환 클래스는 출혈, 염증, 종양 및 기타와 같이 4개의 클래스로 질환을 분류하거나 정상/비정상과 같이 2개의 클래스로도 분류가능하며 이는 제한되지 않고 다양한 방법으로 설정될 수 있다.The disease class can be classified into four classes, such as bleeding, inflammation, tumor, and others, or into two classes, such as normal/abnormal, which is not limited and can be set in various ways.

또한, 본 명세서에서 질환정보는 질환 클래스, 병변 부위(위치), 병변 영상 데이터 등 질환과 관련된 모든 데이터를 포함하는 의미로 사용될 수 있다. 도 9는 본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 방법에 있어서, 사용자에게 제공되는 질환정보에 관한 예시도인데, 도 9에 도시된 바와 같이 질환 클래스뿐만 아니라 병변의 위치와 해당 병변의 이미지를 사용자에게 질환정보로써 제공할 수 있다.Also, in the present specification, disease information may be used to include all disease-related data, such as disease class, lesion site (location), and lesion image data. 9 is an exemplary diagram of disease information provided to a user in a method for providing disease information using a medical image according to an embodiment of the present invention. The image of the lesion may be provided to the user as disease information.

또한, 결정된 질환예측모델(130) 이외에도 결정되지 않은 다른 예측모델들에 대하여도 각각의 병변 인식 결과, 분류된 질환 클래스 등 질환정보가 사용자에게 함께 제공될 수 있고, 사용자는 상기와 같이 질환예측모델(130)을 제외한 예측모델들로부터 제공된 질환정보에 기초하여 수정질환예측모델(130)을 생성하기 위한 적어도 하나 이상의 의료데이터들을 선택할 수 있다. 예를 들면, 기존의 질환예측모델(130)을 생성하기 위한 의료기관이 제 1 의료기관인 경우 제 1 의료데이터 이외에도 사용자로부터 선택된 제 2 의료기관 서버로부터 수신한 제 2 의료데이터를 상기 제 1 의료데이터와 함께 이용하여 학습시킬 수 있고, 상기 학습된 결과에 기초하여 수정질환예측모델(130)이 결정될 수 있다.In addition to the determined disease prediction model 130 , disease information such as each lesion recognition result and classified disease class may also be provided to the user for other non-determined predictive models, and the user can use the disease prediction model as described above. At least one or more medical data for generating the corrected disease prediction model 130 may be selected based on the disease information provided from the prediction models except 130 . For example, when the medical institution for generating the existing disease prediction model 130 is a first medical institution, in addition to the first medical data, the second medical data received from the second medical institution server selected by the user is combined with the first medical data. It can be learned by using it, and the modified disease prediction model 130 can be determined based on the learned result.

본 발명의 일 실시 예로써, 의료영상을 이용한 질환정보 제공 시스템(10)이 제공될 수 있다. 이하에서 설명될 의료영상을 이용한 질환정보 제공 시스템(10)과 관련하여서는 전술한 방법에 대한 내용이 적용될 수 있다. 따라서, 시스템과 관련하여 전술한 내용과 동일한 내용에 대하여는 설명을 생략하였다.As an embodiment of the present invention, the system 10 for providing disease information using a medical image may be provided. With respect to the system 10 for providing disease information using a medical image to be described below, the above-described method may be applied. Accordingly, descriptions of the same contents as those described above in relation to the system are omitted.

본 발명의 일 실시 예로써, 의료영상을 이용한 질환정보 제공 시스템(10)이 제공될 수 있다.As an embodiment of the present invention, the system 10 for providing disease information using a medical image may be provided.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)은 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델(130)이 결정되는 모델결정부(100) 및 질환예측모델(130)을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 질환분석부(200)가 포함될 수 있다.The disease information providing system 10 using a medical image according to an embodiment of the present invention includes a model determiner 100 that determines a disease prediction model 130 based on medical data received from a plurality of medical institution servers and a disease prediction A disease analysis unit 200 for deriving disease information on an input medical image using the model 130 may be included.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)의 모델결정부(100)에는 복수의 의료기관 서버로부터 의료기관 별 의료데이터를 수신하는 데이터수신부 및 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 모델학습부가 포함되고, 질환예측모델(130)은 학습결과에 기초하여 결정될 수 있다.In the model determining unit 100 of the system for providing disease information using a medical image according to an embodiment of the present invention, the data receiving unit for receiving medical data for each medical institution from a plurality of medical institution servers and deep learning for the received medical data A model learning unit in which a prediction model for each medical institution is learned using an algorithm is included, and the disease prediction model 130 may be determined based on the learning result.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)에 있어서, 모델학습부에서는 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터를 생성하고, 생성된 학습데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되며, 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 어느 하나일 수 있다.In the system 10 for providing disease information using a medical image according to an embodiment of the present invention, the model learning unit generates training data using domain adaptation for medical data, and a deep learning algorithm for the generated training data. A predictive model for each medical institution is trained using , and the deep learning algorithm may be at least one of CNN, RNN, and LSTM.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)의 모델결정부(100)에서는 학습된 의료기관 별 예측모델 중에서 병변 인식도에 기초하여 질환예측모델(130)이 결정될 수 있다.In the model determining unit 100 of the disease information providing system 10 using a medical image according to an embodiment of the present invention, the disease prediction model 130 may be determined based on the lesion recognition degree among the learned prediction models for each medical institution.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)의 모델결정부(100)에서는 교차 검증(cross-validation)을 이용하여 예측모델 별 병변 인식도가 평가됨으로써 질환예측모델(130)이 결정될 수 있다.In the model determining unit 100 of the system for providing disease information using a medical image according to an embodiment of the present invention, the disease prediction model 130 is evaluated by using cross-validation to evaluate the lesion recognition level for each prediction model. ) can be determined.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)의 모델결정부(100)에는 사용자 단말(40)로부터 인가된 사용자신호 및 복수의 의료기관 서버로부터 수신한 의심질환데이터 중 적어도 어느 하나에 기초하여 의심질환이 결정되는 의심질환결정부(140)가 더 포함되고, 질환예측모델(130)은 학습된 의료기관 별 예측모델 중에서 결정된 의심질환에 대한 병변 인식도에 기초하여 결정될 수 있다.In the model determining unit 100 of the system 10 for providing disease information using a medical image according to an embodiment of the present invention, at least one of a user signal applied from the user terminal 40 and suspicious disease data received from a plurality of medical institution servers A suspected disease determination unit 140 for determining a suspected disease based on any one is further included, and the disease prediction model 130 may be determined based on the lesion recognition level for the suspected disease determined from among the learned prediction models for each medical institution.

본 발명의 일 실시 예에 따른 의료영상을 이용한 질환정보 제공 시스템(10)의 질환분석부(200)에는 사용자 단말(40)로부터 의료영상이 입력되는 영상입력부(210), 질환예측모델(130)을 이용하여 의료영상 내 병변이 인식되는 병변인식부(220) 및 인식된 병변에 기초하여 질환 클래스를 분류하는 질환분류부(230)가 포함될 수 있다.In the disease analysis unit 200 of the system 10 for providing disease information using a medical image according to an embodiment of the present invention, the image input unit 210 to which the medical image is input from the user terminal 40, the disease prediction model 130 A lesion recognition unit 220 for recognizing a lesion in a medical image using , and a disease classifying unit 230 for classifying a disease class based on the recognized lesion may be included.

본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공될 수 있다.As an embodiment of the present invention, a computer-readable recording medium in which a program for implementing the above-described method is recorded may be provided.

한편, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.Meanwhile, the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium. In addition, the structure of the data used in the above-described method may be recorded in a computer-readable medium through various means. A recording medium recording an executable computer program or code for performing various methods of the present invention should not be construed as including temporary objects such as carrier waves or signals. The computer-readable medium may include a storage medium such as a magnetic storage medium (eg, a ROM, a floppy disk, a hard disk, etc.) and an optically readable medium (eg, a CD-ROM, a DVD, etc.).

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention.

10: 의료영상을 이용한 질환정보 제공 시스템
20: 의료기관 서버 30: 의료데이터
40: 사용자 단말 80: 의료영상
100: 모델결정부 110: 데이터수신부
120: 모델학습부 130: 질환예측모델
140: 의심질환결정부
200: 질환분석부 210: 영상입력부
220: 병변인식부 230: 질환분류부10: System for providing disease information using medical images
20: medical institution server 30: medical data
40: user terminal 80: medical image
100: model determining unit 110: data receiving unit
120: model learning unit 130: disease prediction model
140: Suspected disease determination unit
200: disease analysis unit 210: image input unit
220: lesion recognition unit 230: disease classification unit

Claims (15)

의료영상을 이용한 질환정보 제공 방법에 있어서,
데이터수신부가 복수의 의료기관 서버로부터 의료기관 별 의료데이터를 수신하는 단계;
모델학습부에 의해 상기 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 단계;
모델결정부에 의해 상기 학습결과에 기초하여 질환예측모델이 결정되는 단계 및
질환분석부에 의해 상기 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계가 포함되고,
상기 모델학습부에 의해 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 상기 의료기관 별 예측모델이 학습되는 단계에는
상기 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터를 생성하는 단계; 및
상기 학습데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 단계가 더 포함되고,
상기 모델결정부에 의해 학습결과에 기초하여 질환예측모델이 결정되는 단계는,
상기 학습된 의료기관 별 예측모델 중에서 병변 인식도에 기초하여 질환예측모델이 결정되는 것인, 의료영상을 이용한 질환정보 제공 방법.
In the method of providing disease information using a medical image,
receiving, by a data receiving unit, medical data for each medical institution from a plurality of medical institution servers;
learning a predictive model for each medical institution by using a deep learning algorithm on the received medical data by a model learning unit;
determining a disease prediction model based on the learning result by the model determining unit; and
a step of deriving disease information on the inputted medical image using the disease prediction model by the disease analysis unit;
In the step of learning the predictive model for each medical institution by using a deep learning algorithm for the medical data received by the model learning unit,
generating learning data using domain adaptation for the medical data; and
The step of learning a predictive model for each medical institution using a deep learning algorithm with respect to the learning data is further included,
The step of determining the disease prediction model based on the learning result by the model determining unit,
A method of providing disease information using a medical image, wherein a disease prediction model is determined based on the degree of lesion recognition among the learned prediction models for each medical institution.
 삭제delete 제 1 항에 있어서,
상기 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 어느 하나인 의료영상을 이용한 질환정보 제공 방법.
The method of claim 1,
The deep learning algorithm is a method of providing disease information using a medical image that is at least one of CNN, RNN, and LSTM.
 삭제delete 제 1 항에 있어서,
상기 모델결정부에 의해 학습결과에 기초하여 질환예측모델이 결정되는 단계에서는, 교차 검증(cross-validation)을 이용하여 예측모델 별 병변 인식도가 평가됨으로써 상기 질환예측모델이 결정되는 의료영상을 이용한 질환정보 제공 방법.
The method of claim 1,
In the step where the disease prediction model is determined based on the learning result by the model determiner, the disease prediction model is determined by evaluating the lesion recognition level for each prediction model using cross-validation. HOW TO PROVIDE INFORMATION.
 제 1 항에 있어서,
상기 복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 단계에는,
의심질환 결정부에 의해 사용자 단말로부터 인가된 사용자신호 및 상기 복수의 의료기관 서버로부터 수신한 의심질환데이터 중 적어도 어느 하나에 기초하여 의심질환이 결정되는 단계가 더 포함되고,
상기 모델결정부에 의해학습결과에 기초하여 질환예측모델이 결정되는 단계에서는 상기 학습된 의료기관 별 예측모델 중에서 상기 결정된 의심질환에 대한 병변 인식도에 기초하여 질환예측모델이 결정되는 의료영상을 이용한 질환정보 제공 방법.
The method of claim 1,
In the step of determining a disease prediction model based on the medical data received from the plurality of medical institution servers,
The step of determining a suspected disease based on at least one of a user signal applied from the user terminal by the suspected disease determining unit and the suspicious disease data received from the plurality of medical institution servers is further included,
In the step of determining the disease prediction model based on the learning result by the model determining unit, disease information using a medical image in which the disease prediction model is determined based on the determined lesion recognition for the suspected disease among the learned prediction models for each medical institution How to provide.
 제 1 항에 있어서,
상기 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 단계에는,
영상입력부를 통해 사용자 단말로부터 의료영상이 입력되는 단계;
병변인식부에 의해 상기 질환예측모델을 이용하여 상기 의료영상 내 병변이 인식되는 단계; 및
질환분류부에 의해 상기 인식된 병변에 기초하여 질환 클래스를 분류하는 단계가 포함되는 의료영상을 이용한 질환정보 제공 방법.
The method of claim 1,
In the step of deriving disease information on the inputted medical image using the disease prediction model,
receiving a medical image from a user terminal through an image input unit;
recognizing the lesion in the medical image by using the disease prediction model by a lesion recognition unit; and
A method of providing disease information using a medical image, comprising classifying a disease class based on the recognized lesion by a disease classification unit.
 의료영상을 이용한 질환정보 제공 시스템에 있어서,
복수의 의료기관 서버로부터 수신한 의료데이터에 기초하여 질환예측모델이 결정되는 모델결정부; 및
상기 질환예측모델을 이용하여 입력된 의료영상에 대한 질환정보가 도출되는 질환분석부가 포함되고,
상기 모델결정부에는 상기 복수의 의료기관 서버로부터 의료기관 별 의료데이터를 수신하는 데이터수신부; 및
상기 수신한 의료데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 모델학습부가 포함되고,
상기 질환예측모델은 상기 학습결과에 기초하여 결정되는 의료영상을 이용하고,
상기 모델결정부에서는 상기 학습된 의료기관 별 예측모델 중에서 병변 인식도에 기초하여 질환예측모델이 결정되고,
상기 모델학습부에서는 상기 의료데이터에 대하여 Domain adaptation을 이용하여 학습데이터를 생성하고, 상기 생성된 학습데이터에 대하여 딥러닝 알고리즘을 이용하여 의료기관 별 예측모델이 학습되는 것인, 의료영상을 이용한 질환정보 제공 시스템.
In the system for providing disease information using medical images,
a model determining unit for determining a disease prediction model based on medical data received from a plurality of medical institution servers; and
A disease analysis unit from which disease information on the inputted medical image is derived using the disease prediction model is included,
The model determining unit may include: a data receiving unit configured to receive medical data for each medical institution from the plurality of medical institution servers; and
A model learning unit in which a predictive model for each medical institution is learned using a deep learning algorithm with respect to the received medical data is included,
The disease prediction model uses a medical image determined based on the learning result,
In the model determining unit, a disease prediction model is determined based on the lesion recognition degree among the learned prediction models for each medical institution,
The model learning unit generates learning data using domain adaptation for the medical data, and a predictive model for each medical institution is learned on the generated learning data using a deep learning algorithm, disease information using medical images delivery system.
 삭제delete 제 8 항에 있어서,
상기 딥러닝 알고리즘은 CNN, RNN 및 LSTM 중 적어도 어느 하나인 의료영상을 이용한 질환정보 제공 시스템.
9. The method of claim 8,
The deep learning algorithm is a system for providing disease information using a medical image that is at least one of CNN, RNN, and LSTM.
 삭제delete 제 8 항에 있어서,
상기 모델결정부에서는 교차 검증(cross-validation)을 이용하여 예측모델 별 병변 인식도가 평가됨으로써 상기 질환예측모델이 결정되는 의료영상을 이용한 질환정보 제공 시스템.
9. The method of claim 8,
The disease information providing system using a medical image in which the disease predictive model is determined by evaluating the lesion recognition level for each predictive model using cross-validation in the model determining unit.
 제 8 항에 있어서,
상기 모델결정부에는 사용자 단말로부터 인가된 사용자신호 및 상기 복수의 의료기관 서버로부터 수신한 의심질환데이터 중 적어도 어느 하나에 기초하여 의심질환이 결정되는 의심질환결정부가 더 포함되고,
상기 질환예측모델은 상기 학습된 의료기관 별 예측모델 중에서 상기 결정된 의심질환에 대한 병변 인식도에 기초하여 결정되는 의료영상을 이용한 질환정보 제공 시스템.
9. The method of claim 8,
The model determination unit further includes a suspicious disease determination unit for determining a suspected disease based on at least one of a user signal applied from the user terminal and the suspicious disease data received from the plurality of medical institution servers,
The disease prediction model is a disease information providing system using a medical image determined based on the lesion recognition level for the determined suspected disease among the learned prediction models for each medical institution.
 제 8 항에 있어서,
상기 질환분석부에는 사용자 단말로부터 의료영상이 입력되는 영상입력부;
상기 질환예측모델을 이용하여 상기 의료영상 내 병변이 인식되는 병변인식부; 및
상기 인식된 병변에 기초하여 질환 클래스를 분류하는 질환분류부가 포함되는 의료영상을 이용한 질환정보 제공 시스템.
9. The method of claim 8,
The disease analysis unit includes an image input unit for receiving a medical image from a user terminal;
a lesion recognition unit for recognizing a lesion in the medical image using the disease prediction model; and
A system for providing disease information using a medical image including a disease classification unit for classifying disease classes based on the recognized lesions.
 제 1 항, 제 3항 및 제 5 항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.A computer-readable recording medium in which a program for implementing the method of any one of claims 1, 3, and 5 to 7 is recorded.
KR1020190093847A 2019-08-01 2019-08-01 The method of providing disease information using medical image KR102261408B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190093847A KR102261408B1 (en) 2019-08-01 2019-08-01 The method of providing disease information using medical image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190093847A KR102261408B1 (en) 2019-08-01 2019-08-01 The method of providing disease information using medical image

Publications (2)

Publication Number Publication Date
KR20210016171A KR20210016171A (en) 2021-02-15
KR102261408B1 true KR102261408B1 (en) 2021-06-09

Family

ID=74560491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190093847A KR102261408B1 (en) 2019-08-01 2019-08-01 The method of providing disease information using medical image

Country Status (1)

Country Link
KR (1) KR102261408B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230025962A (en) * 2021-08-17 2023-02-24 주식회사 메디컬에이아이 Electrocardiogram interpretating system with unified deep learning based model and rule based model
KR102616961B1 (en) * 2021-08-31 2023-12-27 동국대학교 산학협력단 Method of providing disease information by domain adaptation between heterogeneous capsule endoscopes
KR102641492B1 (en) * 2022-01-05 2024-02-27 주식회사 아이넥스코퍼레이션 Polyp detection method, device and computer program using endoscopy image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140088989A1 (en) 2012-09-27 2014-03-27 Balaji Krishnapuram Rapid Learning Community for Predictive Models of Medical Knowledge
KR101887194B1 (en) * 2018-06-20 2018-08-10 주식회사 뷰노 Method for facilitating dignosis of subject based on medical imagery thereof, and apparatus using the same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900533B1 (en) 2008-10-07 2009-06-02 주식회사 인트로메딕 Method for displaying screen of capsule endoscope image, and record media recoded program for implement thereof
KR101993716B1 (en) * 2012-09-28 2019-06-27 삼성전자주식회사 Apparatus and method for diagnosing lesion using categorized diagnosis model
KR101879207B1 (en) * 2016-11-22 2018-07-17 주식회사 루닛 Method and Apparatus for Recognizing Objects in a Weakly Supervised Learning Manner

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140088989A1 (en) 2012-09-27 2014-03-27 Balaji Krishnapuram Rapid Learning Community for Predictive Models of Medical Knowledge
KR101887194B1 (en) * 2018-06-20 2018-08-10 주식회사 뷰노 Method for facilitating dignosis of subject based on medical imagery thereof, and apparatus using the same

Also Published As

Publication number Publication date
KR20210016171A (en) 2021-02-15

Similar Documents

Publication Publication Date Title
Ilhan et al. Improving oral cancer outcomes with imaging and artificial intelligence
Baloescu et al. Automated lung ultrasound B-line assessment using a deep learning algorithm
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
KR102261408B1 (en) The method of providing disease information using medical image
KR102289277B1 (en) Medical image diagnosis assistance apparatus and method generating evaluation score about a plurality of medical image diagnosis algorithm
JP2007524461A (en) Mammography automatic diagnosis and decision support system and method
KR102237198B1 (en) Ai-based interpretation service system of medical image
US11915822B2 (en) Medical image reading assistant apparatus and method for adjusting threshold of diagnostic assistant information based on follow-up examination
KR102531400B1 (en) Artificial intelligence-based colonoscopy diagnosis supporting system and method
US20230076868A1 (en) Systems and methods for utilizing synthetic medical images generated using a neural network
KR20220039881A (en) Method for evaluating diagnostic ablility of an expert, artificial intelligence based method for assisting diagnosis and device using the same
Shea et al. Deep learning video classification of lung ultrasound features associated with pneumonia
US20230143229A1 (en) Method for diagnostic ultrasound of carotid artery
US20200342964A1 (en) Medical information processing apparatus, ordering system and method
KR102254365B1 (en) Medical image processing method
US20230036068A1 (en) Methods and systems for characterizing tissue of a subject
US20240074738A1 (en) Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position
KR102561175B1 (en) Method and system for predicting biomarker expression in medical image
KR102360615B1 (en) Medical image diagnosis assistance apparatus and method using a plurality of medical image diagnosis algorithm for endoscope images
Park et al. Class-labeling method for designing a deep neural network of capsule endoscopic images using a lesion-focused knowledge model
TWI774982B (en) Medical resource integration system, computer device and medical resource integration method
KR20210029167A (en) Apparatus for quality managment of medical image interpretation usnig machine learning, and method thereof
JP2010097476A (en) Image retrieval apparatus and image retrieval method
Kodogiannis et al. Neural network-based approach for the classification of wireless-capsule endoscopic images
Archana et al. Classification of plaque in carotid artery using intravascular ultrasound images (IVUS) by machine learning techniques

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant