KR20180138107A - Explainable computer­aided diagnosis system and the method thereof - Google Patents

Explainable computer­aided diagnosis system and the method thereof Download PDF

Info

Publication number
KR20180138107A
KR20180138107A KR1020170125708A KR20170125708A KR20180138107A KR 20180138107 A KR20180138107 A KR 20180138107A KR 1020170125708 A KR1020170125708 A KR 1020170125708A KR 20170125708 A KR20170125708 A KR 20170125708A KR 20180138107 A KR20180138107 A KR 20180138107A
Authority
KR
South Korea
Prior art keywords
lesion
diagnosis
information
description
diagnostic
Prior art date
Application number
KR1020170125708A
Other languages
Korean (ko)
Other versions
KR101938992B1 (en
Inventor
노용만
김성태
김학구
이학민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20180138107A publication Critical patent/KR20180138107A/en
Application granted granted Critical
Publication of KR101938992B1 publication Critical patent/KR101938992B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a computer aided diagnosis (CAD) system diagnosing the presence of absence of lesion through analysis on a medical image and creating explanation of reason of diagnosis for deriving evidence information explaining basis for lesion diagnosis and a method thereof. By deriving evidence information capable of explaining how a medical imaging diagnosis result is diagnosed using a deep learning model, the CAD system may explain a less skilled doctor the reason for diagnosis and enable the doctor to make a reliable diagnosis.

Description

진단 이유 설명이 생성되는 CAD 시스템 및 그 방법{EXPLAINABLE COMPUTER­AIDED DIAGNOSIS SYSTEM AND THE METHOD THEREOF}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a CAD system and a method thereof,

본 발명은 진단 이유 설명이 생성되는 CAD(Computer­Aided Diagnosis) 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 의료영상에 대한 분석을 통해 병변 여부를 진단하고, 병변 진단에 대한 근거를 설명하는 근거 정보를 도출하는 시스템 및 그 방법에 관한 것이다. The present invention relates to a CAD (Computer Aided Diagnosis) system and a method thereof, in which a description of a diagnosis reason is generated. More particularly, the present invention relates to a CAD And to a method thereof.

최근 딥 러닝(Deep Learning) 기술의 발전으로 AI(Artificial Intelligence, 인공 지능) 기술이 데이터 분석, 자료 시각화, 영상 인식 등 다양한 분야에 적용되어 매우 뛰어난 결과를 보이고 있다. 하지만 현재 대부분의 사용자들은 해석하기 어려운 기능과 불명확한 동작 메커니즘으로 인해 AI 기술을 활용하지 못하고 있다. Recent development of Deep Learning technology has enabled AI (Artificial Intelligence) technology to be applied to various fields such as data analysis, data visualization, image recognition and so on. Currently, however, most users are not able to take advantage of AI technology due to difficult to interpret functions and obscure motion mechanisms.

AI 기술의 기능들과 동작원리를 이해하지 못한다면, 단순히 결과에만 의존한 시행착오적인 기술개발 밖에 할 수 없으며, 개발된 AI 기술의 활용 범위도 매우 제한적이게 된다. 특히, 의료 영상 분석과 같은 분야에서는 진단 및 판단 결과가 환자 등에게 매우 중요한 사안이고, 큰 영향을 미칠 수 있으므로 신중한 판단이 필요하다. If you do not understand the functions and operating principles of AI technology, you can only develop trial and error technology that depends only on the results, and the application range of AI technology developed will be very limited. In particular, in the field of medical image analysis, the results of diagnosis and judgment are very important matters to the patient and it can have a great influence, so careful judgment is needed.

그러나, 지금처럼 AI 기술이 왜, 어떻게 그런 결정을 내렸는지에 대해 명확한 이해 없이는 의료분야에서 현재 AI 기술을 활용하는 것은 매우 제한적일 수 밖에 없다. 예를 들어, 의사의 판단에 도움을 주기 위한 기존 CAD 기술의 경우, 의사의 컨디션이나 숙련도에 따라 CAD를 이용한 의사의 판독 결과가 다르게 나오는 한계가 존재한다.However, without a clear understanding of why and how AI technology makes such decisions today, it is very limited to utilize current AI technology in the medical field. For example, in the case of existing CAD technology for helping a physician's judgment, there is a limit in which the result of a doctor's reading using CAD is different depending on the physician's condition or proficiency.

따라서, 의료영상을 분석하고, 단순히 진단 결과를 출력해주는 수준의 기술을 넘어 의사들에게 AI 모델이 왜, 어떻게 그런 진단을 내렸는지 설명 가능한 정보를 제공할 수 있는 CAD(Explainable CAD) 기술이 요구된다.Therefore, there is a need for CAD (Explainable CAD) technology that can provide information that can explain why and how the AI model has made such a diagnosis to doctors beyond a level of technology that analyzes medical images and simply outputs diagnostic results .

한국공개특허 제10­2014­0091177호(2014.07.21. 공개), "병변 진단 장치 및 방법"Korean Patent Publication No. 1020140091177 (published on Jul. 21, 2014), "

본 발명의 목적은 딥러닝 모델을 이용하여 의료영상 진단 결과에 대해 왜, 그렇게 진단했는지를 설명할 수 있는 근거 정보를 도출하는 기술을 제공하고자 한다. An object of the present invention is to provide a technique for deriving grounding information that can explain why and why a medical imaging diagnosis result is diagnosed using a deep learning model.

본 발명의 실시예에 따른 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템에 있어서, 의료영상에 대한 영상 분석을 통해 상기 의료영상의 특징 정보를 추출하여 병변 여부를 진단하는 병변 진단부 및 상기 추출된 특징 정보 및 상기 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출하는 진단 근거 도출부를 포함하되, 상기 진단 근거 도출부는 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 상기 근거 정보를 도출하는 것을 특징으로 한다.In a CAD (Computer Aided Diagnosis) system that provides a description of a lesion diagnosis and diagnosis reason according to an embodiment of the present invention, a feature of the medical image is extracted through image analysis of the medical image, And a diagnosis base derivation unit for deriving base information for explaining the basis of the lesion diagnosis by using the diagnosis unit and the extracted feature information and the diagnosis information according to the diagnosis result, And extracts the reason information including the factor explanatory information.

상기 병변 진단부는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 의료영상에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 상기 병변 여부를 진단할 수 있다.The lesion diagnosis unit may extract the feature information through an image analysis of the medical image using a Deep Neural Network, and diagnose the lesion according to the extracted feature information.

상기 병변 진단부는 상기 의료영상뿐만 아니라, 상기 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 근거 정보를 융합하여 병변을 분류하고, 상기 분류 결과에 따라 상기 병변 여부를 진단할 수 있다.The lesion diagnosis unit classifies lesions by fusing not only the medical image but also the basis information derived from a generative model that explains the basis of the lesion diagnosis, and diagnoses whether the lesion is present according to the classification result .

상기 진단 근거 도출부는 상기 시각적 설명정보를 생성하는 시각적 설명정보 생성부 및 상기 병변진단요인 설명정보를 생성하는 병변진단요인 설명정보 생성부를 포함할 수 있다.The diagnosis base derivation unit may include a visual description information generation unit for generating the visual description information and a lesion diagnosis factor explanatory information generation unit for generating the lesion diagnosis factor explanatory information.

상기 시각적 설명정보 생성부는 상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성할 수 있다.The visual description information generating unit may generate a visual concentration region, an activity map, and a conspicuous pattern of the lesion based on the extracted feature information and the diagnostic information using Deep Learning. ) Of the visual description information.

상기 시각적 설명정보 생성부는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 추출된 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다.The visual description information generation unit decodes the extracted feature information and the lesion diagnosis factor explanatory information by using Deep Learning of Adversarial Learning and Reinforcement Learning, You can create a Conspicuous Pattern.

상기 병변진단요인 설명정보 생성부는 상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성할 수 있다.The lesion diagnosis factor explanatory information generating unit may calculate a size, a shape, and a margin of the lesion through a multitask deep network learning based on the extracted feature information and the diagnosis information. The lesion diagnosis factor explanatory information can be generated by probabilistic estimation.

본 발명의 다른 실시예에 따른 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템에 있어서, 병변 분석 및 진단 모델을 통해 의료영상의 특징 정보를 추출하여 병변 여부를 진단하고, 생성 모델(generative model)을 통해 상기 추출된 특징 정보 및 병변 진단으로부터 병변에 대한 시각적 설명정보 및 진단 이유에 대한 병변진단요인 설명정보를 각각 도출한다.In a CAD (Computer Aided Diagnosis) system for explaining a lesion diagnosis and diagnosis reason according to another embodiment of the present invention, feature information of a medical image is extracted through a lesion analysis and a diagnosis model, The extracted feature information and visual description information on the lesion from the lesion diagnosis and the lesion diagnosis factor explanatory information on the diagnosis reason are derived through a generative model.

상기 CAD 시스템은 상기 병변 분석 및 진단 모델과, 상기 생성 모델의 합동 학습(joint learning)을 통해 상기 진단 정보 및 상기 근거 정보의 정확도를 향상시킬 수 있다.The CAD system can improve the accuracy of the diagnosis information and the root information through the joint analysis of the lesion analysis and diagnosis model and the generation model.

본 발명의 실시예에 따른 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템의 동작 방법에 있어서, 의료영상에 대한 영상 분석을 통해 상기 의료영상의 특징 정보를 추출하여 병변 여부를 진단하는 단계 및 상기 추출된 특징 정보 및 상기 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출하는 단계를 포함하되, 상기 근거 정보는 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 것을 특징으로 한다.A method of operating a CAD (Computer Aided Diagnosis) system for explaining a lesion diagnosis and a reason for diagnosis according to an embodiment of the present invention includes extracting feature information of the medical image through image analysis of the medical image, The method according to claim 1, further comprising the step of diagnosing a lesion by using the extracted feature information and diagnostic information according to the diagnosis result. Information on the information.

상기 병변 여부를 진단하는 단계는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 의료영상에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 상기 병변 여부를 진단할 수 있다.The diagnosis of the lesion may include extracting the feature information through image analysis of the medical image using a Deep Neural Network, and diagnosing the lesion according to the extracted feature information .

상기 병변 여부를 진단하는 단계는 상기 의료영상뿐만 아니라, 상기 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 근거 정보를 융합하여 병변을 분류하고, 상기 분류 결과에 따라 상기 병변 여부를 진단할 수 있다.Wherein the diagnosis of the lesion includes classifying lesions by fusing not only the medical image but also the basis information derived from a generative model explaining the basis of the lesion diagnosis, Can be diagnosed.

상기 근거 정보를 도출하는 단계는 상기 시각적 설명정보를 생성하는 단계를 포함하며, 상기 시각적 설명정보를 생성하는 단계는 상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성할 수 있다.Wherein the step of deriving the basis information includes generating the visual description information, wherein the step of generating the visual description information includes the step of using Deep Learning (Deep Learning) based on the extracted feature information and the diagnostic information , It is possible to generate the visual explanatory information including a visual concentration region, an activity map, and a conspicuous pattern of the lesion.

상기 시각적 설명정보를 생성하는 단계는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 추출된 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다.The step of generating the visual description information may include decoding the extracted feature information and the lesion diagnosis factor explanatory information by using Deep Learning of Adversarial Learning and Reinforcement Learning It is possible to generate a conspicuous pattern of the lesion.

상기 근거 정보를 도출하는 단계는 상기 병변진단요인 설명정보를 생성하는 단계를 포함하며, 상기 병변진단요인 설명정보를 생성하는 단계는 상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성할 수 있다. Wherein the step of deriving the basis information includes generating the lesion diagnosis factor explanatory information, wherein the step of generating the lesion diagnosis factor explanatory information comprises: generating, based on the extracted feature information and the diagnosis information, The size, shape, and margin of a lesion can be stochastically estimated through Multitask Deep Network learning to generate the lesion diagnosis factor explanatory information.

본 발명의 실시예에 따르면, 딥러닝 모델을 이용하여 의료영상 진단 결과에 대해 왜, 그렇게 진단했는지를 설명할 수 있는 근거 정보를 도출함으로써, 숙련도가 낮은 의사에게 진단 이유를 설명하여 신뢰도 높은 진단이 가능할 수 있다. According to the embodiment of the present invention, by using the deep learning model to derive the basis information that can explain why and why the medical imaging diagnosis is made, it is possible to explain the diagnosis reason to the doctor having a low proficiency, It can be possible.

또한, 본 발명의 실시예에 따르면, 병변 여부에 대한 진단 결과와, 병변 진단에 대한 근거를 설명하는 병변진단요인 설명정보 및 시각적 설명정보를 제공함으로써, 병변 진단의 과정 및 근거를 명확하게 이해하도록 하며, 진단 결과에 대한 신뢰도를 향상시킬 수 있다.In addition, according to the embodiment of the present invention, it is possible to clearly understand the process and the basis of the lesion diagnosis by providing the diagnosis result about the lesion, the lesion diagnosis factor explaining information explaining the reason for the lesion diagnosis, And reliability of the diagnosis result can be improved.

또한, 본 발명의 실시예에 따르면, CAD(Explainable CAD) 기술에 대한 신뢰도가 크게 향상되어 더 많은 의사들이 활용할 수 있을 것으로 기대된다. Further, according to the embodiment of the present invention, reliability of the CAD (Explainable CAD) technology is greatly improved, and it is expected that more physicians can utilize it.

도 1은 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템의 구성을 나타내는 블록도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템의 개념도를 도시한 것이다.
도 3은 본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템의 개념도를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 융합 모델을 포함하는 Explainable CAD 시스템의 세부 구성을 나타내는 구조를 도시한 것이다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 생성 모델의 세부 구성을 나타내는 블록도를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 Explainable CAD 시스템의 학습 방법의 예를 나타내는 블록도를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 방법의 흐름도를 도시한 것이다.1 is a block diagram showing a configuration of a CAD system in which a diagnosis reason explanation according to an embodiment of the present invention is generated.
2 is a conceptual diagram of a CAD system in which a diagnosis reason explanation according to an embodiment of the present invention is generated.
3 shows a conceptual diagram of a CAD system in which a diagnosis reason explanation according to another embodiment of the present invention is generated.
FIG. 4 illustrates a detailed structure of an explainable CAD system including a fusion model according to an embodiment of the present invention.
5A and 5B are block diagrams showing a detailed configuration of a generation model according to an embodiment of the present invention.
FIG. 6 is a block diagram illustrating an example of a learning method of an explainable CAD system according to an embodiment of the present invention.
Figure 7 shows a flow diagram of a CAD method in which a diagnostic reason description is generated according to an embodiment of the present invention.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. In addition, the same reference numerals shown in the drawings denote the same members.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. Also, terminologies used herein are terms used to properly represent preferred embodiments of the present invention, which may vary depending on the viewer, the intention of the operator, or the custom in the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification.

본 발명은 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템에 관한 기술로, 병변 분석 및 진단 모델(또는 진단 네트워크)을 통해 의료영상의 특징 정보를 추출하여 병변 여부를 진단하고, 생성 모델(generative model, 또는 생성 네트워크)을 통해 추출된 특징 정보와 진단 정보를 이용하여 병변에 대한 시각적 설명정보 및 진단 이유에 대한 병변진단요인 설명정보를 각각 도출하는 기술을 제안한다.The present invention relates to a CAD (Computer Aided Diagnosis) system that provides explanations about lesion diagnosis and diagnosis reasons. It extracts feature information of a medical image through a lesion analysis and a diagnosis model (or a diagnostic network) , A generative model (or a generative model), and diagnostic information for lesion diagnosis information and diagnosing factor description information for diagnostic reason, respectively.

이 때, 본 발명의 다른 실시예에 따른 CAD 시스템은 병변 분석 및 진단 모델과, 생성 모델의 합동 학습(joint learning)을 통해 진단 정보 및 근거 정보의 정확도를 향상시키는 효과를 제공한다. At this time, the CAD system according to another embodiment of the present invention provides the effect of improving the accuracy of the diagnostic information and the basis information through joint analysis of the lesion analysis and diagnosis model and the generation model.

이하에서는 의료영상에 기초하여 병변 여부를 진단하고, 진단 정보 및 특징 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출하는 Explainable CAD에 대해 도 1 내지 도 6을 참조하여 상세히 설명한다. Hereinafter, Explainable CAD for diagnosing a lesion based on a medical image and deriving background information for explaining the basis of the lesion diagnosis using diagnostic information and feature information will be described in detail with reference to FIG. 1 to FIG.

도 1은 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템의 구성을 나타내는 블록도를 도시한 것이다.1 is a block diagram showing a configuration of a CAD system in which a diagnosis reason explanation according to an embodiment of the present invention is generated.

도 1을 참조하면, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(100)은 의료영상에 대한 분석을 통해 병변 여부를 진단하고, 병변 진단에 대한 근거를 설명하는 근거 정보를 도출한다.Referring to FIG. 1, a CAD system 100 for generating a diagnosis reason explanation according to an embodiment of the present invention diagnoses whether a lesion is present through analysis of a medical image, and derives a basis information for explaining a basis for a lesion diagnosis do.

이에 따른, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(100)은 병변 진단부(110) 및 진단 근거 도출부(120)를 포함한다.Accordingly, the CAD system 100 in which the description of the diagnosis reason according to the embodiment of the present invention is generated includes the lesion diagnosis unit 110 and the diagnosis basis derivation unit 120.

병변 진단부(110)는 의료영상에 대한 영상 분석을 통해 의료영상의 특징 정보를 추출하여 병변 여부를 진단한다. The lesion diagnosis unit 110 extracts feature information of the medical image through the image analysis of the medical image to diagnose whether the lesion is lesion.

예를 들면, 병변 진단부(110)는 의료영상에 대한 영상 분석을 수행하여 특징 정보를 추출(인코딩, Encoding)하고, 추출된 특징 정보와 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 근거 정보를 융합하여 병변을 분류하며, 분류 결과에 따라 병변 여부를 진단한다. 이 때, 병변 진단부(110)는 병변 분석 및 진단 모델로 구성되며, 상기 모델에 의해 의료영상에 대한 분석, 추출 및 진단의 과정이 수행될 수 있다. For example, the lesion diagnosis unit 110 extracts (encodes, encodes) feature information by performing image analysis on the medical image, and outputs the feature information, the visual description information, and the lesion diagnosis factor explanatory information And the lesion is classified according to the classification result. At this time, the lesion diagnosis unit 110 is composed of a lesion analysis and a diagnosis model, and the analysis, extraction and diagnosis processes of the medical image can be performed by the model.

보다 구체적으로, 병변 진단부(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 의료영상에 대한 영상 분석을 수행하고, 영상 분석에 따른 의료영상 내 특징 정보를 추출하며, 추출된 특징 정보로부터 병변 여부를 진단할 수 있다. 이 때, 병변 진단부(110)는 의료영상뿐만 아니라, 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 근거 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 병변 여부를 진단할 수 있다. 여기서, 상기 생성 모델은 진단 근거 도출부(120)에서 병변 진단에 대한 근거를 설명하는 근거 정보를 생성하기 위해 사용하는 모델이다. More specifically, the lesion diagnosis unit 110 performs an image analysis on a medical image using a Deep Neural Network, extracts feature information in a medical image according to an image analysis, The lesion can be diagnosed. At this time, the lesion diagnosis unit 110 classifies the lesion by fusing not only the medical image but also the basis information derived from the generative model explaining the basis of the lesion diagnosis, Can be diagnosed. Here, the generation model is a model used by the diagnostic basis derivation unit 120 to generate the basis information for explaining the basis of the lesion diagnosis.

실시예에 따라서, 상기 추출되는 특징 정보는 검출 대상 물질에 따라 결정될 수 있으며, 특징 정보의 추출은 다양한 특징 추출 알고리즘 중 적어도 하나를 적용하여 수행할 수 있다. 예를 들어, SGLD(Spatial Gray Level Dependence) matrices method, Run Difference method, Law's texture feature method, Autocorrelation based texture features method, Co­ccurence matrices texture features method, Moravec's corner detector, Harris corner detector, Harris Laplace detector, Harris Affine detector, Hessian Affine detector, Edge­based region detector, Intensity­based region detector, Difference of Gaussian operator, Laplacian of Gaussian operator, Scale invariant Feature Transform(SIFT) detector 등의 특징 추출 알고리즘 중 적어도 하나를 적용할 수 있다.According to an embodiment, the extracted feature information may be determined according to a detection target material, and the extraction of the feature information may be performed by applying at least one of various feature extraction algorithms. For example, a Spatial Gray Level Dependence (SGLD) method, a Run Difference method, a Law's texture feature method, an Autocorrelation based texture feature method, a Coccurence matrices texture feature method, a Morvec's corner detector, a Harris corner detector, a Harris Laplace detector, , A Hessian Affine detector, an edge-based region detector, an Intensity-based region detector, a Difference of Gaussian operator, a Laplacian of Gaussian operator, and a Scale invariant Feature Transform (SIFT) detector.

또한, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(100)은 검출 대상 물질에 따라 적절한 특징 추출 알고리즘을 선택할 수 있는 바, 일 예로, 검출 대상 물질이 유방에 존재하는 미세 석회화인 경우에는 SGLD matrices method나 Law's texture feature method와 같은 특징 추출 알고리즘이 적용될 수 있다. 다만, 상기 검출 대상 물질은 이에 한정되지 않으며, 상기 알고리즘들은 병변 진단부(110)가 적용 가능한 알고리즘의 예시들에 불과하므로, CAD 시스템(100)의 실시예가 이에 한정되는 것은 아니다. In addition, the CAD system 100 in which the explanation of the diagnosis reason according to the embodiment of the present invention is generated can select an appropriate feature extraction algorithm according to the substance to be detected. For example, when the target substance is microcrystalline Feature extraction algorithms such as SGLD matrices method or Law's texture feature method can be applied. However, the object to be detected is not limited thereto, and the algorithms are only examples of algorithms applicable to the lesion diagnosis unit 110, so that the embodiment of the CAD system 100 is not limited thereto.

또한, 병변 진단부(110)는 딥 뉴럴 네트워크(Deep Neural Network)를 기반으로, 의료영상으로부터 추출된 특징 정보를 융합(fusion)하여 특징 벡터를 생성하고, 생성된 특징 벡터를 이용하여 관심 볼륨이 병변에 해당하는지 여부를 판단할 수 있다. 실시예에 따라서는, 병변 진단부(110)는 분류기를 사용하여 병변을 판단할 수 있으며, 예를 들면, 융합된 특징 정보가 미세 석회화나 결절과 같은 병변을 나타내는지 여부를 SVM(Support Vector Machine) 분류기를 사용하여 판단할 수 있다. In addition, the lesion diagnosis unit 110 generates a feature vector by fusing feature information extracted from a medical image based on a Deep Neural Network, It is possible to judge whether or not the lesion corresponds to the lesion. According to an embodiment, the lesion diagnosis unit 110 can determine a lesion using a classifier. For example, whether the fused feature information indicates a lesion such as microcalcification or a nodule is referred to as a SVM ) Classifier.

이 때, 병변 진단부(110)가 특징 정보를 융합하는 방식에는 제한되지 않는다. 일 예로, x축, y축 및 z축 영상으로부터 각각 추출된 특징 정보를 연쇄적으로(concatenate) 융합하는 것도 가능하다.At this time, there is no limitation on the manner in which the lesion diagnosis unit 110 fuses feature information. For example, feature information extracted from the x-axis, y-axis, and z-axis images may be fused concatenated.

진단 근거 도출부(120)는 추출된 특징 정보 및 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출한다. 상기 근거 정보는 시각적 설명정보 및 병변진단요인 설명정보를 포함한다. 이 때, 진단 근거 도출부(120)는 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로 구성되며, 상기 모델에 의해 근거 정보 도출의 과정이 수행될 수 있다. The diagnostic basis derivation unit 120 derives the basis information for explaining the basis of the lesion diagnosis using the extracted feature information and the diagnosis information according to the diagnosis result. The basis information includes visual explanatory information and lesion diagnosis factor explanatory information. At this time, the diagnostic basis derivation unit 120 is configured with a generative model for explaining the basis of the lesion diagnosis, and the process of deriving the basis information can be performed by the model.

보다 구체적으로, 진단 근거 도출부(120)는 시각적 설명정보를 생성하는 시각적 설명정보 생성부(121) 및 병변진단요인 설명정보를 생성하는 병변진단요인 설명정보 생성부(122)를 포함할 수 있다.More specifically, the diagnostic basis derivation unit 120 may include a visual description information generation unit 121 for generating visual description information and a lesion diagnosis factor explanatory information generation unit 122 for generating lesion diagnosis factor explanatory information .

시각적 설명정보 생성부(121)는 병변 진단부(110)에서, 의료영상 중 어느 정보를 추출 및 활용하여 진단 결과를 도출하였는지를 시각적으로 제공하기 위한 시각적 설명정보를 생성할 수 있다. The visual description information generating unit 121 can generate visual description information for visually providing information on which of the medical images is extracted and utilized to derive the diagnosis result, in the lesion diagnosis unit 110. [

예를 들면, 시각적 설명정보 생성부(121)는 병변 진단부(110)로부터 추출된 특징 정보 및 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보를 생성할 수 있다. 이 때, 시각적 설명정보 생성부(121)는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 추출된 특징 정보 및 병변진단요인 설명정보를 디코딩(decoding)함으로써, 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다. For example, based on the feature information and diagnostic information extracted from the lesion diagnosis unit 110, the visual explanatory information generating unit 121 may generate a visual concentrated region (Saliency Region), an activity map An Activation Map, and a Conspicuous Pattern of a lesion. At this time, the visual description information generating unit 121 decodes the feature information and the lesion diagnosis factor explanatory information extracted by using Deep Learning of Adversarial Learning and Reinforcement Learning, Thereby creating a distinct pattern of lesions (Conspicuous Pattern).

상기 병변진단요인 설명정보는 병변진단요인 설명정보 생성부(122)로부터 추출되는 정보이며, 상기 시각적 설명정보는 이미지, 영상, 그래프 및 콘텐츠 중 적어도 어느 하나의 형태인 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함할 수 있다. The lesion diagnostic factor explanatory information is information extracted from the lesion diagnostic factor explanatory information generating unit 122. The visual explanatory information includes at least one of a visual focus region in the form of at least one of image, An activity map, and a conspicuous pattern of the lesion.

병변진단요인 설명정보 생성부(122)는 의사들이 병변 진단 시 고려하는 다양한 병변 진단 요인과, 병변 진단 증례보고서에서 표현되는 다양한 병변 진단 요인들을 포함하는 병변진단요인 설명정보를 생성할 수 있다. The lesion diagnosis factor explanatory information generating unit 122 can generate lesion diagnosis factor explanatory information including various lesion diagnostic factors that physicians consider when diagnosing a lesion and various lesion diagnosis factors expressed in a lesion diagnosis case report.

예를 들면, 병변진단요인 설명정보 생성부(122)는 병변 진단부(110)로부터 추출된 특징 정보 및 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 포함하는 병변 진단 요인들을 확률적으로 추정하여 병변진단요인 설명정보를 생성할 수 있다. 이 때, 상기 병변진단요인 설명정보는 그래프 및 수치 값 등 형태인 병변의 크기(size), 모양(shape) 및 경계면(margin)을 포함할 수 있다.For example, the lesion diagnosis factor explanatory information generating unit 122 may generate a lesion diagnosis information based on the feature information and the diagnosis information extracted from the lesion diagnosis unit 110, through a multitask deep network learning ), A shape, and a margin (margin) of the lesion diagnosed by the lesion diagnostic device. At this time, the lesion diagnosis factor explanatory information may include a lesion size, a shape, and a margin, which are graphs and numerical values.

도 2는 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템의 개념도를 도시한 것이다.2 is a conceptual diagram of a CAD system in which a diagnosis reason explanation according to an embodiment of the present invention is generated.

본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(200)은 병변 진단부(210) 및 진단 근거 도출부(220)를 포함한다. 이 때, 병변 진단부(210)는 병변 분석 및 진단 모델을 이용하여 병변 여부를 진단하며, 진단 근거 도출부(220)는 병변 진단에 대한 근거를 설명하는 근거 정보의 도출을 위한 생성 모델(generative model)을 이용한다.The CAD system 200 in which the diagnosis reason explanation according to the embodiment of the present invention is generated includes the lesion diagnosis unit 210 and the diagnosis basis derivation unit 220. At this time, the lesion diagnosis unit 210 diagnoses the lesion using the lesion analysis and diagnosis model, and the diagnosis root derivation unit 220 generates a generative (generative) model for deriving the root- model.

나아가, 병변 분석 및 진단 모델과, 생성 모델은 합동 학습(joint learning)을 통해 진단 정보 및 근거 정보의 정확도를 향상시킬 수 있다. Further, the lesion analysis and diagnosis model and the generation model can improve the accuracy of diagnostic information and ground information through joint learning.

도 2를 참조하면, 의료영상(10)은 MRI(Magnetic Resonance Imaging), CT(Computed Tomography), X­ray, PET(Positron Emission Tomography) 및 EIT(Electrical Impedance Tomography) 중 적어도 어느 하나의 인체 내부를 영상화하는 기술에 의해 획득된 이미지 또는 영상일 수 있으며, 측정 대상은 인체의 일부 이므로 한정되지 않는다.2, the medical image 10 includes at least one of a magnetic resonance imaging (MRI), a computed tomography (CT), an Xray, a positron emission tomography (PET), and an electrical impedance tomography And the object to be measured is not limited as it is a part of the human body.

본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(200)에서, 병변 진단부(210)는 병변 분석 및 진단 모델에 기반하여, 의료영상(10)에 대한 영상 분석을 통해 특징 정보를 추출하여 병변 여부를 진단(20)하고, 신뢰도를 추정한다. 이 때, 병변 진단부(210)는 진단 근거 도출부(220)로부터 수신되는 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 근거 정보를 이용하여 병변 여부를 진단할 수 있다. In the CAD system 200 in which the description of the diagnosis reason is generated according to the embodiment of the present invention, the lesion diagnosis unit 210 analyzes feature information through image analysis on the medical image 10, based on lesion analysis and diagnosis model (20), and the reliability is estimated. At this time, the lesion diagnosis unit 210 can diagnose the lesion using the visual description information received from the diagnosis basis derivation unit 220 and the basis information including the lesion diagnosis factor explanation information.

또한, 진단 결과(20)는 의료영상(10)과 같이 영상화된 이미지 또는 영상일 수 있으며, 수치 값 및 병명 등이 포함될 수도 있다. In addition, the diagnosis result 20 may be an image or an image imaged like the medical image 10, and may include a numerical value, a disease name, and the like.

본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(200)에서, 진단 근거 도출부(220)는 병변 진단부(210)로부터 수신된 특징 정보 및 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출한다. 이 때, 진단 근거 도출부(220)는 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보와, 병변 진단 근거 설명 도출을 위한 생성 모델(generative model)로부터 확률적으로 추정된 병변의 크기(size), 모양(shape) 및 경계면(margin)을 포함하는 병변진단요인 설명정보를 도출할 수 있다. In the CAD system 200 in which the description of the diagnostic reason according to the embodiment of the present invention is generated, the diagnostic basis derivation unit 220 extracts the lesion using the feature information received from the lesion diagnosis unit 210, Derive evidence to explain the basis for the diagnosis. At this time, the diagnostic basis derivation unit 220 generates visual description information including a visual concentration region, an activity map, and a clear pattern of a lesion, A lesion diagnosing factor description information including a size, a shape, and a margin of a lesion estimated from a generative model can be derived.

도 2를 참조하면, 상기 시각적 설명정보는 컬러 또는 흑백의 이미지, 영상, 그래프 및 콘텐츠 중 적어도 어느 하나의 형태로 생성되며, 상기 병변진단요인 설명정보는 그래프 및 수치 값 등의 형태로 생성될 수 있으나, 상기 설명정보의 형태, 색상, 크기, 개수는 이에 한정되지 않는다. 2, the visual description information is generated in the form of at least one of color, monochrome image, image, graph, and contents, and the lesion diagnosis factor description information can be generated in the form of a graph and a numerical value However, the form, color, size, and number of the explanatory information are not limited thereto.

도 3은 본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템의 개념도를 도시한 것이다.3 shows a conceptual diagram of a CAD system in which a diagnosis reason explanation according to another embodiment of the present invention is generated.

도 3을 참조하면, 본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(300)은 직렬 형태의 생성 네트워크(310) 및 진단 네트워크(320)를 포함하며, (a)트레이닝 스테이지(Training Stage) 및 (b)테스트 스테이지(Test Stage) 각각에서의 생성 네트워크(Synthetic lesion generative network, 310) 및 진단 네트워크(Interpretable diagnosis network, 320)의 동작 예를 나타낸다.3, a CAD system 300 in which a description of a diagnosis reason according to another embodiment of the present invention is generated includes a generation network 310 in a serial form and a diagnosis network 320, and includes (a) a training stage And an example of operation of a synthetic lesion generative network 310 and an interpreting diagnosis network 320 in each of the test stages (Training Stage) and (b) Test Stage.

이 때, 생성 네트워크(310)는 도 1 및 도 2에서의 진단 근거 도출부(또는 생성 모델)일 수 있으며, 진단 네트워크(320)는 도 1 및 도 2에서의 병변 진단부(또는 병변 분석 및 진단 모델)일 수 있다.1 and 2, and the diagnostic network 320 may include a lesion diagnostic unit (or a lesion analysis and / or a lesion analysis unit) in FIGS. 1 and 2, Diagnostic model).

예를 들면, 생성 네트워크(310)는 의료영상으로부터 악성 해석 조건 예를 들면, 의료영상 내 병변(Mass)의 마진(margin) 및 모양(shape)과, 랜덤 노이즈 벡터(random noise vector)로부터 병변을 합성할 수 있다. 이후, 진단 네트워크(320)는 병변에 따른 악성 종양(malignant mass) 및 양성 종괴(benign mass)를 분류할 수 있다.For example, the generating network 310 may generate a lesion from a medical image based on a malicious analysis condition, for example, a margin and a shape of a lesion in a medical image and a random noise vector Can be synthesized. The diagnostic network 320 may then classify malignant masses and benign masses according to lesions.

보다 상세하게는, (a)트레이닝 스테이지(Training Stage)에서의 생성 네트워크(310)는 인코더(Encoder) 및 디코더(Decoder)를 포함하며, 상기 인코더를 이용하여 의료영상 내 병변(Mass)을 포함하는 관심 영역으로부터 악성 특징을 추출할 수 있고, 상기 디코더를 이용하여 악성 피질 및 악성 해석 조건(Malignancy Interpreting Conditions)을 이용하여 합성 병변(Synthetic Mass)을 생성할 수 있다. 또한, 생성 네트워크(310)는 노이즈 벡터(Noise vector)를 포함할 수 있으며, 상기 노이즈 벡터는 악성, 병변의 마진(margin) 및 모양(shape) 외에 다른 변화를 모델링할 수 있다. In more detail, (a) the production network 310 in the training stage includes an encoder and a decoder, and using the encoder, The malignant feature can be extracted from the region of interest, and a synthetic lesion can be generated using the malignant cortex and malignancy interpretation conditions using the decoder. The generation network 310 may also include a noise vector, which may model changes other than malignancy, margins and shape of the lesion.

보다 상세하게는, (b)테스트 스테이지(Test Stage)에서의 해석 가능한 진단 네트워크(320)는 CNN(Multi­task convolutional neural network)에 의해 설계된 것으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정할 수 있다.More specifically, (b) the analyzable diagnostic network 320 in the test stage is designed by a CNT (Multitask Convolutional Neural Network), which is a multi-tasking network Size, shape, and margin can be estimated stochastically.

나아가, 본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(300)은 4개의 구성(D, D=[Dd, Dm, Ds, Dr])을 포함할 수 있다.Further, the CAD system 300 in which the diagnosis reason explanation according to another embodiment of the present invention is generated may include four configurations (D, D = [D d , D m , D s , D r ]).

여기서, Dd는 악성 또는 양성 분류의 병변 진단(mass diagnosis)을 나타내며, Dm는 병변 마진(mass margin)을 나타내고, Ds는 병변 모양(mass shape)을 나타내며, Dr는 실제(real) 또는 합성(synthetic)의 병변 분류(mass classification)를 나타낸다. 이 때, Dd∈R2 이고, Dm∈RNm 이며, Ds∈RNs 이고, Dr∈R1 이다. 상기 Nm 및 상기 Ns는 병변 마진의 수 및 병변 모양의 수를 나타낸다. Where D d represents a mass diagnosis of a malignant or benign mass, D m represents a mass margin, D s represents a mass shape, D r represents a real, Or synthetic mass classification. In this case, D d ∈ R 2 , D m ∈ R Nm , D s ∈ R Ns , and D r ∈ R 1 . The N m, and the N s is the number of the lesion margin and the number of lesions shape.

본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(300) 내 진단 네트워크(320)는 하기 [수식 1]의 목적 함수(objective function) VD(D, G)로부터 학습된다.The diagnostic network 320 in the CAD system 300 in which the diagnostic reason explanations are generated according to another embodiment of the present invention is learned from the objective function V D (D, G)

[수식 1][Equation 1]

Figure pat00001
Figure pat00001

여기서, x는 병변 이미지(mass image)를 의미하고, G(x, m, s, z)는 (a)트레이닝 스테이지(Training Stage)에서 생성된 합성 병변(synthetic lesion)을 의미한다. 또한, y={yd, ym, ys}는 트레이닝 데이터(training data)에서 병변 x(mass x)의 라벨(rabel)을 의미하고, yd는 병변 진단을 위한 악성 및 양성의 라벨을 의미하며, ym 및 ys는 각각 마진(margin) 및 모양(shape)의 라벨을 의미한다. 또한, pd(X, Y), pm(m) 및 ps(s)는 트레이닝 샘플의 분포(distribution of training samples)를 의미하고, z는 분포가 pz(z)인 악성(malignancy), 모양(shape) 및 마진(margin) 외에 분산에 대한 모델링을 위한 노이즈 벡터(noise vector)를 의미한다. Here, x denotes a mass image, and G (x, m, s, z) denotes a synthetic lesion generated in (a) a training stage. Also, y = {y d , y m , y s } is the label of the lesion x (mass x) in the training data and y d is the label of malignant and benign lesions Y m and y s are labels of margin and shape, respectively. Also, p d (x, y), p m (m) and p s (s) refer to the distribution of training samples and z represents the malignancy with a distribution p z (z) Shape, and margin, as well as a noise vector for modeling the variance.

본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(300) 내 생성 네트워크(310)는 하기 [수식 2]의 목적 함수(objective function) VG(D, G)로부터 학습된다.The generation network 310 in the CAD system 300 in which the diagnosis reason explanation according to another embodiment of the present invention is generated is learned from the objective function V G (D, G) of the following equation (2).

[수식 2][Equation 2]

Figure pat00002
Figure pat00002

여기서, x는 병변 이미지(mass image)를 의미하고, G(x, m, s, z)는 (a)트레이닝 스테이지(Training Stage)에서 생성된 합성 병변(synthetic lesion)을 의미한다. 또한, y={yd, ym, ys}는 트레이닝 데이터(training data)에서 병변 x(mass x)의 라벨(rabel)을 의미하고, yd는 병변 진단을 위한 악성 및 양성의 라벨을 의미하며, ym 및 ys는 각각 마진(margin) 및 모양(shape)의 라벨을 의미한다. 또한, pd(X, Y), pm(m) 및 ps(s)는 트레이닝 샘플의 분포(distribution of training samples)를 의미하고, z는 분포가 pz(z)인 악성(malignancy), 모양(shape) 및 마진(margin) 외에 분산에 대한 모델링을 위한 노이즈 벡터(noise vector)를 의미한다. Here, x denotes a mass image, and G (x, m, s, z) denotes a synthetic lesion generated in (a) a training stage. Also, y = {y d , y m , y s } is the label of the lesion x (mass x) in the training data and y d is the label of malignant and benign lesions Y m and y s are labels of margin and shape, respectively. Also, p d (x, y), p m (m) and p s (s) refer to the distribution of training samples and z represents the malignancy with a distribution p z (z) Shape, and margin, as well as a noise vector for modeling the variance.

이에 따라서, 본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(300)은 [수식 1] 및 [수식 2]에 의해 학습되며, 상기 D는 실제 병변(real mass) 및 합성 병변(synthetic mass)과 악성 종양을 구분하고, 병변의 마진(margin) 및 모양(shape)을 예측함에 따라, 상기 G는 이에 상응하는 마진 및 모양을 가진 동일성 보존 병변(identity­preserving lesion)을 합성하여 상기 D와 비교한다.Accordingly, the CAD system 300 in which the diagnosis reason explanation according to another embodiment of the present invention is generated is learned by [Equation 1] and [Equation 2], and D is a real mass and a synthetic lesion (G) of the lesion is classified into a synthetic mass and a malignant tumor, and the G is predicted to have a margin and a shape of the lesion. The G thus synthesizes an identity preserving lesion having a corresponding margin and shape, Compare.

즉, 본 발명의 다른 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(300)는 생성 네트워크(310) 및 진단 네트워크(320) 사이의 대체 트레이닝(alternative training 또는 합동 학습(joint learning))을 통해 아웃풋(output)되는 진단 정보 및 근거 정보의 정확도를 향상시킬 수 있다.That is, the CAD system 300 in which the description of the diagnosis reason according to another embodiment of the present invention is generated, is provided with alternative training or joint learning between the generation network 310 and the diagnosis network 320 The accuracy of the diagnostic information and the ground information to be output can be improved.

도 4는 본 발명의 실시예에 따른 융합 모델을 포함하는 Explainable CAD 시스템의 세부 구성을 나타내는 구조를 도시한 것이다.FIG. 4 illustrates a detailed structure of an explainable CAD system including a fusion model according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(400)은 병변 진단부(410) 및 진단 근거 도출부(420)를 포함한다.Referring to FIG. 4, a CAD system 400 in which a description of a diagnosis reason is generated according to an embodiment of the present invention includes a lesion diagnosis unit 410 and a diagnosis basis derivation unit 420.

다만, 병변 진단부(410)는 병변 분석 및 진단 모델을 포함하며, 진단 근거 도출부(420)는 생성 모델(generative model)을 포함한다. 이하의 도 4에서는 병변 진단부(410) 및 진단 근거 도출부(420)에서 수행되는 병변 분석 및 진단 모델(410) 및 생성 모델(420)에 대해 상세히 설명하고자 한다. However, the lesion diagnosis unit 410 includes a lesion analysis and diagnosis model, and the diagnosis basis derivation unit 420 includes a generative model. 4, a lesion analysis and diagnosis model 410 and a generation model 420 performed in the lesion diagnosis unit 410 and the diagnosis basis derivation unit 420 will be described in detail.

이 때, 병변 분석 및 진단 모델(410)과 생성 모델(420)은 합동 학습(joint learning)을 통해 진단 정보 및 근거 정보의 정확도를 향상시키는 것을 특징으로 한다.At this time, the lesion analysis and diagnosis model 410 and the generation model 420 are characterized by improving the accuracy of diagnostic information and basis information through joint learning.

병변 분석 및 진단 모델(410)은 영상 특징 인코딩(411) 및 병변 분류(412)를 포함할 수 있다. 이 때, 영상 특징 인코딩(411)은 의료영상의 특징 정보를 추출하며, 병변 분류(412)는 생성 모델(420)로부터 도출되는 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 근거 정보를 융합(fusion)하여 병변을 분류할 수 있다.The lesion analysis and diagnosis model 410 may include an image feature encoding 411 and a lesion classification 412. At this time, the image feature encoding 411 extracts the feature information of the medical image, and the lesion classification 412 extracts the visual description information derived from the generation model 420 and the basis information including the lesion diagnosis factor explanation information fusion) to classify lesions.

이후, 병변 분석 및 진단 모델(410)은 병변 분류(412)로부터 도출된 분류 결과에 따라 병변 여부를 진단(413)할 수 있다.Thereafter, the lesion analysis and diagnosis model 410 may diagnose the lesion 413 according to the classification result derived from the lesion classification 412.

생성 모델(420)은 시각적 설명정보 생성부(421) 및 병변진단요인 설명정보 생성부(422)를 포함할 수 있으며, 시각적 설명정보 생성부(421)는 시각적 설명정보 생성을 위한 디코더(Decoder)이고, 병변진단요인 설명정보 생성부(422)는 병변 진단 요인 추출을 위한 멀티 태스크 딥 네트워크(Multi­task Deep Network)일 수 있다.The generation model 420 may include a visual description information generation unit 421 and a lesion diagnosis factor description information generation unit 422. The visual description information generation unit 421 may include a decoder for generating visual description information, And the lesion diagnosis factor explanatory information generating unit 422 may be a multitask deep network for extracting a lesion diagnosis factor.

시각적 설명정보 생성부(421)는 영상 특징 인코딩(411)에 의해 추출된 특징 정보와, 병변 진단/신뢰도(413)에서 도출된 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보(430)를 생성할 수 있다. The visual description information generating unit 421 generates a visual description information based on the feature information extracted by the image feature encoding 411 and the diagnostic information derived from the lesion diagnosis / reliability 413 using Deep Learning A visual description information 430 including a saliency region, an activation map, and a conspicuous pattern of a lesion can be generated.

여기서, 시각적 설명정보 생성부(421)는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 추출된 특징 정보 및 병변진단요인 설명정보를 디코딩(decoding)하여 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다. Here, the visual description information generating unit 421 decodes feature information and lesion diagnosis factor explanatory information extracted by using Deep Learning of Adversarial Learning and Reinforcement Learning It is possible to generate a conspicuous pattern of the lesion.

병변진단요인 설명정보 생성부(422)는 영상 특징 인코딩(411)에 의해 추출된 특징 정보와, 병변 진단/신뢰도(413)에서 도출된 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 병변진단요인 설명정보(430)를 생성할 수 있다. The lesion diagnosis factor explanatory information generating unit 422 generates a lesion diagnosis factor description information based on the feature information extracted by the image feature encoding unit 411 and the diagnostic information derived from the lesion diagnosis / The lesion diagnosis factor explanatory information 430 can be generated by stochastic estimation of the size, shape, and margin of the lesion through learning.

이에 따라서, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(400)은 영상 분석 정보, 병변 진단 정보, 병변의 시각적 설명정보 및 병변진단요인 설명정보를 융합하여 병변 진단 성능과 병변 진단에 대한 근거를 설명하는 근거 정보의 추정 성능을 개선한 Explainable CAD 통합 시스템을 제안한다.Accordingly, the CAD system 400, in which the description of the diagnosis reason according to the embodiment of the present invention is generated, fuses the image analysis information, the lesion diagnosis information, the visual description information of the lesion, This paper proposes an explainable CAD integration system that improves the estimation performance of the ground information.

도 5a 및 도 5b는 본 발명의 실시예에 따른 생성 모델의 세부 구성을 나타내는 블록도를 도시한 것이다.5A and 5B are block diagrams showing a detailed configuration of a generation model according to an embodiment of the present invention.

보다 상세하게는, 도 5a는 본 발명의 실시예에 따른 시각적 설명정보를 생성하는 생성 모델의 예를 도시한 것이며, 도 5b는 본 발명의 실시예에 따른 병변진단요인 설명정보를 생성하는 생성 모델의 예를 도시한 것이다.5A illustrates an example of a generation model for generating visual description information according to an embodiment of the present invention. FIG. 5B illustrates an example of a generation model for generating lesion diagnosis factor description information according to an embodiment of the present invention. Fig.

도 5a를 참조하면, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(500)에서, 생성 모델의 진단 근거 도출부(520)는 병변 분석 및 진단 모델의 병변 진단부(510)로부터 의료영상(Medical image, 10)의 특징 정보를 수신하고, 진단 근거 도출부(520) 내 시각적 설명정보 생성부(521)는 특징 정보 및 병변진단요인 설명정보를 디코딩(Decoding)하여 병변의 뚜렷한 패턴(Generated Conspicuous Pattern)을 생성한다.5A, in a CAD system 500 in which a description of a diagnosis reason according to an embodiment of the present invention is generated, a diagnosis basis derivation unit 520 of a generation model extracts, from a lesion diagnosis unit 510 of a lesion analysis and diagnosis model, The visual description information generation unit 521 in the diagnostic basis derivation unit 520 decodes the feature information and the lesion diagnosis factor explanatory information to obtain a distinct pattern of the lesion (Generated Conspicuous Pattern).

이후, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(500)은 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning) 등의 학습방법(530)을 기반으로 병변이 뚜렷한 목표 영상(Target image), 및 디코더(Decoder)를 이용하여 판별기(Discriminator, 531)가 영상의 차이를 구별 또는 판별하지 못할 때까지 병변의 패턴이 뚜렷한 영상을 생성할 수 있다. Thereafter, the CAD system 500 in which the description of the diagnosis reason according to the embodiment of the present invention is generated, generates a target image having a lesion with a clear lesion based on a learning method 530 such as Adversarial Learning and Reinforcement Learning A discriminator 531 can generate an image having a clear lesion pattern until it can not distinguish or discriminate the difference between images using a target image and a decoder.

이에 따라서, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(500)은 병변의 시각적 설명정보를 생성하는 기술 중 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning) 등의 학습방법(530)을 활용하여 병변의 패턴의 선명도가 향상된 영상을 생성할 수 있다. Accordingly, the CAD system 500, in which the description of the diagnosis reason according to the embodiment of the present invention is generated, can be classified into a learning method such as Adversarial Learning and Reinforcement Learning 530) can be used to generate an image with improved sharpness of the lesion pattern.

도 5b를 참조하면, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(500)에서, 생성 모델의 진단 근거 도출부(520)는 병변 분석 및 진단 모델의 병변 진단부(510)로부터 추출된 의료영상(Medical image, 10)의 특징 정보 및 진단 정보를 수신하고, 진단 근거 도출부(520) 내 병변진단요인 설명정보 생성부(522)는 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변진단요인 설명정보를 생성한다.Referring to FIG. 5B, in the CAD system 500 in which the description of the diagnosis reason is generated according to the embodiment of the present invention, the diagnosis basis derivation unit 520 of the generation model extracts, from the lesion diagnosis unit 510 of the lesion analysis and diagnosis model, And the diagnostic information of the medical image 10 and diagnosis information of the extracted medical image 10 and the lesion diagnosis factor explanatory information generating unit 522 in the diagnostic basis deriving unit 520 learns the multitask deep network learning Thereby generating the lesion diagnosis factor explanatory information.

병변진단요인 설명정보 생성부(522)는 병변진단요인 설명정보의 정확도에 관한 비용함수(541)를 통해 의사들이 병변 진단 시, 고려하는 다양한 병변 진단 요인들 예를 들면, 병변의 크기(Size of lesion), 모양의 불규칙성(Irregular shape) 및 spiculation의 정도(Degree of spiculation)를 확률적으로 추정함으로써, 신뢰도 높은 병변진단요인 설명정보를 생성할 수 있다. The lesion diagnosis factor explanatory information generating unit 522 generates various lesion diagnostic factors such as the size of the lesion, which are taken into consideration by the doctors during the diagnosis of the lesion, through the cost function 541 relating to the accuracy of the lesion diagnosis factor explanatory information lesion, irregular shape, and degree of spiculation are probabilistically estimated to generate highly reliable lesion diagnosis factor explanatory information.

도 6은 본 발명의 실시예에 따른 Explainable CAD 시스템의 학습 방법의 예를 나타내는 블록도를 도시한 것이다.FIG. 6 is a block diagram illustrating an example of a learning method of an explainable CAD system according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(600)은 병변 진단부(610) 및 진단 근거 도출부(620)를 포함하며, 병변 진단부(610)는 병변 분석 및 진단 모델로 구성되고, 진단 근거 도출부(620)는 생성 모델(generative model)로 구성된다. 6, a CAD system 600 in which a description of a diagnosis reason according to an embodiment of the present invention is generated includes a lesion diagnosis unit 610 and a diagnosis basis derivation unit 620, and the lesion diagnosis unit 610 A lesion analysis and a diagnosis model, and the diagnosis basis derivation unit 620 is composed of a generative model.

병변 분석 및 진단 모델(610)은 의료영상(10)에 대한 영상 분석을 통해 특징 정보를 추출하고, 추출된 특징 정보 및 근거 정보로부터 병변 여부를 진단하며, 신뢰도를 추정(611)한다. 이후, 비용함수 1(Discriminative loss 1, 631)은 진단 결과를 기반으로, 영상 분석 기반의 병변 진단에 대한 정확도를 향상시킬 수 있다.The lesion analysis and diagnosis model 610 extracts the feature information through the image analysis for the medical image 10, diagnoses the lesion from the extracted feature information and the basis information, and estimates the reliability 611. Subsequently, the cost function 1 (Discriminative loss 1, 631) can improve the accuracy of image-based lesion diagnosis based on the diagnosis results.

또한, 생성 모델(620)은 병변 분석 및 진단 모델(610)로부터 수신된 특징 정보 및 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 시각적 설명정보 및 병변진단요인 설명정보를 도출한다.In addition, the generation model 620 derives the visual description information and the lesion diagnosis factor explanatory information explaining the basis of the lesion diagnosis using the feature information and the diagnosis information received from the lesion analysis and diagnosis model 610.

이후, 생성적 적대 비용함수(Generative adversarial loss, 632)는 병변이 뚜렷한 목표 영상(Target image)과 생성 모델(620)로부터 생성된 시각적 설명정보 간의 유사도 및 구별 가능성에 관한 정확도와 품질을 향상시킬 수 있다.Thereafter, the generative adversarial loss 632 improves the accuracy and quality of the similarity and discriminability between the target image, which is lesion-distinct, and the visual description information, generated from the generation model 620 have.

또한, 관련성 비용함수(Relevance loss, 634)는 진단 결과에 따른 진단 정보, 시각적 설명정보 및 병변진단요인 설명정보 간의 관련성을 판단하여 병변 진단 및 진단 이유에 대한 설명의 정확도를 향상시킬 수 있다.In addition, the relevance cost function (634) can improve the accuracy of the diagnosis of the lesion and the reason for the diagnosis by judging the relevance between diagnostic information, visual description information, and lesion diagnosis factor explanatory information according to the diagnosis result.

또한, 비용함수 2(Discriminative loss 2, 635)는 병변진단요인 설명정보를 기반으로, 다양한 병변 진단 요인 추정에 대한 정확도를 향상시킬 수 있다.In addition, the cost function 2 (Discriminative loss 2, 635) can improve the accuracy of estimating various lesion diagnosis factors based on the lesion diagnosis factor explanatory information.

즉, 도 6을 참조하면, 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 시스템(600)은 병변 분석 및 진단 모델(610) 및 생성 모델(620)의 합동 학습(joint learning)을 통해 진단 결과, 시각적 설명정보 및 병변진단요인 설명정보의 정확도 및 신뢰도를 향상시킬 수 있다. 6, the CAD system 600 in which the description of the diagnosis reason according to the embodiment of the present invention is generated, is executed through the joint analysis of the lesion analysis and diagnosis model 610 and the generation model 620 It is possible to improve the accuracy and reliability of the diagnostic result, the visual explanatory information, and the lesion diagnosis factor explanatory information.

도 7은 본 발명의 실시예에 따른 진단 이유 설명이 생성되는 CAD 방법의 흐름도를 도시한 것이다.Figure 7 shows a flow diagram of a CAD method in which a diagnostic reason description is generated according to an embodiment of the present invention.

도 7에 도시된 본 발명의 실시예에 따른 CAD 방법은 도 1에 도시된 본 발명의 실시예에 따른 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템에 의해 수행된다. The CAD method according to the embodiment of the present invention shown in FIG. 7 is performed by a CAD (Computer Aided Diagnosis) system that provides a description of the lesion diagnosis and diagnosis reason according to the embodiment of the present invention shown in FIG.

도 7을 참조하면, 단계 710에서 의료영상에 대한 영상 분석을 통해 의료영상의 특징 정보를 추출하여 병변 여부를 진단한다.Referring to FIG. 7, in step 710, feature information of the medical image is extracted through image analysis of the medical image to diagnose whether the lesion is lesion.

예를 들면, 단계 710은 의료영상에 대한 영상 분석을 수행하여 특징 정보를 추출(인코딩, Encoding)하고, 추출된 특징 정보와 시각적 설명정보 및 병변진단요인 설명정보를 포함하는 근거 정보를 융합하여 병변을 분류하며, 분류 결과에 따라 병변 여부를 진단하는 단계일 수 있다. For example, in step 710, an image analysis is performed on a medical image to extract (encode) the feature information, and fusion of the extracted feature information with the basis information including the visual description information and the lesion diagnosis factor explanatory information is performed, And diagnosing the lesion according to the classification result.

보다 구체적으로, 단계 710은 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 의료영상에 대한 영상 분석을 수행하고, 영상 분석에 따른 의료영상 내 특징 정보를 추출하며, 추출된 특징 정보로부터 병변 여부를 진단할 수 있다. 이 때, 단계 710은 의료영상뿐만 아니라, 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 근거 정보를 융합하여 병변을 분류하고, 분류 결과에 따라 상기 병변 여부를 진단할 수 있다.More specifically, step 710 performs an image analysis of the medical image using the Deep Neural Network, extracts feature information in the medical image according to the image analysis, and determines whether the lesion is detected from the extracted feature information can do. At this time, in step 710, the lesion is classified by fusing not only the medical image but also the basis information derived from the generative model explaining the basis of the lesion diagnosis, and diagnoses the lesion according to the classification result have.

단계 720에서 추출된 특징 정보 및 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출한다. 이 때, 상기 근거 정보는 시각적 설명정보 및 병변진단요인 설명정보를 포함한다.Based on the feature information extracted in step 720 and the diagnosis information according to the diagnosis result, basis information for explaining the basis of the lesion diagnosis is derived. At this time, the basis information includes visual explanatory information and lesion diagnosis factor explanatory information.

단계 720은 시각적 설명정보를 생성하는 단계(미도시)를 포함하며, 시각적 설명정보를 생성하는 단계는 의료영상 중 어느 정보를 추출 및 활용하여 진단 결과를 도출하였는지를 시각적으로 제공하기 위한 시각적 설명정보를 생성하는 단계일 수 있다.Step 720 includes a step (not shown) of generating visual explanatory information, and the step of generating visual explanatory information includes visual explanatory information for visually providing information as to which information is extracted and utilized to derive the diagnostic result Lt; / RTI >

예를 들면, 시각적 설명정보를 생성하는 단계는 추출된 특징 정보 및 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 시각적 설명정보를 생성할 수 있다. 이 때, 시각적 설명정보를 생성하는 단계는 적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 추출된 특징 정보 및 병변진단요인 설명정보를 디코딩(decoding)함으로써, 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성할 수 있다. For example, the step of generating the visual explanatory information may be based on the extracted feature information and the diagnostic information, and may include a visual concentrated area (Saliency Region), an activity map (Activation Map) It is possible to generate visual description information including a pattern (Conspicuous Pattern). At this time, the step of generating visual explanatory information includes decoding the feature information and the lesion diagnosis factor explanatory information extracted by using Deep Learning of Adversarial Learning and Reinforcement Learning , And a conspicuous pattern of lesions.

또한, 단계 720은 병변진단요인 설명정보를 생성하는 단계(미도시)를 포함하며, 병변진단요인 설명정보를 생성하는 단계는 의사들이 병변 진단 시 고려하는 다양한 병변 진단 요인과, 병변 진단 증례보고서에서 표현되는 다양한 병변 진단 요인들을 포함하는 병변진단요인 설명정보를 생성하는 단계일 수 있다. In addition, step 720 includes a step (not shown) of generating lesion diagnosis factor explanatory information, and the step of generating lesion diagnosis factor explanatory information includes various lesion diagnosis factors that doctors consider when diagnosing a lesion, And generating the lesion diagnosis factor explanatory information including various lesion diagnosis factors to be expressed.

예를 들면, 병변진단요인 설명정보를 생성하는 단계는 추출된 특징 정보 및 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 포함하는 병변 진단 요인들을 확률적으로 추정하여 병변진단요인 설명정보를 생성할 수 있다.For example, the step of generating the lesion diagnosis factor explanatory information may include a step of calculating a size, a shape, and a boundary of the lesion through Multitask Deep Network learning based on the extracted feature information and diagnostic information, the lesion diagnosis factor including the margin may be stochastically estimated to generate the lesion diagnosis factor explanatory information.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어느 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable array (FPA) May be implemented using one or more general purpose or special purpose computers, such as programmable logic units (PLUs), microprocessors, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing unit may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CDROMs and DVDs, magnetic optical media such as floppy disks, magnetooptical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

10: 의료영상
20: 진단 결과
100, 200, 300, 400, 500, 600: Explainable CAD10: medical imaging
20: Diagnostic results
100, 200, 300, 400, 500, 600: Explainable CAD

Claims (16)

병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템에 있어서,
의료영상에 대한 영상 분석을 통해 상기 의료영상의 특징 정보를 추출하여 병변 여부를 진단하는 병변 진단부; 및
상기 추출된 특징 정보 및 상기 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출하는 진단 근거 도출부를 포함하되,
상기 진단 근거 도출부는
시각적 설명정보 및 병변진단요인 설명정보를 포함하는 상기 근거 정보를 도출하는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 시스템.A computer aided diagnosis (CAD) system for providing a description of lesion diagnosis and diagnosis reason,
A lesion diagnosis unit for extracting feature information of the medical image through an image analysis of the medical image to diagnose whether the lesion is lesion; And
And a diagnosis base derivation unit for deriving base information for explaining the basis of the lesion diagnosis using the extracted feature information and diagnosis information according to the diagnosis result,
The diagnostic basis derivation unit
The visual description information and the lesion diagnosis factor explanatory information are derived. 제1항에 있어서,
상기 병변 진단부는
딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 의료영상에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 상기 병변 여부를 진단하는 진단 이유 설명이 생성되는 CAD 시스템.The method according to claim 1,
The lesion diagnosis unit
A CAD system for extracting the feature information through image analysis of a medical image using a Deep Neural Network and generating a diagnostic reason explanation for diagnosing whether the lesion is caused according to the extracted feature information. 제2항에 있어서,
상기 병변 진단부는
상기 의료영상뿐만 아니라, 상기 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 근거 정보를 융합하여 병변을 분류하고, 상기 분류 결과에 따라 상기 병변 여부를 진단하는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 시스템.3. The method of claim 2,
The lesion diagnosis unit
The lesion is classified not only in the medical image but also in the lesion derived from a generative model explaining the basis of the lesion diagnosis to diagnose the lesion according to the classification result The CAD system in which the diagnostic reason description is generated. 제1항에 있어서,
상기 진단 근거 도출부는
상기 시각적 설명정보를 생성하는 시각적 설명정보 생성부; 및
상기 병변진단요인 설명정보를 생성하는 병변진단요인 설명정보 생성부
를 포함하는 진단 이유 설명이 생성되는 CAD 시스템. The method according to claim 1,
The diagnostic basis derivation unit
A visual description information generating unit for generating the visual description information; And
The lesion diagnosis factor description information generating unit
Wherein the diagnostic reason description is generated. 제4항에 있어서,
상기 시각적 설명정보 생성부는
상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성하는 진단 이유 설명이 생성되는 CAD 시스템. 5. The method of claim 4,
The visual description information generating unit
Based on the extracted feature information and the diagnosis information, the visual information including a visual concentration area, an activity map, and a concis pattern of lesions is calculated using deep learning. Description The CAD system in which the diagnostic reason description that generates the information is generated. 제5항에 있어서,
상기 시각적 설명정보 생성부는
적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 추출된 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성하는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 시스템. 6. The method of claim 5,
The visual description information generating unit
The extracted feature information and the lesion diagnosis factor explanatory information are decoded using Deep Learning of Adversarial Learning and Reinforcement Learning to determine a Conspicuous Pattern of the lesion, The CAD system generates a diagnostic reason description. 제4항에 있어서,
상기 병변진단요인 설명정보 생성부는
상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성하는 진단 이유 설명이 생성되는 CAD 시스템. 5. The method of claim 4,
The lesion diagnosis factor description information generation unit
The size, shape, and margin of the lesion are stochastically estimated through the multitask deep network learning based on the extracted feature information and the diagnosis information, The CAD system in which the diagnostic reason description that generates the factor description information is generated. 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템에 있어서,
병변 분석 및 진단 모델을 통해 의료영상의 특징 정보를 추출하여 병변 여부를 진단하고, 생성 모델(generative model)을 통해 상기 추출된 특징 정보 및 병변 진단으로부터 병변에 대한 시각적 설명정보 및 진단 이유에 대한 병변진단요인 설명정보를 각각 도출하는 진단 이유 설명이 생성되는 CAD 시스템. A computer aided diagnosis (CAD) system for providing a description of lesion diagnosis and diagnosis reason,
The lesion is diagnosed by extracting the characteristic information of the medical image through the lesion analysis and diagnosis model, and the lesion is diagnosed by the generative model, and the visual description information about the lesion from the extracted characteristic information and lesion diagnosis, A CAD system in which a diagnostic reason description is generated to derive diagnostic information description information, respectively. 제8항에 있어서,
상기 CAD 시스템은
상기 병변 분석 및 진단 모델과, 상기 생성 모델의 합동 학습(joint learning)을 통해 상기 진단 정보 및 상기 근거 정보의 정확도를 향상시키는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 시스템.9. The method of claim 8,
The CAD system
Wherein the accuracy of the diagnosis information and the reason information is improved through joint analysis of the lesion analysis and diagnosis model and the generation model. 병변 진단 및 진단 이유에 대한 설명을 제공하는 CAD(Computer­Aided Diagnosis) 시스템의 동작 방법에 있어서,
의료영상에 대한 영상 분석을 통해 상기 의료영상의 특징 정보를 추출하여 병변 여부를 진단하는 단계; 및
상기 추출된 특징 정보 및 상기 진단 결과에 따른 진단 정보를 이용하여 병변 진단에 대한 근거를 설명하는 근거 정보를 도출하는 단계를 포함하되,
상기 근거 정보는
시각적 설명정보 및 병변진단요인 설명정보를 포함하는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 방법. A method of operating a CAD (Computer Aided Diagnosis) system for providing a description of lesion diagnosis and diagnosis reasons,
Extracting feature information of the medical image through image analysis of the medical image to diagnose whether the lesion is lesion; And
And deriving a basis information for explaining a basis of the lesion diagnosis using the extracted feature information and the diagnosis information according to the diagnosis result,
The basis information
A visual description information, and a lesion diagnosis factor description information. 제10항에 있어서,
상기 병변 여부를 진단하는 단계는
딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 상기 의료영상에 대한 영상 분석을 통해 상기 특징 정보를 추출하며, 상기 추출된 특징 정보에 따른 상기 병변 여부를 진단하는 진단 이유 설명이 생성되는 CAD 방법.11. The method of claim 10,
The step of diagnosing the lesion may include
A CAD method for extracting the feature information through image analysis of a medical image using a Deep Neural Network and generating a diagnostic reason explanation for diagnosing whether the lesion is caused according to the extracted feature information. 제11항에 있어서,
상기 병변 여부를 진단하는 단계는
상기 의료영상뿐만 아니라, 상기 병변 진단에 대한 근거를 설명하는 생성 모델(generative model)로부터 도출되는 상기 근거 정보를 융합하여 병변을 분류하고, 상기 분류 결과에 따라 상기 병변 여부를 진단하는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 방법.12. The method of claim 11,
The step of diagnosing the lesion may include
The lesion is classified not only in the medical image but also in the lesion derived from a generative model explaining the basis of the lesion diagnosis to diagnose the lesion according to the classification result The CAD method by which the diagnostic reason description is generated. 제10항에 있어서,
상기 근거 정보를 도출하는 단계는
상기 시각적 설명정보를 생성하는 단계를 포함하며,
상기 시각적 설명정보를 생성하는 단계는
상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 딥 러닝(Deep Learning)을 이용하여 시각적 집중영역(Saliency Region), 활성도 맵(Activation Map) 및 병변의 뚜렷한 패턴(Conspicuous Pattern)을 포함하는 상기 시각적 설명정보를 생성하는 진단 이유 설명이 생성되는 CAD 방법.11. The method of claim 10,
The step of deriving the evidence information
And generating the visual description information,
The step of generating the visual description information
Based on the extracted feature information and the diagnosis information, the visual information including a visual concentration area, an activity map, and a concis pattern of lesions is calculated using deep learning. The CAD method in which the diagnostic reason description that generates the description information is generated. 제13항에 있어서,
상기 시각적 설명정보를 생성하는 단계는
적대적 학습(Adversarial Learning) 및 강화학습(Reinforcement Learning)의 딥 러닝(Deep Learning)을 이용하여 상기 추출된 특징 정보 및 상기 병변진단요인 설명정보를 디코딩(decoding)하여 상기 병변의 뚜렷한 패턴(Conspicuous Pattern)을 생성하는 것을 특징으로 하는 진단 이유 설명이 생성되는 CAD 방법.14. The method of claim 13,
The step of generating the visual description information
The extracted feature information and the lesion diagnosis factor explanatory information are decoded using Deep Learning of Adversarial Learning and Reinforcement Learning to determine a Conspicuous Pattern of the lesion, Wherein a diagnostic reason description is generated. 제10항에 있어서,
상기 근거 정보를 도출하는 단계는
상기 병변진단요인 설명정보를 생성하는 단계를 포함하며,
상기 병변진단요인 설명정보를 생성하는 단계는
상기 추출된 특징 정보 및 상기 진단 정보를 기반으로, 멀티 태스크 딥 네트워크(Multi­task Deep Network) 학습을 통해 병변의 크기(size), 모양(shape) 및 경계면(margin)을 확률적으로 추정하여 상기 병변진단요인 설명정보를 생성하는 진단 이유 설명이 생성되는 CAD 방법.11. The method of claim 10,
The step of deriving the evidence information
And generating the lesion diagnosis factor explanatory information,
The step of generating the lesion diagnosis factor explanatory information
The size, shape, and margin of the lesion are stochastically estimated through the multitask deep network learning based on the extracted feature information and the diagnosis information, The CAD method in which the diagnostic reason description that generates the factor description information is generated. 제10항 내지 제15항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램. 16. A computer program stored in a computer-readable medium for performing the method of any one of claims 10 to 15.
KR1020170125708A 2017-06-19 2017-09-28 Explainable computer­aided diagnosis system and the method thereof KR101938992B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170077281 2017-06-19
KR20170077281 2017-06-19

Publications (2)

Publication Number Publication Date
KR20180138107A true KR20180138107A (en) 2018-12-28
KR101938992B1 KR101938992B1 (en) 2019-01-15

Family

ID=65008882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170125708A KR101938992B1 (en) 2017-06-19 2017-09-28 Explainable computer­aided diagnosis system and the method thereof

Country Status (1)

Country Link
KR (1) KR101938992B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097743B1 (en) * 2019-07-25 2020-04-06 주식회사 딥노이드 Apparatus and Method for analyzing disease based on artificial intelligence
KR20200091145A (en) * 2019-01-22 2020-07-30 한국과학기술원 Method for interpretating visual evidence according to breast mass characteristics and the system thereof
KR20200117344A (en) * 2019-04-04 2020-10-14 한국과학기술원 Interactive computer-aided diagnosis method for lesion diagnosis and the system thereof
KR20210013830A (en) * 2019-07-29 2021-02-08 주식회사 코어라인소프트 Medical image analyzing apparatus and method based on medical use artificial neural network evaluating analysis result thereof
KR20220004476A (en) * 2020-07-03 2022-01-11 주식회사 뷰노 Method or apparatus for providing diagnostic results
WO2022131479A1 (en) * 2020-12-14 2022-06-23 주식회사 뷰노 Lesion diagnosis method

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360615B1 (en) 2019-11-05 2022-02-09 주식회사 인피니트헬스케어 Medical image diagnosis assistance apparatus and method using a plurality of medical image diagnosis algorithm for endoscope images
KR102370886B1 (en) 2019-11-06 2022-03-07 한국과학기술연구원 Image analysis apparatus using machine-learning based artificial intelligence including preprocessing modules
KR102270934B1 (en) 2019-11-19 2021-06-30 주식회사 코어라인소프트 Apparatus and method for medical image reading assistant providing representative image based on medical use artificial neural network
KR102325555B1 (en) * 2019-11-27 2021-11-12 주식회사 에프앤디파트너스 Medical image automatic doctor's recommendation device
KR102536369B1 (en) 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 Artificial intelligence-based gastroscopy diagnosis supporting system and method
KR102531400B1 (en) 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 Artificial intelligence-based colonoscopy diagnosis supporting system and method
WO2023239174A1 (en) * 2022-06-09 2023-12-14 경북대학교 산학협력단 Multi-resolution-based optical interferometric tomographic imaging device and method for automated bacteria identification using tomographic images

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101740464B1 (en) * 2016-10-20 2017-06-08 (주)제이엘케이인스펙션 Method and system for diagnosis and prognosis of stroke and systme therefor

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200091145A (en) * 2019-01-22 2020-07-30 한국과학기술원 Method for interpretating visual evidence according to breast mass characteristics and the system thereof
KR20200117344A (en) * 2019-04-04 2020-10-14 한국과학기술원 Interactive computer-aided diagnosis method for lesion diagnosis and the system thereof
KR102097743B1 (en) * 2019-07-25 2020-04-06 주식회사 딥노이드 Apparatus and Method for analyzing disease based on artificial intelligence
KR20210013830A (en) * 2019-07-29 2021-02-08 주식회사 코어라인소프트 Medical image analyzing apparatus and method based on medical use artificial neural network evaluating analysis result thereof
US11715198B2 (en) 2019-07-29 2023-08-01 Coreline Soft Co., Ltd. Medical use artificial neural network-based medical image analysis apparatus and method for evaluating analysis results of medical use artificial neural network
KR20220004476A (en) * 2020-07-03 2022-01-11 주식회사 뷰노 Method or apparatus for providing diagnostic results
WO2022131479A1 (en) * 2020-12-14 2022-06-23 주식회사 뷰노 Lesion diagnosis method

Also Published As

Publication number Publication date
KR101938992B1 (en) 2019-01-15

Similar Documents

Publication Publication Date Title
KR101938992B1 (en) Explainable computer­aided diagnosis system and the method thereof
US11593943B2 (en) RECIST assessment of tumour progression
Elyan et al. Computer vision and machine learning for medical image analysis: recent advances, challenges, and way forward.
Venkataramanan et al. Attention guided anomaly localization in images
Tian et al. Constrained contrastive distribution learning for unsupervised anomaly detection and localisation in medical images
KR101980955B1 (en) Method and system for analyzing feature representation of lesions with depth directional long-term recurrent learning in 3d medical images
Poudel et al. Evaluation of commonly used algorithms for thyroid ultrasound images segmentation and improvement using machine learning approaches
US11741598B2 (en) Method for aiding visualization of lesions in medical imagery and apparatus using the same
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
CN107688815B (en) Medical image analysis method and analysis system, and storage medium
KR102281988B1 (en) Interactive computer-aided diagnosis method for lesion diagnosis and the system thereof
US20230090906A1 (en) Method, device and system for automated processing of medical images to output alerts for detected dissimilarities
Liu et al. Accurate and robust pulmonary nodule detection by 3D feature pyramid network with self-supervised feature learning
Chen et al. Functional region annotation of liver CT image based on vascular tree
Masood et al. Recognition and tracking of objects in a clustered remote scene environment
Nazir et al. Machine Learning‐Based Lung Cancer Detection Using Multiview Image Registration and Fusion
Lu et al. Lumbar spine segmentation method based on deep learning
Jin et al. Ribseg v2: A large-scale benchmark for rib labeling and anatomical centerline extraction
Jayachandran et al. Brain tumor severity analysis using modified multi‐texton histogram and hybrid kernel SVM
Rajeswari et al. Gradient contouring and texture modelling based cad system for improved tb classification
Raj et al. Shape Feature Extraction Techniques for Computer Vision Applications
Dorgham Automatic body segmentation from computed tomography image
Arora et al. Intuitionistic level set segmentation for medical image segmentation
Khan et al. Segmentation of prostate in MRI images using depth separable convolution operations
KN et al. Comparison of 3-segmentation techniques for intraventricular and intracerebral hemorrhages in unenhanced computed tomography scans

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant