KR20210010770A - 이미지의 특이 영역 분석 방법 및 장치 - Google Patents

이미지의 특이 영역 분석 방법 및 장치 Download PDF

Info

Publication number
KR20210010770A
KR20210010770A KR1020190087669A KR20190087669A KR20210010770A KR 20210010770 A KR20210010770 A KR 20210010770A KR 1020190087669 A KR1020190087669 A KR 1020190087669A KR 20190087669 A KR20190087669 A KR 20190087669A KR 20210010770 A KR20210010770 A KR 20210010770A
Authority
KR
South Korea
Prior art keywords
image
attention map
normal
singular
machine learning
Prior art date
Application number
KR1020190087669A
Other languages
English (en)
Other versions
KR102279160B1 (ko
Inventor
김남국
배현진
서준범
이상민
Original Assignee
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 울산대학교 산학협력단
Priority to KR1020190087669A priority Critical patent/KR102279160B1/ko
Priority to PCT/KR2020/009398 priority patent/WO2021015490A2/ko
Publication of KR20210010770A publication Critical patent/KR20210010770A/ko
Application granted granted Critical
Publication of KR102279160B1 publication Critical patent/KR102279160B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.

Description

이미지의 특이 영역 분석 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFYING ANOMALY AREA OF IMAGE}
본 발명은 기계학습 모델을 이용하여 이미지의 특이 영역을 분석하는 특이 영역 분석 방법 및 장치에 관한 것이다.
전자 기술의 발달에 따라, 전자 장치는 사회 전반에 걸쳐 다양한 범위에서 사람의 행위를 보조하는 수단으로 이용되고 있다. 이러한 전자 장치는 의료 분야에서도 다양하게 이용되고 있는데, 대표적으로 의료용 영상 획득 장치(예: CT(computed tomography), MRI(magnetic resonance imaging))가 있을 수 있다.
의료용 영상 획득 장치를 이용하여 획득된 의료용 영상은 숙련된 의사들에 의해 판독되어 질병 진단의 보조 수단으로 사용된다.
한편, 의료용 영상의 판독 행위는 의료 분야의 전문가(예: 의사), 즉, 사람의 주관적 판단에 의존하여 이루어진다. 이에 따라, 의학용 영상의 판단자인 의사의 컨디션이나 숙련도에 따라 진단에 오류가 발생할 수 있고, 이러한 오류는 의료 사고로까지 이어질 수 있는 위험이 존재한다. 따라서, 객관적이며 정확한 의료용 영상의 판독이 이루어질 수 있도록 의료용 영상과 관련하여 의사의 진단 행위에 도움이 되는 정보가 제공될 필요가 있다.
한국등록특허 제10-0519768호 (2005년 09월 29일 등록)
본 발명이 해결하고자 하는 과제는, 기계학습 모델을 이용하여 이미지(예: 의료용 영상)의 분석에 중요한 요소로 작용가능한 특이 영역을 판별하여 제공함으로써 이미지의 분석이 보다 효과적으로 수행되도록 하는 특이 영역 분석 방법 및 장치를 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행될 수 있다.
또한, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 상기 복수의 정상 이미지는, 상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지일 수 있다.
또한, 상기 제2 기계학습 모델은, 컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로 하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있을 수 있다.
또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행될 수 있다.
또한, 상기 최종 어텐션맵을 생성하는 단계는, 상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 최종 어텐션맵을 생성하는 단계는, 상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 산출하는 단계를 더 포함할 수 있다.
또한, 상기 비정상 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하고, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함하고, 상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내의 위치적으로 대응할 수 있다.
또한, 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 단계를 더 포함하고, 상기 기지정된 구성요소는, 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 장치는, 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와, 각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 최초 어텐션맵 생성부와, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 포함할 수 있다.
또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행될 수 있다.
또한, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.
또한, 상기 복수의 정상 이미지는, 상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지일 수 있다.
또한, 상기 제2 기계학습 모델은, 컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있을 수 있다.
또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되어 있을 수 있다.
또한, 상기 최종 어텐션맵 생성부는, 상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함할 수 있다.
또한, 상기 최종 어텐션맵 생성부는, 상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 더 산출할 수 있다.
또한, 상기 비정상 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하고, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함하고, 상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내의 위치적으로 대응할 수 있다.
또한, 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 구성요소 판별부를 더 포함하고, 상기 기지정된 구성요소는, 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에 따른 특이 영역 분석 방법 및 장치는, 기계학습 모델을 이용하여 이미지(예: 의료용 영상)의 분석에 중요한 요소로 작용가능한 특이 영역을 판별하여 제공함으로써 이미지의 분석이 보다 효과적으로 수행되도록 할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법과 관련된 이미지의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.
제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다.
도 1의 제1 기계학습 모델(10)은 입력되는 이미지(예: 의료용 영상)와 유사하되 질환이 없는 사람, 즉 정상인의 상태(이하, 정상 상태)를 나타내는 가짜의 정상 이미지(13)를 생성하도록 학습된 기계학습 모델일 수 있다. 이에 따라, 도 1에 도시된 바와 같이, 제1 기계학습 모델(10)에 질환이 있는 환자의 상태, 즉 비정상 상태를 나타내는 비정상 이미지(11)가 입력되면 비정상 이미지(11)와 유사하되, 정상 상태를 나타내는 정상 이미지(13)가 생성될 수 있다. 이 때, 정상 이미지(13)는 비정상 이미지(11)와의 유사도가 소정값 이상을 가지는 이미지일 수 있다.
정상 이미지(13)는 실제 정상인에 대한 촬상에 의해 획득된 것이 아닌 제1 기계학습 모델(10)로부터 생성된 가짜 이미지(fake image)이지만, 정상인에게 나타날 수 있는 다양한 정상 상태를 나타낼 수 있다.
또한, 정상 이미지(13)와 비정상 이미지(11) 각각은 모두 의료용 영상으로서 사람의 신체의 일부에 대한 이미지일 수 있다. 정상 이미지(13)에는 정상 상태를 나타내는 정상 영역의 적어도 일부가 포함될 수 있고, 비정상 이미지(11)에는 비정상 상태를 나타내는 비정상 영역의 적어도 일부가 포함될 수 있다. 이 때, 정상 영역의 적어도 일부는 비정상 영역의 적어도 일부에 각 이미지 내의 위치적으로 대응할 수 있다.
예를 들어, 비정상 이미지(11)가 두개골에 대한 영역을 나타내는 이미지이면 정상 이미지(13)도 두개골에 대한 영역을 나타내는 이미지일 수 있으며, 각 이미지 내에서 두개골에 대한 영역이 서로 위치적으로 대응할 수 있다.
경우에 따라, 제1 기계학습 모델(10)은 하나의 이미지를 입력받아 서로 다른 복수(또는 2개 이상)의 정상 이미지를 생성하도록 학습이 수행된 것일 수 있다. 이에 따라, 제1 기계학습 모델(10)은 하나의 비정상 이미지(11)를 입력받아 복수의 정상 이미지(13)를 생성할 수 있다.
복수의 정상 이미지(13)가 생성되면, 정상 이미지(13) 각각 비정상 이미지(11)와의 차이가 구해질 수 있다. 이러한 차이는 특이 영역(anomaly area)에 해당할 수 있으며, 특이 영역이 구해지면, 특이 영역을 포함하는 최초 어텐션맵(15)이 생성될 수 있다. 특이 영역은, 정상 상태와 비정상 상태의 차이를 나타내는 것으로, 이러한 정보는 비정상 이미지(11)를 통한 비정상 상태에 대한 판독, 즉 비정상 이미지(11)의 환자의 상태를 진단할 때 중요한 부분으로 작용하는 영역일 수 있다.
최초 어텐션맵(15)은 생성된 정상 이미지(13) 각각 별로 생성될 수 있는 것으로, 만약, 정상 이미지(13)가 10개 획득되면, 최초 어텐션맵(15)도 10개 획득될 수 있다.
복수의 정상 이미지(13) 각각에 대응하여 생성된 최초 어텐션맵(15)은 제2 기계학습 모델(20)로 입력될 수 있다. 제2 기계학습 모델(20)은 최초 어텐션맵(15) 중 오류인 어텐션맵을 제거하여 최종 어텐션맵(17)이 생성되도록 할 수 있다. 최종 어텐션맵(17)에도 특이 영역이 포함될 수 있는데, 여기서의 특이 영역은 제2 기계학습 모델(20)에 의해 오류가 제거된 상태로 생성되는 것이므로 높은 정확도를 가지게 될 수 있다.
최종 어텐션맵(17)의 생성과 관련하여, 제2 기계학습 모델(20)은 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 최종 어텐션맵(17)에 오류가 제거된 최초 어텐션맵(15)의 특이 영역이 오버랩(overlap)되어 나타나도록 최종 어텐션맵(17)을 생성할 수 있다.
경우에 따라, 최종 어텐션맵(17)은 특이 영역의 불확실도(uncertainty)에 대한 정보를 함께 제공할 수 있다. 불확실도는 최종 어텐션맵(17)의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 대해 기초하여 산정되는 값일 수 있다.
예를 들어, 불확실도는 최초 어텐션맵(15)의 개수만큼 오버랩이 수행된 경우를 0으로 하고, 오버랩이 수행되지 않은 경우를 1로 하여, 오버랩된 최초 어텐션맵(15)의 개수에 반비례하여 산출될 수 있다. 이에 따라, 오버랩된 최초 어텐션맵(15)의 개수가 적을 수록 불확실도의 값이 크게 산출될 수 있다.
구체적으로 도시하지는 않았으나, 불확실도에 대한 정보는 최종 어텐션맵(17)에 불확실도를 텍스트 형태로 표시하여 제공할 수도 있고, 불확실도 값에 따라 색을 지정하여 특이 영역이 서로 다른 색으로 구분되어 나타나도록 함으로써 제공할 수도 있다. 다만, 불확실도에 대한 정보 제공의 형태는 상술된 예에 제한되지 않는다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법과 관련된 이미지의 예를 도시한다.
도 2를 참조하면, 입력 이미지(11')가 제1 기계학습 모델(10)에 입력되면, 출력 이미지(13')가 획득될 수 있고, 입력 이미지(11')와 출력 이미지(13')의 차이를 포함하는 특이 영역이 나타나는 최초 어텐션맵(17')이 생성될 수 있다.
여기서, 입력 이미지(11')는 질환을 가지는 환자로부터 획득되는 의료용 영상(예: CT, MRI)으로, 질환에 의해 나타나는 비정상 상태의 영역, 즉 비정상 영역(도 2의 화살표로 표시한는 부분)이 이미지에 포함되어 있을 수 있다.
비정상 영역은, 예를 들면, 환자의 출혈 부분 또는 질환 부분을 나타내는 것으로 정상의 경우에는 볼 수 없는 비정상 상태의 특징적인 부분일 수 있다.
출력 이미지(13')는 도 1의 제1 기계학습 모델(10)에 의해 획득(또는 생성)되는 것으로, 입력 이미지(11')와는 유사하되 정상 상태를 나타내는 이미지일 수 있다.
최초 어텐션맵(17')에는 입력 이미지(11')와 출력 이미지(13') 간의 차이를 나타내는 특이 영역이 포함되어 있을 수 있다. 구체적으로, 특이 영역은 정상 상태에서는 도출되지 않는 비정상 상태의 영역, 즉 비정상 영역에 대응하는 영역일 수 있다. 도 2를 참고하면 최초 어텐션맵(17')에는 입력 이미지(11')에서 질환과 관련되어 나타는 특징적인 부분이 어텐션맵(17')에 그대로 나타나되, 보다 명확하게 드러남을 알 수 있다.
한편, 비정상 영역은 질환의 진단, 경과, 상태 판단에서 중요한 부분으로서, 의사가 중점적으로 분석하는 부분일 수 있다. 그러나, 입력 이미지(11')에서 비정상 영역을 구분하기에는 오랜 숙련과정이 필요하며, 숙련된 전문가라 하더라도 컨디션 등에 따라 오류가 발생할 수도 있다. 이에 따라, 최초 어텐션맵(17')을 생성하여 비정상 영역에 대한 정보가 제공된다면, 질환의 분석이 보다 용이하게 수행될 수 있을 것이다.
다만, 이러한 최초 어텐션맵(17')에는 기계학습 모델의 특성에 의해 오류, 예를 들면 false positive 오류가 발생할 수 있다.
본 발명에 의한 특이 영역 분석 방법 및 장치는 최초 어텐션맵(17')에서 오류를 제거하여 최종 어텐션맵을 생성함으로써 보다 정확하게 특이 영역에 대한 정보를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 2의 설명에서는 도 1과 중복되는 내용은 생략될 수 있다.
특이 영역 분석 장치(100)는 정상 이미지 생성부(110), 최초 어텐션맵 생성부(120), 최종 어텐션맵 생성부(130), 구성요소 판별부(140)를 포함할 수 있다.
정상 이미지 생성부(110)는, 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 최초 어텐션맵 생성부(120), 최종 어텐션맵 생성부(130), 구성요소 판별부(140)에 있어서도 같다.
정상 이미지 생성부(110)는 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델(10)에 비정상 이미지(11)를 입력하여, 비정상 이미지와 관련된 복수의 정상 이미지(13)를 생성할 수 있다.
제1 기계학습 모델(10)은 생성형 기계학습 모델(예: 적대적생성네트워크(generative adversarial network)에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 이미지가 입력되면 입력된 소정의 이미지와 유사하되, 즉 유사도가 소정값 이상이되 정상 이미지를 생성하도록 학습이 수행되는 것일 수 있다. 제1 기계학습 모델(10)에 의해 생성되는 정상 이미지는, 정상 상태의 사람으로부터 획득되는 실제 이미지가 아니라 제1 기계학습 모델(10)에 의해 생성된 가짜 이미지(fake image)일 수 있다.
여기서, 생성형 기계학습 모델은 적대적생성네트워크에 제한되는 것은 아니고 제1 기계학습 모델(10)은 다양한 종류의 생성형 기계학습 모델로 구현될 수도 있다.
생성형 기계학습 모델은 제1 기계학습 모델(10)에 대응하는 생성 알고리즘과 제1 기계학습 모델(10)에 의해 생성된 결과를 판별하는 판별 알고리즘으로 구성되어, 생성 알고리즘에 의한 결과물이 보다 정확하게(예: 입력되는 이미지가 보다 정상 이미지에 가깝도록) 생성되도록 학습이 수행되는 것일 수 있다.
구체적으로, 제1 기계학습 모델(10)의 학습은, MSE(mean squared error) 혹은 이와 유사한 메트릭을 이용하여 생성된 이미지와 입력된 이미지의 차이를 줄여나가도록 수행될 수 있다. 구체적으로, 생성된 이미지와 입력된 이미지의 차이가 줄어드는 방향으로 역전파(back propagation)를 수행함으로써, 제1 기계학습 모델(10)에 입력되는 노이즈의 값이 조정되도록 함에 기초하여 제1 기계학습 모델(10)을 학습시킨 것일 수 있다. 제1 기계학습 모델(10)에 대한 학습은 생성된 이미지와 입력된 이미지의 차이가 소정 값 이하가 되었을 때 종료될 수 있다.
이와 같은 제1 기계학습 모델(10)은 학습의 초기값을 다양하게 하여 배치(batch) 단위로 이미지를 생성하도록 학습될 수 있고, 이에 따라 여러 개의 결과 이미지, 즉 복수의 정상 이미지(13)가 제1 기계학습 모델(10)로부터 획득될 수 있다.
최초 어텐션맵 생성부(120)는 각각의 복수의 정상 이미지(13)에 대해 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성할 수 있다. 즉, 복수의 정상 이미지(13) 각각에 대해 비정상 이미지와의 차이를 구하여 복수의 정상 이미지(13) 각각 별로 최초 어텐션맵(15)을 생성할 수 있다. 이에 따라, 복수의 정상 이미지(13)에 대응하는 각각의 최초 어텐션맵(15)이 복수개 생성될 수 있다.
최종 어텐션맵 생성부(130)는 오류를 제거하도록 학습된 제2 기계학습 모델(20)을 이용하여 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거하여 최종 어텐션맵(17)을 생성할 수 있다.
구체적으로 설명하면, 최초 어텐션맵 생성부(120)에 의해 생성된 최초 어텐션맵(15)에는 오류(예: false positive 오류)가 포함되어 있을 수 있다. 즉, 생성된 복수의 최초 어텐션맵(15) 중 적어도 일부는 잘못된 특이 영역에 대한 정보를 포함하고 있을 수 있다. 이에 따라, 보다 정확한 정보의 제공을 위해 오류가 제거되어야 할 필요가 있고, 최종 어텐션맵 생성부(130)는 이러한 오류를 제거하여 보다 정확도가 향상된 최종 어텐션맵(17)을 생성할 수 있다.
최종 어텐션맵 생성부(130)는 오류의 제거를 위해, 상술한 바와 같이 제2 기계학습 모델(20)을 이용할 수 있는데, 제2 기계학습 모델(20)은 지도 학습 또는 비지도 학습이 수행됨에 기초하여 학습이 미리 수행된 것일 수 있다.
예를 들어, 제2 기계학습 모델(20)은, 컨벌루션뉴럴네트워크(convolution neural network, CNN)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는 모델일 수 있다.
다른 예를 들면, 제2 기계학습 모델(20)은, 복수의 학습용 어텐션맵을 특징에 따라 구분(또는 분류)함에 기초하여 오류의 어텐션맵도 구분하도록 비지도 학습이 수행되어 있는 모델일 수 있다.
최종 어텐션맵 생성부(130)는, 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 최종 어텐션맵(17) 내에 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩되어 나타나도록 최종 어텐션맵(17)을 생성할 수 있다.
한편, 특이 영역의 적어도 일부는 오버랩된 횟수가 상이할 수 있는데, 이에 따라 불확실도가 산출되어 최종 어텐션맵(17)과 함께 불확실도에 대한 정보가 제공될 수 있다.
구체적으로, 최종 어텐션맵 생성부(130)는, 최종 어텐션맵(17)의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵(15)의 개수 중 적어도 하나에 대해 기초하여 최종 어텐션맵(17)의 특이 영역에 대한 불확실도를 산출할 수 있다.
구성요소 판별부(140)는, 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 최종 어텐션맵(17)의 특이 영역에 대해 기지정된 구성요소가 포함되었는지 여부를 판별할 수 있다. 여기서, 기지정된 구성요소는 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
제3 기계학습 모델은, 기계학습 알고리즘(예: CNN(convolution neural network), DNN(deep neural network))을 기초로 특이 영역을 포함하는 이미지(예: 최초 어텐션맵(15))이 입력되면 입력된 이미지에 포함되는 구성요소를 판별하여 그에 대한 정보를 출력하도록 학습이 수행된 것일 수 있다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다. 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.
도 4를 참조하면, 정상 이미지 생성부(110)는 비정상 이미지와 관련된 복수의 정상 이미지를 생성할 수 있다(S110). 비정상 이미지는 의료용 영상, 예를 들면 CT 또는 MRI로, 질환을 가지는 환자로부터 획득됨에 기초하여 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함할 수 있다. 정상 이미지는 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역의 적어도 일부에 대한 것으로, 비정상 이미지와 유사도가 소정값 이상이되 가짜인 이미지, 즉 환자로부터 획득되는 것이 아닌 인위적으로 생성된 이미지일 수 있다.
구체적으로, 정상 이미지 생성부(110)는 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델(10)에 비정상 이미지를 입력하여, 비정상 이미지와 관련된 복수의 정상 이미지를 생성할 수 있다. 제1 기계학습 모델(10)은, 적대적생성네트워크(generative adversarial network, GAN) 혹은 이와 유사한 생성형 모델에 착안한 것으로 복수의 학습용 정상 이미지를 이용하여, 비정상 영역을 포함하는 소정의 이미지가 입력되면 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행된 기계학습 모델일 수 있다.
최초 어텐션맵 생성부(120)는 특이 영역을 포함하는 최초 어텐션맵(15)을 생성할 수 있다(S120). 최초 어텐션맵(15)은 복수의 정상 이미지(13)에 대응하는 수만큼 생성될 수 있다. 여기서, 특이 영역은, 복수의 정상 이미지와 비정상 이미지와의 차이를 나타내는 것으로, 비정상 이미지의 판독시 중점적으로 해석되어야 하는 이미지의 일부 영역일 수 있다.
최초 어텐션맵(15)에는 이러한 특이 영역이 다른 영역들과 보다 잘 구분되도록 표시될 수 있다. 예를 들어, 특이 영역의 색, 패턴 또는 명암이 다른 영역과 구분되도록 표시될 수도 있고, 특이 영역의 테두리를 나타내는 선이 나타나도록 하여 특이 영역이 표시되도록 할 수도 있다. 다만, 이에 제한되지 않고 다양한 방식으로 특이 영역이 표시되도록 최초 어텐션맵(15)이 생성될 수 있다.
최종 어텐션맵 생성부(130)는 최초 어텐션맵(15) 중 오류를 제거함에 기초하여 최종 어텐션맵(17)을 생성할 수 있다(S130). 구체적으로, 최종 어텐션맵 생성부(130)는 오류를 제거하도록 학습된 제2 기계학습 모델(20)을 이용하여 최초 어텐션맵(15) 중 오류인 최초 어텐션맵(15)을 제거함에 기초하여, 최종 어텐션맵(17)을 생성할 수 있다.
도시하지는 않았으나, 구성요소 판별부(140)는 기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 최종 어텐션맵(17)의 특이 영역에 대해 기지정된 구성요소가 포함되었는지 여부를 판별할 수 있다. 여기서, 기지정된 구성요소는, 뼈, 혈액 및 기관 중 적어도 하나를 포함할 수 있다.
제3 기계학습 모델은 기지정된 구성요소를 판별하도록 학습이 수행된 기계학습 모델일 수 있다. 이에 따라, 구성요소 판별부(140)는 제3 기계학습 모델을 이용하여 최종 어텐션맵(17)에 포함된 구성요소를 판별하고, 이에 대한 정보를 제공할 수 있다.
예를 들어, 구성요소 판별부(140)는 제3 기계학습 모델에 최종 어텐션맵(17)을 입력하여 최종 어텐션맵(17)에 포함된 구성요소를 판별함으로써 최종 어텐션맵(17)에 구성요소에 대한 정보가 표시되도록 수정하여 수정된 최종 어텐션맵(17)을 출력할 수 있다.
경우에 따라, 제3 기계학습 모델은 제2 기계학습 모델에 포함되도록 구현될 수도 있다. 이러한 경우, 최초 어텐션맵(15)의 입력에 기초하여 최종 어텐션맵(17)을 생성하는 과정과 구성요소를 판별하는 과정이 병렬적으로 또는 순서에 무관하게 수행될 수 있다.
한편, 상술한 본 발명의 설명에서, 제1 기계학습 모델(10)에 입력되는 이미지를 비정상 이미지로 특정하여 설명하였으나, 이에 제한되는 것은 아니고 정상인지 비정상인지 모르는 의문의 이미지가 입력될 수도 있다. 이러한 경우에도 제1 기계학습 모델(10)에 의해 생성되는 이미지는 정상 이미지일 수 있다.
본 발명의 일 실시예에 따른 특이 영역 분석 장치(100) 및 그 방법은, 오류가 제거된 최종 어텐션맵(17)을 제공함으로써, 환자의 진단을 위해 의료용 영상의 분석 시 전문가(예: 의사)가 중심적으로 분석해야할 부분인 특이 영역에 대한 보다 정확한 정보를 제공하여 진단의 효율이 향상되도록 할 수 있다.
본 발명의 일 실시예에 따른 특이 영역 분석 장치(100) 및 그 방법은, 특이 영역에 대한 불확실도를 제공함으로써, 특이 영역이 전문가로 하여금 선택적으로 활용되도록 함으로써 환자의 진단에 대한 정확도 및 효율이 향상되도록 할 수 있다.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 제1 기계학습 모델
11: 비정상 이미지
13: 정상 이미지
15: 최초 어텐션맵
17: 최종 어텐션맵
20: 제2 기계학습 모델
100: 특이 영역 분석 장치
110: 정상 이미지 생성부
120: 최초 어텐션맵 생성부
130: 최종 어텐션맵 생성부
140: 구성요소 판별부

Claims (20)

  1. 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와,
    각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 단계와,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  2. 제1항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행되는
    이미지의 특이 영역 분석 방법.
  3. 제2항에 있어서,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 방법.
  4. 제2항에 있어서,
    상기 복수의 정상 이미지는,
    상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 방법.
  5. 제1항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로 하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 방법.
  6. 제1항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되는
    이미지의 특이 영역 분석 방법.
  7. 제1항에 있어서,
    상기 최종 어텐션맵을 생성하는 단계는,
    상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 방법.
  8. 제7항에 있어서,
    상기 최종 어텐션맵을 생성하는 단계는,
    상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 산출하는 단계를 더 포함하는
    이미지의 특이 영역 분석 방법.
  9. 제1항에 있어서,
    상기 비정상 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하고,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함하고,
    상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내의 위치적으로 대응하는
    이미지의 특이 영역 분석 방법.
  10. 제1항에 있어서,
    기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 단계를 더 포함하고,
    상기 기지정된 구성요소는,
    뼈, 혈액 및 기관 중 적어도 하나를 포함하는
    이미지의 특이 영역 분석 방법.
  11. 입력되는 이미지와 관련된 적어도 하나의 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 비정상 이미지를 입력하여, 상기 비정상 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와,
    각각의 상기 복수의 정상 이미지와 상기 비정상 이미지와의 차이를 나타내는 특이 영역을 포함하는 최초 어텐션맵(attention map)을 생성하는 최초 어텐션맵 생성부와,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 최초 어텐션맵 중 오류인 최초 어텐션맵을 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 포함하는
    이미지의 특이 영역 분석 장치.
  12. 제11항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 비정상 영역을 포함하는 소정의 이미지가 입력되면 상기 소정의 이미지와 유사하되 정상 이미지를 생성하도록 학습이 수행되는
    이미지의 특이 영역 분석 장치.
  13. 제12항에 있어서,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 장치.
  14. 제12항에 있어서,
    상기 복수의 정상 이미지는,
    상기 비정상 이미지와의 유사도가 소정값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 장치.
  15. 제11항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 장치.
  16. 제11항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 장치.
  17. 제11항에 있어서,
    상기 최종 어텐션맵 생성부는,
    상기 오류가 제거된 최초 어텐션맵을 하나의 이미지로 통합함에 기초하여, 상기 최종 어텐션맵 내에 상기 오류가 제거된 최초 어텐션맵의 특이 영역이 오버랩(overlap)되어 나타나도록 상기 최종 어텐션맵을 생성하는 단계를 포함하는
    이미지의 특이 영역 분석 장치.
  18. 제17항에 있어서,
    상기 최종 어텐션맵 생성부는,
    상기 최종 어텐션맵의 오버랩된 특이 영역의 크기 및 오버랩된 최초 어텐션맵의 개수 중 적어도 하나에 기초하여 상기 최종 어텐션맵의 특이 영역에 대한 불확실도를 더 산출하는
    이미지의 특이 영역 분석 장치.
  19. 제11항에 있어서,
    상기 비정상 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하고,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타내는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함하고,
    상기 정상 영역의 적어도 일부는 상기 비정상 영역의 적어도 일부에 각 이미지 내의 위치적으로 대응하는
    이미지의 특이 영역 분석 장치.
  20. 제11항에 있어서,
    기지정된 구성요소를 판별하도록 학습된 제3 기계학습 모델을 이용하여, 상기 최종 어텐션맵의 특이 영역에 대해 상기 기지정된 구성요소가 포함되었는지 여부를 판별하는 구성요소 판별부를 더 포함하고,
    상기 기지정된 구성요소는,
    뼈, 혈액 및 기관 중 적어도 하나를 포함하는
    이미지의 특이 영역 분석 장치.

KR1020190087669A 2019-07-19 2019-07-19 이미지의 특이 영역 분석 방법 및 장치 KR102279160B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190087669A KR102279160B1 (ko) 2019-07-19 2019-07-19 이미지의 특이 영역 분석 방법 및 장치
PCT/KR2020/009398 WO2021015490A2 (ko) 2019-07-19 2020-07-16 이미지의 특이 영역 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190087669A KR102279160B1 (ko) 2019-07-19 2019-07-19 이미지의 특이 영역 분석 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210010770A true KR20210010770A (ko) 2021-01-28
KR102279160B1 KR102279160B1 (ko) 2021-07-20

Family

ID=74193020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190087669A KR102279160B1 (ko) 2019-07-19 2019-07-19 이미지의 특이 영역 분석 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102279160B1 (ko)
WO (1) WO2021015490A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317992B1 (ko) * 2021-03-26 2021-10-28 주식회사 트윔 뉴럴 네트워크를 이용한 제품 검사 방법, 장치 및 제품 검사 장치 학습 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519768B1 (ko) 2002-10-14 2005-10-07 삼성전자주식회사 반복매칭을 이용한 영상 검색방법 및 장치
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
JP2018175343A (ja) * 2017-04-12 2018-11-15 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE202017104953U1 (de) * 2016-08-18 2017-12-04 Google Inc. Verarbeiten von Fundusbildern unter Verwendung von Maschinenlernmodellen
EP3580693A1 (en) * 2017-03-16 2019-12-18 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100519768B1 (ko) 2002-10-14 2005-10-07 삼성전자주식회사 반복매칭을 이용한 영상 검색방법 및 장치
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
JP2018175343A (ja) * 2017-04-12 2018-11-15 富士フイルム株式会社 医用画像処理装置および方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Adversarial Learning Approach to Medical Image Synthesis for Lesion Removal, Computer Science_Computer Vision and Pattern Recognition, 2018.10.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317992B1 (ko) * 2021-03-26 2021-10-28 주식회사 트윔 뉴럴 네트워크를 이용한 제품 검사 방법, 장치 및 제품 검사 장치 학습 방법

Also Published As

Publication number Publication date
WO2021015490A2 (ko) 2021-01-28
KR102279160B1 (ko) 2021-07-20
WO2021015490A3 (ko) 2021-03-18

Similar Documents

Publication Publication Date Title
CN107464230B (zh) 图像处理方法及装置
JP7246898B2 (ja) データ解析処理装置及びデータ解析処理プログラム
CN100470560C (zh) 图像像素编码方法和图像处理方法
KR20190028422A (ko) 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법
US7894653B2 (en) Automatic organ detection using machine learning and classification algorithms
US20070233624A1 (en) Neural Network for Processing Arrays of Data with Existent Topology, Such as Images and Application of the Network
KR102043672B1 (ko) 딥러닝 기반의 병변 판독 시스템 및 방법
CN111311536A (zh) 医学图像数据
US20190258962A1 (en) System and method for class specific deep learning
Secco et al. Memristor cellular automata for image pattern recognition and clinical applications
US20210383262A1 (en) System and method for evaluating a performance of explainability methods used with artificial neural networks
KR20220034750A (ko) 전처리 모듈을 포함하는 머신 러닝 기반의 인공지능을 이용하는 영상 분석 장치
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
Li et al. BrainK for structural image processing: creating electrical models of the human head
KR102279160B1 (ko) 이미지의 특이 영역 분석 방법 및 장치
CN112561848A (zh) 区域性脑年龄预测的方法、非暂时性电脑可读介质及设备
Zeng et al. A 2.5 D deep learning-based method for drowning diagnosis using post-mortem computed tomography
KR102227439B1 (ko) 얼굴 영역 이미지 분석 장치 및 방법
KR102400568B1 (ko) 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치
Baxter et al. Validation in the age of machine learning: A framework for describing validation with examples in transcranial magnetic stimulation and deep brain stimulation
JP5651412B2 (ja) 画像処理装置、プログラム、及び画像処理方法
CN114612373A (zh) 一种图像识别方法及服务器
KR101856200B1 (ko) 두개골의 이형 상태 분류방법
Shyamalee et al. Automated Tool Support for Glaucoma Identification with Explainability Using Fundus Images
JP7148657B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant