KR20210010769A - 인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함할 수 있다.

Description

인코더를 이용한 이미지의 특이 영역 분석 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFYING ANOMALY AREA OF IMAGE USING ENCODER}

본 발명은 인코더를 이용하여 이미지의 특이 영역을 분석하는 특이 영역 분석 방법 및 장치에 관한 것이다.

전자 기술의 발달에 따라, 전자 장치는 사회 전반에 걸쳐 다양한 범위에서 사람의 행위를 보조하는 수단으로 이용되고 있다. 이러한 전자 장치는 의료 분야에서도 다양하게 이용되고 있는데, 대표적으로 의료용 영상 획득 장치(예: CT(computed tomography), MRI(magnetic resonance imaging))가 있을 수 있다.

의료용 영상 획득 장치를 이용하여 획득된 의료용 영상은 숙련된 의사들에 의해 판독되어 질병 진단의 보조 수단으로 사용된다.

한편, 의료용 영상의 판독 행위는 의료 분야의 전문가(예: 의사), 즉, 사람의 주관적 판단에 의존하여 이루어진다. 이에 따라, 의학용 영상의 판단자인 의사의 컨디션이나 숙련도에 따라 진단에 오류가 발생할 수 있고, 이러한 오류는 의료 사고로까지 이어질 수 있는 위험이 존재한다. 따라서, 객관적이며 정확한 의료용 영상의 판독이 이루어질 수 있도록 의료용 영상과 관련하여 의사의 진단 행위에 도움이 되는 정보가 제공될 필요가 있다.

이러한 측면에서, 의료용 영상에서 진단 행위에 도움이 되는 영역, 즉 의사에 의해 판단이 수행되어야 할 영역에 대한 부분인 특이 영역을 식별하여 이에 대한 정보를 제공하는 기술에 대한 연구가 이루어지고 있다. 그러나, 특이 영역의 식별을 위해서는 진단의 대상이 되는 의료용 영상과 방대한 양의 정상 상태의 데이터를 각각 비교해야 하기 때문에 시간적 측면에서 효율성이 떨어져 이를 향상시키기 위한 방안이 요구된다.

한국등록특허 제10-0519768호 (2005년 09월 29일 등록)

본 발명이 해결하고자 하는 과제는, 인코더를 이용하여 이미지의 특이 영역을 보다 신속하고 정확하게 분석하는 특이 영역 분석 방법 및 장치를 제공하는 것이다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 바로 제한되지 않으며, 언급되지는 않았으나 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있는 목적을 포함할 수 있다.

본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 방법은, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함할 수 있다.

또한, 상기 인코더는, 상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고, 역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고, 상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있을 수 있다.

또한, 상기 특징 벡터를 생성하는 단계는, 상기 쿼리 이미지의 특징 벡터를 생성하는 단계와, 데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사한 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정하는 단계를 포함할 수 있다.

또한, 상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서대로 적어도 하나 이미지를 선택하는 단계를 더 포함하고, 상기 어텐션맵을 생성하는 단계는, 상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사한 정상 이미지를 생성하도록 학습이 수행되어 있으며, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.

또한, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 더 포함할 수 있다.

또한, 상기 제2 기계학습 모델은, 컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있을 수 있다.

또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행될 수 있다.

또한, 상기 쿼리 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 이미지이고, 상기 복수의 정상 이미지는, 상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지일 수 있다.

또한, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함할 수 있다.

본 발명의 일 실시예에 따른 이미지의 특이 영역 분석 장치는, 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 특징 벡터 생성부와, 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 가지는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와, 상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 어텐션맵 생성부를 포함할 수 있다.

또한, 상기 인코더는, 상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고, 역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고, 상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있을 수 있다.

또한, 상기 특징 벡터 생성부는, 상기 쿼리 이미지의 특징 벡터를 생성하고, 데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사한 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정할 수 있다.

또한, 상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서대로 적어도 하나 이미지를 선택하는 유사 이미지 선택부를 더 포함하고, 상기 어텐션맵 생성부는, 상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성할 수 있다.

또한, 상기 제1 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사한 정상 이미지를 생성하도록 학습이 수행되어 있으며, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.

또한, 오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 더 포함할 수 있다.

또한, 상기 제2 기계학습 모델은, 생성형 기계학습 모델에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있으며, 상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함할 수 있다.

또한, 상기 제2 기계학습 모델은, 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행될 수 있다.

또한, 상기 쿼리 이미지는, 질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지이고, 상기 복수의 정상 이미지는, 상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지일 수 있다.

또한, 상기 정상 이미지는, 상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함할 수 있다.

본 발명의 실시예에 따른 특이 영역 분석 방법 및 장치는, 인코더를 이용하여 이미지의 특이 영역을 보다 신속하고 정확하게 분석함으로써 이미지에 대한 분석이 보다 효과적으로 이루어지도록 할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법에 의해 분석되는 특이 영역의 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다.
도 5는 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 인코더 모델의 학습 방법에 대한 개념도를 도시한다.
도 6은 본 발명의 다른 실시예에 따른 특이 영역 분석 장치에서 인코더 모델과 기계학습 모델을 이용하여 특이 영역을 검출하는 방법에 대한 개념도를 도시한다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 포함할 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로서 이해되어야 한다.

제 1, 제 2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 개념도를 도시한다. 이하에서 분석되는 이미지는 CT 또는 MRI와 같은 의료용 영상임을 전제로 설명하겠으나, 이에 제한되는 것은 아니다.

도 1을 참조하면, 쿼리 이미지(11)가 인코더(10)에 입력되어 특징 벡터(12)가 생성되면, 생성된 특징 벡터(12)가 인코더(10)에 연결된 제1 기계학습 모델(20)에 입력될 수 있다.

인코더(10)는 입력되는 이미지와 인코더(10)의 출력단에 배치된 제1 기계학습 모델(20)에서 출력되는 이미지와의 차이가 최소화되고, 인코더(10)에서 출력되는 특징 벡터와 제1 기계학습 모델(20)에서 출력되는 이미지의 특징 벡터의 차이가 최소화되도록 학습이 수행된 것일 수 있다. 인코더(10)의 학습과 관련된 보다 구체적인 설명은 도 6을 참조할 수 있다.

제1 기계학습 모델(20)은 입력되는 이미지(예: 의료용 영상)와 유사하되 질환이 없는 사람, 즉 정상인의 상태(이하, 정상 상태)를 나타내는 가짜의 정상 이미지를 보다 정확하게 생성하도록 학습된 적대적생성네트워크(generative adversarial network, GAN) 기반의 기계학습 모델일 수 있으며, 이에 따라, 제1 기계학습 모델(20)은 쿼리 이미지(11)와 유사한 정상 이미지(13)를 생성할 수 있다. 적대적생성네트워크는 생성형 기계학습 모델의 일종으로 이에 대해서는 통상의 기술자에게 용이한바 자세한 설명은 생략하겠다.

경우에 따라 제1 기계학습 모델(20)은 적대적생성네트워크 대신 다른 생성형 기계학습 모델에 기초하여 구현될 수도 있다.

여기서, 쿼리 이미지(11)는 질환을 가지는 환자를 촬상하여 획득됨에 기초하여 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지일 수 있다. 복수의 정상 이미지(13)는, 쿼리 이미지(11)의 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 쿼리 이미지(11)와의 유사도가 소정 값 이상이되도록 생성된 가짜 이미지(비촬상 이미지)일 수 있다.

정상 이미지(13)가 생성되면 정상 이미지(13)와 쿼리 이미지(11)의 차이가 판별됨에 기초하여, 특이 영역(anomaly area)을 포함하는 어텐션맵(15)이 생성될 수 있다. 상술한 바와 같이 정상 이미지(13)는 복수개일 수 있는데, 이러한 경우, 어텐션맵(15)은 각각의 정상 이미지(13)에 대해 쿼리 이미지(11)와의 차이가 획득됨에 따라, 정상 이미지(13) 각각에 상응하는 어텐션맵(15)이 생성될 수 있다.

어텐션맵(15)은 상술한 바와 같이 특이 영역을 포함할 수 있다. 특이 영역은, 정상 이미지(13) 각각에 대해 쿼리 이미지(11)와 차이를 가지는 영역에 대한 것으로, 만약 쿼리 이미지(11)가 비정상 이미지인 경우, 비정상 이미지이기 때문에 나타나는 부분, 즉 비정상 이미지인지 여부의 판독을 위해 관찰이 수행되어야 하는 주요 부분을 의미할 수 있다.

특이 영역은 어텐션맵(15) 상에서 다양한 방식으로 표시될 수 있다. 예를 들어, 특이 영역은 어텐션맵(15)에서 색, 패턴 또는 명암이 다른 영역과 구분되도록 표시될 수도 있고, 특이 영역의 테두리를 나타내는 선이 나타나도록 하여 특이 영역이 표시되도록 할 수도 있다. 다만, 이에 제한되지 않고 다양한 방식으로 특이 영역이 표시되도록 최초 어텐션맵(15)이 생성될 수 있다.

어텐션맵(15)은 오류를 제거하도록 학습된 제2 기계학습 모델(30)에 입력될 수 있다. 이에 따라, 어텐션맵(15)은 기계학습에 의해 발생가능한 오류, 예를 들어 false positive 오류가 제거되어 최종 어텐션맵(17)이 생성될 수 있다.

어텐션맵(15)이 복수인 경우, 복수의 어텐션맵(15)이 모두 제2 기계학습 모델(30)에 입력될 수 있고, 이에 따라, 제2 기계학습 모델(30)은 어텐션맵(15) 중 오류를 제거하고 하나의 이미지로 통합하여 최종 어텐션맵(17)을 생성할 수 있다. 최종 어텐션맵(17)에는 오류가 제거된 어텐션맵(15)의 특이 영역이 오버랩(overlap)되어 나타날 수 있다.

도 2는 본 발명의 일 실시예에 따른 특이 영역 분석 방법에 의해 분석되는 특이 영역의 예를 도시한다.

도 2를 참조하면, 입력 이미지(11')가 인코더(10)에 의해 특징 벡터로 전환되어, 제1 기계학습 모델(20)에 입력될 수 있다. 제1 기계학습 모델(20)은 입력 이미지(11')를 입력받아 입력 이미지(11')와 출력 이미지(13')를 생성할 수 있고, 이에 기초하여 입력 이미지(11')와 출력 이미지(13')의 차이에 대한 특이 영역이 나타나는 어텐션맵(15')이 생성될 수 있다.

여기서, 입력 이미지(11')는 질환을 가지는 환자로부터 획득되는 의료용 영상(예: CT, MRI)으로, 질환에 의해 나타나는 비정상 상태의 영역, 즉 비정상 영역(도 2의 화살표로 표시한는 부분)이 이미지에 포함되어 있을 수 있다.

비정상 영역은, 예를 들면, 환자의 출혈 부분 또는 질환 부분을 나타내는 것으로 정상의 경우에는 볼 수 없는 비정상 상태의 특징적인 부분일 수 있다.

출력 이미지(13')는 도 1의 제1 기계학습 모델(20)에 의해 획득(또는 생성)되는 것으로, 입력 이미지(11')와는 유사하되 정상 상태를 나타내는 이미지일 수 있다.

상술한 바와 같이 어텐션맵(15')에는 입력 이미지(11')와 출력 이미지(13') 간의 차이를 나타내는 특이 영역이 포함되어 있을 수 있는데, 구체적으로, 특이 영역은 정상 상태에서는 도출되지 않는 비정상 상태의 영역, 즉 비정상 영역에 대응하는 영역일 수 있다.

도 2를 참고하면 어텐션맵(15')에는 입력 이미지(11')에서 질환과 관련되어 나타는 특징적인 부분이 어텐션맵(15')에 나타나되, 보다 명확하게 드러남을 알 수 있다.

한편, 비정상 영역은 질환의 진단, 경과, 상태 판단에서 중요한 부분으로서, 전문가(예: 의사)가 중점적으로 분석하는 부분일 수 있다. 그러나, 전문가가 입력 이미지(11')에서 비정상 영역을 구분하기에는 오랜 숙련과정이 필요하며, 숙련된 전문가라 하더라도 컨디션 등에 따라 오류가 발생할 수도 있다. 이에 따라, 어텐션맵(15')을 생성하여 비정상 영역에 대한 정보가 제공된다면, 질환의 분석이 보다 용이하게 수행될 수 있을 것이다.

다만, 이러한 어텐션맵(15')에는 기계학습 모델의 특성에 의해 오류, 예를 들면 false positive 오류가 발생할 수 있다.

본 발명에 의한 특이 영역 분석 방법 및 장치는 어텐션맵(15')에서 오류를 제거하여 최종 어텐션맵을 생성함으로써 보다 정확하게 특이 영역에 대한 정보를 제공할 수 있다.

도 3은 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 기능 블록도를 도시한다. 이하 사용되는 '…부'등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어, 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 이하 도 3의 설명에서는 도 1 또는 2와 중복되는 내용이 생략될 수 있다.

도 3을 참조하면, 특이 영역 분석 장치(100)는 특징 벡터 생성부(110), 정상 이미지 생성부(120), 어텐션맵 생성부(130), 유사 이미지 선택부(140), 최종 어텐션맵 생성부(150)를 포함할 수 있다.

특징 벡터 생성부(110)는 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있으며, 이는 후술할 정상 이미지 생성부(120), 어텐션맵 생성부(130), 유사 이미지 선택부(140), 최종 어텐션맵 생성부(150)에 있어서도 같다.

특징 벡터 생성부(110)는 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더(10)를 이용하여, 쿼리 이미지(11)에 대한 특징 벡터를 생성할 수 있다. 여기서, 인코더(10)는 쿼리 이미지(11)를 입력 받아 쿼리 이미지(11)에 대한 특징 벡터를 생성하는 구성일 수 있다.

구체적으로, 특징 벡터 생성부(110)는 인코더(10)에 쿼리 이미지(11)를 입력시켜 쿼리 이미지(11)의 특징 벡터를 추출할 수 있다. 쿼리 이미지(11)는 질환을 가지는 환자로부터 획득됨에 기초하여 질환에 의해 나타나는 비정상 영역(예: 출혈 부위, 종양 부위)의 적어도 일부에 대한 비정상 영역 이미지를 포함할 수 있지만, 이에 제한되는 것은 아니고 질환을 가지지 않는 정상인으로부터 획득되는 의료용 영상이나 질환 여부를 모르는 미지의 의료용 영상으로 구현될 수도 있다.

한편, 인코더(10)는 제1 기계학습 모델(20)의 입력단에 배치되어 역전파(back propagation)를 이용하여 제1 기계학습 모델(20)에 의해 출력되는 이미지(이하, '출력 이미지')와 학습을 위해 인코더(10)에 입력되는 학습용 이미지 간의 차이가 최소화되도록 학습이 수행될 수 있다.

또한, 인코더(10)는 제1 기계학습 모델(20)의 출력단에도 다시 배치되어 제1 기계학습 모델(20)에 의한 출력 이미지를 특징 벡터로 변환할 수 있다. 이에 기초하여, 제1 기계학습 모델(20)로 입력되는 특징 벡터와 출력 이미지의 특징 벡터 간의 차이가 최소화되도록 학습이 수행될 수 있다.

이와 같이 인코더(10)는 제1 기계학습 모델(20)의 입력단에서의 학습과 출력단에서의 학습, 즉 2가지 형태로 학습이 수행될 수 있다. 이러한 학습은 역전파를 이용하여 인코더(10)를 구성하는 네트워크의 가중치(weight)를 업데이트함에 기초하여 수행되는 것일 수 있다.

경우에 따라, 특징 벡터 생성부(110)는 학습이 수행되지않은 인코더와 특징 벡터와 관련된 데이터베이스를 이용하여 특징 벡터를 결정할 수도 있다. 구체적으로, 특징 벡터 생성부(110)는 쿼리 이미지(11)를 인코더에 입력시켜 특징 벡터를 생성하고, 데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 쿼리 이미지(11)의 특징 벡터와 유사한 특징 벡터를 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다.

여기서, 데이터베이스는 인코더를 통해 변환된 복수의 학습용 정상 이미지에 대한 특징 벡터를 포함하도록 기형성된 것일 수 있다. 경우에 따라, 데이터베이스에는 특징 벡터와 이에 대응하는 학습용 정상 이미지가 매핑되어 저장될 수도 있다. 이에 따라, 특징 벡터가 선택되면 그에 대한 학습용 정상 이미지에 대한 정보도 함께 획득될 수 있다.

한편, 유사한 특징 벡터는 다양한 방식으로 결정될 수 있다. 예를 들어, 데이터베이스에서 유사도가 소정값 이상인 특징 벡터를 판별하여 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다. 다른 예를 들면, 유사도가 높은 순서대로 나열한 뒤 소정 개수만큼 상위 유사도를 가지는 특징 벡터를 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다. 또 다른 예를 들면, 데이터베이스에 기저장되어 있는 특징 벡터 중 가장 유사한 특징 벡터를 쿼리 이미지(11)에 대한 특징 벡터로 결정할 수 있다.

정상 이미지 생성부(120)는 인코더(10)에 의해 추출된 특징 벡터(또는 쿼리 이미지(11)에 대한 특징 벡터)를 제1 기계학습 모델(20)에 입력시켜 정상 이미지(13)를 생성할 수 있다. 제1 기계학습 모델(20)은 입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 것일 수 있다.

정상 이미지(13)는 인코더(10)에 입력되는 쿼리 이미지(11)와 관련된 복수의 이미지일 수 있으며, 쿼리 이미지(11)의 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 쿼리 이미지(11)와의 유사도가 소정 값 이상의 가짜(fake) 이미지일 수 있다.

제1 기계학습 모델(20)은 생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 이미지가 입력되면 입력된 이미지와 유사하되 정상 상태를 나타내는 정상 이미지를 생성하도록 학습이 수행되는 것일 수 있다. 여기서, 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network, GAN)를 포함할 수 있다. 다만 이에 제한되는 것은 아니고 제1 기계학습 모델(20)은 다양한 종류의 생성형 기계학습 모델로 구현될 수도 있다.

제1 기계학습 모델(20)의 학습은, MSE(mean squared error) 혹은 이와 유사한 메트릭을 이용하여 생성된 이미지와 입력된 이미지의 차이를 줄여나가도록 수행될 수 있다. 구체적으로, 생성된 이미지와 입력된 이미지의 차이가 줄어드는 방향으로 역전파를 수행함으로써, 제1 기계학습 모델(20)에 입력되는 노이즈의 값이 조정되도록 함에 기초하여 제1 기계학습 모델(20)을 학습시킨 것일 수 있다. 제1 기계학습 모델(20)에 대한 학습은 생성된 이미지와 입력된 이미지의 차이가 소정 값 이하가 되었을 때 종료될 수 있다.

이와 같은 제1 기계학습 모델(20)은 학습의 초기값을 다양하게 하여 배치(batch) 단위로 이미지를 생성하도록 학습될 수 있고, 이에 따라 여러 개의 결과 이미지, 즉 복수의 정상 이미지(13)가 제1 기계학습 모델(20)로부터 획득될 수 있다.

어텐션맵 생성부(130)는 정상 이미지(13)에 대해 쿼리 이미지(11)와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵을 생성할 수 있다. 특이 영역은, 정상 상태와 비정상 상태의 차이를 나타내는 것으로, 이러한 정보는 쿼리 이미지(11)를 통한 비정상 상태에 대한 판독 시 중요한 부분으로 작용하는 영역일 수 있다.

어텐션맵(15)은 정상 이미지(13) 각각에 대해 생성될 수 있는 것으로, 만약, 정상 이미지(13)가 10개 획득되면, 어텐션맵(15)도 10개 획득될 수 있다.

경우에 따라, 특이 영역 분석 장치(100)는 데이터베이스를 이용하여 특징 벡터를 생성하는 경우와 관련하여 동작하는 유사 이미지 선택부(140)를 포함할 수도 있다.

유사 이미지 선택부(140)는 상술한 바와 같이 쿼리 이미지(11)의 특징 벡터와 유사한 특징 벡터가 데이터베이스에서 선택됨에 기초하여 제1 기계학습 모델(20)에 의해 이와 관련된 복수의 정상 이미지(13)가 생성되면, 생성된 복수의 정상 이미지(13) 중 쿼리 이미지(11)와 유사도가 높은 순서대로 적어도 하나 이미지를 선택할 수 있다.

어텐션맵 생성부(130)는 선택된 적어도 하나의 이미지 각각에 대해 쿼리 이미지(11)와의 차이를 나타내는 특징 영역이 포함된 어텐션맵(15)을 생성할 수 있다.

최종 어텐션맵 생성부(150)는 어텐션맵(15)을 제2 기계학습 모델(30)에 입력시켜 최종 어텐션맵(17)을 생성할 수 있다. 제2 기계학습 모델(30)은 어텐션맵(15) 중 오류인 어텐션맵을 제거하여 보다 정확도가 향상된 어텐션맵인 최종 어텐션맵(17)을 생성하도록 학습이 수행된 기계학습 모델일 수 있다.

제2 기계학습 모델(30)은 컨벌루션뉴럴네트워크(convolution neural network, CNN)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행된 것일 수 있다.

경우에 따라, 제2 기계학습 모델(30)은 복수의 학습용 어텐션맵에 대한 비지도 학습이 수행됨에 기초하여, 입력되는 어텐션맵(15)을 그 특성에 따라 분류하여 복수의 클러스터를 형성할 수 있다. 이러한 경우, 제2 기계학습 모델(30)에 의해 분류된 클러스터는 오류의 어텐션맵을 포함하는 클러스터를 포함할 수 있다.

최종 어텐션맵 생성부(150)는 제2 기계학습 모델(30)을 이용하여 어텐션맵(15) 중 오류를 제거하고, 오류가 제거된 어텐션맵을 하나의 이미지로 통합함에 기초하여 오류가 제거된 어텐션맵(15)의 특이 영역이 오버랩되어 나타나도록 최종 어텐션맵(17)을 생성할 수 있다.

최종 어텐션맵(17)에도 포함된 특이 영역은 제2 기계학습 모델(30)에 의해 오류가 제거된 상태로 생성되는 것이므로 높은 정확도를 가지게 될 수 있다.

도 4는 본 발명의 일 실시예에 따른 특이 영역 분석 방법의 각 단계의 흐름을 도시한다. 도 4에 도시된 방법의 각 단계는 경우에 따라 도면에 도시된 바와 그 순서를 달리하여 수행될 수 있음은 물론이다.

도 4를 참조하면, 특징 벡터 생성부(110)는 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더(10)를 이용하여, 쿼리 이미지(11)에 대한 특징 벡터를 생성할 수 있다(S110). 구체적으로, 특징 벡터 생성부(110)는 인코더에 쿼리 이미지(11)를 입력시켜 쿼리 이미지(11)에 대한 특징 벡터를 생성할 수 있다.

특징 벡터는 학습된 인코더(10)를 이용하는 방법 또는 데이터베이스를 이용하는 방법에 의해 생성될 수 있다. 학습된 인코더(10)를 이용하는 방법은 인코더(10)가 기학습된 제1 기계학습 모델(20)에 의해 출력되는 이미지를 고려하여 특징 벡터를 생성하도록 학습시킨 후에, 학습된 인코더(10)에 쿼리 이미지(11)를 입력시켜 특징 벡터를 생성할 수 있다. 인코더(10)의 학습과 관련된 구체적인 설명은 도 6을 참조할 수 있다

데이터베이스를 이용하는 방법은, 쿼리 이미지(11)의 특징 벡터를 구하고, 복수의 학습용 정상 이미지에 대한 특징 벡터를 포함하는 데이터베이스에서 쿼리 이미지(11)의 특징 벡터와 유사한 특징 벡터를 선택하는 방식으로 특징 벡터를 생성할 수 있다.

정상 이미지 생성부(120)는 제1 기계학습 모델(20)을 이용하여 특징 벡터로부터 복수의 정상 이미지를 생성할 수 있다(S120). 구체적으로, 정상 이미지 생성부(120)는 입력되는 특징 벡터의 오리지날 이미지와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델(20)에 생성된 특징 벡터가 입력됨에 기초하여 쿼리 이미지(11)와 관련된 복수의 정상 이미지(13)를 생성할 수 있다.

제1 기계학습 모델(20)은 생성형 기계학습 모델에 기반하여 정상 이미지를 생성하도록 학습이 수행된 기계학습 모델일 수 있다. 생성형 기계학습 모델은 제1 기계학습 모델(20)에 대응하는 생성 알고리즘과 제1 기계학습 모델(20)에 의해 생성된 결과를 판별하는 판별 알고리즘으로 구성되어, 생성 알고리즘의 생성이 보다 정확하게(예: 입력되는 이미지가 보다 정상 이미지에 가깝도록) 이루어지도록 학습이 수행되는 것으로, 이에 대해서는 통상의 기술자에게 용이한바 자세한 설명은 생략하겠다.

어텐션맵 생성부(130)는 특이 영역을 포함하는 어텐션맵(15)을 생성할 수 있다(S130). 구체적으로, 어텐션맵 생성부(130)는 복수의 정상 이미지(13) 각각에 대해 쿼리 이미지(11)와의 차이를 구하여, 이러한 차이가 각각 드러나는 어텐션맵(15)을 생성할 수 있다.

최종 어텐션맵 생성부(130)는 제2 기계학습 모델(30)을 이용하여 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여 최종 어텐션맵(17)을 생성할 수 있다(S140). 예를 들어, 최종 어텐션맵 생성부(130)는 오류를 제거하도록 학습된 제2 기계학습 모델(30)에 어텐션맵(15)이 입력되도록하여 오류인 어텐션맵을 제거하고, 남은 어텐션맵을 오버랩시켜 최종 어텐션맵(17)을 생성할 수 있다.

제2 기계학습 모델(30)은 지도 학습 또는 비지도 학습에 기초하여 어텐션맵(15)의 오류를 제거하도록 학습이 수행된 기계학습 모델일 수 있다. 제2 기계학습 모델(30)의 학습을 위해서는 다양한 기계학습 알고리즘(예: CNN, DNN)이 이용될 수 있다.

도 5는 본 발명의 일 실시예에 따른 특이 영역 분석 장치의 인코더 모델의 학습 방법에 대한 개념도를 도시한다.

인코더(10)는 제1 기계학습 모델(20)의 입력단에 배치됨에 기초하여, 인코더(10)에 학습용 이미지(21)가 입력되면 학습용 이미지(21)의 특징 벡터(23)가 생성될 수 있다. 특징 벡터(23)는 제1 기계학습 모델(20)로 입력될 수 있고, 이에 따라, 제1 기계학습 모델(20)에 의해 출력 이미지(25)가 생성될 수 있다.

이 때, 역전파를 이용하여 제1 기계학습 모델(20)의 출력 이미지와 학습용 이미지 간의 차이가 최소화되도록 인코더(10)를 구성하는 네트워크의 가중치(weight)가 업데이트되는 방식으로 학습(이하, 제1 학습)이 수행될 수 있다.

그 후, 인코더(10)는 제1 기계학습 모델(20)의 출력단에 재배치됨으로써 출력 이미지(25)를 입력받아 특징 벡터(27)로 변환할 수 있다. 특징 벡터(27)가 획득되면, 인코더(10)에 대해 획득된 특징 벡터(27)와 제1 기계학습 모델(20)에 입력된 특징 벡터(23)의 차이가 최소화되도록, 역전파를 이용하여 학습(이하, 제2 학습)이 다시 수행될 수 있다.

학습용 이미지(21)는 복수일 수 있으며 이에 따라 복수 회의 학습이 수행됨으로써 인코더(10)의 정확도 및 성능이 향상될 수 있다.

제1 학습과 제2 학습의 수행은 순차적으로 일어나는 것으로 설명하였으나, 이에 제한되는 것은 아니다. 또한, 인코더(10) 및 제1 기계학습 모델(20) 각각에 대한 입력과 출력의 설명의 편의를 위배 '배치'된다는 기재를 이용하여 설명하였으나, 이에 제한되는 것은 아니며 인코더(10)가 제1 기계학습 모델(20)의 입력단과 출력단에 배치되지 않더라고 입력되는 구성과 출력되는 구성이 유지되는 한 다양한 형태로 배치될 수 있다.

도 6은 본 발명의 다른 실시예에 따른 특이 영역 분석 장치에서 인코더 모델과 기계학습 모델을 이용하여 특이 영역을 검출하는 방법에 대한 개념도를 도시한다.

도 6을 참조하면, 복수의 학습용 이미지(41)는 인코더(40)에 입력되어 특징 벡터(43)로 변환된 후, 데이터베이스(60)에 저장될 수 있다. 경우에 따라, 데이터베이스에는 특징 벡터와 이에 대응하는 학습용 정상 이미지가 매핑되어 저장될 수도 있다. 이에 따라, 특징 벡터가 선택되면 그에 대한 학습용 정상 이미지에 대한 정보도 함께 획득될 수 있다.

인코더(50)에 쿼리 이미지(11)가 입력되면, 쿼리 이미지(11)에 대한 특징 벡터(51)가 획득될 수 있다. 그 후, 데이터베이스(60)에 저장된 학습용 이미지(41)와 관련된 특징 벡터 중 특징 벡터(51)와 가장 유사한 특징 벡터(61)가 선택될 수 있다. 선택된 특징 벡터(61)가 제1 기계학습 모델(20)로 입력됨에 기초하여, 복수의 정상 이미지(13)가 생성될 수 있다.

복수의 정상 이미지(13) 각각에 대해서는 도 1 내지 도 4를 통해 상술한 바와 같이 쿼리 이미지(11)와의 차이가 구해져 어텐션맵(15)이 생성될 수 있다.

경우에 따라, 도 3의 유사 이미지 선택부(140)에 의해 복수의 정상 이미지(13) 중 쿼리 이미지(11)와 유사한 정상 이미지를 선택하여, 선택된 정상 이미지에 대해서만 어텐션맵(15)이 생성되도록 할 수도 있다.

한편, 유사한 정상 이미지는 다양한 방식으로 선택될 수 있다. 예를 들어, 복수의 정상 이미지(13) 중 유사도가 소정값 이상인 정상 이미지를 판별함에 기초하여, 유사한 정상 이미지가 선택될 수 있다. 다른 예를 들면, 복수의 정상 이미지(13) 중 유사도가 상위 값(유사도가 높을수록 상위 값을 가지며, 더욱 유사한 것인 경우)을 나타내는 정상 이미지를 판별함에 기초하여, 유사한 정상 이미지가 선택될 수 있다. 또 다른 예를 들면, 복수의 정상 이미지(13) 중 가장 유사한 이미지를 판별함에 기초하여, 유사한 정상 이미지가 선택될 수 있다.

본 발명의 일 실시예에 따른 특이 영역 분석 장치 및 방법은, 학습된 인코더(10)를 이용하거나 데이터베이스(60)를 이용하여 어텐션맵(15)의 생성을 위한 정상 이미지(13)가 쿼리 이미지(11)와 보다 유사하게 획득되도록 함으로써, 특이 영역 분석의 속도 및 정확도를 향상시킬 수 있다.

본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10: 인코더
20: 제1 기계학습 모델
30: 제2 기계학습 모델
100: 특이 영역 분석 장치
110: 특징 벡터 생성부
120: 정상 이미지 생성부
130: 어텐션맵 생성부
140: 유사 이미지 선택부
150: 최종 어텐션맵 생성부

Claims (20)

1. 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 단계와,
   입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 갖는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 단계와,
   상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 단계를 포함하는
   이미지의 특이 영역 분석 방법.
   
2. 제1항에 있어서,
   상기 인코더는,
   상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고,
   역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고,
   상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있는
   이미지의 특이 영역 분석 방법.
   
3. 제1항에 있어서,
   상기 특징 벡터를 생성하는 단계는,
   상기 쿼리 이미지의 특징 벡터를 생성하는 단계와,
   데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사한 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정하는 단계를 포함하는
   이미지의 특이 영역 분석 방법.
   
4. 제3항에 있어서,
   상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서대로 적어도 하나 이미지를 선택하는 단계를 더 포함하고,
   상기 어텐션맵을 생성하는 단계는,
   상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성하는 단계를 포함하는
   이미지의 특이 영역 분석 방법.
   
5. 제1항에 있어서,
   상기 제1 기계학습 모델은,
   생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사한 정상 이미지를 생성하도록 학습이 수행되어 있으며,
   상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
   이미지의 특이 영역 분석 방법.
   
6. 제1항에 있어서,
   오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 단계를 더 포함하는
   이미지의 특이 영역 분석 방법.
   
7. 제6항에 있어서,
   상기 제2 기계학습 모델은,
   컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
   이미지의 특이 영역 분석 방법.
   
8. 제6항에 있어서,
   상기 제2 기계학습 모델은,
   복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되는
   이미지의 특이 영역 분석 방법.
   
9. 제1항에 있어서,
   상기 쿼리 이미지는,
   질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지이고,
   상기 복수의 정상 이미지는,
   상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지인
   이미지의 특이 영역 분석 방법.
   
10. 제9항에 있어서,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함하는
    이미지의 특이 영역 분석 방법.
    
11. 입력되는 이미지를 기초로 특징 벡터를 생성하는 인코더를 이용하여 쿼리 이미지에 대한 특징 벡터를 생성하는 특징 벡터 생성부와,
    입력되는 특징 벡터의 오리지날 이미지(original image)와 소정의 유사도를 가지는 정상 이미지를 생성하도록 학습된 제1 기계학습 모델에 상기 생성된 특징 벡터가 입력됨에 기초하여 상기 쿼리 이미지와 관련된 복수의 정상 이미지를 생성하는 정상 이미지 생성부와,
    상기 복수의 정상 이미지 각각에 대해 상기 쿼리 이미지와의 차이를 나타내는 특이 영역을 포함하는 어텐션맵(attention map)을 생성하는 어텐션맵 생성부를 포함하는
    이미지의 특이 영역 분석 장치.
    
12. 제11항에 있어서,
    상기 인코더는,
    상기 제1 기계학습 모델의 입력단에 상기 인코더를 배치하고 상기 인코더에 학습용 이미지를 입력시켜 상기 인코더에 의해 생성되는 상기 학습용 이미지의 특징 벡터가 상기 제1 기계학습 모델로 입력되도록 하여 출력 이미지를 생성하도록 하고,
    역전파(back propagation)를 이용하여 상기 제1 기계학습 모델의 출력 이미지와 상기 학습용 이미지 간의 차이가 최소화되도록 하고,
    상기 제1 기계학습 모델의 출력단에 상기 인코더를 재배치하고, 상기 인코더를 통해 상기 출력 이미지를 특징 벡터로 변환하여, 역전파를 이용하여 상기 변환된 출력 이미지의 특징 벡터와 상기 제1 기계학습 모델로 입력되는 특징 벡터 간의 차이가 최소화되도록 함으로써 학습되어 있는
    이미지의 특이 영역 분석 장치.
    
13. 제11항에 있어서,
    상기 특징 벡터 생성부는,
    상기 쿼리 이미지의 특징 벡터를 생성하고,
    데이터베이스에 기저장되어 있는 복수의 학습용 정상 이미지 각각에 대한 특징 벡터 중 상기 쿼리 이미지의 특징 벡터와 가장 유사한 특징 벡터를 상기 쿼리 이미지에 대한 특징 벡터로 결정하는
    이미지의 특이 영역 분석 장치.
    
14. 제13항에 있어서,
    상기 생성된 복수의 정상 이미지 중 상기 쿼리 이미지와 유사도가 높은 순서대로 적어도 하나 이미지를 선택하는 유사 이미지 선택부를 더 포함하고,
    상기 어텐션맵 생성부는,
    상기 선택된 이미지와 상기 쿼리 이미지와의 차이와 관련된 특이 영역을 포함하는 어텐션맵을 생성하는
    이미지의 특이 영역 분석 장치.
    
15. 제11항에 있어서,
    상기 제1 기계학습 모델은,
    생성형 기계학습 모델에 기초하여, 복수의 학습용 정상 이미지를 이용하여 소정의 특징 벡터가 입력되면 소정의 특징 벡터가 나타내는 이미지와 유사한 정상 이미지를 생성하도록 학습이 수행되어 있으며,
    상기 생성형 기계학습 모델은 적대적생성네트워크(generative adversarial network)를 포함하는
    이미지의 특이 영역 분석 장치.
    
16. 제11항에 있어서,
    오류를 제거하도록 학습된 제2 기계학습 모델을 이용하여 상기 복수의 정상 이미지 각각에 대해 생성된 어텐션맵 중 오류를 제거함에 기초하여, 최종 어텐션맵을 생성하는 최종 어텐션맵 생성부를 더 포함하는
    이미지의 특이 영역 분석 장치.
    
17. 제16항에 있어서,
    상기 제2 기계학습 모델은,
    컨벌루션뉴럴네트워크(convolution neural network)에 기초하여, 복수의 학습용 어텐션맵을 입력값으로 하고, 오류의 학습용 어텐션맵을 정답값으로하여 입력된 학습용 어텐션맵의 오류 여부를 판별하도록 지도 학습이 수행되어 있는
    이미지의 특이 영역 분석 장치.
    
18. 제16항에 있어서,
    상기 제2 기계학습 모델은,
    복수의 학습용 어텐션맵에 대한 비지도 학습이 수행되는
    이미지의 특이 영역 분석 장치.
    
19. 제11항에 있어서,
    상기 쿼리 이미지는,
    질환을 가지는 환자로부터 획득됨에 기초하여 상기 질환에 의해 나타나는 비정상 영역의 적어도 일부에 대한 비정상 영역 이미지를 포함하는 비정상 촬상 이미지이고,
    상기 복수의 정상 이미지는,
    상기 쿼리 이미지의 상기 비정상 영역 이미지에 대응하는 영역이 정상 상태에 대한 정보를 포함하는 정상 영역 이미지이되 상기 쿼리 이미지와의 유사도가 소정 값 이상의 가짜(fake) 이미지인
    이미지의 특이 영역 분석 장치.
    
20. 제19항에 있어서,
    상기 정상 이미지는,
    상기 질환을 갖지 않는 정상인의 정상 상태를 나타나는 정상 영역의 적어도 일부에 대한 정상 영역 이미지를 포함하는
    이미지의 특이 영역 분석 장치.

Images