KR101977067B1 - 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치 - Google Patents

Abstract

본 발명은 심층 신경망 기반의 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치에 관한 것이다. 구체적으로, 본 발명에 따른 방법에 의하면, 컴퓨팅 장치가, 의료 영상을 획득하고, 상기 의료 영상으로부터 특징값을 추출하며, 추출된 상기 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축하고, 상기 진단 레이블로부터 진단 맵 및 상기 진단 맵에 결부된 진단 결과를 생성한다.

Description

심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치{METHOD FOR RECONSTRUCTING DIAGNOSIS MAP BY DEEP NEURAL NETWORK-BASED FEATURE EXTRACTION AND APPARATUS USING THE SAME}

본 발명은 심층 신경망 기반의 특징 추출을 통하여 진단 맵을 재구축하는 방법 및 이를 이용한 장치에 관한 것이다. 구체적으로, 본 발명에 따른 방법에 의하면, 컴퓨팅 장치가, 의료 영상을 획득하고, 상기 의료 영상으로부터 특징값을 추출하며, 추출된 상기 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축하고, 상기 진단 레이블로부터 진단 맵 및 상기 진단 맵에 결부된 진단 결과를 생성한다.

병리 영상을 포함하는 의료 영상에 의한 진단은 거시적 수준에서 국소적 수준에까지 (다양한 맥락에 대응되는) 영상의 특징들을 이해하여 이루어진다. 최근 각광받기 시작한 딥 러닝을 포함하는 다양한 영상 해석 기술의 발달로 인하여, 합성곱 인공신경망을 포함하는 인공신경망 모듈을 이용하여 의료 영상에 대한 자동 진단을 가능하게 하려는 시도가 이루어지고 있는데, 이에는 일반적으로 다음과 같은 문제가 남아 있다.

우선, 합성곱 인공신경망은 일반적으로 의료 영상에 비하여 매우 작은 크기의 영상만을 입력값으로 받아 특정 출력값을 낼 수 있다. 이 때문에 일반적인 합성곱 인공신경망을 이용한 의료 영상의 해석에서는 국소적인 패치(patch) 별로 진단을 시행한 후에 그 패치들에 대한 통계를 이용하여 최종적인 진단을 확정하는 방식이 주로 이용되고 있다. 이는, 의사들이 실제 판독에서 특정 영역의 진단을 내리는 때에 어느 영역뿐만 아니라 그 영역의 주변 영역의 특징들도 함께 이해하여 판독을 내리는 것과 다른 것인바, 인공지능에 의하면 패치를 독립적으로 취급하여 판독을 수행하게 되어 실제의 의사와는 다소 상이한 결과를 내리게 되는 원인이 된다.

따라서 주변 패치들의 영향 또한 고려할 수 있는 방안이 필요하다. 이를 위하여 본 개시서에서는 의료 영상의 인공지능 진단의 효율을 최대화하기 위하여, 인접 패치 간의 영향을 고려하여 병변 표현을 추출할 수 있는 종합적인 방안을 제안하고자 한다.

비특허문헌 1: Bejnordi, B. E., Zuidhof, G., Balkenhol, M., Hermsen, M., Bult, P., van Ginneken, B., ... & van der Laak, J. (2017). Context-aware stacked convolutional neural networks for classification of breast carcinomas in whole-slide histopathology images. Journal of Medical Imaging, 4(4), 044504. 비특허문헌 2: Agarwalla, A., Shaban, M., & Rajpoot, N. M. (2017). Representation-aggregation networks for segmentation of multi-gigapixel histology images. arXiv preprint arXiv:1707.08814. 비특허문헌 3: Graham, S., Shaban, M., Qaiser, T., Khurram, S. A., & Rajpoot, N. (2018, March). Classification of lung cancer histology images using patch-level summary statistics. In Medical Imaging 2018: Digital Pathology (Vol. 10581, p. 1058119). International Society for Optics and Photonics.

본 발명은 주변의 넓은 패치를 감안하지 못하는 종래의 인공지능 진단 방식의 단점을 해소하고 주변 패치의 영향까지 고려하기 위하여 수용 필드(receptive field; 인지 범위)를 넓히는 것을 일 목적으로 한다.

이를 위하여 본 발명은 의료 영상 전체에 대하여 진단 맵과 진단 결과를 동시에 고려하면서도 수용 필드를 넓힐 수 있는 통합적인 방안을 제공하는 것을 목적으로 한다.

이에 따라 본 발명은 궁극적으로 인공지능에 기반한 영상에 관한 판단, 예컨대 의료 영상의 진단에 있어서의 효율성 및 정확성을 향상시키는 것을 목적으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 하기와 같다.

본 발명의 일 태양(aspect)에 따르면, 심층 신경망 기반 특징 추출을 통하여 진단 맵(diagnosis map)을 재구축하는 방법이 제공되는바, 그 방법은, (a) 컴퓨팅 장치가, 의료 영상을 획득하거나 상기 컴퓨팅 장치에 연동되는 타 장치로 하여금 획득하도록 지원하는 단계; (b) 상기 컴퓨팅 장치가, 영상 특징 추출 모듈을 통하여, 상기 의료 영상으로부터 특징값을 추출하거나 상기 타 장치로 하여금 추출하도록 지원하는 단계; (c) 상기 컴퓨팅 장치가, 레이블 재구축 모듈을 통하여, 추출된 상기 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축하거나 상기 타 장치로 하여금 재구축하도록 지원하는 단계; 및 (d) 상기 컴퓨팅 장치가, 상기 진단 레이블로부터 진단 맵 및 상기 진단 맵에 결부된 진단 결과를 생성하거나 상기 타 장치로 하여금 생성하도록 지원하는 단계를 포함한다.

본 발명의 다른 태양에 따르면, 본 발명에 따른 방법을 수행하도록 구현된 명령어(instructions)를 포함하는, 기계 판독 가능한 비일시적 기록 매체에 저장된, 컴퓨터 프로그램도 제공된다.

본 발명의 또 다른 태양에 따르면, 심층 신경망 기반 특징 추출을 통하여 진단 맵(diagnosis map)을 재구축하는 장치가 제공되는바, 그 장치는, 의료 영상을 획득하는 통신부; (i) 상기 의료 영상으로부터 특징값을 추출하는 프로세스, (ii) 상기 추출된 상기 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축하는 프로세스, 및 (iii) 상기 진단 레이블로부터 진단 맵 및 상기 진단 맵에 결부된 진단 결과를 생성하는 프로세스를 수행하거나 상기 통신부를 통하여 연동되는 타 장치로 하여금 수행하도록 지원하는 프로세서를 포함한다.

본 발명에 의하면 계산량에 의해 제한된 수용 필드를 효과적으로 넓혀, 진단 맵과 진단 결과의 학습이 서로 분리되는 단점을 해결할 수 있다.

또한, 이러한 특징에 의해, 입력 데이터의 크기뿐만 아니라 레이블 정보의 형태에 따른 알고리즘 제한을 극복할 수 있다. 진단 맵의 학습 과정에 진단 결과도 손실 함수 값에 반영되는 기술적 특징이 있는데, 이는 의료 정보가 픽셀별로 진단된 데이터가 불완전한 경우의 단점(예컨대, 픽셀별로 진단시에는 불확실한 부분이 많은바, 일반적으로 레이블링 되지 않는 영역이 발생하며, 그러한 영역이 넓은 때에는 전체가 제대로 레이블링 된 경우에 비하여 일반적으로 학습이 어렵다.)을 극복할 수 있는 효과가 있다. 추가적으로 일부 샘플의 진단 정보가 불완전한 경우(픽셀별만 진단 정보만 있는 경우, 샘플별 진단 정보만 있는 경우)에도 적용가능하여, 데이터 형태에 따른 알고리즘 제한을 해소할 수 있다.

더 나아가, 전체 계산량의 대부분을 차지하는 저수준 특징 추출의 결과를 활용하고 알고리즘 선택폭이 넓어짐에 따라, 보다 복잡하고 다양한 구조의 알고리즘들의 테스트가 가능하게 된다.

이와 같은 본 발명의 실시 예에 따른 효과는 특정 형식(modality)의 영상뿐만 아니라 널리 다양한 형식의 2차원 영상 또는 3차원 영상들에 적용될 수 있는바, 본 발명의 방법이 특정 형식이나 플랫폼에 종속되지 않음은 물론이다.

본 발명의 실시 예의 설명에 이용되기 위하여 첨부된 아래 도면들은 본 발명의 실시 예들 중 단지 일부일 뿐이며, 본 발명이 속한 기술분야의 통상의 기술자에게 있어서는 신규한 발명에 이르는 노력 없이도 이 도면들에 기초하여 다른 도면들이 얻어질 수 있다.
도 1은 본 발명에 따라 심층 신경망 기반 특징 추출을 통하여 진단 맵을 재구축하는 방법(이하 "심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법"이라 함)을 수행하는 컴퓨팅 장치의 예시적 구성을 개략적으로 도시한 개념도이다.
도 2는 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법을 수행하는 장치의 하드웨어 또는 소프트웨어 구성요소를 개략적으로 도시한 블록도이다.
도 3a는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따라 입력된 의료 영상으로부터 특징값을 추출하는 과정을 예시적으로 나타낸 블록도이다.
도 3b는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따른 영상 특징 추출 모듈을 훈련시키는 제1 실시 예를 나타낸 블록도이다.
도 3c는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따른 영상 특징 추출 모듈을 훈련시키는 제2 실시 예를 나타낸 블록도이다.
도 4a는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따라 특징값으로부터 의료 영상에 대한 진단 레이블을 재구축하는 과정을 예시적으로 나타낸 블록도이다.
도 4b는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따른 레이블 재구축 모듈을 훈련시키는 일 실시 예를 나타낸 블록도이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명의 목적들, 기술적 해법들 및 장점들을 분명하게 하기 위하여 본 발명이 실시될 수 있는 특정 실시 예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시 예는 통상의 기술자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다.

본 발명의 상세한 설명 및 청구항들에 걸쳐 이용된 "영상", "이미지", "영상 데이터" 또는 "이미지 데이터"라는 용어는 이산적 영상 요소들(예컨대, 2차원 영상에 있어서는 픽셀, 3차원 영상에 있어서는 복셀)로 구성된 다차원 데이터를 지칭하며, 달리 말하자면, (예컨대, 비디오 화면에 표시된) 눈으로 볼 수 있는 대상 또는 (예컨대, 픽셀 혹은 복셀 출력에 대응되는 파일과 같은) 그 대상의 디지털 표현물을 지칭하는 용어이다.

예를 들어 "영상"은 현미경 영상의 촬영과 같이 본 발명의 기술분야에서 공지된 임의의 영상 촬영 방식에 따라 수집된 피검체(subject)의 병리 영상이거나 다른 형식의 의료 영상일 수 있다. 그러나 그 영상이 반드시 의료적 맥락에서 제공되어야 하는 것은 아니고 비의료적 맥락에서 제공될 수도 있다.

설명의 편의를 위하여 제시된 도면에서는 예시적인 일부의 영상 형식(modality)이 도시되어 있으나 통상의 기술자는 본 발명의 다양한 실시 예에서 이용되는 영상 형식들이 이에 한정되지 않는다는 점을 이해할 수 있을 것이다.

그리고 본 발명의 상세한 설명 및 청구항들에 걸쳐, '포함하다'라는 단어 및 그 변형은 다른 기술적 특징들, 부가물들, 구성요소들 또는 단계들을 제외하는 것으로 의도된 것이 아니다. 또한, '하나' 또는 '한'은 하나 이상의 의미로 쓰인 것이며, '또 다른'은 적어도 두 번째 이상으로 한정된다.

본 개시서에서 언급되는 사용자는 단수만을 지칭하는 것이 아니라 영상, 특히 의료 영상 및 그 관련 데이터를 풍부하고 중첩적으로 획득하기 위한 목적의 복수 사용자를 지칭할 수도 있는바, 이에는 영상의 훈련(학습) 또는 실제 사용에 있어서 영상의 무결성(integrity)을 확보하기 위한 목적이 있을 수 있다.

통상의 기술자에게 본 발명의 다른 목적들, 장점들 및 특성들이 일부는 본 설명서로부터, 그리고 일부는 본 발명의 실시로부터 드러날 것이다. 아래의 예시 및 도면은 실례로서 제공되며, 본 발명을 한정하는 것으로 의도된 것이 아니다. 따라서, 특정 구조나 기능에 관하여 본 개시서에 개시된 상세 사항들은 한정하는 의미로 해석되어서는 아니되고, 단지 통상의 기술자가 실질적으로 적합한 임의의 상세 구조들로써 본 발명을 다양하게 실시하도록 지침을 제공하는 대표적인 기초 자료로 해석되어야 할 것이다.

더욱이 본 발명은 본 개시서에 표시된 실시 예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 개시된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

본 개시서에서 달리 표시되거나 분명히 문맥에 모순되지 않는 한, 단수로 지칭된 항목은, 그 문맥에서 달리 요구되지 않는 한, 복수의 것을 아우른다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

도 1은 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법을 수행하는 컴퓨팅 장치의 예시적 구성을 개략적으로 도시한 개념도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 컴퓨팅 장치(100)는, 통신부(110) 및 프로세서(120)를 포함하며, 상기 통신부(110)를 통하여 외부 컴퓨팅 장치(미도시)와 직간접적으로 통신할 수 있다.

구체적으로, 상기 컴퓨팅 장치(100)는, 전형적인 컴퓨터 하드웨어(예컨대, 컴퓨터 프로세서, 메모리, 스토리지, 입력 장치 및 출력 장치, 기타 기존의 컴퓨팅 장치의 구성요소들을 포함할 수 있는 장치; 라우터, 스위치 등과 같은 전자 통신 장치; 네트워크 부착 스토리지(NAS; network-attached storage) 및 스토리지 영역 네트워크(SAN; storage area network)와 같은 전자 정보 스토리지 시스템)와 컴퓨터 소프트웨어(즉, 컴퓨팅 장치로 하여금 특정의 방식으로 기능하게 하는 명령어들)의 조합을 이용하여 원하는 시스템 성능을 달성하는 것일 수 있다.

이와 같은 컴퓨팅 장치의 통신부(110)는 연동되는 타 컴퓨팅 장치와 요청과 응답을 송수신할 수 있는바, 일 예시로서 그러한 요청과 응답은 동일한 TCP(transmission control protocol) 세션(session)에 의하여 이루어질 수 있지만, 이에 한정되지는 않는바, 예컨대 UDP(user datagram protocol) 데이터그램(datagram)으로서 송수신될 수도 있을 것이다. 덧붙여, 넓은 의미에서 상기 통신부(110)는 명령어 또는 지시 등을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치, 프린터 등 인쇄장치, 디스플레이 장치, 기타 외부 출력장치를 포함할 수 있다.

또한, 컴퓨팅 장치의 프로세서(120)는 MPU(micro processing unit), CPU(central processing unit), GPU(graphics processing unit), NPU(neural processing unit) 또는 TPU(tensor processing unit), 캐시 메모리(cache memory), 데이터 버스(data bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.

도 2는 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법을 수행하는 장치의 하드웨어 또는 소프트웨어 구성요소를 개략적으로 도시한 블록도이다.

도 2를 참조하여 본 발명에 따른 방법 및 장치의 구성을 간략히 개관하면, 컴퓨팅 장치(100)는 그 구성요소로서 영상 획득 모듈(200)을 포함할 수 있다. 이 영상 획득 모듈(200)은 본 발명에 따른 방법이 적용되는 의료 영상을 획득하도록 구성된다. 그리고 영상 특징 추출 모듈(300)은 그 획득된 의료 영상으로부터 특징값을 추출하도록 구성된다. 레이블 재구축 모듈(400)은 이 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축한다. 그 후, 진단 결과 생성 모듈(500)은 재구축된 진단 레이블로부터 진단 맵 및 그 진단 맵에 결부된 진단 결과를 생성할 수 있다. 그 진단 맵 및 진단 결과는 소정의 출력 모듈(미도시)을 통하여 외부 엔티티(external entity)에 제공될 수 있는바, 여기에서 외부 엔티티라고 함은, 상기 컴퓨팅 장치(100)의 사용자, 관리자, 상기 영상에 나타난 내용을 담당하는 담당 의료인 등을 포함하나, 이 이외에도 그 영상의 분류(판정, 판독 등)을 필요로 하는 주체라면 어느 주체라도 포함되는 것으로 이해되어야 할 것이다. 외부 엔티티는 상기 정보를 이용하는 인공지능 주체(artificial intelligence entity)일 수도 있으며, 그 정보를 저장하기 위한 저장 장치 혹은 출력 장치일 수도 있다.

이와 같이 도 2에 도시된 모듈들은, 예컨대, 컴퓨팅 장치(100)에 포함된 통신부(110)나 프로세서(120), 또는 상기 통신부(110) 및 프로세서(120)의 연동에 의하여 구현될 수 있음은 통상의 기술자가 이해할 수 있을 것이며, 아래에서 그 기능 및 효과 등에 관하여 더 상세하게 설명될 것이다. 도 2에 나타난 모듈들은 설명의 편의상 하나의 컴퓨팅 장치에서 실현되는 것으로 예시되었으나, 본 발명의 방법을 수행하는 장치(100)는 복수개의 장치들이 서로 연동되도록 구성될 수도 있으며, 이는 본 개시서에 첨부된 청구범위에 의하여 망라될 수 있다는 점이 이해될 것이다.

먼저, 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법은, 컴퓨팅 장치(100)에 의하여 구현되는 영상 획득 모듈(200)이, 의료 영상을 획득하거나 상기 컴퓨팅 장치의 통신부(110)를 통하여 연동되는 타 장치(미도시)로 하여금 상기 의료 영상을 획득하도록 지원하는 단계(S100; 미도시)를 포함한다. 여기에서 의료 영상은 픽셀별(pixel-wise) 진단 레이블 데이터를 포함할 수 있다.

다음으로, 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법은, 영상 특징 추출 모듈(300)을 통하여, 상기 의료 영상으로부터 특징값을 추출하거나 상기 타 장치로 하여금 추출하도록 지원하는 단계(S200; 미도시)를 더 포함한다.

도 3a는 단계(S200)에서 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따라 입력된 의료 영상으로부터 특징값을 추출하는 과정을 예시적으로 나타낸 블록도이다.

도 3a를 참조하면, 획득된 의료 영상(320a)은 (m, n, c)의 크기를 가질 수 있다. 여기에서 m은 가로의 치수, 즉 가로의 픽셀 수, n은 세로의 치수, c는 채널(channel)의 수를 지칭한다. 예를 들어, RGB 영상이 의료 영상으로 입력된 경우에 Red 채널, Green 채널, Blue 채널로 구별될 수 있으므로 그 채널 수 c는 3일 수 있다.

마찬가지로 의료 영상(320a)과 함께 획득된 픽셀별 진단 레이블 데이터(320b)는 (m, n, l)의 크기를 가질 수 있는데, 여기에서 m, n은 전술한 바와 같고, l은 각각의 픽셀을 분류한 클래스(class)의 수를 지칭한다. 예를 들어, 분류의 표적인 클래스들이 위염, 위암, 선종, 정상으로 구성된다면, l은 4일 수 있다.

도 3a를 참조하면, 단계(S200)에서 의료 영상(320a)은 패치 생성기(340)를 통하여 다수의 작은 패치들로 나뉘는데, 이때 패치들(31)의 개수는 스트라이트(stride), 패딩(padding)의 설정에 따라 달라질 수 있다. 이러한 설정에 따라 의료 영상(320a)으로부터 N개의 패치들(31)이 생성될 수 있다. 모든 N개 패치들(31)의 치수는 (N, m', n', c)로 표현할 수 있다. 패치 생성기(340)는 영상 특징 추출 모듈(360)에 입력되는 영상의 크기에 맞는 패치를 의료 영상으로부터 생성하는 기능을 수행하는데, 예를 들어, 영상 특징 추출 모듈(360)이 Inception V3를 채용하는 경우 m'=299, n'=299, c=3이다.

각각의 패치는, 상세히 후술되는 바와 같이 훈련된 영상 특징 추출 모듈(360)에 의하여 특징 공간 상의 N개의 벡터, 즉, (N, d)의 치수를 가지는 N개의 특징값(32)으로 변환된다. 개략적으로 설명하면, 영상 특징 추출 모듈(360)은 최종의 출력값 대신에 최종 출력값에 이르기 직전 또는 그보다 더 전의 층의 값을 출력할 수 있다. 예컨대, 영상 특징 추출 모듈(360)이 Inception V3의 모델을 기반으로 하여 출력값 직전 층의 특징값을 추출하는 경우에 d는 2048일 수 있다.

특징 공간 상으로 변환된 특징값들(32)은 패치들(31)을 추출한 순서대로, 원본의 의료 영상과 같은 형태로 재구축될 수 있도록. 즉, 원본의 의료영상과 같은 공간적 정보를 갖도록, (x, y, d) 크기를 가지는 특징 공간 상에서의 d 차원 영상(380a)으로 재구축된다. 그렇다면, 이와 동일한 가로, 세로의 치수를 가지도록 픽셀별 진단 레이블 데이터(320b)에 곱해질 수 있는 크기 조절 계수(resize factor) r는 x/m, y/n일 수 있는바, 이에 따라 픽셀별 진단 레이블 데이터(320b)는 (x, y, l)의 크기를 가지도록 크기 조절(380b)될 수 있다.

이와 같은 과정을 거쳐 의료 영상(320a)은 보다 작은 크기의 특징 공간에서의 영상(380a)으로 변환되고, 이에 대응하는 진단 레이블 데이터(380b)를 가지게 된다.

도 3b는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따른 영상 특징 추출 모듈(360)을 훈련시키는 방식에 관한 제1 실시 예를 나타낸 블록도이다.

도 3b에 나타난 제1 실시 예에 따르면, 우선, 컴퓨팅 장치(100)는, 영상 특징 추출 모듈의 훈련을 위하여 훈련용 의료 영상(320a) 및 훈련용 의료 영상의 픽셀별 진단 레이블 데이터(320b)를 획득하거나 상기 타 장치로 하여금 획득하도록 지원한다.

훈련용 의료 영상(320a)이 m, n 크기의 c 채널 의료 영상(예컨대, m=10만, n=10만, c=3)이라면 그 의료 영상(320a)에 대응하는 픽셀별 진단 레이블 데이터(320b)가 함께 제공될 수 있다. 예를 들어, 암과 정상인 2가지 클래스만 분류하는 경우에는 픽셀별 진단 레이블 데이터(320b)는 (10만, 10만, 2)의 크기를 가질 수 있다.

그리고, 컴퓨팅 장치(100)는, 패치 생성기(340)를 통하여, 훈련용 의료 영상(320a) 및 진단 레이블 데이터(320b) 각각으로부터 (i) 다수의 훈련용 의료 영상의 패치(31') 및 (ii) 다수의 진단 레이블 데이터의 패치(31") 또는 다수의 진단 레이블 데이터의 축소된 차원의 진단값(33)을 생성하거나 상기 타 장치로 하여금 생성하도록 지원한다.

축소된 차원의 진단값(33)은 진단 레이블 데이터 패치(31")의 중심 픽셀의 진단값이거나, 진단 레이블 데이터 패치(31")에서 통계적으로 우세한(dominant) 진단값일 수 있으나 이에 한정되지 않는다.

그 후, 컴퓨팅 장치(100)는, (i) 상기 다수의 훈련용 의료 영상의 패치(31')를 입력값으로, (ii) 상기 다수의 진단 레이블 데이터의 패치(31") 또는 상기 다수의 진단 레이블 데이터의 축소된 차원의 진단값(33)을 정답으로 하여, 영상 특징 추출 모듈(360)의 손실 함수 값을 산출하거나 상기 타 장치로 하여금 산출하도록 지원한다. 이때, 주로 축소된 차원의 진단값(33)을 정답으로 하여 손실 함수 값을 산출함으로써 모델의 훈련이 진행되겠지만, 전술한 원본 의료 영상의 재구축에 U-Net이나 합성곱 자기부호화기(convolutional autoencoder) 등의 영상 재구축 신경망이 이용되는 경우라면, 축소되지 않은 진단 레이블 데이터의 패치(31")를 정답으로 이용하여 손실 함수 값을 계산할 수 있을 것이다.

이 손실 함수 값을 참조하여, 컴퓨팅 장치(100)는, 영상 특징 추출 모듈(360), 즉, 영상 특징 추출 모듈에 이용된 심층 신경망 모델의 가중치 및/또는 편향치를 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원한다. 여기에서 심층 신경망은, 최초의 입력층, 상기 입력층에 이어지는 다수의 합성곱층, 상기 합성곱층 사이에 개재되는 적어도 하나의 풀링 층 및 최후의 출력층을 포함하는 구조를 가질 수 있다.

구체적으로, 영상 특징 추출 모듈(360)은, 앞서 언급된 Inception, ResNet, DenseNet 등의 심층 신경망 모델을 이용할 수 있는데, 이 경우 축소된 차원의 진단값(33)과 심층 신경망 모델에 의한 출력값인 예측값이 서로 얼마나 다른가와 관련하여 교차 엔트로피(cross entropy) 등의 손실값을 계산하고, 그러한 손실값이 최소화되도록 심층 신경망 모델을 학습시키는 것이다.

이 과정을 반복하면 손실 함수 값이 추세적으로 점차 감소하고, 적당한 훈련 종료 조건이 충족되면 그 반복을 종료함으로써 영상 특징 추출 모듈(360)의 훈련이 완료된다. 심층 신경망 모델의 훈련 종료 조건은 통상의 기술자에게 알려진 바와 같은바 그 세부 설명은 생략한다. 이 과정에 관하여 설명된 의료 영상 및 그 진단 레이블 데이터는 한 장 이상의 의료 영상 및 진단 레이블 데이터 자체뿐만 아니라 이를 보유하는 데이터베이스로부터 획득된 신호들을 포함하는 개념이다.

지금까지 설명된 제1 실시 예에 영상 특징 추출 모듈(360)의 훈련 방식이 한정되지 않음은 물론이다.

도 3c는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따른 영상 특징 추출 모듈(360)을 비지도 학습에 의하여 훈련시키는 제2 실시 예를 나타낸 블록도이다. 이는 m, n 크기의 c 채널 의료 영상(예컨대, 10만, 10만, 3채널)에 대응하는 진단 레이블 데이터가 없고 그 의료 영상만 존재하는 경우이다.

도 3c에 나타난 제2 실시 예에 따르면, 우선, 컴퓨팅 장치(100)는, 영상 특징 추출 모듈(360)의 훈련을 위하여 훈련용 의료 영상(패치)을 획득하거나 상기 타 장치로 하여금 획득하도록 지원한다.

그리고, 컴퓨팅 장치(100)는, 패치 생성기(340)를 통하여, 훈련용 의료 영상(320a)으로부터 다수의 훈련용 의료 영상의 패치(31')를 생성하거나 상기 타 장치로 하여금 생성하도록 지원한다

컴퓨팅 장치(100)는, 상기 다수의 훈련용 의료 영상의 패치(31') 각각을 이용하여 영상 특징 추출 모듈(360)의 특징값을 산출하거나 상기 타 장치로 하여금 산출하도록 지원한다. 패치 복원 모듈(350)은 추출된 특징값으로부터 원본 패치(31"')를 복원한다. 영상 특징 추출 모듈(360)과 패치 복원 모듈(350)은, 제1 실시 예에서와 같이 Inception, ResNet, DenseNet 등의 심층 신경망 모델을 이용할 수 있고, 원본의 의료 영상과 복원된 의료 영상(복원된 패치; 31"') 각각의 상이함의 정도를 손실 값으로 하여 계산하는 등의 방식으로 영상 특징 추출 모듈(360)의 심층 신경망을 학습시킬 수 있다.

이 손실 함수 값을 참조하여, 컴퓨팅 장치(100)는, 영상 특징 추출 모듈(360), 즉, 영상 특징 추출 모듈에 이용된 심층 신경망 모델의 가중치 및/또는 편향치를 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원한다.

한편, 통상의 기술자는 전술한 제1 실시 예, 제2 실시 예 외에 심층 신경망 모델의 학습에 대하여 종래에 알려진 방법들, 예컨대, 준지도 학습(semi-supervised learning), 약한 지도 학습(weakly supervised learning), 다인스턴스 학습(multi-instance learning) 등이 적용될 수도 있음을 이해할 수 있을 것이다.

계속해서, 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법을 설명하면, 단계(S200)의 수행 후, 컴퓨팅 장치(100)가, 레이블 재구축 모듈(400)을 통하여, 단계(S200)에서 추출된 특징값으로부터 의료 영상에 대한 진단 레이블을 재구축하거나 상기 타 장치로 하여금 재구축하도록 지원하는 단계(S300; 미도시)가 더 포함된다.

도 4a는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따라 특징값으로부터 의료 영상에 대한 진단 레이블을 재구축하는 과정을 예시적으로 나타낸 블록도이다. 도 4a에 도시된 참조부호 320a 내지 380a는 도 3a에 도시된 바와 같다.

도 4a를 참조하면, d 차원 영상(380a)으로 재구축된 특징값은 레이블 재구축 모듈(400)에 입력되고, 패딩 크롭 모듈(padding-crop module; 420)에 의하여 상기 재구축된 특징값의 영상이 소정의 일정한 크기(예컨대, 도 4a에 예시된 바와 같은 (p, q, d)의 크기)에 맞도록 바둑판식 배열(tiled)됨으로써 바둑판식 배열된 특징값 영상(420)이 생성된다.

그러면, 바둑판식 배열된 특징값 영상(420)으로부터, 제1 재구축 신경망(440)에 의하여 진단 확률값(p, q, l)을 포함하는 진단 레이블 데이터가 재구축된다.

이와 같은 단계(S300)의 수행 후, 본 발명에 따른 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에서는, 컴퓨팅 장치(100)가, 크기 조절 모듈(41)을 통하여, 진단 확률값(p, q, l)으로부터 (m, n, l) 크기의 완성된 진단 맵(diagnosis map)을 생성하고, 제2 재구축 신경망(460)을 통하여, 상기 바둑판식 배열된 특징값 영상(420)으로부터 전체 진단 결과인 전체 진단 레이블 데이터(1, 1, l)를 상기 진단 맵에 결부된 진단 결과로서 생성하는 단계(S400; 미도시)를 더 포함한다.

크기 조절 모듈(41)은 바둑판식 배열된 특징값 영상의 크기를 원본의 재구축값의 크기(x, y, l)로 되돌리고, 다시 의료 영상의 원본 크기(m, n, l)로 재조절한다.

도 4a에 나타난 과정 전체에 대한 한 가지 예시를 들면, 우선, 진단 클래스가 2가지이고(즉, l=2), 입력 영상이 (299, 299, 3)의 크기를 가지는 Inception V3를 영상 특징 추출 모듈에서 이용하는 경우, m=29900, n=59800, c=3의 크기를 가진 의료 영상을 받아 padding=0, stride=299에 의한 패치를 생성하면, (N=100x200, m'=299, n'=299, c=3)의 패치들이 생성되고, 영상 특징 추출 모듈에서 출력값 이전 층에서 특징값을 추출하면 (N=100x200, d=2048)의 특징값이 생성된다. 이 특징값을 재구축하여, (x=100, y=200, d=2048)의 재구축된 특징값의 영상이 생성된 후, 패딩 층(padding layer)이 p=300이라면, 그 재구축된 특징값의 영상은 패딩되어 (p=300, p=300, d=2048)의 바둑판식 배열된 특징값 영상으로 변환된다. 이 영상은 제1 재구축 신경망(440) 및 제2 재구축 신경망(460)을 통과하여, 각각 (p=300, p=300, l=2), (1, 1, l=2)의 크기를 가지는 진단 레이블 데이터 및 진단 결과가 생성되고, (p=300, p=300, l=2)의 진단 레이블 데이터는 원본의 재구축 값(100, 200, 2)으로 환원되었다가, 크기 조절 계수 r에 의하여 의료 영상의 원본 크기로 크기 조절된다(m=29900, n=59800, l=2).

이제, 레이블 재구축 모듈(400), 특히, 이에 포함되는 제1 재구축 신경망(440) 및 제2 재구축 신경망(460)을 훈련시키는 방식에 관한 일 실시 예를 구체적으로 설명하기로 한다. 앞서 언급된 대로 레이블 재구축 모듈(400)은, 재구축된 특징값, 크기 조절된 진단 레이블 데이터 및 전체 진단 레이블 데이터를 이용하여 진단 맵 및 진단 결과를 생성하도록 훈련된 심층 신경망 모듈이다.

도 4b는 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법에 따른 레이블 재구축 모듈(400)을 훈련시키는 일 실시 예를 나타낸 블록도이다. 이 실시 예에서 레이블 재구축 모듈(400)은 패딩 크롭 모듈(420), 제1 재구축 신경망(440) 및 제2 재구축 신경망(460)을 포함한다.

도 4b에 나타난 일 실시 예에 따르면, 우선, 컴퓨팅 장치(100)는, 훈련용 의료 영상(320a)으로부터 재구축된 특징값(380a), 상기 훈련용 의료 영상(320a)의 크기 조절된 훈련용 픽셀별 진단 레이블 데이터(380b) 및 상기 훈련용 의료 영상의 훈련용 전체 진단 레이블 데이터(43)를 획득하거나 상기 타 장치로 하여금 획득하도록 지원한다.

그리고, 컴퓨팅 장치(100)는, 패딩 크롭 모듈(420)을 통하여, 상기 재구축된 특징값의 영상(380a)을 소정의 크기(p, q, d)에 맞도록 바둑판 배열함으로써 바둑판식 배열된 특징값 영상을 생성하거나 상기 타 장치로 하여금 생성하도록 지원한다. 이는 상기 재구축된 특징값의 영상(x, y, d)은 x, y가 서로 다를 수 있으므로 이를 동일하게 p로 만들기 위한 것이다.

그 후, 컴퓨팅 장치(100)는, 제1 재구축 신경망(440)을 통하여, 상기 특징값 영상(380a)에 대한 진단 레이블 데이터(p, q, l)를 재구축하거나 상기 타 장치로 하여금 재구축하도록 지원한다. 제1 재구축 신경망(440)에는 CNN, RNN 등이 적용될 수 있다.

또한, 컴퓨팅 장치(100)는, 제2 재구축 신경망(460)을 통하여, 상기 재구축된 진단 레이블 데이터(p, q, l)로부터 재구축된 전체 진단 레이블 데이터(1, 1, l)를 출력하거나 상기 타 장치로 하여금 출력하도록 지원한다. 제2 재구축 신경망(460)에도 CNN, RNN 등이 적용될 수 있으며, 제2 재구축 신경망은 제1 재구축 신경망(440)과 연결될 수 있다.

다음으로, 컴퓨팅 장치(100)는, 재구축된 진단 레이블 데이터를 입력값으로, 상기 크기 조절된 훈련용 픽셀별 진단 레이블 데이터(42)를 정답으로 하여 상기 제1 재구축 신경망의 제1 손실 함수 값을 산출할 수 있고, 상기 재구축된 전체 진단 레이블 데이터를 입력값으로, 상기 훈련용 전체 진단 레이블 데이터(43)를 정답으로 하여 상기 제2 재구축 신경망의 제2 손실 함수 값을 산출하는 프로세스를 수행하거나 상기 타 장치로 하여금 수행하도록 지원한다.

이 제1 손실 함수 값 및 제2 손실 함수 값 중 적어도 하나를 참조하여, 컴퓨팅 장치(100)는, 상기 제1 재구축 신경망 및 상기 제2 재구축 신경망 중 적어도 하나에 이용된 가중치 및/또는 편향치를 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원한다. 예를 들어, 이 두 손실값, 즉, 제1 손실 함수 값 및 제2 손실 함수 값을 이용하여 합성 손실값을 정할 수 있는데, 일 예시로서, 합성 손실값은 양의 실수 a, b에 대하여 a × 제1 손실 함수 값 + b × 제2 손실 함수 값으로 정해질 수 있다. 레이블 재구축 모듈은 이 합성 손실값이 최소화되는 방향으로 훈련될 수 있고, 필요에 따라서 제1 손실 함수 값이나, 제2 손실 함수 값만 이용되는 경우도 있을 것이다.

특히, 의료 영상은 픽셀별 진단이 어려울 수 있으므로, 부분적으로 진단이 이루어진 경우에는 진단된 부분에 한하여 손실값을 구하도록 계산함으로써 문제를 해결할 수 있을 것이다.

한편, 이와 같이 생성된 진단 맵 및 진단 결과의 활용을 위하여, 본 발명의 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법은, 컴퓨팅 장치(100)가, 상기 진단 맵 및 상기 진단 결과를 외부 엔티티에 제공하거나 상기 타 장치로 하여금 제공하도록 지원하는 단계(S500; 미도시)를 더 포함할 수 있다. 여기에서 외부 엔티티는 전술한 바와 같다.

지금까지의 설명에 의하여 본 발명은 그 모든 실시 예 및 변형례에 걸쳐, 종래의 인공지능 진단 방식의 단점을 해소하여 수용 필드를 넓혀 주변 패치의 영향까지 고려할 수 있는 장점이 있어 궁극적으로 인공지능에 기반한 영상에 관한 판단, 예컨대 의료 영상의 진단에 있어서의 효율성 및 정확성을 향상시킬 수 있는 효과를 가진다는 점이 설명되었는바, 위 실시 예들의 설명에 기초하여 해당 기술분야의 통상의 기술자는, 본 발명의 방법 및/또는 프로세스들, 그리고 그 단계들이 하드웨어, 소프트웨어 또는 특정 용례에 적합한 하드웨어 및 소프트웨어의 임의의 조합으로 실현될 수 있다는 점을 명확하게 이해할 수 있다.

위에서 설명된 기능들 및 프로세스 단계들은 자동으로 수행되거나 전부 또는 일부 사용자 명령(user command)에 대한 응답으로서 수행될 수 있다. 자동으로 수행되는 (단계를 포함하는) 작용(activity)은 상기 작용의 사용자에 의한 직접 개시(direct initiation) 없이 하나 이상의 실행 가능한 명령어들(instructions) 또는 장치 작동(device operation)에 대한 응답으로서 수행된다.

상기 하드웨어는 범용 컴퓨터 및/또는 전용 컴퓨팅 장치 또는 특정 컴퓨팅 장치 또는 특정 컴퓨팅 장치의 특별한 모습 또는 구성요소를 포함할 수 있다. 상기 프로세스들은 내부 및/또는 외부 메모리를 가지는, 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 임베디드 마이크로컨트롤러, 프로그래머블 디지털 신호 프로세서 또는 기타 프로그래머블 장치에 의하여 실현될 수 있다. 게다가, 혹은 대안으로서, 상기 프로세스들은 주문형 집적회로(application specific integrated circuit; ASIC), 프로그래머블 게이트 어레이(programmable gate array), 프로그래머블 어레이 로직(Programmable Array Logic; PAL) 또는 전자 신호들을 처리하기 위해 구성될 수 있는 임의의 다른 장치 또는 장치들의 조합으로 실시될 수 있다. 더욱이 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 기계 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD, Blu-ray와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 전술한 장치들 중 어느 하나뿐만 아니라 프로세서, 프로세서 아키텍처 또는 상이한 하드웨어 및 소프트웨어의 조합들의 이종 조합, 또는 다른 어떤 프로그램 명령어들을 실행할 수 있는 기계 상에서 실행되기 위하여 저장 및 컴파일 또는 인터프리트될 수 있는, C와 같은 구조적 프로그래밍 언어, C++ 같은 객체지향적 프로그래밍 언어 또는 고급 또는 저급 프로그래밍 언어(어셈블리어, 하드웨어 기술 언어들 및 데이터베이스 프로그래밍 언어 및 기술들)를 사용하여 만들어질 수 있는바, 기계어 코드, 바이트코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 이에 포함된다.

따라서 본 발명에 따른 일 태양에서는, 앞서 설명된 방법 및 그 조합들이 하나 이상의 컴퓨팅 장치들에 의하여 수행될 때, 그 방법 및 방법의 조합들이 각 단계들을 수행하는 실행 가능한 코드로서 실시될 수 있다. 다른 일 태양에서는, 상기 방법은 상기 단계들을 수행하는 시스템들로서 실시될 수 있고, 방법들은 장치들에 걸쳐 여러 가지 방법으로 분산되거나 모든 기능들이 하나의 전용, 독립형 장치 또는 다른 하드웨어에 통합될 수 있다. 또 다른 일 태양에서는, 위에서 설명한 프로세스들과 연관된 단계들을 수행하는 수단들은 앞서 설명한 임의의 하드웨어 및/또는 소프트웨어를 포함할 수 있다. 그러한 모든 순차 결합 및 조합들은 본 개시서의 범위 내에 속하도록 의도된 것이다.

예를 들어, 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는, 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 MPU, CPU, GPU, TPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 첨부된 도면들의 시스템 및 프로세스들은 배타적인 것이 아니다. 다른 시스템들, 프로세스들 및 메뉴들이 동일한 목적을 달성하기 위하여 본 발명의 원리에 따라 도출될 수 있다. 비록 본 발명이 특정 실시 예들을 참조하여 설명되었지만, 본 개시서에서 도시되고 설명된 실시 예들 및 변형례들이 설명을 위한 목적만을 가진 것임이 이해될 것이다. 본 발명의 보호범위에서 일탈됨 없이 본 개시서의 설계에 대한 변경물이 통상의 기술자에 의하여 구현될 수 있을 것이다. 본 개시서에서 설명된 바와 같이 다양한 시스템들, 부수 시스템들, 에이전트들(agents), 관리자들(managers) 및 프로세스들이 하드웨어 구성요소, 소프트웨어 구성요소 및/또는 그것들의 조합을 이용하여 구현될 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

그와 같이 균등하게 또는 등가적으로 변형된 것에는, 예컨대 본 발명에 따른 방법을 실시한 것과 동일한 결과를 낼 수 있는, 논리적으로 동치(logically equivalent)인 방법이 포함될 것인바, 본 발명의 진의 및 범위는 전술한 예시들에 의하여 제한되어서는 아니되며, 법률에 의하여 허용 가능한 가장 넓은 의미로 이해되어야 한다.

Claims (7)

1. 심층 신경망 기반 특징 추출을 통하여 진단 맵(diagnosis map)을 재구축하는 방법에 있어서,
   (a) 컴퓨팅 장치의 통신부가, 영상 획득 모듈을 통하여 의료 영상을 획득하거나 상기 컴퓨팅 장치에 연동되는 타 장치로 하여금 획득하도록 지원하는 단계;
   (b) 상기 컴퓨팅 장치의 프로세서가, 영상 특징 추출 모듈을 통하여, 상기 의료 영상으로부터 특징값을 추출하거나 상기 타 장치로 하여금 추출하도록 지원하는 단계;
   (c) 상기 컴퓨팅 장치의 상기 프로세서가, 레이블 재구축 모듈을 통하여, 추출된 상기 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축하거나 상기 타 장치로 하여금 재구축하도록 지원하는 단계; 및
   (d) 상기 컴퓨팅 장치의 상기 프로세서가, 진단 결과 생성 모듈을 통하여, 상기 진단 레이블로부터 진단 맵 및 상기 진단 맵에 결부된 진단 결과를 생성하거나 상기 타 장치로 하여금 생성하도록 지원하는 단계
   를 포함하되,
   상기 레이블 재구축 모듈은,
   (c1) 상기 컴퓨팅 장치의 상기 통신부가, 훈련용 의료 영상으로부터 재구축된 특징값, 상기 훈련용 의료 영상의 크기 조절된 훈련용 픽셀별(pixel-wise) 진단 레이블 데이터 및 상기 훈련용 의료 영상의 훈련용 전체 진단 레이블 데이터를 획득하거나 상기 타 장치로 하여금 획득하도록 지원하는 단계;
   (c2) 상기 컴퓨팅 장치의 상기 프로세서가, 패딩 크롭 모듈(padding-crop module)을 통하여, 상기 재구축된 특징값의 영상을 소정의 크기에 맞도록 바둑판식 배열(tile)함으로써 바둑판식 배열된 특징값 영상을 생성하거나 상기 타 장치로 하여금 생성하도록 지원하는 단계;
   (c3) 상기 컴퓨팅 장치의 상기 프로세서가, 제1 재구축 신경망을 통하여, 상기 특징값 영상에 대한 진단 레이블 데이터를 재구축하거나 상기 타 장치로 하여금 재구축하도록 지원하는 단계;
   (c4) 상기 컴퓨팅 장치의 상기 프로세서가, 제2 재구축 신경망을 통하여, 상기 재구축된 진단 레이블 데이터로부터 재구축된 전체 진단 레이블 데이터를 출력하거나 상기 타 장치로 하여금 출력하도록 지원하는 단계;
   (c5) 상기 컴퓨팅 장치의 상기 프로세서가, (i) 상기 재구축된 진단 레이블 데이터를 입력값으로, 상기 크기 조절된 훈련용 픽셀별 진단 레이블 데이터를 정답으로 하여 상기 제1 재구축 신경망의 제1 손실 함수 값을 산출하는 프로세스, 및 (ii) 상기 재구축된 전체 진단 레이블 데이터를 입력값으로, 상기 훈련용 전체 진단 레이블 데이터를 정답으로 하여 상기 제2 재구축 신경망의 제2 손실 함수 값을 산출하는 프로세스를 수행하거나 상기 타 장치로 하여금 수행하도록 지원하는 단계; 및
   (c6) 상기 컴퓨팅 장치의 상기 프로세서가, 상기 제1 손실 함수 값 및 상기 제2 손실 함수 값 중 적어도 하나에 기초하여, 상기 제1 재구축 신경망 및 상기 제2 재구축 신경망, 또는 상기 제1 재구축 신경망을 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원하는 단계;
   를 수행함으로써 훈련된 것임을 특징으로 하는 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법.
2. 제1항에 있어서,
   상기 영상 특징 추출 모듈은,
   상기 컴퓨팅 장치의 상기 프로세서가,
   (b1) 훈련용 의료 영상 및 상기 훈련용 의료 영상의 픽셀별(pixel-wise) 진단 레이블 데이터를 획득하거나 상기 타 장치로 하여금 획득하도록 지원하는 단계;
   (b2) 패치 생성기를 통하여, 상기 훈련용 의료 영상 및 상기 진단 레이블 데이터 각각으로부터 (i) 다수의 상기 훈련용 의료 영상의 패치 및 (ii) 다수의 상기 진단 레이블 데이터의 패치 또는 다수의 상기 진단 레이블 데이터의 축소된 차원의 진단값을 생성하거나 상기 타 장치로 하여금 생성하도록 지원하는 단계;
   (b3) (i) 상기 다수의 상기 훈련용 의료 영상의 패치를 입력값으로, (ii) 상기 다수의 상기 진단 레이블 데이터의 패치 또는 상기 다수의 상기 진단 레이블 데이터의 상기 축소된 차원의 진단값을 정답으로 하여 상기 영상 특징 추출 모듈의 손실 함수 값을 산출하거나 상기 타 장치로 하여금 산출하도록 지원하는 단계; 및
   (b4) 상기 손실 함수 값을 참조하여 상기 영상 특징 추출 모듈을 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원하는 단계;
   를 수행함으로써 훈련된 것임을 특징으로 하는 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법.
3. 제1항에 있어서,
   상기 영상 특징 추출 모듈은,
   상기 컴퓨팅 장치의 상기 프로세서가,
   (b1') 훈련용 의료 영상을 획득하거나 상기 타 장치로 하여금 획득하도록 지원하는 단계;
   (b2') 패치 생성기를 통하여, 상기 훈련용 의료 영상으로부터 다수의 상기 훈련용 의료 영상의 패치를 생성하거나 상기 타 장치로 하여금 생성하도록 지원하는 단계;
   (b3') 상기 다수의 상기 훈련용 의료 영상의 패치 각각을 이용하여 상기 영상 특징 추출 모듈의 특징값을 산출하거나 상기 타 장치로 하여금 산출하도록 지원하는 단계;
   (b4') 패치 복원 모듈을 통하여, 산출된 특징값으로부터 상기 패치를 복원하여 복원된 패치를 생성하거나 상기 타 장치로 하여금 상기 패치를 복원하여 상기 복원된 패치를 생성하도록 지원하는 단계;
   (b5') 상기 훈련용 의료 영상의 패치와 상기 복원된 패치 각각이 상이함에 기초한 손실 함수 값을 산출하거나 상기 타 장치로 하여금 산출하도록 지원하는 단계; 및
   (b6') 상기 손실 함수 값을 참조하여 상기 영상 특징 추출 모듈을 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원하는 단계;
   를 수행함으로써 훈련된 것임을 특징으로 하는 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법.
   
4. 삭제
5. 제1항에 있어서,
   (e) 상기 컴퓨팅 장치의 상기 통신부가, 출력 모듈을 통하여 상기 진단 맵 및 상기 진단 결과를 외부 엔티티에 제공하거나 상기 타 장치로 하여금 제공하도록 지원하는 단계
   를 더 포함하는 심층 신경망 기반 특징 추출 및 진단 맵 재구축 방법.
6. 컴퓨팅 장치로 하여금, 제1항 내지 제3항 및 제5항 중 어느 한 항의 방법을 수행하도록 구현된 명령어(instructions)를 포함하는, 기계 판독 가능한 비일시적 기록 매체에 저장된, 컴퓨터 프로그램.
7. 심층 신경망 기반 특징 추출을 통하여 진단 맵(diagnosis map)을 재구축하는 장치에 있어서,
   의료 영상을 획득하는 영상 획득 모듈을 구현하는 통신부;
   (i) 상기 의료 영상으로부터 특징값을 추출하는 영상 특징 추출 모듈을 구현하는 프로세스, (ii) 상기 추출된 상기 특징값으로부터 상기 의료 영상에 대한 진단 레이블을 재구축하는 레이블 재구축 모듈을 구현하는 프로세스, 및 (iii) 상기 진단 레이블로부터 진단 맵 및 상기 진단 맵에 결부된 진단 결과를 생성하는 진단 결과 생성 모듈을 구현하는 프로세스를 수행하거나 상기 통신부를 통하여 연동되는 타 장치로 하여금 수행하도록 지원하는 프로세서
   를 포함하되,
   상기 레이블 재구축 모듈은, 훈련용 의료 영상으로부터 재구축된 특징값, 상기 훈련용 의료 영상의 크기 조절된 훈련용 픽셀별(pixel-wise) 진단 레이블 데이터 및 상기 훈련용 의료 영상의 훈련용 전체 진단 레이블 데이터를 획득하거나 상기 타 장치로 하여금 획득하도록 지원하는 단계; 패딩 크롭 모듈(padding-crop module)을 통하여, 상기 재구축된 특징값의 영상을 소정의 크기에 맞도록 바둑판식 배열(tile)함으로써 바둑판식 배열된 특징값 영상을 생성하거나 상기 타 장치로 하여금 생성하도록 지원하는 단계; 제1 재구축 신경망을 통하여, 상기 특징값 영상에 대한 진단 레이블 데이터를 재구축하거나 상기 타 장치로 하여금 재구축하도록 지원하는 단계; 제2 재구축 신경망을 통하여, 상기 재구축된 진단 레이블 데이터로부터 재구축된 전체 진단 레이블 데이터를 출력하거나 상기 타 장치로 하여금 출력하도록 지원하는 단계; (a) 상기 재구축된 진단 레이블 데이터를 입력값으로, 상기 크기 조절된 훈련용 픽셀별 진단 레이블 데이터를 정답으로 하여 상기 제1 재구축 신경망의 제1 손실 함수 값을 산출하는 프로세스, 및 (b) 상기 재구축된 전체 진단 레이블 데이터를 입력값으로, 상기 훈련용 전체 진단 레이블 데이터를 정답으로 하여 상기 제2 재구축 신경망의 제2 손실 함수 값을 산출하는 프로세스를 수행하거나 상기 타 장치로 하여금 수행하도록 지원하는 단계; 및 상기 제1 손실 함수 값 및 상기 제2 손실 함수 값 중 적어도 하나에 기초하여, 상기 제1 재구축 신경망 및 상기 제2 재구축 신경망, 또는 상기 제1 재구축 신경망을 갱신하거나 상기 타 장치로 하여금 갱신하도록 지원하는 단계의 수행으로써 훈련된 것임을 특징으로 하는 심층 신경망 기반 특징 추출 및 진단 맵 재구축 장치.

Images