KR20200091145A

KR20200091145A - 유방 종괴 특성에 따른 시각적 증거 해석 방법 및 그 시스템

Info

Publication number: KR20200091145A
Application number: KR1020190008006A
Authority: KR
Inventors: 노용만; 김성태; 이재혁
Original assignee: 한국과학기술원
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2020-07-30
Also published as: KR102216279B1

Abstract

본 발명은 딥 네트워크를 이용하여 유방 종괴의 모양(shape) 및 경계(margin)에 대한 시각적 증거를 해석하는 방법 및 그 시스템에 관한 것으로, 타겟 종괴 특성을 인코딩하는 단계, 상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 단계 및 상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 단계를 포함한다.

Description

유방 종괴 특성에 따른 시각적 증거 해석 방법 및 그 시스템{METHOD FOR INTERPRETATING VISUAL EVIDENCE ACCORDING TO BREAST MASS CHARACTERISTICS AND THE SYSTEM THEREOF}

본 발명은 유방 종괴 특성에 따른 시각적 증거 해석 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 딥 네트워크를 이용하여 유방 종괴의 모양(shape) 및 경계(margin)에 대한 시각적 증거를 해석하는 방법 및 시스템에 관한 것이다.

여성들에게 유방 종양은 피부 종양 다음으로 두 번째인 종양 유형이지만, 사망자 수와 관련해서는 첫 번째인 종양 유형이다.

특히 불안한 현상은 종양이 발생하는 평균 연령이 지속적으로 낮아지고 있다는 것과, 현재의 검진(screening) 도구는 폐경 전 연령인 여성의 특징이자 일반적으로 건강 상태가 양호한 여성의 특징인 고밀도 유방을 진단하는데에는 불충분하다는 것이다. 사실, 유방조영술(mammography)은 고밀도 유방의 경우에는 신뢰도가 충분하지 않다. 검사되어야 하는 주의 영역에 ‘사전겨냥(pre-directed)’되지 않는다면 비효율적일 수 있다. 예컨대 MRI, CT, PET와 같이, 기능적 정보를 제공하거나 고밀도 유방을 진단할 수 있는 현재의 시스템들은 매우 고가이므로, 검진 또는 대량 진단(mass diagnostic)에는 적합하지 않으며, 침습적(invasive)이어서 단기간에 반복될 수 없다.

일반적인 맥락에서, 오늘날의 진단 경로는 항상, 음성인지 명확하지 않은 각각의 1차 진단의 초음파 다운스트림의 사용을 포함한다. 이는, 오늘날의 1차 진단 방법이 병변의 악성 또는 양성을 진단하기에 충분한 민감도와 정확한 위치를 찾기에 충분한 특수성을 갖고 있지 않기 때문이다.

최근 연구들은 의료 영상 분석의 결과를 향상시키기 위해 딥 러닝 기술을 사용하고 있으며, 딥 러닝 기술이 의료 영상 분석에 좋은 성능을 얻을 수 있다고 보고하고 있다.

다만, 딥 러닝 기술은 영상 인식과 의료 영상 분석과 같은 다양한 범위의 영상 분석 응용 분야에서 큰 성공을 거두었으나, 실제로 딥 러닝 기술을 적용하는 데에는 한계가 존재한다.

주된 이유로는 딥 러닝의 블랙박스 특성(Black-box nature)이다. 딥 네트워크의 블랙박스 특성은 컴퓨터자동진단시스템(computer-aided diagnosis; CADx)에서 딥 러닝의 신뢰성을 증가시키기 위해 해결되어야 하는 핵심적인 한계이다. 그러나, 컴퓨터자동진단시스템의 딥 네트워크의 임상 결정을 해석하기 위해 수행된 연구는 매우 적으며, 기존의 딥 러닝 기술을 적용한 일 실시예 기술은 블랙박스 특성에 의해 임상 결정을 해석하는 데에 제한적인 문제점이 있다.

본 발명은 타겟 종괴 특성에 대한 시각적 해석법을 모양 특성 및 경계 특성으로 분해하여 딥 네트워크의 해석이 가능한 시각적 증거를 제공할 수 있는 방법 및 시스템을 제공하고자 한다.

또한, 본 발명은 종괴의 모양 및 경계에 관련된 영역을 표시하는 모양 특성 및 경계 특성의 해석 네트워크(interpretationlet)를 사용하여 공간적 특성을 개선함으로써, 딥 네트워크의 임상적 정확도를 향상시킬 수 있는 방법 및 시스템을 제공하고자 한다.

본 발명의 일 실시예에 따른 종괴 특성에 따른 시각적 증거 해석 방법은 타겟 종괴 특성을 인코딩하는 단계, 상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 단계 및 상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 단계를 포함한다.

상기 인코딩하는 단계는 상기 타겟 종괴에 대한 관심 영역(region-of-interest; ROI) 이미지의 종괴 특성을 인코딩할 수 있다.

상기 생성하는 단계는 상기 인코딩된 타겟 종괴 특성을 입력으로 하는 시각적 해석 네트워크(visual interpretation network)를 이용하여 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성 각각의 종괴 이미지를 생성할 수 있다.

상기 측정하는 단계는 상기 모양 특성의 종괴 이미지와 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크(shape guide networks)를 이용하여 상기 타겟 종괴에 대한 모양 관련성 점수(shape relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 단계 및 상기 경계 특성의 종괴 이미지와 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크(margin guide networks)를 이용하여 상기 타겟 종괴에 대한 경계 관련성 점수(margin relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 단계를 포함할 수 있다.

상기 유도 네트워크는 상기 종괴 이미지를 인코딩한 인코딩된 종괴 이미지와 상기 모양 특성 또는 상기 경계 특성에 대한 임베딩(embedding)된 설명 정보를 입력으로 연산하여 관련성 점수(relevance score)를 출력하도록 구성될 수 있다.

또한, 본 발명의 일 실시예에 따른 종괴 특성에 따른 시각적 증거 해석 방법은 상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 단계를 더 포함할 수 있다.

상기 검증하는 단계는 모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병한 상기 합병된 종괴 이미지와 상기 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하는 진단 네트워크(diagnosis network)를 이용하여 상기 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증할 수 있다.

상기 검증하는 단계는 상기 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 상기 타겟 종괴에 대한 상기 모양 특성 및 상기 경계 특성을 습득할 수 있다.

상기 딥 네트워크는 공간 특성 맵에 대한 유도 정보(guided information)에 따라 관심 영역(region-of-interest; ROI)을 나타내는 타겟 종괴 특성을 인코딩하여 상기 인코딩된 타겟 종괴 특성을 획득하고, 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성의 상기 종괴 이미지를 생성하며, 상기 생성된 종괴 이미지와 상기 종괴 특성 샘플로 측정되는 시각적 증거로 인한 공간 특성을 개선하는 과정을 통해 학습되는 것일 수 있다.

본 발명의 다른 실시예에 따른 종괴 특성에 따른 시각적 증거 해석 방법은 타겟 종괴 특성을 인코딩하는 단계, 상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 단계, 상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 단계 및 상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 단계를 포함한다.

본 발명의 일 실시예에 따른 종괴 특성에 따른 시각적 증거 해석 시스템은 타겟 종괴 특성을 인코딩하는 인코딩부, 상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 시각적 해석부 및 상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 측정부를 포함한다.

상기 인코딩부는 상기 타겟 종괴에 대한 관심 영역(region-of-interest; ROI) 이미지의 종괴 특성을 인코딩할 수 있다.

상기 시각적 해석부는 상기 인코딩된 타겟 종괴 특성을 입력으로 하여 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성 각각의 종괴 이미지를 생성할 수 있다.

상기 측정부는 상기 모양 특성의 종괴 이미지와 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크(guide networks)를 이용하여 상기 타겟 종괴에 대한 모양 관련성 점수(shape relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 모양 측정부 및 상기 경계 특성의 종괴 이미지와 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크(guide networks)를 이용하여 상기 타겟 종괴에 대한 경계 관련성 점수(margin relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 경계 측정부를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 종괴 특성에 따른 시각적 증거 해석 시스템은 상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 검증부를 더 포함할 수 있다.

상기 검증부는 모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병한 상기 합병된 종괴 이미지와 상기 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하는 진단 네트워크(diagnosis network)를 이용하여 상기 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증할 수 있다.

상기 검증부는 상기 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 상기 타겟 종괴에 대한 상기 모양 특성 및 상기 경계 특성을 습득할 수 있다.

본 발명의 다른 실시예에 따른 종괴 특성에 따른 시각적 증거 해석 시스템은 타겟 종괴 특성을 인코딩하는 인코딩부, 상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 시각적 해석부, 상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 측정부 및 상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 검증부를 포함한다.

본 발명의 실시예에 따르면, 타겟 종괴 특성에 대한 시각적 해석법을 모양 특성 및 경계 특성으로 분해하여 딥 네트워크의 해석이 가능한 시각적 증거를 제공할 수 있다.

또한, 본 발명의 실시예에 따르면, 종괴의 모양 및 경계에 관련된 영역을 표시하는 모양 특성 및 경계 특성의 해석 네트워크(interpretationlet network)를 사용하여 공간적 특성을 개선함으로써, 딥 네트워크의 임상적 정확도를 향상시킬 수 있다.

또한, 본 발명의 실시예에 따르면, 제안하는 해석 네트워크(interpretationlet network)가 임상적 결정이 정확할 때, 이에 대한 적절한 시각적 증거를 제공할 수 있다.

도 1a 및 도 1b는 본 발명의 일 실시예에 따른 시각적 증거 해석 방법에 대한 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 딥 네트워크의 임상 결정을 위한 시각적 증거의 예를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 해석 네트워크에 대한 개념적인 구조를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 유도 네트워크에 대한 개념적인 구조를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 검증 네트워크에 대한 개념적인 구조를 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 시각적 증거 해석 시스템의 세부 구성을 블록도로 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 측정부의 세부 구성을 블록도로 도시한 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명의 실시예들은, 딥 네트워크를 이용하여 유방 종괴의 모양(shape) 및 경계(margin)에 대한 시각적 증거를 해석하는 것을 그 요지로 한다.

본 발명에 따른 기술은 컴퓨터자동진단시스템(computer-aided diagnosis, CADx)의 임상 결정을 시각적으로 해석하기 위해 해석 네트워크(interpretationlet network)라 하는 새로운 심층 네트워크를 제안한다. 즉, 본 발명은 관심 영역(region-of-interest; ROI) 이미지의 중요한 영역을 표시하고, 시각적 해석법을 경계 특성 및 모양 특성으로 분해하여 딥 네트워크의 해석 가능한 시각적 증거(visual evidence)를 제공할 수 있다. 또한, 본 발명의 실시예에 따른 해석 네트워크(interpretationlet network)는 임상적 성능을 달성하며, 임상적 결정이 옳지 않을 때에도 합리적인 시각적 증거를 제공할 수 있다. 이로 인해, 본 발명의 일 실시예에 따른 해석 네트워크는 해석 가능한 컴퓨터자동진단시스템(CADx)을 개발하는 데 유망한 접근법이 될 수 있다.

이러한 본 발명에 대해 도 1a 내지 도 7을 참조하여 설명하면 다음과 같다.

도 1a 및 도 1b는 본 발명의 일 실시예에 따른 시각적 증거 해석 방법에 대한 동작 흐름도를 도시한 것으로, 예를 들어 도 1b는 본 발명의 일 실시예에 따른 시각적 증거 해석 방법의 전체 프레임워크를 나타낸 것이다.

도 1a 및 도 1b를 참조하면, 본 발명의 일 실시예에 따른 방법은 타겟 종괴 특성을 인코딩한다(단계 110).

단계 110에서 인코딩부는 입력 이미지(seed image) 예를 들어, 유방 종괴로 의심되는 타겟 종괴에 대한 관심 영역(region-of-interest; ROI) 이미지의 종괴 특성을 인코딩할 수 있다.

예를 들면, 인코딩부는 유방 영상 보고 데이터 시스템(BIRADS; Breast Imaging-Reporting and Data System)의 공간 특성 맵에 대한 유도 정보(guided information)에 따라 중요 영역 즉, 관심 영역을 보여주는 관심 영역 이미지의 종괴 특성을 인코딩할 수 있다.

단계 110에 의해 인코딩된 타겟 종괴 특성에 대응하는 모양(shape) 특성 및 경계(margin) 특성의 종괴 이미지를 생성한다(단계 120).

단계 120에서 시각적 해석부는 인코딩부에 의해 인코딩된 타겟 종괴 특성을 입력으로 하는 시각적 해석 네트워크(visual interpretation network)를 이용하여 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성 각각의 종괴 이미지를 분리하여 생성할 수 있다. 더욱이, 시각적 해석부는 타겟 종괴 특성에 대한 모양 특성 및 경계 특성의 공간 특성을 강조하여 개선된 시각적 특성을 제공할 수 있다.

단계 120에 의해 생성된 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정한다(단계 130).

단계 130에서 측정부는 모양 특성의 종괴 이미지와 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크(guide networks)를 이용하여 타겟 종괴에 대한 모양 관련성 점수(shape relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하고, 경계 특성의 종괴 이미지와 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크(guide networks)를 이용하여 타겟 종괴에 대한 경계 관련성 점수(margin relevance score)를 산출하여 시각적 증거(visual evidence)를 측정할 수 있다.

이 때, 상기 유도 네트워크는 종괴 이미지를 인코딩한 인코딩된 종괴 이미지와 모양 특성 또는 경계 특성에 대한 임베딩(embedding)된 설명 정보를 입력으로 연산하여 관련성 점수(relevance score)를 출력할 수 있으며, 관련도가 높을수록 높은 점수로 계산할 수 있다.

일 예로, 모양 측정부는 모양 특성의 종괴 이미지와 불규칙한 모양(Irregular)의 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크를 이용하여 임상 결정을 시각적 증거로 해석하기 위해 제공할 수 있다. 단계 130에서 측정부는 모양 특성의 종괴 이미지를 시각적 특성 인코더를 통해 인코딩하고, 모양 특성 샘플의 설명에 대해 설명 임베딩에 기초하여 임베딩 특성을 출력하며, 미리 학습된 모양 유도 네트워크에 기초하여 정제 이미지 특성 및 임베딩 특성에 의한 관련 점수를 산출할 수 있다. 이 때, 상기 정제 이미지 특성은 본 발명의 일 실시예에 따른 인코딩부에 의해 정제된 입력 이미지를 시각적 특성 인코더를 통해 인코딩한 정제 이미지에 대한 이미지 특성일 수 있다.

다른 예로, 경계 측정부는 경계 특성의 종괴 이미지와 침상 경계(Spiculate)의 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크를 이용하여 임상 결정을 시각적 증거로 해석하기 위해 제공할 수 있다. 단계 130에서 측정부는 경계 특성의 종괴 이미지를 시각적 특성 인코더를 통해 인코딩하고, 경계 특성 샘플의 설명에 대해 설명 임베딩에 기초하여 임베딩 특성을 출력하며, 미리 학습된 경계 유도 네트워크에 기초하여 정제 이미지 특성 및 임베딩 특성에 의한 관련 점수를 산출할 수 있다. 이 때, 상기 정제 이미지 특성은 본 발명의 일 실시예에 따른 인코딩부에 의해 정제된 입력 이미지를 시각적 특성 인코더를 통해 인코딩한 정제 이미지에 대한 이미지 특성일 수 있다.

그리고, 종괴 이미지, 병변 특성 샘플에 기초한 유도 네트워크(모양 유도 네트워크 및 경계 유도 네트워크)를 이용하여 관련 점수를 계산하고, 시각적 증거 측정 과정과 공간 특성 개선 과정을 업데이트함으로써, 본 발명의 딥 네트워크에 대한 트레이닝 과정을 반복하여 이를 통해 딥 네트워크를 학습할 수 있다.

본 발명에 따라 임상적 결정을 위해 세부적인 수준의 시각적 해석을 제공하는 딥 네트워크인 해석 네트워크는 영상 해석 능력을 증가시키기 위해, 종괴의 모양 및 종괴의 경계(또는 종괴 어휘집(mass lexicon)이라 함)에 따라 시각적 증거를 분해한다. 이 때, 종괴 어휘는 유방 종괴의 특성을 기록하기 위하여 주로 사용된다.

도 2를 참조하면, 분해된 종괴의 모양 특성 및 경계 특성의 예시를 보여준다.

도 2는 본 발명의 일 실시예에 따른 딥 네트워크의 임상 결정을 위한 시각적 증거의 예를 도시한 것이다.

보다 구체적으로, 도 2(a)는 원본의 관심 영역 이미지를 나타낸 것이고, 도 2(b)는 클래스 활성화 맵 방법(class activation map method)를 통해 시각화된 이미지를 나타낸 것이며, 도 2(c) 및 도 2(d)는 본 발명에서 제안하는 모양 특성 및 경계 특성의 종괴 이미지를 나타낸 것이다.

도 2를 참조하면, 모양 특성 및 경계 특성의 시각화를 위해, 클래스 활성화 맵과 종괴 이미지는 [0, 1]로 정규화되며, 관심 영역(region-of-interest; ROI) 이미지와 중첩될 수 있다.

나아가, 본 발명의 딥 네트워크인 해석 네트워크가 임상적 결정이 정확할 때, 적절한 시각적 증거를 제공할 수 있음을 알 수 있다. 반면에, 딥 네트워크가 오류 결정을 내리는 경우, 해석 네트워크는 종괴가 없는 영역을 표시할 수도 있다.

본 발명은 종괴 어휘집과 관련된 영역을 표시하는 모양 특성 및 경계 특성의 종괴 이미지를 사용하여 공간적 특성을 개선함으로써, 딥 네트워크의 임상적 정확도를 향상시킬 수 있다.

다시 도 1a 및 도 1b를 참조하면, 본 발명의 다른 실시예에 따른 방법은 인코딩된 타겟 종괴 특성과 합병된 종괴 이미지를 이용하여 임상 결정을 검증한다(단계 140).

단계 140에서 검증부는 단계 120에 의해 추출된 모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병(merge)한 합병된 종괴 이미지와, 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하는 진단 네트워크(diagnosis network)를 이용하여 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증할 수 있다.

단계 140은 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 타겟 종괴에 대한 모양 특성 및 경계 특성을 습득할 수 있다. 다시 말하면, 단계 140에서, 진단 네트워크는 임상 결정(diagnostic decision), 경계(margin) 특성 및 모양(shape) 특성 세 가지를 출력할 수 있다.

본 발명의 일 실시예에 따른 방법에서, 상기 딥 네트워크는 공간 특성 맵에 대한 유도 정보(guided information)에 따라 관심 영역(region-of-interest; ROI)을 나타내는 타겟 종괴 특성을 인코딩하여 인코딩된 타겟 종괴 특성을 획득하고, 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하며, 생성된 종괴 이미지와 종괴 특성 샘플로 측정되는 시각적 증거로 인한 공간 특성을 개선하는 과정을 통해 학습되는 것일 수 있다.

도 3은 본 발명의 일 실시예에 따른 해석 네트워크에 대한 개념적인 구조를 도시한 것이다.

도 3에 도시된 바와 같이, 해석 네트워크(interpretationlet network)는 공간 특성 인코딩부(또는 공간 특성 인코더), 모양 특성 및 경계 특성을 구분하는 시각적 해석 네트워크의 시각적 해석부, 진단 네트워크의 검증부, 및 유도 네트워크의 측정부로 구성된다.

예를 들어, 시각적 해석 네트워크는 인코딩된 타겟 종괴 특성을 입력으로 하여 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성 각각의 종괴 이미지를 생성하도록 구성된다. 또한, 유도 네트워크는 모양 특성 또는 경계 특성의 종괴 이미지와 모양 특성 샘플 또는 경계 특성 샘플을 입력으로 하여 타겟 종괴에 대한 관련성 점수를 산출하여 시각적 증거를 측정하도록 구성된다. 또한, 진단 네트워크는 모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병한 합병된 종괴 이미지와 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하여 타겟 종괴에 대한 악성 또는 양성의 임상 결정을 검증하도록 구성된다.

도 4는 본 발명의 일 실시예에 따른 유도 네트워크에 대한 개념적인 구조를 도시한 것이다.

도 4는 모양 유도 네트워크의 세부적인 구조를 나타내고 있으나, 경계 유도 네트워크 또한 모양 유도 네트워크와 동일한 구조로 설계된다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 모양 측정부는 시각적 특성 인코더 및 설명 임베딩을 포함하며, 시각적 해석부에 의해 생성된 모양 특성의 종괴 이미지를 시각적 특성 인코더(visual feature encoder)를 통해 인코딩하고, 모양 특성 샘플(예를 들면, 불규칙한 모양(Irregular))의 설명에 따른 설명 임베딩 계층(description embedding layer)에 기초하여 임베딩 특성을 출력하며, 관련 수치 측정부(relevance score estimator)에 기초하여 정제 이미지 특성 및 임베딩 특성에 의한 모양 관련성 점수(shape relevance score)를 산출할 수 있다. 이 때, 모양 관련성 점수는 관련도가 높을수록 높은 점수로 계산할 수 있다.

여기서, 상기 정제 이미지 특성은 본 발명의 일 실시예에 따른 인코딩부에 의해 정제된 입력 이미지를 시각적 특성 인코더를 통해 인코딩한 정제 이미지에 대한 이미지 특성일 수 있다.

도 5는 본 발명의 일 실시예에 따른 검증 네트워크에 대한 개념적인 구조를 도시한 것이다.

도 5를 참조하면, 본 발명의 일 실시예에 따른 검증부는 인코딩부에 의해 인코딩된 타겟 종괴 특성과 시각적 해석부에 의해 분리되어 생성된 모양 특성의 종괴 이미지 및 경계 특성의 종괴 이미지를 합병한 합병된 종괴 이미지를 입력으로 하여 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증할 수 있다.

나아가, 검증부는 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 타겟 종괴에 대한 모양 특성 및 경계 특성을 습득할 수도 있다.

이하에서는 본 발명의 일 실시예에 따른 시각적 해석 진단 네트워크, 유도 네트워크 및 검증 네트워크에 대해 설명한다.

시각적 해석 진단 네트워크

시각적 해석 진단 네트워크는 인코딩부(encoder), 시각적 해석부(visual interpreter) 및 진단부(diagnosis network)를 포함한다.

시각적 해석 진단 네트워크는 인코딩부 예를 들어, 인코더를 사용하여 공간 특성 맵에 대한 유도 정보(guided information)에 따라 중요 영역을 나타내는 관심 영역(region-of-interest; ROI) 이미지를 인코딩한다. 여기서, 인코딩부는 하기의 [수학식 1]에 의해 인코딩한다.

[수학식 1]

여기서,

은 공간 특성 맵을 나타내고,

은 원본 영상(seed image)를 나타낸다. 또한,

는 학습 가능 파라미터

를 포함하는 공간 특성 인코더에 대한 함수를 나타낸다.

본 발명에 따른 타겟 종괴 특성은 하기의 [수학식 2] 및 [수학식 3]과 같이 공간 특성 맵으로부터 인코딩된다.

[수학식 2]

[수학식 3]

여기서,

및

는 각각 경계 특성(margin interpretationlet)과 모양 특성(shape interpretationlet)을 나타낸다. 또한,

및

는 각각 학습 가능 파라미터

및

를 포함하며, 경계 특성과 모양 특성을 인코딩하는 함수를 나타낸다.

시각적 해석 네트워크에 의해 경계 특성 및 모양 특성은 시그모이드(sigmoid) 활성화를 나타내는 순차적인 합성곱 계층을 통해 공간 특성들의 집합으로부터 인코딩된다. 경계 특성과 모양 특성에서 획득되는 중요 영역들은 하기의 [수학식 4]와 같이 공간 특성을 강조하기 위해 활용된다.

[수학식 4]

여기서,

은 경계 특성 및 모양 특성에 의해 개선된 시각적 특성을 나타내고,

은 원소 단위의 곱셈 연산을 나타낸다.

본 발명의 일 실시예에 따른 임상 결정은 하기의 [수학식 5]와 같이 개선된 시각적 특성을 처리함으로써 결정된다.

[수학식 5]

여기서,

는 예측되는 임상 결정(악성 또는 양성)을 나타내며,

는 학습 가능 파라미터

를 포함하는 진단 네트워크를 위한 함수를 나타낸다.

모양 특성 및 경계 특성의 두 가지 특성을 사용함으로써, 공간 특성 맵은 진단 네트워크가 더 정확한 임상 결정을 내리도록 돕기 위하여 개선될 수 있다. 또한, 본 발명은 모양 특성 및 경계 특성을 분석함으로써, 딥 네트워크가 대응하는 공간 특성 맵 상의 더 많은 정보를 이용하는 영역을 시각화할 수 있다.

유도 네트워크

시각적 특성 인코더(visual feature encoder), 설명 임베딩 계층(description embedding layer) 및 관련 수치 측정부(relevance score estimator)로 구성된 모양 유도 네트워크(shape guide network)의 세부적인 구조는 도 4에 도시된다.

모양 유도 네트워크의 입력으로 모양 특성 및 모양 설명(shape description 또는 종괴 어휘집(mass lexicon))이 사용된다. 모양 특성을 위한 모양 유도 네트워크에서, 모양 관련 수치(

)는 모양 특성과 모양 설명을 고려하여 하기의 [수학식 6]과 같이 산출된다.

[수학식 6]

여기서,

는 학습 가능 파라미터

를 포함하는 모양 특성을 위한 모양 유도 네트워크를 나타내며,

는 모양 설명(shape description)을 나타낸다. 세부적으로, 시각적 특성은 미리 사전 학습된 VGG 네트워크를 사용하여 하기의 [수학식 7]과 같이 모양 특성에서 추출된다.

[수학식 7]

여기서,

는 시각적 특성 추출 및 파라미터

을 위한 함수를 나타낸다. 출력이 pool5 계층 및 완전 연결 계층 이후의 특성 맵인 사전 학습 VGG-네트워크가 시각적 특성 추출부(visual feature extractor)로 사용될 수 있다. 의미론적으로(semantically) 의미있는 특징을 갖도록 모양 설명을 인코딩하기 위해서, 모양 설명(shape description,

)은 하기의 [수학식 8]과 같이 사용된다.

[수학식 8]

여기서,

는 모양 임베딩 특성(shape embedded features)를 나타낸다. 또한,

는 학습 가능 파라미터

를 포함하는 임베딩 함수를 나타낸다.

임베딩을 위해, 모양 설명은 사전 학습된 단어 임베딩 모델(word embedding model)을 통해 단어 벡터로 변환되며, 완전 연결 계층에 의해 처리된다. 모양 임베딩 특성과 모양 특성의 시각적 특성 간의 차이에 의해 모양 관련 수치(

)는 하기의 [수학식 9]를 통해 산출된다.

[수학식 9]

여기서,

은 관련 수치를 계산하며 학습 가능 파라미터

를 포함하는 관련 수치 측정부(relevance score estimator)를 나타낸다. 이로 인하여, 모양 관련 수치(

)는 모양 임베딩 특성과 모양 특성의 시각적 특성 간의 관련도를 나타낼 수 있다.

시그모이드 활성(sigmoid activation)은 마지막 완전 연결 계층에서 수행되어 출력이 [0, 1] 범위를 갖도록 형성될 수 있다.

경계 유도 네트워크(margin guide network)는 설명한 모양 유도 네트워크와 동일한 구조로 설계되며, 마찬가지로 경계 관련 수치(

)는 하기의 [수학식 10]과 같이 경계 특성과 경계 설명(margin description)에 의해 산출된다.

[수학식 10]

여기서,

는 학습 가능 파라미터

를 포함하는 경계 특성을 위한 경계 유도 네트워크를 나타내며,

는 경계 설명(margin description)을 나타낸다.

검증 네트워크

해석 네트워크(interpretationlet)를 학습하는 핵심 목적은 보다 정확한 임상 결정과 시각적 증거를 제공하기 위함이다. 이러한 목적을 위해, 본 발명의 일 실시예에 따른 해석 네트워크는 진단 손실(diagnosis loss) 및 해석 손실(interpretation loss)에 대해 고안하였다.

진단 손실(

)은 하기의 [수학식 11]과 같이 정의된다.

[수학식 11]

여기서,

는 영상(

)에 대한 실측 자료(ground truth)를 나타내며,

는 개선된 공간 특성(

)에 대한 진단 네트워크(

)의 출력 확률을 나타낸다.

본 발명의 일 실시예에 따른 해석 네트워크는 보다 정확한 임상 결정을 위해 진단 손실(

)을 최소화하여 학습될 수 있다. 나아가, 본 발명의 일 실시예에 따른 시각적 해석부(visual interpreter) 및 인코더(encoder) 또한 의미있는 시각적 증거를 제공하기 위하여 학습될 수 있다.

이로 인한, 해석 손실(interpretation loss)은 하기의 [수학식 12]에 의해 정의된다.

[수학식 12]

여기서,

및

는 각각 모양 특성 및 경계 특성에 대한 해석 손실을 나타낸다. 이 때, 각 해석 손실은 하기의 [수학식 13] 및 [수학식 14]과 같이 정의된다.

[수학식 13]

[수학식 14]

여기서,

,

및

는 각각 매칭 모양 설명(matching shape description), 미스매칭 모양 설명(mismatching shape description), 매칭 경계 설명(matching margin description) 및 미스매칭 경계 설명(mismatching margin description)을 나타낸다.

이 때, 미스매칭 설명(

및

)은 분포(

)에서 무작위로 샘플링될 수 있다. 일 예로, ‘둥근 모양(round shape)’을 가지는 샘플이라면, 타원(oval) 모양, 소엽(lobulated) 모양 또는 불규칙(irregular) 모양으로부터 미스매칭 모양 설명(

)이 샘플링될 수 있다. 다른 예로, ‘경계형(circumscribed) 경계’를 가지는 샘플이라면, 모호한(obscured) 경계, 불분명(ill-defined) 경계, 미세소엽(microlobutated) 경계 또는 침상(spiculated) 경계로부터 미스매칭 경계 설명(

)이 샘플링될 수 있다.

딥 네트워크는 모양 특성에 대한 해석 손실(

)을 최소화함으로써, 모양 설명과 관련된 모양 특성을 인코딩하도록 학습된다. 동일한 방법으로, 딥 네트워크는 경계 특성에 대한 해석 손실(

)을 최소화함으로써, 경계 설명과 관련된 경계 특성을 인코딩하도록 학습된다.

경계 특성의 경우, 희소성 페널티(sparsity penalty,

)가 추가되어 경계 특성이 성기게 되도록(be sparse)할 수 있다. 나아가,

는 희소성 페널티의 중요도를 결정하는 하이퍼 파라미터(hyper-parameter)를 나타낸다.

결과적으로, 전체적인 해석 네트워크는 하기의 [수학식 15]와 같은 손실 함수를 최소함으로써 학습된다.

[수학식 15]

여기서,

는 진단 손실과 해석 손실 간의 균형을 유지하기 위한 균형 하이퍼 파라미터(balancing hyper-parameter)를 나타낸다.

전술한 바에 따라, 본 발명의 일 실시예에 따른 딥 네트워크인 해석 네트워크는 경계 설명과 경계 특성의 관련성 증가, 모양 설명과 모양 특성의 관련성 증가 및 진단 오류의 최소화를 최적화하도록 학습되는 것을 특징으로 한다.

도 6은 본 발명의 일 실시예에 따른 시각적 증거 해석 시스템의 세부 구성을 블록도로 도시한 것이고, 도 7은 본 발명의 일 실시예에 따른 측정부의 세부 구성을 블록도로 도시한 것이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른 시스템은 딥 네트워크를 이용하여 유방 종괴의 모양(shape) 및 경계(margin)에 대한 시각적 증거를 해석한다.

이를 위해, 본 발명의 일 실시예에 따른 시각적 증거 해석 시스템(600)은 인코딩부(610), 시각적 해석부(620) 및 측정부(630)를 포함한다. 또한, 본 발명의 다른 실시예에 따른 시각적 증거 해석 시스템(600)은 검증부(640)를 더 포함한다.

인코딩부(610)는 타겟 종괴 특성을 인코딩한다.

인코딩부(610)는 입력 이미지(seed image) 예를 들어, 유방 종괴로 의심되는 타겟 종괴에 대한 관심 영역(region-of-interest; ROI) 이미지의 종괴 특성을 인코딩할 수 있다.

예를 들면, 인코딩부(610)는 유방 영상 보고 데이터 시스템(BIRADS; Breast Imaging-Reporting and Data System)의 공간 특성 맵에 대한 유도 정보(guided information)에 따라 중요 영역 즉, 관심 영역을 보여주는 관심 영역 이미지의 종괴 특성을 인코딩할 수 있다.

시각적 해석부(620)는 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성한다.

시각적 해석부(620)는 인코딩부(610)에 의해 인코딩된 타겟 종괴 특성을 입력으로 하는 시각적 해석 네트워크(visual interpretation network)를 이용하여 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성 각각의 종괴 이미지를 분리하여 생성할 수 있다. 더욱이, 시각적 해석부(620)는 타겟 종괴 특성에 대한 모양 특성 및 경계 특성의 공간 특성을 강조하여 개선된 시각적 특성을 제공할 수 있다.

측정부(630)는 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정한다.

도 7을 참조하면, 측정부(630)는 모양 특성의 종괴 이미지와 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크(guide networks)를 이용하여 타겟 종괴에 대한 모양 관련성 점수(shape relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 모양 측정부(631) 및 경계 특성의 종괴 이미지와 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크(guide networks)를 이용하여 타겟 종괴에 대한 경계 관련성 점수(margin relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 경계 측정부(632)를 포함할 수 있다.

일 예로, 모양 측정부(631)는 모양 특성의 종괴 이미지와 불규칙한 모양(Irregular)의 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크를 이용하여 임상 결정을 시각적 증거로 해석하기 위해 제공할 수 있다. 보다 구체적으로, 모양 측정부(631)는 모양 특성의 종괴 이미지를 시각적 특성 인코더를 통해 인코딩하고, 모양 특성 샘플의 설명에 대해 설명 임베딩에 기초하여 임베딩 특성을 출력하며, 미리 학습된 모양 유도 네트워크에 기초하여 정제 이미지 특성 및 임베딩 특성에 의한 관련 점수를 산출할 수 있다. 이 때, 상기 정제 이미지 특성은 본 발명의 일 실시예에 따른 인코딩부에 의해 정제된 입력 이미지를 시각적 특성 인코더를 통해 인코딩한 정제 이미지에 대한 이미지 특성일 수 있다.

다른 예로, 경계 측정부(632)는 경계 특성의 종괴 이미지와 침상 경계(Spiculate)의 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크를 이용하여 임상 결정을 시각적 증거로 해석하기 위해 제공할 수 있다. 보다 구체적으로, 경계 측정부(632)는 경계 특성의 종괴 이미지를 시각적 특성 인코더를 통해 인코딩하고, 경계 특성 샘플의 설명에 대해 설명 임베딩에 기초하여 임베딩 특성을 출력하며, 미리 학습된 경계 유도 네트워크에 기초하여 정제 이미지 특성 및 임베딩 특성에 의한 관련 점수를 산출할 수 있다. 이 때, 상기 정제 이미지 특성은 본 발명의 일 실시예에 따른 인코딩부에 의해 정제된 입력 이미지를 시각적 특성 인코더를 통해 인코딩한 정제 이미지에 대한 이미지 특성일 수 있다.

본 발명의 다른 실시예에 따른 시스템(600)의 검증부(640)는 인코딩된 타겟 종괴 특성과 합병된 종괴 이미지를 이용하여 임상 결정을 검증한다.

검증부(640)는 모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병(merge)한 합병된 종괴 이미지와, 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하는 진단 네트워크(diagnosis network)를 이용하여 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증할 수 있다.

검증부(640)는 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 타겟 종괴에 대한 모양 특성 및 경계 특성을 습득할 수 있다. 다시 말하면, 검증부(640)는 진단 네트워크를 통해 임상 결정(diagnostic decision), 경계(margin) 특성 및 모양(shape) 특성 세 가지를 출력할 수 있다.

본 발명의 일 실시예에 따른 시스템에서, 상기 딥 네트워크는 공간 특성 맵에 대한 유도 정보(guided information)에 따라 관심 영역(region-of-interest; ROI)을 나타내는 타겟 종괴 특성을 인코딩하여 인코딩된 타겟 종괴 특성을 획득하고, 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하며, 생성된 종괴 이미지와 종괴 특성 샘플로 측정되는 시각적 증거로 인한 공간 특성을 개선하는 과정을 통해 학습되는 것일 수 있다.

비록, 도 6 및 도 7의 시스템에서 그 설명이 생략되었더라도, 도 6 및 도 7을 구성하는 각 구성 수단은 도 1a 내지 도 5에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

타겟 종괴 특성을 인코딩하는 단계;
상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 단계; 및
상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 단계
를 포함하는 종괴 특성에 따른 시각적 증거 해석 방법.
제1항에 있어서,
상기 인코딩하는 단계는
상기 타겟 종괴에 대한 관심 영역(region-of-interest; ROI) 이미지의 종괴 특성을 인코딩하는, 종괴 특성에 따른 시각적 증거 해석 방법.
제1항에 있어서,
상기 생성하는 단계는
상기 인코딩된 타겟 종괴 특성을 입력으로 하는 시각적 해석 네트워크(visual interpretation network)를 이용하여 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성 각각의 종괴 이미지를 생성하는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 방법.
제3항에 있어서,
상기 측정하는 단계는
상기 모양 특성의 종괴 이미지와 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크(shape guide networks)를 이용하여 상기 타겟 종괴에 대한 모양 관련성 점수(shape relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 단계; 및
상기 경계 특성의 종괴 이미지와 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크(margin guide networks)를 이용하여 상기 타겟 종괴에 대한 경계 관련성 점수(margin relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 단계
를 포함하는 종괴 특성에 따른 시각적 증거 해석 방법.
제4항에 있어서,
상기 유도 네트워크는
상기 종괴 이미지를 인코딩한 인코딩된 종괴 이미지와 상기 모양 특성 또는 상기 경계 특성에 대한 임베딩(embedding)된 설명 정보를 입력으로 연산하여 관련성 점수(relevance score)를 출력하도록 구성되는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 방법.
제1항에 있어서,
상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 단계
를 더 포함하는 종괴 특성에 따른 시각적 증거 해석 방법.
제6항에 있어서,
상기 검증하는 단계는
모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병한 상기 합병된 종괴 이미지와 상기 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하는 진단 네트워크(diagnosis network)를 이용하여 상기 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증하는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 방법.
제7항에 있어서,
상기 검증하는 단계는
상기 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 상기 타겟 종괴에 대한 상기 모양 특성 및 상기 경계 특성을 습득하는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 방법.
제1항에 있어서,
상기 딥 네트워크는
공간 특성 맵에 대한 유도 정보(guided information)에 따라 관심 영역(region-of-interest; ROI)을 나타내는 타겟 종괴 특성을 인코딩하여 상기 인코딩된 타겟 종괴 특성을 획득하고, 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성의 상기 종괴 이미지를 생성하며, 상기 생성된 종괴 이미지와 상기 종괴 특성 샘플로 측정되는 시각적 증거로 인한 공간 특성을 개선하는 과정을 통해 학습되는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 방법.
타겟 종괴 특성을 인코딩하는 단계;
상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 단계;
상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 단계; 및
상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 단계
를 포함하는 종괴 특성에 따른 시각적 증거 해석 방법.
타겟 종괴 특성을 인코딩하는 인코딩부;
상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 시각적 해석부; 및
상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 측정부
를 포함하는 종괴 특성에 따른 시각적 증거 해석 시스템.
제11항에 있어서,
상기 인코딩부는
상기 타겟 종괴에 대한 관심 영역(region-of-interest; ROI) 이미지의 종괴 특성을 인코딩하는, 종괴 특성에 따른 시각적 증거 해석 시스템.
제11항에 있어서,
상기 시각적 해석부는
상기 인코딩된 타겟 종괴 특성을 입력으로 하여 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성 각각의 종괴 이미지를 생성하는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 시스템.
제13항에 있어서,
상기 측정부는
상기 모양 특성의 종괴 이미지와 모양 특성 샘플을 입력으로 하는 모양 유도 네트워크(guide networks)를 이용하여 상기 타겟 종괴에 대한 모양 관련성 점수(shape relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 모양 측정부; 및
상기 경계 특성의 종괴 이미지와 경계 특성 샘플을 입력으로 하는 경계 유도 네트워크(guide networks)를 이용하여 상기 타겟 종괴에 대한 경계 관련성 점수(margin relevance score)를 산출하여 시각적 증거(visual evidence)를 측정하는 경계 측정부
를 포함하는 종괴 특성에 따른 시각적 증거 해석 시스템.
제14항에 있어서,
상기 유도 네트워크는
상기 종괴 이미지를 인코딩한 인코딩된 종괴 이미지와 상기 모양 특성 또는 상기 경계 특성에 대한 임베딩(embedding)된 설명 정보를 입력으로 연산하여 관련성 점수(relevance score)를 출력하도록 구성되는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 시스템.
제11항에 있어서,
상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 검증부
를 더 포함하는 종괴 특성에 따른 시각적 증거 해석 시스템.
제16항에 있어서,
상기 검증부는
모양 특성의 종괴 이미지와 경계 특성의 종괴 이미지를 합병한 상기 합병된 종괴 이미지와 상기 인코딩된 타겟 종괴 특성을 연산하여 입력으로 하는 진단 네트워크(diagnosis network)를 이용하여 상기 타겟 종괴에 대한 악성 또는 양성의 임상 결정(diagnostic decision)을 검증하는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 시스템.
제17항에 있어서,
상기 검증부는
상기 진단 네트워크를 이용하여 임상 결정을 검증하는 과정에서, 미리 학습된 종괴의 모양 및 종괴의 경계에 기반하여 상기 타겟 종괴에 대한 상기 모양 특성 및 상기 경계 특성을 습득하는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 시스템.
제11항에 있어서,
상기 딥 네트워크는
공간 특성 맵에 대한 유도 정보(guided information)에 따라 관심 영역(region-of-interest; ROI)을 나타내는 타겟 종괴 특성을 인코딩하여 상기 인코딩된 타겟 종괴 특성을 획득하고, 상기 타겟 종괴 특성에 대응하는 상기 모양 특성 및 상기 경계 특성의 상기 종괴 이미지를 생성하며, 상기 생성된 종괴 이미지와 상기 종괴 특성 샘플로 측정되는 시각적 증거로 인한 공간 특성을 개선하는 과정을 통해 학습되는 것을 특징으로 하는, 종괴 특성에 따른 시각적 증거 해석 시스템.
타겟 종괴 특성을 인코딩하는 인코딩부;
상기 인코딩된 타겟 종괴 특성에 대응하는 모양 특성 및 경계 특성의 종괴 이미지를 생성하는 시각적 해석부;
상기 종괴 이미지와 종괴 특성 샘플을 입력으로 하는 딥 네트워크를 이용하여 타겟 종괴에 대한 시각적 증거(visual evidence)를 측정하는 측정부; 및
상기 인코딩된 타겟 종괴 특성과 합병된 상기 종괴 이미지를 이용하여 임상 결정을 검증하는 검증부
를 포함하는 종괴 특성에 따른 시각적 증거 해석 시스템.