KR102223255B1 - 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템 - Google Patents

유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템 Download PDF

Info

Publication number
KR102223255B1
KR102223255B1 KR1020180091586A KR20180091586A KR102223255B1 KR 102223255 B1 KR102223255 B1 KR 102223255B1 KR 1020180091586 A KR1020180091586 A KR 1020180091586A KR 20180091586 A KR20180091586 A KR 20180091586A KR 102223255 B1 KR102223255 B1 KR 102223255B1
Authority
KR
South Korea
Prior art keywords
characteristic
margin
embedding
visual
diagnosis
Prior art date
Application number
KR1020180091586A
Other languages
English (en)
Other versions
KR20200016451A (ko
Inventor
노용만
김성태
이학민
이재혁
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180091586A priority Critical patent/KR102223255B1/ko
Publication of KR20200016451A publication Critical patent/KR20200016451A/ko
Application granted granted Critical
Publication of KR102223255B1 publication Critical patent/KR102223255B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템이 개시된다. 본 발명의 일 실시예에 따른 시각적 진단 해석 방법은 입력 이미지로부터 시각적 특성들을 추출하는 단계; 상기 추출된 시각적 특성들에 기초하여 공간 맵을 생성하는 단계; 상기 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 단계; 및 상기 예측된 진단 결정에 기초하여 중요 영역을 시각화하는 단계를 포함하고, 상기 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하는 단계를 더 포함할 수 있다

Description

유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템 {Interpreting method for diagnostic decision of deep network using breast imaging-reporting and data system and the system thereof}
본 발명은 BIRADS(Breast Imaging-Reporting and Data System) 가이드 맵을 이용한 딥 네트워크의 시각적 진단 해석 기술에 관한 것으로, 보다 구체적으로는 BIRADS(Breast Imaging-Reporting and Data System) 가이드 맵을 이용하여 딥 네트워크가 진단에 중요하게 고려한 영역인 유방 종괴에 대한 중요 영역을 시각화할 수 있는 시각적 진단 해석 방법 및 시스템에 관한 것이다.
여성들에게 유방 종양은 피부 종양 다음으로 두 번째인 종양 유형이지만, 사망자 수와 관련해서는 첫 번째인 종양 유형이다.
특히 불안한 현상은 종양이 발생하는 평균 연령이 지속적으로 낮아지고 있다는 것과, 현재의 검진(screening) 도구는 폐경 전 연령인 여성의 특징이자 일반적으로 건강 상태가 양호한 여성의 특징인 고밀도 유방을 진단하는데에는 불충분하다는 것이다. 사실, 유방조영술(mammography)은 고밀도 유방의 경우에는 신뢰도가 충분하지 않다. 검사되어야 하는 주의 영역에 "사전겨냥(pre-directed)"되지 않는다면 비효율적일 수 있다. 예컨대 MRI, CT, PET와 같이, 기능적 정보를 제공하거나 고밀도 유방을 진단할 수 있는 현재의 시스템들은 매우 고가이므로, 검진 또는 대량 진단(mass diagnostic)에는 적합하지 않으며, 침습적(invasive)이어서 단기간에 반복될 수 없다.
일반적인 맥락에서, 오늘날의 진단 경로는 항상, 음성인지 명확하지 않은 각각의 1차 진단의 초음파 다운스트림의 사용을 포함한다. 이는, 오늘날의 1차 진단 방법이 병변의 악성 또는 양성을 진단하기에 충분한 민감도와 정확한 위치를 찾기에 충분한 특수성을 갖고 있지 않기 때문이다.
오늘날 사용되는 광학 기술은 유방 조직의 디옥시헤모글로빈 농도 변화의 분석에 있다. 특히, 유방에 640nm의 붉은 광을 비추어 광원의 맞은편에 있는 비디오카메라로 되는 광 감쇠 값들을 검출하여 모세혈관 내의 디옥시헤모글로빈의 농도 변화를 분석하는 것이 공지되어있다. 이는 분석될 조직의 밀도에 관계없이, "신생 혈관 형성(neoangiogenesis)" 영역, 즉 종양 세포를 키우기(feed) 위해 생성되는 비정상적인 혈관 신생 영역의 존재를 검출할 수 있도록 한다. 이 기술은 현재의 중대한 한계들을 극복한다. 실제로 그 특혜는 분석될 조직의 밀도에 관계없이 "신생 혈관 형성" 영역, 즉 종양 세포를 키우기 위해 생성되는 비정상적인 혈관 형성 영역의 존재를 검출할 수 있는 능력으로 구성된다.
본 발명의 실시예들은, BIRADS(Breast Imaging-Reporting and Data System) 가이드 맵을 이용하여 딥 네트워크가 진단에 중요하게 고려한 영역인 유방 종괴에 대한 중요 영역을 시각화할 수 있는 시각적 진단 해석 방법 및 시스템을 제공한다.
본 발명의 일 실시예에 따른 시각적 진단 해석 방법은 입력 이미지로부터 시각적 특성들을 추출하는 단계; 상기 추출된 시각적 특성들에 기초하여 공간 맵을 생성하는 단계; 상기 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 단계; 및 상기 예측된 진단 결정에 기초하여 중요 영역을 시각화하는 단계를 포함한다.
나아가, 본 발명의 일 실시예에 따른 시각적 진단 해석 방법은 상기 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하는 단계를 더 포함한다.
상기 관련 점수를 계산하는 단계는 상기 공간 맵을 이용하여 상기 입력 이미지를 정제하여 정제 이미지 특성을 생성하는 단계; 상기 마진 설명에 대해 미리 학습된 마진 임베딩 네트워크에 기초하여 마진 임베딩 특성을 출력하는 단계; 상기 형상 설명에 대해 미리 학습된 형상 임베딩 네트워크에 기초하여 형상 임베딩 특성을 출력하는 단계; 및 상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성에 기초하여 상기 관련 점수를 계산하는 단계를 포함할 수 있다.
상기 관련 점수를 계산하는 단계는 상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성의 관련도에 기초하여 상기 관련 점수를 계산할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 시각적 진단 해석 방법은 상기 공간 맵을 이용하여 상기 시각적 특성들을 정제하는 단계를 더 포함하고, 상기 진단 결정을 예측하는 단계는 상기 정제된 시각적 특성들에 기반한 상기 제1 딥 네트워크를 이용하여 진단 결정을 예측할 수 있다.
상기 공간 맵을 생성하는 단계는 유방 영상 보고 데이터 시스템(BIRADS; Breast Imaging-Reporting and Data System) 가이드 맵을 생성할 수 있다.
본 발명의 일 실시예에 따른 시각적 진단 해석 시스템은 입력 이미지로부터 시각적 특성들을 추출하는 추출부; 상기 추출된 시각적 특성들에 기초하여 공간 맵을 생성하는 생성부; 상기 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 예측부; 및 상기 예측된 진단 결정에 기초하여 중요 영역을 시각화하는 시각화부를 포함한다.
나아가, 본 발명의 일 실시예에 따른 시각적 진단 해석 시스템은 상기 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하는 계산부를 더 포함할 수 있다.
상기 계산부는 상기 공간 맵을 이용하여 상기 입력 이미지를 정제하여 정제 이미지 특성을 생성하고, 상기 마진 설명에 대해 미리 학습된 마진 임베딩 네트워크에 기초하여 마진 임베딩 특성을 출력하며, 상기 형상 설명에 대해 미리 학습된 형상 임베딩 네트워크에 기초하여 형상 임베딩 특성을 출력하고, 상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성에 기초하여 상기 관련 점수를 계산할 수 있다.
상기 계산부는 상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성의 관련도에 기초하여 상기 관련 점수를 계산할 수 있다.
더 나아가, 본 발명의 일 실시예에 따른 시각적 진단 해석 시스템은 상기 공간 맵을 이용하여 상기 시각적 특성들을 정제하는 정제부를 더 포함하고, 상기 예측부는 상기 정제된 시각적 특성들에 기반한 상기 제1 딥 네트워크를 이용하여 진단 결정을 예측할 수 있다.
상기 생성부는 유방 영상 보고 데이터 시스템(BIRADS; Breast Imaging-Reporting and Data System) 가이드 맵을 생성할 수 있다.
본 발명의 다른 일 실시예에 따른 시각적 진단 해석 시스템은 입력 이미지로부터 시각적 특성들을 추출하고, 상기 추출된 시각적 특성들에 기초하여 공간 맵을 생성하며, 상기 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 진단부; 및 상기 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하는 계산부를 더 포함한다.
나아가, 본 발명의 다른 일 실시예에 따른 시각적 진단 해석 시스템은 상기 예측된 진단 결정에 기초하여 중요 영역을 시각화하는 시각화부를 더 포함할 수 있다.
본 발명의 실시예들에 따르면, BIRADS(Breast Imaging-Reporting and Data System) 가이드 맵을 이용하여 딥 네트워크가 진단에 중요하게 고려한 영역인 유방 종괴에 대한 중요 영역을 시각화할 수 있다.
이러한 본 발명의 실시예들은, 컴퓨터 보조 진단(CAD; computer-aided diagnosis)를 이용하는 의료 영상 진단 분야에 적용할 수 있다. 예를 들어, 본 발명은 진단 결과 및 진단 이유 설명을 제공해주는 새로운 CAD 시스템으로써, CAD 개발엔진, 의료영상진단기기 등에 용이하게 적용할 수 있다.
본 발명의 실시예들에 따르면, 진단 결과 뿐만 아니라 진단에 중요한 영역을 시각화하는 기술이 가능해짐에 따라 의사들이 CAD 진단의 과정 및 진단 결정 이유를 이해하고 이에 따라 CAD 기술에 대한 신뢰를 향상시킬 수 있다.
이러한 본 발명은 진단 이유 설명을 생성하여 제공해주는 새로운 개념의 CAD 시스템을 제공할 수 있기 때문에 기존의 단순히 진단 결과만 알려주던 CAD 시스템을 대체 가능할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시각적 진단 해석 방법에 대한 동작 흐름도를 나타낸 것이다.
도 2는 도 1에 도시된 단계 S140에 대한 일 실시예 동작 흐름도를 나타낸 것이다.
도 3은 본 발명의 일 실시예에 따른 시각적 진단 해석 시스템에 대한 개념적인 구성을 나타낸 것이다.
도 4는 도 3에 도시된 시스템에 대한 구체적인 구성을 나타낸 것이다.
도 5는 본 발명의 다른 일 실시예에 따른 시각적 진단 해석 시스템에 대한 구성을 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상 의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사 전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, BIRADS(Breast Imaging-Reporting and Data System) 가이드 맵을 이용하여 딥 네트워크가 진단에 중요하게 고려한 영역인 유방 종괴에 대한 중요 영역을 시각화하는 것을 그 요지로 한다.
여기서, 본 발명은 진단을 결정하기 위한 진단 네트워크 그리고 BIRADS 설명과 공간 맵을 이용하여 관련 점수를 계산하기 위한 크리틱 네트워크를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시각적 진단 해석 방법에 대한 동작 흐름도를 나타낸 것이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 방법은 입력 이미지 예를 들어, 유방 종괴로 의심되는 이미지로부터 시각적 특성들을 추출하고, 추출된 시각적 특성들에 기초하여 공간 맵 예를 들어, BIRADS 가이드 맵을 생성한다(S110, S120).
여기서, 단계 S110은 시각적 특성 인코더를 이용하여 입력 이미지로부터 시각적 특성들을 추출할 수 있으며, 단계 S120은 BIRADS 가이드 맵 인코더를 이용하여 시각적 특성 인코더로부터 BIRADS 가이드 맵을 생성할 수 있다.
단계 S120에 의해 BIRADS 가이드 맵이 생성되면 생성된 BIRADS 가이드 맵에 기반한 제1 딥 네트워크 예를 들어, 진단 네트워크를 이용하여 진단 결정을 예측한다(S130).
여기서, 단계 S130은 단계 S110에 의해 추출된 시각적 특성들을 BIRADS 가이드 맵을 이용하여 정제할 수 있으며, 이렇게 정제된 시각적 특성들에 기반한 진단 네트워크를 이용하여 진단 결정 예를 들어, 음성(악성) 또는 양성을 결정할 수 있다.
물론, 본 발명에서의 진단 네트워크는 미리 설정된 트레이닝 데이터 셋을 이용하여 트레이닝될 수 있다.
단계 S130에 의해 진단 결정이 예측되면 예측된 진단 결정에 기초하여 중요 영역 예를 들어, 유방 종괴에 대한 영역을 시각화한다(S140).
그리고, 입력 이미지, BIRADS 가이드 맵, 병변 특성 설명 예를 들어, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하고, 시각적 특성 추출 과정과 중요 영역 시각화 과정을 업데이트함으로써, 본 발명의 제1 딥 네트워크와 제2 딥 네트워크에 대한 트레이닝 과정을 반복하고, 이를 통해 제1 딥 네트워크와 제2 딥 네트워크를 학습한다 (S150, S160).
여기서, 단계 S150은 도 2에 도시된 바와 같이, BIRADS 가이드 맵을 이용하여 입력 이미지를 정제하여 정제 이미지 특성을 생성하고, 마진 설명에 대해 미리 학습된 마진 임베딩 네트워크에 기초하여 마진 임베딩 특성을 출력하며, 형상 설명에 대해 미리 학습된 형상 임베딩 네트워크에 기초하여 형상 임베딩 특성을 출력한 후 정제 이미지 특성, 마진 임베딩 특성 및 형상 임베딩 특성에 기초하여 관련 점수를 계산할 수 있다(S210 내지 S240).
이 때, 단계 S210은 BIRADS 가이드 맵을 이용하여 입력 이미지를 정제하여 정제 이미지를 생성하고, 이미지 인코더를 이용하여 생성된 정제 이미지에 대한 정제 이미지 특성을 출력할 수 있다.
이 때, 단계 S240은 정제 이미지 특성, 마진 임베딩 특성 및 형상 임베딩 특성의 관련도에 기초하여 관련 점수를 계산할 수 있으며, 관련도가 높을수록 높은 점수로 계산할 수 있다.
상기 도 1에서의 단계 S110 내지 S140은 진단 결정에 대한 중요 영역을 시각화하는 과정이며, 단계 S110 내지 S140을 포함하는 단계 S110 내지 S160은 전체 네트워크를 학습하는 과정으로 볼 수 있다. 물론, 본 발명에서 전체 네트워크의 학습 과정이 완료되면 단계 S110 내지 S140의 과정을 통해 유방 종괴에 대한 중요 영역을 시각화할 수 있다.
도 3은 본 발명의 일 실시예에 따른 시각적 진단 해석 시스템에 대한 개념적인 구성을 나타낸 것이다.
도 3에 도시된 바와 같이, 본 발명에 따른 시스템은 진단 네트워크(310), 크리틱 네트워크(320) 및 시각화부(330)를 포함한다.
진단 네트워크(310)는 입력 이미지로부터 시각적 특성들을 추출하고, 추출된 시각적 특성들에 기초하여 공간 맵 예를 들어, BIRADS 가이드 맵을 생성하며, 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측한다.
크리틱 네트워크(320)는 입력 이미지, 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산한다.
시각화부(330)는 예측된 진단 결정에 기초하여 입력 이미지에서의 중요 영역을 시각화한다.
이러한 도 3의 시스템에 대해 도 4를 참조하여 상세히 설명한다.
유방 종괴(breast masse) 진단을 위한 시각적으로 해석 가능한 딥 네트워크
도 4는 본 발명의 일 실시예에 따른 시각적으로 해석 가능한 진단 네트워크에 대한 개념적인 구조를 나타낸 것이다. 도 4에 도시된 바와 같이, 시각적으로 해석 가능한 진단 네트워크는 시각적 해석 진단부 예를 들어, 시각적 해석 진단 네트워크(visually interpretable diagnosis network)와 시각적 해석 계산부 예를 들어, 시각적 해석 크리틱 네트워크(visually interpretation critic network)를 포함한다. 시각적 해석 진단 네트워크에서 중요 영역은 시각적 해석 인코더(visual interpretation encoder)에 의해 인코딩된다. 진단 네트워크(diagnosis network)는 시각적 해석 인코더에 인코딩된 중요 영역에 포커싱함으로써, 진단 결정을 내리도록 구성된다. 시각적 해석 인코더 예를 들어, BIRADS 가이드 맵이 BIRADS 렉시콘(lexicon)에 따른 특성화와 관련되도록 하기 위하여, 시각적 해석 크리틱 네트워크는 트레이닝 단계에서 설계될 수 있다.
시각적 해석 진단 네트워크
시각적 해석 진단 네트워크는 시각적 특성 인코딩부(visual feature encoder), 시각적 해석 인코딩부(visual interpretation encoder), 시각적 특성 정제부(visual feature refinement) 및 진단부(diagnosis network)를 포함한다.
시각적 해석 진단 네트워크는 먼저 시각적 특성 인코딩부 예를 들어, 시각적특성 인코더를 사용하여 의심되는 원본 이미지
Figure 112018077752449-pat00001
를 처리한다. 여기서, 시각적 특성 인코딩부는 아래 <수학식 1>과 같이 나타낼 수 있다.
[수학식 1]
Figure 112018077752449-pat00002
여기서,
Figure 112018077752449-pat00003
는 시각적 특성들(또는 시각적 특성 맵)로, N × M의 공간 크기를 갖는 K개의 채널로 이루어지며
Figure 112018077752449-pat00004
가 실제 값의 N × M × K 크기를 갖는 특징 맵을 의미하고, x org는 원본 입력 이미지를 의미하며,
Figure 112018077752449-pat00005
는 학습 가능한 파라미터
Figure 112018077752449-pat00006
를 가지는 시각적 특성 인코더에 대한 함수를 의미할 수 있다.
시각적 해석 인코딩부 예를 들어, 시각적 해석 인코더는 시각적 특성으로부터 공간 위치의 중요성을 나타내는 공간 맵을 생성한다. 예를 들어, 시각적 해석 인코딩부는 BIRADS 가이드 맵을 생성한다. 여기서, BIRADS 가이드 맵은 아래 <수학식 2>와 같이 나타낼 수 있다.
[수학식 2]
Figure 112018077752449-pat00007
여기서,
Figure 112018077752449-pat00008
는 BIRADS 가이드 맵을 의미하고,
Figure 112018077752449-pat00009
는 학습 가능한 파라미터
Figure 112018077752449-pat00010
를 가지는 함수를 의미할 수 있다.
시각적 해석 인코딩부는 두 개의 컨볼루션 레이어를 포함한다. 첫 번째 컨볼루션 레이어는 1 × 1 사이즈의 128개 컨볼루션 필터들을 가지며, 두 번째 컨볼루션 레이어는 1 × 1 사이즈의 단일 컨볼루션 필터를 갖는다. 두 가지 컨볼루션 레이어의 경우, 가이드 맵이 범위 [0, 1] 내의 값을 가지도록 시그모이드 활성화(sigmoid activation)를 사용할 수 있다. 시각적 특성들은 생성된 BIRADS 가이드 맵을 사용하여 중요 영역에서 강조 표시되도록 정제될 수 있다. 여기서, 시각적 특성들은 아래 <수학식 3>과 같이 나타낼 수 있다.
[수학식 3]
Figure 112018077752449-pat00011
위 식에서,
Figure 112018077752449-pat00012
는 정제된 시각적 특성들을 의미하고,
Figure 112018077752449-pat00013
는 요소별(element-wise) 곱셈 연산자를 의미할 수 있다.
마지막으로, 진단부는 정제된 시각적 특성들을 처리하여 진단 결정을 내린다. 여기서, 진단 결정은 아래 <수학식 4>와 같이 나타낼 수 있다.
[수학식 4]
Figure 112018077752449-pat00014
여기서,
Figure 112018077752449-pat00015
는 예측된 진단 결정(악성 또는 양성)을 의미하고,
Figure 112018077752449-pat00016
는 학습 가능한 파라미터
Figure 112018077752449-pat00017
를 가지는 진단 네트워크에 대한 함수를 의미할 수 있다.
상술한 바와 같이, BIRADS 가이드 맵을 사용하여 시각적 특성을 정제하고, 이렇게 정제된 시각적 특성들을 통해 진단 네트워크가 보다 정확한 진단 결정을 내릴 수 있다.
시각적 해석 크리틱 네트워크
상술한 바와 같이, BIRADS 가이드 맵은 시각적 특성으로부터 인코딩되어 시각적 특성을 개선시키는 데 사용된다. 딥 네트워크는 BIRADS 가이드 맵에서 활성화된 중요 시각적 특성에 더 많은 주의를 기울이고 BIRADS 가이드 맵에서 활성화되지 않은 관련 없는 특성을 억제한다. 방사선 전문의(radiologist)는 종괴 특성 예를 들어, 종괴의 형상과 종괴의 마진에 따라 진단 결정을 내린다. 종괴의 특성은 BIRADS 렉시콘(lexicon)에 따른 사례 보고서에 기술되어 있다. 시각적 해석 크리틱 네트워크는 방사선 전문의의 진단 관점에서 딥 네트워크가 중요 영역에 집중할 수 있도록 하기 위한 네트워크이다. 즉, 시각적 해석 인코더는 진단 및 BIRADS 설명 모두에 대해 중요 영역을 나타내는 것으로 학습된다.
도 4에 도시된 바와 같이, 시각적 해석 계산부 예를 들어, 시각적 해석 크리틱 네트워크는 이미지 정제부(image refinement), 이미지 인코딩부, 마진 임베딩부(margin embedding network), 형상 임베딩부(shape embedding network) 및 계산부를 포함한다. 시각적 해석 계산부의 입력은 원본 이미지, 공간 맵 예를 들어, BIRADS 가이드 맵 및 BIRADS 설명을 포함한다.
먼저, 이미지 정제에서 정제된 이미지
Figure 112018077752449-pat00018
는 공간 맵 예를 들어, BIRADS 가이드 맵으로부터 얻어질 수 있으며, 정제된 이미지는 아래 <수학식 5>와 같이 나타낼 수 있다.
[수학식 5]
Figure 112018077752449-pat00019
시각적 해석 계산부 즉, 시각적 해석 크리틱 네트워크에서, 관련 점수
Figure 112018077752449-pat00020
는 원본 이미지, BIRADS 가이드 맵 및 BIRADS 설명을 고려하여 아래 <수학식 6>과 같이 계산될 수 있다.
[수학식 6]
Figure 112018077752449-pat00021
여기서,
Figure 112018077752449-pat00022
는 학습 가능한 파라미터
Figure 112018077752449-pat00023
를 가지는 시각적 해석 크리틱 네트워크를 의미하고,
Figure 112018077752449-pat00024
는 각각 마진(
Figure 112018077752449-pat00025
) 및 형상(
Figure 112018077752449-pat00026
)에 대한 BIRADS 설명을 의미할 수 있다.
구체적으로, 정제된 이미지 특성
Figure 112018077752449-pat00027
는 정제된 이미지로부터 인코딩될 수 있으며, 아래 <수학식 7>과 같이 나타낼 수 있다.
[수학식 7]
Figure 112018077752449-pat00028
여기서,
Figure 112018077752449-pat00029
는 학습 가능한 파라미터
Figure 112018077752449-pat00030
를 가지는 이미지 인코더에 대한 함수를 의미할 수 있다.
본 발명은 BIRADS 설명으로 유방 조영술(또는, 마모그램)(mammograms)에서 유방 종괴의 전형적인 특징인 마진과 형상을 사용할 수 있다. BIRADS 설명을 의미론적으로 의미 있는 특성을 갖도록 인코딩하기 위해, 마진(
Figure 112018077752449-pat00031
) 및 형상(
Figure 112018077752449-pat00032
)에 대한 각 설명이 아래 <수학식 8>, <수학식 9>와 같이 임베딩될 수 있다.
[수학식 8]
Figure 112018077752449-pat00033
[수학식 9]
Figure 112018077752449-pat00034
여기서,
Figure 112018077752449-pat00035
과
Figure 112018077752449-pat00036
는 각각 마진 임베딩과 형상 임베딩 특성을 의미하고,
Figure 112018077752449-pat00037
과
Figure 112018077752449-pat00038
는 각각 마진 임베딩 네트워크와 형상 임베딩 네트워크에 대한 학습 가능한 파라미터
Figure 112018077752449-pat00039
와
Figure 112018077752449-pat00040
를 가지는 임베딩 함수를 의미할 수 있다.
임베딩을 위하여, 각 설명은 먼저 이미 트레이닝된 단어 임베딩 모델을 통해 단어 벡터로 전환되고, 완전 연결 레이어에 의해 처리된다. 임베딩된 특성들은 정제된 이미지 특성과 결합되고 처리되어 관련 점수를 계산할 수 있다. 관련 점수
Figure 112018077752449-pat00041
은 아래 <수학식 10>과 같이 계산될 수 있다.
[수학식 10]
Figure 112018077752449-pat00042
여기서, 관련 점수
Figure 112018077752449-pat00043
은 결합된 특성 예를 들어, 정제된 이미지 특성, 마진 임베딩 특성 및 형상 임베딩 특성의 관련도를 의미하고,
Figure 112018077752449-pat00044
는 관련 점수를 계산하기 위해 학습 가능한 파라미터
Figure 112018077752449-pat00045
를 가지는 관련 점수 예측자를 의미할 수 있다.
계산부 예를 들어, 관련 점수 예측기(relevance score predictor)는 1024, 1024 및 1 뉴런을 가지는 3개의 완전 연결 레이어로 구성될 수 있다. 시그모이드 활성화는 마지막 완전 연결 레이어에서 수행되어 [0, 1] 범위의 점수를 출력한다.
상술한 바와 같이, 시각적 해석 크리틱 네트워크는 정제된 이미지 특성과 BIRADS 임베딩 특성(마진 임베딩 특성 및 형상 임베딩 특성)의 관련성을 계산하며, BIRADS 가이드 맵, BIRADS 설명 및 원본 이미지 사이의 관련성이 높을 때 높은 관련 점수를 갖는 것으로 학습된다.
시각적으로 해석 가능한 진단 네트워크의 학습 과정
상술한 바와 같이, 시각적으로 해석 가능한 진단 네트워크는 시각적 해석 진단 네트워크와 시각적 해석 크리틱 네트워크로 구성된다. 전체 네트워크에 대한 학습 과정의 목표는 시각적 해석 진단 네트워크의 정확성을 향상시키는 것, 진단 및 BIRADS 설명의 관점에서 중요 영역을 나타내는 BIRADS 가이드 맵을 만드는 것이다. 이러한 목적을 위하여, 본 발명은 진단 손실 함수와 관련 손실 함수를 정의할 수 있다. 진단 손실 함수
Figure 112018077752449-pat00046
는 아래 <수학식 11>과 같이 정의될 수 있다.
[수학식 11]
Figure 112018077752449-pat00047
여기서,
Figure 112018077752449-pat00048
는 트레이닝 샘플
Figure 112018077752449-pat00049
에 대한 실제 측정 값(ground truth)을 의미하고,
Figure 112018077752449-pat00050
는 진단 네트워크
Figure 112018077752449-pat00051
의 출력이
Figure 112018077752449-pat00052
이 될 확률을 의미할 수 있다.
상기 수학식 11은 상기 수학식 1 내지 수학식 4를 이용하여 아래 <수학식 12>와 같이 나타낼 수 있다.
[수학식 12]
Figure 112018077752449-pat00053
올바른 진단 결정을 내리기 위하여, 시각적으로 해석 가능한 진단 네트워크(시각 특성 인코더, 시각적 해석 인코더 및 진단 네트워크)는 진단 손실 함수
Figure 112018077752449-pat00054
가 최소화되도록 트레이닝될 수 있다.
시각적 특성 인코더와 시각적 해석 인코더는 BIRADS 설명과 관련된 BIRADS 가이드 맵을 생성하도록 트레이닝된다. 이를 위해, 관련 손실 함수는 아래 <수학식 13>과 같이 정의될 수 있다.
[수학식 13]
Figure 112018077752449-pat00055
여기서,
Figure 112018077752449-pat00056
는 일치하는(matching) BIRADS 설명을 의미하고,
Figure 112018077752449-pat00057
는 불일치하는(mismatching) BIRDAS 설명을 의미할 수 있다.
트레이닝 단계에서, 불일치하는 BIRADS 설명
Figure 112018077752449-pat00058
는 균일 분포
Figure 112018077752449-pat00059
로부터 임의로 샘플링될 수 있다. 불일치하는 BIRADS 설명에 대해, BIRADS 설명은 트레이닝 단계에서 교란(perturb)될 수 있다. "불규칙한 형상(irregular shape)과 침상 마진(spiculated margin)"가 존재하는 샘플의 경우, 불일치하는 BIRADS 설명은 "둥근 형상 및 외접 마진(circumscribed margin)" 또는 "타원 형상 및 불분명한 마진(obscured margin)"가 될 수 있다. 상기 수학식 13은 상기 수학식 1과 수학식 2를 사용하여 아래 <수학식 14>와같이 나타낼 수 있다.
[수학식 14]
Figure 112018077752449-pat00060
즉, 관련 손실 함수
Figure 112018077752449-pat00061
를 최소화함으로써, 시각적 특성 인코더와 시각적 해석 인코더가 BIRADS 설명과 관련된 BIRADS 가이드 맵을 생성하도록 트레이닝될 수 있다.
전체 네트워크는 아래 <수학식 15>와 같이 나타낸 손실 함수를 최소화함으로써 트레이닝될 수 있다.
[수학식 15]
Figure 112018077752449-pat00062
여기서,
Figure 112018077752449-pat00063
는 진단 손실 함수 및 관련 손실 함수 사이의 중요성을 변경하는 균형 파라미터(balancing parameter)를 의미할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 방법과 시스템은 BIRADS(Breast Imaging-Reporting and Data System) 가이드 맵을 이용하여 딥 네트워크가 진단에 중요하게 고려한 영역인 유방 종괴에 대한 중요 영역을 시각화할 수 있다.
또한, 본 발명은 컴퓨터 보조 진단(CAD; computer-aided diagnosis)를 이용하는 의료 영상 진단 분야에 적용할 수 있다. 예를 들어, 본 발명은 진단 결과 및 진단 이유 설명을 제공해주는 새로운 CAD 시스템으로써, CAD 개발엔진, 의료영상진단기기 등에 용이하게 적용할 수 있다.
더 나아가, 본 발명은 진단 결과 뿐만 아니라 진단에 중요한 영역을 시각화하는 기술이 가능해짐에 따라 의사들이 CAD 진단의 과정 및 진단 결정 이유를 이해하고 이에 따라 CAD 기술에 대한 신뢰를 향상시킬 수 있다.
그리고, 본 발명은 도 4의 시각적 해석 진단 네트워크와 시각적 해석 크리틱 네트워크에 대한 학습 과정을 먼저 수행한 후 학습 과정이 완료되면, 시각적 해석 진단 네트워크를 이용하여 중요 영역을 진단하고, 이렇게 진단된 중요 영역을 시각화할 수 있다.
도 5는 본 발명의 다른 일 실시예에 따른 시각적 진단 해석 시스템에 대한 구성을 나타낸 것이다.
도 5를 참조하면, 본 발명의 다른 일 실시예에 따른 시각적 진단 해석 시스템(500)은 추출부(510), 생성부(520), 예측부(530), 계산부(540) 및 시각화부(550)를 포함한다.
추출부(510)는 입력 이미지로부터 시각적 특성들을 추출한다.
여기서, 추출부(510)는 시각적 특성 인코더를 이용하여 입력 이미지로부터 시각적 특성들을 추출할 수 있다.
생성부(520)는 추출된 시각적 특성들에 기초하여 공간 맵을 생성한다.
여기서, 생성부(520)는 추출된 시각적 특성들에 기초하여 BIRADS 가이드 맵을 생성할 수 있다.
예측부(530)는 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측한다.
여기서, 예측부(530)는 추출된 시각적 특성들을 BIRADS 가이드 맵을 이용하여 정제할 수 있으며, 이렇게 정제된 시각적 특성들에 기반한 진단 네트워크를 이용하여 진단 결정 예를 들어, 음성(악성) 또는 양성을 결정할 수 있다.
계산부(540)는 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산한다.
여기서, 계산부(540)는 BIRADS 가이드 맵을 이용하여 입력 이미지를 정제하여 정제 이미지 특성을 생성하고, 마진 설명에 대해 미리 학습된 마진 임베딩 네트워크에 기초하여 마진 임베딩 특성을 출력하며, 형상 설명에 대해 미리 학습된 형상 임베딩 네트워크에 기초하여 형상 임베딩 특성을 출력한 후 정제 이미지 특성, 마진 임베딩 특성 및 형상 임베딩 특성에 기초하여 관련 점수를 계산할 수 있다.
나아가, 계산부(540)는 BIRADS 가이드 맵을 이용하여 입력 이미지를 정제하여 정제 이미지를 생성하고, 이미지 인코더를 이용하여 생성된 정제 이미지에 대한 정제 이미지 특성을 출력할 수 있다.
시각화부(550)는 예측된 진단 결정에 기초하여 중요 영역을 시각화한다.
비록, 도 5의 시스템에서 그 설명이 생략되었더라도, 도 5를 구성하는 각 구성 수단은 도 1 내지 도 4에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 입력 이미지로부터 시각적 특성들을 추출하는 단계;
    상기 추출된 시각적 특성들에 기초하여 공간 맵을 생성하는 단계;
    상기 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 단계; 및
    상기 예측된 진단 결정에 기초하여 중요 영역을 시각화하는 단계
    를 포함하고,
    상기 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하는 단계
    를 더 포함하며,
    상기 제1 딥 네트워크과 상기 제2 딥 네트워크는
    상기 추출된 시각적 특성들과 상기 시각화된 중요 영역을 업데이트함으로써, 트레이닝 과정이 반복되어 학습되고,
    상기 관련 점수를 계산하는 단계는
    상기 공간 맵을 이용하여 상기 입력 이미지를 정제하여 정제 이미지 특성을 생성하는 단계;
    상기 마진 설명에 대해 미리 학습된 마진 임베딩 네트워크에 기초하여 마진 임베딩 특성을 출력하는 단계;
    상기 형상 설명에 대해 미리 학습된 형상 임베딩 네트워크에 기초하여 형상 임베딩 특성을 출력하는 단계; 및
    상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성에 기초하여 상기 관련 점수를 계산하는 단계
    를 포함하고,
    상기 관련 점수를 계산하는 단계는
    상기 마진 임베딩 특성과 상기 형상 임베딩 특성을 상기 정제 이미지 특성에 결합하여 처리함으로써, 상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성의 관련도에 기초하여 상기 관련 점수를 계산하며,
    상기 공간 맵을 이용하여 상기 중요 영역에서 강조 표시되도록 상기 시각적 특성들을 정제하는 단계
    를 더 포함하고,
    상기 진단 결정을 예측하는 단계는
    상기 정제된 시각적 특성들에 기반한 상기 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 시각적 진단 해석 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 공간 맵을 생성하는 단계는
    유방 영상 보고 데이터 시스템(BIRADS; Breast Imaging-Reporting and Data System) 가이드 맵을 생성하는 것을 특징으로 하는 것을 특징으로 하는 시각적 진단 해석 방법.
  7. 입력 이미지로부터 시각적 특성들을 추출하는 추출부;
    상기 추출된 시각적 특성들에 기초하여 공간 맵을 생성하는 생성부;
    상기 생성된 공간 맵에 기반한 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 예측부; 및
    상기 예측된 진단 결정에 기초하여 중요 영역을 시각화하는 시각화부
    를 포함하고,
    상기 입력 이미지, 상기 공간 맵, 마진 설명(margin description)과 형상 설명(shape description)에 기초한 제2 딥 네트워크를 이용하여 관련 점수를 계산하는 계산부
    를 더 포함하며,
    상기 제1 딥 네트워크과 상기 제2 딥 네트워크는
    상기 추출된 시각적 특성들과 상기 시각화된 중요 영역을 업데이트함으로써, 트레이닝 과정이 반복되어 학습되고,
    상기 계산부는
    상기 공간 맵을 이용하여 상기 입력 이미지를 정제하여 정제 이미지 특성을 생성하고,
    상기 마진 설명에 대해 미리 학습된 마진 임베딩 네트워크에 기초하여 마진 임베딩 특성을 출력하며,
    상기 형상 설명에 대해 미리 학습된 형상 임베딩 네트워크에 기초하여 형상 임베딩 특성을 출력하고,
    상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성에 기초하여 상기 관련 점수를 계산하며,
    상기 계산부는
    상기 마진 임베딩 특성과 상기 형상 임베딩 특성을 상기 정제 이미지 특성에 결합하여 처리함으로써, 상기 정제 이미지 특성, 상기 마진 임베딩 특성 및 상기 형상 임베딩 특성의 관련도에 기초하여 상기 관련 점수를 계산하며,
    상기 공간 맵을 이용하여 상기 중요 영역에서 강조 표시되도록 상기 시각적 특성들을 정제하는 정제부
    를 더 포함하고,
    상기 예측부는
    상기 정제된 시각적 특성들에 기반한 상기 제1 딥 네트워크를 이용하여 진단 결정을 예측하는 시각적 진단 해석 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 생성부는
    유방 영상 보고 데이터 시스템(BIRADS; Breast Imaging-Reporting and Data System) 가이드 맵을 생성하는 것을 특징으로 하는 것을 특징으로 하는 시각적 진단 해석 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR1020180091586A 2018-08-07 2018-08-07 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템 KR102223255B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180091586A KR102223255B1 (ko) 2018-08-07 2018-08-07 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180091586A KR102223255B1 (ko) 2018-08-07 2018-08-07 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200016451A KR20200016451A (ko) 2020-02-17
KR102223255B1 true KR102223255B1 (ko) 2021-03-05

Family

ID=69670563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180091586A KR102223255B1 (ko) 2018-08-07 2018-08-07 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102223255B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559616B1 (ko) * 2021-02-10 2023-07-27 주식회사 빔웍스 약지도 딥러닝 인공 지능을 이용한 유방 초음파 진단 방법 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101869438B1 (ko) * 2016-11-22 2018-06-20 네이버 주식회사 딥 러닝을 이용하여 환자의 진단 이력으로부터 질병 예후를 예측하는 방법 및 시스템

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Eurographics Workshop on Visual Computing for Biology and Medicine.2017, pp.1-9*
Journal of Biomedical Informatics. 2011, Vol.44, No.4, pp.607-614*
Med Phys. 2018.01, Vol.45, No.1, pp.314-321*

Also Published As

Publication number Publication date
KR20200016451A (ko) 2020-02-17

Similar Documents

Publication Publication Date Title
US11138731B2 (en) Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
Farhat et al. Deep learning applications in pulmonary medical imaging: recent updates and insights on COVID-19
EP1751550B1 (en) Liver disease diagnosis system, method and graphical user interface
EP3576020A1 (en) Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
KR102289277B1 (ko) 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
KR101938992B1 (ko) 진단 이유 설명이 생성되는 cad 시스템 및 그 방법
US11430119B2 (en) Spatial distribution of pathological image patterns in 3D image data
JP2008520317A (ja) 医療画像データ内の腫瘍境界を自動的に検出及び区分するシステム及び方法
KR20170046104A (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
KR102067340B1 (ko) 유방암 병변 특성에 따른 유방 종괴 생성 방법 및 그 시스템
WO2020016736A1 (en) Knockout autoencoder for detecting anomalies in biomedical images
KR20210013830A (ko) 의료용 인공 신경망의 분석 결과를 평가하는 의료용 인공 신경망 기반 의료 영상 분석 장치 및 방법
KR20190105461A (ko) 종양의 악성도와 악성도 추론의 근거를 제공하는 컴퓨터 보조 진단 시스템 및 그 방법
Chen et al. Alzheimer's disease diagnosis with brain structural mri using multiview-slice attention and 3D convolution neural network
CN116848588A (zh) 医学图像中的健康状况特征的自动标注
Ferreira et al. Interpretable models to predict Breast Cancer
KR102281988B1 (ko) 병변 해석을 위한 상호작용이 가능한 cad 방법 및 그 시스템
Gai et al. Applying a radiomics-based CAD scheme to classify between malignant and benign pancreatic tumors using CT images
GB2549459A (en) Method and apparatus for generating quantitative data for biliary tree structures
KR102223255B1 (ko) 유방 영상 보고 데이터 시스템을 이용한 딥 네트워크의 시각적 진단 해석 방법 및 시스템
Jurek et al. Syntactic pattern recognition-based diagnostics of fetal palates
US20210035676A1 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
GB2457022A (en) Creating a fuzzy inference model for medical image analysis
KR102515068B1 (ko) 기계학습을 이용한 유방암 림프절 전이 예측에 대한 정보 제공 방법
Ramasamy et al. A hybridized channel selection approach with deep convolutional neural network for effective ovarian cancer prediction in periodic acid‐Schiff‐stained images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right