KR102046240B1 - 병변 스크리닝 장치 및 방법 - Google Patents

병변 스크리닝 장치 및 방법 Download PDF

Info

Publication number
KR102046240B1
KR102046240B1 KR1020180002177A KR20180002177A KR102046240B1 KR 102046240 B1 KR102046240 B1 KR 102046240B1 KR 1020180002177 A KR1020180002177 A KR 1020180002177A KR 20180002177 A KR20180002177 A KR 20180002177A KR 102046240 B1 KR102046240 B1 KR 102046240B1
Authority
KR
South Korea
Prior art keywords
feature map
patch
lesion
dimensional
zoom
Prior art date
Application number
KR1020180002177A
Other languages
English (en)
Other versions
KR20190084426A (ko
Inventor
석흥일
김범채
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020180002177A priority Critical patent/KR102046240B1/ko
Publication of KR20190084426A publication Critical patent/KR20190084426A/ko
Application granted granted Critical
Publication of KR102046240B1 publication Critical patent/KR102046240B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

병변 스크리닝 장치 및 방법이 개시된다. 병변 스크리닝 방법은, 3차원 단층 영상을 입력받는 단계, 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계, 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계, 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계, 콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계, 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계 및 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함한다.

Description

병변 스크리닝 장치 및 방법{Apparatus and method for lesion screening}
본 발명은 병변 스크리닝 장치 및 방법에 관한 것이다.
폐암은 전세계적으로 높은 사망률을 보이는 질병으로, 흉부CT(computed tomography) 영상의 스크리닝을 통한 조기 검출이 생존률을 효과적으로 높일 수 있다. 그래서, 종래의 자동 폐결절 검출 시스템은 도 1에 도시된 바와 같이, 흉부 CT 영상을 이용하여 폐결절의 후보군을 검출하고, 후보군의 위양성을 분류한다. 이러한, 종래의 자동 폐결절 검출 시스템은 CT 영상의 스크리닝을 보조하기 위한 임상 의사결정 보조 시스템(Clinical Decision Support System)으로서, 기존 방사선의가 육안으로 검출하기 힘든 폐결절을 검출하여 스크리닝의 효율을 높일 수 있다.
그러나, 흉부 CT 스캔을 통해 관찰되는 폐결절은 그 복잡한 형태와 다양한 유사 기관으로 인해 높은 위양성 결절 검출율을 보인다. 또한, 폐결절 검출을 위해 영상 처리 방법과 기계학습 방법을 통해 폐결절을 자동으로 검출 하지만, 복잡한 단계를 통해 처리함으로 검출 속도가 느리다.
한편, 종래의 폐결절 검출 시스템은 위양성을 낮추기 위하여 다양한 방법으로 폐결절을 관찰하여 특징을 추출하고, 그 특징을 통합하는 방법을 사용하며, 물체를 실시간으로 검출하기 위하여 딥러닝을 통한 인공신경망의 프레임워크가 제안된 바 있다.
하지만, 기존의 인공신경망은 물체의 검출을 위해 위치 정보 추출과 해당 클래스 정보 추출을 다른 네트워크로 처리하기 때문에 시간이 걸렸다.
따라서, 위양성 결절 검출율을 낮추면서도, 실시간에 가까운(real-time-like) 속도로 정확히 검출하도록 폐결절 검출 시스템의 성능 향상이 요구된다.
미국등록특허 US 7020316
본 발명은 콘볼루션 신경망(CNN: convolutional neural network)을 이용한 딥러닝(Deep learning)을 통해 3차원 단층 영상으로부터 병변을 실시간으로 정확히 검출하는 병변 스크리닝 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법이 개시된다.
본 발명의 실시예에 따른 병변 스크리닝 방법은, 3차원 단층 영상을 입력받는 단계, 상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계, 상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계, 상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계, 콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 상기 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계, 상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계 및 상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함한다.
상기 후보 병변 영역을 3차원 패치로 추출하는 단계는, 상기 입력된 3차원 단층 영상을 미리 설정된 사이즈를 가지는 격자로 분할하는 단계, 상기 분할된 각 격자 영상으로부터 병변의 위치를 나타내는 특징맵(feature map)을 획득하는 단계, 상기 획득된 특징맵을 이용하여 격자 단위로 병변의 존재 여부를 확인하여 병변이 존재하는 격자를 검출하는 단계 및 상기 검출된 격자를 후보 병변 영역으로 추출하는 단계를 포함한다.
상기 3차원 패치로 추출되는 상기 후보 병변 영역은 회귀(regression) 알고리즘을 이용한 모델로 생성되며, 상기 생성된 모델은 딥러닝 인공신경망으로 학습된다.
상기 회귀 알고리즘은, 상기 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)의 최적값을 산출하는 손실함수로 나타내어진다.
상기 복수의 제1 3차원 다중 시야 패치를 추출하는 단계는, 상기 3차원 패치의 중심을 기준으로, 상기 3차원 패치의 크기보다 미리 설정된 크기만큼 일정하게 증가된 3차원 다중 시야 패치를 추출한다.
상기 복수의 제1 3차원 다중 시야 패치는 상기 3차원 패치 및 3차원 패치보다 더 넓은 시야를 가지는 3차원 패치들을 포함한다.
상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계는, 상기 복수의 제1 3차원 다중 시야 패치의 크기를 상기 3차원 패치의 크기로 일치시킨다.
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는, 상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산(concatenation)하여 상기 줌인 스트림 특징맵을 산출하는 단계 및 상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 좁은 시야의 3차원 패치로부터 가장 넓은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산하여 상기 줌아웃 스트림 특징맵을 산출하는 단계를 포함한다.
상기 복수의 제2 3차원 다중 시야 패치는, 가장 넓은 시야의 제1 패치, 중간 시야의 제2 패치 및 가장 좁은 시야의 제3 패치를 포함하며, 상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는, 상기 제1 패치로부터 제1 특징맵이 획득되고, 상기 제1 특징맵과 상기 제2 패치를 결합연산하여 제2 특징맵이 산출되고, 상기 제2 특징맵과 상기 제3 패치를 결합연산하여 상기 줌인 스트림 특징맵이 산출되는 단계를 포함한다.
상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는, 상기 제3 패치로부터 제3 특징맵이 획득되고, 상기 제3 특징맵과 상기 제2 패치를 결합연산하여 제4 특징맵이 산출되고, 상기 제4 특징맵과 상기 제1 패치를 결합연산하여 상기 줌아웃 스트림 특징맵이 산출되는 단계를 포함한다.
상기 분류 결과 정보는 상기 후보 병변 영역에 대한 병변 유무 정보 및 병변 위치 정보를 포함하되, 상기 병변 유무 정보는 병변인 경우의 병변인 확률값 또는 병변이 아닌 경우의 병변이 아닌 확률값을 포함하고, 상기 병변 위치 정보는 상기 후보 병변 영역을 나타내는 3차원 패치의 좌표정보, 너비, 높이 및 깊이를 포함한다.
본 발명의 다른 측면에 따르면, 병변 스크리닝 장치가 개시된다.
본 발명의 실시예에 따른 병변 스크리닝 장치는, 명령어를 저장하는 메모리 및 상기 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, 3차원 단층 영상을 입력받는 단계, 상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계, 상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계, 상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계, 콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 상기 조정된 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계, 상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계 및 상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함하는 병변 스크리닝 방법을 수행한다.
본 발명의 실시예에 따른 병변 스크리닝 장치 및 방법은, 콘볼루션 신경망(CNN: convolutional neural network)을 이용한 딥러닝(Deep learning)을 통해 3차원 단층 영상으로부터 병변을 실시간으로 정확히 검출함으로써, 신뢰도가 높은 검출 결과를 의사에게 제공하여 의사의 최종 진단에 도움을 줄 수 있다.
도 1은 폐결절 분류 영상의 예를 나타낸 도면.
도 2는 본 발명의 실시예에 따른 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법을 나타낸 흐름도.
도 3 내지 도 7은 도 2의 병변 스크리닝 방법을 설명하기 위한 도면.
도 8은 본 발명의 실시예에 따른 병변 스크리닝 장치의 구성을 개략적으로 예시한 도면.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술하겠다.
도 2는 본 발명의 실시예에 따른 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법을 나타낸 흐름도이고, 도 3 내지 도 7은 도 2의 병변 스크리닝 방법을 설명하기 위한 도면이다. 이하, 도 2를 중심으로 본 발명의 실시예에 따른 병변 스크리닝 방법에 대하여 설명하되, 도 3 내지 도 7을 참조하기로 한다.
S210 단계에서, 병변 스크리닝 장치는 3차원 단층 영상을 입력받는다. 예를 들어, 3차원 단층 영상은 환자의 흉부를 CT(computed tomography) 스캔하여 획득한 3차원 흉부 단층 영상일 수 있으며, 3차원 흉부 단층 영상은 병변 영역을 포함할 수 있다.
S220 단계에서, 병변 스크리닝 장치는 입력된 3차원 단층 영상에서 후보 병변 영역을 추출한다.
즉, 병변 스크리닝 장치는 도 2에 도시된 바와 같이 입력된 3차원 단층 영상을 미리 설정된 사이즈를 가지는 격자로 분할하고, 분할된 각 격자 영상으로부터 병변의 위치를 나타내는 특징맵(feature map)을 획득할 수 있다. 그리고, 병변 스크리닝 장치는 획득된 특징맵을 이용하여 격자 단위로 병변의 존재 여부 및/또는 위치를 확인하여 병변이 존재하는 격자를 검출하고, 검출된 격자를 후보 병변 영역으로 추출할 수 있다. 이때, 후보 병변 영역은 3차원 패치(patch)로 추출될 수 있다.
3차원 패치로 추출되는 후보 병변 영역은 회귀(regression) 알고리즘을 이용한 모델로 생성되며, 생성된 모델은 딥러닝 인공신경망으로 학습될 수 있다.
회귀 알고리즘은, 후보 병변 영역을 나타내는 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)(w, h, d)의 최적값을 산출하는 손실함수로 나타내어질 수 있다.
예를 들어, 3차원 흉부 단층 영상에서 후보 폐결절 영역을 추출하는 경우, 손실함수는 하기 수학식과 같이 나타낼 수 있다.
Figure 112018002018510-pat00001
여기서, G는 3차원 단층 영상을 G*G*G의 3차원 격자로 분할한 하나의 격자이고, λcoord는 좌표 데이터에 대한 가중치값이고, λLung는 폐영역에 대한 가중치값이고, 1 i nd는 해당 격자의 결절 유무를 표현하는 벡터이고, 1 i l는 해당 격자의 폐영역 유무를 표현하는 벡터이고, pi(c)는 해당 클래스의 예측 확률값이다.
S230 단계에서, 병변 스크리닝 장치는 추출된 후보 병변 영역을 기준으로 복수의 3차원 다중 시야 패치(patch)를 추출한다.
즉, 병변 스크리닝 장치는, 후보 병변 영역을 나타내는 3차원 패치의 중심을 기준으로, 후보 병변 영역을 나타내는 3차원 패치의 크기보다 미리 설정된 크기만큼 일정하게 증가된 3차원 다중 시야 패치를 추출한다. 그래서, 복수의 3차원 다중 시야 패치는 모두 후보 병변 영역을 포함하며, 후보 병변 영역을 나타내는 3차원 패치 및 3차원 패치보다 더 넓은 시야를 가지는 3차원 패치들을 포함하여 구성될 수 있다.
예를 들어, 도 4를 참조하면, 후보 병변 영역을 나타내는 3차원 패치가 20*20*6의 크기로 추출된 경우, 복수의 3차원 다중 시야 패치는 20*20*6 크기의 제1 3차원 패치(1), 30*30*10 크기의 제2 3차원 패치(2) 및 40*40*26 크기의 제3 3차원 패치(3)로 추출될 수 있다.
이와 같은 복수의 3차원 다중 시야 패치는 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치로 정렬되거나, 그 반대로 정렬될 수 있다.
S240 단계에서, 병변 스크리닝 장치는 추출된 복수의 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정한다.
즉, 병변 스크리닝 장치는 추출된 복수의 3차원 다중 시야 패치의 크기를 S220 단계에서 추출된 후보 병변 영역을 나타내는 3차원 패치의 크기로 일치시킨다. 이는 추출된 후보 병변 영역을 나타내는 최적의 3차원 패치의 스케일을 조정하지 않음으로써, 스케일 조정 중에 발생할 수 있는 정보 손실을 방지할 수 있다.
예를 들어, 도 4를 참조하면, 20*20*6 크기의 제1 3차원 패치(1)는 20*20*6 크기로 스케일 조정되고(S3 패치), 30*30*10 크기의 제2 3차원 패치(2)는 20*20*6 크기로 스케일 조정되고(S2 패치), 40*40*26 크기의 제3 3차원 패치(3)는 20*20*6 크기로 스케일 조정될 수 있다(S1 패치). 그래서, 스케일 조정되어 생성된 가장 넓은 시야, 중간 시야 및 가장 좁은 시야의 3차원 패치는 각각 S1 패치, S2 패치 및 S3 패치가 될 수 있다.
S250 단계에서, 병변 스크리닝 장치는 콘볼루션 신경망을 이용하여, 동일한 스케일로 조정된 복수의 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출한다.
즉, 병변 스크리닝 장치는 동일한 스케일로 조정된 복수의 3차원 다중 시야 패치 중에서 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산(concatenation:
Figure 112018002018510-pat00002
)하여 줌인 스트림 특징맵을 산출할 수 있다.
그리고, 병변 스크리닝 장치는 동일한 스케일로 조정된 복수의 3차원 다중 시야 패치 중에서 가장 좁은 시야의 3차원 패치로부터 가장 넓은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산하여 줌아웃 스트림 특징맵을 산출할 수 있다.
예를 들어, 도 6은 줌인 스트림 특징맵 산출 방법을 나타낸 도면이다. 도 6을 참조하면, S1, S2 및 S3가 각각 가장 넓은 시야, 중간 시야 및 가장 좁은 시야의 3차원 패치라고 가정하면, S1 패치, S2 패치 및 S3 패치가 순차적으로 콘볼루션 신경망에 입력되어 F123 줌인 스트림 특징맵이 산출될 수 있다.
즉, S1 패치로부터 F1 특징맵이 획득되고, F1 특징맵과 S2 패치를 결합연산하여 F12 특징맵이 산출되고, F12 특징맵과 S3 패치를 결합연산하여 최종적으로 F123 줌인 스트림 특징맵이 산출될 수 있다.
한편, 줌아웃 스트림 특징맵의 경우, S3 패치, S2 패치 및 S1 패치가 순차적으로 콘볼루션 신경망에 입력되어, F123 줌인 스트림 특징맵 산출 방법과 동일하게 F321 줌아웃 스트림 특징맵이 산출될 수 있다.
이와 같은 F123 줌인 스트림 특징맵 및 F321 줌아웃 스트림 특징맵의 산출 방법은 하기 수학식과 같이 나타낼 수 있다.
Figure 112018002018510-pat00003
이러한 F123 줌인 스트림 특징맵 및 F321 줌아웃 스트림 특징맵은 순차적으로 다른 시야를 가지는 패치 간에 병변 영역에 관한 문맥적 특징 정보를 포함한다. 즉, F123 줌인 스트림 특징맵은 병변 영역의 주변 영역에서 병변에 최적화된 스케일의 영역으로 시야를 집중하여 관찰할 때의 특징 정보를 포함한다. 반대로, F321 줌아웃 스트림 특징맵은 병변에 최적화된 스케일의 영역에서 주변 영역으로 시야를 확장해가며 관찰한 특징 정보를 포함한다.
S260 단계에서, 병변 스크리닝 장치는 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합한다.
예를 들어, 줌인 스트림 특징맵과 줌아웃 스트림 특징맵은 도 6에 도시된 바와 같이, Element-wise summation 방식을 이용하여 통합될 수 있다. Element-wise summation 방식은 검출된 후보 병변 영역에 대한 위양성 검출을 감소시키는데 우수한 방식이다.
줌인 스트림 특징맵과 줌아웃 스트림 특징맵의 통합은, 서로 반대되는 스트림에서 추출된 보완적인 정보가 통합되어 검출 성능을 향상시킬 수 있으며, 다중 스트림의 정보를 통합함으로써, 하나의 시스템으로 처리가 가능하다.
S270 단계에서, 병변 스크리닝 장치는 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공한다. 여기서, 분류 결과 정보는 각 후보 병변 영역에 대한 병변 유무 정보 및 위치 정보를 포함한다.
예를 들어, 도 7은 3차원 흉부 단층 영상에서 후보 폐결절 영역을 추출하는 경우의 각 후보 폐결절 영역에 대한 폐결절 유무 정보 및 위치 정보를 나타낸다. 도 7에 도시된 바와 같이, 폐결절 유무 정보는 폐결절인 경우의 폐결절인 확률값(P(ND): Probability of pulmonary nodule) 또는 폐결절이 아닌 경우의 폐결절이 아닌 확률값(P(NND): Probability of non-nodule)을 포함할 수 있다. 그리고, 폐결절 위치 정보는 후보 폐결절 영역을 나타내는 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)를 포함할 수 있다.
이와 같은 본 발명의 실시예에 따른 병변 스크리닝 방법의 단계들 중에서, S210 내지 S240 단계는 병변 영역에 대한 후보군을 검출하는 단계가 되고, 나머지 S250 내지 S270 단계는 추출된 후보군에 대한 위양성을 감소시키는 단계가 될 수 있다.
특히, 검출된 후보군에 대한 위양성을 감소시키는 S250 내지 S270 단계는 콘볼루션 신경망을 이용하여 수행될 수 있다.
예를 들어, 본 발명의 실시예에 따른 콘볼루션 신경망은 콘볼루션 레이어, 최대 풀링(Max pooling) 레이어, 드랍아웃(Dropout) 레이어 및 완전 연결(Fully connected) 레이어를 포함할 수 있다. 줌인 스트림 특징맵 및 줌아웃 스트림 특징맵을 산출하는 S250 단계는 콘보루션 레이어를 이용하여 수행될 수 있고, 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 S260 단계는 최대 풀링 레이어를 이용하여 수행될 수 있으며, 최종적으로 후보 병변 영역을 분류하는 S270 단계는 드랍아웃 레이어 및 완전 연결 레이어를 이용하여 수행될 수 있다. 드랍아웃 레이어 및 완전 연결 레이어를 통해 병변 유무에 따라 각 후보 병변 영역이 분류될 수 있다.
따라서, 위양성을 감소시키는 단계는, 복수의 3차원 다중 시야 패치의 순차적인 줌인 및 줌아웃을 통하여 정보를 추출하고, 이를 통합함으로써, 검출된 후보 병변 영역에 대한 위양성을 감소시킬 수 있다. 그리고, 후보군을 검출하는 단계와 위양성을 감소시키는 단계는 하나의 시스템으로 구현될 수 있어 후보군 검출부터 위양성 감소까지 실시간에 가까운 속도로 수행될 수 있다.
도 8은 본 발명의 실시예에 따른 병변 스크리닝 장치의 구성을 개략적으로 예시한 도면이다.
도 8을 참조하면, 본 발명의 실시예에 따른 병변 스크리닝 장치는 프로세서(10), 메모리(20), 통신부(30) 및 인터페이스(40)를 포함한다.
프로세서(10)는 메모리(20)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다.
메모리(20)는 다양한 유형의 휘발성 또는 비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리(20)는 ROM, RAM 등을 포함할 수 있다.
예를 들어, 메모리(20)는 본 발명의 실시예에 따른 병변 스크리닝 방법을 수행하는 명령어들을 저장할 수 있다.
통신부(30)는 통신망을 통해 다른 장치들과 데이터를 송수신하기 위한 수단이다.
인터페이스부(40)는 네트워크에 접속하기 위한 네트워크 인터페이스 및 사용자 인터페이스를 포함할 수 있다.
한편, 전술된 실시예의 구성 요소는 프로세스적인 관점에서 용이하게 파악될 수 있다. 즉, 각각의 구성 요소는 각각의 프로세스로 파악될 수 있다. 또한 전술된 실시예의 프로세스는 장치의 구성 요소 관점에서 용이하게 파악될 수 있다.
또한 앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 프로세서
20: 메모리
30: 통신부
40: 인터페이스부

Claims (12)

  1. 병변 스크리닝 장치에 의하여 수행되는 병변 스크리닝 방법에 있어서,
    3차원 단층 영상을 입력받는 단계;
    상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계;
    상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계;
    상기 추출된 복수의 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계;
    콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 동일한 스케일을 갖는 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계;
    상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계; 및
    상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함하는 병변 스크리닝 방법.
  2. 제1항에 있어서,
    상기 후보 병변 영역을 3차원 패치로 추출하는 단계는,
    상기 입력된 3차원 단층 영상을 미리 설정된 사이즈를 가지는 격자로 분할하는 단계;
    상기 분할된 각 격자 영상으로부터 병변의 위치를 나타내는 특징맵(feature map)을 획득하는 단계;
    상기 획득된 특징맵을 이용하여 격자 단위로 병변의 존재 여부를 확인하여 병변이 존재하는 격자를 검출하는 단계; 및
    상기 검출된 격자를 후보 병변 영역으로 추출하는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
  3. 제1항에 있어서,
    상기 3차원 패치로 추출되는 상기 후보 병변 영역은 회귀(regression) 알고리즘을 이용한 모델로 생성되며, 상기 생성된 모델은 딥러닝 인공신경망으로 학습되는 것을 특징으로 하는 병변 스크리닝 방법.
  4. 제3항에 있어서,
    상기 회귀 알고리즘은, 상기 3차원 패치의 좌표정보(x, y, z), 너비(width), 높이(height) 및 깊이(depth)의 최적값을 산출하는 손실함수로 나타내어지는 것을 특징으로 하는 병변 스크리닝 방법.
  5. 제1항에 있어서,
    상기 복수의 제1 3차원 다중 시야 패치를 추출하는 단계는,
    상기 3차원 패치의 중심을 기준으로, 상기 3차원 패치의 크기보다 미리 설정된 크기만큼 일정하게 증가된 3차원 다중 시야 패치를 추출하는 것을 특징으로 하는 병변 스크리닝 방법.
  6. 제5항에 있어서,
    상기 복수의 제1 3차원 다중 시야 패치는 상기 3차원 패치 및 3차원 패치보다 더 넓은 시야를 가지는 3차원 패치들을 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
  7. 제1항에 있어서,
    상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계는,
    상기 복수의 제1 3차원 다중 시야 패치의 크기를 상기 3차원 패치의 크기로 일치시키는 것을 특징으로 하는 병변 스크리닝 방법.
  8. 제1항에 있어서,
    상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는,
    상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 넓은 시야의 3차원 패치로부터 가장 좁은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산(concatenation)하여 상기 줌인 스트림 특징맵을 산출하는 단계; 및
    상기 복수의 제2 3차원 다중 시야 패치 중에서 가장 좁은 시야의 3차원 패치로부터 가장 넓은 시야의 3차원 패치까지 순차적으로, 각 패치와 각 패치로부터 획득된 특징맵을 결합연산하여 상기 줌아웃 스트림 특징맵을 산출하는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
  9. 제1항에 있어서,
    상기 복수의 제2 3차원 다중 시야 패치는, 가장 넓은 시야의 제1 패치, 중간 시야의 제2 패치 및 가장 좁은 시야의 제3 패치를 포함하며,
    상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는,
    상기 제1 패치로부터 제1 특징맵이 획득되고, 상기 제1 특징맵과 상기 제2 패치를 결합연산하여 제2 특징맵이 산출되고, 상기 제2 특징맵과 상기 제3 패치를 결합연산하여 상기 줌인 스트림 특징맵이 산출되는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
  10. 제9항에 있어서,
    상기 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 산출하는 단계는,
    상기 제3 패치로부터 제3 특징맵이 획득되고, 상기 제3 특징맵과 상기 제2 패치를 결합연산하여 제4 특징맵이 산출되고, 상기 제4 특징맵과 상기 제1 패치를 결합연산하여 상기 줌아웃 스트림 특징맵이 산출되는 단계를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
  11. 제1항에 있어서,
    상기 분류 결과 정보는 상기 후보 병변 영역에 대한 병변 유무 정보 및 병변 위치 정보를 포함하되,
    상기 병변 유무 정보는 병변인 경우의 병변인 확률값 또는 병변이 아닌 경우의 병변이 아닌 확률값을 포함하고,
    상기 병변 위치 정보는 상기 후보 병변 영역을 나타내는 3차원 패치의 좌표정보, 너비, 높이 및 깊이를 포함하는 것을 특징으로 하는 병변 스크리닝 방법.
  12. 병변 스크리닝 장치에 있어서,
    명령어를 저장하는 메모리; 및
    상기 명령어를 실행하는 프로세서를 포함하되,
    상기 명령어는,
    3차원 단층 영상을 입력받는 단계;
    상기 입력된 3차원 단층 영상에서 후보 병변 영역을 3차원 패치(patch)로 추출하는 단계;
    상기 3차원 패치를 기준으로 복수의 제1 3차원 다중 시야 패치를 추출하는 단계;
    상기 추출된 복수의 제1 3차원 다중 시야 패치의 크기를 동일한 스케일로 조정하는 단계;
    콘볼루션 신경망(CNN: convolutional neural network)을 이용하여, 동일한 스케일을 갖는 복수의 제2 3차원 다중 시야 패치를 줌인(zoom-in) 및 줌아웃(zoom-out)하여 줌인 스트림 특징맵(zoom-in stream feature map) 및 줌아웃 스트림 특징맵(zoom-out stream feature map)을 산출하는 단계;
    상기 산출된 줌인 스트림 특징맵과 줌아웃 스트림 특징맵을 통합하는 단계; 및
    상기 통합된 특징맵을 이용하여 후보 병변 영역을 분류하여 분류 결과 정보를 제공하는 단계를 포함하는 병변 스크리닝 방법을 수행하는 것을 특징으로 하는 병변 스크리닝 장치.


KR1020180002177A 2018-01-08 2018-01-08 병변 스크리닝 장치 및 방법 KR102046240B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180002177A KR102046240B1 (ko) 2018-01-08 2018-01-08 병변 스크리닝 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180002177A KR102046240B1 (ko) 2018-01-08 2018-01-08 병변 스크리닝 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190084426A KR20190084426A (ko) 2019-07-17
KR102046240B1 true KR102046240B1 (ko) 2019-11-18

Family

ID=67512985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180002177A KR102046240B1 (ko) 2018-01-08 2018-01-08 병변 스크리닝 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102046240B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308611B2 (en) * 2019-10-09 2022-04-19 Siemens Healthcare Gmbh Reducing false positive detections of malignant lesions using multi-parametric magnetic resonance imaging
KR102431173B1 (ko) * 2020-06-30 2022-08-10 연세대학교 산학협력단 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법
KR102530010B1 (ko) * 2020-12-16 2023-05-08 가천대학교 산학협력단 의료 영상 기반 질환 중증도 결정 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144964B1 (ko) 2010-10-21 2012-05-11 전남대학교산학협력단 간질성 폐질환 검출 시스템 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020316B2 (en) 2001-12-05 2006-03-28 Siemens Corporate Research, Inc. Vessel-feeding pulmonary nodule detection by volume projection analysis
KR100998630B1 (ko) * 2008-07-24 2010-12-07 울산대학교 산학협력단 폐질환 자동 분류 방법
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101144964B1 (ko) 2010-10-21 2012-05-11 전남대학교산학협력단 간질성 폐질환 검출 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20190084426A (ko) 2019-07-17

Similar Documents

Publication Publication Date Title
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
CN109685060B (zh) 图像处理方法和装置
CN110309860B (zh) 基于卷积神经网络对肺结节的恶性程度进行分类的方法
EP2518691B1 (en) Tree structure extraction apparatus, method and program
JP4999163B2 (ja) 画像処理方法および装置ならびにプログラム
US10210612B2 (en) Method and system for machine learning based estimation of anisotropic vessel orientation tensor
US20080247619A1 (en) Method, device and computer-readable recording medium containing program for extracting object region of interest
JP2018522622A (ja) 内視鏡および腹腔鏡のナビゲーションのためにシーン解析とモデル融合とを同時に行う方法およびシステム
KR102046240B1 (ko) 병변 스크리닝 장치 및 방법
JP2007524488A (ja) 画像中の発散勾配フィールド応答を用いるトボガン・ベースのオブジェクト・セグメンテーション用のシステムおよび方法
CN111242959B (zh) 基于卷积神经网络的多模态医学图像的目标区域提取方法
Tang et al. An end-to-end framework for integrated pulmonary nodule detection and false positive reduction
JP2011526508A (ja) 医療用画像の領域分割
US20230005140A1 (en) Automated detection of tumors based on image processing
KR102332032B1 (ko) 복부장기 자동분할을 이용한 복부장기 볼륨 변화 분석에 기반한 복부장기 상태 판단 방법
JP6716765B1 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム
KR102349515B1 (ko) 의료 영상에서 딥러닝에 기반한 종양 자동분할 방법
JPWO2010047324A1 (ja) 医用画像処理装置、及び医用画像処理方法
JP5055115B2 (ja) 識別方法、コンピュータプログラム及びコンピュータプログラム装置
US8224057B2 (en) Method and system for nodule feature extraction using background contextual information in chest x-ray images
CN114782759A (zh) 一种基于YOLOv5网络对密集遮挡鱼类的检测方法
JP2008503294A6 (ja) 識別方法、コンピュータプログラム及びコンピュータプログラム装置
US9672600B2 (en) Clavicle suppression in radiographic images
Xu et al. Mrdff: A deep forest based framework for ct whole heart segmentation
Han et al. Yolo-SG: Salience-guided detection of small objects in medical images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant