KR102583160B1 - X-ray 이미지의 노듈위치 결정방법 - Google Patents

Abstract

한 개의 X-ray 이미지로부터 복수 개의 패치들을 생성하는 단계, 상기 생성된 복수 개의 패치들을 제1신경망에 입력하여 출력된 출력값들 중 소정의 개수의 높은 값들만 선택해서 백을 구성하는 단계, 및 상기 백에 포함된 패치들을 제2신경망에 입력하여, 상기 백에 포함된 각 패치에 대한 출력값 중 가장 큰 값을 갖는 패치를 노듈이 있는 패치인 것으로 결정하는 단계를 포함하는, 노듈위치 결정방법이 공개된다.

Description

X-ray 이미지의 노듈위치 결정방법{Method for determining the position of the nodule in the X-ray image}

본 발명은 X-ray 이미지의 노듈위치 결정방법에 관한 기술로서, 특히 X-ray 이미지를 기반으로 복수 개의 패치를 생성하여 특정 패치에 노듈이 존재하는지를 결정하는 방법에 관한 것이다.

대한민국 등록특허('10-2375786')에는 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법에 대한 기술이 공개되어 있다.

상기 등록특허의 방법은, 신체 의료 영상을 수신하는 단계; 뉴럴 네트워크(Neural Network)모델인 병변 탐지 모델을 사용하여, 상기 수신된 신체 의료 영상으로부터 하나 이상의 병변을 검출하고 상기 병변 탐지 모델에 포함된 하나 이상의 서브모델을 사용하여 병변의 특징 정보를 생성하는 단계; 상기 수신된 신체 의료 영상 및 상기 병변의 특징 정보를 학습된 뉴럴 네트워크 모델인 해부학적 분석 모델에 입력하여, 상기 하나 이상의 병변에 대한 해부학적 위치 정보를 생성하는 단계; 및 상기 하나 이상의 병변에 대한 해부학적 위치 정보에 기초하여, 상기 수신된 신체 의료 영상에 대한 진단 결과를 생성하는 단계를 포함한다.

상기 등록특허와 같이, 영상/이미지를 판독하는 판독자가 직접 상기 영상/이미지에 병변/노듈이 존재하는지 그리고 어느 위치에 병변/노듈이 존재하는지를 판단하지 않고도, 의료 영상/의미지에 병변/노듈이 존재하는지 그리고 어느 위치에 병변/노듈이 존재하는지를 판단하는 기술이 요구된다.

본 발명에서는, X-ray 이미지의 복수 개의 패치들 중 노듈이 존재하는 패치를 결정하는 방법을 제공하고자 한다.

본 발명의 일 관점에 따라 제공되는 노듈위치 결정방법은, 한 개의 X-ray 이미지로부터 추출된 복수 개의 패치들을 각각 제1신경망에 입력하는 단계; 상기 복수 개의 패치들에 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 제1세트의 출력값들을 선택하는 단계; 상기 복수 개의 패치들 중 상기 선택된 제1세트의 출력값들에 대응하는 제1세트의 패치들을 제2신경망에 입력하는 단계; 상기 제1세트의 패치들 각각에 대하여 상기 제2신경망이 출력한 제2세트의 출력값들 중 제2출력값을 선택하는 단계; 상기 제1세트의 패치들 중 상기 제2출력값에 대응하는 제2패치를 노듈이 포함된 패치인 것으로 결정하는 단계를 포함할 수 있다.

이때, 상기 제1세트의 출력값들을 선택하는 단계는, 상기 제1신경망이 출력한 복수 개의 출력값들 중 가장 큰 값을 갖는 소정 개수의 출력값들을 선택하는 제1조건에 따라 수행되고, 상기 제2출력값을 선택하는 단계는, 상기 제2신경망이 출력한 제2세트의 출력값들 중 소정의 제2기준값 이상의 값을 갖는 출력값을 선택하는 제2조건에 따라 수행될 수 있다.

이때, 상기 제1세트의 패치들은 미리 결정된 L개의 패치들로 구성되며, 상기 제1신경망은 한 개의 패치를 입력으로 받도록 되어 있고, 상기 제1신경망은 상기 한 개의 패치에 노듈이 있을 확률에 관한 1개의 값을 출력하도록 되어 있고, 상기 제2신경망은 상기 제1세트의 패치들을 구성하는 L개의 패치들을 입력으로 받도록 되어 있고, 그리고 상기 제2신경망은, 상기 제1세트의 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들, 및 상기 제1세트의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관한 1개의 값을 출력하도록 되어 있을 수 있다.

이때, 상기 제1세트의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률이 소정의 기준값보다 작은 경우에는, 상기 제1세트의 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들과 관계없이, 상기 제1세트의 패치들에는 노듈이 포함되지 않은 것으로 결정하도록 되어 있을 수 있다.

이때, 상기 제1신경망은 한 개의 패치를 입력으로 받도록 되어 있고, 그리고 상기 한 개의 패치에 노듈이 있을 확률에 관한 1개의 값을 출력하도록 되어 있으며, 그리고 상기 제1신경망은 지도학습된 것이며, 상기 제1신경망을 지도학습하는 방법은, 제1 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들을 학습용 입력정보로 하고 상기 복수 개의 학습용 패치들 각각에 노듈이 포함되어 있는지 여부에 대한 값을 레이블로 하여 상기 제1신경망을 지도학습하는 방법이며, 상기 추출된 복수 개의 학습용 패치들 각각에 노듈이 포함되어 있는지 여부에 대한 정보는 미리 준비되어 있을 수 있다.

이때, 상기 제2신경망은 L개의 패치들을 입력으로 받도록 되어 있고, 그리고 상기 L개의 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들, 및 상기 L개의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관한 1개의 값을 출력하도록 되어 있고, 상기 L개의 값들은 각각 상기 L개의 패치들 각각에 대응하며, 상기 제2신경망은 지도학습된 것일 수 있다.

이때, 상기 제2신경망을 지도학습하는 방법은, 노듈이 포함되어 있지 않은 제2 X-ray 이미지를 준비하는 단계; 상기 제2 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들 각각을 상기 제1신경망에 입력하는 단계; 상기 복수 개의 학습용 패치들 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 L개의 출력값들로 구성되는 제1세트의 학습용 출력값들을 선택하는 단계; 상기 복수 개의 학습용 패치들 중 상기 선택된 제1세트의 학습용 출력값들에 대응하는 제1세트의 학습용 패치들을 상기 제2신경망에 입력하는 단계; 상기 제1세트의 학습용 패치들 각각에 대하여 상기 제2신경망이 출력한 각각의 값과, 해당하는 학습용 패치에 노듈이 포함되어 있지 않음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계; 상기 제1세트의 학습용 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 상기 제2신경망이 출력한 값과, 상기 제1세트의 학습용 패치들에는 노듈이 포함되어 있지 않음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계를 포함할 수 있다.

이때, 상기 제2신경망을 지도학습하는 방법은, 노듈이 포함되어 있으며, 상기 노듈의 위치가 알려져 있는 제3 X-ray 이미지를 준비하는 단계; 상기 제3 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들 각각을 상기 제1신경망에 입력하는 단계; 상기 복수 개의 학습용 패치들 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 L개의 출력값들로 구성되는 제1세트의 학습용 출력값들을 선택하는 단계; 상기 복수 개의 학습용 패치들 중 상기 선택된 제1세트의 학습용 출력값들에 대응하는 제1세트의 학습용 패치들을 상기 제2신경망에 입력하는 단계; 상기 제1세트의 학습용 패치들 중 노듈이 포함되어 있지 않은 학습용 패치들 각각에 대하여 상기 제2신경망이 출력한 각각의 값과, 해당하는 학습용 패치에 노듈이 포함되어 있지 않음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계; 상기 제1세트의 학습용 패치들 중 노듈이 포함되어 있는 학습용 패치들 각각에 대하여 상기 제2신경망이 출력한 각각의 값과, 해당하는 학습용 패치에 노듈이 포함되어 있음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계; 상기 제1세트의 학습용 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 상기 제2신경망이 출력한 값과, 상기 제1세트의 학습용 패치들에는 노듈이 포함되어 있음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계를 포함할 수 있다.

이때, 상기 제2신경망을 지도학습하는 방법은, 노듈이 포함되어 있으며, 상기 노듈의 위치가 알려져 있지 않은 제4 X-ray 이미지를 준비하는 단계; 상기 제4 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들 각각을 상기 제1신경망에 입력하는 단계; 상기 복수 개의 학습용 패치들 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 L개의 출력값들로 구성되는 제1세트의 학습용 출력값들을 선택하는 단계; 상기 복수 개의 학습용 패치들 중 상기 선택된 제1세트의 학습용 출력값들에 대응하는 제1세트의 학습용 패치들을 상기 제2신경망에 입력하는 단계; 상기 제1세트의 학습용 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 상기 제2신경망이 출력한 값과, 상기 제1세트의 학습용 패치들에는 노듈이 포함되어 있음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계를 포함할 수 있다.

본 발명에 따르면, X-ray 이미지의 복수 개의 패치들 중 노듈이 존재하는 패치를 결정하는 방법을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 노듈위치 결정방법의 단계를 설명하기 위한 순서도이다.
도 2는 도 1의 단계(S10)를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 실제 X-ray 이미지 및 패치 노듈 존재 여부 표를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따라 제1신경망을 학습하는 방법에 대해 설명하기 위한 도면이다.
도 5는 본 본 발명의 일 실시예에 따라 제1신경망을 학습하는 방법에 대한 순서도이다.
도 6은 도 3에 나타낸 X-ray 이미지에 일부 패치들을 표시한 것이다.
도 7은 본 발명의 일 실시예에 따라 X-ray 이미지의 종류에 따른 백을 생성하는 방법을 설명하기 위한 도면이다.
도 8a는 본 발명의 일 실시예에 따라 X-ray 이미지가 노듈 위치가 확보된 이미지인 경우 백을 생성하는 방법을 설명하기 위한 도면이다.
도 8b는 본 발명의 일 실시예에 따라 X-ray 이미지가 노듈이 없는 이미지인 경우 백을 생성하는 방법을 설명하기 위한 도면이다.
도 8c는 본 발명의 일 실시예에 따라 X-ray 이미지가 노듈이 있으나 위치를 모르는 이미지인 경우 백을 생성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 제2신경망을 학습하는 방법에 대해 설명하기 위한 도면이다.
도 10은 본 본 발명의 일 실시예에 따라 제1신경망을 학습하는 방법에 대한 순서도이다.
도 11a는 도 8a의 백의 패치들이 제2신경망에 입력된 경우를 나타낸 것이다.
도 11b는 도 8b의 백의 패치들이 제2신경망에 입력된 경우를 나타낸 것이다.
도 11c는 도 8c의 백의 패치들이 제2신경망에 입력된 경우를 나타낸 것이다.
도 12는 본 발명의 일 실시예에 따른 제2신경망의 정답값들을 표로 나타낸 것이다.
도 13은 본 발명의 일 실시예에 따라 노듈위치 결정방법을 설명하기 위한 도면이다.
도 14는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 구조 및 기능을 나타낸 것이다.

이하, 본 발명의 실시예를 첨부한 도면을 참고하여 설명한다. 그러나 본 발명은 본 명세서에서 설명하는 실시예에 한정되지 않으며 여러 가지 다른 형태로 구현될 수 있다. 본 명세서에서 사용되는 용어는 실시예의 이해를 돕기 위한 것이며, 본 발명의 범위를 한정하고자 의도된 것이 아니다. 또한, 이하에서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다.

도 1은 본 발명의 일 실시예에 따른 노듈위치 결정방법의 단계를 설명하기 위한 순서도이다.

노듈위치 결정방법은 단계(S10) 내지 단계(S30)를 포함할 수 있다.

단계(S10)에서, 한 개의 X-ray 이미지로부터 복수 개의 패치들을 생성(또는 추출)할 수 있다.

단계(S20)에서, 상기 생성된 복수 개의 패치들을 제1신경망에 입력하여 출력된 출력값들 중 가장 큰 값을 갖는 소정의 개수의 출력값들만 선택해서 백(bag, 후보들로 구성된 백)을 구성할 수 있다. 이때, 상기 제1신경망은 학습이 완료된 신경망일 수 있다. 그리고 상기 백은 그룹 또는 주머니의 개념일 수 있다. 이때, 상기 출력값들 중 상기 소정의 개수의 출력값들을 제1세트의 출력값들로 지칭할 수 있다. 이때, 상기 출력값들 중 가장 큰 값을 갖는 소정의 개수의 출력값들을 선택하는 것을 제1조건이라고 지칭할 수 있다.

단계(S30)에서, 상기 백에 포함된 패치들을 제2신경망에 넣어, 상기 백에 포함된 각 패치에 대한 출력값 중 소정의 제2기준값 이상의 값을 갖는 패치를 노듈이 있는 패치인 것으로 결정할 수 있다. 이때, 상기 제2신경망은 학습이 완료된 신경망일 수 있다. 이때, 상기 백에 포함된 패치들을 제1세트의 출력값들에 대응하는 제1세트의 패치들이라고 지칭할 수 있다. 그리고 상기 제2신경망이 출력한 패치들에 대한 각각의 출력값들을 제2세트의 출력값들이라고 지칭할 수 있다. 이때, 상기 제2세트의 출력값들 중 상기 소정의 제2기준값 이상의 값을 갖는 출력값을 제2출력값이라고 했을 때, 상기 제2출력값에 대응하는 제2패치를 노듈이 포함된 패치인 것으로 결정할 수 있다.

이때, 상기 각 패치에 대한 출력값 중 소정의 제2기준값 이상의 값을 갖는 출력값을 선택하는 것을 제2조건이라고 지칭할 수 있다.

이때, 단계(S30)에서, 각 패치에 대한 출력값 중 소정의 제2기준값 이상의 값을 갖는 패치를 노듈이 있는 패치인 것으로 결정하기 위해, 단계(S10)에서의 상기 한 개의 X-ray 이미지는 노듈이 있음을 알고 있는 이미지일 수 있다.

이때, 상기 소정의 제2기준값에 따라, 상기 백에 포함된 패치들 중 하나의 패치가 노듈이 있는 패치인 것으로 결정될 수도 있고, 상기 백에 포함된 패치들 중 두 개의 패치 또는 모든 패치에 노듈이 있는 패치인 것으로 결정될 수도 있다.

도 2는 도 1의 단계(S10)를 설명하기 위한 도면이다.

X-ray 이미지(20)는 복수 개의 패치(30)들로 구분될 수 있다. 이때, 복수 개의 패치(30)들은 서로 겹치지 않도록 이웃한 패치들의 모서리가 서로 맞닿게 배치될 수도 있고, 이웃한 패치들의 면적이 일부 겹쳐지도록 배치될 수도 있다.

이때, 임의의 패치(30)의 크기는 p1*p2이며, 하나의 X-ray 이미지(20) 내의 패치(30)의 개수는 M개일 수 있다.

이러한 X-ray 이미지(20)들을 복수 개(예컨대, N개) 획득할 수 있다.

따라서 복수 개의 X-ray 이미지(20)들을 통해 생성할 수 있는 패치(30)들의 개수는 총 M*N 개일 수 있다.

이때, 하나의 패치(30)는 복수 개의 픽셀(pixel1, pixel2, ...)을 포함할 수도 있고 하나의 픽셀을 포함할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 실제 X-ray 이미지 및 패치의 노듈 존재 여부 표를 나타낸 것이다.

도 3의 (a)는 X-ray 이미지를 나타낸 것이다. X-ray 이미지(21)는 노듈이 있는 X-ray 이미지일 수 있다. X-ray 이미지(21)에 대해 이웃한 패치들의 면적 일부가 겹치는 방식으로 복수 개의 패치들을 생성할 수 있다.

이때, X-ray 이미지(21)는 노듈이 있으며, 노듈의 위치에 대한 정보가 확보된 이미지(노듈 위치 확보 이미지)일 수 있다. 이 경우, 패치들 각각의 노듈 존재 여부는 예컨대, 일('1') 또는 영('0')으로 저장되어 있을 수 있다. 또는 노듈의 존재 여부를 나타내는 다른 값으로 저장되어 있을 수 있다.

또는 X-ray 이미지(21)는 노듈이 없는 이미지(노듈이 없는 이미지)일 수 있다. 이 경우, 패치들 각각의 노듈 존재 여부는 예컨대, 영(0)으로 저장되어 있을 수 있다.

또는 X-ray 이미지(21)는 노듈이 있는 이미지이지만, 패치들 각각의 노듈 존재 여부에 대한 정보가 확보되지 않은 이미지(노듈 위치 모르는 이미지)일 수 있다.

도 3의 (b)는 노듈 위치를 확보한 이미지에 대하여, 각 패치에 대한 노듈 존재 여부를 표로 나타낸 것이다. 도시하진 않았지만, 마찬가지로 노듈이 없는 이미지의 표에는 각 패치에 대한 노듈 존재 여부가 모두 영('0')으로 표시될 수 있다.

본 발명에서는 노듈이 있지만 노듈 위치를 모르는 이미지에 대하여, 복수 개의 패치들 중 임의의 패치에 노듈이 있는지 없는지 결정하는 방법을 제공하고자 한다.

도 4는 본 발명의 일 실시예에 따라 제1신경망을 학습하는 방법에 대해 설명하기 위한 도면이다.

제1신경망(40)은 한 개의 패치(31)를 입력으로 받도록 되어 있고, 제1신경망(40)은 상기 한 개의 패치(31)에 노듈이 있을 확률에 관한 1개의 값(OUT)을 출력하도록 되어 있을 수 있다.

도 5는 본 본 발명의 일 실시예에 따라 제1신경망을 지도학습하는 방법에 대한 순서도이다.

이하, 도 2, 도 4, 및 도 5를 함께 참조하여 설명한다.

단계(S110)에서, 제1X-ray 이미지(20)로부터 복수 개의 제1패치들(30)을 생성할 수 있다.

단계(S120)에서, 상기 복수 개의 제1패치들(30) 중 임의의 제1패치(31)를 상기 제1신경망(40)에 입렵하였을 때에 상기 제1신경망(40)이 상기 임의의 제1패치(31)에 노듈이 있는지 여부에 대한 값(OUT)을 출력하도록, 상기 복수 개의 제1패치들(30)을 학습용 입력정보로 하고 상기 복수 개의 제1패치들(30) 각각에 대한 노듈의 존재 여부에 대한 값(노듈이 포함되어 있는지 여부에 대한 값, 정답값)을 레이블로 하여 상기 제1신경망(40)을 학습할 수 있다. 이때, 상기 제1패치들을 학습용 패치들이라고 지칭할 수 있다.

예컨대, 제1패치(31)는 노듈이 있는 패치일 수 있다. 이 경우, 제1패치(31)에 대한 노듈의 존재 여부에 대한 정답값은 예컨대 '1' 로 미리 준비된다. 제1패치(31)가 제1신경망(40)에 입력되어 노듈이 있는지 여부에 대한 (확률)값이 0.8이 나왔다고 가정해보자. 제1신경망(40)은 제1패치(31)가 제1신경망(40)에 입력되었을 때 노듈이 있는지 여부에 대한 값을 '1'로 출력하도록 학습될 수 있다.

예컨대, 제1패치(31)는 노듈이 없는 패치일 수 있다. 이 경우, 제1패치(31)에 대한 노듈의 존재 여부에 대한 정답값은 '0' 으로 준비된다. 제1패치(31)가 제1신경망(40)에 입력되어 노듈이 있는지 여부에 대한 (확률)값이 0.3이 나왔다고 가정해보자. 제1신경망(40)은 제1패치(31)가 제1신경망(40)에 입력되었을 때 노듈이 있는지 여부에 대한 값을 '0' 으로 출력하도록 학습될 수 있다.

도 6은 도 3에 나타낸 X-ray 이미지에 일부 패치들을 표시한 것이다.

도 4의 제1신경망(40)이 학습이 완료되어, 도 3의 X-ray 이미지(21)의 복수 개의 패치들을 제1신경망(40)에 입력했을 때 출력되는 값들 중 값이 제일 큰 L개의 패치들을 선정할 수 있다.

X-ray 이미지(21) 상에 표시된 10개의 패치들(30)은 이러한 과정을 거쳐 선정된 패치들일 수 있다. 이때, L=10일 수 있다. 이때, 상기 10개의 패치들은 하나의 백(bag, 후보들로 구성된 백)에 포함될 수 있다.

이하, X-ray 이미지의 종류에 따라 백을 생성하는 방법에 대해 설명한다.

도 7은 본 발명의 일 실시예에 따라 X-ray 이미지의 종류에 따른 백을 생성하는 방법을 설명하기 위한 도면이다.

제1신경망(40)은 상술한 바와 같이 복수 개의 X-ray 이미지들을 이용하여 학습될 수 있다.

학습이 완료된 제1신경망(40)에는 다시 X-ray 이미지들을 기반으로 생성된 패치들이 입력될 수 있다.

구체적으로 X-ray 이미지들은 노듈 위치가 확보된 이미지들(즉, 노듈의 위치가 알려져 있는 이미지들)(S), 노듈이 없는(포함되어 있지 않은) 이미지들(H), 및 노듈이 있으나 위치를 모르는 이미지들(즉, 노듈의 위치가 알려져 있지 않은 이미지들)(W)일 수 있다.

노듈 위치가 확보된 이미지들(S), 노듈이 없는 이미지들(H), 및 노듈이 있으나 위치를 모르는 이미지들(W) 각각에 대하여 패치들(31, 32, 33)이 생성될 수 있다. 패치들(31, 32, 33)은 학습이 완료된 제1신경망(40)에 입력될 수 있다.

각 이미지당 출력값이 가장 큰 상위 L개(예컨대, 3개)를 묶어 하나의 백을 생성할 수 있다.

예컨대, 이미지(S, 210)에 대한 백(610), 이미지(S, 211)에 대한 백(611), ..., 이미지(H, 220)에 대한 백(620), 이미지(H, 221)에 대한 백(621), ..., 이미지(W, 230)에 대한 백(630), 이미지(W, 231)에 대한 백(631), ...을 생성할 수 있다.

도 8a는 본 발명의 일 실시예에 따라 X-ray 이미지가 노듈 위치가 확보된 이미지인 경우 백을 생성하는 방법을 설명하기 위한 도면이다.

도 7 및 도 8a를 함께 참조하면, 이미지(S, 210)에 대한 패치들이 순차적으로 학습이 완료된 제1신경망(40)에 입력되어 출력된 확률값들을 값이 큰 순서대로 나열하면 표(T2)와 같을 수 있다. L=3인 경우를 가정해보자. M개의 패치들의 확률값들 중 첫 번째로 가장 큰 확률값은 0.99로 패치(pa16)의 확률값일 수 있다. 두 번째로 가장 큰 확률값은 0.2로 패치(pa17)의 확률값일 수 있다. 세 번째로 가장 큰 확률값은 0.1로 패치(pa20)의 확률값일 수 있다. 패치(pa16), 패치(pa17), 및 패치(pa20)는 이미지(S, 210)에 매핑된 백(610)에 포함될 수 있다.

도 8b는 본 발명의 일 실시예에 따라 X-ray 이미지가 노듈이 없는 이미지인 경우 백을 생성하는 방법을 설명하기 위한 도면이다.

도 7 및 도 8b를 함께 참조하면, 이미지(H, 220)에 대한 패치들이 순차적으로 학습이 완료된 제1신경망(40)에 입력되어 출력된 확률값들을 값이 큰 순서대로 나열하면 표(T3)와 같을 수 있다. L=3인 경우를 가정해보자. M개의 패치들의 확률값들 중 첫 번째로 가장 큰 확률값은 0.1로 패치(pa122)의 확률값일 수 있다. 두 번째로 가장 큰 확률값은 0.02로 패치(pa119)의 확률값일 수 있다. 세 번째로 가장 큰 확률값은 0.015로 패치(pa101)의 확률값일 수 있다. 패치(pa122), 패치(pa119), 및 패치(pa101)는 이미지(H, 220)에 매핑된 백(620)에 포함될 수 있다.

도 8c는 본 발명의 일 실시예에 따라 X-ray 이미지가 노듈이 있으나 위치를 모르는 이미지인 경우 백을 생성하는 방법을 설명하기 위한 도면이다.

도 7 및 도 8c를 함께 참조하면, 이미지(W, 230)에 대한 패치들이 순차적으로 학습이 완료된 제1신경망(40)에 입력되어 출력된 확률값들을 값이 큰 순서대로 나열하면 표(T4)와 같을 수 있다. L=3인 경우를 가정해보자. M개의 패치들의 확률값들 중 첫 번째로 가장 큰 확률값은 0.95로 패치(pa241)의 확률값일 수 있다. 두 번째로 가장 큰 확률값은 0.8로 패치(pa242)의 확률값일 수 있다. 세 번째로 가장 큰 확률값은 0.6으로 패치(pa230)의 확률값일 수 있다. 패치(pa241), 패치(pa242), 및 패치(pa230)는 이미지(W, 230)에 매핑된 백(630)에 포함될 수 있다.

도 9는 본 발명의 일 실시예에 따라 제2신경망을 학습하는 방법에 대해 설명하기 위한 도면이다.

제2신경망(50)은 제1세트의 패치들을 구성하는 L개의 패치들(b_pa)을 입력으로 받도록 되어 있을 수 있다. 그리고 제2신경망(50)은, 상기 제1세트의 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들, 및 상기 제1세트의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관한 1개의 값을 출력하도록 되어 있을 수 있다. 이때, 상기 L개의 값들은 상기 L개의 패치들 각각에 대응할 수 있다.

도 10은 본 본 발명의 일 실시예에 따라 제1신경망을 학습하는 방법에 대한 순서도이다.

이하, 도 7 내지 도 10을 함께 참조하여 설명한다.

단계(S210)에서, 학습이 완료된 상기 제1신경망(40)에서 출력된 제1패치들에 대한 출력값들 중 가장 큰 값을 갖는 소정의 개수(예컨대, 3개)의 출력값들에 대한 제10패치들을 선택해서 제1백을 구성할 수 있다.

단계(S220)에서, 상기 제1백에 포함된 제10패치들을 제2신경망(50)에 입력하였을 때에 상기 제2신경망(50)이 상기 제10패치들 각각에 대해 노듈이 있을 확률(pb), 및 상기 제2신경망에 입력된 상기 제10패치들 중 적어도 하나에 노듈이 있을 확률(pb)을 출력하도록, 상기 제10패치들을 학습용 입력정보로 하고 상기 제10패치들 각각의 노듈 존재 여부에 대한 미리 획득한 정답값들, 및/또는 상기 제10패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값을 레이블로 하여 상기 제2신경망(50)을 학습할 수 있다.

도 11a는 도 8a의 백의 패치들이 제2신경망에 입력된 경우를 나타낸 것이다.

도 12는 본 발명의 일 실시예에 따른 제2신경망의 정답값들을 표로 나타낸 것이다.

도 8a, 도 10, 도 11a, 및 도 12를 함께 참조하여 설명한다.

도 11a의 경우는 X-ray 이미지가 노듈의 위치에 대한 정보를 갖고 있는 이미지, 즉 노듈이 포함되어 있으며 상기 노듈의 위치가 알려져 있는 이미지(S)인 경우이다.

백(610)의 패치들(pa16, pa17, pa20)은 제2신경망(50)에 입력될 수 있다.

제2신경망(50)은 패치(pa16)에 대해 노듈이 있을 확률(pb16), 패치(pa17)에 대해 노듈이 있을 확률(pb17), 패치(pa20)에 대해 노듈이 있을 확률(pb20), 백(610)의 패치들(pa16, pa17, pa20) 중 적어도 하나에 노듈이 있을 확률(pb610)을 출력할 수 있다.

앞서 살펴본 바와 같이, 이미지(S)의 경우 패치별 노듈의 존재 여부에 대한 미리 획득한 정답값, 및 백(610)의 패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값을 알고 있다. 즉, 패치(pa16, 제11패치), 패치(pa17, 제12패치), 패치(pa20, 제13패치)에 대한 정답값은 각각 '1'이고, 백(610, 제11백)의 패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값도 '1' 일 수 있다. 따라서, 제2신경망(50)의 출력값들(0.99, 0.2, 0.1, 0.98)과 상기 정답값들(1, 0, 0, 1)의 오차가 줄어들도록 제2신경망(50)이 학습될 수 있다.

구체적으로, 백(610)의 패치들 중 노듈이 포함되어 있지 않은 학습용 패치들(pa17, pa20) 각각에 대하여 제2신경망(50)이 출력한 각각의 값(0.2, 0.1)과, 해당하는 학습용 패치에 노듈이 포함되어 있지 않음을 나타내는 값(0, 0) 간의 오차를 줄이도록 제2신경망(50)이 지도학습될 수 있다.

그리고 백(610)의 패치들 중 노듈이 포함되어 있는 학습용 패치들(pa16) 각각에 대하여 제2신경망(50)이 출력한 각각의 값(0.99)과, 해당하는 학습용 패치(pa16)에 노듈이 포함되어 있음을 나타내는 값(1) 간의 오차를 줄이도록 제2신경망(50)이 지도학습될 수 있다.

마지막으로, 백(610)의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 제2신경망(50)이 출력한 값(0.98)과, 백(610)의 패치들에는 노듈이 포함되어 있음을 나타내는 값(1) 간의 오차를 줄이도록 제2신경망(50)이 지도학습될 수 있다.

도 11b는 도 8b의 백의 패치들이 제2신경망에 입력된 경우를 나타낸 것이다.

도 11b의 경우는 X-ray 이미지가 노듈이 없는(포함되어 있지 않은) 이미지(H)인 경우이다.

백(620)의 패치들(pa122, pa119, pa101)은 제2신경망(50)에 입력될 수 있다.

제2신경망(50)은 패치(pa122)에 대해 노듈이 있을 확률(pb122), 패치(pa119)에 대해 노듈이 있을 확률(pb119), 패치(pa101)에 대해 노듈이 있을 확률(pb101), 백(620)의 패치들(pa122, pa119, pa101) 중 적어도 하나에 노듈이 있을 확률(pb620)을 출력할 수 있다.

앞서 살펴본 바와 같이, 이미지(H)의 경우 패치별 노듈의 존재 여부에 대한 미리 획득한 정답값, 및 백(620)의 패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값을 알고 있다. 즉, 패치(pa122, 제11패치), 패치(pa119, 제12패치), 패치(pa101, 제13패치)에 대한 정답값은 각각 '0'이고, 백(620, 제11백)의 패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값도 '0' 일 수 있다. 따라서, 제2신경망(50)의 출력값들(0.2, 0.15, 0.1, 0.1)과 상기 정답값들(0, 0, 0, 0)의 오차가 줄어들도록 제2신경망(50)이 지도학습될 수 있다.

도 11c는 도 8c의 백의 패치들이 제2신경망에 입력된 경우를 나타낸 것이다.

도 11c의 경우는 X-ray 이미지가 노듈이 있는 이미지(W)이지만, 패치들 중 어느 위치에 노듈이 위치하는지에 대한 정보가 없는 경우이다.

백(630)의 패치들(pa241, pa242, pa230)은 제2신경망(50)에 입력될 수 있다.

제2신경망(50)은 패치(pa241)에 대해 노듈이 있을 확률(pb241), 패치(pa242)에 대해 노듈이 있을 확률(pb242), 패치(pa230)에 대해 노듈이 있을 확률(pb230), 백(630)의 패치들(pa241, pa242, pa230) 중 적어도 하나에 노듈이 있을 확률(pb630)을 출력할 수 있다.

앞서 살펴본 바와 같이, 이미지(W)의 경우 패치별 노듈의 존재 여부에 대한 미리 정해진 정답값, 및 백(630)의 패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값을 모른다. 그러나 백(630)에 포함되는 패치들은 노듈이 존재할 확률이 높은 패치들이므로 적어도 하나에 노듈이 있을 확률은 '1' 이라고 가정할 수 있다. 따라서, 백(630, 제11백)의 패치들 중 적어도 하나에 노듈이 있을 확률을 나타내는 정답값을 '1' 로 고정하여 상기 정답값을 레이블로 하여 제2신경망(50)을 학습시킬 수 있다.

즉, 백(630)의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 제2신경망(50)이 출력한 값(0.9)과, 백(630)의 패치들에는 노듈이 포함되어 있음을 나타내는 값(1) 간의 오차를 줄이도록 상기 제2신경망이 지도학습될 수 있다.

이때, 제2신경망(50)에서 출력되는 패치들에 대한 출력값들(0.95, 0.9, 0.6) 중 소정의 제2기준값(예컨대, 0.9) 이상의 값을 갖는 출력값(pb241=0.95, pb242=0.9)을 갖는 패치(예컨대, pa241, pa242)에 노듈이 있다고 판단할 수 있다.

도 13은 본 발명의 일 실시예에 따라 노듈위치 결정방법을 설명하기 위한 도면이다.

도 1에서 상술한 바와 같이, 학습이 완료된 제2신경망(50)은 학습이 완료된 제1신경망(40)을 거쳐 생성된 백(예컨대, 630)에 포함된 모든 패치들(pa241, pa242, pa230)을 입력으로 하고 상기 백(630)에 포함된 각 패치에 대하여 노듈이 있을 확률(pb241, pb242, pb230), 상기 백(630)에 포함된 패치들(pa241, pa242, pa230) 중 적어도 하나에 노듈이 있을 확률(pb630)을 출력값으로 할 수 있다.

이때, 상기 백에 포함된 패치들 중 적어도 하나에 노듈이 있을 확률에 따라 상기 백에 포함된 각 패치에 대한 출력값 중 소정의 제2기준값 이상의 값을 갖는 패치를 노듈이 있는 패치로 결정할 것인지의 여부를 결정할 수 있다.

예컨대, 상기 백에 포함된 패치들 중 적어도 하나에 노듈이 있을 확률이 소정의 기준값 이상인 경우(예컨대, 상기 확률이 0.8 이상인 경우), 상기 백에 포함된 각 패치에 대한 출력값이 소정의 제2기준값 이상인 패치를 노듈이 있는 패치로 결정하고, 상기 백에 포함된 패치들 중 적어도 하나에 노듈이 있을 확률이 상기 소정의 기준값보다 작은 경우, 상기 백에 포함된 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들과 관계없이, 상기 백에 포함된 패치들 중 노듈이 있는 패치는 없는 것으로 결정할 수 있다.

도 14는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 구조 및 기능을 나타낸 것이다.

컴퓨팅 장치(1)는, 컴퓨터로 읽을 수 있는 비휘발성 기록매체(2)를 읽을 수 있는 장치 인터페이스부(3) 및 처리부(4)를 포함할 수 있다.

상기 비휘발성 기록매체(2)는, 상술한 단계(S10) 내지 단계(S30)를 실행하는 제1명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. 상기 처리부(4)는 상기 장치 인터페이스부(3)를 통해, 상기 제1명령코드를 읽어서 실행함으로써 노듈이 있는 패치를 결정하도록 되어 있을 수 있다.

상기 비휘발성 기록매체(2)는, 상술한 단계(S110) 내지 단계(S120)를 실행하는 제1학습명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. 상기 처리부(4)는 상기 장치 인터페이스부(3)를 통해, 상기 제1학습명령코드를 읽어서 실행함으로써 상기 제1신경망을 학습시키도록 되어 있을 수 있다.

상기 비휘발성 기록매체(2)는, 상술한 단계(S210) 내지 단계(S220)를 실행하는 제2학습명령코드를 포함하는 프로그램을 저장하고 있을 수 있다. 상기 처리부(4)는 상기 장치 인터페이스부(3)를 통해, 상기 제2학습명령코드를 읽어서 실행함으로써 상기 제2신경망을 학습시키도록 되어 있을 수 있다.

상술한 본 발명의 실시예들을 이용하여, 본 발명의 기술 분야에 속하는 자들은 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에 다양한 변경 및 수정을 용이하게 실시할 수 있을 것이다. 특허청구범위의 각 청구항의 내용은 본 명세서를 통해 이해할 수 있는 범위 내에서 인용관계가 없는 다른 청구항에 결합될 수 있다.

Claims (9)

1. 한 개의 X-ray 이미지로부터 추출된 복수 개의 패치들을 각각 제1신경망에 입력하는 단계;
   상기 복수 개의 패치들에 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 제1세트의 출력값들을 선택하는 단계;
   상기 복수 개의 패치들 중 상기 선택된 제1세트의 출력값들에 대응하는 제1세트의 패치들을 제2신경망에 입력하는 단계;
   상기 제1세트의 패치들 각각에 대하여 상기 제2신경망이 출력한 제2세트의 출력값들 중 제2출력값을 선택하는 단계; 및
   상기 제1세트의 패치들 중 상기 제2출력값에 대응하는 제2패치를 노듈이 포함된 패치인 것으로 결정하는 단계;
   를 포함하며,
   상기 제1세트의 출력값들을 선택하는 단계는, 상기 제1신경망이 출력한 복수 개의 출력값들 중 가장 큰 값을 갖는 소정 개수의 출력값들을 선택하는 제1조건에 따라 수행되고,
   상기 제2출력값을 선택하는 단계는, 상기 제2신경망이 출력한 제2세트의 출력값들 중 소정의 제2기준값 이상의 값을 갖는 출력값을 선택하는 제2조건에 따라 수행되는,
   노듈위치 결정방법.
2. 삭제
3. 제1항에 있어서,
   상기 제1세트의 패치들은 미리 결정된 L개의 패치들로 구성되며,
   상기 제1신경망은 한 개의 패치를 입력으로 받도록 되어 있고,
   상기 제1신경망은 상기 한 개의 패치에 노듈이 있을 확률에 관한 1개의 값을 출력하도록 되어 있고,
   상기 제2신경망은 상기 제1세트의 패치들을 구성하는 L개의 패치들을 입력으로 받도록 되어 있고, 그리고
   상기 제2신경망은, 상기 제1세트의 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들, 및 상기 제1세트의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관한 1개의 값을 출력하도록 되어 있는,
   노듈위치 결정방법.
4. 제3항에 있어서, 상기 제1세트의 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률이 소정의 기준값보다 작은 경우에는, 상기 제1세트의 패치들 각각에 노듈이 포함되어 있을 확률에 관한 L개의 값들과 관계없이, 상기 제1세트의 패치들에는 노듈이 포함되지 않은 것으로 결정하도록 되어 있는, 노듈위치 결정방법.
5. 제1항에 있어서,
   상기 제1신경망은 한 개의 패치를 입력으로 받도록 되어 있고, 그리고 상기 한 개의 패치에 노듈이 있을 확률에 관한 1개의 값을 출력하도록 되어 있으며, 그리고
   상기 제1신경망은 지도학습된 것이며,
   상기 제1신경망을 지도학습하는 방법은, 제1 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들을 학습용 입력정보로 하고 상기 복수 개의 학습용 패치들 각각에 노듈이 포함되어 있는지 여부에 대한 값을 레이블로 하여 상기 제1신경망을 지도학습하는 방법이며,
   상기 추출된 복수 개의 학습용 패치들 각각에 노듈이 포함되어 있는지 여부에 대한 정보는 미리 준비되어 있는,
   노듈위치 결정방법.
6. 제1항 또는 제4항에 있어서, 상기 제2신경망은 지도학습된 것인, 노듈위치 결정방법.
7. 제6항에 있어서,
   상기 제2신경망을 지도학습하는 방법은,
   노듈이 포함되어 있지 않은 제2 X-ray 이미지를 준비하는 단계;
   상기 제2 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들 각각을 상기 제1신경망에 입력하는 단계;
   상기 복수 개의 학습용 패치들 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 L개의 출력값들로 구성되는 제1세트의 학습용 출력값들을 선택하는 단계;
   상기 복수 개의 학습용 패치들 중 상기 선택된 제1세트의 학습용 출력값들에 대응하는 제1세트의 학습용 패치들을 상기 제2신경망에 입력하는 단계;
   상기 제1세트의 학습용 패치들 각각에 대하여 상기 제2신경망이 출력한 각각의 값과, 해당하는 학습용 패치에 노듈이 포함되어 있지 않음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계;
   상기 제1세트의 학습용 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 상기 제2신경망이 출력한 값과, 상기 제1세트의 학습용 패치들에는 노듈이 포함되어 있지 않음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계;
   를 포함하는,
   노듈위치 결정방법.
8. 제6항에 있어서,
   상기 제2신경망을 지도학습하는 방법은,
   노듈이 포함되어 있으며, 상기 노듈의 위치가 알려져 있는 제3 X-ray 이미지를 준비하는 단계;
   상기 제3 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들 각각을 상기 제1신경망에 입력하는 단계;
   상기 복수 개의 학습용 패치들 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 L개의 출력값들로 구성되는 제1세트의 학습용 출력값들을 선택하는 단계;
   상기 복수 개의 학습용 패치들 중 상기 선택된 제1세트의 학습용 출력값들에 대응하는 제1세트의 학습용 패치들을 상기 제2신경망에 입력하는 단계;
   상기 제1세트의 학습용 패치들 중 노듈이 포함되어 있지 않은 학습용 패치들 각각에 대하여 상기 제2신경망이 출력한 각각의 값과, 해당하는 학습용 패치에 노듈이 포함되어 있지 않음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계;
   상기 제1세트의 학습용 패치들 중 노듈이 포함되어 있는 학습용 패치들 각각에 대하여 상기 제2신경망이 출력한 각각의 값과, 해당하는 학습용 패치에 노듈이 포함되어 있음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계;
   상기 제1세트의 학습용 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 상기 제2신경망이 출력한 값과, 상기 제1세트의 학습용 패치들에는 노듈이 포함되어 있음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계;
   를 포함하는,
   노듈위치 결정방법.
9. 제6항에 있어서,
   상기 제2신경망을 지도학습하는 방법은,
   노듈이 포함되어 있으며, 상기 노듈의 위치가 알려져 있지 않은 제4 X-ray 이미지를 준비하는 단계;
   상기 제4 X-ray 이미지로부터 추출된 복수 개의 학습용 패치들 각각을 상기 제1신경망에 입력하는 단계;
   상기 복수 개의 학습용 패치들 각각에 대하여 상기 제1신경망이 출력한 복수 개의 출력값들 중 L개의 출력값들로 구성되는 제1세트의 학습용 출력값들을 선택하는 단계;
   상기 복수 개의 학습용 패치들 중 상기 선택된 제1세트의 학습용 출력값들에 대응하는 제1세트의 학습용 패치들을 상기 제2신경망에 입력하는 단계;
   상기 제1세트의 학습용 패치들 중 적어도 하나에 노듈이 포함되어 있을 확률에 관하여 상기 제2신경망이 출력한 값과, 상기 제1세트의 학습용 패치들에는 노듈이 포함되어 있음을 나타내는 값 간의 오차를 줄이도록 상기 제2신경망을 지도학습하는 단계;
   를 포함하는,
   노듈위치 결정방법.

Images