KR20200101772A

KR20200101772A - 머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법

Info

Publication number: KR20200101772A
Application number: KR1020190020067A
Authority: KR
Inventors: 이재한
Original assignee: 주식회사 메디픽셀
Priority date: 2019-02-20
Filing date: 2019-02-20
Publication date: 2020-08-28
Also published as: KR102241312B1

Abstract

본 발명은 결절 이미지를 표시하는 장치 및 방법에 관한 것으로서, 상세하게는 의료영상에서 결절 위치가 지정되면 머신러닝 모델을 이용해 연속하는 의료영상마다 결절 부분을 자동으로 표시하는 머신 러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법에 관한 것이다. 이를 위해, 본 발명에 따른 머신 러닝 기반 결절 이미지 자동 연속 표시 장치는 결절 영역의 위치에 해당하는 좌표값, 2D 슬라이스 번호 및 영상 파일을 입력받아 결절 영역을 3차원 영상으로 복원하는 3D 복원부와, 상기 3D 복원부에서 생성된 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 매핑부와, 각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 분할부를 포함한다.

Description

머신러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법{Apparatus and method for displaying consecutive nodule images automatically based on machine learning}

본 발명은 결절 이미지를 표시하는 장치 및 방법에 관한 것으로서, 상세하게는 의료영상에서 결절 위치가 지정되면 머신러닝 모델을 이용해 연속하는 의료영상마다 결절 부분을 자동으로 표시하는 머신 러닝 기반 결절 이미지 자동 연속 표시 장치 및 방법에 관한 것이다.

최근 기계학습 또는 머신러닝(machine learning)이라는 기술이 소프트웨어 기술로부터 금융, 경제에 이르기까지 다양한 분야에 응용되고 있으며 특히 컴퓨터 비전 및 영상처리 분야의 비약적인 발전을 선도하는 핵심 기술로 자리 잡고 있다.

이러한 기계학습 기술은 인공지능(AI)의 한 분야로 주어진 데이터로부터 패턴이나 특성을 학습하여 새로운 데이터에 대해 분석을 수행해낼 수 있도록 하는 알고리즘 및 관련 분야를 의미한다. 특히, 딥러닝(deep learning)이라는 기계학습 기법이 핵심 기술로 대두되면서 관련 기술 및 응용 분야에 대한 관심이 점차 높아지고 있다.

딥러닝 기법이란 생물의 신경계를 모방한 인공신경망(artificial neural network)의 모델로서, 기존의 인공신경망 모델이 얇은 층의 뉴런 모델들의 연결로 구성되어 있다면, 딥러닝 기법은 뉴런 모델의 층을 깊게 쌓아 올림으로써 신경망의 학습 능력을 높이는 모델을 적용하는 기술이다.

여러 층으로 이루어진 인공신경망으로서의 딥러닝의 개념은 1970년대에 제안되었으나, 학습 계산의 복잡성 등으로 인해 정체되어 있다가 최근 여러 가지 연구를 통해 그 성능이 개선되고 관련 연구들이 음성인식 및 영상인식 등의 분야에서 뛰어난 결과를 보이면서 그 수요가 빠르게 증가하고 있다.

근래에 들어 인체기관이나 암 부위 등의 추출 및 분할(segmentation), 영상 정합(registration), 영상 검색 등 전반적인 의료진단 및 의료영상 분석 분야에서도 기계학습 기술이 널리 활용되고 있다.

의료영상은 많은 질병을 진단하는데 유용한 수단이며 비침습적 진단을 제공하므로 다른 도구보다 큰 이점이 있다. 그런데 의료용 이미징 장치는 많은 양의 데이터를 생성하며 이러한 의료영상을 분석하는데 많은 시간을 필요로 한다. 이에 따라 기계학습 기반의 의료영상 진단에 대한 많은 연구개발이 수행되고 있다.

한편, 의료영상 중에서 CT 영상의 경우, 다수의 슬라이스 영상이 존재하는데, 진단자가 다수의 슬라이스 영상을 보면서 결절(nodule) 영역에 마크 표시를 할 수 있다. 일반적으로 진단자는 사용자 인터페이스를 사용하여 기준이 되는 슬라이스 영상에 화살표 또는 원이나 사각형 등의 도형을 마킹하는 방식으로 결절 위치를 표시한다.

그런데 진단자가 기준 슬라이스 영상에만 마크 표시를 하고 다른 연속하는 슬라이스 영상에는 마크 표시를 하지 않는 것이 보통이다. 이것은 진단자가 결절 영역이 포함된 모든 슬라이스 영상에 마크 표시를 한다는 것이 번거롭고 사실상 정확한 결절 위치를 쉽게 알 수 없어서 마크 표시를 하는데 한계가 있다.

따라서 결절 영역이 있는 슬라이스 영상에 결절 위치를 나타내는 마크가 표시된 마크스 영상을 연속적으로 자동 생성할 수 있는 모델에 대한 개발이 필요한 상황이다.

한국등록특허 제1857624호

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 CT 영상에서 결절 위치가 표시된 슬라이스 영상이 자동으로 연속 생성되도록 하는 것이다.

본 발명의 다른 목적은 사용자가 CT 영상에서 선택한 결절 영역이 픽셀 단위로 편집되어 정확하게 표시되도록 하는 것이다.

또한, 본 발명의 다른 목적은 사용자가 CT 영상에서 선택한 결절 영역이 3차원 형태로 표시되도록 하는 것이다.

이를 위하여, 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시 장치는 특정 2D 슬라이스에서 결절 영역의 위치에 해당하는 좌표값, 특정 2D 슬라이스 번호 및 전체 영상 파일을 입력받아 결절 영역을 3차원 영상으로 복원하는 3D 복원부와,

상기 3D 복원부에서 생성된 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 매핑부와,

각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 분할부를 포함한다.

또한, 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시 방법은 사용자 인터페이스를 통해 특정 2D 슬라이스에서 결절 영역의 위치가 선택되는 결절 위치 선택 단계와,

상기 선택된 결절 영역을 3D 영상으로 복원하는 3D 복원 단계와,

상기 3D 결절 영역을 2D 슬라이스에 사상(mapping)하는 매핑 단계와,

각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 연속 표시 단계를 포함한다.

또한, 본 발명에 따른 컴퓨터 판독 기록 매체는 결절 영역의 위치에 해당하는 좌표값, 2D 슬라이스 번호 및 영상 파일을 이용하여 결절 영역을 3차원 영상으로 복원하는 단계와,

상기 복원한 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 단계와,

각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시하는 단계를 수행하기 위한 프로그램을 저장한다.

상술한 바와 같이, 본 발명은 사용자가 폐 질환 진단 시에 특정 CT 슬라이스에서 의심되는 결절 영역을 선택하면 연속하는 다른 CT 슬라이스에서 결절 위치를 픽셀 단위로 자동 표시해 줌으로써 진단자가 폐암 등의 진단을 매우 편리하게 할 수 있게 된다.

또한, 본 발명은 특정 CT 슬라이스에서 진단자에 의해 선택된 결절에 대해 3차원 영상을 복원하여 진단자에게 2D 슬라이스의 연속 화면과 함께 3D 결절 영상을 표시함으로써 진단자가 폐암 등의 질병을 더욱 정확하게 진단할 수 있게 하는 효과가 있다.

도 1은 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시 장치의 내부 구성도.
도 2는 본 발명에 따른 3D 결절 영상을 나타낸 도면.
도 3은 본 발명에 따른 결절 영역에 대응하는 CT 슬라이스를 나타낸 도면.
도 4는 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시를 위한 처리 순서도.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.

도 1은 본 발명에 따른 머신러닝(machine learning) 기반 결절(nodule) 이미지 자동 연속 표시 장치(이하, 결절 표시 장치)의 내부 구성을 개략적으로 나타낸 것이다.

도 1을 참조하면, 본 발명에 따른 결절 표시 장치는 3D 복원부(10), 매핑부(20), 분할부(30) 등을 주요 구성요소로 한다. 결절 표시 장치를 구성하는 3D 복원부(10), 매핑부(20), 분할부(30) 등은 소프트웨어 또는 하드웨어로 구현될 수 있다.

3D 복원부(10)는 검출된 결절을 3차원 영상으로 복원한다. 3D 복원부(10)에는 3D 복원 모델(3D reconstruction model)이 적용되어 있으며, 3D 복원 모델은 영상처리 기반 모델로 구성되며 영상처리 기반 모델에 머신러닝 기반으로 학습된 모델이 추가될 수 있다. 이에 따라, 3D 복원부(10)에는 영상처리 기반 3D 복원 모델 또는 머신러닝 기반으로 학습된 모델이 추가된 3D 복원 모델이 적용되어 있다.

매핑부(20)는 3D 결절 영역을 2D 슬라이스(slice)에 사상(mapping)한다. 매핑부(20)는 3D 결절 영역에서 일정 간격으로 적층되어 있는 2D 슬라이스마다 3D 결절 영역의 단면 형상을 사상한다.

분할부(30)는 각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시한다.

분할부(30)는 각 2D 슬라이스에 매핑된 결절 영역에 대해 2D 컨벌루션 신경망(2D CNN)을 적용하여 결절 모양이 아닌 부분을 결절 영역에서 제외하는 작업을 수행한다. 모든 2D 슬라이스에 대해 작업이 완료되면, 분할부(30)는 각 2D 슬라이스에 최종적인 결절 영역을 연속적으로 표시한다. 분할부(30)에 의해 출력된 최종적인 결절 영역을 실제 결절영역이라고 부르기로 한다.

본 발명에 따른 결절 표시 장치는 머신러닝 기반으로 다양한 질병에 대한 병변(leison)의 위치를 표시할 수 있는데, 본 발명의 실시예에서는 결절 표시 장치가 폐 질환의 진단을 위한 폐 결절을 표시하는 것을 예로 들어 설명한다.

먼저, 3D 복원부(10)는 폐 CT 영상의 결절 위치에 해당하는 좌표값, 슬라이스 번호 및 폐 CT 영상 파일을 입력받아 결절 영역의 3차원 구조를 생성한다.

3D 복원부(10)에 입력되는 결절 영역의 위치에 해당하는 좌표값은 사용자가 마우스 등의 사용자 인터페이스를 통해 화면 상의 CT 이미지에서 결절 위치를 선택하면 생성되는 값이다.

3D 복원부(10)에 적용된 3D 복원 모델이 결절 영역에 대한 3D 영상을 생성하는 과정은 다음과 같다.

특정 CT 슬라이스에서 사용자에 의해 결절 위치가 선택되면, 결절 위치에 해당하는 좌표값(x, y)과 슬라이스 번호을 이용하여 CT 슬라이스의 좌표값(x,y)을 중심으로 폐 결절을 충분히 포함할 수 있는 크기의 정사각형 영역(예를 들어, 64mm*64mm)을 잘라낸다. 그리고 기준 CT 슬라이스에 연속된 이전/이후 CT 슬라이스 중에 정육면체(예를 들어, 64mm*64mm*64mm)에 포함되는 CT 슬라이스에서 같은 방식으로 정사각형 영역을 잘라낸다. 이렇게 잘라낸 각각의 2D 이미지를 결합하여 3D 복셀(voxel)을 구성함으로써, 3D 결절 영역을 생성하게 된다.

이와 같이 생성된 3D 복셀 데이터는 매핑부(20)로 직접 입력되거나, 3D 복원부(10)에 머신러닝 기반으로 학습된 모델이 추가된 경우 3D 복셀 데이터는 3D CNN 기반의 모델에 입력된다. 3D CNN 기반의 모델은 3D 복셀 데이터를 분석하여 사용자가 선택한 결절 영역에 대한 실제 폐 결절 여부를 1차적으로 확인한다.

도 2는 본 발명에 따른 3D 결절 영역을 나타낸 것이다.

도 2를 참조하면, (a)는 결절이 포함된 2D 슬라이스 영상을 나타내고, (b)와 (c)는 2D 슬라이스 영상에 포함된 결절을 3D 영상으로 복원한 것이다.

(b)와 (c)에 도시된 3D 결절 영상은 진단 시스템의 디스플레이를 통해 표시되며, 사용자는 3D 결절 영상과 함께 3D 결절 영역에 대응하는 연속적인 슬라이스 영상을 볼 수 있다.

도 3은 본 발명에 따른 결절 영역을 포함하는 CT 슬라이스를 나타낸 것이다.

도 3을 참조하면, (a)는 결절 영역에 대응하는 3D 복셀 데이터(1)를 나타내고, (b)는 결절 위치를 기준으로 상하 5mm 간격으로 CT 슬라이스가 적층되어 있는 것을 나타낸다.

CT 슬라이스에는 결절 영역이 매핑되어 있으며, 각 CT 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 실제 결절 영역이 아닌 부분은 제외되고 실제 결절 영역만이 2D 슬라이스마다 연속 표시된다.

도 4는 본 발명에 따른 머신러닝 기반 결절 이미지 자동 연속 표시를 위한 처리 과정을 나타낸 것이다.

도 4를 참조하면, 먼저 진단자는 CT 슬라이스를 보면서 마우스 등의 사용자인터페이스를 사용해 특정 CT 슬라이스에서 결절로 의심되는 영역을 선택한다(S10).

특정 CT 슬라이스에서 결절 영역의 위치를 선택하면, 특정 슬라이스 번호, 특정 슬라이스에서 결절 영역의 위치에 대응하는 좌표값(x, y) 및 전체 슬라이스 영상 파일을 이용해 진단자가 선택한 결절 영역에 대한 3D 이미지를 생성한다(S20).

3D 결절 이미지는 특정 슬라이스의 좌표값을 기준으로 일정한 크기의 정사각형 영역을 잘라내고, 특정 슬라이스에 연속하는 전후 슬라이스에서도 일정한 크기의 정사각형 영역을 잘라낸 후 각각의 잘라낸 정사각형 이미지를 결합하여 결절 영역에 대한 3D 영상을 복원한다.

이렇게 3D 영상이 복원되면, 3D 결절 영역에서 일정 간격으로 적층되어 있는 2D 슬라이스마다 3D 결절 영역의 단면 형상을 매핑한다(S30).

결절 영역의 3차원 구조가 2D 슬라이스마다 매핑되면, 각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시한다(S40).

즉, 각 2D 슬라이스에 매핑된 결절 영역에 대해 2D 컨벌루션 신경망(2D CNN)을 적용하여 결절 모양이 아닌 부분을 결절 영역에서 제외하면서 각 2D 슬라이스에 최종적인 결절 영역을 연속적으로 표시한다.

구체적으로, 2D 슬라이스에 매핑된 결절 영역마다 다른 2D CNN 모델을 사용하여 특징 맵을 추출하고, 각각의 2D CNN 모델을 통해 출력된 특징 맵을 결합(concatenation)한 후, 결합된 특징 맵을 또 다른 2D CNN 모델을 통해 분석하는 과정을 통해 진단자에 의해 선택된 결절 영역이 실제 결절 영역인지를 판단하게 된다.

또한, 각 2D 슬라이스에 매핑된 결절 영역을 결합하여 3D 복셀 데이터로 재구성한 후 3D 컨벌루션 신경망(3D CNN)을 적용하여 최종적인 결절 영역을 확정하고, 최종적인 결절 영역에 대해서 각 2D 슬라이스에 연속적으로 표시할 수 있다.

구체적으로, 3D 복셀 데이터가 3D 컨벌루션층(convolution layer), 활성함수(ReLU) 및 풀링층(pooling layer)를 통과하면서 특징맵으로 변환되고, 이 변환된 특징맵이 완전 연결(fully connected)되어 신경망(neural network)을 거쳐 활성함수를 통해 실제 결절 영역인지 여부가 판단된다.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 변형의 한 예로서 분할부에 적용되는 컨벌루션 신경망을 2D 컨벌루션 및 3D 컨벌루션의 결합 등으로 확장할 수 있다.

따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.

10: 3D 복원부 20: 매핑부
30: 분할부

Claims

특정 2D 슬라이스에서 결절 영역의 위치에 해당하는 좌표값, 특정 2D 슬라이스 번호 및 전체 영상 파일을 입력받아 결절 영역을 3차원 영상으로 복원하는 3D 복원부와,
상기 3D 복원부에서 생성된 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 매핑부와,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 분할부를 포함하는 머신러닝 기반 결절 표시 장치.
제1항에 있어서,
상기 결절 영역의 위치에 해당하는 좌표값은 사용자에 의해 특정 2D 슬라이스에서 결절 영역이 선택되면 생성되어 상기 3D 복원부로 입력되는 것을 특징으로 하는 머신러닝 기반 결절 표시 장치.
제1항에 있어서,
상기 3D 복원부는 상기 특정 2D 슬라이스 및 상기 특정 2D 슬라이스에 연속된 전후 2D 슬라이스에서 상기 좌표값을 중심으로 일정 크기의 정사각형 영역을 잘라내어, 각각 잘라낸 2D 이미지를 결합하여 3D 복셀(voxel) 데이터로 구성하는 것을 특징으로 하는 머신러닝 기반 결절 표시 장치.
제1항에 있어서,
상기 분할부는 2D 슬라이스 각각에 대해 2D 컨벌루션 신경망 또는 3D 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 실제 결절영역을 표시하는 것을 특징으로 하는 머신러닝 기반 결절 표시 장치.
사용자 인터페이스를 통해 특정 2D 슬라이스에서 결절 영역의 위치가 선택되는 결절 위치 선택 단계와,
상기 선택된 결절 영역을 3D 영상으로 복원하는 3D 복원 단계와,
상기 3D 결절 영역을 2D 슬라이스에 사상(mapping)하는 매핑 단계와,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 최종적인 결절 영역을 2D 슬라이스마다 표시하는 연속 표시 단계를 포함하는 머신러닝 기반 결절 표시 방법.
제5항에 있어서,
상기 3D 복원 단계는 상기 선택된 결절 영역의 위치에 해당하는 좌표값, 특정 2D 슬라이스 번호 및 전체 영상 파일에 근거하여 상기 선택된 결절 영역에 대한 3D 영상을 생성하는 것을 특징으로 하는 머신러닝 기반 결절 표시 방법.
제6항에 있어서,
상기 3D 복원 단계는 상기 특정 2D 슬라이스 및 상기 특정 2D 슬라이스에 연속된 전후 2D 슬라이스에서 상기 좌표값을 중심으로 일정 크기의 정사각형 영역을 잘라내어, 각각 잘라낸 2D 이미지를 결합하여 3D 복셀(voxel) 데이터로 구성하는 것을 특징으로 하는 머신러닝 기반 결절 표시 방법.
제5항에 있어서,
상기 연속 표시 단계는 2D 슬라이스 각각에 대해 2D 컨벌루션 신경망 또는 3D 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 실제 결절영역을 표시하는 것을 특징으로 하는 머신러닝 기반 결절 표시 방법.
결절 영역의 위치에 해당하는 좌표값, 2D 슬라이스 번호 및 영상 파일을 이용하여 결절 영역을 3차원 영상으로 복원하는 단계와,
상기 복원한 3D 결절 영역을 2D 슬라이스에 매핑(mapping)하는 단계와,
각 2D 슬라이스에 매핑된 결절 영역에 대해 컨벌루션 신경망을 적용하여 결절 모양이 아닌 부분을 제외하면서 최종적인 결절 영역을 2D 슬라이스마다 연속적으로 표시하는 단계를 수행하기 위한 프로그램이 저장된 컴퓨터 판독 기록 매체.