KR20160049897A

KR20160049897A - 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법

Info

Publication number: KR20160049897A
Application number: KR1020140147685A
Authority: KR
Inventors: 박진만
Original assignee: 삼성전자주식회사
Priority date: 2014-10-28
Filing date: 2014-10-28
Publication date: 2016-05-10
Also published as: US20160117818A1; US10039501B2

Abstract

연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치에 관한 것으로, 그 장치는 연속적인 영상을 입력받는 영상 입력부와, 입력되는 영상을 소정 개수 단위로 그룹핑하여 그 그룹 내의 영상을 제1 영상 및 제2 영상으로 분리하고, 제1 영상 및 제2 영상을 병렬적으로 분석을 수행하는 영상 분석부 및 영상 분석부의 분석 결과를 화면에 출력하는 화면 표시부를 포함할 수 있다.

Description

연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법{COMPUTER AIDED DIAGNOSIS APPARATUS AND METHOD USING A SEQUENCE OF MEDICAL IMAGES}

연속적인 의료 영상을 이용하여 고속으로 진단하는 컴퓨터 보조 진단 장치 및 방법에 관한 것이다.

일반적으로 의사의 영상 진단은 환자의 환부에 초음파 프로브(probe)를 밀착하여 실시간으로 획득되는 초음파 의료 영상 또는 오프라인에 2D/3D로 저장된 영상 시퀀스(sequence)의 분석을 통해 이루어진다. 특히, 프로브를 사용하여 실시간 획득되는 의료 영상을 이용하거나, 오프라인에 저장된 3D 볼륨 영상을 사용할 때에는 화면을 통해 장기간의 연속된 2D 영상의 시퀀스를 보고 환부의 양성/악성 판단을 한다.

최근에는 컴퓨터 보조 진단(Computer Aided Diagonosis, 이하, 'CAD'라 함) 시스템을 이용한 의료 영상의 진단 기술이 이용되고 있다. CAD 시스템은 의료 영상을 이용하여 병변을 검출 및 추적(tracking)하고, 양성/악성 등의 판정을 수행한다. 일반적으로 실시간 영상 진단의 경우 초당 30 프레임 이상의 의료 영상이 촬영되는데, CAD 시스템의 컴퓨팅 성능에 한계가 있는 상황에서는 의료 영상의 실시간 분석 및 판정을 수행하기 어렵다.

연속적인 의료 영상을 병렬적인 분석 기법을 적용하여 고속으로 진단하는 컴퓨터 보조 진단 장치 및 방법이 제시된다.

일 양상에 따르면, 컴퓨터 보조 진단 장치는 연속적인 의료 영상을 입력받는 영상 입력부, 입력된 연속적인 영상을 소정 개수 단위로 그룹핑하여 그 그룹 내의 영상을 제1 영상 및 제2 영상으로 분리하고, 제1 영상 및 제2 영상을 병렬적으로 분석을 수행하는 영상 분석부 및 영상 분석부의 분석 결과를 화면에 출력하는 화면 표시부를 포함할 수 있다.

영상 분석부는 그룹 내의 영상 중에서 첫 번째 프레임을 포함하는 기준 영상을 제1 영상으로, 그 기준 영상을 제외한 나머지 프레임을 제2 영상으로 분리할 수 있다.

영상 분석부는 제1 분석 알고리즘을 적용하여 제1 영상을 분석하는 제1 영상 분석부 및 제1 분석 알고리즘과 다른 제2 분석 알고리즘을 적용하여 제2 영상을 분석하는 제2 영상 분석부를 포함할 수 있다.

이때, 제2 분석 알고리즘은 제1 분석 알고리즘에 비하여 상대적으로 적은 분석 시간이 소요되는 알고리즘일 수 있다.

제1 영상 분석부는 제1 분석 알고리즘을 적용하여, 제1 영상의 전체 영역에 대하여 각 픽셀 단위 또는 미리 설정된 픽셀 그룹 단위로 분석할 수 있다.

제2 영상 분석부는 제2 분석 알고리즘을 적용하여 제2 영상에 포함된 모든 프레임을 순차적으로 분석하되, 제2 영상에 포함된 어느 하나의 프레임에 대하여 그리드(grid) 단위로 그 이전 영상과의 영상 변화를 측정하고, 측정된 그리드 단위의 영상 변화를 기초로 어느 하나의 프레임을 분석할 수 있다.

제2 영상 분석부는 제2 영상에 포함된 각 프레임에 대하여 측정된 그리드 단위의 영상 변화를 기초로 각 그리드에 병변이 존재할 확률을 산출하고, 산출된 확률을 이용하여 각 프레임에서 병변 영역을 검출할 수 있다.

영상 분석부는 제2 영상에 포함된 각 프레임의 분석 결과를 통합하여 제2 영상의 통합 분석 결과를 생성하고, 제1 영상의 분석 결과 및 제2 영상의 통합 분석 결과를 병합하여 그룹의 통합 분석 결과를 생성하는 통합 분석부를 더 포함할 수 있다.

통합 분석부는 제2 영상에 포함된 모든 프레임에 대하여, 각 프레임별로 그리드 각각의 병변 확률에 가중치를 부여하고, 각 프레임별로 가중치가 부여된 병변 확률을 대응되는 그리드 단위로 합산하여 그 합산 결과를 기초로 제2 영상의 통합 분석 결과를 생성

영상 분석부는 그룹의 통합 분석 결과 및 상기 제2 영상의 분석 결과를 기초로 그룹 내의 각 프레임을 입력된 역순으로 추적하여 각 프레임의 병변 영역을 재설정하는 분석 재수행부를 더 포함할 수 있다.

컴퓨터 보조 진단 장치는 입력된 영상에 대하여 정규화(normalization), 채널 분리, 스케일링 중의 하나 이상을 포함하는 전처리 과정을 수행하는 영상 전처리부를 더 포함할 수 있다.

일 양상에 따르면, 컴퓨터 보조 진단 방법은 연속적인 의료 영상을 입력받는 영상 입력부, 입력된 연속적인 영상을 소정 개수 단위로 그룹핑하는 단계, 그룹핑된 그룹 내의 영상을 제1 영상 및 제2 영상으로 분리하는 단계, 제1 영상 및 제2 영상을 병렬적으로 분석을 수행하는 단계 및 분석 결과를 화면에 출력하는 단계를 포함할 수 있다.

영상을 분리하는 단계는 그룹 내의 영상 중에서 첫 번째 프레임을 포함하는 기준 영상을 제1 영상으로, 기준 영상을 제외한 나머지 영상을 제2 영상으로 분리할 수 있다.

분석을 수행하는 단계는 제1 분석 알고리즘을 적용하는 상기 제1 영상을 분석하는 단계 및 제1 분석 알고리즘과 다른 제2 분석 알고리즘을 적용하여 제2 영상을 분석하는 단계를 포함할 수 있다.

제1 영상을 분석하는 단계는 제1 분석 알고리즘을 적용하여, 제1 영상의 전체 영역에 대하여 각 픽셀 단위 또는 미리 설정된 픽셀 그룹 단위로 분석할 수 있다.

제2 영상을 분석하는 단계는 제2 분석 알고리즘을 적용하여 제2 영상에 포함된 모든 프레임을 순차적으로 분석하되, 제2 영상에 포함된 어느 하나의 프레임에 대하여 그리드(grid) 단위로 그 이전 프레임과의 영상 변화를 측정하고, 측정된 그리드 단위의 영상 변화를 기초로 어느 하나의 프레임을 분석할 수 있다.

제2 영상을 분석하는 단계는 제2 영상에 포함된 각 프레임에 대하여 측정된 그리드 단위의 영상 변화를 기초로 각 그리드에 병변이 존재할 확률을 산출하고, 산출된 확률을 이용하여 각 프레임에서 병변 영역을 검출할 수 있다.

분석을 수행하는 단계는 제2 영상에 포함된 각 프레임의 분석 결과를 통합하여 제2 영상의 통합 분석 결과를 생성하는 단계 및 제1 영상의 분석 결과 및 제2 영상의 통합 분석 결과를 병합하여 그룹의 통합 분석 결과를 생성하는 단계를 더 포함할 수 있다.

제2 영상의 통합 분석 결과를 생성하는 단계는 제2 영상에 포함된 모든 프레임에 대하여, 각 프레임별로 그리드 각각의 병변 확률에 가중치를 부여하고, 각 프레임별로 가중치가 부여된 병변 확률을 대응되는 그리드 단위로 합산하여 그 합산 결과를 기초로 상기 제2 영상의 통합 분석 결과를 생성할 수 있다.

분석을 수행하는 단계는 그룹의 통합 분석 결과를 기초로 그룹 내의 각 프레임을 입력된 역순으로 추적하여 각 프레임의 병변 영역을 재설정하는 단계를 더 포함할 수 있다.

컴퓨터 보조 진단 방법은 입력된 영상에 대하여 정규화(normalization), 채널 분리, 스케일링 중의 하나 이상을 포함하는 전처리 과정을 수행하는 단계를 더 포함할 수 있다.

연속적인 의료 영상을 그룹 단위의 병렬적 분석을 통해 고속으로 정확하게 분석할 수 있다.

도 1은 일 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 2는 도 1의 실시예에 따른 영상 분석부의 상세 블록도이다.
도 3 내지 도 5는 연속적인 영상을 진단하는 실시예이다.
도 6은 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 7은 도 6의 실시예에 따른 영상 분석 단계의 상세 흐름도이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.

도 1은 일 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.

도 1을 참조하면, 컴퓨터 보조 진단 장치(100)는 영상 입력부(110), 영상 전처리부(120), 영상 분석부(130) 및 화면 표시부(140)를 포함할 수 있다.

영상 입력부(110)는 의료 영상을 입력받아 연속적인 2D 영상을 출력한다. 이때, 의료 영상은 프로브를 이용하여 환자의 환부를 촬영한 초음파 영상일 수 있다. 다만, 이에 한정되는 것은 아니며, 방사선(CR: Computed Radiography) 영상, 컴퓨터 단층 촬영(CT: Computed Tomography) 영상, 초음파 영상 및 자기공명영상(MRI: Magnetic Resonance Image) 등 그 밖의 다양한 의료 영상 중의 하나일 수 있다.

영상 입력부(110)는 영상을 프레임 단위로 실시간으로 입력받을 수 있다. 또는 2D/3D, 동영상 등의 다양한 형태로 저장되어 있는 의료 영상을 입력받고, 입력된 의료 영상을 처리하여 영상 시퀀스(sequence)를 구성하는 연속적인 2D 영상을 출력할 수 있다.

영상 전처리부(120)는 영상 입력부(110)에서 출력되는 영상에서 진단에 필요한 추상화된 영상 정보를 원활하게 추출할 수 있도록 다양한 전처리 알고리즘을 활용하여 전처리한다. 이때, 전처리 알고리즘은 공간 정규화(spatial normalization), 채널 분리, 스케일링(scaling), 시간차 보정(timing correction), 영상 재정렬(image realignment), 공간 스무딩(spatial smmothing) 등을 포함할 수 있다.

영상 분석부(130)는 영상 입력부(110)에서 출력된 연속적인 영상, 이때, 영상 전처리부(120)에서 그 연속적인 영상이 전처리되는 경우 그 전처리된 연속적인 영상을 일정 개수로 그룹핑하여 시퀀스 그룹을 형성한다. 이때, 일정 개수는 환자로부터 실시간으로 영상을 획득하는 영상 획득 장치의 성능, 컴퓨터 보조 진단 장치(100)의 컴퓨팅 성능 등을 고려하여 적절하게 설정된다.

영상 분석부(130)는 이와 같이 시퀀스 그룹이 형성되면, 그 시퀀스 그룹 내의 영상을 병렬적으로 분석하기 위하여 제1 영상 및 제2 영상으로 분리한다. 하지만, 이에 제한되는 것은 아니며 진단을 수행할 컴퓨터 보조 진단 장치(100)의 개수, 각 컴퓨터 보조 진단 장치(100)의 컴퓨팅 성능 등에 따라 세 개 이상의 서브 그룹으로 분리될 수 있다.

또한, 영상 분석부(130)는 그 시퀀스 그룹 내의 영상 중에서 첫 번째 프레임을 포함하는 기준 영상을 제1 영상으로, 그 기준 영상을 제외한 나머지 프레임을 제2 영상으로 분리할 수 있다. 이때, 장치(100)의 성능, 제1 영상 및 제 2영상에 적용할 분석 알고리즘의 처리 속도 등을 고려하여 둘 이상의 프레임을 기준 영상으로 미리 정의할 수 있다. 예컨대, 제1 영상에 적용할 분석 알고리즘과, 제2 영상에 적용할 분석 알고리즘의 처리 속도를 고려하여 각 분석 알고리즘이 서로 비슷한 시간에 분석을 완료할 수 있도록 첫 번째 프레임을 포함하는 연속적인 둘 이상의 프레임을 기준 영상으로 결정할 수 있다.

영상 분석부(130)는 이와 같이 시퀀스 그룹 단위로 분석을 수행하되, 분리된 제1 영상 및 제2 영상에 각각의 분석 알고리즘을 적용하여 병렬적으로 분석을 진행할 수 있다. 이때, 제1 영상 및 제2 영상에 적용되는 분석 알고리즘은 분석 속도, 분석 정확도 등에 차이가 있는 이종의 분석 알고리즘일 수 있다. 여기서, 분석은 병변 영역의 검출 및 추적, 검출된 병변에 대한 악성/양성 판정 등을 수행하는 과정을 포함할 수 있다.

화면 표시부(140)는 영상 입력부(110)에 의해 출력되는 연속적인 영상 또는 영상 전처리부(120)에 의해 전처리된 영상을 화면에 출력한다. 또한, 영상 분석부(130)에 의해 시퀀스 그룹의 분석이 완료되면 그 분석 결과를 화면에 출력한다.

화면 표시부(140)는 그 분석 결과를 영상에 중첩하여 표시하거나, 그 영상이 출력된 영역을 제외한 화면 상의 소정 영역에 출력할 수 있다. 예컨대, 사용자가 병변 영역을 쉽게 확인할 수 있도록 분석 결과 중의 병변 영역 정보(예: 병변 영역의 위치 및 크기 등)를 이용하여 화면 상에 출력된 영상의 상응하는 위치에 원, 사각형, 십자 마크 등의 식별 표시를 중첩하여 출력할 수 있다.

도 2는 도 1의 실시예에 따른 영상 분석부의 상세 블록도이다.

도 2를 참조하면, 영상 분석부(200)는 제1 영상 분석부(210), 제2 영상 분석부(220), 통합 분석부(230) 및 분석 재수행부(240)를 포함할 수 있다.

제1 영상 분석부(210)는 제1 분석 알고리즘을 적용하여 시퀀스 그룹 내의 영상 중에서 제1 영상에 대한 분석을 수행하고, 그 분석 결과를 출력한다. 이때, 제1 분석 알고리즘은 CNN(Convolution Neural Network)과 같이 상대적으로 분석 시간이 많이 소요되는 반면 정확한 분석을 수행하는 알고리즘일 수 있다.

제1 영상 분석부(210)는 제1 영상에서 추상화된 의료적 영상 정보를 추출하고, 추출된 의료적 영상 정보를 이용하여 병변 영역 검출 및 추적, 판정을 수행할 수 있다. 이때, 추상화된 의료적 영상 정보는 의료적인 맥락에서 의미를 가지는 영상 특징으로서, 병변의 양성 또는 악성 여부를 판단하는데 도움이 되는 세포 조직의 시각적인 패턴 정보를 의미한다. 각 의료적 영상 특징은 미리 설정된 분류 항목에 따라 분류될 수 있다.

예를 들어, 의료적 영상 정보는 병변의 모양(Shape), 에코 패턴(Echo Pattern), 방향(Orientation), 경계(Boundary), 질감(texture) 및 강도(intensity) 등의 특징 정보를 포함할 수 있다. 또는, 유방 초음파 영상의 경우 BI-RADS(Breast Imaging Reporting And Data System) 렉시콘 분류에 따른 병변 특징이거나, 간 초음파 영상의 경우 LI-RADS(Liver Imaging Reporting And Data System) 렉시콘 분류에 따른 병변 특징일 수 있다.

제1 영상 분석부(210)는 제1 영상의 전체 영역에 대하여 픽셀 또는 미리 정의된 픽셀 그룹 단위로 분석을 수행하여 의료적 영상 특징을 추출하고, 분석 결과를 출력할 수 있다.

제2 영상 분석부(220)는 시퀀스 그룹 내의 영상 중에서 제2 영상의 분석을 수행하며, 이때, 제2 분석 알고리즘을 적용하여 제2 영상 내의 각 프레임에서 추상화된 의료적 영상 정보를 추출하고 각 프레임의 병변 영역 검출 및 판정 등의 분석을 수행할 수 있다. 제2 분석 알고리즘은 제1 분석 알고리즘에 비하여 분석 시간이 적게 소요되는 이종의 분석 알고리즘일 수 있다.

예를 들어, 제2 영상 분석부(220)는 제2 영상 내의 각 프레임을 순차적으로 그리드 단위로 나누어, 이전 프레임과 현재 프레임 간의 대응되는 각 그리드 단위로 영상 변화량을 포함하는 영상 변화를 측정할 수 있다. 이때, 제2 영상 내의 첫 번째 프레임에 대하여는 제1 영상과의 그리드 단위 비교를 통해 영상 변화량을 측정할 수 있다.

또한, 제2 영상 분석부(220)는 각 프레임에 대하여 그리드 단위로 영상 변화가 측정되면, 측정된 각 그리드의 영상 변화를 기초로 각 그리드에 병변이 존재할 확률을 산출할 수 있다. 이때, 영상 변화에 따른 병변 확률 정보가 미리 설정될 수 있으며, 이 병변 확률 정보를 이용하여 각 그리드의 영상 변화에 해당하는 병변 확률을 산출할 수 있다. 또한, 제2 영상 분석부(220)는 산출된 병변 확률이 미리 설정된 임계치를 초과하는 그리드를 포함하는 영역을 병변 영역으로 결정할 수 있다.

한편, 제1 분석 알고리즘 및 제2 분석 알고리즘은 다양한 분석 알고리즘 중에서 그 분석 목적, 분석을 수행할 장치(100)의 개수, 각 장치(100)의 컴퓨팅 성능, 미리 설정된 시퀀스 그룹 내의 영상 개수, 각 분석 알고리즘의 분석 속도 및 분석 정확도 등의 다양한 기준에 따라 미리 결정될 수 있다. 이때, 분석 알고리즘은 AdaBoost, DPM(Deformable Part Models), SVM(Support Vector Machine), Decision Tree, DBN(Deep Belief Network) 및 CNN(Convolutional Neural Network) 등을 포함할 수 있다.

또한, 제1 영상 분석부(210)와 제2 영상 분석부(220)는 각각 제1 분석 알고리즘 및 제2 분석 알고리즘을 동시에 적용하여 병렬적으로 분석을 수행할 수 있다. 이때, 제1 영상 분석부(210) 및 제2 영상 분석부(220)는 하나의 컴퓨터 보조 진단 장치(100)에 구현되어 쓰레드 단위로 병렬적인 분석을 수행할 수 있으며, 또는, 두 개의 컴퓨터 보조 진단 장치(100)에 각각 구현되어 하드웨어적으로 병렬적인 분석을 수행하는 것이 가능하다.

통합 분석부(230)는 제1 영상의 분석 결과 및 제2 영상의 분석 결과를 통합하여 시퀀스 그룹의 통합 분석 결과를 생성한다. 이때, 제1 영상의 분석 결과를 기초로 제2 영상에 포함된 각 프레임을 순차적으로 병변 영역을 판정하고, 그 결과를 통합하여 제2 영상의 통합 분석 결과를 생성할 수 있다. 또한, 생성된 제2 영상의 통합 분석 결과에 제1 영상의 분석 결과를 병합하여 시퀀스 그룹의 통합 분석 결과를 생성할 수 있다.

예를 들어, 통합 분석부(230)는 제2 영상 내의 각 프레임에 대해 그리드 단위로 산출된 병변 확률에 미리 설정된 가중치를 부여하고, 그 결과를 이용하여 제2 영상의 통합 분석 결과를 생성할 수 있다. 이때, 가중치가 부여된 각 그리드의 병변 확률을 제2 영상 내의 모든 프레임에 대하여 대응되는 그리드 단위로 합산하여, 그 합산 결과를 기초로 제2 영상의 병변 영역 결정 및 판정을 수행함으로써 제2 영상의 통합 분석 결과를 생성할 수 있다.

분석 재수행부(240)는 이와 같이 통합 분석부(230)에 의해 생성된 시퀀스 그룹의 통합 분석 결과, 제2 영상의 통합 분석 결과 및 제2 영상 내의 각 프레임의 분석 결과를 이용하여 그 시퀀스 그룹 내의 모든 프레임에 대하여 병변 영역을 최종적으로 설정할 수 있다. 이때, 분석 재수행부(240)는 시퀀스 그룹의 통합 분석 결과 및 제2 영상에 포함된 각 프레임에 대해 그리드 단위로 산출된 영상 변화를 이용하여, 제2 영상에 포함된 마지막 프레임에서부터 제1 영상까지 입력된 역순으로 역추적(back tracking)하여 시퀀스 그룹 내의 모든 프레임에 대하여 최종 병변 영역을 결정할 수 있다.

도 3 내지 도 5는 연속적인 영상을 진단하는 실시예이다.

도 3 내지 도 5를 참조하여, 전술한 컴퓨터 보조 진단 장치(100)의 실시예를 좀 더 구체적으로 설명한다.

도 3을 참조하면, 영상 입력부(110)는 입력된 의료 영상을 처리하여 도시된 바와 같이 연속된 2D 프레임을 출력한다. 이때, 설명의 편의를 위해 4 개의 프레임(31,32,33,34)을 도시하였으나 이에 제한되는 것은 아니다.

만약, 4 개의 프레임을 시퀀스 그룹의 단위로 미리 설정한 경우, 도시된 바와 같이 영상 분석부(130)는 연속적인 4 개의 프레임(31,32,33,34)을 하나의 시퀀스 그룹(30)으로 형성한다. 즉, 영상 분석부(130)는 영상 입력부(110)에서 첫 번째 프레임(31)부터 네 번째 프레임(34)이 출력될 때까지 기다리고, 네 번째 프레임(34)까지 출력이 완료되면 그 4 개의 프레임(31,32,33,34)을 하나의 시퀀스 그룹(30)으로 형성한다.

영상 분석부(130)는 시퀀스 그룹(30)이 형성되면, 그 시퀀스 그룹 내의 각 프레임(31,32,33,34)에 대한 분석 과정을 진행한다. 이때, 도시된 바와 같이 기준 프레임으로 미리 결정된 첫 번째 프레임(31)을 제1 영상으로, 나머지 프레임(32,33,34)을 제2 영상으로 분리하고, 분리된 제1 영상 및 제2 영상을 병렬적으로 동시에 분석할 수 있다.

도 4를 참조하여, 보다 구체적으로 설명하면 영상 분석부(130)는 제1 영상(31)의 쓰레드 1과 제2 영상(32,33,34)의 쓰레드 2를 병렬적으로 처리한다. 도시된 바와 같이, 제1 영상(31)에는 제1 분석 알고리즘을 적용하여 제1 영상(31)에서 병변 영역을 검출하고, 제1 영상의 분석 결과(41)를 출력한다. 또한, 제2 영상에는 제2 분석 알고리즘을 적용하여 순차적으로 각 프레임(32,33,34)을 분석한다. 먼저, 첫 번째 프레임(32)을 이전 프레임(31)과의 그리드 단위로 영상 변화를 추정하여 분석하고, 두 번째 프레임(33)을 이전 프레임(32)과의 그리드 단위의 변화를 추정하여 분석하며, 마지막으로 세 번째 프레임(34)을 이전 프레임(33)과의 그리드 단위 영상 변화를 추정하여 분석한다.

이후, 영상 분석부(130)는 제2 영상 내의 모든 프레임(32,33,34)에 대한 분석이 완료되면, 그 분석 결과를 통합하여 제2 영상의 통합 분석 결과(42)를 출력한다. 그리고, 제1 영상의 분석 결과(41) 및 제2 영상의 통합 분석 결과(42)를 통합하여 시퀀스 그룹(30)의 최종 병변 영역(iTR)을 포함하는 통합 분석 결과(43)를 출력한다.

도 5를 참조하면, 영상 분석부(130)는 시퀀스 그룹(30)의 통합 분석 결과(43)를 기초로 시퀀스 그룹 내의 모든 프레임(31,32,33,34)에 대하여 최종 병변 영역 선정 및 판정을 수행할 수 있다. 이때, 모든 프레임(31,32,33,34)의 최종 병변 영역 및 판정은 이하에서 설명하는 바와 같이 그 입력된 역순으로 역추적하는 과정을 통해 이루어질 수 있다.

도 5에 도시된 바와 같이, 시퀀스 그룹(30)의 통합 분석 결과(43), 예컨대 최종 병변 영역(iTR) 정보를 이용하여 제2 영상의 통합 분석 결과(42)에 대한 병변 영역(51)을 결정한다. 이때, 제2 영상의 통합 분석 결과(42)에 대한 최종 병변 영역(51)을 결정하기 위해서 고려되는 이전 병변 영역(iTR)은 점선으로 표시될 수 있다.

마찬가지로, 제2 영상의 통합 분석 결과(42)에 대한 최종 병변 영역(51)이 결정되면, 그 최종 병변 영역(51) 및 마지막 영상(34)에 대한 그리드 단위 영상 변화를 이용하여, 그 마지막 프레임(34)의 최종 병변 영역(52)을 결정한다.

이러한 과정을 통하여 순차적으로 모든 나머지 프레임(33,32,31)에 대한 최종 병변 영역(53,54,55)을 결정한다. 이때, 각 프레임(34,33,32,31)의 최종 병변 영역을 결정하기 위해 고려되는 이전 병변 영역(51,52,53,54)은 각 프레임(34,33,32,31)에서 점선으로 표시될 수 있다.

도 6은 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다. 도 7은 도 6의 실시예에 따른 영상 분석 단계의 상세 흐름도이다.

도 6 및 도 7은 도 1의 실시예에 따른 컴퓨터 보조 진단 장치(100)에 수행되는 일 실시예일 수 있다.

컴퓨터 보조 진단 장치는 의료 영상을 입력받아 연속적인 영상을 출력한다(610). 이때, 입력되는 의료 영상은 프로브를 이용하여 환자의 환부를 촬영한 초음파 영상, 방사선(CR: Computed Radiography) 영상, 컴퓨터 단층 촬영(CT: Computed Tomography) 영상, 초음파 영상 및 자기공명영상(MRI: Magnetic Resonance Image) 등 다양한 의료 영상 중의 하나일 수 있다. 이때, 출력되는 영상은 진단에 필요한 추상화된 영상 정보를 원활하게 추출할 수 있도록 다양한 전처리 알고리즘을 활용하여 전처리될 수 있다.

그 다음, 출력된 연속적인 영상을 일정 개수로 그룹핑하여 시퀀스 그룹을 형성한다(620). 이때, 형성된 시퀀스 그룹의 개수는 영상 획득 장치의 성능이나 컴퓨터 보조 진단 장치(100)의 개수, 컴퓨팅 성능 등을 고려하여 적절하게 설정될 수 있다.

그 다음, 시퀀스 그룹 내의 영상을 제1 영상 및 제2 영상으로 분리한다(630). 이때, 제1 영상은 그 시퀀스 그룹 내의 영상 중에서 기준 프레임, 예컨대, 첫 번째 입력 프레임일 수 있으며, 제2 영상은 그 기준 프레임을 제외한 나머지 프레임일 수 있다.

그 다음, 분리된 제1 영상 및 제2 영상에 각각의 분석 알고리즘을 적용하여 병렬적으로 분석을 수행한다(640). 이때, 제1 영상 및 제2 영상에 적용되는 각각의 분석 알고리즘은 분석 속도, 분석 정확도 등에 차이가 있는 이종의 분석 알고리즘일 수 있다.

도 7을 참조하여, 제1 영상 및 제2 영상을 분석하는 단계(640)의 일 실시예를 좀 더 구체적으로 설명한다.

먼저, 컴퓨터 보조 진단 장치는 제1 분석 알고리즘을 적용하여 시퀀스 그룹 내의 영상 중에서 제1 영상에 대한 분석을 수행하고(710), 병렬적으로 동시에 제2 분석 알고리즘을 적용하여 제2 영상 내의 각 프레임을 분석한다(720).

이때, 제1 분석 알고리즘 및 제2 분석 알고리즘은 다양한 분석 알고리즘 중에서 그 분석 목적, 분석을 수행할 장치의 개수, 각 장치의 컴퓨팅 성능, 시퀀스 그룹 내의 영상 개수, 각 분석 알고리즘의 분석 속도 및 분석 정확도 등의 다양한 기준에 따라서 미리 결정되는 서로 다른 이종의 분석 알고리즘일 수 있다.

예를 들어, 제1 분석 알고리즘은 제2 분석 알고리즘에 비하여 상대적으로 분석 시간은 긴 반면 정확한 분석이 가능한 알고리즘을 채택할 수 있으며, 제2 분석 알고리즘은 제1 분석 알고리즘에 비하여 상대적으로 분석 시간은 짧은 알고리즘일 수 있다. 이때, 분석 알고리즘은 AdaBoost, DPM(Deformable Part Models), SVM(Support Vector Machine), Decision Tree, DBN(Deep Belief Network) 및 CNN(Convolutional Neural Network) 등을 포함할 수 있다.

컴퓨터 보조 진단 장치는 제1 영상을 분석하는 단계(710) 및 제2 영상을 분석하는 단계(720)에서 제1 영상 및 제2 영상으로부터 추상화된 의료적 영상 정보를 추출하고, 추출된 의료적 영상 정보를 이용하여 병변 영역 검출 및 추적, 판정을 수행할 수 있다. 이때, 추상화된 의료적 영상 정보는 전술한 바와 같이 병변의 모양(Shape0, 에코 패턴(Echo Pattern), 방향(Orientation), 경계(Boundary), 질감(texture) 및 강도(intensity) 등의 특징 정보를 포함할 수 있다. 또는, 유방 초음파 영상의 경우 BI-RADS(Breast Imaging Reporting And Data System) 렉시콘 분류에 따른 병변 특징이거나, 간 초음파 영상의 경우 LI-RADS(Liver Imaging Reporting And Data System) 렉시콘 분류에 따른 병변 특징일 수 있다.

또한, 컴퓨터 보조 진단 장치는 제1 영상을 분석하는 단계(710)에서 제1 영상의 전체 영역을 픽셀 또는 미리 정의된 픽셀 그룹 단위로 분석을 수행할 수 있다.

또한, 제2 영상을 분석하는 단계(720)에서 제2 영상의 각 프레임을 그리드 단위로 나누어, 각 프레임을 이전 프레임과 비교하여 그리드 단위의 영상 변화량을 포함하는 영상 변화를 측정하고, 측정된 그리드 단위의 영상 변화를 이용하여 제2 영상을 분석할 수 있다. 이때, 제2 영상 내의 각 프레임에 대하여 그리드 단위로 영상 변화가 측정되면, 측정된 각 그리드의 영상 변화를 기초로 각 그리드에 병변이 존재할 확률을 산출하고, 산출된 병변 확률을 이용하여 각 프레임에서 병변 영역을 검출할 수 있다.

그 다음, 제1 영상 및 제2 영상의 분석 결과가 출력되면, 제1 영상의 분석 결과 및 제2 영상의 분석 결과를 통합하여 시퀀스 그룹의 통합 분석 결과를 생성할 수 있다(730). 이때, 제2 영상 내의 각 프레임에 대하여 산출된 그리드의 병변 확률에 미리 설정된 가중치를 부여한다. 또한, 가중치가 부여된 각 그리드의 병변 확률을 제2 영상 내의 모든 프레임의 대응되는 그리드 단위로 합산하고 그 합산 결과를 기초로 제2 영상의 통합 분석 결과를 생성할 수 있다. 그리고, 제1 영상의 분석 결과 및 제2 영상의 통합 분석 결과를 병합하여 시퀀스 그룹의 통합 분석 결과를 생성할 수 있다.

그 다음, 단계(730)에서 생성된 시퀀스 그룹의 통합 분석 결과를 기초로 시퀀스 그룹 내의 모든 프레임에 대하여 최종적으로 병변 영역을 재설정하고, 양성/악성 등의 판정을 수행할 수 있다(740). 이때, 시퀀스 그룹의 통합 분석 결과 및 제2 영상의 통합 분석 결과를 이용하여 시퀀스 그룹 내의 모든 프레임을 역으로 추적하여 모든 프레임에 대한 병변 영역의 재설정 및 판정 등의 분석 과정을 수행할 수 있다.

다시 도 6을 참조하면, 시퀀스 그룹의 분석이 완료되면 그 분석 결과를 화면에 출력한다(650). 이때, 그 분석 결과는 영상에 중첩하여 표시하거나, 그 영상이 출력된 영역 이외의 화면 상의 소정 영역에 출력될 수 있다. 이때, 사용자가 병변 영역을 쉽게 확인할 수 있도록 분석 결과 중의 병변 영역 정보를 이용하여 화면 상의 영상에 원, 사각형, 십자 마크 등의 식별 표시를 중첩하여 출력할 수 있다.

한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

100: 컴퓨터 보조 진단 장치 110: 영상 입력부
120: 영상 전처리부 130: 영상 분석부
140: 화면 표시부 200: 영상 분석부
210: 제1 영상 분석부 220: 제2 영상 분석부
230: 통합 분석부 240: 분석 재수행부

Claims

연속적인 의료 영상을 입력받는 영상 입력부;
상기 입력된 연속적인 영상을 소정 개수 단위로 그룹핑하여 그 그룹 내의 영상을 제1 영상 및 제2 영상으로 분리하고, 상기 제1 영상 및 제2 영상을 병렬적으로 분석을 수행하는 영상 분석부; 및
상기 영상 분석부의 분석 결과를 화면에 출력하는 화면 표시부를 포함하는 컴퓨터 보조 진단 장치.
제1항에 있어서,
상기 영상 분석부는
상기 그룹 내의 영상 중에서 첫 번째 프레임을 포함하는 기준 영상을 제1 영상으로, 상기 기준 영상을 제외한 나머지 프레임을 제2 영상으로 분리하는 컴퓨터 보조 진단 장치.
제1항에 있어서,
상기 영상 분석부는
제1 분석 알고리즘을 적용하여 상기 제1 영상을 분석하는 제1 영상 분석부; 및
상기 제1 분석 알고리즘과 다른 제2 분석 알고리즘을 적용하여 상기 제2 영상을 분석하는 제2 영상 분석부를 포함하는 컴퓨터 보조 진단 장치.
제3항에 있어서,
상기 제2 분석 알고리즘은 상기 제1 분석 알고리즘에 비하여 상대적으로 적은 분석 시간이 소요되는 컴퓨터 보조 진단 장치.
제3항에 있어서,
상기 제1 영상 분석부는
상기 제1 분석 알고리즘을 적용하여, 상기 제1 영상의 전체 영역에 대하여 각 픽셀 단위 또는 미리 설정된 픽셀 그룹 단위로 분석하는 컴퓨터 보조 진단 장치.
제3항에 있어서,
상기 제2 영상 분석부는
상기 제2 분석 알고리즘을 적용하여 상기 제2 영상에 포함된 모든 프레임을 순차적으로 분석하되, 상기 제2 영상에 포함된 어느 하나의 프레임에 대하여 그리드(grid) 단위로 그 이전 프레임과의 영상 변화를 측정하고, 측정된 그리드 단위의 영상 변화를 기초로 상기 어느 하나의 프레임을 분석하는 컴퓨터 보조 진단 장치.
제6항에 있어서,
상기 제2 영상 분석부는
상기 제2 영상에 포함된 각 프레임에 대하여 상기 측정된 그리드 단위의 영상 변화를 기초로 상기 각 그리드에 병변이 존재할 확률을 산출하고, 산출된 확률을 이용하여 각 프레임에서 병변 영역을 검출하는 컴퓨터 보조 진단 장치.
제3항에 있어서,
상기 영상 분석부는
상기 제2 영상에 포함된 각 프레임의 분석 결과를 통합하여 제2 영상의 통합 분석 결과를 생성하고, 상기 제1 영상의 분석 결과 및 상기 제2 영상의 통합 분석 결과를 병합하여 상기 그룹의 통합 분석 결과를 생성하는 통합 분석부를 더 포함하는 컴퓨터 보조 진단 장치.
제8항에 있어서,
상기 통합 분석부는
상기 제2 영상에 포함된 모든 프레임에 대하여, 각 프레임별로 그리드 각각의 병변 확률에 가중치를 부여하고, 각 프레임별로 가중치가 부여된 병변 확률을 대응되는 그리드 단위로 합산하여 그 합산 결과를 기초로 상기 제2 영상의 통합 분석 결과를 생성하는 컴퓨터 보조 진단 장치.
제8항에 있어서,
상기 영상 분석부는
상기 그룹의 통합 분석 결과 및 상기 제2 영상의 분석 결과를 기초로 상기 그룹 내의 각 프레임을 입력된 역순으로 추적하여 상기 각 프레임의 병변 영역을 재설정하는 분석 재수행부를 더 포함하는 컴퓨터 보조 진단 장치.
제1항에 있어서,
상기 입력된 영상에 대하여 정규화(normalization), 채널 분리, 스케일링 중의 하나 이상을 포함하는 전처리 과정을 수행하는 영상 전처리부를 더 포함하는 컴퓨터 보조 진단 장치.
연속적인 의료 영상을 입력받는 단계;
상기 입력된 연속적인 영상을 소정 개수 단위로 그룹핑하는 단계;
상기 그룹핑된 그룹 내의 영상을 제1 영상 및 제2 영상으로 분리하는 단계;
상기 제1 영상 및 제2 영상을 병렬적으로 분석을 수행하는 단계; 및
상기 분석 결과를 화면에 출력하는 단계를 포함하는 컴퓨터 보조 진단 방법.
제12항에 있어서,
상기 영상을 분리하는 단계는
상기 그룹 내의 영상 중에서 첫 번째 프레임을 포함하는 기준 영상을 제1 영상으로, 상기 기준 영상을 제외한 나머지 프레임을 제2 영상으로 분리하는 컴퓨터 보조 진단 방법.
제12항에 있어서,
상기 분석을 수행하는 단계는
제1 분석 알고리즘을 적용하는 상기 제1 영상을 분석하는 단계; 및
상기 제1 분석 알고리즘과 다른 제2 분석 알고리즘을 적용하여 상기 제2 영상을 분석하는 단계를 포함하는 컴퓨터 보조 진단 방법.
제14항에 있어서,
상기 제2 분석 알고리즘은 상기 제1 분석 알고리즘에 비하여 상대적으로 적은 분석 시간이 소요되는 컴퓨터 보조 진단 방법.
제14항에 있어서,
상기 제1 영상을 분석하는 단계는
상기 제1 분석 알고리즘을 적용하여, 상기 제1 영상의 전체 영역에 대하여 각 픽셀 단위 또는 미리 설정된 픽셀 그룹 단위로 분석하는 컴퓨터 보조 진단 방법.
제14항에 있어서,
상기 제2 영상을 분석하는 단계는
상기 제2 분석 알고리즘을 적용하여 상기 제2 영상에 포함된 모든 프레임을 순차적으로 분석하되, 상기 제2 영상에 포함된 어느 하나의 프레임에 대하여 그리드(grid) 단위로 그 이전 프레임과의 영상 변화를 측정하고, 측정된 그리드 단위의 영상 변화를 기초로 상기 어느 하나의 프레임을 분석하는 컴퓨터 보조 진단 방법.
제17항에 있어서,
상기 제2 영상을 분석하는 단계는
상기 제2 영상에 포함된 각 프레임에 대하여 상기 측정된 그리드 단위의 영상 변화를 기초로 상기 각 그리드에 병변이 존재할 확률을 산출하고, 산출된 확률을 이용하여 각 프레임에서 병변 영역을 검출하는 컴퓨터 보조 진단 방법.
제14항에 있어서,
상기 분석을 수행하는 단계는
상기 제2 영상에 포함된 각 프레임의 분석 결과를 통합하여 제2 영상의 통합 분석 결과를 생성하는 단계; 및
상기 제1 영상의 분석 결과 및 상기 제2 영상의 통합 분석 결과를 병합하여 상기 그룹의 통합 분석 결과를 생성하는 단계를 더 포함하는 컴퓨터 보조 진단 방법.
제19항에 있어서,
상기 제2 영상의 통합 분석 결과를 생성하는 단계는
상기 제2 영상에 포함된 모든 프레임에 대하여, 각 프레임별로 그리드 각각의 병변 확률에 가중치를 부여하고, 각 프레임별로 가중치가 부여된 병변 확률을 대응되는 그리드 단위로 합산하여 그 합산 결과를 기초로 상기 제2 영상의 통합 분석 결과를 생성하는 컴퓨터 보조 진단 방법.
제19항에 있어서,
상기 분석을 수행하는 단계는
상기 그룹의 통합 분석 결과 및 상기 제2 영상의 분석 결과를 기초로 상기 그룹 내의 각 프레임을 입력된 역순으로 추적하여 상기 각 프레임의 병변 영역을 재설정하는 단계를 더 포함하는 컴퓨터 보조 진단 방법.
제12항에 있어서,
상기 입력된 영상에 대하여 정규화(normalization), 채널 분리, 스케일링 중의 하나 이상을 포함하는 전처리 과정을 수행하는 단계를 더 포함하는 컴퓨터 보조 진단 방법.