KR20160020917A - 컴퓨터 보조 진단 장치 및 방법 - Google Patents

컴퓨터 보조 진단 장치 및 방법 Download PDF

Info

Publication number
KR20160020917A
KR20160020917A KR1020140106268A KR20140106268A KR20160020917A KR 20160020917 A KR20160020917 A KR 20160020917A KR 1020140106268 A KR1020140106268 A KR 1020140106268A KR 20140106268 A KR20140106268 A KR 20140106268A KR 20160020917 A KR20160020917 A KR 20160020917A
Authority
KR
South Korea
Prior art keywords
region
frame image
lesion
computer
function
Prior art date
Application number
KR1020140106268A
Other languages
English (en)
Inventor
감혜진
김하영
전주혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140106268A priority Critical patent/KR20160020917A/ko
Publication of KR20160020917A publication Critical patent/KR20160020917A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Detecting, measuring or recording for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radiowaves
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radiowaves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12Devices for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/46Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
    • A61B6/467Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

컴퓨터 보조 진단 장치 및 방법이 개시된다. 일 양상에 따른 컴퓨터 보조 진단 장치는, 이전 프레임 영상에서 검출된 관심 영역의 위치 정보에 기초하여 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 영역 분리부와, 제1 영역 및 제2 영역에 대하여 컴퓨터 보조 진단 장치의 서로 다른 기능을 수행하는 기능 수행부를 포함할 수 있다.

Description

컴퓨터 보조 진단 장치 및 방법{Apparatus and Method for computer aided diagnosis}

컴퓨터 보조 진단 장치 및 방법과 관련된다.

컴퓨터 보조 진단(CAD: Computer Aided Diagnosis) 시스템이란 초음파 영상과 같은 의료영상을 분석하고 그 분석 결과에 따라 의료영상에 이상 부위를 표시함으로써 의사(doctor)의 진단 업무에 도움을 주는 시스템을 말한다. 이러한 CAD 시스템은 사람의 식별능력의 한계로 인해 불가피하게 발생하던 진단의 불확실성을 줄여주고, 개별적 영상 판독에 따른 의사의 과중한 업무 역시 줄여줄 수 있는 장점이 있다.

그러나, 컴퓨터 보조 진단 시스템은 각 프레임 영상별로 관심 영역을 검출(detection)하고 트래킹(tracking)하거나, 각 프레임 영상별로 관심 영역을 검출하고 판정(classification)하기 때문에, 실시간으로 동작하는 데는 무리가 있다.

이전 프레임 영상에서 검출된 관심 영역에 대한 정보를 활용하여 현재 프레임 영상을 다수의 영역으로 분리하여 다른 기능을 수행함으로써, 병변 검출/판정의 정확도와 속도를 높일 수 있는 컴퓨터 보조 진단 장치 및 방법을 제공하는 것을 목적으로 한다.

일 양상에 따른 컴퓨터 보조 진단 장치는, 이전 프레임 영상에서 검출된 관심 영역의 위치 정보에 기초하여 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 영역 분리부와, 제1 영역 및 제2 영역에 대하여 컴퓨터 보조 진단 장치의 서로 다른 기능을 수행하는 기능 수행부를 포함할 수 있다.

여기서, 영역 분리부는, 현재 프레임 영상을 이전 프레임 영상에서 검출된 관심 영역의 중심점과 동일한 지점으로부터 일정 범위 확장된 영역을 포함하는 제1 영역과, 제1영역 이외의 나머지 영역을 포함하는 제2 영역으로 분리할 수 있다.

여기서, 영역 확장을 위한 일정 범위는, 기 저장된 병변 정보로서, 이전 프레임 영상의 관심 영역에 포함된 병변과 유사한 병변에 대한 병변 분포, 병변 길이, 및 병변 면적의 변화 추이와, 병변 모양의 변화도 중 적어도 하나를 기반으로 결정될 수 있다.

여기서, 기능 수행부는, 제1 영역에 대하여 관심 영역 확인 기능, 병변 세그먼테이션(segmentation) 기능, 및 병변 판정(classification) 기능 중 적어도 하나를 수행하는 제1 기능 수행부와, 제2 영역에 대하여 관심 영역 검출(detection) 기능을 수행하는 제2 기능 수행부를 포함할 수 있다.

여기서, 제1 기능 수행부는, 관심 영역 확인 기능 수행시, 제1 영역으로부터 특징값을 추출하고, 추출된 특징값과 이전 프레임 영상의 관심 영역 특징값의 유사도에 기초하여 제1 영역이 이전 프레임 영상에서 검출된 관심 영역에 대응하는 영역인지 확인할 수 있다.

또한, 제1 기능 수행부는, 병변 판정(classification) 기능 수행시, 제1 영역으로부터 특징값을 추출하고, 추출된 특징값을 미리 저장된 진단 모델과 비교하여 제1 영역 내의 병변의 양성 또는 악성 여부를 판정할 수 있다.

추가적 양상에 따른 컴퓨터 보조 진단 장치는, 이전 프레임 영상에서 관심 영역을 검출하는 관심 영역 검출부를 더 포함할 수 있다.

추가적 양상에 따른 컴퓨터 보조 진단 장치는, 현재 프레임 영상, 및 기능 수행부의 기능 수행 결과를 화면에 출력하는 화면 표시부를 더 포함할 수 있다.

다른 양상에 따른 컴퓨터 보조 진단 방법은, 이전 프레임 영상에서 검출된 관심 영역의 위치 정보에 기초하여 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 단계와, 제1 영역 및 제2 영역에 대하여 컴퓨터 보조 진단 장치의 서로 다른 기능을 수행하는 단계를 포함할 수 있다.

여기서, 분리하는 단계는, 현재 프레임 영상을 이전 프레임 영상에서 검출된 관심 영역의 중심점과 동일한 지점으로부터 일정 범위 확장된 영역을 포함하는 제1 영역과, 제1영역 이외의 나머지 영역을 포함하는 제2 영역으로 분리할 수 있다.

여기서, 영역 확장을 위한 일정 범위는, 기 저장된 병변 정보로서, 이전 프레임 영상의 관심 영역에 포함된 병변과 유사한 병변에 대한 병변 분포, 병변 길이, 및 병변 면적의 변화 추이와, 병변 모양의 변화도 중 적어도 하나를 기반으로 결정될 수 있다.

여기서, 서로 다른 기능을 수행하는 단계는, 제1 영역에 대하여 관심 영역 확인 기능, 병변 세그먼테이션(segmentation) 기능, 및 병변 판정(classification) 기능 중 적어도 하나를 수행하는 단계와, 제2 영역에 대하여 관심 영역 검출(detection) 기능을 수행하는 단계를 포함할 수 있다.

컴퓨터 보조 진단 방법은, 관심 영역 확인 기능 수행시, 제1 영역으로부터 특징값을 추출하는 단계와, 추출된 특징값과 이전 프레임 영상의 관심 영역 특징값의 유사도에 기초하여 제1 영역이 이전 프레임 영상에서 검출된 관심 영역에 대응하는 영역인지 확인하는 단계를 포함할 수 있다.

컴퓨터 보조 진단 방법은 병변 판정(classification) 기능 수행시, 제1 영역으로부터 특징값을 추출하는 단계와, 추출된 특징값을 미리 저장된 진단 모델과 비교하여 제1 영역 내의 병변의 양성 또는 악성 여부를 판정하는 단계를 포함할 수 있다.

추가적 양상에 따른 컴퓨터 보조 진단 방법은 이전 프레임 영상에서 관심 영역을 검출하는 단계를 더 포함할 수 있다.

추가적 양상에 따른 컴퓨터 보조 진단 방법은 현재 프레임 영상, 및 기능 수행 결과를 화면에 출력하는 단계를 더 포함할 수 있다.

이전 프레임 영상에서 검출된 관심 영역에 대한 정보를 활용하여 현재 프레임 영상을 다수의 영역으로 분리하고, 분리된 각 영역별로 다른 기능을 수행함으로써, 병변 검출/판정의 정확도와 속도를 높일 수 있다.

도 1은 컴퓨터 보조 진단 장치의 일 실시예를 도시한 도면이다.
도 2는 컴퓨터 보조 진단 장치의 다른 실시예를 도시한 도면이다.
도 3은 컴퓨터 보조 진단 장치의 원리를 설명하기 위한 도면이다.
도 4a는 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 방법을 설명하기 위한 도면이다.
도 4b는 이전 프레임 영상의 예시도이다.
도 4c는 영역이 분리된 현재 프레임 영상의 예시도이다.
도 5는 컴퓨터 보조 진단 방법의 일 실시예를 도시한 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 컴퓨터 보조 진단 장치의 일 실시예를 도시한 도면이다.

도 1을 참조하면, 일 실시예에 따른 컴퓨터 보조 진단 장치(100)는 영역 분리부(110) 및 기능 수행부(120)를 포함할 수 있다.

영역 분리부(110)는 이전 프레임 영상에서 검출된 관심 영역의 위치 정보를 기초로 현재 프레임 영상을 제1 영역과 제2 영역으로 분리할 수 있다. 여기서, 관심 영역은 악성 병변 영역뿐만 아니라 악성/양성 구분이 애매한 병변 영역 또는 특이한 특징을 가지는 영역을 포함할 수 있다.

일 실시예에 따르면, 영역 분리부(110)는 현재 프레임 영상을 이전 프레임 영상의 관심 영역 중심점과 동일한 지점으로부터 일정 범위 확장된 영역을 포함하는 제1 영역과, 제1 영역을 제외한 나머지 영역를 포함하는 제2 영역으로 분리할 수 있다.

이때, 영역 확장을 위한 파라미터는 기존의 다양한 의료용 데이터베이스로부터 도출될 수 있다. 예컨대, 영역 확장을 위한 파라미터는 기존의 의료용 데이터베이스에 저장된 병변 정보로서, 이전 프레임 영상의 관심 영역에 포함된 병변과 유사한 병변의 정보(병변의 분포, 길이, 면적의 변화 추이, 병변의 모양(shape)의 변화도 등)를 기초로 도출될 수 있다.

또한, 제1 영역과 제2 영역은 컴퓨터 보조 진단 장치(100)의 정확도, 민감도 등에 따라 서로 중첩되는 영역을 포함할 수 있다. 즉, 제1 영역과 제2 영역은 필요에 따라 서로 중첩되는 특정 범위의 경계 영역(boundary region)을 포함할 수 있다.

기능 수행부(120)는 제1 영역 및 제2 영역에 대하여 컴퓨터 보조 진단 장치(100)가 수행하는 다양한 기능 중 서로 다른 기능을 수행할 수 있다. 이를 위해, 기능 수행부(120)는 제1 기능 수행부(121) 및 제2 기능 수행부(122)를 포함할 수 있다.

제1 기능 수행부(121)는 제1 영역에 대하여, 제1 영역이 이전 프레임 영상의 관심 영역에 대응하는 영역, 즉 제1 영역이 검색하고자 했던 관심 영역이 맞는지 확인하는 기능(이하, 관심 영역 확인 기능)을 수행할 수 있다. 자세하게는, 제1 기능 수행부(121)는 제1 영역을 분석하여 특징값을 추출하고, 추출된 제1 영역의 특징값과 이전 프레임 영상의 관심 영역 특징값의 유사도를 판단하여 유사도가 미리 설정된 임계값 이상이 되는 경우, 제1 영역을 이전 프레임 영상의 관심 영역에 대응하는 영역이라고 판단할 수 있다.

여기서, 특징은 영상에서 병변 영역인지 아닌지를 판단할 수 있는 특징을 의미하고, 특징값은 이러한 특징을 수치적으로 표현한 값을 의미한다. 예컨대, 특징은 관심 영역 내의 병변의 모양(shape), 모서리(margin), 에코 패턴(echo pattern), 방향(orientation), 경계(boundary), 및 질감(texture) 등을 포함할 수 있다.

제1 기능 수행부(121)는 제1 영역에 대하여 병변 세그먼테이션(lesion segmentation) 기능을 수행할 수 있다. 자세하게는, 제1 기능 수행부(121)는 다양한 병변 세그먼테이션 기법을 이용하여 제1 영역에 대하여 보다 정확한 세그먼테이션을 수행할 수 있다. 이때, 병변 세그먼테이션 기법은 임계화 기법(thresholding methods), 클러스터링 기법(clustering methods), 압축 기반 기법(compression-based methods), 히스토그램 기반 기법(histogram-based methods), 영역 확장 기법(region growing methods), 분리 병합 기법(split and merge methods), 그래프 분할 기법(graph partitioning methods), 에지 검출(edge detection) 등을 포함할 수 있다.

제1 기능 수행부(121)는 제1 영역에 대하여 병변 판정(lesion classification) 기능을 수행할 수 있다. 자세하게는, 기능 수행부(121)는 제1 영역을 분석하여 특징값을 추출하고, 추출된 제1 영역의 특징값을 미리 저장된 진단 모델과 비교하여 제1 영역 내의 병변의 양성 또는 악성 여부를 판단할 수 있다.

여기서, 진단 모델은 진단이 완료된 다수의 의료 데이터를 학습시켜 생성될 수 있고, 생성된 진단 모델은 컴퓨터 보조 진단 장치(100) 내부 또는 외부의 데이터베이스에 저장될 수 있다. 이때, 진단 모델 생성에 사용되는 학습 알고리즘은 deep learning 기반 알고리즘, 예컨대, CNN(Convolutional neural network), RNN(Recurrent Neural Network), sparse autoencoder, DPM(Deformable Part Model), SVM(Support Vector Machine) 및 HOG(Histogram of Oriented Gradients) 등을 포함할 수 있다.

한편, 제1 기능 수행부(121)가 제1 영역에 대하여 병변 판정 기능을 수행하는 경우, 현재 프레임 영상의 제1 영역에서 추출된 특징값과 함께 이전 프레임 영상의 관심 영역에서 추출된 특징값을 이용하는 것도 가능하다.

한편, 제1 기능 수행부(121)는 제1 영역에 대하여 관심 영역 확인 기능, 병변 세그먼테이션 기능 및 병변 판정 기능 중 어느 하나만을 수행하는 것도 가능하고, 두 가지 이상의 기능을 동시 또는 순차적으로 수행하는 것도 가능하다.

제2 기능 수행부(122)는 제2 영역에 대하여 관심 영역 검출 기능을 수행할 수 있다. 예컨대, 제2기능 수행부(122)는 RGI(Radial Gradient Index), ARD(Average Radial Gradient), Hybrid filtering, 및 multifractal analysis 등 기존의 여러 가지 필터, 또는 단순한 gray scale threshold method 등을 이용하거나, deep learning 기반 알고리즘인 CNN(Convolutional neural network), RNN(Recurrent Neural Network), sparse autoencoder, DPM(Deformable Part Model), SVM(Support Vector Machine) 및 HOG(Histogram of Oriented Gradients) 등을 이용하여 제2 영역에서 특징값을 추출하고, 추출된 특징값을 기반으로 관심 영역을 검출할 수 있다.

도 2는 컴퓨터 보조 진단 장치의 다른 실시예를 도시한 도면이다.

도 2를 참조하면, 다른 실시예에 따른 컴퓨터 보조 진단 장치(200)는 도 1의 컴퓨터 보조 진단 장치(100)에서 영상 획득부(210), 관심 영역 검출부(220) 및 화면 표시부(230)를 선택적으로 더 포함할 수 있다.

영상 획득부(210)는 환자의 의료 영상을 획득할 수 있다. 여기서, 의료 영상은 프로브를 통하여 프레임 단위로 실시간으로 획득한 초음파 영상일 수 있다. 또한, 의료 영상은 컴퓨터 단층 촬영(CT: Computed tomography) 장치, 자기 공명 영상(MRI: Magnetic Resonance Imaging) 장치 등을 통하여 3차원으로 획득한 슬라이스 영상 세트일 수 있다. 이때, 슬라이스 영상 각각은 프레임 영상 각각에 대응될 수 있다.

관심 영역 검출부(220)는 영상 획득부(210)를 통하여 획득한 이전 프레임 영상을 분석하여 관심 영역을 검출할 수 있다. 예컨대, 관심 영역 검출부(220)는 RGI(Radial Gradient Index), ARD(Average Radial Gradient), Hybrid filtering, 및 multifractal analysis 등 기존의 여러 가지 필터, 또는 단순한 gray scale threshold method 등을 이용하거나, deep learning 기반 알고리즘인 CNN(Convolutional neural network), RNN(Recurrent Neural Network), sparse autoencoder, DPM(Deformable Part Model), SVM(Support Vector Machine) 및 HOG(Histogram of Oriented Gradients) 등을 이용하여 이전 프레임 영상에서 특징값을 추출하고, 추출된 특징값을 기반으로 관심 영역을 검출할 수 있다.

화면 표시부(230)는 현재 프레임 영상 및 기능 수행부(120)의 기능 수행 결과를 화면에 출력할 수 있다. 즉, 화면 표시부(230)는 실시간으로 획득한 현재 프레임 영상을 화면에 출력하고, 기능 수행부의 기능 수행 결과, 즉, 관심 영역 확인 기능 수행 결과, 병변 세그먼테이션 결과, 병변 판정 결과 및 관심 영역 검출 결과를 화면에 출력할 수 있다.

또한, 화면 표시부(230)는 관심 영역 검출 결과를 표시할 때, 검출된 관심 영역을 바운딩 박스(bounding box)로 표시하거나, 관심 영역의 중심에 십자 마크를 표시하여 관심 영역의 위치를 나타낼 수 있다. 그러나, 이에 한정되는 것은 아니며, 관심 영역을 원형, 삼각형 등 다양한 형태의 식별 표시로 표시하거나 다양한 색깔로 컬러 코딩하는 등 다양한 방법으로 관심 영역을 표시하는 것이 가능하다.

한편, 화면 표시부(230)는 기능 수행부(120)의 기능 수행 결과를 하나의 화명 상에 표시할 수도 있으며, 다른 화면 상에 표시할 수도 있다.

도 3은 컴퓨터 보조 진단 장치의 원리를 설명하기 위한 도면이다.

연속된 프레임 영상에서 검출하고자 하는 병변은 어느 정도의 크기를 가지고 있어 하나의 프레임 영상에만 관찰되는 것은 아니다. 즉, 병변은 적어도 둘 이상의 연속된 프레임 영상에서 연속적으로 관찰된다.

하나 또는 두 개 이상의 연속된 프레임 영상에서 병변 의심 영역이 검출된다면 이후 프레임 영상에서도 병변 의심 영역의 크기와 형태는 변화할 수 있으나 이전 프레임 영상에서 검출된 병변 의심 영역과 동일한 중심점을 갖는 병변이 관찰될 확률이 높다고 볼 수 있다.

도 3에 도시된 바와 같이, 병변(300)은 다수의 연속된 프레임 영상에 연속적으로 관찰된다. 따라서, 컴퓨터 보조 진단 장치(100, 200)는 이전 프레임 영상(310, 320)에서 검출된 관심 영역(311, 321)의 위치 정보에 기초하여 현재 프레임 영상(330)을 이전 프레임 영상(310, 320)의 관심 영역(311, 321)과 연결된 제1 영역(331)과, 제1 영역 이외의 나머지 영역인 제2 영역(332)으로 분리하고, 제1 영역(331)과 제2 영역(332)에 서로 다른 기능(예컨대, 제1 영역(331)에는 병변 판정, 제2 영역(332)에는 새로운 관심 영역 검출)을 수행함으로써, 병변 검출/판정의 정확도와 속도를 높이는 것이 가능하다.

도 4a 내지 도 4c는 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 과정을 설명하기 위한 도면이다. 자세하게는, 도 4a는 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 방법을 설명하기 위한 도면이고, 도 4b는 이전 프레임 영상의 예시도이고, 도 4c는 영역이 분리된 현재 프레임 영상의 예시도이다.

도 4a를 참조하면, 영역 분리부(110)는 이전 프레임 영상(410)에서 검출된 관심 영역(411)의 위치 정보를 기초로 현재 프레임 영상(420)을 제1 영역(421)과 제2 영역(423)으로 분리한다. 즉, 영역 분리부(110)는 이전 프레임 영상(410)의 관심 영역(411)의 중심점(412)와 동일한 지점(422)으로부터 일정 범위 확장된 영역을 제1 영역(421)으로 분리하고, 제1 영역(421) 이외의 나머지 영역을 제2 영역(423)으로 분리한다.

이때, 이전 프레임 영상(410)에서 현재 프레임 영상(420)으로의 영역 확장은 이전 프레임 영상(410)의 관심 영역(11)의 중심점(412)과 동일한 지점(422)을 중심으로 비정형으로 확대된 형태이거나 사각형으로 확대된 형태일 수 있다. 그러나, 이는 일 실시예에 불과할 뿐, 시스템의 성능 또는 용도에 따라 다양한 형태로 확장될 수 있다.

또한, 전술한 바와 같이, 영역 확장을 위한 파라미터는 기존의 다양한 의료용 데이터베이스로부터 도출될 수 있다. 예컨대, 영역 확장을 위한 파라미터는 기존의 의료용 데이터베이스에 저장된 병변 정보로서, 이전 프레임 영상의 관심 영역에 포함된 병변과 유사한 병변의 정보(병변의 분포, 길이, 면적의 변화 추이, 병변의 모양(shape)의 변화도 등)를 기초로 도출될 수 있다.

도 4b 및 도 4c를 참조하면, 이전 프레임 영상(410)에서 관심 영역(411)이 검출되었을 때, 현재 프레임 영상(420)은 이전 프레임 영상(410)의 관심 영역(411)의 위치 정보를 기초로 제1 영역(421)과 제2 영역(423)으로 분리될 수 있다.

도 5는 컴퓨터 보조 진단 방법의 일 실시예를 도시한 흐름도이다.

도 5를 참조하면, 일 실시예에 따른 컴퓨터 보조 진단 방법(500)은 먼저, 이전 프레임 영상에서 검출된 관심 영역의 위치 정보를 기초로 현재 프레임 영상을 제1 영역과 제2 영역으로 분리한다(510). 예컨대, 컴퓨터 보조 진단 장치(100, 200)는 현재 프레임 영상을 이전 프레임 영상의 관심 영역 중심점과 동일한 지점으로부터 일정 범위 확장된 영역을 포함하는 제1 영역과, 제1 영역을 제외한 나머지 영역를 포함하는 제2 영역으로 분리할 수 있다.

이때, 전술한 바와 같이, 영역 확장을 위한 파라미터는 기존의 다양한 의료용 데이터베이스로부터 도출될 수 있으며, 제1 영역과 제2 영역은 컴퓨터 보조 진단 장치(100, 200)의 정확도, 민감도 등에 따라 서로 중첩되는 영역을 포함할 수 있다.

그 후, 제1 영역 및 제2 영역에 대하여 컴퓨터 보조 진단 장치가 수행하는 다양한 기능 중 서로 다른 기능을 수행한다(520). 예컨대, 컴퓨터 보조 진단 장치(100, 200)는 제1 영역은 관심 영역 확인 기능, 병변 세그먼테이션 기능 및 병변 판정 기능 등을 수행하고, 제2 영역은 관심 영역 검출 기능을 수행할 수 있다.

이때, 제1 영역에 대한 관심 영역 확인 기능, 병변 세그먼테이션 기능, 및 병변 판정 기능과, 제2 영역에 대한 관심 영역 검출 기능에 대한 구체적인 설명은 도 1을 참조하여 전술한 바와 같으므로 그 상세한 설명은 생략한다.

한편, 추가적 실시예에 따르면, 컴퓨터 보조 진단 방법(500)은 환자의 의료 영상을 획득하는 과정(502)를 더 포함할 수 있다. 여기서, 의료 영상은 프로브를 통하여 프레임 단위로 실시간으로 획득한 초음파 영상일 수 있다. 또한, 의료 영상은 컴퓨터 단층 촬영(CT: Computed tomography) 장치, 자기 공명 영상(MRI: Magnetic Resonance Imaging) 장치 등을 통하여 3차원으로 획득한 슬라이스 영상 세트일 수 있다. 이때, 슬라이스 영상 각각은 프레임 영상 각각에 대응될 수 있다.

한편, 추가적 실시예에 따르면, 컴퓨터 보조 진단 방법(500)은 현재 프레임 영상의 이전 프레임 영상을 분석하여 관심 영역을 검출하는 과정(504)을 더 포함할 수 있다.

예컨대, 컴퓨터 보조 진단 장치(200)는 RGI(Radial Gradient Index), ARD(Average Radial Gradient), Hybrid filtering, 및 multifractal analysis 등 기존의 여러 가지 필터, 또는 단순한 gray scale threshold method 등을 이용하거나, deep learning 기반 알고리즘인 CNN(Convolutional neural network), RNN(Recurrent Neural Network), sparse autoencoder, DPM(Deformable Part Model), SVM(Support Vector Machine) 및 HOG(Histogram of Oriented Gradients) 등을 이용하여 이전 프레임 영상에서 특징값을 추출하고, 추출된 특징값을 기반으로 관심 영역을 검출할 수 있다.

한편, 추가적 실시예에 따르면, 컴퓨터 보조 진단 방법(500)은 현재 프레임 영상과 함께 기능 수행 결과를 화면에 출력하는 과정(522)을 더 포함할 수 있다.

예컨대, 컴퓨터 보조 진단 장치(200)는 실시간으로 획득한 현재 프레임 영상을 화면에 출력하고, 기능 수행 결과, 즉, 관심 영역 확인 기능 수행 결과, 병변 세그먼테이션 결과, 병변 판정 결과 및 관심 영역 검출 결과를 화면에 출력할 수 있다.

본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

100: 컴퓨터 보조 진단 장치
110: 영역 분리부
120: 기능 수행부
121: 제1 기능 수행부
122: 제2 기능 수행부

Claims (16)

  1. 이전 프레임 영상에서 검출된 관심 영역의 위치 정보에 기초하여 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 영역 분리부; 및
    상기 제1 영역 및 상기 제2 영역에 대하여 컴퓨터 보조 진단 장치의 서로 다른 기능을 수행하는 기능 수행부; 를 포함하는 컴퓨터 보조 진단 장치.
  2. 제1 항에 있어서,
    상기 영역 분리부는, 상기 현재 프레임 영상을 상기 이전 프레임 영상에서 검출된 관심 영역의 중심점과 동일한 지점으로부터 일정 범위 확장된 영역을 포함하는 제1 영역과, 상기 제1영역 이외의 나머지 영역을 포함하는 제2 영역으로 분리하는 컴퓨터 보조 진단 장치.
  3. 제2 항에 있어서,
    영역 확장을 위한 일정 범위는, 기 저장된 병변 정보로서, 이전 프레임 영상의 관심 영역에 포함된 병변과 유사한 병변에 대한 병변 분포, 병변 길이, 및 병변 면적의 변화 추이와, 병변 모양의 변화도 중 적어도 하나를 기반으로 결정되는 컴퓨터 보조 진단 장치.
  4. 제1 항에 있어서,
    상기 기능 수행부는,
    상기 제1 영역에 대하여, 관심 영역 확인 기능, 병변 세그먼테이션(segmentation) 기능, 및 병변 판정(classification) 기능 중 적어도 하나를 수행하는 제1 기능 수행부; 및
    상기 제2 영역에 대하여, 관심 영역 검출(detection) 기능을 수행하는 제2 기능 수행부; 를 포함하는 컴퓨터 보조 진단 장치.
  5. 제4 항에 있어서,
    상기 제1 기능 수행부는, 상기 관심 영역 확인 기능 수행시, 상기 제1 영역으로부터 특징값을 추출하고, 추출된 특징값과 상기 이전 프레임 영상의 관심 영역 특징값의 유사도에 기초하여 상기 제1 영역이 상기 이전 프레임 영상에서 검출된 관심 영역에 대응하는 영역인지 확인하는 컴퓨터 보조 진단 장치.
  6. 제4 항에 있어서,
    상기 제1 기능 수행부는, 상기 병변 판정(classification) 기능 수행시, 상기 제1 영역으로부터 특징값을 추출하고, 추출된 특징값을 미리 저장된 진단 모델과 비교하여 제1 영역 내의 병변의 양성 또는 악성 여부를 판정하는 컴퓨터 보조 진단 장치.
  7. 제1 항에 있어서,
    이전 프레임 영상에서 관심 영역을 검출하는 관심 영역 검출부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  8. 제1 항에 있어서,
    상기 현재 프레임 영상, 및 상기 기능 수행부의 기능 수행 결과를 화면에 출력하는 화면 표시부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  9. 이전 프레임 영상에서 검출된 관심 영역의 위치 정보에 기초하여 현재 프레임 영상을 제1 영역과 제2 영역으로 분리하는 단계; 및
    상기 제1 영역 및 상기 제2 영역에 대하여 컴퓨터 보조 진단 장치의 서로 다른 기능을 수행하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  10. 제9 항에 있어서,
    상기 분리하는 단계는, 상기 현재 프레임 영상을 상기 이전 프레임 영상에서 검출된 관심 영역의 중심점과 동일한 지점으로부터 일정 범위 확장된 영역을 포함하는 제1 영역과, 상기 제1영역 이외의 나머지 영역을 포함하는 제2 영역으로 분리하는 컴퓨터 보조 진단 방법.
  11. 제10 항에 있어서,
    영역 확장을 위한 일정 범위는, 기 저장된 병변 정보로서, 이전 프레임 영상의 관심 영역에 포함된 병변과 유사한 병변에 대한 병변 분포, 병변 길이, 및 병변 면적의 변화 추이와, 병변 모양의 변화도 중 적어도 하나를 기반으로 결정되는 컴퓨터 보조 진단 방법.
  12. 제9 항에 있어서,
    상기 서로 다른 기능을 수행하는 단계는,
    상기 제1 영역에 대하여, 관심 영역 확인 기능, 병변 세그먼테이션(segmentation) 기능, 및 병변 판정(classification) 기능 중 적어도 하나를 수행하는 단계; 및
    상기 제2 영역에 대하여, 관심 영역 검출(detection) 기능을 수행하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  13. 제12 항에 있어서,
    상기 관심 영역 확인 기능 수행시,
    상기 제1 영역으로부터 특징값을 추출하는 단계; 및
    상기 추출된 특징값과 상기 이전 프레임 영상의 관심 영역 특징값의 유사도에 기초하여 상기 제1 영역이 상기 이전 프레임 영상에서 검출된 관심 영역에 대응하는 영역인지 확인하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  14. 제12 항에 있어서,
    상기 병변 판정(classification) 기능 수행시,
    상기 제1 영역으로부터 특징값을 추출하는 단계; 및
    상기 추출된 특징값을 미리 저장된 진단 모델과 비교하여 제1 영역 내의 병변의 양성 또는 악성 여부를 판정하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  15. 제9 항에 있어서,
    이전 프레임 영상에서 관심 영역을 검출하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
  16. 제9 항에 있어서,
    상기 현재 프레임 영상, 및 기능 수행 결과를 화면에 출력하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
KR1020140106268A 2014-08-14 2014-08-14 컴퓨터 보조 진단 장치 및 방법 KR20160020917A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140106268A KR20160020917A (ko) 2014-08-14 2014-08-14 컴퓨터 보조 진단 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140106268A KR20160020917A (ko) 2014-08-14 2014-08-14 컴퓨터 보조 진단 장치 및 방법
US14/825,638 US9662040B2 (en) 2014-08-14 2015-08-13 Computer-aided diagnosis apparatus and method

Publications (1)

Publication Number Publication Date
KR20160020917A true KR20160020917A (ko) 2016-02-24

Family

ID=55302544

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140106268A KR20160020917A (ko) 2014-08-14 2014-08-14 컴퓨터 보조 진단 장치 및 방법

Country Status (2)

Country Link
US (1) US9662040B2 (ko)
KR (1) KR20160020917A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3432784A4 (en) * 2016-03-24 2019-09-11 Univ California Deep-learning-based cancer classification using a hierarchical classification framework
WO2019125790A1 (en) * 2017-12-20 2019-06-27 Verathon Inc. Echo window artifact classification and visual indicators for an ultrasound system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7615008B2 (en) 2000-11-24 2009-11-10 U-Systems, Inc. Processing and displaying breast ultrasound information
CN101421745B (zh) 2004-04-15 2016-05-11 美国医软科技公司 空间-时间肿瘤检测,分割和诊断信息提取系统及方法
EP1816957A4 (en) 2004-11-02 2009-10-21 Metrohealth System Method and apparatus for determining correlation between spatial coordinates in breast
US8150155B2 (en) * 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7992100B2 (en) 2006-12-21 2011-08-02 Sectra Ab Dynamic slabbing to render views of medical image data

Also Published As

Publication number Publication date
US20160048972A1 (en) 2016-02-18
US9662040B2 (en) 2017-05-30

Similar Documents

Publication Publication Date Title
Niemeijer et al. Fast detection of the optic disc and fovea in color fundus photographs
Brown et al. Patient-specific models for lung nodule detection and surveillance in CT images
Shikata et al. Automated segmentation of pulmonary vascular tree from 3D CT images
US8270688B2 (en) Method for intelligent qualitative and quantitative analysis assisting digital or digitized radiography softcopy reading
Lazar et al. Retinal microaneurysm detection through local rotating cross-section profile analysis
US7043064B2 (en) Method for characterizing shapes in medical images
DE112004000381B4 (de) Verfahren zur Bereitstellung einer automatischen 3D-Läsionssegmentierung und von Läsionsmessungen
Mortazavi et al. Segmentation of multiple sclerosis lesions in MR images: a review
JP2007307358A (ja) 画像処理方法および装置ならびにプログラム
Niemeijer et al. Information fusion for diabetic retinopathy CAD in digital color fundus photographs
US20080002870A1 (en) Automatic detection and monitoring of nodules and shaped targets in image data
US20100250275A1 (en) Diagnosis support apparatus, method of controlling diagnosis support apparatus, and program therefor
Ram et al. A successive clutter-rejection-based approach for early detection of diabetic retinopathy
JP2009512528A (ja) 診断画像の自動的処理および評価のための方法およびシステム
US7317821B2 (en) Automatic abnormal tissue detection in MRI images
JP4950071B2 (ja) 3次元医療画像からの肺動脈樹の自動抽出の方法
Maitra et al. Technique for preprocessing of digital mammogram
CN101061509B (zh) 用于医疗成像数据内的肿瘤边界的自动检测和分割的系统和方法
US7876938B2 (en) System and method for whole body landmark detection, segmentation and change quantification in digital images
Chawla et al. A method for automatic detection and classification of stroke from brain CT images
US8774479B2 (en) System and method for automated segmentation, characterization, and classification of possibly malignant lesions and stratification of malignant tumors
JP2008259622A (ja) レポート作成支援装置およびそのプログラム
US7103224B2 (en) Method and system for automatic identification and quantification of abnormal anatomical structures in medical images
JP2006198411A (ja) 心筋層の損傷の可視化方法
US20090097728A1 (en) System and Method for Detecting Tagged Material Using Alpha Matting