KR20160032586A - 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법 - Google Patents

관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법 Download PDF

Info

Publication number
KR20160032586A
KR20160032586A KR1020140122908A KR20140122908A KR20160032586A KR 20160032586 A KR20160032586 A KR 20160032586A KR 1020140122908 A KR1020140122908 A KR 1020140122908A KR 20140122908 A KR20140122908 A KR 20140122908A KR 20160032586 A KR20160032586 A KR 20160032586A
Authority
KR
South Korea
Prior art keywords
interest
region
roi
size
detected
Prior art date
Application number
KR1020140122908A
Other languages
English (en)
Inventor
유승우
김원식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140122908A priority Critical patent/KR20160032586A/ko
Priority to US14/849,108 priority patent/US9805466B2/en
Priority to EP15185456.9A priority patent/EP2998933B1/en
Publication of KR20160032586A publication Critical patent/KR20160032586A/ko
Priority to US15/796,052 priority patent/US10664968B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

관심영역의 크기 모델을 기반으로 하여 관심영역의 검출을 지원하는 컴퓨터 보조 진단 장치에 관한 것이다. 일 실시예에 따르면, 그 장치는 영상을 순차적으로 수신하는 영상 수신부와, 관심영역 크기 전이 모델을 기초로 수신된 현재 영상에서 관심영역을 획득하는 관심영역 획득부 및 획득된 관심영역을 나타내는 시각 정보를 화면 상에 출력하는 관심영역 출력부를 포함할 수 있다.

Description

관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법{COMPUTER AIDED DIAGNOSIS APPARATUS AND METHOD BASED ON SIZE MODEL OF REGION OF INTEREST}
컴퓨터 보조 진단 장치 및 방법에 관한 것으로, 관심영역의 크기 전이 모델을 기반으로 관심영역의 검출 및 표시를 지원하는 기술과 관련된다.
최근 의료 진단 분야에서 초음파 영상을 분석하여 환자를 진단하는 기술이 매우 활발하게 이용되고 있다. 일반적으로 의사들은 프로브를 환자에 밀착하여 실시간으로 초음파 영상을 획득하고, 화면에 출력되는 초음파 영상을 눈으로 확인하면서 병변이나 의심 부위를 검출하고 판단한다. 이때, 의사는 병변으로 의심되는 부위가 있으면 프로브의 이동 속도를 줄이거나 정지하여 의심 부위를 관찰한다.
컴퓨터 보조 진단(Computer Aided Diagonosis, CAD) 시스템은 다양한 의료 영상을 분석하여 병변 등을 검출하고, 양성/악성 등을 판정하여 그 결과를 의사에게 제시한다. 일반적인 CAD에서는 초음파 진단을 위해 먼저 초음파로 병변을 확인한 다음 별도의 CAD 시스템에서 병변을 판정하는 것이 보통이나, 최근 실시간으로 획득되는 초음파 영상에서 병변의 검출 및 판정을 수행하는 실시간 CAD가 연구되고 있다.
관심영역의 크기 변화를 기초로 생성된 크기 전이 모델을 이용하여 관심영역의 검출 및 표시를 지원하는 컴퓨터 보조 진단 장치 및 방법이 제시된다.
일 양상에 따르면, 컴퓨터 보조 진단 장치는 영상을 순차적으로 수신하는 영상 수신부, 관심영역 크기 전이 모델을 기초로 수신된 현재 영상에서 관심영역을 획득하는 관심영역 획득부 및 획득된 관심영역을 나타내는 시각 정보를 화면 상에 출력하는 관심영역 출력부를 포함할 수 있다.
영상 수신부는 프로브를 통해 획득되는 초음파 영상을 프레임 단위로 실시간 수신할 수 있다.
관심영역 획득부는 수신된 현재 영상에서 하나 이상의 관심영역을 검출하는 관심영역 검출부를 포함할 수 있다.
관심영역 획득부는 현재 영상에서 관심영역이 검출되면, 관심영역 크기 전이 모델을 이용하여 검출된 관심영역의 오검출 여부를 판단하는 관심영역 판단부를 더 포함할 수 있다.
관심영역 판단부는 검출된 관심영역의 크기를 관심영역의 크기 전이 모델에 매칭하여 검출된 관심영역의 크기 상태를 결정하고, 크기 전이 모델 상에서 결정된 관심영역의 크기 상태가 현재 영상의 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 전이할 수 없으면 오검출로 판단할 수 있다.
관심영역 출력부는 판단 결과 검출된 관심영역이 오검출로 판단되면, 검출된 관심영역에 대한 시각 정보를 화면상에 출력하지 않을 수 있다.
관심영역 출력부는 판단 결과 검출된 관심영역이 오검출로 판단되면, 관심영역 크기 전이 모델을 이용하여 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 최대로 전이할 수 있는 크기 상태를 결정하고, 결정된 크기 상태에 대응하는 크기로 검출된 관심영역에 대한 시각 정보를 출력할 수 있다.
관심영역 획득부는 현재 영상에서 관심영역이 검출되지 않으면, 관심영역 크기 전이 모델을 이용하여 현재 영상에서의 관심영역을 예측하는 관심영역 예측부를 더 포함할 수 있다.
관심영역 예측부는 관심영역 크기 전이 모델을 이용하여 현재 영상의 직전 영상에서 획득된 관심영역의 크기 상태로부터 전이할 수 있는 크기 상태를 결정하고, 결정된 크기 상태를 이용하여 현재 영상에서의 관심영역을 예측할 수 있다.
이때, 관심영역 크기 전이 모델은 관심항목별로 연속적인 영상에서 관심영역 크기의 변화를 기초로 마르코프 모델(Markov Model) 학습을 통해 미리 생성되고, 크기 상태, 각 크기 상태 간의 전이 가능 여부 및 전이 확률 정보를 포함할 수 있다.
이때, 시각 정보는 화면에 출력된 현재 영상에서 관심영역의 위치 및 크기를 나타내기 위한, 사각형, 원형, 타원형 및 십자 형태 중의 적어도 하나를 포함하는 제1 정보와 제1 정보의 색상, 선의 종류 및 선의 굵기 중의 적어도 하나를 포함하는 제2 정보를 포함할 수 있다.
일 양상에 따르면, 컴퓨터 보조 진단 방법은 영상을 순차적으로 수신하는 단계, 관심영역 크기 전이 모델을 기초로 수신된 현재 영상에서 관심영역을 획득하는 단계 및 획득된 관심영역을 나타내는 시각 정보를 화면 상에 출력하는 단계를 포함할 수 있다.
관심영역 획득 단계는 수신된 현재 영상에서 하나 이상의 관심영역을 검출하는 단계를 포함할 수 있다.
관심영역 획득 단계는 현재 영상에서 관심영역이 검출되면, 관심영역 크기 전이 모델을 이용하여 검출된 관심영역의 오검출 여부를 판단하는 단계를 더 포함할 수 있다.
관심영역 판단 단계는 검출된 관심영역의 크기를 관심영역의 크기 전이 모델에 매칭하여 검출된 관심영역의 크기 상태를 결정하는 단계 및 크기 전이 모델 상에서 결정된 관심영역의 크기 상태가 현재 영상의 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 전이할 수 없으면 오검출로 판단하는 단계를 포함할 수 있다.
관심영역 출력 단계는 판단 결과 검출된 관심영역이 오검출로 판단되면, 검출된 관심영역에 대한 시각 정보를 화면상에 출력하지 않을 수 있다.
관심영역 출력 단계는 판단 결과 검출된 관심영역이 오검출로 판단되면, 관심영역 크기 전이 모델을 이용하여 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 최대로 전이할 수 있는 크기 상태를 결정하는 단계 및 결정된 크기 상태에 대응하는 크기로 그 검출된 관심영역에 대한 시각 정보를 출력하는 단계를 포함할 수 있다.
관심영역 획득 단계는 현재 영상에서 관심영역이 검출되지 않으면, 관심영역 크기 전이 모델을 이용하여 현재 영상에서의 관심영역을 예측하는 단계를 더 포함할 수 있다.
관심영역 예측 단계는 관심영역 크기 전이 모델을 이용하여 현재 영상의 직전 영상에서 획득된 관심영역의 크기 상태로부터 전이할 수 있는 크기 상태를 결정하는 단계 및, 결정된 크기 상태를 이용하여 현재 영상에서의 관심영역을 예측하는 단계를 포함할 수 있다.
이때, 관심영역 크기 전이 모델은 관심항목별로 연속적인 영상에서의 관심영역 크기의 변화를 기초로 마르코프 모델(Markov Model) 학습을 통해 미리 생성되고, 크기 상태, 각 크기 상태 간의 전이 가능 여부 및 전이 확률 정보를 포함할 수 있다.
관심영역의 크기 변화에 기초한 크기 전이 모델을 관심영역 검출에 활용하여 관심영역의 오검출 및 미검출을 방지할 수 있다.
도 1은 일 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 2는 도 1의 관심영역 획득부의 상세 블록도이다.
도 3은 연속적인 영상에서의 관심영역의 예시도이다.
도 4는 다른 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 5a 내지 도 5c는 관심영역 크기 전이 모델을 설명하기 위한 일 실시예이다.
도 6a 및 도 6b는 관심영역 획득 및 출력을 설명하기 위한 일 실시예이다.
도 7a 및 도 7b는 관심영역 획득 및 출력을 설명하기 위한 다른 실시예이다.
도 8은 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다.
도 9는 도 8의 관심영역 획득 단계의 상세 흐름도이다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 관심영역의 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.
도 1은 일 실시예에 따른 컴퓨터 보조 진단 장치(100)의 블록도이다.
일 실시예에 따른 컴퓨터 보조 진단 장치(100)는 프로브를 통해 실시간으로 획득되는 초음파 영상을 분석하여 관심영역을 검출(detection)하고 판정(classification)하는 장치일 수 있다. 하지만, 이에 제한되는 것은 아니며 그 밖의 다양한 영상 촬영 장치를 통하여 실시간으로 획득되는 연속적인 영상 또는 기 획득된 연속적인 영상을 수신하여 관심영역의 검출 및 판정을 수행하는 장치를 포함할 수 있다.
도 1을 참조하면, 컴퓨터 보조 진단 장치(100)는 영상 수신부(110), 관심영역 획득부(120) 및 관심영역 출력부(130)를 포함한다.
영상 수신부(110)는 영상을 순차적으로 수신한다. 이때, 영상은 피검진자의 검진 부위를 연속적으로 촬영한 의료 영상일 수 있다. 예를 들어, 검진을 수행하는 사용자가 프로브를 피검진자의 환부(예: 복부, 유방, 흉부 등)에 밀착하고 프로브를 주변으로 움직이면서 영상을 획득하면 그 영상을 실시간으로 수신할 수 있다. 이때, 영상은 프레임 단위로 실시간 전송될 수 있으며, 영상 수신부(110)는 실시간 수신되는 영상을 관심영역 획득부(120)에 전송하여 처리하도록 할 수 있다.
관심영역 획득부(120)는 영상이 수신될 때마다 현재 영상에서 관심영역을 획득한다. 이때, 관심영역은 진단 목적에 따라 설정되는 관심항목, 예컨대 병변, 태아의 손가락, 발가락 등이 존재하는 영역이나 존재할 것으로 의심되는 영역을 의미한다.
관심영역 획득부(120)는 미리 구축된 관심영역 크기 전이 모델을 기초로 하여 현재 영상에서 관심영역을 획득할 수 있다.
이때, 관심영역 크기 전이 모델은 관심영역별로 복수의 연속적인 영상에서 관심영역의 크기 변화를 기초로 하여 미리 생성될 수 있다. 하지만, 이에 제한되는 것은 아니며 학습을 수행하지 않고 사용자의 의해 생성되는 것이 가능하다. 이때, 관심영역 크기 전이 모델은 학습을 통해서 생성되거나, 규칙 형태로 생성되는 마르코프 모델(Markov Model)일 수 있다. 이때, 관심영역 크기 전이 모델은 크기 상태, 각 크기 상태 사이의 전이 가능 여부, 전이 방향 및 전이 확률 정보를 포함할 수 있다. 도 4를 참조하여 좀 더 자세히 후술하기로 한다.
일 실시예에 따르면, 관심영역 획득부(120)는 현재 영상에서 자동 검출 알고리즘을 이용하여 관심영역을 검출할 수 있다. 이때, 관심영역이 검출되면 관심영역 크기 전이 모델을 이용하여 검출된 관심영역이 오검출인지 여부를 판단할 수 있다.
다른 실시예에 따르면, 현재 영상에서 자동 검출 알고리즘에 의해 관심영역이 검출되지 않은 경우, 이전 영상에서 추적중인 관심영역의 정보 및 그 관심영역 크기 전이 모델을 기초로 현재 영상에서 관심영역을 예측할 수 있다.
관심영역 출력부(130)는 관심영역 획득부(120)가 획득한 관심영역을 화면에 표시한다. 이때, 관심영역 출력부(130)는 획득된 관심영역의 위치 및 크기 정보 등을 기초로 화면에 출력된 현재 영상의 대응 위치에 그 관심영역을 나타내는 시각 정보를 출력하여 관심영역을 표시할 수 있다. 이때, 시각 정보는 관심영역의 크기, 위치 등을 표시하기 위하여 사각형, 원형, 타원형, 십자 형태 등의 제1 정보와, 그 제1 정보의 색상, 선의 종류, 선의 굵기 등의 제2 정보를 포함할 수 있다.
한편, 일 실시예에 따르면 관심영역 출력부(130)는 관심영역 획득부(120)가 자동으로 검출된 관심영역을 오검출이라고 판단하면, 그 관심영역의 시각 정보를 화면에 출력하지 않을 수 있다.
또한, 다른 실시예에 따르면, 관심영역 출력부(130)는 현재 영상에서 검출된 관심영역이 이전 영상에서부터 추적중인 관심영역이고 그 관심영역이 오검출이라고 판단되면, 관심영역 크기 전이 모델을 이용하여 현재 영상에 적합한 관심영역의 크기 상태를 결정하고 그 결정된 크기 상태에 대응하는 크기의 시각 정보를 화면에 출력할 수 있다. 이때, 직전 영상에서 검출된 관심영역의 크기 상태로부터 최대로 전이할 수 있는 크기 상태를 현재 영상에 적합한 관심영역의 크기 상태로 결정할 수 있다.
한편, 현재 영상에서 오검출된 관심영역의 출력 여부는 사용자에 의해 미리 설정될 수 있다. 일 예로 현재 영상에서 새로 검출된 관심영역의 경우에는 시각 정보를 출력하지 않고, 이전 영상에서부터 추적중인 관심영역인 경우에는 출력하도록 설정할 수 있다.
도 2는 도 1의 관심영역 획득부(120)의 상세 블록도이다.
도 2를 참조하면 관심영역 획득부(120)는 관심영역 검출부(121), 관심영역 판단부(122) 및 관심영역 예측부(123)를 포함할 수 있다.
관심영역 검출부(121)는 수신된 현재 영상에 관심영역의 자동 검출 알고리즘을 적용하여 관심항목을 검출하고 그 관심항목을 포함하는 영역을 관심영역으로 설정할 수 있다. 이때, 관심영역 검출 알고리즘은 아다부스트(AdaBoost), DPM(Deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 및 희소코딩(Sparse coding) 등을 포함하며, 장치(100)의 성능, 진단 목적, 진단 시간 등에 따라 적용할 하나 이상의 알고리즘이 미리 설정될 수 있다.
관심영역 판단부(122)는 현재 영상에서 관심영역이 검출되면 그 관심영역을 추적하고, 이전 영상에서 기 검출된 동일한 관심영역인지를 판단할 수 있다. 이때, 일 실시예에 따르면, 검출된 관심영역의 지형 공간(Geo-Spatial) 위치 정보를 이용하여 이전 영상에서 검출된 관심영역의 위치와의 비교를 통해 동일한 관심영역인지 판단할 수 있다. 다른 실시예에 따르면, 자카드 유사도(Jaccard similarity) 알고리즘, 평균 이동(Mean shift) 알고리즘 등을 이용하여 추적중인 동일한 관심영역인지를 판단할 수 있다.
도 3은 연속적인 영상에서의 관심영역의 예시도이다. 도시된 바와 같이 일반적으로 병변과 같은 관심항목은 3차원의 형태로 되어 있어, 관심영역의 크기는 최초로 발견된 시점(t-2)부터 마지막으로 발견된 시점(t+3)까지 점차적으로 증가하다 다시 감소하는 경향을 나타낸다. 도 3에 따르면, 최초로 검출된 시점(t-2)에서의 관심영역의 크기는 작으며, 이후 점차적으로 증가되어 현재 시점(t)에서 최대가 되고, 그 이후 시점(t+1 ~ t+3)에서 점차적으로 감소하는 것을 알 수 있다.
관심영역 판단부(122)는 현재 영상에서 관심영역이 검출되면, 도 3에 예시된 바와 같이 관심영역의 크기 변화 특성에 기초하여 그 검출된 관심영역의 오검출 여부를 판단할 수 있다.
예를 들어, 도 3에서 직전 시점(t-1)의 영상에서 관심영역이 검출되지 않았다고 가정할 때, 현재 시점(t)의 영상에서 도시된 바와 같은 크기의 관심영역이 최초로 검출된다면, 관심영역 판단부(122)는 그 관심영역을 오검출이라고 판단할 수 있다. 즉, 도 3에 예시된 관심항목이 최초로 검출되는 경우에는 t-2 시점에 검출된 관심영역의 크기에 상응하는 관심영역이 검출되는 것이 보통이고 이보다 큰 관심영역이 갑자기 나올 수는 없기 때문에 그 관심영역을 오검출로 판단할 수 있다.
다른 예로, 이전 영상(t-2, …, t-1)에서부터 관심영역을 추적하는 동안 현재 영상(t)에서 정상적이지 않은 크기, 예컨대, 직전 시점(t-1)의 영상에서 검출된 관심영역의 크기 직후에 검출될 수 없는 크기의 관심영역이 검출되면 그 검출된 관심영역을 오검출이라고 판단할 수 있다.
한편, 관심영역 판단부(122)는 현재 영상에서 검출된 관심영역의 크기를 관심영역 크기 전이 모델에 매칭하여 검출된 관심영역의 크기 상태를 결정할 수 있다. 검출된 관심영역에 대한 크기 상태가 결정되면 직전 영상에서 검출된 관심영역의 크기 상태로부터 전이 가능한지를 판단하고, 그 판단 결과를 기초로 검출된 관심영역의 오검출 여부를 판단할 수 있다.
관심영역 예측부(123)는 현재 영상에서 관심영역이 자동으로 검출되지 않으면, 관심영역 크기 전이 모델을 이용하여 현재 영상에 적합한 관심영역을 예측할 수 있다. 일반적으로 이전 영상에서부터 계속 추적중인 관심영역은 어느 시점에서 갑자기 사라지지 않는다. 관심영역 예측부(123)는 이와 같이 이전 영상에서부터 계속 추적중이던 관심영역이 현재 영상에서 갑자기 사라지면 검출되어야 할 관심영역이 미검출된 것으로 판단하고, 현재 영상에서 검출 가능한 적합한 크기의 관심영역을 예측할 수 있다.
예를 들어, 관심영역 예측부(123)는 이전 영상에서의 관심영역 추적 정보, 즉, 이전 영상에서 획득된 관심영역의 크기 정보를 이용하여 크기의 변화를 파악하고, 미리 구축된 관심영역 크기 전이 모델 상에서 현재 영상에서 검출될 가능성이 높은 크기 상태를 결정할 수 있다. 또한, 이전 영상의 관심영역 위치 정보를 이용하여 현재 영상에서 관심영역의 위치를 결정할 수 있다.
도 4는 다른 실시예에 따른 컴퓨터 보조 진단 장치의 블록도이다.
도 4를 참조하면, 컴퓨터 보조 진단 장치(300)는 영상 수신부(310), 관심영역 획득부(320), 관심영역 출력부(330) 및 모델 구축부(340)를 포함할 수 있다.
한편, 영상 수신부(310), 관심영역 획득부(320) 및 관심영역 출력부(330)는 도 1의 실시예에 따라 앞에서 설명한 컴퓨터 보조 진단 장치(100)의 대응하는 구성과 실질적으로 동일하므로 자세한 설명은 생략하기로 한다.
모델 구축부(340)는 수집된 연속적인 영상에서 사용자가 원하는 관심영역에 대한 크기의 변화를 이용하여 관심영역 크기 전이 모델을 구축한다.
모델 구축부(340)는 관심항목을 획득하기 위해 촬영한 연속적인 3D 영상 데이터 또는 실시간으로 획득하는 동영상 데이터를 수집하고, 수집한 데이터에서 지상 검증 자료(ground truth)를 추출하여 관심영역 크기 전이 모델을 구축할 수 있다. 이때, 지상 검증 자료는 수집된 데이터의 각 프레임별 관심영역 시각 정보(예: 사각형, 타원형, 원형, 십자 마크 등)의 크기, 픽셀 개수 등을 포함할 수 있다.
이때, 모델 구축부(340)는 추출된 지상 검증 자료를 이용하여 마르코프 모델(Markov Model) 학습을 수행하여 관심영역 크기 전이 모델을 생성할 수 있다. 하지만 이에 제한되지 않는다. 또한, 관심영역의 크기 변화에 대하여 사용자가 전문 지식이나 진단 경험 등을 통해 충분히 알고 있는 경우에는 특별한 학습을 수행할 필요없이 직접 관심영역 크기 전이 모델을 생성할 수 있다.
도 5a 내지 도 5c는 관심영역 크기 전이 모델을 설명하기 위한 일 실시예이다.
도 4, 도 5a 및 도 5b를 참조하면, 모델 구축부(340)는 관심항목에 대하여 도 5a에 도시된 바와 같이 크기 상태(0,1,2,…,n-1,n), 각 크기 상태(0,1,2,…,n-1,n) 사이의 전이 가능성 및 전이 확률 정보를 포함하는 관심영역 크기 전이 모델을 생성할 수 있다. 이때, 상태 0은 관심영역이 검출되지 않은 상태이고, 상태 1은 그 관심영역에 대한 가장 작은 크기의 상태이며, 상태 n은 그 관심영역에 대한 가장 큰 크기의 상태를 의미한다.
도 5b에 도시된 바와 같이 순차적으로 그 크기가 커지는 관심영역(51,52,53,54)이 존재하는 4개의 연속적인 프레임 영상(f104,f105,f106,f107) 데이터가 수집되었다고 하면, 모델 구축부(340)는 4개의 프레임 영상(f104,f105,f106,f107)에서 검출된 관심영역(51,52,53,54)의 크기를 각각 상태 1,2,3,4로 정의할 수 있다.
모델 구축부(340)는 아래의 수학식 1에 따라 각 상태 사이의 전이 확률을 산출할 수 있으며, 산출된 각 상태 사이의 전이 확률을 도 5c에 도시된 바와 같이 나타낼 수 있다. 예를 들어, 현재 n-1 프레임의 상태가 1번 상태(예: 크기 10 ㎟)이고, n 프레임에 검출된 관심영역의 크기가 12 ㎟라고 할 때, 도 5c에 도시된 바와 같이 1 번 상태에서 2 번 상태로 전이할 확률이 가장 높게 산출될 수 있다.
Figure pat00001
여기서, B는 검출된 관심영역의 크기, S는 관심영역의 크기 상태, D는 관심영역의 검출 점수(detection score)를 의미한다. 또한, n은 프레임 n을 의미하고, m은 프레임 n에서 검출된 관심영역의 인덱스를 의미한다. 예를 들어, Bn,m은 프레임 n에서 검출된 m 번째 관심영역을 의미한다.
도 6a 및 도 6b는 관심영역 획득 및 출력을 설명하기 위한 일 실시예이다. 도 7a 및 도 7b는 관심영역 획득 및 출력을 설명하기 위한 다른 실시예이다.
도 6a 내지 도 7b는 도 1 또는 도 4의 실시예에 따른 컴퓨터 보조 진단 장치(100, 300)에 의해 수행되는 관심영역 획득 및 출력의 실시예들이다. 하지만, 설명의 편의를 위해 도 1의 컴퓨터 보조 진단 장치(100)를 예로 들어 설명하며, 도 5a에 도시된 관심영역 크기 전이 모델을 참조하여 설명한다.
도 6a는 현재 프레임(f105)에서 비정상적으로 큰 관심영역(62)이 검출된 경우를 설명하기 위한 도면이다. 이때, 직전 프레임(f104)에서 검출된 관심영역(61)의 크기는 관심영역 크기 전이 모델에서 상태 1에 해당하고, 현재 프레임(f105)에서 검출된 관심영역(62)의 크기는 상태 5에 해당한다고 가정한다.
영상 수신부(110)가 현재 프레임(f105)을 수신하면, 관심영역 획득부(120)는 전술한 바와 같이 자동 검출 알고리즘을 이용하여 관심영역(62)을 검출할 수 있다.
관심영역 획득부(120)는 현재 프레임(f105)에서 관심영역(62)이 검출되면 직전 프레임(f104)에서의 관심영역(61)과 지형 공간(Geo-spatial) 위치의 비교, 자카드 유사도(Jaccard similarity) 등을 이용하여 매칭을 수행할 수 있다. 그 결과, 직전 프레임(f104)의 관심영역(61)과 현재 프레임(f105)의 관심영역(62)이 매칭되면 정상적인 검출로 판단하고, 매칭되지 않으면 추가로 그 관심영역(61)의 크기를 관심영역 크기 전이 모델에 매칭하여 오검출 여부를 판단할 수 있다.
이때, 직전 프레임(f104)의 관심영역(61)과 현재 프레임(f105)의 관심영역(62)의 매칭 결과 매칭되지 않으면, 관심영역 획득부(120)는 그 관심영역(62)의 크기를 관심영역 전이 모델에 매칭하여 상태 5로 결정하고, 관심영역의 크기가 상태 1에서 상태 5로 전이가 가능하지 않으므로 오검출로 판단할 수 있다.
이때, 관심영역 출력부(130)는 직전 프레임(f104)에서의 관심영역(61)의 크기 상태 1에서 전이 가능한 가장 큰 크기 상태 3을 결정하고, 결정된 크기 상태 3의 크기에 상응하는 시각 정보를 화면상에 출력하여 현재 영상에서의 관심영역(63)을 표시할 수 있다.
도 6b는 현재 프레임(f107)에서 3개의 관심영역(65,66,67)이 검출된 경우를 설명하기 위한 도면이다. 이때, 직전 프레임(f106)에서 검출된 관심영역(64)의 크기는 10㎟로서 관심영역 크기 전이 모델에서 상태 1이라고 가정한다.
관심영역 획득부(120)는 현재 프레임(f107)에서 3 개의 관심영역(65,66,67)이 검출되면 각 관심영역(65,66,67)과 직전 프레임(f106)의 관심영역(64)와의 매칭을 수행한다. 이때, 지형 공간(Geo-spatial) 위치, 자카드 유사도 등을 이용하여 매칭을 수행할 수 있다.
관심영역 획득부(120)는 현재 프레임(f107)의 첫 번째 관심영역(65)의 크기가 12㎟로서 직전 프레임(f106)의 관심영역(64)과 매칭되면, 관심영역 크기 전이 모델을 이용할 필요없이 이전 영상에서부터 계속 추적중인 정상적인 관심영역으로 판단할 수 있다.
이때, 관심영역 출력부(120)는 실제로 검출된 관심영역(65)의 크기 12㎟를 포함하는 크기의 시각 정보를 화면에 출력하여 관심영역(65)을 표시할 수 있다.
또한, 현재 프레임(f107)에서 검출된 두 번째 및 세 번째 관심영역(66, 67)은 직전 프레임(f106)에서 검출되지 않은 새로운 관심영역이므로 직전 프레임(f106)과 매칭이 되지 않으며, 이때, 관심영역 획득부(120)는 관심영역 크기 전이 모델을 이용하여 그 관심영역(66,67)의 오검출 여부를 판단할 수 있다.
일 실시예로서 관심영역 획득부(120)는 각 관심영역(66,67)이 최초로 검출될 수 있는 검출 확률을 산출하고, 그 산출된 검출 확률이 미리 설정된 임계치 미만이면 오검출로 판단할 수 있다. 이때, 자동 검출 알고리즘에 의해 각 관심영역이 검출될 때 함께 산출되는 검출 점수(detection score)와 관심영역 크기 전이 모델 상의 전이 확률을 고려하여 그 검출 확률을 산출할 수 있다. 이때, 검출 확률은 검출 점수 × 전이 확률의 수식에 의해 산출될 수 있다.
예를 들어, 두 번째 관심영역(66)의 검출 점수가 10이고 관심영역 크기 전이 모델 상의 크기 상태가 2라고 가정하면, 직전의 검출되지 않은 상태 0에서 상태 2로 전이할 확률이 0.05이므로 검출 확률은 0.5(0.05×10)가 된다. 마찬가지로 세 번째 관심영역(67)의 검출 점수가 25이고 크기 상태가 1이라고 가정하면, 상태 0에서 상태 1로 전이할 확률이 0.5이므로 검출 확률은 12.5(0.5×25)가 된다. 이때, 미리 설정된 임계치가 10이라면, 두 번째 관심영역(66)은 그 임계치 미만이므로 오검출로 판단된다.
관심영역 출력부(130)는 두 번째 관심영역(66)이 오검출로 판단되었으므로, 그 관심영역(66)을 표시하기 위한 시각 정보를 출력하지 않는다. 또한, 관심영역(67)은 정상적인 검출로 판단되었으므로, 그 관심영역(67)을 표시하기 위한 시각 정보는 출력한다. 한편, 도 6b에는 관심영역(66)에 대한 사각형 내부에 'X'자가 표시된 것으로 도시되었으나 이는 그 관심영역(66)의 시각 정보를 출력하지 않는다는 것을 의미한다.
도 7a 및 도 7b는 관심영역 획득 및 출력을 설명하기 위한 다른 실시예이다.
도 7a는 순차적으로 입력된 5개의 프레임(f107,f108,f109,f110,f111)에 대하여 이전 프레임(f107,f108,f109,f110)에서 각각 검출되어 추적중인 관심영역(71,72,73,74)이 현재 프레임(f111)에서 자동 검출 알고리즘에 의해 검출되지 않은 것을 나타낸 것이다.
관심영역 획득부(120)는 현재 프레임(f111)에서 자동 검출 알고리즘에 의해 원하는 관심영역(75)이 검출되지 않으면, 그 관심영역(75)의 검출을 위해 자동 검출 알고리즘이 계산한 각종 정보, 예컨대 각 후보 영역, 각 후보 영역들의 검출 점수, 각 후보 영역들에 대한 전이 확률, 이전 프레임(f107,f108,f109,f110)에서 검출된 관심영역(71,72,73,74)의 크기 및 위치 정보 등을 활용하여 관심영역을 예측할 수 있다.
예를 들어, 직전 프레임(f110)에서 검출된 관심영역(74)의 크기 상태가 1이라고 가정하면, 도 5a의 관심영역 크기 전이 모델 상에서 그 크기 상태는 0, 1, 2 중의 어느 하나로 전이가 가능하다. 이때, 관심영역 획득부(120)는 추적중인 관심영역이 현재 프레임(f111)에서 검출되지 않으면 크기 상태가 1에서 0의 상태로 정상적으로 전이된 것인지를 판단한다.
이를 위해, 도 7b의 가운데 프레임(f111)에 도시된 바와 같이, 관심영역 획득부(120)는 현재 프레임(f111)에 대해 자동 검출 알고리즘이 계산한 각 후보 영역들 중에서 그 중심이 직전 프레임(f110)의 관심영역(74) 위치의 중심에서 미리 설정된 임계치 이내에 위치하는 주변의 후보 영역을 선택하고, 선택된 후보 영역의 검출 점수 및 크기 정보를 이용하여 관심영역(75)을 예측할 수 있다.
도 7b를 참조하면, 직전 프레임(f110)의 관심영역(74)으로부터 전이 가능한 상태 0,1,2에 대한 후보 영역 중에서 2개의 상태 1 후보 영역과 4개의 상태 2 후보 영역이 선택되었음을 알 수 있다. 관심영역 획득부(120)는 이와 같이 선택된 후보 영역 중에서 검출 확률(예: 검출 점수×전이 확률)이 가장 큰 후보 영역을 관심영역(75)로 예측할 수 있다.
이때, 관심영역 출력부(130)는 관심영역(75)이 예측되면 그 관심영역(75)의 크기 상태의 크기에 상응하는 시각 정보를 출력하여 관심영역을 표시할 수 있다.
도 8은 일 실시예에 따른 컴퓨터 보조 진단 방법의 흐름도이다. 도 9는 도 8의 관심영역 획득 단계의 상세 흐름도이다.
도 8 및 도 9는 도 1 또는 도 4의 실시예에 따른 컴퓨터 보조 진단 장치(100,300)에 의해 수행될 수 있다.
도 8을 참조하면, 컴퓨터 보조 진단 장치는 순차적으로 영상을 수신한다(510). 이때, 획득되는 영상은 프로브를 통해 획득되는 초음파 영상일 수 있으며, 프레임 단위로 실시간 수신할 수 있다.
그 다음, 수신되는 현재 영상에서 관심영역을 획득한다(520). 이때, 미리 구축된 관심영역 크기 전이 모델을 이용하여 관심영역을 획득할 수 있다.
도 9를 참조하여, 관심영역을 획득하는 단계(520)를 좀 더 구체적으로 설명하면,
컴퓨터 보조 진단 장치는 미리 설정된 자동 검출 알고리즘을 이용하여 현재 영상에서 관심영역을 검출 과정을 수행한다(611). 그 결과 사용자가 원하는 관심영역이 검출되면(612), 도시되지는 않았지만 지형 공간(Geo-spatial) 위치 비교나 자카드 유사도(Jaccad Similarity) 알고리즘을 이용하여 직전 영상에서 검출된 관심영역과 매칭하고, 매칭되는 경우 정상적인 관심영역으로 판단하여, 관심영역을 출력하는 단계(619)로 진행할 수 있다.
이때, 매칭되지 않으면 기 구축된 관심영역 크기 전이 모델을 기초로 검출된 관심영역의 크기 상태를 결정하고(613), 결정된 크기 상태가 적합한 상태인지를 판단한다(614). 예를 들어, 현재 영상에서 검출된 관심영역의 크기를 관심영역 크기 전이 모델에 매칭하여, 그 매칭 결과 결정된 크기 상태가 직전 영상에서 검출된 관심영역의 크기 상태로부터 전이 가능한지를 판단하여 그 크기 상태가 적합한지를 판단할 수 있다.
판단 결과(614) 검출된 관심영역의 크기 상태가 적합하면 검출된 관심영역을 출력한다(619).
만약, 판단 결과(614) 직전 영상의 관심영역의 크기 상태로부터 전이 가능하지 않으면 그 검출된 관심영역을 오검출로 판단한다(615).
그 다음, 오검출로 판단된 관심영역을 출력할 지 여부를 결정할 수 있다(616). 이때, 오검출된 관심영역을 출력할 지 여부는 미리 설정될 수 있으며, 예를 들어, 이전 영상에서부터 추적중인 관심영역의 경우에는 현재 영상에서 출력하도록 설정할 수 있으며, 현재 영상에서 새로 검출된 관심영역이 오검출인 경우에는 출력하지 않도록 설정할 수 있다.
만약, 오검출된 관심영역을 출력하는 것으로 결정하면(616), 관심영역 크기 전이 모델을 기초로 검출된 관심영역에 대한 적합한 크기 상태를 결정하고(617), 결정된 크기 상태에 상응하는 관심영역을 출력할 수 있다(619). 예를 들어, 현재 영상에서 검출된 관심영역의 크기가 직전 영상에서 검출된 관심영역으로부터 전이할 수 없는 크기의 상태이면, 직전 영상의 관심영역의 크기 상태에서 전이 가능한 최대의 크기 상태를 출력할 상태로 결정할 수 있다.
만약, 자동 검출 알고리즘에 의해 관심영역이 검출되지 않으면(612), 기 구축된 관심영역 크기 전이 모델을 이용하여 현재 영상에 적합한 관심영역을 예측할 수 있다(618). 전술한 바와 같이, 자동 검출 알고리즘에 의해 직전 영상에서 검출된 관심영역의 중점에서부터 미리 설정된 임계치 이내에서 검출된 후보 영역들의 검출 점수 및 전이 확률을 이용하여 각 후보 영역들에 대한 검출 확률을 계산하고, 검출 확률이 가장 큰 후보 영역을 현재 영상의 관심영역으로 예측할 수 있다.
다시 도 8을 참조하면, 현재 영상에서 관심영역이 획득되면, 그 관심영역을 사용자에게 알려 주기 위한 시각 정보를 화면에 출력한다(530). 이때, 관심영역을 획득하는 단계(520)에서 자동으로 검출된 관심영역 중에서 오검출로 판단된 관심영역에 대한 시각 정보는 출력하지 않을 수 있다. 다른 실시예에 따르면, 이때, 이전 영상에서부터 추적중인 관심영역인 경우 관심영역 크기 전이 모델에서 그 검출된 관심영역의 크기를 매칭하여 직전 영상의 관심영역의 크기로부터 전이 가능한 최대의 크기 상태에 상응하는 시각 정보를 출력할 수 있다.
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100, 300: 컴퓨터 보조 진단 장치
110, 310: 영상 수신부
120, 320: 관심영역 획득부
121: 관심영역 검출부
122: 관심영역 판단부
123: 관심영역 예측부
130, 330: 관심영역 출력부
340: 모델 구축부

Claims (20)

  1. 영상을 순차적으로 수신하는 영상 수신부;
    관심영역 크기 전이 모델을 기초로 상기 수신된 현재 영상에서 관심영역을 획득하는 관심영역 획득부; 및
    상기 획득된 관심영역을 나타내는 시각 정보를 화면 상에 출력하는 관심영역 출력부를 포함하는 컴퓨터 보조 진단 장치.
  2. 제1항에 있어서,
    상기 영상 수신부는
    프로브를 통해 획득되는 초음파 영상을 프레임 단위로 실시간 수신하는 컴퓨터 보조 진단 장치.
  3. 제1항에 있어서,
    상기 관심영역 획득부는
    상기 수신된 현재 영상에서 하나 이상의 관심영역을 검출하는 관심영역 검출부를 포함하는 컴퓨터 보조 진단 장치.
  4. 제3항에 있어서,
    상기 관심영역 획득부는
    현재 영상에서 관심영역이 검출되면, 상기 관심영역 크기 전이 모델을 이용하여 상기 검출된 관심영역의 오검출 여부를 판단하는 관심영역 판단부를 더 포함하는 컴퓨터 보조 진단 장치.
  5. 제4항에 있어서,
    상기 관심영역 판단부는
    상기 검출된 관심영역의 크기를 상기 관심영역의 크기 전이 모델에 매칭하여 상기 검출된 관심영역의 크기 상태를 결정하고, 상기 크기 전이 모델 상에서 상기 결정된 관심영역의 크기 상태가 상기 현재 영상의 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 전이할 수 없으면 오검출로 판단하는 컴퓨터 보조 진단 장치.
  6. 제5항에 있어서,
    상기 관심영역 출력부는
    상기 판단 결과 상기 검출된 관심영역이 오검출로 판단되면, 상기 검출된 관심영역에 대한 시각 정보를 화면상에 출력하지 않는 컴퓨터 보조 진단 장치.
  7. 제5항에 있어서,
    상기 관심영역 출력부는
    상기 판단 결과 상기 검출된 관심영역이 오검출로 판단되면, 상기 관심영역 크기 전이 모델을 이용하여 상기 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 최대로 전이할 수 있는 크기 상태를 결정하고, 결정된 크기 상태에 대응하는 크기로 상기 검출된 관심영역에 대한 시각 정보를 출력하는 컴퓨터 보조 진단 장치.
  8. 제3항에 있어서,
    상기 관심영역 획득부는
    현재 영상에서 관심영역이 검출되지 않으면, 상기 관심영역 크기 전이 모델을 이용하여 현재 영상에서의 관심영역을 예측하는 관심영역 예측부를 더 포함하는 컴퓨터 보조 진단 장치.
  9. 제8항에 있어서,
    상기 관심영역 예측부는
    상기 관심영역 크기 전이 모델을 이용하여 현재 영상의 직전 영상에서 획득된 관심영역의 크기 상태로부터 전이할 수 있는 크기 상태를 결정하고, 결정된 크기 상태를 이용하여 상기 현재 영상에서의 관심영역을 예측하는 컴퓨터 보조 진단 장치.
  10. 제1항에 있어서,
    상기 관심영역 크기 전이 모델은
    관심항목별로 연속적인 영상에서 관심영역 크기의 변화를 기초로 마르코프 모델(Markov Model) 학습을 통해 미리 생성되고, 크기 상태, 각 크기 상태 간의 전이 가능 여부 및 전이 확률 정보를 포함하는 컴퓨터 보조 진단 장치.
  11. 제1항에 있어서,
    상기 시각 정보는
    상기 화면에 출력된 현재 영상에서 관심영역의 위치 및 크기를 나타내기 위한, 사각형, 원형, 타원형 및 십자 형태 중의 적어도 하나를 포함하는 제1 정보와 상기 제1 정보의 색상, 선의 종류 및 선의 굵기 중의 적어도 하나를 포함하는 제2 정보를 포함하는 컴퓨터 보조 진단 장치.
  12. 영상을 순차적으로 수신하는 단계;
    관심영역 크기 전이 모델을 기초로 상기 수신된 현재 영상에서 관심영역을 획득하는 단계; 및
    상기 획득된 관심영역을 나타내는 시각 정보를 화면 상에 출력하는 단계를 포함하는 컴퓨터 보조 진단 방법.
  13. 제12항에 있어서,
    상기 관심영역 획득 단계는
    상기 수신된 현재 영상에서 하나 이상의 관심영역을 검출하는 단계를 포함하는 컴퓨터 보조 진단 방법.
  14. 제13항에 있어서,
    상기 관심영역 획득 단계는
    현재 영상에서 관심영역이 검출되면, 상기 관심영역 크기 전이 모델을 이용하여 상기 검출된 관심영역의 오검출 여부를 판단하는 단계를 더 포함하는 컴퓨터 보조 진단 방법.
  15. 제14항에 있어서,
    상기 관심영역 판단 단계는
    상기 검출된 관심영역의 크기를 상기 관심영역의 크기 전이 모델에 매칭하여 상기 검출된 관심영역의 크기 상태를 결정하는 단계; 및
    상기 크기 전이 모델 상에서 상기 결정된 관심영역의 크기 상태가 상기 현재 영상의 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 전이할 수 없으면 오검출로 판단하는 단계를 포함하는 컴퓨터 보조 진단 방법.
  16. 제15항에 있어서,
    상기 관심영역 출력 단계는
    상기 판단 결과 상기 검출된 관심영역이 오검출로 판단되면, 상기 검출된 관심영역에 대한 시각 정보를 화면상에 출력하지 않는 컴퓨터 보조 진단 방법.
  17. 제15항에 있어서,
    상기 관심영역 출력 단계는
    상기 판단 결과 상기 검출된 관심영역이 오검출로 판단되면, 상기 관심영역 크기 전이 모델을 이용하여 상기 직전 영상에서 기 결정된 관심영역의 크기 상태로부터 최대로 전이할 수 있는 크기 상태를 결정하는 단계; 및
    상기 결정된 크기 상태에 대응하는 크기로 상기 검출된 관심영역에 대한 시각 정보를 출력하는 단계를 포함하는 컴퓨터 보조 진단 방법.
  18. 제13항에 있어서,
    상기 관심영역 획득 단계는
    현재 영상에서 관심영역이 검출되지 않으면, 상기 관심영역 크기 전이 모델을 이용하여 현재 영상에서의 관심영역을 예측하는 단계를 더 포함하는 컴퓨터 보조 진단 방법.
  19. 제18항에 있어서,
    상기 관심영역 예측 단계는
    상기 관심영역 크기 전이 모델을 이용하여 현재 영상의 직전 영상에서 획득된 관심영역의 크기 상태로부터 전이할 수 있는 크기 상태를 결정하는 단계; 및
    상기 결정된 크기 상태를 이용하여 상기 현재 영상에서의 관심영역을 예측하는 단계를 포함하는 컴퓨터 보조 진단 방법.
  20. 제12항에 있어서,
    상기 관심영역 크기 전이 모델은
    관심항목별로 연속적인 영상에서의 관심영역 크기의 변화를 기초로 마르코프 모델(Markov Model) 학습을 통해 미리 생성되고, 크기 상태, 각 크기 상태 간의 전이 가능 여부 및 전이 확률 정보를 포함하는 컴퓨터 보조 진단 방법.
KR1020140122908A 2014-09-16 2014-09-16 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법 KR20160032586A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140122908A KR20160032586A (ko) 2014-09-16 2014-09-16 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
US14/849,108 US9805466B2 (en) 2014-09-16 2015-09-09 Computer aided diagnosis apparatus and method based on size model of region of interest
EP15185456.9A EP2998933B1 (en) 2014-09-16 2015-09-16 Computer aided diagnosis apparatus and method based on size model of region of interest
US15/796,052 US10664968B2 (en) 2014-09-16 2017-10-27 Computer aided diagnosis apparatus and method based on size model of region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140122908A KR20160032586A (ko) 2014-09-16 2014-09-16 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160032586A true KR20160032586A (ko) 2016-03-24

Family

ID=54249291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140122908A KR20160032586A (ko) 2014-09-16 2014-09-16 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법

Country Status (3)

Country Link
US (2) US9805466B2 (ko)
EP (1) EP2998933B1 (ko)
KR (1) KR20160032586A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018026431A1 (en) * 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889723B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889724B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
WO2019143179A1 (ko) * 2018-01-18 2019-07-25 주식회사 뷰노 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6106259B2 (ja) * 2012-03-21 2017-03-29 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医用イメージングと生検データとを統合する臨床ワークステーション及びこれを使用する方法
WO2018104158A1 (en) * 2016-12-05 2018-06-14 Koninklijke Philips N.V. Tumor tracking with intelligent tumor size change notice
US10140709B2 (en) 2017-02-27 2018-11-27 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
US10686996B2 (en) 2017-06-26 2020-06-16 Facebook Technologies, Llc Digital pixel with extended dynamic range
US10598546B2 (en) 2017-08-17 2020-03-24 Facebook Technologies, Llc Detecting high intensity light in photo sensor
TWI683276B (zh) 2017-11-10 2020-01-21 太豪生醫股份有限公司 病灶偵測裝置及其方法
CN108460790A (zh) * 2018-03-29 2018-08-28 西南科技大学 一种基于一致性预测器模型的视觉跟踪方法
US11823376B2 (en) 2018-05-16 2023-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
US11906353B2 (en) 2018-06-11 2024-02-20 Meta Platforms Technologies, Llc Digital pixel with extended dynamic range
US11463636B2 (en) 2018-06-27 2022-10-04 Facebook Technologies, Llc Pixel sensor having multiple photodiodes
US10897586B2 (en) 2018-06-28 2021-01-19 Facebook Technologies, Llc Global shutter image sensor
US11956413B2 (en) 2018-08-27 2024-04-09 Meta Platforms Technologies, Llc Pixel sensor having multiple photodiodes and shared comparator
CN109509197B (zh) * 2018-09-26 2021-11-09 东软医疗系统股份有限公司 一种分割感兴趣区域的方法、装置、设备及存储介质
US11595602B2 (en) 2018-11-05 2023-02-28 Meta Platforms Technologies, Llc Image sensor post processing
US20220036546A1 (en) * 2018-12-03 2022-02-03 North Carolina State University Lesion detection and localization in heterogeneous media
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
KR20200079697A (ko) * 2018-12-26 2020-07-06 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
US11218660B1 (en) 2019-03-26 2022-01-04 Facebook Technologies, Llc Pixel sensor having shared readout structure
US11943561B2 (en) 2019-06-13 2024-03-26 Meta Platforms Technologies, Llc Non-linear quantization at pixel sensor
US11936998B1 (en) 2019-10-17 2024-03-19 Meta Platforms Technologies, Llc Digital pixel sensor having extended dynamic range
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) * 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11902685B1 (en) 2020-04-28 2024-02-13 Meta Platforms Technologies, Llc Pixel sensor having hierarchical memory
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US11910114B2 (en) 2020-07-17 2024-02-20 Meta Platforms Technologies, Llc Multi-mode image sensor
US11956560B2 (en) 2020-10-09 2024-04-09 Meta Platforms Technologies, Llc Digital pixel sensor having reduced quantization operation
US11935575B1 (en) 2020-12-23 2024-03-19 Meta Platforms Technologies, Llc Heterogeneous memory system
US20220392080A1 (en) * 2021-06-03 2022-12-08 Electronics And Telecommunications Research Institute Apparatus and method for supporting attention test based on attention map and attention movement map

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5343390A (en) * 1992-02-28 1994-08-30 Arch Development Corporation Method and system for automated selection of regions of interest and detection of septal lines in digital chest radiographs
US5734742A (en) * 1994-09-19 1998-03-31 Nissan Motor Co., Ltd. Inspection system and process
EP0883860B1 (en) * 1996-02-29 2006-08-23 Acuson Corporation Multiple ultrasound image registration system, method and transducer
US6030344A (en) * 1996-12-04 2000-02-29 Acuson Corporation Methods and apparatus for ultrasound image quantification
US6445409B1 (en) * 1997-05-14 2002-09-03 Hitachi Denshi Kabushiki Kaisha Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
JP2984652B2 (ja) * 1997-08-22 1999-11-29 富士通株式会社 領域抽出装置及び領域抽出方法並びにコンピュータで実現可能なプログラムが記憶された記録媒体
US6091981A (en) * 1997-09-16 2000-07-18 Assurance Medical Inc. Clinical tissue examination
US6368277B1 (en) * 2000-04-05 2002-04-09 Siemens Medical Solutions Usa, Inc. Dynamic measurement of parameters within a sequence of images
JP3964267B2 (ja) * 2002-06-04 2007-08-22 大日本スクリーン製造株式会社 欠陥検出装置、欠陥検出方法、およびプログラム
US7409092B2 (en) * 2002-06-20 2008-08-05 Hrl Laboratories, Llc Method and apparatus for the surveillance of objects in images
US6994673B2 (en) * 2003-01-16 2006-02-07 Ge Ultrasound Israel, Ltd Method and apparatus for quantitative myocardial assessment
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
JP2005078376A (ja) * 2003-08-29 2005-03-24 Sony Corp 対象物検出装置、対象物方法、及びロボット装置
US7305111B2 (en) * 2004-01-30 2007-12-04 University Of Chicago Automated method and system for the detection of lung nodules in low-dose CT images for lung-cancer screening
US20050248676A1 (en) * 2004-05-08 2005-11-10 Mark Christenson High-speed frame transfer of sub-frame area
US20050259854A1 (en) * 2004-05-21 2005-11-24 University Of Chicago Method for detection of abnormalities in three-dimensional imaging data
US7263472B2 (en) 2004-06-28 2007-08-28 Mitsubishi Electric Research Laboratories, Inc. Hidden markov model based object tracking and similarity metrics
WO2006017101A1 (en) * 2004-07-09 2006-02-16 Fischer Imaging Corporation Method for breast screening in fused mammography
US7680307B2 (en) * 2005-04-05 2010-03-16 Scimed Life Systems, Inc. Systems and methods for image segmentation with a multi-stage classifier
JP2007334631A (ja) * 2006-06-15 2007-12-27 Sony Corp 画像監視システムおよび物体領域追跡方法
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
KR100837406B1 (ko) * 2006-11-13 2008-06-12 삼성전자주식회사 영상 감시 장치를 포함한 휴대 단말기 및 이를 이용한 영상감시 방법, 및 영상 감시 시스템
US20100104505A1 (en) * 2006-12-11 2010-04-29 O'connor Michael K System and Method for Quantitative Molecular Breast Imaging
US8462988B2 (en) * 2007-01-23 2013-06-11 Valeo Schalter Und Sensoren Gmbh Method and system for universal lane boundary detection
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
US8355552B2 (en) * 2007-06-20 2013-01-15 The Trustees Of Columbia University In The City Of New York Automated determination of lymph nodes in scanned images
JP4876058B2 (ja) * 2007-11-27 2012-02-15 キヤノン株式会社 色処理装置およびその方法
US8494251B2 (en) * 2008-01-11 2013-07-23 Sri International System and method for measuring image quality
JP5003529B2 (ja) * 2008-02-25 2012-08-15 株式会社ニコン 撮像装置および対象物の検出方法
US20090300692A1 (en) * 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
EP2291827B1 (en) * 2008-06-18 2012-11-14 Koninklijke Philips Electronics N.V. Radiological imaging incorporating local motion monitoring, correction, and assessment
EP2319417B1 (en) * 2008-08-29 2017-01-25 Hitachi, Ltd. Ultrasonic diagnosing device
US8718340B2 (en) 2008-09-03 2014-05-06 Trustees Of The University Of Pennsylvania System and method for accurate and rapid identification of diseased regions on biological images with applications to disease diagnosis and prognosis
US8233789B2 (en) * 2010-04-07 2012-07-31 Apple Inc. Dynamic exposure metering based on face detection
EP2425761B1 (en) * 2010-05-10 2015-12-30 Olympus Corporation Medical device
JP5576937B2 (ja) * 2010-07-09 2014-08-20 本田技研工業株式会社 車両の周辺監視装置
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5950619B2 (ja) * 2011-04-06 2016-07-13 キヤノン株式会社 情報処理装置
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
US8942484B2 (en) * 2011-09-06 2015-01-27 Qualcomm Incorporated Text detection using image regions
KR20130080306A (ko) * 2012-01-04 2013-07-12 삼성전자주식회사 탄성 영상 생성 방법 및 장치
US9058647B2 (en) * 2012-01-16 2015-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP5995449B2 (ja) * 2012-01-24 2016-09-21 キヤノン株式会社 情報処理装置及びその制御方法
JP6039903B2 (ja) * 2012-01-27 2016-12-07 キヤノン株式会社 画像処理装置、及びその作動方法
US20130338493A1 (en) * 2012-06-19 2013-12-19 Covidien Lp Surgical devices, systems and methods for highlighting and measuring regions of interest
US8913846B2 (en) * 2012-09-24 2014-12-16 Barco N.V. Method and system for validating image data
KR101563498B1 (ko) * 2013-05-02 2015-10-27 삼성메디슨 주식회사 대상체의 변화 정보를 제공하는 초음파 시스템 및 방법
US9629598B2 (en) * 2014-02-27 2017-04-25 Impac Medical Systems, Inc. System and method for auto-contouring in adaptive radiotherapy
US9510757B2 (en) * 2014-05-07 2016-12-06 Align Technology, Inc. Identification of areas of interest during intraoral scans
US10297027B2 (en) 2014-06-09 2019-05-21 Siemens Healthcare Gmbh Landmark detection with spatial and temporal constraints in medical imaging

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018026431A1 (en) * 2016-08-01 2018-02-08 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
KR101889722B1 (ko) * 2017-02-10 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
WO2019143179A1 (ko) * 2018-01-18 2019-07-25 주식회사 뷰노 동일 피사체에 대하여 시간 간격을 두고 촬영된 영상 간에 동일 관심구역을 자동으로 검출하는 방법 및 이를 이용한 장치
KR101889723B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889725B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치
KR101889724B1 (ko) * 2018-07-04 2018-08-20 주식회사 루닛 악성 종양 진단 방법 및 장치

Also Published As

Publication number Publication date
EP2998933B1 (en) 2019-08-07
EP2998933A3 (en) 2016-03-30
US10664968B2 (en) 2020-05-26
EP2998933A2 (en) 2016-03-23
US9805466B2 (en) 2017-10-31
US20160078614A1 (en) 2016-03-17
US20180047164A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
KR20160032586A (ko) 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
CN105701331B (zh) 计算机辅助诊断设备和计算机辅助诊断方法
Carrer et al. Automatic pleural line extraction and COVID-19 scoring from lung ultrasound data
US11191518B2 (en) Ultrasound system and method for detecting lung sliding
US9773305B2 (en) Lesion diagnosis apparatus and method
EP2911111A2 (en) Apparatus and method for lesion detection
CN109791692A (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度
US11074732B2 (en) Computer-aided diagnostic apparatus and method based on diagnostic intention of user
EP3174467B1 (en) Ultrasound imaging apparatus
KR101840350B1 (ko) 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
KR20160009435A (ko) 프로브 속도에 기초한 컴퓨터 보조 진단 지원 장치 및 방법
JP2011031040A (ja) ２次元超音波映像に対応する２次元ｃｔ映像を提供するシステムおよび方法
McDermott et al. Sonographic diagnosis of COVID-19: A review of image processing for lung ultrasound
US20160259898A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
KR20160049897A (ko) 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
CN110381846B (zh) 血管阻塞诊断方法、设备及系统
JP7266599B2 (ja) 患者の身体運動を検知するためのデバイス、システム及び方法
US10390799B2 (en) Apparatus and method for interpolating lesion detection
WO2022226395A1 (en) Displaying blood vessels in ultrasound images
KR102536568B1 (ko) 의료영상으로부터 생체 조직검사 바늘의 위치를 검출하는 실시간 니들 가이던스 방법 및 장치
JP7382240B2 (ja) 医用画像処理装置及び医用画像処理方法
Joseph et al. lungEcho-Resource Constrained Lung Ultrasound Video Analysis Tool for Faster Triaging and Active Learning
KR20230127762A (ko) 의료영상으로부터 혈액을 전달하는 신체 구성요소에 관한 질환의 병변을 검출하는 장치 및 방법
JP2023525364A (ja) 網膜画像処理
JP2015037490A (ja) 超音波診断装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application