KR100461264B1

KR100461264B1 - 명암도와 밝기의 변화에 독립적인 초음파 종괴영상을 검색하는 방법

Info

Publication number: KR100461264B1
Application number: KR10-2002-0009811A
Authority: KR
Inventors: 엄경식; 문우경
Original assignee: 주식회사 캐드임팩트; 엄경식; 문우경
Priority date: 2002-02-25
Filing date: 2002-02-25
Publication date: 2004-12-17
Also published as: KR20030070324A

Abstract

본 발명은 초음파촬영된 유방 종괴영상의 유사영상 검색(image retrieval)을 자동으로 수행하는 방법에 관한 것이다. 본 발명에서 제시되는 특징값 방법은 초음파 장비의 명암도(contrast)와 밝기(brightness)의 변화에 큰 영향을 받지 않는 특성을 가지므로 다양한 초음파 장비 환경에서 얻은 영상 데이터베이스(DB)에 적용할 수 있다. 본 발명의 방법으로 자동 수행된 영상 검색을 수행함으로써 기존의 유사한 악성 및 양성 영상들을 자동으로 찾아서 보여주게 된다.

Description

명암도와 밝기의 변화에 독립적인 초음파 종괴영상을 검색하는 방법 {Method of retrieving nodule image independent of contrast and brightness}

본 발명은 유방암 진단 등을 보조하기 위한 유방 종괴 등의 초음파 영상(이하, "종괴영상")을 컴퓨터에 의해 검색 처리하는 방법에 관한 것이다.

종괴영상의 자동 진단을 위해서는 특징 파라미터(feature parameter)(이하, "특징값"이라 함)의 계산이 요구되는바, 이 특징값을 추출하기 위해서는 종괴를 중심으로 포착한 관심영역(region of interest: ROI) 상에서 질감(texture) 및 종괴모양(shape)의 분석이 요구된다. 질감과 종괴 모양을 대표할 수 있는 종괴 특징값로서는 분산, 자기상관계수, 상관도, 모멘트, 주파수 분석, 웨이블릿 변환 영역의 통계적 분석, 코어커런스(co-occurrence) 매트릭스 분석, 공간 영역의 히스토그램, 엔트로피 등이 알려져 있으며 활용되고 있다. 그리고, 종괴의 종/횡단면 비율, 종괴의 경계 검출에 기반한 곡률 분석 등의 방법들이 연구되어 왔다.

초음파 영상은 영상을 획득하는 작업자의 감각에 상당히 의존적으로 명암도(contrast)와 밝기(brightness) 변화를 수반한다. 여기서 명암도의 변화는 비교영상과 기준영상의 표준편차 비율을 의미하고, 밝기의 변화는 비교영상과 기준영상의 평균치 차이를 의미한다.

기존의 명암도 및 밝기에 독립한 특징값으로서 종괴의 종/횡단면 비율, 종괴의 경계 검출에 기반한 곡률 등의 방법들이 연구되어 왔다. 그러나, 종괴의 종/횡단면 비율만으로는 정보가 부족하며, 종괴의 경계 검출에 기반한 곡률 방법에서는 종괴의 경계를 우선 검출하여야 한다는 선작업이 요구되는 단점이 있다. 또한, 무엇보다도 이들은 모두 질감 정보를 내포하지 못하는 단점이 있다. 한편, 질감 정보도 내포할 수 있는, 명암도에 독립한 모멘트 특징값에 관한 연구도 있으나, 이 또한 밝기 변화에는 대처하지 못한다.

기타 다른 종래의 특징값들은 영상의 명암도와 밝기 변화에 따라 값이 바뀌는 성질이 있다. 또한 초음파 종괴영상은 일반적으로 상하폭이 좌우폭보다 큰 경우에 악성일 가능성이 많다고 알려져 있는바, 회전이 불변인 기존의 특성 파라미터도 개선이 요구된다.

본 발명의 목적은, 초음파 유방 종괴 등의 특징값을 추출하기 위하여 고주파 영상을 구하여 밝기(brightness)에 둔감하도록 한 후, 두 영역 간의 분산비로써 명암도(brightness)에 둔감한 특징값을 구하는 방법을 제공하는 것이다. 또한, 이진화 영상 단계를 통하여 명암도와 밝기 변화에 둔감하도록 하고 크기(size), 이동(translation), 회전(rotation)에 불변인 모멘트 특징을 얻은 후, 상하와 좌우의 길이비를 특징값으로 추가시켜 회전(rotation)에는 의존하는 특징을 갖는 또 다른 특징값을 구하는 방법을 제공한다.

본 발명의 다른 목적은, 악성/양성 영상을 합하여 유사도순으로 검색하여 나열하는 것이 아니라, 양성 DB와 악성 DB를 나누어 검색 결과를 보여주어서 한쪽 결과만 과도하게 보이는 가능성을 배제하는 검색 방법을 제공하는 것이다.

도1은 본 발명의 전체적 방법 순서를 도시한 플로우챠트

도2는 제1특징값벡터 계산 단계의 순서도.

도3은 도2의 영역분할의 예시도.

도4는 제2특징값벡터 계산 단계의 순서도.

도5a~5d는 본 발명에 따라 초음파 유방종괴를 분석하는 예를 나타내는 화면도.

도1에 본 발명의 전체적 구성도를 나타내었다. 각 블록별로 단계를 설명한다.

[101] 종괴영상을 입력

분석하고자 하는 초음파 종괴영상을 초음파 기기의 화면상에 직접 보여주거나 컴퓨터 모니터 상에서 선택하여 보여준다. 도5a에 초음파 촬영된 유방(51) 종괴의 영상을 나타내고 있다.

[103] 관심영역(ROI) 설정

예를 들어, 표시된 종괴영상에서 종괴를 둘러싸도록 큰 직사각형으로 대략적인 관심 영역(ROI)을 마우스 등의 입출력 장치로 선택한다. 선택된 큰 직사각형의 관심영역(ROI)을 확대하여 종괴의 좌우, 상하 길이보다 각각 약 10% 큰 세밀한 관심영역(ROI)을 최종적으로 설정한다. 즉, 도5b에서와 같이, 대략적인 ROI 영상(53)을 선택한 다음에, 이를 확대하여 세밀한 ROI 영상(55)을 설정할 수 있다.

[105] 제1특징값벡터를 계산한다.

제1특징값벡터는 종괴의 질감(texture)을 나타내는 지표가 되는 것으로서, 다음과 같은 벡터로 정의된다.

이와 같이 정의되는 제1특징값벡터는 다음과 같은 방법에 의해 자동으로 계산될 수 있다.

- 잡음이 제거된 저주파 신호 영상을 획득하는 단계

1) 5×5 메디안 필터링

2) 영상을 가로 세로 각각 1/2로 줄인다.

3) 호모모필 필터링 수행(Log 영상에서 3×3 평균 필터링 수행)

4) 5×5 창의 수리 형태학 클로우징(closing operation) 필터링 수행

5) 3×3 창의 평균값이 원래 중앙 픽셀값보다 크면 3×3 창내에서의 최소값으로 치환하고, 3×3 창의 평균값이 원래 중앙 픽셀값보다 작으면 3×3 창내에서의 최대값으로 치환한다.

6) 3×3 메디안 필터링

7) 영상을 원래의 크기로 2배 확대한다(선형 보간).

- 원영상에서 저주파 신호 영상을 뺀 영상을 취득하는 단계

- 취득된 영상을 도3과 같이 가로 세로 각각 4균등 분할하고 실선으로 둘러싸인 4부분으로 영역 분할하여 각 영역 구획의 분산(variance)을 구하는 단계(Var(A), Var(B), Var(C), Var(D))

- 두 구획간의 분산비를 계산하는 단계

두 구획간의 분산비는 상기 제1특징값벡터의 정의에 따라 아래의 양에 대해서 계산한다.

- 위의 분산비들과 ROI 영상의 종/횡단면 비율을 제1특징값벡터로 설정하는 단계

[105'] 제2특징값벡터를 계산한다.

제2특징값벡터는 종괴의 모양(shape)을 나타내는 지표가 되는 것으로서, 다음과 같이 정의된다.

여기서, Φ₁,..., Φ₇은 휴모멘트(Hu moment)로서, 휴모멘트의 정의는 다음과 같다.

여기서,이며 f(x,y)는 영상에서 가로위치 x, 세로위치 y에 해당하는 영상값이다.

위와 같이 정의되는 제2특징값벡터는 다음과 같이 계산될 수 있다.

- 종괴영상으로부터 반전 영상을 구하는 단계

- 이진화 영상을 구하는 단계(Ostu 등의 방법에 의한 자동 이진화)

- 크기(size), 이동(translation), 회전(rotation)에 불변인 7차 휴모멘트(Hu moment)를 계산하는 단계

- 위의 7차 휴모멘트와 ROI 영상의 종/횡단면 비율을 제2특징값벡터로 설정하는 단계

[107] 제1특징값벡터에 기반하여 영상 검색을 수행한다.

이 단계는 상기와 같이 산출된 제1특징값벡터를 DB에 질의하여 ROI 영상과 질감이 유사한 순서대로 영상들을 검색하여 나열하는 단계로서, 다음의 단계를 포함한다.

- 유클리디언 거리 측도(distance measure)의 역수를 유사도(similarity)로 설정하여 제1특징값벡터를 제1특징값벡터 DB(악성) 및 제1특징값벡터 DB(양성)과 비교하는 단계

- 상기 유사도가 큰 순서대로 ROI 영상에 유사한 악성 영상을 검색하고 나열하는 단계

- 상기 유사도가 큰 순서대로 ROI 영상에 유사한 양성 영상을 검색하고 나열하는 단계

제1특징값벡터 DB(악성)과 제1특징값벡터 DB(양성)은, 악성/양성이 이미 판별되어 있는 많은 수의 샘플 영상에 근거하여 앞에서 설명한 제1특징값벡터 계산단계[105 단계]에 의해 계산된 제1특징값벡터를 저장함으로써 구축된다.

DB에서 i번째 악성 영상과 대응하는 제1특징값벡터[x_1ix_2ix_3ix_4ix_5ix_6ix_7i]'와, 계산된 제1특징값벡터와의 유사도는 다음과 같이 표현할 수 있다.

, 단 여기서

이다.

이와 같은 방법으로 악성, 양성DB 전체에 걸쳐서 검색을 하고, 유사도가 가장 큰 순서대로 악성/양성 영상을 순서대로 나열한다.

도5c는 제1특징값벡터에 기반하여 ROI 영상과 질감이 유사한 순서대로 DB에서 검색되어 표시된 영상들을 예시하고 있다. 위 2줄은 진단하고자 하는 ROI 영상(55)에 유사한 악성 영상들을 유사도가 큰 순서대로(1~7) 표시한 것이고, 아래 2줄은 진단하고자 하는 ROI 영상(55)에 유사한 양성 영상들을 유사도가 큰 순서대로(1~7) 표시한 것이다.

[107'] 제2특징값벡터에 기반하여 영상 검색을 수행

이 단계는 제2특징값벡터를 제2특징값벡터 DB에 질의하여 ROI 영상과 모양이 유사한 순서대로 검색된 영상들을 나열하는 단계로서, 다음의 단계를 포함한다.

- 유클리디언 거리 측도의 역수를 유사도로 설정하여 제2특징값벡터를 제2특징값벡터 DB(악성)과 제2특징값벡터 DB(양성)과 비교하는 단계

- 상기 유사도가 큰 순서대로 유사한 악성 ROI 영상을 검색하고 나열하는 단계

- 상기 유사도가 큰 순서대로 유사한 양성 ROI 영상을 검색하고 나열하는 단계

제2특징값벡터 DB(악성)과 제2특징값벡터 DB(양성)은, 제1특징값벡터 DB와 마찬가지로, 악성/양성이 이미 판별되어 있는 많은 수의 샘플 영상에 근거하여 앞에서 설명한 제2특징값벡터 계산단계[105' 단계]에 의해 계산된 제2특징값벡터를 저장함으로써 구축된다.

DB에서 i번째 악성 영상과 대응하는 제1특징값벡터[y_1iy_2iy_3iy_4iy_5iy_6iy_7iy_8i]'와, 계산된 제2특징값벡터와의 유사도는 다음과 같이 표현할 수 있다.

, 단 여기서

이다.

이와 같은 방법으로 악성DB와 양성DB 전체에 걸쳐서 검색을 하고, 유사도가 가장 큰 순서대로 악성/양성 영상을 순서대로 나열한다.

도5d는 제2특징값벡터에 기반하여 ROI 영상과 모양이 유사한 순서대로 DB에서 검색되어 표시된 영상들을 예시하고 있다. 위 2줄은 진단하고자 하는 ROI 영상(55)에 유사한 악성 영상들을 유사도가 큰 순서대로(1~7) 표시한 것이고, 아래 2줄은 진단하고자 하는 ROI 영상(55)에 유사한 양성 영상들을 유사도가 큰 순서대로(1~7) 표시한 것이다.이상과 같이 본 발명에 따른 종괴영상 검색 방법에 의해 기존의 유사한 악성 및 양성 영상들을 자동으로 찾아서 보여주게 된다.

이상에서와 같이, 본 발명에 따르면, 초음파 장비의 명암도(contrast)와 밝기(brightness)의 변화에 큰 영향을 받지 않는 특성을 가지므로 다양한 초음파 장비 환경에서 얻은 영상 데이터베이스(DB)에 적용할 수 있으며, 제시된 방법으로 영상 검색을 수행함으로써 의사들의 악성 양성 판별의 의사 결정을 지원할 수 있다. 그리고 수행된 영상 검색 결과들로부터 악성과 양성을 판별할 수 있으며, 특히 전체적 인식률이 아니고 의료진이 중요하게 판단하는 암을 암으로 인식하는 민감도(sensitivity)를 높일 수 있다.

Claims

초음파 기기의 화면 또는 컴퓨터 모니터에서 보여지는 초음파 촬영 종괴영상에서 사용자에 의해 종괴를 둘러싸도록 관심영역(ROI)이 설정되면, 이 관심영역의 질감(texsture)에 관한 지표로서와 같이 정의되는 제1특징값벡터를 계산하는 단계,

상기 관심영역의 모양(shape)에 관한 지표로서와 같이 정의되는 제2특징값벡터를 계산하는 단계,

유클리디언 거리 측도(distance measure)의 역수를 유사도(similarity)로 설정하여 제1특징값벡터를 제1특징값벡터 DB(악성) 및 제1특징값벡터 DB(양성)과 비교하는 단계; 상기 설정된 유사도가 큰 순서대로 ROI 영상에 유사한 악성 영상을 검색하고 나열하는 단계; 상기 설정된 유사도가 큰 순서대로 ROI 영상에 유사한 양성 영상을 검색하고 나열하는 단계를 포함하는, 상기 제1특징값벡터에 기반하여 영상 검색을 수행하는 단계,

유클리디언 거리 측도의 역수를 유사도로 설정하여 제2특징값벡터를 악성과 양성 각각의 제2특징값벡터 DB와 비교하는 단계; 상기 설정된 유사도가 큰 순서대로 ROI 영상에 유사한 악성 영상을 검색하고 나열하는 단계; 상기 설정된 유사도가 큰 순서대로 ROI 영상에 유사한 양성 영상을 검색하고 나열하는 단계를 포함하는, 제2특징값벡터에 기반하여 영상 검색을 수행하는 단계로 구성되는, 명암도와 밝기의 변화에 독립적인 종괴영상 검색 방법.
청구항 1에서, 상기 제1특징값벡터 계산 단계는,

잡음이 제거된 저주파 신호 영상을 획득하는 단계,

원영상에서 저주파 신호 영상을 뺀 영상을 취득하는 단계,

취득된 영상을 가로 세로 각각 4 균등분할하고 실선으로 둘러싸인 4부분으로 영역 분할하여 각 영역 구획의 분산(variance)을 구하는 단계(Var(A), Var(B), Var(C), Var(D)),

두 구획간의 분산비를 아래와 같이 계산하는 단계,

위의 분산비들과 ROI 영상의 종/횡단면 비율을 제1특징값벡터로 설정하는 단계,

상기 제1특징값벡터 DB(악성) 및 제1특징값벡터 DB(양성)은 악성과 양성에 해당하는 초음파 유방 종괴 ROI 영상 DB에, 앞의 단계 [105]에서 계산된 제1특징값벡터를 포함하여 구축하는 단계를 포함하는 것을 특징으로 하는, 명암도와 밝기의 변화에 독립적인 종괴영상 검색 방법.
청구항 2에서, 잡음이 제거된 저주파 신호 영상을 획득하는 단계는,

1) 5×5 메디안 필터링 단계,

2) 영상을 가로 세로 각각 1/2로 줄이는 단계,

3) 호모모필 필터링 수행(Log 영상에서 3×3 평균 필터링 수행) 단계,

4) 5×5 창의 수리 형태학 클로우징(closing operation) 필터링 수행 단계,

5) 3×3 창의 평균값이 원래 중앙 픽셀값보다 크면 3×3 창 내에서의 최소값으로 치환하고, 3×3 창의 평균값이 원래 중앙 픽셀값보다 작으면 3×3 창 내에서의 최대값으로 치환하는 단계,

6) 3×3 메디안 필터링 단계

7) 영상을 원래의 크기로 2배 확대(선형 보간)하는 단계로 구성되는 것을 특징으로 하는, 명암도와 밝기의 변화에 독립적인 종괴영상 검색 방법.
청구항 1에서, 상기 제2특징값벡터 계산 단계는,

반전 영상을 구하는 단계,

이진화 영상을 구하는 단계,

크기(size), 이동(translation), 회전(rotation)에 불변인 7차 휴모멘트(Hu moment)를 계산하는 단계,

7차 휴모멘트와 ROI 영상의 종/횡단면 비율을 제2특징값벡터로 설정하는 단계,

상기 제2특징값벡터 DB(악성) 및 제2특징값벡터 DB(양성)은 악성과 양성에 해당하는 초음파 유방 종괴 ROI 영상 DB에 제2특징값벡터를 포함하여 구축하는 단계로 구성되는, 명암도와 밝기의 변화에 독립적인 종괴영상 검색 방법.