KR100830263B1 - 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치 - Google Patents

컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치 Download PDF

Info

Publication number
KR100830263B1
KR100830263B1 KR1020067021856A KR20067021856A KR100830263B1 KR 100830263 B1 KR100830263 B1 KR 100830263B1 KR 1020067021856 A KR1020067021856 A KR 1020067021856A KR 20067021856 A KR20067021856 A KR 20067021856A KR 100830263 B1 KR100830263 B1 KR 100830263B1
Authority
KR
South Korea
Prior art keywords
image
copies
intensity value
combining
elements
Prior art date
Application number
KR1020067021856A
Other languages
English (en)
Other versions
KR20070026466A (ko
Inventor
하겐 스피스
카타리나 티. 플로드
토마스 루크
마르틴 헤드룬트
Original Assignee
컨텍스트 비젼 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 컨텍스트 비젼 에이비 filed Critical 컨텍스트 비젼 에이비
Publication of KR20070026466A publication Critical patent/KR20070026466A/ko
Application granted granted Critical
Publication of KR100830263B1 publication Critical patent/KR100830263B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명은 각각 조직 형태를 표시하는 강도 값을 가지는 다수의 엘리먼트들로 구성된 제 1 CT 영상을 개선하기 위한 방법에 관한 것이다. 상기 방법은 제 1 CT 영상을 수신하는 단계(101), 제 1 CT 영상에 기초한 개선 처리(103)에 의해 상기 제 1 CT 영상의 다수의 사본들을 제공하는 단계, 및 개선된 CT 영상을 제공하기 위해 상기 사본들을 상기 제 1 CT 영상과 결합하는 단계(104)를 포함한다. 상기 결합은 상기 제 1 CT 영상 및 상기 제 1 CT 영상의 상기 다수의 사본들 내의 영역들의 강도 값들과 관련한 분류에 기초한다. 개선 처리(103)는 미리 결정된 강도 값 범위들과 관련하여 수행된다. 상기 방법은 컴퓨터 프로그램 제품 또는 장치로서 구현될 수 있다.

Description

컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터 프로그램 제품 및 장치{METHOD, COMPUTER PROGRAM PRODUCT AND APPARATUS FOR ENHANCING A COMPUTERIZED TOMOGRAPHY IMAGE}
본 발명은 디지털 영상 및 특히 재구성된 데이터를 포함하는 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 장치 및 컴퓨터 프로그램 제품에 관한 것이며, 개별 독립 청구항의 전제부를 따른다.
컴퓨터 단층촬영(CT) 영상에서, 강도 레벨은 조직의 서로 다른 형태들을 구별하기 위해 사용될 수 있는 것으로 공지된다. CT 시스템은 하기의 테이블에 제시된 것과 같이 강도 값들이 하운스필드 단위(HU)에 대응하도록 조정될 수 있다:
조직 강도 값(HU)
1000
40-60
뇌의 백질 46
뇌의 회백질 43
40
근육 10-40
신장 30
뇌척수액 15
0
지방 -50 -100
공기 -1000
하운스필드 단위들은 일반적으로 -1000 내지 3000의 범위를 가지지만, 몇몇 응용의 경우에 HU 스케일은 0 및 4000 사이의 값으로 쉬프트된다.
상기 테이블로부터 제시되는 것과 같이, 서로 다른 조직 형태의 검사는 강도 윈도우들이라 참조되는 서로 다른 강도 값 범위들의 조사를 필요로 한다.
디스플레이 스크린들의 제한 및 인간 눈의 제한으로 인해, 디스플레이 스크린에 최대 256(28)의 서로 다른 그레이 값들 및 음영 값들을 디스플레이하는 것이 공통적이다. 따라서, 서로 비슷한 강도 값들을 가지는 조직들을 도시하는 CT 영상의 사용가능한 시야를 확보하기 위해, 전체 HU 스케일 중 제한된 부분만을 디스플레이하는 것이 요구된다.
하기에서, 디스플레이 또는 처리된 강도 값 범위는 '강도 윈도우'라 참조될 것이다. 만약, 예를 들어 뼈들이 검사되는 경우에, 일반적으로 1000-2000 HU의 매우 넓은 윈도우 폭을 선택하는 반면, 유조직의 검사를 위해서는 400-600 HU의 더 좁은 윈도우 폭들이 사용되고, 뇌의 검사를 위해서는 50-100 HU의 매우 좁은 윈도우 폭들이 사용되는 것이 보통이다.
관찰된 서로 다른 인체구조들 및 매우 다른 강도 범위들로 인해 서로 다른 경우들은 서로 다른 잡음 감소 및 콘트라스트 향상 처리를 필요로 한다. 그러나, 하나의 영상에서 결과를 저장하고, 서로 다른 조직들이 검사되는 경우에 강도 윈도우들 사이에서 스위칭할 수 있는 것이 바람직하다.
US 5,594,767에서, 원래의 CT 영상은 원래의 CT 영상의 스무딩된 버전과 결합되며, 상기 결합은 분류 맵에 기초한다. 스무딩된 영상은 비선택적으로 간략화되며, 즉 개별 영상 엘리먼트들의 값들과 관계없이 전체 영상이 스무딩된다.
본 발명의 목적은 CT 영상을 개선하기 위한 방법을 제공하는 것이다.
상기 목적은 첨부된 독립 청구항들을 따르는 방법 및 컴퓨터 프로그램 제품에 의해 전체 또는 부분적으로 달성된다. 실시예들은 첨부된 종속 청구항들 및 하기의 실시예에서 설명된다.
따라서, 각각 조직 형태를 표시하는 강도 값을 가지는 다수의 엘리먼트들로 구성된 CT 영상을 개선하기 위한 방법이 제공된다. 상기 방법은 제 1 CT 영상을 수신하는 단계, 상기 제 1 CT 영상의 다수의 사본들을 제공하는 단계, 상기 제 1 CT 영상의 다수의 사본들이 상기 제 1 CT 영상에 기초한 개선 처리를 받는 단계 - 상기 개선 처리는 미리 결정된 강도 값 범위들과 관련하여 수행됨 - 에 의해 상기 제 1 CT 영상의 다수의 사본들을 제공하는 단계; 및
개선된 CT 영상을 제공하기 위해 상기 제 1 CT 영상의 상기 다수의 사본들을 상기 제 1 CT 영상과 결합하는 단계를 포함하며, 상기 결합은 상기 제 1 CT 영상 및 상기 제 1 CT 영상의 상기 다수의 사본들 내의 영역들의 강도 값들과 관련한 분류에 기초한다.
CT 영상은 CT 스캔 데이터, 예를 들면, 2차원, 3차원 또는 4차원 데이터 세트의 임의의 표현이 될 수 있다.
제 1 CT 영상의 다수의 사본들은 제 1 CT 영상의 개선 처리된 전체 또는 부분 사본들로 구성되며, 예를 들면, 제 1 CT 영상의 엘리먼트들의 서브 세트들을 포함할 수 있다.
개선 처리는 제 1 CT 영상의 다수의 사본들의 품질을 개선하기 위한 임의의 처리가 될 수 있다.
또다른 양상에 따라, 각각 연관된 강도 값을 가지는 다수의 엘리먼트들로 구성된 제 1 CT 영상을 개선하기 위한 방법이 제공된다. 상기 방법은 제 1 CT 영상을 수신하는 단계, 제 1 CT 영상에 기초한 개선 처리에 의해 상기 제 1 CT 영상의 다수의 사본들을 제공하는 단계, 및 개선된 CT 영상을 제공하기 위해 상기 사본들을 상기 제 1 CT 영상과 결합하는 단계를 포함한다. 상기 결합은 상기 제 1 CT 영상 및 상기 제 1 CT 영상의 상기 다수의 사본들 내의 영역들의 강도 값들과 관련한 분류에 기초한다. 개선 처리는 미리 결정된 강도 값 범위들과 관련하여 수행된다. 디지털 영상은 CT 영상, x-ray 영상 등과 같은 의학용 영상의 임의의 형태가 될 수 있다. 디지털 영상은 2차원, 3차원 또는 4차원이 될 수 있다.
상기 접근 방식은 서로 다른 강도 윈도우들의 본질적으로 서로 다른 처리를 허용한다. 또한, 전술된 방법은 서로 다른 강도 윈도우들의 서로 다른 처리 세팅들의 사용을 가능하게 하고, 그 결과들을 하나의 영상으로 결합한다.
제시된 접근 방식은 또한 예를 들어 이방성 방식으로 영상 구조에 적용하는 개선된 처리 방법들의 사용을 허용한다.
따라서, 종래기술과 달리, 본 발명은 각각의 고려되는 강도 윈도우, 즉 조직 분류를 위한 가중치를 유지한다. 서로 다른 방법들은 서로 다른 영역들에 적용되고, 따라서 결과들이 결합된다. 다수의 서로 다른 영상들이 형성되어 원래의 강도 값들에 따라 단일 결과로 결합된다.
추가의 양상에 따라 전술된 방법을 구현하기 위한 컴퓨터 프로그램 제품 및 장치가 제공된다.
본 발명의 실시예들은 첨부된 도면들을 참조로 하여 상세히 설명될 것이다.
도 1은 본 발명에 따른 방법을 설명하는 개략적인 흐름도이다.
도 2는 도 1의 흐름도의 세부사항을 설명하는 개략적인 흐름도이다.
도 3는 도 1 및 도 2의 방법이 구현될 수 있는 장치(1)의 개략적인 다이어그램이다.
도 4는 간략화된 CT 영상의 일부분이다.
도 5는 도 4의 CT 영상의 제 1 처리 버전이다.
도 6는 도 4의 CT 영상의 제 2 처리 버전이다.
도 7는 제 1 및 제 2 CT 영상들에 기초하여 결합된 CT 영상이다.
도 8-10는 CT 영상들을 결합할 때 사용되는 마스크들을 도시한다.
CT 시스템의 일반적인 기능을 설명하기 위해, US 5,594,767이 참조된다. 따라서, CT 영상이 발생되는 방법의 설명은 생략된다.
도 1은 CT 스캔 데이터를 개선하기 위한 방법을 설명하는 흐름도이다. 단계(101)에서, CT 영상이 수신된다. 설명을 위해, CT 영상은 서로 다른 방식들 및 포맷들로 수신되며, 예를 들어, 컴퓨터 네트워크를 통해 저장 장치로부터 또는 CT 검출기 데이터에 기초하여 이미지 재구성이 수행되는 컴퓨터로부터 직접 수신된다.
또한, 하기의 설명에서, CT 영상들은 각각 강도 값과 연관된 다수의 엘리먼트들로 구성된 2차원 인덱스 데이터 세트이며, 이는 하운스필드 단위들로 표시될 수 있는 것으로 가정될 수 있다. 따라서, 단계(101)에서 수신된 원래의 CT 영상은 영상으로 처리할 수 있는 데이터 세트를 제공하기 위한 것과 같이 몇몇 공지된 형태의 사전 처리 및/또는 영상 재구성을 필요로 한다.
단계(102)에서, 처리 파라미터들이 수신된다. 상기 처리 파라미터들은 검사될 강도 값 범위 또는 범위들에 대한 표시, 수행할 처리 형태 또는 형태들에 대한 표시, 수행될 개별 처리 종류에 따르는 파라미터들의 표시를 포함할 수 있다. 단계(102)에서의 입력 또는 입력들은 예를 들어, 사용자에 의해 수행되는 선택의 형태, 고려될 대상(예를 들어, 어떤 종류의 조직인지)에 기초하여 수행되는 자동 결정의 형태와 같은 서로 다른 방식들로 수신될 수 있거나 사전 프로그래밍될 수 있다.
단계들(101 및 102)은 역 순서로 수행될 수 있음이 인식된다.
제 1 실시예에서, 원래의 CT 영상은 처리 단계(103)로의 입력으로서 사용될 수 있고, 따라서 개선된 이미지는 출력으로 제공되며, 원래의 CT 영상 또는 그 사본은 유지된다.
선택적으로, 하나 또는 그 이상의 CT 영상 사본들이 원래의 CT 영상에 기초하여 제공될 수 있다. CT 영상 사본은 CT 영상이 손상되지 않도록 유지하기 위해 처리 단계(103)로의 입력으로 사용될 수 있다. CT 영상 사본들은 원래의 CT 영상의 전체 또는 부분 사본들일 수 있다. 예를 들어, CT 영상 사본은 원래의 CT 영상의 일 부분만의 사본일 수 있으며, 따라서 CT 영상 사본은 원래의 CT 영상보다 작을 수 있다. 또다른 예로서, CT 영상 사본은 일정의 미리 결정된 강도 값 범위 내의 강도 값들을 가지는 원래의 CT 영상의 엘리먼트들만의 사본이 될 수 있다. CT 영상 사본들은 동작중인 메모리 또는 비휘발성 메모리에 저장될 수 있다.
단계(102) 및 CT 영상 사본을 제공하는 단계는 역 순서로 수행될 수 있다.
단계(103)에서, 원래의 CT 영상 및/또는 CT 영상 사본들은 개선 처리되며, 따라서 개선 처리된 CT 영상이 획득된다.
각각의 영상들은 미리 결정된 방식으로 처리될 수 있다. 일 실시예에서, 서로 다른 영상들은 특정 강도 윈도우들 내에서 처리된다. 또 다른 실시예에서, 서로 다른 영상들은 서로 다른 형태로, 즉 서로 다른 알고리즘들에서 처리된다. 또 다른 실시예에서, 서로 다른 영상들은 서로 다른 처리 파라미터들을 가지나 동일하게 처리된다. 또다른 실시예에서, 영상들 중 하나는 결코 처리되지 않지만, 다른 영상들은 처리된다.
일 실시예에서, CT 영상은 저장되어 개선 처리된 CT 영상과 결합된다. 또다른 실시예에서, 원래의 CT 영상은 개선 처리되어 또다른 개선 처리된 CT 영상과 결합된다. 따라서, 2, 3 또는 그 이상의 개선 처리된 CT 영상들이 제공되고, 결합된다.
원래의 CT 영상 및/또는 CT 영상 사본들의 다수의 서로 다른 처리 형태들이 제공된다: 저역 통과 필터, US 5,038,387에 개시된 것과 같은 언샤프 마스크를 사 용하는 콘트라스트 개선, 중간값 및 그 변형들과 같은 랭크 필터들 및 Westin, C.-F., Richolt, J., Moharir, V. & Kikinis, R.: Affine Adaptive Filtering of CT Data, Medical Image Analysis 4, 161-177. 2000 및 US 6,556,720에 개시된 것과 같은 적응형 필터링과 같은 더 개선된 처리 방법. 상기 적응형 필터링은 US, 4,747,150, US 4,747,1561, US 4,747,162 및 Carmona, R.A. & Zhong, S.: Adaptive smoothing respecting feature directions, IEEE Transactions on Image Processing 7(3), 353-358. 1998에 개시된 것과 같은 로컬 구조 분석에 기초할 수 있다. 다른 처리 형태는 Dominquez, G.F., Bischof, H.&Beichel, R.: Fast 3D Mean Shift Filter for CT Image, SCIA, 438-445, 2003, Goeteborg, Sweden, Springer, LNCS 2749에 개시된 것과 같은 평균-쉬프트 필터링; Niessen, W., Ter Haar Romrny, B. & Viergever, M.A.: Geodesic Deformable Models for Medical Image Analysis, IEEE Transaction on Medical Imaging 17(4), 634-641, 1998과 Gilboa, G., Sochen, N. & Zeevi, Y.Y: Forward and Backward Diffusion Processes for Adaptive Image Enhancement and Denoising, IEEE Transaction on Image Processing 11(7), 689-703, 2002에 개시된 것과 같은 변형 방법들; Dippel, S,m Stahl, M., Wiemker, R. & Blaffert, T.: Multiscale Contrast Enhancement Radiographies: Laplacian Pyramid Versus Fast Wavelet Transform, IEEE Transactions on Medical Imaging 21(4), 343-353, 2002, Vuylsteke P.P. & Shoeters, E.P.: Multiscale Image Contrast Amplication(MUSICA), SPIE Vol. 2167 Medical Imaging: Image Processing, 551-560. 1994 및 IUS 5,644,662에 개시된 것 과 같은 다중 대역 기술들 또는 Yang, G.Z., Rubens, M.B. & Hansell, D.M.: The use of Hybrid structural filtering for the detection of obliterative bronchiolitis from computed tomographic images, IPA, IEE Conference Publication No. 443, 631-635, 1997에 개시된 것과 같은 웨이브렛 기술들을 포함한다.
일 실시예에서, 사전에 원래의 CT 영상 또는 CT 영상 사본의 어떤 데이터 서브세트들이 처리되어야 하는지 결정되며, 따라서 모든 다른 데이터 엘리먼트들은 전체 실행 속도를 증가시키기 위해 처리에서 제외된다. 그러나, 간단한 구현시 전체 데이터 세트는 동시에 또는 순차적으로 처리될 수 있다.
사전에 다양한 강도 윈도우들을 분할하는 것이 명백하게 필요하지는 않으며, 다양한 개선 방식들을 각각의 윈도우에 동시에 적용하는 것으로 충분하다. 그러나, 전체 계산 속도를 증가시키기 위해, 하기에 기술되는 것과 같이 각각의 윈도우에 대한 마스크들(가중치들)을 계산하여 상기 계산을 관련된 가중치가 0이 아닌 경우에만 적용하는 것이 가능하다.
단계(104)에서, 개선 처리된 영상들 및 가능하면 원래의 CT 영상(또는 그 사본)은 결합되거나 통합되어 결합된 CT 영상이 획득된다. 서로 다른 처리 방법들 또는 파라미터 세팅들에 의해 획득된 결과들을 통합하는 것은 연관된 강도 윈도우 또는 강도 값 범위에 기초할 수 있다. 더 작은 윈도우 폭들에 대하여 변화들이 더 두드러지기 때문에, 상기 결과들은 윈도우 폭에 따라 랭크되어 더 작은 윈도우들에 더 큰 윈도우들 이상의 우선순위가 주어질 수 있다.
하기에서, 영상들을 통합하기 위한 알고리즘의 설명이 도 2를 참조하여 제공되며, 상기 경우에 윈도우들은 개별 중심 c 및 폭 w에 의해 규정되는 것으로 가정된다.
알고리즘은 모든 데이터 엘리먼트들에 대하여 수행되는 하기의 단계들로 구성될 수 있다.
단계(1041)에서, CT 영상들은 윈도우 폭(강도 값 범위)에 따라 우선순위가 결정될 수 있으며, 따라서 최소 폭을 가지는 윈도우가 가장 먼저 배치된다: w1,<w2<...<wN. 강도 윈도우들의 우선순위를 결정함으로써, 영역들이 오버래핑되는 경우에 어떤 윈도우가 사용되어야 할지를 제어할 수 있다. 선택적으로, 우선순위를 결정하는 것은 사용자 입력에 기초할 수 있고, 따라서 사용자는 어떤 강도 윈도우가 사용되어야할지를 결정할 수 있다.
단계(1042)에서, 영역 마스크들은 하기에 예시되는 의사 코드에 따라 원래의 영상의 임계치를 결정함으로써 결정되며, 상기 경우에 maskS는 아직까지 세분화된 데이터이고, orgIm은 원래의 CT 영상이며, maskX는 개별 CT 영상 사본에 대한 마스크이고, maskB는 원래의 영상의 비-세분화된 부분들에 대한 마스크이다.
Figure 112006075880031-pct00001
단계(1042)는 하기와 같이 표현될 수 있다:
Figure 112006075880031-pct00002
Figure 112006075880031-pct00003
상기 Mi는 마스크 번호 i이고, i-x, s, b, I는 원래의 영상 데이터를 표시하고, m, n은 데이터 엘리먼트들을 표시한다.
단계들(1041, 1042)은 역 순서로 수행될 수 있음이 인식된다.
선택적인 단계(1044)에서, 마스크들은 G로 표시되는 저역 통과 커널(kernel)로 중첩(convolve)됨으로써 스무딩된다:
Figure 112006075880031-pct00004
단계(1044)는 하기와 같이 표현될 수 있다:
Figure 112006075880031-pct00005
이는 전체 마스크 어레이의 컨벌루션으로 이해될 것이다.
단계(1045)에서, 영역 마스크들은 하기에 예시되는 의사 코드에 따라 정규화된다:
Figure 112006075880031-pct00006
단계(1045)는 다음과 같이 표현될 수 있다:
Figure 112006075880031-pct00007
단계(1046)에서, 결과들은 하기에 예시되는 의사 코드에 따라 결합되며, 상기 경우에 enhIm은 개선된 결합된 CT 영상을 표시하며, resultX etc는 CT 영상 사본 번호 X에 대한 처리 단계(104a-c)의 출력을 표시한다:
Figure 112006075880031-pct00008
단계(1046)는 다음과 같이 표현될 수 있다:
Figure 112006075880031-pct00009
상기 E는 최종 개선된 영상 및 Ri을 표시하고, i=1...N이며, 개별 강도 윈도우들에 따른 처리 과정으로부터 이전에 획득된 결과들이다.
개별 영역들의 경계 근처에 있는 인공물들을 차단하기 위해, 전술된 단계(1044)에서 저역 통과 필터를 세분화된 마스크들에 적용할 수 있음에 유의하여야 한다. 일 실시예에서, 작은 이항 또는 가우시안 필터가 선택될 수 있지만, 임의의 다른 저역 통과 커널이 선택될 수 있다.
상기 방법은 원래의 데이터를 세분화하여 전이부를 스무딩하기 위해 영역들 사이에 공간 전이(스무딩)를 적용한다.
전술된 것과 같은 결합 및 특히 정규화는 제안된 방법이 강도 값들을 재결합하는데 유용할 수 있으며, 상기 하운스필드 단위들의 로컬 평균이 상기 처리에 의해 변경되지 않도록 하는데 필수적이다.
단계(105)에서, 결합된 CT 영상은 예를 들어, 스크린에 디스플레이되어 출력되거나, 메모리에 저장되거나, 네트워크를 통해 전송된다.
선택적으로, 형태학적 폐쇄 및/또는 개방을 포함하는 단계(1047)는 마스크에 관하여 포함될 수 있고, 따라서 개별 마스크들에서 작은 갭들을 제거하거나 채운다. 형태학적 폐쇄 및/또는 개방 단계(1047)는 영역 마스크들의 결정(1042) 및 CT 영상의 결합(1046) 사이의 임의의 시간에서 발생하도록 배치될 수 있다.
도 3은 전술된 방법이 구현될 수 있는 장치(1)의 개략도이다. 장치(1)는 예를 들어, 네트워크, 저장 매체 또는 사전 처리 장치로부터 CT 영상을 수신하기 위한 수신 수단(2)을 포함한다. 또한, 장치(1)는 전술된 방법 또는 방법들을 수행하기 위해 사용되는 처리 유니트(3)를 포함한다. 장치(1)는 또한 개선된 CT 영상을 출력하기 위한 출력 수단(4)을 포함한다. 처리 유니트는 소프트웨어에 의해 전술된 방법을 수행하도록 프로그래밍된 프로그래밍 가능한 프로세서로 구성될 수 있다. 또다른 실시예에서, 사전 처리 장치는 전술된 방법을 수행하기 위해 사용되는 디지털 신호 처리기 종류일 수 있다. 상기 사전 처리 장치는 ASIC 또는 유사한 기능을 가지는 임의의 구조 형태로 제공될 수 있다.
상기 구성요소들이 컴퓨터 내에서 실행될 때 전파된 신호 형태로 전술된 방법의 단계들을 수행하기 위한 구성요소들을 포함하는 방법을 구현할 수 있다.
하기에서, 간략화된 2D CT 영상의 섹션의 처리가 도 4-10을 참조로 설명된다. 도 4-7에서, 수평축은 예를 들면 개별 CT 영상의 수직축에서 영상 엘리먼트들을 도시한다. 수직축은 섹션 내의 개별 영상 엘리먼트의 HU 값을 도시한다.
도 4는 단계(101;도 1)에서 수신된 것과 같이 원래의 CT 영상의 섹션을 도시한다. 기술되는 예에서, 2개의 강도 윈도우들은 다음과 같이 고려된다: 도 4에 점선으로 표시되고 약 1250 HU 내지 약 3650 HU의 범위를 가지는 넓은 윈도우 및 도 4에 실선으로 표시되고 약 2150 HU 내지 약 2600 HU의 범위를 가지는 좁은 윈도우. 개별 윈도우는 전술된 것과 같이 결정될 수 있다. 특정 실시예에서, 강도 윈도우에 대한 제한들은 그래픽 사용자 인터페이스에 의해 결정되며, 상기 경우에 강도 윈도우에 대한 제한을 표시하는 선들은 처리될 영상의 섹션과 관련하여 표현되고, 따라서 사용자는 포인팅 장치를 사용하여 원하는 위치로 선들을 드래그한다.
도 5는 단계(103; 도 1)에 의해 제공된 것과 같이 도 4에서 원래의 CT 영상의 제 1 처리 버전이다. 예시적인 실시예에서, 도 4의 원래의 CT 영상은 넓은 윈 도우와 관련하여 저역 통과 필터를 필요로 한다. 상기 저역 통과 필터링은 잡음을 억제한다.
도 6는 도 4의 원래의 CT 영상의 제 2 처리 버전이다. 예시적인 실시예에서, 원래의 CT 영상은 좁은 윈도우와 관련하여 구조-적응형 처리를 필요로 한다. 상기 구조-적응형 처리는 CT 영상 내에서 작은 세부 부분들을 보존하나, 잡음을 동일한 정도로 억제하지 못한다.
도 7는 단계(104; 도 1)에 의해 제공된 것과 같이 제 1 및 제 2 처리된 CT 영상에 기초한 결합된 CT 영상이다. 상기 결합은 제 1 및 제 2 처리된 CT 영상들과 연관된 강도 윈도우들과 관련하여 수행된다.
도 8-10는 CT 영상을 결합하는데 사용되는 마스크들을 도시한다. 도 8는 좁은 윈도우, 즉 상기 윈도우 내의 값들을 가지는 모든 영상 엘리먼트들과 연관된 마스크를 도시한다. 도 9는 넓은 윈도우, 즉 상기 윈도우 내에 존재하지만 좁은 윈도우에는 존재하지 않는 모든 영상 엘리먼트들과 연관된 마스크를 도시한다. 도 10은 좁은 윈도우 및 넓은 윈도우 모두에 존재하지 않는 모든 영상 엘리먼트들과 연관된 배경 마스크를 도시한다. 상기 마스크들은 원래의 2진 마스크들의 저역 통과 필터링으로 인해 약간의 스무딩된 전이부들을 가짐에 유의하여야 한다.
형태학적 폐쇄 및/또는 개방 단계(1047; 도 2)가 도 8 및 9에 도시된 마스크들과 관련하여 수행되는 경우에, 수평축에서 50-90 및 170-210 사이의 영역들에 도시된 불균일한 부분이 제거될 수 있음에 유의하여야 한다.
도 7로 되돌아가서, HU 값들이 두 윈도우 외부에 존재하는 엘리먼트들에 대 하여, 원래의 CT 영상(도 4)으로부터의 데이터가 사용된다. HU 값들이 좁은 윈도우 내에 존재하는 엘리먼트들에 대하여, 제 2 CT 영상(도 6)으로부터의 데이터가 사용된다. HU 값들이 넓은 윈도우 내에 존재하지만, 좁은 윈도우에 존재하지 않는 엘리먼트들에 대하여, 제 1 CT 영상(도 5)으로부터의 데이터가 사용된다.
상기 설명이 2D 영상 부분들에 중점을 두지만, 상기 방법은 CT 데이터의 직접적인 3D 또는 4D 개선과 같은 더 높은 차원 데이터의 처리에 유사하게 적용될 수 있다.
상기 설명에 CT 영상들에 중점을 두지만, 기술된 방법은 임의의 형태의 영상, 특히 x-ray, MRI, 등과 같은 의학 영상들에 유사하게 적용될 수 있음에 유의하여야 한다.
전술된 방법에 대한 애플리케이션의 추가 영역들은 제조 산업에서 품질을 보장하기 위해 사용하는 비파괴 검사, 제재소에서 원목들의 분석 및 공항 물품 보안 검색을 포함하지만 이에 제한되지 않는다.

Claims (19)

  1. 각각 조직 형태를 표시하는 하운스필드 단위(Hounsfield unit)의 강도 값을 가지는 다수의 엘리먼트들로 구성된 제 1 CT 영상을 개선하기 위한 방법으로서,
    상기 제 1 CT 영상을 수신하는 단계(101);
    상기 제 1 CT 영상에 기초한 개선 처리(103) - 상기 개선 처리(103)는 미리 결정된 강도 값 범위들과 관련하여 수행됨 - 에 의해 상기 제 1 CT 영상의 다수의 사본들을 제공하는 단계; 및
    개선된 CT 영상을 제공하기 위해 상기 제 1 CT 영상의 상기 다수의 사본들을 상기 제 1 CT 영상과 결합하는 단계(104) - 상기 결합은 상기 제 1 CT 영상 및 상기 제 1 CT 영상의 상기 다수의 사본들내의 영역들의 강도 값들과 관련한 분류에 기초함 - 를 포함하는 방법.
  2. 제 1항에 있어서,
    상기 미리 결정된 강도 값 범위들을 나타내는 신호를 수신하는 단계 및 상기 미리 결정된 강도 값 범위들을 상기 제 1 CT 영상의 상기 다수의 사본들과 연관시키는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 1항에 있어서,
    상기 개선 처리(103)는 상기 다수의 엘리먼트들 중 적어도 몇몇 엘리먼트들에 의해 정의된 로컬 구조에 적응되는 것을 특징으로 하는 방법.
  4. 제 3항에 있어서,
    상기 로컬 구조는 그 강도 값들이 상기 미리 결정된 강도 값 범위들 내에 있는 엘리먼트들의 그룹에 의해 정의되는 것을 특징으로 하는 방법.
  5. 제 1항에 있어서,
    상기 개선 처리(103)는 비선형 필터를 상기 제 1 CT 영상의 상기 다수의 사본들에 적용하는 것을 포함하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서,
    상기 개선 처리(103)는 저역 통과 필터를 사용한 잡음 감소, 언샤프 마스킹을 사용한 콘트라스트 개선, 랭크 필터링, 적응형 필터링, 평균-쉬프트 필터링, 변형 방법, 다중대역 기술 및 웨이브렛(wavelet) 기술을 포함하는 그룹들로부터 선택되는 것을 특징으로 하는 방법.
  7. 제 1항 내지 제 6항 중 어느 한 항에 있어서, 상기 제 1 CT 영상의 상기 다수의 사본들을 상기 제 1 CT 영상과 결합하는 단계(104)는,
    상기 제 1 CT 영상에 대한 제 1 영역 마스크 - 상기 제 1 영역 마스크는 상기 제 1 CT 영상 내의 영역을 한정하며, 그 엘리먼트들은 제 1 강도 값 범위 내의 강도 값들을 가짐 - 를 결정하는 단계(1042),
    상기 제 1 CT 영상의 상기 다수의 사본들에 대한 개별 추가 영역 마스크 - 상기 개별 추가 영역 마스크는 상기 제 1 CT 영상의 개별 사본 내의 영역을 한정하며, 그 엘리먼트들은 상기 미리 결정된 강도 값 범위들 내의 강도 값들을 가짐 - 를 결정하는 단계(1042), 및
    개선된 CT 영상을 제공하기 위해 개별 영역 마스크들에 의해 가중된 상기 제 1 CT 영상 및 상기 제 1 CT 영상의 상기 다수의 사본들을 결합하는 단계(1046)를 포함하는 것을 특징으로 하는 방법.
  8. 제 7항에 있어서,
    상기 제 1 CT 영상과 상기 제 1 CT 영상의 상기 다수의 사본들의 우선순위를 결정하여(1041), 더 높은 우선순위를 가지는 CT 영상의 엘리먼트가 상기 개선된 CT 영상에 포함되고, 상응하게 배치된 더 낮은 우선순위를 가지는 CT영상의 엘리먼트가 상기 개선된 CT 영상으로부터 제외되도록 하는 것을 특징으로 하는 방법.
  9. 제 8항에 있어서,
    상기 영역 마스크들을 스무딩하는 단계(1044)를 더 포함하는 것을 특징으로 하는 방법.
  10. 제 8항에 있어서,
    상기 영역 마스크들을 정규화하는 단계(1045)를 더 포함하는 것을 특징으로 하는 방법.
  11. 제 8항에 있어서,
    상기 영역 마스크들 중 적어도 하나가 형태학적 개방 알고리즘과 형태학적 폐쇄 알고리즘 중 적어도 하나를 따르는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제 1항 내지 제 6항 중 어느 한 항에 있어서,
    상기 제 1 CT 영상은 2차원 어레이, 3차원 어레이 및 4차원 어레이를 포함하는 그룹으로부터 선택되는 것을 특징으로 하는 방법.
  13. 제 1항 내지 제 6항 중 어느 한 항에 있어서,
    상기 제 1 CT 영상은 상기 결합 단계(104) 이전에 제 2 개선 처리가 수행되는 것을 특징으로 하는 방법.
  14. 제 13항에 있어서,
    상기 제 2 개선 처리는 제 2의 미리 결정된 강도 값 범위와 관련하여 수행되는 것을 특징으로 하는 방법.
  15. 삭제
  16. 제 1항 내지 제 6항 중 어느 한 항의 방법을 수행하기 위한 소프트웨어 코드 부분들을 포함하는 컴퓨터 프로그램이 저장된 저장 매체.
  17. 삭제
  18. 각각 조직 형태를 표시하는 하운스필드 단위(Hounsfield unit)의 강도 값을 가지는 다수의 엘리먼트들로 구성된 제 1 CT 영상을 개선하기 위한 장치로서,
    상기 제 1 CT 영상을 수신하는 수신 수단(2);
    상기 제 1 CT 영상에 기초한 개선 처리(103)에 의해 상기 제 1 CT 영상의 다수의 사본들을 제공하도록 배치된 처리 수단(3) - 상기 처리 수단(3)은 미리 결정된 강도 값 범위들과 관련된 개선 처리를 위해 사용됨 - ; 및
    개선된 CT 영상을 제공하기 위해 상기 제 1 CT 영상의 상기 다수의 사본들을 상기 제 1 CT 영상과 결합하는 수단(104) - 상기 결합은 상기 제 1 CT 영상 및 상기 제 1 CT 영상의 상기 다수의 사본들내의 영역들의 강도 값들과 관련한 분류에 기초함 - 를 포함하는 장치.
  19. 각각 강도 값을 가지는 다수의 엘리먼트들로 구성된 제 1 디지털 영상을 개선하기 위한 방법으로서,
    상기 제 1 디지털 영상을 수신하는 단계(101);
    상기 제 1 디지털 영상에 기초한 개선 처리(103) - 상기 개선 처리(103)는 미리 결정된 강도 값 범위들과 관련하여 수행됨 - 에 의해 상기 제 1 디지털 영상의 다수의 사본들을 제공하는 단계; 및
    개선된 디지털 영상을 제공하기 위해 상기 제 1 디지털 영상의 상기 다수의 사본들을 상기 제 1 디지털 영상과 결합하는 단계(104) - 상기 결합은 상기 제 1 디지털 영상 및 상기 제 1 디지털 영상의 상기 다수의 사본들 내의 영역들의 강도 값들과 관련한 분류에 기초함 - 를 포함하는 방법.
KR1020067021856A 2004-03-22 2005-03-18 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치 KR100830263B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US55492604P 2004-03-22 2004-03-22
US60/554,926 2004-03-22
SE0400731A SE0400731D0 (sv) 2004-03-22 2004-03-22 Method, computer program product and apparatus for enhancing a computerized tomography image
SE0400731-6 2004-03-22

Publications (2)

Publication Number Publication Date
KR20070026466A KR20070026466A (ko) 2007-03-08
KR100830263B1 true KR100830263B1 (ko) 2008-05-16

Family

ID=32067485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067021856A KR100830263B1 (ko) 2004-03-22 2005-03-18 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치

Country Status (11)

Country Link
US (1) US7809178B2 (ko)
EP (1) EP1743299B9 (ko)
JP (1) JP2007530132A (ko)
KR (1) KR100830263B1 (ko)
CN (1) CN1934587A (ko)
AT (1) ATE406633T1 (ko)
DE (1) DE602005009349D1 (ko)
DK (1) DK1743299T3 (ko)
ES (1) ES2313315T3 (ko)
SE (1) SE0400731D0 (ko)
WO (1) WO2005091219A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5199541B2 (ja) * 2006-01-31 2013-05-15 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 放射線断層撮影装置
JP4823780B2 (ja) * 2006-06-19 2011-11-24 株式会社日立メディコ パノラマ断層像生成装置及びパノラマ断層像生成プログラム
US7925065B2 (en) * 2006-08-22 2011-04-12 Siemens Medical Solutions Usa, Inc. Finding blob-like structures using diverging gradient field response
US7656990B2 (en) 2006-09-19 2010-02-02 The Board Of Trustees Of The Leland Stanford Junior University Adaptive anisotropic filtering of projection data for computed tomography
DE102008032686B4 (de) * 2008-07-06 2020-07-16 Dürr Dental SE Verfahren zur Verbesserung des Kontrastes von Bildern, insbesondere Grauwertbildern und Vorrichtung zu seiner Durchführung
CN101627918A (zh) * 2008-07-18 2010-01-20 Ge医疗系统环球技术有限公司 Ct影像压缩方法和装置
GB2480864B (en) * 2010-06-04 2013-09-18 Mirada Medical Processing system for medical scan images
JP5683174B2 (ja) * 2010-08-31 2015-03-11 キヤノン株式会社 画像処理装置およびその制御方法
US9123143B2 (en) * 2011-08-11 2015-09-01 Aaron I. Krakowski System and method for motion sickness minimization using integration of attended and unattended datastreams
US8507869B2 (en) * 2011-10-27 2013-08-13 General Electric Company Methods and systems for adaptive tomographic imaging
US8953902B2 (en) * 2012-07-06 2015-02-10 Morpho Detection, Llc Systems and methods for thin object imaging
CN102915453B (zh) * 2012-08-30 2015-07-01 华南理工大学 一种实时反馈更新的车辆检测方法
CN103150714A (zh) * 2013-03-12 2013-06-12 华东师范大学 一种实时交互式的磁共振图像增强方法及其装置
JP2015076797A (ja) * 2013-10-10 2015-04-20 富士通株式会社 空間情報提示装置、空間情報提示方法及び空間情報提示用コンピュータプログラム
US9947129B2 (en) 2014-03-26 2018-04-17 Carestream Health, Inc. Method for enhanced display of image slices from 3-D volume image
US10839509B2 (en) 2015-07-10 2020-11-17 3Scan Inc. Spatial multiplexing of histological stains
US10405836B2 (en) 2015-11-23 2019-09-10 Clarius Mobile Health Corp. Speckle reduction and compression improvement of ultrasound images
US10643319B2 (en) * 2018-01-30 2020-05-05 Canon Medical Systems Corporation Apparatus and method for context-oriented blending of reconstructed images
KR102255413B1 (ko) * 2018-07-10 2021-05-24 주식회사 디오 Ct 영상에서 치아 관심 영역 추출 방법 및 장치
CN109597011A (zh) * 2018-11-28 2019-04-09 中国石油大学(北京) 核磁共振回波数据降噪方法、装置及存储介质
WO2024059848A2 (en) * 2022-09-16 2024-03-21 Cedars-Sinai Medical Center Systems and methods for predicting pancreatic ductal adenocarcinoma

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE448125B (sv) 1985-05-23 1987-01-19 Context Vision Ab Anordning for bestemning av graden av konstans hos en egenskap for ett omrade i en i diskreta bildelement uppdelad bild
SE448124B (sv) 1985-05-23 1987-01-19 Context Vision Ab Anordning for detektering av variationsgraden av en egenskap i ett omrade av en i diskreta bildelement uppdelad bild
SE448126B (sv) * 1985-05-23 1987-01-19 Context Vision Ab Anordning for detektering av sprangartade forendringar av en egenskap inom ett omrade av en i diskreta bildelement uppdelad bild
JPH0690724B2 (ja) 1988-07-29 1994-11-14 大日本スクリーン製造株式会社 画像の輪郭強調方法
JPH0763460B2 (ja) * 1992-02-28 1995-07-12 株式会社日立メディコ 磁気共鳴イメージング装置
EP0610604A1 (en) 1993-02-11 1994-08-17 Agfa-Gevaert N.V. Multiple processing of radiographic images based on a pyramidal image decomposition
US5416815A (en) 1993-07-02 1995-05-16 General Electric Company Adaptive filter for reducing streaking artifacts in x-ray tomographic images
US5594767A (en) * 1995-11-02 1997-01-14 General Electric Company Methods and apparatus for enhancing image sharpness
US6928182B1 (en) * 1998-10-15 2005-08-09 Kui Ming Chui Imaging
US6535648B1 (en) 1998-12-08 2003-03-18 Intel Corporation Mathematical model for gray scale and contrast enhancement of a digital image
US6556720B1 (en) * 1999-05-24 2003-04-29 Ge Medical Systems Global Technology Company Llc Method and apparatus for enhancing and correcting digital images
US6963670B2 (en) 2001-11-21 2005-11-08 Ge Medical Systems Global Technology Company, Llc CT dose reduction filter with a computationally efficient implementation
US7041059B2 (en) * 2002-08-02 2006-05-09 Diagnostic Ultrasound Corporation 3D ultrasound-based instrument for non-invasive measurement of amniotic fluid volume
US7187800B2 (en) * 2002-08-02 2007-03-06 Computerized Medical Systems, Inc. Method and apparatus for image segmentation using Jensen-Shannon divergence and Jensen-Renyi divergence
US7394530B2 (en) * 2004-03-30 2008-07-01 Budd Gerald W Surface inspection technology for the detection of porosity and surface imperfections on machined metal surfaces
US7376255B2 (en) * 2004-06-23 2008-05-20 General Electric Company System and method for image reconstruction
US7609870B2 (en) * 2004-08-24 2009-10-27 General Electric Company Methods and systems for enhancing images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement

Also Published As

Publication number Publication date
US20070280519A1 (en) 2007-12-06
EP1743299B1 (en) 2008-08-27
JP2007530132A (ja) 2007-11-01
WO2005091219A1 (en) 2005-09-29
DK1743299T3 (da) 2009-01-12
EP1743299A1 (en) 2007-01-17
KR20070026466A (ko) 2007-03-08
ATE406633T1 (de) 2008-09-15
CN1934587A (zh) 2007-03-21
ES2313315T3 (es) 2009-03-01
SE0400731D0 (sv) 2004-03-22
EP1743299B9 (en) 2009-03-04
US7809178B2 (en) 2010-10-05
DE602005009349D1 (de) 2008-10-09

Similar Documents

Publication Publication Date Title
KR100830263B1 (ko) 컴퓨터 단층촬영 영상을 개선하기 위한 방법, 컴퓨터프로그램 제품 및 장치
Perumal et al. Preprocessing by contrast enhancement techniques for medical images
JP5753791B2 (ja) ノイズ除去された所定の解像度の医療画像を提供する方法、所定の解像度のノイズ除去された所定の解像度の医療画像を提供するシステム
Gorgel et al. A wavelet-based mammographic image denoising and enhancement with homomorphic filtering
JP5038642B2 (ja) ボリュメトリック画像強調システム及び方法
EP1383082A2 (en) Interpolated image filtering method and apparatus
JP2007050259A (ja) ボリュームデータ再構成後の断層撮影3d画像のフィルタリング方法
JPH07299053A (ja) コンピュータ診断支援方法
JP2004246625A (ja) 画像処理装置、画像処理方法、及びプログラム
CN106725612B (zh) 四维超声图像优化方法及系统
Osman et al. The effect of filtering algorithms for breast ultrasound lesions segmentation
Dabass et al. Biomedical image enhancement using different techniques-a comparative study
GB2451367A (en) Nodule detection in computed tomography images
Dawood et al. The importance of contrast enhancement in medical images analysis and diagnosis
Raj et al. Ultrasound medical image denoising using hybrid bilateral filtering
Alex et al. Speckle noise suppression in 2D ultrasound kidney images using local pattern based topological derivative
JP4783006B2 (ja) 領域分割ベースの画像操作の方法及び装置
US12086979B2 (en) Multi-phase filter
Guo Computer-aided detection of breast cancer using ultrasound images
Hamed et al. A proposed model for denoising breast mammogram images
Budumuru et al. Preprocessing analysis of medical image: a survey
Qian et al. Adaptive CAD modules for mass detection in digital mammography
Siddiqi FILTER SELECTION FOR REMOVING NOISE FROM CT SCAN IMAGES USING DIGITAL IMAGE PROCESSING ALGORITHM
Angelini et al. Fusion of brushlet and wavelet denoising methods for nuclear images
Tsujii et al. Anatomic region-based dynamic range compression for chest radiographs using warping transformation of correlated distribution

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110429

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee