KR101029407B1 - 초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법 - Google Patents

초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법 Download PDF

Info

Publication number
KR101029407B1
KR101029407B1 KR1020090118439A KR20090118439A KR101029407B1 KR 101029407 B1 KR101029407 B1 KR 101029407B1 KR 1020090118439 A KR1020090118439 A KR 1020090118439A KR 20090118439 A KR20090118439 A KR 20090118439A KR 101029407 B1 KR101029407 B1 KR 101029407B1
Authority
KR
South Korea
Prior art keywords
average
value
multiplication operation
operation value
declination
Prior art date
Application number
KR1020090118439A
Other languages
English (en)
Inventor
박성배
배무호
김태윤
Original Assignee
(주)메디슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)메디슨 filed Critical (주)메디슨
Priority to KR1020090118439A priority Critical patent/KR101029407B1/ko
Priority to EP10188449.2A priority patent/EP2333579A3/en
Priority to JP2010267203A priority patent/JP5697959B2/ja
Priority to US12/959,030 priority patent/US8758250B2/en
Application granted granted Critical
Publication of KR101029407B1 publication Critical patent/KR101029407B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979—Combined Doppler and pulse-echo imaging systems
    • G01S15/8981—Discriminating between fixed and moving objects or between objects moving at different speeds, e.g. wall clutter filter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06—Measuring blood flow

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Hematology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템은, 초음파 영상 내 컬러 이미지의 각 픽셀에 대응하는 IQ 신호와 관련한 평균값을 산출하고, 상기 산출된 평균값을 이용하여 곱셈 연산값을 생성하는 연산부; 상기 생성된 곱셈 연산값을 상기 평균값과 비교하는 비교부; 및 상기 비교 결과에 따라 상기 픽셀을 마스킹하는 마스킹부를 포함하고, 상기 연산부는, 프레임 별로 상기 IQ 신호에 대한 평균값을 산출하고, 상기 산출된 평균값들의 스케일을 고려하여 기준 평균값을 선별하며, 상기 선별된 기준 평균값에 스케일 팩터를 곱셈 적용하여 상기 곱셈 연산값을 생성한다.
초음파, 컬러 도플러, 도플러 신호, 클러터 신호, 플래시 아티팩트, 마스킹

Description

초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법{ULTRASOUND COLOR DOPPLER IMAGING SYSTEM AND METHOD FOR FILTERING CLUTTER SIGNAL OF THE SAME}
본 발명의 실시예들은 초음파 컬러 도플러 영상 시스템에 관련한 것이다.
초음파 컬러 도플러 영상 시스템은 인체에 초음파를 발사, 혈류로부터 반사되어 오는 초음파의 도플러 시프트(doppler shift) 주파수를 측정함으로써 혈류의 분포를 실시간으로 검출할 수 있다.
발사된 초음파는 잘 포커싱(focusing) 하여 혈류에 집중시키더라도 일부는 원치 않는 방향으로 전파되어 결국 혈류로부터의 반사 신호뿐 아니라 혈류 바깥의 원치 않는 신호도 함께 섞여 돌아오게 된다. 이때, 일반적으로 혈류로부터의 신호를 도플러 신호(doppler signal), 그 밖의 조직으로부터 오는 원치 않는 신호를 클러터 신호(clutter signal)라 한다.
보통, 초음파를 잘 포커싱하게 되면, 포컬 포인트(focal point)로 대부분의 에너지가 전달되고, 그 바깥으로 일부의 초음파가 새어 나가므로, 대부분 원하던 포컬 포인트로부터의 신호가 되돌아오게 된다. 그러나, 혈류의 반사 율(reflectivity)이 주변 조직(혈관벽, 근육 등)에 비해 매우 작기 때문에, 일반적으로 미소한 초음파가 새어나가지만 혈류로부터의 도플러 신호보다 클러터 신호가 더 크게 되는 경우가 대부분이다.
클러터 신호는 주변 조직의 움직임이 거의 없을 경우, 도플러 시프트 주파수가 거의 0에 가깝게 되므로, 쉽게 하이패스 클러터 필터(high-pass clutter filter)로 제거할 수 있음은 공지의 사실이다. 또한, 조직의 움직임이 제법 빠르게 되면, 클러터 신호의 도플러 시프트 주파수가 제법 높아지게 된다. 따라서, 일반적인 클러터 필터로는 클러터 신호가 완전히 제거되지 않고 남게 되므로, 화면에 색상이 나타나게 된다. 이렇게, 조직의 빠른 움직임이 혈류인 것처럼 색상으로 화면상에 나타나는 아티팩트(artifact)는, 보통 화면에서 순간적으로 번쩍하는 양상을 보이므로 보통 플래시 아티팩트(flash artifact)라 부른다.
본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 클러터 신호를 필터링함으로써, 컬러 도플러 영상에서 플래시 아티팩트 성분을 제거할 수 있도록 하는 것을 목적으로 한다.
본 발명은 협대역의 클러터 신호에서뿐만 아니라, 광대역의 클러터 신호에서도 클러터 신호를 제거할 수 있도록 하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템은, 초음파 영상 내 컬러 이미지의 각 픽셀에 대응하는 IQ 신호와 관련한 평균값을 산출하고, 상기 산출된 평균값을 이용하여 곱셈 연산값을 생성하는 연산부; 상기 생성된 곱셈 연산값을 상기 평균값과 비교하는 비교부; 및 상기 비교 결과에 따라 상기 픽셀을 마스킹하는 마스킹부를 포함한다.
여기서, 상기 연산부는 프레임 별로 상기 IQ 신호에 대한 평균값을 산출하고, 상기 산출된 평균값들의 스케일을 고려하여 기준 평균값을 선별하며, 상기 선별된 기준 평균값에 스케일 팩터를 곱셈 적용하여 상기 곱셈 연산값을 생성한다.
본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법은, 초음파 영상 내 컬러 이미지의 각 픽셀에 대응하는 IQ 신호와 관련한 평균값을 산출하는 단계; 상기 산출된 평균값을 이용하여 곱셈 연산값을 생성하는 단계; 상기 생성된 곱셈 연산값을 상기 평균값과 비교하는 단계; 및 상기 비교 결과에 따라 상기 픽셀을 마스킹하는 단계를 포함한다.
여기서, 상기 평균값을 산출하는 단계는, 프레임 별로 상기 IQ 신호에 대한 평균값을 산출하는 단계를 포함한다. 그리고, 상기 곱셈 연산값을 생성하는 단계는, 상기 산출된 평균값들의 스케일을 고려하여 기준 평균값을 선별하는 단계; 및 상기 선별된 기준 평균값에 스케일 팩터를 곱셈 적용하여 상기 곱셈 연산값을 생성하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명의 실시예들에 의하면, 클러터 신호를 필터링함으로써, 컬러 도플러 영상에서 플래시 아티팩트 성분을 제거할 수 있다.
본 발명의 실시예들에 의하면, 협대역의 클러터 신호에서뿐만 아니라, 광대역의 클러터 신호에서도 클러터 신호를 제거할 수 있다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템을 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 초음파 컬러 도플러 영상 시스템(100)은 연산부(110), 비교부(120), 마스킹부(130), 및 제어부(140)를 포함할 수 있다.
연산부(110)는 초음파 영상 내 컬러 이미지(color image)의 각 픽셀(pixel)에 대응하는 제1 신호에 대한 평균 편각(mean phase) 및 평균 크기(mean magnitude)를 산출하고, 산출된 값에 사전에 설정된 스케일 팩터(scale factor)를 승산할 수 있다. 여기서, 상기 컬러 이미지는 클러터 신호가 제거되기 전의 이미지, 즉 혈류와 주변 조직(혈관벽, 근육 등)이 혼합된 이미지일 수 있다. 또한, 상기 제1 신호는 앙상블(ensemble) 또는 프레임 단위의 I/Q(In-phase/Quadrature-phase) 신호 중에서 한 픽셀(또는 샘플)당 I/Q 신호일 수 있다.
이때, 연산부(110)는 상기 제1 신호, 및 상기 제1 신호(IQ 신호)와 시간상으로 연속하는 제2 신호(다른 IQ 신호)를 이용하여, 상기 제1 신호에 대한 평균 편각 및 평균 크기를 산출할 수 있다. 예컨대, 연산부(110)는 하기 수학식 1을 이용 하여 상기 제1 신호에 대한 평균 편각 및 평균 크기를 산출할 수 있다.
Figure 112010072659453-pat00044
Figure 112010072659453-pat00045
여기서, MeanPhase는 평균 편각, MeanMagn는 평균 크기, u는 스캔라인 넘버(scanline num), v는 샘플(픽셀) 넘버(sample num), k는 앙상블 넘버(ensemble num), EL은 앙상블 길이(ensemble length), *는 켤레 복고수, E(k,u,v)는 변조된 I/Q 신호를 복소수 형태로 표현(I+jQ)한 것을 각각 가리킨다.
연산부(110)는 산출된 상기 평균 편각 및 상기 평균 크기 각각에 대한 최대값에, 미리 설정된 스케일 팩터(scale factor)를 곱셈 연산하여, 제1 곱셈 연산값 및 제2 곱셈 연산값을 생성할 수 있다. 여기서, 상기 스케일 팩터는 사용자 또는 시스템 환경에 따라 미리 설정(setting)될 수 있다.
즉, 연산부(110)는 상기 산출된 평균 편각에 대한 최대값(최대 평균 편각)에, 스케일 팩터를 곱셈 연산하여 제1 곱셈 연산값(스케일 팩터 X 최대 평균 편각)을 생성할 수 있다. 또한, 연산부(110)는 상기 산출된 평균 크기에 대한 최대값(최대 평균 크기)에, 스케일 팩터를 곱셈 연산하여 제2 곱셈 연산값(스케일 팩터 X 최대 평균 크기)을 생성할 수 있다.
이를 위해, 연산부(110)는 하기 수학식 2와 같은 일례를 이용하여, 상기 산 출된 평균 편각에 대한 최대값과, 상기 산출된 평균 크기에 대한 최대값을 구할 수 있다. 즉, 연산부(110)는 상기 평균 편각 각각을 서로 비교하여 상기 평균 편각에 대한 최대값을 구하고, 상기 평균 크기 각각을 서로 비교하여 상기 평균 크기에 대한 최대값을 구할 수 있다.
Figure 112010072659453-pat00046
Figure 112010072659453-pat00047
여기서, MaxPhase는 평균 편각에 대한 최대값, MaxMagn는 평균 크기에 대한 최대값, u는 스캔라인 넘버(scanline num), v는 샘플(픽셀) 넘버(sample num), U는 스캔라인 넘버의 최대값, V는 샘플(픽셀) 넘버의 최대값, MeanPhase는 평균 편각, MeanMagn는 평균 크기를 각각 가리킨다.
참고로, 초음파 컬러 도플러 영상 시스템(100)은 연산부(110)에 의한 연산을 수행하기 이전에, 앙상블(ensemble) 단위의 I/Q(In-phase/Quadrature-phase) 신호 내 모든 픽셀에 대해 하나의 픽셀 단위로 모듈레이션(modulation)을 수행할 수 있다. 따라서, 상기 제1 신호는 모듈레이션된 신호일 수 있다.
비교부(120)는 상기 생성된 제1 곱셈 연산값 및 상기 생성된 제2 곱셈 연산값을, 상기 평균 편각 및 상기 평균 크기 각각과 비교할 수 있다. 즉, 비교부(120)는 상기 제1 곱셈 연산값과 상기 평균 편각을 비교하고, 상기 제2 곱셈 연 산값과 상기 평균 크기를 비교할 수 있다.
마스킹부(130)는 상기 비교 결과에 따라, 상기 컬러 이미지의 각 픽셀을 마스킹(masking)할 수 있다.
예컨대, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우(제1 곱셈 연산값 < 평균 편각 & 제2 곱셈 연산값 > 평균 크기), 마스킹부(130)는 상기 컬러 이미지의 해당 픽셀을 마스킹할 수 있다.
또 달리, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 크고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우(제1 곱셈 연산값 >평균 편각 & 제2 곱셈 연산값 > 평균 크기), 마스킹부(130)는 상기 컬러 이미지의 해당 픽셀을 마스킹할 수 있다.
또 달리, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 작은 경우(제1 곱셈 연산값 < 평균 편각 & 제2 곱셈 연산값 < 평균 크기), 마스킹부(130)는 상기 컬러 이미지의 해당 픽셀을 마스킹할 수 있다.
반면, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 크고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 작은 경우(제1 곱셈 연산값 > 평균 편각 & 제2 곱셈 연산값 < 평균 크기), 마스킹부(130)는 상기 컬러 이미지의 해당 픽셀을 마스킹하지 않는다.
이를 하기 간단하게 표로 나타내면 아래의 표 1과 같다.
제1 곱셈 연산값과 평균 편각 비교 제2 곱셈 연산값과 평균 크기 비교 마스킹 값
1 mean phase < scale factor x max mean phase & mean magnitude > scale factor x max mean magnitude 0(Masking함)
2 mean phase > scale factor x max mean phase & mean magnitude < scale factor x max mean magnitude 1(Masking 안함)
3 mean phase > scale factor x max mean phase & mean magnitude > scale factor x max mean magnitude 0(Masking함)
4 mean phase < scale factor x max mean phase & mean magnitude < scale factor x max mean magnitude 0(Masking함)
표 1에 나타낸 바와 같이, 초음파 컬러 도플러 영상 시스템(100)은 상기 제1 곱셈 연산값과 상기 평균 편각, 및 상기 제2 곱셈 연산값과 상기 평균 크기를 각각 비교한 결과에 따라, 마스킹 값을 0 또는 1로 설정할 수 있다. 이에 따라, 마스킹부(130)는 상기 마스킹 값이 0인 경우, 상기 컬러 이미지의 해당 픽셀을 마스킹 처리하는 반면, 상기 마스킹 값이 1인 경우, 상기 컬러 이미지의 해당 픽셀을 마스킹 처리하지 않는다.
제어부(140)는 초음파 컬러 도플러 영상 시스템(100), 즉 연산부(110), 비교부(120), 마스킹부(130) 등의 동작을 전반적으로 제어할 수 있다.
도 2 내지 도 4는 본 발명의 실시예에 따라 앙상블 I/Q 신호에서 서로 연속적인 두 신호의 편각과 크기를 구하는 일례를 도시한 도면이다.
도 2 내지 도 4에는 EL(Ensemble Length): 1픽셀의 컬러 영상을 연산하는데에 필요한 초음파 빔의 수)만큼의 모듈레이트(modulate)된 I/Q 신호, 즉 E(0), E(1), E(2), E(3), ..., E(EL-2), E(EL-1)에 대한 그래프가 도시되어 있다. 도 2 내지 도 4에서는 시간적으로 연속한 두 I/Q 신호를 이용하여 두 신호의 편각과 크기를 구할 수 있다.
먼저, 도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템은, 시간적으로 연속한 두 신호, 즉 E(0)과 E(1)을 이용하여, E(0)과 E(1)에 대한 편각과 크기를 구할 수 있다.
즉, 상기 초음파 컬러 도플러 영상 시스템은, 시간적으로 연속한 두 신호, 즉 E(0)과 E(1)을 곱하고(E(0) X E(1)*), 상기 곱한 결과(
Figure 112009074458168-pat00004
Figure 112009074458168-pat00005
Figure 112009074458168-pat00006
Figure 112009074458168-pat00007
Figure 112009074458168-pat00008
Figure 112009074458168-pat00009
) 로부터 두 신호(E(0), E(1))에 대한 편각(C(0)=
Figure 112009074458168-pat00010
Figure 112009074458168-pat00011
)과 크기(M(0)=
Figure 112009074458168-pat00012
Figure 112009074458168-pat00013
)를 구할 수 있다.
또한, 도 3에 도시된 바와 같이, 상기 초음파 컬러 도플러 영상 시스템은, 시간적으로 연속한 두 신호, 즉 E(1)과 E(2)를 이용하여, E(1)과 E(2)에 대한 편각과 크기를 구할 수 있다.
즉, 상기 초음파 컬러 도플러 영상 시스템은 시간적으로 연속한 두 신호, 즉 E(1)과 E(2)를 곱하고((E(1) X E(2)*), 상기 곱한 결과(
Figure 112009074458168-pat00014
Figure 112009074458168-pat00015
Figure 112009074458168-pat00016
Figure 112009074458168-pat00017
Figure 112009074458168-pat00018
Figure 112009074458168-pat00019
) 로부터 두 신호(E(1), E(2))에 대한 편각(C(1)=
Figure 112009074458168-pat00020
Figure 112009074458168-pat00021
)과 크기(M(1)=
Figure 112009074458168-pat00022
Figure 112009074458168-pat00023
)를 구할 수 있다.
상기 초음파 컬러 도플러 영상 시스템은 도 2 및 도 3과 같은 방법으로 다른 두 신호, 즉 E(2)와 E(3), E(3)과 E(4), ..., E(EL-3)과 E(EL-2) 각각에 대한 편각 및 크기를 계속적으로 구한 후, 마지막으로, 도 4와 같은 방법으로 두 신호 E(EL-2)와 E(EL-1)에 대한 편각 및 크기를 구하면, 앙상블 I/Q 신호(컬러 이미지)의 각 픽셀(샘플)에 대한 편각 및 크기를 모두 구하게 된다.
도 4에 도시된 바와 같이, 상기 초음파 컬러 도플러 영상 시스템은 시간적으로 연속한 두 신호, 즉 E(EL-2)와 E(EL-1)을 곱하고((E(EL-2) X E(EL-1)*), 상기 곱한 결과(
Figure 112009074458168-pat00024
Figure 112009074458168-pat00025
Figure 112009074458168-pat00026
Figure 112009074458168-pat00027
Figure 112009074458168-pat00028
Figure 112009074458168-pat00029
) 로부터 두 신호(E(EL-2), E(EL-1))에 대한 편각(C(EL-2)=
Figure 112009074458168-pat00030
Figure 112009074458168-pat00031
)과 크기(M(EL-2)=
Figure 112009074458168-pat00032
Figure 112009074458168-pat00033
)를 구할 수 있다.
이와 같이, 상기 초음파 컬러 도플러 영상 시스템은 시간상으로 연속적인 두 신호를 이용하여, 앙상블 I/Q 신호(컬러 이미지)의 각 픽셀(샘플)에 대한 편각 및 크기를 모두 구할 수 있다. 이에 따라, 상기 초음파 컬러 도플러 영상 시스템은 도 2 내지 도 4에서 구한 편각 및 크기를 이용하여, 하기의 수학식 3과 같이 평균 편각 및 평균 크기를 구할 수 있다.
Figure 112009074458168-pat00034
여기서, MeanPhase는 평균 편각, MeanMagnitude는 평균 크기, n은 편각 및 크기 각각의 총개수,
Figure 112009074458168-pat00035
는 편각의 총합,
Figure 112009074458168-pat00036
는 크기의 총합을 각각 가리킨다.
도 5는 본 발명의 실시예에 따라 컬러 이미지 내 픽셀에 마스킹 처리를 하는 일례를 도시한 도면이다. 참고로, 도 5에서, 네모 블록 각각은 픽셀을 가리키고, 네모 블록 내에 있는 숫자는 픽셀 넘버를 가리킨다. 또한, 도 5에서, 검은 블록 및 하얀 블록 오른쪽에 있는 숫자 0과 1은 마스킹 값(masking value)을 나타낸다.
도 5에 도시된 바와 같이, 픽셀 번호 1, 2, 4, 5, 9, 11, 12, 13, 14에 해당하는 픽셀의 마스킹 값은 0이고, 픽셀번호 3, 6, 7, 8, 10, 15, 16에 해당하는 픽셀의 마스킹 값이 1이다.
따라서, 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템은 마스킹 값이 0인 픽셀, 즉 픽셀 번호 1, 2, 4, 5, 9, 11, 12, 13, 14에 해당하는 픽셀을 마스킹 처리할 수 있다(빗금친 부분, 실제 구현 시에는 검정 색으로 표시됨).
반면, 상기 초음파 컬러 도플러 영상 시스템은 마스킹 값이 1인 픽셀, 즉 픽셀 번호 3, 6, 7, 8, 10, 15, 16에 해당하는 픽셀을 마스킹 처리하지 않는다.
이와 같이, 상기 초음파 컬러 도플러 영상 시스템은 컬러 이미지 내 각 픽셀에 대해, 연산, 비교 등의 과정을 통해 마스킹 값을 설정하고, 상기 설정된 마스킹 값을 이용하여 해당 픽셀을 마스킹 처리할 수 있다. 따라서, 본 발명의 실시예에 따르면, 컬러 도플러 영상으로부터 플래시 아티팩트 성분을 효과적으로 제거할 수 있다.
이처럼, 상기 초음파 컬러 도플러 영상 시스템은 컬러 도플러 영상으로부터 플래시 아티팩트 성분을 효과적으로 제거함으로써, 도 6과 같이 보다 정확한 컬러 도플러 영상을 제공할 수 있다. 참고로, 도 6은 본 발명의 실시예에 따라, 컬러 도플러 영상으로부터 플래시 아티팩트를 제거하기 전(왼쪽 영상)과 후(오른쪽 영상)를 도시한 예시도이다.
도 7은 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법을 설명하기 위해 도시한 흐름도이다.
도 7을 참조하면, 단계(S710)에서 상기 초음파 컬러 도플러 영상 시스템은 초음파 영상 내 컬러 이미지(color image)의 각 픽셀(pixel)에 대응하는 제1 신호에 대한 평균 편각(mean phase) 및 평균 크기(mean magnitude)를 산출할 수 있다. 여기서, 상기 컬러 이미지는 클러터 신호가 제거되기 전의 이미지, 즉 혈류와 주변 조직(혈관벽, 근육 등)이 혼합된 이미지일 수 있다. 또한, 상기 제1 신호는 앙상블(ensemble) 단위의 I/Q(In-phase/Quadrature-phase) 신호 중에서 한 픽셀(또는 샘플)당 I/Q 신호일 수 있다.
이때, 상기 초음파 컬러 도플러 영상 시스템은 상기 제1 신호, 및 상기 제1 신호와 시간상으로 연속하는 제2 신호를 이용하여, 상기 제1 신호에 대한 평균 편각 및 평균 크기를 산출할 수 있다.
다음으로, 단계(S720)에서 상기 초음파 컬러 도플러 영상 시스템은 산출된 상기 평균 편각 및 상기 평균 크기 각각에 대한 최대값에, 미리 설정된 스케일 팩터(scale factor)를 곱셈 연산하여, 제1 곱셈 연산값 및 제2 곱셈 연산값을 생성할 수 있다. 여기서, 상기 스케일 팩터는 사용자에 의해 미리 설정(setting)될 수 있으며, 스케일링(scaling)을 하기 위한 계수로서 1, 1.5, 2, 2.5 등과 같은 양의 실수를 포함할 수 있다.
즉, 상기 초음파 컬러 도플러 영상 시스템은 상기 산출된 평균 편각에 대한 최대값(최대 평균 편각)에, 스케일 팩터를 곱셈 연산하여 제1 곱셈 연산값(스케일 팩터 X 최대 평균 편각)을 생성할 수 있다. 또한, 상기 초음파 컬러 도플러 영상 시스템은 상기 산출된 평균 크기에 대한 최대값(최대 평균 크기)에, 스케일 팩터를 곱셈 연산하여 제2 곱셈 연산값(스케일 팩터 X 최대 평균 크기)을 생성할 수 있다.
다음으로, 단계(S730)에서 상기 초음파 컬러 도플러 영상 시스템은 상기 생성된 제1 곱셈 연산값 및 상기 생성된 제2 곱셈 연산값을, 상기 평균 편각 및 상기 평균 크기 각각과 비교할 수 있다. 즉, 상기 초음파 컬러 도플러 영상 시스템은 상기 제1 곱셈 연산값과 상기 평균 편각을 비교하고, 상기 제2 곱셈 연산값과 상기 평균 크기를 비교할 수 있다.
다음으로, 단계(S740)에서 상기 초음파 컬러 도플러 영상 시스템은 상기 비교 결과에 따라, 상기 컬러 이미지의 각 픽셀을 마스킹(masking)할 수 있다.
예컨대, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우(제1 곱셈 연산값 < 평균 편각 & 제2 곱셈 연산값 > 평균 크기), 상기 초음파 컬러 도플러 영상 시스템은 상기 컬러 이미지의 해당 픽셀을 마스킹할 수 있다.
또 달리, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 크고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우(제1 곱셈 연산값 >평균 편각 & 제2 곱셈 연산값 > 평균 크기), 상기 초음파 컬러 도플러 영상 시스템은 상기 컬러 이미지의 해당 픽셀을 마스킹할 수 있다.
또 달리, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 작은 경우(제1 곱셈 연산값 < 평균 편각 & 제2 곱셈 연산값 < 평균 크기), 상기 초음파 컬러 도플러 영상 시스템은 상기 컬러 이미지의 해당 픽셀을 마스킹할 수 있다.
반면, 상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 크고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 작은 경우(제1 곱셈 연산값 > 평균 편각 & 제2 곱셈 연산값 < 평균 크기), 상기 초음파 컬러 도플러 영상 시스템은 상기 컬러 이미지의 해당 픽셀을 마스킹하지 않는다.
이와 같이, 상기 초음파 컬러 도플러 영상 시스템은 컬러 이미지 내 각 픽셀에 대해, 연산, 비교 등의 과정을 통해 마스킹 여부를 결정하고, 상기 결정에 따 라 해당 픽셀을 마스킹 처리할 수 있다. 따라서, 본 발명의 실시예에 따르면, 도플러 신호로부터 클러터 신호를 필터링함으로써, 컬러 도플러 영상으로부터 플래시 아티팩트 성분을 효과적으로 제거할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템을 설명하기 위해 도시한 블록도이다.
도 2 내지 도 4는 본 발명의 실시예에 따라 앙상블 I/Q 신호에서 서로 연속적인 두 신호의 편각과 크기를 구하는 일례를 도시한 도면이다.
도 5는 본 발명의 실시예에 따라 컬러 이미지 내 픽셀에 마스킹 처리를 하는 일례를 도시한 도면이다.
도 6은 본 발명의 실시예에 따라, 컬러 도플러 영상으로부터 플래시 아티팩트를 제거하기 전과 후를 도시한 예시도이다.
도 7은 본 발명의 실시예에 따른 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법을 설명하기 위해 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 초음파 컬러 도플러 영상 시스템
110: 연산부
120: 비교부
130: 마스킹부
140: 제어부

Claims (11)

  1. 초음파 영상 내 컬러 이미지의 각 픽셀에 대응하는 IQ 신호와 관련한 평균값을 산출하고, 상기 산출된 평균값을 이용하여 곱셈 연산값을 생성하는 연산부;
    상기 생성된 곱셈 연산값을 상기 평균값과 비교하는 비교부; 및
    상기 비교 결과에 따라 상기 픽셀을 마스킹하는 마스킹부
    를 포함하고,
    상기 연산부는,
    프레임 별로 상기 IQ 신호에 대한 평균값을 산출하고, 상기 산출된 평균값들의 스케일을 고려하여 기준 평균값을 선별하며, 상기 선별된 기준 평균값에 스케일 팩터를 곱셈 적용하여 상기 곱셈 연산값을 생성하는 초음파 컬러 도플러 영상 시스템.
  2. 제1항에 있어서,
    상기 연산부는,
    상기 평균값으로서 평균 편각 및 평균 크기를 산출하고, 상기 평균 편각과 관련하여 제1 곱셈 연산값과, 상기 평균 크기와 관련하여 제2 곱셈 연산값을 생성하는 초음파 컬러 도플러 영상 시스템.
  3. 제2항에 있어서,
    상기 비교부는,
    상기 마스킹의 대상이 되는 프레임에 대해 산출된 평균 편각과 상기 제1 곱셈 연산값을 비교하고, 상기 마스킹의 대상이 되는 프레임에 대해 산출된 평균 크기와 상기 제2 곱셈 연산값을 비교하는 초음파 컬러 도플러 영상 시스템.
  4. 제2항에 있어서,
    상기 마스킹의 대상이 되는 프레임에 대해,
    상기 마스킹부는,
    (1)상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우, (2)상기 비교 결과, 상기 제1 곱셈 연산값이 상기 평균 편각보다 크고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우, 또는 (3)상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 작은 경우 중 어느 하나일 경우, 상기 픽셀을 마스킹하는 초음파 컬러 도플러 영상 시스템.
  5. 제2항에 있어서,
    상기 연산부는,
    상기 IQ 신호, 및 상기 IQ 신호와 시간상으로 연속하는 다른 IQ 신호를 이용하여, 상기 평균 편각 및 상기 평균 크기를 산출하는 초음파 컬러 도플러 영상 시스템.
  6. 초음파 영상 내 컬러 이미지의 각 픽셀에 대응하는 IQ 신호와 관련한 프레임 별 평균값을 산출하는 단계;
    상기 산출된 평균값을 이용하여 곱셈 연산값을 생성하는 단계;
    상기 생성된 곱셈 연산값을 상기 평균값과 비교하는 단계; 및
    상기 비교 결과에 따라 상기 픽셀을 마스킹하는 단계
    를 포함하고,
    상기 곱셈 연산값을 생성하는 단계는,
    상기 산출된 평균값들의 스케일을 고려하여 기준 평균값을 선별하는 단계; 및
    상기 선별된 기준 평균값에 스케일 팩터를 곱셈 적용하여 상기 곱셈 연산값을 생성하는 단계
    를 포함하는 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법.
  7. 제6항에 있어서,
    상기 평균값으로서 평균 편각 및 평균 크기를 산출하는 경우,
    상기 곱셈 연산값을 생성하는 단계는,
    상기 평균 편각과 관련하여 제1 곱셈 연산값과, 상기 평균 크기와 관련하여 제2 곱셈 연산값을 생성하는 단계
    를 더 포함하는 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방 법.
  8. 제7항에 있어서,
    상기 곱셈 연산값을 상기 평균값과 비교하는 단계는,
    상기 마스킹의 대상이 되는 프레임에 대해 산출된 평균 편각과 상기 제1 곱셈 연산값을 비교하는 단계; 및
    상기 마스킹의 대상이 되는 프레임에 대해 산출된 평균 크기와 상기 제2 곱셈 연산값을 비교하는 단계
    를 포함하는 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법.
  9. 제7항에 있어서,
    상기 마스킹의 대상이 되는 프레임에 대해,
    상기 픽셀을 마스킹하는 단계는,
    (1)상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우, (2)상기 제1 곱셈 연산값이 상기 평균 편각보다 크고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 큰 경우, 또는 (3)상기 제1 곱셈 연산값이 상기 평균 편각보다 작고, 상기 제2 곱셈 연산값이 상기 평균 크기보다 작은 경우 중 어느 하나일 경우, 상기 픽셀을 마스킹하는 단계
    를 포함하는 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법.
  10. 제7항에 있어서,
    상기 평균값을 산출하는 단계는,
    상기 IQ 신호, 및 상기 IQ 신호와 시간상으로 연속하는 다른 IQ 신호를 이용하여, 상기 평균 편각 및 상기 평균 크기를 산출하는 단계
    를 포함하는 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
KR1020090118439A 2009-12-02 2009-12-02 초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법 KR101029407B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090118439A KR101029407B1 (ko) 2009-12-02 2009-12-02 초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법
EP10188449.2A EP2333579A3 (en) 2009-12-02 2010-10-22 Ultrasound color Doppler imaging system and method for filtering clutter signal of the same
JP2010267203A JP5697959B2 (ja) 2009-12-02 2010-11-30 超音波カラードップラー映像システムおよび前記超音波カラードップラー映像システムのクラッタ信号フィルタリング方法
US12/959,030 US8758250B2 (en) 2009-12-02 2010-12-02 Ultrasound color Doppler imaging system and method for filtering clutter signal of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090118439A KR101029407B1 (ko) 2009-12-02 2009-12-02 초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법

Publications (1)

Publication Number Publication Date
KR101029407B1 true KR101029407B1 (ko) 2011-04-14

Family

ID=43733955

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090118439A KR101029407B1 (ko) 2009-12-02 2009-12-02 초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법

Country Status (4)

Country Link
US (1) US8758250B2 (ko)
EP (1) EP2333579A3 (ko)
JP (1) JP5697959B2 (ko)
KR (1) KR101029407B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650314B2 (en) 2018-02-20 2023-05-16 Samsung Medison Co., Ltd. Method of displaying doppler image and ultrasound diagnosis apparatus for performing the method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658331B2 (en) * 2012-11-23 2017-05-23 Carestream Health, Inc. Synthetic aperture doppler ultrasound methods and apparatus
JP6911710B2 (ja) * 2017-10-31 2021-07-28 コニカミノルタ株式会社 超音波診断装置、超音波画像生成方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137243A (ja) 1999-07-09 2001-05-22 General Electric Co <Ge> スペクトル・ドプラ超音波イメージングにおける適応ウォール・フィルタ処理の方法及び装置
KR20100070232A (ko) * 2008-12-17 2010-06-25 주식회사 메디슨 클러터 신호를 필터링하는 초음파 시스템 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2742947B2 (ja) * 1989-04-28 1998-04-22 ジーイー横河メディカルシステム株式会社 超音波血流イメージング装置
JPH088920B2 (ja) * 1990-09-28 1996-01-31 富士通株式会社 血液散乱パワ用算出装置
AU4523796A (en) * 1994-12-30 1996-07-24 Acuson Corporation Imaging modality showing energy and velocity
US5588202A (en) * 1995-03-17 1996-12-31 Honeywell Inc. Method for manufacturing an overmolded sensor
US6511426B1 (en) * 1998-06-02 2003-01-28 Acuson Corporation Medical diagnostic ultrasound system and method for versatile processing
US6733455B2 (en) * 1999-08-20 2004-05-11 Zonare Medical Systems, Inc. System and method for adaptive clutter filtering in ultrasound color flow imaging
US6760486B1 (en) * 2000-03-28 2004-07-06 General Electric Company Flash artifact suppression in two-dimensional ultrasound imaging
US6312385B1 (en) * 2000-05-01 2001-11-06 Ge Medical Systems Global Technology Company, Llc Method and apparatus for automatic detection and sizing of cystic objects
US6606252B1 (en) * 2002-07-17 2003-08-12 Delphi Technologies, Inc. Fastener detection for encased electrical assembly
TWM250504U (en) * 2003-11-27 2004-11-11 Optimum Care Int Tech Inc Assembly structure for hiding electronic component
JP2005318920A (ja) * 2004-05-06 2005-11-17 Aloka Co Ltd 超音波診断装置
US7772974B2 (en) * 2005-02-28 2010-08-10 Cypak Ab Tamper evident seal system and method
EP2173253A2 (en) * 2007-07-26 2010-04-14 Koninklijke Philips Electronics N.V. Systems and methods for automated image selection in doppler ultrasound imaging systems
US8098910B2 (en) * 2007-09-11 2012-01-17 Siemens Medical Solutions Usa, Inc. Adaptive motion imaging in medical diagnostic ultrasound imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001137243A (ja) 1999-07-09 2001-05-22 General Electric Co <Ge> スペクトル・ドプラ超音波イメージングにおける適応ウォール・フィルタ処理の方法及び装置
KR20100070232A (ko) * 2008-12-17 2010-06-25 주식회사 메디슨 클러터 신호를 필터링하는 초음파 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11650314B2 (en) 2018-02-20 2023-05-16 Samsung Medison Co., Ltd. Method of displaying doppler image and ultrasound diagnosis apparatus for performing the method

Also Published As

Publication number Publication date
EP2333579A2 (en) 2011-06-15
JP5697959B2 (ja) 2015-04-08
US8758250B2 (en) 2014-06-24
US20110137174A1 (en) 2011-06-09
EP2333579A3 (en) 2013-06-19
JP2011115587A (ja) 2011-06-16

Similar Documents

Publication Publication Date Title
JP4757307B2 (ja) 超音波画像処理装置
KR101205107B1 (ko) 스페클 감소 필터의 구현 방법, 스페클 감소 필터링 장치 및 초음파 촬상 시스템
US9585636B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing method
US10687788B2 (en) Image processing apparatus, control method thereof, and ultrasound imaging apparatus
JP2004129773A (ja) 超音波イメージング装置及び超音波信号処理方法
CN105813572A (zh) 基于图像信息的图像复合
Long et al. Incoherent clutter suppression using lag-one coherence
JP2009153716A (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
KR101029407B1 (ko) 초음파 컬러 도플러 영상 시스템 및 상기 초음파 컬러 도플러 영상 시스템의 클러터 신호 필터링 방법
KR101001754B1 (ko) 초음파 시스템에서 초음파 영상의 프레임 보간 방법 및장치
Zheng et al. A hybrid contrast limited adaptive histogram equalization (clahe) for parathyroid ultrasonic image enhancement
JP5576703B2 (ja) カラードップラモード映像を処理する超音波システムおよび方法
CN108022220B (zh) 一种超声图像斑点噪声去除方法
US8801616B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing method
KR101120700B1 (ko) 컬러 도플러 모드 영상을 제공하는 초음파 시스템 및 방법
JP5269517B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
CN115363528A (zh) 一种用于环阵光声计算层析系统的仰角分辨率的重建方法
Perciano et al. Deconvolution of vibroacoustic images using a simulation model based on a three dimensional point spread function
Elnokrashy et al. Advanced framework for enhancing ultrasound images through an optimized hybrid search algorithm and a novel motion compounding processing chain
JP5072585B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
Steifer et al. Multiply and sum spatial compounding in plane wave imaging
Shen et al. Multi-window Local Variance Feature Detection Based Ultrasound Image Sharpening
JP5646670B2 (ja) 超音波診断装置、超音波画像処理装置及び超音波画像処理プログラム
Khodadadi Ultrasound elastography: Direct strain estimation
Yin et al. Scalable image enhancement for head CT scans with reduced iodine

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180403

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190327

Year of fee payment: 9