KR100971433B1 - 사이드 로브의 영향을 제거하는 방법 - Google Patents

사이드 로브의 영향을 제거하는 방법 Download PDF

Info

Publication number
KR100971433B1
KR100971433B1 KR1020080104676A KR20080104676A KR100971433B1 KR 100971433 B1 KR100971433 B1 KR 100971433B1 KR 1020080104676 A KR1020080104676 A KR 1020080104676A KR 20080104676 A KR20080104676 A KR 20080104676A KR 100971433 B1 KR100971433 B1 KR 100971433B1
Authority
KR
South Korea
Prior art keywords
transmission
autocorrelation
group
index
beams
Prior art date
Application number
KR1020080104676A
Other languages
English (en)
Other versions
KR20090042185A (ko
Inventor
배무호
함정호
Original Assignee
주식회사 메디슨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디슨 filed Critical 주식회사 메디슨
Publication of KR20090042185A publication Critical patent/KR20090042185A/ko
Application granted granted Critical
Publication of KR100971433B1 publication Critical patent/KR100971433B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8979Combined Doppler and pulse-echo imaging systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8997Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using synthetic aperture techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52025Details of receivers for pulse systems
    • G01S7/52026Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52023Details of receivers
    • G01S7/52025Details of receivers for pulse systems
    • G01S7/52026Extracting wanted echo signals
    • G01S7/52028Extracting wanted echo signals using digital techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046Techniques for image enhancement involving transmitter or receiver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085Details related to the ultrasound signal acquisition, e.g. scan sequences
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046Techniques for image enhancement involving transmitter or receiver
    • G01S7/52047Techniques for image enhancement involving transmitter or receiver for elimination of side lobes or of grating lobes; for increasing resolving power
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046Techniques for image enhancement involving transmitter or receiver
    • G01S7/52049Techniques for image enhancement involving transmitter or receiver using correction of medium-induced phase aberration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52077Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging with means for elimination of unwanted signals, e.g. noise or interference
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52085Details related to the ultrasound signal acquisition, e.g. scan sequences
    • G01S7/52095Details related to the ultrasound signal acquisition, e.g. scan sequences using multiline receive beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

초음파 합성 영상에서 움직임이 있는 대상체에 대해 움직임이 없는 경우와 같은 영상의 해상도를 유지할 수 있도록, 사이드 로브의 영향을 제거할 수 있는 방법이 개시된다. 본 발명에 의하면, 비순차적 방식으로 빔을 송신하고, 송신빔의 각 송신에 대응하여 수신되는 다수의 수신빔 각각에 대해 스캔라인 인덱스의 증가 방향의 데이터들과 감소 방향의 데이터들로 그룹핑한다. 그리고, 스캔라인 인덱스의 증가 및 감소 방향에 따른 그룹별로 자기상관을 실시하여, 증가 및 감소 그룹에 대한 자기상관값 각각에 대해 가중치를 적용하고 합산하여 사이드 로브의 영향을 제거한다.
사이드 로브, 메인 로브, 합성 영상, 자기상관, 초음파

Description

사이드 로브의 영향을 제거하는 방법{METHOD FOR REMOVING SIDE LOBE LEVEL EFFECT}
본 발명은 사이드 로브의 영향을 제거하는 방법에 관한 것으로, 더욱 상세하게는 초음파 합성 영상에서 움직임이 있는 경우에 해상도 및 신호대잡음비 저하를 보상하기 위하여, 적은 계산량으로 사이드 로브의 영향을 제거할 수 있는 방법에 관한 것이다.
초음파 진단 시스템에서 어레이 트랜스듀서(Array Transducer)를 이용하여 영상을 얻는 경우, 통상적으로는 하나의 송신과 이에 대한 수신을 통하여 영상을 얻는 것이다. 그러나 초음파 합성 영상에서는 스캔라인을 구성하기 위해 이미 수신된 주위의 스캔라인들이 관여된다. 즉, 초음파 합성 영상은 한 개의 스캔라인을 구성하기 위해 한 개의 송신빔 및 그에 대응되는 다수의 수신빔을 이용하여 초음파 영상을 구성한다. 예컨대, 도 1에서 n번째 스캔라인 Sn을 구성하기 위해 통상적으로는 Sn에 대한 송수신을 통해 영상을 얻지만, 초음파 합성 영상의 경우에는 n번째 스캔라인 Sn을 구성하기 위해 주위의 "Sn-m, Sn-(m-1), ..., Sn, ..., Sn+(m-1), Sn+(m), m〉 0"들을 조합하여 초음파 영상을 만들어낸다. 도 1에서, Ps는 3개의 스캔라인, 즉 Sn-1, Sn, Sn+1 각각의 파면이 중첩된 부분을 표시하고 있다. 이러한 이유로 화면상의 Ps에 해당하는 픽셀을 구할 때, 초음파 합성 영상의 경우에는 중첩된 부분을 고려하여 초음파 영상을 얻게 된다.
초음파 합성 영상은 대상체가 고정되어 있는 경우에는 해상도, 신호대잡음비가 좋지만, 대상체가 움직이는 경우에는 특히 축(Axial) 방향으로 움직이는 경우에 대상체가 실제적으로 목적하는 바와 같이 디스플레이되지 않는다. 즉, 초음파 합성 영상에서는 하나의 스캔라인을 만들어 내기 위해 시간차를 가지는 여러 수신빔들 또는 BiPBF(Bi-directional Pixel Based Focusing)와 같이 하나의 송신빔에 대응하는 다수의 수신빔들을 이용하므로, 인체 내 움직임이 발생할 경우 이에 대한 고려없이 빔포밍하게 되면 비간섭성 합(Sum)이 발생하게 된다. 이러한 결과로 해상도와 신호대잡음비가 저하된다.
초음파 합성 영상에서 발생하는 움직임(모션)을 추정하고 보상하기 위해서 여러 픽셀 기반 연구와 영역 기반 연구들이 진행되어 왔다. 움직임을 추정하기 위한 방법들로 상호상관법(Cross Correlation), 자기상관법(Auto Correlation), SAD(Sum of Absolute Difference) 등이 제안되어 왔고, 이러한 방법들로 추정된 결과를 가지고 움직임 보상이 이루어져 왔다. 특히, 픽셀 기반의 움직임 추정과 보상은 상당한 계산량을 필요로 한다.
본 발명의 목적은 초음파 합성 영상에서 움직임이 있는 경우에 해상도 및 신호대잡음비 저하를 보상하기 위하여, 적은 계산량으로 사이드 로브의 영향을 제거할 수 있는 방법을 제공하는 것이다.
특히, 본 발명에서는 RF 픽셀 단위(또는 샘플 단위) 기반의 움직임 추정과 보상을 위해, 사이드 로브로 인해 발생하는 불필요한 위상 요소들에 대한 제거와 이를 위한 송신 스캔라인의 조정이 필요하게 된다. 시뮬레이션은 BiPBF 기반에서 진행되었으며, 제안된 방법은 초음파 영상에서의 일반적 합성 방법에 대해서도 적용 가능하다.
본 발명의 특징에 따르면, 초음파 합성 영상에서 움직임이 있는 대상체에 대해 움직임이 없는 경우와 같은 영상의 해상도를 유지할 수 있도록, 사이드 로브의 영향을 제거할 수 있는 방법이 개시된다. 본 발명에 의하면, 비순차적 방식으로 빔을 송신하고, 송신빔의 각 송신에 대응하여 수신되는 다수의 수신빔 각각에 대해 스캔라인 인덱스의 증가 방향의 데이터들과 감소 방향의 데이터들로 그룹핑한다. 그리고, 스캔라인 인덱스의 증가 및 감소 방향에 따른 그룹별로 자기상관을 실시하여, 증가 및 감소 그룹에 대한 자기상관값 각각에 대해 가중치를 적용하고 합산하여 사이드 로브의 영향을 제거한다. 상기에서, 비순차적 방식은, 다수의 스캔라인을 설정하고, 스캔라인에 대해 순차적인 인덱스를 정의하여, 인덱스의 증가 및 감 소가 반복되는 비순차적인 방식으로 스캔라인에 대해서 송신빔의 순서를 설정하고, 설정된 송신 순서에 따라 송신빔을 송신하는 방식이다. 또한, 그룹핑은 송신 순서에 따라 송신된 송신빔의 각 송신에 대응되는 다수의 수신빔을 각각 얻어, 인덱스가 증가하는 방향의 증가 그룹과 인덱스가 감소하는 방향의 감소 그룹으로 그룹핑한다. 또한, 사이드 로브의 영향을 제거함에 있어서, 증가 그룹과 감소 그룹 각각의 수신빔들에 대하여 자기상관을 실시하여 그룹별로 수신빔들의 위상을 각각 구하고, 각 그룹별 위상에 가중치를 적용한 후 합산하여 평균 위상을 구한다.
본 발명에 의하면, 합성 영상에서 사이드 로브의 영향을 줄일 수 있는 장점이 있다. 이를 통해 관측하고자 하는 메인 로브의 움직임을 추정함으로써, 이를 기반으로 BiPBF 등 합성 영상 방법에서 발생하는 움직임 아티팩트(motion artifact)을 줄일 수 있는 이점이 있다. 또한, 적은 계산량으로 변위 추정이 가능한 자기상관 방법을 이용함으로써, 합성 영상에서의 움직임 보상에 대해서 실시간 처리가 가능한 이점이 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
일반적으로 초음파 합성 영상은 크게 수신 구경 합성 방법과 송신 구경 합성 방법으로 나눌 수 있다. 수신 구경 합성 방법은 상용화된 장비에 적용된 기술로 송 수신 집속 방법은 기존의 방법대로 수행하고 송수신 채널을 시간적으로 나누어 여러 번 수행하고 더해진 신호들을 메모리에 저장한 후 최종적으로 저장된 신호들을 더하여 구현한다. 송신 구경 합성 방법은 단지 하나의 송신 필드로부터의 신호를 이용하는 것이 아니라 다수의 송신 필드로부터의 신호를 이용하여 상대적으로 초음파 송신 파워를 크게 하는 효과를 나타낼 수 있다.
BiPBF 합성 영상 과정은 송신 구경 합성 방법의 하나로 모든 점들에 대해서 송수신 집속을 가능하게 하는 방법이다. 도 2b에서와 같이 송신 집속 점(Transmit Focal Point)을 가상 소스 엘리먼트(Virtual Source Element)로 보고 해석할 수 있다.
도 2a는 B 모드의 송신 필드를 나타내고 있는데, 빔이 어레이 트랜스듀서로부터 방사되어 집속 점에서 수렴하고 이후 제한된 각도를 가지고 구면파 형태로 발산하는 것을 볼 수 있다. 도 2b는 어레이 트랜스듀서의 하나의 가상 소스 엘리먼트가 집속 깊이(Focal Depth)에 위치해 있는 것으로 볼 수 있으며, 이를 기준으로 구면파가 앞뒤로 만들어지는 형태로 볼 수 있다. 도 2c는 영상 점(Imaging Point)에서 2개의 가상 소스들의 송신 필드들이 중첩됨을 보여주고 있는데, 구면 필드 대칭의 중심점에서 하나는 앞에서, 다른 하나는 뒤에서 나타남을 알 수 있다.
BiPBF 합성 영상 과정은 다른 합성 영상 과정들에 비해 모든 깊이에서 측 방향 해상도와 사이드 로브로 인한 잡음이 개선되고 송신 필드를 합성함으로 인해 송신 파워가 증가하고 영상의 신호대잡음비가 개선된다. 그러나, 대상체가 고정된 영상 또는 느리게 움직이는 영상에 대해서만 제한적인 장점을 가질 뿐, 움직임이 많 은 경우에는 오히려 해상도가 나빠지게 될 뿐만 아니라 심한 경우 대상체가 사라지는 경우까지 발생하게 된다. 특히, 측 방향의 움직임 보다 축 방향의 움직임이 영향을 많이 주게 된다. 즉, 도 3에서 고정된 대상체에 대해서는 BiPBF 합성 영상(3c)이 상대적으로 단일 송수신 방법(3a)보다 영상의 질이 좋지만, 움직이는 대상체에 대해서는 BiPBF 합성 영상(3d)이 상대적으로 단일 송수신 방법(3b)보다 영상의 질이 나쁜 결과를 보여주고 있다.
B(Brightness) 모드 영상에서 축 방향의 움직임을 알아내는 가장 간단하고 신뢰할만한 방법 중 하나는 2D-TDI(Tissue Doppler Image)이다. 2D-TDI는 한 스캔라인을 향해 일정 시간 간격으로 동일한 초음파를 송신해서 수신되는 초음파의 위상의 변화를 감지하여 간단하게 자기상관을 써서 평균 도플러 주파수를 찾는다.
SAI(Synthetic Aperture Imaging)의 경우도 반복 송신한다는 점에서 2D-TDI와 어느 정도 유사하다. 다른 점은 아주 동일한 음장이 매 번 송신되지 않고 조금씩 다른 음장이 송신된다는 점이다. 매 번 송신하는 음장은 각각의 픽셀의 입장에서는 매 번 파면의 각도가 거의 일정한 각도씩 회전하게 된다. 이러한 회전하는 송신 파면 때문에 매 번 송신으로부터 구성되는 저해상도 영상(LRI : Low Resolution Image)의 사이드 로브가 역시 따라 회전하게 된다. 예컨대, 도 4a 내지 4d는 인접한 몇 개의 송신으로부터의 LRI의 빔 패턴을 나타내는데, 메인 로브를 중심으로 시계방향으로 사이드 로브가 회전하는 것을 볼 수 있다. 즉, 도 4a 내지 도 4d에서는 합성에 관여할 스캔라인 개수가 N=17인 경우에 대해서 각 앙상블 인덱스(자기상관함수에 입력되는 데이터 순서)에 해당하는 저해상도 영상을 얻어 이에 대한 위상을 속도로 바꾼 후 인덱스에 따른 변화를 관측한 것이다. 앙상블 인덱스가 0부터 4씩 증가하여 13까지 각각의 위상변화를 보여주고 있는데(도 4a는 인덱스 1, 도 4b는 인덱스 5, 도 4c는 인덱스 9, 도 4d는 인덱스 13), 움직임이 없는 경우에도 사이드 로브가 메인 로브를 중심으로 시계방향으로 회전하는 것을 볼 수 있다. 이 영향의 결과, 독립된 대상체의 메인 로브의 경우는 거의 조직 도플러(Tissue Doppler)와 동일하게 축 방향의 움직임을 찾을 수 있지만, 그 대상체의 사이드 로브의 위치에서는 움직이지 않은 대상체의 주변에서 조차도 잘못된 움직임이 검출된다. 따라서, 본 발명에서는 이렇게 잘못 검출되는 현상을 보상하기 위해 송신빔의 새로운 송신 순서(예컨대, 송신빔의 비순차적 송신) 및 자기상관을 통한 위상 검출 방식을 제시하고자 한다.
이하에서는 고정된 대상체 및 움직이는 대상체에 대한 자기상관을 통해 저해상도 영상(LRI)의 사이드 로브 문제를 확인하고 사이드 로브 영향과 계산량의 한계를 극복하기 위해, 송신빔의 비순차적 송신과 자기상관을 이용하는 과정을 구체적으로 살펴보기로 한다. 이를 통해 상대적으로 적은 계산량을 가지고 픽셀 단위의 움직임을 추정 및 보상할 수 있게 하여, 움직임이 있는 대상체에 대해 움직임이 없는 경우와 같은 영상의 해상도를 유지할 수 있게 한다.
도 5는 본 발명의 실시예에 따라 초음파 진단 시스템의 구성을 개략적으로 도시한 도면이고, 도 6 및 도 7은 빔포머(30) 및 영상 움직임 추정/보상 제어부(31)의 구성을 각각 상세하게 도시한 도면이다.
송수신부(10)는 어레이 트랜스듀서(array transducer)를 구비하는 프로브(미 도시됨)를 포함한다. 프로브는 초음파 신호를 송수신하는 역할을 한다. 송수신부(10)는 초음파 송신부(미도시됨) 및 아날로그 수신부(미도시됨)를 더 구비한다. 어레이 트랜스듀서는 다수의(예를 들어, 128개) 엘리먼트로 구성되어 있고, 초음파 송신부로부터의 전압 인가에 응답하여 초음파 펄스를 출력한다. 초음파 송신부는 어레이 트랜스듀서에 전압 펄스를 인가하여 어레이 트랜스듀서 각각의 엘리먼트에서 초음파 펄스가 출력되도록 한다. 아날로그 수신부는 어레이 트랜스듀서 각각의 엘리먼트에서 출력된 초음파 펄스가 대상체에서 반사되어 돌아오는 반사 신호(에코 신호)를 수신하고, 수신된 반사 신호를 증폭, 에일리어싱(Aliasing) 현상 및 잡음 성분의 제거, 초음파가 신체 내부를 통과하면서 발생하는 감쇄의 보정 등의 처리를 거친다.
송수신 스위치(Transmit/Receive Switch)(20)는 초음파 신호를 동일한 어레이 트랜스듀서에서 송신과 수신을 하기 위한 스위치 역할을 한다. 송수신 스위치(20)는 초음파 송신부에서 방출되는 고압의 전력이 수신부에 영향을 주지 않도록 하는 역할을 한다. 즉, 트랜스듀서가 송신 및 수신을 번갈아가며 수행할 때, 초음파 송신부와 아날로그 수신부를 적절히 스위칭해준다.
빔포머(30)는 각각의 어레이 트랜스듀서 소자(Element)에 수신된 신호를 수신 집속한다. 구체적으로, 빔포머(30)는 이득 조절부(301)를 통해 아날로그 수신부에 수신된 수신신호의 이득을 보상하고, 아날로그-디지털 변환부(302)가 수신된 아날로그 신호를 디지털 신호로 변환시킨다. 또한, 지연부(303)에서 아날로그-디지털 변환부(302)로부터 수신된 신호들에 서로 지연량(Amount of Delay)(수신 집 속(focusing)을 하려는 위치에 따라 결정됨)을 적용하고, 영상 합성부(304)가 지연된 신호들을 합성함으로써 수신 집속을 수행한다. 합산부(305)는 채널별로 이득 조절, 아날로그-디지털 변환, 지연, 합성된 신호들 전체를 더한다.
에코 처리부(40)는 빔포머(30)에서 집속된 수신 스캔라인의 RF 신호를 기저대역신호로 변화시키고 직교 복조기(Quadrature Demodulator)를 사용해서 포락선(Envelope)을 검출하여 하나의 스캔라인에 대한 데이터를 얻는다.
스캔 변환부(50)는 스캔라인 상의 소정의 점으로부터 수신 집속된 데이터를 저장하고 이를 수평 스캔라인 표시 형식의 디스플레이부(60)에서 사용되는 데이터 형식으로 변환시킨다. 즉, 초음파 영상을 디스플레이하기에 적당한 형태로 변환해 준다.
디스플레이부(60)는 영상처리된 초음파 영상을 디스플레이한다.
이상에서는 초음파 진단 시스템에서 초음파 합성 영상을 위한 각 구성요소들의 기능에 대해서 살펴보았다.
본 발명의 초음파 진단 시스템은, 초음파 송신빔을 비순차적 방식으로 송신하고 이에 대응하여 수신되는 수신빔들의 그룹화된 데이터를 자기상관기(311~313)에 입력하여 움직임의 추정과 보상에 필요한 데이터(예컨대, 픽셀 또는 샘플 단위의 평균 위상 및 크기 데이터)를 생성한다. 일실시예에 따르면, 송수신 제어부(21)는 송수신 스위치(20)를 제어하여 송신빔을 비순차적 방식으로 송신하도록 제어하고(도 8 참조) 이에 대응하여 수신되는 수신빔들에 대해 스캔라인 증가 방향의 데이터들과 감소 방향의 데이터들을 그룹화하고, 스캔라인 증가 방향의 M, N개의 그 룹 데이터와 감소 방향의 L개의 그룹 데이터가 자기상관기(도 7의 311~313)에 각각 입력되도록 제어한다. 영상 움직임 추정/보상 제어부(31)의 자기상관기(311~313)는 입력된 스캔라인 인덱스가 증가하는 방향의 증가 그룹 데이터와 스캔라인 인덱스가 감소하는 방향의 감소 그룹 데이터를 가지고 자기상관함수를 이용하여 대상체의 움직임에 대한 위상 및 크기 데이터를 추출하고, 합산부(314)에서 스캔라인 인덱스가 증가하는 방향의 증가 그룹과 스캔라인 인덱스가 감소하는 방향의 감소 그룹의 위상 및 크기 데이터를 합산하여 제어부(315)로 전달하면, 제어부(315)는 증가/감소 그룹 데이터들에 대한 픽셀 또는 샘플 기반의 평균 위상 및 크기 데이터를 생성하여 움직임 추정 및 보상을 위한 데이터로 제공하게 된다. 예컨대, 평균 위상 데이터에 기초하여 평균 속도를 구하고, 구해진 평균 속도를 기반으로 움직임을 보상(예컨대, 픽셀마다 추정된 평균 속도를 기반으로 집속지연시간을 보상)하여 움직임이 있는 대상체에 대해 움직임이 없는 경우와 같은 영상의 해상도를 유지할 수 있게 한다.
상기에서 송신빔을 순차적으로 송신하지 않고 비순차적으로 송신한다 함은, 초음파 합성 영상을 위한 복수의 스캔라인(예컨대, 9개의 스캔라인)에 대해 순차적으로 정의된 인덱스(예컨대, 인덱스 0, 인덱스 1, 인덱스 2, ..., 인덱스 8)의 증가 및 감소가 반복되는 비순차적인 방식으로(예컨대, 인덱스 1, 인덱스 0, 인덱스 3, 인덱스 2, 인덱스 5, 인덱스 4...) 송신빔을 송신하는 것이다. 비순차적 방식에 의거한 송신 순서에 따라 송신빔을 송신하여 송신빔의 각 송신에 대응되는 복수의 수신빔을 각각 얻고, 스캔라인 인덱스가 증가하는 방향의 증가 그룹과 스캔라인 인 덱스가 감소하는 방향의 감소 그룹으로 그룹핑하여, 스캔라인 인덱스가 증가하는 방향의 증가 그룹과 스캔라인 인덱스가 감소하는 방향의 감소 그룹 각각의 수신빔들에 대하여 자기상관을 실시하여, 각각의 자기상관 결과값(예컨대, 픽셀 또는 샘플 단위의 위상 및 크기 데이터)에 가중치를 곱하고 합산한다. 이렇게 함으로써 사이드 로브의 영향을 제거할 수 있고, 이는 결국 초음파 합성 영상 과정에서 움직임이 있는 대상체에 대한 추정과 보상을 통하여(영상 움직임 추정/보상 제어부(31)의 제어부(315)에서 수행함), 움직임이 있는 대상체에 대해 움직임이 없는 경우와 같은 영상의 해상도를 유지시킬 수 있게 한다. 합산부(314)의 합산 결과값은 고정된 대상체에 대해서 0이 된다. 그러나, 이동되는 대상체에 대해서는 0이 되지 않는다. 이 값이 이동되는 대상체의 평균 위상 및 크기가 된다.
도 6에서 영상 움직임 추정/보상 제어부(31)는 빔 포머(30)의 외부에 존재하는 것을 가정하였지만, 빔 포머(30)의 내부에 존재할 수 있다. 본 발명은 영상 움직임 추정/보상 제어부(31)의 위치에 한정되지 않는다.
우선 LRI(Low Resolution Image)들을 통하여 움직임이 없는 고정된 영상과 움직임이 있는 영상에 대해서 메인 로브(main lobe)와 사이드 로브(side lobe)의 위상(phase) 상태를 확인해보고, 이후 각각에 대해서 송신빔이 비순차적으로 송신된 상태에서의 결과를 확인해 보기로 한다.
도 9는 BiPBF 합성 영상 과정을 나타낸 것으로, 하나의 합성된 스캔라인을 구하기 위해 N=9의 주위 스캔라인들이 관여함을 보여주고 있고, 스캔라인이 이동, 증가함에 따라 관여된 스캔라인들도 이에 맞추어 이동함을 나타낸다. 0~8은 자기상 관을 위한 인덱스 순서(Index Order)이고, N=9는 영상 합성에 관여할 스캔라인 개수로서 자기상관함수를 이용하여 평균 위상 및 크기를 구하기 위해 필요한 앙상블 개수(Ensemble Number)이다. 임의의 P0점에서는 파면들이 계속 진행하여 0~8(자기상관함수에 입력되는 데이터 순서, 즉 앙상블 인덱스)에 해당하는 파면들이 중첩되어 영상을 합성한다고 가정할 수 있다.
LRI는 개수가 N=9로 0~8까지 스캔라인을 증가하는데, 도 10에서와 같이 각각 0번째, 1번째…… 8번째를 모아서 합성 영상을 구성한 것이다. 위와 같은 경우에서는 4번째 영상이 전통적 단일 송수신 초점 영상으로 볼 수 있다. N=9인 경우, 9장의 LRI를 얻어서 이에 대한 위상의 변화를 볼 수 있다.
도 11a는 BiPBF RF 영상을 나타내고, 도 11b는 BiPBF 합성 영상 과정을 통해 고정된 대상체에 대해서 단순히 자기상관한 결과를 보여준다. 도 11b에서, 메인 로브는 위상의 변화가 없기 때문에 자기상관 결과에서 블랙홀(Black Hole) 형태로 보이지만, 고정된 대상체임에도 불구하고 사이드 로브의 영향 때문에 위상이 변화됨을 볼 수 있다. 또한, 메인 로브로 가까워질수록 위상의 변화가 작아지는 것을 볼 수 있다. 이는 대상체의 고정 또는 움직임에 관계없이 사이드 로브의 위상 변화의 영향들을 최소화해야 한다는 것을 의미하고, 단순히 사이드 로브의 영향을 고려하지 않고 자기상관하여 움직임을 찾을 경우 고정된 대상체도 움직임이 있는 형태의 결과를 보게 된다.
LRI를 통해서 도 12와 같은 결과가 나올 수 있다. 도 12는 전체적으로 RF 데 이터의 위상을 보여 주고, 이중 "12a"는 도 10의 0번째 LRI0의 위상이고, "12b"는 1번째 LRI1의 위상이며, "12c"는 8번째 LRI8의 위상을 보여 주고 있다. 도 12에서는 위상의 상대적 변화를 확인하기 용이하도록 스캔라인을 4개, 즉 L0~L3으로 표시하였다. L0는 같은 위치를 표시하기 위한 것이고, L1~L3까지는 사이드 로브 관련하여 변화된 위상을 보여주기 위한 것이다. 결과에서 보듯이 LRI0에서 LRI1로 가면서 위상이 변화하였음을 볼 수 있고, 위쪽으로 움직임(즉, 위상)이 많이 변화되었음을 알 수 있다. 즉, LRI8은 "LRI0 → LRI1 → LRI2 → LRI3.. → LRI8" 형태로 누적되어 있으므로, LRI0에 비해 위상 변화가 많이 이루어졌음을 알 수 있다. 사이드 로브 관련하여 변화된 결과와 더불어 메인 로브 부분은 위상 변화가 거의 없음을 볼 수 있다.
이상에서는 고정된 대상체에 대한 자기상관과 LRI 실험을 통해 사이드 로브에 대한 문제점과 영향들을 확인할 수 있었다. 이하에서는 본 발명의 실시예에 따라, 고정된 대상체에서 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들에 대해 자기상관을 실시하는 과정을 구체적으로 살펴보기로 한다.
송신빔을 비순차적인 방식으로 송신하는 이유는, 순차적으로 송신된 빔들에 대응하여 수신되는 빔들을 가지고 자기상관함수를 통해 픽셀 단위로 위상과 크기를 구하게 되면, 대상체가 움직이지 않은 경우에는 속도가 0m/s로 나와야 이상적이지만, 사이드 로브의 영향으로 속도 성분이 검출되기 때문이다. 즉, 고정된 대상체의 경우 송신빔이 순차적으로 증가하면 대상체의 메인 로브의 위상은 변하지 않지만, 사이드 로브의 위상은 x, y 공간에서 보면 일정한 패턴을 가지고 회전하게 된다. 이 결과를 가지고 보상을 할 경우에 보다 정확한 보상이 이루어지지 않기 때문에 이를 고려해야 한다. 따라서, 본 발명에서는 사이드 로브의 영향들을 최소화하기 위해 송신빔을 순차적으로 송신하지 않고 비순차적인 방ㅅ기으로 송신하고 이에 대응하여 수신되는 빔들을 가지고 자기상관한다.
도 8은 비순차적으로 송신된 송신빔의 형태를 보여주고 있는데, 스캔라인 인덱스가 증가하는 방향의 증가 그룹과 스캔라인 인덱스가 감소하는 방향의 감소 그룹으로 나누고, 증가 및 감소의 값은 증가가 +2, 감소 -1이 되는 바와 같이 서로 다른 것을 보여 주고 있다. 예를 들어, 송신을 인접한 스캔라인대로 1,2,3,4..처럼 순차적으로 송신하지 않고, 예컨대 2,1,4,3,6,5..의 순서로(비순차적 송신), 송신 스캔라인의 증감이 한 번은 -1, 다음은 +2의 차이가 나도록 송신한다. 이 경우, 첫 번째 송신과 두 번째 송신 각각에 대응하여 수신된 수신빔의 위상차를 구한 것을 a(1,3)으로 표현한다면, 정지한 대상체의 사이드 로브의 위치의 픽셀에서 a(2,4), a(3,5), a(8,10) 등을 써서 구한 평균 위상차를 B(즉, +2 차이가 나는 B 그룹), 또한 a(2,1), a(4,3), a(6,5) 등을 써서 구한 평균 위상차를 A(즉, -1 차이가 나는 A 그룹)로 그룹핑하여 표현할 수 있다. 정지한 대상체의 경우 각각의 평균 위상차를 A와 B로 표현하면, 근사적으로 하기의 [수학식 1]과 같이 된다.
B = -2A
Figure 112008073920610-pat00001
[수학식 2]로부터 매 픽셀마다 A와 B를 따로 구한 다음 각각의 가중치(예컨대, A 그룹에 대해서는 가중치 '1', B 그룹에 대해서는 '1/2')를 곱하고 그것들을 합하면 사이드 로브의 회전으로 인한 잘못된 움직임 검출을 상쇄시킬 수 있다. 아울러, 대상체가 실제로 움직이는 경우, 비록 송신 스캔라인의 순서가 바뀌어도 매 송신 때마다 실제로 대상체가 다가오거나 멀어지므로 이로 인한 위상의 회전은 하기의 [수학식 3]과 같이 되어 상기와 같이 가중치를 곱하고 이를 합하면 평균 위상을 구할 수 있고, 이를 바탕으로 일반 2D-TDI와 같이 대상체의 속도를 정확히 측정할 수 있다.
B = 2A
결과적으로, 사이드 로브 회전으로 인한 불필요한 위상 변화는 저감되고 메인 로브의 움직임에 대한 위상 변화는 관측되게 된다.
상기에서, 평균 위상을 구하는 방법은 자기상관법을 이용하게 된다.
자기상관 과정에 대해 보다 구체적으로 살펴보면 다음과 같다. 우선, 하기의 [수학식 4]와 같이 함수 z(t)와 z*(t-T)로부터 z1(t)를 정의할 수 있다.
z1(t) = z(t) × z*(t-T)
z*(t-T) = x(t-T) - jy(t-T)
z*(t-T)는 상기 [수학식 5]와 같이 함수 z(t)로부터 지연시간 T만큼 지연된 켤레복소값(Conjugate Complex)이다. 어떤 시간 동안에 대해서 z1(t)를 적분함으로써 자기상관함수의 결과를 하기의 [수학식 6]과 같이 얻을 수 있다.
Figure 112008073920610-pat00002
상기 [수학식 6]에서 n은 일정 방향의 송신 펄스의 연속된 개수로 일반적으로 초음파 영상에서 앙상블 개수로 표현된다.
하기의 [수학식 7]은 송신 스캔라인 배치가 +2씩 증가하는 부분에 대한 자기상관함수를 표현한 것이다. 하기의 [수학식 8] 및 [수학식 9]는 스캔라인 인덱스가 증가하는 방향의 증가 그룹의 크기 및 위상을 각각 나타낸 것이다. 이 과정은 영상 움직임 추정/보상 제어부(31)의 자기 상관기(311~313) 중 예컨대 자기 상관기(312)에서 스캔라인 인덱스가 증가하는 방향의 증가 그룹 데이터에 대해 수행한다.
Figure 112008073920610-pat00003
Figure 112008073920610-pat00004
Figure 112008073920610-pat00005
상기 [수학식 9]로부터 가중치를 주어 위상을 구하면 하기의 [수학식 10]과 같이 표현된다.
Figure 112008073920610-pat00006
송신 스캔라인 증가방향에 대한 최종적 결과식은 하기의 [수학식 11] 및 [수학식 12]와 같다.
Figure 112008073920610-pat00007
Figure 112008073920610-pat00008
한편, 송신 스캔라인 -1씩 감소하는 방향에 대한 식은 하기의 [수학식 13] 내지 [수학식 15]와 같다. [수학식 13]은 송신 스캔라인 배치가 -1씩 감소하는 부분에 대한 자기상관함수를 표현한 것이고, [수학식 14] 및 [수학식 15]는 스캔라인 인덱스가 감소하는 방향의 감소 그룹의 크기 및 위상을 각각 나타낸 것이다. 이 과정은 영상 움직임 추정/보상 제어부(31)의 자기 상관기(311~313) 중 예컨대 자기 상관기(311)에서 스캔라인 인덱스가 감소하는 방향의 감소 그룹 데이터에 대해 수행한다.
Figure 112008073920610-pat00009
Figure 112008073920610-pat00010
Figure 112008073920610-pat00011
결과적으로, 영상 움직임 추정/보상 제어부(31)의 자기 상관기(311~313)에서 스캔라인 인덱스가 증가하는 방향의 증가 그룹 데이터와 스캔라인 인덱스가 감소하는 방향의 감소 그룹 데이터에 대해 각각 수행한 송신 스캔라인의 +2 증가방향과 -1 감소방향의 결과는 합산부(314)에서 더해지고, 합산부(314)의 출력 복소값은 하기의 [수학식 16] 및 [수학식 17]과 같다. 이를 가지고 해당 픽셀 또는 샘플에 대한 크기를 구하면 하기의 [수학식 18]과 같이 나타낼 수 있고, 위상을 구하면 하기의 [수학식 19]와 같이 나타낼 수 있다.
Figure 112008073920610-pat00012
Figure 112008073920610-pat00013
Figure 112008073920610-pat00014
Figure 112008073920610-pat00015
상기 [수학식 18]은 픽셀 기반의 평균 크기를 나타내고, 상기 [수학식 19]는 픽셀 기반의 평균 위상을 나타낸다. 이를 이용하면,특정 영역 기반의 평균 위상을 구할 수도 있다. 이를 살펴보면, 우선 상기 [수학식 16]과 [수학식 17]의 결과를 공간상의 좌표로 하기의 [수학식 20]과 같이 표현할 수 있다.
Figure 112008073920610-pat00016
상기 [수학식 20]은 다시 [수학식 21] 및 [수학식 22]와 같이 표현하여 특정 영역 기반의 평균 크기 및 위상을 가지는 형태로 확장할 수 있다.
Figure 112008073920610-pat00017
Figure 112008073920610-pat00018
상기의 수학식에서 위상값과 더불어 크기를 측정하는 이유는, 움직임 추정 및 보상시 크기를 바탕으로 보상의 자유도를 높여주기 위함이다. 예컨대, 파워 임계치를 기준으로 할 때, 그 크기가 너무 작은 경우는 무시한다.
제안된 송신 스캔라인과 자기상관함수를 이용하여 추정된 평균 크기 및 위상을 가지고 움직임 보상을 해야 한다. 이를 위해 추정된 위상값을 대상체가 움직인 거리로 변환해야 하는데, 하기의 [수학식 23]은 대상체가 움직인 속도를 나타낸다. c는 음속, f0는 트랜스듀서의 중심주파수, 그리고 PRF는 송신이 반복되는 주파수를 나타낸다. 하기의 [수학식 24]는 변환된 대상체의 속도를 가지고 움직인 거리를 구한 것이다. 구해진 속도를 기반으로 픽셀마다의 집속시간을 보상해주면 된다.
Figure 112008073920610-pat00019
Figure 112008073920610-pat00020
상기에서 픽셀마다 추정된 속도를 기반으로 집속지연시간을 보상하는 방법의 예로서, 매 픽셀의 송신집속지연시간, 수신집속지연시간에 대해 각각 보상을 적용하거나, 기존에 움직임이 고려되지 않은 송신집속지연시간과 수신집속지연시간은 그대로 두고 추가로 움직임보상집속지연시간을 적용할 수도 있다.
제안된 방법에 따라, 고정된 대상체에 대해 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들에 대해 자기상관을 실시하면, 도 13a 및 도 13b와 같은 결과를 얻게 된다. 도 13a는 고정된 대상체에 대해 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들 중 스캔라인 인덱스가 감소하는 방향의 감소 그룹에 대해 자기상관을 실시한 결과이고, 도 13b는 고정된 대상체에서 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들 중 스캔라인 인덱스가 증가하는 방향의 증가 그룹에 대해 자기상관을 실시한 결과를 보여준다.
도 8과 같이 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들에 대해 자기상관을 실시하면 사이드 로브의 영향이 확연히 줄어들게 된다(도 14b 및 도 14c 참조). 도 14a에서, c0는 원래 메인 로브의 크기를 나타내고, 주위는 사이드 로브로 볼 수 있다. 이 경우 메인 로브는 사이드 로브의 영향을 받고 있다. 그러나, 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들에 대해 자기상관을 실시하면, 도 14b의 c1와 같이 메인 로브에 미치는 주위 사이드 로브의 영향이 줄어들게 됨을 알 수 있다. 아울러, 파워 임계치(Power Threshold) 전압을 조정하면, 도 14c의 c2와 같이 사이드 로브로 인한 영향을 보다 줄일 수 있다. 결과적으로, 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들 에 대해 자기상관을 실시하면, 대상체가 고정된 경우 사이드 로브의 영향을 줄여 줄 수 있다.
한편, 움직이는 대상체에 대해 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들에 대해 자기상관을 실시하면, 도 15a 내지 도 15c와 같은 결과를 얻게 된다. 도 15a는 움직이는 대상체에 대해 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들 중 스캔라인 인덱스가 감소하는 방향의 감소 그룹에 대해 자기상관을 실시한 결과이고, 도 15b는 움직이는 대상체에 대해 비순차적인 방식으로 빔을 송신하고 이에 대응하여 수신되는 빔들 중 스캔라인 인덱스가 증가하는 방향의 증가 그룹에 대해 자기상관을 실시한 결과를 보여준다. 도 15c에서 R0는 메인 로브의 이동으로 위상이 변화된 것을 보여준다.
마지막으로 본 발명과 종래 방식의 차이에 따른 시뮬레이션 결과를 살펴보기로 한다.
도 16a 및 도 16b는 대상체가 움직이지 않는 경우, 종래 방법과 본 발명에 따라 BiPBF(N=17)를 이용하여 구한 공간상의 속도 분포를 나타낸 것이다. 도 16a는 종래의 송신빔 순서(순차적 송신)를 가지는 BiPBF 합성 영상 방법으로 N=17인 경우에 대해서 자기상관함수를 이용하여 평균 위상을 구하고 이를 가지고 속도로 나타낸 결과이다. 사이드 로브 부분에서 불필요한 속도 성분이 검출되는 것을 알 수 있다. 낮은 신호에 대한 평균 속도를 무시하기 위해 파워 임계치는 0~1 사이로 노멀라이제이션(Normalization)된 결과 기준에서 적절하게(예컨대, 0.0002)로 조절하였다. 도 16b는 본 발명의 실시예에 따라 송신빔을 비순차적으로 송신하고 스캔라인 인덱스가 증가 및 감소하는 방향에 따라 가중치를 두어 평균 속도를 구한 결과이다.
도 16a 및 도 16b를 비교하면, 본 발명은 종래 방법에 비교하여 사이드 로브로 인한 위상, 또는 속도 변화가 범위가 작고 공간상에서도 작은 면적에 걸쳐 있음을 보여주어, 종래의 방법보다 사이드 로브로 인한 영향을 상당히 줄일 수 있다(사이드 로브의 회전에 의한 속도 검출 오차가 대폭 감소됨). 아울러, 파워 임계치를 적절히 조절하면 사이드 로브로 인한 속도 영향을 좀더 줄일 수 있다.
도 17a 및 도 17b는 대상체가 움직이는 경우, 종래 방법과 본 발명에 따라 BiPBF(N=17)를 이용하여 구한 공간상의 속도 분포를 나타낸 것이다. 대상체는 트랜스듀서 중심에서 깊이 60mm 지점부터 60mm/s 속도로 축방향으로 깊이 0mm 지점을 향하여 움직이며, PRF는 4kHz로 정의하였다. 단, RF 데이터의 경우는 샘플링 클럭을 61.6MHz를 사용하였다.
도 17a는 종래 방법으로, 도 17b는 본 발명에 따라 구한 평균 위상을 가지고 속도 성분을 구한 것이다. 도 17b의 본 발명이 도 17a의 종래 방법보다 속도 분포가 60mm/s를 중심으로 분포되어 있음을 알 수 있다. 파워 임계치는 0~1 사이로 노멀라이제이션(Normalization)된 결과 기준에서 적절하게(예컨대, 0.0002) 조절하였다.
이상적으로 60mm/s 속도 1개만 존재하지만, 종래 방법의 경우 속도가 +120mm/s 이상까지 검출되는 것을 알 수 있다. 본 발명은 60mm/s에 가깝게 따라가는 것을 알 수 있고, 더불어 픽셀 단위로 메인 로브의 움직임을 따라감을 알 수 있 다. 마찬가지로 60mm/s 속도 1개만 존재해야 하지만 일부 남아있는 사이드 로브 속도 성분으로 인해 어느 정도 다른 속도들이 있음을 알 수 있고 표준편차가 종래 방법에 비해 상대적으로 작아지게 된다.
본 명세서에서는 본 발명이 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 당업자가 이해할 수 있는 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
도 1은 일반적인 합성 영상 생성 과정을 보여주는 설명도.
도 2a 내지 2c는 초음파 방사 예를 보여주는 설명도.
도 3은 고정된 대상체와 움직이는 대상체에 대한 합성 영상을 비교한 예시도.
도 4a 내지 도 4d는 N=17인 경우 LRI 송신빔 패턴을 보여주는 설명도.
도 5는 본 발명의 실시예에 따라 조직 도플러 영상 생성 장치가 적용되는 초음파 진단 시스템의 구성을 개략적으로 도시한 도면.
도 6은 도 5의 빔포머의 구성 및 에코 처리부의 구성을 상세하게 도시한 도면.
도 7은 도 5의 영상 움직임 추정/보상 제어부의 구성을 상세하게 도시한 도면.
도 8은 본 발명의 실시예에 따라 송신빔의 송신 순서를 보여주는 설명도.
도 9는 BiPBF 합성 영상 과정을 보여주는 설명도.
도 10은 LRI와 스캔라인의 관계를 보여주는 설명도.
도 11a는 BiPBF RF 영상을 보여주는 설명도.
도 11b는 BiPBF 합성 영상 과정을 통해 고정된 대상체에 대해 자기상관을 실시한 결과를 보여주는 설명도.
도 12는 RF 데이터의 위상 변화를 보여주는 설명도.
도 13a 및 도 13b는 본 발명의 실시예에 따라 고정된 대상체에 대해 송신빔 을 비순차적으로 송신한 후 자기상관을 실시한 결과를 보여주는 설명도.
도 14a는 고정된 대상체에 대해 자기상관을 실시한 결과를 보여주는 설명도.
도 14b 및 도 14c는 본 발명의 실시예에 따라 고정된 대상체에 대해 송신빔을 비순차적으로 송신한 후 자기상관을 실시한 결과를 보여주는 설명도.
도 15a 내지 도 15c는 본 발명의 실시예에 따라 움직이는 대상체에 대해 송신빔을 비순차적으로 송신한 후 자기상관을 실시한 결과를 보여주는 설명도.
도 16a는 종래의 방법에 따라 고정된 대상체에서 BiPBF(N=17)를 이용하여 구한 공간상의 속도분포를 보여주는 설명도.
도 16b는 본 발명의 실시예에 따라 고정된 대상체에서 BiPBF(N=17)를 이용하여 구한 공간상의 속도분포를 보여주는 설명도.
도 17a는 종래의 방법에 따라 움직이는 대상체에서 BiPBF(N=17)를 이용하여 구한 공간상의 속도분포를 보여주는 설명도.
도 17b는 본 발명의 실시예에 따라 움직이는 대상체에서 BiPBF(N=17)를 이용하여 구한 공간상의 속도분포를 보여주는 설명도.
* 도면의 주요 부분에 대한 부호의 설명
10 : 송수신부 20 : 송수신 스위치
21 : 송수신 제어부 30 : 빔포머
31 : 영상 움직임 추정/보상 제어부 40 : 에코 처리부
50 : 스캔 변환부 60 : 디스플레이부

Claims (8)

  1. 초음파 합성 영상에서 사이드 로브의 영향을 제거하는 방법으로서,
    (a) 비순차적 방식으로 빔을 송신하는 단계;
    (b) 송신빔의 각 송신에 대응하여 수신되는 다수의 수신빔 각각에 대해 스캔라인 인덱스의 증가 방향의 데이터들과 감소 방향의 데이터들로 그룹핑하는 단계; 및
    (c) 상기 스캔라인 인덱스의 증가 및 감소 방향에 따른 그룹별로 자기상관을 실시하여, 증가 및 감소 그룹에 대한 자기상관값 각각에 대해 가중치를 적용하고 합산하여 사이드 로브의 영향을 제거하는 단계를 포함하는 사이드 로브의 영향을 제거하는 방법.
  2. 제1항에 있어서,
    상기 비순차적 방식은, 다수의 스캔라인을 설정하고, 상기 스캔라인에 대해 순차적인 인덱스를 정의하여, 인덱스의 증가 및 감소가 반복되는 비순차적인 방식으로 상기 스캔라인에 대해서 송신빔의 순서를 설정하고, 설정된 송신 순서에 따라 상기 송신빔을 송신하는 방식인, 사이드 로브의 영향을 제거하는 방법.
  3. 제2항에 있어서,
    상기 (b) 단계는, 상기 송신 순서에 따라 송신된 송신빔의 각 송신에 대응되 는 다수의 수신빔을 각각 얻어, 상기 인덱스가 증가하는 방향의 증가 그룹과 상기 인덱스가 감소하는 방향의 감소 그룹으로 그룹핑하고,
    상기 (c) 단계는, 상기 증가 그룹과 감소 그룹 각각의 수신빔들에 대하여 자기상관을 실시하여 그룹별로 수신빔들의 위상을 각각 구하고, 각 그룹별 위상에 가중치를 적용한 후 합산하여 평균 위상을 구하는, 사이드 로브의 영향을 제거하는 방법.
  4. 제3항에 있어서,
    상기 자기상관은, 픽셀 단위 또는 소정 영역 기반으로 이루어지는, 사이드 로브의 영향을 제거하는 방법.
  5. 제3항에 있어서,
    상기 수신빔들은, 상기 송신빔의 송신에 대응하여 수신된 에코 신호를 샘플링하여 얻는, 사이드 로브의 영향을 제거하는 방법.
  6. 제5항에 있어서,
    상기 자기상관은, 샘플 단위로 이루어지는, 사이드 로브의 영향을 제거하는 방법.
  7. 제3항에 있어서,
    상기 스캔라인 인덱스의 증가는 +2, 감소는 -1인, 사이드 로브의 영향을 제거하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 초음파 합성 영상은, BiPBF(Bi-directional Pixel Based Focusing) 합성 영상인, 사이드 로브의 영향을 제거하는 방법.
KR1020080104676A 2007-10-25 2008-10-24 사이드 로브의 영향을 제거하는 방법 KR100971433B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20070107947 2007-10-25
KR1020070107947 2007-10-25
KR1020080095110A KR20090042152A (ko) 2007-10-25 2008-09-29 사이드 로브 레벨의 영향을 제거하는 방법
KR1020080095110 2008-09-29

Publications (2)

Publication Number Publication Date
KR20090042185A KR20090042185A (ko) 2009-04-29
KR100971433B1 true KR100971433B1 (ko) 2010-07-21

Family

ID=40765050

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020080095110A KR20090042152A (ko) 2007-10-25 2008-09-29 사이드 로브 레벨의 영향을 제거하는 방법
KR1020080104676A KR100971433B1 (ko) 2007-10-25 2008-10-24 사이드 로브의 영향을 제거하는 방법
KR20080104663A KR101511083B1 (ko) 2007-10-25 2008-10-24 합성 영상을 이용한 조직 도플러 영상 생성 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020080095110A KR20090042152A (ko) 2007-10-25 2008-09-29 사이드 로브 레벨의 영향을 제거하는 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR20080104663A KR101511083B1 (ko) 2007-10-25 2008-10-24 합성 영상을 이용한 조직 도플러 영상 생성 장치 및 방법

Country Status (5)

Country Link
US (1) US9360552B2 (ko)
EP (1) EP2203120B8 (ko)
JP (1) JP5470260B2 (ko)
KR (3) KR20090042152A (ko)
WO (1) WO2009054706A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093413A1 (ko) * 2014-12-10 2016-06-16 주식회사 웨이전스 불균일 산란체 영상 획득을 위한 초음파 영상 처리장치 및 방법
KR101643304B1 (ko) 2015-08-20 2016-07-28 대진대학교 산학협력단 비선형 필터를 이용한 초음파 영상의 부엽 저감장치
KR102115446B1 (ko) 2019-01-04 2020-05-27 대진대학교 산학협력단 의료용 초음파 영상에서 질량중심 위치의 가중치 연산을 이용하여 부엽을 억제하는 방법
KR20230163067A (ko) 2022-05-23 2023-11-30 대진대학교 산학협력단 의료용 초음파 영상 시스템에서 부엽과 격자엽을 억제하는 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005051781A1 (de) * 2005-10-28 2007-05-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zerstörungsfreien Untersuchung eines Prüfkörpers mittels Ultraschall
EP2053420B1 (en) * 2007-10-25 2012-12-05 Samsung Medison Co., Ltd. Method of removing an effect of side lobes in forming an ultrasound synthetic image by motion estimation and compensation
KR101798081B1 (ko) 2011-04-20 2017-11-15 삼성전자주식회사 진단영상을 생성하는 방법, 이를 수행하는 장치, 진단시스템 및 의료영상시스템
KR101792589B1 (ko) 2011-04-26 2017-11-01 삼성전자주식회사 빔포머, 진단시스템, 의료영상시스템 및 진단영상을 표시하는 방법
KR101356616B1 (ko) * 2012-02-17 2014-02-04 알피니언메디칼시스템 주식회사 가중치 보간 방법 및 이를 이용한 초음파 진단장치
JP6285241B2 (ja) * 2014-03-26 2018-02-28 富士フイルム株式会社 音響波処理装置、音響波処理装置の信号処理方法およびプログラム
KR101569673B1 (ko) * 2014-10-14 2015-11-18 대진대학교 산학협력단 초음파 영상의 부엽 저감 방법
KR102387708B1 (ko) 2015-01-30 2022-04-19 삼성메디슨 주식회사 향상된 hprf 도플러 영상을 위한 가이드를 제공하는 방법 및 초음파 시스템
JP6665614B2 (ja) 2016-03-18 2020-03-13 コニカミノルタ株式会社 超音波信号処理装置、超音波信号処理方法、及び、超音波診断装置
KR101809358B1 (ko) * 2016-03-30 2017-12-14 서강대학교산학협력단 새로운 평면파 합성을 이용한 초음파 도플러 영상 장치 및 그 제어 방법
US10571554B2 (en) * 2016-11-29 2020-02-25 Siemens Medical Solutions Usa, Inc. Adaptive post beamformation synthetic aperture for ultrasound imaging
KR101858137B1 (ko) * 2017-03-08 2018-05-16 대진대학교 산학협력단 컴퓨터 시뮬레이션을 이용한 초음파 영상의 부엽 억제 필터 평가 방법
US11647989B2 (en) * 2018-09-11 2023-05-16 Philips Image Guided Therapy Corporation Devices, systems, and methods for multimodal ultrasound imaging

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09201361A (ja) * 1995-11-21 1997-08-05 Toshiba Corp 超音波診断装置
JPH10127634A (ja) 1996-11-06 1998-05-19 Aloka Co Ltd 超音波診断装置
JPH11342128A (ja) 1998-05-18 1999-12-14 Atl Ultrasound Inc 高フレ―ム速度表示超音波ドップラ―画像処理装置
US6352508B1 (en) 1998-11-20 2002-03-05 Acuson Corporation Transducer motion compensation in medical diagnostic ultrasound extended field of view imaging

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2772048B2 (ja) 1988-07-13 1998-07-02 株式会社東芝 超音波診断装置
US4972838A (en) * 1988-07-13 1990-11-27 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus
JPH078492A (ja) 1993-06-28 1995-01-13 Toshiba Corp 超音波診断装置
JP3462584B2 (ja) * 1994-02-14 2003-11-05 フクダ電子株式会社 超音波診断装置
JP4350771B2 (ja) 1994-07-22 2009-10-21 株式会社東芝 超音波診断装置
US5438994A (en) * 1994-10-07 1995-08-08 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic image scanning
US5738098A (en) * 1995-07-21 1998-04-14 Hewlett-Packard Company Multi-focus ultrasound lens
KR100232257B1 (ko) 1997-09-04 1999-12-01 이민화 클러터신호의 과도응답을 최소로 하는 초음파칼라도플러영상시스템
JPH11164833A (ja) * 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置
US6193662B1 (en) * 1999-02-17 2001-02-27 Atl Ultrasound High frame rate pulse inversion harmonic ultrasonic diagnostic imaging system
KR100352639B1 (ko) * 1999-05-06 2002-09-18 주식회사 메디슨 칼라 도플러 영상화 시스템을 위한 칼라 영상 표시방법 및 장치
US6352507B1 (en) * 1999-08-23 2002-03-05 G.E. Vingmed Ultrasound As Method and apparatus for providing real-time calculation and display of tissue deformation in ultrasound imaging
US6186950B1 (en) * 1999-11-04 2001-02-13 Atl Ultrasound Ultrasonic pulse inversion harmonic separation with reduced motional effects
US6514206B2 (en) * 2001-03-09 2003-02-04 Koninklijke Philips Electronics, N.V. Simultaneous fundamental and harmonic ultrasonic imaging
US20080139938A1 (en) 2002-06-07 2008-06-12 Fuxing Yang System and method to identify and measure organ wall boundaries
JP4011463B2 (ja) * 2002-11-07 2007-11-21 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP4504004B2 (ja) 2003-12-17 2010-07-14 株式会社東芝 超音波診断装置
JP2006223736A (ja) 2005-02-21 2006-08-31 Toshiba Corp 超音波診断装置
US20080288218A1 (en) 2005-10-27 2008-11-20 Koninklijke Philips Electronics, N.V. Using Tissue Acceleration to Create Better Dti Waveforms (Doppler Tissue Imaging) for Crt (Cardiac Resynchronization Therapy)
US7965413B2 (en) * 2007-03-29 2011-06-21 Xerox Corporation Method and system for detection of binary halftone frequencies

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09201361A (ja) * 1995-11-21 1997-08-05 Toshiba Corp 超音波診断装置
JPH10127634A (ja) 1996-11-06 1998-05-19 Aloka Co Ltd 超音波診断装置
JPH11342128A (ja) 1998-05-18 1999-12-14 Atl Ultrasound Inc 高フレ―ム速度表示超音波ドップラ―画像処理装置
US6352508B1 (en) 1998-11-20 2002-03-05 Acuson Corporation Transducer motion compensation in medical diagnostic ultrasound extended field of view imaging

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093413A1 (ko) * 2014-12-10 2016-06-16 주식회사 웨이전스 불균일 산란체 영상 획득을 위한 초음파 영상 처리장치 및 방법
KR101631466B1 (ko) * 2014-12-10 2016-06-27 대진대학교 산학협력단 불균일 산란체 영상 획득을 위한 초음파 영상 처리장치 및 방법
KR101643304B1 (ko) 2015-08-20 2016-07-28 대진대학교 산학협력단 비선형 필터를 이용한 초음파 영상의 부엽 저감장치
KR102115446B1 (ko) 2019-01-04 2020-05-27 대진대학교 산학협력단 의료용 초음파 영상에서 질량중심 위치의 가중치 연산을 이용하여 부엽을 억제하는 방법
KR20230163067A (ko) 2022-05-23 2023-11-30 대진대학교 산학협력단 의료용 초음파 영상 시스템에서 부엽과 격자엽을 억제하는 방법

Also Published As

Publication number Publication date
KR101511083B1 (ko) 2015-04-10
WO2009054706A2 (en) 2009-04-30
EP2203120A2 (en) 2010-07-07
JP5470260B2 (ja) 2014-04-16
WO2009054706A3 (en) 2009-07-23
US20100234729A1 (en) 2010-09-16
US9360552B2 (en) 2016-06-07
KR20090042152A (ko) 2009-04-29
EP2203120B8 (en) 2013-09-04
EP2203120A4 (en) 2012-06-20
KR20090042183A (ko) 2009-04-29
EP2203120B1 (en) 2013-07-24
KR20090042185A (ko) 2009-04-29
JP2011500261A (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
KR100971433B1 (ko) 사이드 로브의 영향을 제거하는 방법
JP5394694B2 (ja) サイドローブの影響を除去する方法
US20130258805A1 (en) Methods and systems for producing compounded ultrasound images
EP1004894A2 (en) Method and apparatus for high-frame-rate high-resolution ultrasonic image data acquisition
KR101364527B1 (ko) 대상체의 움직임 프로파일 정보를 제공하는 초음파 시스템 및 방법
JP2015077393A (ja) 超音波測定装置、超音波画像装置、及び超音波測定方法
US20170188998A1 (en) Providing user interface in ultrasound system
JP5503131B2 (ja) 映像動き推定及び補償装置とその方法
KR101935514B1 (ko) 탄성 이미징에서의 주파수 컴파운딩
US9474510B2 (en) Ultrasound and system for forming an ultrasound image
KR100971425B1 (ko) 영상 움직임 추정 및 보상 장치와 그 방법
US9232932B2 (en) Providing motion mode image in ultrasound system
KR101348771B1 (ko) 벡터 도플러를 이용하여 파티클의 움직임을 추정하는 초음파 시스템 및 방법
KR101348770B1 (ko) 도플러 스펙트럼 영상의 합성 영상을 제공하는 초음파 시스템 및 방법
KR102245671B1 (ko) 음향 방사력-기반 초음파 이미징에서의 적응식 클러터 필터링
US20130165792A1 (en) Forming vector information based on vector doppler in ultrasound system
JP2008534106A (ja) 適応性の並列アーチファクト低減
JP2011212440A (ja) 超音波信号取得及び処理の方法及び装置
KR20130075472A (ko) 벡터 도플러를 이용하여 대상체의 움직임 정보를 제공하는 초음파 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130521

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160704

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 10