KR101182891B1 - 2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법 - Google Patents

2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법 Download PDF

Info

Publication number
KR101182891B1
KR101182891B1 KR1020090121590A KR20090121590A KR101182891B1 KR 101182891 B1 KR101182891 B1 KR 101182891B1 KR 1020090121590 A KR1020090121590 A KR 1020090121590A KR 20090121590 A KR20090121590 A KR 20090121590A KR 101182891 B1 KR101182891 B1 KR 101182891B1
Authority
KR
South Korea
Prior art keywords
ultrasound
image
data
geometry
ultrasound image
Prior art date
Application number
KR1020090121590A
Other languages
English (en)
Other versions
KR20110064842A (ko
Inventor
이석진
김정
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020090121590A priority Critical patent/KR101182891B1/ko
Priority to EP10192103.9A priority patent/EP2333724A3/en
Priority to JP2010270751A priority patent/JP2011120901A/ja
Priority to US12/962,289 priority patent/US8956298B2/en
Publication of KR20110064842A publication Critical patent/KR20110064842A/ko
Application granted granted Critical
Publication of KR101182891B1 publication Critical patent/KR101182891B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • A61B8/14Echo-tomography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/89Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993Three dimensional imaging systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52074Composite displays, e.g. split-screen displays; Combination of multiple images or of images and alphanumeric tabular information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/5206Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52063Sector scan display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/52071Multicolour displays; using colour coding; Optimising colour or information content in displays, e.g. parametric imaging

Abstract

2차원 초음파 영상과 3차원 초음파 영상을 합성한 합성영상을 제공하는 초음파 시스템 및 방법이 개시된다. 본 발명에 따른 초음파 시스템은, 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 초음파 데이터 - 초음파 데이터는 2차원 초음파 영상을 얻기 위한 제1 초음파 데이터 및 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 포함함 - 를 획득하도록 동작하는 초음파 데이터 획득부; 사용자의 제1 입력정보 - 제1 입력정보는 관심영역의 설정정보를 포함함 - 를 수신하도록 동작하는 사용자 입력부; 및 초음파 데이터 획득부 및 사용자 입력부에 연결되어, 제1 입력정보에 따라 복수의 제2 초음파 데이터를 이용하여 볼륨 데이터를 형성하고, 볼륨 데이터에 대해 제1 초음파 데이터의 지오메트리(geometry)에 따라 제1 초음파 데이터 및 볼륨 데이터를 이용하여 2차원 초음파 영상 및 3차원 초음파 영상을 형성하고, 2차원 초음파 영상 및 3차원 초음파 영상을 합성하여 합성영상을 형성하도록 동작하는 프로세서를 포함한다.
초음파, 태아, 뇌, 볼륨 데이터, 액셜 뷰, 코로널 뷰, 새지털 뷰

Description

2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법{ULTRASOUND SYSTEM AND METHOD FOR PROVIDING COMPOUNDING IMAGE OF TWO-DIMENSIONAL ULTRASOUND IMAGE AND THREE-DIMENSIONAL ULTRASOUND IMAGE}
본 발명은 초음파 시스템에 관한 것으로, 특히 2차원 초음파 영상과 3차원 초음파 영상을 합성한 합성영상을 제공하는 초음파 시스템 및 방법에 관한 것이다.
초음파 시스템은 무침습 및 비파괴 특성을 가지고 있어, 대상체 내부의 정보를 얻기 위한 의료 분야에서 널리 이용되고 있다. 초음파 시스템은 대상체를 직접 절개하여 관찰하는 외과 수술의 필요 없이, 대상체 내부의 고해상도 영상을 실시간으로 의사에게 제공할 수 있으므로 의료 분야에서 매우 중요하게 사용되고 있다.
초음파 시스템은 2차원 초음파 영상에서 제공할 수 없었던 공간정보, 해부학적 형태 등과 같은 임상 정보를 포함하는 3차원 초음파 영상을 제공하고 있다. 즉, 초음파 시스템은 초음파 신호를 대상체에 송신하고 대상체로부터 반사되는 초음파 신호(즉, 초음파 에코신호)를 수신하여 2차원 초음파 영상을 형성 및 디스플레이한다. 초음파 시스템은 사용자의 입력정보 - 입력정보는 3차원 초음파 영상의 형성 요청정보 및 관심영역의 설정정보를 포함함 - 에 따라 초음파 신호를 대상체에 송 신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 관심영역에 해당하는 3차원 초음파 영상을 형성 및 디스플레이한다.
종래에는 2차원 초음파 영상에서 관심영역에 해당하는 영역만이 3차원 초음파 영상으로 제공되었다. 이로 인해, 3차원 초음파 영상에 대한 2차원 초음파 영상의 상관관계가 파악되기 어려울 뿐만 아니라, 3차원 초음파 영상에서의 대상체가 2차원 초음파 영상의 어느 부분에 해당하는지 파악되기 어려운 문제점이 있다.
본 발명은 2차원 초음파 영상과 3차원 초음파 영상을 합성한 합성영상을 제공하는 초음파 시스템 및 방법을 제공한다.
본 발명에 따른 초음파 시스템은, 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 초음파 데이터 - 상기 초음파 데이터는 2차원 초음파 영상을 얻기 위한 제1 초음파 데이터 및 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 포함함 - 를 획득하도록 동작하는 초음파 데이터 획득부; 사용자의 제1 입력정보 - 상기 제1 입력정보는 관심영역의 설정정보를 포함함 - 를 수신하도록 동작하는 사용자 입력부; 및 상기 초음파 데이터 획득부 및 상기 사용자 입력부에 연결되어, 상기 제1 입력정보에 따라 상기 복수의 제2 초음파 데이터를 이용하여 볼륨 데이터를 형성하고, 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리(geometry)에 따라 상기 제1 초음파 데이터 및 상 기 볼륨 데이터를 이용하여 2차원 초음파 영상 및 3차원 초음파 영상을 형성하고, 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 합성영상을 형성하도록 동작하는 프로세서를 포함한다.
또한 본 발명에 따른 합성영상 제공 방법으로서, a) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 초음파 데이터를 획득하는 단계; b) 사용자의 제1 입력정보 - 상기 제1 입력정보는 관심영역의 설정정보를 포함함 - 를 수신하는 단계; c) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 획득하는 단계; d) 상기 제1 입력정보에 따라 상기 복수의 제2 초음파 데이터를 이용하여 볼륨 데이터 - 상기 볼륨 데이터는 복수의 프레임을 포함함 - 를 형성하는 단계; e) 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리(geometry)에 따라 상기 제1 초음파 데이터 및 상기 볼륨 데이터를 이용하여 2차원 초음파 영상 및 3차원 초음파 영상을 형성하는 단계; 및 f) 상기 지오메트리에 기초하여 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 합성영상을 형성하는 단계를 포함한다.
또한 본 발명에 따른, 합성영상을 제공하는 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은, a) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 초음파 데이터를 획득하는 단계; b) 사용자의 제1 입력정보 - 상기 제1 입력정보는 관심영역의 설정정보를 포함함 - 를 수신하는 단계; c) 초음파 신호를 대상체에 송신 하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 획득하는 단계; d) 상기 제1 입력정보에 따라 상기 복수의 제2 초음파 데이터를 이용하여 볼륨 데이터 - 상기 볼륨 데이터는 복수의 프레임을 포함함 - 를 형성하는 단계; e) 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리(geometry)에 따라 상기 제1 초음파 데이터 및 상기 볼륨 데이터를 이용하여 2차원 초음파 영상 및 3차원 초음파 영상을 형성하는 단계; 및 f) 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 합성영상을 형성하는 단계를 포함한다.
본 발명은 2차원 초음파 영상과 3차원 초음파 영상을 합성한 합성영상을 제공할 수 있어, 3차원 초음파 영상에 대한 2차원 초음파 영상의 상관관계를 용이하게 파악할 수 있을 뿐만 아니라, 3차원 초음파 영상에서의 대상체가 2차원 초음파 영상의 어느 부분에 해당하는지 용이하게 파악할 수 있다.
또한, 본 발명은 대상체내의 관심객체(예를 들어, 혈관 등)이 뻗어나가는 방향을 정확하게 파악할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명한다.
도 1은 본 발명의 실시예에 따른 초음파 시스템(100)의 구성을 보이는 블록도이다. 초음파 시스템(100)은 초음파 데이터 획득부(110), 저장부(120), 사용자 입력부(130), 프로세서(140) 및 디스플레이부(150)를 포함한다.
초음파 데이터 획득부(110)는 초음파 신호를 대상체에 송신하고 대상체로터 반사되는 초음파 신호(즉, 초음파 에코신호)를 수신하여 초음파 데이터를 획득한다. 초음파 데이터 획득부(110)에 대해서는 도 2를 참조하여 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 초음파 데이터 획득부(110)의 구성을 보이는 블록도이다. 초음파 데이터 획득부(110)는 송신신호 형성부(111), 복수의 변환소자(transducer element)(도시하지 않음)를 포함하는 초음파 프로브(112), 빔 포머(113) 및 초음파 데이터 획득부(114)를 포함한다.
송신신호 형성부(111)는 변환소자의 위치 및 집속점을 고려하여 송신신호를 형성한다. 본 실시예에서 송신신호는 2차원 초음파 영상을 얻기 위한 제1 송신신호 및 도 5에 도시된 바와 같이 3차원 초음파 영상에 대한 프레임(Pi(≤i≤N))을 얻기 위한 복수의 제2 송신신호를 포함한다. 2차원 초음파 영상은 B 모드(brightness mode) 영상을 포함한다.
초음파 프로브(112)는 송신신호 형성부(111)로부터 제1 송신신호가 제공되면, 제1 송신신호를 초음파 신호로 변환하여 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 수신신호를 형성한다. 또한, 초음파 프로브(112)는 송신신호 형성부(111)로부터 제2 송신신호가 제공되면, 제2 송신신호를 초음파 신호로 변환하여 대상체에 송신하고 대상체로부터 반사되는 초음파 에코신호를 수신하여 제2 수신신호를 형성한다. 초음파 프로브(112)는 송신신호 형성부(111)로부터 순차적으로 제공되는 제2 송신신호에 따라 초음파 신호의 송수신을 순차적 및 반복적으로 수행하여 복수의 제2 수신신호를 형성한다. 본 실시예에서 초음파 프로브(112)는 1D 어레이(one-dimensional array)의 변환소자를 포함하는 3D(three-dimensional) 프로브 및 2D 어레이(two-dimensional array) 프로브를 포함한다.
빔 포머(113)는 초음파 프로브(112)로부터 제1 수신신호가 제공되면, 제1 수신신호를 아날로그 디지털 변환하여 제1 디지털 신호를 형성한다. 빔 포머(113)는 변환소자의 위치 및 집속점을 고려하여 제1 디지털 신호를 수신 집속시켜 제1 수신집속 신호를 형성한다. 또한, 빔 포머(113)는 초음파 프로브(112)로부터 제2 수신신호가 제공되면, 제2 수신신호를 아날로그 디지털 변환하여 제2 디지털 신호를 형성한다. 빔 포머(113)는 변환소자의 위치 및 집속점을 고려하여 제2 디지털 신호를 수신 집속시켜 제2 수신집속신호를 형성한다. 빔 포머(113)는 초음파 프로브(112)로부터 순차적으로 제공되는 제2 수신신호에 따라 아날로그 디지털 변환 및 수신 집속을 순차적 및 반복적으로 수행하여 복수의 제2 수신집속신호를 형성한다.
초음파 데이터 형성부(114)는 빔 포머(113)로부터 제1 수신집속신호가 제공되면, 제1 수신집속신호를 이용하여 제1 초음파 데이터를 형성한다. 또한, 초음파 데이터 형성부(114)는 빔 포머(113)로부터 제2 수신집속신호가 제공되면, 제2 수신집속신호를 이용하여 제2 초음파 데이터를 형성한다. 초음파 데이터 형성부(114)는 빔 포머(113)로부터 순차적으로 제공되는 제2 수신집속신호에 따라 제2 초음파 데이터의 형성을 순차적 및 반복적으로 수행하여 프레임(Pi(≤i≤N))에 대응하는 복수의 제2 초음파 데이터를 형성한다. 아울러, 초음파 데이터 형성부(114)는 초음파 데이터를 형성하는데 필요한 다양한 신호 처리(예를 들어, 게인(gain) 조절 등)을 수신집속신호에 수행할 수도 있다.
다시 도 1을 참조하면, 저장부(120)는 초음파 데이터 획득부(110)에서 형성된 제1 초음파 데이터를 저장한다. 또한, 저장부(120)는 초음파 데이터 획득부(110)에서 형성된 복수의 제2 초음파 데이터를 저장할 수도 있다.
사용자 입력부(130)는 사용자의 입력정보를 수신한다. 본 실시예에서 입력정보는 관심영역(region of interest, ROI)의 설정정보, 예를 들어 ROI의 크기 및 위치 정보를 포함하는 제1 입력정보 및 합성영상의 회전 정보를 포함하는 제2 입력정보를 포함한다. 합성영상은 아래에서 상세하게 설명하기로 한다. 사용자 입력부(130)는 컨트롤 패널(control panel), 마우스(mouse), 키보드(keyboard) 등을 포함한다.
프로세서(140)는 초음파 데이터 획득부(110), 저장부(120) 및 사용자 입력부(130)에 연결된다. 프로세서(140)는 복수의 제2 초음파 데이터를 이용하여 볼륨 데이터를 형성하고, 제1 초음파 데이터와 볼륨 데이터 간의 지오메트리에 기초하여 제1 초음파 데이터 및 볼륨 데이터를 이용하여 2차원 초음파 영상 및 3차원 초음파 영상을 합성한 합성영상을 형성한다. 프로세서(140)에 대해서는 도 3 내지 도 7을 참조하여 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 프로세서(140)의 구성을 보이는 블록도이다. 프로세서(140)는 제1 영상 형성부(141), 관심영역 설정부(142), 추출부(143), 볼륨 데이터 형성부(144), 지오메트리(geometry) 검출부(145) 및 제2 영상 형성 부(146)를 포함한다. 프로세서(140)는 영상 처리부(147)를 더 포함할 수 있다.
도 4는 본 발명의 실시예에 따라 합성영상을 형성하는 절차를 보이는 흐름도이다. 도 4를 참조하면, 제1 영상 형성부(141)는 초음파 데이터 획득부(110)로부터 제공되는 제1 초음파 데이터를 이용하여 2차원 초음파 영상을 형성한다(S402). 본 실시예에서, 제1 영상 형성부(141)는 제1 초음파 데이터에 2차원 스캔 변환(two-dimensional scan conversion)을 수행하여 2차원 초음파 영상을 형성한다.
관심영역 설정부(142)는 사용자 입력부(130)로부터 입력정보(즉, 제1 입력정보)가 제공되면, 제1 입력정보에 기초하여 제1 영상 형성부(141)에서 형성된 2차원 초음파 영상에 ROI를 설정한다(S404). 추출부(143)는 저장부(120)에서 제1 초음파 데이터를 추출한다(S406).
볼륨 데이터 형성부(144)는 사용자 입력부(130)로부터 제공되는 입력정보(즉, 제1 입력정보)에 기초하여, 초음파 데이터 획득부(110)로부터 제공되는 복수의 제2 초음파 데이터를 이용하여 도 6에 도시된 바와 같이 ROI에 해당하는 볼륨 데이터(210)를 형성한다(S408). 볼륨 데이터는 프레임(Pi(≤i≤N))으로 이루어지고, 밝기값을 갖는 복수의 복셀(voxel)을 포함한다. 도 6에 있어서, 축(axial) 방향은 초음파 프로브(112)의 변환소자를 기준으로 초음파 신호의 진행 방향을 나타내고, 측면(lateral) 방향은 스캔라인(scanline)의 이동 방향을 나타내며, 고도(elevation) 방향은 볼륨 데이터의 깊이 방향으로서 프레임의 스캔 방향을 나타낸다.
지오메트리 검출부(145)는 볼륨 데이터에 대해 제1 초음파 데이터의 지오메 트리를 검출한다(S410). 일례로서, 제1 초음파 데이터가 볼륨 데이터에서 고도 방향으로 정중앙에 위하는 프레임의 제2 초음파 데이터와 일치하는 경우, 지오메트리 검출부(145)는 제1 초음파 데이터와 일치하는 제2 초음파 데이터의 프레임 위치를 제1 초음파 데이터의 지오메트리로서 검출한다. 다른 예로서, 지오메트리 검출부(145)는 제1 초음파 데이터와 제2 초음파 데이터 간의 유사도를 검출하여, 제1 초음파 데이터에 대해 최대의 유사도를 갖는 제2 초음파 데이터를 검출하고, 검출된 제2 초음파 데이터에 해당하는 프레임의 위치를 제1 초음파 데이터의 지오메트리로서 검출한다. 유사도는 공지된 다양한 방법을 통해 검출될 수 있으므로 본 실시예에서 상세하게 설명하지 않는다.
제2 영상 형성부(146)는 지오메트리 검출부(145)에서 검출된 지오메트리에 기초하여 제1 초음파 데이터 및 볼륨 데이터를 이용하여 2차원 초음파 영상 및 3차원 초음파 영상을 형성하고(S412), 2차원 초음파 영상 및 3차원 초음파 영상을 합성하여 합성영상을 형성한다(S414).
본 실시예에서, 제2 영상 형성부(146)는 도 7에 도시된 바와 같이 볼륨 데이터에서 제1 초음파 데이터의 지오메트리에 해당하는 프레임(이하, 지오메트리 프레임이라 함)을 기준으로 지오메트리 프레임의 전단(즉, 음의 z방향)에 위치하는 볼륨 데이터를 렌더링하여 3차원 초음파 영상(이하, 전단 3차원 초음파 영상이라 함)(310)을 형성한다. 이때, 제2 영상 형성부(146)는 볼륨 데이터에서 제1 초음파 데이터의 지오메트리에 해당하는 프레임(이하, 지오메트리 프레임이라 함)을 기준으로 지오메트리 프레임의 전단(즉, 음의 z방향)에 위치하는 볼륨 데이터에 대해 컬러 렌더링을 수행할 수도 있다. 컬러 렌더링은 공지된 다양한 방법을 이용할 수 있으므로 본 실시예에서 상세하게 설명하지 않는다. 제2 영상 형성부(146)는 전단 3차원 초음파 영상에 알파 블렌딩(alpha blending) 값을 적용하여 전단 3차원 초음파 영상의 투명도를 조절할 수 있다. 알파 블렌딩 값은 사용자에 의해 수동적으로 조절되거나 초음파 시스템(100)에 의해 자동적으로 조절될 수 있다. 또한, 제2 영상 형성부(146)는 제1 초음파 데이터에 스캔 변환을 수행하여 도 7에 도시된 바와 같이 2차원 초음파 영상(320)을 형성한다. 제2 영상 형성부(146)는 도 7에 도시된 바와 같이 볼륨 데이터에서 지오메트리 프레임을 기준으로 지오메트리 프레임의 후단(즉, 양의 z방향)에 위치하는 볼륨 데이터를 렌더링하여 3차원 초음파 영상(이하, 후단 3차원 초음파 영상이라 함)(330)을 형성한다. 이때, 제2 영상 형성부(146)는 전술한 바와 같이 볼륨 데이터에서 지오메트리 프레임을 기준으로 지오메트리 프레임의 후단(즉, 양의 z방향)에 위치하는 볼륨 데이터에 대해 컬러 렌더링을 수행할 수도 있다. 제2 영상 형성부(146)는 지오메트리에 따라 전단 3차원 초음파 영상(310), 2차원 초음파 영상(320) 및 후단 3차원 초음파 영상(330)을 합성하여 합성영상(300)을 형성한다.
다시 도 3을 참조하면, 영상 처리부(147)는 사용자 입력부(130)로부터 입력정보(즉, 제2 입력정보)가 제공되면, 입력정보에 해당하는 각도로 합성영상을 회전시킨다.
다시, 도 1을 참조하면, 디스플레이부(150)는 프로세서(140)에서 형성된 합성영상을 디스플레이한다. 디스플레이부(150)는 프로세서(140)에서 형성된 전단 3 차원 초음파 영상, 2차원 초음파 영상 및 후단 3차원 초음파 영상을 각각 디스플레이할 수 있다.
본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부된 특허청구범위의 사항 및 범주를 벗어나지 않고 여러 가지 변경 및 변형이 이루어질 수 있음을 알 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 초음파 시스템의 구성을 보이는 블록도.
도 2는 본 발명의 실시예에 따른 초음파 데이터 획득부의 구성을 보이는 블록도.
도 3은 본 발명의 실시예에 따른 프로세서의 구성을 보이는 블록도.
도 4는 본 발명의 실시예에 따라 합성영상을 형성하는 절차를 보이는 흐름도.
도 5는 프레임의 스캔 방향을 보이는 예시도.
도 6은 볼륨 데이터의 예를 보이는 예시도.
도 7은 본 발명의 실시예에 따른 합성영상의 예를 보이는 예시도.

Claims (21)

  1. 초음파 시스템으로서,
    초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 2차원 초음파 영상을 얻기 위한 제1 초음파 데이터 및 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 획득하도록 동작하는 초음파 데이터 획득부;
    사용자로부터 상기 2차원 초음파 영상에 관심영역을 설정하기 위한 제1 입력정보를 수신하도록 동작하는 사용자 입력부; 및
    상기 초음파 데이터 획득부 및 상기 사용자 입력부에 연결되어, 상기 제1 입력정보에 따라 상기 복수의 제2 초음파 데이터를 이용하여 볼륨 데이터를 형성하고, 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리(geometry)에 따라 상기 제1 초음파 데이터를 이용하여 상기 2차원 초음파 영상을 형성하고 상기 볼륨 데이터를 이용하여 3차원 초음파 영상을 형성하고, 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 합성영상을 형성하도록 동작하는 프로세서
    를 포함하는 초음파 시스템.
  2. 제1항에 있어서,
    상기 제1 초음파 데이터를 저장하는 저장부
    를 더 포함하는 초음파 시스템.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 복수의 제2 초음파 데이터를 이용하여 복수의 프레임을 포함하는 상기 볼륨 데이터를 형성하도록 동작하는 볼륨 데이터 형성부;
    상기 저장부에서 상기 제1 초음파 데이터를 추출하도록 동작하는 추출부;
    상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리를 검출하도록 동작하는 지오메트리 검출부; 및
    상기 지오메트리에 기초하여 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 형성하고, 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 상기 합성영상을 형성하도록 동작하는 영상 형성부
    를 포함하는 초음파 시스템.
  4. 제3항에 있어서, 상기 지오메트리 검출부는, 상기 제1 초음파 데이터와 일치하는 제2 초음파 데이터의 프레임 위치를 검출하고, 상기 검출된 프레임 위치를 상기 지오메트리로서 검출하도록 동작하는 초음파 시스템.
  5. 제3항에 있어서, 상기 지오메트리 검출부는, 상기 제1 초음파 데이터와 상기 복수의 제2 초음파 데이터 간에 유사도를 검출하여, 상기 제1 초음파 데이터에 대해 최대의 유사도를 갖는 제2 초음파 데이터를 검출하고, 검출된 제2 초음파 데이터에 해당하는 프레임의 위치를 상기 지오메트리로서 검출하도록 동작하는 초음파 시스템.
  6. 제3항에 있어서, 상기 영상 형성부는, 상기 볼륨 데이터에서 상기 지오메트리에 해당하는 프레임을 기준으로 상기 프레임의 전단에 위치하는 볼륨 데이터를 렌더링하여 전단 3차원 초음파 영상을 형성하고, 상기 제1 초음파 데이터를 스캔 변환하여 상기 2차원 초음파 영상을 형성하고, 상기 프레임의 전단에 위치하는 볼륨 데이터를 렌더링하여 후단 3차원 초음파 영상을 형성하며, 상기 지오메트리에 기초하여 상기 전단 3차원 초음파 영상, 상기 2차원 초음파 영상 및 상기 후단 3차원 초음파 영상을 합성하여 상기 합성영상을 형성하도록 동작하는 초음파 시스템.
  7. 제6항에 있어서, 상기 영상 형성부는, 상기 전단 3차원 초음파 영상에 알파 블렌딩(alpha blending) 처리를 수행하도록 동작하는 초음파 시스템.
  8. 제2항에 있어서, 상기 사용자 입력부는, 상기 합성영상을 회전시키기 위한 제2 입력정보를 수신하도록 더 동작하는 초음파 시스템.
  9. 제8항에 있어서, 상기 프로세서는,
    상기 제2 입력정보에 따라 상기 합성영상을 회전시키도록 동작하는 영상 처리부
    를 더 포함하는 초음파 시스템.
  10. 제1항 내지 제9항중 어느 한 항에 있어서,
    상기 합성영상을 디스플레이하는 디스플레이부
    를 더 포함하는 초음파 시스템.
  11. 합성영상을 제공하는 방법으로서,
    a) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 초음파 데이터를 획득하는 단계;
    b) 사용자로부터 2차원 초음파 영상에 관심영역을 설정하기 위한 제1 입력정보를 수신하는 단계;
    c) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 획득하는 단계;
    d) 상기 제1 입력정보에 따라 상기 복수의 제2 초음파 데이터를 이용하여 복수의 프레임을 포함하는 볼륨 데이터를 형성하는 단계;
    e) 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리(geometry)에 따라 상기 제1 초음파 데이터를 이용하여 상기 2차원 초음파 영상을 형성하고 상기 볼륨 데이터를 이용하여 3차원 초음파 영상을 형성하는 단계; 및
    f) 상기 지오메트리에 기초하여 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 합성영상을 형성하는 단계
    를 포함하는 합성영상 제공 방법.
  12. 제11항에 있어서, 상기 단계 b) 이전에,
    상기 제1 초음파 데이터를 저장하는 단계;
    상기 제1 초음파 데이터를 스캔 변환하여 상기 2차원 초음파 영상을 형성하는 단계; 및
    상기 2차원 초음파 영상을 디스플레이하는 단계
    를 더 포함하는 합성영상 제공 방법.
  13. 제11항에 있어서, 상기 단계 e)는,
    e1) 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리를 검출하는 단계; 및
    e2) 상기 지오메트리에 기초하여 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 형성하는 단계
    를 포함하는 합성영상 제공 방법.
  14. 제13항에 있어서, 상기 단계 e1)은,
    상기 제1 초음파 데이터와 일치하는 제2 초음파 데이터의 프레임 위치를 검출하는 단계; 및
    상기 검출된 프레임 위치를 상기 지오메트리로서 검출하는 단계
    를 포함하는 합성영상 제공 방법.
  15. 제13항에 있어서, 상기 단계 e1)은,
    상기 제1 초음파 데이터와 상기 복수의 제2 초음파 데이터 간에 유사도를 검출하는 단계;
    상기 제1 초음파 데이터에 대해 최대의 유사도를 갖는 제2 초음파 데이터를 검출하는 단계; 및
    상기 검출된 제2 초음파 데이터에 해당하는 프레임의 위치를 상기 지오메트리로서 검출하는 단계
    를 포함하는 합성영상 제공 방법.
  16. 제13항에 있어서, 상기 단계 e2)는,
    상기 볼륨 데이터에서 상기 지오메트리에 해당하는 프레임을 기준으로 상기 프레임의 전단에 위치하는 볼륨 데이터를 렌더링하여 전단 3차원 초음파 영상을 형성하는 단계;
    상기 제1 초음파 데이터를 스캔 변환하여 상기 2차원 초음파 영상을 형성하는 단계; 및
    상기 프레임의 전단에 위치하는 볼륨 데이터를 렌더링하여 후단 3차원 초음파 영상을 형성하는 단계
    를 포함하는 합성영상 제공 방법.
  17. 제16항에 있어서, 상기 단계 e2)는
    상기 전단 3차원 초음파 영상에 알파 블렌딩(alpha blending) 처리를 수행하는 단계
    를 더 포함하는 합성영상 제공 방법.
  18. 제16항에 있어서, 상기 단계 f)는,
    상기 지오메트리에 기초하여 상기 전단 3차원 초음파 영상, 상기 2차원 초음파 영상 및 상기 후단 3차원 초음파 영상을 합성하여 상기 합성영상을 형성하는 단계
    를 포함하는 합성영상 제공 방법.
  19. 제11항에 있어서,
    g) 상기 합성영상을 회전시키기 위한 제2 입력정보를 수신하는 단계; 및
    h) 상기 제2 입력정보에 따라 상기 합성영상을 회전시키는 단계
    를 더 포함하는 합성영상 제공 방법.
  20. 제11항 내지 제19항중 어느 한 항에 있어서,
    i) 상기 합성영상을 디스플레이하는 단계
    를 더 포함하는 합성영상 제공 방법.
  21. 합성영상을 제공하는 방법을 수행하기 위한 프로그램을 저장하는 컴퓨터 판독가능 기록매체로서, 상기 방법은,
    a) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 제1 초음파 데이터를 획득하는 단계;
    b) 사용자로부터 2차원 초음파 영상에 관심영역을 설정하기 위한 제1 입력정보를 수신하는 단계;
    c) 초음파 신호를 대상체에 송신하고 상기 대상체로부터 반사되는 초음파 에코신호를 수신하여 복수의 프레임을 얻기 위한 복수의 제2 초음파 데이터를 획득하는 단계;
    d) 상기 제1 입력정보에 따라 상기 복수의 제2 초음파 데이터를 이용하여 복수의 프레임을 포함하는 볼륨 데이터를 형성하는 단계;
    e) 상기 볼륨 데이터에 대해 상기 제1 초음파 데이터의 지오메트리(geometry)에 따라 상기 제1 초음파 데이터를 이용하여 상기 2차원 초음파 영상을 형성하고 상기 볼륨 데이터를 이용하여 3차원 초음파 영상을 형성하는 단계; 및
    f) 상기 2차원 초음파 영상 및 상기 3차원 초음파 영상을 합성하여 합성영상을 형성하는 단계
    를 포함하는 컴퓨터 판독가능 기록매체.
KR1020090121590A 2009-12-09 2009-12-09 2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법 KR101182891B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090121590A KR101182891B1 (ko) 2009-12-09 2009-12-09 2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법
EP10192103.9A EP2333724A3 (en) 2009-12-09 2010-11-22 Providing an ultrasound spatial compound image in an ultrasound system
JP2010270751A JP2011120901A (ja) 2009-12-09 2010-12-03 超音波空間合成映像を提供する超音波システムおよび方法
US12/962,289 US8956298B2 (en) 2009-12-09 2010-12-07 Providing an ultrasound spatial compound image in an ultrasound system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090121590A KR101182891B1 (ko) 2009-12-09 2009-12-09 2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110064842A KR20110064842A (ko) 2011-06-15
KR101182891B1 true KR101182891B1 (ko) 2012-09-13

Family

ID=43795066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090121590A KR101182891B1 (ko) 2009-12-09 2009-12-09 2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법

Country Status (4)

Country Link
US (1) US8956298B2 (ko)
EP (1) EP2333724A3 (ko)
JP (1) JP2011120901A (ko)
KR (1) KR101182891B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120245465A1 (en) * 2011-03-25 2012-09-27 Joger Hansegard Method and system for displaying intersection information on a volumetric ultrasound image
KR101415667B1 (ko) * 2012-08-27 2014-07-04 한국디지털병원수출사업협동조합 3차원 초음파 진단기에서 스캔 영상 판별 장치 및 방법
KR101427248B1 (ko) * 2012-10-11 2014-08-13 주식회사 인피니트헬스케어 의료영상의 썸네일 영상을 생성하는 장치 및 방법
US9667948B2 (en) 2013-10-28 2017-05-30 Ray Wang Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information
US9519061B2 (en) * 2014-12-26 2016-12-13 Here Global B.V. Geometric fingerprinting for localization of a device
KR101728044B1 (ko) * 2015-02-02 2017-04-18 삼성전자주식회사 의료 영상을 디스플레이 하기 위한 방법 및 장치
CN106108941A (zh) * 2016-06-13 2016-11-16 杭州融超科技有限公司 一种超声图像区域质量增强装置及方法
WO2018208896A1 (en) * 2017-05-09 2018-11-15 Cardioinsight Technologies, Inc. Conduction velocity and pattern mapping
US10685439B2 (en) * 2018-06-27 2020-06-16 General Electric Company Imaging system and method providing scalable resolution in multi-dimensional image data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164833A (ja) * 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100306341B1 (ko) * 1997-09-30 2001-10-19 니시무로 타이죠 의료용화상진단장치
US6511426B1 (en) * 1998-06-02 2003-01-28 Acuson Corporation Medical diagnostic ultrasound system and method for versatile processing
CN101351156B (zh) * 2005-10-07 2010-12-01 株式会社日立医药 图像显示方法和医用图像诊断系统
JP2007125179A (ja) * 2005-11-02 2007-05-24 Olympus Medical Systems Corp 超音波診断装置
CN101199430B (zh) * 2006-12-15 2011-12-28 深圳迈瑞生物医疗电子股份有限公司 空间复合成像方法、设备及其超声成像系统
US8521253B2 (en) * 2007-10-29 2013-08-27 Spectrum Dynamics Llc Prostate imaging
KR101348767B1 (ko) 2008-04-04 2014-01-07 삼성메디슨 주식회사 확대 영상을 형성하는 초음파 시스템 및 방법
CN101601593B (zh) 2008-06-10 2013-01-16 株式会社东芝 超声波诊断装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164833A (ja) * 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置

Also Published As

Publication number Publication date
EP2333724A3 (en) 2017-04-19
EP2333724A2 (en) 2011-06-15
US20110137171A1 (en) 2011-06-09
JP2011120901A (ja) 2011-06-23
KR20110064842A (ko) 2011-06-15
US8956298B2 (en) 2015-02-17

Similar Documents

Publication Publication Date Title
KR101182891B1 (ko) 2차원 초음파 영상과 3차원 초음파 영상의 합성영상을 제공하는 초음파 시스템 및 방법
RU2667617C2 (ru) Система и способ эластографических измерений
KR101100464B1 (ko) 부 관심영역에 기초하여 3차원 초음파 영상을 제공하는 초음파 시스템 및 방법
KR101117035B1 (ko) 볼륨 데이터에 표면 렌더링을 수행하는 초음파 시스템 및 방법
US10368841B2 (en) Ultrasound diagnostic apparatus
CN109310399B (zh) 医学超声图像处理设备
CN110072468B (zh) 胎儿超声成像
JP2009089736A (ja) 超音波診断装置
KR20110025706A (ko) 복수의 뷰에 대한 복수의 단면 영상을 제공하는 초음파 시스템 및 방법
EP3863522B1 (en) Methods and systems for determining complementary ultrasound views
WO2007049207A1 (en) System and method for generating for display two-dimensional echocardiography views from a three-dimensional image
JP7292370B2 (ja) 胎児体重推定を実施するための方法およびシステム
KR101107478B1 (ko) 다수의 3차원 초음파 영상을 형성하는 초음파 시스템 및 방법
US10521069B2 (en) Ultrasonic apparatus and method for controlling the same
EP3278738B1 (en) Acoustic wave image generation device and method
EP4076208B1 (en) Systems and methods for assessing a placenta
EP4000531A1 (en) Methods and systems for tracking a motion of a probe in an ultrasound system
EP3849424B1 (en) Tracking a tool in an ultrasound image
KR20140132839A (ko) 초음파 영상 장치 및 그 영상 표시 방법
KR101024857B1 (ko) 3차원 초음파 영상에 컬러 모델링 처리를 수행하는 초음파 시스템 및 방법
US20220039773A1 (en) Systems and methods for tracking a tool in an ultrasound image
EP4223227A1 (en) A method and system for performing fetal weight estimations
KR20160086126A (ko) 초음파 진단 방법 및 장치
JP2008253499A (ja) 超音波診断装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160905

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170905

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 8