KR20130085380A - 초음파 진단 장치 및 그 제어 프로그램 - Google Patents

초음파 진단 장치 및 그 제어 프로그램 Download PDF

Info

Publication number
KR20130085380A
KR20130085380A KR1020130005161A KR20130005161A KR20130085380A KR 20130085380 A KR20130085380 A KR 20130085380A KR 1020130005161 A KR1020130005161 A KR 1020130005161A KR 20130005161 A KR20130005161 A KR 20130005161A KR 20130085380 A KR20130085380 A KR 20130085380A
Authority
KR
South Korea
Prior art keywords
fluid
image
distance
warning
puncture needle
Prior art date
Application number
KR1020130005161A
Other languages
English (en)
Other versions
KR101574386B1 (ko
Inventor
레이 리우
Original Assignee
지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨 filed Critical 지이 메디컬 시스템즈 글로발 테크놀러지 캄파니 엘엘씨
Publication of KR20130085380A publication Critical patent/KR20130085380A/ko
Application granted granted Critical
Publication of KR101574386B1 publication Critical patent/KR101574386B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/0233—Pointed or sharp biopsy instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

보다 용이하게 피검체로의 천자침의 자입을 행할 수 있는 초음파 진단 장치를 제공한다.
삼차원 공간에 있어서의 도플러 데이터 또는 B 플로우 데이터의 위치와, 천자침의 위치에 근거하여, 유체와 천자침의 거리를 산출하는 거리 산출부와, 거리 산출부에 의해 산출된 거리가 소정의 임계치보다 작은 경우에, 3D 화상 G3D를 표시시키는 표시 화상 제어부를 구비하는 것을 특징으로 한다. 상기 3D 화상 G3D는, 삼차원의 유체 화상 Gf3D, 천자침의 자입 예정 경로를 나타내는 삼차원 니들 라인 Nl3D, 상기 천자침(13)의 선단 부분을 나타내는 삼차원 선단 표시 H3D로 이루어진다.

Description

초음파 진단 장치 및 그 제어 프로그램{ULTRASONIC DIAGNOSIS APPARATUS AND PROGRAM FOR CONTROLLING THE SAME}
본 발명은, 조작자가 천자침(穿刺針)을 자입(刺入)할 때의 지원을 행하는 초음파 진단 장치 및 그 제어 프로그램에 관한 것이다.
생체 조직의 채취나, 라디오파에 의한 소작(燒灼) 치료를 행하기 위해서, 피검체에 대해서 천자침을 자입하는 경우가 있다. 이 천자침의 자입 시에는, 혈관 등의 맥관을 손상시키지 않도록 하는 것이 필요하게 된다. 초음파 진단 장치는, 피검체에 대해서 초음파의 송수신을 행하면서 실시간으로 피검체의 초음파 화상을 표시할 수 있기 때문에, 초음파 화상을 확인하면서 천자침의 자입이 행해진다(예를 들면, 특허 문헌 1 참조).
(선행 기술 문헌)
(특허 문헌)
특허 문헌 1 : 특개 제2011－229837호 공보
그러나, 초음파 화상을 확인하면서 맥관을 손상시키지 않도록 천자침의 자입을 행하는 것은, 숙련된 기량이 요구된다. 따라서, 천자의 손 기술을 행하는 사람이, 보다 용이하게 천자침의 자입을 행할 수 있도록 하는 것이 가능한 초음파 진단 장치가 바람직하다.
상술의 과제를 해결하기 위해서 이루어진 발명은, 피검체 내의 유체의 위치를 검출하는 유체 위치 검출부와, 상기 피검체에 대해서 자입되는 천자침의 위치를 검출하는 천자침 위치 검출부와, 상기 유체 위치 검출부에서 검출된 상기 유체의 위치와 상기 천자침 위치 검출부에서 검출된 상기 천자침의 위치에 근거하여, 상기 유체와 상기 천자침의 거리를 산출하는 거리 산출부와, 이 거리 산출부에 의해 산출된 거리가 소정의 임계치보다 작은 경우에, 경고를 통지하는 통지부를 구비하는 것을 특징으로 하는 초음파 진단 장치이다.
상기 관점의 발명에 의하면, 거리 산출부에 의해 산출된 거리가 소정의 임계치보다 작은 경우에, 경고가 통지되므로, 보다 용이하게 피검체로의 천자침의 자입을 행할 수 있다.
도 1은 본 발명에 따른 초음파 진단 장치의 실시 형태의 개략 구성의 일례를 나타내는 블럭도이다.
도 2는 도 1에 나타내는 초음파 진단 장치에 있어서의 에코 데이터 처리부의 구성을 나타내는 블럭도이다.
도 3은 도 1에 나타내는 초음파 진단 장치에 있어서의 표시 제어부의 구성을 나타내는 블럭도이다.
도 4는 B 모드 화상이 표시된 표시부의 일례를 나타내는 도면이다.
도 5는 경고의 문자 정보가 표시된 표시부의 일례를 나타내는 도면이다.
도 6은 3D 화상이 표시된 표시부의 일례를 나타내는 도면이다.
도 7은 2D 화상이 표시된 표시부의 일례를 나타내는 도면이다.
도 8은 2D 화상의 다른 예를 나타내는 도면이다.
도 9는 본 발명에 따른 초음파 진단 장치의 실시 형태의 개략 구성의 다른 예를 나타내는 블럭도이다.
도 10은 거리 산출부에서 산출된 거리가 표시된 표시부의 일례를 나타내는 도면이다.
도 11은 제 4 변형예에 있어서, 3D 화상이 표시된 표시부의 다른 예를 나타내는 도면이다.
도 12는 제 4 변형예에 있어서, 2D 화상이 표시된 표시부의 다른 예를 나타내는 도면이다.
도 13는 제５ 변형예에 있어서의 에코 데이터 처리부의 구성을 나타내는 블럭도이다.
도 14는 제 6 변형예에 있어서의 제어부의 구성을 나타내는 블럭도이다.
이하, 본 발명의 실시 형태에 대해 도 1 내지 도 6에 근거하여 설명한다. 도 1에 나타내는 초음파 진단 장치(1)는, 초음파 프로브(2), 송수신부(3), 에코 데이터 처리부(4), 표시 제어부(5), 표시부(6), 조작부(7), 제어부(8), HDD(하드 디스크 드라이브 : Hard Disk Drive)(9)를 구비한다.
상기 초음파 프로브(2)는, 어레이 형상으로 배치된 복수의 초음파 진동자(도시 생략)를 갖고 구성되고, 이 초음파 진동자에 의해 피검체에 대해서 초음파를 송신하고, 그 에코 신호를 수신한다. 상기 초음파 프로브(2)는, 본 발명에 있어서의 초음파 프로브의 실시 형태의 일례이다.
상기 초음파 프로브(2)에는, 예를 들면, 홀 소자로 구성되는 제 1 자기 센서(10)가 설치되어 있다. 이 제 1 자기 센서(10)에 의해, 예를 들면, 자기 발생 코일로 구성되는 자기 발생부(11)로부터 발생하는 자기가 검출되도록 되어 있다. 상기 제 1 자기 센서(10)에 있어서의 검출 신호는, 상기 표시 제어부(5)에 입력되도록 되어 있다. 상기 제 1 자기 센서(10)에 있어서의 검출 신호는, 도시하지 않는 케이블을 거쳐서 상기 표시 제어부(5)에 입력되어도 좋고, 무선으로 상기 표시 제어부(5)에 입력되어도 좋다. 상기 자기 발생부(11) 및 상기 제 1 자기 센서(10)는, 후술하는 바와 같이 상기 초음파 프로브(2)의 위치 및 기울기를 검출하기 위한 것으로, 본 발명에 있어서의 제 1 위치 센서의 실시 형태의 일례이다.
또한, 상기 초음파 프로브(2)에는, 천자침 가이드 치구(12)에 의해 천자침(13)이 부착되어 있다. 이 천자침(13)에는, 상기 자기 발생부(11)로부터 발생하는 자기를 검출하는 제 2 자기 센서(14)가 설치되어 있다. 이 제 2 자기 센서(14)는, 예를 들면, 통 형상으로 형성된 상기 천자침(13)의 선단 부분의 중공부에 설치된다. 상기 자기 발생부(11) 및 상기 제 2 자기 센서(14)는, 이 제 2 자기 센서(14)가 설치된 상기 천자침(13)의 선단 부분의 위치를 검출하기 위한 것으로, 본 발명에 있어서의 제 2 위치 센서의 실시 형태의 일례이다.
상기 송수신부(3)는, 상기 초음파 프로브(2)로부터 소정의 주사 조건에서 초음파를 송신하기 위한 전기 신호를, 상기 제어부(8)로부터의 제어 신호에 근거하여 상기 초음파 프로브(2)에 공급한다. 또한, 상기 송수신부(3)는, 상기 초음파 프로브(2)에서 수신한 에코 신호에 대해서, A/D 변환, 정상 가산 처리 등의 신호 처리를 행하여, 신호 처리 후의 에코 데이터를 상기 에코 데이터 처리부(4)에 출력한다.
상기 에코 데이터 처리부(4)는, 상기 송수신부(3)로부터 출력된 에코 데이터에 대해서, 초음파 화상을 작성하기 위한 처리를 행한다. 예를 들면, 상기 에코 데이터 처리부(4)는, 도 2에 나타낸 바와 같이 B 모드 데이터 작성부(41)와 도플러 데이터 작성부(42)를 갖는다. 상기 B 모드 데이터 작성부(41)는, 상기 에코 데이터에 대해서, 대수 압축 처리, 포락선 검파 처리 등을 포함하는 B 모드 처리를 행하여 B 모드 데이터를 작성한다.
상기 도플러 데이터 작성부(42)는, 상기 에코 데이터에 대해서, 직교 검파 처리, 자기 상관 연산 처리 등을 포함하는 도플러 처리를 행하여, 도플러 데이터(doppler data)를 작성한다. 이 도플러 데이터는, 예를 들면, 에코원의 유속 및 분산의 데이터이다. 혹은, 도플러 데이터는, 에코원의 파워 데이터이어도 좋다. 상기 도플러 데이터는, 본 발명에 있어서의 유체 정보 데이터의 실시 형태의 일례이다. 또한, 상기 도플러 데이터 작성부(42)는, 본 발명에 있어서의 유체 정보 데이터 작성부의 실시 형태의 일례이다.
상기 표시 제어부(5)는, 도 3에 나타낸 바와 같이, 위치 산출부(51), 거리 산출부(52), 거리 비교부(53), 표시 화상 제어부(54)를 갖는다. 상기 위치 산출부(51)는, 상기 제 1 자기 센서(10)로부터의 자기 검출 신호에 근거하여, 상기 자기 발생부(11)를 원점으로 하는 삼차원 공간에 있어서의 상기 초음파 프로브(2)의 위치 및 기울기의 정보(이하, 「프로브 위치 정보」라고 함)를 산출한다. 또한, 상기 위치 산출부(51)는, 상기 프로브 위치 정보에 근거하여 에코 데이터의 상기 삼차원 공간에 있어서의 위치 정보를 산출한다. 이에 의해, 도플러 데이터의 상기 삼차원 공간에 있어서의 위치 정보가 산출되어, 혈류 등의 유체의 위치 정보를 얻을 수 있다.
상기 제 1 자기 센서(10), 상기 자기 발생부(11), 상기 도플러 데이터 작성부(42), 상기 위치 산출부(51)에 의해, 유체의 위치가 검출된다(유체 위치 검출 기능). 상기 제 1 자기 센서(10), 상기 자기 발생부(11), 상기 도플러 데이터 작성부(42), 상기 위치 산출부(51)는, 본 발명에 있어서의 유체 위치 검출부를 구성한다.
또한, 상기 위치 산출부(51)는, 상기 제 2 자기 센서(14)로부터의 자기 검출 신호에 근거하여, 상기 삼차원 공간에 있어서의 상기 천자침(13)의 선단 부분의 위치 정보를 산출한다. 상기 제 2 자기 센서(14), 상기 자기 발생부(11), 상기 위치 산출부(51)에 의해, 상기 천자침(13)의 선단 부분의 위치가 검출된다(천자침 위치 검출 기능). 상기 제 2 자기 센서(14), 상기 자기 발생부(11), 상기 위치 산출부(51)는, 본 발명에 있어서의 천자침 위치 검출부를 구성한다.
상기 위치 산출부(51)는, 본 발명에 있어서의 위치 산출부의 실시 형태의 일례이다. 또한, 상기 자기 발생부(10)를 원점으로 하는 삼차원 공간은, 본 발명에 있어서의 삼차원 공간의 실시 형태의 일례이다.
상기 거리 산출부(52)는, 유체와 상기 천자침(13)의 거리를 산출한다. 상기 거리 산출부(52)는, 상기 제 2 자기 센서(14)가 설치되어 있는 상기 천자침(13)의 선단 부분과 유체의 거리 D를 산출한다(거리 산출 기능). 상기 거리 산출부(52)는, 상기 거리 D로서 상기 삼차원 공간에 있어서의 상기 도플러 데이터의 위치와 상기 천자침(13)의 선단 부분의 위치의 거리를 산출한다. 상세한 것은 후술한다. 상기 거리 산출부(52)는, 본 발명에 있어서의 거리 산출부의 실시 형태의 일례이다.
상기 거리 비교부(53)는, 상기 거리 산출부(52)에서 산출된 거리 D와 소정의 임계치를 비교한다. 소정의 임계치는, 제 1 임계치 Dth1와 제 2 임계치 Dth2이다(Dth1＜Dth2). 상세한 것은 후술한다.
부연하면, 상기 제 1 임계치 Dth1 및 상기 제 2 임계치 Dth2는 미리 상기 HDD(9) 등에 기억되어 있다. 이것들 제 1 임계치 Dth1 및 제 2 임계치 Dth2는, 조작자에 의한 상기 조작부(7)의 입력에 의해 변경할 수 있도록 되어 있어도 좋다.
상기 표시 화상 제어부(54)는, 스캔 컨버터(Scan Converter)에 의해 상기 B 모드 데이터를 B 모드 화상 데이터로 주사 변환한다. 그리고, 상기 표시 화상 제어부(54)는, 상기 B 모드 화상 데이터에 근거하는 B 모드 화상을 상기 표시부(6)에 표시시킨다.
또한, 상기 표시 화상 제어부(54)는, 후술하는 바와 같이 상기 거리 D가 소정의 임계치 이하로 되었을 경우에, 상기 표시부(6)에 경고의 화상을 표시시킨다(경고 표시 기능). 경고의 화상은, 경고의 문자 정보 I(도 5 참조)와 3D 화상 G3D(도 6 참조)이다. 상기 표시 화상 제어부(54)는, 본 발명에 있어서의 통지부의 실시 형태의 일례이다. 또한, 상기 경고 표시 기능은, 본 발명에 있어서의 통지 기능의 실시 형태의 일례이다.
경고의 문자 정보 I는, 상기 천자침(13)이 유체에 근접하고 있는 것을 경고하는 메시지이며, 「WARNING!」의 문자로 이루어진다.
또한, 상기 3D 화상 G3D는, 삼차원의 유체 화상 Gf3D, 천자침의 자입 예정 경로를 나타내는 삼차원 니들 라인(needle line) Nl3D, 상기 천자침(13)의 선단 부분을 나타내는 삼차원 선단 표시 H3D로 이루어진다. 상기 표시 화상 제어부(54)는, 상기 도플러 데이터에 근거하여 삼차원의 유체 화상 데이터를 작성하고, 이 삼차원의 유체 화상 데이터에 근거하는 삼차원의 유체 화상 Gf3D를 상기 표시부(6)에 표시시킨다.
상기 표시 화상 제어부(54)는, 상기 위치 산출부(51)에서 산출된 도플러 데이터의 위치 정보 및 상기 천자침(13)의 선단 부분의 위치 정보에 근거하여, 상기 삼차원 공간에 있어서의 유체와 상기 천자침(13)의 선단 부분의 위치 관계를 특정하여 상기 삼차원의 유체 화상 Gf3D 및 상기 삼차원 선단 표시 H3D를 표시시킨다.
또한, 상기 천자침(13)의 자입 예정 경로와, 상기 초음파 프로브(2)의 위치 관계는 미리 설정되어 있다. 따라서, 상기 위치 산출부(51)에 의해 산출된 프로브 위치 정보에 근거하여, 상기 삼차원 공간에 있어서의 상기 천자침(13)의 자입 예정 경로의 위치가 특정된다. 상기 표시 화상 제어부(54)는, 상기 천자침(13)의 자입 예정 경로와 유체 및 상기 천자침(13)의 선단 부분의 위치 관계를 특정하여, 상기 삼차원 니들 라인 Nl3D를 표시시킨다.
또한, 상기 표시 화상 제어부(54)는, 후술하는 바와 같이 상기 표시부(6)에 표시되는 B 모드 화상 BG상에, 이차원 니들 라인 Nl2D를 표시시킨다. 또한, 상기 표시 화상 제어부(54)는, 상기 위치 산출부(51)에서 산출되는 상기 천자침(13)의 선단 부분의 위치 정보에 근거하여, 상기 B 모드 화상 BG상에, 상기 천자침(13)의 선단 부분을 나타내는 이차원 선단 표시 H2D를 표시시킨다.
상기 표시부(6)는, LCD(Liquid Crystal Display)나 CRT(Cathode Ray Tube) 등으로 구성된다. 상기 조작부(7)는, 조작자가 지시나 정보를 입력하기 위한 키보드 및 포인팅 디바이스(도시 생략) 등을 포함하여 구성되어 있다.
상기 제어부(8)는, CPU(Central Processing Unit)를 갖고 구성된다. 이 제어부(8)는, 상기 HDD(9)에 기억된 제어 프로그램을 판독하여, 상기 유체 위치 검출 기능, 상기 천자침 위치 검출 기능, 상기 거리 산출 기능, 상기 경고 표시 기능을 시작으로 하는 상기 초음파 진단 장치(1)의 각 부에 있어서의 기능을 실행시킨다.
그런데, 본 예의 초음파 진단 장치(1)의 작용에 대해 설명한다. 먼저, 상기 초음파 프로브(2)에 의해 초음파의 송수신을 개시하여, 에코 신호를 취득한다. 상기 초음파 프로브(2)에 의한 초음파의 송수신은 삼차원 영역에 대해서 행해진다. 따라서, 삼차원 영역에 있어서의 에코 신호가 취득된다.
상기 표시부(6)에는, 상기 에코 신호에 근거하여 작성된 B 모드 화상 BG가, 도 4에 나타낸 바와 같이 표시된다. 이 B 모드 화상 BG는 이차원의 화상이다. 상기 B 모드 화상 BG에는, 상기 이차원 니들 라인 Nl2D가 표시된다.
또한, 상기 에코 신호에 근거하여, 상기 도플러 데이터 작성부(42)는 도플러 데이터를 작성한다. 여기서의 도플러 데이터는, 삼차원의 데이터(볼륨 데이터)이다.
조작자는, 실시간의 상기 B 모드 화상 BG를 보면서, 피검체에 대해서 상기 천자침(13)을 자입한다. 조작자는, 이차원 니들 라인 Nl2D에 따르도록 상기 천자침(13)을 자입한다. 상기 표시 화상 제어부(54)는, 상기 B 모드 화상 BG상에 상기 이차원 선단 표시 H2D를 표시시킨다.
상기 거리 산출부(52)는, 상기 도플러 데이터와 상기 천자침(13)의 선단 부분의 거리 D를 산출한다. 상기 거리 산출부(52)는, 상기 위치 산출부(51)에 의해 산출된 상기 삼차원 공간에 있어서의 상기 도플러 데이터의 위치 및 상기 천자침(13)의 선단 부분의 위치에 근거하여, 상기 거리 D를 산출한다.
상기 거리 비교부(53)는, 상기 거리 D와 상기 제 1 임계치 Dth1 및 상기 제 2 임계치 Dth2를 비교한다. 여기서, 상기 거리 D로서, 도플러 데이터의 복수 개소와 상기 천자침(13)의 선단 부분과의 거리가 산출되어도 좋다. 이와 같이 상기 거리 D가 복수 산출되는 경우, 상기 거리 비교부(53)는, 산출된 상기 거리 D 중, 최소의 거리 Dmin와 상기 제 1 임계치 Dth1 및 상기 제 2 임계치 Dth2를 비교해도 좋다.
D＜Dth2(Dth2＞Dth1)인 경우(단, D＞Dth1), 상기 표시 화상 제어부(54)는, 도 5에 나타낸 바와 같이, 상기 표시부(6)에 「WARNING!」의 문자로 이루어지는 경고의 문자 정보 I를 표시시킨다. 이 경고의 문자 정보 I는, B 모드 화상 BG의 옆에 표시되어 있다. 상기 경고의 문자 정보 I는, 적색 등의 색을 갖고 있어도 좋고, 또한 점멸해도 좋다.
부연하면, 도 5에 있어서, B 모드 화상 BG에는, 사각형의 상기 이차원 선단 표시 H2D가 표시되어 있다.
또한, D＜Dth1인 경우, 상기 표시 화상 제어부(54)는, 도 6에 나타낸 바와 같이 상기 표시부(6)에 3D 화상 G3D를 표시시킨다.
부연하면, 조작자에 의한 상기 조작부(7)의 입력에 의해, 상기 표시 화상 제어부(54)는, 상기 3D 화상 G3D를 확대하거나 축소하거나 해도 좋다. 또한, 조작자에 의한 상기 조작부(7)의 입력에 의해, 상기 표시 화상 제어부(54)는, 상기 3D 화상 G3D를 회전해도 좋다. 상기 3D 화상 G3D가 회전하는 경우, 상기 조작부(7)의 입력을 계기로 하여 상기 3D 화상 G3D가 자동적으로 계속 회전해도 좋고, 조작자에 의한 상기 조작부(7)의 입력에 의해, 조작자가 회전시키고자 하는 각도만큼 상기 3D 화상 G3D가 회전하도록 되어 있어도 좋다.
본 예의 초음파 진단 장치(1)에 의하면, 상기 거리 D가 상기 제 2 임계치 Dth2보다 작아지면 상기 경고의 문자 정보 I가 표시되고, 상기 거리 D가 상기 제 1 임계치 Dth1보다 더 작아지면 상기 3D 화상 G3D가 표시되므로, 혈관 등의 맥관을 손상시키지 않도록 천자침의 자입을 행하는 것이 용이하다.
또한, 상기 3D 화상 G3D가 표시되므로, 가령 B 모드 화상 BG에 상기 천자침(13)이 표시되어 있지 않아도, 상기 천자침(13)과 혈류 등의 맥관과의 위치 관계를 용이하게 파악할 수 있다. 그 한편으로, 상기 3D 화상 G3D는, 상기 거리 D가 상기 제 1 임계치 Dth1보다 작게 된 경우에만 표시되므로, 상기 B 모드 화상 BG의 프레임 레이트를 유지할 수 있다.
다음에, 실시 형태의 변형예에 대해 설명한다. 먼저, 제 1 변형예에 대해 설명한다. 상기 표시 화상 제어부(54)는, 상기 경고의 화상으로서, 상기 3D 화상 G3D 대신에, 도 7에 나타낸 바와 같이 2D 화상 G2D를 표시시켜도 좋다. 이 2D 화상 G2D는, 이차원의 유체 화상 Gf2D, 이차원 니들 라인 Nl2D, 상기 이차원 선단 표시 H2D'로 이루어진다.
상기 표시 화상 제어부(54)는, 상기 도플러 데이터에 근거하여 이차원의 유체 화상 데이터를 작성하고, 이 이차원의 유체 화상 데이터에 근거하여 상기 이차원의 유체 화상 Gf2D를 표시시킨다. 이 이차원의 유체 화상 Gf2D는, 예를 들면, 상기 B 모드 화상 BG와 동일한 초음파의 송수신면에 대한 화상이다.
다음에, 제 2 변형예에 대해 설명한다. 상기 표시 화상 제어부(54)는, 동일한 송수신면에 대해 복수 프레임분의 도플러 데이터를 가산하여 얻어진 데이터에 근거하여, 삼차원의 유체 화상 데이터 또는 이차원의 유체 화상 데이터를 작성해도 좋다. 이 경우, 상기 삼차원의 유체 화상 Gf3D 및 상기 이차원의 유체 화상 Gf2D로서, 유체의 최대 직경의 화상과 현재의 유체의 화상이 표시되어도 좋다.
상기 2D 화상 G2D를, 예로 들어, 설명하면, 도 8에 나타낸 바와 같이 유체의 최대 직경의 화상 GfMAX와 현재의 유체의 화상 GfPRE로 이루어지는 이차원의 유체 화상 Gf2D가 표시되어도 좋다. 예를 들면, 상기 화상 GfMAX는, 반투명으로 표시되고, 상기 화상 GfPRE는 소정의 색으로 표시된다(도 8에서는, 상기 화상 GfPRE는 도트로 표시되어 있음).
부연하면, 도 8에서는 상기 2D 화상 G2D만이 표시되어 있지만, 이 2D 화상 G2D는, 상기 B 모드 화상 BG와 함께 표시된다.
상기 화상 GfMAX는, 일심 주기에 있어서의 유체의 최대 직경의 화상이다. 이 화상 GfMAX는, 일심 주기마다 갱신된다. 상기 화상 GfMAX는, 일심 주기의 기간에 있어서의 상기 도플러 데이터를 가산하여 얻어진 데이터에 근거하여 작성되어도 좋다. 또한, 상기 화상 GfMAX는, 일심 주기 중 수축기의 도플러 데이터를 가산하여 얻어진 데이터에 근거하여 작성되어도 좋다.
수축기의 도플러 데이터를 가산하는 경우, 도 9에 나타낸 바와 같이, 상기 제어부(8)에 ECG(Electrocardiogram) 신호가 입력된다. 이 ECG 신호에 근거하여 수축기가 특정된다.
상기 화상 GfPRE는, 프레임마다 갱신되고, 유체의 유량 변화에 따라 유체의 직경이 변경된다.
다음에, 제 3 변형예에 대해 설명한다. 상기 표시 화상 제어부(54)는, 상기 거리 D가 상기 제 2 임계치 Dth2 이하로 되었을 경우에 표시되는 경고의 화상으로서, 상기 경고의 문자 정보 I 및 상기 3D 화상 G3D 또는 상기 2D 화상 G2D 대신에, 도 10에 나타낸 바와 같이, 상기 거리 D를 표시시켜도 좋다.
다음에, 제 4 변형예에 대해 설명한다. 도 11에 나타낸 바와 같이, 상기 3D 화상 G3D에 있어서, 상기 삼차원 니들 라인 Nl3D는 표시되지 않아도 좋다. 또한, 도 12에 나타낸 바와 같이, 상기 2D 화상 G2D에 있어서, 상기 이차원 니들 라인 Nl2D는 표시되지 않아도 좋다.
다음에, 제５ 변형예에 대해 설명한다. 도 13에 나타낸 바와 같이, 상기 에코 데이터 처리부(4)는, 상기 도플러 데이터 작성부(42) 대신에, B 플로우 데이터 작성부(43)를 갖고 있어도 좋다. 이 B 플로우 데이터 작성부(43)는, 상기 에코 데이터에 대해서 B 플로우 처리를 행하여, B 플로우 데이터를 작성한다. 이 경우, 이 B 플로우 데이터가 상기 도플러 데이터 대신에 이용된다. B 플로우 데이터는, 본 발명에 있어서의 유체 정보 데이터의 실시 형태의 일례이다. 또한, 상기 B 플로우 데이터 작성부(43)는, 본 발명에 있어서의 유체 정보 데이터의 실시 형태의 일례이다.
다음에, 제 6 변형예에 대해 설명한다. 본 예에서는, 상기 제어부(8)는, 도 14에 나타낸 바와 같이 경고음 발생부(81)를 갖고 있다. 이 경고음 발생부(81)는, 상기 거리 D가 소정의 임계치 이하로 되었을 경우에, 상기 표시 화상 제어부(54)가 경고의 화상을 표시시키는 대신에, 경고음을 발한다.
이상, 본 발명을 상기 실시 형태에 의해 설명했지만, 본 발명은 그 주지를 변경하지 않는 범위에서 여러 가지 변경 실시 가능한 것임은 물론이다. 예를 들면, 조작자에 의한 상기 조작부(7)의 입력에 의해, 상기 경고의 화상이 표시되지 않는 모드로 전환할 수 있도록 되어 있어도 좋다.
1 : 초음파 진단 장치 2 : 초음파 프로브
6 : 표시부 10 : 제 1 자기 센서
11 : 자기 발생부 13 : 천자침
14 : 제 2 자기 센서
42 : 도플러 데이터 작성부(유체 정보 데이터 작성부)
43 : B 플로우 데이터 작성부(유체 정보 데이터 작성부)
51 : 위치 산출부 52 : 거리 산출부
53 : 거리 비교부 54 : 표시 화상 제어부(통지부)
81 : 경고음 발생부(통지부)

Claims (19)

  1. 피검체 내의 유체의 위치를 검출하는 유체 위치 검출부와,
    상기 피검체에 대해서 자입(刺入)되는 천자침(穿刺針)의 위치를 검출하는 천자침 위치 검출부와,
    상기 유체 위치 검출부에서 검출된 상기 유체의 위치와 상기 천자침 위치 검출부에서 검출된 상기 천자침의 위치에 근거하여, 상기 유체와 상기 천자침의 거리를 산출하는 거리 산출부와,
    상기 거리 산출부에 의해 산출된 거리가 소정의 임계치보다 작은 경우에, 경고를 통지하는 통지부
    를 구비하는 것을 특징으로 하는 초음파 진단 장치.
  2. 제 1 항에 있어서,
    상기 유체 위치 검출부는, 소정의 점을 원점으로 하는 삼차원 공간에 있어서의 초음파 프로브의 위치를 검출하기 위한 제 1 위치 센서와, 상기 초음파 프로브에 의해 피검체에 대해서 초음파의 송수신을 행하여 취득된 에코 신호에 근거하여 피검체에 있어서의 유체 정보 데이터를 작성하는 유체 정보 데이터 작성부와, 상기 위치 센서에서 검출된 상기 초음파 프로브의 위치에 근거하여, 상기 삼차원 공간에 있어서의 상기 유체 정보 데이터의 위치를 산출하는 위치 산출부를 갖는 것을 특징으로 하는 초음파 진단 장치.
  3. 제 2 항에 있어서,
    상기 유체 정보 데이터 작성부는, 상기 에코 신호에 근거하여 도플러 데이터를 작성하는 것을 특징으로 하는 초음파 진단 장치.
  4. 제 2 항에 있어서,
    상기 유체 정보 데이터 작성부는, 상기 에코 신호에 근거하여 B 플로우 데이터를 작성하는 것을 특징으로 하는 초음파 진단 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 천자침 위치 검출부는, 소정의 점을 원점으로 하는 삼차원 공간에 있어서의 상기 천자침의 위치를 검출하기 위한 제 2 위치 센서와, 상기 제 2 위치 센서로부터의 입력 신호에 근거하여, 상기 삼차원 공간에 있어서의 상기 천자침의 위치를 산출하는 위치 산출부를 갖는 것을 특징으로 하는 초음파 진단 장치.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 거리 산출부에서 산출된 거리와 소정의 임계치를 비교하는 거리 비교부를 구비하며,
    상기 통지부는, 상기 거리 비교부의 비교 결과에 근거하여 경고를 통지하는 것을 특징으로 하는 초음파 진단 장치.
  7. 제 6 항에 있어서,
    상기 소정의 임계치를 복수 갖는 것을 특징으로 하는 초음파 진단 장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 경고는, 표시부에 표시되는 문자 정보인 것을 특징으로 하는 초음파 진단 장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 경고는, 표시부에 표시되는 경고 화상으로서, 상기 유체의 화상과 상기 천자침의 위치를 나타내는 표시를 포함하는 경고 화상인 것을 특징으로 하는 초음파 진단 장치.
  10. 제 9 항에 있어서,
    상기 경고 화상은, 상기 유체 위치 검출부에서 검출된 상기 유체의 위치와 상기 천자침 위치 검출부에서 검출된 천자침의 위치에 근거하여 상기 유체 및 상기 천자침의 위치 관계가 특정되어 표시되는 화상인 것을 특징으로 하는 초음파 진단 장치.
  11. 제 10 항에 있어서,
    상기 경고 화상은, 삼차원 화상인 것을 특징으로 하는 초음파 진단 장치.
  12. 제 10 항에 있어서,
    상기 경고 화상은, 이차원 화상인 것을 특징으로 하는 초음파 진단 장치.
  13. 제 9 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 유체의 화상으로서, 유체의 최대 직경의 화상이 표시되는 것을 특징으로 하는 초음파 진단 장치.
  14. 제 13 항에 있어서,
    상기 유체의 최대 직경의 화상은, 피검체에 대해서 초음파를 송신하여 얻어진 에코 신호에 근거하여 작성된 유체 정보 데이터를, 동일한 초음파의 송수신면에 대해 복수 프레임 가산하여 얻어진 데이터에 근거하여 작성되는 것을 특징으로 하는 초음파 진단 장치.
  15. 제 14 항에 있어서,
    상기 유체의 최대 직경의 화상은, 일심 주기 중, 수축기에 있어서의 상기 유체 정보 데이터를 복수 프레임 가산하여 얻어진 데이터에 근거하여 작성되는 것을 특징으로 하는 초음파 진단 장치.
  16. 제 8 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 표시부에는, 실시간의 초음파 화상이 표시되는 것을 특징으로 하는 초음파 진단 장치.
  17. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 경고는, 상기 거리 산출부에서 산출된 거리의 표시인 것을 특징으로 하는 초음파 진단 장치.
  18. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 경고는 소리인 것을 특징으로 하는 초음파 진단 장치.
  19. 컴퓨터로,
    피검체 내의 유체의 위치를 검출하는 유체 위치 검출 기능과,
    상기 피검체에 대해서 자입되는 천자침의 위치를 검출하는 천자침 위치 검출 기능과,
    상기 유체 위치 검출 기능에 의해 검출된 상기 유체의 위치와 상기 천자침 위치 검출 기능에 의해 검출된 상기 천자침의 위치에 근거하여, 상기 유체와 상기 천자침의 거리를 산출하는 거리 산출 기능과,
    상기 거리 산출 기능에 의해 산출된 거리가 소정의 임계치보다 작은 경우에, 경고를 통지하는 통지 기능
    을 실행시키는 것을 특징으로 하는 초음파 진단 장치의 제어 프로그램.
KR1020130005161A 2012-01-19 2013-01-17 초음파 진단 장치 및 그 제어 프로그램 KR101574386B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-008748 2012-01-19
JP2012008748A JP5743329B2 (ja) 2012-01-19 2012-01-19 超音波診断装置及びその制御プログラム

Publications (2)

Publication Number Publication Date
KR20130085380A true KR20130085380A (ko) 2013-07-29
KR101574386B1 KR101574386B1 (ko) 2015-12-03

Family

ID=48797777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130005161A KR101574386B1 (ko) 2012-01-19 2013-01-17 초음파 진단 장치 및 그 제어 프로그램

Country Status (4)

Country Link
US (1) US20140039304A9 (ko)
JP (1) JP5743329B2 (ko)
KR (1) KR101574386B1 (ko)
CN (1) CN103211616B (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6238550B2 (ja) * 2013-04-17 2017-11-29 キヤノン株式会社 被検体情報取得装置、被検体情報取得装置の制御方法
JP6309282B2 (ja) 2014-01-22 2018-04-11 キヤノンメディカルシステムズ株式会社 医用画像診断装置
US10130329B2 (en) 2014-01-28 2018-11-20 General Electric Company Distinct needle display in ultrasonic image
CN104161546A (zh) * 2014-09-05 2014-11-26 深圳先进技术研究院 基于可定位穿刺针的超声探头标定系统及方法
TWI608820B (zh) * 2014-12-01 2017-12-21 Loving Heart Medical Tech Inc Ultrasonic waveguide lead puncturing device
CN105726097B (zh) * 2014-12-12 2019-03-22 爱心医学科技公司 超声波导引穿刺装置
CN110801246B (zh) * 2015-05-07 2022-08-02 深圳迈瑞生物医疗电子股份有限公司 血流成像方法及系统
JP6833427B2 (ja) 2016-09-26 2021-02-24 キヤノンメディカルシステムズ株式会社 超音波診断装置及び医用画像処理プログラム
JP7239275B2 (ja) * 2018-04-27 2023-03-14 キヤノンメディカルシステムズ株式会社 超音波診断装置及び穿刺支援プログラム
KR102133695B1 (ko) * 2018-07-11 2020-07-14 동국대학교 경주캠퍼스 산학협력단 니들 가이드 시스템 및 그 방법
EP3632333A1 (en) * 2018-10-05 2020-04-08 Koninklijke Philips N.V. Interventional device positioning respective an ultrasound image plane
TWI720398B (zh) * 2019-01-03 2021-03-01 國立陽明大學 用於肋膜訊號分析辨識、追蹤測距及顯示的合併方法及其內針超音波系統
CN113066083B (zh) * 2021-04-25 2022-08-02 青岛海信医疗设备股份有限公司 流体的多普勒参数确定方法和电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4766421A (en) * 1986-02-19 1988-08-23 Auto-Sense, Ltd. Object detection apparatus employing electro-optics
US6810281B2 (en) * 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
JP2003126093A (ja) 2001-10-23 2003-05-07 Olympus Optical Co Ltd 超音波診断装置
JP4088104B2 (ja) * 2002-06-12 2008-05-21 株式会社東芝 超音波診断装置
JP2004129967A (ja) * 2002-10-15 2004-04-30 Ge Medical Systems Global Technology Co Llc 超音波診断装置
JP3920867B2 (ja) * 2004-03-31 2007-05-30 オリンパス株式会社 超音波診断装置
JP4738270B2 (ja) * 2006-07-14 2011-08-03 株式会社日立メディコ 手術支援装置
US20080183188A1 (en) * 2007-01-25 2008-07-31 Warsaw Orthopedic, Inc. Integrated Surgical Navigational and Neuromonitoring System
JP5142675B2 (ja) 2007-11-13 2013-02-13 株式会社東芝 超音波診断装置及び超音波診断装置制御プログラム
JP5416900B2 (ja) * 2007-11-22 2014-02-12 株式会社東芝 超音波診断装置及び穿刺支援用制御プログラム
US9456766B2 (en) * 2007-11-26 2016-10-04 C. R. Bard, Inc. Apparatus for use with needle insertion guidance system
WO2009144653A2 (en) 2008-05-30 2009-12-03 Koninklijke Philips Electronics N.V. Needle with integrated photon detector
JP2010088486A (ja) * 2008-10-03 2010-04-22 Toshiba Corp 超音波診断装置
US20100172559A1 (en) * 2008-11-11 2010-07-08 Eigen, Inc System and method for prostate biopsy
JP5535596B2 (ja) * 2009-11-26 2014-07-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置
JP2012030053A (ja) * 2010-06-30 2012-02-16 Toshiba Corp 超音波診断装置、画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2013146376A (ja) 2013-08-01
US20130190610A1 (en) 2013-07-25
JP5743329B2 (ja) 2015-07-01
CN103211616B (zh) 2017-04-12
US20140039304A9 (en) 2014-02-06
CN103211616A (zh) 2013-07-24
KR101574386B1 (ko) 2015-12-03

Similar Documents

Publication Publication Date Title
KR20130085380A (ko) 초음파 진단 장치 및 그 제어 프로그램
CN108784735B (zh) 用于显示采集质量水平的超声成像系统和方法
JP5702922B2 (ja) 対象物に対して超音波プローブを可視化する超音波システム
US20160000399A1 (en) Method and apparatus for ultrasound needle guidance
US10813624B2 (en) Ultrasound display method
KR20160025891A (ko) 자가 진단 및 원격 진단을 위한 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
JP5717543B2 (ja) 超音波診断装置及びその制御プログラム
EP2921116B1 (en) Medical image display apparatus, method, and program
JP2010259662A (ja) 超音波診断装置
KR20170060852A (ko) 초음파 영상을 제공하는 방법 및 이를 위한 초음파 장치
JP5829022B2 (ja) 超音波診断装置
JP2014161598A (ja) 超音波診断装置及びその制御プログラム
US20210196237A1 (en) Methods and apparatuses for modifying the location of an ultrasound imaging plane
JP2010253031A (ja) 超音波診断装置
JP5535596B2 (ja) 超音波診断装置
JP5682873B2 (ja) 超音波診断装置
JP2014195729A (ja) 超音波診断装置
JP2009261520A (ja) 超音波撮像装置
KR20150101315A (ko) 점액낭의 위치 정보를 표시하는 방법 및 이를 위한 초음파 장치
JP2013255545A (ja) 超音波診断装置および超音波診断装置の制御方法
JP5869364B2 (ja) 超音波診断装置及びその制御プログラム
JP2012143356A (ja) 超音波診断装置及びプログラム
JP2016059481A (ja) 超音波診断装置及びその制御プログラム
US20240225612A1 (en) Ultrasonic imaging apparatus and control method thereof
JP5569903B2 (ja) 超音波診断装置及びその制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20181112

Year of fee payment: 4