KR101194289B1 - 3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system - Google Patents

3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system Download PDF

Info

Publication number
KR101194289B1
KR101194289B1 KR1020100090127A KR20100090127A KR101194289B1 KR 101194289 B1 KR101194289 B1 KR 101194289B1 KR 1020100090127 A KR1020100090127 A KR 1020100090127A KR 20100090127 A KR20100090127 A KR 20100090127A KR 101194289 B1 KR101194289 B1 KR 101194289B1
Authority
KR
South Korea
Prior art keywords
jawbone
extension line
tissue
image
straight line
Prior art date
Application number
KR1020100090127A
Other languages
Korean (ko)
Other versions
KR20120028109A (en
Inventor
이광희
Original Assignee
삼성메디슨 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성메디슨 주식회사 filed Critical 삼성메디슨 주식회사
Priority to KR1020100090127A priority Critical patent/KR101194289B1/en
Publication of KR20120028109A publication Critical patent/KR20120028109A/en
Application granted granted Critical
Publication of KR101194289B1 publication Critical patent/KR101194289B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Acoustics & Sound (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

조직의 3차원 모델링을 위한 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법을 개시한다. 조직의 3차원 모델링을 위한 3차원 초음파 검사기는 오브젝트에 대한 볼륨이미지를 생성하는 스캔부와, 상기 볼륨이미지의 측면이미지로부터 표시조직과 연관된 제1 직선과, 기준조직과 연관된 제2 직선을 검출하고, 상기 제2 직선을 이용하여, 상기 제1 직선을 보정하는 처리부와, n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 제1 직선을 조합하여 상기 표시조직으로 렌더링하고, 상기 렌더링된 표시조직을 화면에 표시하도록 하는 제어부를 포함한다.Disclosed are a three-dimensional ultrasound scanner and a method of operating the three-dimensional ultrasound scanner for three-dimensional modeling of tissue. The 3D ultrasound inspector for 3D modeling of a tissue detects a scan unit for generating a volume image of an object, a first straight line associated with a display tissue, and a second straight line associated with a reference tissue from a side image of the volume image. And a processing unit for correcting the first straight line using the second straight line and the n first straight lines corrected from each of n (n is a natural number) side images to render into the display structure, and render the rendering structure. And a control unit for displaying the displayed display structure on the screen.

Description

조직의 3차원 모델링을 위한 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법{3D ULTRASOUND SYSTEM FOR 3D MODELING OF TISSUE AND METHOD FOR OPERATING 3D ULTRASOUND SYSTEM}3D ULTRASOUND SYSTEM FOR 3D MODELING OF TISSUE AND METHOD FOR OPERATING 3D ULTRASOUND SYSTEM}

본 발명의 실시예들은 오브젝트의 볼륨이미지에 대한 복수의 측면이미지로부터 표시조직을 용이하게 획득하여 표시할 수 있는 3차원 초음파 검사기 및 3차원 초음파 검사기의 동작 방법에 관한 것이다.Embodiments of the present invention relate to a three-dimensional ultrasound scanner and a method of operating the three-dimensional ultrasound scanner that can easily obtain and display the display structure from a plurality of side images of the volume image of the object.

초음파 검사기는 인체의 체표로부터 체내의 소정 부위(즉, 태아 또는 장기와 같은 오브젝트)를 향하여 초음파 신호를 전달하고, 체내의 조직에서 반사된 초음파 신호의 정보를 이용하여 연부조직의 단층이나 혈류에 관한 이미지를 얻는 장치이다. 이러한 초음파 검사기는 소형이고, 저렴하며, 실시간으로 표시 가능하고, X선 등의 피폭이 없어 안정성이 높은 장점을 가지고 있어, X선 진단장치, CT(Computerized Tomograghy) 스캐너, MRI(Magnetic Resonance Image) 장치, 핵의학 진단장치 등의 다른 화상 진단장치와 함께 널리 이용되고 있다.The ultrasound scanner transmits an ultrasound signal from a body surface to a predetermined part of the body (ie, an object such as a fetus or an organ), and uses the information of the ultrasound signal reflected from tissues of the body to determine the soft tissue tomography or blood flow. It is a device for obtaining images. These ultrasonic scanners are compact, inexpensive, and can be displayed in real time, and have high stability because they do not have exposure to X-rays, such as X-ray diagnostic apparatus, CT (Computerized Tomograghy) scanner, MRI (Magnetic Resonance Image) device. It is widely used with other image diagnosis apparatuses, such as a nuclear medical diagnostic apparatus.

한편, 사용자는 초음파 검사기를 통해 획득된 태아의 턱뼈를 확인하여, 언청이 여부를 알 수 있다. 따라서, 태아의 턱뼈를 보다 정확하게 획득하여 제공 함으로써, 태아에 대한 언청이 여부를 용이하게 확인할 수 있게 하는 기술이 필요하다.On the other hand, the user can check the jawbone of the fetus obtained through the ultrasound, it is possible to know whether or not unclear. Therefore, there is a need for a technique that can more easily acquire and provide a fetal jawbone, making it easier to check whether or not the fetus.

본 발명에 따른 일실시예는 오브젝트의 볼륨이미지에 대한 복수의 측면이미지로부터 표시조직과 연관된 제1 직선 및 기준조직에 연관된 제2 직선을 검출하고, 제2 직선을 이용하여 제1 직선을 보정 함으로써, 상기 표시조직(예컨대, 턱뼈)을 용이하게 획득하여 표시하도록 하는 것을 목적으로 한다.According to an embodiment of the present invention, a first straight line associated with the display tissue and a second straight line associated with the reference tissue are detected from a plurality of side images of the volume image of the object, and the second straight line is corrected using the second straight line. In order to easily obtain and display the display tissue (eg, jawbone).

상기의 목적을 이루기 위한, 조직의 3차원 모델링을 위한 3차원 초음파 검사기는 오브젝트에 대한 볼륨이미지를 생성하는 스캔부와, 상기 볼륨이미지의 측면이미지로부터 표시조직과 연관된 제1 직선과, 기준조직과 연관된 제2 직선을 검출하고, 상기 제2 직선을 이용하여, 상기 제1 직선을 보정하는 처리부와, n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 제1 직선을 조합하여 상기 표시조직으로 렌더링하고, 상기 렌더링된 표시조직을 화면에 표시하도록 하는 제어부를 포함한다.To achieve the above object, a three-dimensional ultrasound inspector for three-dimensional modeling of the tissue, the scanning unit for generating a volume image for the object, a first straight line associated with the display tissue from the side image of the volume image, and the reference tissue and The display unit detects an associated second straight line and combines the processing unit for correcting the first straight line using the second straight line and the n first straight lines corrected from each of n (n is natural numbers) side images. And a controller for rendering the tissue and displaying the rendered display tissue on the screen.

또한, 상기 목적을 달성하기 위한 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법은 오브젝트에 대한 볼륨이미지를 생성하는 단계와, 상기 볼륨이미지의 측면이미지로부터 표시조직과 연관된 제1 직선과, 기준조직과 연관된 제2 직선을 검출하는 단계와, 상기 제2 직선을 이용하여, 상기 제1 직선을 보정하는 단계와, n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 제1 직선을 조합하여 상기 표시조직으로 렌더링하고, 상기 렌더링된 표시조직을 화면에 표시하도록 하는 단계를 포함한다.In addition, the operation method of the three-dimensional ultrasound inspector for three-dimensional modeling of the tissue to achieve the above object comprises the steps of generating a volume image for the object, a first straight line associated with the display tissue from the side image of the volume image, Detecting a second straight line associated with a reference tissue, correcting the first straight line using the second straight line, and correcting the n first straight lines from each of n (n is a natural number) side images Combining the rendering to the display tissue, and displaying the rendered display tissue on the screen.

본 발명의 일실시예에 따르면, 오브젝트의 볼륨이미지에 대한 복수의 측면이미지로부터 표시조직과 연관된 제1 직선 및 기준조직에 연관된 제2 직선을 검출하고, 제2 직선을 이용하여 제1 직선을 보정 함으로써, 상기 표시조직(예컨대, 턱뼈)을 정확하게 획득하여 표시할 수 있다.According to an embodiment of the present invention, a first straight line associated with the display tissue and a second straight line associated with the reference tissue are detected from the plurality of side images of the volume image of the object, and the first straight line is corrected using the second straight line. As a result, the display tissue (eg, jawbone) can be accurately obtained and displayed.

도 1은 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 구성을 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기에서 표시조직을 획득하는 방법에 대한 일례를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기에서 획득한 표시조직에 대한 일례를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법을 도시한 흐름도이다.1 is a view showing the configuration of a three-dimensional ultrasound inspector for three-dimensional modeling of tissue according to an embodiment of the present invention.
2 is a diagram illustrating an example of a method of acquiring a display tissue in a three-dimensional ultrasound scanner for three-dimensional modeling of tissue according to an embodiment of the present invention.
3 is a view showing an example of the display tissue obtained by the three-dimensional ultrasound inspector for three-dimensional modeling of the tissue according to an embodiment of the present invention.
4 is a flowchart illustrating a method of operating a 3D ultrasound inspector for 3D modeling of tissues according to an embodiment of the present invention.

이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 구성을 도시한 도면이다.1 is a view showing the configuration of a three-dimensional ultrasound inspector for three-dimensional modeling of tissue according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기(101)는 스캔부(103), 처리부(105) 및 제어부(107)를 포함한다.Referring to FIG. 1, the 3D ultrasound inspector 101 for 3D modeling of a tissue according to an embodiment of the present invention includes a scan unit 103, a processing unit 105, and a control unit 107.

스캔부(103)는 초음파 신호를 이용하여, 오브젝트(예컨대, 태아)에 대한 볼륨이미지를 생성한다. 여기서, 볼륨이미지는 3차원 영상이미지일 수 있다.The scan unit 103 generates a volume image of an object (eg, a fetus) by using an ultrasound signal. Here, the volume image may be a 3D image image.

처리부(105)는 상기 볼륨이미지의 측면이미지로부터 표시조직과 연관된 제1 직선과, 기준조직과 연관된 제2 직선을 검출하고, 상기 제2 직선을 이용하여, 상기 제1 직선을 보정한다. 여기서, 상기 볼륨이미지가 태아에 대한 3차원 영상이미지인 경우, 상기 측면이미지는 태아를 측면 방향에서 바라본 영상이미지로서, 태아의 얼굴, 몸 또는 다리의 일측을 포함할 수 있다.The processor 105 detects a first straight line associated with the display tissue and a second straight line associated with the reference tissue from the side image of the volume image, and corrects the first straight line by using the second straight line. Here, when the volume image is a three-dimensional image of the fetus, the side image is an image image of the fetus viewed from the lateral direction, and may include one side of the face, body or leg of the fetus.

처리부(105)는 상기 오브젝트가 태아일 경우, 상기 제1 직선으로서 상기 태아의 턱뼈를 포함하는 턱뼈 연장선을 검출하고, 상기 제2 직선으로서 상기 태아의 코뼈를 포함하는 코뼈 연장선을 검출하며, 상기 턱뼈 연장선에서부터, 상기 코뼈 연장선과 상기 턱뼈 연장선의 교차점 이후를 제거하여, 상기 턱뼈 연장선을 보정할 수 있다. 이때, 제어부(107)는 상기 보정된 턱뼈 연장선을 조합하여 상기 표시조직으로서 상기 턱뼈를 렌더링하고, 렌더링된 턱뼈를 화면에 표시 함에 따라, 턱뼈를 용이하게 획득하여, 실물과 가장 유사하게 제공할 수 있다.When the object is a fetus, the processing unit 105 detects the jawbone extension line including the jaw bone of the fetus as the first straight line, and detects the nasal bone extension line including the nasal bone of the fetus as the second straight line, and the jawbone From the extension line, the jawbone extension line can be corrected by removing after the intersection point of the nasal bone extension line and the jawbone extension line. In this case, the control unit 107 renders the jaw bone as the display tissue by combining the corrected jawbone extension line, and displays the rendered jawbone on the screen, thereby easily obtaining the jawbone and providing the most similar to the real thing. have.

처리부(105)는 상기 측면이미지로부터 다양한 방법 예컨대, 할 라이크 피춰(Haar-like feature) 방법 또는 선정된 밝기를 이용한 방법을 통해, 상기 제1, 2 직선을 검출할 수 있다.The processor 105 may detect the first and second straight lines from the side image through various methods, for example, a haar-like feature method or a method using a selected brightness.

즉, 처리부(105)는 할 라이크 피춰 방법으로서, 개별 영역 안에 있는 픽셀들의 값을 더하여 간단한 영역합을 구하고, 그 값들에 가중치를 곱하여 합을 계산함으로써 하나의 특징 정보를 구하는 방법을 통해, 상기 제1, 2 직선을 검출할 수 있다.That is, the processing unit 105 is a like-like feature method. The method 105 obtains a simple region sum by adding the values of pixels in an individual region, and multiplies the values by a weight to calculate a sum, thereby obtaining one feature information. One or two straight lines can be detected.

또한, 처리부(105)는 상기 오브젝트가 태아이고, 상기 표시조직이 상기 태아의 턱뼈일 경우, 상기 측면이미지에서 선정된 밝기 이상의 이미지에 매칭되는 직선들 중 상대적으로 하부에 위치하는 직선을 상기 제1 직선(예컨대, 턱뼈 연장선)으로서 검출하고, 상대적으로 상부에 위치하는 직선을 상기 제2 직선(예컨대, 코뼈 연장선)으로서 검출할 수 있다.In addition, when the object is a fetus and the display tissue is the jawbone of the fetus, the processing unit 105 may include a first straight line that is located at a lower portion among the straight lines matching the image having the brightness or more selected from the side image. A straight line (for example, jawbone extension line) can be detected, and a straight line located relatively upward can be detected as the second straight line (for example, nose bone extension line).

한편, 처리부(105)는 볼륨이미지의 n(n은 자연수)개의 측면이미지 각각에 대해, 제1 직선 및 제2 직선을 검출하고, 상기 제2 직선을 이용하여, 상기 제1 직선을 보정할 수 있다.Meanwhile, the processor 105 may detect a first straight line and a second straight line for each of n (n is a natural number) side images of the volume image, and correct the first straight line by using the second straight line. have.

제어부(107)는 n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 제1 직선을 조합하여 상기 표시조직으로 렌더링하고, 상기 렌더링된 표시조직을 화면에 표시하도록 한다.The controller 107 combines the n first straight lines corrected from each of n (n is a natural number) side images to render the display structure, and displays the rendered display structure on the screen.

또한, 제어부(107)는 상기 렌더링된 표시조직에 대한 크기를 측정하여, 화면에 표시하도록 할 수 있다. 예컨대, 제어부(107)는 턱뼈에 대한 크기로서, 턱뼈의 호에 대응하는 변의 길이 또는 상기 변에서 상기 호까지의 최대길이를 측정하여, 화면에 표시하도록 할 수 있다.In addition, the controller 107 may measure the size of the rendered display tissue to display on the screen. For example, the controller 107 may measure the length of the side corresponding to the arc of the jawbone or the maximum length from the side to the arc as the size of the jawbone and display the same on the screen.

도 2는 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기에서 표시조직을 획득하는 방법에 대한 일례를 도시한 도면이다.2 is a diagram illustrating an example of a method of acquiring a display tissue in a three-dimensional ultrasound scanner for three-dimensional modeling of tissue according to an embodiment of the present invention.

도 2를 참조하면, 3차원 초음파 검사기는 오브젝트에 대한 볼륨이미지를 생성하고, 상기 볼륨이미지의 측면이미지로부터 표시조직과 연관된 제1 직선과, 기준조직과 연관된 제2 직선을 검출하며, 상기 제2 직선을 이용하여, 상기 제1 직선을 보정한다. 3차원 초음파 검사기는 복수 개의 측면이미지 각각으로부터 보정된 복수 개의 제1 직선을 조합하여 표시조직을 렌더링하고, 상기 렌더링된 표시조직을 화면에 표시할 수 있다.Referring to FIG. 2, the 3D ultrasound scanner generates a volume image of an object, and detects a first straight line associated with the display tissue and a second straight line associated with the reference tissue from the side image of the volume image. The first straight line is corrected using a straight line. The 3D ultrasound inspector may render a display tissue by combining a plurality of first straight lines corrected from each of the plurality of side images, and display the rendered display tissue on a screen.

예컨대, 3차원 초음파 검사기는 오브젝트에 대한 볼륨이미지(201)를 생성하고, 볼륨이미지(201)의 제1 측면이미지(203-1)로부터 표시조직과 연관된 제1 직선으로서, 태아의 턱뼈를 포함하는 턱뼈 연장선(205)을 검출하고, 기준조직과 연관된 제2 직선으로서, 태아의 코뼈를 포함하는 코뼈 연장선(207)을 검출하며, 코뼈 연장선(207)을 이용하여, 턱뼈 연장선(205)을 보정할 수 있다. 이때, 3차원 초음파 검사기는 턱뼈 연장선(205)에서부터, 코뼈 연장선(207)과 턱뼈 연장선(205)의 교차점(209) 이후의 부분(211)을 제거하여, 턱뼈 연장선(205)을 보정할 수 있다.For example, the 3D ultrasound scanner generates a volume image 201 of an object and includes a fetal jawbone as a first straight line associated with the display tissue from the first side image 203-1 of the volume image 201. The jawbone extension line 205 is detected, and as the second straight line associated with the reference tissue, the nosebone extension line 207 including the nasal bone of the fetus is detected, and the nosebone extension line 207 is used to correct the jawbone extension line 205. Can be. In this case, the 3D ultrasound scanner may correct the jawbone extension line 205 by removing the portion 211 after the intersection point 209 of the nosebone extension line 207 and the jawbone extension line 205 from the jawbone extension line 205. .

3차원 초음파 검사기는 복수 개 예컨대, 5 개의 측면이미지(203-1 내지 203-5) 각각으로부터 보정된 복수 개의 턱뼈 연장선을 조합하여 표시조직을 렌더링하고, 상기 렌더링된 표시조직을 화면에 표시할 수 있다.The 3D ultrasound scanner may render a display tissue by combining a plurality of jawbone extension lines corrected from each of a plurality of side images 203-1 to 203-5, for example, and display the rendered display tissue on a screen. have.

이에, 3차원 초음파 검사기는 보정된 턱뼈 연장선을 조합하여 생성된 턱뼈를 표시 함으로써, 태아에 대한 정확한 턱뼈를 제공하여, 사용자로 하여금, 태아에 대한 언청이 여부를 용이하게 확인할 수 있게 한다.Accordingly, the three-dimensional ultrasound checker displays the jawbone generated by combining the corrected jawbone extension line, thereby providing the correct jawbone for the fetus, so that the user can easily check whether the fetus is unaffected.

도 3은 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기에서 획득한 표시조직에 대한 일례를 도시한 도면이다. 도 3에서, (a)는 오브젝트의 볼륨이미지를 도시한 도면이고, (b)는 오브젝트에 대한 표시조직을 확대하여 도시한 도면이다.3 is a view showing an example of the display tissue obtained by the three-dimensional ultrasound inspector for three-dimensional modeling of the tissue according to an embodiment of the present invention. In FIG. 3, (a) shows a volume image of an object, and (b) shows an enlarged display structure of the object.

도 3을 참조하면, 3차원 초음파 검사기는 오브젝트의 볼륨이미지에 대한 복수 개의 측면이미지 각각으로부터 보정된 복수 개의 제1 직선을 조합하여 표시조직을 렌더링한 후, 렌더링된 표시조직을 화면에 표시할 수 있다. 이때, 3차원 초음파 검사기는 렌더링된 표시조직에 대한 크기를 측정하여, 표시할 수 있다. 여기서, 표시조직은 3차원 영상이미지일 수 있다.Referring to FIG. 3, the 3D ultrasound inspector may render a display structure by combining a plurality of first straight lines corrected from each of a plurality of side images of a volume image of an object, and then display the rendered display tissue on a screen. have. In this case, the 3D ultrasound scanner may measure and display the size of the rendered display tissue. Here, the display structure may be a 3D image image.

예컨대, 3차원 초음파 검사기는 오브젝트가 태아이고, 렌더링된 표시조직이 턱뼈인 경우, 턱뼈에 대한 크기로서, 턱뼈의 호에 대응하는 변(301)의 길이 또는 변(301)에서 호까지의 최대길이(303)를 측정하여, 화면에 표시하도록 할 수 있다.For example, a three-dimensional ultrasound checker is a size for the jawbone when the object is a fetus and the rendered display tissue is the jawbone, the length of the side 301 corresponding to the arc of the jawbone or the maximum length from the side 301 to the arc. 303 may be measured and displayed on the screen.

도 4는 본 발명의 일실시예에 따른 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법을 도시한 흐름도이다.4 is a flowchart illustrating a method of operating a 3D ultrasound inspector for 3D modeling of tissues according to an embodiment of the present invention.

도 4를 참조하면, 401 단계에서, 3차원 초음파 검사기는 오브젝트에 대한 볼륨이미지를 생성하고, 상기 볼륨이미지의 측면이미지로부터 표시조직과 연관된 제1 직선 및 기준조직과 연관된 제2 직선을 검출한다.Referring to FIG. 4, in operation 401, the 3D ultrasound scanner generates a volume image of an object and detects a first straight line associated with the display tissue and a second straight line associated with the reference tissue from the side image of the volume image.

3차원 초음파 검사기는 오브젝트가 태아일 경우, 상기 제1 직선으로서 상기 태아의 턱뼈를 포함하는 턱뼈 연장선을 검출하고, 상기 제2 직선으로서 상기 태아의 코뼈를 포함하는 코뼈 연장선을 검출할 수 있다.When the object is a fetus, the 3D ultrasound scanner may detect a jawbone extension line including the fetal jaw bone as the first straight line, and detect a nasal bone extension line including the nasal bone of the fetus as the second straight line.

이때, 3차원 초음파 검사기는 할 라이크 피춰(Haar-like feature) 방법을 이용하여, 상기 볼륨이미지의 측면이미지로부터 제1, 2 직선을 검출할 수 있다.In this case, the 3D ultrasound inspector may detect the first and second straight lines from the side image of the volume image by using a haar-like feature method.

또한, 3차원 초음파 검사기는 상기 오브젝트가 태아이고, 상기 표시조직이 상기 태아의 턱뼈일 경우, 상기 측면이미지에서 선정된 밝기 이상의 이미지에 매칭되는 직선들 중 상대적으로 하부에 위치하는 직선을 상기 제1 직선(예컨대, 턱뼈 연장선)으로서 검출하고, 상대적으로 상부에 위치하는 직선을 상기 제2 직선(예컨대, 코뼈 연장선)으로서 검출할 수 있다.In addition, when the object is a fetus and the display tissue is a jawbone of the fetus, the 3D ultrasound inspector may include a first straight line that is positioned at a lower portion among the straight lines matching the image having the brightness or more selected from the side images. A straight line (for example, jawbone extension line) can be detected, and a straight line located relatively upward can be detected as the second straight line (for example, nose bone extension line).

403 단계에서, 3차원 초음파 검사기는 제2 직선을 이용하여, 제1 직선을 보정한다.In operation 403, the 3D ultrasound inspector corrects the first straight line using the second straight line.

3차원 초음파 검사기는 오브젝트가 태아일 경우, 상기 턱뼈 연장선에서부터, 상기 코뼈 연장선과 상기 턱뼈 연장선의 교차점 이후를 제거하여, 상기 턱뼈 연장선을 보정할 수 있다.When the object is a fetus, the 3D ultrasound scanner may correct the jawbone extension line by removing after the intersection point of the nosebone extension line and the jawbone extension line from the jawbone extension line.

405 단계에서, 3차원 초음파 검사기는 n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 제1 직선을 조합하여 표시조직으로 렌더링하고, 렌더링된 표시조직을 화면에 표시한다.In operation 405, the 3D ultrasound inspector combines the n first straight lines corrected from each of n (n is a natural number) side images to render the display tissue, and displays the rendered display tissue on the screen.

3차원 초음파 검사기는 오브젝트가 태아일 경우, 보정된 턱뼈 연장선을 조합하여 상기 표시조직으로서 상기 턱뼈를 렌더링하고, 렌더링된 턱뼈를 화면에 표시할 수 있다.When the object is a fetus, the 3D ultrasound scanner may combine the corrected jawbone extension line to render the jawbone as the display tissue and display the rendered jawbone on the screen.

또한, 3차원 초음파 검사기는 상기 렌더링된 표시조직에 대한 크기를 측정하여, 화면에 표시하도록 할 수 있다. 예컨대, 3차원 초음파 검사기는 턱뼈에 대한 크기로서, 턱뼈의 호에 대응하는 변의 길이 또는 상기 변에서 상기 호까지의 최대길이를 측정하여, 화면에 표시할 수 있다.In addition, the 3D ultrasound inspector may measure the size of the rendered display tissue and display the screen on the screen. For example, the 3D ultrasound scanner may measure the length of the side corresponding to the arc of the jawbone or the maximum length from the side to the arc as the size of the jawbone and display it on the screen.

본 발명의 일실시예에 따르면, 오브젝트의 볼륨이미지에 대한 복수의 측면이미지로부터 표시조직과 연관된 제1 직선 및 기준조직에 연관된 제2 직선을 검출하고, 제2 직선을 이용하여 제1 직선을 보정 함으로써, 상기 표시조직(예컨대, 턱뼈)을 정확하게 획득하여 표시할 수 있다.According to an embodiment of the present invention, a first straight line associated with the display tissue and a second straight line associated with the reference tissue are detected from the plurality of side images of the volume image of the object, and the first straight line is corrected using the second straight line. As a result, the display tissue (eg, jawbone) can be accurately obtained and displayed.

본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions. Therefore, the spirit of the present invention should not be construed as being limited to the described embodiments, and all of the equivalents or equivalents of the claims, as well as the following claims, are included in the scope of the present invention.

101: 조직의 3차원 모델링을 위한 3차원 초음파 검사기
103: 스캔부
105: 처리부
107: 제어부101: 3D ultrasound scanner for 3D modeling of tissue
103: scan unit
105: processing unit
107: control unit

Claims (12)

태아에 대한 볼륨이미지를 생성하는 스캔부;
상기 볼륨이미지의 측면이미지로부터 상기 태아의 턱뼈를 포함하는 턱뼈 연장선과, 상기 태아의 코뼈를 포함하는 코뼈 연장선을 검출하고, 상기 턱뼈 연장선에서 상기 코뼈 연장선과 상기 턱뼈 연장선의 교차점 이후를 제거하여, 상기 턱뼈 연장선을 보정하는 처리부; 및
n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 턱뼈 연장선을 조합하여 상기 태아의 턱뼈로 렌더링하고, 상기 렌더링된 턱뼈를 화면에 표시하도록 하는 제어부를 포함하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기.A scan unit generating a volume image of the fetus;
Detecting the jawbone extension line including the fetal jawbone and the nasal bone extension line including the fetal nasal bone from the side image of the volume image, and removing the point after the intersection of the nasal bone extension line and the jawbone extension line from the jawbone extension line, Processing unit for correcting the jawbone extension line; And
and a control unit for combining the n jawbone extension lines corrected from each of the n (n is a natural number) side images to render the jawbone of the fetus and display the rendered jawbone on the screen. 3D ultrasound scanner for dimensional modeling. 삭제delete 삭제delete 제1항에 있어서,
상기 처리부는,
상기 측면이미지로부터 할 라이크 피춰(Haar-like feature) 방법을 이용하여, 상기 턱뼈 연장선 및 상기 코뼈 연장선을 검출하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기.The method of claim 1,
Wherein,
The jawbone extension line and the nasal bone extension line are detected using a haar-like feature method from the side image. 제1항에 있어서,
상기 처리부는,
상기 측면이미지에서 선정된 밝기 이상의 이미지에 매칭되는 직선들 중 상대적으로 하부에 위치하는 직선을 상기 턱뼈 연장선으로 검출하고, 상대적으로 상부에 위치하는 직선을 상기 코뼈 연장선으로 검출하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기.The method of claim 1,
Wherein,
The straight line located at the lower part of the straight lines matching the image of the brightness or more selected in the side image is detected as the jawbone extension line, and the relatively straight line is detected as the nasal bone extension line 3D ultrasound scanner for 3D modeling. 제1항에 있어서,
상기 제어부는,
상기 렌더링된 턱뼈에 대한 크기를 측정하여 상기 화면에 표시하도록 하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기.The method of claim 1,
The control unit,
3D ultrasound inspector for three-dimensional modeling of the tissue, characterized in that for measuring the size of the rendered jawbone to display on the screen. 태아에 대한 볼륨이미지를 생성하는 단계;
상기 볼륨이미지의 측면이미지로부터 상기 태아의 턱뼈를 포함하는 턱뼈 연장선과, 상기 태아의 코뼈를 포함하는 코뼈 연장선을 검출하는 단계;
상기 턱뼈 연장선에서 상기 코뼈 연장선과 상기 턱뼈 연장선의 교차점 이후를 제거하여, 상기 턱뼈 연장선을 보정하는 단계; 및
n(n은 자연수)개의 측면이미지 각각으로부터 보정된 상기 n개의 턱뼈 연장선을 조합하여 상기 태아의 턱뼈로 렌더링하고, 상기 렌더링된 턱뼈를 화면에 표시하는 단계를 포함하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법.Generating a volume image for the fetus;
Detecting a jawbone extension line including the fetal jawbone and a nasal bone extension line including the fetal nose bone from a side image of the volume image;
Correcting the jawbone extension line by removing after the intersection point of the nosebone extension line and the jawbone extension line from the jawbone extension line; And
combining the n jawbone extension lines corrected from each of the n (n is natural numbers) side images and rendering the jawbone of the fetus, and displaying the rendered jawbone on the screen. Operation Method of 3D Ultrasonic Scanner for Modeling. 삭제delete 삭제delete 제7항에 있어서,
상기 턱뼈 연장선과 상기 코뼈 연장선을 검출하는 단계는,
상기 측면이미지로부터 할 라이크 피춰(Haar-like feature) 방법을 이용하여 상기 턱뼈 연장선 및 상기 코뼈 연장선을 검출하는 단계를 포함하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법.The method of claim 7, wherein
Detecting the jawbone extension line and the nose bone extension line,
And detecting the jawbone extension line and the nasal bone extension line by using a haar-like feature method from the side image. 제7항에 있어서,
상기 턱뼈 연장선과 상기 코뼈 연장선을 검출하는 단계는,
상기 측면이미지에서 선정된 밝기 이상의 이미지에 매칭되는 직선들 중 상대적으로 하부에 위치하는 직선을 상기 턱뼈 연장선으로 검출하고, 상대적으로 상부에 위치하는 직선을 상기 코뼈 연장선으로 검출하는 단계를 포함하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법.The method of claim 7, wherein
Detecting the jawbone extension line and the nose bone extension line,
And detecting a straight line positioned at a lower portion of the straight lines matching the image having a brightness higher than the selected brightness in the side image as the jawbone extension line, and detecting a straight line positioned at the upper portion as the nose bone extension line. Operation method of a three-dimensional ultrasonic scanner for three-dimensional modeling of the tissue. 제7항에 있어서,
상기 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법은,
상기 렌더링된 턱뼈에 대한 크기를 측정하여 상기 화면에 표시하는 단계를 더 포함하는 것을 특징으로 하는 조직의 3차원 모델링을 위한 3차원 초음파 검사기의 동작 방법.The method of claim 7, wherein
The operation method of the three-dimensional ultrasound inspector for three-dimensional modeling of the tissue,
And measuring the size of the rendered jawbone and displaying the same on the screen.
KR1020100090127A 2010-09-14 2010-09-14 3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system KR101194289B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100090127A KR101194289B1 (en) 2010-09-14 2010-09-14 3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100090127A KR101194289B1 (en) 2010-09-14 2010-09-14 3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system

Publications (2)

Publication Number Publication Date
KR20120028109A KR20120028109A (en) 2012-03-22
KR101194289B1 true KR101194289B1 (en) 2012-10-24

Family

ID=46133114

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100090127A KR101194289B1 (en) 2010-09-14 2010-09-14 3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system

Country Status (1)

Country Link
KR (1) KR101194289B1 (en)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8908995B2 (en) 2009-01-12 2014-12-09 Intermec Ip Corp. Semi-automatic dimensioning with imager on a portable device
US9779546B2 (en) * 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US9007368B2 (en) 2012-05-07 2015-04-14 Intermec Ip Corp. Dimensioning system calibration systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9939259B2 (en) 2012-10-04 2018-04-10 Hand Held Products, Inc. Measuring object dimensions using mobile computer
US9841311B2 (en) 2012-10-16 2017-12-12 Hand Held Products, Inc. Dimensioning system
US9080856B2 (en) 2013-03-13 2015-07-14 Intermec Ip Corp. Systems and methods for enhancing dimensioning, for example volume dimensioning
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9239950B2 (en) 2013-07-01 2016-01-19 Hand Held Products, Inc. Dimensioning system
US9464885B2 (en) 2013-08-30 2016-10-11 Hand Held Products, Inc. System and method for package dimensioning
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US10060729B2 (en) 2014-10-21 2018-08-28 Hand Held Products, Inc. Handheld dimensioner with data-quality indication
US9762793B2 (en) 2014-10-21 2017-09-12 Hand Held Products, Inc. System and method for dimensioning
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9557166B2 (en) 2014-10-21 2017-01-31 Hand Held Products, Inc. Dimensioning system with multipath interference mitigation
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US10066982B2 (en) 2015-06-16 2018-09-04 Hand Held Products, Inc. Calibrating a volume dimensioner
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9857167B2 (en) 2015-06-23 2018-01-02 Hand Held Products, Inc. Dual-projector three-dimensional scanner
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
EP3396313B1 (en) 2015-07-15 2020-10-21 Hand Held Products, Inc. Mobile dimensioning method and device with dynamic accuracy compatible with nist standard
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10094650B2 (en) 2015-07-16 2018-10-09 Hand Held Products, Inc. Dimensioning and imaging items
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US9940721B2 (en) 2016-06-10 2018-04-10 Hand Held Products, Inc. Scene change detection in a dimensioner
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN108309347B (en) * 2017-01-16 2021-04-09 深圳迈瑞生物医疗电子股份有限公司 Parameter measuring method based on ultrasonic image and ultrasonic imaging system
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061956A (en) 2001-08-30 2003-03-04 Toshiba Corp Ultrasonic diagnostic apparatus, medical diagnosing apparatus and image processing method
US20080086053A1 (en) 2006-10-06 2008-04-10 Siemens Corporate Research, Inc. Component-Based Approach For Fast Left Ventricle Detection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003061956A (en) 2001-08-30 2003-03-04 Toshiba Corp Ultrasonic diagnostic apparatus, medical diagnosing apparatus and image processing method
US20080086053A1 (en) 2006-10-06 2008-04-10 Siemens Corporate Research, Inc. Component-Based Approach For Fast Left Ventricle Detection

Also Published As

Publication number Publication date
KR20120028109A (en) 2012-03-22

Similar Documents

Publication Publication Date Title
KR101194289B1 (en) 3d ultrasound system for 3d modeling of tissue and method for operating 3d ultrasound system
KR101194290B1 (en) 3d ultrasound system for using image filtering and method for operating 3d ultrasound system
WO2012141184A1 (en) Image processing apparatus, method of controlling the same and storage medium
KR20130080640A (en) Method and apparatus for providing ultrasound images
KR101194292B1 (en) Ultrasound system for displaying slice about object and method thereof
KR101194288B1 (en) 3d ultrasound system for extending view of image and method for operating 3d ultrasound system
RU2017111807A (en) DEVICE OF MEDICAL VISUALIZATION
KR20140121377A (en) 3D ultrasound system and method for operating 3d ultrasound system
KR101194282B1 (en) Display system and display method of ultrasound apparatus
US20170281135A1 (en) Image Registration Fiducials
KR101194286B1 (en) 3d ultrasound system for displaying bending degree of inside human body object and method for operating 3d ultrasound system
WO2012157406A1 (en) Image analysis device, program, and image-capturing device
KR101194291B1 (en) Ultrasound system for compounding image of various angles and method for operating ultrasound system
KR101194293B1 (en) Ultrasound system for controlling to display according to measured value of object and method thereof
KR101239810B1 (en) Ultrasound system for intuitive displaying movement change and method for operating ultrasound system
KR101194284B1 (en) Ultrasound system for measuring angle of image and method for operating ultrasound system
KR101229491B1 (en) System and method for operating strain rate of object
KR101113221B1 (en) Ultrasonic diagnostic system and image display method of the ultrasonic diagnostic apparatus
KR101194287B1 (en) 3d ultrasound system for measuring nuchal translucency using strain imaging modality and method for operating 3d ultrasound system
KR101194283B1 (en) Ultrasound system for measuring image using figure template and method for operating ultrasound system
KR20140141384A (en) Method and apparatus for ultrasound diagnosis using 3d volume data
JP6327695B2 (en) Operation support program and operation support system
KR20110126390A (en) 3d ultrasound system and method for operating 3d ultrasound system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20181004

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 8