KR20110104230A - Method for image guidance - Google Patents

Method for image guidance Download PDF

Info

Publication number
KR20110104230A
KR20110104230A KR1020100023248A KR20100023248A KR20110104230A KR 20110104230 A KR20110104230 A KR 20110104230A KR 1020100023248 A KR1020100023248 A KR 1020100023248A KR 20100023248 A KR20100023248 A KR 20100023248A KR 20110104230 A KR20110104230 A KR 20110104230A
Authority
KR
South Korea
Prior art keywords
transformation matrix
drill tip
probe
reference probe
relative
Prior art date
Application number
KR1020100023248A
Other languages
Korean (ko)
Other versions
KR101109132B1 (en
Inventor
이원진
김태일
이우진
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020100023248A priority Critical patent/KR101109132B1/en
Publication of KR20110104230A publication Critical patent/KR20110104230A/en
Application granted granted Critical
Publication of KR101109132B1 publication Critical patent/KR101109132B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C8/00—Means to be fixed to the jaw-bone for consolidating natural teeth or for fixing dental prostheses thereon; Dental implants; Implanting tools
    • A61C8/0089—Implanting tools or instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08—Machine parts specially adapted for dentistry
    • A61C1/082—Positioning or guiding, e.g. of drills
    • A61C1/084—Positioning or guiding, e.g. of drills of implanting tools

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

영상 유도 시스템은 드릴팁을 랜드마크에 위치시킨 상태에서 카메라를 이용해 카메라에 대한 기준 프로브의 상대위치를 나타내는 제1 변환 행렬 및 카메라에 대한 툴 프로브의 상대위치를 나타내는 제2 변환 행렬을 생성하고, 제1 변환 행렬, 제2 변환 행렬 및 기준 프로브에 대한 랜드마크의 상대위치를 나타내는 제3 변환 행렬을 바탕으로 툴 프로브에 대한 드릴팁의 상태위치를 나타내는 제4 변환 행렬을 생성하며, 복수의 표시자의 각각의 삼차원 영상공간에서의 위치와 복수의 표시자의 각각의 물리적 위치를 대응시키는 제5 변환 행렬을 생성한 이후, 제1 변환 행렬, 제2 변환 행렬, 제4 변환 행렬 및 제5 변환 행렬을 바탕으로 삼차원 영상공간에서 드릴팁의 위치를 나타내는 제6 변환 행렬을 생성한다.The image guidance system generates a first transformation matrix representing the relative position of the reference probe relative to the camera and a second transformation matrix representing the relative position of the tool probe relative to the camera with the drill tip positioned at the landmark, Generate a fourth transformation matrix representing the position of the drill tip relative to the tool probe based on the first transformation matrix, the second transformation matrix, and the third transformation matrix representing the relative position of the landmark relative to the reference probe; After generating a fifth transform matrix that corresponds a position in each three-dimensional image space of the child to the respective physical positions of the plurality of indicators, the first transform matrix, the second transform matrix, the fourth transform matrix, and the fifth transform matrix are generated. On the basis of this, a sixth transformation matrix representing the position of the drill tip in the three-dimensional image space is generated.

Description

영상 유도 방법{METHOD FOR IMAGE GUIDANCE}Image Induction Method {METHOD FOR IMAGE GUIDANCE}

본 발명은 영상 유도 방법에 관한 것이다. 특히 본 발명은 구강외과 수술용 스텐트 기반의 영상 유도 방법에 관한 것이다.The present invention relates to an image derivation method. In particular, the present invention relates to a stent-based image induction method for oral surgery.

결손된 치아의 대치물로 인공치아를 이식하는 임플란트(implant) 시술에서 중요한 요소는 치조골에 삽입되는 인공치아의 3차원적 위치, 각도 및 깊이로써 이러한 요소들은 환자의 심미적, 음성학적 및 저작 기능적 측면에 영향을 끼친다.An important factor in implantation of an artificial tooth as a substitute for a missing tooth is the three-dimensional position, angle, and depth of the artificial tooth inserted into the alveolar bone, which may affect the aesthetic, phonetic and chewing functional aspects of the patient. Affects.

성공적으로 임플란트 시술을 하기 위해서, 시술자는 악골 주위의 중요한 해부학적 구조를 정확히 인지하고, 인공치아의 식립 위치, 각도 및 깊이를 시술 전에 미리 계획한 후, 시술 시 정확히 재현하여 인공치아를 악골 내에 식립 해야 한다. 이때 인지해야 할 중요한 해부학적 구조는 하악관(mandibular canal), 이공(mental foramen), 절치공(incisive foramen), 상악동(maxillary sinus), 악하선와(submandibular fossa) 등이 있으며, 결손된 치아 주위의 치아와 잔존골의 두께 및 형태도 정확히 인지해야 한다.In order to successfully perform implantation, the surgeon accurately recognizes the important anatomical structures around the jaw bone, plans the placement position, angle and depth of the artificial tooth before the procedure, and then accurately reproduces the implanted tooth in the jaw bone during the procedure. Should be. Important anatomical structures to be aware of include mandibular canal, mandibular foramen, incisive foramen, maxillary sinus, and submandibular fossa. The thickness and shape of the remaining bone should also be known accurately.

하지만, 임플란트 시술 시에 악골 주의의 해부학적 구조를 모니터링할 수 없는 경우, 시술의 성공률은 시술자의 수기 능력에 따라 결정되고 있는 실정이다. 따라서 시술의 성공률을 높이고 임상에서 쉽게 활용될 수 있는 여러 가지 시술 보조방법이 개발되고 있다.However, if the anatomical structure of the jaw bone can not be monitored at the time of implantation, the success rate of the procedure is determined by the operator's handwriting ability. Therefore, various surgical aids are being developed to increase the success rate of the procedure and to be easily used in clinical practice.

특히 삼차원 영상 유도 기술을 이용한 임플란트 시술법은 위성 항법 장치(Global Positioning System, GPS)와 같은 원리를 이용하여, 시술 중 시술 도구의 위치를 컴퓨터 모니터 상에 환자의 삼차원 해부학적 영상과 겹쳐서 표시해줌으로써 환자의 해부학적 구조에 대한 시술 도구의 상대적인 위치 정보를 시술자에게 제공한다. In particular, the implant method using three-dimensional image guidance technology uses the same principle as the Global Positioning System (GPS) to display the position of the treatment tool on the computer monitor and superimpose the three-dimensional anatomical image of the patient on the computer monitor. Provide the operator with the relative position of the instrument relative to the anatomical structure.

이를 통해 시술 중 침습적 과정을 줄이고 병소의 국소 위치 측정 및 적중 능력을 향상시킬 수 있다. 특히 임플란트 시술의 경우, 시술자는 환자의 삼차원 해부학적 영상에서 핸드피스의 위치를 실시간으로 확인할 수 있다.This can reduce the invasive process during the procedure and improve the ability to localize and hit the lesion. In particular, in the case of an implant procedure, the operator can check the position of the handpiece in real time on a three-dimensional anatomical image of the patient.

하지만, 임플란트 시술 시, 여러 종류의 드릴팁이 사용되기 때문에, 드릴팁을 변경할 때마다 드릴팁의 정확한 위치를 파악하기 위해 드릴팁의 위치를 교정(calibration)해야 한다.However, since various types of drill tips are used in the implant procedure, each time the drill tip is changed, the position of the drill tip must be calibrated to determine the exact position of the drill tip.

다음은 도 1을 참고하여 종래에 드릴팁의 위치를 교정하는 방법에 대해 설명한다.Next, a method of calibrating a position of a drill tip in the related art will be described with reference to FIG. 1.

도 1은 종래의 드릴팁 위치 교정 방법을 도시한 도면이다.1 is a view showing a conventional drill tip position calibration method.

도 1에 도시된 바와 같이, 종래에는 피보팅 블록(pivoting block)(10)의 홈(divot)에 드릴팁을 위치 시킨 후, 드릴팁을 30~60도 기울인 채로 일정한 속도와 방향으로 20여 초간 회전시켜야 한다.As shown in FIG. 1, conventionally, after positioning a drill tip in a groove of a pivoting block 10, the drill tip is rotated for about 20 seconds at a constant speed and direction while tilting the drill tip 30 to 60 degrees. You have to.

즉, 드릴팁의 위치 변화는 제1 위치(30a), 제2 위치(30b), 제3 위치(30c), 그리고 제4 위치(30d)의 순서에 따른다.That is, the position change of the drill tip depends on the order of the 1st position 30a, the 2nd position 30b, the 3rd position 30c, and the 4th position 30d.

이와 같은 종래의 방법에 따르면, 20여 초간 회전을 시키면서 오차가 발생할 여지가 크고, 불편하며, 시간이 오래 걸린다는 단점이 있다. 또한 피보팅 블록(pivoting block)(10)의 홈(divot)의 크기가 드릴팁의 크기와 맞아야 하며, 드릴팁의 회전에 따라 피보팅 블록(pivoting block)(10)이 움직이지 않아야 하는 단점이 있다.According to the conventional method as described above, there is a disadvantage that the error is large, uncomfortable, and takes a long time while rotating for about 20 seconds. In addition, the size of the groove (divot) of the pivoting block (pivoting block) 10 should match the size of the drill tip, there is a disadvantage that the pivoting block (pivoting block) 10 should not move in accordance with the rotation of the drill tip.

본 발명이 이루고자 하는 기술적 과제는 임플란트 시술 시 시술자에게 핸드피스에 장착된 드릴팁의 정확한 위치 정보를 제공하는 것이다.The technical problem to be achieved by the present invention is to provide the operator with the correct position information of the drill tip mounted on the handpiece during the implant procedure.

본 발명의 특징에 따른 영상 유도 방법은 시스템이 삼차원 영상공간에 드릴팁의 위치를 표시하는 영상 유도 방법으로써, 드릴팁을 랜드마크에 위치시킨 상태에서 카메라를 이용해 카메라에 대한 기준 프로브의 상대위치를 나타내는 제1 변환 행렬을 생성하는 단계, 드릴팁을 랜드마크에 위치시킨 상태에서 카메라를 이용해 카메라에 대한 툴 프로브의 상대위치를 나타내는 제2 변환 행렬을 생성하는 단계, 제1 변환 행렬, 제2 변환 행렬 및 기준 프로브에 대한 랜드마크의 상대위치를 나타내는 제3 변환 행렬을 바탕으로 툴 프로브에 대한 드릴팁의 상태위치를 나타내는 제4 변환 행렬을 생성하는 단계, 복수의 표시자의 각각의 삼차원 영상공간에서의 위치와 복수의 표시자의 각각의 물리적 위치를 대응시키는 제5 변환 행렬을 생성하는 단계, 그리고 제1 변환 행렬, 제2 변환 행렬, 제4 변환 행렬 및 제5 변환 행렬을 바탕으로 삼차원 영상공간에서 드릴팁의 위치를 나타내는 제6 변환 행렬을 생성하는 단계를 포함한다.The image guidance method according to an aspect of the present invention is an image guidance method in which a system displays the position of a drill tip in a three-dimensional image space. Generating a first transform matrix, the second transform matrix representing a relative position of the tool probe with respect to the camera using the camera with the drill tip positioned at the landmark, the first transform matrix, the second transform Generating a fourth transformation matrix representing the position of the drill tip relative to the tool probe based on the third transformation matrix representing the relative position of the landmark relative to the matrix and the reference probe, in each three-dimensional image space of the plurality of indicators Generating a fifth transformation matrix that corresponds a position of to and a respective physical position of the plurality of indicators, and a first And a ring matrix, a second transformation matrix, a sixth step of generating a transformation matrix that represents the position of the drill tip in a three-dimensional image space into four transformation matrix and the transformation matrix based on the fifth.

본 발명의 다른 특징에 따른 영상 유도 방법은 시스템이 삼차원 영상공간에 드릴팁의 위치를 표시하는 영상 유도 방법으로써, 제1 드릴팁을 랜드마크에 위치시킨 상태에서 미리 정해진 기준좌표에 대한 기준 프로브의 상대위치를 나타내는 제1 변환 행렬을 생성하는 단계, 제1 드릴팁을 랜드마크에 위치시킨 상태에서, 기준좌표에 대한 툴 프로브의 상대위치를 나타내는 제2 변환 행렬을 생성하는 단계, 제1 변환 행렬, 제2 변환 행렬 및 툴 프로브에 대한 제1 드릴팁의 상대위치를 바탕으로 기준 프로브에 대한 랜드마크의 상대위치를 나타내는 제3 변환 행렬을 생성하는 단계, 제2 드릴팁을 랜드마크에 위치시킨 상태에서, 기준좌표에 대한 기준 프로브의 상대위치를 나타내는 제4 변환 행렬을 생성하는 단계, 제2 드릴팁을 랜드마크에 위치시킨 상태에서, 기준좌표에 대한 툴 프로브의 상대위치를 나타내는 제5 변환 행렬을 생성하는 단계, 그리고 제3 변환 행렬, 제4 변환 행렬 및 제5 변환 행렬을 바탕으로 기준 프로브에 대한 제2 드릴팁의 상대위치를 결정하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image deriving method in which a system displays a position of a drill tip in a three-dimensional image space. Generating a first transformation matrix representing the relative position, generating a second transformation matrix representing the relative position of the tool probe with respect to the reference coordinate with the first drill tip positioned at the landmark, the first transformation matrix Generating a third transformation matrix representing a relative position of the landmark relative to the reference probe based on the second transformation matrix and the relative position of the first drill tip relative to the tool probe, positioning the second drill tip in the landmark In the state, generating a fourth transformation matrix representing the relative position of the reference probe with respect to the reference coordinate, with the second drill tip placed in the landmark, Generating a fifth transformation matrix representing the relative position of the tool probe relative to the quasi-coordinate; and based on the third transformation matrix, the fourth transformation matrix and the fifth transformation matrix, the relative position of the second drill tip relative to the reference probe Determining.

본 발명의 특징에 따르면, 스텐트에 장착된 프로브와 핸드피스에 장착된 프로브의 위치를 이용하여 핸드피스에 장착된 드릴팁의 위치를 결정함으로써, 임플란트 시술 중 시술자에게 드릴팁의 정확한 위치를 제공할 수 있다.According to a feature of the present invention, the position of the drill tip mounted on the handpiece is determined by using the position of the probe mounted on the stent and the probe mounted on the handpiece, thereby providing the correct position of the drill tip to the operator during the implant procedure. Can be.

도 1은 종래의 드릴팁 위치 교정 방법을 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 영상 유도 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 스텐트의 구조를 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 기준 프로브의 구조를 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 툴 프로브의 구조를 도시한 도면이다.
도 6은 본 발명의 실시예에 따른 영상 유도 방법을 도시한 도면이다
도 7은 본 발명의 실시예에 따른 드릴팁 오프셋 측정 방법을 도시한 도면이다.1 is a view showing a conventional drill tip position calibration method.
2 is a diagram showing the configuration of an image guidance system according to an embodiment of the present invention.
3 is a view showing the structure of the stent according to the embodiment of the present invention.
4 is a diagram illustrating a structure of a reference probe according to an embodiment of the present invention.
5 is a view showing the structure of a tool probe according to an embodiment of the present invention.
6 is a diagram illustrating an image derivation method according to an exemplary embodiment of the present invention.
7 is a view showing a drill tip offset measurement method according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이제 도면을 참고하여 본 발명의 실시예에 따른 영상 유도 시스템 및 방법에 자세히 설명한다.Referring now to the drawings will be described in detail in the image guidance system and method according to an embodiment of the present invention.

먼저 도 2를 참고하여 본 발명의 실시예에 따른 영상 유도 시스템의 구성에 대해 설명한다.First, a configuration of an image guidance system according to an exemplary embodiment of the present invention will be described with reference to FIG. 2.

도 2는 본 발명의 실시예에 따른 영상 유도 시스템의 구성을 도시한 도면이다.2 is a diagram showing the configuration of an image guidance system according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 영상 유도 시스템은 스텐트(stent)(100), 기준 프로브(reference probe)(200), 핸드피스(hand-piece)(300), 툴 프로브(tool probe)(400), 위치추적 카메라(500), 영상 유도 장치(600) 및 영상 표시 장치(700)를 포함한다.As shown in FIG. 2, the image guidance system includes a stent 100, a reference probe 200, a hand-piece 300, a tool probe 400. , The location tracking camera 500, the image guidance apparatus 600, and the image display apparatus 700.

스텐트(100)는 환자에게 장착되며, 수순 전에 환자의 위치를 미리 저장된 삼차원 영상에 등록하거나, 수술 중에 한자의 위치변경을 추적하는 기준체(reference body)로 사용된다. 이때 스텐트는 치과에서 일반적으로 사용하는 바이트 인상 획득 방법을 통해 제작될 수 있다.The stent 100 is mounted on the patient and used as a reference body for registering the position of the patient in a pre-stored three-dimensional image or tracking the change of the position of the Chinese character during the procedure. At this time, the stent may be manufactured through a bite impression acquisition method commonly used in dentistry.

기준 프로브(200)는 환자의 위치를 등록하고 추적하기 위해 스텐트(100)에 부착된다.Reference probe 200 is attached to stent 100 to register and track the position of the patient.

핸드피스(300)는 임플란트 시술에 사용하는 수술도구로써 다양한 직경의 드릴팁이 결합되어 사용된다.Handpiece 300 is a surgical tool used in the implant procedure is used to combine a drill tip of various diameters.

툴 프로브(400)는 핸드피스(300)에 결합된 드릴팁의 위치를 추적하기 위해 핸드피스(300)에 부착된다.Tool probe 400 is attached to handpiece 300 to track the position of the drill tip coupled to handpiece 300.

위치추적 카메라(500)는 광학적 특성을 이용해 기준 프로브(200) 및 툴 프로브(400)의 위치를 추적하는데 이용된다.The location camera 500 is used to track the position of the reference probe 200 and the tool probe 400 using the optical characteristics.

영상 유도 장치(600)는 위치추적 카메라(500)를 이용하여 기준 프로브(200) 및 툴 프로브(400)의 각각의 위치를 추적하고, 기준 프로브(200) 및 툴 프로브(400)의 각각의 위치를 바탕으로 핸드피스(300)에 결합된 드릴팁의 위치를 추적한다.The image guidance apparatus 600 tracks respective positions of the reference probe 200 and the tool probe 400 by using the positioning camera 500, and positions each of the reference probe 200 and the tool probe 400. Based on the track position of the drill tip coupled to the handpiece 300.

영상 표시 장치(700)는 핸드피스(300)에 결합된 드릴팁의 위치를 삼차원 영상공간에서 표시한다.The image display apparatus 700 displays the position of the drill tip coupled to the handpiece 300 in the three-dimensional image space.

다음은 도 3을 참고하여 본 발명의 실시예에 따른 스텐트의 구조에 대해 설명한다.Next, the structure of the stent according to the embodiment of the present invention will be described with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 스텐트의 구조를 도시한 도면이다.3 is a view showing the structure of the stent according to the embodiment of the present invention.

도 3에 도시된 바와 같이, 스텐트(100)는 교합면 인상용 트레이(110), 교합면 인기용 실리콘(130) 및 표시부(150)를 포함하며, 환자의 치열에 고정된다.As shown in FIG. 3, the stent 100 includes an occlusal surface pulling tray 110, an occlusal surface popular silicone 130, and a display unit 150, and is fixed to the patient's dentition.

교합면 인기용 실리콘(130)은 환자의 치열 교합상태가 기록되어 있으며, 교합면 인상용 트레이(110)의 반원형 홀에 삽입된다. 환자의 치열 교합상태가 기록된 교합면 인기용 실리콘(130)은 스텐트(100)가 환자의 치열에 정확히 결합되도록 한다.The occlusal surface popular silicone 130 records the orthodontic occlusal state of the patient and is inserted into the semicircular hole of the occlusal surface raising tray 110. Occlusal surface popular silicone 130 in which the patient's orthodontic occlusion is recorded allows the stent 100 to be precisely coupled to the patient's dentition.

표시부(150)는 쇠구슬 형태의 복수의 표시자 즉, 제1 표시자(151), 제2 표시자(152), 제3 표시자(153), 제4 표시자(154), 제5 표시자(155) 및 제6 표시자(156), 그리고 블록 형태의 연결부(157)를 포함하며, 연결부(157)를 통해 교합면 인상용 트레이(110)에 연결된다.The display unit 150 includes a plurality of indicators in the form of a metal ball, that is, a first indicator 151, a second indicator 152, a third indicator 153, a fourth indicator 154, and a fifth display. A ruler 155, a sixth indicator 156, and a block-shaped connection part 157 are connected to the occlusal surface impression tray 110 through the connection part 157.

다음은 도 4를 참고하여 본 발명의 실시예에 따른 스텐트에 부착된 기준 프로브의 구조에 대해 설명한다.Next, the structure of the reference probe attached to the stent according to the embodiment of the present invention will be described with reference to FIG. 4.

도 4는 본 발명의 실시예에 따른 기준 프로브의 구조를 도시한 도면이다.4 is a diagram illustrating a structure of a reference probe according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 기준 프로브(200)는 나사 결합을 통해 스텐트(100)에 부착되며, X자 형태의 지지대 끝에 형성된 복수의 마커(marker) 즉, 제1 마커(210), 제2 마커(220), 제3 마커(230) 및 제4 마커(240)를 포함한다. 이때 복수의 마커의 각각은 위치추적 카메라(500)를 통해 식별이 가능하도록 형광 물질이 도포되어 있다.As shown in FIG. 4, the reference probe 200 is attached to the stent 100 by screwing, and includes a plurality of markers formed at the end of the X-shaped support, that is, the first marker 210 and the second. The marker 220, the third marker 230, and the fourth marker 240 are included. In this case, each of the plurality of markers is coated with a fluorescent material to be identified through the location tracking camera 500.

다음은 도 5를 참고하여 본 발명의 실시예에 따른 핸드피스에 부착된 툴 프로브의 구조에 대해 설명한다.Next, a structure of a tool probe attached to a handpiece according to an exemplary embodiment of the present invention will be described with reference to FIG. 5.

도 5는 본 발명의 실시예에 따른 툴 프로브의 구조를 도시한 도면이다.5 is a view showing the structure of a tool probe according to an embodiment of the present invention.

도 5에 도시된 바와 같이, 툴 프로브(400)는 나사 결합을 통해 핸드피스(300)에 부착되며, X자 형태의 지지대 끝에 형성된 복수의 마커(marker) 즉, 제1 마커(410), 제2 마커(420), 제3 마커(430) 및 제4 마커(440)를 포함한다. 이때 복수의 마커의 각각은 위치추적 카메라(500)를 통해 식별이 가능하도록 형광 물질이 도포되어 있다.As shown in FIG. 5, the tool probe 400 is attached to the handpiece 300 by screwing, and includes a plurality of markers formed at the end of the X-shaped support, that is, the first marker 410, and the first marker 410. And a second marker 420, a third marker 430, and a fourth marker 440. In this case, each of the plurality of markers is coated with a fluorescent material to be identified through the location tracking camera 500.

이때 도 5에 도시된 핸드피스(300)는 드릴팁(310)이 결합된 형태이다.At this time, the handpiece 300 shown in Figure 5 is a drill tip 310 is combined.

다음은 도 6 및 도 7을 참고하여 본 발명의 실시예에 따른 영상 유도 시스템이 삼차원 영상공간에 드릴팁의 위치를 표시하는 방법에 대해 설명한다.Next, a method of displaying the position of the drill tip in the 3D image space by the image guidance system according to an embodiment of the present invention will be described with reference to FIGS. 6 and 7.

도 6은 본 발명의 실시예에 따른 영상 유도 방법을 도시한 도면이다6 is a diagram illustrating an image derivation method according to an exemplary embodiment of the present invention.

도 6에 도시된 바와 같이, 먼저, 영상 유도 장치(600)는 드릴팁의 오프셋을 측정한다(S100). 이때 드릴팁의 오프셋은 핸드피스(300)에 부착된 툴 프로브(400)에 대한 핸드피스(300)에 결합된 드릴팁(310)의 상대위치를 나타낸다.As shown in FIG. 6, first, the image guidance apparatus 600 measures an offset of a drill tip (S100). In this case, the offset of the drill tip indicates a relative position of the drill tip 310 coupled to the handpiece 300 with respect to the tool probe 400 attached to the handpiece 300.

이하에서는 도 7을 참고하여 본 발명의 실시예에 따른 영상 유도 장치가 드릴팁의 오프셋을 측정하는 방법에 대해 설명한다.Hereinafter, a method of measuring an offset of a drill tip by an image guidance apparatus according to an exemplary embodiment of the present invention will be described with reference to FIG. 7.

도 7은 본 발명의 실시예에 따른 드릴팁 오프셋 측정 방법을 도시한 도면이다.7 is a view showing a drill tip offset measurement method according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 먼저, 툴 프로브(400)가 부착된 핸드피스(300)의 제1 드릴팁을 기준 프로브(200)가 부착된 스텐트(100)의 제1 표시자(151)에 위치시킨다(S101). 이때 제1 표시자(151)는 드릴팁의 위치를 교정하기 위한 랜드마크(landmark)에 해당한다.As shown in FIG. 7, first, the first drill tip of the handpiece 300 to which the tool probe 400 is attached is connected to the first indicator 151 of the stent 100 to which the reference probe 200 is attached. Position it (S101). In this case, the first indicator 151 corresponds to a landmark for correcting the position of the drill tip.

다음, 영상 유도 장치(600)는 위치추적 카메라(500)를 이용해 위치추적 카메라(500)에 대한 기준 프로브(200)의 상대위치를 나타내는 제1 동차 변환 행렬(Homogeneous Transformation Matrix)을 생성한다(S103). 이때 제1 동차 변환 행렬(Mref_1)은 수학식 1을 따를 수 있다.Next, the image guidance apparatus 600 generates a first homogeneous transformation matrix indicating a relative position of the reference probe 200 with respect to the location camera 500 by using the location camera 500 (S103). ). In this case, the first homogeneous transformation matrix M ref_1 may follow Equation 1.

Figure pat00001
Figure pat00001

수학식 1에서, Cref_1은 위치추적 카메라(500)의 위치를 기준으로 기준 프로브(200)의 위치를 나타내는 (3,1)형의 좌표 변환 행렬(Coordinate Transformation Matrix)이며, 기준 프로브(200)의 위치는 위치추적 카메라(500)를 통해 측정된 기준 프로브(200)의 제1 마커(210)의 좌표에 해당한다.In Equation 1, C ref_1 is a (3,1) coordinate transformation matrix indicating a position of the reference probe 200 based on the position of the position tracking camera 500, and the reference probe 200 The position of corresponds to the coordinate of the first marker 210 of the reference probe 200 measured by the location tracking camera 500.

수학식 1에서, Rref_1은 기준 프로브(200)의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬(Rotation Transformation Matrix)이며, 기준 프로브(200)의 회전정보는 제1 마커(210)에 대한 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 상대좌표를 바탕으로 위치추적 카메라(500)를 통해 측정된 제1 마커(210), 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 좌표에 따라 결정된다. 이때 제1 마커(210)에 대한 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 상대좌표는 영상 유도 장치(600)에 미리 저장된다.In Equation 1, R ref_1 is a rotation transformation matrix of type (3,3) indicating rotation information of the reference probe 200, and the rotation information of the reference probe 200 is the first marker 210. The first marker 210 and the second marker measured by the positioning camera 500 based on the relative coordinates of the second marker 220, the third marker 230, and the fourth marker 240 with respect to each other. It is determined according to the coordinates of the 220, the third marker 230, and the fourth marker 240. In this case, the relative coordinates of the second marker 220, the third marker 230, and the fourth marker 240 with respect to the first marker 210 are stored in advance in the image guide device 600.

수학식 1에서, Sref_1은 기준 프로브(200)의 크기변환 인자(Scaling Factor)로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 1, S ref_1 has a positive integer value as a scaling factor of the reference probe 200 and may be predetermined. I is a zero matrix of type (1,3).

이후, 영상 유도 장치(600)는 위치추적 카메라(500)를 이용해 위치추적 카메라(500)에 대한 툴 프로브(400)의 상대위치를 나타내는 제2 동차 변환 행렬을 생성한다(S105). 이때 제2 동차 변환 행렬(Mtool_1)은 수학식 2를 따를 수 있다.Thereafter, the image guide apparatus 600 generates a second homogeneous transformation matrix representing the relative position of the tool probe 400 with respect to the position tracking camera 500 by using the position tracking camera 500 (S105). In this case, the second homogeneous transformation matrix M tool_1 may follow Equation 2.

Figure pat00002
Figure pat00002

수학식 2에서, Ctool_1은 위치추적 카메라(500)의 위치를 기준으로 툴 프로브(400)의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 툴 프로브(400)의 위치는 툴 프로브(400)의 제1 마커(410)의 좌표에 해당한다.In Equation 2, C tool_1 is a coordinate transformation matrix of type (3,1) indicating the position of the tool probe 400 based on the position of the position tracking camera 500, and the position of the tool probe 400 is the tool probe. Corresponds to the coordinate of the first marker 410 of 400.

수학식 2에서, Rtool_1은 툴 프로브(400)의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이며, 툴 프로브(400)의 회전정보는 제1 마커(410)에 대한 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 상대좌표를 바탕으로 위치추적 카메라(500)를 통해 측정된 제1 마커(410), 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 좌표에 따라 결정된다. 이때 제1 마커(410)에 대한 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 상대좌표는 영상 유도 장치(600)에 미리 저장된다.In Equation 2, R tool_1 is a rotation transformation matrix of type (3,3) representing rotation information of the tool probe 400, and the rotation information of the tool probe 400 is a second marker for the first marker 410. The first marker 410, the second marker 420, and the first marker 410 measured by the positioning camera 500 based on the relative coordinates of the 420, the third marker 430, and the fourth marker 440. It is determined according to the coordinates of each of the three markers 430 and the fourth marker 440. In this case, the relative coordinates of the second marker 420, the third marker 430, and the fourth marker 440 with respect to the first marker 410 are stored in advance in the image guide device 600.

수학식 2에서, Stool_1은 툴 프로브(400)의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 2, S tool_1 has a positive integer value as a size conversion factor of the tool probe 400 and may be predetermined. I is a zero matrix of type (1,3).

다음, 영상 유도 장치(600)는 제1 동차 변환 행렬, 제2 동차 변환 행렬을 바탕으로 기준 프로브(200)에 대한 랜드마크의 상대위치를 나타내는 제3 동차 변환 행렬을 계산한다(S107). 이때 영상 유도 장치(600)는 수학식 3에 따라 제3 동차 변환 행렬(Plandmark _1)을 계산할 수 있다.Next, the image derivation apparatus 600 calculates a third homogeneous transformation matrix indicating a relative position of the landmark with respect to the reference probe 200 based on the first homogeneous transformation matrix and the second homogeneous transformation matrix (S107). In this case, the image deriving apparatus 600 may calculate the third homogeneous transformation matrix P landmark _1 according to Equation 3 below.

Figure pat00003
Figure pat00003

수학식 3에서, Mref _1 -1은 수학식 1에 따른 제1 동차 변환 행렬의 역행렬이고, Mtool_1은 수학식 2에 따른 제2 동차 변환 행렬이다.In Equation 3, M ref _1 -1 is an inverse of the first homogeneous transformation matrix according to Equation 1, and M tool_1 is a second homogeneous transformation matrix according to Equation 2.

수학식 3에서, Moffset_1은 툴 프로브(400)에 대한 제1 드릴팁의 상대위치를 나타내는 제4 동차 변환 행렬로써 영상 유도 장치(600)에 미리 저장되며, 수학식 4를 따를 수 있다.In Equation 3, M offset_1 is a fourth homogeneous transformation matrix representing a relative position of the first drill tip with respect to the tool probe 400, and is previously stored in the image derivation apparatus 600, and may follow Equation 4.

Figure pat00004
Figure pat00004

수학식 4에서, Coffset_1은 툴 프로브(400)의 위치를 기준으로 제1 드릴팁의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 제1 드릴팁의 위치는 제1 드릴팁의 끝점의 좌표에 해당한다.In Equation 4, C offset_1 is a coordinate transformation matrix of type (3,1) indicating the position of the first drill tip with respect to the position of the tool probe 400, and the position of the first drill tip is Corresponds to the coordinates of the endpoint.

수학식 4에서, Roffset_1은 제1 드릴팁의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이며, 수학식 5를 따를 수 있다.In Equation 4, R offset_1 is a rotation transformation matrix of the type (3, 3) representing the rotation information of the first drill tip, it can follow equation (5).

Figure pat00005
Figure pat00005

수학식 4에서, Soffset_1은 제1 드릴팁의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 4, S offset_1 has a positive integer value as a size conversion factor of the first drill tip, it may be predetermined. I is a zero matrix of type (1,3).

수학식 3에서, 제3 동차 변환 행렬(Plandmark_1)은 수학식 6을 따를 수 있다.In Equation 3, the third homogeneous transformation matrix P landmark_1 may follow Equation 6.

Figure pat00006
Figure pat00006

수학식 6에서, Clandmark_1은 기준 프로브(200)의 위치를 기준으로 랜드마크의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 기준 프로브(200)의 위치는 기준 프로브(200)의 제1 마커(210)의 좌표에 해당하며, 제1 표시자(151)의 위치는 제1 표시자의 좌표에 해당한다.In Equation 6, C landmark_1 is a coordinate transformation matrix of type (3,1) indicating the position of the landmark based on the position of the reference probe 200, and the position of the reference probe 200 is Corresponds to the coordinates of the first marker 210, and the position of the first indicator 151 corresponds to the coordinates of the first indicator.

수학식 6에서, Rlandmark_1은 랜드마크의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이다. Slandmark_1은 제1 표시자의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 6, R landmark_1 is a rotation transformation matrix of type (3,3) representing rotation information of a landmark . S landmark_1 has a positive integer value as a size conversion factor of the first indicator and may be predetermined. I is a zero matrix of type (1,3).

이후, 툴 프로브(400)가 부착된 핸드피스(300)의 제2 드릴팁을 기준 프로브(200)가 부착된 스텐트(100)의 제1 표시자(151)에 위치시킨다(S109).Thereafter, the second drill tip of the handpiece 300 to which the tool probe 400 is attached is positioned on the first indicator 151 of the stent 100 to which the reference probe 200 is attached (S109).

다음, 영상 유도 장치(600)는 위치추적 카메라(500)를 이용해 위치추적 카메라(500)에 대한 기준 프로브(200)의 상대위치를 나타내는 제5 동차 변환 행렬을 생성한다(S111). 이때 제5 동차 변환 행렬(Mref_2)은 수학식 7을 따를 수 있다.Next, the image guidance apparatus 600 generates a fifth homogeneous transformation matrix representing the relative position of the reference probe 200 with respect to the location camera 500 by using the location camera 500 (S111). In this case, the fifth homogeneous transformation matrix M ref_2 may follow Equation 7.

Figure pat00007
Figure pat00007

수학식 7에서, Cref_2는 위치추적 카메라(500)의 위치를 기준으로 기준 프로브(200)의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 기준 프로브(200)의 위치는 위치추적 카메라를 통해 측정된 기준 프로브(200)의 제1 마커(210)의 좌표에 해당한다.In Equation 7, C ref_2 is a coordinate transformation matrix of type (3,1) indicating the position of the reference probe 200 based on the position of the position tracking camera 500, and the position of the reference probe 200 is the position tracking. Corresponds to the coordinates of the first marker 210 of the reference probe 200 measured by the camera.

수학식 7에서, Rref_2는 기준 프로브(200)의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이며, 기준 프로브(200)의 회전정보는 제1 마커(210)에 대한 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 상대좌표를 바탕으로 위치추적 카메라(500)를 통해 측정된 제1 마커(210), 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 좌표에 따라 결정된다.In Equation 7, R ref_2 is a rotation transformation matrix of type (3,3) indicating rotation information of the reference probe 200, and the rotation information of the reference probe 200 is a second marker for the first marker 210. The first marker 210, the second marker 220, and the first marker 210 measured by the positioning camera 500 based on the relative coordinates of the 220, the third marker 230, and the fourth marker 240, respectively. It is determined according to the coordinates of each of the third marker 230 and the fourth marker 240.

수학식 7에서, Sref_2는 기준 프로브(200)의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 7, S ref_2 has a positive integer value as a size conversion factor of the reference probe 200 and may be predetermined. I is a zero matrix of type (1,3).

이후, 영상 유도 장치(600)는 위치추적 카메라(500)를 이용해 위치추적 카메라(500)에 대한 툴 프로브(400)의 상대위치를 나타내는 제6 동차 변환 행렬을 생성한다(S113). 이때 제6 동차 변환 행렬(Mtool_2)은 수학식 8을 따를 수 있다.Thereafter, the image guidance apparatus 600 generates a sixth homogeneous transformation matrix representing the relative position of the tool probe 400 with respect to the location camera 500 by using the location camera 500 (S113). In this case, the sixth homogeneous transformation matrix M tool_2 may follow Equation 8.

Figure pat00008
Figure pat00008

수학식 8에서, Ctool_2는 위치추적 카메라(500)의 위치를 기준으로 툴 프로브(400)의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 툴 프로브(400)의 위치는 위치추적 카메라(500)를 통해 측정된 툴 프로브(400)의 제1 마커(410)의 좌표에 해당한다.In Equation 8, C tool_2 is a coordinate transformation matrix of type (3,1) indicating the position of the tool probe 400 based on the position of the position tracking camera 500, and the position of the tool probe 400 is the position tracking. Corresponds to the coordinates of the first marker 410 of the tool probe 400 measured by the camera 500.

수학식 8에서, Rtool_2는 툴 프로브(400)의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이며, 툴 프로브(400)의 회전정보는 제1 마커(410)에 대한 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 상대좌표를 바탕으로 위치추적 카메라(500)를 통해 측정된 제1 마커(410), 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 좌표에 따라 결정된다.In Equation 8, R tool_2 is a rotation transformation matrix of type (3,3) representing rotation information of the tool probe 400, and the rotation information of the tool probe 400 is a second marker for the first marker 410. The first marker 410, the second marker 420, and the first marker 410 measured by the positioning camera 500 based on the relative coordinates of the 420, the third marker 430, and the fourth marker 440. It is determined according to the coordinates of each of the three markers 430 and the fourth marker 440.

수학식 8에서, Stool_2는 툴 프로브(400)의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 8, S tool_2 has a positive integer value as a size conversion factor of the tool probe 400 and may be predetermined. I is a zero matrix of type (1,3).

다음, 영상 유도 장치(600)는 제5 동차 변환 행렬 및 제6 동차 변환 행렬을 바탕으로 툴 프로브(400)에 대한 제2 드릴팁의 상대위치를 나타내는 제7 동차 변환 행렬을 생성한다(S115). 이때 영상 유도 장치(600)는 수학식 9에 따라 제7 동차 변환 행렬(Moffset_2)을 계산할 수 있다.Next, the image deriving apparatus 600 generates a seventh homogeneous transformation matrix indicating a relative position of the second drill tip with respect to the tool probe 400 based on the fifth and sixth homogeneous transformation matrix (S115). . In this case, the image inducing apparatus 600 may calculate a seventh homogeneous transformation matrix M offset_2 according to Equation 9.

Figure pat00009
Figure pat00009

수학식 9에서, Mtool _2 - 1는 수학식 8에 따른 제6 동차 변환 행렬의 역행렬이고, Mref_2는 수학식 7에 따른 제5 동차 변환 행렬이다.In Equation 9, M tool _2 - 1 is the inverse matrix of the homogeneous transformation matrix of claim 6 according to Equation 8, M is a fifth ref_2 homogeneous transformation matrix of the equation (7).

수학식 9에서, Plandmark_2는 수학식 3 및 수학식 6에 따른 제3 동차 변환 행렬에 대응하는 제8 동차 변환 행렬로써 수학식 10을 따를 수 있다.In Equation 9, P landmark_2 may follow Equation 10 as an eighth homogeneous transformation matrix corresponding to the third homogeneous transformation matrix according to Equations 3 and 6.

Figure pat00010
Figure pat00010

수학식 10에서, Clandmark_1은 수학식 6에 따른 기준 프로브(200)의 위치를 기준으로 랜드마크의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이다. Slandmark_1은 제1 표시자의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 10, C landmark_1 is a coordinate transformation matrix of type (3,1) indicating a location of a landmark based on the position of the reference probe 200 according to Equation 6. S landmark_1 has a positive integer value as a size conversion factor of the first indicator and may be predetermined. I is a zero matrix of type (1,3).

수학식 10에서, Rlandmark_2는 랜드마크의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬로써 수학식 11을 따를 수 있다.In Equation 10, R landmark_2 may follow Equation 11 as a rotation transformation matrix of type (3,3) representing rotation information of a landmark .

Figure pat00011
Figure pat00011

수학식 9에서, 제7 동차 변환 행렬(Moffset_2)은 수학식 12를 따를 수 있다.In Equation 9, the seventh homogeneous transformation matrix M offset_2 may follow Equation 12.

Figure pat00012
Figure pat00012

수학식 12에서, Coffset_2는 툴 프로브(400)의 위치를 기준으로 제2 드릴팁의 끝점의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 제2 드릴팁의 위치는 제2 드릴팁의 끝점의 좌표에 해당한다.In Equation 12, C offset_2 is a coordinate transformation matrix of type (3,1) indicating the position of the end point of the second drill tip with respect to the position of the tool probe 400, the position of the second drill tip is Corresponds to the coordinates of the tip of the tip.

수학식 12에서, Roffset_2는 제2 드릴팁의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이다. Soffset_2는 제2 드릴팁의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 12, R offset_2 is a rotation transformation matrix of type (3,3) representing rotation information of the second drill tip. S offset_2 has a positive integer value as a size conversion factor of the second drill tip and may be predetermined. I is a zero matrix of type (1,3).

다시 도 6을 참고하여 본 발명의 실시예에 따른 영상 유도 시스템이 삼차원 영상공간에 드릴팁의 위치를 표시하는 방법에 대해 설명한다.Referring to FIG. 6 again, a method of displaying the position of the drill tip in the three-dimensional image space by the image guidance system according to the embodiment of the present invention will be described.

다음, 영상 유도 장치(600)는 위치추적 카메라를 이용해 위치 추적 카메라(500)에 대한 스텐트(100)에 부착된 기준 프로브(200)의 상대 위치를 나타내는 기준 프로브(200)의 변환 행렬을 생성한다(200). 이때 기준 프로브(200)의 변환 행렬(MREF)은 수학식 13을 따를 수 있다.Next, the image guidance apparatus 600 generates a transformation matrix of the reference probe 200 indicating the relative position of the reference probe 200 attached to the stent 100 with respect to the positioning camera 500 using the positioning camera. (200). In this case, the transformation matrix M REF of the reference probe 200 may follow Equation 13.

Figure pat00013
Figure pat00013

수학식 13에서, CREF는 위치추적 카메라(500)의 위치를 기준으로 기준 프로브(200)의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 기준 프로브(200)의 위치는 위치추적 카메라(500)를 통해 측정된 기준 프로브(200)의 제1 마커(210)의 좌표에 해당한다.In Equation 13, C REF is a coordinate transformation matrix of type (3,1) indicating the position of the reference probe 200 with respect to the position of the position tracking camera 500, the position of the reference probe 200 Corresponds to the coordinates of the first marker 210 of the reference probe 200 measured by the camera 500.

수학식 13에서, RREF는 기준 프로브(200)의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이며, 기준 프로브(200)의 회전정보는 제1 마커(210)에 대한 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 상대좌표를 바탕으로 위치추적 카메라(500)를 통해 측정된 제1 마커(210), 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 좌표에 따라 결정된다. 이때 제1 마커(210)에 대한 제2 마커(220), 제3 마커(230) 및 제4 마커(240)의 각각의 상대좌표는 영상 유도 장치(600)에 미리 저장된다.In Equation 13, R REF is a rotation transformation matrix of type (3,3) representing rotation information of the reference probe 200, and the rotation information of the reference probe 200 is a second marker for the first marker 210. The first marker 210, the second marker 220, and the first marker 210 measured by the positioning camera 500 based on the relative coordinates of the 220, the third marker 230, and the fourth marker 240, respectively. It is determined according to the coordinates of each of the third marker 230 and the fourth marker 240. In this case, the relative coordinates of the second marker 220, the third marker 230, and the fourth marker 240 with respect to the first marker 210 are stored in advance in the image guide device 600.

수학식 13에서, SREF는 기준 프로브(200)의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 13, S REF has a positive integer value as a size conversion factor of the reference probe 200 and may be predetermined. I is a zero matrix of type (1,3).

이후, 영상 유도 장치(600)는 위치추적 카메라(500)를 이용해 위치추적 카메라(500)에 대한 툴 프로브(400)의 상대위치를 나타내는 툴 프로브(400)의 변환 행렬을 생성한다(S300). 이때 툴 프로브(400)의 변환 행렬(MTOOL)은 수학식 14를 따를 수 있다.Thereafter, the image guidance apparatus 600 generates a transformation matrix of the tool probe 400 indicating the relative position of the tool probe 400 with respect to the location camera 500 using the location camera 500 (S300). In this case, the transformation matrix M TOOL of the tool probe 400 may follow Equation 14.

Figure pat00014
Figure pat00014

수학식 14에서, CTOOL은 위치추적 카메라(500)의 위치를 기준으로 툴 프로브(400)의 위치를 나타내는 (3,1)형의 좌표 변환 행렬이며, 툴 프로브(400)의 위치는 툴 프로브(400)의 제1 마커(410)의 좌표에 해당한다.In Equation 14, C TOOL is a coordinate transformation matrix of type (3,1) indicating the position of the tool probe 400 based on the position of the position tracking camera 500, and the position of the tool probe 400 is the tool probe. Corresponds to the coordinate of the first marker 410 of 400.

수학식 14에서, RTOOL은 툴 프로브(400)의 회전정보를 나타내는 (3,3)형의 회전 변환 행렬이며, 툴 프로브(400)의 회전정보는 제1 마커(410)에 대한 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 상대좌표를 바탕으로 위치추적 카메라(500)를 통해 측정된 제1 마커(410), 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 좌표에 따라 결정된다. 이때 제1 마커(410)에 대한 제2 마커(420), 제3 마커(430) 및 제4 마커(440)의 각각의 상대좌표는 영상 유도 장치(600)에 미리 저장된다.In Equation 14, R TOOL is a rotation transformation matrix of type (3,3) representing rotation information of the tool probe 400, and the rotation information of the tool probe 400 is a second marker for the first marker 410. The first marker 410, the second marker 420, and the first marker 410 measured by the positioning camera 500 based on the relative coordinates of the 420, the third marker 430, and the fourth marker 440. It is determined according to the coordinates of each of the three markers 430 and the fourth marker 440. In this case, the relative coordinates of the second marker 420, the third marker 430, and the fourth marker 440 with respect to the first marker 410 are stored in advance in the image guide device 600.

수학식 14에서, STOOL은 툴 프로브(400)의 크기변환 인자로써 양의 정수 값을 가지며, 미리 정해질 수 있다. I는 (1,3)형의 영행렬이다.In Equation 14, S TOOL has a positive integer value as a size conversion factor of the tool probe 400 and may be predetermined. I is a zero matrix of type (1,3).

다음, 영상 유도 장치(600)는 환자의 해부학적 구조를 나타내는 삼차원의 영상 공간과 물리적 공간을 매핑(mapping)하기 위해 미리 저장된 컴퓨터 단층촬영 영상(Computed Tomography image, 이하에서는 '시티 영상')에 나타나는 복수의 표시자의 각각의 위치와 표시부(150)의 복수의 표시자의 각각의 물리적 위치를 대응시키는 매핑 변환 행렬(MREG)을 생성한다(S400). 이때 표시부(150)의 복수의 표시자의 각각의 물리적 위치는 기준 프로브(200)의 위치에 대한 복수의 표시자의 각각의 상대위치로써 기준 프로브(200)의 변환 행렬을 바탕으로 결정된다. 또한 기준 프로브(200)의 위치에 대한 복수의 표시자의 각각의 상대위치는 영상 유도 장치(600)에 미리 저장된다.Next, the image induction device 600 appears on a pre-stored computed tomography image (hereinafter, 'city image') to map a physical space and a three-dimensional image space representing an anatomical structure of a patient. A mapping transformation matrix M REG is generated to correspond to each position of the plurality of indicators and each physical position of the plurality of indicators of the display unit 150 (S400). In this case, the physical positions of the plurality of indicators of the display unit 150 are determined based on the transformation matrix of the reference probe 200 as respective positions of the plurality of indicators relative to the position of the reference probe 200. Also, the relative positions of the plurality of indicators with respect to the position of the reference probe 200 are stored in advance in the image guide device 600.

이후, 영상 유도 장치(600)는 매핑 변환 행렬(MREG), 기준 프로브(200)의 변환 행렬, 툴 프로브(400)의 변환 행렬 및 드릴팁(310)의 오프셋을 바탕으로 삼차원 영상 공간에서 드릴팁(310)의 위치를 나타내는 드릴팁(310)의 변환 행렬을 생성한다(S500). 이때 영상 유도 장치(600)는 수학식 15에 따라 드릴팁(310)의 변환 행렬(MTIP)을 계산할 수 있다.Thereafter, the image derivation apparatus 600 drills in a three-dimensional image space based on the mapping transformation matrix M REG , the transformation matrix of the reference probe 200, the transformation matrix of the tool probe 400, and the offset of the drill tip 310. A transformation matrix of the drill tip 310 representing the position of the tip 310 is generated (S500). In this case, the image inducing apparatus 600 may calculate a transformation matrix M TIP of the drill tip 310 according to Equation 15.

Figure pat00015
Figure pat00015

수학식 15에서, MREF는 매핑 변환 행렬이고, MREF - 1는 수학식 13에 따른 기준 프로브(200)의 변환 행렬의 역행렬이며, MTOOL은 수학식 14에 따른 툴 프로브(400)의 변환 행렬이다.In Equation 15, M REF is a mapping transformation matrix, M REF - 1 is an inverse of the transformation matrix of the reference probe 200 according to Equation 13, and M TOOL is the transformation of the tool probe 400 according to Equation 14 It is a matrix.

수학식 15에서, MOFFSET은 드릴팁(310)의 오프셋으로써 도 7을 참고로 설명한 드릴팁 오프셋 측정 방법에 따라 측정될 수 있다.In Equation 15, M OFFSET may be measured according to the drill tip offset measuring method described with reference to FIG. 7 as an offset of the drill tip 310.

다음, 영상 표시 장치(700)는 드릴팁(310)의 변환 행렬을 바탕으로 삼차원의 영상 공간에서 드릴팁의 위치를 표시한다(S600).Next, the image display apparatus 700 displays the position of the drill tip in the three-dimensional image space based on the transformation matrix of the drill tip 310 (S600).

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention described above are not only implemented by the apparatus and method but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded, The embodiments can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

Claims (14)

시스템이 삼차원 영상공간에 드릴팁의 위치를 표시하는 영상 유도 방법에 있어서,
상기 드릴팁을 랜드마크에 위치시킨 상태에서 카메라를 이용해 상기 카메라에 대한 기준 프로브의 상대위치를 나타내는 제1 변환 행렬을 생성하는 단계;
상기 드릴팁을 상기 랜드마크에 위치시킨 상태에서 상기 카메라를 이용해 상기 카메라에 대한 툴 프로브의 상대위치를 나타내는 제2 변환 행렬을 생성하는 단계;
상기 제1 변환 행렬, 상기 제2 변환 행렬 및 상기 기준 프로브에 대한 상기 랜드마크의 상대위치를 나타내는 제3 변환 행렬을 바탕으로 상기 툴 프로브에 대한 상기 드릴팁의 상태위치를 나타내는 제4 변환 행렬을 생성하는 단계;
복수의 표시자의 각각의 상기 삼차원 영상공간에서의 위치와 상기 복수의 표시자의 각각의 물리적 위치를 대응시키는 제5 변환 행렬을 생성하는 단계; 및
상기 제1 변환 행렬, 상기 제2 변환 행렬, 상기 제4 변환 행렬 및 상기 제5 변환 행렬을 바탕으로 상기 삼차원 영상공간에서 상기 드릴팁의 위치를 나타내는 제6 변환 행렬을 생성하는 단계를 포함하는 영상 유도 방법.In the image derivation method in which the system displays the position of the drill tip in the three-dimensional image space,
Generating a first transformation matrix representing a relative position of a reference probe with respect to the camera by using a camera with the drill tip positioned at a landmark;
Generating a second transformation matrix representing a relative position of a tool probe with respect to the camera using the camera with the drill tip positioned at the landmark;
A fourth transformation matrix representing a state position of the drill tip with respect to the tool probe based on the first transformation matrix, the second transformation matrix, and a third transformation matrix representing the relative position of the landmark with respect to the reference probe; Generating;
Generating a fifth transformation matrix that maps a location in each of the plurality of indicators to the three-dimensional image space and each physical location of the plurality of indicators; And
Generating a sixth transformation matrix representing a position of the drill tip in the three-dimensional image space based on the first transformation matrix, the second transformation matrix, the fourth transformation matrix, and the fifth transformation matrix. Induction method. 제1항에 있어서,
상기 제4 변환 행렬은
상기 툴 프로브의 위치를 기준으로 상기 드릴팁의 끝점의 위치를 나타내는 좌표 변환 행렬을 포함하는 영상 유도 방법.The method of claim 1,
The fourth transformation matrix is
And a coordinate transformation matrix representing a position of an end point of the drill tip based on the position of the tool probe. 제1항에 있어서,
상기 복수의 표시자의 각각의 물리적 위치는
미리 저장된 기준 프로브의 위치에 대한 복수의 표시자의 각각의 상대위치 및 상기 제1 변환 행렬을 바탕으로 결정되는 영상 유도 방법.The method of claim 1,
Each physical location of the plurality of indicators is
And a relative position of each of the plurality of indicators relative to a position of a pre-stored reference probe and the first transformation matrix. 제1항에 있어서,
상기 제1 변환 행렬은
상기 위치추적 카메라의 위치를 기준으로 상기 기준 프로브의 위치를 나타내는 좌표 변환 행렬; 및
상기 기준 프로브의 회전정보를 나타내는 회전 변환 행렬을 포함하는 영상 유도 방법.The method of claim 1,
The first transformation matrix is
A coordinate transformation matrix representing a position of the reference probe with respect to the position of the position tracking camera; And
And a rotation transformation matrix representing rotation information of the reference probe. 제4항에 있어서,
상기 기준 프로브는
복수의 마커를 포함하며,
상기 기준 프로브의 위치는
상기 카메라를 통해 측정된 복수의 마커 중 제1 마커의 좌표인 영상 유도 방법.The method of claim 4, wherein
The reference probe is
Includes a plurality of markers,
The position of the reference probe is
The image guidance method of the coordinates of the first marker of the plurality of markers measured by the camera. 제5항에 있어서,
상기 기준 프로브의 회전정보는
상기 제1 마커에 대한 상기 복수의 마커의 각각의 상대좌표를 바탕으로 상기 카메라를 통해 측정된 상기 복수의 마커의 각각의 좌표에 따라 결정되는 영상 유도 방법.The method of claim 5,
Rotation information of the reference probe is
And an image is determined according to respective coordinates of the plurality of markers measured by the camera based on the relative coordinates of the plurality of markers with respect to the first marker. 제1항에 있어서,
상기 삼차원 영상공간은
환자의 해부학적 구조를 포함하는 시티(Computed Tomography, CT) 영상이며,
상기 영상 유도 방법은
상기 제6 변환 행렬을 바탕으로 상기 시티 영상에서 상기 드릴팁의 위치를 표시하는 단계를 더 포함하는 영상 유도 방법.The method of claim 1,
The three-dimensional image space
Computed Tomography (CT) image containing the anatomy of the patient,
The image induction method
And displaying the position of the drill tip in the city image based on the sixth transformation matrix. 제1항에 있어서,
상기 랜드마크는
상기 복수의 표시자 중 어느 하나인 영상 유도 방법.The method of claim 1,
The landmark is
An image induction method is any one of the plurality of indicators. 시스템이 삼차원 영상공간에 드릴팁의 위치를 표시하는 영상 유도 방법에 있어서,
제1 드릴팁을 랜드마크에 위치시킨 상태에서 미리 정해진 기준좌표에 대한 기준 프로브의 상대위치를 나타내는 제1 변환 행렬을 생성하는 단계;
상기 제1 드릴팁을 상기 랜드마크에 위치시킨 상태에서, 상기 기준좌표에 대한 툴 프로브의 상대위치를 나타내는 제2 변환 행렬을 생성하는 단계;
상기 제1 변환 행렬, 상기 제2 변환 행렬 및 상기 툴 프로브에 대한 상기 제1 드릴팁의 상대위치를 바탕으로 상기 기준 프로브에 대한 상기 랜드마크의 상대위치를 나타내는 제3 변환 행렬을 생성하는 단계;
제2 드릴팁을 상기 랜드마크에 위치시킨 상태에서, 상기 기준좌표에 대한 상기 기준 프로브의 상대위치를 나타내는 제4 변환 행렬을 생성하는 단계;
상기 제2 드릴팁을 상기 랜드마크에 위치시킨 상태에서, 상기 기준좌표에 대한 상기 툴 프로브의 상대위치를 나타내는 제5 변환 행렬을 생성하는 단계; 및
상기 제3 변환 행렬, 상기 제4 변환 행렬 및 상기 제5 변환 행렬을 바탕으로 상기 기준 프로브에 대한 상기 제2 드릴팁의 상대위치를 결정하는 단계를 포함하는 영상 유도 방법.In the image derivation method in which the system displays the position of the drill tip in the three-dimensional image space,
Generating a first transformation matrix representing a relative position of a reference probe with respect to a predetermined reference coordinate with the first drill tip positioned at the landmark;
Generating a second transformation matrix representing a relative position of a tool probe with respect to the reference coordinate with the first drill tip positioned at the landmark;
Generating a third transformation matrix representing the relative position of the landmark relative to the reference probe based on the relative position of the first transformation matrix, the second transformation matrix and the first drill tip relative to the tool probe;
Generating a fourth transformation matrix representing a relative position of the reference probe with respect to the reference coordinate with the second drill tip positioned at the landmark;
Generating a fifth transformation matrix representing a relative position of the tool probe with respect to the reference coordinate with the second drill tip positioned at the landmark; And
And determining a relative position of the second drill tip relative to the reference probe based on the third transformation matrix, the fourth transformation matrix, and the fifth transformation matrix. 제9항에 있어서,
상기 영상 유도 방법은
결정된 제2 드릴팁의 상대위치에 상기 삼차원 영상공간에서 상기 기준 프로브의 위치를 기준으로 상기 제2 드릴팁의 위치를 표시하는 단계를 포함하는 영상 유도 방법.10. The method of claim 9,
The image induction method
And displaying the position of the second drill tip based on the position of the reference probe in the three-dimensional image space at the determined position of the second drill tip. 제9항에 있어서,
상기 제3 변환 행렬은
상기 기준 프로브의 위치를 기준으로 상기 랜드마크의 위치를 나타내는 좌표 변환 행렬을 포함하는 영상 유도 방법.10. The method of claim 9,
The third transformation matrix is
And a coordinate transformation matrix representing a position of the landmark based on the position of the reference probe. 제11항에 있어서,
상기 기준 프로브는
하나 이상의 마커를 포함하며,
상기 기준 프로브의 위치는
상기 하나 이상의 마커의 좌표인 영상 유도 방법.The method of claim 11,
The reference probe is
Contains one or more markers,
The position of the reference probe is
And image coordinates of the one or more markers. 제9항에 있어서,
상기 제1 드릴팁 또는 상기 제2 드릴팁은
핸드피스(hand-piece)에 결합되며,
상기 툴 프로브는
상기 핸드피스에 부착된 영상 유도 방법.10. The method of claim 9,
The first drill tip or the second drill tip is
Coupled to the hand-piece,
The tool probe
Image guide method attached to the handpiece. 제9항에 있어서,
상기 기준 프로브는
스텐트(stent)에 부착되며,
상기 스텐트는
환자의 치열에 결합되는 영상 유도 방법.10. The method of claim 9,
The reference probe is
Attached to the stent,
The stent is
Imaging method coupled to the patient's dentition.
KR1020100023248A 2010-03-16 2010-03-16 Method for image guidance KR101109132B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100023248A KR101109132B1 (en) 2010-03-16 2010-03-16 Method for image guidance

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100023248A KR101109132B1 (en) 2010-03-16 2010-03-16 Method for image guidance

Publications (2)

Publication Number Publication Date
KR20110104230A true KR20110104230A (en) 2011-09-22
KR101109132B1 KR101109132B1 (en) 2012-02-15

Family

ID=44955056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100023248A KR101109132B1 (en) 2010-03-16 2010-03-16 Method for image guidance

Country Status (1)

Country Link
KR (1) KR101109132B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678910B1 (en) * 2015-06-09 2016-12-06 (주) 시원 Apparatus for guiding drilling
WO2016200177A1 (en) * 2015-06-09 2016-12-15 (주)시원 Drilling guide device and method
KR20170052101A (en) * 2015-11-03 2017-05-12 주식회사 메가젠임플란트 Implanting system using real-time image guidance
WO2018065487A1 (en) * 2016-10-04 2018-04-12 Forstgarten International Holding Gmbh Retaining arc for anchoring motion sensors and method for manufacturing same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002309220B2 (en) * 2001-05-31 2008-05-15 Image Navigation Ltd. Image guided implantology methods
KR100611373B1 (en) * 2005-09-16 2006-08-11 주식회사 사이버메드 Correction method in medical navigation system
US8934961B2 (en) * 2007-05-18 2015-01-13 Biomet Manufacturing, Llc Trackable diagnostic scope apparatus and methods of use

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101678910B1 (en) * 2015-06-09 2016-12-06 (주) 시원 Apparatus for guiding drilling
WO2016200177A1 (en) * 2015-06-09 2016-12-15 (주)시원 Drilling guide device and method
KR20170052101A (en) * 2015-11-03 2017-05-12 주식회사 메가젠임플란트 Implanting system using real-time image guidance
WO2018065487A1 (en) * 2016-10-04 2018-04-12 Forstgarten International Holding Gmbh Retaining arc for anchoring motion sensors and method for manufacturing same

Also Published As

Publication number Publication date
KR101109132B1 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
Panchal et al. Dynamic navigation for dental implant surgery
JP6299981B2 (en) Correction device and correction method for three-dimensional spatial angle of dental handpiece drill
US8435033B2 (en) Dental navigation techniques
US6640128B2 (en) Method and device for the navigation-assisted dental treatment
US5927982A (en) Three dimensional guidance system for dental implant insertion
BR112020026114B1 (en) METHOD AND SYSTEM THAT USE Augmented Visualization
US8905758B2 (en) System and method for manufacturing a dental implant surgical guide
US20140234804A1 (en) Assisted Guidance and Navigation Method in Intraoral Surgery
Kang et al. Verification of the usability of a navigation method in dental implant surgery: in vitro comparison with the stereolithographic surgical guide template method
CN111407443A (en) Accurate positioning and intelligent navigation method for oral implantation robot
US20120028213A1 (en) Method and apparatus for bending a guide post used in forming a template for locating a dental inplant hole
Möhlhenrich et al. Accuracy of orthodontic mini-implants placed at the anterior palate by tooth-borne or gingiva-borne guide support: a cadaveric study
Widmann et al. Use of a surgical navigation system for CT-guided template production.
WO2015107520A1 (en) Dental guiding system and method
KR101086865B1 (en) Standard guide stent and an implant placement system using this and its control method
KR101109132B1 (en) Method for image guidance
US20120028211A1 (en) Occlusion template
Kim et al. An advanced navigational surgery system for dental implants completed in a single visit: An in vitro study
Wat et al. Precision surgical template for implant placement: a new systematic approach
Tsuji et al. A new navigation system based on cephalograms and dental casts for oral and maxillofacial surgery
GB2513245A (en) Improvements in surgical instruments
EP2044903B1 (en) Method for making surgical guides and six degrees-of-freedom pointing device
Nahmias Dynamic endodontic navigation: a case report
CN112545650A (en) Navigation positioning method and system for dentistry
US20120244490A1 (en) Head Positioning Instrument

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150106

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161227

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171221

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 9