KR20160032694A - 의료 절차 동안 움직임을 결정하고 트래킹하는 시스템 - Google Patents

의료 절차 동안 움직임을 결정하고 트래킹하는 시스템 Download PDF

Info

Publication number
KR20160032694A
KR20160032694A KR1020150130809A KR20150130809A KR20160032694A KR 20160032694 A KR20160032694 A KR 20160032694A KR 1020150130809 A KR1020150130809 A KR 1020150130809A KR 20150130809 A KR20150130809 A KR 20150130809A KR 20160032694 A KR20160032694 A KR 20160032694A
Authority
KR
South Korea
Prior art keywords
tracking
pattern
image
fixture
surgical instruments
Prior art date
Application number
KR1020150130809A
Other languages
English (en)
Other versions
KR101776062B1 (ko
Inventor
스코트 에이. 메리트
로버트 더블유. 에머리
에드워드 제이. 마란도라
크리스토퍼 더블유. 샤르프
Original Assignee
엑스-네브 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑스-네브 테크놀로지스, 엘엘씨 filed Critical 엑스-네브 테크놀로지스, 엘엘씨
Publication of KR20160032694A publication Critical patent/KR20160032694A/ko
Application granted granted Critical
Publication of KR101776062B1 publication Critical patent/KR101776062B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/51—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for dentistry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C1/00—Dental machines for boring or cutting ; General features of dental machines or apparatus, e.g. hand-piece design
    • A61C1/08—Machine parts specially adapted for dentistry
    • A61C1/082—Positioning or guiding, e.g. of drills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C9/00—Impression cups, i.e. impression trays; Impression methods
    • A61C9/004—Means or methods for taking digitized impressions
    • A61C9/0046—Data acquisition means or methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dentistry (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Image Processing (AREA)

Abstract

외과 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템. 영상 유도 시스템은 광학적으로 가시적인 패턴의 영상을 캡처하기 위하여 수술 영역 외부에 위치되도록 맞추어진 복수의 카메라를 포함한다. 처리 시스템은 영상을 수신하고 처리하여 패턴을 인식하고 카메라에 대한 각 패턴의 위치와 방위를 삼각 측량한다. 처리 시스템은 구강의 해부학적 구조의 일부에 대한 정렬에 기초하여 기준 좌표계를 정의하는 기준 데이터세트를 사용한다. 처리 시스템은 기준 데이터세트에 기초하여 트래킹되는 기구의 위치 및 방위를 결정한다.

Description

의료 절차 동안 움직임을 결정하고 트래킹하는 시스템{SYSTEM FOR DETERMINING AND TRACKING MOVEMENT DURING A MEDICAL PROCEDURE}
[관련 출원]
본 출원은 2014년 9월 16일 출원된 공동 계류 중인 미국 출원 제14/488,004호에 관한 것이다.
[기술분야]
본 발명은 영상 유도 수술(image guided surgery)을 위한 시스템에 관한 것으로, 더욱 상세하게는 외부에서 가시적인 기준점을 이용하여 의료 절차 동안 움직임을 결정하고 트래킹하는 시스템에 관한 것이다.
영상 유도 수술은 수년간 광범위한 발전을 해 왔으며, 이제 외과 수술에서 매우 중요한 도구이다. 발전의 대부분은 장기(internal organ)와 같은 접근이 매우 어려운 신체 내에서의 촬상 위치에 중점을 두어 왔다.
구강 내에 발생하는 임의의 수술로서 본 명세서에 정의된 구강 수술은 시각적으로 수행하기에 어려울 수 있다. 구강은 상대적으로 작고 환자가 긴 기간 동안 열린 상태를 유지하기 어렵다. 수술 위치가 눈에 보이더라도, 드릴이 통과하면, 끝 부분이 임의의 주어진 시간에 어디에 있는지 판단하기 어렵게 된다.
영상 유도 수술은, 수술 위치의 디지털 영상(일반적으로 3차원으로)을 형성하기 위하여, 일반적으로 CT 또는 CAT 스캔이라 하는 컴퓨터 단층 촬영(computered tomography) 또는 컴퓨터 체축 단층 촬영(computerized axial tomography)의 사용을 포함한다. 그 다음, 외과의는 영상을 이용하여 수술 계획을 작성한다. 수술 동안, 이전의 CT 스캔으로부터 생성된 영상은 특수 기구와 함께 사용되어, 환자 내부에서 기구의 끝 부분이 어디에 있는지 시각적으로 묘사한다.
그렇게 하기 위하여, 스캔으로부터의 디지털 영상은 환자의 움직임이 디지털 영상의 조정을 일으키도록 환자의 수술 위치에 정확하게 정합되어야만 한다. 또한, 환자에 대한 기구 끝 부분의 정확한 위치도 알려져야 한다.
구강 수술을 위하여, 예를 들어, 치과 임플란트 배치(dental implant placement) 동안, 의사는 환자가 잠재적으로 움직이는 6개의 자유도로 드릴을 제어하면서, 자유 공간에서 드릴링하여야 한다. 이것은 뿌리와 신경을 회피하면서 양호한 뼈 내로 정확하게 드릴링하는 것을 매우 어렵게 한다. 이와 같이, 영상 유도 수술은 최근에 드릴링 과정을 용이하게 하는데 사용되어 왔다. 환자 치아의 CT 스캔은, 가장 성공적이고 외상이 가장 적을 가능성이 있는 복원 솔루션을 제공하도록 수술 이벤트를 계획하기 위하여, 골밀도, 폭 및 높이를 정확하게 판단하고, 또한 다른 치아 및 해부 구조의 관계를 이해하는데 있어서 의사에 의해 사용된다.
수술전 계획을 수동적 수술 가이드로 옮기는데, 즉 수술을 위한 가상 계획을 생성하고 그 다음 치과 실험실에서 계획을 구현하기 위한 수술 가이드를 사전에 만드는데 도움을 주기 위하여 CT 영상을 이용하는 계획 소프트웨어 및 제조 시스템이 요즘 존재한다. 이러한 수동적 수술 가이드는 의사에게 적합한 위치, 각도 및 깊이를 정확하게 알려주는 것을 돕는다. 수동적 영상 유도 수술은 제약을 가진다. 이는 치과 실험실에서 또는 가이드 제조자에 의해 수술 전에 제조되어야 한다. 이것은 의사와 환자의 시간과 비용을 더 많이 필요로 한다. 환자의 입이 변경되거나 의사가 계획을 변경하기 원하면, 가이드는 더 이상 유용하지 않다. 많은 경우에, 환자는 필요한 기구 및 가이드를 수용하기에 충분히 넓게 자신의 입을 열 수 없다.
능동적 영상 유도 수술은 수동적 유도 시스템의 많은 문제점, 즉 제한된 최대 입 열기를 해결하며, 수동적 가이드를 사전 제조하는 필요성과 수술 동안 계획을 변경할 수 없는 것은 능동적 유도 시스템에 의해 극복될 수 있다. 능동적 영상 유도 수술을 제공하기 위하여, 환자의 입, 구체적으로는 뼈와 치아의 위치는 정확하게 트래킹되어 스캐닝된 영상과 수술 도구에 정합되어야 한다. 그렇게 하기 위하여, 대부분의 종래 시스템은 환자의 머리에 부착되거나 환자의 입으로 삽입되는, 기점 마커 및 센서를 포함하는 정합 장치의 생성을 필요로 한다. 일부 정합 장치는 머리의 외부, 예를 들어, 머리 장착 고정물에 부착된다. 다른 것은 수술 구역과의 간섭을 제한하고 광학 센서가 고정물 및 수술 도구의 움직임을 트래킹하는 것을 허용하기 위하여 입의 외부에 위치된 센서를 가지면서 턱뼈에 부착되는 고정물을 수반한다.
구강 고정물을 형성하기 위하여, 일반적으로 윗니 및 아랫니 세트의 본(impression)이 수술 몇 주 전에 떠진다. 본은 치아를 실질적으로 복제하는 주형(cast)이 제조되는 실험실로 보내진다. 주형으로부터 치아에 안착하거나 턱뼈 내로 드릴링되도록 설계되는 구강 고정물이 제조된다. 고정물은 적어도 기점 마커를 포함하고, 또한, 센서와 피팅되지 않는다면, 광학 센서에 대한 장착 위치를 포함한다.
실험실이 고정물을 생성한 후에, 이는 치과 외과의에게 다시 보내진다. 환자가 들어와서 고정물로 피팅되고, CT 스캔이 얻어진다. 환자는 다시 집으로 보내진다. 환자 구강의 디지털 영상은 스캔으로부터 형성되고, 외과의는 수술 계획을 개발한다.
그 다음 환자는 수술을 위해 온다. 고정물은 환자에게 부착된다. 광 송신기는 환자 근처에 위치되어 센서(들)에 의해 검출되는 신호를 방출한다. 환자의 입이 움직임에 따라 센서(들)는 신호를 소프트웨어에 전송하고, 환자 구강의 디지털 영상에 조정이 이루어진다. 또한, 소프트웨어는 기구의 위치를 트래킹하고, 치아의 디지털 영상에 대해 적합한 위치에 기구의 영상을 묘사한다.
환자에 대한 편의에 더하여, 기존의 시스템은 환자를 디지털 스캔에 정확하게 정합하는데 일부 어려움을 갖는 경향이 있다. 모든 현재의 치과용 능동 영상 유도 수술 시스템은 환자의 입 내에 위치되는 고정물이 광 송신기 또는 수신기에 의해 검출되도록 입의 외부로 연장하는 것을 필요로 하는 광 트래킹의 사용을 수반한다.
구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템이 개시된다. 시스템은 수술 영역에 가까운 위치에서의 환자의 해부학적 구조에 제거 가능하게 부착되도록 구성된 고정물을 포함한다.
브라켓 어셈블리를 포함하는 제1 트래킹 어셈블리는 고정물에 제거 가능하게 부착된다. 제1 트래킹 어셈블리는 제1의 광학적으로 가시적인 패턴을 포함하는 제1 트래킹 패턴 표면을 포함한다. 브라켓 어셈블리는 수술 영역으로부터 이격된 위치에 제1 트래킹 패턴을 위치 설정한다.
시스템은 외과 수술에 사용하기 위한 도구를 포함한다. 제2 트래킹 어셈블리는 도구에 부착되고 제2 트래킹 패턴 표면을 포함한다. 제2 트래킹 패턴 표면은 제2의 광학적으로 가시적인 패턴을 포함한다.
활성화될 때 복수의 카메라가 제1 및 제2 트래킹 표면 상의 광학적으로 가시적인 패턴의 영상을 캡처하는 것을 가능하게 하는 위치에, 복수의 카메라가 수술 영역으로부터 떨어져 장착된다.
처리 시스템은 카메라에 연결되어 캡처된 영상을 처리한다. 처리 시스템은 광학적으로 가시적인 패턴을 인식하여 제1 및 제2 트래킹 어셈블리의 위치와 방위를 삼각 측량하도록 구성된다. 처리 시스템은 CT 스캔에 관한 고정물의 위치 및 방위를 포함하는 기준 데이터세트에 기초하여 트래킹된 도구의 위치와 방위를 결정한다. 처리 시스템은 제1 및 제2 트래킹 패턴 표면에서의 광학적으로 가시적인 패턴의 각각의 카메라 사이의 상대적인 변환을 분석한다.
바람직하게는, 고정물은 환자의 입 내의 하나 이상의 치아에 제거 가능하게 부착하도록 구성된다.
브라켓 어셈블리는 고정물 상의 플랜지에 제거 가능하게 부착되는 브라켓 마운트(mount)를 포함한다. 또한, 브라켓 어셈블리는 제1 트래킹 패턴 표면에 부착된 트래킹 마운트와, 브라켓 마운트를 트래킹 마운트에 부착하는 지지 아암을 포함한다. 바람직하게는, 브라켓 마운트는 플랜지와 결합하는 2개의 이격된 마운팅 포스트를 포함한다. 바람직하게는, 제1 트래킹 패턴 표면에 대한 트래킹 마운트의 부착은 조정 가능하다.
일 실시예에서, 트래킹 마운트는 일련의 만곡부 및 돌출부를 갖는 베이스를 포함한다. 제1 트래킹 어셈블리는 브라켓 어셈블리에 관하여 조정 가능하게 배향되도록 트래킹 마운트에 부착되는 프레임을 포함한다. 프레임은 베이스에 대한 트래킹 프레임의 회전을 허용하도록 트래킹 마운트에서의 만곡부 및 돌출부와 맞물리는 일련의 만곡부 및 돌출부를 포함할 수 있다.
바람직하게는, 광학적으로 가시적인 패턴의 각각은 복수의 2D 대비 형상을 포함하고, 대비 형상은 각각의 광학적으로 가시적인 패턴을 다른 광학적으로 가시적인 패턴으로부터 고유하게 구별하도록 배열된다.
각각의 카메라는, 다른 카메라(들)에 의해 캡처된 동일한 광학적으로 가시적인 패턴의 영상과 상이한 시야각을 가지는 각각의 광학적으로 가시적인 패턴의 영상을 캡처하도록 위치된다. 카메라는 광학적으로 가시적인 패턴의 2D 영상을 나타내는 데이터를 전송한다.
기준 데이터는 복수의 패턴에서의 대비 형상에 대한 위치 데이터를 포함한다. 처리 시스템은 영상에서 특정 패턴을 결정하기 위하여 기준 데이터를 이용한다.
본 발명의 전술한 특징 및 다른 특징과 본 발명의 이점은, 첨부된 도면에 예시된 바와 같이, 바람직한 실시예에 대한 이어지는 발명을 실시하기 위한 구체적인 내용에 비추어 더욱 명백하게 될 것이다. 인식되는 바와 같이, 본 발명은 모두 본 발명을 벗어나지 않는 다양한 관점에서 수정될 수 있다. 따라서, 도면과 설명은 한정적인 것이 아니라 본질적으로 예시적인 것으로 간주되어야 한다.
본 발명을 예시하는 목적으로, 도면은 현재 바람직한 본 발명의 일 형태를 도시한다. 그러나, 본 발명은 도면에 도시된 정확한 배치 및 수단에 한정되지 않는다는 것이 이해되어야 한다.
도 1은 본 발명의 일 실시예에서의 사용을 위해 패턴 디스플레이 표면이 구강 고정물에 부착되는 트래킹 어셈블리의 사시도이다.
도 2는 도 1의 트래킹 어셈블리와 구강 고정물의 상면도이다.
도 3은 본 발명에 따라 패턴 디스플레이 표면이 구강 고정물에 부착되는 트래킹 어셈블리의 다른 실시예의 사시도이다.
도 4는 도 3의 트래킹 어셈블리와 구강 고정물의 측면도이다.
도 5는 본 발명에 따라 트래킹 어셈블리를 구강 고정물에 부착하는 브라켓의 측면도이다.
도 6은 도 5의 브라켓의 다른 측면도이다.
도 7은 본 발명에 따른 치과용 기구에 부착되는 트래킹 어셈블리의 다른 실시예의 사시도이다.
도 8은 도 7의 트래킹 어셈블리와 치과 기구의 측면도이다.
도 9는 치과 기구로부터 제거된 도 7의 트래킹 어셈블리이다.
도 10은 트래킹 어셈블리의 패턴 디스플레이 표면에서의 사용을 위한 패턴의 일 실시예의 예시이다.
도 11은 패턴의 고유한 트래킹을 위해 마련된 4개의 트래킹 패턴을 갖는 트래킹 타일의 예시이다.
도 11a는 도 11의 트래킹 패턴의 일부의 확대도이다.
도 12는 모델 포즈를 판단하는 종래의 방법을 예시하는 흐름도이다.
도 13은 본 발명에 따른 모델 포즈를 판단하는 방법을 예시하는 흐름도이다.
도 14는 본 발명에 따른 촬상 카메라를 갖는 치과용 기구와 구강 고정물의 개략적인 표현이다.
본 발명은 수술 동안 환자의 움직임을 효율적으로 트래킹하기 위한 영상 유도 시스템을 제공함으로써 종래 기술의 결점을 해결한다. 본 발명은 구강 외과 및 환자의 입의 움직임의 트래킹에 관련되는 것으로 설명될 것이지만, 본 발명은 그 실시예에 반드시 한정되지 않는다. 일 실시예에서, 영상 유도 시스템은 구강 고정물을 통해 환자에게 부착되는 광학적으로 가시적인 패턴의 영상을 제공하기 위하여 구강 외부에 위치되고, 수술받고 있는 영역 외부에 위치된 복수의 카메라를 포함한다. 영상은 환자의 입 및/또는 수술 기구 또는 도구의 움직임을 검출하고 트래킹하는데 사용된다. 처리 시스템은 영상을 수신하고 처리하여, 패턴을 인식하고 각 카메라에 대하여 위치 및 방위(orientation)를 삼각 측량한다. 처리 시스템은 구강의 해부학적 구조의 일부에 대한 정렬에 기초하여 기준 좌표계를 정의하는 기준 데이터 세트를 이용한다. 처리 시스템은 기준 데이터세트에 기초하여 트래킹되는 수술 기구와 구강 고정물의 위치 및 방위를 결정한다.
도면을 참조하면, 영상 유도 시스템(10)의 실시예가 구강 외과 수술에서의 사용을 위하여 도시된다. 명백하게 되는 바와 같이, 발명적 특징은 구강 외과 수술에 한정되지 않으며, 다른 외과 수술에 대한 적용 가능성을 가진다. 일 실시예에서, 시스템(10)은 환자의 하나 이상의 치아에 부착하도록 디자인되는 구강 치과용 기기 또는 고정물(fixture)(12)을 포함한다. 하나의 적합한 고정물은 개시 내용의 전문이 본 명세서에 참조로서 편입되는 공동 계류 중인 미국 출원 제14/209,500호에 설명된다. 여기에서 참조되는 바와 같은 고정물(12)의 상세는 이 출원에서 찾아볼 수 있다. 바람직하게는, 고정물(12)은 환자의 치아에 제거 가능하게 부착될 수 있으며, 적합하게 강한 재료, 바람직하게는, 아래에서 논의되는 상승되는 온도를 받을 때 변형되지 않도록 충분히 단단한 열경화성 플라스틱 재료로 이루어지는 지지부(14)를 포함한다. 일 실시예에서, 플라스틱 재료는 폴리페닐설폰(polyphenylsulphone) 또는 아세탈 공중합체(acetal copolymer)이다. 지지부(14)는, 바람직하게는, 내벽(18) 및 외벽(20)을 갖는 일반적으로 평면인 베이스(16)를 포함한다. 내벽(18) 및 외벽(20)은 베이스(20)에 부착되어 그로부터 외부를 향해 연장한다. 바람직하게는, 벽(18, 20)은 베이스(16)로부터 실질적으로 또는 대체로 직각으로 베이스(16)로부터 외부를 향해 연장한다. 그러나, 이해되는 바와 같이, 벽은 베이스(16)로부터 다른 원하는 각도를 가질 수 있다. 벽과 베이스는 바람직하게는 통합된 컴포넌트로서 형성된다. 내벽(18)과 외벽(20)의 간격은 구강 고정물(12)이 부착되도록 의도되는 치아의 폭보다 더 크다. 벽(18, 20)의 간격이 성인과 어린이에 대하여 설계된 고정물 사이에 차이가 있을 수 있다는 것이 당연히 명백하여야 한다. 벽(18, 20)은 바람직하게는 설치될 때 환자의 치아 상부 아래로 연장하는 베이스로부터의 높이를 갖는다. 바람직하게는, 높이는 위에 놓이는 재료를 갖는 환자의 치아에 설치될 때 아랫윗니가 맞물리는(occlusal) 표면으로부터 아래로 대략 10 mm 내지 대략 13.5 mm 연장하기에 충분하다.
공동 계류 중인 미국 출원 제14/209,500호에 설명된 바와 같이, 구강 고정물(12)은, 또한, 바람직하게는 베이스(16) 상에, 지지부(14)의 내부 표면 상에 위치된 몰딩 가능한 열가소성 재료를 포함한다. 몰딩 가능한 재료는 환자의 치아의 일부에 대한 본(impression)을 형성하도록 설계된다. 더욱 구체적으로는, 몰딩 가능한 재료가 경화되지 않은(굳지 않은) 상태에 있을 때, 재료는 구강 고정물(12)(몰딩 가능한 재료가 그 위에 있는 지지부(14))을 재료가 몰딩 가능하게 되기 시작하는 온도보다 높은 온도를 갖는 따뜻하거나 뜨거운 물의 그릇 내로 배치함으로써 "활성화된다(activated)". 바람직하게는, 선택된 재료는 색상을 변경하는 것(예를 들어, 흰색에서 투명 또는 반투명으로)과 같이 재료가 몰딩될 준비가 되어 있다는 시각적 표시를 사용자에게 제공하는 특징을 갖는다. 재료가 활성화되면, 구강 고정물(12)은 환자의 치아에 배치되고, 약간 아래로 향하는 압력이 인가되어, 몰딩 가능한 재료가 지지부 벽(18, 20) 사이에 치아의 측부의 적어도 일부 및 상부 주위로 변형하게 한다. 미리 정해진 기간 이후에, 대체로 대략 30초에서 1분 후에, 몰딩 가능한 재료는 굳어서 재료에 의해 덮인 치아의 윤곽 및 외부 형성의 본을 형성한다. 그 다음, 구강 고정물(12)은 환자의 입으로부터 제거될 수 있다. 경화 프로세스를 완료하기 위하여 차가운 물 또는 얼음물의 그릇 내로 몰드 재료를 갖는 구강 고정물(12)을 배치함으로써 추가 경화가 획득될 수 있다.
선택된 재료는, 적어도 처음으로 경화되기 전에, 환자의 입 내에서 일반적으로 실재하는 온도(대체로, 대략 100 ℉)에서 단단한 상태(경화한 상태)를 유지하여야 하고, 그 위의 온도(예를 들어, 130 ℉ 이상)에서 몰딩 가능한 상태를 유지하여야 한다. 비틀림 없이 본의 형상을 유지하기 위하여 재료는 경화된 상태에서 충분히 단단하여야 한다. 본 발명에서 사용하기 위한 적합한 열가소성 재료는 폴리카프로락톤(Polycaprolactone) 또는 폴리비닐실록산(Polyvinylsiloxane; PVS)을 포함한다. 그러나, 굳어져서 본을 유지할 수 있는 임의의 종류의 몰딩 가능한 재료가 본 발명에 사용될 수 있다. 몰딩 가능한 재료는 몰딩 과정 동안 환자를 만족시키도록 풍미가 곁들여질 수 있다. 사용된 재료의 양은 몰딩될 치아의 개수와 크기에 따라 변할 것이다.
또한, 구강 고정물(12)은, 구강 고정물(12)(및 따라서 카메라)이 환자의 치아에 대하여 어디에 있는지 시스템이 결정하도록 지지부(14)에 장착된 복수의 기점(fiducial) 마커(80)를 포함한다. 마커(80)는 고정물(12)의 소정의 위치에 있으며, 공간에서 고정물(12)을 적절하게 위치시키는 정합 시스템의 일부이다. 아래에서 더욱 상세히 논의되는 바와 같이, 기점 마커는 환자 입의 CT 스캔 동안 검출되고, 그 위치는 스캔에서 정합된다. 바람직하게는 서로 이격되고 지지부(14)에 단단하게 부착된 적어도 3개의 기점 마커(80)가 있다. 3개의 기점 마커의 사용은 3차원으로의 구강 고정물의 위치를 가능하게 한다. 기점 마커는 베이스(16) 및/또는 벽(18, 20)에 위치될 수 있다.
기점 마커(80)는 구 형상일 수 있고 그리고/또는 사용되는 소프트웨어뿐만 아니라 기술자 또는 의사에 의해 쉽게 검출될 수 있도록 색상을 가질 수 있다. 더욱 구체적으로는, 기점 마커(80)가 스캐닝된 영상에서 검출되도록, 기점 마커(80)는 고정물, 몰딩 가능한 재료 및 치아와 상이한 방사능 밀도(radiodensity)(즉, CT 스캔에 의해 검출되는 밀도)를 가져야 한다. 일 실시예에서, 기점 마커(80)는 세라믹 볼 베어링이다. 그러나, 다른 재료, 형상 및 크기가 사용될 수 있다. 바람직하게는, 기점 마커(80)는 각각 고유한 방사능 밀도를 가지거나, 또는 소프트웨어 프로그램이 스캐닝된 영상에서 상이한 기점 마커(80)를 자동으로 검출하는데 사용될 수 있도록 상이한 크기 또는 형상을 가질 수 있다. 또한, 아래에서 더 논의되는 바와 같이 구강 고정물(12)의 정합을 돕기 위하여, 소프트웨어는 스캐닝된 영상에서 마커 색상 또는 형상에 대응하는 색상을 가할 수 있다. 또한, 기점이 정반사 또는 확산 표면과 같은 수동 광학 속성 또는 카메라나 다른 위치에 대하여 기점을 시각적으로 위치시키는데 사용하기 위한, 발광 재료와 같은, 능동 광학 속성을 포함할 수 있다는 것이 고려된다.
바람직한 기점 마커가 그 방사능 밀도에 의해 치아 및 구강 고정물(12)로부터 구별되지만, 밀도가 아닌 다른 구별되는 특징이 사용되는 것도 고려된다. 예를 들어, 마커는 사전에 고정된 송신기 또는 다른 위치 확인 장치일 수 있다.
또한, 구강 고정물(12)은 지지부(14)에 부착되거나 지지부(14)와 통합 형성되는 적어도 하나의 마운트(mount)(26)를 포함한다. 예시된 실시예에서, 마운트(26)는 외벽(20)으로부터 밖으로 향하여 연장한다. 아래에서 논의되는 바와 같이, 마운트(26)는 고정물(12)의 움직임(위치 변동)을 트래킹하는데 사용하기 위하여 이에 부착된 트래킹 어셈블리(200)를 가지도록 구성된다. 일 실시예에서, 마운트(26)는 적어도 하나의 플랜지(28)와, 더욱 바람직하게는 고정물(12)의 측부로부터 연장하는 2개의 이격된 플랜지(28, 30)를 포함한다. 각각의 플랜지(28, 30)는 플랜지(28, 30)의 대향하는 측부에 형성된 노치(notch) 또는 만입부(indentation)(32)를 포함할 수 있다.
브라켓 어셈블리(100)는 구강 고정물(12)의 마운트(26)에 제거 가능하게 부착되고, 트래킹 어셈블리(200)를 유지하도록 구성된다. 예시된 실시예에서, 브라켓 어셈블리는 고정물 상의 플랜지(28, 30)에 제거 가능하게 부착되는 브라켓 마운트(102), 지지 아암(104) 및 트래킹 마운트(106)를 포함한다. 브라켓 마운트(102)는 2개의 이격된 마운팅 포스트(108A, 108B)를 포함한다. 각각의 마운팅 포스트(108)는, 바람직하게는, 마운팅 포스트(108A, 108B)가 플랜지(28, 30)의 양쪽에서 플랜지(28, 30)에 대항하여 위치 설정되도록 노치(32)와 결합하여 노치(32) 내에 놓이도록 구성되는 돌출부(110)를 포함한다.
지지 아암(104)은 주요부(112)와 포스트(108A, 108B) 사이에 연장하는 고정물부(114)를 포함한다. 일 실시예에서, 지지 아암(104)은 포스트 중 하나(108A)에 단단하게, 바람직하게는 고정되어 부착된다. 다른 포스트(108B)(주요부(112)로부터 더 멀리 있는 것)는 바람직하게는 포스트(108A, 108B) 사이의 간격이 조정 가능하도록 고정물부(114)에 슬라이딩 가능하게 배치된다. 고정물부(114)의 원위 단부(distal end)는 포스트(108B)를 통해 연장한다. 바람직하게는 나사산(미도시)이 고정물부(114)의 원위 단부에 형성된다. 노브(knob)(116)는 고정물부의 원위 단부 상으로 나사산이 형성된다. 도 6에 도시된 바와 같이, 트래커 아암 핀(113)이 지지아암(112)에 구속된 포스트(108)를 부착하는데 사용된다. 이것은 포스트(108)가 지지 아암(112) 주위로 자유롭게 회전하는 것을 허용한다. 고정물(12)에 장착될 때, 돌출부(110)가 노치(32) 내에 안착하도록 포스트(108A)가 플랜지(28, 30)에 대하여 위치 설정된다. 다른 포스트(108B)는 돌출부(110)가 다른 노치(32) 내에 안착할 때까지 지지 아암(104)의 고정물부의 원위 단부 상에서 슬라이딩된다. 노브(116)는 죄어지고, 이에 의해 아암(104)을 구강 고정물(12)에 고정한다. 대신에, 포스트(108)가 노치가 형성된 부분을 포함할 수 있고 플랜지(28, 30)가 돌출부를 가질 수 있거나, 또는 포스트 및 플랜지가 단순히 같은 높이의 장착 표면을 가질 수 있다는 것이 당연히 명백하여야 한다.
위에서 논의된 바와 같이, 아암(104)의 대향하는 단부는 고정물 트래킹 어셈블리(200)를 부착시키기 위한 트래킹 마운트(106)를 포함한다. 예시된 실시예에서, 트래킹 마운트(106)는 나사산이 형성된 스터브(118)와 베이스(120)를 포함한다. 베이스(120)는 바람직하게는 일련의 치상 돌기, 또는 만곡부 및 돌출부(122)를 가진다. 베이스(120) 및 나사산이 형성된 스터브(118)는 바람직하게는 아암(104)의 주요부(110)와 통합된다.
고정물 트래킹 어셈블리(200)는 바람직하게는 조정 가능하도록 트래킹 마운트(106)에 부착된다. 더욱 특별하게는, 고정물 트래킹 어셈블리(200)는 브라켓 어셈블리(100)의 트래킹 마운트(106)에 부착되는 프레임(202)을 포함한다. 바람직하게는, 부착은, 더욱 상세히 논의되는 바와 같이, 프레임이 브라켓 어셈블리(100)에 관하여 조정 가능하게 배향되는 것을 가능하게 하도록 구성된다. 예시된 실시예에서, 프레임(202)은 아암(104)의 스터브(118)에 있는 나사산과 나사 결합하는 나사산을 갖는 홀(203)(도 4에 도시)을 포함한다. 바람직하게는, 브라켓 어셈블리(100)에서의 치형 돌기 또는 만입부 및 돌출부(122)와 맞물리도록 구성된 일련의 치형 돌기 또는 만입부 및 돌출부(204)가 있다. 맞물리는 치형 돌기(122/204)를 포함하는 것은 지지 아암(104)에 대하여 프레임(202)의 위치의 정확하고 반복 가능한 조정 가능성을 허용한다. 예시된 실시예에서, 브라켓 어셈블리(100)에 대한 고정물 트래킹 어셈블리(200)의 장착은 트래킹 어셈블리가 축(206) 주위의 상이한 회전 위치에 잠겨질 수 있게 위치 설정되는 것을 가능하게 한다.
트래킹 어셈블리는 프레임(202)에 부착되거나 프레임(202) 상에 형성되는 패턴 디스플레이 표면(208)을 포함한다. 브라켓 어셈블리(100)에 대한 고정물 트래킹 어셈블리(200)의 부착을 조정함으로써, 축(206) 주위의 패턴 디스플레이 표면(208)의 방위를 변경하는 것이 가능하다. 외부에 장착된 카메라에 의해 표면의 최대 검출 가능성을 제공하도록 패턴 디스플레이 표면(208)이 사용하는 동안 적합한 위치에 배향되는 것을 가능하게 하기 때문에, 이것은 유익한 특징이다.
패턴 디스플레이 표면은 임의의 적합한 형상을 가질 수 있다. 도 1 및 2에 도시된 일 실시예에서, 트래킹 어셈블리의 패턴 디스플레이 표면(208)은 바람직하게는 축(206)과 동일 선상에 있는 축을 갖는 실직적으로 원통형이다. 도 3 및 4에 도시된 다른 실시예에서, 트래킹 어셈블리의 패턴 디스플레이 표면(208)은 실질적으로 평탄하거나 평면형이다. 임의의 다른 형상이 본 발명과 함께 사용될 수 있다는 것이 당연히 명백하여야 한다.
트래킹 패턴(210)은 패턴 디스플레이 표면(208) 상에 배치되거나 형성된다. 트래킹 패턴(210)은 트래킹 어셈블리 및 이에 따른 구강 고정물(12)의 위치 및 움직임을 트래킹하기 위하여 컴퓨터 시스템에 의한 사용을 위해 외부에 장착된 카메라가 검출하는 시각적 기준점을 제공하도록 구성된 광학적으로 가시적인 패턴(optically visible pattern)이다. 일 실시예에서, 트래킹 패턴은 트래킹 어셈블리(200)의 표면상에서 이격된 일련의 비반복적인 QR(Quick Reference) 코드를 포함할 수 있다. 미국 특허 출원 제14/209,500호는 본 발명에서 사용될 수 있는 일부 적합한 트래킹 패턴을 설명한다. 도 10은 본 발명에서 사용될 수 있는 2D 트래킹 패턴을 예시한다.
바코드, 아즈텍(Aztec) 코드 또는 다른 2D 코드, 또는 그래픽 영상이 역시 사용될 수 있다. 패턴은 바람직하게는 시스템에 의한 검출 및 인식을 용이하게 하기 위하여 흑색(빽빽하게 크로스 해칭된 것으로 도시됨) 및 백색과 같은 대비되는 색상을 사용한다. 서양 장기판 정사각형의 배열은 쉽고 빠르게 식별되도록 배치될 수 있다. 또한, LED, 데이터 매트릭스, 데이터 글립스(data glyphs) 또는 브라유 점자(braille)와 유사한 융기되거나 강하된 특징부를 포함하는 다른 메커니즘이 필요한 기준 데이터를 제공하기 위하여 사용될 수 있다는 것이 고려된다. 트래킹 패턴(208)은 트래킹 어셈블리의 프레임에 부착된 재료층 상에 형성될 수 있다. 이 대신에, 트래킹 패턴은 프레임 상으로 몰딩되거나 에칭되거나 또는 그에 직접 배치될 수 있다.
고정물 트래킹 어셈블리(200)가 검출을 용이하게 하기 위하여 트래킹 패턴(210)의 콘트라스트를 증가시키게 백라이팅 또는 다른 메커니즘을 제공하도록 구성될 수 있다는 것이 고려된다. 트래킹 어셈블리가 백라이팅되면, 트래킹 패턴(210)은 바람직하게는 콘트라스트를 향상시키도록 적어도 부분적으로 투명하거나 반투명한 재료로 이루어진다. 또한, 형광 재료가 검출을 용이하게 하기 위하여 사용될 수 있다는 것이 고려된다.
도 7 내지 9를 참조하면, 일 실시예에 따른 수술 도구 트래킹 어셈블리(300)가 드릴과 같은 치외과용 도구(302)에 장착되는 것으로 도시되거나 그 일부인 것으로 도시된다. 도구 트래킹 어셈블리(300)는 도구 패턴 표면(306)을 도구(302)에 고정하도록 설계된 도구 마운트(304)를 포함한다. 도구 마운트(304)는 트래킹 어셈블리가 수술 도구와 결합하여 이동하도록 고정 방식으로 도구(302)의 몸체(310) 주위로 피팅되는 개구부(308)를 포함한다. 부착은 본 발명의 기술 분야에서 널리 알려진 많은 상이한 메커니즘 중 임의의 메커니즘을 통할 수 있다. 예를 들어, 도구 트래킹 어셈블리는, 예를 들어, 도구 트래킹 어셈블리를 도구에 고정하도록 도구 몸체에 제거 가능하게 나사 결합되거나 또는 그에 클램핑될 수 있는 콜릿(collet) 또는 유사한 널리 알려진 메커니즘으로 부착된다. 홀이 관주 튜브(irrigation tube)와 카메라 배선을 수용하도록 포함될 수 있다.
고정물 트래킹 패턴(210)과 유사한 도구 트래킹 패턴(308)이 도구 패턴 표면(306)에 배치되거나 형성된다. 도구 트래킹 패턴(308)은 도구 트래킹 어셈블리(300)의 위치와 움직임을 트래킹하기 위하여 컴퓨터 시스템에 의한 사용을 위해 외부에 장착된 카메라가 검출하는 시각적 기준점을 제공하도록 구성된 광학적으로 가시적인 패턴이다. 도 10에 도시된 패턴이 도구 트래킹 패턴으로서 사용될 수 있다.
도 11을 참조하면, 트래킹 타일(400)이 도시된다. 본 실시예에서, 트래킹 타일(400)은 트래킹 패턴(210)의 일부를 포함한다. 더욱 구체적으로는, 예시된 실시예에서, 4개의 트래킹 타일이 도 11에 도시된 바와 같이 배치될 때, 4개의 타일의 교차 지점은 점선으로 나타낸 바와 같이 트래킹 패턴(210)을 정의한다. 예시된 실시예에서, 약간 크로스 해칭된 박스는 본 발명의 범위 내에서 흑색 또는 백색일 수 있다. 약간 크로스 해칭된 박스의 색상의 선택은, 타일(400)에서의 다른 박스와 함께, 개별 타일(400)에서의 패턴이 시스템에 의해 인식될 수 있도록 타일이 고유하게 정의되는 것을 가능하게 한다.
트래킹 타일(400)을 사용하는 데에는 여러 이점이 있다. 먼저, 각각의 타일은, 평균적으로, 대략 50% 세기(즉, 50% 밝고 50% 어둡다)를 포함한다. 이것은 검출 성능을 최대화하기 위하여 컴퓨터 시스템이 카메라의 이득과 노출을 조정하는 것을 가능하게 함으로써 타일 내의 박스를, 카메라를 통해, 검출하는 컴퓨터 시스템의 능력을 용이하게 한다. 또한, 4개의 타일(400)이 도 11에 도시된 바와 같이 배열될 때, 각각의 트래킹 타일(400)은 최소 13개의 특징점(defined point)(402)을 포함하며, 이는 바람직한 실시예에서 x-코너, 반대 색상(즉, 흑색(빽빽한 크로스 해칭) 및 백색)의 인접한 박스 사이의 2개의 교선의 중심점이다. 특징점으로서 x-코너를 선택하는 이점은, 중심점의 위치가 서브 픽셀 정확도로 위치될 수 있고, 일반적인 영상 열화, 특히 과조명 또는 저조명과 센서 노이즈 하에서 위치가 안정적이다는 점이지만, 예를 들어, 원 또는 다른 형상의 중심, 각진 콘트라스트 영역을 갖는 형상에서의 코너 점인 다른 종류의 특징점 및 다른 종류의 특징점의 조합이 사용될 수 있다. 더욱 특별하게는, 그리고 반대 색상의 4개의 인접한 박스의 확대도인 도 11a를 참조하면, 반대 색상의 인접한 박스(404 백색, 406 흑색(빽빽한 크로스 해칭))은 선(408)에 의해 서로 분리된다. 일 실시예에서, 시스템은 이 경우에는 흑색과 백색인 2개의 구별되는 색상을 검출하고 이러한 2개의 색상의 인접한 박스 사이에서 라인의 위치를 찾도록 프로그래밍된다. 예를 들어, 시스템이 2개의 인접한 구별되는 색상을 검출할 때, 이러한 구별되는 색상의 박스 사이에 2 이상의 인접한 점 A, B를 찾아 일련의 점 A, B 사이 그리고 이에 따른 2개의 인접한 블록(404, 406)사이에서 선(408)을 정의한다. 시스템은 도 11a에 도시된 바와 같이 정사각형을 형성하는 교대로 구별되는 색상의 4개의 인접하는 박스를 검출하기 위하여 패턴을 분석한다. 박스 사이의 선(408)의 교점이 특징점(402)에서 교차한다. 영상에서 x-코너를 검출하는 다른 방법은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려진 해리스 코너 검출기(Harris corner detector)에서와 같은 영상 구조 텐서(tensor)의 분석을 통한다. 가장 넓은 실시예에서, 각각의 타일은 임의의 고유하게 식별 가능한(모호하지 않은) 패턴의 부분 집합이다. 또한, 타일이 다른 타일을 중첩할 수 있고, 일련의 정사각형으로서 형상을 가질 필요는 없으며, 특이한 형상을 가질 수 있다는 것이 고려된다.
x-코너가 아닌 특징점을 갖는 실시예에서, 특정 종류의 특징점에 민감한 대안적인 검출 알고리즘이 사용될 수 있다. 예를 들어, 특징점이 원형 특징의 중심을 포함하면, LoG(Laplacian of Gaussian), DoG(Difference of Gaussians) 또는DoH(Determinant of Hessian)와 같은 알고리즘이 사용될 수 있다.
전술한 바와 같이, 4개의 타일(400)이 도 11에 도시된 바와 같이 배열될 때, 각각의 트래킹 타일(400)은 최소 13개의 특징점(402)을 포함한다. 시스템은 다양한 패턴의 박스 및 특징점의 배치(즉, 위치) 및 크기를 포함하는 복수의 패턴에 대한 룩업 테이블 또는 저장된 데이터를 포함한다. 또한, 시스템은 패턴 데이터를 목표 좌표계로 전환하기 위하여 변환(transform)(변환 행렬(transformation matrix))을 포함한다. 바람직하게는, 변환은 3D 회전, 평행 이동, 스케일링 및 스큐(skew)를 포함하는 강체 변환(rigid body transform) 또는 3D 아핀 변환(affine transformation)이다. 변환은 비평면(non-planar) 표면으로의 배열에 합치하도록 비선형 변형(non-linear deformation)을 포함할 수 있다는 것이 고려된다.
더욱 구체적으로는, 일 실시예에서, 각각의 타일은 다음의 특성을 가진다: (i) 이는 2(또는 이보다 더 많은) 구별되는 색상(바람직하게는 흑색 및 백색)의 정사각형 그리드를 포함하고, (ii) 특징점은 그리드 위치(교차(intersection))에서만 나타나고, (iii) 평면 표면에 인쇄되며, 이는 투시 촬상 하에서(즉, 영상을 기록하는 카메라에 의해 임의의 배향에서 관찰될 때), 타일이 국지적인 아핀 변환에 의해 변형되는 것 같이 보이는 것을 의미한다(인쇄된 정사각형 타일이 영상에서 마름모 형상으로 늘어나거나 스큐된 것 같이 보일 것이라고 의미한다).
도 3에서의 패턴 타일과 같이, 평면 타일(즉, 그리드가 평면인 표면에 인쇄되는 타일)이 사용될 때, 각각의 특징점은 시스템에 의해 다음과 같이 분석된다:
a. 인접한 특징점의 위치가 찾아진다. 더욱 구체적으로는, 일 실시예에서, 인접한 특징점은 특징점에 대한 (유클리드 거리에 기초하는) 단순한 가까운 이웃일 수 있다. 다른 실시예에서, 이웃하는 것의 거리는 높은 콘트라스트 에지를 따르는 거리로 대체될 수 있다. 많은 다른 거리 함수가 고려된다.
b. 분석되는 특징점과 인접한 특징점을 이용하여, 특징점과 이의 인접한 2개의 점 사이의 한 쌍의 기저 벡터(basis vector)가 결정된다.
c. 그 다음, 기저 벡터는 능면체(rhombohedral) 영상 패치(patch)를 코너 중 3개가 특징점과 이의 인접한 2개의 특징점인 정사각형 영상 패치로 변환할 수정 아핀 변환(즉, 영상에서 검출된 특징점 위치를 평면의 인쇄된 타일에 사용되는 정사각형 그리드로 전환하기 위한 변환)을 계산하는데 사용된다.
d. 그 다음, 각각의 그리드 위치가 영상에서 어디에 있는지 예측하기 위하여, 3개의 검출된 특징점이 타일의 코너와 에지에 있다고 가정하여, 시스템은 아핀 변환을 사용한다(본질적으로 아핀 변환에 따라 스큐된 그리드의 영상에서 오버레이를 형성함).
e. 영상이 각각의 예측된 그리드 위치에서 분석되어 디스크립터(descriptor)를 계산한다. 디스트립터는 로컬 영역을 기술한다. 일 구현예에서, 이는 타일을 나타내는 9x9 행렬이며, 매트릭스의 각각의 요소는 x-코너 타입이다. 로컬 2D 좌표계에 적용된 x-코너 타입, 즉 기저 벡터는 "우측" 및 "상측"의 정의를 허용하는 로컬 좌표계를 정의한다. 이러한 좌표계에서, 상부 왼쪽에서의 영상 패치가 밝다면(그리고, 상부 오른쪽이 어둡다면), x-코너는 왼쪽으로 지향되고, 반대 패턴이 나타나면, 이는 오른쪽으로 지향된다. 이와 같이, 행렬의 각각의 요소는 왼쪽 지향, 오른쪽 지향 또는 검출된 X-코너 없음 중 하나일 것이다.
f. 그 다음, 디스크립터가 얼마나 가까이 저장된 인코딩 스킴에 일치하는지에 관하여 계산된다. 본 발명에서, x-코너는 패턴 내에 있지 않은 장면 부분에서 검출될 수 있다. 유사하게, 3개의 인접한 특징점의 많은 선택 조합이 사실상 타일 코너 및 에지에 대응하지 않을 수 있다. 이러한 잘못된 검출을 분석하기 위하여, x-코너의 구조가 선택된 인코딩 스킴에 의해 정의되는 내부 관계와 일치하는 것을 확인하여야 한다. 바람직한 구현예에서, 다양한 그리드 위치에서의 x-코너 사이에 정의된 관계가 있으며(예를 들어, 각각의 타일이 알려진 위치(즉, 선택된 인코딩 스킴 때문에 x-코너가 발생하도록 보장된 점)에서 정합(registration) 마커(R)을 가지며, 모두 4개의 타일 코너의 각각과 동일한 배향을 가진다), 이는 3개의 특징이 각각 타일 코너와 2개의 인접한 타일 에지에 있다는 가설을 시험하는 것을 용이하게 한다. 정합 마커는 고유 타일의 인코딩된 신원(identity)이 무엇인지 간에 일정한 타일 부분이다. 따라서, 9x9 디스크립터 행렬의 요소들 사이에 미리 정의된 관계가 있다. 예를 들어, 하나의 구현예에서, 타일 코너(요소 [0,0]; [8,0]; [0,8]; [8,8]) 및 정합 마커(요소 [2,2]; [6,2]; [2,6]; [6,6])는 모두 동일한 x-코너 종류(왼쪽 지향 또는 오른쪽 지향)를 갖는 x-코너이다. 구조가 3개의 미리 정의된 관계와 일치하지 않는 디스크립터는 거부된다.
g. 알려진 관계가 존재하는 것을 시스템이 검증하면, 관찰된 타일의 신원을 결정하기 위하여 인코딩된 데이터를 디코딩할 수 있다.
타일이 평면으로 형성되지 않고, 대신에 비평면의 표면에서 정의되거나 형성된 경우에, 예를 들어, 패턴이 실린더(도 1) 또는 드릴 콘(drill cone)(도 7)에 형성된 경우에, 전체 타일의 그리드가 아핀 변환에 의해 변형된다고 가정하는 전술한 과정은 더 이상 적용 가능하지 않다. 대신에, 시스템은, 타일이 단지 타일의 작은 서브 구역 내에 로컬로 아핀이고(locally-affine), 부드러운 방식으로 그로부터 변동한다고 가정한다. 전술한 단계 (b) 내지 (d)는 인근의 그리드 위치, 즉, x-코너의 그루핑의 정확한 위치가 이미 분명히 찾아진 그리드 위치에 가까운 그리드 위치만을 예측하도록 수정된다. 일 실시예에서, 인근의 그리드는 위치가 찾아진 x-코너의 2개의 그리드 유닛 내에 있다(L-무한 거리(L-infinity distance)를 이용). 이러한 점에서, 시스템은, 아핀 기저(affine basis)에 대한 단지 작은 보정으로 그리드를 통과할 때 아핀 가정(affine assumption)이 유효하기 위하여 충분하게 패턴이 부드럽게 변동한다고 가정한다. 따라서, 시스템은 그리드를 통과하고 아핀 기저를 보정함으로써 곡률을 갖는 타일과 동일한 방식으로 평면 타일을 처리할 수 있다. 평면 타일에서, 보정은 유효하게는 0일 수 있다. 기저 벡터는 복수의 아핀 가정으로부터의 편차를 보정하기 위하여 검출된 특징점의 각각의 부분 집합에 관하여 계산된다.
디스크립터 세트가 분석되고 있는 영상에 대하여 계산되면, 각각의 디스크립터가 시스템 내에 저장되고 특정 타일에 연관된 디스크립터 라이브러리에 비교된다. 예를 들어, 위에서 논의된 바와 같이, 매트릭스는, 각각의 요소에 대하여, 왼쪽 지향 x-코너에 대해 -1, x-코너가 아닌 것에 대해 0, 오른쪽 지향 x-코너에 대해 1을 포함할 수 있다. 일 실시예에서, 각각의 디스크립터가 여러 잠재적인 고유 타일과 연관될 수 있기 때문에, 각각의 검출된 디스크립터와 각각의 라이브러리 디스크립터 사이에 점수가 계산되고, 가장 높은 점수를 갖는 라이브러리 매치가 각각의 검출된 디스크립터에 저장된다. 최상의 점수들이 추가 관련 정보를 이용함으로써, 예를 들어 소정의 점이 어디에서 위치되어야 하는지를 이용함으로써, 타일을 결정하기 위해 더 처리될 수 있다.
일 실시예에서, 시스템은 하나 이상의 타일로부터 형성된 트래킹 패턴 모델의 데이터베이스에 대한 액세스를 포함하거나 가진다. 본 발명은 모델이 2개의 구별되는 모델 배열로 나뉠 수 있다는 것을 고려한다. 제1 배열에서, 모든 저장된 모델은 모델들 사이에 어떠한 타일도 반복되지 않는 고유한 타일 서브 세트를 가진다. 이 경우에, 단일 타일을 아는 것은 어느 모델이 사용되고 있는지를 결정한다. 각각의 모델은 모델들 사이에 타일 배열의 중복이 없도록 고유하다. 이와 같이, 타일의 식별은 모델 포즈를 상정한다. 즉, 모델 라이브러리 내의 각각의 모델은 모델의 요소인 타일 세트를 포함한다.
모델의 제2 배열에서, 다수의 모델은 동일한 타일을 상이한 배열로 공유한다. 이와 같이, 시스템은 검출된 타일이 요소인 각각의 모델에 대한 가설을 생성하여야 한다. 이 경우에, 2 이상의 타일을 검출하는 것은 모델의 정확함을 증명하는 것을 도울 것이다. 다른 배열에서, 노이즈 및 다른 인자가 x-코너의 검출에 영향을 미칠 수 있기 때문에, 특정 모델은 모델을 확인하기 위하여 아래에서 논의되는 바와 같이 더 분석(시험)되어야 한다.
모델에서의 각각의 타일에 대하여, 데이터베이스는 특징점이 나타나야 하는 그리드 상의 각각의 점에 대한 3D 모델 위치를 포함한다. 영상에서의 타일 또는 타일들의 식별은 시스템이 관찰되고 있는 영상에 적용되는 모델을 선택하는 것을 허용하고, 관련성(correspondence)이, 적어도, 영상 좌표계에서의 4개의 타일 코너와 타일 코너의 4개의 3D 모델 위치 사이에서 결정되게 한다. 3D 포즈 예측에 대한 종래의 처리를 통해, 시스템은 이러한 적어도 4개의 관련성으로부터 카메라 중심 좌표계에서 모델의 공간 관계를 정의하는 강체 변환을 예측한다.
그 다음, 시스템은 예측된 강체 변환을 이용하여 선택된 모델에서의 나머지 타일을 영상에 적용한다. 이러한 추가 타일은 타일 식별 가성에 대하여 시험되고, 모델과 강체 변환의 주어진 조합과 일치하는 가설의 개수에 대한 카운트가 집계된다. 소정의 임계값을 초과하는 다수의 분명하게 식별된 타일, 예를 들어, 3개의 정확하게 식별된 타일을 갖는 모델만이 적절한 모델로서 고려될 수 있다.
각각의 카메라가 이러한 처리 단계의 마지막에 도달하면, 어느 영상 특징점(따라서 어느 2D 영상 위치)가 어느 모델 특징점(따라서 어느 3D 모델 위치)에 대응하는지 알 수 있다. 양 카메라가 이러한 관련성을 결정하면, 스테레오 특징의 관련성을 결정하는 것은 일반적인 모델의 특징점에 대응하는 영상 특징을 매칭시키는 것의 문제이다. 이것은 알려진 기술을 이용하여 달성될 수 있다. 결과에 따른 관련성 세트의 가지치기(pruning) 및 에피폴라(epipolar) 제약을 적용할 필요는 없다. 이것은 특징점이 모델의 허위 식별에 대한 잠재성이 제한되고 잘못된 관련성이 없이 분명하게 식별되기 때문이다.
전술한 바와 같이, 변환을 이용하여, 시스템은 트래킹 패턴(210, 308)에서의 특징점(402)에 기초하여 모델을 고유하게 식별할 수 있다. 그것이 실행되면, 스테레오 재구성이 공지된 기술을 이용하여 영상 특징점의 대응하는 쌍을 삼각 측량함으로써 수행된다. 이것은 도 13에서 단계 1100, 1110, 1120에 도시된다. 그러나, 양호한 것으로 알려진 영상 관련성만이 입력으로서 통과되고, 재구성된 3D 점(스테레오 트래커 좌표에서)과 3D 모델 점 사이의 연관이 이 단계를 통해 통과된다. 룩업 매칭(단계 1110)의 출력은 왼쪽 영상에서의 픽셀 위치 세트와 오른쪽 영상에서의 픽셀 세트 사이의 1:1 연관을 제공한다. 2개의 카메라의 알려진 배치를 이용하는 표준 삼각 측량 기술을 통해, 픽셀 위치의 각각의 왼쪽/오른쪽 쌍은 장면에서 그 특징의 3D 위치에 대한 예측을 생성하도록 삼각 측량된다. 이러한 3D 좌표의 각각은 스테레오 트래킹 시스템에 정해진 좌표계에서 결정된다(예를 들어, 왼쪽 카메라 또는 오른쪽 카메라 위치, 또는 카메라 사이의 중심이 좌표계의 원점과 축을 정의하는데 사용될 수 있다). 대조적으로, 3D 모델 점은 모델 중심 좌표계(예를 들어, 원뿔 축이 z 축이고, 작은 단부의 중심이 (0, 0, 0))에서 정의된다. 절대 방위(absolute orientation)는 이러한 2개의 좌표계(트래커 중심 및 모델 중심) 사이의 변환을 결정한다.
특정 3D 트래커 점(즉, 트래커 중심 좌표계에서의 점)과 특정 3D 모델 점(즉, 모델 중심 좌표계에서의 점) 사이의 적어도 3개의 관련성이 알려지면(단계 1130), 종래의 절대 방위 프로세스(단계 1140)가 트래커 좌표계을 모델 좌표계에 관련시키는 강체 변환을 결정하는데 사용되어, 이에 의해 트래커 좌표에서 모델의 공간적 위치와 방위를 결정한다(단계 1150). 이와 같이, 타일(400)의 포즈와 트래킹 패턴(210, 308)은 모델에 결속된다. 그 다음, 데이터는 관심 영역의 스캐닝된 표현(예를 들어, 구강에 대한 사전에 스캐닝된 영상)에 대한 관련된 모델의 움직임으로서 구강 고정물과 도구 고정물의 실제 움직임을 묘사하기 위하여 시스템에 의해 사용된다.
구강 고정물(12)을 형성하고, 고정물(12)에서의 기점의 위치를 스캐닝하고, 사전에 스캐닝된 영상을 실제 비디오 영상에 정합하기 위한 과정은, 미국 출원 제14/209,500호에 상세히 설명된다. 구강 고정물(12)이 형성되면, 브라켓 어셈플리(100)가 구강 고정물(12) 상의 플랜지(28, 30)에 그리고 고정물 트래킹 어셈블리(200)에 부착된다. 구강 고정물(12)은 환자의 적합한 치아에 부착된다.
도 14를 참조하면, 수술 도구(302)와 환자의 구강 고정물(12)의 위치를 결정하기 위하여, 본 발명은 고정물 트래킹 패턴(210) 및 도구 트래킹 패턴(308)을 보고 전술한 바와 같이 특징점을 검출하기 위하여 소정의 위치에 장착된 2개의 외부 카메라(800)를 이용한다. 카메라(800)로부터의 데이터는 전술되고 도 13에 예시된 처리의 일부 또는 전부를 수행하는 프로세서(810)로 전송된다. 그로부터, 시스템은 미리 결정된 좌표계 내에서 트래킹 패턴의 위치(포즈) 및 이의 움직임을 결정한다. 시스템은, 환자의 움직임과 구강 고정물(12)에 대한 도구 고정물 어셈블리(300)의 위치를 결정하기 위하여, 그리고 수술 위치에 대한 도구 비트(bit) 끝 부분의 위치를 계산하기 위하여, 스캐닝된 영상으로부터의 구강 고정물(12) 상의 기점 마커의 위치와 고정물 트래킹 어셈블리(200)에 대한 이들의 관계를 이용한다.
본 발명은 종래 기술에 따른 기존의 스테레오 트래킹 시스템에 비하여 상당한 이점을 제공한다. 먼저, 본 발명은, 바람직하게는, 다른 카메라 및 주 처리 시스템에 독립적으로 각각의 카메라에 상당한 개수의 계산적으로 고가인 단계들을 구현한다. 이것은, 특히 시스템에서의 카메라의 개수가 2개를 넘어 증가함에 따라, 시스템의 스케일링을 더 용이하게 한다. 종래의 스테레오 트래킹 시스템에서, 특징 관령성의 요건은 O(Nc2)의 함수로서 증가하고, 여기에서 Nc는 표준 스테레오 트래킹 시스템에서 사용되는 카메라의 개수이다.
처리는 카메라 내의 프로세서에서 수행될 수 있고, 프로그래밍 및 데이터는 프로세서와 관련된 메모리 내에 임베디드될 수 있다는 것이 고려된다.
이러한 카메라는 분산 네트워크에서 원격으로 배치될 수 있다. 결과적인 통신 대역폭은 영상 자체를 통과시키는 것의 작은 일부, 또는 심지어 종래 기술에서 요구되는 영상 특징점 세트일 수 있다.
식별된 타일의 풍부한 본성은 모델의 허위 인식에 대한 가능성을 매우 희박하게 하는 반면, 표준 스테레오 트래킹의 경우에 비모델(non-model) 객체에서 검출된 상당한 개수의 특징은 많은 허위 모델 식별을 초래할 수 있다.
전술한 설명이 광학 패턴을 형성하도록 배열될 수 있는 고유의 식별 가능한 유닛으로서 "타일(tile)"이라는 용어를 언급하지만, 용어는 인접하는 것(abutting) 및 중첩하지 않는 것(non-overlapping)으로서의 이러한 유닛의 "타일링(tiling)"의 전통적인 관념에 제한되지 않는다. 공동 계류 중인 미국 출원 제14/209,500호는 2 스케일(two-scale) 검출을 향상시키기 위하여 여러 타일이 중첩하여 패턴의 동일한 부분을 점유하는 인터리빙된(interleaved) 인코딩 스킴을 상술한다. 종래의 타일형 패턴에서도, 고유 타일의 배치는, 패턴에서의 모든 패치(patch)가 2 이상의 타일의 요소가 되는 방식으로, 4개의 타일의 각각의 연결 지점이 연결 지점에 가장 가까이 있는 타일의 일부의 조합으로부터 다른 고유 타일을 형성하도록 선택될 수 있다고 고려된다. 이러한 타일링은 패턴의 일부가 시야로부터 모호할 때, 더 큰 개수의 전체 타일이 모델 식별을 돕기 위하여 뚜렷하여야 한다는 이점을 가질 것이다. 전술한 서명이 90도 코너의 경계를 상술하지만, 타일 경계가 임의의 폴리라인(polyline) 또는 둥근 세그먼트를 포함할 수 있다는 것이 더 고려된다. 공동 계류 중인 미국 출원 제14/209,500호에서의 2 스케일 인코딩 스킴은 정사각형 타일 및 홀을 갖는 복잡한 타일의 조합을 포함한다.
다양한 컴포넌트의 움직임을 트래킹하고 결정하는데 사용되는 계산 및 프로그래밍 기술은 널리 알려져 있고, 따라서, 추가 정보는 필요하지 않다.
전술한 실시예는 환자가 구강 고정물(12) 및 고정물 트래킹 어셈블리(200)를 장착하기의 충분한 치아를 가지고 있다고 가정한다. 그러나, 환자의 입의 상태가 구강 고정물(12) 및 고정물 트래킹 어셈블리(200)의 어느 하나 또는 양자의 부착을 방해한다면, 본 발명은 어느 컴포넌트가 환자의 턱뼈에 직접 장착될 수 있는 것을 구상한다.
전술한 설명이 드릴을 포함하는 수술 도구 또는 기구를 언급하지만, "수술 기구" 또는 "수술 도구"라는 용어는 어린이의 세 번째 어금니를 포함하는 조직을 제거하기 위한 제거(ablation) 도구와 같은 구강내 수술 동안 사용되는 다른 도구를 포함하도록 의도된다.
여기에서 설명된 시스템 또는 시스템들은 임의의 형태의 컴퓨터 또는 컴퓨터들에 구현될 수 있고, 컴포넌트는 전용 애플리케이션으로서 또는 웹 기반 아키텍처를 포함하는 클라이언트-서브 아키텍처에서 구현될 수 있으며 기능적 프로그램, 코드 및 코드 세그먼트를 포함할 수 있다. 본 발명의 시스템은 컴퓨터 및/또는 저장 장치(예를 들어, 매체)에 저장될 수 있고, 그리고/또는 네트워크를 통해 실행될 수 있는 소프트웨어를 포함할 수 있다. 방법은 저장 매체에 저장된 프로그램 코드 또는 프로그램 모듈을 통해 구현될 수 있다.
본 발명의 원리를 이해하는 것을 촉진하는 목적으로, 도면에 예시된 바람직한 실시예를 참조하며, 이러한 실시예를 설명하기 위하여 특정 표현이 사용되었다. 그러나, 이러한 특정 표현에 의한 본 발명의 범위에 대한 어떠한 제한도 의도되지 않으며, 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 통상적으로 발생할 수 있는 모든 실시예를 포함하도록 고려되어야 한다.
본 명세서의 실시예는 다양한 처리 단계들의 관점에서 설명될 수 있다. 이러한 처리 단계는 특정 기능을 수행하는 임의의 개수의 하드웨어 및/또는 소프트웨어에 의해 실현될 수 있다. 예를 들어, 설명된 실시예는 하나 이상의 마이크로프로세서 또는 다른 제어 장치의 제어 하에서 다양한 기능을 수행할 수 있는 다양한 집적 회로 컴포넌트, 예를 들어, 메모리 요소, 처리 요소, 논리 요소, 룩업 테이블 및 이와 유사한 것을 채용할 수 있다. 유사하게, 설명된 실시예의 요소가 소프트웨어 프로그래밍 또는 소프트웨어 요소를 이용하여 구현되는 경우에, 본 발명은 C, C++, Java, 어셈블러, 또는 이와 유사한 것과 같은 임의의 프로그래밍 또는 스크립트 언어로 구현될 수 있으며, 다양한 알고리즘이 임의의 데이터 구조, 객체, 프로세스 루틴 또는 다른 프로그래밍 요소로 구현된다. 기능적 양태는 하나 이상의 프로세서를 실행하는 알고리즘에서 구현될 수 있다. 또한, 본 발명의 실시예는 전자적 구성, 신호 처리 및/또는 제어, 데이터 처리, 및 이와 유사한 것을 위한 임의의 개수의 종래 기술을 채용할 수 있다. "메커니즘" 및 "요소(element)"라는 단어는 대략적으로 사용되며, 기계적 또는 물리적 실시예로 제한되지 않지만, 프로세스 등과 함께 소프트웨어 루틴을 포함할 수 있다.
본 명세서에 도시되고 설명된 특정 구현례는 본 발명의 예시적인 예이고, 어떠한 방식으로도 본 발명의 범위를 제한하려고 의도되지 않는다. 간결함을 위하여, 종래의 전자 장치, 제어 시스템, 소프트웨어 개발 및 시스템의 다른 기능적 양태(및 시스템의 개별적으로 동작하는 컴포넌트의 컴포넌트)는 상세하게 설명되지 않을 수 있다.
마지막으로, 본 명세서에서 설명된 모든 방법은, 본 명세서에서 달리 표시되지 않는다면, 또는 전후 사정에 명확하게 반하지 않는 한, 임의의 순서로 수행 가능하다. 본 명세서에서 사용된 임의의 그리고 모든 예 또는 예시의 표현(예를 들어, "~와 같은")의 사용은 단지 본 발명을 더 알맞게 예시하도록 의도되며, 달리 주장되지 않는다면 본 발명의 범위에 대한 한정으로서 제시되지 않는다. 다양한 수정 및 조정이 본 발명의 기술적 사상 및 범위로부터 벗어나지 않으면서 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.

Claims (14)

  1. 수술 영역에 가까운 위치에서의 환자의 해부학적 구조에 제거 가능하게 부착되도록 구성된 고정물;
    상기 고정물에 제거 가능하게 부착된 브라켓 어셈블리와 제1 트래킹 패턴 표면을 포함하는 제1 트래킹 어셈블리로서, 상기 제1 트래킹 패턴 표면은 제1의 광학적으로 가시적인 패턴을 포함하고, 상기 브라켓 어셈블리는 상기 수술 영역으로부터 이격된 위치에 상기 제1 트래킹 패턴을 위치 설정하는, 상기 제1 트래킹 어셈블리;
    외과 수술에 사용하기 위한 도구;
    상기 도구에 장착된 제2 트래킹 패턴 표면을 포함하는 제2 트래킹 어셈블리로서, 상기 제2 트래킹 패턴 표면은 제2의 광학적으로 가시적인 패턴을 포함하는, 상기 제2 트래킹 어셈블리;
    복수의 카메라로서, 활성화될 때 상기 복수의 카메라가 상기 제1 및 제2 트래킹 패턴 표면 상의 상기 광학적으로 가시적인 패턴의 영상을 캡처하는 것을 가능하게 하는 위치에, 상기 영역으로부터 떨어져 위치되는 상기 복수의 카메라;
    상기 수술 영역의 CT 스캔에 관한 상기 고정물의 위치 및 방위를 포함하는 기준 데이터세트; 및
    캡처된 영상을 처리하고, 광학적으로 가시적인 패턴을 인식하여 상기 제1 및 제2 트래킹 어셈블리의 위치와 방위를 삼각 측량하도록 구성되며, 상기 기준 데이터세트에 기초하여 트래킹된 상기 도구의 위치와 방위를 결정하고, 상기 제1 및 제2 트래킹 패턴 표면에서의 상기 광학적으로 가시적인 패턴의 각각의 카메라 사이의 상대적인 변환을 분석하는 처리 시스템
    을 포함하는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  2. 제1항에 있어서,
    상기 고정물은 환자의 입 내의 하나 이상의 치아에 제거 가능하게 부착하도록 구성되는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  3. 제1항에 있어서,
    상기 브라켓 어셈블리는 상기 고정물 상의 플랜지에 제거 가능하게 부착되는 브라켓 마운트(mount), 상기 제1 트래킹 패턴 표면에 부착된 트래킹 마운트, 및 상기 브라켓 마운트를 상기 트래킹 마운트에 부착하는 지지 아암을 포함하는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  4. 제3항에 있어서,
    상기 브라켓 마운트는 상기 플랜지와 결합하는 2개의 이격된 마운팅 포스트를 포함하는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  5. 제4항에 있어서,
    상기 제1 트래킹 패턴 표면에 대한 상기 트래킹 마운트의 부착은 조정 가능한,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  6. 제5항에 있어서,
    상기 트래킹 마운트는 일련의 만곡부 및 돌출부를 갖는 베이스를 포함하는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  7. 제6항에 있어서,
    상기 제1 트래킹 어셈블리는 상기 트래킹 마운트에 대한 부착을 이용하는 프레임을 포함하고, 상기 부착은 상기 프레임이 상기 브라켓 어셈블리에 관하여 조정 가능하게 하도록 구성되는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  8. 제7항에 있어서,
    상기 프레임은, 상기 베이스에 대한 상기 트래킹 프레임의 회전 방향이 조정 가능하게 하도록 상기 트래킹 마운트에서의 만곡부 및 돌출부와 맞물리도록 구성된 일련의 만곡부 및 돌출부를 포함하는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  9. 제1항에 있어서,
    상기 광학적으로 가시적인 패턴의 각각은 복수의 2D 대비(contrasting) 형상을 포함하고, 상기 대비 형상은 각각의 광학적으로 가시적인 패턴을 다른 광학적으로 가시적인 패턴으로부터 고유하게 구별하도록 배열되는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  10. 제9항에 있어서,
    각각의 카메라는, 상기 카메라에 의해 캡처된 각각의 광학적으로 가시적인 패턴의 영상이 다른 카메라에 의해 캡처된 동일한 광학적으로 가시적인 패턴의 영상과 상이한 시야각을 가지도록 상기 제1 및 제2 트래킹 패턴 표면의 각각에서의 상기 광학적으로 가시적인 패턴을 캡처하도록 위치되고, 상기 카메라는 상기 카메라에 의해 캡처된 상기 광학적으로 가시적인 패턴의 2D 영상을 나타내는 데이터를 상기 처리 시스템에 전송하도록 구성되는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  11. 제10항에 있어서,
    상기 처리 시스템은 패턴에 대한 데이터세트를 포함하며, 상기 데이터세트는 상기 데이터세트 내의 각각의 패턴에서의 대비 형상에 대한 위치 데이터를 포함하고, 상기 처리 시스템은 상기 데이터세트 내의 패턴 중 어느 패턴이 상기 카메라로부터 수신된 상기 2D 영상에서 상기 광학적으로 가시적인 패턴의 각각에 대응하는지를 결정하기 위하여 패턴에 대한 상기 데이터세트를 분석하도록 구성되는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  12. 제11항에 있어서,
    상기 대비 형상은 구별되는 색상을 갖는 인접한 박스를 포함하며, 인접한 박스의 각각의 세트는 선에 의해 서로 분리되며, 2개의 교차하는 선의 중심점에 의해 특징점이 형성되고, 상기 처리 시스템은, 패턴에 대한 상기 데이터세트로부터의 주어진 패턴이 상기 광학적으로 가시적인 패턴에 대응하는지 결정하기 위하여 상기 광학적으로 가시적인 패턴과, 패턴에 대한 상기 데이터세트에서 상기 특징점의 위치를 결정하는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  13. 제12항에 있어서,
    상기 고정물은 환자의 하나 이상의 치아와 제거 가능하게 스냅(snap) 결합하도록 구성되고, 상기 플랜지는 상기 환자의 치아가 위치될 수 있는 곳으로부터 바깥으로 향하여 연장되는,
    구강 수술 동안 수술 기구를 트래킹하는 영상 유도 시스템.
  14. 제1항 내지 제13항 중 어느 한 항에 따른 영상 유도 시스템을 이용하여 구강 외과 수술에서 영상 유도를 제공하는 방법.
KR1020150130809A 2014-09-16 2015-09-16 의료 절차 동안 움직임을 결정하고 트래킹하는 시스템 KR101776062B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/487,987 2014-09-16
US14/487,987 US9402691B2 (en) 2014-09-16 2014-09-16 System for determining and tracking movement during a medical procedure

Publications (2)

Publication Number Publication Date
KR20160032694A true KR20160032694A (ko) 2016-03-24
KR101776062B1 KR101776062B1 (ko) 2017-09-07

Family

ID=54196771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150130809A KR101776062B1 (ko) 2014-09-16 2015-09-16 의료 절차 동안 움직임을 결정하고 트래킹하는 시스템

Country Status (6)

Country Link
US (1) US9402691B2 (ko)
EP (1) EP2997927B1 (ko)
KR (1) KR101776062B1 (ko)
CN (1) CN105411678B (ko)
DK (1) DK2997927T3 (ko)
ES (1) ES2708555T3 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190055166A (ko) * 2016-09-19 2019-05-22 네오시스, 인크. 수술 로봇 시스템을 위한 추적 및 안내 장치 및 관련 방법

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2429444B1 (en) 2009-05-11 2024-02-28 TriAgenics, Inc. Therapeutic tooth bud ablation
WO2014143014A1 (en) 2013-03-15 2014-09-18 Triagenics, Llc Therapeutic tooth bud ablation
US10022202B2 (en) 2013-03-15 2018-07-17 Triagenics, Llc Therapeutic tooth bud ablation
USD776813S1 (en) * 2014-09-16 2017-01-17 X-Nav Technologies, LLC Tracking pattern holder
USD779062S1 (en) * 2015-09-14 2017-02-14 X-Nav Technologies, LLC Tracking pattern holder for a surgical tool
US11278355B2 (en) * 2015-10-14 2022-03-22 Ecential Robotics Modular fluoro-navigation instrument
WO2017117369A1 (en) 2015-12-31 2017-07-06 Stryker Corporation System and methods for performing surgery on a patient at a target site defined by a virtual object
MX2018011794A (es) 2016-03-31 2019-02-13 A Lee Ernesto Método, dispositivos y artículos para la conducción de aumento de injerto estético de hueso de mandibula mínimamente invasivo subperióstico.
EP3439558B1 (en) * 2016-04-06 2021-06-02 X-Nav Technologies, LLC System for providing probe trace fiducial-free tracking
WO2017205351A1 (en) 2016-05-23 2017-11-30 Mako Surgical Corp. Systems and methods for identifying and tracking physical objects during a robotic surgical procedure
US10016242B2 (en) * 2016-06-06 2018-07-10 Neocis Inc. Splint device for forming a fiducial marker for a surgical robot guidance system, and associated method
KR101820682B1 (ko) * 2016-08-09 2018-01-23 주식회사 고영테크놀러지 옵티컬 트래킹용 마커, 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
ES2683085B2 (es) * 2017-02-24 2019-04-25 Dmr Dental S L Procedimiento de escaneo de un rostro humano para una alineacion entre el rostro y los dientes de una persona y conjunto de marcadores para su ejecucion
TWI783995B (zh) * 2017-04-28 2022-11-21 美商尼奧西斯股份有限公司 進行導引口腔顎面程序方法及相關系統
WO2019014759A1 (en) 2017-07-18 2019-01-24 Claronav Inc. ALIGNMENT BASED ON THE SURFACE OF A JAW
US10736714B1 (en) 2017-11-06 2020-08-11 Charles Maupin Computer-guided endodontic procedure
WO2019140533A1 (en) 2018-01-22 2019-07-25 Claronav Inc. Robotic surgical tool
US11523753B2 (en) 2018-02-07 2022-12-13 Claronav Inc. Head tracking frame for dental navigation
US11771537B2 (en) * 2018-09-27 2023-10-03 X-Nav Technologies, LLC MElHOD for dynamically guiding a dental oral and maxillofacial prosthesis
EP3897482A1 (en) * 2018-12-20 2021-10-27 Coloplast A/S Ostomy condition classification with image data transformation, devices and related methods
FR3094627B1 (fr) * 2019-04-04 2022-09-02 Quantum Surgical Dispositif de guidage d’une aiguille médicale
EP3979938A4 (en) 2019-06-06 2023-06-28 TriAgenics, Inc. Ablation probe systems
WO2021016476A1 (en) * 2019-07-24 2021-01-28 Radtec Medical Devices, Inc. Methods and apparatuses for fiducial registration of intraoral positioning devices for radiation therapy of head and neck cancer
US20210153959A1 (en) * 2019-11-26 2021-05-27 Intuitive Surgical Operations, Inc. Physical medical element affixation systems, methods, and materials
US11369455B2 (en) 2020-01-13 2022-06-28 Image Navigation Ltd. Stable affixation system for guided dental implantation
US10966799B1 (en) 2020-01-13 2021-04-06 Image Navigation Ltd. Stable affixation system for guided dental implantation
US11559373B2 (en) 2020-01-13 2023-01-24 Image Navigation Ltd. Stable winged affixation system for guided dental implantation
CN112075994B (zh) * 2020-04-13 2021-08-31 上海复拓知达医疗科技有限公司 用于定位医疗器械的光学标识物和医疗器械组件
CN111388087A (zh) * 2020-04-26 2020-07-10 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质
US10949986B1 (en) * 2020-05-12 2021-03-16 Proprio, Inc. Methods and systems for imaging a scene, such as a medical scene, and tracking objects within the scene
US20220104885A1 (en) * 2020-10-06 2022-04-07 Michael J. Hartman Patient specific dynamic navigation tracker arm mount apparatus and method

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3878610A (en) 1973-11-19 1975-04-22 William Alfred Coscina Low profile dental impression tray and set of such trays
CA2260688A1 (en) 1989-11-21 1991-05-21 I.S.G. Technologies, Inc. Probe-correlated viewing of anatomical image data
GB9015594D0 (en) 1990-07-16 1991-04-24 Plessey Roke Manor Res Tracking arrangements and systems
US5823958A (en) 1990-11-26 1998-10-20 Truppe; Michael System and method for displaying a structural data image in real-time correlation with moveable body
US6096048A (en) 1994-04-20 2000-08-01 Howard, Iii; Matthew A. Noninvasive, reattachable skull fiducial marker system
US5588430A (en) 1995-02-14 1996-12-31 University Of Florida Research Foundation, Inc. Repeat fixation for frameless stereotactic procedure
US5772432A (en) 1996-10-18 1998-06-30 Minnesota Mining & Manufacturing Co. Dental impression tray with improved adhesion to impression material
JP3512992B2 (ja) 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
JP2927350B2 (ja) 1997-03-27 1999-07-28 株式会社モノリス 多重解像度フィルタ処理方法およびその方法を利用することのできる画像マッチング方法
DE19715202B4 (de) 1997-04-11 2006-02-02 Brainlab Ag Referenzierungsvorrichtung mit einem Mundstück
JP4612194B2 (ja) 1998-12-23 2011-01-12 イメージ・ガイディッド・テクノロジーズ・インコーポレイテッド 複数センサーによって追跡されるハイブリッド３ｄプローブ
DE19902273A1 (de) 1999-01-21 2000-08-03 Dieter Edinger Vorrichtung zur Bestimmung einer Plazierung von Dental-Implantaten im Kieferknochen
US6206891B1 (en) 1999-09-14 2001-03-27 Medeye Medical Technology Ltd. Device and method for calibration of a stereotactic localization system
US6368285B1 (en) 1999-09-21 2002-04-09 Biosense, Inc. Method and apparatus for mapping a chamber of a heart
EP1219260B1 (de) 2000-12-19 2003-06-25 BrainLAB AG Verfahren und Vorrichtung zur navigationsgestüzten Zahnbehandlung
EP1401323A4 (en) 2001-05-31 2009-06-03 Image Navigation Ltd IMPLANTOLOGY METHODS GUIDED BY IMAGING
US20030156681A1 (en) 2002-02-15 2003-08-21 Egidio Cianciosi Dental imaging system and apparatus using IEEE 1394 protocol
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
CN2565417Y (zh) * 2002-08-15 2003-08-13 北京大学 用于手术导航的红外无线指示跟踪装置
US7166114B2 (en) 2002-09-18 2007-01-23 Stryker Leibinger Gmbh & Co Kg Method and system for calibrating a surgical tool and adapter thereof
CN1193714C (zh) * 2002-09-23 2005-03-23 陈慧军 人体靶向微创定位导航床架及利用其实现体外定位的方法
US20040068263A1 (en) 2002-10-04 2004-04-08 Benoit Chouinard CAS bone reference with articulated support
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
US7330577B2 (en) 2004-01-27 2008-02-12 Densys Ltd. Three-dimensional modeling of the oral cavity by projecting a two-dimensional array of random patterns
KR101235320B1 (ko) 2004-09-14 2013-02-21 오라티오 비.브이. 미적인 임플란트 어버트먼트를 가지는 세라믹 치아임플란트의 제조방법 및 설치방법
US8376738B2 (en) 2004-10-20 2013-02-19 Big Jaw Bone, Llc Universal impression trays and method of use
US7894878B2 (en) 2004-12-30 2011-02-22 Board Of Regents, The University Of Texas System Anatomically-referenced fiducial marker for registration of data
WO2006094156A2 (en) 2005-03-02 2006-09-08 Calypso Medical Technologies, Inc. Systems and methods for treating a patient using guided radiation therapy or surgery
US8172573B2 (en) 2005-04-18 2012-05-08 Image Navigation Ltd Methods and apparatus for dental implantation
US8215957B2 (en) 2005-05-12 2012-07-10 Robert Shelton Dental implant placement locator and method of use
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US9498647B2 (en) 2005-09-23 2016-11-22 Allen B. Kantrowitz Fiducial marker system for subject movement compensation during medical treatment
US7599538B2 (en) 2006-07-24 2009-10-06 Apteryx, Inc. Method and system for automatic intra-oral sensor locating for image acquisition
US8565853B2 (en) 2006-08-11 2013-10-22 DePuy Synthes Products, LLC Simulated bone or tissue manipulation
WO2008051129A1 (en) 2006-10-27 2008-05-02 Nobel Biocare Services Ag A dental impression tray for use in obtaining an impression of a dental structure
US10206757B2 (en) 2007-01-10 2019-02-19 Nobel Biocare Services Ag Method and system for dental planning and production
US8218905B2 (en) 2007-10-12 2012-07-10 Claron Technology Inc. Method, system and software product for providing efficient registration of 3D image data
WO2009055379A1 (en) 2007-10-22 2009-04-30 The Methodist Hospital System Systems, methods and apparatuses for recording anatomic orientation and position
US20090306499A1 (en) 2008-06-09 2009-12-10 Mako Surgical Corp. Self-detecting kinematic clamp assembly
TWI535424B (zh) 2009-03-13 2016-06-01 神農資訊股份有限公司 植牙手術模板製造系統及方法
US9226801B2 (en) 2010-03-08 2016-01-05 Ibur, Llc Custom linkable imaging and multifunctional tray
US8435033B2 (en) * 2010-07-19 2013-05-07 Rainbow Medical Ltd. Dental navigation techniques
US20120316486A1 (en) 2010-08-20 2012-12-13 Andrew Cheung Surgical Component Navigation Systems And Methods
US20120046536A1 (en) 2010-08-20 2012-02-23 Manhattan Technologies, Llc Surgical Instrument Navigation Systems and Methods
WO2012068679A1 (en) 2010-11-23 2012-05-31 Claron Technology Inc. Method and apparatus for automated registration and pose tracking
US8750590B2 (en) 2011-02-03 2014-06-10 Greenberg Surgical Technologies, Llc Removable handle scan body for impression trays and radiographic templates for integrated optical and CT scanning
AU2012319093A1 (en) * 2011-06-27 2014-01-16 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
US8938282B2 (en) 2011-10-28 2015-01-20 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method with automatic registration
TWI504383B (zh) 2012-11-27 2015-10-21 Nat Univ Chung Cheng Computer - aided positioning guidance system for dental implants
CA2893786C (en) * 2012-12-07 2021-01-05 University Of Houston Surgical procedure management systems and methods
US10743940B2 (en) 2013-10-02 2020-08-18 Mininavident Ag Navigation system and method for dental and cranio-maxillofacial surgery, positioning tool and method of positioning a marker member

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190055166A (ko) * 2016-09-19 2019-05-22 네오시스, 인크. 수술 로봇 시스템을 위한 추적 및 안내 장치 및 관련 방법

Also Published As

Publication number Publication date
CN105411678B (zh) 2018-02-02
US20160074129A1 (en) 2016-03-17
US9402691B2 (en) 2016-08-02
EP2997927A3 (en) 2016-08-31
CN105411678A (zh) 2016-03-23
EP2997927B1 (en) 2018-11-07
DK2997927T3 (en) 2019-02-18
ES2708555T3 (es) 2019-04-10
KR101776062B1 (ko) 2017-09-07
EP2997927A2 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
KR101776062B1 (ko) 의료 절차 동안 움직임을 결정하고 트래킹하는 시스템
KR101740935B1 (ko) 영상 포즈를 검출하여 트래킹하는 영상 유도 시스템
KR101762366B1 (ko) 영상 유도 네비게이션 시스템
US20230293908A1 (en) Patient monitor
JP6789953B2 (ja) 動的基準点アレイ及び使用方法
US7912532B2 (en) Method and instrument for surgical navigation
US9833291B2 (en) Ultrasound CT registration for positioning
CA2718686C (en) Imaging system using markers
US20110098553A1 (en) Automatic registration of images for image guided surgery
US20040092815A1 (en) Method and apparatus for tracking an internal target region without an implanted fiducial
KR20090004899A (ko) 광학 위치 측정을 위한 시스템 및 방법과 타겟으로의 리지드 또는 세미 플렉시블 툴의 안내
JP2016512973A (ja) 身体に対して対象を追跡するための追跡装置
JP2008126075A (ja) Ｃｔレジストレーション及びフィードバックの視覚的検証のためのシステム及び方法
JP2002177406A (ja) 放射線照射システム及びその照射ターゲット動きモニタ方法並びに照射ターゲット定位化方法
WO2018152742A1 (en) Multiple surfaces for physical-to-image/image-to-physical registration and image verification
EP3332711A1 (en) Dental image collection device providing optical alignment features and related system and methods
US20220375114A1 (en) Systems and methods for generating three-dimensional measurements using endoscopic video data
WO2019153096A1 (en) Reference device for real-time tracking of bone and/or surgical objects in computer-assisted surgery
CN105678738B (zh) 医学图像内基准点的定位方法及其装置
TWI381825B (zh) 影像之區域分析方法
García et al. Calibration of a surgical microscope with automated zoom lenses using an active optical tracker
TWI741889B (zh) 手術空間註冊系統與方法
WO2024095134A1 (en) Registration and navigation in cranial procedures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant