KR20200132189A - 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법 - Google Patents

증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법 Download PDF

Info

Publication number
KR20200132189A
KR20200132189A KR1020190057289A KR20190057289A KR20200132189A KR 20200132189 A KR20200132189 A KR 20200132189A KR 1020190057289 A KR1020190057289 A KR 1020190057289A KR 20190057289 A KR20190057289 A KR 20190057289A KR 20200132189 A KR20200132189 A KR 20200132189A
Authority
KR
South Korea
Prior art keywords
medical device
rod
line segment
tracking
posture
Prior art date
Application number
KR1020190057289A
Other languages
English (en)
Other versions
KR102275385B1 (ko
Inventor
박병준
최수호
김태현
Original Assignee
주식회사 데카사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 데카사이트 filed Critical 주식회사 데카사이트
Priority to KR1020190057289A priority Critical patent/KR102275385B1/ko
Priority to PCT/KR2020/005685 priority patent/WO2020231048A2/ko
Priority to US17/611,755 priority patent/US20220233247A1/en
Publication of KR20200132189A publication Critical patent/KR20200132189A/ko
Application granted granted Critical
Publication of KR102275385B1 publication Critical patent/KR102275385B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00831—Material properties
    • A61B2017/00902—Material properties transparent or translucent
    • A61B2017/00907—Material properties transparent or translucent for light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3945—Active visible markers, e.g. light emitting diodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physics & Mathematics (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 의료 기구 자세 추적 시스템은, 전단부가 바늘, 주사 형태를 포함하는 막대형태로 되어 있으며, 후단부에 상기 막대형태의 길이 방향으로 식별용 선분이 형성되어 있는 막대형 의료 기구, 상기 식별용 선분을 다수의 시점에서 촬영할 수 있도록 다수의 위치에 설치된 다수의 카메라를 포함하는 추적용 다중 카메라, 상기 막대형 의료 기구를 증강 오브젝트로 하는 증강 현실 영상을 디스플레이하고, 상기 막대형 의료 기구의 위치 및 각도 정보를 포함하는 관련 정보를 함께 표시하기 위한 디스플레이 장치 및 상기 추적용 다중 카메라에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득하고, 취득한 영상을 이용하여 3차원 선분을 추정하고, 미리 측정된 상기 막대형 의료 기구의 위치와 상기 3차원 선분의 위치 관계를 이용하여 실제 막대형 의료 기구의 3차원 자세를 추정하고, 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 상기 디스플레이 장치에 증강현실 영상으로 표출하는 제어 장치를 포함한다.

Description

증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법 {System and method for tracking motion of medical device using augmented reality}
본 발명은 의료 기구 자세 추적 기술에 관한 것으로서, 더욱 상세하게는 세침 흡인, 주사 등 의료 기구 말단 부위의 위치와 각도가 중요한 시술에서 의료 기구의 자세 추적을 통한 정보를 제공하는 기술에 관한 것이다.
증강 현실 기술은 사용자가 보고 있는 실사에 가상 영상을 투영함으로써 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술이다. 로널드 아즈마(Ronald Azuma)에 따르면, 증강 현실은 첫째, 현실의 이미지와 가상의 이미지를 결합한 것, 둘째, 실시간으로 간섭이 가능한 것, 그리고 마지막으로 삼차원의 공간 안에 놓인 것으로 정의된다. 이는 사용자가 가상 영상에 몰입하여 실제 주변환경을 볼 수 없는 가상 현실 기술과는 차별되며, 실제 환경과 가상 객체의 혼합을 통해 보다 나은 현실감과 부가 정보를 제공한다. 이러한 증강 현실 기술은 1990년 후반부터 미국을 중심으로 연구되어 최근 스마트폰의 보급으로 본격적인 상업화가 시도되고 있으며, 게임 및 교육 분야 등에서 다양한 제품이 출시되고 있다.
최근에는 이와 같은 가상현실을 의료수술 시뮬레이션 분야에 적용하고자 하는 연구가 활발히 진행되고 있다.
의료수술은 개복수술(open surgery), 최소침습수술(MIS: Minimally Invasive Surgery), 방사선수술(radiosurgery) 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데, 복강경 수술이 가장 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸 속에 삽입하여 비디오 모니터를 통해 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 나아가 방사선 수술은 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다.
수술과 관련하여 현재 가상현실 기술이 적용되는 분야로는 가상내시경(Virtual Endoscopy), 영상가이드 수술(Image Guided Surgery), 수술 전 계획(Preoperative Planning)을 들 수 있다. 가상내시경은 MRI(Magnetic Resonance Imaging)나 CT(Computed Tomography)와 같은 촬영을 통하여 볼륨영상으로 받은 인체 내부를 가상 공간에서 가상적으로 탐험하면서 해당 부위를 살펴보는 것을 말한다. 내시경이 가장 많이 적용되는 곳은 위장과 대장인데, 가상 내시경은 실제 내시경에 비하여 영상의 질이 낮지 않으며 무엇보다도 환자의 고통이 전혀 없는 가상공간에서 이루어진다. 더욱이 실제로 탐험할 수 없는 혈관 속이나 뇌수 공동에도 적용이 가능하여 향후 진단에 많이 활용될 것으로 기대되는 분야이다. 영상가이드 수술은 가상현실이라기보다는 증강현실 기법을 활용한 것이라고 할 수 있는데, 수술하고자 하는 부분 주위의 내부를 실제 부위에 정합하여 보여줌으로써 정확하게 시술할 수 있도록 해 주는 기술이다. 수술 전 계획은 시술을 하기 이전에 가상공간에서 환자의 기관이나 조직들을 구분하여 가시화하고 조작해 봄으로써 어떤 방법으로 시술을 하는 것이 가장 효과적인지 미리 계획을 할 수 있도록 도와주는 기술이다.
이처럼, 증강 현실 기술의 발달과 함께 세계적으로 이를 의료에 접목하려는 연구가 진행되고 있으며, 특히 해부학적 구조를 보여주는 교육용 프로그램이나 수술 보조용으로 사용하려는 시도가 진행 중이다. 하지만, 기존의 의료용 증강현실은 단순한 비주얼 마커를 사용한 이미지 tracking을 기반으로 한 증강 현실 구현에 그치고 있다. 이미지 tracking을 기반으로 하는 방식의 경우, 영상을 촬영하고 촬영된 영상을 분석함으로써 영상 매칭을 수행하도록 한다. 그러나, 이러한 이미지 tracking 기반의 방식의 경우, 무균 무접촉을 원칙으로 하는 의료 시술이나 수술에서는 drapping이 선행되어 대부분의 신체가 무균 시트에 가려지게 되어 매칭시킬 영상을 촬영하지 못하게 되므로 증강 현실 적용에 한계가 있다. 또한, 출혈이나 빛 반사에 의해 이미지의 정확도가 저하될 우려가 있다.
대한민국 공개특허 10-2019-0004591
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 의료 기구의 자세를 더욱 견고하게 추정할 수 있는, 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 의료 기구 자세 추적 시스템은, 전단부가 바늘, 주사 형태를 포함하는 막대형태로 되어 있으며, 후단부에 상기 막대형태의 길이 방향으로 식별용 선분이 형성되어 있는 막대형 의료 기구, 상기 식별용 선분을 다수의 시점에서 촬영할 수 있도록 다수의 위치에 설치된 다수의 카메라를 포함하는 추적용 다중 카메라, 상기 막대형 의료 기구를 증강 오브젝트로 하는 증강 현실 영상을 디스플레이하고, 상기 막대형 의료 기구의 위치 및 각도 정보를 포함하는 관련 정보를 함께 표시하기 위한 디스플레이 장치 및 상기 추적용 다중 카메라에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득하고, 취득한 영상을 이용하여 3차원 선분을 추정하고, 미리 측정된 상기 막대형 의료 기구의 위치와 상기 3차원 선분의 위치 관계를 이용하여 실제 막대형 의료 기구의 3차원 자세를 추정하고, 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 상기 디스플레이 장치에 증강현실 영상으로 표출하는 제어 장치를 포함한다.
상기 막대형 의료 기구는 후단부에 레이저 광선을 방출하는 레이저 발사부가 구비되어 있으며, 상기 레이저 발사부에서 레이저 광선을 방출하는 방식으로 식별용 선분을 형성할 수 있다.
상기 막대형 의료 기구의 후단부는 외관이 투명한 재질로 형성되어 있을 수 있다.
상기 막대형 의료 기구의 후단부는 레이저 광선이 외부로 보여지도록 은 용액 또는 에어로젤을 포함하는 매질로 채워져 있을 수 있다.
상기 막대형 의료 기구는 레이저 광선이 외부로 방출되지 않도록 후단부의 말단이 불연재질의 방지부가 형성될 수 있다.
상기 추적용 다중 카메라는 레이저 광선을 촬영하도록 구현될 수 있다.
상기 디스플레이 장치는 후면 방향을 촬영하기 위한 후면 카메라가 구비되어 있고, 상기 제어 장치의 제어에 따라 상기 후면 카메라에서 촬영되는 영상과 상기 3차원 자세 정보를 증강 현실 영상으로 디스플레이할 수 있다.
상기 제어 장치는 상기 추적용 다중 카메라를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행할 수 있다.
상기 제어 장치는 상기 추적용 다중 카메라에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행할 수 있다.
상기 제어 장치는 상기 영상 정제 작업 후, 통계적 라인 피팅 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행할 수 있다.
상기 제어 장치는 2차원 최적 선분 탐색 후, 다수의 2차원 선분 정보들과 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적의 3차원 선분 복원 작업을 수행할 수 있다. 예를 들어, 상기 제어 장치는 2차원 최적 선분 탐색 후, 2차원 선분 정보들을 2개씩 묶고, 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 다수의 3차원 선분들을 복원하는 3차원 선분 복원 작업을 수행할 수 있다. 상기 제어 장치는 상기 3차원 선분 복원 작업 후, 복원된 3차원 선분들의 양 끝점 정보를 라인 피팅하여 최적의 3차원 선분을 탐색할 수 있다.
상기 제어 장치는 미리 측정한 막대형 의료 기구와 상기 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정할 수 있다.
본 발명의 의료 기구 자세 추적 시스템에서의 자세 추적 방법에서, 상기 제어 장치는 상기 추적용 다중 카메라에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득하는 단계, 상기 제어 장치는 취득한 영상을 이용하여 3차원 선분을 추정하는 단계, 상기 제어 장치는 미리 측정된 상기 막대형 의료 기구의 위치와 상기 3차원 선분의 위치 관계를 이용하여 실제 막대형 의료 기구의 3차원 자세를 추정하는 단계 및 상기 제어 장치는 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 상기 디스플레이 장치에 증강현실 영상으로 표출하는 단계를 포함한다.
상기 막대형 의료 기구는 후단부에 레이저 광선을 방출하는 레이저 발사부가 구비되어 있으며, 상기 레이저 발사부에서 레이저 광선을 방출하는 방식으로 식별용 선분을 형성할 수 있다.
상기 막대형 의료 기구의 후단부는 외관이 투명한 재질로 형성될 수 있다.
상기 막대형 의료 기구의 후단부는 레이저 광선이 외부로 보여지도록 은 용액 또는 에어로젤을 포함하는 매질로 채워져 있을 수 있다.
상기 막대형 의료 기구는 레이저 광선이 외부로 방출되지 않도록 후단부의 말단이 불연재질의 방지부가 형성되어 있을 수 있다.
상기 추적용 다중 카메라는 레이저 광선을 촬영할 수 있다.
상기 디스플레이 장치는 후면 방향을 촬영하기 위한 후면 카메라가 구비되어 있고, 상기 제어 장치의 제어에 따라 상기 후면 카메라에서 촬영되는 영상과 상기 3차원 자세 정보를 증강 현실 영상으로 디스플레이할 수 있다.
상기 제어 장치는 상기 추적용 다중 카메라를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행하는 단계를 더 포함할 수 있다.
상기 제어 장치는 상기 추적용 다중 카메라에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행하는 단계를 더 포함할 수 있다.
상기 제어 장치는 상기 영상 정제 작업 후, 통계적 라인 피팅 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행하는 단계를 더 포함할 수 있다.
상기 제어 장치는 2차원 최적 선분 탐색 후, 다수의 2차원 선분 정보들과 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적의 3차원 선분 복원 작업을 수행하는 단계를 더 포함할 수 있다. 예를 들어, 상기 최적의 3차원 선분 복원 작업 수행 단계는, 상기 제어 장치가 2차원 최적 선분 탐색 후, 2차원 선분 정보들을 2개씩 묶고, 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 다수의 3차원 선분들을 복원하는 3차원 선분 복원 작업을 수행하는 단계 및 상기 제어 장치가 상기 3차원 선분 복원 작업 후, 복원된 3차원 선분들의 양 끝점 정보를 라인 피팅하여 최적의 3차원 선분을 탐색하는 단계를 포함할 수 있다.
상기 제어 장치는 미리 측정한 막대형 의료 기구와 상기 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정하는 단계를 더 포함할 수 있다.
본 발명에 의하면, 증강현실을 이용하여 의료 기구의 자세를 추적함으로써, 의료 기구의 위치, 각도 등의 정보를 용이하게 추정할 수 있는 효과가 있다.
또한, 본 발명에 의하면 기존의 사각 마커 추적 방식의 문제점을 개선함으로써, 더욱 견고한 의료 기구의 자세 추정 방식을 제안하는 효과가 있다.
또한, 본 발명에 의하면 의료 기구의 자세 추적을 증강현실 기술로 시각화하여 제공함으로써, 의료 기구를 사용하는 의료진에게 보다 직관적으로 의료 기구를 사용할 수 있도록 하는 효과가 있다. 특히, 본 발명은 바늘, 주사를 이용하는 복강경 수술, 흉강경 수술 등에서 매우 유용하게 활용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 의료 기구 자세 추적 시스템을 개략적으로 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 추적용 다중 카메라를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 막대형 의료 기구를 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치의 화면예이다.
도 6은 본 발명의 일 실시예에 따른 의료 기구 자세 추적 방법을 보여주는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 레이저 광선 추적용 영상 취득 작업을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정제 작업을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 2차원 최적 선분 탐색 작업을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 3차원 선분 복원 작업을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 3차원 최적 선분 탐색 작업을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 막대형 의료 기구에 대한 자세 추정 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예에 따른 막대형 의료 기구에 대한 자세 정보를 시각화하는 것을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 의료 기구 자세 추적 시스템을 개략적으로 도시한 것이다. 도 1에서는 의료진(10)이 환자(20)에 대해 수술을 실시하는 상황을 예시하여 설명한다.
도 1을 참조하면, 본 발명의 의료 기구 자세 추적 시스템은 추적용 다중 카메라(110), 막대형 의료 기구(120), 디스플레이 장치(130), 제어 장치(미도시)를 포함한다.
추적용 다중 카메라(110)는 막대형 의료 기구(120)에 형성된 식별용 선분을 다수의 시점에서 촬영할 수 있도록 다수의 위치에 설치된 다수의 카메라를 포함한다.
막대형 의료 기구(120)는 바늘, 주사, 복강경 수술 기구, 흉강경 수술 기구 등의 의료 기구를 포함하는 개념으로서, 전단부가 바늘, 주사 형태를 포함하는 막대형태로 구성되어 있으며, 후단부에 막대 형태의 길이 방향으로 식별용 선분이 형성되어 있다.
디스플레이 장치(130)는 막대형 의료 기구(120)와 환자(20) 신체 내부를 증강 오브젝트(object)와 증강현실 공간으로 표시하는 증강 현실 영상을 디스플레이하고, 막대형 의료 기구(120)의 위치 및 각도 정보를 포함하는 관련 정보를 함께 표시하는 장치이다.
제어 장치(미도시)는 추적용 다중 카메라(110)에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득한다. 그리고, 취득한 영상을 이용하여 3차원 선분을 추적한다. 그리고, 미리 측정된 막대형 의료 기구(120)의 위치와 3차원 선분의 위치 관계를 이용하여 실제 막대형 의료 기구의 3차원 자세를 추정한다. 그리고, 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 디스플레이 장치(130)에 증강현실 영상으로 표출하도록 한다.
본 발명에서 추적용 다중 카메라(110)는 막대형 의료 기구(120)에 형성된 레이저 광선을 촬영하여 이를 추적할 수 있다.
도 2는 본 발명의 일 실시예에 따른 추적용 다중 카메라를 도시한 것이다.
도 2를 참조하면, 본 발명에서 추적용 다중 카메라(110)는 막대형 의료 기구(120)에 형성된 레이저 광선을 여러 시점에서 촬영할 수 있도록 적어도 2개 이상의 카메라를 포함한다. 바람직하기로는 최대한 사각이 발생하지 않도록 화각을 고려하여 카메라를 배치할 수 있다. 본 발명에서는 평면을 구성할 수 있도록 3~4개 이상의 카메라가 배치되는 것이 바람직하며, 카메라가 많이 설치될수록 레이저 광선를 이용한 자세 추정 시의 오차를 줄일 수 있다.
본 발명에서 막대형 의료 기구(120)의 식별용 선분은 다양한 방식으로 구현될 수 있다. 예를 들어, 막대형 의료 기구(120)에서 특수 도료를 이용하여 식별용 선분을 구현할 수 있다. 그러나, 본 발명은 사람의 신체 및 생명과 관련된 치료, 수술 등 의료 분야에서 활용되므로, 정밀한 측정이 요구된다. 따라서, 본 발명에서는 레이저 광선을 이용하여 막대형 의료 기구(120)의 식별용 선분을 구현하는 것이 바람직하다. 레이저 광선은 매우 얇은 폭의 직진 선분을 구현할 수 있다.
본 발명에서 막대형 의료 기구(120)는 후단부에 레이저 광선을 방출하는 레이저 발사부가 구비되어 있으며, 레이저 발사부에서 레이저 광선을 방출하는 방식으로 식별용 선분을 형성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 막대형 의료 기구를 도시한 것이다.
도 3(a)를 참조하면, 본 발명의 일 실시예에서 의료 기구의 본체(121)의 후단부에 레이저 발사 장치가 포함된 유리관(관의 소재는 투명 플라스틱 등 다양하게 활용할 수 있음)을 부착하는 방식으로 막대형 의료 기구(120)를 제작할 수 있다.
본 발명에서 막대형 의료 기구(120)의 후단부는 외부에서 레이저 광선(122)이 보이도록, 외관이 투명한 재질로 형성될 수 있다.
막대형 의료 기구(120)의 후단부는 레이저 광선이 외부로 잘 보여지도록 은 용액(colloidal silver) 또는 에어로젤(aerogel)을 포함하는 매질로 채워져 있을 수 있다.
그리고, 막대형 의료 기구(120)는 레이저 광선이 외부로 방출되지 않도록 후단부의 말단이 불연재질의 방지부(123)로 형성될 수 있다. 만약 후단부 말단에 방지부(123)가 형성되어 있지 않으면, 레이저 광선이 투명한 유리관을 뚫고 외부로 방출될 수 있다. 따라서, 본 발명에서는 레이저 광선이 유리관 외부로 방출되지 않도록 후단부 말단에 카본, 그라파이트와 같은 불연재질의 테이프를 부착하는 방식으로 방지부(123)를 형성할 수 있다.
본 발명에서 막대형 의료 기구(120)에서 사용되는 레이저 광선은 의료 환경의 특수성과 가시성을 고려하여 비교적 강한 파워의 레이저를 사용하는 것이 바람직하다. 예를 들어, 100 mW 이상의 파워를 갖는 레이저를 사용할 수 있다.
막대형 의료 기구(120)의 자세(위치 및 각도) 추정은 미리 측정한 막대형 의료 기구와 레이저 광선 간의 위치 관계를 이용하여 그 3차원 자세가 추정된다. 이를 위해, 예를 들어, 레이저 광선 선분과 막대형 의료 기구의 바늘이 의료 기구 본체부를 사이에 두고 그 각도와 길이가 동일하도록 설정할 수 있다. 그러나 레이저 광선 선분과 막대형 의료 기구 바늘의 길이가 동일한 경우로 한정되는 것은 아니고, 레이저 광선 선분과 바늘의 길이가 소정 비율을 갖도록 설정할 수도 있고 레이저 광선 선분의 길이가 바늘의 길이 보다 길게 설정될 수도 있다. 실시예에 따라서는 레이저 광선 선분의 길이를 조절 가능하도록 막대형 의료 기구(120)를 구성할 수도 있다. 레이저 광선 선분의 길이가 길게 설정되면, 막대형 의료 기구 바늘의 자세가 보다 정밀하게 추정될 수 있다. 이러한 구성에 의해, 레이저 광선 선분의 위치와 길이가 정밀하게 추정되면, 막대형 의료 기구의 바늘의 위치와 길이는 자동적으로 정확하게 추정될 수 있다.
도 3(b)를 참조하면, 막대형 의료 기구(120)의 바늘 하부에 레이저 발사 장치를 추가로 부가하여 환자에게 침습되는 방향으로 레이저 광선이 추가로 방출되도록 구성할 수도 있다. 방출된 레이저 광선(124)은 환자의 피부 표면까지 도달한 거리가 자동으로 측정되어 환자 신체 내부로 삽입된 바늘의 길이가 보다 정밀하게 추정될 수 있다. 가령, 바늘 전체의 길이에서 레이저 광선(124)의 환자 피부 표면 도달 거리를 빼면 환자 신체 내부로 삽입된 바늘의 길이가 자동으로 추정될 수 있다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치를 도시한 것이다.
도 4를 참조하면, 디스플레이 장치(130)는 후면 방향을 촬영하기 위한 후면 카메라(132)가 구비되어 있고, 제어 장치의 제어에 따라 후면 카메라(132)에서 촬영되는 영상과 3차원 자세 정보를 증강 현실 영상으로 디스플레이할 수 있다. 도 4(a)는 의료진(10)이 증강현실 화면을 볼 수 있는 디스플레이 장치(130)의 전면을 도시한다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 장치의 화면표시 예이다.
도 5를 참조하면, 디스플레이 장치(130)에서 디스플레이되는 증강현실 영상이 도시되어 있다.
본 발명에서 제어 장치는 추적용 다중 카메라(110)를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행할 수 있다.
그리고, 제어 장치는 추적용 다중 카메라(110)에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행할 수 있다.
그리고, 제어 장치는 영상 정제 작업 후, 통계적 라인 피팅(line fitting) 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행할 수 있다.
그리고, 제어 장치는 2차원 최적 선분 탐색 후, 다수의 2차원 선분 정보들과 추적용 다중 카메라(110)를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적의 3차원 선분 복원 작업을 수행할 수 있다. 예를 들어, 제어 장치는 2차원 최적 선분 탐색 후, 2차원 선분 정보들을 2개씩 묶고, 추적용 다중 카메라(110)를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 다수의 3차원 선분들을 복원하는 3차원 선분 복원 작업을 수행할 수 있다. 이어서, 제어 장치는 3차원 선분 복원 작업 후, 복원된 3차원 선분들의 양 끝점 정보를 라인 피팅하여 최적의 3차원 선분을 탐색할 수 있다.
그리고, 제어 장치는 미리 측정한 막대형 의료 기구와 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정할 수 있다.
도 6은 본 발명의 일 실시예에 따른 의료 기구 자세 추적 방법을 보여주는 흐름도이다.
도 6(a)을 참조하면, 본 발명의 의료 기구 자세 추적 시스템에서의 자세 추적 방법에서, 제어 장치는 추적용 다중 카메라(110)를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행한다(S602).
그리고 제어 장치는 추적용 다중 카메라(110)에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득한다(S604).
그리고, 제어 장치는 취득한 추적용 다중 카메라(110)에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행한다(S606).
그리고, 제어 장치는 영상 정제 작업 후, 통계적 라인 피팅 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행한다(S608).
그리고, 제어 장치는 2차원 최적 선분 탐색 후, 다수의 2차원 선분 정보들과 추적용 다중 카메라(110)를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적의 3차원 선분 복원 작업을 수행한다(S610).
그리고, 제어 장치는 미리 측정한 막대형 의료 기구와 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정한다(S612).
그리고, 제어 장치는 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 디스플레이 장치(130)에 증강현실 영상으로 표출한다(S614).
S602 단계에서, 레이저 광선의 3차원 복원을 위해, 추적용 다중 카메라(110)에 구비되는 카메라들 간의 위치 관계를 미리 파악하는 카메라 교정(Calibration) 과정을 진행한다. 이때, 카메라 교정 과정은 이미 잘 알려진 방법들을 사용한다. 예를 들어, Bo Li, Tomas Svoboda의 방법 등 이미 공개된 방법들을 활용하여 카메라들의 위치관계를 최소한의 오차로 파악한다.
도 6(b)는 도 6(a)의 최적의 3차원 선분 복원 작업을 예시적으로 설명하는 의료 기구 자세 추적 방법을 제시한다. 도 6(b)를 참조하면, 본 발명의 의료 기구 자세 추적 시스템에서의 자세 추적 방법에서, 제어 장치는 추적용 다중 카메라(110)를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행한다(S601).
그리고 제어 장치는 추적용 다중 카메라(110)에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득한다(S603).
그리고, 제어 장치는 취득한 추적용 다중 카메라(110)에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행한다(S605).
그리고, 제어 장치는 영상 정제 작업 후, 통계적 라인 피팅 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행한다(S607).
그리고, 제어 장치는 2차원 최적 선분 탐색 후, 다수의 2차원 선분 정보들과 추적용 다중 카메라(110)를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적의 3차원 선분 복원 작업을 수행한다(S609 및 S611). 예를 들어, 제어 장치는 2차원 최적 선분 탐색 후, 2차원 선분 정보들을 2개씩 묶고, 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 다수의 3차원 선분들을 복원하는 3차원 선분 복원 작업을 수행한다(S609). 이어서, 제어 장치는 3차원 선분 복원 작업 후, 복원된 3차원 선분들의 양 끝점 정보를 라인 피팅(line fitting)하여 최적의 3차원 선분을 탐색한다(S611).
그리고, 제어 장치는 미리 측정한 막대형 의료 기구와 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정한다(S613).
그리고, 제어 장치는 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 디스플레이 장치(130)에 증강현실 영상으로 표출한다(S615).
S601 단계에서, 레이저 광선의 3차원 복원을 위해, 추적용 다중 카메라(110)에 구비되는 카메라들 간의 위치 관계를 미리 파악하는 카메라 교정(Calibration) 과정을 진행한다. 이때, 카메라 교정 과정은 이미 잘 알려진 방법들을 사용한다. 예를 들어, Bo Li, Tomas Svoboda의 방법 등 이미 공개된 방법들을 활용하여 카메라들의 위치관계를 최소한의 오차로 파악한다.
도 7은 본 발명의 일 실시예에 따른 레이저 광선 추적용 영상 취득 작업을 설명하기 위한 도면이다.
도 7에서는 추적용 다중 카메라(110)가 네 개의 카메라를 구비한 것으로 예시하고, 각 카메라에서 촬영된 영상을 네 개의 영상 화면으로 나타낸 것이다.
도 7을 참조하면, S603 단계에서, 제어 장치는 각 카메라에서 촬영된 모든 영상들을 매 프레임마다 실시간으로 취득한다. 예를 들어, USB, 네트워크 등 개별 카메라의 대역폭에 영향을 받지 않는 다양한 방법으로 영상을 취득할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 정제 작업을 설명하기 위한 도면이다.
도 8을 참조하면, S605 단계의 영상 정제 작업에서는 S603 단계에서 취득된 영상에서 각 카메라에 별로 레이저 색상 범위를 분리하고, 일정 면적 이하의 불필요한 노이즈를 최대한 제거한다.
도 9는 본 발명의 일 실시예에 따른 2차원 최적 선분 탐색 작업을 설명하기 위한 도면이다.
도 9를 참조하면, S607 단계의 각 영상별 2차원 최적 선분 탐색 과정에서는 통계적으로 강건한 라인 피팅 알고리즘을 이용하여 최적 선분을 탐색한다. 이때 라인 피팅 알고리즘은 이미 잘 알려진 알고리즘을 사용할 수 있으며, 예를 들어 Inui, Meer, Rousseeuw 등의 라인 피팅 알고리즘을 사용할 수 있다.
도 10은 본 발명의 일 실시예에 따른 3차원 선분 복원 작업을 설명하기 위한 도면이고, 도 11은 본 발명의 일 실시예에 따른 3차원 최적 선분 탐색 작업을 설명하기 위한 도면이다. 즉, 도 10 및 도 11은 본 발명의 일 실시예에 따른 최적의 3차원 선분 복원 작업을 예시적으로 설명하기 위한 도면이다.　
도 6, 도 10 및 도 11을 참조하면, S610 단계(또는 예시적으로 S609 및 S611 단계)의 3차원 선분 복원 작업은 2차원 선분 정보들과 미리 파악한 카메라들의 위치관계 정보를 이용하여 최적 3차원 선분을 복원할 수 있다. 도 11에 복원된 최적 3차원 선분이 도시되어 있다.
도 10을 참조하면, S609 단계의 3차원 선분 복원 작업은 2차원 선분 정보들을 소정 개수씩(예를 들어, 2개씩) 묶은 후, 미리 파악한 카메라들의 위치관계 정보를 이용하여 다수의 3차원 선분들을 복원할 수 있다. 도 10에 3차원 선분들이 도시되어 있다.
도 11을 참조하면, S611 단계의 3차원 최적 선분 탐색 과정은 다수의 3차원 선분들의 양 끝점 정보들을 다시 라인 피팅하여 최적의 3차원 선분들을 찾아낼 수 있다. 이때 라인 피팅 알고리즘은 전술한 공지의 알고리즘을 사용할 수 있다.
도 12는 본 발명의 일 실시예에 따른 막대형 의료 기구에 대한 자세 추정 과정을 설명하기 위한 도면이다.
도 12를 참조하면, S613 단계에서 막대형 의료 기구의 자세 추정 과정은 미리 측정한 막대형 의료 기구와 레이저 광선 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정할 수 있다. 예를 들어, 레이저 광선 선분과 막대형 의료 기구의 바늘이 의료 기구 본체부를 사이에 두고 그 각도와 길이가 동일하도록 설정할 수도 있다(또는, 레이저 광선 선분과 바늘의 길이가 소정 비율을 갖도록 설정할 수도 있음). 이 경우, 레이저 광선 선분의 위치와 길이가 정밀하게 추정되면, 막대형 의료 기구의 바늘의 위치와 길이는 자동적으로 정확하게 추정될 수 있다.
도 13은 본 발명의 일 실시예에 따른 막대형 의료 기구에 대한 자세 정보를 시각화하는 것을 설명하기 위한 도면이다.
도 13을 참조하면, S615 단계에서 추정한 의료 기구의 각도, 위치 등 3차원 자세 정보를 디스플레이 장치(130)의 화면 상에 증강현실 형태로 표출할 수 있다. 도 13의 화면 예에서 막대형 의료 기구가 증강 오브젝트로 증강 현실 형태로 표출된 것이고, 막대형 의료 기구가 평행성과 이루는 입사 각도가 50°인 것이 표시되어 있다.
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
100 의료 기구 자세 추적 시스템
110 추적용 다중 카메라
120 막대형 의료 기구
130 디스플레이 장치

Claims (24)

  1. 전단부가 바늘, 주사 형태를 포함하는 막대형태로 되어 있으며, 후단부에 상기 막대형태의 길이 방향으로 식별용 선분이 형성되어 있는 막대형 의료 기구;
    상기 식별용 선분을 다수의 시점에서 촬영할 수 있도록 다수의 위치에 설치된 다수의 카메라를 포함하는 추적용 다중 카메라;
    상기 막대형 의료 기구를 증강 오브젝트로 하는 증강 현실 영상을 디스플레이하고, 상기 막대형 의료 기구의 위치 및 각도 정보를 포함하는 관련 정보를 함께 표시하기 위한 디스플레이 장치; 및
    상기 추적용 다중 카메라에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득하고, 취득한 영상을 이용하여 3차원 선분을 추정하고, 미리 측정된 상기 막대형 의료 기구의 위치와 상기 3차원 선분의 위치 관계를 이용하여 실제 막대형 의료 기구의 3차원 자세를 추정하고, 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 상기 디스플레이 장치에 증강현실 영상으로 표출하는 제어 장치
    를 포함하는 의료 기구 자세 추적 시스템.
  2. 청구항 1에 있어서,
    상기 막대형 의료 기구는 후단부에 레이저 광선을 방출하는 레이저 발사부가 구비되어 있으며, 상기 레이저 발사부에서 레이저 광선을 방출하는 방식으로 식별용 선분을 형성하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  3. 청구항 2에 있어서,
    상기 막대형 의료 기구의 후단부는 외관이 투명한 재질로 형성되어 있는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  4. 청구항 3에 있어서,
    상기 막대형 의료 기구의 후단부는 레이저 광선이 외부로 보여지도록 은 용액 또는 에어로젤을 포함하는 매질로 채워져 있는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  5. 청구항 4에 있어서,
    상기 막대형 의료 기구는 레이저 광선이 외부로 방출되지 않도록 후단부의 말단에 불연재질의 방지부가 형성되어 있는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  6. 청구항 2에 있어서,
    상기 추적용 다중 카메라는 레이저 광선을 촬영하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  7. 청구항 1에 있어서,
    상기 디스플레이 장치는 후면 방향을 촬영하기 위한 후면 카메라가 구비되어 있고, 상기 제어 장치의 제어에 따라 상기 후면 카메라에서 촬영되는 영상과 상기 3차원 자세 정보를 증강 현실 영상으로 디스플레이하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  8. 청구항 2에 있어서,
    상기 제어 장치는 상기 추적용 다중 카메라를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  9. 청구항 8에 있어서,
    상기 제어 장치는 상기 추적용 다중 카메라에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  10. 청구항 9에 있어서,
    상기 제어 장치는 상기 영상 정제 작업 후, 통계적 라인 피팅 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  11. 청구항 10에 있어서,
    상기 제어 장치는 2차원 최적 선분 탐색 후, 2차원 선분 정보들과 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적 3차원 복원 작업을 수행하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  12. 청구항 11에 있어서,
    상기 제어 장치는 미리 측정한 막대형 의료 기구와 상기 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정하는 것을 특징으로 하는 의료 기구 자세 추적 시스템.
  13. 전단부가 바늘, 주사 형태를 포함하는 막대형태로 되어 있으며, 후단부에 상기 막대형태의 길이 방향으로 식별용 선분이 형성되어 있는 막대형 의료 기구, 상기 식별용 선분을 다수의 시점에서 촬영할 수 있도록 다수의 위치에 설치된 다수의 카메라를 포함하는 추적용 다중 카메라, 상기 막대형 의료 기구를 증강 오브젝트로 하는 증강 현실 영상을 디스플레이하고, 상기 막대형 의료 기구의 위치 및 각도 정보를 포함하는 관련 정보를 함께 표시하기 위한 디스플레이 장치 및 제어 장치를 구비하는 의료 기구 자세 추적 시스템에서의 의료 기구 자세 추적 방법에서,
    상기 제어 장치는 상기 추적용 다중 카메라에서 촬영된 추적용 영상을 매 프레임마다 실시간으로 취득하는 단계;
    상기 제어 장치는 취득한 영상을 이용하여 3차원 선분을 추정하는 단계;
    상기 제어 장치는 미리 측정된 상기 막대형 의료 기구의 위치와 상기 3차원 선분의 위치 관계를 이용하여 실제 막대형 의료 기구의 3차원 자세를 추정하는 단계; 및
    상기 제어 장치는 추정한 막대형 의료 기구의 위치 및 각도 정보를 포함하는 3차원 자세 정보를 상기 디스플레이 장치에 증강현실 영상으로 표출하는 단계
    를 포함하는 의료 기구 자세 추적 방법.
  14. 청구항 13에 있어서,
    상기 막대형 의료 기구는 후단부에 레이저 광선을 방출하는 레이저 발사부가 구비되어 있으며, 상기 레이저 발사부에서 레이저 광선을 방출하는 방식으로 식별용 선분을 형성하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  15. 청구항 14에 있어서,
    상기 막대형 의료 기구의 후단부는 외관이 투명한 재질로 형성되어 있는 것임을 특징으로 하는 의료 기구 자세 추적 방법.
  16. 청구항 15에 있어서,
    상기 막대형 의료 기구의 후단부는 레이저 광선이 외부로 보여지도록 은 용액 또는 에어로젤을 포함하는 매질로 채워져 있는 것임을 특징으로 하는 의료 기구 자세 추적 방법.
  17. 청구항 16에 있어서,
    상기 막대형 의료 기구는 레이저 광선이 외부로 방출되지 않도록 후단부의 말단이 불연재질의 방지부가 형성되어 있는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  18. 청구항 14에 있어서,
    상기 추적용 다중 카메라는 레이저 광선을 촬영하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  19. 청구항 13에 있어서,
    상기 디스플레이 장치는 후면 방향을 촬영하기 위한 후면 카메라가 구비되어 있고, 상기 제어 장치의 제어에 따라 상기 후면 카메라에서 촬영되는 영상과 상기 3차원 자세 정보를 증강 현실 영상으로 디스플레이하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  20. 청구항 14에 있어서,
    상기 제어 장치는 상기 추적용 다중 카메라를 구성하는 각 카메라의 위치 관계를 미리 파악하기 위한 카메라 교정(calibration) 작업을 수행하는 단계를 더 포함하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  21. 청구항 20에 있어서,
    상기 제어 장치는 상기 추적용 다중 카메라에서 취득된 영상에서 레이저 광선을 분리하고, 불필요한 노이즈를 제거하는 영상 정제 작업을 수행하는 단계를 더 포함하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  22. 청구항 21에 있어서,
    상기 제어 장치는 상기 영상 정제 작업 후, 통계적 라인 피팅 알고리즘을 이용하여 각 카메라에서 촬영된 영상 별로 최적의 2차원 선분을 탐색하는 2차원 최적 선분 탐색 작업을 수행하는 단계를 더 포함하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  23. 청구항 22에 있어서,
    상기 제어 장치는 2차원 최적 선분 탐색 후, 2차원 선분 정보들과 상기 추적용 다중 카메라를 구성하는 각 카메라 간의 위치 관계 정보를 이용하여 최적 3차원 복원 작업을 수행하는 단계를 더 포함하는 것을 특징으로 하는 의료 기구 자세 추적 방법.
  24. 청구항 23에 있어서,
    상기 제어 장치는 미리 측정한 막대형 의료 기구와 상기 최적의 3차원 선분 간의 위치 관계를 이용하여 실제 의료 기구의 3차원 자세를 추정하는 단계를 더 포함하는 것을 특징으로 하는 의료 기구 자세 추적 방법.


KR1020190057289A 2019-05-16 2019-05-16 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법 KR102275385B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190057289A KR102275385B1 (ko) 2019-05-16 2019-05-16 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법
PCT/KR2020/005685 WO2020231048A2 (ko) 2019-05-16 2020-04-29 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법
US17/611,755 US20220233247A1 (en) 2019-05-16 2020-04-29 System and method for tracking positioning of medical instrument by using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190057289A KR102275385B1 (ko) 2019-05-16 2019-05-16 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200132189A true KR20200132189A (ko) 2020-11-25
KR102275385B1 KR102275385B1 (ko) 2021-07-09

Family

ID=73289460

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190057289A KR102275385B1 (ko) 2019-05-16 2019-05-16 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법

Country Status (3)

Country Link
US (1) US20220233247A1 (ko)
KR (1) KR102275385B1 (ko)
WO (1) WO2020231048A2 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080042794A (ko) * 2005-06-09 2008-05-15 이에프에 인더스트릴레 포르슝 운트 엔트빅룽 게엠베하 물체의 공간적 위치 및 방향의 비접촉식 결정 및 측정 장치및 방법과, 의료용 툴을 교정 및 확인하기 위한 방법,그리고 의료용 툴 상의 패턴이나 구조물
KR20140083913A (ko) * 2012-12-26 2014-07-04 가톨릭대학교 산학협력단 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템
KR20190004591A (ko) 2017-07-04 2019-01-14 경희대학교 산학협력단 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9526587B2 (en) * 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US8029558B2 (en) * 2006-07-07 2011-10-04 Abbott Cardiovascular Systems, Inc. Stent and catheter assembly and method for treating bifurcations
DE102010009476A1 (de) * 2009-12-15 2011-06-16 Testo Ag Verfahren und Vorrichtung zur Visualisierung von ortsaufgelösten Messergebnissen von nicht unmittelbar für das menschliche Auge sichtbaren Eigenschaften
KR101188715B1 (ko) * 2010-10-04 2012-10-09 한국과학기술연구원 수술 도구의 3차원 추적 시스템 및 이를 이용한 위치 감지 방법
KR20140126473A (ko) * 2013-04-23 2014-10-31 삼성전자주식회사 마커 및 이를 이용한 수술 도구 포즈 추정 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080042794A (ko) * 2005-06-09 2008-05-15 이에프에 인더스트릴레 포르슝 운트 엔트빅룽 게엠베하 물체의 공간적 위치 및 방향의 비접촉식 결정 및 측정 장치및 방법과, 의료용 툴을 교정 및 확인하기 위한 방법,그리고 의료용 툴 상의 패턴이나 구조물
KR20140083913A (ko) * 2012-12-26 2014-07-04 가톨릭대학교 산학협력단 복합 실제 3차원 영상 제작방법 및 이를 위한 시스템
KR20190004591A (ko) 2017-07-04 2019-01-14 경희대학교 산학협력단 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법

Also Published As

Publication number Publication date
KR102275385B1 (ko) 2021-07-09
WO2020231048A2 (ko) 2020-11-19
US20220233247A1 (en) 2022-07-28
WO2020231048A3 (ko) 2021-01-07

Similar Documents

Publication Publication Date Title
US11883118B2 (en) Using augmented reality in surgical navigation
CN109416841B (zh) 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
KR101572487B1 (ko) 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
CA2966319C (en) Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US20170296292A1 (en) Systems and Methods for Surgical Imaging
CN110709894B (zh) 用于增强深度感知的虚拟阴影
EP2012698B8 (en) Interactive virtual mirror device for visualizing virtual objects in endoscopic applications
US8498692B2 (en) Method for displaying a medical implant in an image and a medical imaging system
Navab et al. Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality
KR20070058785A (ko) 중재적 시술을 위한 초음파 시스템
JP2018183589A (ja) 狭い通路における侵襲的手順の内視鏡画像
JP2021509987A (ja) 血管特徴を使用して異常な組織を検出するためのシステム及び方法
JP2014131552A (ja) 医療支援装置
CN109833092A (zh) 体内导航系统和方法
Nagelhus Hernes et al. Computer‐assisted 3D ultrasound‐guided neurosurgery: technological contributions, including multimodal registration and advanced display, demonstrating future perspectives
Zhu et al. A neuroendoscopic navigation system based on dual-mode augmented reality for minimally invasive surgical treatment of hypertensive intracerebral hemorrhage
Vogt Real-Time Augmented Reality for Image-Guided Interventions
KR102275385B1 (ko) 증강현실을 이용한 의료 기구 자세 추적 시스템 및 방법
Vijayalakshmi Image-guided surgery through internet of things
Shahin et al. Ultrasound-based tumor movement compensation during navigated laparoscopic liver interventions
EP3788981B1 (en) Systems for providing surgical guidance
KR20140124456A (ko) Oct 영상과 심장 삼차원 영상의 정합을 통한 심장 수술 내비게이션 시스템 및 방법
Kumar et al. Stereoscopic augmented reality for single camera endoscope using optical tracker: a study on phantom
Peters IMAGE-GUIDED SURGICAL PROCEDURES AND INTERVENTIONS: CHALLENGES AND OPPORTUNITIES
Navab et al. Laparoscopic Virtual Mirror

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant