KR20200132174A - 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법 - Google Patents

증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법 Download PDF

Info

Publication number
KR20200132174A
KR20200132174A KR1020190057244A KR20190057244A KR20200132174A KR 20200132174 A KR20200132174 A KR 20200132174A KR 1020190057244 A KR1020190057244 A KR 1020190057244A KR 20190057244 A KR20190057244 A KR 20190057244A KR 20200132174 A KR20200132174 A KR 20200132174A
Authority
KR
South Korea
Prior art keywords
glass
scope
marker
endoscope
virtual
Prior art date
Application number
KR1020190057244A
Other languages
English (en)
Other versions
KR102313319B1 (ko
Inventor
이종찬
Original Assignee
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교병원 filed Critical 서울대학교병원
Priority to KR1020190057244A priority Critical patent/KR102313319B1/ko
Priority to PCT/KR2020/006248 priority patent/WO2020231157A1/ko
Publication of KR20200132174A publication Critical patent/KR20200132174A/ko
Application granted granted Critical
Publication of KR102313319B1 publication Critical patent/KR102313319B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Endoscopes (AREA)

Abstract

체내 삽입된 내시경 모양을 편리하게 모니터링할 수 있고 병변 발견 시 그 위치정보를 정확히 제공할 수 있는 AR 내시경 시스템 및 이를 이용한 모니터링 방법이 제공됩니다. 이 AR 내시경 시스템은, 제1 좌표계(고정 좌표계) 상에 내시경 스코프의 위치정보(실제 위치좌표)를 인식한 후, 이를 AR 글라스를 기준으로 정의된 제2 좌표계(변동 좌표계) 상의 가상 위치좌표로 변환하고, 가상 위치좌표를 이용하여 스코프에 대응하는 가상 스코프를 AR 글라스 상에 렌더링하는 것을 특징으로 합니다.

Description

증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법{AR colonoscopy system and method for monitoring by using the same}
본 발명은 증강현실(AR) 내시경 시스템 및 이를 이용한 모니터링 방법에 관한 것으로서, 더욱 상세하게는 시술자가 AR 글라스를 통해 환자 몸 속에 삽입된 실제 스코프와 동일한 형태의 가상 이미지를 환자의 신체와 겹쳐서 확인할 수 있는 AR 내시경 시스템 및 이를 이용한 모니터링 방법에 관한 것이다.
대장 내시경은 항문으로 내시경이라는 특수한 카메라를 삽입하여 대장 내부 및 대장과 인접한 소장의 말단 부위까지를 관찰하는 검사법이다. 대부분 내시경 스코프 끝단에는 카메라가 달려 있어서, 시술자가 직접 대장의 내부를 보면서 눈으로 진단을 하고 필요에 따라 지혈을 하거나 조직 검사 또는 병변을 제거하기도 한다.
이와 같이 내시경에 카메라가 설치되어 있기는 하나, 시술자는 내시경 화면과 손의 느낌만으로 복강 내에 스코프가 어디에 위치하는지를 파악할 수 있을 뿐이며, 스코프의 정확한 위치나 모양을 파악하기는 어렵다. 특히 장에 유착(adhesion)이나 루프(loop)가 있거나 장의 굴곡이 심한 경우, 숙련된 시술자라 하더라도 스코프가 장을 찔러 환자에게 고통을 주거나 심할 경우 천공의 위험도 존재한다.
또한 대장 내시경을 하는 동안 용종이나 암종을 발견하더라도 스코프의 정확한 신체 내 좌표를 저장할 수 없기 때문에 추후 시술이나 수술로 종양을 제거하고자 할 때 이를 다시 찾지 못하는 경우가 많다.
본 발명이 해결하고자 하는 과제는, 체내 삽입된 내시경 모양을 편리하게 모니터링할 수 있고 병변 발견 시 그 위치정보를 가상 스코프의 모양과 함께 정확히 저장할 수 있는 AR 내시경 시스템을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 이러한 AR 내시경 시스템을 이용한 모니터링 방법을 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 AR 내시경 시스템은, 스코프 상에 복수의 마커가 형성된 내시경을 이용한 AR 내시경 시스템으로서: 상기 스코프가 환자의 체내에 삽입되는 동안 제1 좌표계를 기준으로 상기 마커의 실제 위치좌표를 인식하는 마커 탐지 센서; 및 시술자가 착용한 AR 글라스를 기준으로 제2 좌표계를 설정하고, 상기 실제 위치좌표를 상기 제2 좌표계 상의 가상 위치좌표로 변환하고, 상기 가상 위치좌표를 이용하여 상기 스코프에 대응하는 가상 스코프를 생성한 후 상기 AR 글라스 상에 렌더링하는 이미지 처리 장치를 포함할 수 있다.
상기 제2 좌표계는 상기 AR 글라스의 시선방향을 기준으로 설정되고, 상기 이미지 처리 장치는 상기 마커와 상기 AR 글라스 간의 상대적 위치 및 상기 AR 글라스의 시선방향을 이용하여 상기 가상 위치좌표를 연산할 수 있다.
상기 마커 탐지 센서가 환자의 체외에 배치된 기준마커의 위치정보를 인식하고; 상기 이미지 처리 장치는 상기 AR 글라스로부터 촬영된 상기 기준마커의 이미지 정보를 이용하여 상기 AR 글라스 상의 상기 기준마커의 표시 위치를 연산하고; 상기 이미지 처리 장치는 상기 AR 글라스 상의 상기 기준마커의 표시 위치를 기준으로 상기 마커와 상기 기준마커의 상대적 위치를 반영하여 상기 가상 스코프를 렌더링할 수 있다.
모니터링 중에 병변이 발견되는 경우, 상기 이미지 처리 장치는 상기 병변이 발견된 위치에서의 상기 가상 스코프의 형상 정보를 저장할 수 있다.
상기 다른 과제를 달성하기 위한 본 발명의 일 실시예에 따른 AR 내시경 모니터링 방법은, 스코프 상에 복수의 마커가 형성된 내시경을 이용한 AR 내시경 모니터링 방법으로서: 마커 탐지 센서는 상기 스코프가 환자의 체내에 삽입되는 동안 제1 좌표계를 기준으로 상기 마커의 실제 위치좌표를 인식하는 단계; 및 이미지 처리 장치는 시술자가 착용한 AR 글라스를 기준으로 제2 좌표계를 설정하고, 상기 실제 위치좌표를 상기 제2 좌표계 상의 가상 위치좌표로 변환하고, 상기 가상 위치좌표를 이용하여 상기 스코프에 대응하는 가상 스코프를 생성한 후 상기 AR 글라스 상에 렌더링하는 단계를 포함할 수 있다.
상기 마커 탐지 센서가 환자의 체외에 배치된 기준마커의 위치정보를 인식하는 단계; 상기 이미지 처리 장치가 상기 AR 글라스로부터 촬영된 상기 기준마커의 이미지 정보를 이용하여 상기 AR 글라스 상의 상기 기준마커의 표시 위치를 연산하는 단계; 및 상기 이미지 처리 장치는 상기 AR 글라스 상의 상기 기준마커의 표시 위치를 기준으로 상기 마커와 상기 기준마커의 상대적 위치를 반영하여 상기 가상 스코프를 렌더링하는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 구체적인 내용 및 도면들에 포함되어 있다.
상술한 바와 같이 본 발명에 따른 AR 내시경 시스템 및 이를 이용한 모니터링 방법에 의하면, 증강현실을 이용해 시술자가 체내 대장 내시경의 3차원 가상 스코프 이미지를 AR 글라스를 통해 실시간으로 모니터링하면서 시술할 수 있다. 따라서 가상 스코프의 형상을 통해 장에 유착이나 루프가 있거나 굴곡이 심한 경우를 파악할 수 있기 때문에 무리한 시술로 인한 환자의 고통이나 천공을 사전에 방지할 수 있다. 또한 병변이 발견되는 경우, 그 위치에서 가상 스코프의 형상 정보를 저장함으로써 추후 시술이나 수술로 종양을 제거할 때 가상 스코프의 형상 정보로부터 병변의 위치를 정확하게 확인할 수 있다.
도 1은 본 발명의 일 실시예에 따른 AR 내시경 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 AR 내시경 시스템의 구성을 나타낸 도면이다.
도 3은 도 2의 내시경의 구성을 나타낸 도면이다.
도 4는 도 2의 이미지 처리 장치의 동작을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 AR 내시경 모니터링 방법을 나타낸 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 내시경은 내장장기 또는 체강 내부를 직접 볼 수 있게 만든 의료기구로서, 수술을 하거나 부검을 하지 않고서는 직접 병변을 볼 수 없는 장기에 대하여 기계를 삽입하여 관찰하도록 고안된 기구이다. 이러한 내시경으로는, 기관지경, 식도경, 위경, 십이지장경, 직장경, 방광경, 복강경, 흉강경, 종격경, 심장경, 또는 대장내시경 등으로 이루어질 수 있다. 본 실시예에서는 설명의 편의를 위해, 대장 내시경을 예로 들어 설명하지만, 본 발명의 이에 제한되는 것은 아니며 다른 종류의 내시경에도 실질적으로 동일하게 적용될 수 있다.
이하 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 AR 내시경 시스템에 대하여 설명한다. 도 1은 본 발명의 일 실시예에 따른 AR 내시경 시스템을 개략적으로 나타낸 도면이다. 도 2는 본 발명의 일 실시예에 따른 AR 내시경 시스템의 구성을 나타낸 도면이다. 도 3은 도 2의 내시경의 구성을 나타낸 도면이다. 도 4는 도 2의 이미지 처리 장치의 동작을 설명하는 도면이다.
AR 내시경 시스템(100)은 복수의 마커(48)가 형성된 내시경(40)과, 내시경(40)의 위치 및 형상을 감지하는 마커 탐지 센서(50)와, 시술자가 착용하는 AR 글라스(22)와, 체내에 삽입된 내시경(40)에 대응하는 가상 스코프 이미지를 AR 글라스(22)에 렌더링하는 이미지 처리 장치(60)를 포함한다. 선택적으로, AR 내시경 시스템(100)은 내시경(40)에 의해 촬영된 이미지를 디스플레이하는 모니터(30)를 포함할 수 있다.
환자(10)가 침상(12)에 누워있으면 시술자(20)는 내시경(40)을 환자(10)의 체내에 삽입한다. 내시경(40)은 시술자가 손으로 잡아 내시경의 움직임을 제어하는 손잡이부(44)와, 손잡이부(44)에 연결되어 몸 속에 삽입되고 끝단에 카메라가 형성된 스코프(42)와, 스코프(42) 상에 형성된 복수의 마커(48)를 포함한다. 또한 내시경(40)은 손잡이부(44)에 연결되어 카메라를 통해 촬영된 영상정보를 모니터(30)에 전송하는 케이블(46)을 더 포함할 수 있다.
복수의 마커(48)는 소정의 간격(예를 들어 10cm)으로 스코프(42) 상에 형성될 수 있다. 체내에 스코프(42)가 삽입된 상태에서 마커 탐지 센서(50)가 마커(48)의 정확한 위치 정보를 감지할 수 있도록 마커(48)의 재질이나 구성을 제어할 수 있다. 예를 들어, 마커(48)가 전자기 코일로 구성될 경우, 마커 탐지 센서(50)는 마커(48)에서 발생하는 자기펄스를 수집하여 각 마커(48)의 정확한 위치 정보를 파악하고 이를 바탕으로 스코프(42)의 방향 및 형상을 연산할 수 있다. 다만 본 발명은 이에 한정되지 않으며 비접촉 방식의 다양한 위치 센서를 마커로 사용할 수 있다.
마커 탐지 센서(50)는 스코프(42)가 환자(10)의 체내에 삽입되는 동안 제1 좌표계(X, Y, Z)를 기준으로 마커(48)의 실제 위치좌표(x, y, z)를 인식할 수 있다. 예를 들어 마커 탐지 센서(50)는 침상(12)을 기준으로 제1 좌표계를 정의하고, 제1 좌표계 상에서 마커(48)의 실제 위치좌표(x, y, z)를 인식할 수 있다. 제1 좌표계는 주변 환경 변화에도 변동하지 않는 고정 좌표계인 것이 바람직하다. 마커 탐지 센서(50)는 마커(48)의 정확한 위치 좌표를 생성하기 위해 복수의 센서 모듈로 구성될 수 있다.
또한, 마커 탐지 센서(50)는 환자(10)의 체외에 배치된 기준마커(49)의 위치정보를 인식할 수 있다. 여기서 기준마커(49)는 환자(10)의 체외에 배치된 임의의 오브젝트일 수 있으며, 예를 들어 내시경(40)의 특정 부위, 손잡이부, 스코프 등으로 구성될 수 있다. 기준마커(49)는 AR 글라스(22) 상에 증강현실 이미지 또는 가상 스코프를 렌더링할 때 기준이 될 수 있다. 나아가 마커 탐지 센서(50)는 AR 글라스(22)의 위치정보를 인식할 수 있다. 기준마커(49) 및 AR 글라스(22)에는 위치 센싱 모듈이 별도로 설치될 수 있다. 이와 같이 마커 탐지 센서(50)는 제1 좌표계를 기준으로 마커(48), 기준마커(49) 및 AR 글라스(22) 간의 상대적 위치 관계를 정의할 수 있다. 본 실시예에서는 하나의 마커 탐지 센서(50)가 마커(48), 기준마커(49) 및 AR 글라스(22)의 위치정보를 인식하는 것으로 설명되고 있으나, 본 발명은 이에 한정되지 않으며 마커 탐지 센서(50)가 복수의 센서 모듈로 구성되어 각각이 마커(48), 기준마커(49) 및 AR 글라스(22)의 위치정보를 개별적으로 인식한 후에 통합할 수도 있다.
AR 글라스(22)는 시술자(20)의 안면에 착용되는 안경 형태의 장치로서, 오브젝트를 촬영하는 카메라부 및 증강현실 이미지를 표시하는 디스플레이부를 포함할 수 있다. 디스플레이부는 시술자(20)의 눈과 오브젝트 사이에 배치되며, 시술자(20)가 오브젝트를 바라보는 동안 증강현실 이미지도 동시에 인지할 수 있는 임의의 형태로 구현될 수 있다. 예컨대, 디스플레이부가 안경 렌즈로 구성되고 증강현실 이미지가 렌즈 상에 표시될 경우, 시술자(20)는 렌즈를 통해 오브젝트를 보는 동시에 증강현실 이미지도 인지할 수 있다.
AR 글라스(22)는 카메라부를 통해 기준마커(49)를 촬영하고 그 이미지 정보를 이미지 처리 장치(60)에 전송할 수 있다. AR 글라스(22)는 가속 센서, 자이로 센서, 모션 센서, 지자기 센서 등을 구비하여 AR 글라스(22)의 시선 방향에 대한 정보를 이미지 처리 장치(60)에 전송할 수 있다.
이미지 처리 장치(60)는 마커 탐지 센서(50)로부터 제1 좌표계를 기준으로 인식된 마커(48)의 실제 위치좌표(x, y, z), 그리고 기준마커(49) 및 AR 글라스(22)의 위치정보를 수신한다.
이미지 처리 장치(60)는 AR 글라스(22)를 기준으로 제2 좌표계(X', Y', Z')를 설정하는데, 바람직하게는 AR 글라스(22)의 시선 방향을 기준으로 제2 좌표계를 정의할 수 있다. 제2 좌표계는 제1 좌표계와는 달리 AR 글라스(22)의 시선방향에 따라 변화되는 변동 좌표계인 것이 바람직하다. 이미지 처리 장치(60)는 마커(48)의 실제 위치좌표(x, y, z)를 제2 좌표계 상의 가상 위치좌표(x', y', z')로 변환한다. 이미지 처리 장치(60)는 마커(48)와 AR 글라스(22) 간의 상대적 위치 및 AR 글라스(22)의 시선방향을 이용하여 가상 위치좌표(x', y', z')를 연산할 수 있다. 이미지 처리 장치(60)는 가상 위치좌표(x', y', z')를 이용하여 스코프(42)에 대응하는 가상 스코프(142)를 생성하여 이를 AR 글라스(22) 상에 렌더링한다.
증강현실로 표현되는 가상 스코프(142)가 AR 글라스(22) 상에서 정확한 위치에 표시되도록 본 발명의 AR 내시경 시스템(100)은 기준마커(49)를 선택적으로 이용할 수 있다. 이미지 처리 장치(60)는 AR 글라스(22)로부터 촬영된 기준마커(49)의 이미지 정보를 이용하여 AR 글라스(22) 상의 기준마커(49)의 표시 위치를 연산한다. 예를 들어, AR 글라스(22)에 복수의 카메라가 설치되고, 이들 카메라가 기준마커(49)를 촬영하는 동안 AR 글라스(22)와 기준마커(49) 간의 거리, 그리고 AR 글라스(22)의 시선방향으로부터 기준마커(49)가 위치한 방향 등에 대한 정보를 이용하여, 기준마커(49)가 AR 글라스(22) 상에 표시되는 위치를 연산할 수 있다. 이어서, 이미지 처리 장치(60)는 마커(48)와 기준마커(49)의 상대적 위치를 반영하여 AR 글라스(22) 상의 기준마커(49)의 표시 위치를 기준으로 가상 스코프(142)를 렌더링할 수 있다.
시술자가 내시경을 이용한 모니터링을 진행하는 중 병변이 발견되는 경우, 이미지 처리 장치(60)는 이 병변이 발견된 위치에서의 가상 스코프(142)의 형상 정보를 저장할 수 있다. 이와 같이 저장된 가상 스코프(142)의 형성 정보는 추후 시술이나 수술로 종양을 제거하고자 할 경우 병변의 위치 정보로 이용될 수 있다.
이하 도 5를 이용하여 본 발명의 일 실시예에 따른 AR 내시경 모니터링 방법을 설명한다. 도 5는 본 발명의 일 실시예에 따른 AR 내시경 모니터링 방법을 나타낸 순서도이다.
환자(10)가 침상(12)에 누워있는 상태에서 시술자(20)가 내시경(40), 특히 스코프(42)를 환자(10)의 체내에 삽입하면, 마커 탐지 센서(50)는 제1 좌표계(X, Y, Z)를 기준으로 마커(48)의 실제 위치좌표(x, y, z)를 인식한다(S10). 또한, 마커 탐지 센서(50)는 기준마커(49) 및 AR 글라스(22)의 위치정보도 함께 인식할 수 있다.
이미지 처리 장치(60)는 AR 글라스(22)를 기준으로, 바람직하게는 AR 글라스(22)의 시선방향을 기준으로 제2 좌표계(X', Y', Z')를 설정한다(S20). 이미지 처리 장치(60)는 마커(48)의 실제 위치좌표(x, y, z)를 제2 좌표계 상의 가상 위치좌표(x', y', z')로 변환한다(S30). 이 때, 이미지 처리 장치(60)는 마커(48)와 AR 글라스(22)간의 상대적 위치 및 AR 글라스(22)의 시선방향을 이용하여 가상 위치좌표(x', y', z')를 연산할 수 있다.
이어서 이미지 처리 장치(60)는 가상 위치좌표(x', y', z')를 이용하여 스코프(42)에 대응하는 가상 스코프(142)를 생성하여 이를 AR 글라스(22) 상에 렌더링한다(S40). 이 때, 가상 스코프(142)가 AR 글라스(22) 상에서 정확한 위치에 표시되도록 기준마커(49)가 선택적으로 이용될 수 있다. 즉, 이미지 처리 장치(60)는 AR 글라스(22)로부터 촬영된 기준마커(49)의 이미지 정보를 이용하여 AR 글라스(22) 상의 기준마커(49)의 표시 위치를 연산할 수 있다. 이어서 이미지 처리 장치(60)는 마커(48)와 기준마커(49)의 상대적 위치를 반영하여 AR 글라스(22) 상의 기준마커(49)의 표시 위치를 기준으로 가상 스코프(142)를 렌더링할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
10: 환자
12: 침상
20: 시술자
22: AR 글라스
30: 모니터
40: 내시경
42: 스코프
44: 손잡이부
46: 케이블
48: 마커
49: 기준마커
50: 마커 탐지 센서
60: 이미지 처리 장치
100: AR 내시경 시스템
142: 가상 스코프

Claims (5)

  1. 스코프 상에 복수의 마커가 형성된 내시경을 이용한 증강현실(AR) 내시경 시스템으로서:
    상기 스코프가 환자의 체내에 삽입되는 동안 제1 좌표계를 기준으로 상기 마커의 실제 위치좌표를 인식하는 마커 탐지 센서; 및
    시술자가 착용한 AR 글라스를 기준으로 제2 좌표계를 설정하고, 상기 실제 위치좌표를 상기 제2 좌표계 상의 가상 위치좌표로 변환하고, 상기 가상 위치좌표를 이용하여 상기 스코프에 대응하는 가상 스코프를 생성한 후 상기 AR 글라스 상에 렌더링하는 이미지 처리 장치를 포함하는 AR 내시경 시스템.
  2. 제1항에 있어서,
    상기 제2 좌표계는 상기 AR 글라스의 시선방향을 기준으로 설정되고, 상기 이미지 처리 장치는 상기 마커와 상기 AR 글라스 간의 상대적 위치 및 상기 AR 글라스의 시선방향을 이용하여 상기 가상 위치좌표를 연산하는 것을 특징으로 하는 AR 내시경 시스템.
  3. 제1항에 있어서,
    상기 마커 탐지 센서가 환자의 체외에 배치된 기준마커의 위치정보를 인식하고; 상기 이미지 처리 장치는 상기 AR 글라스로부터 촬영된 상기 기준마커의 이미지 정보를 이용하여 상기 AR 글라스 상의 상기 기준마커의 표시 위치를 연산하고; 상기 이미지 처리 장치는 상기 AR 글라스 상의 상기 기준마커의 표시 위치를 기준으로 상기 마커와 상기 기준마커의 상대적 위치를 반영하여 상기 가상 스코프를 렌더링하는 것을 특징으로 하는 AR 내시경 시스템.
  4. 제1항에 있어서,
    모니터링 중에 병변이 발견되는 경우, 상기 이미지 처리 장치는 상기 병변이 발견된 위치에서의 상기 가상 스코프의 형상 정보를 저장하는 것을 특징으로 하는 AR 내시경 시스템.
  5. 스코프 상에 복수의 마커가 형성된 내시경을 이용한 증강현실(AR) 내시경 모니터링 방법으로서:
    마커 탐지 센서는 상기 스코프가 환자의 체내에 삽입되는 동안 제1 좌표계를 기준으로 상기 마커의 실제 위치좌표를 인식하는 단계; 및
    이미지 처리 장치는 시술자가 착용한 AR 글라스를 기준으로 제2 좌표계를 설정하고, 상기 실제 위치좌표를 상기 제2 좌표계 상의 가상 위치좌표로 변환하고, 상기 가상 위치좌표를 이용하여 상기 스코프에 대응하는 가상 스코프를 생성한 후 상기 AR 글라스 상에 렌더링하는 단계를 포함하는 AR 내시경 모니터링 방법.
KR1020190057244A 2019-05-16 2019-05-16 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법 KR102313319B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190057244A KR102313319B1 (ko) 2019-05-16 2019-05-16 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
PCT/KR2020/006248 WO2020231157A1 (ko) 2019-05-16 2020-05-13 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190057244A KR102313319B1 (ko) 2019-05-16 2019-05-16 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법

Publications (2)

Publication Number Publication Date
KR20200132174A true KR20200132174A (ko) 2020-11-25
KR102313319B1 KR102313319B1 (ko) 2021-10-15

Family

ID=73290118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190057244A KR102313319B1 (ko) 2019-05-16 2019-05-16 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법

Country Status (2)

Country Link
KR (1) KR102313319B1 (ko)
WO (1) WO2020231157A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11717140B2 (en) * 2015-06-24 2023-08-08 The Regents Of The University Of Colorado, A Body Corporate Multi-use endoscope with integrated device-patient monitoring and patient-provider positioning and disassociation system
CN112914731A (zh) * 2021-03-08 2021-06-08 上海交通大学 基于增强现实的介入机器人无接触遥操系统及标定方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099894A (ja) * 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 医療用画像ファイルシステム
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
JP2018537155A (ja) * 2015-10-28 2018-12-20 エンドチョイス インコーポレイテッドＥｎｄｏｃｈｏｉｃｅ， Ｉｎｃ． 患者の体内における内視鏡の位置を追跡するための装置及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106455908B (zh) * 2014-02-05 2019-01-01 新加坡国立大学 用于跟踪和显示内窥镜形状和远端取向的系统和方法
DE102015212806A1 (de) * 2015-07-08 2017-01-12 Sirona Dental Systems Gmbh System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099894A (ja) * 2000-09-22 2002-04-05 Fuji Photo Film Co Ltd 医療用画像ファイルシステム
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
JP2018537155A (ja) * 2015-10-28 2018-12-20 エンドチョイス インコーポレイテッドＥｎｄｏｃｈｏｉｃｅ， Ｉｎｃ． 患者の体内における内視鏡の位置を追跡するための装置及び方法

Also Published As

Publication number Publication date
WO2020231157A1 (ko) 2020-11-19
KR102313319B1 (ko) 2021-10-15

Similar Documents

Publication Publication Date Title
US20230073561A1 (en) Device and method for tracking the position of an endoscope within a patient's body
US10321803B2 (en) System and method for image-based alignment of an endoscope
JP5055352B2 (ja) 患者の体との関係で手術器具を三次元トラッキングするためのシステム
JP5380348B2 (ja) 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム
US6690964B2 (en) Method and device for visualization of positions and orientation of intracorporeally guided instruments during a surgical intervention
US6656110B1 (en) Endoscopic system
US20190038364A1 (en) Image processing device and method, surgical system, and surgical member
JP6883222B2 (ja) 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム
US20160073927A1 (en) Endoscope system
JP5750669B2 (ja) 内視鏡システム
US20160000307A1 (en) Endoscope system and actuation method for endoscope system
CN111867438A (zh) 手术辅助设备、手术方法、非暂时性计算机可读介质和手术辅助系统
AU2018202682A1 (en) Endoscopic view of invasive procedures in narrow passages
WO2020231157A1 (ko) 증강현실 대장 내시경 시스템 및 이를 이용한 모니터링 방법
WO2008004222A2 (en) Computer image-aided method and system for guiding instruments through hollow cavities
US9345394B2 (en) Medical apparatus
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)