KR101872006B1 - 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템 - Google Patents

립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템 Download PDF

Info

Publication number
KR101872006B1
KR101872006B1 KR1020170000213A KR20170000213A KR101872006B1 KR 101872006 B1 KR101872006 B1 KR 101872006B1 KR 1020170000213 A KR1020170000213 A KR 1020170000213A KR 20170000213 A KR20170000213 A KR 20170000213A KR 101872006 B1 KR101872006 B1 KR 101872006B1
Authority
KR
South Korea
Prior art keywords
image
surgery
screen
gesture
dimensional
Prior art date
Application number
KR1020170000213A
Other languages
English (en)
Inventor
문영래
전용철
Original Assignee
조선대학교산학협력단
전용철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단, 전용철 filed Critical 조선대학교산학협력단
Priority to KR1020170000213A priority Critical patent/KR101872006B1/ko
Application granted granted Critical
Publication of KR101872006B1 publication Critical patent/KR101872006B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/285—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for injections, endoscopy, bronchoscopy, sigmoidscopy, insertion of contraceptive devices or enemas

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Medicinal Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging) 영상 데이터를 3차원 입체화한 영상 기술과 비접촉 동작인식이 가능한 립 모션을 이용하여 견관절 회전근개 파열에 대해 관절경을 이용하여 봉합술을 가상으로 연습하도록 하여 실제 수술에서의 실수를 최소화할 수 있도록 한 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템에 관한 것으로서, 공간상에서 움직이는 사용자의 제스처를 인식하는 립 모션장치; 및 2차원 관절 영상을 3차원 영상으로 변환하고, 변환한 3차원 영상과 수술 기구 영상을 동시에 표시하며, 상기 립 모션장치에서 인식한 사용자의 제스처 정보를 기초로 상기 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 화면에 표시해주는 관절경 수술 시뮬레이션장치를 포함하여, 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템을 구현함으로써, 가상으로 관절경 및 관절경 수술용 기구를 다뤄봄으로써, 마치 환부를 열고 직접 수술하는 것처럼 수술할 수 있으며, 정교한 움직임도 인식하므로 보다 정확하게 수술할 수 있고 반복적으로 연습해 볼 수 있도록 한다.

Description

립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템{Virtual arthroscopic surgery system using leap motion}
본 발명은 립 모션(leap motion)을 이용한 가상 관절경 수술 시뮬레이션에 관한 것으로, 특히 CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging) 영상 데이터를 3차원 입체화한 영상 기술과 비접촉 동작인식이 가능한 립 모션을 이용하여 견관절 회전근개 파열에 대해 관절경을 이용하여 봉합술을 가상으로 연습하도록 하여 실제 수술에서의 실수를 최소화할 수 있도록 한 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템에 관한 것이다.
관절수술분야에서 관절 내시경(이하, '관절경'이라 한다)을 이용한 검사 및 수술의 보급이 확대되고 있으며, 이는 무침투성의 장점이 있는 관절경 검사 및 수술이 무엇보다도 환자의 위험부담을 줄이고, 시간과 비용을 절감하기 때문이다.
관절경을 이용한 시술은 관절경의 좁은 시각과 제약된 움직임으로 인해 시술에 많은 어려움이 따른다. 수련의들은 먼저 수차례에 걸쳐 관절경 조작방법을 학습한 후, 이미 기술을 완벽히 습득한 전문의의 감독하에 직접 환자를 대상으로 조작연습을 하면서 관절경의 전문기술을 익히게 된다.
수련원들이 직접 환자를 대상으로 연습을 하는 경우, 환자의 위험부담이 크다는 문제점이 있다. 또한, 이미 관절경 기술을 습득한 전문의들이라 할지라도 숙련도에 따라 시술시간에 많은 차이가 나며 미숙한 경우 자칫 관절을 손상시킬 수 있다는 문제점이 있다. 따라서, 이러한 문제점을 해결하기 위해 실제 시술을 하기에 앞서 보다 안전하고 효과적으로 관절경 시술을 습득할 수 있는 시스템이 필요하다.
이러한 필요성에 의해 최근 들어 가상현실과 햅틱 장치(HAPTIC DEVICE)를 이용한 가상 수술 시스템이 개발되고 있으며, 이러한 시스템을 이용하여 수술 전 시뮬레이션 또는 수술 계획을 수립하게 된다.
가상 관절경 수술 시스템에 대해 종래에 제안된 기술이 하기의 <특허문헌 1> 에 개시되어 있다.
<특허문헌 1> 에 개시된 종래기술은 환자의 CT, MRI와 같은 2차원의 의료영상의 표준화 작업을 수행하는 한편, 2차원의 CT, MRI와 같은 의료영상을 3차원의 평면 의료영상으로 변환시켜 디스플레이시키는 컴퓨터 시스템, 컴퓨터 시스템을 통해 출력되는 3차원의 평면 의료영상을 입력받아 3차원의 입체 의료영상으로 변환시켜 디스플레이시키는 LSG(LCD Shutter Glasses) 장치, 상기 컴퓨터 시스템에 접속되고, 3차원의 평면 의료영상을 입력 기준으로 시뮬레이션 시술되는 동작 및 위치 정보를 출력하는 한편, 3차원의 평면 의료영상의 가상 형상의 형체를 사용자에게 전달하는 데이터 글러브 시스템으로 구성된다.
이러한 구성을 통해, CT 또는 MRI와 같은 2차원 의료영상을 3차원 입체 의료영상으로 시뮬레이션 인공관절 시술을 실행함으로써 인공관절 시술 경험이 적은 외과의사나 의대생에게 좀 더 객관화되고 다양한 시술 교육 및 시술에 따른 예상 결과를 제공할 수 있다.
대한민국 공개특허 10-2004-0084243호(2004.10.06. 공개)(인공고관절 가상 시술 시뮬레이션 시스템)
그러나 상기와 같은 종래기술은 3차원 영상으로 인공고관절 시술을 가상으로 시뮬레이션해 볼 수 있는 장점은 있으나, 입력장치로 장갑형태의 데이터 글러브 시스템을 착용해야 하므로, 입력 장치 구현 비용이 많이 소요되고, 가상 시술이 불편하다는 단점이 있다.
따라서 본 발명은 상기와 같은 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging) 영상 데이터를 3차원 입체화한 영상 기술과 비접촉 동작인식이 가능한 립 모션을 이용하여 견관절 회전근개 파열에 대해 관절경을 이용하여 봉합술을 가상으로 연습하도록 하여 실세 수술에서의 실수를 최소화할 수 있도록 한 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템을 제공하는 데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템은 공간상에서 움직이는 사용자의 제스처를 인식하는 립 모션장치; 2차원 관절 영상을 3차원 영상으로 변환하고, 변환한 3차원 영상과 수술 기구 영상을 동시에 표시하며, 상기 립 모션장치에서 인식한 사용자의 제스처 정보를 기초로 상기 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 화면에 표시해주는 관절경 수술 시뮬레이션장치를 포함하는 것을 특징으로 한다.
상기에서 립 모션 장치와 상기 관절경 수술 시뮬레이션장치는 유선통신 또는 무선통신으로 상호 데이터를 송수신하는 것을 특징으로 한다.
상기 2차원 관절 영상은 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영된 영상인 것을 특징으로 한다.
상기에서 립 모션장치는 동작을 온/오프하기 위한 전원 스위치; 공간상에서 움직이는 사용자의 제스처를 인식하는 제스처 인식부; 상기 제스처 인식부에서 인식한 제스처 정보를 화면상의 위치 정보 및 동작 정보로 출력하는 제어부; 상기 제어부에서 출력되는 위치 정보 및 동작 정보를 상기 관절경 수술 시뮬레이션장치에 전송하는 데이터 인터페이스부를 포함하는 것을 특징으로 한다.
상기에서 립 모션장치는 립 모션장치의 동작 유무를 시각적으로 표시해주는 동작 표시부를 더 포함하는 것을 특징으로 한다.
상기에서 제스처 인식부는 제스처 인식 범위를 포인터가 이동하는 호버 존과 터치 입력이 되는 터치 존으로 구분하고, 상기 호버 존과 터치 존에서의 사용자 손가락 인식을 통해 위치 및 동작을 인식하는 것을 특징으로 한다.
상기에서 관절경 수술 시뮬레이션장치는 관절의 2차원 영상을 처리하여 3차원 영상으로 만드는 영상 처리부를 포함하는 것을 특징으로 한다.
상기에서 관절경 수술 시뮬레이션장치는 상기 립 모션장치에서 출력되는 제스처 인식정보를 수신하는 제스처 인터페이스부; 상기 제스처 인터페이스부에서 인식한 사용자의 제스처 정보를 기초로 가상의 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 출력하는 시뮬레이션 제어부; 상기 시뮬레이션 제어부에서 출력되는 가상 수술 영상을 화면에 표시해주는 영상 출력부를 더 포함하는 것을 특징으로 한다.
상기에서 시뮬레이션 제어부는 관절경 가상 수술 이전에 상기 영상 출력부에 가상 수술 기구 영상과 3차원 영상을 함께 표시해주는 것을 특징으로 한다.
상기에서 관절경 수술 시뮬레이션장치는 상기 시뮬레이션 제어부의 제어에 따라 상기 영상 출력부에 디스플레이되는 가상 수술 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면 CT(Computed Tomography) 또는 MRI(Magnetic Resonance Imaging) 영상 데이터를 3차원 입체화한 영상 기술과 비접촉 동작인식이 가능한 립 모션을 이용하여 견관절 회전근개 파열에 대해 관절경을 이용하여 봉합술을 가상으로 연습할 수 있도록 함으로써, 실제 수술에서의 실수를 최소화할 수 있도록 도모해주는 장점이 있다.
도 1은 본 발명에 적용되는 립 모션장치의 개략 구성도,
도 2는 본 발명에 따른 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템의 블록 구성도,
도 3은 도 2의 립 모션장치의 실시 예 블록 구성도,
도 4는 본 발명에서 립 모션장치의 제스처 인식 예시도,
도 5는 본 발명에서 립 모션을 이용한 가상 관절경 수술 시뮬레이션 예시도.
이하 본 발명의 바람직한 실시 예에 따른 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 바람직한 실시 예에 따른 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템의 블록 구성도로서, 립 모션장치(100)와 관절경 수술 시뮬레이션장치(200)를 포함한다.
여기서 립 모션 장치(100)와 상기 관절경 수술 시뮬레이션장치(200)는 유선통신 또는 무선통신으로 상호 데이터를 송수신하는 것이 바람직하다.
상기 립 모션장치(100)는 공간상에서 움직이는 사용자의 제스처를 인식하는 역할을 한다. 립 모션(leap motion)은 손동작을 3D 형태로 캡처하여 분석한 후 애플리케이션에서 모션 컨트롤을 수행할 수 있는 제스처 인식장치이다.
이러한 립 모션장치(100)는 도 3에 도시한 바와 같이, 동작을 온/오프하기 위한 전원 스위치(101), 공간상에서 움직이는 사용자의 제스처를 인식하는 제스처 인식부(102), 상기 제스처 인식부(102)에서 인식한 제스처 정보를 화면상의 위치 정보 및 동작 정보로 출력하는 제어부(103), 상기 제어부(103)에서 출력되는 위치 정보 및 동작 정보를 상기 관절경 수술 시뮬레이션장치(200)에 전송하는 데이터 인터페이스부(105), 립 모션장치(100)의 동작 유무를 시각적으로 표시해주는 동작 표시부(104)를 포함한다.
여기서 제스처 인식부(102)는 도 4에 도시한 바와 같이, 제스처 인식 범위를 포인터가 이동하는 호버 존(Hover Zone)(111)과 터치 입력이 되는 터치 존(Touch Zone)(112)으로 구분하고, 상기 호버 존(111)과 터치 존(112)에서의 사용자 손가락 인식을 통해 위치 및 동작을 인식하는 것이 바람직하다.
상기 관절경 수술 시뮬레이션장치(200)는 2차원 관절 영상을 3차원 영상으로 변환하고, 변환한 3차원 영상과 수술 기구 영상을 동시에 표시하며, 상기 립 모션장치(100)에서 인식한 사용자의 제스처 정보를 기초로 상기 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 화면에 표시해주는 역할을 한다.
여기서 2차원 관절 영상은 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영된 영상인 것이 바람직하다.
상기 관절경 수술 시뮬레이션장치(200)는 관절의 2차원 영상을 처리하여 3차원 영상으로 만드는 영상 처리부(204), 상기 립 모션장치(100)에서 출력되는 제스처 인식정보를 수신하는 제스처 인터페이스부(201), 상기 제스처 인터페이스부(201)에서 인식한 사용자의 제스처 정보를 기초로 가상의 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 출력하는 시뮬레이션 제어부(202), 상기 시뮬레이션 제어부(202)에서 출력되는 가상 수술 영상을 화면에 표시해주는 영상 출력부(205), 2차원 관절 영상, 가상의 수술 기구 영상 등이 저장되는 데이터베이스(203), 상기 시뮬레이션 제어부(202)의 제어에 따라 상기 영상 출력부(205)에 디스플레이되는 가상 수술 영상을 저장하는 저장부(206)를 포함한다.
상기 시뮬레이션 제어부(202)는 관절경 가상 수술 이전에 상기 영상 출력부(205)에 가상 수술 기구 영상과 3차원 영상을 함께 표시해주고, 가상 수술이 진행되면 수술 진행에 따른 수술 영상을 영상 출력부(205)에 표시해주는 것이 바람직하다.
본 발명에 따른 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템의 동작을 구체적으로 설명하면 다음과 같다.
먼저, 가상 관절경 수술 시뮬레이션을 수행하기 위해, 사용자의 조작을 인식하기 위한 인식장치가 필요하다.
자연스러운 사용자 조작환경이라고 할 수 있는 NUI(Natural User Interface)는 마우스나 키보드와 같은 간접적인 입력장치를 이용하지 않고 센서를 이용하여 신체를 바로 입력장치로 사용한다. 이러한 이유로 NUI는 CLI(Command Line Interface)나 GUI(Graphic User Interface)에 비해 손쉽게 사용할 수 있다는 특징을 갖는다. NUI의 요소 기술 중 제스처 인식 사용자 인터페이스는 NUI의 다른 사용자 인터페이스에 비해 보다 직관적이고 간단하다.
따라서 본 발명에서는 제스처 인식 사용자 인터페이스를 위해, 손동작을 3D 형태로 캡처하여 분석한 후 애플리케이션(시뮬레이션장치)에서 모션 컨트롤을 수행할 수 있도록 제스처 인식을 위해 립 모션장치(100)를 이용한다.
립 모션은 NUI 중 하나로 제스처 인터페이스는 사용자의 움직임을 센서 또는 카메라로 분석하여, 사용자의 의도를 시스템(시뮬레이션장치)에서 이해하고 반응하도록 하는 기술이다. 제스처 인터페이스 절차를 간략하게 살펴보면, 사용자의 공간상의 움직임을 3D 형태로 캡처하여 인식한다. 그 후에 사용자의 어떤 명령을 의도했는지 파악하여 그 결과를 애플리케이션(시뮬레이션 장치)에서 이를 바탕으로 명령을 수행하게 된다.
사용자의 손동작을 인식하기 위한 제스처 인터페이스는 고감도 센서를 필요로 하는 데, 립 모션은 그것의 한 종류로서 3D 모션 컨트롤러로 2개의 적외선 카메라와 3개의 적외선 LED로 구성되어, 터치스크린 시대에 쉬운 방법으로 멀티 터치와 같은 효과를 낼 수 있다.
도 1은 본 발명에 적용되는 립 모션장치(100)의 예시이고, 도 3은 상기 립 모션장치(100)의 구체적인 실시 예 블록 구성도이다.
본체의 프레임은 금속 재질로 되어 있으며, 전면에는 전원 LED가 설치되어, 전원 스위치(101)가 온 상태로 조작되면 전원 LED가 발광을 한다. 전원은 USB 포트를 이용하여 외부 상용 교류 전원을 입력받아 사용하거나 내장된 배터리의 전원을 이용할 수 있다. 전원 공급이 이루어지면 제어부(103)의 제어에 따라 동작 표시부(104)가 동작을 하여, 3D 모션 센서가 동작하고 있음을 외부에 알려주게 된다. 상기 동작 표시부(104)도 LED를 이용하는 것이 바람직하다.
립 모션장치(100)가 동작을 하면, 도 4에 도시한 바와 같이, 모션 센서(립 모션장치) 위에 가상의 터치 표면을 만들고, 사용자의 손가락 움직임을 감지해서 포인트를 이동하게 된다. 직접 스크린을 만지는 터치 센서와 달리 모션 센서는 가상의 공간 위를 움직이기 때문에 포인터 이동은 가능해도 이를 클릭하는 동작을 구현하기 어렵다.
따라서 본 발명에서는 립 모션이 모션 센서의 인식 범위가 평면이 아닌 입체라는 특징을 이용하여 센서의 앞 부분은 포인터가 이동하는 호버 존(111), 뒷부분을 터치입력이 되는 터치 존(112)으로 구성하였다. 호버 존(111)으로 움직이는 손가락을 앞으로 누르면 터치가 되는 가상 터치 방식으로 터치 센서와 동일한 동작이 가능하다. 아울러 Circle, Swipe, Key Tap, Screen Tap과 같은 네 가지의 정해진 제스처에 대하여 API를 제공한다. 여기서 별도의 보조 장치 없이 사람의 손 모양과 움직임을 센서로 인식하기 때문에 손의 방향과 손가락 위치에 따라 포인트가 수시로 생겼다가 사라지는 현상이 있고, 윈도 멀티센서 기능은 호버 존과 터치 존의 구분이 애매하기 때문에 학습 과정을 거쳐 오동작을 줄이는 것이 바람직하다. 본 발명에서는 사전에 학습을 거친 것으로 가정한다. 양손 10개의 손가락의 포인트를 계속 유지해야 하며, 이동과 터치 동작에 대한 정밀한 보정도 필요하다.
제스처 인식부(102)는 사용자의 손의 방향 및 손가락 동작을 상기와 같은 방식으로 인식하여 제어부(103)에 위치 및 동작 정보로 전달한다. 제어부(103)는 제스처 인식부(102)에서 인식한 위치 및 동작 정보를 관절경 수술 시뮬레이션장치(200)의 영상 출력부(205)에 디스플레이되는 화면의 위치 및 동작 정보로 인지하고, 이를 데이터 인터페이스부(105)를 통해 관절경 수술 시뮬레이션장치(200)로 전송한다. 여기서 데이터 인터페이스부(105)는 관절경 수술 시뮬레이션장치(200)와 유선으로 연결된 경우에는 미리 설정된 유선 통신 방식에 맞는 데이터 포맷으로 변환하여 유선으로 제스처 인식 정보를 전달하고, 무선으로 연결된 경우에는 미리 설정된 무선 데이터 포맷으로 변환하여 무선방식으로 제스처 인식 정보를 전달하게 된다.
이하, 립 모션 장치(100)를 이용하여 실제 관절경에 대하여 가상 수술 시뮬레이션을 수행하는 것이 대해서 설명하면 다음과 같다.
가상 수술 시뮬레이션은 미리 촬영해 둔 환자의 MRI나 CT 영상 등의 데이터를 mimic라는 프로그램을 이용하여 3차원 입체화하여 환자의 기관이나 조직들을 구분해 가시화하여 화면에 보여줌으로써, 어떻게 수술하는 것이 가장 효과적인지 계획을 세울 수 있도록 하고, 좀 더 효과적으로 이해하고 좀 더 빨리 결정을 내릴 수 있도록 하기 위한 방법이다.
이를 위해 영상 처리부(204)는 데이터베이스(203)에 저장된 연속으로 촬영된 CT나 MRI의 2D 단면을 mimic 프로그램을 이용하여, surface rending와 volume rending이라는 3D reconstruction technique를 이용하여 재구성하여, 3차원 입체영상을 만들게 된다. CT를 이용하여 사람의 뼈를 3차원으로 재구성할 수 있으며, MRI를 이용하여 연골, 근육 등 신경 등을 명확히 재구성할 수 있다. CT와 MRI를 조합하여 좀 더 정확히 3차원으로 재구성할 수 있으며, 현재 CT를 이용하여 골(bone)에 대해서 3차원적으로 재구성하여 골절의 진단 및 치료계획을 세울 수 있게 된다.
아울러 데이터베이스(203)에서는 실제 관절경 수술을 하기 위한 수술 기구에 대한 영상(이미지)이 저장되어 있으며, 시뮬레이션 제어부(202)는 상기 수술 기구 영상과 상기 영상 처리부(204)에서 처리된 3차원 입체영상(수술 대상 영상)을 영상 출력부(205)에 표출해준다. 그리고 립 모션장치(100)에서 출력되는 제스처 인식정보를 기반으로 상기 수술 기구의 이동이나 동작, 아울러 상기 수술 기구의 이동이나 동작에 따른 3차원 입체 영상의 변화 이미지를 영상 출력부(205)에 디스플레이해준다. 여기서 현재 수술장에서 사용하는 PACS(의료 소프트웨어)에 동작 인식 기술을 적용한 비접촉 동작인식 프로그램인 '제스처 훅(Gesture hook, 서울아산병원 융합의학과 김남국 교수팀)을 그대로 채택하여, 3차원 입체영상의 변화 이미지를 영상 출력한다. 상기 '제스처 훅' 프로그램은 모션 센서를 통해 들어오는 정보를 인식하는 기술과 인식된 동작을 키보드나 마우스가 작동되는 것처럼 바꿔서 모든 프로그램을 제어할 수 있는 후킹(Hooking) 기술을 활용한 것이다. 이를 이용함으로써 사용자가 손을 허공에서 움직이고, 두들기고, 주먹을 쥐는 등의 동작으로 키보드나 마우스를 사용하는 것처럼 환자의 필요한 검사 영상을 검색 및 확대할 수 있다. 아울러 화면을 회전하고, 밝기, 대비, 투명도를 조절하며, 의료 영상 조회시스템을 제어할 수 있다. 본 발명에서는 이러한 3D 영상 기술 및 비접촉 동작인식의 핵심인 립 모션을 이용하여 견관절 회전근개 파열에 대해 관절경을 이용하여 봉합술을 가상으로 실시해 볼 수 있는 가상 수술 시뮬레이션이다.
도 5는 실제 가상 수술 시뮬레이션을 구현하는 예시의 화면이다.
가상 수술 시뮬레이션을 위해, 영상 출력부(205)는 두 개의 화면을 디스플레이한다. 첫 번째 화면에는 관절경이 보여주는 파열된 회전근개, 관절경 및 수술에 필요한 기구를 3차원으로 만든 이미지가 보이고, 두 번째 화면에는 환자의 수술할 어깨를 보여준다. 수술자가 양손으로 관절경 기구를 잡으면 립 모션 장치(100)에서 양 손가락의 움직임을 인식하여 손가락 및 손의 움직임에 따라 기구가 영상 출력부(205)를 통해 두 번째 화면에서 수술자가 원하는 방향으로 움직이게 된다. 첫 번째 화면에 나타나는 영상은 관절경의 방향에 따라 바뀌게 된다. 두 번째 화면에 주요 관절경 삽입구(Portal)를 표시한 환자의 어깨가 보이고, 수술자가 투관침(trocar)을 이용하여 삽입구를 뚫은 후 관절경을 진입하면 첫 번째 화면에 삽입구에 진입하는 영상이 보이게 된다. 다시 두 번째 화면을 scroll하여 상완골두를 내회전, 외회전 혹은 견인하여 보고하자 나는 견관절 내를 볼 수 있다. 아울러 첫 번째 화면을 scroll하여 관절경(scope)의 방향을 전환하여 보고자 하는 부위를 화면에 표시할 수 있다. 이어 수술할 병변을 찾은 후 전동 절삭기(shaver)를 잡아 작동시키면 첫 번째 화면에서 주위 조직이 변연절제(debridement)되는 영상이 디스플레이된다. 그 이외에 관절경용 커터(cutter)를 이용하여 자르면 주위 조직이 잘리는 (cutting) 모습이 디스플레이되며, 봉합용 갈고리(suture hook) 및 봉합사를 이용하여 봉합사의 매듭을 지으면 파열된 회전근개(rotator cuff)가 봉합되는 모습이 디스플레이된다. 이를 통해 수술 전에 혹은 경험이 없는 수술자가 수술을 미리 연습해 볼 수 있게 되는 것이다.
가상으로 관절경 및 관절경 수술용 기구를 다뤄봄으로써, 마치 환부를 열고 직접 수술하는 것처럼 수술할 수 있으며, 정교한 움직임도 인식하므로 보다 정확하게 수술할 수 있고 반복적으로 연습해 볼 수 있게 된다. 이는 의사에게 안정적이고 안전하면 숙련된 수술 술기를 익힐 수 있도록 도모해준다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
본 발명은 3차원 영상기술 및 립 모션을 이용한 비접촉 인터페이스를 통해 만든 가상현실 견관절 시뮬레이션을 이용하여 의사가 숙련된 술기를 읽힐 수 있도록 하는 기술에 적용된다.
100: 립 모션장치
101: 전원 스위치
102: 제스처 인식부
103: 제어부
104: 동작 표시부
105: 데이터 인터페이스부
200: 관절경 수술 시뮬레이션장치
201: 제스처 인터페이스부
202: 시뮬레이션 제어부
203: 데이터베이스(DB)
204: 영상 처리부
205: 영상 출력부
206: 저장부

Claims (10)

  1. 립 모션을 이용하여 사용자 제스처를 인식하고 이를 기반으로 가상 관절경 수술을 시뮬레이션하기 위한 시스템으로서,
    공간상에서 움직이는 사용자의 제스처를 인식하는 립 모션장치; 및
    2차원 관절 영상을 3차원 영상으로 변환하고, 변환한 3차원 영상과 수술 기구 영상을 동시에 표시하며, 상기 립 모션장치에서 인식한 사용자의 제스처 정보를 기초로 상기 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 화면에 표시해주는 관절경 수술 시뮬레이션장치를 포함하고,
    상기 립 모션장치는 공간상에서 움직이는 사용자의 제스처를 인식하는 제스처 인식부; 상기 제스처 인식부에서 인식한 제스처 정보를 화면상의 위치 정보 및 동작 정보로 출력하는 제어부; 상기 제어부에서 출력되는 위치 정보 및 동작 정보를 상기 관절경 수술 시뮬레이션장치에 전송하는 데이터 인터페이스부를 포함하고, 상기 제스처 인식부는 제스처 인식 범위를 포인터가 이동하는 호버 존과 터치 입력이 되는 터치 존으로 구분하고, 상기 호버 존과 터치 존에서의 사용자 손가락 인식을 통해 위치 및 동작을 인식하며,
    상기 관절경 수술 시뮬레이션장치는 상기 립 모션장치에서 출력되는 제스처 인식정보를 수신하는 제스처 인터페이스부; 상기 제스처 인터페이스부에서 인식한 사용자의 제스처 정보를 기초로 가상의 수술 기구를 이용하여 실제 수술을 하는 것과 동일하게 상기 3차원 영상을 수술 영상으로 변환하여 출력하는 시뮬레이션 제어부; 상기 시뮬레이션 제어부에서 출력되는 가상 수술 영상을 화면에 표시해주는 영상 출력부; 상기 시뮬레이션 제어부의 제어에 따라 상기 영상 출력부에 디스플레이되는 가상 수술 영상을 저장하는 저장부를 포함하고,
    상기 시뮬레이션 제어부는 관절경 가상 수술 이전에 상기 영상 출력부에 가상 수술 기구 영상과 3차원 영상을 포함하는 제1화면과 가상 수술이 진행되면 수술 진행에 따른 수술 영상인 제2화면을 영상 출력부에 표시해주되,
    상기 영상 출력부는 두 개의 화면을 디스플레이한 상태에서, 첫 번째 화면에는 관절경이 보여주는 파열된 회전근개, 관절경 및 수술에 필요한 기구를 3차원으로 만든 이미지를 표시하고, 두 번째 화면에는 환자의 수술할 어깨를 표시하며, 수술자가 양손으로 관절경 기구를 잡으면 두 번째 화면에서 수술자가 원하는 방향으로 기구가 움직이고, 첫 번째 화면에 나타나는 영상은 관절경의 방향에 따라 변경되며, 두 번째 화면에 주요 관절경 삽입구(Portal)를 표시한 환자의 어깨를 표시하고, 수술자가 투관침(trocar)을 이용하여 삽입구를 뚫은 후 관절경을 진입하면 첫 번째 화면에 삽입구에 진입하는 영상을 디스플레이하고, 두 번째 화면을 scroll하여 상완골두를 내회전, 외회전 혹은 견인하면 견관절 내부를 보여주며, 첫 번째 화면을 scroll하면 관절경(scope)의 방향을 전환하여 보고자 하는 부위를 화면에 표시해주고, 수술할 병변을 찾은 후 전동 절삭기(shaver)를 잡아 작동시키면 첫 번째 화면에서 주위 조직이 변연절제(debridement)되는 영상이 디스플레이되고, 관절경용 커터(cutter)를 이용하여 자르면 주위 조직이 잘리는 (cutting) 모습이 디스플레이되며, 봉합용 갈고리(suture hook) 및 봉합사를 이용하여 봉합사의 매듭을 지으면 파열된 회전근개(rotator cuff)가 봉합되는 모습을 디스플레이하여 수술 전에 혹은 경험이 없는 수술자가 수술을 미리 시뮬레이션하도록 해주는 것을 특징으로 하는 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템.
  2. 청구항 1에서, 상기 립 모션 장치와 상기 관절경 수술 시뮬레이션장치는 유선통신 또는 무선통신으로 상호 데이터를 송수신하는 것을 특징으로 하는 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템.
  3. 청구항 1에서, 상기 2차원 관절 영상은 컴퓨터단층촬영장치(CT) 및 자기공명영상촬영장치(MRI)에 의해 촬영된 영상인 것을 특징으로 하는 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템.
  4. 삭제
  5. 청구항 1에서, 상기 립 모션장치는 립 모션장치의 동작 유무를 시각적으로 표시해주는 동작 표시부를 더 포함하는 것을 특징으로 하는 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템.
  6. 삭제
  7. 청구항 1에서, 상기 관절경 수술 시뮬레이션장치는 관절의 2차원 영상을 mimic 프로그램으로 처리하여 3차원 영상으로 만드는 영상 처리부를 포함하는 것을 특징으로 하는 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템.


  8. 삭제
  9. 삭제
  10. 삭제
KR1020170000213A 2017-01-02 2017-01-02 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템 KR101872006B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170000213A KR101872006B1 (ko) 2017-01-02 2017-01-02 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000213A KR101872006B1 (ko) 2017-01-02 2017-01-02 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템

Publications (1)

Publication Number Publication Date
KR101872006B1 true KR101872006B1 (ko) 2018-06-27

Family

ID=62789730

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000213A KR101872006B1 (ko) 2017-01-02 2017-01-02 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템

Country Status (1)

Country Link
KR (1) KR101872006B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040084243A (ko) 2003-03-27 2004-10-06 학교법인 경희대학교 인공고관절 가상 시술 시뮬레이션 시스템
US20110208317A1 (en) * 2010-02-24 2011-08-25 Feldman Kent A Subtalar arthroereisis implant apparatus and treatment method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040084243A (ko) 2003-03-27 2004-10-06 학교법인 경희대학교 인공고관절 가상 시술 시뮬레이션 시스템
US20110208317A1 (en) * 2010-02-24 2011-08-25 Feldman Kent A Subtalar arthroereisis implant apparatus and treatment method

Similar Documents

Publication Publication Date Title
US11786319B2 (en) Multi-panel graphical user interface for a robotic surgical system
AU2019352792B2 (en) Indicator system
KR102477325B1 (ko) 로봇 수술 시스템용 다중 패널 그래픽 사용자 인터페이스
US8834170B2 (en) Devices and methods for utilizing mechanical surgical devices in a virtual environment
Birlo et al. Utility of optical see-through head mounted displays in augmented reality-assisted surgery: A systematic review
US20220125519A1 (en) Augmented reality assisted joint arthroplasty
US20110306986A1 (en) Surgical robot system using augmented reality, and method for controlling same
US20130189663A1 (en) Medical training systems and methods
EP3870021B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
KR20110042277A (ko) 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
JP2024521721A (ja) 手術シミュレーション物体修正システム
WO2020160129A1 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
Wang et al. Intelligent HMI in orthopedic navigation
TWI707660B (zh) 手術用穿戴式影像顯示裝置及手術資訊即時呈現系統
KR101114226B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
KR101872006B1 (ko) 립 모션을 이용한 가상 관절경 수술 시뮬레이션시스템
US11660158B2 (en) Enhanced haptic feedback system
TW201619754A (zh) 醫用影像物件化介面輔助解說控制系統及其方法
KR100956762B1 (ko) 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
CN114945990A (zh) 用于基于操作情境提供外科手术辅助的系统和方法
US20230105111A1 (en) System and Method for Teaching Minimally Invasive Interventions
WO2020210972A1 (zh) 手术用穿戴式影像显示装置及手术资讯即时呈现系统

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant