KR20210131061A - 3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템 - Google Patents

3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템 Download PDF

Info

Publication number
KR20210131061A
KR20210131061A KR1020200049400A KR20200049400A KR20210131061A KR 20210131061 A KR20210131061 A KR 20210131061A KR 1020200049400 A KR1020200049400 A KR 1020200049400A KR 20200049400 A KR20200049400 A KR 20200049400A KR 20210131061 A KR20210131061 A KR 20210131061A
Authority
KR
South Korea
Prior art keywords
surgery
virtual reality
hmd device
procedure
medical
Prior art date
Application number
KR1020200049400A
Other languages
English (en)
Inventor
신재용
윤소연
김용배
장지석
Original Assignee
아주대학교산학협력단
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단, 연세대학교 산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020200049400A priority Critical patent/KR20210131061A/ko
Publication of KR20210131061A publication Critical patent/KR20210131061A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Abstract

본 발명은 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템에 관한 것이다. 본 발명에 따르면, 사용자의 헤드에 장착되어 가상 현실 컨텐츠를 디스플레이 하는 HMD 기기, 및 상기 HMD 기기와 네트워크 연결되며, 수술실 또는 시술실에서 이루어지는 환자의 수술 또는 시술 과정에 대한 입체 영상 시나리오를 3D 가상 공간에서 구현한 상기 가상 현실 컨텐츠를 상기 HMD 기기로 제공하는 영상 제공 서버를 포함하는 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템을 제공한다.
본 발명에 따르면, HMD 기기를 착용한 사용자에게 의료 시술 또는 수술 과정에 대한 설명 및 임상적인 안내를 가상 현실 환경에서 내레이션 정보와 함께 몰입감 있게 제공함으로써, 환자로 하여금 관련 시술이나 수술에 대한 이해도를 높임은 물론 수술이나 시술 전 심리적 불안을 경감시키고 해당 의료 서비스에 대한 신뢰도를 높일 수 있다.

Description

3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템{Medical surgery and procedure guidance system using 3D virtual reality}
본 발명은 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템에 관한 것으로서, 보다 상세하게는 가상 현실 환경을 통하여 의료 시술 또는 수술 과정에 대한 전반적인 설명과 임상적인 안내를 사용자에게 몰입감 있게 제공할 수 있는 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템에 관한 것이다.
의료서비스 산업은 정보의 비대칭성이 제한점으로 존재하는 영역으로, 의료 제공자들을 제외한 환자나 보호자들의 경우 관련 정보에 대한 접근성과 이해도가 현저히 낮아 환자가 인지하는 의료서비스의 질과 경험에 부정적 영향을 미친다.
동일한 건강 정보에 대하여 환자마다 이를 해석할 수 있는 의료정보 이해능력(health literacy)에는 차이가 있다. 의료정보 이해능력은 개인이 자신의 건강관리를 결정하기 위하여 필요한 기본적인 건강 정보 및 서비스를 이해하고 처리하는 능력을 의미하며, 대상자의 연령, 성별, 교육 수준, 경제적 상태 등에 따라 달라질 수 있다.
또한, 의료서비스는 전문성이 요구되는 분야로, 의료진은 환자에게 시간과 비용 등 제한된 자원 하에서 최적의 서비스를 제공하기 위해 자원 활용의 효율성을 높일 수 있어야 하며, 개선된 업무 효율성은 환자 경험에 영향을 주어 환자로 하여금 서비스 만족도를 높이게 한다.
이러한 점에 따라, 의료서비스 산업에서 정보의 비대칭성을 개선하는 동시에 의료진의 생산성을 개선해줄 수 있는 보조 도구나 시스템이 요구되는 실정이다.
본 발명의 배경이 되는 기술은 한국공개특허 제2019-0105788호(2019.09.18. 공개)에 개시되어 있다.
본 발명은 가상 현실 환경을 통하여 의료 시술 또는 수술 과정에 대한 전반적인 설명과 임상적인 안내를 사용자에게 몰입감 있게 제공할 수 있는 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템을 제공하는데 목적이 있다.
본 발명은, 사용자의 헤드에 장착되어 가상 현실 컨텐츠를 디스플레이 하는 HMD 기기, 및 상기 HMD 기기와 네트워크 연결되며, 수술실 또는 시술실에서 이루어지는 환자의 수술 또는 시술 과정에 대한 입체 영상 시나리오를 3D 가상 공간에서 구현한 상기 가상 현실 컨텐츠를 상기 HMD 기기로 제공하는 영상 제공 서버를 포함하는 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템을 제공한다.
또한, 상기 영상 제공 서버는, 상기 입체 영상 시나리오와 함께 해당 수술 또는 시술 과정에 대한 오디오 내레이션 정보를 상기 HMD 기기로 제공할 수 있다.
또한, 상기 오디오 내레이션 정보는, 해당 수술 또는 시술 과정의 설명 및 관련 임상적 내용을 담은 의료진의 음성 녹음 정보를 포함할 수 있다.
본 발명에 따르면, HMD 기기를 착용한 사용자에게 의료 시술 또는 수술 과정에 대한 설명 및 임상적인 안내를 가상 현실 환경에서 내레이션 정보와 함께 몰입감 있게 제공함으로써, 환자로 하여금 관련 시술이나 수술에 대한 이해도를 높임은 물론 수술이나 시술 전 심리적 불안을 경감시키고 해당 의료 서비스에 대한 신뢰도를 높일 수 있다.
도 1은 본 발명의 실시예에 따른 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템을 나타낸 도면이다.
도 2는 도 1의 시스템을 기반으로 HMD 기기를 착용한 사용자에게 폐암 수술을 설명하는 모습을 예시적으로 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템은 HMD 기기(100) 및 영상 안내 서버(200)를 포함한다.
HMD 기기(100)는 헤드 마운트 디스플레이(Head Mounted Display) 기기로서 사용자의 헤드에 장착된 상태에서 가상 현실 컨텐츠를 디스플레이 한다. 이러한 HMD 기기(100)는 영상 안내 서버(200)와 네트워크 연결된 상태에서 영상 안내 서버(200)로부터 가상 현실 컨텐츠를 제공받아 실시간 실행하고 디스플레이할 수 있다.
HMD 기기(100)는 영상 안내 서버(200)와 네트워크 연결되어 상호 정보를 송수신할 수 있다. 이때, 무선 방식(ex, 블루투스, RF, Wi-Fi 통신 방식 등)의 네트워크를 사용할 수도 있지만, 유선 또는 유무선 결합 네트워크를 사용할 수도 있다.
HMD 기기(100)는 영상 안내 서버(200)와 다이렉트로 연결될 수도 있고, 사용자 단말(미도시)을 매개로 연결될 수도 있다. 이때, 사용자 단말(미도시)은 병원이나 환자 측 단말에 해당할 수 있으며, 데스크탑(Desktop), 태블릿(Tablet), 노트북(Notebook), 패드(Pad), 스마트 폰(Smart Phone), 키오스크(KIOSK) 등과 같이 네트워크에 접속하여 정보를 주고받을 수 있는 기기라면 무관하다.
HMD 기기(100)는 영상 안내 서버(200) 또는 그와 접속된 사용자 단말(미도시)로부터 가상 현실 컨텐츠를 수신하고 실행한다. 영상 안내 서버(200)는 가상 현실 컨텐츠를 제공하기 위한 응용 프로그램을 사용자 단말 상에 모바일 어플케이션(Mobile Application)의 형태로 제공할 수도 있다.
사용자 단말(미도시)은 응용 프로그램을 통해 영상 안내 서버(200)와 접속한 상태에서 제공 가능한 리스트를 제공하고 리스트 상에서 선택된 시술 또는 수술 항목에 대응한 가상 현실 컨텐츠를 수신하여 이를 HMD 기기(100)로 제공할 수 있다. 여기서 물론, 영상 안내 서버(200)는 복수의 사용자에 각각 대응하는 복수의 HMD 기기(100)와 접속되어 해당 사용자에게 관련 컨텐츠를 개별 제공할 수 있다.
영상 안내 서버(200)는 사용자가 착용한 HMD 기기(100)와 네트워크 연결된 상태에서, 수술실 또는 시술실에서 이루어지는 환자의 수술 또는 시술 과정에 대한 입체 영상 시나리오를 3D 가상 공간에서 구현한 가상 현실 컨텐츠를 해당 HMD 기기(100)로 제공한다.
또한, 영상 안내 서버(200)는 입체 영상 시나리오와 함께 해당 수술 또는 시술 과정에 대한 오디오 내레이션 정보를 HMD 기기(100)로 제공할 수 있다. 이때, 오디오 내레이션 정보는 해당 수술 또는 시술 과정의 설명 및 관련 임상적 내용을 담은 의료진의 음성 녹음 정보를 포함할 수 있고, 그 밖에도 배경 음악, 효과음 등을 포함할 수 있다. 또한 영상 안내 서버(200)는 의사에 해당하는 3D 객체가 직접 수술이나 시술하는 장면을 설명하는 방식으로 관련 컨텐츠를 제공할 수 있다.
또한, HMD 기기(100)에 제공되는 가상 현실 컨텐츠는 사용자의 실시간 상호작용성을 반영할 수 있다. 예를 들면 HMD 기기(100)를 착용한 사용자의 모션 정보, 음성 입력 정보 등을 기반으로 그에 대응하는 화면 조작, 화면 전환 등의 영상 제어가 이루어질 수 있다.
도 2는 도 1의 시스템을 기반으로 HMD 기기를 착용한 사용자에게 폐암 수술을 설명하는 모습을 예시적으로 나타낸 도면이다.
도 2에 나타낸 것과 같이, 본 발명의 경우 HMD 기기(100)를 통하여 가상 현실 상에서 폐암 수술과 관련한 다양 입체 영상을 사용자에게 보여줄 수 있으며, 특히 환자로 하여금 외부 자극이 차단된 상태에서 높은 몰입감(immersiveness)으로 복잡한 정보 즉, 시술 또는 수술 과정에 관한 정보를 효과적으로 이해시킬 수 있고, 수술실, 방사선 치료실 또는 MRI, CT 등의 영상 촬영실 등을 가상으로 경험시킬 수 있다.
이상과 같이, 본 발명에 따르면, 가상 현실 구현의 주요 요소인 3차원의 공간성, 실시간의 상호작용성, 몰입감을 기반으로 환자의 의료정보 이해도를 높이고 정보의 습득을 용이하게 하는 효율적인 가상 현실 컨텐츠를 제공한다.
또한, 이에 따르면, 가상현실 컨텐츠를 이용하여 시술 전 환아들에게 시술실과 마취 과정 등에 대한 정보를 제공하여 환아들의 불안감을 경감시켜줄 수도 있고, MRI를 경험해보지 못한 환자들을 대상으로 MRI 관련 가상 현실을 사전 경험시켜 줌으로써 폐쇄 공포와 불안을 경감시킬 수 있다.
따라서, 본 발명에 의하면 수술 전 혹은 시술 전의 불안으로 인해 초래되는 유·무형적 손실을 가상 현실을 통하여 경감시킬 수 있으며, 이를 기반으로 환자들이 치료 의사 결정에 보다 적극적으로 참여할 수 있도록 하고, 환자 경험 및 주관적 안녕감을 개선하는데 기여할 수 있다.
이와 같이, 가상 현실을 통해 환자들이 치료에 대한 이해도를 높이고 치료 과정에 적극적으로 참여하게 된다면 의료서비스 제공자의 불필요한 인적·물적 자원 낭비를 줄일 수 있고, 임상적으로 더 나은 건강 결과(health outcome)를 가져올 수 있다. 물론, 이러한 효과는 의료정보 이해능력이 낮은 사회 취약 계층에 더욱 클 것으로 기대된다.
이상과 같은 본 발명에 따르면, HMD 기기를 착용한 사용자에게 의료 시술 또는 수술 과정에 대한 설명 및 임상적인 안내를 가상 현실 환경에서 내레이션 정보와 함께 몰입감 있게 제공함으로써, 환자로 하여금 관련 시술이나 수술에 대한 이해도를 높임은 물론 수술이나 시술 전 심리적 불안을 경감시키고 해당 의료 서비스에 대한 신뢰도를 높일 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: HMD 기기 200: 영상 제공 서버

Claims (3)

  1. 사용자의 헤드에 장착되어 가상 현실 컨텐츠를 디스플레이 하는 HMD 기기; 및
    상기 HMD 기기와 네트워크 연결되며, 수술실 또는 시술실에서 이루어지는 환자의 수술 또는 시술 과정에 대한 입체 영상 시나리오를 3D 가상 공간에서 구현한 상기 가상 현실 컨텐츠를 상기 HMD 기기로 제공하는 영상 제공 서버를 포함하는 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템.
  2. 청구항 1에 있어서,
    상기 영상 제공 서버는,
    상기 입체 영상 시나리오와 함께 해당 수술 또는 시술 과정에 대한 오디오 내레이션 정보를 상기 HMD 기기로 제공하는 3D 가상현실을 이용한 의료 시술 및 수술 안내 시스템.
  3. 청구항 1에 있어서,
    상기 오디오 내레이션 정보는,
    해당 수술 또는 시술 과정의 설명 및 관련 임상적 내용을 담은 의료진의 음성 녹음 정보를 포함하는 의료 시술 및 수술 안내 시스템.
KR1020200049400A 2020-04-23 2020-04-23 3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템 KR20210131061A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049400A KR20210131061A (ko) 2020-04-23 2020-04-23 3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049400A KR20210131061A (ko) 2020-04-23 2020-04-23 3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템

Publications (1)

Publication Number Publication Date
KR20210131061A true KR20210131061A (ko) 2021-11-02

Family

ID=78476526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049400A KR20210131061A (ko) 2020-04-23 2020-04-23 3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템

Country Status (1)

Country Link
KR (1) KR20210131061A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240022048A (ko) 2022-08-10 2024-02-20 주식회사 엠티이지 수술 단계에 대한 정보를 제공하는 방법 및 디바이스
KR20240022047A (ko) 2022-08-10 2024-02-20 주식회사 엠티이지 수술에 대한 시나리오를 제공하는 방법 및 디바이스
KR20240048074A (ko) 2022-10-05 2024-04-15 주식회사 엠티이지 라벨링을 이용한 능동 학습 방법 및 디바이스

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240022048A (ko) 2022-08-10 2024-02-20 주식회사 엠티이지 수술 단계에 대한 정보를 제공하는 방법 및 디바이스
KR20240022047A (ko) 2022-08-10 2024-02-20 주식회사 엠티이지 수술에 대한 시나리오를 제공하는 방법 및 디바이스
KR20240048074A (ko) 2022-10-05 2024-04-15 주식회사 엠티이지 라벨링을 이용한 능동 학습 방법 및 디바이스

Similar Documents

Publication Publication Date Title
KR20210131061A (ko) 3d 가상현실을 이용한 의료 시술 및 수술 안내 시스템
Pandrangi et al. The application of virtual reality in patient education
Silva et al. Emerging applications of virtual reality in cardiovascular medicine
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
JP5989877B1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
Martin et al. Use of the HoloLens2 mixed reality headset for protecting health care workers during the COVID-19 pandemic: prospective, observational evaluation
CN106845120A (zh) 一种基于混合现实技术的远程医疗系统及其操作方法
Sirilak et al. A new procedure for advancing telemedicine using the HoloLens
US20120256950A1 (en) Medical support apparatus, medical support method, and medical support system
ES2629694T3 (es) Red de aparatos para la realización de pruebas ópticas/optométricas/oftalmológicas y procedimiento para controlar dicha red de aparatos
US9015630B2 (en) Clinical photographic recordkeeping system and associated methods
KR20140076673A (ko) 메신저 기반의 의료 영상 공유를 통한 원격 협진 방법 및 그 시스템
US20230401713A1 (en) Systems and Methods for Displaying Augmented Anatomical Features
WO2018028166A1 (zh) 一种基于虚拟现实头戴式显示装置的远程互动系统及方法
KR20200068992A (ko) 전자 차트 관리 장치, 전자 차트 관리 방법 및 기록 매체
JP2023521714A (ja) ビデオコラボレーションのための方法及びシステム
Wong et al. Review and future/potential application of mixed reality technology in orthopaedic oncology
Dinh et al. Augmented reality in real-time telemedicine and telementoring: scoping review
Sugimoto Cloud XR (extended reality: virtual reality, augmented reality, mixed reality) and 5g mobile communication system for medical image-guided holographic surgery and telemedicine
Freiman et al. Telemedicine for patients undergoing arthroplasty: access, ability, and preference
Pathak et al. Patient perspectives on the quality of professional interpretation: results from LASI study
KR20180010721A (ko) 지능형 수술 지원 시스템 및 방법
CN104706422A (zh) 一种头戴式医疗装置、医疗系统及其操作方法
KR20180105284A (ko) 원격 진료 방법
US20140297309A1 (en) System and method for supplying medical image