KR20190108923A - 증강현실을 이용한 성형외과 진료/수술 지원시스템 - Google Patents

증강현실을 이용한 성형외과 진료/수술 지원시스템 Download PDF

Info

Publication number
KR20190108923A
KR20190108923A KR1020180030602A KR20180030602A KR20190108923A KR 20190108923 A KR20190108923 A KR 20190108923A KR 1020180030602 A KR1020180030602 A KR 1020180030602A KR 20180030602 A KR20180030602 A KR 20180030602A KR 20190108923 A KR20190108923 A KR 20190108923A
Authority
KR
South Korea
Prior art keywords
patient
information
modeling
surgery
augmented reality
Prior art date
Application number
KR1020180030602A
Other languages
English (en)
Inventor
이기한
이역수
정지혁
공현중
Original Assignee
서울여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울여자대학교 산학협력단 filed Critical 서울여자대학교 산학협력단
Priority to KR1020180030602A priority Critical patent/KR20190108923A/ko
Publication of KR20190108923A publication Critical patent/KR20190108923A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2/30942—Designing or manufacturing processes for designing or making customized prostheses, e.g. using templates, CT or NMR scans, finite-element analysis or CAD-CAM techniques
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/30—Joints
    • A61F2/3094—Designing or manufacturing processes
    • A61F2002/30985—Designing or manufacturing processes using three dimensional printing [3DP]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Cardiology (AREA)
  • Manufacturing & Machinery (AREA)
  • Transplantation (AREA)
  • Vascular Medicine (AREA)
  • Urology & Nephrology (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

수집된 환자 데이터로 환자 수술 부위를 3D 모델링화하여 진료 및 상담에 활용하도록 하고, 증강현실을 통해 환자의 수술정보를 제공하여 수술 성공률을 향상시키도록 한 증강현실을 이용한 성형외과 진료/수술 지원시스템에 관한 것으로서, 환자 정보를 수집하여 환자 데이터베이스에 저장하는 환자 정보 수집장치, 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 보형물 모델링 정보와 수술 부위 3D 모델링 정보를 생성하는 3D 모델링 수단, 3D 모델링 수단에서 생성한 보형물 모델링 정보를 기초로 3D 프린팅을 하여 보형물을 제작하는 3D 프린터, 3D 모델링 수단에서 생성한 수술부위 3D 모델링 정보를 기초로 증강현실(AR) 콘텐츠 제작 엔진을 이용하여 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 생성수단 및 증강현실 콘텐츠 생성수단에서 생성된 증강현실 콘텐츠를 디스플레이하는 디스플레이 장치를 포함하여, 증강현실을 이용한 성형외과 진료/수술 지원시스템을 구현한다.

Description

증강현실을 이용한 성형외과 진료/수술 지원시스템{Plastic surgery/surgery support system using augmented reality}
본 발명은 증강현실(Augmented Reality; AR)을 이용한 성형외과 진료/수술 지원시스템에 관한 것으로, 특히 수집된 환자 데이터로 환자 수술 부위를 3D 모델링화하여 진료 및 상담에 활용하도록 하고, 증강현실을 통해 환자의 수술정보를 제공하여 수술 성공률을 향상시키도록 한 증강현실을 이용한 성형외과 진료/수술 지원시스템에 관한 것이다.
주치의의 환자 진료 및 상담 시 CT, MRI, X-ray와 같은 2D 이미지를 주로 이용하고 있으나, 최근 의학 기술의 발달로 컴퓨터 시스템을 이용한 내비게이션 수술이 도입되어 사용되고 있다. 환자의 수술 부위를 CT로 촬영, 3D 이미지로 제작하여 내비게이션 시스템으로 불러와, 미리 입력한 환자의 수술 부위와 위험 부위를 모니터로 확인하여 수술을 진행한다.
다른 방법으로서, AR을 이용한 악 안면 수술 정확성을 평가하는 기술도 제안되고 있다. 안면 비대칭과 부정교합, 상·하악 돌출 등과 같은 수술 전에는 X-ray 검사를 통해 정면, 45°, 양측 등 여러 각도에서 사진을 찍어야 하는데, 조금만 각도가 틀어져도 정확한 분석이 어려워 치열을 포함한 정확한 환자 상태 파악이 힘들다. 따라서 환자의 CT 결과를 3D 모델링하여 각도와 길이 등 수술에서 문제될 부분이 있는지 3D 가상수술을 시행함으로써 실제 수술 시 계획을 수립하고 환자에게 예측되는 수술 결과를 보여주어 환자 진료 등에 활용한다. 가상수술 시 세운 수술계획이 실제 수술에서 정확하게 반영되었는지를 확인하기 위해서, 수술 막바지에 환자의 3D가상수술 시 시뮬레이션 영상이 AR로 현재 수술 결과 위에 겹쳐져 모니터에 보여줘, 이를 통해 집도의가 수술 정확도를 파악하고 수술을 마무리할 수 있도록 도모해준다.
또 다른 방법으로서, MEVIS(Fraunhofer Medical Image Computing Laboratory)가 제안되었다. Fraunhofer Medical Image Computing Laboratory의 새로운 iPad 애플리케이션인 MEVIS는 많은 혈관 등 위험요소가 많은 간(liver) 수술 시 환자의 라이브 영상 위 3D 혈관 맵을 AR로 제공하여 어느 부분을 절개하는 것이 안전한지에 대한 정보를 제공한다. 이 방법은 수술 전 CT 촬영을 하여 영상화된 혈관은 소프트웨어에서 식별된 그 모든 것이 iPad로 전송된다. 집도의가 수술 중 이미지화된 간을 탐색하여 혈관이 어디에 있는지 파악한 후 iPad의 카메라로 수술 환자의 간을 비추면 애플리케이션은 자동으로 기관의 혈관 구조를 실제 수술 환자 위에 겹쳐 보이도록 한다. 간 수술은 혈관이 많이 까다로울 뿐만 아니라, 조금이라도 잘못된 부분에 칼을 대었을 때 심한 혈액 손실 위험에 처하게 된다. 모든 외과의사가 장기의 모든 혈관 위치와 종양 발견 시 제거해야 하는 부분에 대해 모두 암기하기가 힘든 것이 현실이므로, 이 애플리케이션은 주치의에게 종양을 제거하는데 정확한 위치와 방법을 계획할 수 있도록 하며 환자의 출혈의 정도를 예측하고 안전한 수술을 진행하는데 도움을 준다.
또 다른 방법으로서, University of Pisa의 정보 공학 부서가 VOSTARS(Video Optical See-Through Augmented Reality surgical System)라는 수술용 의료 시스템
을 개발하였다. 이는 집도의가 기기를 머리에 착용하고 수술에 들어가 환자 수술 부위를 카메라로 비추면, 환자의 수술 이전 의료 영상을 불러와 겹쳐 보여주면서 수술 이전과 어떠한 변화가 있는지 보여준다. 또한, 실시간 환자의 마취 데이터, 심박수, 체온, 혈압 및 호흡 등을 표시하여 의사가 수술실의 다른 곳으로 눈을 떼지 않고 집중할 수 있도록 하여, 평균 3시간이 소요되는 시간을 20분으로 단축시켜 환자의 마취 시간을 단축하게 된다.
또 다른 방법으로서, CaptiView AR system(Mt. Sinai Hospital)이 있다. 미국 마운트 시나이 병원에서 현미경 이미징 시스템에 AR 기술을 접목, 실제 수술 의사가 환자의 뇌를 보는 것과 같은 환경을 구축하여 뇌 부위 동맥류 수술 테스트까지 마쳤다. 라이카 마이크로시스템즈의 현미경 이미지시스템에 캡티뷰 AR 시스템(CaptiView AR system)이라는 소프트웨어를 적용해 집도의는 수술 중 헤드업디스플레이를 통해 현재 보고 있는 환자의 뇌 위에 수술 전 촬영한 환자 뇌 내부 2D/3D 영상이 겹쳐서 나타나므로 여러 화면을 보느라 고개를 돌릴 필요가 없다는 이점이 있다. 또한, 수술과 관련된 기타 의료 정보도 현미경 화면에 불러올 수 있으며, 의사가 수술하는 동안 어느 곳을 보는지를 파악하여 자동으로 초점을 맞추어준다. 아울러 육안으로 확인하기 어려운 뇌 부위를 의사가 헤드업 디스플레이를 통해 확인할 수 있어 정확하고 빠른 수술이 가능하도록 도모해준다.
한편, 의료에 AR 기술을 접목시켜 수술에 정확성과 편리함을 제공해주기 위해 종래에 제안된 다른 기술이 하기의 <특허문헌 1> 내지 <특허문헌 3> 에 개시되어 있다.
<특허문헌 1> 에 개시된 종래기술은 의료영상을 사용하는 중재 시술 시스템에서, 의료영상 획득이 가능한 이미징 장치, 삽입경로를 저장하며, 의료영상을 받아들여 화면에 표시하는 제어부, 그리고, 제어부의 명령에 따라 의료도구를 환자의 체내에 삽입하는 의료 로봇을 포함하며, 제어부는 삽입경로 위치로 의료 로봇을 구동하는 제1 모드와 의료영상에 의한 환자의 호흡레벨 확인 후 의료 로봇을 구동하는 제2 모드를 가지는 의료영상을 사용하는 중재시술 시스템을 제공한다.
또한, <특허문헌 2> 에 개시된 종래기술은 본 발명의 증강현실을 이용한 치과 수술 방법은 영상융합단계, 인터페이스단계 및 영상영사단계를 수행한다. 영상융합단계에서는 환자의 안면이 촬영된 일반 영상과 촬영된 일반 영상에 대응되는 투과 영상을 수집하고, 일반 영상과 투과 영상이 겹쳐진 3D 영상으로 매핑하여 서버에 등록한다. 인터페이스단계에서는 사용자 단말기를 다른 안면에 비추어, 비친 다른 안면과 서버에 등록된 일반 영상이 대응되는지를 판별하여 상호 대응되면, 3D 영상을 사용자 인터페이스에 표시한다. 영상영사단계에서는 화면표시단계에서 표시된 3D 영상에 대응되는 투과 영상을 서버에 연결된 영사 장치에 전달하여, 다른 안면에 투과 영상이 겹쳐지도록 영사 장치를 이용하여 영사하는 방식으로, 증강현실을 이용한 환자 영상을 제공한다.
대한민국 공개특허 10-2017-0030687(2017.03.20. 공개)(의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템) 대한민국 등록특허 10-1687821(2016.12.13. 등록)(증강현실을 이용한 치과 수술 방법)
그러나 상기와 같은 일반적인 컴퓨터 시스템을 이용한 의료 수술 방법은 컴퓨터 시스템을 이용하여 정확한 삽입물 위치를 선정할 수 있는 장점은 있지만, 장비가 고가여서 내비게이션 시스템 수술이 가능한 진료 분야에 폭넓게 적용하는 데 어려움이 있으며, 장비가 전량 수입에 의존되다 보니 특정 병원에서만 한정적으로 사용되는 제약이 있었다.
또한, 종래기술 중 CaptiView AR system(Mt. Sinai Hospital)은 집도의가 VR 기기를 착용하고 수술을 하는데 어지러움을 느끼는 등의 문제점이 있어, 실용화하는 데 어려움이 있다.
또한, 환자 진료 및 상담 시 CT, MRI, X-ray와 같은 2D 이미지를 이용할 경우, 전문지식이 없는 환자입장에서 어느 부분이 어떠한 수술을 통해 어떻게 보완되는지 그 결과를 이해하는 데 어려움이 있으며, 이는 결과적으로 추후 수술 결과를 가지고 의료분쟁이 발생할 수 있는 소지가 많다.
또한, 종래기술로 언급된 특허문헌들은 3D로 환자 수술 부위 영상을 제공하여 의사가 수술을 하는 데 많은 도움은 되나, 수술을 하기 이전에 환자가 자신의 수술 결과를 미리 확인해보는 것이 어렵다는 단점이 있다.
또한, 일반적인 컴퓨터 시스템을 이용한 의료 기술들이나 종래기술들은 다양한 의료 분야에 적용되었으나, 성형외과의 진료 및 수술에는 적용되지 못한 단점도 있다.
따라서 본 발명은 상기와 같은 일반적인 컴퓨터 시스템을 이용한 의료 기술 및 종래기술에서 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 수집된 환자 데이터로 환자 수술 부위를 3D 모델링화하여 진료 및 상담에 활용하도록 하고, 증강현실을 통해 환자의 수술정보를 제공하여 수술 성공률을 향상시키도록 한 증강현실을 이용한 성형외과 진료/수술 지원시스템을 제공하는 데 그 목적이 있다.
본 발명의 다른 목적은 환자별 맞춤 수술부위를 3D화된 환자 신체 정보를 기반으로 주치의와 상담하고, 수술 결과에 대한 구체적인 모습을 상호 합의함으로써, 추후 의료분쟁을 최소화할 수 있도록 한 증강현실을 이용한 성형외과 진료/수술 지원시스템을 제공하는 것이다.
상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템의 실시 예는 환자 정보를 수집하여 환자 데이터베이스에 저장하는 환자 정보 수집장치; 상기 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 보형물 모델링 정보와 수술 부위 3D 모델링 정보를 생성하는 3D 모델링 수단; 상기 3D 모델링 수단에서 생성한 보형물 모델링 정보를 기초로 3D 프린팅을 하여 보형물을 제작하는 3D 프린터; 상기 3D 모델링 수단에서 생성한 수술부위 3D 모델링 정보를 기초로 증강현실(AR) 콘텐츠 제작 엔진을 이용하여 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 생성수단; 상기 증강현실 콘텐츠 생성수단에서 생성된 증강현실 콘텐츠를 디스플레이하는 디스플레이 장치를 포함하는 것을 특징으로 한다.
상기에서 환자 정보 수집장치는 환자 CT 영상, MRI 영상, X-RAY 영상, 진료 정보 및 검사 정보 중 적어도 어느 하나 이상을 환자 정보로 수집하는 것을 특징으로 한다.
상기에서 3D 모델링 수단은 상기 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 3D 보형물 모델링 정보를 생성하는 3D 보형물 모델링 모듈; 상기 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 환자 수술부위의 3D 모델링 정보를 생성하는 환자 수술부위 3D 모델링 모듈을 포함하는 것을 특징으로 한다.
상기에서 3D 보형물 모델링 모듈은 상기 환자 정보를 기초로 크기 및 모양을 조절하여 환자 개인 맞춤형 보형물을 모델링하는 것을 특징으로 한다.
상기에서 환자 수술부위 3D 모델링 모듈은 환자 수술부위 3D 모델링 모듈 생성시 진료 정보를 기초로 수술 가이드 정보를 생성하여 상기 3D 모델링 정보에 부가하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템은 입력된 수술 결과 정보 및 보형물 결과 정보를 기초로 피드백 정보를 생성하여 상기 환자 정보 수집 장치에 제공하는 피드백 정보 생성부를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면 수집된 환자 데이터로 환자 수술 부위를 3D 모델링화하여 진료 및 상담에 활용함으로써, 수술 결과에 대한 구체적인 환자 모습을 환자가 미리 예측할 수 있어, 수술 결과로 추후 의료분쟁이 발생하는 것을 최소화할 수 있는 장점이 있다.
또한, 본 발명에 따르면 증강현실을 통해 3D로 구현된 환자별 맞춤 수술 정보를 주치의에게 전달하는 방식으로 정확한 수술 가이드를 제공해줌으로써, 환자의 수술 성공률을 향상시킬 수 있는 장점도 있다.
도 1은 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템의 제1 실시 예 구성도,
도 2는 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템의 제2 실시 예 구성도,
도 3은 본 발명에서 증강현실을 이용한 진단 및 진료 예시도,
도 4는 본 발명에서 얼굴 재건 수술일 경우 얼굴 재건을 위한 3D 모델링과 재건 보형물 제작 및 안면 재건 수술 방법의 예시도,
도 5는 본 발명에서 단층면 이미지를 이용한 3D 모델링 예시도,
도 6은 본 발명에서 3D 모델링을 활용한 보형물 제작 예시도.
이하 본 발명의 바람직한 실시 예에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 바람직한 제1 실시 예에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템의 구성도이고, 도 2는 본 발명의 바람직한 제2 실시 예에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템의 구성도이다.
여기서 제2 실시 예는 제1 실시 예에 수술의사의 보형물 피드백 정보 및 수술 결과 정보를 피드백 정보로 반영하는 기능이 추가된 것으로서, 이하 설명의 편의를 위해, 제1 실시 예 및 제2 실시 예를 함께 설명하기로 한다.
도 1 및 도 2에 도시한 바와 같이, 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템은 환자 정보를 수집하여 환자 데이터베이스(DB)(20)에 저장하는 환자 정보 수집장치(10), 상기 환자 데이터베이스(20)에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 보형물 모델링 정보와 수술 부위 3D 모델링 정보를 생성하는 3D 모델링 수단(30), 상기 3D 모델링 수단(30)에서 생성한 보형물 모델링 정보를 기초로 3D 프린팅을 하여 보형물을 제작하는 3D 프린터(40), 상기 3D 모델링 수단(30)에서 생성한 수술부위 3D 모델링 정보를 기초로 증강현실(AR) 콘텐츠 제작 엔진을 이용하여 수술용 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 생성수단(50), 상기 증강현실 콘텐츠 생성수단(50)에서 생성된 증강현실 콘텐츠를 디스플레이하는 디스플레이 장치(60)를 포함한다.
또한, 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템은 입력된 수술 결과 정보 및 보형물 결과 정보를 기초로 피드백 정보를 생성하여 상기 환자 정보 수집 장치(10)에 제공하는 피드백 정보 생성부(70)를 더 포함할 수 있다.
상기 3D 모델링 수단(30)은 상기 환자 데이터베이스(20)에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 3D 보형물 모델링 정보를 생성하는 3D 보형물 모델링 모듈(31), 상기 환자 데이터베이스(20)에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 환자 수술부위의 3D 모델링 정보를 생성하는 환자 수술부위 3D 모델링 모듈(32)을 포함할 수 있다.
이와 같이 구성된 본 발명에 따른 증강현실을 이용한 성형외과 진료/수술 지원시스템의 동작을 구체적으로 설명하면 다음과 같다.
먼저, 환자 정보 수집장치(10)는 병원을 방문한 환자 및 진료/검사 등을 통해 획득한 환자의 정보를 수집하여 환자 데이터베이스(20)에 저장한다. 여기서 환자 정보로는 CT 영상, MRI 영상, X-RAY 영상, 진료 정보 및 검사 정보, 재건 수술에 필요한 의료데이터 중 적어도 어느 하나 이상을 포함할 수 있다.
환자 정보가 수집되면, 의사는 수집된 환자 정보를 보면서 환자를 진료하게 되고, 진료시 수술 부위와 환자 맞춤 수술 정보를 환자 수술 영상(2D 영상)에 표시한다.
기초적인 진료가 완료되어 수술 부위와 환자 맞춤 수술 정보가 표시되면, 3D 모델링 수단(30)은 상기 환자 데이터베이스(20)에 저장된 환자 정보를 기초로 3D 모델링 엔진(예를 들어, Wikitude)을 이용하여 3D 모델링을 수행하여 보형물 모델링 정보와 수술 부위 3D 모델링 정보를 생성한다. 도 5는 다수의 단층면 이미지(2D 데이터)를 이용하여 3D 모델링을 구현한 예시이다. 제작된 환자별 3D 모델에 환자 주치의가 수기로 작성하여 이용하던 수술 정보(절개 부위 및 제거 위치, 절골라인 등 환자별 유의사항 및 수술 가이드라인)를 함께 표시해준다.
예컨대, 3D 모델링 수단(30)의 3D 보형물 모델링 모듈(31)은 상기 환자 데이터베이스(20)에 저장된 환자 2D 정보를 기초로 3D 모델링을 수행하여 환자 특성에 맞는 3D 보형물 모델링 정보를 생성한다. 여기서 3D 보형물 모델링 모듈(31)은 상기 환자 정보를 기초로 보형물의 크기 및 모양을 조절하여 환자 개인 맞춤형 보형물을 모델링하는 것이 바람직하다. 이렇게 3D 모델링된 환자 보형물 정보를 기초로 환자의 수술에 대하여 상담을 하고, 수술 결과에 대하여 상담을 하게 되면, 환자가 수술에 대하여 정확하게 이해함은 물론 수술 결과 등도 예측할 수 있어, 추후 수술 후 의료분쟁이 발생하는 것을 최소화할 수 있다.
아울러 환자 수술부위 3D 모델링 모듈(32)은 상기 환자 데이터베이스(20)에 저장된 환자 2D 정보를 기초로 3D 모델링을 수행하여 환자 수술부위의 3D 모델링 정보를 생성한다. 여기서 환자 수술부위 3D 모델링 모듈(32)은 환자 수술부위 3D 모델링 모듈 생성시 진료 정보를 기초로 수술 가이드 정보를 생성하여 상기 3D 모델링 정보에 부가하는 것이 바람직하다. 여기서 수술 가이드 정보는 수술지원 솔루션으로서, 화상 등 피부손상으로 인한 수술 시 화상의 깊이 등을 시뮬레이션하여 수술의 실패율을 낮추는 의료 정보로 제공될 수 있다. 일반적으로, 수술 부위가 두개골 수술이라면, 주치의는 수술 전 3D 프린팅한 수술환자의 두개골 모델에 절개선과 같은 수술정보들을 수기로 그리며, 수술을 준비를 한다. 실제 수술 시에는 천으로 가려져 있는 얼굴의 아랫부분의 파악이 어려우며 정확한 평행선을 긋는 것에도 한계가 있다. 본 발명은 3D 모델링 정보 생성 시 수술 가이드 정보를 상기 3D 모델링 정보에 부가하여 표시해줌으로써, 수술 시에 천의 얼굴 일부가 가려져 있어도, 환자 얼굴의 전체 부분을 정확하게 파악할 수 있으며, 수술 가이드 정보를 통해 수술 부위 및 수술 위치를 정확하게 인지할 수 있게 되는 것이다.
환자 보형물 3D 모델링과 환자 수술부위 3D 모델링이 완료되면, 3D 프린터(40)는 상기 3D 모델링 수단(30)에서 생성한 3D 보형물 모델링 정보를 기초로 3D 프린팅을 하여 환자 맞춤형 보형물을 제작한다. 기존에는 단순 3D CT 정보만을 활용하여 모델링 및 보형물을 제작하고 있어, 환자 수술 부위에 최적화된 맞춤형 보형물을 제작하는 것이 어려웠다, 본 발명은 환자별 3D 모델링 이미지를 활용함으로써, 환자의 체형, 수술 부위의 상태 등을 정확히 파악한 후 환자 개인 맞춤형으로 보형물을 정확히 제작할 수 있게 되는 것이다. 도 6은 3D화된 환자의 수술부위에서 보형물 제작되어야 하는 곳을 선택하여 3D 프린터를 이용해 보형물을 제작하는 과정의 예시이다.
도 4는 3D 모델링 기반 얼굴 재건 수술에 대한 3D 모델링 정보와 재건 보형물 제작 과정, 3D 안면 재건 수술 방법의 가이드 예시이다.
다음으로, 증강현실 콘텐츠 생성수단(50)은 상기 3D 모델링 수단(30)에서 생성한 수술부위 3D 모델링 정보를 기초로 증강현실(AR) 콘텐츠 제작 엔진을 이용하여 수술용 증강현실 콘텐츠를 생성한다. 여기서 3D 모델링 정보를 기초로 증강현실 콘텐츠 제작 엔진에서 증강현실 콘텐츠를 생성하는 기술은 AR 분야에 이미 널리 알려진 기술이므로, 본 발명에서 그에 대한 구체적인 설명은 생략하기로 한다.
이어, 디스플레이 장치(60)는 증강현실 콘텐츠 생성수단(50)에서 생성된 증강현실 콘텐츠를 디스플레이한다. 여기서 증강현실 콘텐츠를 디스플레이하는 방법으로서, LCD와 같은 디스플레이 장치를 이용하여 증강현실 수술 영상을 표출하는 방식, 홀로렌즈를 이용한 홀로그램으로 수술 영상을 디스플레이하는 방식, 기타 AR 장비를 이용하여 증강현실 영상을 표출하는 방식 등을 이용할 수 있다. 증강현실로 수술 부위 영상을 표출해줄 경우, 수술 가이드 정보가 함께 표출된다.
의료진은 수술을 하기 이전에, 도 3에 도시한 바와 같이, 증강현실 콘텐츠를 통해 수술 정보를 확인하고, 진단 및 진료를 할 수 있으며, 수술 가이드 정보 등을 확인하면서 수술을 진행함으로써, 수술 성공률을 높일 수 있게 된다.
한편, 본 발명의 다른 특징으로서, 수술 의사나 진료 의사는 제작된 보형물에 대한 결과 정보나 수술 결과 정보를 입력장치를 통해 입력한다. 이렇게 입력 장치를 통해 보형물의 피드백 정보나 수술 결과 정보가 입력되면, 피드백 정보 생성부(70)는 이를 피드백 정보로 생성하여 환자 정보 수집장치(10)에 전달한다.
상기 환자 정보 수집장치(10)는 입력되는 피드백 정보를 기초로 환자 데이터베이스(20)에 저장된 환자 정보를 갱신하여 추후 재수술이나 진료/상담시 이를 활용할 수 있도록 한다.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.
10: 환자 정보 수집장치
20: 환자 데이터베이스
30: 3D 모델링 수단
31: 3D 보형물 모델링 모듈
32: 환자 수술부위 3D 모델링 모듈
40: 3D 프린터
50: 증강현실 콘텐츠 생성수단
60: 디스플레이 장치
70: 피드백 정보 생성부

Claims (6)

  1. 증강현실을 이용하여 성형외과 진료 및 수술을 지원하기 위한 시스템으로서,
    환자 정보를 수집하여 환자 데이터베이스에 저장하는 환자 정보 수집장치;
    상기 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 보형물 모델링 정보와 수술 부위 3D 모델링 정보를 생성하는 3D 모델링 수단;
    상기 3D 모델링 수단에서 생성한 보형물 모델링 정보를 기초로 3D 프린팅을 하여 보형물을 제작하는 3D 프린터;
    상기 3D 모델링 수단에서 생성한 수술부위 3D 모델링 정보를 기초로 증강현실(AR) 콘텐츠 제작 엔진을 이용하여 증강현실 콘텐츠를 생성하는 증강현실 콘텐츠 생성수단; 및
    상기 증강현실 콘텐츠 생성수단에서 생성된 증강현실 콘텐츠를 디스플레이하는 디스플레이 장치를 포함하는 것을 특징으로 하는 증강현실을 이용한 성형외과 진료/수술 지원시스템.
  2. 청구항 1에서, 상기 환자 정보 수집장치는 환자 CT 영상, MRI 영상, X-RAY 영상, 진료 정보 및 검사 정보, 환자 보형물 피드백 정보, 환자 수술 피드백 정보 중 적어도 어느 하나 이상을 환자 정보로 수집하는 것을 특징으로 하는 증강현실을 이용한 성형외과 진료/수술 지원시스템.
  3. 청구항 1에서, 상기 3D 모델링 수단은 상기 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 3D 보형물 모델링 정보를 생성하는 3D 보형물 모델링 모듈; 상기 환자 데이터베이스에 저장된 환자 정보를 기초로 3D 모델링을 수행하여 환자 수술부위의 3D 모델링 정보를 생성하는 환자 수술부위 3D 모델링 모듈을 포함하는 것을 특징으로 하는 증강현실을 이용한 성형외과 진료/수술 지원시스템.
  4. 청구항 3에서, 상기 3D 보형물 모델링 모듈은 상기 환자 정보를 기초로 크기 및 모양을 조절하여 환자 개인 맞춤형 보형물을 모델링하는 것을 특징으로 하는 증강현실을 이용한 성형외과 진료/수술 지원시스템.
  5. 청구항 3에서, 상기 환자 수술부위 3D 모델링 모듈은 환자 수술부위 3D 모델링 모듈 생성시 진료 정보를 기초로 수술 가이드 정보를 생성하여 상기 3D 모델링 정보에 부가하는 것을 특징으로 하는 증강현실을 이용한 성형외과 진료/수술 지원시스템.
  6. 청구항 1에서, 입력된 수술 결과 정보 및 보형물 결과 정보를 기초로 피드백 정보를 생성하여 상기 환자 정보 수집 장치에 제공하는 피드백 정보 생성부를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 성형외과 진료/수술 지원시스템.







KR1020180030602A 2018-03-16 2018-03-16 증강현실을 이용한 성형외과 진료/수술 지원시스템 KR20190108923A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180030602A KR20190108923A (ko) 2018-03-16 2018-03-16 증강현실을 이용한 성형외과 진료/수술 지원시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180030602A KR20190108923A (ko) 2018-03-16 2018-03-16 증강현실을 이용한 성형외과 진료/수술 지원시스템

Publications (1)

Publication Number Publication Date
KR20190108923A true KR20190108923A (ko) 2019-09-25

Family

ID=68068026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180030602A KR20190108923A (ko) 2018-03-16 2018-03-16 증강현실을 이용한 성형외과 진료/수술 지원시스템

Country Status (1)

Country Link
KR (1) KR20190108923A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060085A1 (ko) 2018-09-21 2020-03-26 (주) 엘지화학 열가소성 수지 조성물, 이의 제조방법 및 이로부터 제조된 금속 도금성형품
KR102215367B1 (ko) 2020-07-29 2021-02-15 애니메디솔루션 주식회사 수술용 가이드를 제작하는 방법, 수술용 가이드 및 회복용 가이드
KR20210067010A (ko) 2019-11-28 2021-06-08 (주)다울디엔에스 Ar 글라스 및 딥러닝을 이용한 외과 수술용 영상·음성 인식 및 환자 정보 처리 유니티 플러그인
KR102273146B1 (ko) 2020-11-24 2021-07-05 애니메디솔루션 주식회사 수술용 보형물 제작 방법
KR20210156796A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법
KR102424229B1 (ko) 2021-07-29 2022-07-25 애니메디솔루션 주식회사 환자 의료 영상 데이터에 기초하여 설계되는 수술용 가이드를 제작하는 방법, 수술용 가이드 및 회복용 가이드

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101687821B1 (ko) 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법
KR20170030687A (ko) 2015-09-09 2017-03-20 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170030687A (ko) 2015-09-09 2017-03-20 울산대학교 산학협력단 의료영상을 사용하는 중재시술 가이드 방법 및 이를 위한 중재시술 시스템
KR101687821B1 (ko) 2016-09-22 2016-12-20 장원석 증강현실을 이용한 치과 수술 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020060085A1 (ko) 2018-09-21 2020-03-26 (주) 엘지화학 열가소성 수지 조성물, 이의 제조방법 및 이로부터 제조된 금속 도금성형품
KR20210067010A (ko) 2019-11-28 2021-06-08 (주)다울디엔에스 Ar 글라스 및 딥러닝을 이용한 외과 수술용 영상·음성 인식 및 환자 정보 처리 유니티 플러그인
KR20210156796A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터를 이용한 의료 시술 결과비교 서비스 제공 방법
KR102215367B1 (ko) 2020-07-29 2021-02-15 애니메디솔루션 주식회사 수술용 가이드를 제작하는 방법, 수술용 가이드 및 회복용 가이드
KR102273146B1 (ko) 2020-11-24 2021-07-05 애니메디솔루션 주식회사 수술용 보형물 제작 방법
WO2022114758A1 (ko) * 2020-11-24 2022-06-02 애니메디솔루션 주식회사 수술용 보형물 제작 방법
KR102424229B1 (ko) 2021-07-29 2022-07-25 애니메디솔루션 주식회사 환자 의료 영상 데이터에 기초하여 설계되는 수술용 가이드를 제작하는 방법, 수술용 가이드 및 회복용 가이드

Similar Documents

Publication Publication Date Title
KR20190108923A (ko) 증강현실을 이용한 성형외과 진료/수술 지원시스템
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
US20240033014A1 (en) Guidance for placement of surgical ports
CN106909771B (zh) 用于输出增强现实信息的方法和系统
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
JP6457262B2 (ja) 外科手術をシミュレーションする方法およびシステム
Birlo et al. Utility of optical see-through head mounted displays in augmented reality-assisted surgery: A systematic review
US5715836A (en) Method and apparatus for planning and monitoring a surgical operation
EP3498212A1 (en) A method for patient registration, calibration, and real-time augmented reality image display during surgery
EP4353177A2 (en) A graphical user interface for use in a surgical navigation system with a robot arm
US10070929B2 (en) Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
JP6643362B2 (ja) ロボット手術中に更新された患者画像を供給するための方法および装置
Navab et al. Laparoscopic virtual mirror new interaction paradigm for monitor based augmented reality
CN108629845B (zh) 手术导航装置、设备、系统和可读存储介质
US20210128251A1 (en) Medical-technical instrumentation and method
CN111770735B (zh) 手术仿真信息生成方法及程序
CN109907827A (zh) 一种下颌角截骨术的手术导航系统
Gsaxner et al. Augmented reality in oral and maxillofacial surgery
KR20160121740A (ko) 수술 관련 해부정보 제공 방법 및 장치
US20210137601A1 (en) Device and method for imaging during implantation of retina implants
Zhang et al. 3D augmented reality based orthopaedic interventions
Suthau et al. A concept work for Augmented Reality visualisation based on a medical application in liver surgery
CN110478042B (zh) 一种基于人工智能技术的介入手术导航装置
US12042234B2 (en) Tracking surgical pin
CN114795464A (zh) 术中增强现实方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application