KR20230150934A - 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템 - Google Patents

3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템 Download PDF

Info

Publication number
KR20230150934A
KR20230150934A KR1020230143121A KR20230143121A KR20230150934A KR 20230150934 A KR20230150934 A KR 20230150934A KR 1020230143121 A KR1020230143121 A KR 1020230143121A KR 20230143121 A KR20230143121 A KR 20230143121A KR 20230150934 A KR20230150934 A KR 20230150934A
Authority
KR
South Korea
Prior art keywords
surgical
data
image
information
patient
Prior art date
Application number
KR1020230143121A
Other languages
English (en)
Inventor
최준호
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020230143121A priority Critical patent/KR20230150934A/ko
Publication of KR20230150934A publication Critical patent/KR20230150934A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Robotics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Algebra (AREA)
  • Medicinal Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Chemical & Material Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)

Abstract

본 발명의 일 실시예에 따른 술기 교육 시스템은, 집도의의 환자를 대상으로 한 실제 술기 데이터를 수집하는 데이터 수집부; 상기 실제 술기 데이터를 기초로 술기 교육용 3D 수술 영상을 생성하는 영상 제공 서버; 및 상기 3D 수술 영상을 디스플레이하는 사용자 장치;를 포함하고, 상기 영상 제공 서버는, 상기 환자의 환자 정보를 기초로 환자 영상을 생성하는 환자 영상 생성부; 상기 실제 술기 데이터에 대하여 상기 집도의가 수행하는 수술 단계 별 실제 술기 데이터로 분류하는 수술 단계 분류부; 및 상기 환자 영상, 및 상기 실제 술기 데이터로부터 검출한 특징 정보를 이용하여 3D 수술 영상을 생성하는 3D 영상 생성부;를 포함한다.

Description

3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템{SYSTEM FOR PROVIDING EDUCATIONAL INFORMATION OF SURGICAL TECHNIQUES AND SKILLS AND SURGICAL GUIDE SYSTEM BASED ON MACHINE LEARNING USING 3 DIMENSIONAL IMAGE}
본 발명은 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템에 관한 것이다.
외과 수술은 고난이도 기술이 요구되므로 수술 과정은 축적된 노하우와 집도의의 숙련된 기술에의 의존도가 높다. 따라서, 외과 숙련의들의 수술 노하우를 전달하여 교육할 수 있는 술기 교육, 시뮬레이션, 가이드 시스템이 요구된다.
기존의 술기 교육 시스템은 환자를 대상으로 수술을 시행하는 집도의 주변의 수술 현장에서만 시행되어, 정확한 술기 정보를 제공받을 수 있는 교육생의 숫자나 시야가 제한되는 등 도제식 교육의 시간적, 공간적 한계가 있어왔다.
한편, 다양한 외과 질환 별 환자에 대하여 집도의들마다의 술기가 다양하므로, 다양한 케이스에 대한 수술 성공률, 안전성 확보에도 한계가 있어왔다. 이러한 수술 성공률, 안전성을 극대화하기 위해서는 수술 부위에 대한 직접적인 수술 동작뿐만 아니라 전후의 준비, 마무리 단계를 통합한 수술 전(全) 과정에 대한 교육, 시뮬레이션 시스템이 요구되고 있다.
또한, 기존에는 집도의의 수술 영상 정보를 그대로 술기 교육에 활용하여 다양한 술기에 대한 정확하고 객관적인 평가 및 검증이 된 교육을 제공하기 어려운 한계점이 있었다.
본 발명의 실시예들은 집도의의 수술 전 과정에 대한 수술 영상을 기초로 생성한 3차원 영상을 활용함으로써 도제식 교육의 한계 및 시간, 공간적 제약을 극복할 수 있는 술기 교육/시뮬레이션 시스템을 제공하고자 한다.
또한 본 발명의 실시예들은, 복수의 집도의들의 수술 영상을 카테고라이징한 학습 모델을 구축함으로써 사용자 요청에 따른 다양한 수술 환경에 대한 AI 기반의 수술 가이드 시스템을 제공하고자 한다.
본 발명의 일 실시예에 따른 술기 교육 시스템은, 집도의의 환자를 대상으로 한 실제 술기 데이터를 수집하는 데이터 수집부; 상기 실제 술기 데이터를 기초로 술기 교육용 3D 수술 영상을 생성하는 영상 제공 서버; 및 상기 3D 수술 영상을 디스플레이하는 사용자 장치;를 포함하고, 상기 영상 제공 서버는, 상기 환자의 환자 정보를 기초로 환자 영상을 생성하는 환자 영상 생성부; 상기 실제 술기 데이터에 대하여 상기 집도의가 수행하는 수술 단계 별 실제 술기 데이터로 분류하는 수술 단계 분류부; 및 상기 환자 영상, 및 상기 실제 술기 데이터로부터 검출한 특징 정보를 이용하여 3D 수술 영상을 생성하는 3D 영상 생성부;를 포함한다.
상기 수술 단계 별 실제 술기 데이터는 준비 단계에서 수행되는 제1 술기 데이터, 상기 준비 단계 이후의 중간 단계에서 수행되는 제2 술기 데이터 및 상기 중간 단계 이후의 마무리 단계에서 수행되는 제3 술기 데이터를 포함하고, 상기 수술 단계 분류부는, 상기 집도의의 제1 수술 동작 정보에 따라 상기 제1 술기 데이터, 상기 제2 술기 데이터 및 상기 제3 술기 데이터를 분류할 수 있다.
상기 영상 제공 서버는, 상기 제1 술기 데이터, 상기 제2 술기 데이터 및 상기 제3 술기 데이터 각각에 대하여 상기 특징 정보를 검출하는 특징정보 검출부; 및 상기 특징 정보를 기초로 영상신호를 생성하는 영상신호 생성부;를 더 포함하고, 상기 3D 영상 생성부는 상기 환자 영상에 대하여 상기 영상신호를 합성하여 상기 3D 수술 영상을 생성하되, 상기 3D 수술 영상은 상기 제1 술기 데이터를 기초로 생성된 제1 수술 영상, 상기 제2 술기 데이터를 기초로 생성된 제2 수술 영상 및 상기 제3 술기 데이터를 기초로 생성된 제3 수술 영상을 포함할 수 있다.
상기 제1 술기 데이터는, 수술 도구 정보, 환자 자세 정보 및 수술보조 도구 정보를 포함하고, 상기 제2 술기 데이터는, 수술 경로 정보 및 수술 동작 정보를 포함하고, 상기 제3 술기 데이터는, 봉합 경로 정보, 봉합 방법 정보, 인체 내에 상기 수술 도구 또는 상기 수술보조 도구가 잔여하는지 여부를 나타내는 잔여 정보를 포함하는, 술기 교육 시스템.
상기 데이터 수집부는 상기 집도의에 착용되어 상기 실제 술기 데이터를 획득하는 데이터 수집 장치를 포함하고, 상기 데이터 수집 장치는, 센서를 이용하여 상기 실제 술기 데이터의 촉각적(tactile) 정보를 획득하는 감지부 및 광학 요소를 이용하여 상기 실제 술기 데이터의 시각적 정보를 획득하는 촬영부를 포함할 수 있다.
상기 사용자 장치는, 상기 3D 수술 영상을 수신하는 통신부; 상기 환자 정보 또는 상기 수술 단계를 선택하는 사용자 요청을 입력 받는 인터페이스부; 및 상기 3D 수술 영상을 디스플레이하는 표시부;를 포함하고, 상기 환자 정보는 상기 환자의 질환 종류, 성별, 나이, 신장, 체중, BMI, 투병 기간, 기저 질환 여부를 포함할 수 있다.
본 발명의 일 실시예에 따른 머신 러닝 기반의 수술 가이드 시스템은, 복수의 집도의의 환자를 대상으로 한 복수의 실제 술기 데이터를 수집하는 데이터 수집부; 상기 실제 술기 데이터를 기초로 학습되는 학습 모델 및 상기 학습 모델에 의해 출력되는 선택 영상을 기초로 3D 수술 영상을 생성하는 3D 영상 생성부를 포함하는 영상 제공 서버; 및 상기 3D 수술 영상을 디스플레이하는 사용자 장치;를 포함하고, 상기 학습 모델은, 환자 정보 및 수술 단계 정보를 포함하는 수술항목 정보에 따라 상기 복수의 실제 술기 데이터를 분류하고, 수술 조건을 선택하는 사용자 입력에 따른 상기 선택 영상을 출력한다.
상기 학습 모델은, 상기 복수의 실제 술기 데이터를 환자 정보 인식부, 수술 도구 인식부, 수술 단계 분류부, 동작 정보 검출부 및 성공률 평가부를 이용하여 카테고라이징할 수 있다.
상기 복수의 실제 술기 데이터는 준비 단계에서 수행되는 제1 술기 데이터, 상기 준비 단계 이후의 중간 단계에서 수행되는 제2 술기 데이터 및 상기 중간 단계 이후의 마무리 단계에서 수행되는 제3 술기 데이터를 포함하고, 상기 학습 모델의 수술 단계 분류부는, 상기 집도의의 제1 수술 동작 정보에 따라 상기 제1 술기 데이터, 상기 제2 술기 데이터 및 상기 제3 술기 데이터를 분류할 수 있다.
상기 영상 제공 서버는, 상기 선택 영상이 포함하는 술기 데이터에 대한 특징 정보를 검출하는 특징 정보 검출부; 및 상기 특징 정보에 대응하는 영상 신호를 생성하는 영상신호 생성부;를 더 포함할 수 있다.
상기 3D 영상 생성부는 상기 선택 영상에 대하여 상기 영상신호를 합성하여 상기 3D 수술 영상을 생성하되, 상기 3D 수술 영상은 상기 제1 술기 데이터를 기초로 생성된 제1 수술 영상, 상기 제2 술기 데이터를 기초로 생성된 제2 수술 영상 및 상기 제3 술기 데이터를 기초로 생성된 제3 수술 영상을 포함할 수 있다.
상기 성공률 평가부는, 상기 복수의 실제 술기 데이터에 대하여 수술 성공률을 검출하여, 수술 성공 데이터 및 수술 실패 데이터로 분류할 수 있다.
본 발명의 실시예들에 따르면, 집도의의 수술 전 과정에 대한 실제 술기 데이터를 기초로 생성한 3차원 영상을 활용한 술기 교육/시뮬레이션 시스템을 통해 도제식 교육의 한계 및 시간, 공간적 제약을 극복할 수 있다.
또한, 복수의 집도의들의 수술 영상을 카테고라이징한 학습 모델을 구축함으로써 사용자 요청에 따른 다양한 수술 환경에 대한 AI 기반의 수술 가이드 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 술기 교육 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 데이터 수집부의 구성을 개략적으로 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 제공 서버의 제어부의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 술기 교육 시스템의 동작을 설명하기 위한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 머신 러닝 기반의 수술 가이드 시스템의 일 구성을 개략적으로 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 학습 모델의 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 수술 가이드 시스템의 동작을 설명하기 위한 순서도이다.
도 8은 본 발명의 일 실시예에 따른 수술 가이드 시스템에 의해 출력되는 3D 수술 영상의 예시도이다.
도 9는 본 발명의 일 실시예에 따른 데이터 수집 장치를 도시한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 형태는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 술기 교육 시스템의 구성을 개략적으로 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 데이터 수집부의 구성을 개략적으로 도시한 도면이다.
술기 교육 시스템은 데이터 수집부(100), 영상 제공 서버(200) 및 사용자 장치(300)를 포함하고, 데이터 수집부(100), 영상 제공 서버(200) 및 사용자 장치(300)는 통신망(400)을 통해 서로 통신할 수 있다.
데이터 수집부(100), 영상 제공 서버(200) 및 사용자 장치(300) 각각은 통신부(131, 210, 310), 제어부(132, 220, 320) 및 메모리(133, 230, 330)를 포함할 수 있다. 통신부(131, 210, 310)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치, 서버와 통신할 수 있다. 본 발명의 통신부(131, 210, 310)는 통신망(400)에 의해 연결되어 서로 데이터를 주고 받을 수 있다. 여기서 통신망(400)은 무선 통신망일 수 있고, 일 예로 초고속 저지연성 특성을 가지는 5G 통신망일 수 있으나, 반드시 이에 한정되지는 않는다.
제어부(132, 220, 320)는 메모리(133, 230, 330)에 저장된 각종 프로그램, 데이터를 이용하여 각 메모리(133, 230, 330)를 구비하는 장치 또는 서버(100, 200, 300)를 전반적으로 제어하는 동작을 수행할 수 있다. 제어부(132, 220, 320)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 상기 프로세서는 마이크로프로세서(Microprocessor), 중앙처리장치(Central Processing Unit: CPU), 프로세서 코어(Processor Core), 멀티프로세서(Multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 등의 처리 장치를 포함할 수 있으나, 이에 한정되지 않는다.
메모리(133, 230, 330)는 각 메모리를 구비하는 각 장치 또는 서버(100, 200, 300)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 메모리(133, 230, 330)는 RAM(Random Access Memory), ROM(Read Only Memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(Permanent Mass Storage Device)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
영상 제공 서버(200)의 메모리(230)는 3D 수술 영상 생성에 필요한 모든 데이터들을 저장할 수 있다. 일 예로 메모리(230)는 환자 정보를 저장하는 환자 정보 저장부(미도시) 및 수술 종류마다 사용되는 수술 도구 정보를 저장하는 수술도구 정보 저장부(미도시)를 포함할 수 있다. 사용자 장치(300)의 메모리(330) 또한 환자 정보 및 수술도구 정보를 저장할 수 있다.
도 2를 함께 참고하면, 데이터 수집부(100)는 집도의(120)의 환자(110)를 대상으로 한 '실제 술기 데이터'를 수집하는 것으로서, 환자(110), 집도의(120) 및 데이터 수집 장치(130)를 포함할 수 있다. 상기 '실제 술기 데이터'란 집도의(120)가 환자(110)에 대하여 실제로 수행하는 수술 동작에 관한 다양한 데이터를 포함하는 것으로서, 실제 수행되는 수술 영상, 수술 경로, 수술 도구, 수술 부위, 수술 부위의 상태(손상도, 전이도, 색깔 등), 수술 동작의 강도나 깊이 등에 관한 다양한 술기 정보를 포함할 수 있다.
도 2에서는 한 명의 환자(110) 및 한 명의 집도의(120)로 도시하였으나, 데이터 수집부(100)에 의해 수집되는 실제 술기 데이터는 복수의 집도의(120)가 서로 다른 환자(110)에 대하여 수행하는 수술로부터 수집될 수도 있다. 이에 관하여는 후술하는 도 5 내지 도 7의 실시예에서 더 상세히 설명한다.
상기 데이터 수집 장치(130)는 집도의(120)에 착용되어 실제 술기 데이터를 획득하는 것으로서, 집도의(120)가 착용하기 용이한 형태의 웨어러블(wearable) 수집 장치일 수 있다. 데이터 수집 장치(130)는 전술한 통신부(131), 메모리(133) 및 데이터 획득부(132)를 포함할 수 있고, 데이터 획득부(132)는 감지부(132-1) 및 촬영부(132-2)를 포함할 수 있다.
감지부(132-1)는 센서를 이용하여 실제 술기 데이터의 촉각적(tactile) 정보를 획득할 수 있다. 감지부(132-1)는 센서가 구비된 수술용 장갑일 수 있다. 상기 센서는 집도의(120)에 의한 실제 술기 데이터의 촉각적(tactile) 정보를 획득하기 용이한 다양한 센서를 포함할 수 있다. 센서는 집도의(120)의 손 또는 손가락의 움직임을 측정하고, 상기 서로 다른 움직임에 대응하는 신호를 출력할 수 있다. 일 예로, 센서는 압력 센서, 관성 측정 센서(Inertial Measurement Unit; IMU)를 포함할 수 있다. 압력 센서는 집도의(120)의 손 동작의 접촉 정보, 강도 정보를 측정하고, 관성 측정 센서(IMU)는 자이로 센서(Gyroscope), 가속도 센서(Accelerometer) 및 지자기 센서(Magnetic Field Sensor)를 포함하여 상기 손 동작의 회전 정보 또는 속도 정보를 측정함으로써, 수술 동작의 3차원적인 정보를 파악할 수 있다.
일 예로, 자이로 센서(미도시), 가속도 센서(미도시) 및 지자기 센서(미도시) 중 적어도 하나는 3축 센서일 수 있다. 자이로 센서는 집도의(120)의 손 동작의 각속도를 이용한 회전 관성 및/또는 회전율(단위의 일 예로 deg/sec)을, 가속도 센서는 집도의(120)의 손 동작의 가속도를 이용한 집도의(120)의 손의 이동 관성(단위의 일 예로 g(1 g=9.8 m/s2))을, 지자기 센서는 집도의(120)의 손 동작의 방위각을 측정할 수 있다.
센서의 종류는 전술한 바에 한정되지 않으며, 집도의(120)의 수술 동작의 위치, 회전, 이동 정보 등 3차원적인 정보를 파악하기 용이하도록 다양한 조합을 포함할 수 있다. 센서의 위치 또한 본 발명을 한정하지 않는다.
촬영부(132-2)는 광학 요소를 이용하여 실제 술기 데이터의 시각적 정보를 획득할 수 있다. 촬영부(132-2)는 집도의(120)에 착용이 용이한 웨어러블 기기일 수 있고 일 예로, 집도의의(120)의 두부에 착용 가능한 HMD(head mounted display)일 수 있다. 촬영부(132-2)는 카메라 및 다양한 센서들을 포함하여 실제 술기 데이터의 수술 영상을 촬영할 때 깊이감 있는 실제 술기 데이터를 획득할 수 있다. HMD는 양안시로 구비되어 상기 실제 술기 데이터를 기반으로 한 3D 수술 영상을 입체감, 깊이감 있게 제공받을 수 있다. 상기 3D 수술 영상은 가상 현실(VR), 증강 현실(AR) 및 혼합 현실(MR) 영상일 수 있다.
또한, 촬영부(132-2)는 음성 인식부(미도시)를 더 포함하여 집도의(120)의 수술 영상을 촬영하는 시점, 각도 등에 관한 음성 명령을 인식하여 촬영 동작을 수행할 수 있다.
도 2에서는 통신부(131)를 감지부(132-1), 촬영부(132-2)와 별개의 구성으로 도시하였으나, 통신부(131)는 감지부(132-1) 및 촬영부(132-2) 각각에 별개의 구성으로 포함되는 것일 수 있다.
다시 도 1을 참고하면, 영상 제공 서버(200)는 실제 술기 데이터를 기초로 술기 교육용 3D 수술 영상을 생성하는 것으로서, 이하 도 3을 함께 참고하여 설명한다. 도 3은 본 발명의 일 실시예에 따른 영상 제공 서버(200)의 제어부(220)의 구성을 도시한 도면이다.
영상 제공 서버(200)의 제어부(220)는, 환자 영상 생성부(221), 수술 단계 분류부(222), 특징 정보 검출부(223), 영상신호 생성부(224) 및 3D 영상 생성부(225)를 포함할 수 있다.
환자 영상 생성부(221)는 환자(110)의 환자 정보를 기초로 환자 영상을 생성할 수 있다. 상기 환자 영상은 촬영부(132-2)를 통해 촬영된 실제 환자 영상일 수도 있고, 상기 환자 정보를 기초로 환자 영상 생성부(221)에 의해 재생성된 VR 영상일 수도 있다.
수술 단계 분류부(222)는 실제 술기 데이터를 집도의(120)가 수행하는 수술 단계 별로 분류할 수 있다. 상기 '수술 단계 별 실제 술기 데이터'는 수술 준비 단계에서 수행되는 제1 술기 데이터, 상기 수술 준비 단계 이후의 수술 중간 단계에서 수행되는 제2 술기 데이터 및 상기 수술 중간 단계 이후의 수술 마무리 단계에서 수행되는 제3 술기 데이터를 포함한다.
제1 술기 데이터는, 본격적인 수술 중간 단계가 수행되기 전 수술 준비 단계에서 필요한 모든 데이터를 포함할 수 있다. 일 예로, 제1 술기 데이터는 수술 도구 정보, 환자 자세 정보, 수술 보조도구 및 수술 분위기 정보를 포함할 수 있다. 수술 도구 정보의 수술 도구는 외과 수술에 필요한 다양한 수술 도구일 수 있으며, 일 예로 복강경수술 시 필요한 복강경 시스템, 디섹터(dissector), 리트렉터(retractor) 및 그래스퍼(grasper) 등을 포함할 수 있으나, 이에 한정되지 않는다. 환자 자세 정보는 수술 종류마다 성공률을 최대화할 수 있는 환자 자세에 관한 정보로서, 신체 각 부분의 각도, 배치 자세를 포함할 수 있다. 수술 보조도구 정보는 수술 소독포, 방포 등의 배치에 관한 정보를 포함할 수 있다. 수술 분위기 정보는 수술실의 조도, 밝기, 온도 등을 포함할 수 있다.
제2 술기 데이터는, 본격적인 수술 동작이 수행되는 수술 중간 단계에서 획득되는 모든 데이터를 포함할 수 있다. 일 예로, 제2 술기 데이터는 수술 경로 정보 및 수술 동작 정보를 포함할 수 있다. 가령, 수술 동작이 '절개'일 경우 수술 경로 정보는 절개 위치 정보 및 이에 따른 절개 경로 정보를 포함할 수 있고, 수술 동작 정보는 절개 깊이, 각도, 강도 정보를 포함할 수 있다.
제3 술기 데이터는, 수술 마무리 단계에서 획득되는 모든 데이터를 포함할 수 있다. 일 예로, 제3 술기 데이터는 봉합 경로 정보, 봉합 방법 정보, 인체 내에 전술한 수술 도구 또는 수술보조 도구가 잔여하는지 여부를 나타내는 잔여 정보를 포함할 수 있다.
수술 단계 분류부(222)는, 집도의(120)의 제1 수술 동작 정보에 관하여 미리 설정된 기준에 따라 상기 제1, 제2 및 제3 술기 데이터를 분류할 수 있다. 상기 제1 수술 동작 정보는 실제 술기 데이터를 분류하는 기준으로서, 수술 경로의 범위, 수술 동작의 속도 등을 포함할 수 있다. 일 예로, 수술 경로의 범위가 특정 범위를 초과할 경우 제1 술기 데이터로 분류되고, 상기 특정 범위 이하일 경우 제2 술기 데이터로 분류될 수 있다.
특징 정보 검출부(223)는 전술한 수술 단계 분류부(222)로부터 분류된 제1, 제2 및 제3 술기 데이터 각각에 대하여 수술 동작에 관한 특징 정보를 검출할 수 있다. 특징 정보는 수술 경로, 수술 도구, 수술 부위, 수술 부위의 상태(손상도, 전이도, 색깔 등), 수술 동작의 강도나 깊이 등에 관한 다양한 수술 정보를 포함할 수 있다.
영상 신호 생성부(224)는 상기 특징 정보를 기초로 영상 신호를 생성할 수 있다. 상기 영상 신호는 환자 영상에 합성하여 가상 현실(VR), 증강 현실(AR) 또는 혼합 현실(MR)을 구현할 수 있는 다양한 형태의 영상 신호일 수 있고, 일 예로 사용자 인터페이스(UI), 팝업 영상 등의 형태로 구현될 수 있다.
3D 영상 생성부(225)는 환자 영상과 실제 술기 데이터로부터 검출한 특징 정보를 이용하여 3D 수술 영상을 생성할 수 있다. 3D 영상 생성부(225)는 환자 영상에 대하여 영상 신호를 합성하여 3D 수술 영상을 생성하되, 상기 3D 수술 영상은 제1 술기 데이터를 기초로 생성된 제1 수술 영상, 제2 술기 데이터를 기초로 생성된 제2 수술 영상 및 제3 술기 데이터를 기초로 생성된 제3 수술 영상을 포함할 수 있다. 다시 말해, 제1 수술 영상은 환자 영상에 제1 술기 데이터를 기초로 생성된 영상 신호가 합성된 영상이고, 제2 수술 영상은 환자 영상에 제2 술기 데이터를 기초로 생성된 영상 신호가 합성된 영상이고, 제3 수술 영상은 환자 영상에 제3 술기 데이터를 기초로 생성된 영상 신호가 합성된 영상일 수 있다.
다시 도 1을 참조하면, 사용자 장치(300)는 상기 영상 제공 서버(200)에 의해 생성된 3D 수술 영상을 디스플레이할 수 있다.
더 구체적으로, 사용자 장치(300)는 전술한 통신부(310), 제어부(320), 메모리(330)를 포함하고, 통신부(310)는 상기 3D 수술 영상 데이터를 수신할 수 있다. 사용자 장치(300)는 표시부(340) 및 인터페이스부(350)를 포함할 수 있다.
표시부(340)는 3D 수술 영상을 디스플레이하여 사용자에게 3D 영상을 활용한 술기 교육을 제공할 수 있다.
인터페이스부(350)는 환자 정보 또는 수술 단계를 선택하는 사용자 요청을 입력 받을 수 있고, 통신부(310)는 인터페이스부(350)를 통해 입력받은 사용자 요청을 영상 제공 서버(200)로 전달할 수 있다. 상기 환자 정보는 상기 환자의 질환 종류, 성별, 나이, 신장, 체중, BMI(Body Mass Index; 체질량지수), 투병 기간 및 기저 질환 여부를 포함할 수 있다.
사용자 장치(300)는 사용자가 3D 수술 영상을 통해 교육 서비스를 제공받는 다양한 기기일 수 있다. 일 예로, 데이터 수집부(100) 및 영상 제공 서버(200)와 데이터를 상호 교환할 수 있는(또는 연동 가능한) 웨어러블 기기로서, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD일 수 있다. 또는 스마트폰, 태블릿 PC 등의 모바일 기기일 수도 있으며, 이에 한정되지 않는다. 실시예에 따라서, 사용자 장치(300)는 수술 시뮬레이션 서비스가 제공되도록 집도의(120)가 착용하는 데이터 수집 장치(130)일 수도 있고, 여기서 3D 수술 영상은 데이터 수집 장치(130)의 영상 시현부(134)(도 9 참고)에 디스플레이될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 술기 교육 시스템의 동작을 설명하기 위한 순서도이다.
데이터 수집부(100)는 영상 제공 서버(200)로 실제 술기 데이터를 획득하여 전송할 수 있다(S110). 영상 제공 서버(200)는 데이터 수집부(100)로부터 수신한 실제 술기 데이터를 기초로 술기 교육용 3D 수술 영상을 생성할 수 있다(S120). 여기서 3D 수술 영상은 수술 준비, 중간 및 마무리 단계의 수술 전(全) 단계에 대한 수술 영상을 포함함으로써, 수술 본 단계뿐만 아니라 그 전후의 수술 제반 과정에 대한 술기 정보를 제공받을 수 있고 이에 따라 수술 성공률 및 안정성을 높일 수 있다.
사용자 장치(300)는 수술 종류, 환자 정보 또는 수술 단계를 선택하는 사용자 요청을 입력 받아 영상 제공 서버(200)로 전송할 수 있다(S130). 영상 제공 서버(200)는 전술한 사용자 요청에 따른 3D 수술 영상을 출력하여 사용자 장치(300)로 다시 전송할 수 있다(S140). 사용자 장치(300)는 상기 사용자 요청에 따른 3D 수술 영상을 디스플레이하여 술기 교육/시뮬레이션 서비스를 제공할 수 있다.
이와 같이 본 발명의 실시예들에 따르면, 집도의(120)의 수술 전 과정에 대한 실제 술기 데이터를 기초로 생성한 3차원 영상을 활용하여 술기 교육/시뮬레이션 시스템을 제공할 수 있고, 이를 통해 도제식 교육의 한계 및 시간, 공간적 제약을 극복할 수 있다.
도 5는 본 발명의 일 실시예에 따른 머신 러닝 기반의 수술 가이드 시스템의 일 구성을 개략적으로 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 학습 모델의 동작을 설명하기 위한 도면이다. 이하, 전술한 실시예에서와 중복되는 내용은 설명을 간략히 하거나 생략할 수 있고, 도 1 내지 도 3을 함께 참고하되 전술한 실시예와 구별되는 특징을 중심으로 설명한다.
머신 러닝 기반의 수술 가이드 시스템은 도 1에 도시된 바와 같이, 데이터 수집부(100), 영상 제공 서버(200) 및 사용자 장치(300)를 포함할 수 있다. 데이터 수집부(100)는 복수의 집도의(120)의 환자(110)를 대상으로 한 실제 술기 데이터를 수집할 수 있다. 다시 말해, 한 명의 집도의(120)와 한 명의 환자(110)를 하나의 그룹이라고 할 때, 데이터 수집부(100)는 여러 그룹의 실제 술기 데이터를 수집할 수 있다.
영상 제공 서버(200)는 도 5의 실시예에 따른 제어부(220')를 포함할 수 있다. 제어부(220')는 학습 모델(220M), 특징 정보 검출부(223), 영상 신호 생성부(224) 및 3D 영상 생성부(225)를 포함할 수 있고, 특징 정보 검출부(223), 영상 신호 생성부(224) 및 3D 영상 생성부(225)는 도 3에서 전술한 내용과 동일한 내용이 적용될 수 있다.
학습 모델(220M)은 실제 술기 데이터를 기초로 학습되되, 환자 정보 및 수술 단계 정보를 포함하는 다양한 수술항목 정보에 따라 복수의 실제 술기 데이터를 분류할 수 있다. 또한, 학습 모델(220M)은 수술 조건을 선택하는 사용자 입력에 따른 선택 영상을 출력할 수 있다.
더 구체적으로 도 6을 함께 참고하면, 학습 모델(220M)의 인공 신경망(NN)은 입력 데이터(ID)로써 복수의 집도의(D1, D2, ..., Dn)(n은 1보다 큰 자연수)의 복수의 환자를 대상으로 한 복수의 실제 술기 데이터가 입력되고, 이를 기초로 학습될 수 있다. 가령, 제1 집도의(D1)가 서로 다른 m 명의 환자, 또는 m 번(m은 1보다 큰 자연수)의 수술을 수행하였을 경우 획득되는 실제 술기 데이터를 S1, S2, ..., Sm이라 할 수 있다. 마찬가지로 입력 데이터(ID)는 다른 집도의(D2, ..., Dn)에 의해 수행되는 복수의 실제 술기 데이터를 포함할 수 있다.
이때, 인공 신경망(NN)은 복수의 집도의(D1, D2, ..., Dn)가 수행하는 수술 종류를 미리 구분한 후에 학습될 수도 있고, 다양한 종류의 수술의 술기 데이터를 한꺼번에 입력 받아 수술 종류 또한 카테고라이징하여 학습될 수도 있다.
인공 신경망(NN)은 미리 설정된 다양한 수술항목 기준에 따라 입력 데이터(ID)들을 카테고라이징하여 복수의 집도의(120)들의 노하우가 집약된 양질의 외과 술기 데이터베이스를 구축할 수 있다. 이와 같이 학습된 인공 신경망(NN)은 다양한 수술 조건을 선택하는 사용자 입력(Q)에 따른 선택 영상(OD)을 출력할 수 있다.
입력 데이터(ID)는 인공 신경망(NN)에 미리 설정된 환자 정보 인식부(N1), 수술 도구 인식부(N2), 수술 단계 분류부(N3), 동작 정보 검출부(N4) 및 성공률 평가부(N5)에 의해 카테고라이징될 수 있다. 환자 정보 인식부(N1)는 입력 데이터(ID)의 환자 정보를 검출하여 분류하고, 수술 도구 인식부(N2)는 입력 데이터(ID)의 수술 도구 정보를 검출하여 분류할 수 있다.
수술 단계 분류부(N3)는 입력 데이터(ID)의 수술 단계(전술한 수술 준비/중간/마무리 단계에서 선택되는 어느 한 단계) 정보를 검출하여 분류할 수 있다. 더 구체적으로는, 복수의 실제 술기 데이터를 수술 준비 단계에서 수행되는 제1 술기 데이터, 상기 수술 준비 단계 이후의 수술 중간 단계에서 수행되는 제2 술기 데이터 및 상기 수술 중간 단계 이후의 수술 마무리 단계에서 수행되는 제3 술기 데이터로 분류할 수 있다. 다시 말해, 학습 모델(220M)의 수술 단계 분류부(N3)에 의해 대용량의 입력 데이터(ID)가 각 수술 단계 별로 분류될 수 있다.
동작 정보 검출부(N4)는 상기 수술 단계 분류부(N3)에 의해 분류된 수술 단계 별 술기 데이터에 대하여 각 수술 동작에 관한 정보를 검출하여 분류할 수 있다.
성공률 평가부(N5)는 미리 정해진 규칙에 따라 입력 데이터(ID)의 수술 성공률을 검출하고, 수술 성공 데이터 및 수술 실패 데이터로 분류할 수 있다. 가령, 복수의 실제 술기 데이터 각각에 대하여 환자의 수술 전후의 질환의 차도를 평가할 수 있는 특정 수치를 지정하여 측정 및 비교하여, 상기 특정 수치의 전후 차이에 따라 가중치를 두어 수술 성공 또는 실패 여부를 판단하여 분류할 수 있다.
사용자 입력(Q)은 환자 정보, 수술 종류, 수술 도구, 수술 단계 등의 다양한 수술 조건에 대하여 사용자가 가이드를 제공받고자 하는 항목에 대한 선택을 나타낼 수 있다. 수술 종류의 예시로서, 복강경 충수돌기 절제술, 갑상선 수술, 유방암 수술, 급성 충수돌기, 급성 담낭염, 항문 주변 질환, 탈장 수술을 선택할 수 있으며, 이에 한정되지 않고 다양한 외과술에 대해 적용될 수 있다. 학습 모델(220M)은 전술한 바에 따라 학습된 인공 신경망(NN)을 이용하여 상기 사용자 입력(Q)에 따른 수술 조건에 대응하는 선택 영상(OD)를 출력할 수 있다.
다시 도 5를 참조하면, 특징 정보 검출부(223)는 학습 모델(220M)에 의해 출력되는 선택 영상(OD)이 포함하는 술기 데이터에 대한 특징 정보를 검출할 수 있다. 영상 신호 생성부(224)는 상기 특징 정보에 대응하는 영상 신호를 생성할 수 있다. 3D 영상 생성부(225)는 선택 영상(OD)을 기초로 3D 수술 영상을 생성하되, 선택 영상(3D)에 대하여 상기 영상 신호를 합성하여 3D 수술 영상을 생성할 수 있다.
도 7은 본 발명의 일 실시예에 따른 수술 가이드 시스템의 동작을 설명하기 위한 순서도이다.
복수의 집도의의 환자를 대상으로 한 실제 술기 데이터를 수집할 수 있다(S210). 이후, 상기 실제 술기 데이터에 대하여 수술항목 정보에 따라 분류하여 학습시킨 학습 모델을 학습, 생성할 수 있다(S220). 수술 조건을 선택하는 사용자 입력을 획득할 수 있다(S230). 이후, 학습 모델을 이용하여 상기 사용자 입력에 따른 선택 영상을 출력할 수 있고(S240), 선택 영상에 대응하는 영상 신호를 생성할 수 있다(S250). 이후, 선택 영상 및 이에 대응하는 영상 신호를 합성하여 3D 수술 가이드 영상을 생성하고 디스플레이할 수 있다(S260). 3D 수술 가이드 영상은 전술한 '3D 수술 영상'에 대응되는 개념이나, 학습 모델(220M)을 이용하여 생성되는 머신 러닝 기반의 영상인 점에서 다를 수 있다. 출력되는 3D 수술 가이드 영상에 관하여는 후술하는 도 8 및 도 9에서 더 구체적으로 살펴본다.
이와 같이 본 발명의 실시예들에 따르면, 복수의 집도의(120)의 노하우가 집약된 대량의 실제 술기 데이터를 다양한 수술항목 정보에 따라 카테고라이징한 학습 모델을 구축함으로써, 사용자 요청에 따른 다양한 수술 조건에 대한 AI 기반의 수술 가이드 시스템을 제공할 수 있다.
또한, 본 발명의 실시예들에 따른 머신 러닝 기반의 수술 가이드 시스템에 의하면, 복수의 집도의의 실제 술기 데이터를 기반으로 기계 학습된 학습 모델에 의해 정확도 및 신뢰성이 향상된 수술 시뮬레이션/가이드 서비스가 제공될 수 있다.
도 8은 본 발명의 일 실시예에 따른 수술 가이드 시스템에 의해 출력되는 3D 수술 영상(30)의 예시도이다.
3D 수술 영상(30)은 메인 영상부(31), 비교 영상부(32) 및 복수의 UI들(A1, A2, A3)을 표시할 수 있다. 메인 영상부(31)는 각 수술 단계 별 제1 영상, 제2 영상 및 제3 영상에 대한 3D 수술 가이드 영상이 재생될 수 있다. 비교 영상부(32)에는 사용자 요청에 따른 수술 조건과 유사한 케이스의 수술 가이드 영상이 재생될 수 있다. 비교 영상부(32)는 팝업 창의 형태로 디스플레이될 수 있다.
제1 UI(A1)는 환자 정보 표시부로서, 전술한 다양한 환자 정보를 표시할 수 있다. 제2 UI(A2)는 수술 도구/동작 정보 표시부로서, 메인 영상부(31)에 제1 영상에 대한 3D 수술 가이드 영상이 재생되는 경우에는 수술 도구 정보가, 제2 영상에 대한 3D 수술 가이드 영상이 재생되는 경우에는 수술 동작 정보가 표시될 수 있다. 제3 UI(A3)은 기타 수술 정보 표시부로서, 환자 정보, 수술 도구/동작 정보 이외의 수술 진행에 필요한 다양한 수술 항목 정보들이 표시되어 가이드가 제공될 수 있다. 영상(30)에 표시되는 UI들은 도 8에 도시된 것(A1, A2, A3)에 한정되지 않으며, 표시 내용 및 위치 등이 다양하게 표시될 수 있다.
가령, 사용자가 특정 성별, 나이, 신장, BMI를 가지는 환자(환자 정보 선택)에 대한 복강경 충수돌기 절제술(수술 종류/질환 선택)에 대한 수술 가이드를 요청했다고 가정한다. 이와 더불어, 상기 수술에 대한 수술 준비 단계(수술 단계 선택)에 대한 수술 가이드를 요청할 경우, 학습 모델(220M)은 전술한 사용자 입력에 따른 3D 수술 가이드 영상을 제공할 수 있다.
가령, 사용자가 수술 단계로서 수술 준비 단계에 대응하는 제1 영상을 요청하였다고 가정한다. 영상 제공 서버(200)는 상기 사용자 요청에 따른 3D 수술 가이드 영상을 생성하여 제공할 수 있다. 이때, 특정 수술 종류에 필요한 수술 도구, 환자 자세에 관한 정보를 안내할 수 있다. 이후 방포 및 수술 소독포 등의 수술 보조도구의 배치에 관한 정보를 안내할 수 있다.
사용자가 외과 수술 종류로서, '복강경 충수 돌기 절제술'에 대한 수술 중간 단계에 대응하는 제2 영상을 요청하였다고 가정한다. 영상 제공 서버(200)는 충수 돌기의 위치(수술 영역), 절개 위치, 절개 경로에 따른 절개 방법을 안내할 수 있다. 일 예로, '배꼽 부위 절개, 근막 확인, 클램핑(clamping), 절개, 투관침 삽입, 이산화탄소 기체 공급(insufflations), 스코프(scope) 삽입, 나머지 포트(port) 삽입 후 수술 진행'의 순서로 수술 동작을 안내할 수 있다. 전술한 각 수술 동작에 관하여 상세한 위치, 각도, 강도 정보가 함께 제공될 수 있음은 물론이다.
일 실시예에 따른 학습 모델(220M)은 특정 사용자 요청에 따른 데이터의 유무를 확인하고, 없을 경우 기존의 데이터를 수정하여 특정 사용자 요청에 따른 수술 조건과 가장 유사도가 높은 데이터를 제공할 수 있다.
사용자 장치(300)(도 1 참고)는 음성 인식부 및/또는 음성 출력부(미도시)를 더 포함하여, 상기 3D 수술 가이드 영상을 통해 출력되는 다양한 수술 정보에 대응하는 음성 데이터를 출력할 수 있다.
3D 수술 가이드 영상(30)은 사용자 장치(300)의 표시부(340)에 디스플레이될 수 있고, 실시예에 따라서는 데이터 수집 장치(130)의 영상 시현부에 디스플레이될 수도 있다.
도 9는 본 발명의 일 실시예에 따른 데이터 수집 장치(130a)를 도시한 도면이다. 도 9의 데이터 수집 장치(130a)는 촬영부(132-2)의 일 예인 HMD를 도시한 것이다. 전술한 도 8의 3D 수술 가이드 영상(30)은 표시부(134)에 디스플레이될 수 있다. 즉, 일 실시예에 따른 머신 러닝 기반의 수술 가이드 영상은 집도의(120)가 착용하는 웨어러블 수집 장치 상에 수술 진행 중에 실시간으로 제공될 수도 있다. 실시예에 따라서는, 상기 수술 가이드 영상이 별도의 사용자 장치(300)의 표시부(340) 상에 디스플레이되어, 시간적, 공간적 제약 없이 AI 기반의 수술 가이드 서비스가 제공될 수도 있다. 여기서 사용자 장치(300)는 교육생들이 착용하는 웨어러블 기기가 될 수도 있고, 스마트폰, 태플릿 PC, 스크린 등의 디스플레이 기능이 가능한 다양한 표시 장치가 될 수도 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
따라서, 본 발명의 사상은 앞에서 설명된 실시예들에 국한하여 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위가 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 데이터 수집부
130: 데이터 수집 장치
132-1: 감지부
132-2: 촬영부
200: 영상 제공 서버
220: 제어부
220M: 학습 모델
NN: 인공 신경망
300: 사용자 장치
30: 3D 수술 영상

Claims (7)

  1. 집도의의 환자를 대상으로 한 실제 술기 데이터를 수집하는 데이터 수집부;
    상기 실제 술기 데이터를 기초로 술기 교육용 3D 수술 영상을 생성하는 영상 제공 서버; 및
    환자 정보 또는 수술 단계를 선택하는 사용자 요청을 입력 받아 상기 사용자 요청을 상기 영상 제공 서버로 전송하여 상기 사용자 요청에 따른 3D 수술 영상을 수신하고, 상기 3D 수술 영상을 디스플레이하는 사용자 장치;를 포함하고,
    상기 영상 제공 서버는,
    상기 환자의 환자 정보를 기초로 환자 영상을 생성하고,
    상기 실제 술기 데이터인 입력 데이터에 대하여, 환자 정보 인식부, 수술 도구 인식부, 수술 단계 분류부, 동작 정보 검출부, 성공률 평가부에 의해 카테고라이징된 입력 데이터를 이용하여 학습되며, 성공률 평가부를 이용하여 입력되는 수술 영상들을 미리 정해진 규칙에 따라 수술 성공률을 검출하여 수술 성공 데이터 및 수술 실패 데이터로 분류된 입력 데이터로 학습되는 학습 모델을 포함하고,
    상기 학습 모델에 상기 사용자 요청을 입력하여, 상기 사용자 요청에 따른 선택 영상을 출력하고,
    상기 선택 영상에 대응하는 상기 사용자 요청에 따른 상기 3D 수술 영상을 생성하여, 상기 3D 수술 영상을 상기 사용자 장치로 전송하는 3D 영상 생성부;를 포함하고,
    상기 환자 정보는 상기 환자의 질환 종류, 성별, 나이, 신장, 체중, BMI, 투병 기간, 및 기저 질환 여부를 포함하는, 술기 교육 시스템.
  2. 제1항에 있어서,
    상기 학습 모델은,
    수술 영상들에 대해서, 환자의 수술 전후의 질환의 차도와 관련된 특정 수치를 비교하여 상기 특정 수치의 전후 차이에 따라 가중치를 두어 수술 성공 데이터 및 수술 실패 데이터를 분류하는 과정을 실행하는, 술기 교육 시스템.
  3. 제1항에 있어서,
    상기 3D 영상 생성부는
    출력되는 선택 영상이 포함하는 술기 데이터에 대한 특징 정보를 검출하고, 상기 특징 정보에 대응하는 영상 신호를 생성하고, 상기 선택 영상에 대하여 상기 영상 신호를 합성하여 3D 수술 영상을 생성하는, 술기 교육 시스템.
  4. 제1항에 있어서,
    상기 학습 모델은,
    복수의 집도의들에 의해 수행된 실제 술기 데이터를 기반으로 기계 학습된 학습 모델인, 술기 교육 시스템.
  5. 제1항에 있어서,
    상기 학습 모델은,
    상기 사용자 요청에 따른 데이터의 유무를 확인하고 없을 경우, 상기 사용자 요청에 따른 수술 조건과 가장 유사도가 높은 데이터를 선택 영상으로 출력하는, 술기 교육 시스템.
  6. 제1항에 있어서,
    상기 데이터 수집부는 상기 집도의에 착용되어 상기 실제 술기 데이터를 획득하는 데이터 수집 장치를 포함하고,
    상기 데이터 수집 장치는, 센서를 이용하여 상기 실제 술기 데이터의 촉각적(tactile) 정보를 획득하는 감지부 및 광학 요소를 이용하여 상기 실제 술기 데이터의 시각적 정보를 획득하는 촬영부를 포함하는, 술기 교육 시스템.
  7. 제1항에 있어서,
    상기 학습 모델은,
    상기 입력 데이터를 미리 설정된 수술항목 기준에 따라 카테고라이징하여 데이터베이스를 구축하는 것인, 술기 교육 시스템.
KR1020230143121A 2020-04-21 2023-10-24 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템 KR20230150934A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230143121A KR20230150934A (ko) 2020-04-21 2023-10-24 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200048314A KR20210130041A (ko) 2020-04-21 2020-04-21 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
KR1020230143121A KR20230150934A (ko) 2020-04-21 2023-10-24 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020200048314A Division KR20210130041A (ko) 2020-04-21 2020-04-21 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템

Publications (1)

Publication Number Publication Date
KR20230150934A true KR20230150934A (ko) 2023-10-31

Family

ID=78231534

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200048314A KR20210130041A (ko) 2020-04-21 2020-04-21 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
KR1020230143121A KR20230150934A (ko) 2020-04-21 2023-10-24 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020200048314A KR20210130041A (ko) 2020-04-21 2020-04-21 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템

Country Status (4)

Country Link
US (1) US20230210598A1 (ko)
EP (1) EP4141844A4 (ko)
KR (2) KR20210130041A (ko)
WO (1) WO2021215800A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102456145B1 (ko) * 2021-12-30 2022-10-18 주식회사 안심엘피씨 Ar 및 vr 환경 기반 발골 교육 콘텐츠 제공 방법, 장치 및 시스템
KR102500237B1 (ko) * 2022-10-13 2023-02-16 주식회사 안심엘피씨 모형을 이용한 ar/vr 발골 교육 방법, 장치 및 시스템
KR20240075418A (ko) * 2022-11-22 2024-05-29 (주)휴톰 시각적 다중 모달리티에 기초하여 수술 단계를 인식하는 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020058189A (ko) * 2000-12-29 2002-07-12 박범 인터넷기반의 수술 컨퍼런스 방법 및 장치
KR20160136833A (ko) * 2015-05-21 2016-11-30 쓰리디메디비젼 주식회사 영상콘텐츠를 활용한 의료교육 시스템
KR101670187B1 (ko) * 2015-10-14 2016-10-27 연세대학교 산학협력단 영상 자동 편집 방법 및 장치
KR20190015903A (ko) * 2017-08-07 2019-02-15 주식회사 엠투에스 3차원 카메라와 헤드 마운트 디스플레이를 이용한 수술 녹화 및 중계 시스템
KR101880246B1 (ko) * 2017-12-28 2018-07-19 (주)휴톰 수술영상 재생제어 방법, 장치 및 프로그램

Also Published As

Publication number Publication date
KR20210130041A (ko) 2021-10-29
US20230210598A1 (en) 2023-07-06
EP4141844A1 (en) 2023-03-01
WO2021215800A1 (ko) 2021-10-28
EP4141844A4 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
US10488659B2 (en) Apparatus, systems and methods for providing motion tracking using a personal viewing device
KR20230150934A (ko) 3차원 영상을 활용한 술기 교육 시스템 및 머신 러닝 기반의 수술 가이드 시스템
CN106575039B (zh) 具有确定用户眼镜特性的眼睛跟踪设备的平视显示器
US11861062B2 (en) Blink-based calibration of an optical see-through head-mounted display
JP2021049354A (ja) 眼の特徴を用いる眼ポーズ識別
CN105074617B (zh) 三维用户界面装置和三维操作处理方法
JP7504476B2 (ja) モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム
JP6143469B2 (ja) 情報処理装置、情報処理方法及びプログラム
Hennessey et al. Noncontact binocular eye-gaze tracking for point-of-gaze estimation in three dimensions
CN113808160B (zh) 视线方向追踪方法和装置
CN106575357A (zh) 瞳孔检测
WO2015190204A1 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
CN105051650A (zh) 三维解锁设备、三维解锁方法和程序
JP2015528359A (ja) 三次元物体上の注視点決定方法及び装置
CN103188987B (zh) 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
CN105078580B (zh) 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
US10433725B2 (en) System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
CN111248851B (zh) 一种视功能自测方法
CN107908278A (zh) 一种虚拟现实vr界面生成的方法和装置
JP2019097675A (ja) 視線検出校正方法、システム、及びコンピュータプログラム
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
JP2019066618A (ja) 画像表示システム、画像表示方法及び画像表示プログラム
JP2021018729A (ja) 個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法
EP4244825A1 (en) Multi-view medical activity recognition systems and methods
US11270451B2 (en) Motion parallax in object recognition

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal