KR102013857B1 - 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치 - Google Patents

수술영상을 기초로 학습데이터를 생성하는 방법 및 장치 Download PDF

Info

Publication number
KR102013857B1
KR102013857B1 KR1020180143367A KR20180143367A KR102013857B1 KR 102013857 B1 KR102013857 B1 KR 102013857B1 KR 1020180143367 A KR1020180143367 A KR 1020180143367A KR 20180143367 A KR20180143367 A KR 20180143367A KR 102013857 B1 KR102013857 B1 KR 102013857B1
Authority
KR
South Korea
Prior art keywords
surgical
information
image
learning
relationship
Prior art date
Application number
KR1020180143367A
Other languages
English (en)
Inventor
최민국
Original Assignee
(주)휴톰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)휴톰 filed Critical (주)휴톰
Priority to PCT/KR2019/002092 priority Critical patent/WO2019164274A1/ko
Application granted granted Critical
Publication of KR102013857B1 publication Critical patent/KR102013857B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T3/0068—
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Surgical Instruments (AREA)

Abstract

수술영상을 기초로 학습데이터를 생성하는 방법이 제공된다. 상기 방법은 복수의 영상프레임을 포함하는 수술영상을 획득하는 단계, 상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계, 및 상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 포함한다.

Description

수술영상을 기초로 학습데이터를 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING LEARNING DATA BASED ON SURGICAL VIDEO}
본 발명은 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치에 관한 것이다.
의료수술은 개복수술(open surgery), 복강경 수술 및 로봇 수술을 포함하는 최소침습수술(MIS: Minimally Invasive Surgery), 방사선수술(radio surgery) 등으로 분류할 수 있다. 개복수술은 치료되어야 할 부분을 의료진이 직접 보고 만지며 시행하는 수술을 말하며, 최소침습수술은 키홀 수술(keyhole surgery)이라고도 하는데 복강경 수술과 로봇 수술이 대표적이다. 복강경 수술은 개복을 하지 않고 필요한 부분에 작은 구멍을 내어 특수 카메라가 부착된 복강경과 수술 도구를 몸속에 삽입하여 비디오 모니터를 통해서 관측하며 레이저나 특수기구를 이용하여 미세수술을 한다. 또한, 로봇수술은 수술로봇을 이용하여 최소 침습수술을 수행하는 것이다. 나아가 방사선 수술은 체외에서 방사선이나 레이저 광으로 수술 치료를 하는 것을 말한다.
이러한 의료수술의 경우, 실제 수술시 수술영상을 획득하여 이를 기초로 수술을 수행하는 경우가 많다. 따라서, 수술시에 획득되는 수술영상을 통해서 다양한 정보를 제공하여 주는 것이 중요하다.
또한, 수술과정에서 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술과정에서 행해지는 수술행위나 다양한 수술정보를 인식하고 인식된 정보의 의미를 파악하는 것이 중요하다. 따라서, 컴퓨터가 수술영상으로부터 수술행위나 다양한 수술정보를 인식할 수 있는 기술의 개발이 요구된다.
또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.
본 발명이 해결하고자 하는 과제는 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 수술영상 내 포함된 다양한 수술정보를 인식하고, 인식한 수술정보 간의 관계를 표현하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 수술영상으로부터 인식된 각 수술정보를 기초로 학습데이터를 생성하고, 생성된 학습데이터를 이용하여 학습 모델을 구축하는 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 컴퓨터가 수행하는 수술영상을 기초로 학습데이터를 생성하는 방법은, 복수의 영상프레임을 포함하는 수술영상을 획득하는 단계, 상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계, 및 상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 있어서, 상기 수술인식정보는, 수술도구, 수술동작, 신체부위, 출혈여부, 수술단계, 수술시간, 및 카메라 정보 중 적어도 하나의 수술요소를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 수술인식정보를 인식하는 단계는, 상기 복수의 영상프레임 각각으로부터 수술요소로서 판단되는 상기 수술인식정보를 추출하는 단계, 및 상기 복수의 영상프레임 각각으로부터 추출된 상기 수술인식정보 내 수술요소의 위치 정보를 도출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 수술요소의 위치 정보를 도출하는 단계는, 상기 복수의 영상프레임 각각을 적어도 하나의 영역으로 분할하는 단계, 및 상기 분할된 영역 중에서 상기 수술요소가 존재하는 영역을 기초로 상기 수술요소의 위치 정보를 도출하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 관계표현 정보를 생성하는 단계는, 상기 복수의 영상프레임 중 제1 영상프레임으로부터 추출된 복수의 수술요소 및 상기 복수의 수술요소의 위치 정보를 기초로 상기 제1 영상프레임 내에서 상기 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단하는 단계, 및 상기 복수의 수술요소 간의 상관관계를 기초로 상기 제1 영상프레임에 대한 관계표현 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단하는 단계는, 미리 정의된 수술요소에 대한 관계정보를 기초로 상기 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단하며, 상기 미리 정의된 수술요소에 대한 관계정보는, 수술요소의 종류, 수술요소의 위치 정보, 수술요소의 상태 정보, 및 수술요소의 동작 정보 중 적어도 하나를 기초로 설정된 정보일 수 있다.
본 발명의 일 실시예에 있어서, 상기 복수의 영상프레임 각각에 대해 생성된 상기 관계표현 정보를 기초로 학습데이터를 구축하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 특정 학습 결과를 도출하기 위해 상기 학습데이터를 기초로 학습을 수행하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 장치는, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 복수의 영상프레임을 포함하는 수술영상을 획득하는 단계, 상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계, 및 상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 수행한다.
본 발명의 일 실시예에 따른 컴퓨터프로그램은 하드웨어인 컴퓨터와 결합되어, 상기 수술영상을 기초로 학습데이터를 생성하는 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.
본 발명에 따르면, 영상프레임으로부터 인식될 수 있는 다양한 수술요소를 정의하고, 각 수술요소 자체에 대한 정보뿐만 아니라 수술요소들 간의 관계 정보를 파악함으로써 영상프레임을 통해 보다 의미있는 정보를 획득할 수 있다.
본 발명에 따르면, 하나의 학습 모델을 구축하기 위한 학습데이터를 생성하는 것이 아니라, 다양한 학습 모델을 구축할 수 있도록 하는 기저 데이터를 제공해 준다. 또한, 이러한 기저 학습용 데이터를 제공함으로써 학습데이터가 증가되어 보다 향상된 학습 결과를 얻을 수 있다.
본 발명에 따르면, 관계표현 정보를 통해 수술 시에 필요한 다양한 정보를 학습 목적에 맞게 유연하게 정의할 수 있고, 이에 따라 효과적인 학습을 수행할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 2는 본 발명의 일 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상프레임으로부터 수술인식정보를 인식하여 관계표현 정보를 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 수술영상 내 복수의 영상프레임에 대해 생성된 관계표현 정보를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 수술영상 내 복수의 영상프레임에 대해 생성된 관계표현 정보를 기초로 학습을 수행하는 과정의 일례를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이다.
도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(100) 및 수술실에 구비된 제어부(30), 디스플레이(32) 및 수술로봇(34)을 포함한다. 실시 예에 따라서, 의료영상 촬영장비(10)는 개시된 실시 예에 따른 로봇수술 시스템에서 생략될 수 있다.
일 실시 예에서, 수술로봇(34)은 촬영장치(36) 및 수술도구(38)를 포함한다.
일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.
서버(100)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.
제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.
촬영장치(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 촬영장치(36)는 적어도 하나의 카메라 장치를 포함하여, 대상체, 즉 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 촬영장치(36)는 수술로봇(34)의 수술 암(arm)과 결합된 적어도 하나의 카메라를 포함한다.
일 실시 예에서, 촬영장치(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.
일 실시 예에서, 수술로봇(34)은 수술부위의 절단, 클리핑, 고정, 잡기 동작 등을 수행할 수 있는 하나 이상의 수술도구(38)를 포함한다. 수술도구(38)는 수술로봇(34)의 수술 암과 결합되어 이용된다.
제어부(30)는 서버(100)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.
예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.
서버(100)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.
제어부(30)는 서버(100)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(100)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.
일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.
상술한 바와 같이, 로봇수술을 수행할 경우 수술 과정에서 촬영된 수술영상 또는 수술로봇의 제어과정에서 다양한 수술정보를 포함하는 데이터를 획득할 수 있다. 이에, 본 발명에서는 수술과정에서 획득할 수 있는 수술영상이나 수술데이터를 학습용 자료로 사용할 수 있도록 하고, 이러한 학습용 자료를 기초로 학습을 수행함으로써 수술과 관련된 다양한 정보를 추론해 낼 수 있는 학습모델을 구축할 수 있도록 하는 방안을 제공하고자 한다.
이하에서는 설명의 편의를 위해 "컴퓨터"가 본 명세서에서 개시되는 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법을 수행하는 것으로 설명한다. "컴퓨터"는 도 1의 서버(100) 또는 제어부(30)를 의미할 수 있으나, 이에 한정되는 것은 아니고 컴퓨팅 처리를 수행할 수 있는 장치를 포괄하는 의미로 사용될 수 있다. 예를 들어, 컴퓨터는 도 1에 도시된 장치와는 별도로 구비된 컴퓨팅 장치일 수도 있다.
또한, 이하에서 개시되는 실시예들은 도 1에 도시된 로봇수술 시스템과 연관되어서만 적용될 수 있는 것은 아니고, 수술과정에서 수술영상을 획득하고 이를 활용할 수 있는 모든 종류의 실시예들에 적용될 수 있다. 예를 들어, 로봇수술 이외에도 복강경 수술이나 내시경을 이용한 수술 등과 같은 최소침습수술과 연관되어서 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법을 개략적으로 도시한 흐름도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법은, 복수의 영상프레임을 포함하는 수술영상을 획득하는 단계(S100), 상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계(S200), 및 상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계(S300)를 포함할 수 있다. 이하, 각 단계에 대한 상세한 설명을 기재한다.
컴퓨터는 복수의 영상프레임을 포함하는 수술영상을 획득할 수 있다(S100).
환자에 대해 특정 수술(예컨대, 위암 수술, 대장암 수술 등)을 수행할 경우, 의료진들은 환자에 대해 직접 실제수술을 수행할 수도 있고, 도 1에서 설명한 바와 같은 수술로봇을 비롯하여 복강경이나 내시경 등을 이용한 최소침습수술을 수행할 수도 있다.
이때, 컴퓨터는 수술과정에서 행해진 수술동작 및 이와 관련된 수술도구, 수술부위 등을 포함하는 장면을 촬영한 수술영상을 획득할 수 있다. 일 실시예로, 컴퓨터는 환자의 신체내부로 진입한 카메라로부터 현재 수술이 행해지고 있는 수술부위 및 수술도구를 포함하는 장면을 촬영한 수술영상을 획득할 수 있다.
수술영상은 하나 이상의 영상프레임들을 포함할 수 있다. 각 영상프레임은 수술 대상자의 수술부위, 수술도구 등을 포함하여 수술동작을 행하고 있는 하나의 장면을 나타낼 수 있다. 예를 들어, 수술영상은 수술과정에서 시간에 따른 수술동작을 각 장면(씬; scene)별로 기록한 영상프레임들로 구성될 수 있다. 또는 수술영상은 수술과정에서 수술부위나 카메라의 위치 등과 같은 공간상의 이동에 따라 각 수술장면을 기록한 영상프레임들로 구성될 수도 있다.
또한, 수술영상은 전체 수술과정을 포함하는 전체 영상프레임들로 구성될 수도 있으나, 특정 분류 기준에 따라 분할된 적어도 하나의 비디오 클립 형태로 이루어질 수도 있다.
실시예에 따라, 컴퓨터는 비디오 클립 형태의 수술영상을 획득할 수도 있고, 전체 또는 일부 수술과정을 포함하고 있는 수술영상을 획득하고 이를 적어도 하나의 비디오 클립 형태의 수술영상으로 분할할 수도 있다.
일 실시예로, 컴퓨터는 전체 또는 일부 수술과정을 포함하고 있는 수술영상을 획득하고, 특정 분류 기준에 따라 적어도 하나의 비디오 클립 형태의 수술영상으로 분할할 수 있다. 예를 들어, 컴퓨터는 수술이 진행되는 시간 경과에 따라 수술영상을 분할하거나, 수술 시의 수술부위를 기준으로 수술부위의 위치나 상태 변화에 따라 수술영상을 분할할 수 있다. 또는, 컴퓨터는 수술이 진행되는 동안 카메라의 위치나 카메라의 이동 범위를 기준으로 수술영상을 분할할 수도 있고, 수술이 진행되는 동안 수술도구의 변화(예컨대, 교체 등)를 기준으로 수술영상을 분할할 수도 있다. 또는, 컴퓨터는 수술동작과 관련하여 일련의 수술동작으로 이루어진 영상프레임들을 기준으로 수술영상을 분할할 수도 있다. 또한, 각 수술마다 특정 분류 기준에 따라 분류된 수술단계가 미리 정해져 있을 수도 있다. 이 경우, 컴퓨터는 수술단계를 기준으로 수술영상을 분할할 수도 있다.
컴퓨터는 획득된 수술영상 내 복수의 영상프레임 각각으로부터 수술인식정보를 인식할 수 있다(S200).
상술한 바와 같이, 수술영상 내 각 영상프레임은 수술 관련 정보를 포함하고 있다. 예를 들어, 수술도구, 수술동작, 수술부위(즉, 장기, 혈관, 조직 등과 같은 신체부위), 출혈여부 등의 여러가지 수술 관련 정보를 포함하고 있다. 따라서, 본 발명에서는 영상프레임으로부터 수술 관련 정보로서 인식될 수 있는 각 요소를 수술요소(surgical element)로서 정의한다. 수술요소는 객체에 대응하는 개념일 수 있으나, 본 발명에서는 객체뿐만 아니라 객체와 관련된 동작, 기능, 상태 등의 정보까지 포괄하는 넓은 개념을 말한다.
일 실시예로, 컴퓨터는 복수의 영상프레임 각각으로부터 수술요소로서 판단되는 수술인식정보를 각각 추출할 수 있다. 여기서, 수술인식정보는 영상프레임으로부터 인식된 수술요소 정보를 말하며, 예컨대 수술도구, 수술동작, 신체부위, 출혈여부, 수술단계, 수술시간(예컨대, 잔여수술시간, 수술소요시간 등), 및 카메라 정보(예컨대, 카메라의 위치, 각도, 방향, 이동 등) 중 적어도 하나의 수술요소를 포함할 수 있다.
또한, 컴퓨터는 복수의 영상프레임 각각으로부터 추출된 수술인식정보 내 수술요소의 위치 정보를 도출할 수 있다. 수술요소의 위치 정보는 영상프레임 상에서 수술요소가 위치한 영역 정보일 수 있다. 예를 들어, 영상프레임 내 2차원 공간 상에서의 좌표 정보 또는 3차원 공간상에서의 좌표 정보를 기초로 수술요소의 위치 정보를 산출할 수 있다.
컴퓨터는 복수의 영상프레임 각각에 대해 인식된 수술인식정보를 기초로, 각 수술인식정보 내 포함된 수술요소 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성할 수 있다(S300).
일 실시예로, 컴퓨터는 복수의 영상프레임(예컨대, 제1 내지 제n 영상프레임) 중에서 제1 영상프레임으로부터 추출된 복수의 수술요소 및 복수의 수술요소에 대한 위치 정보를 기초로, 제1 영상프레임 내에서 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단할 수 있다. 다음으로, 컴퓨터는 복수의 수술요소 간의 상관관계를 기초로 제1 영상프레임에 대한 관계표현 정보를 생성할 수 있다. 컴퓨터는 제1 영상프레임뿐만 아니라, 동일한 방식으로 수술영상 내 제2 내지 제n 영상프레임에 대해서도 각각 관계표현 정보를 생성한다.
복수의 수술요소 간의 상관관계를 판단함에 있어서, 컴퓨터는 미리 정의된 수술요소에 대한 관계정보를 기초로 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단할 수 있다. 여기서, 미리 정의된 수술요소에 대한 관계정보라 함은, 수술요소의 종류, 수술요소의 위치 정보, 수술요소의 상태 정보, 수술요소의 동작 정보 중 적어도 하나를 기초로 설정된 정보일 수 있다.
상술한 바와 같이, 수술도구, 수술동작, 신체부위, 출혈여부, 수술단계, 수술시간, 카메라 정보 등을 수술요소로 정의할 수 있다. 정의된 각 수술요소는 수술요소의 종류에 따라 위치 정보, 상태 정보, 동작 정보와 같은 추가 정보를 더 포함할 수 있다. 예를 들어, 수술도구는 수술부위에 따라 그 종류가 정해질 수 있고, 수술동작은 각 수술도구에 따라 열림(open)/닫힘(close), 에너지 유무, 접촉 등과 같은 동작 상태 정보가 정해질 수 있다. 출혈여부는 출혈지점을 기초로 색상 정보를 가질 수 있다. 즉, 컴퓨터는 각 수술요소 및 각 수술요소의 종류에 따라 정해진 추가 정보를 관계 정보로 미리 설정해 둘 수 있다. 따라서, 컴퓨터는 제1 영상프레임으로부터 각 수술요소를 인식하고, 인식된 각 수술요소에 대한 관계 정보를 파악할 수 있다.
예를 들어, 컴퓨터는 제1 영상프레임으로부터 수술도구와 수술부위를 추출한 경우, 미리 정의된 관계 정보에 기초하여 특정 수술도구와 그에 따른 특정 수술부위에 대한 관계 정보를 파악하여 두 수술요소 간의 상관관계가 존재하는 것으로 판단할 수 있다.
또는, 컴퓨터는 제1 영상프레임으로부터 수술도구를 추출할 경우, 미리 정의된 관계 정보에 기초하여 특정 수술도구와 그에 따른 동작에 대한 관계 정보를 파악하여 수술도구와 수술동작 간의 상관관계가 존재하는 것으로 판단할 수 있다.
또한, 컴퓨터는 제1 영상프레임으로부터 동일하거나 유사한 위치 정보를 가지는 복수의 수술요소들을 추출한 경우, 복수의 수술요소들 간의 상관관계가 존재하는 것으로 판단할 수 있다. 예를 들어, 컴퓨터는 제1 영상프레임으로부터 신체장기 및 수술도구를 추출하고, 추출된 신체장기와 수술도구가 동일 위치에 존재하는 것으로 인식한 경우, 두 수술요소 간의 위치적 상관관계가 존재하는 것으로 판단할 수 있다. 컴퓨터는 해당 수술도구가 해당 신체장기에 대해 특정 동작을 가하고 있는 경우이거나, 수술도구와 신체장기가 접촉된 상태인 경우 등으로 위치적 상관관계가 존재하는 것으로 파악할 수 있다.
컴퓨터는 제1 영상프레임으로부터 인식된 복수의 수술요소 간의 상관관계가 존재하는지 여부를 기초로 제1 영상프레임에 대한 관계표현 정보를 생성할 수 있다.
일 실시예로, 컴퓨터는 각 수술요소 및 각 수술요소에 대한 정보를 매핑하여 관계표현 정보를 생성할 수 있다. 예를 들어, 행렬과 같은 형태로 관계표현 정보를 생성할 수 있다. 각 수술요소를 행과 열에 대응하게 배열하되, 각 수술요소 간의 상관관계를 기초로 도출된 정보는 행렬의 성분(entry)으로 나타낼 수 있다.
컴퓨터는 상술한 바와 같은 제1 영상프레임과 동일한 방식으로 수술영상 내 제2 내지 제n 영상프레임에 대해서도 각각 관계표현 정보를 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상프레임으로부터 수술인식정보를 인식하여 관계표현 정보를 생성하는 과정을 설명하기 위해 도시한 도면이다. 일례로, 도 3은 수술영상 내의 제1 영상프레임(200)으로부터 수술인식정보를 인식하고, 이를 관계표현 정보(300)로 생성하는 과정을 나타내고 있다.
일 실시예로, 컴퓨터는 제1 영상프레임(200)으로부터 딥러닝을 이용한 이미지 인식 기술을 적용하여 각 수술요소를 인식할 수 있다. 각 수술요소를 인식함에 있어서, 컴퓨터는 각 수술요소의 특징에 따라 다양한 개별 인식 기술을 적용할 수 있다. 예를 들어, 컴퓨터는 제1 영상프레임(200)으로부터 특징(feature) 정보(예컨대, 특징 맵)를 추출하되, 색상이나 질감 등을 표현하는 텍스처(texture) 특징 정보를 이용하여 신체부위(예컨대, 간, 위, 혈관 등의 신체장기)나 출혈여부 등을 인식할 수 있다. 또는, 컴퓨터는 형상에 관한 특징 정보를 이용하여 수술도구나 수술동작 등을 인식할 수 있다. 또는, 컴퓨터는 수술요소 간의 위치 특징 정보를 이용하여 수술동작을 인식할 수도 있다. 또는, 컴퓨터는 복수의 영상프레임 간의 특징 정보를 이용하여 카메라 정보(예컨대, 카메라의 각도, 이동 등의 움직임 정보), 수술단계, 수술동작, 수술시간 등을 인식할 수도 있다.
상술한 바와 같이, 컴퓨터가 각 수술요소의 특징 정보를 기초로 제1 영상프레임(200)에 대해 수술인식정보를 인식한 결과, 도 3에 도시된 것과 같이 2개의 수술도구, 2개의 수술도구의 동작상태, 거즈, 수술부위 등을 수술요소로 인식하였다.
또한, 컴퓨터는 제1 영상프레임(200)으로부터 인식된 각 수술요소에 대한 위치 정보를 도출할 수 있다. 일 실시예로, 컴퓨터는 제1 영상프레임(200)을 적어도 하나의 영역으로 분할하고, 분할된 영역 중에서 각 수술요소가 존재하는 영역을 기초로 각 수술요소의 위치 정보를 산출할 수 있다. 이때, 컴퓨터는 제1 영상프레임(200) 내의 공간을 2차원 또는 3차원 좌표 정보를 기반으로 적어도 하나의 영역으로 분할할 수 있고, 분할된 각 영역에 대해 특정 좌표값(예컨대, 각 영역의 중심점)을 부여하거나 인덱스 값을 부여하여 각 영역의 위치 정보로 사용할 수 있다.
예를 들어, 도 3에 도시된 것처럼, 컴퓨터는 제1 영상프레임(200)을 9개의 영역으로 분할하고, 분할된 각 영역에 대해 0부터 8까지의 인덱스 값을 부여하여 위치 정보로 사용할 수 있다. 컴퓨터는 제1 영상프레임(200)으로부터 인식된 수술요소 '거즈'가 분할된 영역 중에서 인덱스 0, 1 영역에 위치한다는 것을 판단한 다음, 인덱스 0, 1을 기초로 수술요소 '거즈'에 대한 위치 정보를 산출할 수 있다. 제1 영상프레임(200)으로부터 인식된 다른 수술요소들(예컨대, 2개의 수술도구, 수술부위)에 대해서도 상기와 같은 방식으로 각 수술요소의 위치 정보를 산출할 수 있다.
컴퓨터는 제1 영상프레임(200)으로부터 인식된 각 수술요소 및 각 수술요소의 위치 정보를 기초로 관계표현 정보(300)를 생성할 수 있다. 일 실시예로, 컴퓨터는 관계표현 정보(300)를 행렬 형태로 구성할 수 있다. 각 행과 각 열에는 각 수술요소를 배열하고, 행렬의 각 성분 값에는 해당 수술요소 간의 관계 정보를 나타낼 수 있다.
예를 들어, 도 3에 도시된 것처럼, 제1 영상프레임(200)의 관계표현 정보(300)는 행렬로 표현될 수 있다. 일례로, 각 행 및 각 열은 수술요소 a부터 수술요소 s까지 배열될 수 있다. 이때, 수술요소 a는 수술단계, 수술요소 b부터 h까지는 수술도구, 수술요소 i부터 l까지는 신체부위, 수술요소 m부터 q까지는 수술동작, 수술요소 r은 출혈여부, 수술요소 s는 카메라 정보 등으로 정의될 수 있다. 또한, 행렬의 i번째 행의 i번째 열은 해당 수술요소(예컨대, a 수술요소, b 수술요소 등)의 위치 정보를 나타낼 수 있다. 행렬의 i번째 행의 j번째 열은 i번째 행에 배열된 수술요소와 j번째 열에 배열된 수술요소 간의 관계 정보를 나타낼 수 있다. 예컨대, 행렬의 수술요소 b에 해당하는 행 및 수술요소 m에 해당하는 열에는, 특정 수술도구(수술요소 b로 정의된 수술도구, 예: 'Harmonics') 및 특정 수술동작(수술요소 m으로 정의된 수술동작, 예: open/grap)에 대한 정보를 나타낼 수 있다. 수술요소에 따라서는, 행렬의 성분에 다른 특정 값을 부여하여 관계정보를 나타낼 수도 있다. 예를 들어, 카메라 정보나 수술단계와 같이 영상프레임 전역에서 수술요소와 관련된 이벤트가 발생하거나 이러한 이벤트를 내포하고 있는 경우, 해당 수술요소에 대한 행렬의 성분에는 해당 수술요소의 위치 정보나 관계 정보 대신 해당 이벤트와 관련된 정보를 부여할 수도 있다.
컴퓨터는 도 3을 참조하여 설명한 바와 같은 과정을 수술영상 내 각 영상프레임에 대해서 반복적으로 수행할 수 있다. 즉, 컴퓨터는 수술영상 내 각 영상프레임에 대해서 수술요소를 인식하고, 인식한 수술요소를 기초로 관계표현 정보를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 수술영상 내 복수의 영상프레임에 대해 생성된 관계표현 정보를 나타낸 도면이다.
도 4를 참조하면, 컴퓨터는 수술영상 내 복수의 영상프레임 각각에 대해 관계표현 정보를 생성할 수 있다. 이때, 각각의 관계표현 정보는 복수의 수술요소 간의 관계 정보를 동시에 표현한 것이므로, 텐서(tensor) 정보를 가질 수 있다. 일 실시예로, 컴퓨터는 복수의 영상프레임으로부터 생성된 각 관계표현 정보를 텐서 형태로 생성할 수도 있다. 또한, 컴퓨터는 텐서의 시간축 크기(temporal size)를 기초로 복수의 영상프레임을 그룹화하여 복수의 영상프레임 간의 관계를 표현할 수도 있다. 예를 들어, 카메라 정보나 수술단계와 같이 복수의 영상프레임을 기초로 관계표현 정보를 생성해야 할 경우, 컴퓨터는 특정한 개수의 영상프레임들을 그룹화하여 텐서 형태로 각 관계표현 정보를 생성하고, 카메라 정보 또는 수술단계와 관련된 정보를 영상프레임 간의 관계로 연관지어 텐서로 표현할 수 있다.
본 발명의 실시예에 따르면, 상술한 바와 같이 수술영상 내 각 영상프레임에 대해 관계표현 정보를 생성하고, 생성된 각각의 관계표현 정보를 기초로 학습데이터를 구축할 수 있다. 또한, 이와 같이 구축된 학습데이터를 기초로 특정 학습 결과를 도출하기 위해 학습을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 수술영상 내 복수의 영상프레임에 대해 생성된 관계표현 정보를 기초로 학습을 수행하는 과정의 일례를 나타낸 도면이다.
도 5를 참조하면, 컴퓨터는 수술영상 내 각 영상프레임에 대해 관계표현 정보를 생성하고, 생성된 각각의 관계표현 정보를 기초로 학습데이터를 구축할 수 있다(S400).
일 실시예로, 수술영상 내 각 영상프레임에 대해 관계표현 정보를 생성하여 학습데이터를 구축함에 있어서, 의료진에 의해 레이블링 학습이 수행될 수도 있고, 컴퓨터에 의해 자동적으로 레이블링 학습이 수행될 수도 있다. 또한, 컴퓨터에 의해 자동으로 학습이 수행될 경우, 준지도(semi-supervised) 학습을 수행할 수도 있다. 예컨대, 컴퓨터는 상술한 바와 같이 각 수술요소의 특징에 따라 다양한 개별 인식 기술(예컨대, 신체장기 인식, 수술도구 인식, 출혈 인식, 수술동작 인식, 카메라 이동 인식 등)을 적용하여 각 영상프레임으로부터 레이블링된 정보를 추출하고 이를 기초로 관계표현 정보를 생성할 수 있다.
컴퓨터는 학습데이터를 기초로 학습을 수행하여 특정 학습 결과를 도출할 수 있다(S500).
여기서, 특정 학습 결과란, 본 발명의 실시예에 따라 생성된 학습데이터를 입력값으로 이용하여 학습을 수행함으로써 특정 학습 모델을 구축하고, 이러한 특정 학습 모델의 출력값으로 획득할 수 있는 학습의 결과를 말한다.
예를 들어, 컴퓨터는 본 발명의 실시예에 따른 관계표현 정보를 도출하는 것을 학습 결과로 정할 수 있다. 즉, 컴퓨터는 미리 구축되어 있는 학습데이터(관계표현 정보)를 기초로 새로 입력된 영상프레임에 대해 학습을 수행하고, 그 학습 결과로 새로 입력된 영상프레임에 대한 관계표현 정보를 획득할 수 있다.
또는, 컴퓨터는 수술영상을 통해서 수술과정을 인식하거나 수술동작이 의미하는 바를 인식하거나 등의 다양한 학습 결과를 획득하고자 본 발명의 실시예에 따라 생성된 학습데이터를 입력값으로 이용하여 학습을 수행할 수 있다.
실시예에 따라, 컴퓨터는 본 발명의 실시예에 따라 생성된 학습데이터와 함께 영상프레임들을 특정 학습 결과를 도출하기 위한 입력값으로 이용할 수도 있다. 일 실시예로, 컴퓨터는 수술영상 내 복수의 영상프레임을 CNN(Convolutional Neural Network)을 이용하여 학습을 수행하고, 각 영상프레임에 대한 특징(feature) 정보를 획득할 수 있다(S410). 또한, 컴퓨터는 수술영상 내 복수의 영상프레임에 대해 관계표현 정보를 생성하여 학습데이터를 획득할 수 있다(S400). 컴퓨터는 최종적으로 각 영상프레임에 대한 특징 정보 및 관계표현 정보를 기초로 학습을 수행하고, 이에 대한 학습 결과로 특정 출력값을 얻을 수 있다(S500).
본 발명에 따르면, 영상프레임으로부터 인식될 수 있는 다양한 수술요소를 정의하고, 각 수술요소 자체에 대한 정보뿐만 아니라 수술요소들 간의 관계 정보를 파악함으로써 영상프레임을 통해 보다 의미있는 정보를 획득할 수 있다.
또한, 본 발명에 따르면, 하나의 학습 모델을 구축하기 위한 학습데이터를 생성하는 것이 아니라, 다양한 학습 모델을 구축할 수 있도록 하는 기저 데이터를 제공해 준다. 또한, 이러한 기저 학습용 데이터를 제공함으로써 학습데이터가 증가되어 보다 향상된 학습 결과를 얻을 수 있다.
또한, 본 발명에 따르면, 관계표현 정보를 통해 수술 시에 필요한 다양한 정보를 학습 목적에 맞게 유연하게 정의할 수 있고, 이에 따라 효과적인 학습을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법을 수행하는 장치(400)의 구성을 개략적으로 나타내는 도면이다.
도 6을 참조하면, 프로세서(410)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.
일 실시예에 따른 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 2 내지 도 5와 관련하여 설명된 수술영상을 기초로 학습데이터를 생성하는 방법을 수행한다.
일례로, 프로세서(410)는 메모리(420)에 저장된 하나 이상의 인스트럭션을 실행함으로써 복수의 영상프레임을 포함하는 수술영상을 획득하는 단계, 상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계, 및 상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 수행할 수 있다.
한편, 프로세서(410)는 프로세서(410) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(210)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(420)에는 프로세서(410)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(420)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.
이상에서 전술한 본 발명의 일 실시예에 따른 수술영상을 기초로 학습데이터를 생성하는 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.
상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 컴퓨터가 수행하는 수술영상을 기초로 학습데이터를 생성하는 방법에 있어서,
    복수의 영상프레임을 포함하는 수술영상을 획득하는 단계;
    상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계; 및
    상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 포함하며,
    상기 관계표현 정보를 생성하는 단계는,
    상기 수술인식정보에 포함된 각 수술요소를 행렬로 매핑하여 상기 관계표현 정보를 생성하되,
    상기 행렬의 행 및 열의 배열에 대응하도록 상기 수술인식정보에 포함된 각 수술요소를 매핑하되, 상기 각 수술요소 간의 관계를 상기 행렬의 성분으로 나타내며,
    상기 관계표현 정보는, 학습을 수행하기 위한 학습데이터로 구성되는 것이며, 상기 학습을 수행하여 도출하고자 하는 학습 결과에 기초하여 상기 각 수술요소를 행렬로 표현하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  2. 제1항에 있어서,
    상기 수술인식정보는,
    수술도구, 수술동작, 신체부위, 출혈여부, 수술단계, 수술시간, 및 카메라 정보 중 적어도 하나의 수술요소를 포함하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  3. 제1항에 있어서,
    상기 수술인식정보를 인식하는 단계는,
    상기 복수의 영상프레임 각각으로부터 수술요소로서 판단되는 상기 수술인식정보를 추출하는 단계; 및
    상기 복수의 영상프레임 각각으로부터 추출된 상기 수술인식정보 내 수술요소의 위치 정보를 도출하는 단계를 포함하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  4. 제3항에 있어서,
    상기 수술요소의 위치 정보를 도출하는 단계는,
    상기 복수의 영상프레임 각각을 적어도 하나의 영역으로 분할하는 단계; 및
    상기 분할된 영역 중에서 상기 수술요소가 존재하는 영역을 기초로 상기 수술요소의 위치 정보를 도출하는 단계를 포함하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  5. 제3항에 있어서,
    상기 관계표현 정보를 생성하는 단계는,
    상기 복수의 영상프레임 중 제1 영상프레임으로부터 추출된 복수의 수술요소 및 상기 복수의 수술요소의 위치 정보를 기초로 상기 제1 영상프레임 내에서 상기 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단하는 단계; 및
    상기 복수의 수술요소 간의 상관관계를 기초로 상기 제1 영상프레임에 대한 관계표현 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  6. 제5항에 있어서,
    상기 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단하는 단계는,
    미리 정의된 수술요소에 대한 관계정보를 기초로 상기 복수의 수술요소 간의 상관관계가 존재하는지 여부를 판단하며,
    상기 미리 정의된 수술요소에 대한 관계정보는,
    수술요소의 종류, 수술요소의 위치 정보, 수술요소의 상태 정보, 및 수술요소의 동작 정보 중 적어도 하나를 기초로 설정된 정보인 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  7. 제1항에 있어서,
    상기 복수의 영상프레임 각각에 대해 생성된 상기 관계표현 정보를 기초로 학습데이터를 구축하는 단계를 더 포함하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  8. 제7항에 있어서,
    특정 학습 결과를 도출하기 위해 상기 학습데이터를 기초로 학습을 수행하는 단계를 더 포함하는 것을 특징으로 하는 수술영상을 기초로 학습데이터를 생성하는 방법.
  9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    복수의 영상프레임을 포함하는 수술영상을 획득하는 단계;
    상기 복수의 영상프레임 각각으로부터 수술인식정보를 인식하는 단계; 및
    상기 복수의 영상프레임 각각에 대해, 상기 수술인식정보를 기초로 상기 수술인식정보에 포함된 수술요소(surgical element) 간의 관계를 나타내는 관계표현(Relational Representation) 정보를 생성하는 단계를 수행하며,
    상기 관계표현 정보를 생성하는 단계는,
    상기 수술인식정보에 포함된 각 수술요소를 행렬로 매핑하여 상기 관계표현 정보를 생성하되,
    상기 행렬의 행 및 열의 배열에 대응하도록 상기 수술인식정보에 포함된 각 수술요소를 매핑하되, 상기 각 수술요소 간의 관계를 상기 행렬의 성분으로 나타내며,
    상기 관계표현 정보는, 학습을 수행하기 위한 학습데이터로 구성되는 것이며, 상기 학습을 수행하여 도출하고자 하는 학습 결과에 기초하여 상기 각 수술요소를 행렬로 표현하는 것을 특징으로 하는 장치.
  10. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.
KR1020180143367A 2018-02-20 2018-11-20 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치 KR102013857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/002092 WO2019164274A1 (ko) 2018-02-20 2019-02-20 학습데이터 생성 방법 및 장치

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020180019866 2018-02-20
KR20180019867 2018-02-20
KR1020180019867 2018-02-20
KR20180019866 2018-02-20
KR20180019868 2018-02-20
KR1020180019868 2018-02-20

Publications (1)

Publication Number Publication Date
KR102013857B1 true KR102013857B1 (ko) 2019-08-23

Family

ID=67763730

Family Applications (21)

Application Number Title Priority Date Filing Date
KR1020180098358A KR102014385B1 (ko) 2018-02-20 2018-08-23 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
KR1020180098359A KR102014359B1 (ko) 2018-02-20 2018-08-23 수술영상 기반 카메라 위치 제공 방법 및 장치
KR1020180098413A KR102018565B1 (ko) 2018-02-20 2018-08-23 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
KR1020180098360A KR102014355B1 (ko) 2018-02-20 2018-08-23 수술도구의 위치 정보 산출 방법 및 장치
KR1020180109204A KR102014377B1 (ko) 2018-02-20 2018-09-12 학습 기반 수술동작 인식 방법 및 장치
KR1020180115328A KR102013868B1 (ko) 2018-02-20 2018-09-27 수술 최적화 방법 및 장치
KR1020180122454A KR102014351B1 (ko) 2018-02-20 2018-10-15 수술정보 구축 방법 및 장치
KR1020180122949A KR102013806B1 (ko) 2018-02-20 2018-10-16 인공데이터 생성 방법 및 장치
KR1020180130229A KR102013866B1 (ko) 2018-02-20 2018-10-29 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
KR1020180129709A KR102014364B1 (ko) 2018-02-20 2018-10-29 수술영상을 이용한 출혈 평가 방법 및 장치
KR1020180131478A KR102013837B1 (ko) 2018-02-20 2018-10-31 수술영상 제공 방법 및 장치
KR1020180135590A KR102016959B1 (ko) 2018-02-20 2018-11-07 혈관 모델 생성 방법 및 장치
KR1020180135578A KR20190100004A (ko) 2018-02-20 2018-11-07 수술정보 활용 방법 및 장치
KR1020180140050A KR20190100009A (ko) 2018-02-20 2018-11-14 수술영상 제공 방법 및 장치
KR1020180143367A KR102013857B1 (ko) 2018-02-20 2018-11-20 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치
KR1020180145157A KR102013828B1 (ko) 2018-02-20 2018-11-22 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
KR1020180145177A KR20190100011A (ko) 2018-02-20 2018-11-22 수술영상을 이용한 수술정보 제공 방법 및 장치
KR1020180147015A KR102014371B1 (ko) 2018-02-20 2018-11-26 수술영상의 인식도 평가 방법 및 장치
KR1020180149293A KR102013848B1 (ko) 2018-02-20 2018-11-28 혈관 모델을 이용한 혈관 정보 제공 방법 및 장치
KR1020180153569A KR102013814B1 (ko) 2018-02-20 2018-12-03 수술영상을 이용한 가상신체모델 생성 방법 및 장치
KR1020180155562A KR102013863B1 (ko) 2018-02-20 2018-12-05 가상 신체 모델 구축 방법 및 프로그램

Family Applications Before (14)

Application Number Title Priority Date Filing Date
KR1020180098358A KR102014385B1 (ko) 2018-02-20 2018-08-23 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치
KR1020180098359A KR102014359B1 (ko) 2018-02-20 2018-08-23 수술영상 기반 카메라 위치 제공 방법 및 장치
KR1020180098413A KR102018565B1 (ko) 2018-02-20 2018-08-23 수술 시뮬레이션 정보 구축 방법, 장치 및 프로그램
KR1020180098360A KR102014355B1 (ko) 2018-02-20 2018-08-23 수술도구의 위치 정보 산출 방법 및 장치
KR1020180109204A KR102014377B1 (ko) 2018-02-20 2018-09-12 학습 기반 수술동작 인식 방법 및 장치
KR1020180115328A KR102013868B1 (ko) 2018-02-20 2018-09-27 수술 최적화 방법 및 장치
KR1020180122454A KR102014351B1 (ko) 2018-02-20 2018-10-15 수술정보 구축 방법 및 장치
KR1020180122949A KR102013806B1 (ko) 2018-02-20 2018-10-16 인공데이터 생성 방법 및 장치
KR1020180130229A KR102013866B1 (ko) 2018-02-20 2018-10-29 실제수술영상을 이용한 카메라 위치 산출 방법 및 장치
KR1020180129709A KR102014364B1 (ko) 2018-02-20 2018-10-29 수술영상을 이용한 출혈 평가 방법 및 장치
KR1020180131478A KR102013837B1 (ko) 2018-02-20 2018-10-31 수술영상 제공 방법 및 장치
KR1020180135590A KR102016959B1 (ko) 2018-02-20 2018-11-07 혈관 모델 생성 방법 및 장치
KR1020180135578A KR20190100004A (ko) 2018-02-20 2018-11-07 수술정보 활용 방법 및 장치
KR1020180140050A KR20190100009A (ko) 2018-02-20 2018-11-14 수술영상 제공 방법 및 장치

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020180145157A KR102013828B1 (ko) 2018-02-20 2018-11-22 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
KR1020180145177A KR20190100011A (ko) 2018-02-20 2018-11-22 수술영상을 이용한 수술정보 제공 방법 및 장치
KR1020180147015A KR102014371B1 (ko) 2018-02-20 2018-11-26 수술영상의 인식도 평가 방법 및 장치
KR1020180149293A KR102013848B1 (ko) 2018-02-20 2018-11-28 혈관 모델을 이용한 혈관 정보 제공 방법 및 장치
KR1020180153569A KR102013814B1 (ko) 2018-02-20 2018-12-03 수술영상을 이용한 가상신체모델 생성 방법 및 장치
KR1020180155562A KR102013863B1 (ko) 2018-02-20 2018-12-05 가상 신체 모델 구축 방법 및 프로그램

Country Status (1)

Country Link
KR (21) KR102014385B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932661A (zh) * 2019-12-10 2021-06-11 格罗伯斯医疗有限公司 外科手术系统
WO2021235804A1 (ko) * 2020-05-18 2021-11-25 주식회사 루닛 메디컬 장치의 이상을 결정하는 방법 및 시스템

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102301234B1 (ko) * 2019-09-20 2021-09-09 울산대학교 산학협력단 수술 영상 제공 시스템 및 그 방법
KR102246966B1 (ko) * 2020-01-29 2021-04-30 주식회사 아티큐 신체의 목적 타겟 위치 확인 방법
KR102321157B1 (ko) * 2020-04-10 2021-11-04 (주)휴톰 수술 후 수술과정 분석 방법 및 시스템
KR102348368B1 (ko) * 2020-05-21 2022-01-11 주식회사 누아 머신러닝 모델의 학습 데이터 생성과 머신러닝 모델을 이용한 유사 이미지 생성을 위한 장치, 방법, 시스템 및 컴퓨터 판독가능 저장 매체
KR102395873B1 (ko) 2020-06-02 2022-05-10 주식회사 메디픽셀 자동으로 혈관 영상을 처리하는 방법 및 장치
KR102426925B1 (ko) * 2020-06-23 2022-07-29 (주)휴톰 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램
KR102505016B1 (ko) * 2020-08-03 2023-03-02 (주)휴톰 수술영상 내 단위동작의 서술정보 생성 시스템 및 그 방법
WO2022035237A1 (ko) * 2020-08-11 2022-02-17 (주)휴톰 수술 도구 및 장기 인식 학습 훈련을 위한 학습 데이터 수집 장치 및 방법
KR102517398B1 (ko) * 2020-11-20 2023-04-04 주식회사 엔가든 잠금 나사 삽입홀 검출 방법
CN112712878A (zh) * 2020-12-30 2021-04-27 四川桑瑞思环境技术工程有限公司 一种数字化手术室系统和控制方法
KR102464091B1 (ko) * 2021-01-14 2022-11-04 고지환 내시경을 이용한 대장 검사 가이드 장치 및 방법
US11883245B2 (en) * 2021-03-22 2024-01-30 Verb Surgical Inc. Deep-learning-based real-time remaining surgery duration (RSD) estimation
KR102640314B1 (ko) 2021-07-12 2024-02-23 (주)휴톰 인공지능 수술 시스템 및 그것의 제어방법
KR102606249B1 (ko) * 2021-07-15 2023-11-24 사회복지법인 삼성생명공익재단 뇌 혈관 모델링을 이용한 병변 분석 방법 및 그 장치
KR102667464B1 (ko) * 2021-07-21 2024-05-20 (주)휴톰 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법
KR102628325B1 (ko) * 2021-07-29 2024-01-24 (주)휴톰 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
KR20230023876A (ko) * 2021-08-10 2023-02-20 (주)휴톰 환자의 가상 기복 모델을 생성하는 장치 및 방법
KR20230039932A (ko) 2021-09-15 2023-03-22 안명천 출혈 감지 시스템 및 방법
CN113813053A (zh) * 2021-09-18 2021-12-21 长春理工大学 一种基于腹腔镜内窥影像的手术进程分析方法
KR20230089469A (ko) 2021-12-13 2023-06-20 (주)휴톰 인공지능 기반 가상 혈관 모델 제공 방법 및 장치
CN114391947B (zh) * 2021-12-15 2024-03-01 深圳爱博合创医疗机器人有限公司 一种分级控制式介入手术机器人
KR20230111043A (ko) * 2022-01-17 2023-07-25 (주)휴톰 환자의 가상 폐 모델을 생성하는 장치 및 방법
WO2023172109A1 (ko) * 2022-03-11 2023-09-14 주식회사 림사이언스 디지털 트윈을 이용하여 니들의 경로를 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20240022047A (ko) * 2022-08-10 2024-02-20 주식회사 엠티이지 수술에 대한 시나리오를 제공하는 방법 및 디바이스
KR20240077534A (ko) * 2022-11-22 2024-06-03 (주)휴톰 시공간 특징 퓨전 모델을 통해 수술 중 출혈을 검출하는 방법 및 장치
KR102628690B1 (ko) * 2023-07-04 2024-01-25 주식회사 클레버러스 이상행동 탐지 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080020652A (ko) * 2005-06-01 2008-03-05 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체
KR101175065B1 (ko) * 2011-11-04 2012-10-12 주식회사 아폴로엠 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
KR101302595B1 (ko) * 2012-07-03 2013-08-30 한국과학기술연구원 수술 진행 단계를 추정하는 시스템 및 방법
JP2016039874A (ja) * 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207832A (ja) * 2000-12-28 2002-07-26 Atsushi Takahashi インターネット技術指導教育配信システム、及び通信網を利用した指導システム
EP1839568B1 (en) * 2005-01-19 2018-03-07 Olympus Corporation Operation data management device, operation control device, and operation data processing method
JP4781085B2 (ja) * 2005-10-25 2011-09-28 オリンパスメディカルシステムズ株式会社 手術予定表示システム
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP4762160B2 (ja) * 2007-01-16 2011-08-31 株式会社日立メディコ 手術支援システム
CN102098967A (zh) * 2008-08-14 2011-06-15 韩商未来股份有限公司 服务器和客户端类型的手术机器人系统
KR101049507B1 (ko) * 2009-02-27 2011-07-15 한국과학기술원 영상유도수술시스템 및 그 제어방법
KR101108927B1 (ko) * 2009-03-24 2012-02-09 주식회사 이턴 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
KR101114226B1 (ko) * 2009-05-19 2012-03-05 주식회사 이턴 이력정보를 이용한 수술 로봇 시스템 및 그 제어 방법
KR101152177B1 (ko) * 2009-04-09 2012-06-18 의료법인 우리들의료재단 수술위치 자동 유도 방법 및 그 시스템과 수술위치의 유도기능을 갖춘 장치
GB0913930D0 (en) * 2009-08-07 2009-09-16 Ucl Business Plc Apparatus and method for registering two medical images
JP2011036371A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
KR101235044B1 (ko) * 2010-11-02 2013-02-21 서울대학교병원 (분사무소) 3ｄ 모델링을 이용한 수술 시뮬레이션 방법 및 자동 수술장치
KR101181613B1 (ko) * 2011-02-21 2012-09-10 윤상진 사용자 지정에 따라 결정되는 변위 정보에 기초하여 수술을 수행하는 수술용 로봇 시스템과 그 제어 방법
KR20120111871A (ko) * 2011-03-29 2012-10-11 삼성전자주식회사 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
KR101795720B1 (ko) * 2011-05-12 2017-11-09 주식회사 미래컴퍼니 수술 상황 판단 및 대응을 위한 수술 로봇 시스템의 제어 방법과 이를 기록한 기록매체 및 수술 로봇 시스템
KR20130015146A (ko) * 2011-08-02 2013-02-13 삼성전자주식회사 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템
CA2850476A1 (en) * 2011-08-26 2013-03-07 EBM Corporation Bloodstream simulation system for simulating blood vessel treatment effect, method therefor, and computer software program
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US10278615B2 (en) * 2012-08-14 2019-05-07 Intuitive Surgical Operations, Inc. Systems and methods for registration of multiple vision systems
KR20140112207A (ko) * 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
KR101572487B1 (ko) * 2013-08-13 2015-12-02 한국과학기술연구원 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법
KR101538041B1 (ko) * 2013-10-15 2015-07-23 한국과학기술원 수술 도구의 위치 결정 장치 및 이를 포함하는 수술 로봇 시스템
WO2015119935A1 (en) * 2014-02-04 2015-08-13 Intuitive Surgical Operations, Inc. Systems and methods for non-rigid deformation of tissue for virtual navigation of interventional tools
JP6104288B2 (ja) * 2015-01-06 2017-03-29 三菱プレシジョン株式会社 手術シミュレーション用モデルの生成方法、手術シミュレーション方法、及び手術シミュレータ
KR20160086629A (ko) * 2015-01-12 2016-07-20 한국전자통신연구원 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
JP6594133B2 (ja) * 2015-09-16 2019-10-23 富士フイルム株式会社 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム
US20170132510A1 (en) * 2015-11-05 2017-05-11 Facebook, Inc. Identifying Content Items Using a Deep-Learning Model
KR101740286B1 (ko) * 2015-12-17 2017-05-29 (주)미래컴퍼니 수술 로봇 시스템 및 적응 제어 방법
KR20180010721A (ko) * 2016-07-22 2018-01-31 한국전자통신연구원 지능형 수술 지원 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080020652A (ko) * 2005-06-01 2008-03-05 올림푸스 메디칼 시스템즈 가부시키가이샤 내시경 진단 지원 방법, 내시경 진단 지원 장치 및 내시경 진단 지원 프로그램을 기록한 기록매체
KR101175065B1 (ko) * 2011-11-04 2012-10-12 주식회사 아폴로엠 수술용 영상 처리 장치를 이용한 출혈 부위 검색 방법
KR101302595B1 (ko) * 2012-07-03 2013-08-30 한국과학기술연구원 수술 진행 단계를 추정하는 시스템 및 방법
JP2016039874A (ja) * 2014-08-13 2016-03-24 富士フイルム株式会社 内視鏡画像診断支援装置、システム、方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932661A (zh) * 2019-12-10 2021-06-11 格罗伯斯医疗有限公司 外科手术系统
WO2021235804A1 (ko) * 2020-05-18 2021-11-25 주식회사 루닛 메디컬 장치의 이상을 결정하는 방법 및 시스템

Also Published As

Publication number Publication date
KR102014359B1 (ko) 2019-08-26
KR102013866B1 (ko) 2019-08-23
KR20190100009A (ko) 2019-08-28
KR102016959B1 (ko) 2019-09-02
KR20190099999A (ko) 2019-08-28
KR102014351B1 (ko) 2019-08-26
KR102014371B1 (ko) 2019-08-26
KR102018565B1 (ko) 2019-09-05
KR102013814B1 (ko) 2019-08-23
KR102013828B1 (ko) 2019-08-23
KR102014377B1 (ko) 2019-08-26
KR20190100004A (ko) 2019-08-28
KR102013806B1 (ko) 2019-08-23
KR102014385B1 (ko) 2019-08-26
KR102013848B1 (ko) 2019-08-23
KR20190100005A (ko) 2019-08-28
KR102013868B1 (ko) 2019-08-23
KR102014364B1 (ko) 2019-08-26
KR102014355B1 (ko) 2019-08-26
KR102013863B1 (ko) 2019-08-23
KR20190100011A (ko) 2019-08-28
KR102013837B1 (ko) 2019-10-21

Similar Documents

Publication Publication Date Title
KR102013857B1 (ko) 수술영상을 기초로 학습데이터를 생성하는 방법 및 장치
US20240115333A1 (en) Surgical system with training or assist functions
KR102298412B1 (ko) 수술영상데이터 학습시스템
CN107296650A (zh) 基于虚拟现实和增强现实的智能手术辅助系统
KR20190080736A (ko) 수술영상 분할방법 및 장치
KR102146672B1 (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
KR101862359B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR102222509B1 (ko) 의료 영상에 관한 판단을 보조하는 방법 및 이를 이용한 장치
KR102628324B1 (ko) 인공지능 기반의 사용자 인터페이스를 통한 수술 결과 분석 장치 및 그 방법
KR102298417B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR102276862B1 (ko) 수술영상 재생제어 방법, 장치 및 프로그램
CN115311317A (zh) 一种基于Scaleformer类算法的腹腔镜图像分割方法及系统
KR101940706B1 (ko) 수술 시뮬레이션 정보 생성방법 및 프로그램
KR20190133424A (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
US11986248B2 (en) Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition
KR102161853B1 (ko) 의료 영상 처리 방법, 의료 영상 검색 방법 및 이를 이용한 장치
KR102426925B1 (ko) 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램
KR102640314B1 (ko) 인공지능 수술 시스템 및 그것의 제어방법
KR20190100010A (ko) 최적화된 수술도구 제공 방법 및 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant